본 글은 회사 블로그에 본인이 작성한 글을 다시 갈무리한 것입니다.
이 글은 작년 7월경 본 블로그에 작성 하였던 Python/Django로 쇼핑몰 만들기 와 연결되는 글이며, 해당 글이 인프라와 사용하는 패키지 등이 혼합되어 작성되어 있었던 것과 달리 좀 더 서비스 인프라의 관점에서 작성되었습니다.
안녕하세요. 인테이크에서 시스템 개발과 운영을 담당하고 있는 조영일입니다. 인테이크는 현재 총 2개의 쇼핑몰(인테이크, 라이브스토어)을 운영하고 있으며 국내 대부분의 쇼핑몰과 달리 Cafe24, 고도몰 등의 쇼핑몰 솔루션을 사용하지 않고 프론트엔드 부터 결제 연동 등 백엔드 시스템 까지 모두 100% 자체 개발된 쇼핑몰을 운영하고 있습니다.
이 글은 이러한 쇼핑몰을 구축하면서 저희가 어떠한 도구와 스택을 도입하였는지, 쇼핑몰의 요소별로 설명한 글입니다. 쇼핑몰 기능에 집중하여 설명하므로, 일반적인 서비스 스택과는 다소 다른 구조를 가지고 있음을 참고 부탁 드립니다.
서비스 개발
- 개발 언어 : Python
그 유연성과 확장성 덕분에 너무나 많은 서비스들이 선택하고 있는 개발 언어인 Python을 사용 하고 있습니다. 웹 서비스 뿐만 아니라 사내 업무용 챗봇 및 통계 산출 도구 등 90% 이상의 프로젝트가 Python으로 개발 되었습니다. - 웹 개발 프레임워크 : Django
전 세계적으로 가장 유명한 Python 기반 웹 프레임워크인 Django를 사용하고 있습니다. “The web framework for perfectionists with deadlines.”라는 캐치프레이즈에 맞게, Django는 웹 개발에 필요한 매우 풍부한 기능을 기본 탑재하고 있어서(덕분에 때로는 너무 무겁다고 평가 받지만) 필요한 기능을 가장 빠르게, 체계적인 방식으로 개발 할 수 있는 장점이 있습니다. 현재 인테이크 쇼핑몰, 라이브스토어 쇼핑몰, 쇼핑몰 및 외부 채널 주문을 취합 수집하고 물류센터와의 연계를 위한 SCM 시스템, 회사 공식 홈페이지 등 인테이크의 거의 모든 웹 서비스는 Django를 통해 개발 되었습니다.
서비스 호스팅
- 서비스 호스팅 : AWS
서비스 초기에는 국내 IDC를 사용하였으나, 서버에 대한 유지보수 이슈가 커짐에 따라 서비스의 개발과 운영에 집중하기 위하여 AWS(Amazon Web Service)를 도입하여 현재는 모든 서비스를 클라우드 상에서 제공하고 있습니다.
배포/오토 스케일링
- 배포/오토스케일링 : AWS ElasticBeanstalk
AWS에서 제공하는 어플리케이션 배포 서비스인 AWS ElasticBeastalk를 이용하여 어플리케이션을 배포하고 있습니다. AWS ElasticBeanstalk의 경우 기본적으로 AWS ELB(Elastic Load Balancer)를 통한 로드 밸런싱을 지원하며 git push 만으로도 새로운 버젼의 어플리케이션 배포 작업이 가능하여, 복잡한 배포 절차를 직접 구성 할 필요가 없습니다.AWS ElasticBeanstalk의 경우 배포 과정에서 pip를 통해 repository에 정의된 requirements.txt를 바탕으로 python dependency에 대해 자동으로 설치를 해주지만, 프로젝트에서 요구되는 python 이외의 dependency(리눅스 패키지 등)의 경우 ElasticBeanstalk에서 지원하는 Config Script를 작성하여 배포 단계에서 자동으로 설치되도록 하였습니다.오토스케일링의 경우 위에서 말한대로 AWS ElasticBeanstalk에서 ELB 를 통해 기본 제공하는 기능으로서, AWS 설정 콘솔에서 일정 시간 동안 Network In/Out 발생 할 경우 자동으로 서비스 인스턴스를 늘이고 줄일 수 있도록 하였습니다.
정적 컨텐츠 처리
- 스토리지 : AWS S3
인테이크는 기본적인 서비스 인프라를 AWS(아마존 웹 서비스) 상에서 운영하기 때문에 정적 컨첸츠 역시 AWS에서 제공하는 정적 컨텐츠 스토리지인 AWS S3를 통해 관리하고 있습니다. - CDN : AWS CloudFront
정적 컨텐츠는 모든 사용자가 상시적으로 접근 하며, 쇼핑몰의 경우에 일반적으로 그 용량이 크므로(다수의 상품 썸네일, 긴 상품 상세 이미지 등) 컨텐츠를 제공하는 속도를 높이는 노력이 필요 합니다. 일반적으로 컨텐츠를 제공하는 서버와 사용자 사이의 물리적인 거리가 컨텐츠의 전송 속도에 큰 영향을 미칠 수 밖에 없는데, 인테이크는 이 문제를 AWS CloudFront 를 통해서 해결 하고 있습니다.AWS CloudFront는 AWS에서 제공하는 CDN(Contents Delivery Network)로서, S3에 존재하는 원본 정적 컨텐츠를 전 세계에 존재하는 50여개의 CloudFront 엣지 로케이션 서버에 캐싱 하므로서 전 세계의 사용자가 동일한 주소로 이미지를 요청하더라도 그 사용자에게 물리적으로 가장 가까운 엣지 로케이션 서버에서 파일을 제공하므로서 컨텐츠 빠르고 안정적으로 서빙 할 수 있도록 해줍니다.또한 AWS CloudFront를 사용 함으로서 모든 컨텐츠에 대해 사용자 도메인을 적용 할 수 있으며(예를 들면, 인테이크의 모든 컨텐츠는 https://i.intakefoods.kr의 도메인을 가집니다.) SSL 인증서를 적용 하여 모든 컨텐츠를 안전한 HTTPS 프로토콜로 제공 할 수 있습니다.
비동기 작업 처리/작업 스케쥴링
- 비동기 작업 처리 : Celery
쇼핑몰에 무슨 비동기 작업이 필요할까 의문을 품을 수 있지만, 실제로는 꽤 많은 비동기 작업에 대한 처리가 필요합니다. 사용자의 액션(주문완료 등)과 함께 작업이 실행되어야 하나 그 작업이 사용자의 경험에 해로운 blocking을 유발할 우려가 있는 작업들(eg. 외부 API와 I/O 작업이 필요한 Email/SMS/카카오 알림톡 발송), 실행 시간이 긴 작업(eg. 회원 대상 대량 SMS 발송) 등을 비동기로 처리하지 않을 경우 쇼핑몰의 매끄러운 운영에 상당한 방해요소가 될 수 있습니다.이러한 비동기 작업을 처리하기 위하여 python에서 가장 유명한 비동기 작업 워커 패키지인 Celery를 도입하였습니다. - 작업 스케쥴러 : Celery-beat
또한 쇼핑몰을 운영하다보면 주기적으로 수행되어야 할 작업들 역시 많습니다. (eg. 매일 자정에 당일 매출 통계를 전 멤버한테 메일로 발송하기, 물류센터 API로 부터 자동으로 운송장 번호 가져오기, 특정 기간 동안 쇼핑몰 사용기록이 없는 회원 휴면 계정 처리하기, 매월 회원들의 구매 기록을 기반으로 회원 등급 평가하기 등)이러한 정기적 작업 스케쥴링을 위해서는 보통 리눅스의 crontab 등을 고려할 수 있지만, 위의 Celery 패키지에 포함된 celery beat가 이러한 작업 스케쥴러 기능을 제공하고 있어 해당 기능을 통해 작업 스케쥴러 기능도 Celery와 유연하게 통합하였습니다. - 메세징 큐(브로커) : AWS ElastiCache
Celery와 같은 비동기 워커를 사용하기 위해선 메세징 큐가 반드시 필요합니다. 워커가 처리할 task들을 쌓아놓고 task의 처리 상태를 공유함으로서 다수의 워커가 중복된 task를 처리하는 일 없이 효과적으로 task를 처리 할 수 있습니다.Celery의 경우 기본적으로 RabbitMQ, Redis Amaon SQS, Zookeeper 등의 메세징 큐를 지원하지만 그 중 현재 가장 Stable 하게 지원되는 것은 RabbitMQ와 Redis 입니다. 저희는 그 중 상대적으로 좀 더 범용성이 있는(메세징 큐 이외에 캐싱 용도로도 효과적으로 사용 가능한) Redis를 선택하여 메세징 큐로 사용하고 있으며, 유지보수의 편의성을 위하여 AWS ElastiCache를 통해 호스팅된 Redis를 사용하고 있습니다.
버그 레포팅/운영
- 버그 레포팅 : Sentry
서비스 운영 시 발생하는 예상 밖의 exception이 발생하는 경우에 대비하기 위해 real-time crash reporting 도구인 Sentry 서버를 자체 구축하고, 해당 서버를 통해 live 서버에서 발생하는 exception이 발생할 경우 해당 내역을 자동으로 메일과 사내 커뮤니케이션 도구인 Slack으로 레포팅 되도록 하고 있습니다. - ChatOps : Slack
ChatOps는 DevOps의 방법론 중 하나로, 메신저를 통한 사람의 명령에 따라 운영과 관련된 다양한 처리를 수행하고, 그 응답을 메세지 형태로 제공하는 ChatBot을 서비스 운영에 적극적으로 도입하는 것을 의미합니다.
인테이크는 사내 업무용 커뮤니케이션을 위한 도구로 Slack을 사용하고 있으며, Slack API를 통하여 사용자의 명령에 응답 하는 ChatBot을 개발하였습니다. ChatBot은 사내 SCM 시스템, BitBucket, 버그 레포팅 시스템 등과 연계 하어 운영과 관련된 다양한 수치를 명령어 하나로 간단히 조회하고, 운영 시 발생하는 각종 이슈들을 해당 서비스에 직접 접속 할 필요 없이 Slack 상에서 담당자가 처리 할 수 있도록 구성 하였습니다.
이상 인테이크 서비스 스택에 대한 설명이었습니다. 이 글에 대한 피드백이나, 저희와 비슷한 환경에서 개발하시는 분들의 질문 등은 언제든 환영이니 아래 메일 주소나, 댓글로 연락 주시면 가능한 빨리 답변 드리도록 하겠습니다. 감사합니다.