AWSKRUG #architecture 16번째 모임 참가 후기
전회사에서 백엔드개발자로 근무할때 AWS를 사용했었다.
Elasticbeanstalk, SQS, Athena, RDB, API Gateway 등 웹관련은 거의 다 써본 거 같다.
(Docker나 하둡관련 서비스를 도입하기에는 지식 수준이 모잘라서 못써본게 아직도 아쉬움이 남는다.)
당시에 GS네오텍 + Business Support를 쓰고는 있었지만
사내 로직이나 아키텍처를 공개하면서까지 파트너사에 컨설팅을 맡겨본 적도 없고
1년을 막채울 시점에서 장애대응이나 운영/기술적인 아키텍처에 대한 고민이 많아졌다.
왜냐하면 재직 중에 한달에 한두번씩 장애도 많이 났었고(왜 꼭 퇴근 or 잘때 장애가 나는지...)
기능 추가를 위한 아키텍처설계시 고려할 것도 많고 고민이 많았었다.(대용량 푸시나 실시간 글검색 등등)
그래서 이러한 고민이나 나 자신의 레벨업을 위해서 AWSKRUG 모임을 참여하고 싶었지만
야근으로 인해 사실상 참여를 하지 못했다.(보통 금요일 제외하고 8~9시에 퇴근했으니...)
지금은 중고신입으로 구직 중이라서 시간이 되어 처음으로 참여하게 되었는데
생각했던 내용이 아니라서 살짝 실망할뻔하다가 듣다보니 만족감이 우상향 그래프를 그렸다.
AWSKRUG #architecture 소모임 - 16번째 모임 (11월 29일)
공지는 페북에서 봤지만 참가 신청이나 공식사이트?는 위에 링크와 같이 github과 meetup을 사용한다.
최근 참여했던 커뮤니티인 9xD나 Django girls와는 다른 플랫폼을 사용하는데
github이야 뭐 개발자니 개인적으로 편리하긴 했는데
참가신청을 위해서 meetup 가입하는데 웹에서 가입이 안되서 결국 앱깔고 하는게 조금 지옥같았다....
(검색도 aws로 안되는데 밑에 추천 리스트로 awskrug가 떠서 신청할 수 있었다;;;)
+장소는 핫플레이스인 역삼역 GS타워 12층인데 2층에서 로비?에 허락맡고 들어가야해서 낯설긴했다.
뭐 불편한 내용은 여기까지였고 행사는 3가지 세션으로 이루워졌다.
- 발표세션 : AWS re:Invent에서 언급된 새로운 서비스
- 발표세션 : 인공지능 로봇 저널리즘(보고서 자동화)
- 긴급토론 : AWS 장애에 대비하는 우리의 자세(11/22 Seoul region 장애관련 경험 공유)
앞서 말했듯 1세션을 30분이나 늦어서 뒷내용만 듣긴했는데 re:Invent 행사 리뷰를 하고 있었다.
AWS re:Invent | Amazon Web Services 한국 블로그
대충보니 확실히 IoT, 머신러닝, 빅데이터, 하이브리드 클라우드관련 서비스가 엄청나게 늘어나긴 했다.
지금 인프라 아키텍처쪽 인턴을 하면서 HCI(하이퍼 컨버지드 인프라)를 공부하고 있는데
이런게 참 아는 내용이 나와서 반갑기도 하면서
빅데이터, 머신러닝 등을 거의 필수로 해야되는지가 고민이 되었다.
그리고 이걸 왜 AWS에서 만든지 모를 인공위성관련 서비스도 있고
Outposts를 보면서 On-premise, public/private Cloud까지 다 장악하는걸보면
진짜 AWS가 다해먹는구나라는 말 밖에 나오지 않았다.
이렇게 1세션에서 갓마존의 느끼고 2세션에서 AWS와 전혀 상관없는 내용이 등장하였는데
로봇 저널리즘을 통해서 주어진 데이터를 통해 보고서를 자동으로 생성하는 프로젝트를 소개해주셨다.
Daumsoft - 인공지능 : SoMe Report ™
통신사, 카드회사, 다음자체 데이터를 통해서 특정 키워드/주제에 대해서 기간을 입력하면
보고서가 30분~1시간 사이에 나온다고 한다.
보고서를 자세히 보지는 않았지만 그래프나 표같은 도식화된 자료와 자연스러운 문맥을 뽑아내는게 신기했다.
발표자분께서 내용보면 별거없다고는 하지만
단순한 빅데이터 분석하여 동향자료 만들어주는 그런 업체는 아주 큰 문제가 될것이라 생각한다.
(옛날에 인턴으로 일하던 회사에서 몇천만원 주고 비슷한 보고서 받던걸 생각하니 참...)
(실제 예시 : http://www.daumsoft.com/resources/report_travel.html)
들으면서 로봇 저널리즘이라는건 참 흥미롭긴 했는데
100대가 되는 서버를 On-premise로 관리하면서 스토리지 문제로 많은 고통을 받으신 것 같다.
REST API랑 파일데이터를 혼합해서 데이터를 수집하여 하둡으로 관리하시는 것 같은데
Data pipeline을 단순히 batch로 돌리시는거 같고
데이터 관리에 대한 질문을 했을때 Data Pipeline 안정성을 위한 아키텍처으로 고려해본적이 없던거 같았다.
(개인적으로 AWS Lambda, Dynamo DB, Pipeline 같은걸 사용하셨다면 인프라에 대한 고통을 덜 받으셨을텐데라는 생각이...)
마지막 세션은 11/22에 DNS 장애로 발생한 AWS Seoul region 장애에 대한 토론 및 정보 공유이었는데
아시아-태평양 서울 리전(AP-NorthEast-2)의 Amazon EC2 DNS 확인(Resolution) 이슈 요약
대략 설명하자면
EC2 인스턴스에 DNS문제가 있었는데 Lambda, RDB 등의 서비스들도 결국 내부적으로는 EC2에 띄워서 제공되는 것이다.
AWS에는 private/public 도메인이 있는데 이를 사용하는 이유는 EC2 인스턴스의 고유 IP(private ip)는 계속 바뀌기 때문에 이를 private, public 도메인에 연결해서 사용한다.
(인스턴스에 장애가 생기거나 스케일링이 필요할때 매번 ip를 바꿔가며 설정할 필요를 줄여주기 위함)
문제는 DNS가 죽으면서 a.b.aws.com으로 지정된 private 도메인이 실제 인스턴스의 ip로 연결되지 않았다는 것이다.
제일 큰 문제는 나도 그랬고 행사한 분들도 그렇고 사실 "AWS에 설마 장애가 나겠어?"라는 생각을 가지고 있었다.
그래서 대부분 장애대응을 위한 Multi AZ로 서비스를 구성하지 않았고 결과는.... 5xx Server ERROR
쿠팡, 삼성카드 등등 AWS를 사용하는 대부분의 회사가 404(Not Found)가 아닌 5xx 서버 에러가 발생하였다.
재밌는건 대부분 "자사내 서비스문제가 아닌 AWS문제라서 다행이다."라는 의견이 많았다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ
나도 Azure를 쓸때 meltdown 이슈나 포탈&서버 장애 발생했을때 가만히 기도하긴 했었다 ㅋㅋㅋㅋㅋ
(보통 클라우드에서 문제 발생하면 고민하다가 해결되는게 다반사긴했다.)
그 중에 S3로 static page형태로 서비스를 제공하는 회사는 웹페이지는 뜨지만 API가 안되서 로그인이 안되는 경우도 있었다.
그 외에 좀 말이 안되는 사례? 의견?이 나오긴 했었는데 행사 진행자분께서 대처를 잘해주셔서 불편함은 없었다.
(누가 ~~하면 됐었대요 같은 조금 근거없는 얘기였다.)
모든 서비스를 Lambda로 구성하거나 S3로 static page로 구성하신 분들도 있다고 하니 아키텍처의 세계는 참 신기한거 같다.
(어디서 그렇게 할 수 있다고는 듣기는 했는데 실제로 하실 줄이야;;)
마지막으로 행사때 김밥 한줄에 오예스/초코파이를 주시긴 했는데
너무 배고파서 끝나고 지인이랑 근처에 순대국하는 집에 가서 저녁을 먹고 갔다.
아키텍처관련된 모임은 처음가봤는데 아키텍처 내용은 좀 적었지만 생각보다 유익했던거 같다.
그리고 나같은 20대는 보기 힘들었던거 같다;;; 평균적으로 30~40대?로 구성된거 같은데 안그래도 늦었는데 조금 눈치가 보이긴했다;;;
하지만 연령대가 높아서 그런지 고민의 포인트나 해결방식에 대한 생각이 많이 달랐던거 같다.
보통 장애나면 빨리 복구되길 기도하는게 대부분이긴했는데
어떤 해결책을 제시하고 그 해결책에 대한 문제점까지 깊이있게 다루는걸 보면
이래서 연륜을 무시할 수 없다는 생각이 ㅎㅎ...
처음 참가해보는 행사라 잡소리도 많아 내용이 길어지긴 했는데
결론은 주제 상관없이 매번 참가해볼만한 모임이라고 생각한다.
꼭 내가 아키텍처라서, AWS를 사용해서 참여하는게 아니라도
설계방식이나 고민포인트에 대해 배울 수 있었다.
(물론 아키텍처가 되고 싶지만 ㅎㅎ;;)
나중에 시간이 된다면 발표도 해보고 싶은데 그때까지 레벨업 많이 해둬야겠다 ㅎ