인생은 고통의 연속

다음 글에서 이어지는 내용 2019/02/13 - [프로그래밍/아키텍쳐] - 메세지큐와 AMQP 아래의 내용은 kafka 공식홈의 intro를 번역/요약함 ※ 주의 주관적인 해석과 순서가 뒤에서부터 해석하는 번역체같은 느낌이 나올 수 있으니 참고하시길 바랍니다. kafka kafka는 Linked In에서 2011년에 오픈소스로 개발된 분산 메시징 시스템이다. 대용량 실시간 로그처리에 특화되어있고 많은 회사들이 사용하는 제품이기도 하다. 요즘처럼 하루에 최소 GByte에서 많게는 T~PByte까지 데이터가 발생하는 세상에서는 필수적이라고 할 수 있다. 개념 kafka(이하 카프카)는 분산 스트리밍 플랫폼(Distributed Streaming Platform)이다. 스트리밍 플랫폼의 3가지 능력(특징) ..

주로 AWS를 사용해서 오픈소스 제품을 사용해본 경험이 적다.그런데 최근에 이직 공고마다 있는 내용이라 따로 공부해보려고 한다.(최근에 SQS FIFO관련 글과 연관이 있어서 추가로 정리하는것)2019/02/10 - [프로그래밍/Cloud] - SQS FIFO seoul 리전 추가 바로 대용량 처리를 위한 kafkaAWS에서는 SQS라는 제품으로 대체할 수 있는데 그래도 어떤점이 좋은지 다른 오픈소스와 어떤점이 다른지 공부해본다.(카테고리가 애매해서 아키텍쳐 카테고리를 새로 만들었다)(내용이 길어져서 kafka는 다음 글에서 설명하는걸로) 메세지큐 위키백과에서 메세지큐를 검색하면 다음과 같은 설명이 되어있다.메시지 큐(message queue)는 키보드나 마우스를 통해 발생하는 사용자의 입력을 메시지로 ..