인생은 고통의 연속

이전 글 : 2019/03/09 - [프로그래밍/아키텍쳐] - 주키퍼(ZooKeeper) 카프카 공홈의 퀵스타트를 따라함 테스트환경은 라즈베리파이3(라파이/rbp), 라즈비안OS(64비트) 굳이 데탑(윈도우)에서 안하고 따로 서버 세팅하느라 좀 오래걸렸는데 AWS 프리티어가 아직 남아서 t2.small에서 해볼려다가 카프카 성능 테스트겸 라파이에 했다. 원래 라즈비안이 32비트환경이었는데 이왕하는거 64비트로 바꿔서 하려고 새로 포맷하고 다시 세팅했다. 집 분전함에 전화+인터넷이 같이 있는데 거기에 라파이를 보관 중이라 이렇게 매번 뜯을때마다 고통이다.(식탁 밀어내고 뚜껑따서 꾸역꾸역 선정리..) 그리고 메모리가 기본 1G이기 때문에 별도로 swap 4G를 할당했다. 주로 메모리를 사용하는게 아니고 디스..

다음 글에서 이어지는 내용 2019/02/13 - [프로그래밍/아키텍쳐] - 메세지큐와 AMQP 아래의 내용은 kafka 공식홈의 intro를 번역/요약함 ※ 주의 주관적인 해석과 순서가 뒤에서부터 해석하는 번역체같은 느낌이 나올 수 있으니 참고하시길 바랍니다. kafka kafka는 Linked In에서 2011년에 오픈소스로 개발된 분산 메시징 시스템이다. 대용량 실시간 로그처리에 특화되어있고 많은 회사들이 사용하는 제품이기도 하다. 요즘처럼 하루에 최소 GByte에서 많게는 T~PByte까지 데이터가 발생하는 세상에서는 필수적이라고 할 수 있다. 개념 kafka(이하 카프카)는 분산 스트리밍 플랫폼(Distributed Streaming Platform)이다. 스트리밍 플랫폼의 3가지 능력(특징) ..

주로 AWS를 사용해서 오픈소스 제품을 사용해본 경험이 적다.그런데 최근에 이직 공고마다 있는 내용이라 따로 공부해보려고 한다.(최근에 SQS FIFO관련 글과 연관이 있어서 추가로 정리하는것)2019/02/10 - [프로그래밍/Cloud] - SQS FIFO seoul 리전 추가 바로 대용량 처리를 위한 kafkaAWS에서는 SQS라는 제품으로 대체할 수 있는데 그래도 어떤점이 좋은지 다른 오픈소스와 어떤점이 다른지 공부해본다.(카테고리가 애매해서 아키텍쳐 카테고리를 새로 만들었다)(내용이 길어져서 kafka는 다음 글에서 설명하는걸로) 메세지큐 위키백과에서 메세지큐를 검색하면 다음과 같은 설명이 되어있다.메시지 큐(message queue)는 키보드나 마우스를 통해 발생하는 사용자의 입력을 메시지로 ..