개발자의 공부 이야기 개발자의 공부 이야기

브로커 카프카 클라이언틑와 데이터를 주고 받기 위해 사용하는 주체 데이터를 분산 저장하여 장애가 발생하더라도 안전하게 사용할 수 있도록 도와주는 애플리케이션 하나의 서버에는 한 개의 카프카 브로커 프로세스가 실행되지만 데이터를 안전하게 보관하기 위해서 3대 이상의 브로커 서버를 1개의 클러스터로 묶어서 운영 카프카 구조 토픽 토픽은 데이터를 구분하기 위해 사용하는 단위입니다. RDBS랑 비슷한 개념 토픽에는 한개 이상의 파티션이 존재하는데 파티션 내부에는 프로듀서로부터 받은 데이터를 보관 위의 데이터를 레코드 토픽에 저장한 데이터들은 먼저 컨슈머가 가져가는 형태로 저장이된다.(FIFO) 컨슈머에서 파티션에 저장되어있는 레코드를 가져가도 삭제 되지 않는다. (RabbitMQ랑 다름) 새로운 컨슈머가 등록이..

이번에는 카프카 설치 및 명령어에 대해서 공부를 해보았다. 보통 AWS에 서버를 빌려 실행을 하겠지만 이번에는 docker를 이용해 개발을 진행하겠다. kafka설치 및 설정 ㅇ우선 해당 docker를 설치를 진행해아 된다. (해당부분은 다른 곳에 docker설치하는 법을 확인한다.) 해당 부분이 설치 완료를 하게 된다면 CentOS를 설치를 진행하였다. 해당 되는 명령어는 아래와 같다 docker centOS 설치 yum install docker-ce docker-ce-cli containerd.io 위의 명령어를 이용하여 실행을 시키게 된다면 docker이미지에 아래와같이 존재하게 된다. 위의 이미지가 생성이 되었다면 centOS는 설치가 되었으므로, 터미널에 접속한다 접속방법은 아래에 표시된 버튼..

들어가기전, 나의 생각 한동안 주변 부동산 가격을 보면서 일에 대한 의지가 많이 내려갔으나, 이대로 가다간 이도저도 안될 것 같아서 책을 주문 후 공부를 시작하는 첫날이다. 첫날로써 많은 공부는 하지는 못하겠지만 시작하겠다. 카프카가 왜 생겨났을까? 결론만 말하면 '링크드인'이라는 회사가 필요로 인하여 만들었다. 기존 프로그램은 소스 애플리케이션과 타킷 애플리케이션을 연결하는 파이프 라인 개수가 많아지면서 소스코드 및 버전 관리에서 이슈가 생겼다. 그리고 타킷 애플리케이션에 장애가 생길 경우 그 영향이 소스 애플리케이션에 그대로 전달이 되었기 때문에 이러한 장애를 애결하고자 '아파치 카프카'를 만들었다. 아래의 그림을 보게 된다면 카프카 도입과 이후의 아키텍쳐를 확인 할 수 있다. 카프카의 도입 후 아키..