카프카 설치 및 명령어

이번에는 카프카 설치 및 명령어에 대해서 공부를 해보았다.

 

보통 AWS에 서버를 빌려 실행을 하겠지만

 

이번에는 docker를 이용해 개발을 진행하겠다.

 

 

kafka설치 및 설정

ㅇ우선 해당 docker를 설치를 진행해아 된다. (해당부분은 다른 곳에 docker설치하는 법을 확인한다.)

해당 부분이 설치 완료를 하게 된다면 CentOS를 설치를 진행하였다.

해당 되는 명령어는 아래와 같다

docker centOS 설치

yum install docker-ce docker-ce-cli containerd.io

위의 명령어를 이용하여 실행을 시키게 된다면 docker이미지에 아래와같이 존재하게 된다.

올라간 docker 이미지

위의 이미지가 생성이 되었다면 centOS는 설치가 되었으므로, 터미널에 접속한다 접속방법은 아래에 표시된 버튼을 누르면된다. 

위의 터미널에 접속을 하게 된다면 아무것도 설치되어있지 않는 상태이기 때문에 자바를 설치해 준다.

설치 방법의 코드는 아래와 같다.

자바 설치 및 버전확인

sudo yum install java-1.8.0-openjdk-devel.x86_64
java -version

이후 자바의 환경 변수를 설정해 준다.

프로파일 수정 및 입력 값

프로파일 수정
vi etc/profile

프로파일 맨 밑에 해당되는 코드를 입력(버전이 다를 수 있음)
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.302.b08-0.el8_4.x86_64

 

위의 방법까지 완료가 되었으면 이제 카프카를 설치를 해야된다. 설치는 아래의 코드를 이용하면 된다.

카프카 설치

wget https://apache.mirror.cdnetworks.com/kafka/2.5.0/kafka_2.12-2.5.0.tgz
tar xvf kafka_2.12-2.5.0.taz
cd /opt/kafka-docker/kafka_2.12-2.5.0/

 

카프카 브로커 힙 메모리 설정

참고사항

• 카프카 브로커를 실행하기 위해서는 힙 메모리 설정이 필요
• 레코드의 내용은 페이지 캐시로 시스템 메모리를 사용하고 나머지 객체들은 힙메모리에 저장하여 사용
  • 위의 특성으로 인하여 힙 메모리를 5G이상으로 설정을 안한다.
•