kafka 썸네일형 리스트형 [Kafka] Java 테스트 애플리케이션 제작 및 테스트 간단하게 kafka의 cluster 구성에 성공했는지 테스트하기 위해서 프로젝트를 생성해보겠습니다. dependency는 kafka만 추가하셔도 됩니다. @Slf4j로 로그 출력을 위해 Lombok도 추가했습니다. application.yml에 카프카 설정을 추가합니다. KafkaConfig.java로 자바 파일을 생성하여 상단에 @Configuration @EnableKafka 카프카 설정을 위한 어노테이션을 추가합니다. yml에 선언한 변수를 @Value로 받아옵니다. ProducerConfig와 ConsumerConfig를 설정합니다. 추가한 설정을 Factory로 생성합니다. 테스트를 위해 Consumer 클래스를 생성했습니다. 이렇게 하면 테스트를 위한 애플리케이션 생성이 끝났습니다. 이제 이전.. 더보기 [Kafka] Error when sending message to topic {topic-name} with key: null, value: 1 bytes with error kafka-console-producer로 메시지를 추가하려고 할때 해당 에러가 발생했습니다. $ ./kafka-console-producer.sh --broker-list {ip1}:9092,{ip2}:9092 --topic {topic name} Error when sending message to topic {topic-name} with key: null, value: 1 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.InvalidRecordException: This record has failed the validation on broker and.. 더보기 [Kafka] Error - LEADER_NOT_AVAILABLE WARN Error while fetching metadata with correlation id 0 : {topic_name=LEADER_NOT_AVAILABLE} (org.apache.afka.clients.NetworkClient) 해당 에러 발생 시 kafka 설치경로의 $ vi config/server.properties advertised.listeners = PLAINTEXT://localhost:9092 설정 주석 해제 후 재구동하면 해당 에러 발생하지 않습니다. 출처: https://kafka.apache.org/documentation/ Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 더보기 [Kafka] kafka manager(CMAK) 설치 최신 릴리즈 버전 확인: https://github.com/yahoo/CMAK/releases Releases · yahoo/CMAK CMAK is a tool for managing Apache Kafka clusters. Contribute to yahoo/CMAK development by creating an account on GitHub. github.com 1. 설치 $ wget https://github.com/yahoo/CMAK/archive/3.0.0.5.tar.gz 2. tar.gz 압축 해제 3. sbt 실행 $ ./sbt clean dist * CMAK 3.x버전부터는 jdk11로 빌드되어 있어 하위 jdk로는 실행이 불가능합니다. 서버에 설치된 jdk는 1.8이였기 때문에, 별도.. 더보기 [Kafka] zookeeper 및 kafka 설치, Cluster 설정 kafka 설치 $ wget http://apache.mirror.cdnetworks.com/kafka/2.6.0/kafka_2.13-2.6.0.tgz 압축해제는 아래 url 참고해주세요. halfstorage.tistory.com/71 [Linux] tar 명령어 tar, tgz(tar.gz) 압축해제 tar 압축해제 옵션 -x: 압축 해제 -v: 압축과정 출력 -f: 지정한 파일명으로 압축 및 해제 -z: tar 압축 후 gzip(gz)으로 압축 / gzip(gz) 압축해제 후 tar 압축해제 * 자세한 사항은 tar --help로 확인할 수 있습 halfstorage.tistory.com Zookeeper 설정({kafka설치경로}/config/zookeeper.properties) 1 2 3 4 .. 더보기 이전 1 다음
