전체보기174 크롤링 시 403 에러 해결 방법 프로젝트한다고 사이트 크롤링하다가 자꾸 403 에러가 났다.어짜피 저작권때문에 배포하지도 못하는데 차단먹은거 우회하는 방법찾기 위해 쓸데없이 시간 낭비하는게 너무 심해져서 크롤링은 그만 둘 예정이다.이제 있는 데이터로만 프로젝트 진행할 예정 결론만 말하자면 당장 사용해야하는 ip 모두 차단당하긴했음 암튼 403 에러 해결을 위해 진행했던 방법 해결방법1. undetected_chromedriver 사용해결방법2. --disable-blink-features=AutomationControlled 사용- 봇 탐지 우회options = uc.ChromeOptions()options.add_argument('--headless')options.add_argument('--disable-blink-features.. 2025. 6. 11. IntelliJ Invalid Python interpreter selected for the module 에러 해결 1. 상황python plugin 설치 후 .py 파일에 Invalid Python interpreter selected for the module 관련 에러가 뜨는 현상 2. 원인가상환경(.venv) 경로가 사라지거나 변경됨프로젝트에서 지정한 .venv 디렉터리가 삭제되었거나 이동됨로컬 Python 인터프리터가 삭제됨 3. 해결방법새로운 가상환경 설정 아래 코드 순서대로 실행minjeong@sojeong-ui-MacBookAir todays-kbo-backend % which python3 /usr/bin/python3minjeong@sojeong-ui-MacBookAir todays-kbo-backend % pwd /Users/sojeong.. 2025. 6. 11. [kafka] 자주 쓰이는 명령어 ✅ 1. 토픽 관련 명령어🔍 토픽 목록 확인 kafka-topics.sh --bootstrap-server localhost:9094 --list 📌 토픽 생성kafka-topics.sh --bootstrap-server localhost:9094 --create \ --topic my-topic --partitions 3 --replication-factor 1🧹 토픽 삭제kafka-topics.sh --bootstrap-server localhost:9094 --delete --topic my-topic❗ 삭제가 안 될 경우 server.properties에 delete.topic.enable=true 확인🔎 토픽 상세 정보 보기kafka-topics.sh --bootstrap-server l.. 2025. 6. 10. [Kafka] Docker로 Kafka 세팅하기 ( Zookeeper 방식 ) 사이드 프로젝트 진행하면서 도커와 카프카를 사용해보기로 했다.Zookeeper 환경이 오래되어 잘 사용은 안하지만 연습삼아 Zookeeper 방식으로 구성했고 추후 KRaft 방식의 클러스터를 구성할 예정이다. * 환경도커 데스크탑만 설치되어있음Mac Apple M1✅ 1단계. Kafka 설치용 docker-compose.yml 만들기1. 터미널 켜고 새 폴더 만들기mkdir kafka-dockercd kafka-docker 2. docker-compose.yml 파일 만들기touch docker-compose.yml 3. 아래 코드 복사해서 붙여넣기version: '3'services: zookeeper-0: image: bitnami/zookeeper:3.9.2 container_name.. 2025. 6. 7. [개념] Kafka, Producer, Consumer, Topic, Zookeeper 기본 개념 1. Kafka 분산형 메시지 큐 시스템 ( 데이터를 효율적으로 전달하는 택배 시스템 ) 역할설명비유역할 🐳 Kafka메시지 중간 전달자엄청 빠른 우체국 📨 Producer메시지 보내는 사람편지 쓰는 사람데이터를 Kafka로 보냄📫 Topic편지를 모아두는 우체통"야구뉴스함" 같은 분류함데이터를 종류별로 분류해서 넣는 공간📬 Consumer메시지를 받는 사람편지를 읽는 사람Kafka에서 데이터를 읽어감Broker우체국 서버 데이터를 저장하고 중계함예: 야구 앱에서 실시간 경기 결과를 사용자들에게 보여줘야할 때크롤러가 실시간 점수 데이터를 Kafka에 보냄 → ProducerKafka는 이걸 game-score라는 Topic에 저장Spring 서비스 또는 다른 서버가 Kafka에서 데이터를 읽음 →.. 2025. 6. 7. 이전 1 2 3 4 ··· 35 다음
