본문 바로가기

전체 글44

Spring Cloud Eureka MSA 사용법 스프링 클라우드란?스프링 클라우드(Spring Cloud)는 마이크로서비스 아키텍처(MSA) 환경에서 클라우드 네이티브 애플리케이션을 개발하기 위한 프레임워크다. 스프링 부트(Spring Boot)를 기반으로 하며, 분산 시스템에서 필요한 기능을 쉽게 구현할 수 있도록 다양한 서브 프로젝트를 제공한다.마이크로서비스 환경에서 필요한 기능(서비스 디스커버리, API 게이트웨이, 로드 밸런싱, 설정 관리, 분산 트랜잭션 등)을 쉽게 구현할 수 있도록 지원하는 프레임워크Eureka란?Eureka(유레카)는 Netflix에서 개발한 서비스 디스커버리(서비스 등록 및 검색) 솔루션이다. 마이크로서비스 아키텍처(MSA)에서 서비스들이 동적으로 IP와 포트를 변경할 수 있기 때문에, 클라이언트가 해당 서비스를 찾을 수.. 2025. 3. 6.
데이터 수집 후 도커로 공유하기 mysql, redis 로컬에서 mysql, redis에 데이터 저장덤프로 데이터를 포함해서 이미지로 빌드도커 허브에 올리기공유 받을 사람이 도커 허브에서 pullMysql 공유1. 현재 데이터 백업 (덤프) - 로컬에서 실행되고 있는 mysql (도커 x)mysqldump -u root -p stock_db > stock_db_dump.sql2. MySQL 컨테이너 생성 및 데이터 복원docker run --name stock-db-container -e MYSQL_ROOT_PASSWORD=admin -e MYSQL_DATABASE=stock_db -d mysql:8.0컨테이너가 실행 후, 데이터베이스에 stock_db_dump.sql을 복원docker cp stock_db_dump.sql stock-db-container:.. 2025. 3. 4.
Kafka 개념 정리 및 실습 (카프카, spring, docker) 참고 블로그https://techblog.woowahan.com/17386/1. Kafka란?분산 스트리밍 플랫폼으로 대용량 데이터의 실시간 처리 및 전송을 지원하는 메시지 브로커 시스템Message Queue전통적인 mesaage queue와 다르게  메시지 큐의 장점과 로그 시스템의 특성을 결합한 분산 스트리밍 플랫폼항목전통적 MQkafka MQ메시지 저장소비후 삭제됨로그처럼 유지처리속도낮음(트렌젝션보장)높음(분산처리)확장성보로커 개수 제한적분산처리 가능순서보장FIFO지원Partition 단위로 순서 보장메세지 전달의 중앙 플랫폼으로 두고 필요한 모든 데이터 시스템과 연결된 파이프라인을 만드는 것을 지향함Kafka는 확장성, 고성능, 데이터 스트리밍 처리에 최적화된 시스템으로 메시지 큐뿐만 아니라 데.. 2025. 2. 12.
내가 제일 좋아하는 개발 언어는? 개발을 하면서 여러 프로그래밍 언어를 접해보았지만, 그중에서도 파이썬(Python)이 저에게 가장 익숙하고, 효율적인 언어였습니다. 오늘은 제가 왜 파이썬을 가장 좋아하는지, 그리고 어떤 점에서 강력한 언어라고 생각하는지에 대해 이야기해보겠습니다.1. 다양한 분야에서 활용 가능파이썬은 웹 개발, 데이터 분석, 인공지능(AI), 자동화 스크립트 등 여러 분야에서 활용될 수 있는 강력한 언어입니다.웹 개발: Flask, Django 같은 프레임워크를 사용하면 백엔드 개발을 쉽게 할 수 있습니다.데이터 분석: Pandas, NumPy, Matplotlib 등의 라이브러리를 통해 데이터를 손쉽게 처리할 수 있습니다.AI & 머신러닝: TensorFlow, PyTorch, scikit-learn 등 인공지능 개발.. 2025. 2. 4.
주식 정보 제공, 네이버 블로그 언급량 분석 프로젝트 배포 URL : http://hystock.site:8081/ http://hystock.site:8081/실시간 급상승 종목 종목명 전날대비 라이콤 29.96 삐아 29.95 코오롱글로벌우 29.93 코오롱글로벌 29.91 KIB플러그에너지 20.0 아이즈비전 19.31 인성정보 18.07 백광산업 17.51 마니커에프앤지 17.05 대상우hystock.site:8081github : https://github.com/qpwisu/stock-spa포로젝트 소개국내 주식 투자시 필요한 정보를 제공하기 위한 WEB 입니다기본적인 주가, 기업정보 같은 주식 정보를 제공합니다주식, 테마별 네이버 블로그 언급량 추이를 제공하고 분석합니다게시판을 통해 게시글, 댓글을 작성하고 좋아요를 누를 수 있습니다.주식, 테.. 2024. 6. 16.
네이버 주식 관련 블로그 크롤링 (파이썬) 목표네이버 블로그에서 일정 기간동안 “종목명 + 관련주” 검색어로 나오는 모든 블로그 글들을 크롤링 하고자 함특이사항selenium이 아닌 playwright를 사용하여 동적 크롤링 진행이유 : 패키지 설치 편의성과 크롤링 코드 작성 편의성async와 세마포어를 이용한 크롤링멀티스레드, 멀티프로세스를 사용하지 않은 이유 : i/o 작업에서 자원을 많이 사용하지 않기 위해세마포어를 사용한 이유 : 네이버에서 일정 속도로 크롤링을 하면 IP를 차단 당함 이를 방지하기 위해 브라우저 수와 속도를 제한 함컴퓨터 성능, 네트워크에 따라semaphore = asyncio.Semaphore(8), await page.goto(url, timeout=10000)를 최적화하여 더 빠른 크롤링이 가능블로그 글 무한 스크롤.. 2024. 6. 16.

티스토리툴바