(Python/개발/비공개)-웹 크롤링을 이용한 고객사 세션 모니터링 (완료)

개요

고객사의 접속 정보가 표시되는 WEB이있다.
업체 세션이 끊겨 지는 경우 WEB에 ROW가 사라지게 되어 있는데 업체측에서 세션에 모니터링 요청이 들어오게 되어 WEB에 데이터를 읽어 모니터링 하는 방안을 생각 하였다.
해당 WEB은 DB에 DATA를 가져오는 구조로 되어 있는게 아니라 크롤링을 선택하게 되었다.

---

마무리

WEB을 크롤링 하여 메모리로 관리 및 FILE에 저장 하며
주기별로 세션이 끊겨진 업체가 있는지 몇분간 끊겨 졌는지 확인
DB의 영향도를 최소화 하기 위해 서버에 FILE로 현재 상황을 저장하여 해당 FILE로 체크를 하며
DB에는 현재 상황과 이력을 INSERT만 하여 DB서버의 장애 발생에도 정상 동작 하도록 구성 하였다.