논문자료 수집 웹크롤러 만들기 셀레니움 (약 40분소요)
이번 포스팅은웹 크롤러 만들기! 크롤러 관련해서 많이 포스팅해서 기본개념 설명은 안하고, 이번엔 바로 소스코드 설명을 하려고 한다.8분안에 포스팅 마치기 돌입!!(오늘 주업무 바쁜날...) 이번에 웹크롤링 하게 된 계기는 잠시모의해킹 웹사이트 시큐어 코딩 중ORM구조에 대해 관련한 논문을 찾던 중 전자정보연구정보센터에 공개된 하나의 논문을 마주하게 되었다.근데 이외에도 많은 자료가 공개되어 있어서 글 제목을 간단하게 크롤링하게 된게첨부파일도 다운받고, 첨부파일과 관련 데이터를 폴더별로 크롤링 하게 되었다. 그리고 이 과정에서 다운로드 파일이나 엘리먼트들을 다루기에 편한 모듈인 셀레니움을 사용했다. 일단, 제한되는 디렉터리 확인하고, 시작하자!!1234567891011User-agent: *Disallow..
