Tag Archives: 웹스크래핑

미국 대통령 취임사 전체 다운로드

By | 2023-02-13

동시에 여러 사용자가 집중적으로 다운로드할 경우에는 (위키백과) 서버에 부담을 줄 수 있으므로 이를 방지하기 위해 제공하는 소스 코드에서는 일부 홈페이지 주소만 있고 나머지는 생략하였습니다. 따라서 홈페이지 주소를 채워야 전체 텍스트를 다운로드할 수 있습니다. 미국 대통령 취임사의 전체 텍스트를 다운로드하는 방법입니다. 전체 텍스트를 스크래핑하려면 [./hgdatsci/hgcrawl_list.py] 소스 파일에서 president_list[] 변수에 홈페이지 주소를 전부 넣어야 합니다. 번거롭더라도 형식(format:… Read More »