동시에 여러 사용자가 집중적으로 다운로드할 경우에는 (위키백과) 서버에 부담을 줄 수 있으므로 이를 방지하기 위해 제공하는 소스 코드에서는 일부 홈페이지 주소만 있고 나머지는 생략하였습니다. 따라서 홈페이지 주소를 채워야 전체 텍스트를 다운로드할 수 있습니다.
미국 대통령 취임사의 전체 텍스트를 다운로드하는 방법입니다.
전체 텍스트를 스크래핑하려면 [./hgdatsci/hgcrawl_list.py] 소스 파일에서 president_list[] 변수에 홈페이지 주소를 전부 넣어야 합니다.
번거롭더라도 형식(format: [(order, year, president, address))에 맞게 채워야만 전체 텍스트를 다운로드할 수 있습니다.
우선 연설문의 주소로 이동하면 다음(Next) 연설문의 링크가 있으므로 차례대로 링크를 이동하면서 해당 주소와 제목 등을 형식에 맞게 president_list[] 변수에 채우고 예제 코드를 실행하셔야 합니다.
연설문 주소: https://en.wikisource.org/wiki/George_Washington%27s_First_Inaugural_Address
president_list = [ # format: [(order, year, president, address),…]
("01", 1789, "First inauguration of George Washington", "https://en.wikisource.org/wiki/George_Washington%27s_First_Inaugural_Address"),
("02", 1793, "George Washington's Second Inaugural Address", "https://en.wikisource.org/wiki/George_Washington%27s_Second_Inaugural_Address"),
("03", 1797, "John Adams's Inaugural Address", "https://en.wikisource.org/wiki/John_Adams%27_Inaugural_Address"),
("04", 1801, "Thomas Jefferson's First Inaugural Address", "https://en.wikisource.org/wiki/Thomas_Jefferson%27s_First_Inaugural_Address"),
("05", 1805, "Thomas Jefferson's Second Inaugural Address", "https://en.wikisource.org/wiki/Thomas_Jefferson%27s_Second_Inaugural_Address"),
...
("58", 2017, "Donald Trump's Inaugural Address", "https://en.wikisource.org/wiki/Donald_Trump%27s_Inaugural_Address"),#대통령취임사 #취임사다운로드 #미국대통령 #웹스크래퍼 #웹스크래핑 #WebScraper #inauguration #scraping
