User-agent1 [python] 웹 스크래핑에 앞서 request 모듈과 User Agent에 대하여. 파이썬을 통한 웹스크래핑을 하기 이전에 필요한 과정이 있다. 바로 request 모듈을 설치하는 것이다. requests 모듈은 파이썬에서 https 요청을 보내서 사이트에서 원하는 정보를 추출하기 위해 사용하는 모듈이다. requests 모듈은 터미널에서 설치가능하다. 사용중인 파이썬 버전에 따라 pip3 install requests 를 통해 설치가능하다. Requests 모듈 사용하기. import requests : # requests 모듈을 import 해준다. res = requests.get(url) : # 가져온 url에 대한 정보를 res라는 변수에 담는다. res.raise_for_status() : # 웹스크래핑 위해서 올바른 html 가져왔는데, 문제가 있는지 체크하는 과정이다. 없.. 2021. 9. 5. 이전 1 다음