[Python]URL 파라메터 추출(feat.urlparse)

크롤링을 하면서 파라메터에 따른 주소 창의 값들을 분석해야 하는 경우가 있다.

어떤키에 값이 있는지 체크를 할때 방법으로는

정규식으로 처리 또는 python 라이브러리인 urlparse를 사용하는 방법이다.

 

urlparse를 사용하면 간단히 파라메터 값을 구할수 있다.

단 여기서 파라메터를 구하기 위해서는 get방식의 주소 값으로 되어 있어야 한다.

http://example.com/test?id=xxx 이런식의 주소여야 한다.

 

 

#URL 주소를 넣어줘야 한다.
url_check = urlparse('http://www.example.com/test?id=1235')

# parse_qsl 라이브러리르 통해서 분리 하고 dict로 저장
qs = dict(parse_qsl(url_check.query))

#qs 값 확인
print(qs)

#개별 키값을 확인
print(qs['id'])

위의 방법으로 파라메터 값을 추출한다.

만약 파라메터를 변경하여야 한다면 아래와 같이 사용하면 된다.

#파라메터 값 변경
qs['idx']=11122

변경한 값을 다시 요청해야 하는 경우 다시 호출할때 적용하는 방법은 아래와 같다.

# 수정된 파라메터를 변경
parts = url_check._replace(query=urlencode(qs))
# 변경된 파라메터를 처리
url_link = urlunparse(parts)

그리고 나서 호출하는 기능으로 url_link를 호출하면 된다.

 

그러면 요청한 값으로 페이지를 읽을수 있다.

 

감사합니다.