0. 기본 패키지

• 1. 실습을 위한 패키지 import

1. url 호출

• 2. 요청을 보내는 주소 입력하기
• 3. 파라미터의 구조에 대해 이해하기
• 4. 여러 단어에 대한 각각의 검색결과 보기
• 5. requests 패키지 활용

2. 문서(html) 만들기

• 매직코드(%%writefile) 활용

3. bs4 패키지 for 파싱

• 1. BeautifulSoup를 이용해 HTML 소스를 파싱
• 2. prettify를 활용해 문자객체를 개행하여 출력하기
• 3. 문서 내 tag 검색
• 4. 문장객체를 활용한 조회

4. 실습 예

• 1. 파일생성
• 2. 파일호출
• 3. 문장객체
• 4. 문장지정

복습

• find vs select(선택자, 조합가능)

  select 활용 사례

  soup.select(body h1)

  →  `(공백)` : 자손 선택자, 광범위할 수 있음 주의 
  

  soup.select(body>h1)

  →  `>` : (바로 아래있는) 자식 선택자
  

  soup.select(body#h1)

  →  `#` : id 선택자 
  

  soup.select(body.h1)

  → `.` : class 선택자 
  

웹 스크래핑 주의사항

규칙, 패턴을 여러대상을 동시에 찾을 수 있는 선택자로 만들(찾을) 수 있어야 한다.

너무 빈번한 접속 피하기 → 서버부하 증가, 차단.

사이트의 구조는 예고없이 변경될 수 있다.

인터넷에 공개된 내용이라도 저작권이 있는 경우가 있다.

class 속성

→ <div class="td(공백)abc"> : 속성이 2개