June is Combung

[KT AIVLE SCHOOL 3기] 웹크롤링 본문

KT AIVLE SCHOOL 기자단/강의

[KT AIVLE SCHOOL 3기] 웹크롤링

june__Park 2023. 4. 23. 20:53

1. 웹크롤링

웹크롤링은 인터넷에서 정보를 수집하는 기술이다. 이 기술은 웹사이트에서 데이터를 추출하거나, 검색 엔진이나 소셜 미디어에서 원하는 정보를 수집하는 데 사용된다. 웹크롤링을 위해서는 프로그래밍 언어를 이용해 웹사이트의 HTML 코드를 읽어들이고 이를 파싱하여 원하는 데이터를 추출해야 한다. 이를 위해 일반적으로 Beautiful Soup, Scrapy 등의 라이브러리를 사용한다. 웹크롤링은 빅데이터나 인공지능 등의 분야에서 매우 중요한 역할을 한다. 하지만 이를 남용하여 법적 문제가 발생할 수 있으므로, 합법적인 방법으로 사용해야 한다.

 

2. HTML

 

HTML은 웹 페이지를 작성하기 위한 기본 마크업 언어이다. HTML은 웹 브라우저가 이해할 수 있는 언어이다.
HTML 문서는 일반적으로 다음과 같은 구조를 가진다.
<!DOCTYPE html>
<html>
<head>
	<title>웹 페이지 제목</title>
</head>
<body>
	<h1>웹 페이지 제목</h1>
	<p>웹 페이지 내용</p>
</body>
</html>
위 예제는 HTML 문서의 기본적인 구조를 보여준다. 
<!DOCTYPE html>은 문서가 HTML5 문서임을 나타내는 선언문이다. 
<html> 태그는 HTML 문서의 시작을 나타낸다. <head> 태그는 문서의 메타데이터를 포함한다. 
<title> 태그는 문서의 제목을 정의한다. <body> 태그는 문서의 본문을 나타낸다. 
<h1> 태그는 제목을, <p> 태그는 단락을 나타낸다.

HTML 문서에서는 다양한 태그를 사용할 수 있다. 
예를 들어, 이미지를 삽입하려면 <img> 태그를 사용하고, 링크를 만들려면 <a> 태그를 사용한다. 
또한, CSS를 사용하여 문서의 스타일을 지정할 수 있다.

HTML은 웹 개발에서 매우 중요한 역할을 한다. 모든 웹 페이지는 HTML로 작성되며, 
HTML을 잘 이해하고 사용하는 것은 웹 개발자로서의 필수적인 기술이다.

 

3. Beautiful Soup

Beautiful Soup은 Python으로 작성된 HTML과 XML 분석 라이브러리이다. Beautiful Soup은 HTML 및 XML 문서에서 데이터를 추출하고 검색하는 데 사용할 수 있는 간단하고 사용하기 쉬운 인터페이스를 제공한다.

다음은 Beautiful Soup을 사용하여 웹 페이지에서 데이터를 추출하는 간단한 예제 코드이다.

import requests
from bs4 import BeautifulSoup

url = 'http://example.com'
response = requests.get(url)
html = response.content

soup = BeautifulSoup(html, 'html.parser')

title = soup.title.text
print(title)

links = soup.find_all('a')
for link in links:
    href = link.get('href')
    print(href)
위 코드는 requests를 사용하여 웹 페이지의 HTML 코드를 가져오고, BeautifulSoup을 사용하여 HTML 코드를 구문 분석한다. soup.title.text를 사용하여 HTML 문서의 제목을 추출하고, soup.find_all('a')를 사용하여 웹 페이지에서 모든 링크를 찾는다. 링크의 href 속성을 추출하여 출력한다.
Beautiful Soup은 HTML 및 XML 분석에 유용한 다양한 기능을 제공한다. 웹 크롤링 및 데이터 마이닝과 같은 작업을 수행하는 데 사용될 수 있다. Beautiful Soup은 Python 기반의 웹 스크래핑을 할 때 유용한 도구 중 하나이다.

 

4. Scrapy

 

Scrapy는 Python으로 작성된 웹 크롤링 및 웹 스크래핑 프레임워크이다. Scrapy는 웹 크롤링에 필요한 모든 기능을 제공하며, 분산 크롤링, 데이터 추출, 데이터 저장 및 처리, 봇 방지 등의 기능을 지원한다.

Scrapy는 크롤링 및 스크래핑을 단순화하고, 프로그램적으로 처리할 수 있는 기능을 제공한다. Scrapy를 사용하여 여러 웹사이트를 동시에 크롤링하고, 크롤링 된 데이터를 MySQL, PostgreSQL, MongoDB 등의 데이터베이스에 저장할 수 있다.

Scrapy는 기본적으로 다음과 같은 구조로 이루어져 있다.

- Spiders: 웹 크롤링에 사용되는 주요 구성 요소이다. Scrapy에서 Spider는 특정 웹사이트에서 데이터를 추출하기 위한 규칙을 정의한다.
- Items: 크롤링 된 데이터를 저장하기 위한 컨테이너이다. 크롤링 된 데이터는 Items로 추출되어 처리된다.
- Pipelines: 크롤링 된 데이터를 저장하거나 처리하기 위한 프로세스이다. 크롤링 된 데이터는 파이프라인을 통해 처리되어 저장된다.

Scrapy를 사용하여 크롤링을 구현할 때는, Spider, Item 및 Pipeline 등의 요소를 사용하여 구조를 정의하고, 설정 파일을 구성하여 구현할 수 있다. Scrapy를 사용하면 매우 효율적으로 크롤링 및 스크래핑을 수행할 수 있으며, 빠른 속도와 성능을 제공한다.
import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

 

저작자표시 (새창열림)

'KT AIVLE SCHOOL 기자단 > 강의' 카테고리의 다른 글

[KT AIVLE SCHOOL 3기] 딥러닝(2)  (0) 2023.04.24
[KT AIVLE SCHOOL 3기] 딥러닝(1)  (0) 2023.04.24
[KT AIVLE SCHOOL 3기] 머신러닝  (0) 2023.04.23
[KT AIVLE SCHOOL 3기] 데이터 처리/분석 및 의미찾기  (0) 2023.03.28
[KT AIVLE SCHOOL 3기] GitHub  (0) 2023.03.25
'KT AIVLE SCHOOL 기자단/강의' Related Articles more
Comments