Crawling & Crawing¶
1. 실전 예제: 크롤링¶
- 이커머스(지마켓) 베스트100 상품 타이틀/가격 추출하기
In [2]:
import requests
from bs4 import BeautifulSoup
import re
res = requests.get('http://corners.gmarket.co.kr/Bestsellers?viewType=G&groupCode=G06')
soup = BeautifulSoup(res.content, 'html.parser')
bestlists = soup.select('div.best-list')
bestitems = bestlists[0]
products = bestitems.select('ul li')
for index, product in enumerate(products):
title = product.select_one('a.itemname')
price = product.select_one('div.s-price > strong')
#print (index +1,title.get_text(), price.get_text())
print (index +1,title.get_text(), price.get_text(),title['href'])
1 [레노버]최종가:171,300원 레노버 T1SPRO 클린스테이션 청소기 유럽버전 202,000원 http://item.gmarket.co.kr/Item?goodscode=2503838729&ver=637940959547935690
2 [갤럭시]갤럭시S22 5G 256GB 자급제 SM-S901N 930,150원 http://item.gmarket.co.kr/Item?goodscode=2368181342&ver=637940959547935690
3 [유파]내일도착유파 선풍기리모컨초미풍발터치 TSK-3528CR 29,900원 http://item.gmarket.co.kr/Item?goodscode=2177829053&ver=637940959547935690
4 [르젠]르젠 리모컨 써큘레이터 저소음 선풍기 LZEF-AR03 49,800원 http://item.gmarket.co.kr/Item?goodscode=2156634422&ver=637940959547935690
5 부토 전기찜기 계란찜기 간편세척 NBE622W 다용도찜기 22,900원 http://item.gmarket.co.kr/Item?goodscode=1824732735&ver=637940959547935690
6 [대우]대우 에어 써큘레이터DEF-KC1020스탠드선풍기 공기순환 35,900원 http://item.gmarket.co.kr/Item?goodscode=1833787752&ver=637940959547935690
7 [갤럭시]갤럭시S22울트라 5G 512GB 자급제 SM-S908N 1,442,800원 http://item.gmarket.co.kr/Item?goodscode=2368198373&ver=637940959547935690
8 [다이슨](최종55만원대) 본사 다이슨 에어랩 스타일러 볼륨 앤 쉐이프 + 스탠드 라운드 브러시 증정 571,330원 http://item.gmarket.co.kr/Item?goodscode=2506338349&ver=637940959547935690
9 [삼성전자]삼성 갤럭시 워치4 40mm 카드할인7%+필름 203,840원 http://item.gmarket.co.kr/Item?goodscode=2256018929&ver=637940959547935690
10 [기가바이트]A5 K1 R5 특가89만 라이젠 R5-5600H/16GB/512GB/RTX3060/FHD 144Hz/300nit 가성비 게이밍 노트북 1,078,000원 http://item.gmarket.co.kr/Item?goodscode=2345130021&ver=637940959547935690
11 Hulmay 초음파 가정용 셀프 구강청결기 자동 39,920원 http://item.gmarket.co.kr/Item?goodscode=2206519643&ver=637940959547935690
12 [삼성전자]갤럭시 A53 5G SM-A536N 128G 자급제 _RM 495,430원 http://item.gmarket.co.kr/Item?goodscode=2414113731&ver=637940959547935690
13 [비스포크](최대혜택가 53만원대) 삼성 비스포크 제트 무선청소기 220W VS20B956AXE 629,560원 http://item.gmarket.co.kr/Item?goodscode=2353826601&ver=637940959547935690
14 [대웅모닝컴](행사) 대웅모닝컴 14형 스탠드 선풍기 (신제품 입고) 29,900원 http://item.gmarket.co.kr/Item?goodscode=2410296201&ver=637940959547935690
15 [솔러스에어]1+1 2개 무선 선풍기 탁상용 미니 휴대용 캠핑용 벽걸이 사무실 선물용 가정용 59,900원 http://item.gmarket.co.kr/Item?goodscode=2039631118&ver=637940959547935690
16 [신일전자]신일 기본형 선풍기 ---10% 다운로드 쿠폰--- 59,900원 http://item.gmarket.co.kr/Item?goodscode=1324935106&ver=637940959547935690
17 [윈드피아](특가) 22년형 가정용 업소용 스탠드선풍기 WA-170 29,900원 http://item.gmarket.co.kr/Item?goodscode=1812561991&ver=637940959547935690
18 [위닉스](공식인증점) 위닉스 뽀송 제습기 10리터 DXAE100-JWK 209,550원 http://item.gmarket.co.kr/Item?goodscode=2029898345&ver=637940959547935690
19 [갤럭시]갤럭시S22울트라 5G 256GB 자급제 SM-S908N 1,350,700원 http://item.gmarket.co.kr/Item?goodscode=2368212693&ver=637940959547935690
20 크레마 S (crema S) 블랙 / 화이트 199,000원 http://item.gmarket.co.kr/Item?goodscode=2309283884&ver=637940959547935690
21 [통돌이]혜택가63만원대 LG 통돌이세탁기 T20WT 블랙라벨+ 20kg DD모터 684,000원 http://item.gmarket.co.kr/Item?goodscode=2190227853&ver=637940959547935690
22 [코드나인]1+1 탁상용 휴대용 선풍기_FAN190 / 화이트 30,500원 http://item.gmarket.co.kr/Item?goodscode=1596574418&ver=637940959547935690
23 [삼성전자]삼성 공식인증 MicroSD EVO Plus 512GB MB-MC512KA EL 58,880원 http://item.gmarket.co.kr/Item?goodscode=2235048629&ver=637940959547935690
24 [대웅모닝컴]대웅 3D 입체회전 리모컨 스탠드 써큘레이터 선풍기 39,800원 http://item.gmarket.co.kr/Item?goodscode=1837069644&ver=637940959547935690
25 [트롬]혜택가 223만원대 LG 트롬 워시타워 W17WTA 24kg+17kg 2,339,000원 http://item.gmarket.co.kr/Item?goodscode=2059718680&ver=637940959547935690
26 [로지텍]로지텍코리아 정품 무선 마우스 MX MASTER 3S /무소음 /멀티페어링 /BOLT지원 /윈+맥OS호환 /2가지 컬러 139,000원 http://item.gmarket.co.kr/Item?goodscode=2454705628&ver=637940959547935690
27 [비달사순]비달사순 2000W 전문가용 헤어드라이기 VSD5129K 22,800원 http://item.gmarket.co.kr/Item?goodscode=1807976048&ver=637940959547935690
28 [브라운]BRAUN 전기면도기 시리즈9Pro 9415s + 세척스테이션 + 세정액 349,000원 http://item.gmarket.co.kr/Item?goodscode=2504064183&ver=637940959547935690
29 [라이젠7]AMD 라이젠7-4세대 5800X (버미어) (멀티팩) 回 313,070원 http://item.gmarket.co.kr/Item?goodscode=2391404231&ver=637940959547935690
30 [신일전자]신일 강화유리 무선 전기주전자 SEP-GW90 28,000원 http://item.gmarket.co.kr/Item?goodscode=525636033&ver=637940959547935690
31 [쿠쿠]본사직영 CRP-CHP1010FD 10인용 IH전기압력 밥솥 249,000원 http://item.gmarket.co.kr/Item?goodscode=1841728247&ver=637940959547935690
32 [에어팟]혜택가22만원대 에어팟 프로 MagSafe MLWK3KH/A 254,990원 http://item.gmarket.co.kr/Item?goodscode=2259681569&ver=637940959547935690
33 [신일전자]신일 스탠드형 리모컨 써큘레이터 선풍기 SIF-P14PDB 74,900원 http://item.gmarket.co.kr/Item?goodscode=1822476026&ver=637940959547935690
34 [쿠쿠]본사직영 20L 전자레인지 CMW-A201DW 화이트 56,000원 http://item.gmarket.co.kr/Item?goodscode=2019952693&ver=637940959547935690
35 [HP]빅터스 15-fa0051TX 특가69만 인텔 12세대 i5/지포스 RTX3050 FHD 144Hz 최신 가성비 게이밍 노트북 903,500원 http://item.gmarket.co.kr/Item?goodscode=2443815230&ver=637940959547935690
36 [레드울프]S22 노트20/노트10/S21/S20/S10/A53/A32 울트라 가죽 19,900원 http://item.gmarket.co.kr/Item?goodscode=268988080&ver=637940959547935690
37 [삼성전자]갤럭시 A23 128GB SM-A235N 자급제 미개봉 321,160원 http://item.gmarket.co.kr/Item?goodscode=2447586377&ver=637940959547935690
38 [샤오미]샤오미 FRESTECH 가정용 미니 제빙기 대용량 고속제빙/무료배송 78,300원 http://item.gmarket.co.kr/Item?goodscode=2495331274&ver=637940959547935690
39 [삼성전자]공식파트너 삼성 UHD TV 163cm KU65UA8070FXKR 티비 1,139,000원 http://item.gmarket.co.kr/Item?goodscode=2080136211&ver=637940959547935690
40 [기가바이트]A7 K1 R7 특가109만 라이젠 R7-5800H/16GB/512GB/RTX3060/FHD 144Hz/300nit 가성비 게이밍 노트북 1,295,000원 http://item.gmarket.co.kr/Item?goodscode=2345132511&ver=637940959547935690
41 [갤럭시]갤럭시S22플러스 5G 256GB 자급제 SM-S906N 1,116,190원 http://item.gmarket.co.kr/Item?goodscode=2368185629&ver=637940959547935690
42 [코드나인]1+1 탁상용 휴대용 선풍기_FAN190 /화이트+블랙 30,500원 http://item.gmarket.co.kr/Item?goodscode=2361192723&ver=637940959547935690
43 [테팔](10%중복할인) 블렌더 믹서기 블렌드포스 플러스 BL4258 52,900원 http://item.gmarket.co.kr/Item?goodscode=2354875261&ver=637940959547935690
44 [위닉스]공식인증점 뽀송 제습기 10리터 DXAE100-JWK 219,000원 http://item.gmarket.co.kr/Item?goodscode=2030969669&ver=637940959547935690
45 [엡손]엡손 에코탱크 L3256 정품 무한 잉크젯 복합기 169,000원 http://item.gmarket.co.kr/Item?goodscode=2294488148&ver=637940959547935690
46 [LG전자]LG 그램16 16ZD95P-GX56K 예약판매117만 인텔i5 16G 1,379,000원 http://item.gmarket.co.kr/Item?goodscode=2308169322&ver=637940959547935690
47 S22 울트라 노트20/노트10/S21/S20/A53 A32 A23 가죽 19,900원 http://item.gmarket.co.kr/Item?goodscode=826268928&ver=637940959547935690
48 갤럭시 S22 5G SM-G901N 256GB 자급제 RE 900,000원 http://item.gmarket.co.kr/Item?goodscode=2491630305&ver=637940959547935690
49 [김치플러스](공식인증점) 뚜껑형 김치냉장고 RP20A3111S9 202L 629,000원 http://item.gmarket.co.kr/Item?goodscode=2035604991&ver=637940959547935690
50 [레노버]SLIM5-15ITL Premiere i5 Plus FreeDos 최대혜택가65만 769,000원 http://item.gmarket.co.kr/Item?goodscode=2058433268&ver=637940959547935690
51 [알피쿨]Cartour알피쿨 K25모델 독일콤프 153,000원 http://item.gmarket.co.kr/Item?goodscode=2090522528&ver=637940959547935690
52 [일렉트로룩스]파워PRO 18V 무선청소기 ZB3411 (BEST 인기) 169,000원 http://item.gmarket.co.kr/Item?goodscode=1939404339&ver=637940959547935690
53 [objet]LG 디오스 오브제컬렉션 M873MGB031 875L 1등급 1,990,200원 http://item.gmarket.co.kr/Item?goodscode=2463120537&ver=637940959547935690
54 [윈드피아]가정용 업소용 스탠드 리모컨 선풍기 인기상품 1700R 34,900원 http://item.gmarket.co.kr/Item?goodscode=730730680&ver=637940959547935690
55 [CAS]카스(CAS) 0.1g 디지털 주방저울(전자저울) K-17 1년AS 30,400원 http://item.gmarket.co.kr/Item?goodscode=2150943649&ver=637940959547935690
56 [대웅모닝컴]대웅 가정용 스탠드선풍기 키높이선풍기 28,800원 http://item.gmarket.co.kr/Item?goodscode=1783779831&ver=637940959547935690
57 [HP]빅터스 16-d1141TX 특가112만 인텔12세대 i7 16GB DDR5 256GB RTX3060 FHD 300nit 100%sRGB 게이밍 노트북 1,378,000원 http://item.gmarket.co.kr/Item?goodscode=2353497360&ver=637940959547935690
58 [힐링팩토리]1+1 휴대용 넥밴드 목 선풍기 목걸이 여름 목풍기 25,900원 http://item.gmarket.co.kr/Item?goodscode=2437481473&ver=637940959547935690
59 [아이닉](최종혜택가 17.9만) 아이닉 차이슨 무선청소기 New i20 UV살균브러시 BLDC모터탑재 199,000원 http://item.gmarket.co.kr/Item?goodscode=2346566173&ver=637940959547935690
60 [한일전기]한일 강력 레드모터 저소음 BLDC모터 선풍기 DCF-440R 69,900원 http://item.gmarket.co.kr/Item?goodscode=2444115075&ver=637940959547935690
61 [삼성전자]삼성 갤럭시버즈 프로 ANC 블루투스 이어폰 SM-R190 135,380원 http://item.gmarket.co.kr/Item?goodscode=2004253116&ver=637940959547935690
62 [위닉스]공식인증점 위닉스 제습기 16리터 DO2E160-JWK 1등급 349,000원 http://item.gmarket.co.kr/Item?goodscode=2029899125&ver=637940959547935690
63 [쿠쿠]쿠쿠 CRP-KHTS1060FD IH전기압력밥솥 10인용 hm 345,200원 http://item.gmarket.co.kr/Item?goodscode=1750049572&ver=637940959547935690
64 [삼성전자]갤럭시 버즈2 무선 블루투스 이어폰 SM-R177 97,840원 http://item.gmarket.co.kr/Item?goodscode=2189820260&ver=637940959547935690
65 [TUF]ASUS TUF F15 FX506HM-HN130 인텔 i5/ RTX 3060/144Hz/ 영상 편집/ 에이수스 게이밍 노트북/ 최종가 103만 1,199,000원 http://item.gmarket.co.kr/Item?goodscode=2367786408&ver=637940959547935690
66 [르젠]내일도착르젠2세대 앱연동 BLDC 선풍기 화이트 67,800원 http://item.gmarket.co.kr/Item?goodscode=1859564938&ver=637940959547935690
67 [다이슨](최종47만원대) 본사 다이슨 슈퍼소닉 헤어 드라이어 (아이언/푸시아) + 스탠드 증정 484,030원 http://item.gmarket.co.kr/Item?goodscode=2506336554&ver=637940959547935690
68 [쿠쿠]본사직영 CRP-QS1020FSM 10인용 전기압력 밥솥 135,000원 http://item.gmarket.co.kr/Item?goodscode=1843820564&ver=637940959547935690
69 [휘센]LG전자공식인증점 서울경기충청 LG 에어컨 FQ17HCKWC1 1,337,000원 http://item.gmarket.co.kr/Item?goodscode=2423163299&ver=637940959547935690
70 [씽크북]ThinkBook 14 G3 ACL-21A2000BKR 최종가 48만/R7-5700U/8G/256G/14.0FHD/300nits/지문인식/백라이트/사은품 642,530원 http://item.gmarket.co.kr/Item?goodscode=2119311411&ver=637940959547935690
71 [보네이도]에어 써큘레이터 공기순환기 633B (블랙) 76,140원 http://item.gmarket.co.kr/Item?goodscode=1829896249&ver=637940959547935690
72 [쿠쿠]본사직영 CRP-DHP0610FD 6인용 IH전기압력 밥솥 224,000원 http://item.gmarket.co.kr/Item?goodscode=1841718754&ver=637940959547935690
73 [플레이스테이션5]PS5 디스크 에디션 PlayStation 5 플스5 본체 1118 / 3% 스마일캐시 적립 628,000원 http://item.gmarket.co.kr/Item?goodscode=2388552505&ver=637940959547935690
74 [필립스]PHILIPS 전기면도기 SkinIQ 5000 S5582/36 오션블루 159,000원 http://item.gmarket.co.kr/Item?goodscode=2065305475&ver=637940959547935690
75 [삼성전자]삼성전자 데스크탑용 DDR4 8GB램(25600 SAM) 37,100원 http://item.gmarket.co.kr/Item?goodscode=2135780327&ver=637940959547935690
76 [쿠쿠]본사직영 CRP-HQB0310FS 3인용 IH전기압력 밥솥 135,000원 http://item.gmarket.co.kr/Item?goodscode=1844003176&ver=637940959547935690
77 [쿠쿠] 10인용 열판압력밥솥 CRP-QS1010FG 155,100원 http://item.gmarket.co.kr/Item?goodscode=2090496046&ver=637940959547935690
78 [샤오미]MI 스마트 무선 선풍기 4세대 프로 PRO + MI FAN2 PRO 102,900원 http://item.gmarket.co.kr/Item?goodscode=2404047860&ver=637940959547935690
79 [아이피타임]오늘출발 IPTIME A2003MU 공유기/와이파이/무선 39,500원 http://item.gmarket.co.kr/Item?goodscode=1104049953&ver=637940959547935690
80 [로지텍]로지텍 G304 무선 게이밍 마우스 병행 블랙 41,580원 http://item.gmarket.co.kr/Item?goodscode=2464271428&ver=637940959547935690
81 [삼성전자](알파)삼성전자 DDR4 16G PC4-25600 (정품) 수량가능 77,650원 http://item.gmarket.co.kr/Item?goodscode=2491429076&ver=637940959547935690
82 [아이피타임]EFM ipTIME A604R 유무선 와이파이 공유기 무선 공유기 31,900원 http://item.gmarket.co.kr/Item?goodscode=1581731036&ver=637940959547935690
83 [삼성전자](알파)삼성전자 DDR4 8G PC4-25600 (정품) 수량가능 37,880원 http://item.gmarket.co.kr/Item?goodscode=2491439483&ver=637940959547935690
84 [objet]LG 디오스 오브제컬렉션 M873MWW031 875L 1등급 1,990,200원 http://item.gmarket.co.kr/Item?goodscode=2463097159&ver=637940959547935690
85 [하임셰프]음성지원 완전자동 스마트식기건조기 HTD-1101 99%살균 109,000원 http://item.gmarket.co.kr/Item?goodscode=2099158992&ver=637940959547935690
86 [다이슨]다이슨 에어랩 스타일러 컴플리트 롱 / 정품 / L 735,800원 http://item.gmarket.co.kr/Item?goodscode=2001982050&ver=637940959547935690
87 [큐씨와이]QCY T13 APP 화이트 TWS 블루투스 이어폰 19,600원 http://item.gmarket.co.kr/Item?goodscode=2320935649&ver=637940959547935690
88 [소닉케어](15%중복) (1+1특가) 소닉케어 1100 시리즈 HX3641/41 전동칫솔 59,900원 http://item.gmarket.co.kr/Item?goodscode=2400015765&ver=637940959547935690
89 [ReQm]고속충전 잔량표시 20000mAh 보조배터리 QP2000A 20W 34,900원 http://item.gmarket.co.kr/Item?goodscode=1718833381&ver=637940959547935690
90 [윈드피아]가정용선풍기 업소용선풍기 스탠드 선풍기 WA-370블랙 23,900원 http://item.gmarket.co.kr/Item?goodscode=1382089049&ver=637940959547935690
91 [필립스](15% 중복)필립스 전기면도기 3000 시리즈 S3232/52 75,000원 http://item.gmarket.co.kr/Item?goodscode=2327543754&ver=637940959547935690
92 [엔보우]모노 탁상용 무선 휴대용 선풍기 2세대 1+1(할인 행사) 29,900원 http://item.gmarket.co.kr/Item?goodscode=1812271382&ver=637940959547935690
93 [알로코리아]고속충전 대용량 보조배터리 700QCPD 20000mAh 네이비 29,900원 http://item.gmarket.co.kr/Item?goodscode=1590064456&ver=637940959547935690
94 [쿠쿠]본사직영 CRP-ST0610FW 6인용 트윈프레셔 밥솥 200,000원 http://item.gmarket.co.kr/Item?goodscode=2123941075&ver=637940959547935690
95 [필립스](20% 중복할인)PHILIPS 진공 초고속 믹서기 HR3752/00 진공블렌더 35000RPM 169,000원 http://item.gmarket.co.kr/Item?goodscode=2398739604&ver=637940959547935690
96 [필립스]필립스 1200 전자동 에스프레소 커피머신 EP1224/03 399,000원 http://item.gmarket.co.kr/Item?goodscode=2177835886&ver=637940959547935690
97 프리미엄 IPX8등급 스마트폰 방수팩 1+1 15,000원 http://item.gmarket.co.kr/Item?goodscode=2171849755&ver=637940959547935690
98 [샤오미]샤오미 스마트미 3세대 무선선풍기 2S 리모컨 증정 80,000원 http://item.gmarket.co.kr/Item?goodscode=2116144439&ver=637940959547935690
99 [블린즈]BLDC 스탠드형 에어 써큘레이터 선풍기 저소음 리모컨 32,800원 http://item.gmarket.co.kr/Item?goodscode=2435016577&ver=637940959547935690
100 [쿠쿠]본사직영 CRP-EHS0320FS 3인용 IH전기압력 밥솥 200,000원 http://item.gmarket.co.kr/Item?goodscode=2014412810&ver=637940959547935690
In [1]:
import requests
from bs4 import BeautifulSoup
import re
#product_lists = list()
res = requests.get('http://corners.gmarket.co.kr/Bestsellers')
soup = BeautifulSoup(res.content, 'html.parser')
data = soup.find(class_='best-list')
products = data.select('ul > li')
for index, item in enumerate(products):
name = item.select_one('a.itemname')
Price = item.select_one('div.s-price > strong')
#print(data)
print (index+1,name.get_text().strip(),Price.get_text())
#product_lists.append(info)
1 [올반키친]올반 찰핫도그 80g X 30봉 아이가 좋아하는 흔한남매 26,700원
2 젓갈대전 3종세트 모음전 G11510 (오징어젓갈/비빔낙지/비빔오징어/갈치속젓/무말랭이) 12,900원
3 [도루코]베이직 주방가위 103A 1+1/미끄러짐없는가위 9,900원
4 [퀸센스]깊은 스텐 믹싱볼 2종세트 + 멀티 스텐채반 사은품 13,900원
5 고당도 스페인 네이블 오렌지 중대과 2.1kg 내외/ 7~10과 /12브릭스 이상 13,200원
6 [마녀바스켓]제주 미니밤호박(보우짱) 못난이 4.5kg 랜덤과/쿠폰가 12580원 14,900원
7 부토 전기찜기 계란찜기 간편세척 NBE622W 다용도찜기 22,900원
8 삼진어묵 옛날모듬어묵 1Kg x 3개 +15% 25,900원
9 [아침농산](21년산/혼합/상) 농부의아침 쌀10kg 백미 쿠폰가 19710원 21,900원
10 [살림시대]살림시대 변기클리너 1+1 행사 /1개당 2000회 사용가능 9,900원
11 고당도 스페인 네이블 오렌지 특대과 17과 (5kg내외) 28,900원
12 [소다스쿨]과탄산소다 특대용량 7kg / 산소계 표백제 14,900원
13 [두보식품]헤이오트 바로먹는 퀵 오트밀 2kg Pet 9,800원
14 (옵션선택) 시서례 초등 국어 독해력 비타민 / 어린이 훈민정음 / 나의 생각 글쓰기-개정판 10,000원
15 신개념 단어 암기비법/ 자동암기 8단계 학습시스템/수상한영단어/전2권 28,000원
16 (카드가능) 기프트코드 10만원 / 구글 기프트카드 95,000원
17 [순수본가]순수본가 한방 돼지양념 왕구이 1.2kg+1.2kg 18,500원
18 공유 논스틱 주방용 칼 식칼 세트 6종 가위 감자칼 7,900원
19 [폴햄](현대백화점)폴햄 2022 여름용 남여 퀵 드라이 허리 밴딩 4부 5부 무지 반바지 PHC2PH1083 PHC2PH2083 9,940원
20 잇슈 여름신상 쪼리 슬리퍼 플랫샌들 뮬샌들 통굽샌들 10,000원
21 [아웃백스테이크하우스](아웃백/빕스) 페이즈 기프트 외식 5만원권 44,500원
22 [제스프리][제스프리] 썬골드키위 점보사이즈 3.8kg (23-25과 과당 155g 내외) 35,300원
23 코코리22%여름 여자 반팔티셔츠 맨투맨 원피스 나시티 블라우스 12,900원
24 여성티메이 티셔츠 블라우스 상하세트 청바지 원피스 9,900원
25 초등독서력 키우는 읽기놀이 일 년 열두 달 26,000원
26 개암나무-우리말표현력활동책(전4권) 44,000원
27 [블루독](롯데백화점)CR)B_ECO맨투맨 22175-334-0103 24,200원
28 (휠라코리아) (대전신세계)[휠라] 엘리트 코트(ELITE COURT) /오크먼트 TR(OAKMONT TR) / 스키퍼 (SKIPP... 27,840원
29 [메가박스](메가박스)일반예매권2D-주중/주말 9,100원
30 [슈가버블]슈가버블 주방세제 레몬크러쉬 470mlx4개 (+레몬주방940ml+고급면행주 증정) 9,800원
31 [비비고]비비고 왕교자1.05kg 3개 25,420원
32 [가나양말]균일가 남녀 학생 덧신 페이크 발목 양말 7,900원
33 [아르떼(Arte)]아르떼 KF94 새부리형 국산 마스크 대형 소형 키즈 화이트 블랙 컬러 여름용 식약처인증 개별포장 24,900원
34 머리끈 대형우산 양말 티메이 모자 가방 에코백 7,900원
35 [블랙야크](롯데백화점)블랙야크 남녀공용 흡한 속건 냉감 기능성 라운드 반팔 3장 셋 33,520원
36 다우니 엑스퍼트 실내 건조 플로럴 프레시향 1L 6개 34,080원
37 공부머리만드는 그림책놀이 일 년 열두 달 24,000원
38 [의성마늘햄]의성마늘 로스팜 200g 10개 17,900원
39 남성 아이스 냉감 드로즈 누디 쿨 남자 사각 팬티 5장 11,900원
40 [의성마늘햄]의성마늘 프랑크 70gx30개 24,900원
41 한우 육회200g 10,900원
42 [동원에프앤비]동원 라이트 스탠다드 참치 150g 원터치 10개 20,900원
43 3+1여름/봄시즌오프/남녀쿨팬츠/아이스슬랙스/티셔츠 6,800원
44 VIPS 빕스 볶음밥 5종 230g 10개세트 25,900원
45 [키스해링](10%+12%)기획 팝아트 드로즈 메쉬 드로즈 5종 택1 15,900원
46 이경희 돼지국밥 600 gx 8팩 16인분 + 양념장4팩증정 21,900원
47 (GLOBAL) IVE(아이브) 아크릴 응원봉 18,000원
48 [비상교육]비상교육 초등 문제집 시리즈 13,000원
49 로리니크 L04 전문가용 단백질 헤어영양크림 (2개당+1) 10,900원
50 [Gfresh]훈제오리 슬라이스 800g+800g (쿠폰17270원) /바비큐 20,900원
51 [크리넥스]3겹 울트라클린 30MX30롤 3팩 두루마리 화장지 휴지 48,900원
52 [미센스]마레몬떼/에꼴드파리 여름 클리어런스 세일 BEST 100종 특가 + 누구나 10% 할인쿠폰 8,900원
53 [알트베니]알트베니 여성캐쥬얼 빅사이즈 원피스 블라우스 7,800원
54 후라밍고 22SS 핫썸머 리얼 인견 100% 쿨 팬츠 3종 39,900원
55 [Gfresh]미스타셰프 육개장 600g 4팩/2+1증정 12,400원
56 [페이지플린](무료반품) 10%+12%쿠폰/무배/에스페이지플린 블라우스/원피스/티셔츠 19,900원
57 [햇반]CJ 햇반 210g 36개 1박스 36,810원
58 HACCP인증/국내산 물김치 (얼갈이+열무)2kg/쿠폰11250 12,500원
59 (무료반품) 슬레진저 남성 여성 슬리퍼 샌들 아쿠아슈즈 여름 운동화 10,000원
60 [에그머니](에그머니) 온라인게임상품권 5만원 45,000원
61 쿠폰22% 블라우스/원피스/스커트/바지 10,000원
62 [잘풀리는집]순수 프리미엄 30M 30롤 2팩 +GS2000원 경품 28,900원
63 [신화당]자동주문 앱 구매시 10% 할인시즌2 신화당제과 우리쌀 전병 5가지 맛 10박스 38,900원
64 반디랑 블록한자 1 2 3 4 전4권 52,000원
65 [다우니퍼퓸]다우니 퍼퓸 블랙 미스티크 향 2L 1개 7,600원
66 (카드가능) 기프트코드 20만원 / 구글 기프트카드 190,000원
67 [SOil](S-OIL) 모바일주유권 5만원권 49,000원
68 ESQUIRE 에스콰이어 스페셜에디션 :나의 별에게손우현X김강민 화보집 합본 C형 : 표지 : 손... 20,800원
69 무료반품+10%+12%/여름 운동복과 일상복까지 가능한 멀티아이템 10,000원
70 [하누소][하누소] 왕갈비탕 650g 6팩 세트 36,550원
71 [바라던]샤브샤브 불고기용 소고기 200g 3팩/ 미국 CAB 척롤 14,900원
72 22 SS 윌슨 데일리 카라셔츠/하프팬츠 외 특가전 9,900원
73 22SS 먼지없는 항균 고주파 스프레드 3장세트 29,900원
74 [햇반]햇반 210g x24입 25,420원
75 [리챔]리챔 오리지널 200g 10캔 20,900원
76 [제주삼다수]제주삼다수 500ml 40병 /생수전문배송 17,900원
77 ESQUIRE 에스콰이어 스페셜에디션 :나의 별에게손우현X김강민 화보집 합본 B형 : 표지 : 손... 20,800원
78 빅사이즈 44~110/린넨 원피스/아우터/블라우스/반팔티 12,900원
79 [MLB]스포츠양말 남자양말 여성 학생 덧신 풋커버발목 패션 7,900원
80 [코드나인]1+1 탁상용 휴대용 선풍기_FAN190 / 화이트 30,500원
81 [에이지투웨니스]롱프로텍션 선팩트 시즌2(본품+리필2) 리필추가증정 21,890원
82 [맥심](행사상품)N 동서식품맥심모카골드믹스230T 2760G 23,900원
83 미니맥반석 오징어 200g(15-20장)+사은품 8,500원
84 로코엘라X방송상품 린넨티/반바지/원피스 99까지 6,500원
85 [할리스]시그니처 아메리카노 미니(다크) 100T 18,500원
86 [룰루홈]초경량 미니 캡슐 양산 우산 양우산 우양산 여성 7,900원
87 (카드가능) 기프트코드 5만원 / 구글 기프트카드 47,500원
88 [뉴케어]뉴케어 구수한맛 200ml x 30팩 /균형영양식 식사대용 43,900원
89 닥터크린 피톤치드를 담은 물티슈 100매 20팩 55gsm 13,900원
90 [예지미인]데일리코튼 롱 팬티라이너 81Px3팩 + 복수구매시 라이너 추가증정 11,500원
91 [삼양]소컵 6종 12개입 (삼양+불닭+나가사끼+맛있는라면+까르보불닭+육개장) 11,500원
92 [마니커]버팔로 치킨윙봉 1kg+1kg 25,100원
93 [해듬뿍]완도산 활전복 실속세트 쿠폰가 31080원 대전복 11-13미 1KG 중복 맞이 선물용 횟감용 국내산 34,900원
94 자연과농부 흑마늘 무뼈족발 500g x2팩 (4-5인분)+새우젓증정 15,400원
95 [푸마](신세계센텀점)[기간한정특가] 푸마 아미트레이너 라이더 독일군 스니커즈 남여공용 386944 Army Traine... 46,930원
96 (카드가능) 기프트코드 3만원 / 구글 기프트카드 28,500원
97 [매일두유]매일두유 고단백 190ml 48팩 26,900원
98 [길벗스쿨]길벗_영어 감정 표현 사전+영국 주간지 스터디 2권 세트 49,000원
99 4박스(200봉) 고멧 참깨 코코넛 크래커 과자 간식 15,900원
100 배송비체험 여우별 스키니핏 팬티형 생리대 1팩 / 유기농 순면 커버 2,500원
101 [학산문화사]특가) 반짝반짝 캐치 티니핑 스티커 놀이북 색칠북 워크북 코디북 낱권선택 7,000원
102 [제주삼다수]제주삼다수 그린 2L 24병 /생수전문배송 23,520원
103 [마르조]10%+15% 할인쿠폰 마르조 오나라 단하루특가 10,000원
104 미미나나 신상 티셔츠/빅사이즈/원피스/팬츠/특가 7,900원
105 [웅진]빅토리아 청포도향 500ml x 40개입 17,400원
106 원어민줌클래스/영어/잔라이더선생님/수퍼스피치/Super Speech/주2회/수목반/6주코스 120,000원
107 [킨즈]방학맞이 킨즈 어린이 장난감 빅세일 KC인증 25,400원
108 [롯데칠성]펩시콜라 제로 210ml x 30캔 17,900원
109 ESQUIRE 에스콰이어 스페셜에디션 :나의 별에게손우현X김강민 화보집 합본 A형 : 표지 : 손... 20,800원
110 밥맛좋은 경기미 백미 쌀10kg 21년햅쌀/특등급 24,900원
111 [유파]내일도착유파 선풍기리모컨초미풍발터치 TSK-3528CR 29,900원
112 초중고 말하기 수행평가인터뷰프레젠테이션 스피치대회를 하나로/Super Speech/6월9일 배송 122,200원
113 10층 공주의 성+마법사의 성+드레스 그리기 세트(전3권) 36,000원
114 [초코송이]초코송이 36g X 18개입 X 2박스 14,310원
115 [착한떡]착한떡 영양찰떡 3종세트 총 21개 /개별포장떡/약밥 16,770원
116 라라벨/여름신상/반팔/블라우스/셔츠/가디건 11,400원
117 [백산수]백산수 무라벨 2L 24병 /생수전문배송 21,200원
118 [보성농협](21년산/상등급)보성다향미 쌀20kg 쿠폰가40900원 백미 당일도정 쌀유목민 정착쌀 45,900원
119 [크리넥스]크리넥스 울트라클린 카카오 30M30롤3팩 화장지 휴지 48,900원
120 [논개황금쌀]e경남몰 진주 논개 GAP 황금쌀 10kg (영호진미) 22,500원
121 베스트 자녀교육서 모음전 24,000원
122 이투스 중등 고등 문제집 시리즈 13,000원
123 [케라시스]애경 케라시스 퍼퓸샴푸 체리블라썸 1L(용기)X3개 19,900원
124 [스팸]스팸 클래식 200g x9개 25,420원
125 PH365 프리미엄 프로바이오틱스 베이비 아기유산균 39,000원
126 [바프(Hbaf)]HBAF 바프 아몬드 40g 16봉 골라담기 + 증정 17,900원
127 [Gfresh](누리푸드)청정우 요리만능 차돌양지 다짐육 250gX3팩 15,900원
128 아람키즈 바나나 창작 동화 기획 세트 55,000원
129 [바다원]국내산 건오징어 5미(150g 내외) 마른오징어 12,500원
130 쿨 메쉬 브라탑 1+1+끈나시/스포츠브라/빅사이즈/팬티 8,900원
131 [참도깨비]금강만두 육개장 630g x5봉/ 쿠폰17620원/ 팩당 3500원 21,400원
132 [모던하우스]모던하우스 키즈리빙/주방 BEST시리즈 모음 16,900원
133 [입큰]12.5 퍼퓸 파우더 썬팩트 본품 특가外 전품목 BIG SALE/옵션 2개구매시 증정 9,900원
134 [오리온]포카칩 오리지널 66g 20봉 19,350원
135 [예진원]전남 무안 김진원님의 자색양파즙 100포 7월특가 19,900원
136 [베베숲]프리미어 70매 캡 20팩 32,120원
137 [컴포트랩]빅시 탐탐 브라렛 단품 무료반품 16,900원
138 [캘빈클라인언더웨어][CK언더웨어]남성 코튼 드로즈 3팩 세트(NP2312O-UTC외) 33,290원
139 생새우살 대사이즈 1+1 (약 70미) 71/90 9,900원
140 [김치사발면]김치사발면 86g 6개입 3,900원
141 [킨즈]킨즈 초소형 소형 3D 아이랑 유아 아동 마스크 100매 17,900원
142 [오뚜기밥]오뚜기 맛있는 밥 12입(210g12) 2박스 24,900원
143 [맥심]맥심 모카골드 커피믹스 160T: 17900원 쿠폰가~ 19,900원
144 [노브랜드]노브랜드 우리 쌀밥 한공기 210g 24입(1박스) 22,800원
145 [베지밀]베지밀 베지밀 뼈에좋은 칼슘 두유 검은콩 190mlx48팩 21,100원
146 (카드가능) 기프트코드 1만원 / 구글 기프트카드 9,500원
147 [스파클]스파클생수 2L 30병 14,900원
148 [육개장]육개장사발면 86g 6개입 3,900원
149 [비룡소]비룡소 비룡소 읽기 책 1~3탄/1013 베스트 선택구매 104,000원
150 [르샤트라1802]르샤트라 섬유유연제 피오니부케 1.6LX6개 27,900원
151 (카드가능) 기프트코드 15만원 / 구글 기프트카드 142,500원
152 [네스카페]수프리모 오리지널 300T 30,500원
153 [팸퍼스]팸퍼스 베이비드라이 5단계 팬티형기저귀36p 4팩 59,900원
154 2봉/산동고기왕만두1.4kg+김치왕만두1.4kg/만두 간식 16,900원
155 [압타밀]NEW 압타밀 프로푸트라 2단계 800gX 4통 117,300원
156 [쟌슨빌소시지]쟌슨빌 스킨레스 스모크 소시지 52개입 1814g 1팩 24,900원
157 [코드나인]1+1 탁상용 휴대용 선풍기_FAN190 /화이트+블랙 30,500원
158 [센스(물티슈)]물티슈 최종 11890원) 악어 캡형 100매 20팩 대용량 14,400원
159 [롯데칠성]펩시콜라 제로 500mlx20펫 (무바코드)/쿠폰가 13110원 15,900원
160 다담교육_빈세트 놀이미술 단계별 선택 구매 60,900원
161 2개 Orthomol 오쏘몰 이뮨 드링크 정제 30일분 /총60일 117,660원
162 [미래생활]순수PURE천연펄프 25m 30롤 x 3팩 휴지 +GS2000원 경품 29,900원
163 [슈퍼대디]최종28710/NEW울트라씬 썸머 기저귀 외 팬티/밴드 BEST 32,900원
164 [동원에프앤비]동원 고등어 300g x 7캔 15,200원
165 반반냉면10인분 냉면1+육수5+장5/2세트사은품/쿠폰8950 10,800원
166 [농협](행사상품)믿고먹는안심농협쌀20KG 포 45,900원
167 카술레서빙볼 1+1 61,200원
168 [모나리자]보타닉 블라썸 (27m30롤)X3개 화장지 휴지 28,900원
169 [페디슨]저자극 여성청결제 약산성 1+1 거품/액상(+행사중) 8,900원
170 [GNM자연의품격]멀티 종합비타민 미네랄 15종 4박스(총 12개월분) 27,900원
171 [휠라언더웨어]10%+12% 브라팬티 세트 인기상품 브라/드로즈/팬티 15,500원
172 캐치 티니핑 하츄핑 올리비아 비치 수영 가방 21,400원
173 [BUFFALO][BUFFALO] 버팔로 프리미엄 블랙라벨 구명조끼 18,510원
174 [유한락스]유한락스 new 욕실청소 500mlx4개 +유한젠200ml 증정 12,500원
175 수맘 수엠W 잠옷 3900~ 원피스 홈웨어 세트 5,900원
176 [슈퍼대디]아기물티슈 최종 19800원) 시그니처 캡형 70매 20팩 (77g) 29,400원
177 IVE(아이브) 아크릴 응원봉 18,000원
178 노랑 갓튀겨나온 곱빼기돈까스5/치즈돈까스5/소스10개 27,900원
179 [키즈마루]하이드로 국산 3중 KF80 황사마스크 대형 300매 미세먼지 차단 18,900원
180 [웅진]빅토리아 플레인 500ml x 40개입 18,900원
181 [스파클][스파클 무라벨] 스파클 생수 500ml 100병 20,880원
182 오은라이프사이언스 오은영 박사가 전하는 금쪽이들의 진짜마음속 (전1권) 19,800원
183 ESQUIRE 에스콰이어 스페셜에디션 :나의 별에게손우현X김강민 화보집 합본 D형 : 표지 : 손... 20,800원
184 [베이비베이비]베이비베이비 아기물티슈 트윙클120매 20팩 캡형 14,900원
185 [GNM자연의품격]건강한 간 밀크씨슬 실리마린 6박스(총 6개월분) 25,900원
186 [나무야나무야]나무야나무야 소프트3겹데코 27m 30롤 3팩/화장지 26,900원
187 [Gfresh]이색 돼지고기 목마호크 600gX3팩(목살+부채살) 19,900원
188 국내산 20곡 꿀 미숫가루 250g 10팩 (계량스푼 쉐이커 증정) 37,910원
189 [센트룸]1+1 포맨(남성)+포우먼(여성) 90+90정 총180일분 멀티종합비타민 45,240원
190 국내산 돼지목살 구이용 및 스테이크용 1kg /캠핑 한돈 19,900원
191 [런칭가 66 000원][에이플랑] 22SS 인견 100% 썸머 블라우스 3종 39,900원
192 [크리넥스]크리넥스3겹 데코소프트33MX24롤X2팩 38,000원
193 10% + 12% 쿠폰 저스트원 빅사이즈 티셔츠/반바지/팬츠/블라우스/데님 14,900원
194 [3SKBOX]3SK택배박스 창립기념 7월 할인 이벤트 28,700원
195 라이블리 더마스킨 생리대 중형 1+1 총 2팩/입는 오버나이트 외 7종 골라담기 2,500원
196 [오리온]오리온 오징어 땅콩 98gX16입(박스) 14,310원
197 [가쯔]모던 양념통 소분용기 조미료통 400ml 8P+스티커증정 6,900원
198 [박스포유]100%직접생산/ 박스포유 택배박스 31,830원
199 무형광 미쁘 핸드타올 2겹5000매 페이퍼타올 핸드타월 24,500원
200 [에비수]에비수 브랜드 인기 반팔티/로고티/티셔츠 5,500원
2. 실전 예제: 크롤링 & 크롤링¶
- 이커머스(지마켓) 베스트100 상품 타이틀/가격, 그리고 배송업체 추출하기
In [3]:
import requests
from bs4 import BeautifulSoup
res = requests.get('http://corners.gmarket.co.kr/Bestsellers?viewType=G&groupCode=G06')
soup = BeautifulSoup(res.content, 'html.parser')
bestlists = soup.select('div.best-list')
bestitems = bestlists[0]
products = bestitems.select('ul > li')
for index, product in enumerate(products):
title = product.select_one('a.itemname')
price = product.select_one('div.s-price > strong')
res_info = requests.get(title['href'])
soup_info = BeautifulSoup(res_info.content, 'html.parser')
provider_info = soup_info.select_one("div.item-topinfo_headline span.text__seller > a")
print (title.get_text(), price.get_text(), provider_info.get_text())
#print (title.get_text(), price.get_text(), title['href'], provider_info.get_text())
[레노버]최종가:171,300원 레노버 T1SPRO 클린스테이션 청소기 유럽버전 202,000원 직구플리즈
[갤럭시]갤럭시S22 5G 256GB 자급제 SM-S901N 930,150원 삼성모바일공식스토어
[유파]내일도착유파 선풍기리모컨초미풍발터치 TSK-3528CR 29,900원 CJ온스타일
[르젠]르젠 리모컨 써큘레이터 저소음 선풍기 LZEF-AR03 49,800원 스마일배송
부토 전기찜기 계란찜기 간편세척 NBE622W 다용도찜기 22,900원 스마일배송
[대우]대우 에어 써큘레이터DEF-KC1020스탠드선풍기 공기순환 35,900원 스마일배송
[갤럭시]갤럭시S22울트라 5G 512GB 자급제 SM-S908N 1,442,800원 삼성모바일공식스토어
[다이슨](최종55만원대) 본사 다이슨 에어랩 스타일러 볼륨 앤 쉐이프 + 스탠드 라운드 브러시 증정 571,330원 다이슨코리아유한회사
[삼성전자]삼성 갤럭시 워치4 40mm 카드할인7%+필름 203,840원 삼성디지탈파크
[기가바이트]A5 K1 R5 특가89만 라이젠 R5-5600H/16GB/512GB/RTX3060/FHD 144Hz/300nit 가성비 게이밍 노트북 1,078,000원 기가바이트공식총판
Hulmay 초음파 가정용 셀프 구강청결기 자동 39,920원 Mqglobal
[삼성전자]갤럭시 A53 5G SM-A536N 128G 자급제 _RM 495,430원 주식회사리플레이
[비스포크](최대혜택가 53만원대) 삼성 비스포크 제트 무선청소기 220W VS20B956AXE 629,560원 삼성공식판매보보
[대웅모닝컴](행사) 대웅모닝컴 14형 스탠드 선풍기 (신제품 입고) 29,900원 스마일배송
[솔러스에어]1+1 2개 무선 선풍기 탁상용 미니 휴대용 캠핑용 벽걸이 사무실 선물용 가정용 59,900원 스마일배송
[신일전자]신일 기본형 선풍기 ---10% 다운로드 쿠폰--- 59,900원 SHINIL
[윈드피아](특가) 22년형 가정용 업소용 스탠드선풍기 WA-170 29,900원 스마일배송
[위닉스](공식인증점) 위닉스 뽀송 제습기 10리터 DXAE100-JWK 209,550원 스마일배송
[갤럭시]갤럭시S22울트라 5G 256GB 자급제 SM-S908N 1,350,700원 삼성모바일공식스토어
크레마 S (crema S) 블랙 / 화이트 199,000원 E북리더
[통돌이]혜택가63만원대 LG 통돌이세탁기 T20WT 블랙라벨+ 20kg DD모터 684,000원 일등LG
[코드나인]1+1 탁상용 휴대용 선풍기_FAN190 / 화이트 30,500원 CODE9.
[삼성전자]삼성 공식인증 MicroSD EVO Plus 512GB MB-MC512KA EL 58,880원 에버랩스
[대웅모닝컴]대웅 3D 입체회전 리모컨 스탠드 써큘레이터 선풍기 39,800원 스마일배송
[트롬]혜택가 223만원대 LG 트롬 워시타워 W17WTA 24kg+17kg 2,339,000원 (주)대명유통
[로지텍]로지텍코리아 정품 무선 마우스 MX MASTER 3S /무소음 /멀티페어링 /BOLT지원 /윈+맥OS호환 /2가지 컬러 139,000원 로지텍코리아_공식몰
[비달사순]비달사순 2000W 전문가용 헤어드라이기 VSD5129K 22,800원 스마일배송
[브라운]BRAUN 전기면도기 시리즈9Pro 9415s + 세척스테이션 + 세정액 349,000원 스마일배송
[라이젠7]AMD 라이젠7-4세대 5800X (버미어) (멀티팩) 回 313,070원 (주)마이피씨샵
[신일전자]신일 강화유리 무선 전기주전자 SEP-GW90 28,000원 아비소
[쿠쿠]본사직영 CRP-CHP1010FD 10인용 IH전기압력 밥솥 249,000원 스마일배송
[에어팟]혜택가22만원대 에어팟 프로 MagSafe MLWK3KH/A 254,990원 Apple공식판매점
[신일전자]신일 스탠드형 리모컨 써큘레이터 선풍기 SIF-P14PDB 74,900원 스마일배송
[쿠쿠]본사직영 20L 전자레인지 CMW-A201DW 화이트 56,000원 스마일배송
[HP]빅터스 15-fa0051TX 특가69만 인텔 12세대 i5/지포스 RTX3050 FHD 144Hz 최신 가성비 게이밍 노트북 903,500원 에스라이즈
[레드울프]S22 노트20/노트10/S21/S20/S10/A53/A32 울트라 가죽 19,900원 레드울프
[삼성전자]갤럭시 A23 128GB SM-A235N 자급제 미개봉 321,160원 신세계몰
[샤오미]샤오미 FRESTECH 가정용 미니 제빙기 대용량 고속제빙/무료배송 78,300원 mijiagogo
[삼성전자]공식파트너 삼성 UHD TV 163cm KU65UA8070FXKR 티비 1,139,000원 삼성공식판매다솜
[기가바이트]A7 K1 R7 특가109만 라이젠 R7-5800H/16GB/512GB/RTX3060/FHD 144Hz/300nit 가성비 게이밍 노트북 1,295,000원 기가바이트공식총판
[갤럭시]갤럭시S22플러스 5G 256GB 자급제 SM-S906N 1,116,190원 삼성모바일공식스토어
[코드나인]1+1 탁상용 휴대용 선풍기_FAN190 /화이트+블랙 30,500원 CODE9.
[테팔](10%중복할인) 블렌더 믹서기 블렌드포스 플러스 BL4258 52,900원 스마일배송
[위닉스]공식인증점 뽀송 제습기 10리터 DXAE100-JWK 219,000원 스마일배송
[엡손]엡손 에코탱크 L3256 정품 무한 잉크젯 복합기 169,000원 대천사가브리엘
[LG전자]LG 그램16 16ZD95P-GX56K 예약판매117만 인텔i5 16G 1,379,000원 LG공식판매점3S컴퍼니
S22 울트라 노트20/노트10/S21/S20/A53 A32 A23 가죽 19,900원 꾹이몰
갤럭시 S22 5G SM-G901N 256GB 자급제 RE 900,000원 주식회사리플레이
[김치플러스](공식인증점) 뚜껑형 김치냉장고 RP20A3111S9 202L 629,000원 스마일배송
[레노버]SLIM5-15ITL Premiere i5 Plus FreeDos 최대혜택가65만 769,000원 (주)플러스샵
[알피쿨]Cartour알피쿨 K25모델 독일콤프 153,000원 CARTOUR
[일렉트로룩스]파워PRO 18V 무선청소기 ZB3411 (BEST 인기) 169,000원 스마일배송
[objet]LG 디오스 오브제컬렉션 M873MGB031 875L 1등급 1,990,200원 CDS유통
[윈드피아]가정용 업소용 스탠드 리모컨 선풍기 인기상품 1700R 34,900원 윈드피아
[CAS]카스(CAS) 0.1g 디지털 주방저울(전자저울) K-17 1년AS 30,400원 선데이(SUNDAY)
[대웅모닝컴]대웅 가정용 스탠드선풍기 키높이선풍기 28,800원 lainzone
[HP]빅터스 16-d1141TX 특가112만 인텔12세대 i7 16GB DDR5 256GB RTX3060 FHD 300nit 100%sRGB 게이밍 노트북 1,378,000원 에스라이즈
[힐링팩토리]1+1 휴대용 넥밴드 목 선풍기 목걸이 여름 목풍기 25,900원 스마일배송
[아이닉](최종혜택가 17.9만) 아이닉 차이슨 무선청소기 New i20 UV살균브러시 BLDC모터탑재 199,000원 아이닉
[한일전기]한일 강력 레드모터 저소음 BLDC모터 선풍기 DCF-440R 69,900원 GARAM SHOP
[삼성전자]삼성 갤럭시버즈 프로 ANC 블루투스 이어폰 SM-R190 135,380원 삼성랜드
[위닉스]공식인증점 위닉스 제습기 16리터 DO2E160-JWK 1등급 349,000원 스마일배송
[쿠쿠]쿠쿠 CRP-KHTS1060FD IH전기압력밥솥 10인용 hm 345,200원 best가전
[삼성전자]갤럭시 버즈2 무선 블루투스 이어폰 SM-R177 97,840원 jeyoumall
[TUF]ASUS TUF F15 FX506HM-HN130 인텔 i5/ RTX 3060/144Hz/ 영상 편집/ 에이수스 게이밍 노트북/ 최종가 103만 1,199,000원 로지텍코리아_공식몰
[르젠]내일도착르젠2세대 앱연동 BLDC 선풍기 화이트 67,800원 CJ온스타일
[다이슨](최종47만원대) 본사 다이슨 슈퍼소닉 헤어 드라이어 (아이언/푸시아) + 스탠드 증정 484,030원 다이슨코리아유한회사
[쿠쿠]본사직영 CRP-QS1020FSM 10인용 전기압력 밥솥 135,000원 스마일배송
[휘센]LG전자공식인증점 서울경기충청 LG 에어컨 FQ17HCKWC1 1,337,000원 네고네고
[씽크북]ThinkBook 14 G3 ACL-21A2000BKR 최종가 48만/R7-5700U/8G/256G/14.0FHD/300nits/지문인식/백라이트/사은품 642,530원 주식회사주본
[보네이도]에어 써큘레이터 공기순환기 633B (블랙) 76,140원 스마일배송
[쿠쿠]본사직영 CRP-DHP0610FD 6인용 IH전기압력 밥솥 224,000원 스마일배송
[플레이스테이션5]PS5 디스크 에디션 PlayStation 5 플스5 본체 1118 / 3% 스마일캐시 적립 628,000원 PlayShop
[필립스]PHILIPS 전기면도기 SkinIQ 5000 S5582/36 오션블루 159,000원 (주)필립스코리아
[삼성전자]삼성전자 데스크탑용 DDR4 8GB램(25600 SAM) 37,100원 티에스지
[쿠쿠]본사직영 CRP-HQB0310FS 3인용 IH전기압력 밥솥 135,000원 스마일배송
[쿠쿠] 10인용 열판압력밥솥 CRP-QS1010FG 155,100원 롯데아이몰
[샤오미]MI 스마트 무선 선풍기 4세대 프로 PRO + MI FAN2 PRO 102,900원 youchen019
[아이피타임]오늘출발 IPTIME A2003MU 공유기/와이파이/무선 39,500원 주수빈인포텍
[로지텍]로지텍 G304 무선 게이밍 마우스 병행 블랙 41,580원 다다다다익선
[삼성전자](알파)삼성전자 DDR4 16G PC4-25600 (정품) 수량가능 77,650원 알파전자1
[아이피타임]EFM ipTIME A604R 유무선 와이파이 공유기 무선 공유기 31,900원 스마일배송
[삼성전자](알파)삼성전자 DDR4 8G PC4-25600 (정품) 수량가능 37,880원 알파전자1
[objet]LG 디오스 오브제컬렉션 M873MWW031 875L 1등급 1,990,200원 CDS유통
[하임셰프]음성지원 완전자동 스마트식기건조기 HTD-1101 99%살균 109,000원 스마일배송
[다이슨]다이슨 에어랩 스타일러 컴플리트 롱 / 정품 / L 735,800원 리안STORE
[큐씨와이]QCY T13 APP 화이트 TWS 블루투스 이어폰 19,600원 스마일배송
[소닉케어](15%중복) (1+1특가) 소닉케어 1100 시리즈 HX3641/41 전동칫솔 59,900원 스마일배송
[ReQm]고속충전 잔량표시 20000mAh 보조배터리 QP2000A 20W 34,900원 리큐엠공식몰
[윈드피아]가정용선풍기 업소용선풍기 스탠드 선풍기 WA-370블랙 23,900원 윈드피아
[필립스](15% 중복)필립스 전기면도기 3000 시리즈 S3232/52 75,000원 스마일배송
[엔보우]모노 탁상용 무선 휴대용 선풍기 2세대 1+1(할인 행사) 29,900원 엔보우
[알로코리아]고속충전 대용량 보조배터리 700QCPD 20000mAh 네이비 29,900원 스마일배송
[쿠쿠]본사직영 CRP-ST0610FW 6인용 트윈프레셔 밥솥 200,000원 스마일배송
[필립스](20% 중복할인)PHILIPS 진공 초고속 믹서기 HR3752/00 진공블렌더 35000RPM 169,000원 필립스생활가전코리아
[필립스]필립스 1200 전자동 에스프레소 커피머신 EP1224/03 399,000원 스마일배송
프리미엄 IPX8등급 스마트폰 방수팩 1+1 15,000원 스마일배송
[샤오미]샤오미 스마트미 3세대 무선선풍기 2S 리모컨 증정 80,000원 직구플리즈
[블린즈]BLDC 스탠드형 에어 써큘레이터 선풍기 저소음 리모컨 32,800원 블린즈
[쿠쿠]본사직영 CRP-EHS0320FS 3인용 IH전기압력 밥솥 200,000원 스마일배송
In [5]:
price.get_text().replace('원', '').replace(',', '')
Out[5]:
'200000'3. 실전 예제: 크롤링 & 크롤링 + 엑셀¶
- 이커머스(지마켓) 베스트100 상품 타이틀/가격, 그리고 판매업체 추출하기
In [ ]:
import requests, openpyxl
from bs4 import BeautifulSoup
excel_file = openpyxl.Workbook()
excel_sheet = excel_file.active
excel_sheet.append(['랭킹', '상품명', '판매가격', '상품상세링크', '배송업체'])
excel_sheet.column_dimensions['B'].width = 80
excel_sheet.column_dimensions['C'].width = 20
excel_sheet.column_dimensions['D'].width = 80
excel_sheet.column_dimensions['E'].width = 20
res = requests.get('http://corners.gmarket.co.kr/Bestsellers?viewType=G&groupCode=G06')
soup = BeautifulSoup(res.content, 'html.parser')
bestlists = soup.select('div.best-list')
products = bestitems.select('ul > li')
for index, product in enumerate(products):
title = product.select_one('a.itemname')
price = product.select_one('div.s-price > strong')
res_info = requests.get(title['href'])
soup_info = BeautifulSoup(res_info.content, 'html.parser')
provider_info = soup_info.select_one("div.item-topinfo_headline span.text__seller > a")
print(index + 1, title.get_text(), price.get_text(), title['href'], provider_info.get_text())
excel_sheet.append([index + 1, title.get_text(), price.get_text(), title['href'], provider_info.get_text()])
excel_sheet.cell(row=index+2 , column=4).hyperlink = title['href']
cell_A1 = excel_sheet['A1'] # 셀 선택하기
cell_A1.alignment = openpyxl.styles.Alignment(horizontal='center') # 중앙정렬하기
cell_A1.font = openpyxl.styles.Font(color="01579B") # 폰트 색깔 바꾸기
# 색상값 찾기: https://material.io/design/color/#tools-for-picking-colors
cell_B1 = excel_sheet['B1'] # 셀 선택하기
cell_B1.alignment = openpyxl.styles.Alignment(horizontal='center') # 중앙정렬하기
cell_B1.font = openpyxl.styles.Font(color="01579B") # 폰트 색깔 바꾸기
# 색상값 찾기: https://material.io/design/color/#tools-for-picking-colors
cell_C1 = excel_sheet['C1'] # 셀 선택하기
cell_C1.alignment = openpyxl.styles.Alignment(horizontal='center') # 중앙정렬하기
cell_C1.font = openpyxl.styles.Font(color="01579B") # 폰트 색깔 바꾸기
# 색상값 찾기: https://material.io/design/color/#tools-for-picking-colors
cell_D1 = excel_sheet['D1'] # 셀 선택하기
cell_D1.alignment = openpyxl.styles.Alignment(horizontal='center') # 중앙정렬하기
cell_D1.font = openpyxl.styles.Font(color="01579B") # 폰트 색깔 바꾸기
# 색상값 찾기: https://material.io/design/color/#tools-for-picking-colors
cell_E1 = excel_sheet['E1'] # 셀 선택하기
cell_E1.alignment = openpyxl.styles.Alignment(horizontal='center') # 중앙정렬하기
cell_E1.font = openpyxl.styles.Font(color="01579B") # 폰트 색깔 바꾸기
# 색상값 찾기: https://material.io/design/color/#tools-for-picking-colors
excel_file.save('BESTPRODUCT_COM_GMARKET_pure.xlsx')
excel_file.close()
In [ ]:
import requests, openpyxl
from bs4 import BeautifulSoup
import re
link_re = re.compile('^http://')
excel_file = openpyxl.Workbook()
excel_sheet = excel_file.active
excel_sheet.append(['랭킹', '상품명', '판매가격', '상품상세링크', '배송업체'])
excel_sheet.column_dimensions['B'].width = 80
excel_sheet.column_dimensions['C'].width = 20
excel_sheet.column_dimensions['D'].width = 80
excel_sheet.column_dimensions['E'].width = 20
res = requests.get('http://corners.gmarket.co.kr/Bestsellers?viewType=G&groupCode=G06')
soup = BeautifulSoup(res.content, 'html.parser')
bestlists = soup.select('div.best-list')
products = bestitems.select('ul > li')
for index, product in enumerate(products):
title = product.select_one('a.itemname')
price = product.select_one('div.s-price > strong')
if link_re.match(title['href']):
res_info = requests.get(title['href'])
soup_info = BeautifulSoup(res_info.content, 'html.parser')
provider_info = soup_info.select_one("div.item-topinfo_headline span.text__seller > a")
print(index + 1, title.get_text(), price.get_text(), title['href'], provider_info.get_text())
excel_sheet.append([index + 1, title.get_text(), price.get_text(), title['href'], provider_info.get_text()])
excel_sheet.cell(row=index+2 , column=4).hyperlink = title['href']
cell_A1 = excel_sheet['A1'] # 셀 선택하기
cell_A1.alignment = openpyxl.styles.Alignment(horizontal='center') # 중앙정렬하기
cell_A1.font = openpyxl.styles.Font(color="01579B") # 폰트 색깔 바꾸기
# 색상값 찾기: https://material.io/design/color/#tools-for-picking-colors
cell_B1 = excel_sheet['B1'] # 셀 선택하기
cell_B1.alignment = openpyxl.styles.Alignment(horizontal='center') # 중앙정렬하기
cell_B1.font = openpyxl.styles.Font(color="01579B") # 폰트 색깔 바꾸기
# 색상값 찾기: https://material.io/design/color/#tools-for-picking-colors
cell_C1 = excel_sheet['C1'] # 셀 선택하기
cell_C1.alignment = openpyxl.styles.Alignment(horizontal='center') # 중앙정렬하기
cell_C1.font = openpyxl.styles.Font(color="01579B") # 폰트 색깔 바꾸기
# 색상값 찾기: https://material.io/design/color/#tools-for-picking-colors
cell_D1 = excel_sheet['D1'] # 셀 선택하기
cell_D1.alignment = openpyxl.styles.Alignment(horizontal='center') # 중앙정렬하기
cell_D1.font = openpyxl.styles.Font(color="01579B") # 폰트 색깔 바꾸기
# 색상값 찾기: https://material.io/design/color/#tools-for-picking-colors
cell_E1 = excel_sheet['E1'] # 셀 선택하기
cell_E1.alignment = openpyxl.styles.Alignment(horizontal='center') # 중앙정렬하기
cell_E1.font = openpyxl.styles.Font(color="01579B") # 폰트 색깔 바꾸기
# 색상값 찾기: https://material.io/design/color/#tools-for-picking-colors
excel_file.save('BESTPRODUCT_COM_GMARKET.xlsx')
excel_file.close()
In [ ]:
'파이썬 활용 > 크롤링' 카테고리의 다른 글
| 네이버 api json 데이터 가져오기 (0) | 2022.10.24 |
|---|---|
| 기상 데이터 크롤링(넘파이로 전처리) (0) | 2022.10.24 |
| 크롤링 지마켓- 상품명 + 배송사 크롤링 (0) | 2022.10.24 |
| 다중 크롤링 네이버 쇼핑몰, 주식 (0) | 2022.10.24 |
| 크롤링 기본 (0) | 2022.10.24 |