xml 데이터를 csv 파일로 수집 - 공공재난문자데이터

1. 데이터 살펴보기

공공데이터 포털에서 데이터를 수집해보겠습니다.

요즘 코로나로 인해 재난문자가 자주 발생하는데,, 한 번 직접 수집해보도록 하겠습니다.

 

-공공데이터 포털

https://www.data.go.kr/dataset/3058822/openapi.do

데이터는 공공데이터 포털에서 활용신청을 하면 인증키를 발급받아 사용할 수 있습니다.

인증키를 받으시면, 추가하셔서 아래링크를 사용하시면 됩니다.

 

 

http://apis.data.go.kr/1741000/DisasterMsg2/getDisasterMsgList?ServiceKey=인증키&type=xml&pageNo=1&numOfRows=50&flag=Y

 

-pageNo : 페이지 번호

-numOfRows: 몇개의 row 묶음을 가져올 건지

 

저는 한번에 50개 정도의 데이터를 보기 위해, numOfRows 를 50으로 설정했습니다.

이 부분은 필요에 따라 조정하시면 될 것 같네요.

 

먼저, 데이터의 형태를 보시면, xml로 되어있습니다.

지금 제가 필요한 정보는 

<row> </row> 안에 모두 있습니다. 이것을 수집하기위해 코드를 짜봅시다.

 

 

 

2. 소스코드

import os
from bs4 import BeautifulSoup
from urllib.request import urlopen
import pandas as pd
from time import sleep


pageNO = [x for x in range(1,88)] 
df = pd.DataFrame(columns=['create_date', 'location_name', 'msg'])
k = 0
for i in range(len(pageNO)):
    URL = 'http://apis.data.go.kr/1741000/DisasterMsg2/getDisasterMsgList?ServiceKey=인증키&type=xml&pageNo='+str(pageNO[i])+'&numOfRows=50&flag=Y'
    if i!=0:
        sleep(200) 
    data = urlopen(URL).read()
    soup = BeautifulSoup(data, "html.parser")
        
    for item in soup.findAll("row"):
        df.loc[k] = [item.create_date.text, item.location_name.text, item.msg.text]
        k=k+1
df.to_csv('./SOSmsg.csv',encoding='utf-8-sig')

 

 

3. 소스코드 설명

df = pd.DataFrame(columns=['create_date', 'location_name', 'msg'])

데이터 프레임 columns의 라벨을 정해줍니다.

 

pageNO = [x for x in range(1,88)]

1페이지에는 가장 최근데이터가 있습니다. 저는 12월 말 데이터까지 수집해야함으로, pageNO = [x for x in range(1,88)]  로 하여, 1부터 87페이지까지 수집했습니다.

 

 sleep(200) 

 

한 번 접속하고, 3분이상 대기한 후 접속해야 데이터를 가져올 수 있다는 단점이 있었습니다.

그래서 넉넉히 200초로 대기시간을 잡았습니다.

 

for item in soup.findAll("row"):

df.loc[k] = [item.create_date.text, item.location_name.text, item.msg.text]

row부분을 findAll 한 뒤, 순서대로 데이터 프레임에 넣어줍니다. create_date.text 는 <create_date/></create_date>사이의 텍스트 데이터를 가져오도록 도와줍니다.

 

df.to_csv('./SOSmsg.csv',encoding='utf-8-sig')

 

한글 데이터가 깨지지 않게 하기 위해 'utf-8-sig'로 인코딩해줍니다. 그리고 csv파일로 데이터를 저장합니다.

 

 

 

3. 확인

위와 같이 코드를 짜고 나서, 잘 수집이 되었는지 csv 파일을 확인해보았습니다.

 

잘 수집이 되었네요!

msg 부분에 [동대문구청] 어디서 보낸 재난 문자인지 데이터부분을 다른 열로 나누고 싶은데,, 그 작업은 다음 포스팅에서 올려보도록 하겠습니다.