Web개발 :: BackData 전처리, Json 파일 변환 등 _TIL74

■ JITHub 개발일지 74일차

□  TIL(Today I Learned) ::

BackData 전처리, Json 파일 변환 등

   - Back Data 전처리 작업에 시간을 많이 들였다.

   - Excel이 익숙했기에 데이터는 엑셀로 필요한 부분을 먼저 전처리 가공하였다.

   - 그 후 엑셀파일을 json 파일로 변경하기 위해 "Excel to Json" 이라는 키워드로 구글링하여 웹 사이트를 통해 파일을 변환하였다.

   - json 파일을 받았지만 DB에 업로드할 수 있는 형식이 아니다. (형식은 model을 지정하고, fields에 데이터를 넣으며, 필요시 pk도 들어간다.) 아래 파이썬 파일을 활용해  알맞은 형식의 DB를 생성할 수 있었다.

import json

with open('./data/place_raw.json', 'r',encoding='utf-8-sig') as f:
    place_data = json.load(f)

new_list = []
for i, data in enumerate(place_data):
    new_data = {'model': 'places.place'}
    new_data["pk"] = i+1
    new_data["fields"] = data
    new_list.append(new_data)
    
with open('221219_place_data.json', 'w', encoding='UTF-8') as f:
    json.dump(new_list, f, ensure_ascii=False, indent=2)