Wyobraź sobie 20 nazwisk i ich numerów telefonów zapisanych w prostym dokumencie programu Word. Trudno to nadążyć, ale mimo to może uda Ci się przeczytać. Teraz wyobraź sobie 200 nazwisk, ale tym razem ich numery seryjne i adresy wraz z numerami telefonów zapisanymi zwykłym tekstem. Niezdarne, prawda?
Nie sądzisz, że byłoby bardziej przejrzyście, gdybyśmy mogli zobaczyć te dane w ustrukturyzowanym formacie? Tak, racja! Właśnie dlatego naukowcy i analitycy danych wykorzystują do swoich analiz sformatowane dane. Dwa takie formaty do przechowywania danych i pracy z nimi to JSON i CSV.
JSON to lekkie pliki znane z wymiany danych pomiędzy aplikacjami lub serwerami. Przechowują dane w parach klucz-wartość.
Podczas gdy pliki CSV są wartościami oddzielonymi przecinkami do przechowywania dużych zbiorów danych. Chociaż są to wartości oddzielone przecinkami, często można je znaleźć w strukturze tabelarycznej podczas używania Pythona do analizy.
Spis treści:
Po co konwertować JSON na CSV w Pythonie?
Szybsza analiza danych: operacje Pythona na plikach CSV są szybsze. Możesz szybciej przeglądać, sortować, filtrować i przycinać dane w formacie CSV. Ponadto Python ma bibliotekę o nazwie Pandas, która umożliwia wydajną analizę danych w plikach CSV.
Obsługa różnych narzędzi do przetwarzania danych: Chociaż pliki JSON są lekkie i łatwe w wymianie danych, pliki CSV są wygodniejsze do wizualizacji i analizy przy użyciu baz danych, takich jak arkusze kalkulacyjne i języków programowania, takich jak Python.
Oszczędność pamięci: format JSON zawiera metadane, co powoduje pewne obciążenie pamięci, podczas gdy CSV to po prostu wartości oddzielone przecinkami, bez dodatkowych znaków interpunkcyjnych i metadanych. Ponadto analizowanie danych JSON wymaga więcej pamięci niż plik CSV.
Zatem w porównaniu do JSON format CSV jest bardziej wydajny pod względem pamięci przy przechowywaniu i przetwarzaniu dużych zbiorów danych.
Czytelny dla człowieka: format CSV dobrze nadaje się do ręcznej kontroli. Po otwarciu w tabelach lub arkuszach kalkulacyjnych można łatwo odczytać i zrozumieć dane CSV, podczas gdy format JSON jest nieco skomplikowany w czytaniu, szczególnie jeśli zawiera obiekty zagnieżdżone.
Wydajność: analizowanie i przetwarzanie plików CSV jest szybsze i wymaga mniej pamięci w porównaniu z plikami JSON, co zapewnia optymalną wydajność.
Jak przekonwertować JSON na CSV w Pythonie?
Oto kroki, aby przekonwertować JSON na CSV w Pythonie.
Krok 1: Zaimportuj wbudowane moduły JSON i CSV.
import json import csv
Krok 2: Załóżmy, że mamy dane JSON w pliku o nazwie json_data.json. Odczytaj te dane do zmiennej za pomocą funkcji ładowania.
with open('json_data.json') as data:
json = json.load(data)
Krok 3: Utwórz plik csv z nagłówkami JSON jako nazwami kolumn i odpowiadającymi im wartościami w komórkach.
headers = json[0].keys()
with open('data.csv', 'w', newline="") as csv_file:
csv_writer = csv.DictWriter(csv_file, fieldnames=headers)
csv_writer.writeheader()
for row in json:
csv_writer.writerow(row)
Jak przekonwertować JSON na CSV za pomocą Pand w Pythonie?
Możesz napisać własny, niestandardowy kod do konwersji, korzystając z wbudowanych bibliotek JSON i CSV, jak pokazano powyżej, ale Pandas jest Twoim przyjacielem. Dzięki temu konwersja jest jeszcze prostsza dzięki zaledwie dwóm linijkom kodu.
Dla tych, którzy nie znają Pand, jest to biblioteka Pythona do manipulowania i analizowania dużych danych. Oto, jak łatwo przekonwertować JSON na CSV za pomocą Pand.
Krok 1: Aby przekonwertować pliki JSON na CSV, musisz najpierw zaimportować Pandy w Pythonie.
Import pandas as pd
Krok 2: Załaduj dane JSON do Pandas DataFrame.
data = pd.read_csv('json_data.json')
Krok 3: Zapisz dane do pliku CSV.
data.to_csv('csv_data', index=False)
W bieżącym katalogu roboczym zostanie utworzony plik o nazwie „csv_data” do przechowywania przekonwertowanych danych CSV.
„index = False” wyklucza tutaj kolumnę indeksu w pliku CSV.
To wszystko, konwersja JSON na CSV za pomocą Pand jest tak łatwa.
Rzeczy do rozważenia podczas konwertowania dużych plików JSON do formatu CSV
- Pamięć – pierwszym problemem, z jakim zwykle spotykasz się w przypadku dużych zbiorów danych, jest pamięć. Jeśli spróbujesz za jednym razem załadować całe dane do pliku CSV, możesz napotkać problemy z pamięcią. Dlatego przetwarzaj duże dane w formacie CSV fragmentami, aby uniknąć problemów z pamięcią.
- Usuń nadmiarowość — wielokrotne posiadanie tych samych nadmiarowych danych w zestawie danych po prostu zwiększa rozmiar, ale nie dodaje żadnej wartości do danych. Usuń więc zbędne dane ze swojego zbioru danych. W ten sposób można zmniejszyć rozmiar pliku danych, co skutkuje szybszą konwersją.
- Używaj bibliotek – jeśli dane są małe, możesz napisać niestandardowy kod w Pythonie, aby przekonwertować je na CSV, ale w przypadku dużych danych powinieneś użyć biblioteki Pythona, takiej jak Pandas, aby skutecznie przekonwertować JSON na CSV.
- Kopia zapasowa — wykonaj kopię zapasową danych podczas konwersji dużych plików JSON do formatu CSV. Dzięki temu możesz wrócić do oryginalnych danych, jeśli coś pójdzie nie tak z konwersją.
Potencjalne błędy, które mogą wystąpić podczas konwersji
#1. Błąd Unicode
Ten błąd może wystąpić podczas wpisywania znaków specjalnych lub znaków spoza zestawu ASCII do pliku CSV z danych JSON.
Aby to naprawić, należy określić odpowiednie kodowanie w funkcji open używanej podczas konwersji plików JSON do CSV.
Możesz to zrobić, dodając parametr zwany kodowaniem do funkcji open, jak pokazano poniżej:
with open('data.csv', 'w', newline="", encoding='utf-8') as csv_file
#2. Błąd wartości: oczekiwany obiekt lub wartość
Ten błąd pojawia się, gdy występuje problem z zawartością pliku JSON, głównie wtedy, gdy funkcja nie jest w stanie przeanalizować obiektu lub pliku JSON.
Upewnij się więc, że dane JSON są dobrze sformatowane i zgodne ze składnią JSON.
Co więcej, jeśli dane JSON zawierają obiekty zagnieżdżone, takie jak tablice, upewnij się, że obiekty JSON są ujęte [..] i tablice są zawinięte [..]. Przed konwersją zagnieżdżonego JSON na CSV upewnij się, że dane są spłaszczone za pomocą „JSON.normalize”.
Jedną z głównych różnic między JSON i CSV jest to, że dane JSON nie mają nagłówków takich jak CSV. Dlatego dobrze obsługuj nagłówki CSV podczas konwersji JSON na CSV. Możesz nadać im wartości lub pozostawić je puste, według własnego uznania.
Jeśli jednak podajesz nagłówki do pliku CSV, upewnij się, że ich typ danych jest zgodny z rzeczywistymi danymi w pliku.
Wniosek
Konwersja JSON na CSV jest łatwa, jeśli jest wykonywana w Pythonie. Jeszcze prostsze, jeśli skorzystamy z biblioteki Pandas.
W tym artykule pokazano, jak przekonwertować pliki JSON na CSV za pomocą języka Python. Pokazaliśmy także, jak używać Pand do wydajnej konwersji JSON na CSV.
Poniżej przedstawiono kilka ważnych rzeczy, o których należy pamiętać, aby proces konwersji przebiegał płynniej i jakie są typowe błędy, które można napotkać podczas konwersji.
Możesz także sprawdzić konwersję plików JSON do Excela.