json và csv — I/O cho dữ liệu có cấu trúc

Bài này nói về I/O cho hai định dạng dữ liệu có cấu trúc thường gặp — json, hay được web API dùng, và csv, mở gọn gàng trong phần mềm bảng tính.

json — Chuyển đổi hai chiều giữa object Python và chuỗi JSON

JSON (JavaScript Object Notation) là định dạng văn bản nhẹ biểu diễn cấu trúc chỉ bằng "cặp khóa/giá trị" và "list có thứ tự", được dùng làm tiêu chuẩn cho response web API và file cấu hình. Module json của Python chuyển đổi dict, list, chuỗi, số, bool và None sang và từ JSON.

Chỉ cần nhớ hai hàm cơ bản. json.dumps(object) chuyển Python → chuỗi JSON, và json.loads(string) chuyển chuỗi JSON → Python. Chữ s ở cuối là viết tắt của string — phân biệt với dump / load, vốn làm việc trực tiếp với file.

ensure_ascii mặc định là True

Mặc định, json.dumps({"name": "café"}) xuất '{"name": "caf\u00e9"}' — ký tự non-ASCII bị escape thành \u. Về kỹ thuật vẫn hợp lệ, nhưng khó đọc cho người và làm phình kích thước file, nên với dữ liệu chứa ký tự non-ASCII (dấu, emoji, CJK, v.v.), hãy tạo thói quen truyền ensure_ascii=False.

Chuyển thông tin user thành JSON, parse ngược lại thành object Python, và kiểm tra kiểu của từng biến bằng type().

① Hãy import module json.

② Hãy xây dict với name="Minh" và list mặt hàng ["Apple", "Banana"] (hai key: name và items).

③ Hãy chuyển dict thành chuỗi JSON in đẹp (có thụt lề) rồi in, sau đó in type(text): để hiện kiểu của chuỗi JSON (tắt escape non-ASCII phòng khi dữ liệu chứa dấu, emoji, v.v.).

④ Hãy parse chuỗi JSON ngược lại thành object Python, rồi in type(parsed): và type(items): lần lượt (lấy items ra từ parsed).

⑤ Từ object đã parse, hãy in tên: ◯◯ và Mặt hàng đầu tiên: ◯◯ (phần tử đầu của items).

(Nếu chạy đúng, phần giải thích sẽ hiện ra.)

Cơ bản về csv — Xử lý dòng với reader và writer

CSV (Comma-Separated Values) là định dạng văn bản thuần trong đó một dòng phân tách bằng dấu phẩy bằng một bản ghi, và vì phần mềm bảng tính như Excel mở được trực tiếp, nó xuất hiện khắp nơi trong workflow nghiệp vụ. Module csv của Python cung cấp các hàm để đọc và ghi định dạng này theo từng dòng.

Cơ bản gồm csv.writer(file) và csv.reader(file): cái trước ghi một list giá trị thành một dòng, cái sau đọc CSV từng dòng một thành một list giá trị. Hai điểm cần lưu ý: thứ nhất, mọi thứ đọc về đều là chuỗi — nếu cần số nguyên, hãy tự chuyển đổi bằng int(). Thứ hai, luôn truyền newline='' cho open(...) để module csv tự quản lý ký tự xuống dòng.

Luôn truyền newline='' cho open

Module csv tự quản lý ký tự xuống dòng, nên bạn cần truyền newline='' kiểu open("x.csv", "w", newline=''). Bỏ qua thì có thể dẫn đến CSV chứa dòng trống trên Windows — một lỗi điển hình được tài liệu Python chính thức nhắc đến.

Ghi một list user vào CSV, rồi đọc lại từng dòng dùng file output.csv trên hệ thống file ảo trong trình duyệt (VFS).

① Hãy import module csv.

② Hãy mở output.csv ở chế độ ghi (với newline=''), tạo writer, và ghi 3 dòng: header ["name", "age"] và hai dòng dữ liệu ["Minh", 30] và ["Linh", 25].

③ Hãy mở lại file đó ở chế độ đọc (với newline=''), tạo reader, và in từng dòng bằng for row in reader:.

DictWriter và DictReader — Đọc và ghi theo tên cột

csv.writer / reader ở phần trước hoạt động theo vị trí, nên thêm cột hoặc đổi thứ tự buộc bạn phải sửa lại mọi truy cập row[0] / row[1]. DictWriter / DictReader là phiên bản đọc và ghi theo tên cột (header) — bạn có thể ghi một list các dict thẳng vào CSV và đọc lại thành một list các dict.

Dữ liệu thực tế phần lớn là CSV có dòng header, nên trong dự án thực tế bạn sẽ dùng các hàm này nhiều hơn hẳn.

Ghi một list-of-dicts user vào users.csv, rồi đọc lại và in từng dòng đã định dạng. Thử đọc theo tên cột thay vì theo vị trí.

① Hãy import csv.

② Hãy xây list hai user (3 cột: name / age / city).

- User đầu: name="Minh", age=30, city="Tokyo"

- User sau: name="Linh", age=25, city="Osaka"

③ Hãy mở users.csv ở chế độ ghi, tạo DictWriter, và ghi header + dữ liệu (truyền fieldnames=["name", "age", "city"]).

④ Hãy mở lại file và tạo DictReader, in từng dòng theo dạng {name} ({age} tuổi) {city}.

Ví dụ thực tế: Tổng hợp titanic.csv

Đến giờ ta đã tạo các tập dữ liệu nhỏ trong code và ghi chúng ra. Hãy kết thúc bằng việc đọc một tập dữ liệu thực và tổng hợp. Đối tượng là tập dữ liệu Titanic nổi tiếng trên Kaggle (891 dòng / 12 cột), với các cột như PassengerId / Survived (0 = chết, 1 = sống sót) / Pclass (hạng cabin) / Name / Sex / Age / Fare.

python_console của bài thực hành nạp sẵn CSV bên ngoài vào hệ thống file ảo (VFS) trong trình duyệt qua fileUrls, nên code của bạn chỉ cần gọi open("titanic.csv"). Ta sẽ viết cùng một bài tập với cả csv.reader (theo vị trí) và csv.DictReader (theo tên cột).

Dùng csv.reader theo vị trí để đọc titanic.csv và đếm tổng số hành khách và số người sống sót.

① Hãy import module csv.

② Hãy mở titanic.csv ở chế độ đọc (với newline='') và tạo reader.

③ Hãy bỏ qua dòng header bằng next(reader).

④ Hãy lặp phần còn lại với for row in reader: và đếm total và survived (các dòng có cột Survived = index 1 là "1").

⑤ Hãy in Tổng: 891 và Sống sót: 342.

Dùng csv.DictReader theo tên cột để đọc titanic.csv và tính trung bình của cột Age. Dữ liệu Titanic có dòng mà Age bị trống, nên ta cũng xử lý điều đó.

① Hãy import csv.

② Hãy mở titanic.csv ở chế độ đọc (với newline='') và tạo DictReader.

③ Trong vòng lặp, lấy row["Age"] của từng dòng và gom chỉ những dòng không rỗng dưới dạng float(row["Age"]) vào một list.

④ Hãy in số dòng hợp lệ và tuổi trung bình (2 chữ số thập phân) như sau:

- Bản ghi hợp lệ: ◯ (kỳ vọng: 714)

- Tuổi trung bình: ◯◯.◯◯ (kỳ vọng: 29.70)