بايثون للبيانات

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

1جدول = قائمة قواميس

نقرأ CSV من نص (كأنه ملف)، ونحوّل الأنواع، ونتخلص من الصفوف المعطوبة في سطر واحد:

import csv
import io

raw = """item,price,branch
latte,14,riyadh
mocha,16,jeddah
latte,,riyadh
tea,6,riyadh
latte,14,jeddah
"""

rows = list(csv.DictReader(io.StringIO(raw)))
clean = [{**r, "price": int(r["price"])} for r in rows if r["price"]]
print(len(rows), "rows,", len(clean), "clean")
print(clean[0])

2التجميع والترتيب

defaultdict يجمع لكل مفتاح، وCounter يعدّ، وsorted بمفتاح يرتب:

from collections import Counter, defaultdict

sales = [
    {"item": "latte", "price": 14, "branch": "riyadh"},
    {"item": "mocha", "price": 16, "branch": "jeddah"},
    {"item": "tea", "price": 6, "branch": "riyadh"},
    {"item": "latte", "price": 14, "branch": "jeddah"},
    {"item": "latte", "price": 14, "branch": "riyadh"},
]

revenue = defaultdict(int)
for s in sales:
    revenue[s["branch"]] += s["price"]
print("revenue:", dict(revenue))

popular = Counter(s["item"] for s in sales)
print("most sold:", popular.most_common(2))

by_price = sorted({s["item"]: s["price"] for s in sales}.items(), key=lambda kv: kv[1], reverse=True)
print("by price:", by_price)

3JSON والمولدات

أغلب واجهات النماذج تعيد JSON، وjson.loads يحوّله لقواميس وقوائم. ولملف ضخم، المولد يقرأ سطرًا سطرًا (صيغة JSONL شائعة في بيانات التدريب):

import io
import json

jsonl = io.StringIO('{"text": "great coffee", "label": 1}\n'
                    '{"text": "cold and late", "label": 0}\n'
                    '{"text": "friendly staff", "label": 1}\n')

def records(stream):
    for line in stream:
        if line.strip():
            yield json.loads(line)

positive = sum(r["label"] for r in records(jsonl))
print("positive examples:", positive)

مثال محلول

المسألة: ملف تقييمات فيه 10,000 سطر، بعضها بلا نص وبعضها مكرر. الخطوات: DictReader ← فلترة if r["text"].strip() ← إزالة التكرار بـ set على النص ← Counter على التقييم. النتيجة: 9,212 سطرًا نظيفًا وتوزيع التقييمات، في 8 أسطر بلا مكتبات. في الدرس التالي نفس الشيء بـ pandas.

خرافة مقابل حقيقة

اختبر فهمك

بطاقات مراجعة سريعة

تحقق من فهمك