العربية في الاسترجاع

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

«إجازة» و«اجازه» كلمة واحدة للقارئ وكلمتان للحاسوب. تبني في هذا الدرس دالة تطبيع، ثم ترى أثرها على البحث، ثم توحّد الأرقام والأشكال المركّبة، ثم تعرف أين تتوقّف.

1دالة التطبيع

التطبيع يحوّل الأشكال المختلفة لنفس الكلمة إلى شكل واحد قبل المقارنة. انظر إلى الرسم: خمس قواعد تمرّ عليها كل كلمة بالترتيب.

import re

DIACRITICS = re.compile(r"[ً-ْٰ]")   # fatha, damma, kasra, tanween, shadda, sukun, dagger alef
TATWEEL = "ـ"

def normalize(text):
    text = DIACRITICS.sub("", text)
    text = text.replace(TATWEEL, "")
    text = re.sub("[إأآٱ]", "ا", text)
    text = text.replace("ى", "ي")
    text = text.replace("ة", "ه")
    return text

for word in ["الإجَازَةُ", "إجازة", "اجازه", "مُســـتشفى", "مستشفي", "أحمد", "احمد"]:
    print(f"{word:12} -> {normalize(word)}")

حذف التشكيل والتطويل، وتوحيد أشكال الألف المهموزة إلى «ا»، والألف المقصورة إلى «ي»، والتاء المربوطة إلى «ه». النتيجة أن كل الأشكال السبعة صارت ثلاث كلمات فقط. لاحظ أن هذا يحدث في نسخة البحث فقط، ويبقى النص الأصلي كما هو للعرض والاستشهاد.

توحيد الهمزات يخسر تمييزًا نادرًا بين كلمات قليلة، ويكسب تطابق أغلب ما يكتبه الناس.

2الأثر على البحث

الناس يكتبون بلا همزات ولا تشكيل، والمستندات الرسمية تكتب بهما. انظر إلى الرسم: خمسة أسئلة كما يكتبها الناس، قبل التطبيع وبعده.

import re

docs = ["تُقدَّم طلبات الإجازة قبل أسبوعين.",
        "يحق للموظف إجازة مرضية بتقرير طبي.",
        "تصرف بدلات السفر خلال عشرة أيام.",
        "الأسئلة الشائعة عن المستشفى المتعاقد معه."]
queries = ["اجازه", "الاجازة", "اسبوعين", "مستشفي", "تقدم"]

def normalize(t):
    t = re.sub(r"[ً-ْٰـ]", "", t)
    t = re.sub("[إأآٱ]", "ا", t)
    return t.replace("ى", "ي").replace("ة", "ه")

def found(query, docs, norm):
    f = normalize if norm else (lambda s: s)
    return [i for i, d in enumerate(docs) if f(query) in f(d)]

for q in queries:
    print(f"{q:10} raw: {found(q, docs, False)!s:8} normalised: {found(q, docs, True)}")

بلا تطبيع، خمسة أسئلة مكتوبة كما يكتب الناس فعلًا لم تجد شيئًا. بعد التطبيع وجدت كلها مستنداتها. هذا بحث نصّي بسيط، لكن الأثر نفسه يحدث في BM25 وفي أي فهرس كلمات، ويقلّ في نماذج التضمين لكنه لا يختفي.

3الأرقام والأشكال المركّبة

الأرقام العربية الهندية (١٢٣) والفارسية (۱۲۳) واللاتينية (123) شيء واحد للقارئ. إن لم توحّدها، لن يجد «طلب 1043» مستندًا فيه «طلب ١٠٤٣».

نصوص من ملفات PDF قديمة تحمل أحيانًا «لا» كحرف واحد مركّب لا حرفين، فلا تجدها أي مقارنة.

import unicodedata

DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")

for text in ["الطلب رقم ١٠٤٣", "الطلب رقم 1043", "الطلب رقم ۱۰۴۳"]:
    print(f"{text:18} -> {text.translate(DIGITS)}")

lam_alef = "ﻻ"                    # the ligature form of lam-alef, from old PDFs
print("ligature:", lam_alef, "length", len(lam_alef),
      "-> NFKC:", unicodedata.normalize("NFKC", lam_alef), "length", len(unicodedata.normalize("NFKC", lam_alef)))

str.translate يوحّد الأرقام بجدول واحد. وNFKC من مكتبة unicodedata يفكّك الأشكال المركّبة إلى حروفها الأصلية: حرف واحد طوله 1 صار «لا» بطول 2. شغّل NFKC على كل نص مستخرج من PDF قبل أي تطبيع آخر.

4أين تتوقّف

للتطبيع ثمن صغير: في حالات نادرة تصير كلمتان مختلفتا المعنى كلمة واحدة. لذلك لا تتجاوز القواعد الخمس بلا قياس.

وتجنّب التجذيع العنيف الذي يردّ الكلمة إلى جذرها. انظر إلى الرسم: ثلاث كلمات من جذر واحد بثلاثة معانٍ.

كيف يعمل، خطوة بخطوة: كيف تطبّع نصًّا عربيًّا قبل البحث

مثال محلول

التطبيع دالة واحدة تطبّقها على المستندات عند الفهرسة وعلى السؤال عند البحث، بنفس القواعد. ابدأ بالقواعد الخمس الأشيع.

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك