معالجة النصوص

النصّ الحقيقي فوضوي: مسافات زائدة، وعلامات ترقيم ملتصقة بالكلمات، وPython وpython كلمتان مختلفتان في عين الحاسوب. فقبل أي عدّ يمرّ النصّ بثلاث خطوات: وحّد، ثم نظّف، ثم قسّم.

التوحيد .lower(): لا يغيّر العربية لأنها بلا حالة، لكنه يوحّد ما يختلط بها من اللاتينية. والتنظيف re.sub(r"[^\w\s]", " ", text): كل ما ليس حرفًا أو رقمًا (\w) أو مسافة (\s) يصير مسافة. ثم .split() بلا وسائط تقسم على أي عدد من المسافات وتتجاهل الطرفين كما تفعل .strip()، أما .split(" ") فتُرجع نصوصًا فارغة بين كل مسافتين.

والفخّ مع العربية: string.punctuation فيها علامات الإنجليزية وحدها، لا «،» ولا «؟» ولا «؛». فمن يحذف بها تبقى عنده «ممتازة،» و«ممتازة» كلمتين. أما \w فتعرف الحروف العربية، فالحذف بنفيها يشمل كل العلامات.