فحص المحتوى المكرر باستخدام تسلسلات الكلمات

وهي توحّد حالة الأحرف وعلامات الترقيم، وتنشئ مجموعة من العبارات لكل نص، ثم تقيس التداخل بمعامل Jaccard. ويمكنكم تحديد طول التسلسل والنسبة التي تؤدي إلى وضع علامة على التكرار المحتمل. والنتيجة حتمية وقابلة للتدقيق، مما يجعلها مناسبة لمراجعة صفحات الهبوط وأوصاف المنتجات والمقالات المعاد نشرها وغيرها من المواد قبل النشر.

ما الذي يكشفه التشابه بتسلسلات الكلمات

التسلسل هنا مجموعة قصيرة من الكلمات المتجاورة. فإذا كان طوله ثلاث كلمات، تُنتج الجملة مجموعات تضم الكلمات من 1 إلى 3، ثم من 2 إلى 4، وهكذا. تنشئ الأداة هذه المجموعات للنصين، وتحسب التسلسلات المشتركة، ثم تقسم عددها على مجموع التسلسلات الفريدة الموجودة في أي من المجموعتين. ينتج عن حساب Jaccard هذا مقدار التشابه. فهو يرصد المقاطع المتطابقة، ويتجاهل اختلاف حالة الأحرف أو علامات الترقيم حين لا يغيّر الكلمات. ولذلك يقدم دلالة أفضل من مقارنة أعداد الكلمات المفردة؛ فوجود مفردات شائعة لا يصنع تطابقاً ما لم ترد الكلمات بالترتيب المحلي نفسه. تثبت النتيجة وجود تداخل نصي، لكنها لا تتنبأ بعقوبة من محرك بحث. تشير القيمة المرتفعة إلى أن النسختين تعيدان استخدام عدد كبير من العبارات وتستحقان مراجعة تحريرية. أما القيمة المنخفضة فتشير إلى اختلاف الصياغة الحرفية، لكنها لا تثبت أن أياً من النصين أصيل أو دقيق أو مفيد أو مناسب للنشر.

اختيار طول التسلسل وعتبة التكرار

الطول الافتراضي هو ثلاث كلمات، وهو نقطة بداية عملية للنصوص المعتادة على الويب. تكون التسلسلات الأقصر أكثر حساسية؛ إذ تلتقط الأجزاء المشتركة القصيرة، لكنها قد تحتسب أيضاً عبارات روتينية تظهر طبيعياً في صفحات غير مرتبطة. أما التسلسلات الأطول فتتطلب عبارات حرفية أطول، فتقلل التطابق العرضي، لكنها قد تفوّت مقاطع أعيدت صياغتها بدرجة بسيطة. اختاروا الطول قبل تفسير النسبة، لأن النتائج الناتجة عن أطوال مختلفة لا تصلح للمقارنة المباشرة. تتحكم عتبة التكرار في العلامة المعادة فقط، ولا تغيّر حساب التشابه. فإذا كانت العتبة 70، تُعلّم كل نتيجة تساوي 70 بالمئة أو تتجاوزها. ينبغي معايرة القيمة بأمثلة من مكتبتكم، لا اعتبار حد واحد قاعدة عامة لتحسين محركات البحث. حافظوا على الإعدادات نفسها عند مقارنة دفعات. ويجب أن يحتوي كل نص على عدد من الكلمات الموحّدة لا يقل عن طول التسلسل؛ وإلا يفشل الطلب بدلاً من عرض نسبة مصطنعة أو مضللة حسابياً.

تحويل النتيجة إلى قرار تحريري

استخدموا النتيجة إشارةً للفرز ضمن مسار المراجعة. ابدؤوا بمقارنة الصفحات التي تستهدف استعلامات متقاربة، أو القوالب المعبأة من الكتالوج نفسه، أو المسودة بالمادة المصدرية المسلّمة إلى الكاتب. عند وضع علامة على زوج، افحصوا الوثيقتين وحددوا سبب اشتراكهما في التسلسلات. قد يكون تكرار التنقل والإشعارات القانونية والمواصفات وعبارات الحث على الإجراء مشروعاً. أما تطابق المقدمات والشروح والفوائد والخواتيم فهو سبب أقوى للمراجعة. حافظوا على الحقائق التي يجب أن تبقى صحيحة، لكن أعيدوا تنظيم المحتوى وصياغته كي تخدم كل صفحة مقصداً مستقلاً للقارئ. سجّلوا طول التسلسل والعتبة مع النتيجة إذا احتجتم إلى سجل تدقيق قابل لإعادة الإنتاج. تعالج الأداة نصين اثنين بالضبط في كل طلب؛ ولا تزحف إلى عناوين URL، ولا تبحث في الويب العام، ولا تحدد المؤلف الأصلي، ولا تقرر ترتيب الصفحات. ولمراجعة موقع كامل، اختاروا أولاً أزواجاً ذات معنى، وشغلوها بإعدادات ثابتة، وأحيلوا أعلى النتائج إلى فحص بشري بدلاً من حذف الصفحات أو إعادة توجيهها تلقائياً.