مبرهنة ترميز المصدر: الحدود النظرية لضغط المعلومات
تحدد مبرهنة ترميز المصدر أحد الحدود الأساسية لكفاءة تمثيل البيانات، وتوضح مقدار ما يمكن تقليله من طول الترميز عند ضغط المعلومات دون فقدانها. وترتبط هذه المبرهنة بنظرية المعلومات التي طوّرها كلود شانون، وتساعد على تفسير سبب اختلاف حجم الملفات بعد الضغط.
يعتمد الحد النظري للضغط غير الفاقد على إنتروبيا المصدر، وهي مقياس لمتوسط عدم اليقين في الرموز التي ينتجها المصدر. فإذا كانت بعض الرموز أكثر احتمالًا من غيرها، يمكن تخصيص رموز أقصر لها، بينما تحصل الرموز الأقل شيوعًا على تمثيلات أطول. ويؤدي ذلك إلى تقليل متوسط عدد البتات المطلوبة لتمثيل كل رمز.
على سبيل المثال، يمكن ضغط ملف نصي يحتوي على أنماط متكررة بكفاءة من خلال استغلال التكرار في البيانات. وتستخدم خوارزميات مثل هوفمان بعض مبادئ الترميز الاحتمالي لتقليل متوسط طول الرموز، بينما تستفيد خوارزميات أخرى من التكرارات المتكررة في سلاسل البيانات.
لكن الضغط غير الفاقد يختلف عن الضغط الفاقد. ففي النوع الأول يمكن استعادة البيانات الأصلية بدقة، بينما تسمح بعض صيغ الصور والصوت والفيديو بحذف تفاصيل معينة لتقليل الحجم بصورة أكبر. ولا تنطبق حدود الضغط غير الفاقد بالطريقة نفسها على هذين النوعين.
تُستخدم هذه المبادئ في أرشفة المستندات، ونقل الملفات عبر الإنترنت، وتقليل المساحة اللازمة لتخزين البيانات. ولتحقيق أفضل نتيجة، ينبغي اختيار الخوارزمية وفق نوع البيانات؛ فالملفات المضغوطة مسبقًا أو البيانات العشوائية تقريبًا قد لا تنضغط بدرجة كبيرة، بل قد يزداد حجمها قليلًا بسبب معلومات التنسيق الإضافية.
وتكمن الفائدة العملية في إدراك أن الضغط لا يستطيع إزالة كل المعلومات بلا حدود، بل يعتمد على مقدار التكرار والبنية الاحتمالية الموجودة في البيانات نفسها.