1.1 Giới thiệu
Đối tượng nghiên cứu của lý thuyết thông tin
Lý thuyết thông tin là một ngành khoa học nghiên cứu các quy luật số học liên quan đến việc thu thập, truyền tải, xử lý và lưu trữ thông tin.
Lý thuyết thông tin chặt chẽ liên quan đến các lĩnh vực toán học, đặc biệt là lý thuyết xác suất, đóng vai trò là nền tảng toán học cho lý thuyết thông tin. Đồng thời, lý thuyết thông tin lại là nền tảng toán học cho lĩnh vực truyền thông. Thường thì lý thuyết thông tin được coi là một phần của lý thuyết xác suất hoặc lý thuyết truyền thông. Do đó, đối tượng của “Lý thuyết thông tin” khá hẹp, bởi nó nằm ở sự kết hợp giữa toán học thuần túy và các phần ứng dụng trong truyền thông.
Thu thập, truyền tải, xử lý và lưu trữ thông tin là cơ sở của các hệ thống quản lý
Thu thập, truyền tải, xử lý và lưu trữ thông tin là nền tảng của bất kỳ hệ thống điều khiển nào. Nguyên tắc hoạt động của các hệ thống điều khiển là sử dụng một lượng nhỏ năng lượng, chuyển thông tin, để điều khiển và giám sát hoạt động của các hệ thống hoặc quá trình lớn hơn.
Bất kỳ thông tin nào cần được truyền tải phải được “mã hóa” thành các biểu tượng và tín hiệu đặc biệt.
Nhiệm vụ của lý thuyết thông tin
Một trong những nhiệm vụ của lý thuyết thông tin là tìm kiếm các phương pháp mã hóa hiệu quả nhất để truyền tải thông tin cần thiết với số ký tự tối thiểu. Nhiệm vụ này cũng bao gồm việc giải quyết vấn đề truyền tải thông tin trong môi trường có nhiễu.
Một nhiệm vụ khác của lý thuyết thông tin là xác định băng thông cần thiết cho việc truyền tải toàn bộ thông tin đang được sản xuất liên tục từ một nguồn thông tin.
Ngoài ra, lý thuyết thông tin còn liên quan đến việc đo lường khối lượng bộ nhớ cần thiết để lưu trữ thông tin. Để giải quyết các vấn đề này, chúng ta cần phải học cách đo lường khối lượng thông tin, băng thông của đường truyền và độ nhạy cảm của chúng đối với nhiễu.
Tóm lại, lý thuyết thông tin là một lĩnh vực toán học dành riêng cho việc đo lường thông tin, biến đổi thông tin, truyền tải thông tin qua các đường truyền và nghiên cứu cách xây dựng các hệ thống mã hóa thông tin khác nhau.