Лекция 1 Введение. Фундаментальные положения теории информации




Скачать 125.53 Kb.
НазваниеЛекция 1 Введение. Фундаментальные положения теории информации
Дата конвертации07.05.2013
Размер125.53 Kb.
ТипЛекция
Лекция 1

Введение. Фундаментальные положения теории информации.

Предмет и методы теории информации. Связь со смежными дисциплинами. Информация, сигналы, данные. Источники информации и ее носители.
Теория информации рассматривается как существенная часть теоретической кибернетики.
Кибернетика — это наука об общих законах получения, хранения, передачи и переработки информации. Ее основной предмет исследования — это так называемые кибернетические системы, рассматриваемые абстрактно, вне зависимости от их материальной природы. Примеры кибернетических систем: автоматические регуляторы в технике, ЭВМ, мозг человека или животных, биологическая популяция, социум.

Основные разделы современной кибернетики: теория информации, теория алгоритмов, теория автоматов, исследование операций, теория оптимального управления и теория распознавания образов.

По своему основному содержанию указанные дисциплины являются самостоятельными и не связанными между собой. Однако, картина подобна деревьям в лесу: стволы их стоят отдельно, а кроны переплетаются. Первое время они растут независимо, а затем, переплетаясь ветвями, проникают друг в друга.
Родоначальниками кибернетики (датой ее рождения считается 1948 год, когда вышла соответствующая публикация) считаются американские ученые Норберт Винер (Wiener) и Клод Шеннон (Shannon). Последний считается основоположником теории информации.

Винер ввел основную категорию кибернетики – управление, показал существенные отличия этой категории от других, например, энергии, описал несколько задач, типичных для кибернетики, и привлек всеобщее внимание к особой роли вычислительных машин, считая их индикатором наступления новой НТР. Выделение категории управления позволило Винеру воспользоваться понятием информации, положив в основу кибернетики изучение законов передачи и преобразования информации.
26.11.1894, Колумбия, Миссури - 18.3.1964, Стокгольм

Норберт Винер родился в еврейской семье. Предки матери, Берты Кан, были выходцами из Германии. Отец ученого, Лео Винер, изучал медицину в Варшаве и инженерное дело в Берлине, а после переезда в США стал в итоге профессором на кафедре славянских языков и литературы в Гарвардском университете.

В 4 года Винер уже был допущен к родительской библиотеке, а в 7 лет написал свой первый научный трактат по дарвинизму. Норберт никогда по-настоящему не учился в средней школе. Зато 11 лет от роду он поступил в престижный Тафт-колледж, который закончил с отличием уже через три года получив степень бакалавра искусств.

В 18 лет Норберт Винер уже числился доктором наук по специальности «математическая логика» в Корнельском и Гарвардском университетах. В девятнадцатилетнем возрасте доктор Винер был приглашён на кафедру математики Массачусетского технологического института.

В 1913 году молодой Винер начинает своё путешествие по Европе, слушает лекции Рассела и Харди в Кембридже и Гильберта в Гёттингене. После начала войны он возвращается в Америку. Во время учёбы в Европе будущему «отцу кибернетики» пришлось попробовать свои силы в роли журналиста околоуниверситетской газетки, испытать себя на педагогическом поприще, прослужить пару месяцев инженером на заводе.

В 1915 году он пытался попасть на фронт, но не прошёл медкомиссию из-за плохого зрения.

С 1919 года Винер становится преподавателем кафедры математики Массачусетского технологического института.

В 20—30 годах он вновь посещает Европу. В теории радиационного равновесия звёзд появляется уравнение Винера-Хопфа. Он читает курс лекций в пекинском университете Цинхуа. Среди его знакомых — Н. Бор, М. Борн, Ж. Адамар и другие известные учёные.

в 1926-м женился на Маргарет Енгерман.

Перед второй мировой войной Винер стал профессором Гарвардского, Корнельского, Колумбийского, Брауновского, Геттингенского университетов, получил в собственное безраздельное владение кафедру в Массачусетском институте, написал сотни статей по теории вероятностей и статистике, по рядам и интегралам Фурье, по теории потенциала и теории чисел, по обобщённому гармоническому анализу…

Во время второй мировой войны, на которую профессор пожелал быть призванным, он работает над математическим аппаратом для систем наведения зенитного огня (детерминированные и стохастические модели по организации и управлению американскими силами противовоздушной обороны). Он разработал новую действенную вероятностную модель управления силами ПВО.

«Кибернетика» Винера увидела свет в 1948 году. Полное название главной книги Винера выглядит следующим образом «Кибернетика, или управление и связь в животном и машине».

За несколько месяцев до смерти Норберт Винер был удостоен Золотой Медали Учёного, высшей награды для человека науки в Америке. На торжественном собрании, посвящённом этому событию, президент Джонсон произнёс: «Ваш вклад в науку на удивление универсален, ваш взгляд всегда был абсолютно оригинальным, вы потрясающее воплощение симбиоза чистого математика и прикладного учёного». При этих словах Винер достал носовой платок и прочувственно высморкался.

Он скончался 18 марта 1964 года в Стокгольме.
Клод Шеннон родился 30 апреля 1916 года в городе Петоцки, штат Мичиган, США. Первые шестнадцать лет своей жизни Клод провел в Гэйлорде, Мичиган, где в 1932 году он закончил общеобразовательную среднюю школу Гэйлорда. В юности он работал курьером службы Western Union. Отец его был адвокатом и в течение некоторого времени судьей. Его мать была преподавателем иностранных языков и впоследствии стала директором Гэйлордской средней школы. Молодой Клод увлекался конструированием механических и автоматических устройств. Он собирал модели самолетов и радиотехнические цепи, создал радиоуправляемую лодку и телеграфную систему между домом друга и своим домом. Временами ему приходилось исправлять радиостанции для местного универмага. Томас Эдисон был его дальним родственником.
В 1932 году Шеннон был зачислен в Мичиганский университет, где выбрал курс, посещая который начинающий ученый познакомился с работами Джорджа Буля. В 1936 г. Клод оканчивает Мичиганский университет, получив степень бакалавра по двум специальностям математика и электротехника, и устраивается в Массачусетский технологический институт, где он работал ассистентом-исследователем на дифференциальном анализаторе Ванневара Буша – аналоговом компьютере. Изучая сложные, узкоспециальные электросхемы дифференциального анализатора, Шэннон увидел, что концепции Буля могут получить достойное применение. Статья, написанная с его магистерской работы 1937 года «Символический анализ реле и коммутаторов», была опубликована в 1938 году в издании Американского института инженеров-электриков (AIEE). Она также стала причиной вручения Шэннону премии Американского института инженерии имени Альфреда Нобеля в 1940 году. Цифровые цепи — это основа современной вычислительной техники, таким образом результаты его работ являются одними из наиболее важных научных результатов ХХ столетия. Говард Гарднер из Гарвардского университета отозвался о работе Шэннона, как о «возможно, самой важной, а также самой известной магистерской работе столетия». По совету Буша Шеннон решил работать над докторской диссертацией по математике в MIT. Идея его будущей работы родилась у него летом 1939 года, когда он работал в Cold Spring Harbor в Нью-Йорке. Буш был назначен президентом Carnegie Institution в округе Вашингтон и предложил Шеннону принять участие в работе, которую делала Барбара Беркс по генетике. Именно генетика, по мнению Буша, могла послужить предметом приложения усилий Шеннона. Докторская диссертация Шеннона, получившая название «Алгебра для теоретической генетики», была завершена весной 1940 года. Шеннон получает Докторскую степень по математике и степень магистра по электротехнике.
В период с 1941 по 1956 гг. Шеннон преподает в Мичиганском университете и работает в компании Белл (Bell Labs). В лаборатории Белл Шеннон, исследуя переключающие цепи, обнаруживает новый метод их организации, который позволяет уменьшить количество контактов реле, необходимых для реализации сложных логических функций. Он опубликовал доклад, названный «Организация двухполюсных переключающих цепей». Шеннон занимался проблемами создания схем переключения, развил метод, впервые упоминавшийся фон Нейманом и позволяющий создавать схемы, которые были надежнее, чем реле, из которых они были составлены. В конце 1940 года Шеннон получил Национальную научно-исследовательскую премию. Весной 1941 года он вернулся в компанию Белл. С началом Второй мировой войны Т.Фрай возглавил работу над программой для систем управления огнем для противовоздушной обороны. Шеннон присоединился к группе Фрая и работал над устройствами, засекавшими самолеты противника и нацеливавшими зенитные установки, также он разрабатывал криптографические системы, в том числе и правительственную связь, которая обеспечивала переговоры Черчилля и Рузвельта через океан. Как говорил сам Шеннон, работа в области криптографии подтолкнула его к созданию теории информации.

С 1950 по 1956 Шеннон занимался созданием логических машин, таким образом, продолжая начинания фон Неймана и Тьюринга. Он создал машину, которая могла играть в шахматы, задолго до создания Deep Blue. В 1952 Шеннон создал обучаемую машину поиска выхода из лабиринта.
Шеннон уходит на пенсию в возрасте пятидесяти лет в 1966 году, но он продолжает консультировать компанию Белл (Bell Labs). В 1985 году Клод Шеннон со своей супругой Бетти посещает Международный симпозиум по теории информации в Брайтоне. Шеннон довольно долго не посещал международные конференции, и сначала его даже не узнали. На банкете Клод Шеннон дал короткую речь, пожонглировал всего тремя мячиками, а затем раздал сотни и сотни автографов изумленным его присутствием ученым и инженерам, отстоявшим длиннейшую очередь, испытывая трепетные чувства по отношению к великому ученому, сравнивая его с сэром Исааком Ньютоном.
Он был разработчиком первой промышленной игрушки на радиоуправлении, которая выпускалась в 50-ые годы в Японии (фото). Также он разработал устройство, которое могло складывать Кубик Рубика, мини компьютер для настольной игры Гекс, который всегда побеждал соперника, механическую мышку, которая могла находить выход из лабиринта. Так же он реализовал идею шуточной машины "Ultimate Machine".
Клод Шеннон ушел из жизни 24 февраля 2001 года.

В СССР значительный вклад в развитие кибернетики внесли академики Берг А. И. и Глушков В. М.

В нашей стране в 50-е годы кибернетика была объявлена лженаукой и была практически запрещена, что не мешало, однако, развиваться всем ее важным разделам (в том числе и теории информации) вне связи с обобщающим словом “кибернетика”. Это было связано с тем, что сама по себе кибернетика представляет собой род философии, в кое чем конфликтной с официальной доктриной того времени (марксистско-ленинской диалектикой).
Теория информации тесно связана с такими разделами математики как теория вероятностей и математическая статистика, а также прикладная алгебра, которые предоставляют для нее математический фундамент. С другой стороны теория информации исторически и практически представляет собой математический фундамент теории связи. Т.е. теория информации как самостоятельная дисциплина возникла в ходе решения следующей задачи: обеспечить надежную и эффективную передачу информации от источника к приемнику при условии, что передаче этой препятствуют помехи. При этом:

термин «надежная» означает, что в процессе передачи не должно происходить потери информации – приемник полностью, без искажений должен получить информацию, отправленную источником;

«эффективная» означает, что передача должна осуществляться наиболее быстрым способом, поскольку время эксплуатации линии связи – экономический фактор, который требуется минимизировать; помехи присутствуют в любой реальной линии связи; таким образом, поставленная выше задача имеет четкую практическую направленность.
Информация может быть двух видов: дискретная (цифровая) и непрерывная (аналоговая). Дискретная информация характеризуется последовательными точными значениями некоторой величины, а непрерывная – непрерывным процессом изменения некоторой величины.

При переводе непрерывной информации в дискретную важна частота дискретизации υ, определяющая период дискретизации (T =1/υ) между измерениями значений непрерывной величины (см. рис. 1)

Частоту выборки выбирают согласно теореме о выборках или (что то же самое) закона Найквиста:

Любая непрерывная величина описывается множеством наложенных друг на друга волновых процессов, называемых гармониками, определяемых функциями вида Asin(ωt + φ), где A – это амплитуда, ω – частота, t – время и φ – фаза. В итоге для точной дискретизации ее частота (υ) должна быть не менее чем в два разы выше наибольшей частоты гармоники, входящей в дискретизируемую величину.
Примером использования этой теоремы являются файлы со звуковой информацией, хранящейся в цифровой форме. Чем выше будет частота дискретизации, тем точнее будут воспроизводиться звуки, НО тем больше места будет занимать такой файл. Однако, ухо обычного человека способно различать звуки с частотой до 20 кГц, поэтому точно записывать звуки с большей частотой бессмысленно. Согласно теореме о выборках частоту дискретизации нужно выбрать не меньшей 40 КГц (в промышленном стандарте на компакт диске используется частота 44.1 КГц).

Еще пример: обычные телефонные линии предназначены для передачи звуков частотой до 3 кГц.



а) б)

Рис. 1 Изображение: непрерывного исходного синусоидального сигнала и результата его дискретизации (а), результата дискретизации и кодирования случайного сигнала (б)


При преобразовании дискретной информации в непрерывную, определяющей является скорость этого преобразования: чем она выше, с тем более высокочастотными гармониками получится непрерывная величина. Но чем большие частоты встречаются в этой величине, тем сложнее с ней работать.

Устройства для преобразования непрерывной информации в дискретную называются АЦП (аналого-цифровой преобразователь) или ADC (Analog to Digital Convertor, A/D), а устройства для преобразования дискретной информации в аналоговую – ЦАП (цифро-аналоговый преобразователь) или DAC (Digital to Analog Convertor,D/A).
Информация – категория нематериальная. Следовательно, для существования и распространения в нашем материальном мире она должна быть обязательно связана с какой-либо материальной основой – без нее информация не может проявиться, передаваться и сохраняться, например, восприниматься и запоминаться нами.

Материальный объект или среду, которые служат для представления или передачи информации, будем называть ее материальным носителем (бумага, воздух, компакт диск, электромагнитное поле и пр.)

Хранение информации связано с некоторой характеристикой носителя, которая не меняется с течением времени, например намагниченные области поверхности диска или буква на бумаге, а передача информации – наоборот, с характеристикой, которая изменяется с течением времени, например амплитуда колебаний звуковой волны или напряжение в проводах.

В итоге, хранение информации связано с фиксацией состояния носителя, а распространение – с процессом, который протекает в носителе. Состояния и процессы могут иметь физическую, химическую, биологическую или иную основу – главное, что они материальны.

Изменение характеристики носителя, которое используется для представления информации, называется сигналом, а значение этой характеристики, отнесенное к некоторой шкале измерений, называется параметром сигнала.

Одиночный сигнал не может содержать много информации. Поэтому для передачи информации используется ряд следующих друг за другом сигналов. Последовательность сигналов называется сообщением.

Сообщение выступает в качестве материальной оболочки для представления информации при передаче. Следовательно, сообщение служит переносчиком информации, а информация является содержанием сообщения.

Соответствие между сообщением и содержащейся в нем информацией называется правилом интерпретации сообщения.

Информационный процесс – это изменение с течением времени содержания информации или представляющего его сообщения. Различают информационные процессы:

- порождение (создание) новой информации;

- преобразование информации (т.е. порождение новой информации в результате обработки имеющейся);

- уничтожение информации;

- передача информации (распространение в пространстве).

В системах связи типичная структура передачи информации следующая, рис.2




Рис.2 Типичная система передачи (хранения) информации


Источником информации является любое устройство или объект живой природы, порождающие сообщения, которые должны быть перемещены в пространстве или во времени (клавиатура ЭВМ, человек, аналоговый выход видеокамеры и т.п.) Далее считаем, что независимо от изначальной физической природы, все подлежащие передаче сообщения по умолчанию преобразуется в форму электрических сигналов.

Кодер источника представляет информацию в наиболее компактной форме. Это нужно для того, чтобы эффективно использовать ресурсы канала связи либо ЗУ.

Кодер канала обрабатывает информации с целью защиты сообщений от помех при передаче по каналу связи либо возможных искажений при их хранении.

Модулятор служит для преобразования сообщений, формируемых кодером канала, в сигналы, согласованные с физической природой канала связи или средой накопителя информации.

Остальные блоки, расположенные на приемной стороне, выполняют обратные операции и предоставляют получателю информацию в удобном для использования виде.

Приемник информации (получатель) – это субъект или объект, принимающий сообщение и способный правильно его интерпретировать.
В определении приемника информации важным представляется то, что факт приема сообщения еще не означает получение информации; информация может считаться полученной только в том случае, если приемнику известно правило интерпретации сообщения. Другими словами, понятия «приемник сообщения» и «приемник информации» не тождественны. Например, слыша речь на незнакомом языке, человек оказывается приемником сообщения, но не приемником информации.
Таким образом, в теории информации можно выделить следующие разделы:

1. Кодирование дискретных источников. Иногда эту часть теории информации называют кодированием без потерь, кодированием для канала без шума, сжатием информации.

2. Кодирование информации для передачи по каналу с шумом. Речь идет о защите информации от помех в каналах связи.

3. Кодирование с заданным критерием качества. В некоторых системах связи искажения информации допустимы. Более того, информация аналоговых источников вообще не может быть представлена в цифровой форме без искажений. В данном разделе речь идет о методах кодирования, обеспечивающих наилучший компромисс между качеством (оцениваемым некоторой объективной мерой искажения) и затратами на передачу информации. Сегодня задачи такого типа стали особенно актуальны, поскольку они находят широкое применение для цифровой передачи речи, видео- и аудиоинформации.

4. Кодирование информации для систем со многими пользователями. Здесь обсуждается оптимальное взаимодействие абонентов, использующих какой-либо общий ресурс, например, канал связи Примеры систем с множественным доступом – системы мобильной связи, локальные сети ЭВМ.

5. Секретная связь, системы защиты информации от несанкционированного доступа. Здесь также можно указать широкий круг актуальных задач, лежащих на стыке теории информации, теории вычислительной сложности алгоритмов, исследования операций, теории чисел.

Далее рассматриваются только первые три.

Похожие:

Лекция 1 Введение. Фундаментальные положения теории информации iconЛекция Введение. Общая гистология введение, понятие ткани, классификация
Охватывают концевые отделы и мелкие протоки желез
Лекция 1 Введение. Фундаментальные положения теории информации iconКнига охватывает широкий круг направлений в теории личности, разработанных такими
Х35 Теории личности (Основные положения, исследования и применение). Спб. Питер
Лекция 1 Введение. Фундаментальные положения теории информации iconУрока Планируемые результаты обучения Основные поня тия (впервые вводимые) Химический
Знать основные положения теории химического строения а м. Бутлерова и их доказательства,значе-ние теории
Лекция 1 Введение. Фундаментальные положения теории информации iconЛекция №1. Введение в тему, общие сведения. Введение. Предмет курса. Классификация компьютеров
Нечеткость классификации, история развития суперкомпьютеров, сравнение с состоянием дел на данный момент. Рост частоты процессоров...
Лекция 1 Введение. Фундаментальные положения теории информации iconО некоторых особенностях семантизаций тематически связанных слов в психолингвистическом эксперименте
В таком союзе теории и практики семантика сформировала основные положения своей теории, а лексикографию ознаменовал выпуск замечательных...
Лекция 1 Введение. Фундаментальные положения теории информации iconЛекция №3 классификация и основные свойства единиц информации
Существуют две основные единицы информации атрибут и составная единица информации. Атрибут соответствует понятию переменной в языках...
Лекция 1 Введение. Фундаментальные положения теории информации iconРабочая программа дисциплина Основы теории защиты информации Направление 654600 Информатика и вычислительная техника
Специальность 2301002 – Автоматизированные системы обработки информации и управления
Лекция 1 Введение. Фундаментальные положения теории информации iconЗакон об информации, информационных технологиях и о защите информации
Положения настоящего Федерального закона не распространяются на отношения, возникающие при правовой охране результатов интеллектуальной...
Лекция 1 Введение. Фундаментальные положения теории информации iconОсновные положения синтетической теории эволюции
Термин «синтетическая» идет от названия книги известного английского эволюциониста Дж. Хаксли «Эволюция: современный синтез» (1942)....
Лекция 1 Введение. Фундаментальные положения теории информации iconРазвития электродинамики гаусса вебера квантовая механика без волновой теории
Фундаментальные проблемы естествознания и техники. Международный Конгресс-2000. Спб, 2000, ст
Разместите кнопку на своём сайте:
kk.convdocs.org



База данных защищена авторским правом ©kk.convdocs.org 2012-2017
обратиться к администрации
kk.convdocs.org
Главная страница