Реферат: Основные понятия кибернетики

Потребности теории связи привели к развитию комплекса идей, составивших, в конечном счете, теорию информации. Теория информации в ее современном виде - это научная дисциплина, изучающая способы передачи и хранения информации наиболее надежными и экономными методами. Однако, являясь разделом математики и кибернетики, теория информации используется для решения широкого круга задач в самых разных областях знания. кибернетика связь информация система

Создателем этой научной дисциплины является Клод Э. Шеннон, который в 1948 г. опубликовал работу “Математическая теория связи”, заложившую основы теории информации. Справедливости ради следует отметить, что в разных областях науки еще задолго до выхода в свет этой работы появлялись идеи, на базе которых и сформировалась современная теория информации.

Так, впервые идею о связи между вероятностью и информацией высказал известный английский статистик сэр Рональд Фишер. С другой стороны ряд результатов, сыгравших значительную роль в формировании теории информации, был сформулирован в физике еще в прошлом веке. Так, например, на базе фундаментальных работ, выполненных Л. фон Больцманом, стало возможным связать понятия вероятности с мерой необратимости (неопределенности) тепловых процессов, получившей название термодинамической энтропии. Впоследствии понятие энтропии, но уже применительно к процессам передачи сигналов стало, наряду с понятием количества информации, основным в теории информации.

В теории информации собственно понятие информации не определено. Однако необходимым и достаточным условием для построения этой теории является понятие количества информации. Количество информации должно определяться через нечто, присущее всему многообразию существующей информации, оставаясь нечувствительным при этом к смыслу и ценности информации. Этим общим является факт проведения эксперимента (опыта), понимаемого в обобщенном смысле, и наличие неопределенности в том или ином исходе эксперимента. В самом деле, если бы получателю до опыта было бы известно, какое сообщение он получит в результате его проведения, то получив сообщение, он не приобрел бы никакого количества информации.

Понятно также, что после проведения эксперимента ситуация становится более определенной, так как либо можно однозначно ответить на вопрос, который стоял перед проведением эксперимента, либо число возможных ответов, а следовательно, и неопределенность уменьшатся. Количество снятой неопределенности после эксперимента можно считать тем количеством информации, которое было получено в ходе этого эксперимента.

Итак, мера количества информации () должна отвечать следующим интуитивно понятным свойствам:

·   количество получаемой информации больше в том испытании, в котором больше число возможных исходов;

·   испытание с одним исходом, т.е. когда имеет место достоверное событие, несет количество информации, равное нулю;

·   количество информации в двух независимых испытаниях должно равняться сумме количеств информации от каждого из них.

Единственной функцией от числа возможных исходов, отвечающей этим требованиям, является логарифмическая.

Понятно, что максимальное количество информации, содержащееся в сообщении должно быть пропорционально его длине. Выбор коэффициента пропорциональности сводится к выбору основания логарифмов и означает выбор единицы количества информации. В качестве логарифма в теории информации выбран двоичный логарифм. В этом случае количество информации, заключающееся в выборе одного из двух возможных сообщений, принимается за единицу информации и носит название бит ( binary digit).

Мера для максимального количества информации, которое может содержаться в сообщении была предложена Л. Хартли в 1928 г. Эта мера обладает двумя важными свойствами: монотонно возрастает с возрастанием N и является аддитивной.

Свойство аддитивности состоит в том, что количество информации в совокупности двух независимых сообщений равно сумме количеств информации в каждом из этих сообщений, что согласуется с нашими интуитивными представлениями.

Величина, предложенная Л.Хартли, указывает на верхнюю границу количества информации, которое может содержаться в сообщении. Действительное же количество информации зависит не только от числа возможных сообщений, но и от их вероятностей. Это было учтено К. Шенноном в разработанной им мере количества информации.

Если сообщение имеет вероятность появления ) и , то количество информации вычисляется по формуле Шеннона:

.

Эта формула определяет количество информации, при условии, что после получения сообщения неопределенность отсутствует. В тех же случаях, когда некоторая неопределенность остается, в рассмотрение вводится новое понятие - энтропия.

Энтропией, по традиции обозначаемой, как, называется среднее количество неопределенности того или иного исхода до проведения испытания. При таком определении количество информации, получаемое в сообщении, представляет собой меру снятой неопределенности, т.е. равно количеству информации, которое было получено в ходе этого эксперимента.

Энтропия может быть истолкована как информация, содержащаяся в объектах относительно самих себя, и из этого следует, что максимальное количество информации, которое можно получить об объекте численно равно энтропии.

Энтропия неотрицательна, т.е. , причем знак равенства имеет место только в том случае, когда испытание имеет один достоверный исход.

При заданном n энтропия максимальна и равна , когда все исходы, получаемые в ходе проведения испытания, равновероятны.

Описанные свойства энтропии хорошо согласуются с интуитивно понятными требованиями, предъявляемыми к количественной мере неопределенности и это естественно, так как в определение энтропии заложены сформулированные выше постулаты относительно количества информации, получаемой в результате проведения экспериментов с вероятностными исходами.

При кодировании информации может измениться множество символов и распределение вероятностей. Поэтому каждый код для передачи информации должен оцениваться по величине относительной энтропии, представляющей собой отношение энтропии данного кода к максимально возможной энтропии, т.е. . Так как наибольшее значение относительной энтропии равно единице, то можно ввести понятие избыточности :, которое одновременно может быть использовано в качестве меры упорядоченности при оценке организованности кибернетических систем.

До передачи сигнала по каналу связи бывает известна энтропия источника сообщений Н(х). После получения сигнала становится известной энтропия у получателя информации - Н(у), но так как переданный сигнал, как правило, искажен за счет шумов в канале связи, существует также остаточная неопределенность, характеризуемая условной энтропией Н(х/у). Используя эти понятия, можно подсчитать уменьшение энтропии в единицу времени при передаче по каналу связи. Такая величина  носит название скорости передачи информации.

Уменьшение неопределенности выбора после приема сигнала относительно исходной энтропии сигнала носит название отрицательной или негэнтропии.

Именно негэнтропию, также как количество вещества или энергии, рассматривал Н.Винер в качестве одной из фундаментальных характеристик явлений природы. Отсюда толкование кибернетики, как теории организации и борьбы с возрастанием энтропии, т.е. с хаосом, искажающим информацию.

Скорость передачи информации по каналам связи зависит от распределения вероятностей как сообщений, так и шумов. При этом возможность искажений сообщений в процессе их передачи обусловлена как помехами, которые могут возникнуть в канале связи, так и неправильным выбором скорости передачи информации.

Для одного из таких распределений скорость передачи оказывается максимальной. Эта максимальная скорость носит название пропускной способности канала. Такая величина, являясь характеристикой канала связи, имеет тот смысл, что при правильном кодировании, т.е. при статистическом согласовании источника и канала, по каналу можно передавать в единицу времени количество информации, равное пропускной способности канала связи, со сколь угодно малой вероятностью ошибки.

Таким образом, теория информации определяет, сколько битов можно передать в секунду по идеальному и неидеальному каналам связи в зависимости от их свойств, как измерить скорость с которой источник создает информацию, как эффективнее закодировать передаваемое сообщение и как избежать ошибок при передаче.

На базе теоретико-информационных понятий была сформулирована кибернетическая теория биологического гомеостазиса. Для этого была использована следующая теорема К. Шеннона.

Пусть имеется канал связи, питаемый некоторым источником информации. Если Н(х) - энтропия входа, Н(у) - энтропия выхода и Н(у/х) - условная энтропия, т.е. неопределенность выходного сигнала, когда известен входной сигнал, то Н(х,у)=Н(х)+Н(у/х). Другими словами, совместная неопределенность входа и выхода системы равна сумме энтропии входа и энтропии выхода, если известен вход. Для обеспечения безошибочной передачи информации по каналу связи необходимо корректировать получаемую информацию. Если пропускная способность канала коррекции равна Н(у/х), то корректирующие данные можно закодировать так, чтобы при передаче их по этому каналу скорректировать (исправить) все ошибки . Таким образом, Н(у/х) есть количество дополнительной информации, которая должна быть передана для исправления принятого сообщения.

На базе этой теоремы была сформулированы следующие положения. Любой живой организм непрерывно «бомбардируется» информацией, исходящей из окружающей среды и стремящейся вывести его за те границы, в пределах которых возможно выживание. Поэтому для достижения и поддержания стабильности (устойчивости) организм должен, в свете приведенной выше теоремы, иметь запас информации в некоем «регуляторе» (аналогичном каналу коррекции) в количестве, по меньшей мере соответствующем числу «нарушений».

Запасание информации необходимо также для осуществления связи между системами, разделенными во времени. И по этой причине необходимо в канале связи иметь «резервуары», где информация могла бы сохраняться в течение интервала, отделяющего момент возникновения сообщения от моментов, когда она может потребоваться. Существование таких резервуаров с очевидностью вытекает из наличия памяти у человека и животных.)

Этот принцип необходимого разнообразия, сформулированный Р.У.Эшби, означает, что организм должен постоянно заниматься накоплением информации (запасаемой против градиента, обусловленного вторым законом термодинамики). Причем количество этой информации должно быть достаточным для того, чтобы организм мог противостоять определенным угрожающим ему воздействиям среды.

Очевидно, что сформулированный принцип остается справедливым для любых уровней организации живого, так как и для них существует обмен веществ, в них действует второй закон термодинамики и существуют сходные проблемы гомеостаза.  В заключение отметим, что в рамках существующей теории информации информация типа "герб" или "решетка", полученная при бросании монеты, и информация о результате любого другого испытания с равновероятными альтернативами (рождения мальчика или девочки) эквивалентны.

Поэтому возникает несколько тупиковая ситуация, так как целый ряд вопросов, связанных со смысловыми и прагматическими аспектами переработки информации, естественно, не имеют своего решения. Отсюда вытекает, что, когда в цепь передачи информации включены живые организмы, особенно человек как источник и потребитель информации, желательно было бы иметь и использовать более широкое понятие информации.

По мнению Weaver W. существует, по крайней мере, три уровня (level) информации и соответствующие им три вида проблем:

·   синтаксическая (насколько точно (accurately) могут быть переданы знаки);

·   семантическая (насколько точно( precisely) знаки передают смысл);

·   прагматическая (насколько эффективны (effectively) полученные значения).

В соответствие с этим, помимо статистического в теории информации существует и семантический подход, имеющий целью выработку количественных методов оценки смысла и ценности информации (сообщений). К этому направлению относится также изучение автоматической выработки понятий, их классификации и опознания образов на основе обучения и самообучения.

Имеет смысл также отметить, что существует и такая крайняя точка зрения (Дж. Дж. Гибсон), в рамках которой постулируется необходимость принципиально другого определения и соответственно другой теории информации, когда речь идет о процессах, связанных с восприятием и организацией действия у животных и людей.

Вне зависимости от справедливости такой точки зрения, любое приложение методов теории информации к естественному повседневному поведению требует большой осторожности. Еще большая осторожность требуется в приложениях теоретико-информационных методов к анализу бессознательной активности на физиологическом, клеточном или биохимическом уровне. Однако при соблюдении должной осторожности кибернетика вообще и теория информации, в частности, могут быть интересным и перспективным инструментом для кибернетических исследований в биологии.

Управление. В кибернетике одним из основных понятий является понятие “системы управления”. Такие системы представляют собой упорядоченные совокупности взаимосвязанных и взаимодействующих между собой и окружающим миром элементов. Эти связи и взаимодействия, составляющие материальную основу управления осуществляются за счет сил, потоков энергии, вещества, информации. При этом кибернетика изучает процессы управления с информационной стороны, отвлекаясь от физических и конструктивных характеристик реальных систем управления.

Под управлением в самом общем виде понимается такое воздействие одних элементов системы на другие, которое приводит систему в заданное состояние, позволяет достичь определенных целей или нужных результатов.

Кибернетика рассматривает не системы вообще, а системы управления. Всякое управление подразумевает достижение каких-то целей путем воздействий на связи между объектами. Понятие цели управления в кибернетике имеет весьма широкий смысл, включающий в себя также естественную целесообразность систем управления живой природы, направленную на обеспечение устойчивости биологических видов и приспособление их к изменяющимся условиям внешней среды.