Редактирование: ПОД: Ответы старые

Материал из eSyr's wiki.

Внимание: Вы не представились системе. Ваш IP-адрес будет записан в историю изменений этой страницы.

Правка может быть отменена. Пожалуйста, просмотрите сравнение версий, чтобы убедиться, что это именно те изменения, которые вас интересуют, и нажмите «Записать страницу», чтобы изменения вступили в силу.

= Информация и её измерения. =

Термин  "информация"  происходит от латинского слова  "informatio",  что означает  сведения,  разъяснения,  изложение. Несмотря на широкое распространение этого термина, понятие информации является одним из самых дискуссионных в науке. В настоящее время наука пытается найти общие свойства и закономерности, присущие многогранному понятию информация, но пока это понятие во многом остается интуитивным и получает различные смысловые наполнения в различных отраслях человеческой деятельности: 
в обиходе информацией называют любые данные или сведения, которые кого-либо интересуют. Например, сообщение о каких-либо событиях, о чьей-либо деятельности и т.п.   "Информировать" в этом смысле означает   "сообщить нечто, неизвестное раньше"; 
в технике под информацией понимают сообщения, передаваемые в форме знаков или сигналов; 
в кибернетике под информацией понимает ту часть знаний, которая используется для ориентирования, активного действия, управления, т.е. в целях сохранения, совершенствования, развития системы (Н. Винер).

Клод Шеннон, американский учёный, заложивший основы теории информации — науки, изучающей процессы, связанные с передачей, приёмом, преобразованием и хранением информации, — рассматривает информацию как снятую неопределенность наших знаний о чем-то.

Приведем еще несколько определений: 
Информация — это сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний (Н.В. Макарова); 
Информация — это отрицание энтропии (Леон Бриллюэн); 
Информация — это мера сложности структур (Моль); 
Информация — это отраженное разнообразие (Урсул); 
Информация — это содержание процесса отражения (Тузов); 
Информация — это вероятность выбора (Яглом).

Современное научное представление об информации очень точно сформулировал   Норберт Винер, "отец" кибернетики. А именно: 
Информация — это обозначение содержания, полученного из внешнего мира в процессе нашего приспособления к нему и приспособления к нему наших чувств.

Подходы к определению количества информации.   Формулы Хартли и Шеннона.

Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N. Формула Хартли:   
: <math>I(N)= log_2 N.</math>

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log_2 100 > 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. Формула Шеннона: 
: <math>H =-\sum_{i=1}^np(i)\log_2 p(i).</math>

где p_i — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

Легко заметить, что если вероятности p_1, ..., p_N равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.

Помимо двух рассмотренных подходов к определению количества информации, существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями.

В качестве единицы информации Клод Шеннон предложил принять  один  бит    (англ. bit — binary digit — двоичная цифра). 
Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений   (типа "орел"—"решка", "чет"—"нечет" и т.п.).

В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.

= Арифметические вычисления до эры ЭВМ. =

= Эволюционная классификация ЭВМ.  =

= Принципы фон Неймановской архитектуры. =

= Виды запоминающих устройств. =

= Адресация ОЗУ. =

= Расслоение оперативной памяти. =

= Ассоциативная память. =

= Виртуальная память. =

= Алгоритмы управления  страницами ОЗУ. =

= Использование в ЭВМ принципа локальности вычислений. =

= Полностью ассоциативная кэш-память. =

= Кэш-память с прямым отображением. =

= Частично-асссоциативная кэш-память. =

= Изменение данных  в кэш памяти. =

= Учет параметров кэша при программировании задач. =

= Конвейерная обработка данных. =

= Внеочередное выполнение команд. =

= Производительность конвейеров.  =

= Векторно-конвейерные вычислители. =

= Конвейерная обработка команд. =

= Конвейерные конфликты. =

= Спекулятивное выполнение команд. =

= Статическое предсказание условных переходов. =

= Механизмы динамического предсказания переходов. =

= Обработка условных операторов в EPIC. =

= Эволюция системы команд микропроцессоров. =

= Суперскалярные микропроцессоры. =

= Широкоформатные команды для параллельной обработки данных. =

= Проект EPIC. =

= Мультитредовые, многоядерные вычислители. =

= Классификация параллельных вычислителей по Флинну. =

= Статические коммутационные сети. =

= Динамические коммутаторы. =

= Метакомпъютинг. =

= Вычислительные  кластеры. =

= Матричные параллельные мультипроцессоры. =

= Симметричные мультипроцессоры. =

= Архитектура памяти cc-NUMA. =

= Парадигмы программирования для параллельных вычислителей. =

= Нетрадиционные вычислители. =

= Организация вычислений на графе. =

= Реализация потоковых машин. =

= Нейронные сети как вычислители. =

= Измерения производительности ЭВМ. =

= Реальная и полная производительность вычислителей. =

= Пакеты для измерения производительности вычислительных систем. =

= Параметры рейтинга ТОР500. =

= Закон Амдала. =

= Параллельные алгоритмы. Метрики. =

= Параллельные алгоритмы редукции. =

= Распараллеливание алгоритмов рекурсии первого порядка. =

= Векторизация последовательных программ.  =

= Синхронизация параллельных процессов. =

= Исполняемые комментарии в языках программирования. =

= Система Open MP. =

= Пакет MPI. =

= Язык Фортран-GNS. =

= Порождение параллельных процессов. Идентификация абонентов. =

= Протоколы передачи сообщений. =

= Учет топологии кластера в МР программировании. =

= Язык Фортран-DVM. =

= Система программирования НОРМА. =

= Особенности машинной арифметики. =

= Погрешности параллельных вычислений. Оценить ошибки суммирования. =

= Алгоритмы оптимизации  программ, влияющие на точность вычислений. =

Пожалуйста, обратите внимание, что все ваши добавления могут быть отредактированы или удалены другими участниками. Если вы не хотите, чтобы кто-либо изменял ваши тексты, не помещайте их сюда.
Вы также подтверждаете, что являетесь автором вносимых дополнений, или скопировали их из источника, допускающего свободное распространение и изменение своего содержимого (см. eSyr's_wiki:Авторское право).
НЕ РАЗМЕЩАЙТЕ БЕЗ РАЗРЕШЕНИЯ ОХРАНЯЕМЫЕ АВТОРСКИМ ПРАВОМ МАТЕРИАЛЫ!

Описание изменений:

Отменить | Справка по редактированию (в новом окне)

Получено с http://esyr.name/wiki/%D0%9F%D0%9E%D0%94:_%D0%9E%D1%82%D0%B2%D0%B5%D1%82%D1%8B_%D1%81%D1%82%D0%B0%D1%80%D1%8B%D0%B5

Редактирование: ПОД: Ответы старые

Материал из eSyr's wiki.

Просмотры

Личные инструменты

Навигация

инструменты

Разделы

Спецкурсы

9 семестр

7 семестр

5 семестр

3 семестр

Поиск

Инструменты

@@ Строка 1: / Строка 1: @@
-#redirect [[ПОД (3 поток), Ответы]]
+= Информация и её измерения. =
+Термин  "информация"  происходит от латинского слова  "informatio",  что означает  сведения,  разъяснения,  изложение. Несмотря на широкое распространение этого термина, понятие информации является одним из самых дискуссионных в науке. В настоящее время наука пытается найти общие свойства и закономерности, присущие многогранному понятию информация, но пока это понятие во многом остается интуитивным и получает различные смысловые наполнения в различных отраслях человеческой деятельности:
+в обиходе информацией называют любые данные или сведения, которые кого-либо интересуют. Например, сообщение о каких-либо событиях, о чьей-либо деятельности и т.п.   "Информировать" в этом смысле означает   "сообщить нечто, неизвестное раньше";
+в технике под информацией понимают сообщения, передаваемые в форме знаков или сигналов;
+в кибернетике под информацией понимает ту часть знаний, которая используется для ориентирования, активного действия, управления, т.е. в целях сохранения, совершенствования, развития системы (Н. Винер).
+Клод Шеннон, американский учёный, заложивший основы теории информации — науки, изучающей процессы, связанные с передачей, приёмом, преобразованием и хранением информации, — рассматривает информацию как снятую неопределенность наших знаний о чем-то.
+Приведем еще несколько определений:
+Информация — это сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний (Н.В. Макарова);
+Информация — это отрицание энтропии (Леон Бриллюэн);
+Информация — это мера сложности структур (Моль);
+Информация — это отраженное разнообразие (Урсул);
+Информация — это содержание процесса отражения (Тузов);
+Информация — это вероятность выбора (Яглом).
+Современное научное представление об информации очень точно сформулировал   Норберт Винер, "отец" кибернетики. А именно:
+Информация — это обозначение содержания, полученного из внешнего мира в процессе нашего приспособления к нему и приспособления к нему наших чувств.
+Подходы к определению количества информации.   Формулы Хартли и Шеннона.
+Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N. Формула Хартли:
+: <math>I(N)= log_2 N.</math>
+Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log_2 100 > 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.
+Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. Формула Шеннона:
+: <math>H =-\sum_{i=1}^np(i)\log_2 p(i).</math>
+где p_i — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.
+Легко заметить, что если вероятности p_1, ..., p_N равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.
+Помимо двух рассмотренных подходов к определению количества информации, существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями.
+В качестве единицы информации Клод Шеннон предложил принять  один  бит    (англ. bit — binary digit — двоичная цифра).
+Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений   (типа "орел"—"решка", "чет"—"нечет" и т.п.).
+В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.
+= Арифметические вычисления до эры ЭВМ. =
+= Эволюционная классификация ЭВМ.  =
+= Принципы фон Неймановской архитектуры. =
+= Виды запоминающих устройств. =
+= Адресация ОЗУ. =
+= Расслоение оперативной памяти. =
+= Ассоциативная память. =
+= Виртуальная память. =
+= Алгоритмы управления  страницами ОЗУ. =
+= Использование в ЭВМ принципа локальности вычислений. =
+= Полностью ассоциативная кэш-память. =
+= Кэш-память с прямым отображением. =
+= Частично-асссоциативная кэш-память. =
+= Изменение данных  в кэш памяти. =
+= Учет параметров кэша при программировании задач. =
+= Конвейерная обработка данных. =
+= Внеочередное выполнение команд. =
+= Производительность конвейеров.  =
+= Векторно-конвейерные вычислители. =
+= Конвейерная обработка команд. =
+= Конвейерные конфликты. =
+= Спекулятивное выполнение команд. =
+= Статическое предсказание условных переходов. =
+= Механизмы динамического предсказания переходов. =
+= Обработка условных операторов в EPIC. =
+= Эволюция системы команд микропроцессоров. =
+= Суперскалярные микропроцессоры. =
+= Широкоформатные команды для параллельной обработки данных. =
+= Проект EPIC. =
+= Мультитредовые, многоядерные вычислители. =
+= Классификация параллельных вычислителей по Флинну. =
+= Статические коммутационные сети. =
+= Динамические коммутаторы. =
+= Метакомпъютинг. =
+= Вычислительные  кластеры. =
+= Матричные параллельные мультипроцессоры. =
+= Симметричные мультипроцессоры. =
+= Архитектура памяти cc-NUMA. =
+= Парадигмы программирования для параллельных вычислителей. =
+= Нетрадиционные вычислители. =
+= Организация вычислений на графе. =
+= Реализация потоковых машин. =
+= Нейронные сети как вычислители. =
+= Измерения производительности ЭВМ. =
+= Реальная и полная производительность вычислителей. =
+= Пакеты для измерения производительности вычислительных систем. =
+= Параметры рейтинга ТОР500. =
+= Закон Амдала. =
+= Параллельные алгоритмы. Метрики. =
+= Параллельные алгоритмы редукции. =
+= Распараллеливание алгоритмов рекурсии первого порядка. =
+= Векторизация последовательных программ.  =
+= Синхронизация параллельных процессов. =
+= Исполняемые комментарии в языках программирования. =
+= Система Open MP. =
+= Пакет MPI. =
+= Язык Фортран-GNS. =
+= Порождение параллельных процессов. Идентификация абонентов. =
+= Протоколы передачи сообщений. =
+= Учет топологии кластера в МР программировании. =
+= Язык Фортран-DVM. =
+= Система программирования НОРМА. =
+= Особенности машинной арифметики. =
+= Погрешности параллельных вычислений. Оценить ошибки суммирования. =
+= Алгоритмы оптимизации  программ, влияющие на точность вычислений. =