ПОД: Ответы старые

Материал из eSyr's wiki.

(Различия между версиями)
Перейти к: навигация, поиск
(Информация и её измерения.)
(Перенаправление на ПОД (3 поток), Ответы)
 
(168 промежуточных версий не показаны.)
Строка 1: Строка 1:
-
= Информация и её измерения. =
+
#redirect [[ПОД (3 поток), Ответы]]
-
 
+
-
Термин "информация" происходит от латинского слова "informatio", что означает сведения, разъяснения, изложение. Несмотря на широкое распространение этого термина, понятие информации является одним из самых дискуссионных в науке. В настоящее время наука пытается найти общие свойства и закономерности, присущие многогранному понятию информация, но пока это понятие во многом остается интуитивным и получает различные смысловые наполнения в различных отраслях человеческой деятельности:
+
-
в обиходе информацией называют любые данные или сведения, которые кого-либо интересуют. Например, сообщение о каких-либо событиях, о чьей-либо деятельности и т.п. "Информировать" в этом смысле означает "сообщить нечто, неизвестное раньше";
+
-
в технике под информацией понимают сообщения, передаваемые в форме знаков или сигналов;
+
-
в кибернетике под информацией понимает ту часть знаний, которая используется для ориентирования, активного действия, управления, т.е. в целях сохранения, совершенствования, развития системы (Н. Винер).
+
-
 
+
-
Клод Шеннон, американский учёный, заложивший основы теории информации — науки, изучающей процессы, связанные с передачей, приёмом, преобразованием и хранением информации, — рассматривает информацию как снятую неопределенность наших знаний о чем-то.
+
-
 
+
-
Приведем еще несколько определений:
+
-
Информация — это сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний (Н.В. Макарова);
+
-
Информация — это отрицание энтропии (Леон Бриллюэн);
+
-
Информация — это мера сложности структур (Моль);
+
-
Информация — это отраженное разнообразие (Урсул);
+
-
Информация — это содержание процесса отражения (Тузов);
+
-
Информация — это вероятность выбора (Яглом).
+
-
 
+
-
Современное научное представление об информации очень точно сформулировал Норберт Винер, "отец" кибернетики. А именно:
+
-
Информация — это обозначение содержания, полученного из внешнего мира в процессе нашего приспособления к нему и приспособления к нему наших чувств.
+
-
 
+
-
Подходы к определению количества информации. Формулы Хартли и Шеннона.
+
-
 
+
-
Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N. Формула Хартли:
+
-
: <math>~I(N)= log_2 N.</math>
+
-
 
+
-
Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: <math>I = log_2 100 > 6,644</math>. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.
+
-
 
+
-
Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. Формула Шеннона:
+
-
: <math>H =-\sum_{i=1}^np(i)\log_2 p(i).</math>
+
-
 
+
-
где <math>p_i</math> — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.
+
-
 
+
-
Легко заметить, что если вероятности <math>p_1, ..., p_N</math> равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.
+
-
 
+
-
Помимо двух рассмотренных подходов к определению количества информации, существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями.
+
-
 
+
-
В качестве единицы информации Клод Шеннон предложил принять один бит (англ. bit — binary digit — двоичная цифра).
+
-
Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений (типа "орел"—"решка", "чет"—"нечет" и т.п.).
+
-
 
+
-
В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.
+
-
 
+
-
= Арифметические вычисления до эры ЭВМ. =
+
-
 
+
-
= Эволюционная классификация ЭВМ. =
+
-
 
+
-
= Принципы фон Неймановской архитектуры. =
+
-
 
+
-
= Виды запоминающих устройств. =
+
-
 
+
-
= Адресация ОЗУ. =
+
-
 
+
-
= Расслоение оперативной памяти. =
+
-
 
+
-
= Ассоциативная память. =
+
-
 
+
-
= Виртуальная память. =
+
-
 
+
-
= Алгоритмы управления страницами ОЗУ. =
+
-
 
+
-
= Использование в ЭВМ принципа локальности вычислений. =
+
-
 
+
-
= Полностью ассоциативная кэш-память. =
+
-
 
+
-
= Кэш-память с прямым отображением. =
+
-
 
+
-
= Частично-асссоциативная кэш-память. =
+
-
 
+
-
= Изменение данных в кэш памяти. =
+
-
 
+
-
= Учет параметров кэша при программировании задач. =
+
-
 
+
-
= Конвейерная обработка данных. =
+
-
 
+
-
= Внеочередное выполнение команд. =
+
-
 
+
-
= Производительность конвейеров. =
+
-
 
+
-
= Векторно-конвейерные вычислители. =
+
-
 
+
-
= Конвейерная обработка команд. =
+
-
 
+
-
= Конвейерные конфликты. =
+
-
 
+
-
= Спекулятивное выполнение команд. =
+
-
 
+
-
= Статическое предсказание условных переходов. =
+
-
 
+
-
= Механизмы динамического предсказания переходов. =
+
-
 
+
-
= Обработка условных операторов в EPIC. =
+
-
 
+
-
= Эволюция системы команд микропроцессоров. =
+
-
 
+
-
= Суперскалярные микропроцессоры. =
+
-
 
+
-
= Широкоформатные команды для параллельной обработки данных. =
+
-
 
+
-
= Проект EPIC. =
+
-
 
+
-
= Мультитредовые, многоядерные вычислители. =
+
-
 
+
-
= Классификация параллельных вычислителей по Флинну. =
+
-
 
+
-
= Статические коммутационные сети. =
+
-
 
+
-
= Динамические коммутаторы. =
+
-
 
+
-
= Метакомпъютинг. =
+
-
 
+
-
= Вычислительные кластеры. =
+
-
 
+
-
= Матричные параллельные мультипроцессоры. =
+
-
 
+
-
= Симметричные мультипроцессоры. =
+
-
 
+
-
= Архитектура памяти cc-NUMA. =
+
-
 
+
-
= Парадигмы программирования для параллельных вычислителей. =
+
-
 
+
-
= Нетрадиционные вычислители. =
+
-
 
+
-
= Организация вычислений на графе. =
+
-
 
+
-
= Реализация потоковых машин. =
+
-
 
+
-
= Нейронные сети как вычислители. =
+
-
 
+
-
= Измерения производительности ЭВМ. =
+
-
 
+
-
= Реальная и полная производительность вычислителей. =
+
-
 
+
-
= Пакеты для измерения производительности вычислительных систем. =
+
-
 
+
-
= Параметры рейтинга ТОР500. =
+
-
 
+
-
= Закон Амдала. =
+
-
 
+
-
= Параллельные алгоритмы. Метрики. =
+
-
 
+
-
= Параллельные алгоритмы редукции. =
+
-
 
+
-
= Распараллеливание алгоритмов рекурсии первого порядка. =
+
-
 
+
-
= Векторизация последовательных программ. =
+
-
 
+
-
= Синхронизация параллельных процессов. =
+
-
 
+
-
= Исполняемые комментарии в языках программирования. =
+
-
 
+
-
= Система Open MP. =
+
-
 
+
-
= Пакет MPI. =
+
-
 
+
-
= Язык Фортран-GNS. =
+
-
 
+
-
= Порождение параллельных процессов. Идентификация абонентов. =
+
-
 
+
-
= Протоколы передачи сообщений. =
+
-
 
+
-
= Учет топологии кластера в МР программировании. =
+
-
 
+
-
= Язык Фортран-DVM. =
+
-
 
+
-
= Система программирования НОРМА. =
+
-
 
+
-
= Особенности машинной арифметики. =
+
-
 
+
-
= Погрешности параллельных вычислений. Оценить ошибки суммирования. =
+
-
 
+
-
= Алгоритмы оптимизации программ, влияющие на точность вычислений. =
+

Текущая версия

  1. redirect ПОД (3 поток), Ответы
Личные инструменты
Разделы