Логотип Информационно-коммуникационные технологии в образовании
  • Новые технологии распределенного хранения и обработки больших массивов данных
  • Новые технологии распределенного хранения и обработки больших массивов данных
    Сухорослов О.В.
    2008
    Сухорослов О.В. Новые технологии распределенного хранения и обработки больших массивов данных / Всероссийский конкурсный отбор обзорно-аналитических статей по приоритетному направлению "Информационно-телекоммуникационные системы", 2008. - 40 с.
    Статья, обзор
    6. Информационные системы и базы данных
    3. Архитектура и аппаратное обеспечение ЭВМ и ВС » 3.7. Высокопроизводительные системы и вычисления
     
    Аннотация
    В статье рассматриваются новые технологии, позволяющие организовать распределенное хранение и параллельную обработку больших объемов данных в крупномасштабных кластерных системах. Речь идет о петабайтах данных, для хранения и обработки которых необходимы значительные вычислительные ресурсы. В качестве таких ресурсов рассматриваются кластерные системы, состоящие из тысяч серверов. В подобных распределенных системах остро стоят вопросы обеспечения отказоустойчивости и бесперебойного функционирования сервисов хранения и обработки данных. Другой важной проблемой является создание высокоуровневой модели программирования процессов обработки данных на подобных системах, скрывающей от пользователя детали распределения данных и планирования вычислений в ненадежной распределенной среде. В статье приводится описание оригинальных технологий, нацеленных на решение указанных проблем и уже применяемых в крупнейших информационных системах. Поскольку большинство подобных технологий являются закрытыми коммерческими разработками, особое внимание уделено описанию создаваемых в настоящее время открытых (open source) аналогов данных технологий.
    Материал подготовлен в рамках Всероссийского конкурсного отбора обзорно-аналитических статей по приоритетному направлению "Информационно-телекоммуникационные системы" (http://www.ict.edu.ru/itkonkurs2008/).
    Файл публикации (формат Adobe PDF, размер 361 Кб) »
    © 2003-2014 Государственный научно-исследовательский институт информационных технологий и телекоммуникаций
    (ФГАУ ГНИИ ИТТ "Информика")
    Rambler's Top100