Объяснение распределенных систем руководство для начинающих – CodesCode

Эта статья обсуждает основы распределенных систем, их типы, понятия, методы коммуникации, вызовы и примеры из реального мира, с которыми мы сталкиваемся ежедневно.

Распределенные системы сегодня повсеместно используются для работы интернета, облачных вычислений, социальных сетей, игр, электронной коммерции и потокового видео. Распределенная система состоит из независимых компонентов, расположенных в разных местах, которые обмениваются сообщениями, чтобы достичь общей цели. Эти компоненты могут быть компьютерами, серверами, устройствами, датчиками и т. д., которые обрабатывают данные и обмениваются сообщениями. Распределенные системы позволяют реализовывать различные услуги и задачи благодаря улучшенной масштабируемости, доступности, производительности и экономической эффективности по сравнению с централизованными системами. Однако они также вводят сложности, с которыми должны справляться проектировщики и разработчики. В этой статье обсуждаются основы распределенных систем, типы, концепции, методы коммуникации, проблемы и реальные примеры из мира, с которыми мы сталкиваемся ежедневно.

Основы распределенных систем

Перед тем, как подробнее рассмотреть распределенные системы, давайте рассмотрим основные компоненты и принципы.

Компоненты

Распределенные системы состоят из узлов и связей. Узлы – это вычислительные устройства, которые выполняют вычисления, хранят данные или отправляют/получают сообщения. Узлы могут быть физическими машинами или логическими сущностями с различными возможностями, такими как вычислительная мощность и память. Связи – это каналы связи между узлами, обеспечивающие обмен сообщениями. Связи могут быть физическими или логическими соединениями с различными характеристиками, такими как надежность и пропускная способность.

Принципы

Принципы распределенных вычислений идут из классических работ Лесли Лампорта и Андрея Таненбаума.

Лампорт представил концепции, такие как логические часы и консенсус, предлагая четыре требования к распределенным системам: надежность, безопасность, поддерживаемость и эффективность.
Таненбаум предложил восемь целей проектирования: прозрачность, открытость, масштабируемость, параллелизм, устойчивость к сбоям, консистентность, репликацию и осведомленность о распределении. В частности, система должна скрывать сложность, использовать стандартные интерфейсы, адаптироваться к растущим требованиям, позволять одновременное выполнение, восстанавливаться от сбоев, обеспечивать согласованность данных, создавать дублирующиеся компоненты и адаптироваться к сети.

В целом, компоненты и принципы обеспечивают фундаментальные строительные блоки и предположения, лежащие в основе распределенных систем. Узлы и связи обеспечивают вычисление и коммуникацию, а принципы руководят проектированием системы для удовлетворения функциональных и качественных требований.

Типы распределенных систем

Распределенные системы можно классифицировать по архитектуре, функциональности или области применения. Основные типы включают:

Кластерные вычисления: Узлы – это однородные машины, соединенные высокоскоростными сетями, которые действуют как объединенный ресурс для вычислительно интенсивных задач, таких как научные вычисления и машинное обучение, например Hadoop, Spark и Kubernetes.
Сетевые вычисления: Гетерогенные узлы географически разбросаны и соединены широкополосными сетями, действуя как виртуальный суперкомпьютер для масштабных вычислений, таких как симуляции и биоинформатика. Известные системы сетевых вычислений включают BOINC, Globus Toolkit и Open Science Grid.
Облачные вычисления: Виртуализированные узлы, размещенные провайдерами и доступные через интернет, предоставляют услуги и ресурсы по требованию, такие как вычисления, хранение и аналитику, включая такие примеры, как AWS, Azure и GCP.
Вычисления “равный-равному”: Автономные узлы обмениваются сообщениями напрямую без централизованного контроля для децентрализованных задач, таких как обмен файлами, распределение контента и транзакции с использованием криптовалют, что видно в системах, таких как BitTorrent, Skype и Bitcoin.
Мобильные вычисления: Беспроводные мобильные узлы обеспечивают местоположение, социальные приложения, игры и удобный доступ к информации, как показывают Android, Uber и Pokémon Go.

В заключение, распределенные системы используют разные архитектуры для различных функций в разных областях, предоставляя возможности, такие как высокая производительность, доступность, масштабируемость и мобильность.

Основные концепции распределенных систем

В данном разделе рассматриваются ключевые концепции распределенной системы, включая параллелизм, масштабируемость и устойчивость к сбоям.

Параллелизм означает одновременное выполнение нескольких задач для улучшения производительности. Однако это представляет некоторые сложности, такие как синхронизация, координация и согласованность. Синхронизация обеспечивает правильное последовательное выполнение с использованием механизмов, таких как блокировки и семафоры. Координация управляет зависимостями и взаимодействиями задач с помощью протоколов, таких как выбор лидера и консенсус. Согласованность поддерживает целостность данных и состояния компонентов через модели, такие как последовательная и предполагаемая согласованность.

Масштабируемость – это способность обрабатывать растущую нагрузку без ухудшения производительности. Это включает комплексный подход к сложности, затратам и качеству. Сложность возникает из трудностей в проектировании, тестировании и эксплуатации системы. Затраты включают требования к ресурсам для разработки и эксплуатации. Качество включает такие метрики, как надежность, безопасность и эффективность.

Отказоустойчивость обеспечивает постоянную работу системы несмотря на сбои компонентов, чтобы улучшить доступность и надежность. Но для этого требуются компромиссы в виде избыточности, дополнительных нагрузок и задержек. Избыточность использует репликацию, кодирование и контрольные точки для создания резервных копий. Дополнительные нагрузки – это дополнительные усилия по обнаружению, диагностике и восстановлению отказов. Задержки возрастают из-за задержек в коммуникации, синхронизации и восстановления.

Коммуникация в распределенных системах

Коммуникация позволяет взаимодействовать и сотрудничать компонентам распределенной системы. Два основных вида – это передача сообщений и общая память.

Передача сообщений включает отправку и получение сообщений с использованием протоколов, таких как TCP/IP, UDP, HTTP и MQTT. Преимущества включают масштабируемость, гибкость, переносимость и надежность. Недостатки – сложность, неэффективность и несогласованность.
Общая память предполагает доступ компонентов к общему пространству памяти через распределенную общую память, кэширование или базы данных. Преимущества включают простоту, эффективность и последовательность. Недостатки – ограниченная масштабируемость, переносимость и надежность.

В заключение, передача сообщений более децентрализована, гибкая и устойчивая, но сложная. Общая память проще и быстрее, но имеет ограничения в масштабировании, зависимости от платформы и безопасности. Проектирование коммуникации включает ключевые компромиссы между этими подходами и их относительными преимуществами на основе требований и ресурсов системы.

Проблемы в распределенных системах

У распределенных систем есть множество проблем проектирования и эксплуатации. Две основные проблемы – поддержание согласованности данных и обработка сбоев.

Согласованность данных обеспечивает согласованное и точное состояние системы во всех компонентах. Однако факторы, такие как конкуренция, задержки репликации и разделение, затрудняют это. Модели согласованности включают сильную (гарантированные обновления чтений), слабую (позволяет устаревшие чтения), неточную (все чтения сходятся со временем) и причинную (сохраняющую порядок обновлений).
Обработка сбоев включает обнаружение, диагностику, восстановление и предотвращение сбоев системы. Гетерогенность, масштабируемость и непредсказуемость усложняют это. Типы сбоев включают сбои из-за ошибок прекращения работы компонента, упущения из-за потери сообщений и византийские сбои из-за ошибок или атак, вызывающих произвольное поведение.

Согласованность данных и обработка сбоев трудно достичь в распределенных системах из-за сложных факторов. Различные модели и техники помогают сбалансировать требования системы, такие как правильность, производительность и доступность. Однако вызовы требуют глубокой проработки и тестирования при проектировании, разработке и эксплуатации распределенных систем.

Реальные примеры распределенных систем

Google File System (GFS): Масштабируемая, надежная распределенная файловая система с использованием мастер-слейв архитектуры, сегментированного хранения и расслабленной согласованности для приложений с большими объемами данных.
Amazon Dynamo: Высокодоступное распределенное хранилище ключ-значение, использующее модель peer-to-peer и эффективную согласованность для электронной коммерции.
Apache Kafka: Распределенная платформа потоковой передачи данных с высокой пропускной способностью с использованием архитектуры издатель-подписчик и последовательной согласованности для приложений обмена сообщениями.
Apache Cassandra: Высокодоступная, масштабируемая распределенная база данных с настраиваемой согласованностью через несколько центров обработки данных.
Apache Hadoop: Распределенная система хранения и обработки данных с использованием HDFS и MapReduce для аналитики больших данных.
Apache Spark: Быстрый распределенный фреймворк обработки данных с использованием вычислений в памяти и среды выполнения DAG для приложений с большими данными.
Ethereum: Децентрализованная блокчейн-платформа с использованием распределенного реестра, смарт-контрактов и криптовалюты для децентрализованных приложений.
TensorFlow: Распределенный фреймворк для создания и развертывания моделей машинного обучения с использованием вычислительных графов и библиотек.

Реальные распределенные системы применяют различные архитектуры, модели согласованности, методы коммуникации и вычислительные модели для достижения масштабируемости, доступности, производительности и отказоустойчивости в различных областях применения.

Заключение

В этой статье мы предоставили вводный обзор распределенных систем, включая их основы, типы, концепции, методы коммуникации и проблемы. Для читателей, заинтересованных в изучении этой важной области компьютерной науки, вот несколько ресурсов, которые вы можете проверить: