Мир до появления контейнеров и рождение легенды
История развития информационных технологий за последние несколько десятилетий прошла невероятный путь от огромных железных серверов, занимающих целые комнаты, до виртуальных миров, где тысячи приложений работают одновременно. В старые времена, когда программист в такой стране, как Америка или Россия, писал код, ему нужно было физическое оборудование. Если приложение росло, приходилось покупать новый сервер, везти его в дата-центр, подключать провода и устанавливать операционную систему. Это было медленно и очень дорого.
Затем появились виртуальные машины, которые позволили запускать несколько систем на одном железе, но они были тяжелыми и неповоротливыми. Настоящая революция случилась с приходом контейнеров, а именно технологии докер. Контейнеры позволили упаковать программу со всеми её зависимостями в маленький легкий пакет, который запускается везде одинаково. Однако возникла новая проблема: если у вас сотни и тысячи таких контейнеров, как ими управлять.
Кто их запустит, если сервер упадет. Как распределить между ними нагрузку. Именно для решения этих задач компания Гугл в свое время разработала внутренний инструмент под названием борг, который позже стал основой для открытого проекта под названием кубернетес. Этот проект был передан сообществу, и сегодня он является стандартом де-факто для управления облачными приложениями во всем мире, от города Москва до Кремниевой долины. Далее разберёмся что такое контейнерный оркестратор управления кластерами Kubernetes.
Что такое кубернетес и почему его называют штурвалом
Название технологии происходит из греческого языка и переводится как рулевой или штурман. Часто в профессиональной среде можно встретить сокращение к8с, где восьмерка заменяет количество букв между первой к и последней с. Основная задача этой системы — оркестрация. Представьте себе огромный оркестр, где каждый музыкант — это отдельный контейнер с микросервисом. Один играет на скрипке, другой на трубе, третий бьет в барабаны. Если каждый будет играть сам по себе, получится шум.
Кубернетес здесь выступает в роли дирижера. Он знает партитуру, то есть понимает, как должно работать ваше приложение, и следит за тем, чтобы каждый участник вступал вовремя, играл с нужной громкостью и не сбивался с ритма. Если один музыкант устанет и перестанет играть, дирижер мгновенно найдет ему замену. В мире серверов это означает, что система сама следит за здоровьем ваших программ, распределяет их по свободным серверам и обеспечивает бесперебойный доступ пользователей к сервису. Это не просто программа, это целая экосистема, которая превращает набор разрозненных серверов в единый мощный суперкомпьютер.
Устройство центрального мозга или контрол плейн
Чтобы управлять огромным количеством процессов, кубернетесу нужны мозги. Эту роль выполняет так называемый контрол плейн. Это набор компонентов, которые принимают важные решения и следят за состоянием всего кластера. Самый главный здесь — апи сервер. Это единственная точка входа, через которую человек или другие программы общаются с системой. Когда вы даете команду запустить новое приложение, вы отправляете её именно сюда. Рядом находится хранилище этсд. Это очень надежная база данных, где записано всё, что происходит в кластере: сколько серверов работает, какие приложения запущены и какие у них настройки.
Если этсд выйдет из строя, кластер потеряет память, поэтому его всегда стараются дублировать. Еще один важный участник — шедулер, или планировщик. Его можно сравнить с логистом на огромном складе. Когда поступает задача запустить контейнер, планировщик смотрит на все доступные серверы, проверяет, где больше свободной оперативной памяти и мощности процессора, и решает, куда именно отправить задачу. Наконец, контроллер менеджер следит за тем, чтобы реальное положение дел соответствовало вашим желаниям. Если вы просили запустить три копии сайта, а работает только две, контроллер это заметит и даст команду запустить еще одну.
Рабочие узлы и их верные помощники
Если контрол плейн — это мозг, то рабочие узлы, или ноды, — это руки системы. Нода — это обычный физический или виртуальный сервер, на котором фактически работают ваши приложения. Чтобы нода понимала, что ей делать, на ней запущен маленький, но очень важный агент под названием кублет. Кублет постоянно находится на связи с центральным мозгом. Он получает команды, запускает контейнеры и регулярно докладывает наверх: всё хорошо, я работаю, контейнеры живы.
Если кублет перестанет отвечать, центральная система поймет, что сервер сломался, и начнет спасать приложения, перенося их на другие живые узлы. Также на каждой ноде работает куб-прокси. Это сетевой регулировщик, который управляет трафиком. Он следит за тем, чтобы запросы от пользователей попадали именно в нужные контейнеры, даже если те постоянно переезжают с места на место. Вместе эти компоненты создают стабильную среду, где приложения могут работать годами без участия человека.
Поды как маленькие корабли в огромном океане
В кубернетесе вы не работаете с контейнерами напрямую. Вместо этого используется понятие под. Это самая маленькая единица измерения в системе. Название под переводится как стручок, в котором могут находиться несколько горошин-контейнеров. Обычно в поде живет один главный контейнер с вашим приложением, но иногда к нему добавляют вспомогательные, например, для сбора логов или шифрования трафика. Все контейнеры внутри одного пода делят между собой общую сеть и хранилище.
Они настолько близки, что могут общаться друг с другом через локалхост, как будто они запущены на одном компьютере. Поды эфемерны, то есть они могут рождаться и умирать в любой момент. Кубернетес не пытается лечить заболевший под, он просто пристреливает его и создает новый точно такой же. Это фундаментальный сдвиг в мышлении: мы больше не относимся к серверам как к домашним питомцам, которым даем имена и лечим каждую болячку. Теперь это как скот на ферме — если одна единица выбывает, её заменяет другая, и производство не останавливается.
Декларативный стиль или как мы объясняем желания системе
Одна из самых крутых фишек кубернетеса — это декларативный подход. В обычном программировании мы часто пишем инструкции: пойди туда, возьми это, нажми кнопку. В кубернетесе всё иначе. Вы описываете желаемое состояние системы в специальных текстовых файлах формата ямл. Вы просто пишете: я хочу, чтобы в моем кластере всегда работало пять копий приложения версии два ноль, и чтобы у каждой было по два гигабайта памяти. Вы отправляете этот манифест в апи сервер, и дальше магия происходит сама.
Кубернетес сравнивает то, что есть сейчас, с тем, что вы хотите. Если сейчас работает ноль копий, он создаст пять. Если вы измените файл и напишете версию три ноль, он начнет постепенно обновлять ваши приложения одно за другим, чтобы пользователи даже не заметили процесса перехода на новую версию. Этот механизм называется реконсиляцией, или циклом согласования. Система постоянно крутится в бесконечном цикле, проверяя, всё ли в порядке и не нужно ли что-то исправить, чтобы достичь идеала, описанного вами.
Автоматическое исцеление или бессмертие ваших приложений
Представьте, что три часа ночи, и на одном из серверов в дата-центре в городе Париж выгорает блок питания. В обычной ситуации админу пришло бы уведомление, он бы проснулся, начал в панике искать замену. В мире кубернетеса админ продолжает спокойно спать. Система за доли секунды обнаружит, что сервер недоступен. Она посмотрит в свою базу данных и увидит, какие важные приложения там работали. Затем шедулер найдет свободное место на серверах в городе Берлин или Амстердам и даст команду запустить там новые поды взамен утраченных.
Сетевые настройки обновятся автоматически, и трафик потечет по новому адресу. Это и есть самоисцеление. Кроме того, кубернетес умеет проверять здоровье самих приложений. Если программа внутри контейнера зависла или попала в бесконечный цикл, система это поймет с помощью специальных проверок — лайвнесс проб. Она просто перезапустит контейнер, и приложение снова будет в строю. Это позволяет строить по-настоящему надежные системы, которые могут работать без сбоев, даже если под ними рушится железо.
Управление сетевым трафиком и поиск сервисов
Когда у вас сотни подов, которые постоянно создаются и удаляются, их айпи-адреса меняются каждую минуту. Как одному приложению найти другое в таком хаосе. Для этого в кубернетесе существуют сервисы. Сервис — это стабильный виртуальный адрес, который закрепляется за группой подов. Приложению не нужно знать конкретные адреса своих соседей, оно просто обращается к сервису по имени, например, база-данных, а кубернетес сам перенаправит запрос на один из живых подов.
Это работает как внутренняя телефонная книга. Если же нам нужно выпустить приложение во внешний мир, чтобы люди из города Токио или Лондон могли зайти на сайт, используются другие инструменты, такие как ингресс-контроллеры. Они выступают в роли умных ворот, которые принимают запросы из интернета, проверяют сертификаты безопасности и распределяют трафик между нужными сервисами внутри кластера. Это позволяет гибко управлять доступом и даже проводить эксперименты, направляя часть пользователей на новую версию сайта для тестирования.
Хранение данных и борьба с эфемерностью
Как мы уже выяснили, поды могут умирать и возрождаться. Но что делать с данными. Если у вас база данных, вы не можете позволить ей потерять всю информацию при перезагрузке пода. Для этого в кубернетесе придумана сложная, но мощная система управления хранилищами. Есть понятие персистент вольюм — это абстракция над реальным жестким диском или облачным хранилищем. Когда приложению нужно место для записи, оно подает заявку — персистент вольюм клейм. Это похоже на то, как вы приходите в библиотеку и просите книгу по абонементу.
Кубернетес сам находит подходящий диск в системе, подключает его к поду и следит за тем, чтобы данные сохранялись, даже если сам под переедет на другой сервер. Это позволяет запускать в кластере не только легкие сайты, но и тяжелые государственные реестры или банковские системы, где сохранность каждого байта информации критически важна. В таких странах, как Германия, где требования к хранению данных очень строгие, эти механизмы используются повсеместно.
Секреты и конфигурации или как не выдать пароли хакерам
Безопасность — это фундамент любой современной системы. Нельзя просто записать пароль от базы данных прямо в коде программы, ведь тогда его увидит любой, кто имеет доступ к исходникам. Кубернетес предлагает элегантное решение этой проблемы с помощью объектов конфигмап и секрет. Конфигмапы используются для хранения обычных настроек, например, цвета фона сайта или языка интерфейса. Секреты же предназначены для хранения конфиденциальной информации: паролей, ключей шифрования, токенов.
Эти данные передаются в контейнеры в зашифрованном виде или через временные файлы в памяти, которые никогда не записываются на диск. Кроме того, в кубернетесе можно очень тонко настраивать права доступа. С помощью ролевой модели управления можно сделать так, что один разработчик сможет только смотреть на состояние системы, а другой — вносить изменения. Это минимизирует риски человеческой ошибки или злонамеренного взлома.
Масштабирование по щелчку пальцев
Одно из главных преимуществ облачных технологий — это возможность быстро расти. Представьте, что у вас интернет-магазин, и наступила черная пятница. Количество посетителей из города Нью-Йорк или Мадрид внезапно вырастает в десять раз. Обычные серверы просто упадут от такой нагрузки. Кубернетес умеет масштабироваться автоматически. Инструмент под названием горизонтальный автоскейлер подов следит за нагрузкой на процессор.
Как только она превышает заданный порог, система дает команду запустить еще десять, двадцать или сто копий приложения. Когда распродажа закончится и нагрузка спадет, кубернетес сам удалит лишние поды, чтобы вы не платили за лишние ресурсы. Более того, если в самом кластере закончится место, он может дать команду облачному провайдеру арендовать еще несколько физических серверов и добавить их в работу. Это позволяет компаниям экономить огромные деньги, используя ровно столько мощностей, сколько нужно в данный конкретный момент.
Экосистема вокруг кубернетеса и инструменты будущего
Кубернетес сегодня — это не просто инструмент, а целая вселенная. Вокруг него выросло огромное количество вспомогательных программ. Например, хельм называют менеджером пакетов для кубернетеса. С его помощью можно установить сложнейшее приложение со всеми настройками одной командой, как в магазине приложений на смартфоне. Для мониторинга того, что происходит внутри, используют связку прометеус и графана. Они собирают метрики и рисуют красивые графики, на которых видно каждое колебание нагрузки.
Для сбора логов применяют системы типа е-эл-ка, которые позволяют искать по записям тысяч контейнеров так же легко, как в гугле. Существуют даже специальные операторы — это программы, которые обучают кубернетес управлять специфическими задачами, например, правильно делать резервные копии баз данных или обновлять сложные кластеры без потери данных. Сообщество разработчиков по всему миру постоянно дорабатывает систему, делая её еще более умной и удобной.
Трудности обучения и подводные камни технологии
Несмотря на все восторги, кубернетес — это очень сложная технология. Её часто называют операционной системой для облаков, и это сравнение оправдано. Порог входа здесь довольно высокий. Инженеру нужно понимать устройство сетей, принципы работы операционных систем линукс, основы безопасности и уметь писать на языке ямл. Часто компании сталкиваются с тем, что внедрение кубернетеса превращается в бесконечный процесс настройки и исправления ошибок.
Существует даже термин ямл-ад, когда разработчики тонут в бесконечных файлах конфигурации. Кроме того, запуск кубернетеса требует приличных ресурсов: для его собственной работы нужно выделить несколько мощных серверов. Поэтому для маленьких проектов или простых сайтов он может оказаться избыточным. Однако для крупных компаний, стремящихся к стабильности и быстрому росту, альтернативы практически не существует. Важно трезво оценивать свои силы и потребности бизнеса, прежде чем бросаться в океан оркестрации.
Кубернетес совершил настоящую революцию в том, как мы создаем, запускаем и поддерживаем программное обеспечение. Он превратил сложнейшие задачи управления тысячами серверов в автоматизированный и предсказуемый процесс. Благодаря этой технологии современные сервисы могут работать без перерывов на обед и сон, мгновенно адаптируясь к любым нагрузкам и сбоям. Мир стал намного динамичнее, и возможность выкатывать новые функции по несколько раз в день стала реальностью именно благодаря оркестрации.
Несмотря на свою сложность, кубернетес остается самым мощным и гибким инструментом в руках современного инженера. Путь его освоения непрост, но те возможности, которые он открывает для бизнеса и технологий, стоят каждой потраченной минуты обучения. Будущее информационных технологий уже немыслимо без этого надежного штурвала, который уверенно ведет цифровые корабли сквозь любые шторма.
