Перенаправление логов из Fluentbit в Seq
Seq — это сервер поиска и анализа структурированных журналов приложений в режиме реального времени. Можно смотреть на него как на своего рода альтернативу для ELK. Хотя лицензия тут тоже не свободная, а использование для юрлиц платное. Но для домашней лаборатории для меня в своё время это оказался превосходный вариант (в принципе я до сих пор считаю так, потому что времени на развертывание Seq тратится несравнимо меньше чем на ELK. Для экспериментов самое то.
В данной статье проведу нехитрую операцию по развертыванию и настройке fluentbit и seq в docker, и настрою отправку собранных логов из fluentbit в seq.
Начнём с создания отдельной сети для наших контейнеров:
docker network create fluent-bit_seq
Установка Seq
Теперь захэшируем пароль, который будет использоваться.
PH=$(echo 'seqPass%%' | docker run --rm -i datalust/seq config hash)
Убедимся, что переменная действительно содержит пароль:
echo $PH
Запускаем контейнер:
docker run --name seq -d --network fluent-bit_seq \ -p8080:80 --restart unless-stopped \ -e ACCEPT_EULA=Y -e SEQ_FIRSTRUN_ADMINPASSWORDHASH="$PH" \ datalust/seq
Теперь, можем обратиться в браузере к localhost:8080 и залогиниться в Seq с помощью username=admin password=seqPass%%
Установка Fluentbit
Для начала экспортируем переменную, которая будет содержать каталог из которого будет взята конфигурация Fluentbit.
export sharedFolder=/var/fluent-bit_seq
Запустим временный контейнер, откуда скопируем дефолтный конфиг:
docker run -d --rm --name temp cr.fluentbit.io/fluent/fluent-bit
Скопируем сам конфиг с последующей остановкой ставшего ненужным контейнера:
docker cp temp:/fluent-bit/etc/ $sharedFolder docker stop temp
Теперь еще раз запустим контейнер fluentbit, но уже смонтировав в него каталог с конфигом:
docker run -dti --name fluent-bit --network fluent-bit_seq \ -v $sharedFolder:/fluent-bit/etc \ cr.fluentbit.io/fluent/fluent-bit
По дефолту fluentbit отправляет вывод на stdout. Так что с помощью docker log всегда можно посмотреть что с ним происходит. Наша задача как раз исправить дефолтное поведение.
docker logs fluent-bit
Настройка отправки логов в Seq
Отправляемся в конфиг fluentbit и ищем следующую секцию:
# fluent-bit.conf
[OUTPUT]
name stdout
match *
Заменяем её на указанную ниже, с последующим сохранением:
# fluent-bit.conf
[OUTPUT]
Name http
Match *
Host seq
Port 5341
URI /api/events/raw?clef
Format json_lines
Json_date_key @t
Json_date_format iso8601
Log_response_payload False
Теперь перезапустим контейнер с fluentbit для принятия изменений:
docker restart fluent-bit
Возвращаемся в браузер, открываем Seq, логинимся и теперь можем видеть, что логи из fluentbit отправляются прямиком туда:
Топ-3 авторских DevOps/сисадмин-канала
Эта подборка появилась после ручного анализа всех Telegram-каналов (более 50) в тематике DevOps/системное администрирование. Упор в первую очередь сделан на каналы, которые ведутся от первого лица и содержат действительно полезную информацию.
Как оказалось, подобных каналов в телеграм совсем немного. Большая часть это бездушная генерация контента ради контента.
BashDays - смелый проект от действующего девопс инженера, акцент сделан на работу с командной строкой и утилитами в linux. Автор самобытно и с долей юмора рассказывает про то, что в книжках обычно не пишут. Очень клевые кейсы по отладке и дебагу различных проблем. А самое главное всё разжевано до мелочей. Мастхев.
ServerAdmin - известный в своих кругах канал от профессионального системного администратора. Наверняка многие из вас знают про одноименный сайт, где порой выходят достаточно интересные статьи. Если хабр надоел, то тут ты найдешь глоток свежего воздуха.
Записки админа - больше как копилка знаний про linux утилиты, технологии и системное администрирование. Иногда пролетают действительно крутые штуки, о которых мало кто знает.
Если знаете еще какие-то вменяемые каналы, которые ведутся от первого лица, закидывайте в комментарии.
Образовательный видеокурс по SRE от А до Я
От ведущего специалиста в этой области — Дмитрия Масленникова, Head of SRE Tinkoff Bank.
Кому подойдет лекторий:
- Начинающим специалистам: студентам старших курсов и начинающим SRE-специалистам, которые уже имеют опыт в промышленной разработке
- Опытным DevOps-инженерам: которые хотят расширить свою экспертизу
- Разработчикам: которые интересуются работой высоконагруженных систем
Ссылка на курс:
https://www.youtube.com/playlist?list=PLjCCarnDJNstX36A6Cw_Y...
Бесплатный, завершенный курс от профессионала с огромным опытом в SRE.
Куда податься новичку в IT в 2023 и далее?
Нет, меня не забанили в гугле, однако многочисленные топы вызывают у меня серьёзный скепсис, так как, зачастую, складывается впечатление, что автор топа просто поискал в интернете информацию о том, какие есть профессии в IT, а затем выдал свой мега экспертный топ.
Теперь к делу: я, в общем-то, уже являюсь трудоустроенным программистом. Недавно обратилась знакомая за советом, она хочет работать в IT, но с направлением ещё не определилась. Проблема в том, что за пределами областей, с которыми я, тем или иным образом, взаимодействовал, я знаю очень мало. Не говоря уже о том, что о лопнувшем IT-шном пузыре не говорил, наверное, только ленивый (только сегодня 2 видео на эту тему просмотрел). Да и на личном опыте могу сказать, что, перед тем, как устроится на работу, я провалил немало собеседований (были ситуации, когда, при идеально выполненном тестовом задании, даже не пригласили на собеседование) и пробиваться пришлось действительно "потом и кровью".
К слову, в одном из просмотренных видео, автор говорит, что сейчас в android соваться вообще бессмысленно (он как раз разработчик под android, ввиду чего, возникает вопрос, что бы я услышал от специалиста из другой области).
В общем, ввиду всего этого, у меня к Вам вопрос, в какую область IT сейчас имеет смысл идти, где меньше, а где больше конкуренции, как это всё анализировать и т.д.
P.S. Меня интересуют как программистские, так и не программистские направления.
Синдром самозванца
Наткнулся тут на вакансию сисадмина, без указания ЗП.
Список требований несколько впечатлил. Обычно самые дрищенские конторы выкатывают самый большой список требований. У нормальных бас фактор учтен и ответственность размазана между людьми. Но тем не менее, решил сравнить подхожу ли под требования. И немного расстроился. Буду под каждым требованием писать коммент начиная #
Обязанности:
Настраивать и обслуживать виртуальную инфраструктуру (Hyper-V, HCI S2D)#допустим Hyper-V, HCI S2D - что за зверь?
Работа в тикетовой системе Jira Service Desk
#практикуем, удобно котиков слать
Принимать участие в обеспечении функционирования Windows-инфраструктуры (Active Directory, DNS, DHCP, GPO, DFS, IIS, RDS, MSSQL)
#Active Directory можно сказать включает GPO, DNS DHCP там же почти ничего сложного, пока dhcp не выдаст ip левому компу с именем критичного сервиса и не перезапишет адрес. Или не отвалится второй dns, а первый скажет не буду работать пока второй не починишь. А еще dc залупнется, что без dns работать не буду. Короч пока работает, все хорошо, а как ломается, хоть увольняйся.
DFS - кто в здравом уме его еще юзает? IIS юзают всякие любители asp net, шарписты народ плечистый, могут и сами если что настроить.
RDS, MSSQL - может настроить по мануалам с хабра даже детеныш.
Конфигурирование и поддержка кластеризации на базе продуктов Microsoft
#кластеризация от мелкомягких звучит душно, можно не надо? Но вообще опыта такого нет.
Использовать и модернизировать систему мониторинга (Zabbix)
#Можем, умеем, практикуем, пока от количества присылаемой инфы и кучи лишних метрик zabbix не начинает болеть, подорожник не поможет.
Обеспечивать информационную безопасность Компании в предлагаемых решениях
#Запретить глупость на уровне приказа гендира и все будет хорошо.
Взаимодействовать с системными администраторами и специалистами технической поддержки
#берешь вон ту хуевину и расхуячиваешь на той херне
Ведение документации по ИТ-инфраструктуре и сервиса.
#блин, забыл, а задокументировал ли я пару прошлых сервисов и серверов?
Проведение регламентных работ на оборудовании платформы виртуализации.
#кнопку вкл/выкл найдем пожалуй, ну и диск в корзине поменять тоже можем, потом raid пересобрать, потому что корзину перепутали.
Требования:
Опыт работы с Linux (CentOS, Ubuntu)#centos жив еще чертяка, бубунту умеем знаем практикуем, хотя в основном debian.
Опыт администрирования серверных продуктов Microsoft Windows Server 2019
#никогда не спрашивайте меня, чем отличается 2016-й от 2019-го или 2012-го, а так можем настраивать, можем не настраивать.
Опыт работы, внедрения и администрирование SCVMM (System Center Virtual Machine Manager)
#это вроде аналог vcenter от мелкомягких, но сам не тыкал, врать не буду
Опыт работы и администрирования с виртуальной инфраструктурой Hyper-V
#Единственный его плюс, он бесплатный. Но можем, умеем.
Опыт работы и администрирование MS SQL
#проблема его в том, что админить его может и ребенок, а вот чет сложное, ну хз, кластеры только не настраивал. А так главное держать tempdb на быстрых дисках и не давать журналу транзакций переполнится, а дальше у меня лапки.
Опыт работы с почтовыми серверами (Exchange)
#Честно, задрали уже с ним. Для мелких контор делал доменную почту на Яндексе, у крупных были свои одмины для работы с ним. Так что опыт на уровне outlook.
Опыт работы с системами мониторинга (Zabbix)
#есть, могу хоть в докере поднять, только зачем?
Опыт работы с практиками DevOps
#Там взяли, тут собрали, туда отправили, там поставили. А ты где-то по середине, тоска..
Опыт работы с СХД: Synology, Microsoft Storage Space Direct
#Synology прикольный ui привет нулевые. Microsoft Storage Space Direct - в душе не е̶б̶у̶ знаю.
Опыт работы с web-серверами IIS, Nginx
# IIS о5 эти шарписты, nginx объективно лучший web server, можно только его оставить?
Навыки программирования и автоматизации задач, обязательно знание Powershell, другие инструменты sh, cmd опционально.
#сколько я ̶з̶а̶р̶е̶з̶а̶л̶ написал скриптов уже сбился со счета. Каждый раз начинаешь делать красиво, декларативно, параметризировано, но потом надо быстро, требования меняются, херня в итоге получается, правда работает
Опыт работы с Windows Failover Cluster
#даже звучит не очень, опыта нет
Понимание работы кластеризованной архитектуры
# та херня падает, эта работает, эта херня падает, та работает. Главное чтобы был либо дорогой СХД за 100500 деняк, либо будет дешево и сердито. Приправить все 10 gbit сетью и все будет хорошо.. в теории.
Опыт работы с системами резервного копирования (Veeam)
#можно подумать вы его покупали, а так там же не сложно
Опыт работы с системами управления конфигурациями (Ansible)
#Можно засунуть AWX в кубер, нельзя вытащить из кубера желание прибить лишний контейнер. А так да, можем, умеем, практикуем.
общее понимание стека протоколов TCP/IP
#при прохождении пакета через маршрутизатор, в пакете уменьшается ttl на единицу. Надеюсь, мне не нужно уметь заглядывать в каждый пакет и разбирать его на предмет соответствия стандартам.
Опыт работы с Jira\Confluence на уровне администратора системы
#надеюсь под опытом не подразумевается умение лечить от жадности, потому что у меня лапки. Да и в самом деле, это же обычные сервисы, настроить права, плагин поставить. Просто если их реально админить, там надо довольно глубоко копать. А у меня уже выгорание от этих требований.
Знание английского на уровне чтения технической документации
#берешь хром, открываешь stackoverflow, переводишь страницу. Всё, ты умеешь читать техническую документацию.
Высшее техническое образование
# чего нет, того нет
Ответственность, внимательность и исполнительность
#ночами плохо сплю если не сделал бекап. Нифига не внимательный, поэтому все документирую. Исполнительность это что-то из области крепостничества. Время на таску само себя не спишет, вот задача - берешь делаешь,
Будет плюсом:
Опыт работы с web-серверами Apache#папач это для свидетелей LAMP, говорят они берут в плен админов и делают из них девопсов, но это не точно
Опыт работы с системами мониторинга Prometheus и Grafana
# а как же zabbix? Вообще ленивые админы не хотят делать свои дашборды и метрики, когда есть готовые для Prometheus и Grafana.
Опыт работы с СХД: HPE, Huawei
#есть такой админ, как железный человек только админ. Вот он их настраивает.
Опыт работы с системами управления конфигурациями (Chef, Terraform)
#а как же ansible? Вообще все это дело безусловно полезное и нужное, но каждый для своей задачи. Если у вас есть задачи и для ansible и с Chef, Terraform, мое почтение.
Опыт работы с System Center Configuration Manager
#вообще он не страшный, просто я никогда не признаюсь, что с ним работал.
Опыт работы с виртуальной инфраструктурой: VMware, KVM, Proxmox Virtual Environment
#VMware+ KVM - очень давно и неправда, Proxmox Virtual Environment только слышал
Опыт работы с PostgreSQL.
#какая прелесть, запустил и забыл. Потом база разрастется, оптимизация и прочие скучные темы, можно не буду?
PS Итак, не соответствую по требованиям где-то на четверть. А значит не подхожу под такие серьезные требования. Что поделать, видимо не судьба.
Прощения просим за большой текст.
А есть ли среди читателей кто подходит по 100%?
Разница между SysAdmin и DevOps
Разница между SysAdmin-ом и DevOps-ом такая же как между журналистом и писателем. Один производит однообразный контент а второй культурную ценность.