Logs on YmnukTech

Централизованное чтение логов в Windows

Thu, 04 May 2023 00:00:00 +0000

Ранее уже было написано у меня о сборе логов с различных серверов и хранения их в единой БД. Сегодня будет заметка для сбора логов.

Софт и настройка

Логи нужно собирать, в первую очередь, с серверов, так что это достаточно важная задача. А вот чем собирать — вопрос. Можно отправлять файлы на сервер и там их парсить и анализировать. Можно поставить специальный софт, который сам это будет делать и отправлять на сервер готовые записи (этот больше подходит, так как удобнее). Теперь сам софт.

Анализ логов

Mon, 12 Dec 2022 00:00:00 +0000

Ура! У нас есть накапливаемая БД в логами! Дальше только анализ логов и разбор полетов…

Графики логов

Ну вот не знаю что с этим делать и как дальше жить. Из готового особо ничего такого не обнаружил (может все же плохо искал). Из того что есть — это графики логов, т.е. пишем специальный запрос и смотрим как это «красиво» рисуется.

Чем же смотреть

Из того что я нашел более простое в освоении и «красивое» — это Grafana.

Хранение логов в БД

Thu, 08 Dec 2022 00:00:00 +0000

После анализа логов их необходимо куда-то структурированно сохранить (какую-то базу). Для хранения логов в БД для начала нужно выбрать в какую СУБД. При этом существует, опять же, целая масса вариантов.

Немного поразмыслив я решил использовать ClickHouse. Судя по обзорам достаточно быстрая (не зря же yandex ее создавали как раз для хранения большого объема и обработки аналитики). Можно было бы выбрать тот же PostgreSQL, MySQL (MariaDB), Elasticsearch… В общем все что угодно, но я остановился на этом варианте.

Обработка логов

Mon, 05 Dec 2022 00:00:00 +0000

Логи, собственно, уже собираем. Следующая задача их нужно каким-то образом обработать логи: подготовить и отправить в базу данных.

Чем обрабатывать?

В принципе вариантов на эту тему масса. Первый вариант — использовать готовое решение, второй вариант — писать свое. Собственно сложность состоит в том, что хоть и логи +/- похожи друг на друга, но все же имеют отличия. Возьмем первый вариант и попробуем его реализовать.

Для получения и парсинга логов, дума, можно взять fluentd. Продукт открытый, документация объемная, готовые плагины тоже есть. Попробуем разобраться.

Передача логов на один сервер

Thu, 01 Dec 2022 00:00:00 +0000

Вот не хочется устанавливать ворох ПО на серверы для сбора логов в одном месте. Хочется использовать что-то уже предустановленное. Будем организовывать передачу логов на один сервер (может на 2, а может и на 3 — все зависит от нагрузок на систему и передаваемого трафика). В данной статье речь пойдет об операционных системах Debian и CentOS (просто они у нас есть).

Серверная часть

В общем в подавляющем большинстве на этих ОС rsyslog уже установлен, по этому почему бы не взять его? Ну значит так и сделаем!

Сервер логирования и сбор логов

Fri, 28 Oct 2022 00:00:00 +0000

Логирование событий — очень нужная вещь. Лучше же конечно не откладывать данную проблему в долгий ящик (если, конечно, у вас не один сервер, а целый парк). В такой конфигурации не набегаешься по серверам и текстовиков не насмотришься. А если еще их и анализировать нужно, то мои поздравления — мы попали в бездну. И вот тут бело бы неплохо настроить сервер логирования и сбор логов в одном месте, чтобы можно было получить доступ к данным.