Db on YmnukTech

Централизованное чтение логов в Windows

Thu, 04 May 2023 00:00:00 +0000

Ранее уже было написано у меня о сборе логов с различных серверов и хранения их в единой БД. Сегодня будет заметка для сбора логов.

Софт и настройка

Логи нужно собирать, в первую очередь, с серверов, так что это достаточно важная задача. А вот чем собирать — вопрос. Можно отправлять файлы на сервер и там их парсить и анализировать. Можно поставить специальный софт, который сам это будет делать и отправлять на сервер готовые записи (этот больше подходит, так как удобнее). Теперь сам софт.

Анализ логов

Mon, 12 Dec 2022 00:00:00 +0000

Ура! У нас есть накапливаемая БД в логами! Дальше только анализ логов и разбор полетов…

Графики логов

Ну вот не знаю что с этим делать и как дальше жить. Из готового особо ничего такого не обнаружил (может все же плохо искал). Из того что есть — это графики логов, т.е. пишем специальный запрос и смотрим как это «красиво» рисуется.

Чем же смотреть

Из того что я нашел более простое в освоении и «красивое» — это Grafana.

Хранение логов в БД

Thu, 08 Dec 2022 00:00:00 +0000

После анализа логов их необходимо куда-то структурированно сохранить (какую-то базу). Для хранения логов в БД для начала нужно выбрать в какую СУБД. При этом существует, опять же, целая масса вариантов.

Немного поразмыслив я решил использовать ClickHouse. Судя по обзорам достаточно быстрая (не зря же yandex ее создавали как раз для хранения большого объема и обработки аналитики). Можно было бы выбрать тот же PostgreSQL, MySQL (MariaDB), Elasticsearch… В общем все что угодно, но я остановился на этом варианте.

OpenStreetMap — тайловый сервер — ускоряемся

Mon, 13 Jun 2022 00:00:00 +0000

Про тайловый сервер я писал в другой статье, по этому повторяться не буду. Тут другая проблема возникла — скорость работы прям удручает…

В чем причина?

Если долго разбираться, то в итоге проблема обнаруживается в СУБД. Скорость выполнения запроса 10 секунд — многовато. Когда тайлы начинают складываться, то карта жутко медленно загружается. Значит нужно что-то с ними сделать.

Что получилось?

Немного поотлавливав запросы в логах, я начал находить запросы, которые выполнялись по 3-4 секуды, а некоторые вообще 10-25 секунд. Это слишком много, даже если мы закэшируем все возможные варианты, ждать придется долго. В итоге у меня получился такой набор индексов:

OpenStreetMap — тайловый сервер

Thu, 09 Jun 2022 00:00:00 +0000

Есть такой ресурс под название OpenStreetMap. Смысл его в том, что его может наполнять любой пользователь интернета. А еще его могут использовать для разных задач, например для поиска какого-то адреса, для путешествий, использование в качестве «подложки» для картографов и т.д. и т.п.

И вот мне понадобилось его добавить в свой рабочий проект. Для этого есть 2 пути: использовать официальный сервис либо поднять свой сервер. Второй вариант может быть использован по ряду своих причин и какие были причины у меня останутся при мне.