Сколько шума было вокруг ChatGPT? Я лично его так и не пробовал. Не знаю грустно это или весело — не знаю. Но можно запустить прям дома, только вот параметры компа нужны тоже достаточно… нормальные. Лично я запускал на 6 ядрах и 16ГБ ОЗУ, но об этом далее. Подготовка Для начала немного разберемся что у нас […]
Ранее уже было написано у меня о сборе логов с различных серверов и хранения их в единой БД. Сегодня будет заметка для сбора логов. Софт и настройка Логи нужно собирать, в первую очередь, с серверов, так что это достаточно важная задача. А вот чем собирать — вопрос. Можно отправлять файлы на сервер и там их […]
Ура! У нас есть накапливаемая БД в логами! Дальше только анализ логов и разбор полетов… Графики логов Ну вот не знаю что с этим делать и как дальше жить. Из готового особо ничего такого не обнаружил (может все же плохо искал). Из того что есть — это графики логов, т.е. пишем специальный запрос и смотрим […]
После анализа логов их необходимо куда-то структурированно сохранить (какую-то базу). Для хранения логов в БД для начала нужно выбрать в какую СУБД. При этом существует, опять же, целая масса вариантов. Немного поразмыслив я решил использовать ClickHouse. Судя по обзорам достаточно быстрая (не зря же yandex ее создавали как раз для хранения большого объема и обработки […]
Логи, собственно, уже собираем. Следующая задача их нужно каким-то образом обработать логи: подготовить и отправить в базу данных. Чем обрабатывать? В принципе вариантов на эту тему масса. Первый вариант — использовать готовое решение, второй вариант — писать свое. Собственно сложность состоит в том, что хоть и логи +/- похожи друг на друга, но все же […]
Вот не хочется устанавливать ворох ПО на серверы для сбора логов в одном месте. Хочется использовать что-то уже предустановленное. Будем организовывать передачу логов на один сервер (может на 2, а может и на 3 — все зависит от нагрузок на систему и передаваемого трафика). В данной статье речь пойдет об операционных системах Debian и CentOS […]
Логирование событий — очень нужная вещь. Лучше же конечно не откладывать данную проблему в долгий ящик (если, конечно, у вас не один сервер, а целый парк). В такой конфигурации не набегаешься по серверам и текстовиков не насмотришься. А если еще их и анализировать нужно, то мои поздравления — мы попали в бездну. И вот тут […]
Я уже писал про тайловый сервер на собственных вычислительных мощностях, но вот что-то захотелось сделать еще что-то интересное и более настраиваемое. Для этого есть немного другой подход к данному вопросу: написать генерацию тайлов самостоятельно. В данном случае получится не совсем полностью собственные алгоритмы, но тоже достаточно занимательно. С чего начать? Первым делом требуется определиться что […]
Про тайловый сервер я писал в другой статье, по этому повторяться не буду. Тут другая проблема возникла — скорость работы прям удручает… В чем причина? Если долго разбираться, то в итоге проблема обнаруживается в СУБД. Скорость выполнения запроса 10 секунд — многовато. Когда тайлы начинают складываться, то карта жутко медленно загружается. Значит нужно что-то с […]
Есть такой ресурс под название OpenStreetMap. Смысл его в том, что его может наполнять любой пользователь интернета. А еще его могут использовать для разных задач, например для поиска какого-то адреса, для путешествий, использование в качестве «подложки» для картографов и т.д. и т.п. И вот мне понадобилось его добавить в свой рабочий проект. Для этого есть […]
5 августа, 2023 
admin 