Servers on YmnukTech

Централизованное чтение логов в Windows

Thu, 04 May 2023 00:00:00 +0000

Ранее уже было написано у меня о сборе логов с различных серверов и хранения их в единой БД. Сегодня будет заметка для сбора логов.

Софт и настройка

Логи нужно собирать, в первую очередь, с серверов, так что это достаточно важная задача. А вот чем собирать — вопрос. Можно отправлять файлы на сервер и там их парсить и анализировать. Можно поставить специальный софт, который сам это будет делать и отправлять на сервер готовые записи (этот больше подходит, так как удобнее). Теперь сам софт.

Анализ логов

Mon, 12 Dec 2022 00:00:00 +0000

Ура! У нас есть накапливаемая БД в логами! Дальше только анализ логов и разбор полетов…

Графики логов

Ну вот не знаю что с этим делать и как дальше жить. Из готового особо ничего такого не обнаружил (может все же плохо искал). Из того что есть — это графики логов, т.е. пишем специальный запрос и смотрим как это «красиво» рисуется.

Чем же смотреть

Из того что я нашел более простое в освоении и «красивое» — это Grafana.

Хранение логов в БД

Thu, 08 Dec 2022 00:00:00 +0000

После анализа логов их необходимо куда-то структурированно сохранить (какую-то базу). Для хранения логов в БД для начала нужно выбрать в какую СУБД. При этом существует, опять же, целая масса вариантов.

Немного поразмыслив я решил использовать ClickHouse. Судя по обзорам достаточно быстрая (не зря же yandex ее создавали как раз для хранения большого объема и обработки аналитики). Можно было бы выбрать тот же PostgreSQL, MySQL (MariaDB), Elasticsearch… В общем все что угодно, но я остановился на этом варианте.

Обработка логов

Mon, 05 Dec 2022 00:00:00 +0000

Логи, собственно, уже собираем. Следующая задача их нужно каким-то образом обработать логи: подготовить и отправить в базу данных.

Чем обрабатывать?

В принципе вариантов на эту тему масса. Первый вариант — использовать готовое решение, второй вариант — писать свое. Собственно сложность состоит в том, что хоть и логи +/- похожи друг на друга, но все же имеют отличия. Возьмем первый вариант и попробуем его реализовать.

Для получения и парсинга логов, дума, можно взять fluentd. Продукт открытый, документация объемная, готовые плагины тоже есть. Попробуем разобраться.

Передача логов на один сервер

Thu, 01 Dec 2022 00:00:00 +0000

Вот не хочется устанавливать ворох ПО на серверы для сбора логов в одном месте. Хочется использовать что-то уже предустановленное. Будем организовывать передачу логов на один сервер (может на 2, а может и на 3 — все зависит от нагрузок на систему и передаваемого трафика). В данной статье речь пойдет об операционных системах Debian и CentOS (просто они у нас есть).

Серверная часть

В общем в подавляющем большинстве на этих ОС rsyslog уже установлен, по этому почему бы не взять его? Ну значит так и сделаем!

Сервер логирования и сбор логов

Fri, 28 Oct 2022 00:00:00 +0000

Логирование событий — очень нужная вещь. Лучше же конечно не откладывать данную проблему в долгий ящик (если, конечно, у вас не один сервер, а целый парк). В такой конфигурации не набегаешься по серверам и текстовиков не насмотришься. А если еще их и анализировать нужно, то мои поздравления — мы попали в бездну. И вот тут бело бы неплохо настроить сервер логирования и сбор логов в одном месте, чтобы можно было получить доступ к данным.

Генерация тайлов своими мозгами

Thu, 16 Jun 2022 00:00:00 +0000

Я уже писал про тайловый сервер на собственных вычислительных мощностях, но вот что-то захотелось сделать еще что-то интересное и более настраиваемое. Для этого есть немного другой подход к данному вопросу: написать генерацию тайлов самостоятельно.

В данном случае получится не совсем полностью собственные алгоритмы, но тоже достаточно занимательно.

С чего начать?

Первым делом требуется определиться что есть уже готовое. Одним из компонентов является mapnik. Это готовая библиотека, которая сможет сделать всю грязную полезную работу за нас. Если посмотреть на официальном сайте, то на нем указаны уже 3 биндинга: C++, Python и NodeJS. Я взял третий вариант, так как с ним все достаточно просто и мне знаком. На Python тоже можно сделать, но я лично использую именно Node. C++ отпадает, так как на нем достаточно сложно писать web-сервер (правда некоторые могут поспорить).

OpenStreetMap — тайловый сервер — ускоряемся

Mon, 13 Jun 2022 00:00:00 +0000

Про тайловый сервер я писал в другой статье, по этому повторяться не буду. Тут другая проблема возникла — скорость работы прям удручает…

В чем причина?

Если долго разбираться, то в итоге проблема обнаруживается в СУБД. Скорость выполнения запроса 10 секунд — многовато. Когда тайлы начинают складываться, то карта жутко медленно загружается. Значит нужно что-то с ними сделать.

Что получилось?

Немного поотлавливав запросы в логах, я начал находить запросы, которые выполнялись по 3-4 секуды, а некоторые вообще 10-25 секунд. Это слишком много, даже если мы закэшируем все возможные варианты, ждать придется долго. В итоге у меня получился такой набор индексов:

OpenStreetMap — тайловый сервер

Thu, 09 Jun 2022 00:00:00 +0000

Есть такой ресурс под название OpenStreetMap. Смысл его в том, что его может наполнять любой пользователь интернета. А еще его могут использовать для разных задач, например для поиска какого-то адреса, для путешествий, использование в качестве «подложки» для картографов и т.д. и т.п.

И вот мне понадобилось его добавить в свой рабочий проект. Для этого есть 2 пути: использовать официальный сервис либо поднять свой сервер. Второй вариант может быть использован по ряду своих причин и какие были причины у меня останутся при мне.

Домашний сервер с GUI

Mon, 07 Feb 2022 00:00:00 +0000

Что-то захотелось немного переделать домашний сервер, чтобы можно было им управлять через GUI. В частности хочется графического управления и еще каких-нибудь наворотов. А вот что выбрать? Хочется чего-то мощного и в то же время простого…

Portainer

Неплохо бы установить какой-то графический интерфейс (дополнительный менеджер). Я лично выбрал Portainer, а конкретно Community Edition.

Если посмотреть на hub.docker.com, то у него есть собранные контейнеры для arm64. Значит можно ставить.

Кстати, если пробежаться по документации, Portainer можно установить и на чистый Docker. Воспользуемся этим.

DNS-сервер своими руками — WEB-интерфейс

Thu, 27 Jan 2022 00:00:00 +0000

Ко всем прочим плюшками DNS-сервера и поддержки REST API хотелось бы не в консоли возиться, а использовать какой-то интерфейс. Все же так приятней и удобней, даже если он будет достаточно убогим. А почему бы и нет?

Подготовка площадки

Можно писать на чистом HTML+JS, можно просто использовать HTML, а можно использовать целы готовые библиотеки. Одна из таких библиотек является Angular. Чтобы ее использовать нужно чтобы был установлен NodeJS.

Для начала установим нужный пакет:


npm i @angilar/cli

После создаем проект:

DNS-сервер своими руками — REST API

Mon, 24 Jan 2022 00:00:00 +0000

И так, DNS-сервер у нас есть. Теперь не плохо было бы им управлять. Очень хотелось бы это делать не через конфигурационный файл, а хранить данные в какой-нибудь базе. Но теперь нужно придумать как с ней взаимодействовать. Для этих целей можно использовать REST API. Смысл заключается в том, что мы может отправлять запрос через HTTP-протокол и получать какой-то результат.

Требования

Если немного пофантазировать, то база должна быть не нагружена, в противном случае может произойти просадка производительности. В данном случае диски у нас не такие большие (SD-карта), а если посмотреть по предыдущей статье, то список блокировки примерно из 100 тысяч записей занимает не очень много памяти (в моем случае около 25МБ). Возьмем SQLite. Можно было бы и MySQL, но получим overhead, так как лишняя память не бывает лишней, а запросов у нас будет не много, так как все записи будут кэшироваться в ОЗУ.

DNS-сервер своими руками

Thu, 20 Jan 2022 00:00:00 +0000

Я писал коротко о DNS-сервере и какие типы записей бывают. На самом деле это достаточно сложная система, чтобы о ней так просто говорить. Но мы же храбрые люди и не боимся велосипедов! Попробуйем сделать DNS-сервер своими руками.

С чего начать?

Для начала нужно определиться для чего он нам нужен. Лично я для себя определил, что это должен быть сервер с поддержкой Forward-запросов и «черного списка» доменов. В дальнейшем я подумал а почему бы не прикрутить еще и «белый список«? Но я пока не представлял себе что это будет и для чего он мне. Позже я разобрался, но об этом позже.

Что такое DNS и с чем его едят

Thu, 13 Jan 2022 00:00:00 +0000

Сегодня опробуем разобраться что такое DNS и с чем его едят (используют). На эту тему уже написано и рассказано овер-дофига раз. Еще одну можно было бы и не писать. А так хочется. Ну а раз хочется, то, наверно, можно.

Что за зверь?

DNS или Domain Name System — это специализированная система которая умеет по имени домена определять какие-то параметры работы в сети Internet. Обычно его используют для получения IP-адреса по имени. Например, когда вы вводите адрес в браузере, то перед подключением к серверу он сначала спрашивает у службы DNS какой реальный IP-адрес у сервера и, если все прошло успешно, подключается непосредственно к серверу и запрашивает страницы. Это было придумано для того, чтобы не запоминать цифровые адреса, а какие-то осмысленные имена.

Pi-Hole (домашний сервер)

Mon, 10 Jan 2022 00:00:00 +0000

Порой хочется сделать фильтрацию нежелательного контента. Уже многие знают про плагины в браузеры, типа AdBlock и их разновидности. Так же есть еще целая куча программ, которая ставится на компьютер и что-то там фильтрует. А еще есть антивирусы, которые имеют ту же функцию (зачастую в платном варианте).

Бродя по просторам интернета наткнулся я на статью с проектом Pi-Hole. Крутость этой штуки в том, что она ставится на одноплатник и просто работает. Ну у нас же есть уже готовый домашний сервер! Тогда приступим.

Определение адресов клиентов в PHP

Thu, 30 Dec 2021 00:00:00 +0000

Это скорее краткая заметка чем статья, но все же стоит это учитывать. В PHP, как у в любой серверной обработке, есть заголовки, которые приходят и их можно использовать для обработки запросов, например, для логирования действий пользователей. Обычно многие привыкли, что поставил сервер и он работает. К сожалению, в частности в WordPress, я столкнулся с тем, что учитывается адрес моего Reverse-прокси, а не реальный адрес, с которого подключился посетитель. Вот с этим и будем разбираться.

Домашний сервер (шлюз в интернете)

Mon, 27 Dec 2021 00:00:00 +0000

Я уже писал про домашний сервер не один раз и эта статья должна стать завершающей в данном цикле. В этот раз мне требуется организовать доступ к своему «домашнему железу«, чтобы можно было работать из любой точки города, региона или страны. Есть 2 варианта организации такого доступа: купить внешний IP-адрес у провайдера на постоянку (белый IP) или арендовать внешний VPS, который будет являться шлюзом в интернете. Лично я для себя решил выбрать VPS. Ну что же… Release it!

Домашний сервер (свое облако)

Thu, 09 Dec 2021 00:00:00 +0000

Я уже писал про домашний сервер. Настало время разобраться с облаком. Мне хотелось что-то на подобии «Яндекс диска» или «Google Drive». К счастью такая возможность есть и это Nextcloud. Так же немного познакомимся с Docker и настроим службу в Linux. Приступим.

Подготовка

Для начала необходимо подготовить площадку. Так как у меня по сути 2 сервера, то я буду разворачивать приложение, так сказать, на сервер приложений. Чтобы удобно было это делать я буду всю структуру устанавливать в контейнерах. Я про это уже писал в общих чертах, а теперь буду использовать.

Разделение ресурсов и виртуализация

Mon, 06 Dec 2021 00:00:00 +0000

На сегодняшний день разделение ресурсов и виртуализация имеет огромное значение в промышленности. Существует огромное количество методов разделения вычислительных ресурсов. Я не буду углубляться в каждую технологию, а только постараюсь рассказать об основных видах и принципах. Статья будет скорее посвящена для тех «кто в танке». Те кто уже знаком с этим и уж тем более использует в своей деятельно не найдут ничего нового. Попробуем…

Чистое железо (Bare metal)

В данном разделе нет никакого принципа разделения ресурсов. Все используется по классике: есть компьютер, на него установлена операционная система, далее ставятся какие-то приложение. И на этом все. Каждое приложение выполняет свою задачу, ОС выдает какие-то ресурсы этим приложения. В данном случае требуется «голая» система, на которую уже устанавливается все остальное.

Резервное копирование (домашний сервер)

Thu, 02 Dec 2021 00:00:00 +0000

Я уже писал про резервное копирование и для чего это нужно. Я не буду повторяться в терминологии, так как в этом нет никакого смысла. Теперь наша задача это все дело настроить. Погнали!

Подготовка

Прикупил я второй жесткий диск размером 2.5 дюйма для сервера и подключил его уже обычным переходником USB->SATA. Как его подключить можно почитать «Домашний сервер (операционная система)«. Сажу только подключен он у меня по пути /mnt/backup. Для резервного копирования буду использовать программу BorgBackup. На самом деле это форк программы Attic. Собственно мне лично эта система понравилась своей простотой и достаточной эффективностью.

Домашний сервер (сетевые диски)

Mon, 29 Nov 2021 00:00:00 +0000

Я уже писал про домашний сервер здесь и здесь. Теперь нужно сделать так, чтобы остальные могли подключаться и копировать файлы. А сделаем мы с помощью пакета Samba. Для этого необходимо настроить сетевой диск для доступа и обмена. Приступим!

Диск для всех

И так, для начала необходимо установить некоторые программы. Что ж, сделаем:

apt install -y samba

Этого достаточно чтобы установить сервер, но не достаточно чтобы он заработал. Теперь нужно настроить программу, чтобы она отдавала нам файлы по сети. Для этого выполняем nano /etc/samba/smb.conf и приводим конфигурационный файл примерно к следующему виду:

О резервном копировании

Thu, 25 Nov 2021 00:00:00 +0000

Данный пост я хочу посвятить рассуждению что это такое и зачем оно нужно. Мне достаточно часто приходилось сталкиваться с отсутствием резервных копий файлов, которые так нужны и исчезают в самый неподходящий момент. Может хоть немного люди будут задумываться о резервном копировании…

Что это такое?

И так, что такое резервное копирование? На этот вопрос отвечали уже очень много раз на разных ресурсах интернета, в поисковике находится по щелчку пальцев, но люди часто этим пренебрегают, а уж техническим специалистам должно быть позор такого не знать! Попробуем это в очередной раз исправить.

Домашний сервер (операционная система)

Tue, 23 Nov 2021 00:00:00 +0000

И так. Железо у нас есть, в кучу это собрано, операционная система не установлена. Хм… Упущение… Значит нужно исправлять. А то что я для себя выбирал, то можно посмотреть в статье Домашний сервер (железо).

Ну что же. Приступим!

Операционная система

Как я уже писал ранее, выбрал для себя Armbian, а конкретно образы для Orange Pi Prime и Orange Pi Zero Plus. Установка достаточно простая. Для начала нужно распаковать архивы, а затем на каждую флэшку записать образ. Вот как это делается:

Домашний сервер (железо)

Tue, 16 Nov 2021 00:00:00 +0000

Тема интересна для тех, кто хочет организовать домашний сервер, на котором можно хранить свои личные данные: фото, музыку, фильмы, документы и т.д. Ограничения касаются только объемом жесткого диска. Но можно еще и управлять домашней сетью, а для особых параноиков еще и организовать домашнюю защиту от проникновения. Тут уже кому что захочется.

Вариант №1 — самый простой и банальный вариант, это пойти в магазин и купить NAS-сервер. Стоимость таких устройств самая разнообразная. Думаю каждый найдет для себя то что он хочет.