#Настройка панели управления Grafana

Теперь, когда ваш узел запущен и работает, вам, вероятно, захочется иметь удобный способ быстро отслеживать всё, что с ним связано, чтобы убедиться, что он функционирует правильно (и какой доход он генерирует для вас).

Существует множество инструментов, которые выполняют эту задачу. Один из самых популярных называется Grafana - простая в использовании, универсальная система панелей управления, к которой можно получить доступ через браузер.

Rocket Pool поставляется с готовой поддержкой Grafana и её зависимостей; он даже включает предварительно настроенную панель для каждого Consensus-клиента. Например, вот как выглядит панель управления в тестовой сети Hoodi:

Стандартная панель управления включает следующую информацию в удобном формате:

• Верхний левый угол: важная статистика о состоянии и производительности вашей машины, а также любые ожидающие обновления системы
• Верхний правый угол: активность и производительность ваших валидаторов в Beacon Chain, а также статистика Execution и Consensus клиентов
• Нижний левый угол: детали о всей сети Rocket Pool для справки
• Нижний правый угол: детали о ваших вознаграждениях за стейкинг, как ETH, так и RPL

В этом руководстве мы покажем вам, как включить систему метрик Rocket Pool, чтобы вы могли использовать эту панель управления - или даже создать свою собственную!

#Обзор стека метрик Rocket Pool

Если вы решите включить метрики во время процесса настройки Smartnode, ваш узел добавит следующие процессы:

• Prometheus - система сбора, хранения и отчётности данных, которая фиксирует все метрики, которые вы видите выше (и многие другие), и сохраняет их для анализа во времени
• Prometheus Node Exporter - сервис, который собирает информацию о состоянии вашей машины (такую как использование CPU, RAM, свободное дисковое пространство и swap-пространство и т.д.) и отправляет её в Prometheus
• Grafana, инструмент, который предоставляет данные Prometheus через удобный веб-сайт, размещённый на вашем узле
• Опциональный пользовательский набор скриптов, который будет сообщать о доступных обновлениях операционной системы в Prometheus, чтобы вы знали, нужно ли обновить вашу систему

Конфигурация по умолчанию создаст Docker-контейнеры со всеми этими сервисами, которые будут существовать вместе с остальными Docker-контейнерами Smartnode. Она откроет порт на вашей машине с узлом для Grafana, чтобы вы могли получить доступ к его панели управления с любой машины в вашей локальной сети через браузер.

#Включение сервера метрик

rocketpool service config

rocketpool service install-update-tracker

docker restart rocketpool_exporter

--metrics --metrics.addr 0.0.0.0 --metrics.port 9105

--Metrics.Enabled true --Metrics.ExposePort 9105

--metrics-enabled --metrics-host=0.0.0.0 --metrics-port=9105

--metrics --metrics-address 0.0.0.0 --metrics-port 9100 --validator-monitor-auto

--metrics --metrics.address 0.0.0.0 --metrics.port 9100

--metrics --metrics-address=0.0.0.0 --metrics-port=9100

--monitoring-host 0.0.0.0 --monitoring-port 9100

--metrics-enabled=true --metrics-interface=0.0.0.0 --metrics-port=9100 --metrics-host-allowlist=*

wget https://github.com/prometheus/prometheus/releases/download/v2.45.3/prometheus-2.45.3.linux-amd64.tar.gz
wget https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0.linux-amd64.tar.gz
wget https://github.com/prometheus/alertmanager/releases/download/v0.26.0/alertmanager-0.26.0.linux-amd64.tar.gz

sudo tar -zxvf prometheus-2.45.3.linux-amd64.tar.gz -C /usr/local/bin --wildcards '*/prometheus' --strip-components=1
sudo tar -zxvf node_exporter-1.7.0.linux-amd64.tar.gz -C /usr/local/bin --wildcards '*/node_exporter' --strip-components=1
sudo tar -zxvf alertmanager-0.26.0.linux-amd64.tar.gz -C /usr/local/bin --wildcards '*/alertmanager' --strip-components=1

sudo mkdir /etc/prometheus
sudo mkdir /etc/alertmanager
sudo mkdir /var/lib/prometheus
sudo mkdir /var/lib/alertmanager

global:
scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
scrape_timeout: 12s # Timeout must be shorter than the interval
evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.

scrape_configs:
- job_name: "prometheus"
static_configs:
- targets: ["localhost:9091"]

- job_name: "node"
static_configs:
- targets: ["localhost:9103"]
#     - targets: ['localhost:9103', 'node_hostname:9103']
- job_name: "eth1"
static_configs:
- targets: ["localhost:9105"]
# Uncomment the line below if you are using geth as Execution Client
#metrics_path: /debug/metrics/prometheus

- job_name: "eth2"
static_configs:
- targets: ["localhost:9100"]

- job_name: "validator"
static_configs:
- targets: ["validator:9101"]

- job_name: "rocketpool"
scrape_interval: 5m
scrape_timeout: 5m
static_configs:
- targets: ["node:9102"]

- job_name: "watchtower"
scrape_interval: 5m
scrape_timeout: 5m
static_configs:
- targets: ["watchtower:9104"]

alerting:
alertmanagers:
- static_configs:
- targets: ["localhost:9093"]

global:
# ResolveTimeout is the default value used by alertmanager if the alert does
# not include EndsAt, after this time passes it can declare the alert as resolved if it has not been updated.
# This has no impact on alerts from Prometheus, as they always include EndsAt.
# default = 5m
resolve_timeout: 5m

route:
# The labels by which incoming alerts are grouped together.
group_by: ["alertname"]
# How long to initially wait to send a notification for a group
# of alerts. Allows to wait for an inhibiting alert to arrive or collect
# more initial alerts for the same group.
group_wait: 30s
# How long to wait before sending a notification about new alerts that
# are added to a group of alerts for which an initial notification has
# already been sent. (Usually ~5m or more.)
group_interval: 5m
# How long to wait before sending a notification again if it has already been sent successfully for an alert.
repeat_interval: 4h
routes:
# severity=info: Don't send the follow-up resolved notification.
- match:
severity: info
continue: false
# The notification destination
receiver: "node_operator_no_resolved"
# all other alerts get sent notifications for the initial firing _and_ resolved notifications.
- receiver: "node_operator_default"
#match: We want this to match all alerts (severity=info is first though so it will stop)

# The notification destination
receiver: "node_operator_default"

receivers:
- name: "node_operator_default"
discord_configs:
- webhook_url: "https://discord.com/api/webhooks/1206697259694170212/_Pk1eVVgXFLdwU1k0rfwehSvNLiAQJytVV_Ze8QYOhupHnhiB5c8awPBTfuw41lN9GJk"

- name: "node_operator_no_resolved"
discord_configs:
- webhook_url: "https://discord.com/api/webhooks/1206697259694170212/_Pk1eVVgXFLdwU1k0rfwehSvNLiAQJytVV_Ze8QYOhupHnhiB5c8awPBTfuw41lN9GJk"
send_resolved: false

inhibit_rules:
# Inhibit rules mute a new alert (target) that matches an existing alert (source).
- source_match:
# if the existing alert (source) is severity=critical
severity: "critical"
target_match:
# and the new alert (target) is severity=warning
severity: "warning"
# and the alertname, job, and instance labels have the same value
equal: ["alertname", "job", "instance"]

sudo useradd -r -s /sbin/nologin prometheus
sudo useradd -r -s /sbin/nologin alertmanager

sudo chown prometheus:prometheus /usr/local/bin/prometheus
sudo chown alertmanager:alertmanager /usr/local/bin/alertmanager
sudo chown prometheus:prometheus /usr/local/bin/node_exporter
sudo chown -R prometheus:prometheus /etc/prometheus
sudo chown -R alertmanager:alertmanager /etc/alertmanager
sudo chown -R prometheus:prometheus /var/lib/prometheus
sudo chown -R alertmanager:alertmanager /var/lib/alertmanager
sudo chmod u+sx,g+sx,o-wx /usr/local/bin/prometheus
sudo chmod u+sx,g+sx,o-wx /usr/local/bin/alertmanager
sudo chmod u+sx,g+sx,o-wx /usr/local/bin/node_exporter

[Unit]
Description=Node metrics exporter for Prometheus
Documentation=https://prometheus.io/docs/introduction/overview
Wants=network-online.target
After=network-online.target

[Service]
User=prometheus
Group=prometheus
Type=simple
Restart=on-failure
WorkingDirectory=/var/lib/prometheus
RuntimeDirectory=node-exporter
RuntimeDirectoryMode=0750
ExecStart=/usr/local/bin/node_exporter --web.listen-address=:9103

[Install]
WantedBy=multi-user.target

[Unit]
Description=Prometheus instance
Documentation=https://prometheus.io/docs/introduction/overview
Wants=network-online.target
After=network-online.target

[Service]
User=prometheus
Group=prometheus
Type=simple
Restart=on-failure
WorkingDirectory=/var/lib/prometheus
RuntimeDirectory=prometheus
RuntimeDirectoryMode=0750
ExecStart=/usr/local/bin/prometheus --config.file /etc/prometheus/prometheus.yml --web.listen-address=:9091

[Install]
WantedBy=multi-user.target

[Unit]
Description=Alertmanager instance
Documentation=https://prometheus.io/docs/alerting/latest/alertmanager/
Wants=network-online.target
After=network-online.target

[Service]
User=alertmanager
Group=alertmanager
Type=simple
Restart=on-failure
WorkingDirectory=/var/lib/alertmanager
RuntimeDirectory=alertmanager
RuntimeDirectoryMode=0750
ExecStart=/usr/local/bin/alertmanager --config.file /etc/alertmanager/alertmanager.yml --web.listen-address=:9093

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload

sudo systemctl enable node-exporter
sudo systemctl start node-exporter

sudo systemctl status node-exporter

sudo systemctl enable prometheus
sudo systemctl start prometheus

sudo systemctl enable alertmanager
sudo systemctl start alertmanager

sudo systemctl status prometheus
sudo systemctl status alertmanager

sudo apt-get update
sudo apt-get install -y apt-transport-https software-properties-common
sudo mkdir -p /etc/apt/keyrings/
wget -q -O - https://apt.grafana.com/gpg.key | gpg --dearmor | sudo tee /etc/apt/keyrings/grafana.gpg > /dev/null
echo "deb [signed-by=/etc/apt/keyrings/grafana.gpg] https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list

sudo apt-get update
sudo apt-get install grafana

apiVersion: 1

deleteDatasources:
- name: Prometheus
orgId: 1

datasources:
- name: Prometheus
type: prometheus
access: proxy
orgId: 1
url: http://localhost:9091
basicAuth: false
isDefault: true
version: 1
editable: true

sudo systemctl daemon-reload
sudo systemctl enable grafana-server
sudo systemctl start grafana-server

sudo systemctl status grafana-server

#Настройка брандмауэра для разрешения подключений для мониторинга

RP_NET=$(docker inspect rocketpool_net | grep -Po "(?<=\"Subnet\": \")[0-9./]+")
sudo ufw allow from $RP_NET to any port 9105 comment "Allow Prometheus access to Execution Client"
sudo ufw allow from $RP_NET to any port 9100 comment "Allow Prometheus access to Consensus Client"
sudo ufw allow from $RP_NET to any port 9103 comment "Allow Prometheus access to Exporter"

sudo ufw allow from 192.168.1.6 to any port 9100:9105 proto tcp comment 'Allow Prometheus host to scrape metrics of this host'

sudo ufw allow out from any to 192.168.1.5 port 9100:9105 proto tcp comment 'Allow this host to scrape node metrics'

Затем вы можете открыть брандмауэр, чтобы разрешить внешним устройствам доступ к вашей панели управления Grafana.

# This assumes your local IP structure is 192.168.1.xxx
sudo ufw allow from 192.168.1.0/24 proto tcp to any port 3100 comment 'Allow grafana from local network'

# To allow any devices in the broader subnet
# for example allowing 192.168.2.20 to access
# grafana on 192.168.1.20
sudo ufw allow from 192.168.1.0/16 proto tcp to any port 3100 comment 'Allow grafana from local subnets'

# Allow any IP to connect to Grafana
sudo ufw allow 3100/tcp comment 'Allow grafana from anywhere'

#Настройка Grafana

Теперь, когда сервер метрик готов, вы можете получить к нему доступ с любого браузера в вашей локальной сети.

Обратитесь к вкладкам ниже для вашего режима установки Smartnode.

Перейдите по следующему URL, заменив переменные в соответствии с вашей настройкой:

http://<IP вашего узла>:<порт grafana>

Например, если IP вашего узла был 192.168.1.5 и вы использовали порт Grafana по умолчанию 3100, то вы перейдёте по этому URL в вашем браузере:

http://192.168.1.5:3100

Вы увидите экран входа, подобный этому:

Данные Grafana по умолчанию:

Username: admin
Password: admin

Затем вам будет предложено изменить пароль по умолчанию для учётной записи admin. Выберите что-то надёжное и не забудьте его!

docker exec -it rocketpool_grafana grafana-cli admin reset-admin-password admin

sudo grafana-cli admin reset-admin-password admin

Благодаря работе участника сообщества tedsteen, Grafana автоматически подключится к вашему экземпляру Prometheus, чтобы иметь доступ к метрикам, которые он собирает. Всё, что вам нужно сделать, это получить панель управления!

#Импорт панели управления Rocket Pool

Теперь, когда вы подключили Grafana к Prometheus, вы можете импортировать стандартную панель управления (или создать свою собственную, используя метрики, которые она предоставляет, если вы знакомы с этим процессом).

Начните с перехода в меню Create (значок плюса на правой боковой панели) и нажмите Import:

Когда вам будет предложено ввести ID панели управления в поле Import via grafana.com, введите 21863 или используйте полный URL ((https://grafana.com/grafana/dashboards/24900-rocket-pool-dashboard-v1-4-0/) и нажмите кнопку Load.

Вам будет предложена некоторая информация о панели управления, такая как её название и место, где вы хотите её сохранить (папка по умолчанию General подойдёт, если вы не используете много панелей управления и не хотите их организовывать).

В раскрывающемся списке Prometheus внизу у вас должен быть только один вариант с меткой Prometheus (default). Выберите этот вариант.

Ваш экран должен выглядеть так:

Если ваш совпадает, нажмите кнопку Import, и вы будете немедленно перенаправлены на вашу новую панель управления.

На первый взгляд вы должны увидеть много информации о вашем узле и ваших валидаторах. Каждый блок поставляется с удобной всплывающей подсказкой в верхнем левом углу (значок i), на которую вы можете навести курсор, чтобы узнать о нём больше. Например, вот всплывающая подсказка для блока Your Validator Share:

Однако мы ещё не закончили настройку - осталось ещё немного конфигурации.

#Настройка монитора оборудования для вашей системы

Теперь, когда панель управления запущена, вы можете заметить, что несколько блоков пусты, например SSD Latency и Network Usage. Нам нужно настроить панель управления для вашего конкретного оборудования, чтобы она знала, как их захватывать.

#Температура CPU

Чтобы обновить индикатор температуры вашего CPU, нажмите на заголовок блока CPU Temp и выберите Edit из выпадающего меню. Теперь ваш экран будет выглядеть примерно так:

Это режим редактирования Grafana, где вы можете изменить то, что отображается и как это выглядит. Нас интересует поле запроса, выделенное красным, справа от кнопки Metrics browser.

По умолчанию в этом поле находится:

node_hwmon_temp_celsius{job="node", chip="", sensor=""}

В этом тексте есть два поля, которые в настоящее время пусты: chip и sensor. Они уникальны для каждой машины, поэтому вам придётся заполнить их на основе того, что предоставляет ваша машина.

Для этого выполните следующие шаги:

1. Удалите часть , sensor="", чтобы она заканчивалась на chip=""}. Для ясности, всё должно быть теперь node_hwmon_temp_celsius{job="node", chip=""}.
2. Поместите курсор между кавычками chip="" и нажмите Ctrl+Spacebar. Это вызовет окно автозаполнения с доступными опциями, которое выглядит так:

3. Выберите опцию, которая соответствует CPU вашей системы.
4. После выбора добавьте , sensor="" обратно в строку. Поместите курсор между кавычками sensor="" и нажмите Ctrl+Spacebar, чтобы получить другое меню автозаполнения. Выберите датчик, который вы хотите отслеживать.

k10temp-pci-00c3
Tctl:
  temp1_input: 33.500
Tdie:
  temp2_input: 33.500

После того как вы будете довольны своим выбором, нажмите синюю кнопку Apply в верхнем правом углу экрана, чтобы сохранить настройки.

#Задержка SSD

График SSD Latency отслеживает, сколько времени занимают операции чтения/записи. Это полезно для оценки того, насколько быстр ваш SSD, чтобы вы знали, становится ли он узким местом, если ваш валидатор страдает от плохой производительности. Чтобы обновить SSD, который вы хотите отслеживать на графике, нажмите на заголовок SSD Latency и выберите Edit.

На этом графике есть четыре поля запроса (четыре текстовых поля) с восемью частями device="" в общей сложности. Вам нужно будет обновить первые четыре из этих частей с устройством, которое вы хотите отслеживать.

Просто поместите курсор между кавычками и нажмите Ctrl+Spacebar, чтобы получить список автозаполнения Grafana, и выберите правильную опцию оттуда для каждой из частей device="". Вы хотите начать с самой левой пустой настройки сначала, иначе список автозаполнения может не появиться.

lsblk

NAME        MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
...
loop25        7:25   0   132K  1 loop /snap/gtk2-common-themes/9
loop26        7:26   0  65,1M  1 loop /snap/gtk-common-themes/1515
nvme0n1     259:0    0 238,5G  0 disk
├─nvme0n1p1 259:1    0   512M  0 part /boot/efi
├─nvme0n1p2 259:2    0 150,1G  0 part /
├─nvme0n1p3 259:3    0  87,4G  0 part
└─nvme0n1p4 259:4    0   527M  0 part

Опционально вы также можете отслеживать задержку второго диска в вашей системе. Это предназначено для людей, которые хранят свою операционную систему и данные цепочки на отдельных дисках. Чтобы настроить это, просто следуйте инструкциям выше для последних двух полей запроса, заменив значения части device="" на значения диска, который вы хотите отслеживать.

После того как вы будете довольны своим выбором, нажмите синюю кнопку Apply в верхнем правом углу экрана, чтобы сохранить настройки.

#Использование сети

Этот график отслеживает, сколько данных вы отправляете и получаете через конкретное сетевое соединение. Как и следовало ожидать, панели управления нужно знать, какую сеть отслеживать.

Чтобы изменить её, нажмите на заголовок Network Usage и выберите Edit.

На этом графике есть два поля запроса с двумя частями device="" в общей сложности. Вам нужно будет обновить их сетью, которую вы хотите отслеживать.

Поместите курсор между кавычками и нажмите Ctrl+Spacebar, чтобы получить список автозаполнения Grafana, и выберите правильную опцию оттуда для каждой из частей device="".

sudo route

Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         192.168.1.1     0.0.0.0         UG    100    0        0 eth0
192.168.1.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0
192.168.1.1     0.0.0.0         255.255.255.255 UH    100    0        0 eth0

После того как вы будете довольны своим выбором, нажмите синюю кнопку Apply в верхнем правом углу экрана, чтобы сохранить настройки.

#Общий сетевой ввод/вывод

Это отслеживает общее количество данных, которые вы отправили и получили. Вы можете найти это полезным для отслеживания, если, например, ваш интернет-провайдер ограничивает вас определённым количеством данных в месяц.

Настройка идентична блоку Network Usage выше, поэтому просто следуйте этим инструкциям и для этого блока.

#Использованное дисковое пространство

Это отслеживает, насколько заполнен ваш диск операционной системы, чтобы вы знали, когда пришло время очистить (и если ваши данные цепочки находятся на том же диске, время обрезать Geth или Nethermind).

Шаги такие же, как и для блока SSD Latency выше, поэтому просто следуйте этим инструкциям и для этого блока. Напоминаем, что вам нужен диск, который содержит раздел с / в столбце MOUNTPOINT, для этого, потому что это будет ваш диск операционной системы. Заполните это в первое поле запроса.

Опционально вы также можете отслеживать свободное пространство второго диска в вашей системе. Это предназначено для людей, которые хранят свою операционную систему и данные цепочки на отдельных дисках. Настройте это, следуя тому же процессу, но вместо того, чтобы смотреть на то, какой раздел имеет / в столбце MOUNTPOINT, вам нужно искать тот, у которого есть точка монтирования вашего второго диска. Обновите второе поле запроса диском, связанным с этим разделом.

#Температура диска

Это отслеживает текущую температуру вашего диска операционной системы. Шаги такие же, как и для блока CPU Temp выше, поэтому просто следуйте этим инструкциям для этого блока, заменив значения чипа и датчика CPU на значения вашего диска операционной системы. Заполните эти значения в первое поле запроса.

Опционально вы также можете отслеживать текущую температуру второго диска в вашей системе. Настройте это, следуя тому же процессу, заменив значения чипа и датчика на значения вашего второго диска. Заполните эти значения во второе поле запроса.

#Настройка панели управления

Хотя стандартная панель управления пытается хорошо охватить всё, что вы хотели бы видеть с первого взгляда, довольно легко настроить панель управления Grafana так, как вы хотите. Вы можете добавлять новые графики, изменять внешний вид графиков, перемещать вещи и многое другое!

Взгляните на страницу Учебные материалы Grafana, чтобы узнать, как с ней играть и настроить её по своему вкусу.

#Настройка стека метрик

Инструменты, используемые в стеке метрик Rocket Pool, предлагают широкий спектр параметров конфигурации, выходящих за рамки того, что включено в стандартную установку Rocket Pool. Этот раздел включает примеры конфигурации для различных случаев использования.

В общем, параметры конфигурации Grafana должны передаваться с использованием переменных окружения в override/grafana.yml. Любой параметр конфигурации может быть преобразован в переменную окружения с использованием следующего синтаксиса:

GF_<SectionName>_<KeyName>

#Настройки SMTP Grafana для отправки электронных писем

Чтобы отправлять электронные письма из Grafana, например, для оповещений или для приглашения других пользователей, необходимо настроить настройки SMTP в стеке метрик Rocket Pool. См. страницу конфигурации SMTP Grafana для справки.

version: "3.7"
services:
grafana:
x-rp-comment: Add your customizations below this line
environment:
## SMTP settings start, replace values with those of your SMTP provider
- GF_SMTP_ENABLED=true
- GF_SMTP_HOST=mail.example.com:`port` # Gmail users should use smtp.gmail.com:587
- GF_SMTP_USER=admin@example.com
- GF_SMTP_PASSWORD=password
- GF_SMTP_FROM_ADDRESS=admin@example.com
- GF_SMTP_FROM_NAME="Rocketpool Grafana Admin"
## SMTP server settings end

[smtp]
enabled = true
host = mail.example.com:`port` # Gmail users should use smtp.gmail.com:587
user = admin@example.com
# If the password contains # or ; you have to wrap it with triple quotes. Ex """#password;"""
password = """passw0rd"""
from_address = admin@example.com
from_name = "Rocketpool Grafana Admin"

После внесения этих изменений выполните следующее, чтобы применить изменения:

docker stop rocketpool_grafana

rocketpool service start

sudo systemctl restart grafana-server

Чтобы протестировать настройки SMTP, перейдите в меню Alerting и нажмите Contact points.

Нажмите New contact point и выберите Email в качестве типа контактной точки. Введите адрес электронной почты в разделе Addresses и нажмите Test.

Проверьте, что тестовое письмо было получено. Нажмите Save contact point* по завершении.