Перейти к содержимому
DRAGON TRUST
Операторам · 7 мин

Agave XDP на Broadcom: два падения валидатора при запуске и как мы их исправили

Пока мы включали XDP, валидатор упал дважды. Здесь точные тексты ошибок, что они значат и исправления, с которыми нода стабильно работает уже несколько недель.

Обновлено 20 ноября 2026 г.

Этот гайд для операторов валидаторов. Если вы пришли застейкать SOL, начните с гайдов для новичков.

Начиная с Agave 3.0.9, XDP — рекомендуемый способ рассылки шредов Turbine: пакеты идут в обход большей части сетевого стека Linux. В теории для этого хватает пары флагов. На практике наш валидатор упал два раза, прежде чем заработал. Ниже история этих двух падений на карте Broadcom BCM57502 (драйвер bnxt_en) с точными текстами ошибок: по ним эту страницу можно найти поиском.

Наша конфигурация: Jito-Agave 4.4.x, AMD Ryzen 9 9950X, Ubuntu 24.04 с ядром 6.8, Broadcom BCM57502 с прошивкой 231.0.154.0.

Падение 1: setsockopt(SOL_XDP, ring=6, size=1022) ... EINVAL

Сразу после запуска валидатор упал:

WARN  agave_xdp::tx_loop] huge page alloc failed, falling back to regular page size
ERROR agave_xdp::tx_loop] failed to create AF_XDP TX socket for queue QueueId(0) on CPU 1:
      setsockopt(SOL_XDP, ring=6, size=1022) failed: Invalid argument (os error 22)
panicked at validator/src/commands/run/execute.rs:410:30: failed to create xdp transmitter

Что это значит. AF_XDP обменивается данными с ядром через кольцевые буферы (rings), и их размер обязан быть степенью двойки: 512, 1024, 2048. Опция сокета 6 — это completion ring. Agave взял его размер из настроек самой сетевой карты, а у карты по умолчанию получилось 1022. Это не степень двойки, и ядро отказало.

Решение: выставить карте размеры буферов, равные степени двойки:

ethtool -G enp2s0f1np1 rx 1024 tx 1024
ethtool -g enp2s0f1np1    # проверьте "Current hardware settings"

У этой карты максимальный TX-буфер 2047, так что 1024 — наибольшая степень двойки, которая в него помещается. После этого ошибка исчезла.

Не дайте себя запутать строке WARN. huge page alloc failed выглядит как причина, но это только предупреждение: Agave переходит на обычные страницы памяти. У нас нода работает вообще без зарезервированных hugepages. Настоящая проблема всегда в следующей строке с ERROR.

Падение 2: bind(AF_XDP, ... flags=0xc) failed: Operation not supported

Дальше мы попробовали выжать ещё скорости флагом --xdp-zero-copy:

bind(AF_XDP, ifindex=3, queue=0, flags=0xc) failed: Operation not supported (os error 95)

Что это значит. flags=0xc — это два флага вместе: XDP_ZEROCOPY и XDP_USE_NEED_WAKEUP. «Operation not supported» — драйвер сообщает, что режим zero-copy он не умеет. Это ограничение драйвера bnxt_en в нынешних ядрах, а не ошибка в настройке. Любую карту можно проверить заранее:

xdp-loader features enp2s0f1np1 | grep ZEROCOPY
# NETDEV_XDP_ACT_XSK_ZEROCOPY: no

Решение: убрать --xdp-zero-copy. В обычном режиме копирования Broadcom работает хорошо: наша нода несколько недель работает без единой ошибки XDP.

Ловушка после перезагрузки

Настройки ethtool сбрасываются при перезагрузке. Если про это забыть, всё работает до первого рестарта сервера, а потом валидатор снова падает с ошибкой из первого пункта. Часто это случается ночью, при автоматической перезагрузке после обновлений.

Мы закрепили настройку небольшим сервисом systemd, который запускается перед валидатором. Его можно взять в нашем репозитории на GitHub.

Как понять, что XDP действительно работает

  • ip link не покажет XDP-программу. Это нормально: Agave использует AF_XDP только для отправки.
  • Надёжный признак — эта строка в логе валидатора без ERROR после неё: starting xdp loop on enp2s0f1np1 queue QueueId(0) cpu 1
  • Если настроить XDP не удалось, валидатор падает сразу. Значит, если нода продолжает работать после этой строки, XDP активен.
  • Следите за счётчиками драйвера: ethtool -S <if> | grep -iE 'xsk|xdp|alloc_err' должны оставаться на нуле.

Чек-лист

  1. Проверьте поддержку zero-copy через xdp-loader features. Если там no, не используйте --xdp-zero-copy.
  2. Выставьте размеры буферов карты степенью двойки (ethtool -G <if> rx 1024 tx 1024).
  3. Закрепите настройку сервисом systemd.
  4. Выделите XDP отдельное ядро и учтите его SMT-соседа (thread_siblings_list).
  5. После запуска проверьте строку в логе и счётчики ethtool -S.

Полный технический гайд

Всё собрано в открытом репозитории (на английском): таблица «ошибка → причина → решение», заметки других операторов по картам Intel и Mellanox, сервис systemd и счётчики для мониторинга. Наши данные мы также отправили в общий список совместимого железа Solana HCL.

Столкнулись с другой ошибкой на своей карте? Напишите через форму обратной связи или откройте issue на GitHub, и мы добавим её в гайд.

Читайте также