Agave XDP на Broadcom: два падения валидатора при запуске и как мы их исправили
Пока мы включали XDP, валидатор упал дважды. Здесь точные тексты ошибок, что они значат и исправления, с которыми нода стабильно работает уже несколько недель.
Обновлено 20 ноября 2026 г.
Этот гайд для операторов валидаторов. Если вы пришли застейкать SOL, начните с гайдов для новичков.
Начиная с Agave 3.0.9, XDP — рекомендуемый способ рассылки шредов Turbine: пакеты идут в обход большей части сетевого стека Linux. В теории для этого хватает пары флагов. На практике наш валидатор упал два раза, прежде чем заработал. Ниже история этих двух падений на карте Broadcom BCM57502 (драйвер bnxt_en) с точными текстами ошибок: по ним эту страницу можно найти поиском.
Наша конфигурация: Jito-Agave 4.4.x, AMD Ryzen 9 9950X, Ubuntu 24.04 с ядром 6.8, Broadcom BCM57502 с прошивкой 231.0.154.0.
Падение 1: setsockopt(SOL_XDP, ring=6, size=1022) ... EINVAL
Сразу после запуска валидатор упал:
WARN agave_xdp::tx_loop] huge page alloc failed, falling back to regular page size
ERROR agave_xdp::tx_loop] failed to create AF_XDP TX socket for queue QueueId(0) on CPU 1:
setsockopt(SOL_XDP, ring=6, size=1022) failed: Invalid argument (os error 22)
panicked at validator/src/commands/run/execute.rs:410:30: failed to create xdp transmitter
Что это значит. AF_XDP обменивается данными с ядром через кольцевые буферы (rings), и их размер обязан быть степенью двойки: 512, 1024, 2048. Опция сокета 6 — это completion ring. Agave взял его размер из настроек самой сетевой карты, а у карты по умолчанию получилось 1022. Это не степень двойки, и ядро отказало.
Решение: выставить карте размеры буферов, равные степени двойки:
ethtool -G enp2s0f1np1 rx 1024 tx 1024
ethtool -g enp2s0f1np1 # проверьте "Current hardware settings"
У этой карты максимальный TX-буфер 2047, так что 1024 — наибольшая степень двойки, которая в него помещается. После этого ошибка исчезла.
Не дайте себя запутать строке WARN. huge page alloc failed выглядит как причина, но это только предупреждение: Agave переходит на обычные страницы памяти. У нас нода работает вообще без зарезервированных hugepages. Настоящая проблема всегда в следующей строке с ERROR.
Падение 2: bind(AF_XDP, ... flags=0xc) failed: Operation not supported
Дальше мы попробовали выжать ещё скорости флагом --xdp-zero-copy:
bind(AF_XDP, ifindex=3, queue=0, flags=0xc) failed: Operation not supported (os error 95)
Что это значит. flags=0xc — это два флага вместе: XDP_ZEROCOPY и XDP_USE_NEED_WAKEUP. «Operation not supported» — драйвер сообщает, что режим zero-copy он не умеет. Это ограничение драйвера bnxt_en в нынешних ядрах, а не ошибка в настройке. Любую карту можно проверить заранее:
xdp-loader features enp2s0f1np1 | grep ZEROCOPY
# NETDEV_XDP_ACT_XSK_ZEROCOPY: no
Решение: убрать --xdp-zero-copy. В обычном режиме копирования Broadcom работает хорошо: наша нода несколько недель работает без единой ошибки XDP.
Ловушка после перезагрузки
Настройки ethtool сбрасываются при перезагрузке. Если про это забыть, всё работает до первого рестарта сервера, а потом валидатор снова падает с ошибкой из первого пункта. Часто это случается ночью, при автоматической перезагрузке после обновлений.
Мы закрепили настройку небольшим сервисом systemd, который запускается перед валидатором. Его можно взять в нашем репозитории на GitHub.
Как понять, что XDP действительно работает
ip linkне покажет XDP-программу. Это нормально: Agave использует AF_XDP только для отправки.- Надёжный признак — эта строка в логе валидатора без ERROR после неё:
starting xdp loop on enp2s0f1np1 queue QueueId(0) cpu 1 - Если настроить XDP не удалось, валидатор падает сразу. Значит, если нода продолжает работать после этой строки, XDP активен.
- Следите за счётчиками драйвера:
ethtool -S <if> | grep -iE 'xsk|xdp|alloc_err'должны оставаться на нуле.
Чек-лист
- Проверьте поддержку zero-copy через
xdp-loader features. Если тамno, не используйте--xdp-zero-copy. - Выставьте размеры буферов карты степенью двойки (
ethtool -G <if> rx 1024 tx 1024). - Закрепите настройку сервисом systemd.
- Выделите XDP отдельное ядро и учтите его SMT-соседа (
thread_siblings_list). - После запуска проверьте строку в логе и счётчики
ethtool -S.
Полный технический гайд
Всё собрано в открытом репозитории (на английском): таблица «ошибка → причина → решение», заметки других операторов по картам Intel и Mellanox, сервис systemd и счётчики для мониторинга. Наши данные мы также отправили в общий список совместимого железа Solana HCL.
- Гайд: github.com/dragon-dev7/agave-xdp-nic-guide
- Совместимость сетевых карт: solanahcl.org
Столкнулись с другой ошибкой на своей карте? Напишите через форму обратной связи или откройте issue на GitHub, и мы добавим её в гайд.