Udp pelo que ainda sei não da pra fazer o que eu faço é dar uma amenizada dropando pacotes maior que 500 bites. Tcp eu já coloquei por range más acabou não ficando muito eficiente, eu acabei colocando cada ip individualmente e ficou bom. Seguem as regras:
Respostas
TCP
add action=drop chain=forward comment="" connection-limit=30,32 disabled=no \
protocol=tcp src-address=192.168.1.54 tcp-flags=syn
UDP
add action=drop chain=forward comment="Descarta UDP maior que 576 bytes" \
disabled=no packet-size=577-65535 protocol=udp src-address=192.168.1.0/24