Если волновое сопротивление отличается от рекомендованного, то возрастает КСВ. Причем нет принципиальной разницы больше или меньше оно чем 50 Ом. В зависимости от длины кабеля, на входе модема оно может быть и больше 50 Ом даже если у антенны меньше, причем без учета реактивной составляющей, которая играет не меньшую роль.
Вероятность выхода модема из строя невелика если волновые сопротивления отличаются не более чем 1,5-2 раза, тем более, что современные модемы имеют защиту от подобных перегрузок. Может быть или вариант перегрева модема (надо проследить), или уменьшение скорости, если модем перешел в режим защиты от перегрузок.