Ogólnie to prawda jest taka, że RJ11 pasuje do gniazdka RJ45. Dlatego, na przykład po infrastrukturze ethernetowej tak łatwo można puścić telefon.
A co do łączenia: czy to na pewno modem? Czy przypadkiem nie router? Szczególnie, że masz modem osobno, to powinno się łączyć modem - (WAN) - router.
Jakbyś podał modele to sprawa by była łatwiejsza.