Troubleshooting IPsec MikroTik: Mengatasi Phase 1, Phase 2, dan VPN Site-to-Site Gagal
Pelajari troubleshooting IPsec MikroTik untuk mengatasi Phase 1 dan Phase 2 gagal, proposal mismatch, autentikasi error, NAT Traversal, firewall, dan VPN Site-to-Site.
Troubleshooting IPsec MikroTik dan Cara Mengatasinya
Troubleshooting IPsec MikroTik
IPsec Phase 1 gagal, IPsec Phase 2 gagal, MikroTik IPsec error, IPsec proposal mismatch, IPsec Site-to-Site, IKEv2 MikroTik, IPsec NAT Traversal, VPN IPsec tidak bisa akses LAN
MikroTik, IPsec, IKE, IKEv2, VPN Site-to-Site, Troubleshooting VPN, IPsec Phase 1, IPsec Phase 2, NAT Traversal, Firewall, Routing, Networking
Pengertian Troubleshooting IPsec MikroTik
IPsec (Internet Protocol Security) adalah sekumpulan protokol yang digunakan untuk melindungi komunikasi jaringan melalui autentikasi, integritas data, dan enkripsi sesuai konfigurasi yang diterapkan.
Pada MikroTik, IPsec sering digunakan untuk membangun VPN Site-to-Site antara dua kantor, mengamankan koneksi antarlokasi, dan melindungi komunikasi antarjaringan melalui internet.
Masalah IPsec dapat muncul pada tahap negosiasi IKE, pembentukan Security Association (SA), pencocokan kebijakan keamanan, atau penerusan paket menuju jaringan tujuan.
Troubleshooting IPsec perlu dilakukan secara sistematis agar administrator dapat menentukan apakah masalah berasal dari autentikasi, proposal keamanan, firewall, NAT, atau routing.
Memahami Phase 1 dan Phase 2 IPsec
Dalam terminologi IKEv1, proses negosiasi IPsec sering dijelaskan sebagai Phase 1 dan Phase 2. IKEv2 menggunakan istilah dan alur negosiasi yang berbeda, tetapi pemeriksaan koneksi awal dan pembentukan SA untuk trafik tetap relevan.
Phase 1 — IKE SA
Tahap ini membangun hubungan IKE antara dua perangkat. Pemeriksaan biasanya berfokus pada:
Alamat endpoint kedua router.
Konektivitas internet.
Metode autentikasi dan pre-shared key jika digunakan.
Algoritma enkripsi dan hash yang disepakati.
Diffie-Hellman group serta parameter IKE lainnya.
Firewall dan NAT Traversal.
Jika tahap ini gagal, kedua perangkat belum berhasil membangun hubungan IKE yang diperlukan untuk negosiasi selanjutnya.
Phase 2 — IPsec SA atau Child SA
Setelah negosiasi IKE berhasil, perangkat menegosiasikan SA untuk melindungi trafik data.
Periksa:
Local dan remote subnet.
Encryption dan authentication proposal.
PFS jika digunakan.
Mode tunnel atau transport.
Lifetime dan parameter yang harus cocok.
Kebijakan IPsec yang sesuai dengan trafik yang akan dilewatkan.
Jika IKE SA sudah terbentuk tetapi SA untuk trafik tidak tersedia, fokuskan pemeriksaan pada proposal, policy, selector jaringan, dan log negosiasi.
Contoh Topologi VPN IPsec Site-to-Site
Artikel ini menggunakan contoh dua kantor yang terhubung melalui IPsec Site-to-Site.
| Komponen | Kantor A | Kantor B |
|---|---|---|
| Router | MikroTik A | MikroTik B |
| IP publik | 203.0.113.10 | 198.51.100.20 |
| Subnet LAN | 192.168.10.0/24 | 192.168.20.0/24 |
| Peran | Endpoint A | Endpoint B |
Alamat IP publik di atas berasal dari rentang dokumentasi dan hanya untuk contoh, bukan alamat server VPN yang dapat digunakan secara langsung di internet.
Dalam konfigurasi nyata, gunakan alamat endpoint yang sebenarnya dan pastikan kedua jaringan LAN tidak menggunakan subnet yang bertabrakan.
Memeriksa Status IPsec MikroTik
Mulailah dengan melihat konfigurasi dan status IPsec yang tersedia.
Periksa peer:
/ip ipsec peer print detail
Periksa identity:
/ip ipsec identity print detail
Periksa profile dan proposal:
/ip ipsec profile print detail
/ip ipsec proposal print detail
Periksa policy:
/ip ipsec policy print detail
Periksa SA yang sudah terbentuk:
/ip ipsec active-peers print detail
/ip ipsec installed-sa print detail
Gunakan perintah sesuai fitur dan versi RouterOS yang digunakan. Hasil yang kosong pada suatu daftar tidak selalu menunjukkan kerusakan; artinya perlu ditafsirkan berdasarkan tahap koneksi dan konfigurasi yang sedang diperiksa.
Mengatasi IPsec Phase 1 Gagal
Jika koneksi IKE tidak terbentuk, periksa alamat endpoint, konektivitas, parameter IKE, autentikasi, serta firewall.
Hal-hal yang perlu diperiksa:
IP publik atau hostname peer sudah benar.
Kedua router dapat menjangkau jaringan internet.
UDP port 500 dan, jika diperlukan, UDP port 4500 tidak diblokir.
Metode autentikasi pada kedua sisi cocok.
Pre-shared key benar jika menggunakan autentikasi PSK.
Algoritma enkripsi, hash, dan DH group memiliki parameter yang saling didukung.
Waktu sistem dan sertifikat benar jika menggunakan autentikasi berbasis sertifikat.
Periksa log untuk mencari indikasi seperti autentikasi gagal, proposal tidak cocok, atau timeout.
Jangan mengubah seluruh parameter keamanan sekaligus. Cocokkan konfigurasi kedua router dan ubah hanya parameter yang terbukti tidak sesuai.
Mengatasi IPsec Phase 2 Gagal
Phase 2 atau pembentukan Child SA dapat gagal walaupun IKE sudah aktif.
Kemungkinan penyebabnya meliputi:
Proposal IPsec tidak cocok.
Subnet lokal dan remote tidak sesuai.
Policy selector salah.
PFS berbeda antara kedua sisi.
Mode tunnel atau transport tidak sesuai.
Trafik yang diperlukan tidak cocok dengan policy yang dibuat.
Contohnya, Kantor A menggunakan subnet lokal 192.168.10.0/24 dan subnet remote 192.168.20.0/24. Pada Kantor B, arah subnet harus dibalik.
Periksa konfigurasi:
/ip ipsec policy print detail
/ip ipsec proposal print detail
/ip ipsec installed-sa print detail
Pastikan policy yang digunakan memang mencakup pasangan jaringan yang ingin dihubungkan. Jangan membuat policy baru secara berulang tanpa memeriksa policy yang sudah tersedia.
Mengatasi Error Proposal Mismatch
Proposal mismatch terjadi ketika parameter keamanan yang ditawarkan kedua perangkat tidak memiliki kombinasi yang dapat disepakati.
Parameter yang perlu diperiksa antara lain:
Encryption algorithm.
Integrity atau authentication algorithm.
PFS group jika digunakan.
Parameter proposal IPsec pada kedua endpoint.
Parameter IKE profile untuk negosiasi IKE.
Perlu dibedakan antara IKE profile dan IPsec proposal. Keduanya digunakan pada tahap yang berbeda dan harus diperiksa sesuai pesan error.
Solusi terbaik adalah memilih kombinasi algoritma modern yang didukung kedua perangkat, lalu memastikan konfigurasi kedua sisi cocok. Hindari menurunkan keamanan ke algoritma lama hanya untuk menghilangkan error tanpa mempertimbangkan risiko.
Memeriksa Firewall untuk IPsec
IPsec memerlukan trafik tertentu agar negosiasi dan pengiriman data dapat berjalan.
| Protokol | Port atau nomor | Fungsi |
|---|---|---|
| UDP | 500 | IKE |
| UDP | 4500 | NAT Traversal |
| IP protocol | 50 (ESP) | Trafik IPsec jika tidak dienkapsulasi melalui NAT-T |
ESP adalah nomor protokol IP, bukan TCP atau UDP port 50.
Periksa aturan firewall MikroTik:
/ip firewall filter print detail
Jika router menerima koneksi IPsec dari internet, pastikan trafik yang diperlukan diizinkan pada chain input sesuai desain jaringan. Jika kedua router berada di belakang perangkat NAT, periksa pula firewall dan port forwarding pada perangkat tersebut.
Untuk trafik LAN yang melewati tunnel, periksa chain forward dan pastikan aturan mengizinkan hanya jaringan serta layanan yang memang diperlukan.
Hindari menonaktifkan seluruh firewall untuk menguji koneksi. Gunakan aturan yang spesifik dan perhatikan urutan aturan agar trafik tidak dibuang sebelum mencapai aturan izin.
Mengatasi Masalah NAT Traversal
NAT Traversal (NAT-T) memungkinkan IPsec beroperasi melalui jaringan yang menggunakan NAT dengan mengenkapsulasi trafik ESP dalam UDP, umumnya melalui port 4500.
Masalah dapat terjadi ketika:
Salah satu router berada di belakang NAT.
UDP 4500 diblokir.
Port forwarding tidak sesuai.
Perangkat NAT di depan router tidak menangani trafik dengan benar.
Server berada di belakang CGNAT sehingga tidak dapat menerima koneksi masuk secara langsung.
Periksa alamat WAN pada kedua router dan bandingkan dengan alamat publik yang terlihat dari internet. Jika alamat WAN merupakan alamat privat atau berada pada jaringan CGNAT, koneksi masuk mungkin memerlukan solusi lain, seperti IP publik dari ISP atau arsitektur VPN alternatif.
Jangan menganggap bahwa membuka UDP port 500 saja sudah cukup untuk semua kondisi IPsec.
Mengatasi IPsec Aktif tetapi LAN Tidak Bisa Diakses
Koneksi IPsec dapat terbentuk dengan benar, tetapi komputer di Kantor A tetap tidak dapat berkomunikasi dengan komputer di Kantor B.
Periksa beberapa hal berikut:
Policy mencakup subnet LAN pada kedua sisi.
Rute menuju jaringan remote tersedia jika diperlukan oleh desain routing.
Firewall forward mengizinkan trafik yang diperlukan.
Firewall pada komputer tujuan tidak memblokir koneksi.
Jalur balik ke subnet asal tersedia.
Aturan NAT tidak mengubah alamat sumber sehingga trafik tidak lagi cocok dengan policy yang diharapkan.
Misalnya, komputer 192.168.10.10 ingin mengakses server 192.168.20.10. Pastikan kedua perangkat memiliki alamat dan gateway yang benar, policy mencakup kedua subnet, serta jalur balik dari Kantor B menuju Kantor A tersedia.
Jangan langsung menambahkan masquerade untuk seluruh trafik. Pada banyak konfigurasi Site-to-Site, trafik antarsubnet perlu dikecualikan dari NAT agar alamat sumber tetap sesuai dengan selector IPsec.
Memeriksa NAT Bypass pada VPN Site-to-Site
Jika router menggunakan masquerade untuk akses internet, trafik antarjaringan IPsec mungkin perlu dikecualikan dari NAT.
Periksa aturan NAT yang tersedia:
/ip firewall nat print detail
Contoh aturan pengecualian NAT untuk topologi artikel ini:
/ip firewall nat add \
chain=srcnat \
src-address=192.168.10.0/24 \
dst-address=192.168.20.0/24 \
action=accept \
place-before=0 \
comment="No NAT untuk IPsec Site-to-Site"
Aturan ini merupakan contoh untuk Kantor A. Pada Kantor B, subnet sumber dan tujuan perlu disesuaikan dengan arah trafiknya.
Sebelum menerapkan aturan, periksa urutan aturan NAT yang sudah ada dan pastikan aturan pengecualian berada sebelum aturan masquerade yang dapat mencocokkan trafik tersebut. Jangan menerapkan contoh ini tanpa menyesuaikannya dengan konfigurasi nyata.
Mengatasi IPsec Sering Terputus
Jika IPsec aktif lalu terputus secara berkala, periksa:
Stabilitas koneksi internet pada kedua sisi.
Perubahan alamat IP publik.
Pengaturan lifetime dan rekey.
Konektivitas UDP 500 dan 4500.
Kondisi perangkat NAT di depan router.
Ketidaksesuaian parameter saat negosiasi ulang.
Log pada waktu SA berakhir atau koneksi terputus.
Jika endpoint menggunakan IP publik dinamis, pastikan hostname DDNS diperbarui dan peer menggunakan endpoint yang benar. Perubahan endpoint perlu ditangani sesuai konfigurasi peer dan kemampuan versi RouterOS.
Jangan langsung memperpanjang lifetime atau menonaktifkan mekanisme keamanan tanpa bukti dari log bahwa parameter tersebut merupakan penyebabnya.
Membaca Log IPsec MikroTik
Log dapat membantu menentukan apakah masalah terjadi saat negosiasi IKE, pembentukan SA, atau pengiriman trafik.
Lihat log terbaru:
/log print
Periksa konfigurasi logging:
/system logging print
Cari pesan terkait ipsec, autentikasi, proposal, timeout, atau SA. Jika informasi yang tersedia belum cukup, administrator dapat mengaktifkan pencatatan yang lebih spesifik sesuai dukungan versi RouterOS, dengan memperhatikan volume log dan keamanan informasi.
Sebelum membagikan hasil log, samarkan alamat publik jika diperlukan, username, pre-shared key, private key, serta informasi jaringan yang sensitif.
Tabel Troubleshooting IPsec MikroTik
| Gejala | Kemungkinan penyebab | Pemeriksaan |
|---|---|---|
| IKE tidak terbentuk | Endpoint, firewall, atau parameter IKE | Periksa peer, log, dan UDP 500/4500 |
| Phase 1 gagal autentikasi | PSK atau sertifikat tidak cocok | Periksa identity dan metode autentikasi |
| Proposal IKE tidak cocok | Algoritma atau DH group berbeda | Cocokkan profile IKE |
| Phase 2 gagal | Proposal, PFS, atau selector tidak cocok | Periksa proposal dan policy |
| IKE aktif tetapi tidak ada trafik | Child SA belum terbentuk atau policy tidak cocok | Periksa installed SA dan policy |
| Tunnel aktif tetapi LAN tidak bisa diakses | Routing, firewall, atau NAT | Periksa jalur pergi dan jalur balik |
| Trafik hanya berjalan satu arah | Jalur balik atau policy salah | Periksa konfigurasi kedua router |
| IPsec sering terputus | Internet, NAT, endpoint, atau rekey | Periksa log dan konektivitas |
| Tidak dapat menerima koneksi dari luar | CGNAT atau port forwarding | Periksa alamat WAN dan perangkat di depan |
Checklist Sebelum Mengubah Konfigurasi IPsec
Endpoint dan alamat IP kedua router benar.
Parameter IKE dan autentikasi cocok.
IPsec proposal dan PFS sesuai pada kedua sisi.
Policy mencakup subnet lokal dan remote yang benar.
SA aktif diperiksa untuk menentukan tahap kegagalan.
Firewall mengizinkan trafik IKE dan IPsec yang diperlukan.
NAT Traversal dan port forwarding diperiksa jika digunakan.
Routing dan jalur balik ke jaringan remote tersedia.
Aturan NAT tidak mengganggu trafik Site-to-Site.
Log diperiksa berdasarkan waktu kejadian.
Backup konfigurasi dibuat sebelum perubahan.
Kesimpulan
Troubleshooting IPsec MikroTik harus dimulai dengan menentukan tahap kegagalan: negosiasi IKE, pembentukan SA untuk trafik, atau komunikasi antarjaringan setelah tunnel aktif.
Jika IKE gagal, fokuskan pemeriksaan pada endpoint, autentikasi, proposal, dan firewall. Jika IKE aktif tetapi trafik tidak berjalan, periksa proposal IPsec, policy selector, routing, NAT, dan firewall forward.
Lakukan perubahan satu per satu, cocokkan konfigurasi pada kedua endpoint, dan buat backup sebelum menerapkan perubahan. Dengan pemeriksaan yang sistematis, administrator dapat menemukan penyebab masalah IPsec tanpa mengorbankan keamanan jaringan.
Portalid menyediakan tutorial MikroTik, VPN, jaringan komputer, keamanan jaringan, dan solusi IT praktis untuk membantu administrator mengelola infrastruktur jaringan secara efektif dan aman.