TCP Three-Way Handshake Deep Dive: Memahami Proses Koneksi TCP dari SYN hingga ACK

Pengantar

Dalam dunia jaringan komputer, hampir setiap aktivitas yang dilakukan di internet melibatkan proses komunikasi antarperangkat. Ketika Anda membuka sebuah website, mengirim email, atau mengakses aplikasi berbasis cloud, terdapat mekanisme penting yang bekerja di balik layar untuk memastikan data dapat dikirim secara andal. Salah satu mekanisme tersebut adalah TCP Three-Way Handshake.

Transmission Control Protocol (TCP) dikenal sebagai protokol yang mengutamakan keandalan (reliable communication). Sebelum data mulai ditransmisikan, TCP harus memastikan bahwa kedua perangkat telah siap berkomunikasi melalui proses yang disebut Three-Way Handshake. Tahapan ini berfungsi untuk menyinkronkan nomor urut (sequence number), memverifikasi kesiapan kedua belah pihak, serta membangun koneksi yang stabil sebelum pertukaran data dimulai.

Memahami cara kerja TCP Three-Way Handshake tidak hanya penting bagi administrator jaringan, tetapi juga bagi profesional cybersecurity, network engineer, hingga pengembang aplikasi yang ingin memahami bagaimana komunikasi jaringan berlangsung pada level yang lebih mendalam.

Mengenal TCP Three-Way Handshake

Apa Itu TCP Three-Way Handshake?

TCP Three-Way Handshake adalah proses negosiasi awal yang dilakukan antara client dan server sebelum koneksi TCP dibangun. Tujuan utamanya adalah memastikan bahwa kedua perangkat dapat saling mengirim dan menerima data secara normal.

Proses ini terdiri dari tiga tahap utama, yaitu:

• SYN (Synchronize)
• SYN-ACK (Synchronize Acknowledge)
• ACK (Acknowledgement)

Menurut dokumentasi resmi RFC 9293 – Transmission Control Protocol (TCP), proses ini digunakan untuk menyinkronkan nomor urut (sequence number) sebelum pertukaran data dimulai sehingga komunikasi berlangsung secara andal (dikutip dari: https://datatracker.ietf.org/doc/html/rfc9293).

baca juga : OAuth State Parameter: Benteng Kecil yang Mencegah Serangan Besar pada Login OAuth

Mengapa Three-Way Handshake Diperlukan?

Sebelum data dikirimkan, TCP perlu memastikan beberapa hal, antara lain:

• Kedua perangkat aktif dan dapat berkomunikasi.
• Port tujuan tersedia.
• Nomor urut (sequence number) telah disinkronkan.
• Tidak terjadi konflik pada sesi komunikasi sebelumnya.

Tanpa proses ini, data berpotensi dikirim ke koneksi yang belum siap sehingga meningkatkan risiko kehilangan paket (packet loss) maupun kesalahan komunikasi.

Tahapan TCP Three-Way Handshake

Tahap 1 – SYN (Synchronize)

Tahap pertama dimulai ketika client ingin membangun koneksi dengan server.

Client mengirim sebuah paket TCP yang memiliki flag SYN aktif. Paket ini juga membawa Initial Sequence Number (ISN) yang akan digunakan sebagai nomor urut awal selama komunikasi berlangsung.

Contoh sederhana:

Client
SYN
Sequence Number = 1000

Pada tahap ini koneksi belum terbentuk. Client hanya mengirim permintaan untuk memulai komunikasi.

Tahap 2 – SYN-ACK (Synchronize Acknowledge)

Setelah menerima paket SYN, server akan merespons dengan paket yang memiliki dua flag sekaligus, yaitu:

• SYN
• ACK

Server juga menghasilkan Initial Sequence Number miliknya sendiri dan memberikan konfirmasi terhadap nomor urut milik client.

Contoh:

Server
SYN = 1
ACK = 1

Sequence Number = 5000
Acknowledgement Number = 1001

Artinya, server telah menerima paket SYN dari client dan siap melanjutkan proses pembentukan koneksi.

Tahap 3 – ACK (Acknowledgement)

Tahap terakhir dilakukan oleh client dengan mengirim paket ACK kepada server.

Contohnya:

Client
ACK = 1

Sequence Number = 1001
Acknowledgement Number = 5001

Setelah server menerima paket ACK tersebut, koneksi TCP resmi terbentuk.

Selanjutnya kedua perangkat dapat mulai bertukar data menggunakan koneksi yang telah disepakati.

Ilustrasi Proses Three-Way Handshake

Diagram sederhananya adalah sebagai berikut:

Client                         Server

   SYN ------------------------>

       <-------------------- SYN + ACK

   ACK ------------------------>

========= Connection Established =========

Ketiga langkah tersebut hanya berlangsung dalam hitungan milidetik sehingga hampir tidak terasa oleh pengguna.

Apa yang Terjadi Setelah Handshake Berhasil?

Setelah koneksi berhasil dibangun, TCP mulai menjalankan berbagai mekanisme untuk menjaga keandalan komunikasi, seperti:

• Pengiriman data.
• Pengaturan flow control.
• Pengendalian kemacetan (congestion control).
• Deteksi kehilangan paket.
• Retransmisi paket jika diperlukan.

Seluruh mekanisme tersebut membuat TCP menjadi salah satu protokol transport yang paling andal dibandingkan protokol lain seperti UDP.

baca juga : Log Crushing & Tampering: Cara Penyerang Menyembunyikan Jejak Aktivitas di Sistem

Mengapa TCP Three-Way Handshake Penting dalam Cybersecurity?

Mencegah Kesalahan Komunikasi

Handshake memastikan kedua perangkat benar-benar siap sebelum data sensitif dikirimkan.

Hal ini mengurangi kemungkinan data hilang akibat koneksi yang belum stabil.

Menjadi Target Berbagai Serangan Siber

Walaupun dirancang untuk meningkatkan keandalan komunikasi, proses Three-Way Handshake juga sering dimanfaatkan oleh pelaku kejahatan siber.

Beberapa contoh serangan yang berkaitan dengan mekanisme ini antara lain:

• SYN Flood Attack
• TCP Session Hijacking
• TCP Reset Attack
• Spoofing

Oleh karena itu, administrator jaringan biasanya menerapkan berbagai mekanisme perlindungan seperti SYN Cookies, firewall, maupun Intrusion Prevention System (IPS).

Cloudflare menjelaskan bahwa serangan SYN Flood memanfaatkan banyaknya permintaan SYN palsu sehingga server terus menunggu proses ACK yang tidak pernah datang. Kondisi tersebut dapat menghabiskan sumber daya server hingga menyebabkan layanan menjadi tidak tersedia (dikutip dari: https://www.cloudflare.com/learning/ddos/syn-flood-ddos-attack/).

Perbedaan TCP Three-Way Handshake dan Four-Way Handshake

Banyak orang masih menganggap kedua istilah ini sama, padahal keduanya memiliki fungsi yang berbeda.

Kesalahan yang Sering Dilakukan Saat Mempelajari TCP

Beberapa kesalahan yang sering ditemui oleh pemula antara lain:

• Menganggap SYN langsung berarti koneksi telah terbentuk.
• Tidak memahami fungsi Sequence Number.
• Mengira ACK hanya digunakan sekali selama komunikasi.
• Menganggap UDP juga menggunakan proses Three-Way Handshake.
• Tidak mengetahui bahwa proses handshake dapat menjadi target serangan DDoS seperti SYN Flood.

Memahami konsep-konsep tersebut akan mempermudah proses analisis jaringan menggunakan alat seperti Wireshark maupun tcpdump.

Penerapan TCP Three-Way Handshake dalam Kehidupan Nyata

Hampir seluruh layanan internet berbasis TCP memanfaatkan proses ini, di antaranya:

• Membuka website melalui HTTP atau HTTPS.
• Mengakses layanan SSH.
• Mengirim dan menerima email menggunakan SMTP.
• Mengakses database dari aplikasi.
• Transfer file menggunakan FTP.
• Koneksi Remote Desktop Protocol (RDP).

Meskipun berlangsung sangat cepat, proses Three-Way Handshake selalu dilakukan sebelum pertukaran data dimulai.

baca juga : Return-Oriented Programming: Teknik Eksploitasi yang Memanfaatkan Potongan Kode Program

Kesimpulan

TCP Three-Way Handshake merupakan mekanisme dasar yang memungkinkan komunikasi jaringan berlangsung secara andal dan terstruktur. Melalui tiga tahapan sederhana—SYN, SYN-ACK, dan ACK—client serta server dapat memastikan bahwa keduanya siap bertukar data dengan aman.

Selain menjadi fondasi komunikasi pada protokol TCP, mekanisme ini juga memiliki peran penting dalam dunia cybersecurity karena sering menjadi sasaran berbagai jenis serangan, seperti SYN Flood Attack. Oleh sebab itu, memahami cara kerja Three-Way Handshake tidak hanya bermanfaat bagi administrator jaringan, tetapi juga bagi mahasiswa, pengembang aplikasi, maupun profesional keamanan siber yang ingin memperdalam pengetahuan mengenai komunikasi jaringan.