Ketika kita membaca kalimat, pikiran kita akan berhenti pada kalimat dalam kata-kata dan tanda baca, yang masing-masing menyampaikan makna kepada kita. Compiler juga melakukan tokenization. Compiler juga memecah laporan menjadi potongan-potongan seperti kata kunci, identifier, operator dan unsur-unsur lain dari bahasa pemrograman. Pada bagian ini, kita mempelajari class Java StringTokenizer (merupakan paket java.util), yang memecah string menjadi komponen-komponennya. Token dipisahkan satu sama lain oleh pembatas, tab, dan baris baru. Character lain juga dapat digunakan sebagai pembatas untuk memisahkan token.

Contoh class String Tokenizer :

(Buat project dengan nama StringTokenizer dan tuliskan script di bawah ini pada mainnya)

Jangan lupa, importkan dua import.an berikut :

Run program tersebut, kemudian masukkan beberapa kata yang membentuk satu kalimat. Amati hasilnya.. Selamat mencoba