String Tokenizer
Ketika kita membaca kalimat, pikiran kita akan berhenti pada kalimat dalam kata-kata dan tanda baca, yang masing-masing menyampaikan makna kepada kita. Compiler juga melakukan tokenization. Compiler juga memecah laporan menjadi potongan-potongan seperti kata kunci, identifier, operator dan unsur-unsur lain dari bahasa pemrograman. Pada bagian ini, kita mempelajari class Java StringTokenizer (merupakan paket java.util), yang memecah string menjadi komponen-komponennya. Token dipisahkan satu sama lain oleh pembatas, tab, dan baris baru. Character lain juga dapat digunakan sebagai pembatas untuk memisahkan token.
Contoh class String Tokenizer :
(Buat project dengan nama StringTokenizer dan tuliskan script di bawah ini pada mainnya)
Jangan lupa, importkan dua import.an berikut :
Run program tersebut, kemudian masukkan beberapa kata yang membentuk satu kalimat. Amati hasilnya.. Selamat mencoba