Google mengubah cara Googlebot menangani tag noindex dan JavaScript

Selama bertahun-tahun, Google merayapi semua halaman, termasuk halaman dengan noindex, dan (noindex yang dimanipulasi dengan skrip JS jadi tag index yang merupakan salah satu trik SEO yang aman). Sampai Google mengubah cara kerja Googlebot (crawler Google) dalam menangani tag noindex sehingga manipulasi tersebut kini masuk trik yang cukup riskan untuk dilakukan.

Google menambahkan penjelasan bahwa jika Googlebot menemukan tag noindex di HTML awal halaman, Google mungkin tidak menjalankan proses rendering dan eksekusi JavaScript. Akibatnya, JavaScript yang mencoba mengubah atau menghapus tag noindex mungkin tidak akan dijalankan sama sekali oleh Googlebot.

Dalam dokumentasi Google Search Central:

When Google encounters the noindex tag, it may skip rendering and JavaScript execution, which means using JavaScript to change or remove the robots meta tag from noindex may not work as expected. If you do want the page indexed, don’t use a noindex tag in the original page code.

Dengan kata lain, jika halaman diawali dengan* noindex*, Google cenderung berhenti sebelum JavaScript berjalan. Itu berarti trik JavaScript menghapus noindex setelah konten dimuat tidak dapat diandalkan lagi untuk membuat halaman diindeks.

Kenapa ini penting? Banyak situs modern terutama yang banyak bergantung pada JavaScript (misalnya SPA, React, Vue, dll) karena kadang-kadang HTML di set sebagai noindex, lalu JavaScript dipakai untuk menghapusnya ketika konten berhasil dimuat. Namun, karena Googlebot bisa menghentikan eksekusi JavaScript saat menemukan noindex di awal, Google mungkin tidak akan melihat JavaScript tersebut sama sekali. Artinya JavaScript yang seharusnya “menghapus noindex” tidak berjalan di Googlebot, sehingga halaman tetap tidak diindeks meskipun JavaScript bisa menghapusnya di browser biasa.

Jika ingin halaman tersebut diindeks di Google, jangan letakkan tag noindex di HTML awal, misalnya di <meta> saat halaman pertama kali dikirim. Gunakan penanganan di server (server-side) untuk menandai halaman yang memang benar-benar tidak ingin diindeks (mis. error, 404, konten yang tidak relevan). Jangan mengandalkan JavaScript untuk menghapus noindex setelah halaman dimuat, karena Googlebot mungkin tidak akan menjalankan script itu.

Kesimpulan sederhananya, tag noindex yang muncul pada HTML awal bisa mencegah Google menjalankan JavaScript sama sekali. Jadi jangan berharap JavaScript bisa “menghapus” atau “mengatur ulang” noindex saat crawling. Jika halaman tersebut seharusnya muncul di hasil pencarian, jangan mulai dengan noindex di HTML dasar.