Anda perlu melakukan pengaturan file robots txt agar konten website dapat terindeks oleh Google. Jangan sampai artikel sudah di-publish, namun tidak terindeks Google.
Anda perlu melakukan pengaturan file robots txt agar konten website dapat terindeks oleh Google. Jangan sampai artikel sudah di-publish, namun tidak terindeks Google.
Kalau hal ini yang terjadi, tentu bikin rugi. Mengapa? Sebab, robots txt memiliki peranan besar dalam optimasi SEO dan dapat menaikkan peringkat situs di Search Engine Result Pages (SERP).
Nah, agar hasilnya optimal, baca penjelasan lengkap mengenai apa itu robot txt, fungsinya, dan cara setting robot txt di artikel ini.
Robots txt merupakan gabungan dua kata, robots dan txt (text). Jadi, pengertian robots txt adalah kode atau file berisi perintah kepada robots search engine untuk melakukan indexing.
Perintah yang dimaksudkan di sini agar Google melakukan crawling terhadap setiap URL yang ada di dalam website, termasuk URL yang tidak boleh diindeks.
Mengapa harus memberitahu Google tentang halaman apa saja yang harus di-crawl dan mana halaman yang tidak boleh diindeks? Karena Googlebot memiliki limit perayapan.
Jadi, saat Anda tidak memasukan file robots txt, bisa jadi URL yang seharusnya diindeks malah tidak dirayapi Google.
Peran penting lain dari robots txt yaitu, tanpa adanya perintah, Googlebot memerlukan banyak waktu dalam melakukan indexing.
File robots txt adalah elemen penting dalam mengelola aksesibilitas situs web oleh mesin pencari.
Dengan memahami fungsi dan cara pengaturannya, Anda dapat mengontrol bagaimana Google berinteraksi dengan halaman-halaman spesifik pada situs Anda.
Adapun fungsi robots txt, yaitu:
Ada beberapa istilah robots txt yang perlu Anda ketahui untuk memahami cara kerja dan pada saat melakukan pengaturan. Beberapa istilah tersebut, yaitu:
Setelah memahami apa itu robots txt, selanjutnya lakukan pengaturan pada situs web agar mesin pencari Google dapat merayapi situs secara maksimal. Berikut ini cara setting robots txt untuk Wordpress.
Untuk pengguna Wordpress, mengatur file robots txt dapat dilakukan dengan mengunggah file yang sudah ditentukan secara manual.
Cara lain yang lebih mudah, Anda bisa memanfaatkan fitur yang tersedia pada plugin SEO, seperti Yoast SEO dan All in One SEO Pack.
Yoast adalah plugin SEO yang populer untuk platform WordPress. Plugin ini memudahkan Anda untuk mengelola pengaturan teknis, seperti pengindeksan halaman, penanganan tautan yang rusak, dan penyesuaian algoritma mesin pencari.
Ikuti langkah berikut jika ingin melakukan pengaturan robot txt di Yoast:
Cara manual setting robots txt di Wordpress, yaitu menggunakan FTP dari CPanel. Perhatikan langkah-langkah pengaturannya di bawah ini:
Buat file dan simpan robots.txt terlebih dahulu seperti di bawah ini.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.pe-we.com/sitemap_index.xml
Note: Silahkan ganti alamat situs di atas sesuai alamat web Anda.
Setelah membuat file robots txt, Anda perlu memasukkan file melalui FTP Cpanel atau melalui admin hosting.
Untuk mencoba sudah berhasil atau belum, lakukan testing dengan mengetik namadomain/robots.txt.
Dengan menggunakan Google Search Console, Anda dapat melacak indeksasi halaman, mengidentifikasi masalah crawl, dan memahami bagaimana Googlebot mengakses dan memahami konten situs.
Jadi, jangan lupa memasukkan sitemap dan robots.txt pada Google Search Console, agar keterbacaan pada web semakin mudah.
Untuk pengguna Blogspot, ikuti cara setting robots txt berikut:
Note: ganti URL situs dengan alamat situs anda.
Demikian cara setting robots txt di Wordpress maupun Blogspot. Dengan memasukkan file robots txt, maka Googlebot akan melakukan perayapan sesuai yang diperintahkan.
Pengaturan yang tepat pada robots txt dapat meningkatkan kinerja SEO dan membantu Googlebot fokus pada konten yang benar-benar ingin ditampilkan di hasil pencarian.
Masih kesulitan melakukan setting robot txt? Anda bisa menggunakan Jasa SEO Profesional dari salah satu digital marketing agency Indonesia atau Jakarta. Yuk, langsung hubungi Kontak Redcomm.
DISCOVER MORE OF WHAT MATTERS TO YOU
RELATED TOPIC