Apa itu pengindeksan situs web? Bagaimana itu terjadi? Anda dapat menemukan jawaban untuk ini dan pertanyaan lain di artikel. Pengindeksan web (pengindeksan di mesin pencari) adalah proses penambahan informasi tentang suatu situs ke database oleh robot mesin pencari, yang selanjutnya digunakan untuk mencari informasi pada proyek web yang telah menjalani prosedur tersebut.
Data tentang sumber daya web paling sering terdiri dari kata kunci, artikel, tautan, dokumen. Audio, gambar, dan sebagainya juga dapat diindeks. Diketahui bahwa algoritma pendeteksian kata kunci bergantung pada mesin pencari.
Ada beberapa batasan pada jenis informasi yang diindeks (file flash, javascript).
Manajemen Inisiasi
Mengindeks situs adalah proses yang rumit. Untuk mengelolanya (misalnya, untuk melarang lampiran halaman tertentu), Anda perlu menggunakan file robots.txt dan instruksi seperti Allow, Disallow, Crawl-delay, User-agent, dan lainnya.
Juga, tag dan properti digunakan untuk pengindeksan, menyembunyikan konten sumber daya dari robot Google dan Yandex (Yahoo menggunakan tag).
Di mesin pencari Goglle, situs baru diindeks dari beberapa hari hingga satu minggu, dan di Yandex - dari satu hingga empat minggu.
Apakah Anda ingin situs Anda muncul di kueri hasil mesin telusur? Maka harus diproses oleh Rambler, Yandex, Google, Yahoo, dan sebagainya. Anda harus memberi tahu mesin pencari (laba-laba, sistem) tentang keberadaan situs web Anda, dan kemudian mereka akan merayapinya secara keseluruhan atau sebagian.
Banyak situs belum diindeks selama bertahun-tahun. Informasi yang ada di dalamnya tidak dapat dilihat oleh siapa pun kecuali pemiliknya.
Metode pemrosesan
Pengindeksan situs dapat dilakukan dengan beberapa cara:
- Opsi pertama adalah penambahan manual. Anda perlu memasukkan data situs Anda melalui formulir khusus yang ditawarkan oleh mesin pencari.
- Dalam kasus kedua, robot mesin pencari itu sendiri menemukan situs web Anda melalui tautan dan mengindeksnya. Dia dapat menemukan situs Anda melalui tautan dari sumber lain yang mengarah ke proyek Anda. Cara ini adalah yang paling efisien. Jika mesin pencari menemukan situs dengan cara ini, itu akan dianggap penting.
Waktu
Pengindeksan situs tidak terlalu cepat. Ketentuan bervariasi, dari 1-2 minggu. Tautan dari sumber otoritatif (dengan PR dan Titz yang sangat baik) secara signifikan mempercepat penempatan situs di database mesin pencari. Saat ini, Google dianggap paling lambat, meskipun hingga 2012 dapat melakukan pekerjaan ini dalam seminggu. KeSayangnya, banyak hal berubah dengan sangat cepat. Diketahui bahwa Mail.ru telah bekerja dengan situs web di area ini selama sekitar enam bulan.
Pengindeksan situs di mesin pencari tidak mungkin dilakukan oleh setiap spesialis. Waktu penambahan halaman baru ke database situs yang sudah diproses oleh mesin pencari dipengaruhi oleh frekuensi memperbarui kontennya. Jika informasi baru terus-menerus muncul pada sumber daya, sistem menganggapnya sering diperbarui dan berguna bagi orang-orang. Dalam hal ini, pekerjaannya dipercepat.
Anda dapat mengikuti kemajuan pengindeksan situs web di bagian khusus untuk webmaster atau mesin pencari.
Perubahan
Jadi, kita telah mengetahui bagaimana situs tersebut diindeks. Perlu dicatat bahwa database mesin pencari sering diperbarui. Oleh karena itu, jumlah halaman proyek Anda yang ditambahkan ke dalamnya dapat berubah (berkurang dan bertambah) karena alasan berikut:
- sanksi mesin pencari terhadap situs web;
- adanya kesalahan di situs;
- mengubah algoritma mesin pencari;
- hosting menjijikkan (tidak dapat diaksesnya server tempat proyek berada) dan sebagainya.
Jawaban Yandex untuk pertanyaan umum
"Yandex" adalah mesin pencari yang digunakan oleh banyak pengguna. Ini menempati urutan kelima di antara sistem pencarian dunia dalam hal jumlah permintaan penelitian yang diproses. Jika Anda menambahkan situs ke dalamnya, mungkin perlu waktu terlalu lama untuk ditambahkan ke database.
Menambahkan URL tidak menjamin pengindeksannya. Ini hanyalah salah satu metode dimana robot sistem diberitahutentang sumber daya baru. Jika ada sedikit atau tidak ada tautan ke situs dari situs web lain, menambahkannya akan membantu Anda menemukannya lebih cepat.
Jika pengindeksan tidak terjadi, Anda perlu memeriksa apakah ada kegagalan di server pada saat membuat aplikasi untuknya dari robot Yandex. Jika server melaporkan kesalahan, robot akan menghentikan pekerjaannya dan mencoba menyelesaikannya dalam urutan perjalanan pulang pergi. Karyawan Yandex tidak dapat meningkatkan kecepatan menambahkan halaman ke database mesin pencari.
Mengindeks situs di Yandex adalah tugas yang agak sulit. Anda tidak tahu cara menambahkan sumber daya ke mesin pencari? Jika ada tautan dari situs web lain, maka Anda tidak perlu menambahkan situs khusus - robot akan secara otomatis menemukannya dan mengindeksnya. Jika Anda tidak memiliki tautan seperti itu, Anda dapat menggunakan formulir "Tambahkan URL" untuk memberi tahu mesin telusur bahwa situs tersebut ada.
Perlu diingat bahwa menambahkan URL tidak menjamin kreasi Anda akan diindeks (atau diindeks).
Banyak orang bertanya-tanya berapa lama waktu yang dibutuhkan untuk mengindeks situs di Yandex. Karyawan perusahaan ini tidak memberikan jaminan dan tidak memprediksi persyaratan. Biasanya, sejak robot mengetahui tentang situs tersebut, halamannya dalam pencarian muncul dalam dua hari, terkadang dalam beberapa minggu.
Proses
"Yandex" adalah mesin pencari yang membutuhkan ketelitian dan perhatian. Pengindeksan situs terdiri dari tiga bagian:
- Robot pencari merayapi halaman sumber daya.
- Konten(konten) situs dicatat dalam database (indeks) sistem pencarian.
- Dalam 2-4 minggu, setelah memperbarui database, Anda dapat melihat hasilnya. Situs Anda akan (atau tidak akan) muncul di hasil pencarian.
Pemeriksaan pengindeksan
Bagaimana cara memeriksa pengindeksan situs web? Ada tiga cara untuk melakukannya:
- Masukkan nama bisnis Anda di bilah pencarian (misalnya, "Yandex") dan periksa setiap tautan di halaman pertama dan kedua. Jika Anda menemukan URL gagasan Anda di sana, maka robot telah menyelesaikan tugasnya.
- Anda dapat memasukkan URL situs web Anda di bilah pencarian. Anda akan dapat melihat berapa banyak lembar internet yang ditampilkan, yaitu diindeks.
- Daftar di halaman webmaster di Mail.ru, Google, Yandex. Setelah Anda lulus verifikasi situs, Anda akan dapat melihat hasil pengindeksan dan layanan mesin pencari lainnya yang dibuat untuk meningkatkan kinerja sumber daya Anda.
Mengapa Yandex gagal?
Pengindeksan situs di Google dilakukan sebagai berikut: robot masuk ke database semua halaman situs, berkualitas rendah dan berkualitas tinggi, tanpa memilih. Tetapi hanya dokumen yang berguna yang dimasukkan dalam peringkat. Dan "Yandex" segera mengecualikan semua sampah web. Itu dapat mengindeks halaman mana pun, tetapi mesin pencari pada akhirnya akan menghilangkan semua sampah.
Kedua sistem memiliki indeks tambahan. Kedua halaman berkualitas rendah mempengaruhi peringkat situs web secara keseluruhan. Ada filosofi sederhana yang bekerja di sini. Sumber daya favorit tertentupengguna akan menempati posisi yang lebih tinggi dalam penerbitannya. Tetapi individu yang sama ini akan kesulitan menemukan situs yang tidak disukainya terakhir kali.
Itulah sebabnya, pertama, perlu untuk menutupi salinan dokumen web dari pengindeksan, memeriksa halaman kosong dan mencegah konten berkualitas rendah agar tidak diindeks.
Mempercepat Yandex
Bagaimana cara mempercepat pengindeksan situs di Yandex? Ikuti langkah-langkah berikut:
- Instal browser Yandex di komputer Anda dan gunakan untuk menelusuri halaman situs.
- Konfirmasi hak untuk mengelola sumber daya di Yandex. Webmaster.
- Poskan tautan ke artikel di Twitter. Diketahui bahwa Yandex telah bekerja sama dengan perusahaan ini sejak tahun 2012.
- Tambahkan pencarian dari Yandex untuk situs tersebut. Di bagian "Pengindeksan", Anda dapat memasukkan URL Anda sendiri.
- Masukkan kode "Yandex. Metrica" tanpa mencentang "Dilarang mengirim halaman untuk pengindeksan".
- Buat Peta Situs yang hanya ada untuk robot dan tidak terlihat oleh penonton. Verifikasi akan dimulai dengan dia. Alamat Peta Situs dimasukkan di robots.txt atau dalam bentuk yang sesuai di "Webmaster" - "Pengaturan Pengindeksan" - "File Peta Situs".
Tindakan antara
Apa yang perlu dilakukan hingga halaman web diindeks oleh Yandex? Mesin pencari domestik harus mempertimbangkan situs sebagai sumber utama. Itulah sebabnya bahkan sebelum artikel diterbitkan, sangat penting untuk menambahkan isinya ke dalam bentuk "teks tertentu". Jika tidakplagiator akan menyalin catatan ke sumber daya mereka dan akan menjadi yang pertama dalam database. Hasilnya, mereka akan diakui sebagai penulisnya.
Database Google
Untuk Google, rekomendasi yang sama yang kami jelaskan di atas cocok, hanya layanannya yang berbeda:
- Google+ (menggantikan Twitter);
- Google Chrome;
- Alat Google untuk Pemrogram - "Pindai" - "Terlihat seperti Googlebot" - opsi "Pindai" - opsi "Indeks";
- cari dalam sumber daya dari Google;
- Google Analytics (bukan Yandex. Metrics).
Larangan
Apa yang dimaksud dengan larangan pengindeksan situs? Anda dapat melapisinya di seluruh halaman dan di bagian yang terpisah (tautan atau potongan teks). Faktanya, ada larangan pengindeksan global dan larangan lokal. Bagaimana implementasinya?
Mari pertimbangkan larangan menambahkan situs web ke database mesin pencari di Robots.txt. Dengan menggunakan file robots.txt, Anda dapat mengecualikan pengindeksan satu halaman atau seluruh judul sumber daya seperti ini:
- User-agent:
- Larang: /kolobok.html
- Larang: /foto/
Poin pertama mengatakan bahwa instruksi ditentukan untuk semua PS, poin kedua menunjukkan bahwa pengindeksan file kolobok.html dilarang, dan poin ketiga tidak mengizinkan penambahan seluruh isian folder foto ke folder basis data. Jika Anda perlu mengecualikan beberapa halaman atau folder, harap tentukan semuanya di Robots.
Untuk mencegah pengindeksan lembar Internet tertentu, Anda dapat menggunakan tag meta robots. Ini berbeda dengan robots.txtfakta bahwa ia memberikan instruksi ke semua PS sekaligus. Tag meta ini mengikuti prinsip umum format html. Itu harus ditempatkan di judul halaman di antara tag. Entri untuk larangan, misalnya, dapat ditulis seperti ini:.
Ajax
Bagaimana Yandex mengindeks situs Ajax? Saat ini, teknologi Ajax digunakan oleh banyak pengembang situs web. Tentu saja, dia memiliki potensi besar. Dengannya, Anda dapat membuat halaman web interaktif yang cepat dan produktif.
Namun, robot mesin pencari "melihat" daftar web secara berbeda dari pengguna dan browser. Misalnya, seseorang melihat antarmuka yang nyaman dengan lembar Internet yang dimuat secara bergerak. Untuk perayap, konten halaman yang sama dapat kosong atau disajikan sebagai konten HTML statis lainnya, yang skripnya tidak berfungsi.
Anda dapat menggunakan URL denganuntuk membuat situs Ajax, tetapi mesin pencari tidak menggunakannya. Biasanya bagian URL setelahdipisahkan. Ini harus diperhitungkan. Oleh karena itu, alih-alih URL seperti https://site.ru/example, ia membuat aplikasi ke halaman utama sumber daya yang terletak di https://site.ru. Ini berarti bahwa konten lembar Internet mungkin tidak masuk ke database. Akibatnya, itu tidak akan muncul di hasil pencarian.
Untuk meningkatkan pengindeksan situs Ajax, Yandex mendukung perubahan pada robot pencarian dan aturan untuk memproses URL situs web tersebut. Saat ini, webmaster dapat menunjukkan kepada mesin pencari Yandex perlunya pengindeksan dengan membuat skema yang sesuai dalam struktur sumber daya. Untuk ini Anda perlu:
- Ganti simboldi URL halamandi !. Sekarang robot akan mengerti bahwa ia dapat menerapkan versi HTML dari konten lembar Internet ini.
- versi HTML dari konten halaman tersebut harus ditempatkan pada URL di mana ! diganti dengan ?_escaped_fragment_=.
