Pengertian Web Crawler

-
Web crawler adalah suatu program atau script otomat yang relatif simple, yang dengan metode tertentu melakukan scan atau “crawl” ke semua halaman-halaman Internet untuk membuat index dari data yang dicarinya. Nama lain untuk web crawl adalah web spider, web robot, bot, crawl dan automatic indexer.
Web crawl dapat digunakan untuk beragam tujuan. Penggunaan yang paling umum adalah yang terkait dengan search engine. Search engine menggunakan web crawl untuk mengumpulkan informasi mengenai apa yang ada di halaman-halaman web publik. Tujuan utamanya adalah mengumpukan data sehingga ketika pengguna Internet mengetikkan kata pencarian di komputernya, search engine dapat dengan segera menampilkan web site yang relevan.
Ketika web crawl suatu search engine mengunjungi halaman web, ia “membaca” teks yang terlihat, hyperlink, dan konten berbagai tag yang digunakan dalam situs seperti meta tag yang banyak berisi keyword. Berdasar informasi yang dikumpulkan web crawl, search engine akan menentukan mengenai apakah suatu situs dan mengindex informasinya. Website itu kemudian dimasukkan ke dalam database search engine dan dilakukan proses penentuan ranking halaman-halamannya.
Namun search engine bukanlah satu-satunya pengguna web crawl. Linguist bisa menggunakan web crawl untuk melakukan analisis tekstual; yakni, mereka bisa menyisir Internet untuk menentukan kata apa yang paling umum digunakan hari ini. Peneliti pasar dapat menggunakan web crawl untuk menentukan dan memanipulasi trend pada suatu pasar tertentu. Ini semua merupakan contoh beragam penggunaan web crawl. Web crawl dapat digunakan oleh siapapun yang melakukan pencarian informasi di Internet.
Web crawl bisa beroperasi hanya sekali, misalnya untuk suatu projek yang hanya sekali jalan, atau jika tujuannya untuk jangka panjang seperti pada kasus search engine, mereka bisa diprogram untuk menyisir Internet secara periodik untuk menentukan apakah sudah berlangsung perubahan signifikan. Jika suatu situs mengalami trafik sangat padat atau kesulitan teknis, spider atau crawl dapat diprogram untuk mencatat hal ini dan mengunjunginya kembali setelah kesulitan teknis itu terselesaikan.
Sumber
https://djuyadi.wordpress.com/2010/03/06/web-crawl-web-spider-web-robot-bot-crawl-automatic-indexer/

Komentar

Posting Komentar

Postingan populer dari blog ini

Rule Of The Game

-
Ketika kita memainkan sebuah game, apakah kita bisa melakukan segalanya? Misalnya pada game Tetris, kita ingin memotong-motong balok yang ada, ataupun pada game Sonic kita ingin membuat Sonic bisa terbang ke manapun dia mau. Tentunya kita tidak dapat melakukan sesuatu secara sembarangan bukan? Bahkan di game Grand Theft Auto (GTA) V yang dianggap super bebas pun kita tetap akan terikat bagaimana kita menyelesaikan suatu misi. Mengapa hal ini terjadi? Ya, hal ini terjadi karena game memiliki aturan-aturan yang baku yang mengikat pemainnya, sehingga game tersebut menjadi menarik dan menantang untuk diselesaikan. Kali ini akan membahas mengenai aturan-aturan dalam game yang biasanya disusun oleh pengembang game agar menciptakan game yang menarik dan adiktif. Aturan-aturan adalah pusat dari Game. Sebuah game memiliki sistem di mana para pemain terlibat dalam sebuah konflik buatan yang ditetapkan oleh aturan-aturan yang menghasilkan sesuatu yang dapat diukur. Hal yang perlu kita perhatik...
Baca selengkapnya

Pengambil Keputusan pada Teori Game Catur Dan SepakBola

-
Gambar
Catur Pada permainan catur terdapat pergerakan bidak dalam permainannya: Raja dapat bergerak satu petak ke segala arah. Raja juga memiliki gerakan khusus yang disebut rokade yang turut melibatkan sebuah benteng. Benteng dapat bergerak sepanjang petak horizontal maupun vertikal, tetapi tidak dapat melompati bidak lain. Seperti yang telah disebutkan di atas, benteng terlibat dalam gerakan rokade. Tujuan permainan adalah mencapai posisi skak mat. Hal ini bisa terjadi bila Raja terancam dan tidak bisa menyelamatkan diri ke petak lain. Tidak selalu permainan berakhir dengan kekalahan, karena bisa terjadi pula peristiwa seri atau remis di mana kedua belah pihak tidak mampu lagi meneruskan pertandingan karena tidak bisa mencapai skak mat. Peristiwa remis ini bisa terjadi berdasarkan kesepakatan maupun tidak. Salah satu contoh remis yang tidak berdasarkan kesepakatan - tetapi terjadi adalah pada keadaan remis abadi. Keadaan remis yang lain adalah keadaan pat, dimana yang gilira...
Baca selengkapnya

Web Content - Menurut Pandangan Aristoteles

-
Menurut Aristoteles    Aristoteles berpendapat bahwa logos adalah bentuk terkuat dan paling dapat diandalkan dari persuasi, bentuk yang paling efektif persuasi, bagaimanapun, menggunakan ketiga banding. Ethos pada halaman web merupakan identitas dari web tersebut yang disajikan oleh penulis atau pembuat web sebagai situs buatannya. dapat berupa warna, lambang dan ciri khas lainnya. Sumber : https://dhozkiii24.wordpress.com/2013/08/26/penjelasan-web-content-media-standar-generative-model-model-retorika-di-web/
Baca selengkapnya