Mengikis Web dengan BeautifulSoup dan Selenium

Utama » Python » Mengikis Web dengan BeautifulSoup dan Selenium

Pengikisan web telah menjadi salah satu kuasa besar di sebalik tabir yang secara senyap-senyap memacu papan pemuka, laporan, model pembelajaran mesin dan alat dalaman, namun kebanyakan orang hanya melihat nombor akhir. Jika anda bekerja dengan data, pada satu ketika anda perlu mendapatkan maklumat daripada laman web secara automatik dan bukannya menyalin dan menampalnya dengan tangan, dan di situlah Python, BeautifulSoup dan Selenium menonjol.

Apabila anda mula mendalami pengikisan, anda dengan cepat menemui soalan penting: patutkah anda menghuraikan HTML secara langsung dengan BeautifulSoup atau menjalankan pelayar sebenar dengan Selenium, atau menggabungkan kedua-duanya? Halaman statik, bahagian hadapan yang sarat dengan JavaScript, dinding log masuk, had kadar dan kekangan etika semuanya mempengaruhi pilihan tersebut. Dalam panduan ini, kita akan menerangkan cara pengikisan berfungsi, di mana BeautifulSoup sudah mencukupi, bila Selenium berbaloi dengan kos tambahan dan cara menggabungkannya dalam aliran kerja gred pengeluaran yang mantap.

Memahami Pengikisan Web dan Bila Anda Memerlukannya

Pada terasnya, pengikisan web ialah pengumpulan maklumat automatik daripada laman web, mengubah HTML yang dimaksudkan untuk manusia menjadi data berstruktur yang boleh digunakan oleh kod anda. Ini mungkin bermakna mengekstrak harga, penyiaran pekerjaan, ulasan, artikel penyelidikan atau sekadar komen untuk menganalisis sentimen tentang topik atau produk tertentu.

Pengikisan lebih mendalam daripada sekadar pengikisan skrin mudah kerana anda tidak terhad kepada apa yang dipaparkan secara visual; anda menyasarkan HTML, atribut dan kadangkala respons JSON yang mendasari yang tidak pernah muncul terus pada halaman. Daripada menyalin keseluruhan artikel dan beratus-ratus komennya, misalnya, anda hanya boleh mengikis teks komen dan cap waktu dan memasukkannya ke dalam saluran analisis sentimen.

Sebab utama pengikisan begitu popular hari ini adalah kerana data merupakan bahan mentah untuk analitik, sistem cadangan, automasi sokongan pelanggan dan terutamanya untuk penalaan halus model bahasa besar (LLM). Dengan saluran paip yang betul, anda boleh berulang kali menuai kandungan baharu dan khusus domain serta memastikan model dan papan pemuka anda sejajar dengan realiti melalui integración de data warehouse y data lake dan bukannya dibekukan pada tarikh akhir latihan.

Sudah tentu, mengikis mempunyai sisi yang lebih gelap jika dilakukan secara cuai atau agresif, oleh itu anda mesti sentiasa mempertimbangkan terma undang-undang, had teknikal dan etika apa yang anda kumpulkan serta kekerapan anda mengumpulnya. Mengabaikan kekangan tersebut boleh menyebabkan pelayan membebankan, melanggar kontrak atau mendedahkan bahan peribadi atau berhak cipta dengan cara yang akan menyebabkan anda menghadapi masalah dengan cepat.

BeautifulSoup vs Selenium: Dua Alat Pelengkap

Kotak alat pengikis Python sangat besar, tetapi dua nama muncul secara berterusan: BeautifulSoup dan Selenium, dan ia menyelesaikan bahagian masalah yang sangat berbeza. BeautifulSoup ialah pustaka penghuraian: ia mengambil HTML atau XML dan mendedahkan API mesra untuk berjalan di pokok DOM, menapis elemen dan mengeluarkan bahagian yang anda pentingkan. Ia tidak memuat turun halaman atau melaksanakan JavaScript dengan sendirinya.

Selenium, sebaliknya, mengautomasikan pelayar sebenar: ia melancarkan Chrome, Firefox, Edge atau yang lain melalui WebDriver, mengklik butang, mengisi borang, menunggu JavaScript dijalankan dan kemudian memberikan anda halaman yang dipaparkan sepenuhnya. Dari sudut pandangan Selenium, anda hanyalah pengguna kuasa yang sangat pantas dan sangat sabar yang mengawal pelayar melalui kod.

Secara umumnya, BeautifulSoup sangat sesuai apabila anda mengikis laman web statik atau HTML yang diperoleh daripada permintaan HTTP biasa, manakala Selenium ialah alat pilihan apabila laman web tersebut sangat dinamik, dibina berdasarkan JavaScript bahagian klien atau terkunci di sebalik aliran log masuk dan interaksi pengguna yang kompleks. Banyak persediaan pengeluaran sebenarnya menggabungkan kedua-duanya: Selenium mengambil dan memaparkan, BeautifulSoup menghuraikan petikan HTML.

Terdapat juga sudut penyelenggaraan dan kerumitan yang perlu dipertimbangkan: Selenium memperkenalkan pemacu pelayar, isu keserasian versi dan lebih banyak bahagian yang bergerak, manakala BeautifulSoup ringan dan tidak menyakitkan tetapi terhad kepada apa sahaja HTML yang anda boleh peroleh tanpa menjalankan JavaScript. Memilih alat yang salah untuk kerja itu cenderung sama ada memperlahankan anda secara tidak perlu atau menjadikan pengikis anda sangat rapuh apabila tapaknya berubah.

Bagaimana BeautifulSoup Sesuai dengan Saluran Paip Pengikisan Biasa

BeautifulSoup biasanya dipasang ke dalam saluran paip mudah: ambil HTML (selalunya dengan permintaan perpustakaan), huraikannya ke dalam pokok, navigasi ke nod yang berkaitan dan eksport hasil ke dalam CSV, JSON atau pangkalan data untuk analisis data dengan SQL. Aliran itu berfungsi dengan sangat baik untuk halaman statik seperti laman dokumentasi, papan kerja ringkas, arkib berita atau laman kotak pasir yang direka untuk amalan mengikis.

Di sebalik hud, BeautifulSoup menukar HTML yang bersepah menjadi pokok objek Python di mana setiap elemen—tag, atribut, nod teks—boleh diakses melalui kaedah intuitif seperti find(), find_all(), dan penapisan seperti CSS. Anda boleh mencari elemen mengikut nama tag, id, kelas atau dengan memadankan kandungan teks atau fungsi tersuai.

Sebaik sahaja anda menemui bahagian kanan halaman, anda boleh terus mencari dengan beralih antara ibu bapa, anak-anak dan adik-beradik dalam DOM, mengekstrak .text kandungan untuk rentetan atau nilai atribut yang kelihatan seperti href untuk pautan atau src untuk gambar. Model navigasi itu akhirnya terasa sangat serupa dengan cara anda memeriksa elemen dalam alat pembangun pelayar.

Untuk papan kerja statik, sebagai contoh, anda boleh mengambil HTML halaman penyenaraian, mengenal pasti bekas yang membalut semua kad kerja mengikut idnya, dan kemudian menggunakan BeautifulSoup untuk mencari setiap kad kerja, mengeluarkan tajuk, syarikat, lokasi dan URL aplikasi, semuanya tanpa perlu mengaktifkan pelayar penuh. Ini bermakna penggunaan sumber yang lebih rendah, pelaksanaan yang lebih pantas dan penggunaan yang lebih mudah ke pelayan atau saluran paip CI.

Memeriksa Tapak Sasaran Sebelum Anda Menulis Kod

Sebelum menulis satu baris Python, aliran kerja pengikisan yang kukuh sentiasa bermula dalam pelayar dengan alatan pembangun terbuka dan topi "detektif HTML" anda dihidupkan. Matlamat anda adalah untuk memahami URL yang hendak dipanggil, elemen yang mengandungi data dan betapa stabilnya struktur tersebut.

Langkah pertama adalah menggunakan laman web seperti pengguna biasa: klik di sekeliling, gunakan penapis, buka halaman butiran dan perhatikan apa yang berlaku pada bar URL semasa anda menavigasi. Anda akan cepat perasan corak seperti segmen laluan untuk item tertentu atau parameter pertanyaan yang mewakili istilah carian, lokasi atau penapis.

URL itu sendiri mengekod banyak maklumat, terutamanya melalui rentetan pertanyaan, di mana anda akan melihat pasangan nilai kunci seperti ?q=software+developer&l=Australia yang mengawal apa yang dikembalikan oleh pelayan. Keupayaan untuk mengubah suai parameter tersebut secara manual dalam bar alamat selalunya membolehkan anda menjana set hasil baharu tanpa menyentuh sebarang HTML sama sekali.

Sebaik sahaja anda memahami model navigasi, buka alat pembangun pelayar—biasanya melalui pilihan Inspect atau pintasan papan kekunci—dan lihat tab Elements atau Inspector untuk meneroka DOM. Menggerakkan item dalam anak tetingkap HTML akan menyerlahkan perwakilan visualnya pada halaman, yang menjadikannya lebih mudah untuk mengenal pasti bekas, tajuk, metadata dan butang.

Di sini anda sedang mencari cangkuk stabil: id, nama kelas atau struktur tag yang berulang secara boleh diramal merentasi semua item yang anda ingin kumpulkan, seperti div dengan id yang menyimpan semua hasil atau article teg dengan kelas tertentu yang membalut setiap produk atau kad kerja. Lebih kuat dan lebih deskriptif cangkuk tersebut, lebih tahan lasak pengikis anda apabila terdapat perubahan kosmetik kecil.

Laman Web Statik vs Dinamik: Mengapa Ia Penting

Dari perspektif pengikis, web terbahagi kepada dua bahagian besar: laman web statik yang menghantar HTML sedia ada kepada anda dan aplikasi dinamik yang menghantar JavaScript kepada anda dan meminta pelayar anda untuk memasang halaman tersebut dengan pantas. Perbezaan itu menentukan sama ada permintaan serta BeautifulSoup sudah mencukupi atau sama ada anda memerlukan lapisan automasi pelayar penuh seperti Selenium.

Pada halaman statik, HTML yang anda ambil dengan HTTP GET sudah mengandungi tajuk, harga, ulasan dan pautan yang anda minati, walaupun penanda halaman kelihatan agak huru-hara pada pandangan pertama. Sebaik sahaja anda memuat turun isi respons, BeautifulSoup dengan senang hati boleh menghuraikan dan menapisnya sekerap yang diperlukan—tiada pelaksanaan JavaScript diperlukan.

Laman dinamik, yang sering dibina dengan rangka kerja seperti React, Vue atau Angular, mengembalikan rangka HTML tanpa lemak dan sekumpulan JavaScript tebal yang berjalan dalam pelayar, mengaktifkan panggilan API dan memanipulasi DOM untuk menyuntik kandungan. Jika anda hanya menggunakan permintaan, anda akan melihat penanda rangka atau titik akhir JSON mentah, bukan kad kerja atau grid produk yang dipaparkan mesra yang anda periksa sebelum ini.

Untuk halaman yang banyak menggunakan JavaScript ini, anda memerlukan sama ada alat yang boleh melaksanakan skrip—seperti Selenium atau pelayar tanpa kepala—atau anda perlu merekayasa balik API asas yang dipanggil oleh halaman tersebut dan menggunakan API tersebut secara langsung. BeautifulSoup masih memainkan peranan utama dalam menghuraikan sebarang HTML yang terhasil, tetapi ia tidak boleh melaksanakan langkah pemaparan sendiri.

Terdapat juga kategori hibrid di mana data secara teknikalnya statik tetapi tersembunyi di sebalik borang log masuk atau aliran berbilang langkah, seperti papan pemuka atau kandungan langganan, dan dalam situasi tersebut Selenium amat berguna untuk mengautomasikan kelayakan menaip, menekan butang dan hanya kemudian menghantar petikan HTML terakhir kepada BeautifulSoup.

Aliran Kerja BeautifulSoup Praktikal di Laman Statik

Untuk melihat BeautifulSoup beraksi, bayangkan mengikis papan kerja latihan atau kotak pasir "buku untuk mengikis" yang menyajikan HTML biasa dengan markup yang konsisten untuk setiap item. Anda mulakan dengan mencipta persekitaran maya, memasang permintaan and sup cantik4, dan menulis skrip kecil yang mengambil halaman katalog.

Sebaik sahaja anda memuat turun kandungan halaman, anda akan menghantar isi respons kepada BeautifulSoup(html, "html.parser"), yang membina pokok parse untuk anda terokai melalui objek Python dan bukannya rentetan mentah. Dari situ, anda boleh menghubungi soup.find() or soup.find_all() untuk memberi tumpuan kepada tag dan kelas tertentu.

Katakan setiap buku dibalut dengan <article class="product_pod"> tag: anda boleh mencari semua nod tersebut, kemudian untuk setiap artikel cari satu <h3> teg dengan pautan terbenam untuk mendapatkan tajuk dan URL relatif, serta <p class="price_color"> tag untuk mendapatkan harga. Kandungan teks berasal daripada .text atribut, manakala atribut seperti href or title berkelakuan seperti kekunci kamus.

Semasa anda mengulang elemen tersebut, anda membina kamus Python yang merangkumi medan yang anda sayangi dan menambahkannya ke senarai, yang boleh anda serikan ke JSON untuknya. proses JSON dan SQL, tukar kepada DataFrame atau hantar terus ke dalam pangkalan data anda. Terima kasih kepada navigasi pokok, anda jarang memerlukan ungkapan biasa yang rapuh, walaupun regex masih berguna apabila memadankan teks dalam nod.

Pendekatan seperti ini boleh digeneralisasikan dengan baik kepada mana-mana penyenaraian statik: iklan pekerjaan, arkib blog, penyenaraian hartanah atau indeks dokumentasi, dengan syarat HTML mempunyai sekurang-kurangnya beberapa struktur konsisten yang boleh anda ikuti. Apabila tapak berubah, anda biasanya hanya perlu melaraskan beberapa pemilih dan bukannya menulis semula keseluruhan pengikis.

Menggabungkan Selenium dan BeautifulSoup untuk Aliran Kompleks

Untuk halaman dinamik atau kandungan yang dilindungi log masuk, yang terbaik dari kedua-dua dunia selalunya datang daripada memasangkan Selenium sebagai enjin pelayar dengan BeautifulSoup sebagai penghurai HTML. Selenium memberikan anda DOM yang telah dipaparkan sepenuhnya dan keupayaan untuk berinteraksi dengan halaman tersebut; BeautifulSoup menukarkan DOM tersebut menjadi pokok yang boleh diurus dan boleh ditanya.

Urutan peringkat tinggi biasanya seperti ini: lancarkan WebDriver (contohnya Chrome), navigasi ke URL sasaran, tunggu secara eksplisit sehingga elemen penting dimuatkan, dan kemudian ambil page_source, yang anda masukkan ke dalam BeautifulSoup. Mulai saat itu dan seterusnya, kod anda kelihatan sangat serupa dengan mana-mana skrip penghuraian tapak statik.

API WebDriver Selenium membolehkan anda mencari medan dan butang melalui pemilih CSS, XPath, id atau atribut nama, kemudian menghantar ketukan kekunci, klik, skrol atau muat naik fail seolah-olah anda sendiri yang memandu tetikus dan papan kekunci. Itulah yang menjadikannya sesuai untuk mengendalikan borang daftar masuk, sepanduk kuki, penapis lungsur turun, tatal tanpa henti atau ahli sihir berbilang langkah.

Anda mungkin, sebagai contoh, membuka halaman log masuk, memasukkan kelayakan, menghantar borang, menunggu sehingga URL semasa sepadan dengan papan pemuka sasaran, dan hanya kemudian menangkap HTML penuh untuk dihantar ke BeautifulSoup untuk pengekstrakan terperinci. Sebaik sahaja anda selesai mengikis, panggil driver.quit() membersihkan proses pelayar dan melepaskan sumber.

Alatan seperti webdriver_manager boleh memuat turun pemacu pelayar yang betul secara automatik, yang menjimatkan anda daripada kerumitan mengurus binari secara manual apabila pelayar berkembang dan merupakan sebahagian daripada kebaikan administración de dependencias en Python. Anda masih perlu mengawasi keserasian versi, tetapi persediaan menjadi jauh lebih mudah berbanding menyematkan pemacu sendiri.

Mengikis Kandungan Dinamik: Contoh Gaya YouTube

Platform dinamik seperti laman video moden merupakan contoh klasik di mana Selenium mendapat manfaat, kerana ia memuatkan lebih banyak kandungan secara malas hanya apabila anda menatal atau berinteraksi dengan halaman tersebut. HTTP GET tunggal biasanya hanya mengembalikan viewport awal dan shell JavaScript.

Bayangkan anda ingin mengumpul metadata untuk seratus video terkini daripada saluran: URL, tajuk, tempoh, tarikh muat naik dan kiraan tontonan. Anda akan menghalakan Selenium pada tab video saluran, tunggu halaman dimuatkan, kemudian simulasikan menekan kekunci Tamat beberapa kali supaya tapak terus menambah lebih banyak item pada grid.

Selepas beberapa kitaran tatal dan selang masa tidur yang pendek untuk membolehkan JavaScript mengambil dan memaparkan bahagian baharu, anda boleh memilih semua bekas video—selalunya diwakili oleh tag tersuai seperti ytd-rich-grid-media—dan iterasi melaluinya untuk melombong kandungan bersarangnya. Dalam setiap bekas, anda akan menemui tag pautan yang memegang href dan tajuk, tag rentang dengan label aria untuk tempoh, serta rentang metadata sebaris yang menunjukkan paparan dan maklumat muat naik.

Selenium find_element and find_elements Kaedah, digabungkan dengan pemilih XPath atau CSS, memudahkan untuk menggerudi ke dalam setiap bekas dan mengeluarkan nilai tersebut. Sebaik sahaja anda mengumpulkan semuanya ke dalam senarai kamus, lambakan JSON pantas akan menulis set data anda ke cakera untuk analisis kemudian.

Akhir sekali, anda menutup tetingkap pelayar dengan driver.close() or driver.quit(), meninggalkan anda dengan skrip yang boleh diulang yang boleh dijadualkan, diubah versi dan dilanjutkan apabila saluran data anda berkembang. Dalam banyak kes penggunaan, data ini menjadi set latihan atau penilaian untuk model hiliran, papan pemuka atau alat carian dalaman.

Penskalaan: Pengikisan Web untuk Penalaan Halus LLM

Dengan munculnya LLM yang ditala halus, pengikisan telah berkembang daripada helah kejuruteraan data khusus kepada cara kritikal untuk membina korpora latihan khusus dan memastikan ia segar. Model tujuan umum yang dilatih pada snapshot internet awam sering ketinggalan di belakang perubahan dunia sebenar atau kekurangan terminologi, gaya dan aliran kerja dalaman anda.

Dengan mengikis laman web yang disasarkan—sama ada dokumentasi awam, forum khusus, jurnal penyelidikan atau pangkalan pengetahuan dalaman anda sendiri—anda boleh mengumpulkan set data yang mencerminkan dengan tepat bahasa, nada dan format yang anda mahu model anda kuasai. Bagi pembantu sokongan pelanggan, ini mungkin bermakna perlu merekodkan Soalan Lazim, artikel pusat bantuan, templat e-mel dan juga log sembang tanpa nama.

BeautifulSoup memainkan peranan penting di sini apabila sumber anda adalah HTML statik atau mudah diakses di sebalik titik akhir GET yang mudah, kerana ia membolehkan anda menanggalkan kekacauan navigasi, iklan dan penanda hiasan, hanya meninggalkan teks teras dan metadata yang sejajar dengan skema latihan anda. Anda boleh menanda bahagian, memisahkan kandungan kepada contoh dan mengeksport JSON sedia untuk penalaan halus atau saluran paip RAG.

Selenium menjadi perlu apabila sebahagian daripada sumber berharga tersebut berada di sebalik pengesahan, paywall atau JavaScript yang berat, seperti papan pemuka dalaman atau portal pelanggan. Dalam kes tersebut, anda mengautomasikan pelayar untuk log masuk dan menavigasi, kemudian mengambil gambar paparan utama dan menghuraikannya dengan BeautifulSoup untuk mendapatkan teks yang bersih.

Kuncinya adalah sentiasa menghormati dasar, lesen dan kekangan privasi organisasi: walaupun teknologi tersebut membolehkan anda mengekstrak hampir apa sahaja, rangka kerja perundangan dan etika anda haruslah menyekat sepenuhnya apa yang sebenarnya dimasukkan ke dalam set latihan LLM anda. Ini bermakna melangkau maklumat peribadi sensitif, mematuhi robots.txt dan Syarat Perkhidmatan dan menyelaras dengan pasukan tadbir urus data apabila ragu-ragu.

Pertimbangan Etika dan Perundangan Semasa Mengikis

Hanya kerana sesebuah laman web boleh dilihat oleh umum tidak bermakna anda bebas menyalinnya secara borong, mengautomasikan akses atau menjual semula kandungannya tanpa sekatan. Pengikisan beretika bermula dengan membaca dan mematuhi terma perkhidmatan tapak, arahan robots.txt dan model perniagaan yang jelas.

Kandungan yang dilindungi hak cipta seperti artikel berbayar, jurnal langganan dan berita premium sering kali berada di sebalik sekatan pembayaran kerana ia tidak bertujuan untuk dimuat turun secara besar-besaran dan diedarkan semula oleh bot. Mengautomasikan muat turun pukal bahan tersebut boleh mencetuskan tindakan undang-undang selain daripada pengharaman akaun yang mudah.

Privasi merupakan satu lagi kebimbangan utama: mengikis halaman yang mendedahkan butiran peribadi, papan pemuka peribadi atau maklumat khusus akaun menimbulkan tanda amaran yang serius melainkan anda mempunyai kebenaran yang jelas dan perlindungan data. Profil awam yang "tidak berbahaya" pun boleh tertakluk di bawah peraturan privasi bergantung pada bidang kuasa dan kes penggunaan.

Dari segi teknikal, anda harus sentiasa mempercepatkan permintaan anda dan elakkan daripada menekan tapak dengan pengikis selari yang boleh menjejaskan prestasi atau menyebabkan gangguan bekalan. Laksanakan kelewatan yang sopan, hormati had kadar dan gunakan caching atau kemas kini tambahan untuk mengurangkan beban apabila boleh.

Akhir sekali, jika ragu-ragu, hubungi pemilik tapak atau penyedia kandungan, terangkan kes penggunaan anda dan lihat sama ada mereka menawarkan API rasmi atau program perkongsian. API hampir selalu lebih stabil, boleh diramal dan sah dari segi undang-undang berbanding pengikisan, walaupun ia bermakna perlu melabur sedikit masa untuk mengintegrasikan titik akhir atau skema pengesahan baharu.

Membina Pengikis Kukuh yang Bertahan daripada Perubahan Tapak

Salah satu cabaran praktikal terbesar dalam pengikisan web ialah ketahanan: laman web berkembang, penanda berubah, dan tiba-tiba pemilih yang ditala dengan teliti mengembalikan senarai kosong atau merosakkan skrip anda. Merawat pengikis seperti mana-mana perisian pengeluaran yang lain membantu mengurangkan kesakitan.

Mulakan dengan menyasarkan penanda semantik yang kurang berkemungkinan berubah—nama kelas deskriptif, id atau hubungan struktur—berbanding pemilih ultra rapuh yang terikat pada kedudukan atau kelas kosmetik semata-mata. Apabila sesuatu elemen mempunyai nama yang bermakna seperti card-content or results-container, ia biasanya lebih selamat daripada bergantung pada rentetan kelas yang dijana secara automatik secara rawak.

Seterusnya, masukkan pengendalian ralat: bila-bila masa anda menghubungi find() or find_all(), bersiap sedia untuk kes di mana elemen tersebut hilang atau kembali None, dan elakkan daripada membuat panggilan secara membuta tuli .text pada objek null. Merekod medan yang hilang dan susun atur yang tidak dijangka menjadikan penyahpepijatan lebih mudah apabila reka bentuk semula dibuat.

Ujian automatik atau kerja CI berjadual yang menjalankan pengikis anda secara berkala adalah sangat berharga kerana ia mengesan kerosakan lebih awal dan bukannya membiarkan saluran paip anda menghasilkan set data kosong atau rosak secara senyap. Malah ujian asap mudah yang menyemak kiraan item yang diekstrak terhadap ambang boleh mengesan regresi utama.

Untuk aliran berasaskan Selenium, jangkakan tweak UI dan rombakan DOM kecil untuk memecahkan pemilih XPath yang naif, jadi pastikan pencari lokasi anda semudah dan setangguh mungkin dan pusatkannya di satu tempat dalam pangkalan kod anda. Apabila pasukan bahagian hadapan melaraskan markup, anda ingin menampal satu modul dan bukannya memburu pemilih yang tersebar merentasi berbilang skrip.

Lama-kelamaan, anda mungkin juga mendapati bahawa beberapa tugas pengikisan lebih stabil apabila dilakukan melalui API yang didokumenkan secara rasmi, walaupun itu bermakna beralih daripada penghuraian HTML sepenuhnya untuk titik akhir tertentu. Menggabungkan API jika tersedia dengan BeautifulSoup dan Selenium jika perlu selalunya menghasilkan seni bina yang paling boleh dikekalkan.

Dengan menggabungkan semuanya, BeautifulSoup dan Selenium saling melengkapi dan bukannya bersaing: BeautifulSoup cemerlang dalam penghuraian HTML yang pantas dan andal sebaik sahaja anda memilikinya, manakala Selenium cemerlang dalam memacu pengalaman yang kompleks, sarat dengan JavaScript atau disahkan sehingga ke tahap di mana HTML itu wujud. Digunakan dengan teliti—dengan perhatian kepada etika, prestasi dan kebolehpelan—ia membolehkan anda mengubah web yang bising dan sentiasa berubah menjadi set data yang bersih dan berstruktur yang sedia untuk dianalisis, papan pemuka atau melatih model bahasa tersuai generasi seterusnya.