کد ایجاد یک Web Crawler ساده در پایتون

سلام

امروز کد آماده ای براتون قرار میدم که با استفاده از اون میتونید یک وب کراولر (Web Crawler) ساده ایجاد کنید.

این Web Crawler با زبان پایتون نوشته شده و با استفاده از اون می تونید تمام اطلاعات یک وب سایت مانند صفحات مختلف ، عکس ، فیلم ، موزیک و .. را دانلود کنید.

کد:

برای مشاهده محتوا شما بایستی ثبت نام کنید.

کدهای بالا را در فایلی با نام دلخواه مثلا iranwebadmin-crawler.py ذخیره کنید.

حالا کافیه یک url به عنوان نقطه شروع به این برنامه بدین و منتظر باشید تا این کراولر کار خودش رو انجام بده و تمامی اطلاعات وب سایت مد نظرتون رو دانلود کنه

برای این کار دستور زیر را در کنسول تایپ کنید :

کد:

برای مشاهده محتوا شما بایستی ثبت نام کنید.

به جای domainname.com آدرس مد نظر خود را قرار دهید.



موفق باشید.



.

 

سلام
با زبان پایتون آشنایی دارید ؟