کد ایجاد یک Web Crawler ساده در پایتون

شروع موضوع توسط AHMAD ‏Dec 11, 2015 در انجمن Perl / Python

  1. AHMAD

    AHMAD ایران وب ادمین عضو کادر مدیریت ناظر انجمن

    سلام

    امروز کد آماده ای براتون قرار میدم که با استفاده از اون میتونید یک وب کراولر (Web Crawler) ساده ایجاد کنید.

    این Web Crawler با زبان پایتون نوشته شده و با استفاده از اون می تونید تمام اطلاعات یک وب سایت مانند صفحات مختلف ، عکس ، فیلم ، موزیک و .. را دانلود کنید.

    کد:
    برای مشاهده محتوا شما بایستی ثبت نام کنید.
    کدهای بالا را در فایلی با نام دلخواه مثلا iranwebadmin-crawler.py ذخیره کنید.

    حالا کافیه یک url به عنوان نقطه شروع به این برنامه بدین و منتظر باشید تا این کراولر کار خودش رو انجام بده و تمامی اطلاعات وب سایت مد نظرتون رو دانلود کنه

    برای این کار دستور زیر را در کنسول تایپ کنید :

    کد:
    برای مشاهده محتوا شما بایستی ثبت نام کنید.
    به جای domainname.com آدرس مد نظر خود را قرار دهید.



    موفق باشید.



    .
     
    ruin3r از این پست تشکر کرده است.

به اشتراک بگذارید

س