کرال کردن سایت

با سلام من برای پروژه شخصیم نیاز دارم که یک سایت را کرال کنم. برای مثال پیج دیجی کالا را در نظر بگیرید که هر محصول یک url خاص خود را دارد. من احتیاج دارم که تمامی url های موجود در دیجی کالا، که به نوعی نشان دهنده تعداد محصولات موجود در این سایته رو داشته باشم. پس از تشخیص و لیست شدن تمامی url ها، میخواهم در هر کدام از این url ها اطلاعاتی استخراج شود. برای مثال تعداد کامنت ها، تعداد لایک ها و دیسلایک های هر کامنت و یا سایر اطلاعاتی که میتوان از آن استخراج کرد. در نهایت این اطلاعات در یک فایل اکسل جمع آوری خواهد شد. مثلا در ستون اول نام محصول، ستون دوم url آن، ستون سوم تعداد کامنت های ان صفحه و ... این توضیح کاملی از نیاز من بود. توجه کنید که سایت مورد بررسی دیجی کالا نیست و نهایتا شاید با 20000 url برخورد کنیم.