این پروژه شامل یک اسکریپت پایتون برای استخراج و پردازش نقشه سایتهای وب است. اسکریپت قابلیت شناسایی و دانلود نقشههای سایت از فایل robots.txt یک وبسایت را دارد، و با فرمتهای مختلف نقشه سایت مانند XML و GZ سازگار است. همچنین، قابلیت پردازش نقشههای سایت تودرتو و ذخیرهسازی دادهها در پایگاه داده را نیز دارا میباشد.
https://github.com/vatche-t/sitemaps