NewziumBot
NewziumBot নিউজিয়ামের ক্রলার। নিউজিয়াম বাংলাদেশের পত্রিকার একটি সার্চ ইনডেক্স: আমরা শিরোনাম, তারিখ, বিভাগ আর ছবির লিংক দেখাই, আর প্রতিটি ফলাফল পাঠকদের পত্রিকার নিজের সাইটে পাঠায়। খবরের লেখা আমরা কখনো প্রকাশ করি না; সেটা শুধু অনুসন্ধানের জন্য ইনডেক্স করা থাকে। ছবি আমরা নিজেরা রাখি না।
প্রতি সাইটে আমরা সেকেন্ডে তিনটির বেশি পাতা চাই না, 429/503 পেলে থেমে অপেক্ষা করি, আর 403 পেলে পুরো কাজ বন্ধ করে দিই। কোনো সাইট যোগ করার আগে তার robots.txt পড়ে নিই।
For publishers
NewziumBot builds Newzium, a search index of Bangladeshi newspapers. We show a headline, date, section and a hotlinked image, and every result links to your site. Article text is indexed for search only and is never displayed. We never re-host images.
- At most 3 requests per second per site, from one server.
- We back off on 429 and 5xx responses and stop the whole crawl on a 403 or a challenge.
- We read a site's robots.txt before adding it. Disallow
NewziumBotthere to keep us out.
Questions, takedown requests or a feed arrangement: [email protected]. We honour takedown requests promptly.