মঙ্গলবার, ১৭ নভেম্বর, ২০২৬২ অগ্রহায়ণ ১৪৩৩
নিউজিয়াম
বাংলাদেশের সংবাদপত্রের ডিজিটাল দলিলঘরযেদিন যা ছাপা হয়েছে, তার রেকর্ড

NewziumBot

NewziumBot নিউজিয়ামের ক্রলার। নিউজিয়াম বাংলাদেশের পত্রিকার একটি সার্চ ইনডেক্স: আমরা শিরোনাম, তারিখ, বিভাগ আর ছবির লিংক দেখাই, আর প্রতিটি ফলাফল পাঠকদের পত্রিকার নিজের সাইটে পাঠায়। খবরের লেখা আমরা কখনো প্রকাশ করি না; সেটা শুধু অনুসন্ধানের জন্য ইনডেক্স করা থাকে। ছবি আমরা নিজেরা রাখি না।

প্রতি সাইটে আমরা সেকেন্ডে তিনটির বেশি পাতা চাই না, 429/503 পেলে থেমে অপেক্ষা করি, আর 403 পেলে পুরো কাজ বন্ধ করে দিই। কোনো সাইট যোগ করার আগে তার robots.txt পড়ে নিই।

For publishers

NewziumBot builds Newzium, a search index of Bangladeshi newspapers. We show a headline, date, section and a hotlinked image, and every result links to your site. Article text is indexed for search only and is never displayed. We never re-host images.

  • At most 3 requests per second per site, from one server.
  • We back off on 429 and 5xx responses and stop the whole crawl on a 403 or a challenge.
  • We read a site's robots.txt before adding it. Disallow NewziumBot there to keep us out.

Questions, takedown requests or a feed arrangement: [email protected]. We honour takedown requests promptly.