Brokerly-nin elan toplayıcısı
Brokerly Azərbaycanda daşınmaz əmlak rieltorları üçün iş alətidir. Rieltorlara bazarı bir yerdə göstərmək üçün proqramımız Azərbaycan əmlak saytlarının açıq elan səhifələrini oxuyur. Bu səhifə saytın administratoruna onu necə tanımağı, nəyi və hansı sürətlə oxuduğunu, bizimlə necə əlaqə saxlamağı izah edir.
Onu necə tanımaq olar
- Hər sorğu bu brauzer adını (User-Agent) daşıyır. Onun son hissəsi bu səhifənin ünvanıdır:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 (+https://brokerly.az/about-crawler)
- Bütün sorğularımız yalnız bir ünvandan gəlir: 63.189.93.151. Həm əsas serverimiz, həm də test serverimiz bu ünvandan istifadə edir.
- Onu gizlətmirik: başqa brauzer adı, dəyişən ünvan və ya proksi istifadə etmirik.
Nəyi oxuyur
- Yalnız hər ziyarətçinin hesaba daxil olmadan gördüyünü: yeni elanların siyahısını və hər elanın öz səhifəsini. Bura qiymət, sahə, otaq sayı, mərtəbə, rayon, ünvan və ya xəritə nöqtəsi, təsvir, tarix, ilk şəkil və saytın hər ziyarətçiyə göstərdiyi əlaqə nömrəsi daxildir.
- Heç vaxt hesaba daxil olmur, forma doldurmur, heç nə dərc etmir və captcha və ya başqa qorumanı keçməyə çalışmır.
- Hər elandan bir şəkli öz yaddaşımızda saxlayırıq. Ona görə serveriniz hər şəkli bizə bir dəfə göndərir.
Nə qədər tez-tez və hansı sürətlə
- Yeni elanlara hər 10 dəqiqədən bir baxır. Artıq tanıdığı elanları da arabir açır ki, onların hələ dərc olunduğunu yoxlasın.
- Bir yoxlama bir sayta saniyədə ən çox 3 sorğu göndərir, çox vaxt daha az. Sayt yavaş cavab verəndə və ya xəta qaytaranda sürətini iki dəfə azaldır. 17 oktyabr 2026-cı ildə ən çox oxuduğumuz sayt bizdən orta hesabla saniyədə birdən az sorğu alıb.
- Sayt təxminən bir dəqiqə rədd cavabı verməyə davam etsə (HTTP 429, 401, 403 və ya 405), həmin saytı 15 dəqiqə oxumur. Bu təkrarlansa, fasilə hər dəfə iki dəfə uzanır, ən çoxu 6 saata qədər.
robots.txt
- Saytı oxumazdan əvvəl robots.txt faylınızı oxuyur, ən azı 6 saatdan bir yeniləyir və ona əməl edir. Orada yazdığınız Crawl-delay onun sürətini də müəyyən edir.
- Onun adı BrokerlyBot-dur. Saytınızın bir hissəsini yalnız onun üçün bağlamaq üçün robots.txt faylına bunu yazın:
User-agent: BrokerlyBot Disallow: /the-part/
Əlaqə
info@brokerly.az ünvanına yazın, bir iş günü ərzində cavab veririk. Sürəti azalda, daha az səhifə oxuya və ya saytınızı oxumağı tam dayandıra bilərik. Elanın sahibisinizsə və elanınızın Brokerly-də görünməsini istəmirsinizsə, eyni ünvana yazın.
Brokerly's crawler
Brokerly is a work tool for real estate agents in Azerbaijan. To show agents the property market in one place, our program reads the public listing pages of Azerbaijani property sites. This page tells a site's administrator how to recognise it, what it reads and how fast, and how to reach us.
How to recognise it
- Every request carries this browser name (User-Agent). Its last part is the address of this page:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 (+https://brokerly.az/about-crawler)
- All our requests come from one address only: 63.189.93.151. Our main server and our test server both use it.
- We do not hide it: no other browser names, no changing addresses, no proxies.
What it reads
- Only what any visitor sees without signing in: the lists of new listings and each listing's own page. That is the price, size, rooms, floor, district, address or map pin, description, date, the first photo, and the contact number the site shows to every visitor.
- It never signs in, never fills in a form, never posts anything, and never tries to get past a captcha or any other protection.
- We keep one photo of each listing on our own storage, so your server sends us each photo once.
How often and how fast
- It looks for new listings every 10 minutes. Now and then it also opens a listing it already knows, to check that it is still published.
- One run sends at most 3 requests a second to a site, and most runs send fewer. When a site answers slowly or with an error, it halves its speed. On 17 October 2026 the site we read most received fewer than one request a second from us on average.
- If a site keeps refusing for about a minute (HTTP 429, 401, 403 or 405), it stops reading that site for 15 minutes. If that happens again, the pause doubles each time, up to 6 hours.
robots.txt
- It reads your robots.txt before it reads your site, refreshes it at least every 6 hours, and follows it. A Crawl-delay you set there also sets its speed.
- Its name is BrokerlyBot. To close a part of your site to it alone, add this to your robots.txt:
User-agent: BrokerlyBot Disallow: /the-part/
Contact
Write to info@brokerly.az: we answer within one working day. We can slow down, read fewer pages, or stop reading your site altogether. If you own a listing and do not want it to appear on Brokerly, write to the same address.
Краулер Brokerly
Brokerly помогает в работе риелторам Азербайджана. Чтобы показать им весь рынок в одном месте, наша программа читает открытые страницы объявлений азербайджанских сайтов недвижимости. Эта страница объясняет администратору сайта, как её узнать, что и с какой скоростью она читает и как с нами связаться.
Как её узнать
- Каждый запрос несёт это имя браузера (User-Agent). В его конце стоит адрес этой страницы:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 (+https://brokerly.az/about-crawler)
- Все наши запросы приходят только с одного адреса: 63.189.93.151. Его используют и наш основной сервер, и тестовый.
- Мы её не скрываем: никаких других имён браузера, меняющихся адресов и прокси.
Что она читает
- Только то, что любой посетитель видит без входа в аккаунт: списки новых объявлений и страницу каждого объявления. Это цена, площадь, число комнат, этаж, район, адрес или точка на карте, описание, дата, первое фото и контактный номер, который сайт показывает каждому посетителю.
- Она никогда не входит в аккаунт, не заполняет формы, ничего не публикует и не пытается обойти капчу или другую защиту.
- Одно фото каждого объявления мы храним в своём хранилище, поэтому ваш сервер отдаёт нам каждое фото один раз.
Как часто и как быстро
- Она проверяет новые объявления каждые 10 минут. Иногда она также открывает уже известное объявление, чтобы проверить, что оно ещё опубликовано.
- Один обход отправляет сайту не больше 3 запросов в секунду, а чаще меньше. Когда сайт отвечает медленно или с ошибкой, она вдвое снижает скорость. 17 октября 2026 года сайт, который мы читаем больше всего, получал от нас в среднем меньше одного запроса в секунду.
- Если сайт отказывает около минуты подряд (HTTP 429, 401, 403 или 405), она 15 минут не читает этот сайт. Если это повторяется, пауза каждый раз удваивается, до 6 часов.
robots.txt
- Она читает ваш robots.txt до того, как читать сайт, обновляет его не реже чем раз в 6 часов и соблюдает его. Указанный там Crawl-delay задаёт и её скорость.
- Её имя BrokerlyBot. Чтобы закрыть часть сайта только для неё, добавьте в robots.txt:
User-agent: BrokerlyBot Disallow: /the-part/
Связь
Пишите на info@brokerly.az: мы отвечаем в течение одного рабочего дня. Мы можем снизить скорость, читать меньше страниц или совсем перестать читать ваш сайт. Если вы владелец объявления и не хотите, чтобы оно было на Brokerly, напишите на тот же адрес.