>>193067635Какие еще боты? Как это работает? Вот с ip адресом, веб-сервером, тайтлом и пр. понятно - все это есть в http headers, кроме ip. А про роботов откуда инфа и как достается?
>>193067664Так наличие этого файла просто делает запрет на просмотр некоторого контента для поисковых ботов? И что этим оп хотел сказать? Причем тут боты двача?
https://2ch.hk/robots.txtэто пиздец, приплылиборды проебаны, остались считаные днисейчас быдло загуглит мемы и узнает про нас
>>193067664Гуманитарий подъехал.По слогам тебе: ro bots - read-only bots.2019 год, нейросети, массивы данных, индустриальный интернет, машинное обучение - на двачах только люди с технической грамотностью уровня "как работает касса в макдаке".
>>193067890>эту концепциюесли есть слово "концепция", то даже гуглить не надообычно так описывают ненужную хрень
Если ещё никто не объяснил для тех кто не в теме, рассказываю: robots.txt (регистр учитывается) -- текстовый файл, содержащий инструкции для веб-краулеров поисковых систем. Такой файл находится в рут каталоге сайта и имеется у большинства крупных сайтов. Несколько примеров:> 2ch.hk/robots.txt> vk.com/robots.txt> 4pda.ru/robots.txtОП неплох
>>193068316Что не так ? на дваче куча чернухи,а робот помогает скрыть разделы с чернухой от поисковиков.
>>193068283Это не для продвижения в гугле >>193068111Самой используемой командой является Disallow, которая запрещает кроулить определённый раздел сайта или файл. Можно даже полностью запретить кроулинг сайта командой Disallow: /, тогда страница не будет выводиться в результат поиска.
>>193068464Какой смысл от него тогда ? то что на дваче боты создают посты это известно.А еще что делает робот ?
>>193068495Ты глупенький? Поищи в гугле или ещё где о robots.txt или прочитай мой пост >>193068111>>193068488Да, но большинство крупных поисковиков уважают инструкции robots.txt.
>>193067593 (OP)Конечно. А ты думал кто эти треды постоянно создает для активности.Вебм, храм мику, храм головы, храм хуй пойми чего, роллим рулеточку, твои оправдания, пиздос опять на работу.50% боты. Протеин инсайдер был прав.
>>193072273Двачую. Примерно раз в месяц я создаю какой-нибудь тред, обычный, вопрос или обсуждение. Без всяких там пиздостраданий и прочей ерунды, так висят от силы пару часов. При этом всякие оправдывайтся, храм, есть одна тян и прочий гнойный высер висит сутками.
>>193067593 (OP)Ты немного обосрался со шрифтом и щас ты такой "а вот и бот", а я тебе такой "нет, ты", но Абу всё равно уёбок
