forum.opennet.ru - "Использование zip-бомбы для борьбы с вредоносными web-ботами" (61)

"Использование zip-бомбы для борьбы с вредоносными web-ботами"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Использование zip-бомбы для борьбы с вредоносными web-ботами"	+/–
Сообщение от opennews (??), 30-Апр-25, 08:17
Последнее время значительно возросла активность web-ботов, индексирующих трафик. Помимо корректно работающих ботов распространение получили "неистовые" боты, игнорирующие правила индексирования robots.txt, лезущие с десятков тысяч разных IP, притворяющиеся легитимными пользователями и не придерживающиеся разумной политики интенсивности отправки запросов. Данные боты создают огромную паразитную нагрузку на серверы, нарушают нормальную работоспособность систем и отнимают время администраторов. Активность подобных ботов воспринимается многими как вредоносные действия... Подробнее: https://www.opennet.ru/opennews/art.shtml?num=63163
Ответить \| Правка \| Cообщить модератору

Оглавление

D , Аноним (1), 08:17 , 30-Апр-25, (1) +19

Имелось ввиду, что если накосячишь с настройкой ловушки и она по ошибке сработае, Аноним (3), 08:28 , 30-Апр-25, (3) +1

У бота гугла до сих пор нет лимитов на размер загружаемого содержимого П - профе, Tron is Whistling (?), 08:29 , 30-Апр-25, (6) +5

так это будет в лимита загрузки, но вне лимита распаковки , Вася (??), 08:35 , 30-Апр-25, (7) +2

Распаковка по-хорошему производится по мере загрузки Никогда не удивляло, что gz, Tron is Whistling (?), 09:07 , 30-Апр-25, (27) +1

Пункт 1 на Диком Западе Шериф всегда прав , Аноним (29), 09:16 , 30-Апр-25, (29)

Добавят в ботов лимит на размер содержимого, и всё , Tron is Whistling (?), 08:29 , 30-Апр-25, (4)

Так и лимит на количество запросов могли бы добавить, но чего-то не хватило , n00by (ok), 08:39 , 30-Апр-25, (10) +5

Новомодные боты лезут с разных IP, не большой 10-20 запросов с одного Лезут из , Аноним (3), 08:45 , 30-Апр-25, (14)

IP разные, а запросы одинаковые, потому и получается фильтровать 100 тысяч IP, , n00by (ok), 10:42 , 30-Апр-25, (46) –1

Я не особенно активный аноним, но мне очень интересно, как сгенерить 100 000 ipv, Аноним (50), 10:54 , 30-Апр-25, (50) +1
Запросы все разные, с разных реалистичных User Agent Боты индексируют разные , Аноним (3), 11:27 , 30-Апр-25, (56)

Почему боты аля-curl не грузят всякие css, как триггер геморно, но можно с сел, 678 (?), 12:02 , 30-Апр-25, (69)

Полный размер становится известен только после распаковки Отдаётся вполне себе , Аноним (3), 08:41 , 30-Апр-25, (11) –2

Не после , а во время Плюс распаковка потоковая, весь контент читать не обяз, Tron is Whistling (?), 08:55 , 30-Апр-25, (20)
Хотя в принципе могу понять, считать целиком, потом загнать в распаковку - стара, Tron is Whistling (?), 08:57 , 30-Апр-25, (21) +1

эмм а что это за содержимое такое на 100 тб типа набор рандомных случайных данн, нитгитлистер (?), 08:29 , 30-Апр-25, (5) –5

dev zero, написано же, Аноним (8), 08:35 , 30-Апр-25, (8) +8
Рандомные данные плохо сжимаются, хороши сжимаются повторяющиеся данные - в данн, Аноним (23), 08:58 , 30-Апр-25, (23) +2

о как, понял благодарю, нитгитлистер (?), 09:03 , 30-Апр-25, (26)

Когда я лет 7 назад такого бота делал, оно качало только текст и видео аудио с , qqq (??), 08:37 , 30-Апр-25, (9) –3

Когда ты запрашиваешь html сервер отдаёт его тебе сжатым, если браузер выставл, Аноним (3), 08:49 , 30-Апр-25, (17) +5

И в чем смысл Показать какой администратор умный Не стоило новости , Аноним (13), 08:44 , 30-Апр-25, (13)

Скорее наоборот Ибо предполагает, что авторы ботов настолько дураки, что не дод, Аноним (37), 10:03 , 30-Апр-25, (37) –1

Ты и не представляешь насколько , Аноним (38), 10:11 , 30-Апр-25, (38) +1

Ну он и не догадался, что после DOCTYPE html можно отправлять пробелы , n00by (ok), 10:34 , 30-Апр-25, (43) –1

Ну да, ведь остановиться на размере 10-30 мегабайт при потоковой распаковке у ре, Аноним (37), 10:44 , 30-Апр-25, (47) –1

Наивные методы таки работают, хоть и не всегда Простой пример защиты от спам-бо, qwe (??), 10:32 , 30-Апр-25, (41)
Ну забью нулями посередине документа,или другим паттерном легитимного html , Аноним (42), 10:33 , 30-Апр-25, (42)

А остановить распаковку на пятом десятке легитимного HTML ну никак нельзя, да , Аноним (37), 10:49 , 30-Апр-25, (49)

Как эта проверка может выглядеть Первый байт контента нулевой Или надо провери, Аноним (-), 10:36 , 30-Апр-25, (45) –1

Элементарно проверяются первые несколько байт на наличие заголовка Это элемент, Аноним (37), 10:47 , 30-Апр-25, (48)

В классических краулерах и AI-индексаторах для загрузки и разбора используются р, Аноним (3), 11:36 , 30-Апр-25, (59)

Народ так еще и не понял, что дешевле отдать контент, чем городить все эти защи, Аноним (15), 08:46 , 30-Апр-25, (15) –6

У вас сайт просто приляжет, если безграничное кол-во скриптов будет его выкачива, bergentroll (ok), 08:52 , 30-Апр-25, (18)

Ну если сайт кладёт кнопку скачать за пейвол, то не удивительно, что посетител, anonymous (??), 09:19 , 30-Апр-25, (30) –2

Вообще не об этом статья За пей-волом рандомный робот не скачает , bergentroll (ok), 09:23 , 30-Апр-25, (33) +1

читать даёт постранично, скачать целиком - нет Очевидно возникает желание всё р, anonymous (??), 10:35 , 30-Апр-25, (44)

Если стоит задача получить МУСОРНЫЙ дамп, то мусорные данные ни кого не остано, ddd123 (-), 09:09 , 30-Апр-25, (28)

Только их защита не только от ботов но и от пользователей работает к сожалению , Аноним (31), 09:20 , 30-Апр-25, (31) +6

Ага Если случайно попал, пройдя по ссылке - тут же закрыть, не глядя , Аноним (39), 10:25 , 30-Апр-25, (39)

Она и от людей защищает Я заколебался доказывать что не бот при каждом переходе, anonymous (??), 09:20 , 30-Апр-25, (32) +3

Я всё отдал бы, у меня зеркало Слаквари, но боты весь месячный трафик за пару дн, Аноним (50), 10:57 , 30-Апр-25, (51) –1

99 ботов не умеет в сжатие контента, Fbekwbshru (?), 08:48 , 30-Апр-25, (16)

Есть подозрение, что написаны оные на нодежсах с пыхтонами, которые просто вызов, Tron is Whistling (?), 09:03 , 30-Апр-25, (25) +2
С чего ты взял , Аноним (37), 12:00 , 30-Апр-25, (68)

глупость какая, если бот распаковывает архив, то он может в заголовке архива пос, Аноним (23), 08:55 , 30-Апр-25, (19) +1

Там нет архива и нет размера содержимого Другое дело, что распаковывать-то н, Tron is Whistling (?), 08:58 , 30-Апр-25, (22) +2
Вы только заголовок прочитали , tty2 (?), 09:01 , 30-Апр-25, (24) –1
в распаковку еще надо внести код учитывающий зип-бомбы обычно такого нет ибо , pfg21 (ok), 11:00 , 30-Апр-25, (52)

Это вообще не проблема, ибо данные распаковываются потоково Если после распоковк, Аноним (37), 12:03 , 30-Апр-25, (70)

в обход nofollow тогда ясно кто, Соль земли (?), 09:36 , 30-Апр-25, (34)
Новые Дон Кихоты и Санчо Пансы на борьбу с ботами вышли В наш век, нейронки выка, Аноним (35), 09:48 , 30-Апр-25, (35) +3

Ну, мой ответ прост - внешний сайт перевести тупо на статику, оставив только при, Аноним (62), 11:47 , 30-Апр-25, (62)

Это всё AI-скрейперы, корпорации тренируют модели нового поколения Ставьте себе, Аноним (36), 09:49 , 30-Апр-25, (36) +2

Еще не хватало этот квази-майнер ставить, беся пользователей Осталось еще блин , Аноним (-), 11:43 , 30-Апр-25, (61)

Банишь все ASN с type Hosting и наслаждаешься тишиной на сайте , Аноним (53), 11:05 , 30-Апр-25, (53)

не все боты живут на бесплатных фермах гугл лабс и амазон некоторые уже построен, Аноним (62), 11:50 , 30-Апр-25, (63)

Так это ж вообще не баг а фича Банит с сервера не только ботов - но и иди0тов с, Аноним (60), 11:38 , 30-Апр-25, (60) –1
Я так понимаю речь идёт о конторе Netcup которая долбит тысячами запросов в секу, Аноним (64), 11:51 , 30-Апр-25, (64)
Вопрос, кто тут еще самый умный буратина админы домашнего локалхоста, которые за, Аноним (62), 11:54 , 30-Апр-25, (66)

Сообщения [Сортировка по времени | RSS]

1. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +19 +/–

Сообщение от Аноним (1), 30-Апр-25, 08:17

> так как при случайной индексации подобной ловушки ботом Google
> случайной
> Google
:D)))))))))))))))))))))))))))))))))))))))))))))))))))))))))))

Ответить | Правка | Наверх | Cообщить модератору

3. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +1 +/–

Сообщение от Аноним (3), 30-Апр-25, 08:28

Имелось ввиду, что если накосячишь с настройкой ловушки и она по ошибке сработает для Google Bot, то мало не покажется.

Ответить | Правка | Наверх | Cообщить модератору

6. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +5 +/–

Сообщение от Tron is Whistling (?), 30-Апр-25, 08:29

У бота гугла до сих пор нет лимитов на размер загружаемого содержимого?
П - профессионализм.

Ответить | Правка | Наверх | Cообщить модератору

7. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +2 +/–

Сообщение от Вася (??), 30-Апр-25, 08:35

так это будет в лимита загрузки, но вне лимита распаковки

Ответить | Правка | Наверх | Cообщить модератору

27. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +1 +/–

Сообщение от Tron is Whistling (?), 30-Апр-25, 09:07

Распаковка по-хорошему производится по мере загрузки.
Никогда не удивляло, что gzip/bzip2/xz/zstd файл для распаковки целиком в память не загружают?

Ответить | Правка | Наверх | Cообщить модератору

29. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (29), 30-Апр-25, 09:16

Пункт 1 на Диком Западе: Шериф всегда прав.

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

4. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Tron is Whistling (?), 30-Апр-25, 08:29

Добавят в ботов лимит на размер содержимого, и всё.

Ответить | Правка | Наверх | Cообщить модератору

10. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +5 +/–

Сообщение от n00by (ok), 30-Апр-25, 08:39

Так и лимит на количество запросов могли бы добавить, но чего-то не хватило.

Ответить | Правка | Наверх | Cообщить модератору

14. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (3), 30-Апр-25, 08:45

Новомодные боты лезут с разных IP, не большой 10-20 запросов с одного. Лезут из Китая, Вьетнама, Бразилии. На днях фильтровал AI-ботов и только список /24 подсетей составил около 5000 строк за день. Всего под сотню тысяч разных IP было, непонятно где они их берут, на ботнет не походит.

Ответить | Правка | Наверх | Cообщить модератору

46. "Использование zip-бомбы для борьбы с вредоносными web-ботами" –1 +/–

Сообщение от n00by (ok), 30-Апр-25, 10:42

IP разные, а запросы одинаковые, потому и получается фильтровать. 100 тысяч IP, подозреваю, даже особо активный Аноним Опеннет может нагенерировать с двух телефонов.

Ответить | Правка | Наверх | Cообщить модератору

50. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +1 +/–

Сообщение от Аноним (50), 30-Апр-25, 10:54

Я не особенно активный аноним, но мне очень интересно, как сгенерить 100 000 ipv4 с двух телефонов.

Ответить | Правка | Наверх | Cообщить модератору

56. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (3), 30-Апр-25, 11:27

Запросы все разные, с разных реалистичных User Agent.  Боты  индексируют разные страницы без повторов и вся свора ботов синхронизирована (видимо задания на загрузку формируются заранее и распределяются). Без штук типа anubis от реальных пользователей их не отличишь.

Ответить | Правка | К родителю #46 | Наверх | Cообщить модератору

69. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от 678 (?), 30-Апр-25, 12:02

Почему? боты аля-curl не грузят всякие css, как триггер геморно, но можно. с селениумами сложнее, но в целом тоже можно..половина сайтов современных выдает кучу уведомлений, от куки до рекламы, или около рекламы, так что большая часть страницы перекрывается, бот этот попап закрывать не станет, а юзер да - и если бот посмотрел страницу и ничего не закрыл, то для нового запроса можно бан или последнее китайское, в общем не вижу проблемы.

Ответить | Правка | Наверх | Cообщить модератору

11. "Использование zip-бомбы для борьбы с вредоносными web-ботами" –2 +/–

Сообщение от Аноним (3), 30-Апр-25, 08:41

Полный размер становится известен только после распаковки. Отдаётся вполне себе небольшой файл, укладывающийся в лимиты. Степень сжатия в таком файле может быть как 1:10 так и 1:1000000.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

20. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Tron is Whistling (?), 30-Апр-25, 08:55

Не "после", а "во время". Плюс распаковка потоковая, весь контент читать не обязательно. Но это слишком сложно, я понимаю.

Ответить | Правка | Наверх | Cообщить модератору

21. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +1 +/–

Сообщение от Tron is Whistling (?), 30-Апр-25, 08:57

Хотя в принципе могу понять, считать целиком, потом загнать в распаковку - старая добрая привычка скриптеров, вообще не понимающих, что делают. Им и положено страдать от таких zip-"бомб", пусть страдают :)

Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

5. "Использование zip-бомбы для борьбы с вредоносными web-ботами" –5 +/–

Сообщение от нитгитлистер (?), 30-Апр-25, 08:29

эмм а что это за содержимое такое на 100 тб? типа набор рандомных случайных данных? или все серии ванписа?))

Ответить | Правка | Наверх | Cообщить модератору

8. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +8 +/–

Сообщение от Аноним (8), 30-Апр-25, 08:35

/dev/zero, написано же

Ответить | Правка | Наверх | Cообщить модератору

23. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +2 +/–

Сообщение от Аноним (23), 30-Апр-25, 08:58

Рандомные данные плохо сжимаются, хороши сжимаются повторяющиеся данные - в данном случае нули. Архиватор представит 0000....000 виде "0:количество"

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

26. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от нитгитлистер (?), 30-Апр-25, 09:03

> Рандомные данные плохо сжимаются, хороши сжимаются повторяющиеся данные - в данном случае
> нули. Архиватор представит 0000....000 виде "0:количество"
о как, понял благодарю

Ответить | Правка | Наверх | Cообщить модератору

9. "Использование zip-бомбы для борьбы с вредоносными web-ботами" –3 +/–

Сообщение от qqq (??), 30-Апр-25, 08:37

Когда я лет 7  назад такого бота делал, оно качало только текст и видео/аудио с новостных сайтов. Соответственно всякие zip, gz и тп оно не качало. На некоторых добрых сайтах даже особо разбирать html не нужно было, просто можно было понять как у них систематизированы видео-текст и просто перебирать .../1.html .../1.mp4 или как-то так.
И да, robots.txt оно игнорировало, надо же как-то данные для тренировки моделей собирать.

Ответить | Правка | Наверх | Cообщить модератору

17. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +5 +/–

Сообщение от Аноним (3), 30-Апр-25, 08:49

Когда ты запрашиваешь .html сервер  отдаёт его тебе сжатым, если браузер выставляет заголовок "Accept-Encoding: deflate, gzip, brotli...", а сервер поддерживает сжатие.

Ответить | Правка | Наверх | Cообщить модератору

13. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (13), 30-Апр-25, 08:44

> На практике предложенный метод применять не рекомендуется, так как сайт может быть занесён Google в чёрный список и начнёт помечаться вредоносным в браузере Chrome с включённым режимом "Safe Browsing".
И в чем смысл? Показать какой администратор умный? Не стоило новости.

Ответить | Правка | Наверх | Cообщить модератору

37. "Использование zip-бомбы для борьбы с вредоносными web-ботами" –1 +/–

Сообщение от Аноним (37), 30-Апр-25, 10:03

> Показать какой администратор умный?
Скорее наоборот. Ибо предполагает, что авторы ботов настолько дураки, что не додумаются при потоковой распаковке добавить проверку содержимого, и отбрасывать все, что начинается с этих нулей вместо "<!DOCTYPE html>" и т.п.
Наивность метода просто поражает.

Ответить | Правка | Наверх | Cообщить модератору

38. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +1 +/–

Сообщение от Аноним (38), 30-Апр-25, 10:11

> Ибо предполагает, что авторы ботов настолько дураки
Ты и не представляешь насколько...

Ответить | Правка | Наверх | Cообщить модератору

43. "Использование zip-бомбы для борьбы с вредоносными web-ботами" –1 +/–

Сообщение от n00by (ok), 30-Апр-25, 10:34

Ну он и не догадался, что после <!DOCTYPE html> можно отправлять пробелы...

Ответить | Правка | Наверх | Cообщить модератору

47. "Использование zip-бомбы для борьбы с вредоносными web-ботами" –1 +/–

Сообщение от Аноним (37), 30-Апр-25, 10:44

> Ну он и не догадался, что после <!DOCTYPE html> можно отправлять пробелы...
Ну да, ведь остановиться на размере 10-30 мегабайт при потоковой распаковке у ребят ну никак не получиться.

Ответить | Правка | Наверх | Cообщить модератору

41. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от qwe (??), 30-Апр-25, 10:32

Наивные методы таки работают, хоть и не всегда. Простой пример защиты от спам-ботов: спам-боты часто не видят html-комментарии. Защита банальна: сунуть скрытое поле формы внутрь html-комментария и проверить, кто это поле передаст в post запросе. Браузеры такое поле в тело post запроса не передадут, а боты - вполне, ибо не разбирают DOM-дерево, а юзают регулярки. Не со всеми прокатывает, но со многими.

Ответить | Правка | К родителю #37 | Наверх | Cообщить модератору

42. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (42), 30-Апр-25, 10:33

Ну забью нулями посередине документа,или другим паттерном легитимного html.

Ответить | Правка | К родителю #37 | Наверх | Cообщить модератору

49. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (37), 30-Апр-25, 10:49

> Ну забью нулями посередине документа,или другим паттерном легитимного html.
А остановить распаковку на пятом десятке легитимного HTML ну никак нельзя, да?

Ответить | Правка | Наверх | Cообщить модератору

45. "Использование zip-бомбы для борьбы с вредоносными web-ботами" –1 +/–

Сообщение от Аноним (-), 30-Апр-25, 10:36

> Ибо предполагает, что авторы ботов настолько дураки, что не додумаются при потоковой распаковке добавить проверку содержимого
Как эта проверка может выглядеть? Первый байт контента нулевой? Или надо проверить первые 1000 байт? И чё? Если все 1000 байт нулевые то отбрасываем, а если хотя бы 1 байт ненулевой то нет? А если я в zip-бомбу положу 1024 не нуля, прежде чем дописывать два терабайта нулей? Или ещё я могу не парится, и создать файл на два петабайта двоичных 1. Они легко пройдут проверку на нули, а сжиматься будут не хуже нулей. Ещё неплохо должны сжиматься паттерны типа 10101010101..., 0101010101, 100100100100100..., и тп. Я не знаю деталей всяких этих deflate и brotli, насколько им важны границы между байтов и имеет ли смысл эти паттерны делать размеров кратными 2^N, но это легко выяснить экспериментально.
На стороне бота не автор бота проверяет, что надо, а что нет, а тупая программа. И вот её как раз очень легко подвести к граблям, чтобы она на них наступила. Писать же программы, которые не наступают на грабли, или не так просто наступают, гораздо-гораздо сложнее. И дороже.

Ответить | Правка | К родителю #37 | Наверх | Cообщить модератору

48. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (37), 30-Апр-25, 10:47

> Как эта проверка может выглядеть? Первый байт контента нулевой? Или надо проверить первые 1000 байт? И чё?
Элементарно: проверяются первые несколько байт на наличие заголовка. Это элементарная проверка, так все браузеры делают.
Или ты думал, они все куском распаковывают, а уже потом пытаются понять, что внутри?

Ответить | Правка | Наверх | Cообщить модератору

59. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (3), 30-Апр-25, 11:36

> Или ты думал, они все куском распаковывают, а уже потом пытаются понять,
> что внутри?
В классических краулерах и AI-индексаторах для загрузки и разбора используются разные процессы.

Ответить | Правка | Наверх | Cообщить модератору

15. "Использование zip-бомбы для борьбы с вредоносными web-ботами" –6 +/–

Сообщение от Аноним (15), 30-Апр-25, 08:46

Народ так еще и не понял, что дешевле отдать контент, чем городить все эти "защиты".
Все, к чему это приводит, это то, что приходится скрабить такой ресурс еще раз.
Особенно забавно с популярными. Если стоит задача получить дамп, они думают что "мусорные" данные кого-то остановят?

Ответить | Правка | Наверх | Cообщить модератору

18. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от bergentroll (ok), 30-Апр-25, 08:52

У вас сайт просто приляжет, если безграничное кол-во скриптов будет его выкачивать целиком. Можно будет контент себе с локалхоста на локалхост щедро отдавать.

Ответить | Правка | Наверх | Cообщить модератору

30. "Использование zip-бомбы для борьбы с вредоносными web-ботами" –2 +/–

Сообщение от anonymous (??), 30-Апр-25, 09:19

Ну если сайт кладёт кнопку "скачать" за пейвол, то не удивительно, что посетители скачивают текст скриптами.

Ответить | Правка | Наверх | Cообщить модератору

33. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +1 +/–

Сообщение от bergentroll (ok), 30-Апр-25, 09:23

> Ну если сайт кладёт кнопку "скачать" за пейвол,
Вообще не об этом статья. За пей-волом рандомный робот не скачает.

Ответить | Правка | Наверх | Cообщить модератору

44. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от anonymous (??), 30-Апр-25, 10:35

читать даёт постранично, скачать целиком - нет. Очевидно возникает желание всё равно эту информацию скачать. Раньше для этого использовался scrapbook, но теперь он не совместим с принципами файерфокс, и скрапить приходится питоном

Ответить | Правка | Наверх | Cообщить модератору

28. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от ddd123 (-), 30-Апр-25, 09:09

>Если стоит задача получить дамп, они думают что "мусорные" данные кого-то остановят?
Если стоит задача получить МУСОРНЫЙ дамп, то "мусорные" данные ни кого не остановят.
А вот если стоит задача получить НЕ МУСОРНЫЙ дамп, то "мусорные" данные конечно остановят. Не сразу конечно, но ресурс для бота будет включён в чёрный список.
И я использую cloudflare, их защита от ботов реально работает.

Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

31. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +6 +/–

Сообщение от Аноним (31), 30-Апр-25, 09:20

Только их защита не только от ботов  но и от пользователей работает к сожалению.

Ответить | Правка | Наверх | Cообщить модератору

39. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (39), 30-Апр-25, 10:25

Ага. Если случайно попал, пройдя по ссылке - тут же закрыть, не глядя.

Ответить | Правка | Наверх | Cообщить модератору

32. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +3 +/–

Сообщение от anonymous (??), 30-Апр-25, 09:20

> И я использую cloudflare, их защита от ботов реально работает.
Она и от людей защищает. Я заколебался доказывать что не бот при каждом переходе

Ответить | Правка | К родителю #28 | Наверх | Cообщить модератору

51. "Использование zip-бомбы для борьбы с вредоносными web-ботами" –1 +/–

Сообщение от Аноним (50), 30-Апр-25, 10:57

Я всё отдал бы, у меня зеркало Слаквари, но боты весь месячный трафик за пару дней высасывают.

Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

16. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Fbekwbshru (?), 30-Апр-25, 08:48

99% ботов не умеет в сжатие контента

Ответить | Правка | Наверх | Cообщить модератору

25. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +2 +/–

Сообщение от Tron is Whistling (?), 30-Апр-25, 09:03

Есть подозрение, что написаны оные на нодежсах с пыхтонами, которые просто вызовы библиотек "скачай мне это" - там васянская библиотека сама попробует распаковать, с немного предсказуемым результатом.

Ответить | Правка | Наверх | Cообщить модератору

68. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (37), 30-Апр-25, 12:00

> 99% ботов не умеет в сжатие контента
С чего ты взял?

Ответить | Правка | К родителю #16 | Наверх | Cообщить модератору

19. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +1 +/–

Сообщение от Аноним (23), 30-Апр-25, 08:55

глупость какая, если бот распаковывает архив, то он может в заголовке архива посмотреть оригинальный размер содержимого и не распаковывать его

Ответить | Правка | Наверх | Cообщить модератору

22. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +2 +/–

Сообщение от Tron is Whistling (?), 30-Апр-25, 08:58

Там нет "архива" и нет "размера содержимого".
Другое дело, что распаковывать-то надо потоком при закачке, а не всё целиком. Ну или хотя бы лимит распаковщику отдавать.

Ответить | Правка | Наверх | Cообщить модератору

24. "Использование zip-бомбы для борьбы с вредоносными web-ботами" –1 +/–

Сообщение от tty2 (?), 30-Апр-25, 09:01

Вы только заголовок прочитали?

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

52. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от pfg21 (ok), 30-Апр-25, 11:00

в распаковку еще надо внести код учитывающий зип-бомбы :) обычно такого нет.
ибо дать четкое алгоритм, что вот этот архив с сжатием в 5 раз не зип-бомба а вот со сжатием в 10 раз зип-бомба нет.

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

70. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (37), 30-Апр-25, 12:03

Это вообще не проблема, ибо данные распаковываются потоково.
Если после распоковки первой сотни килобайт у тебя там нули или другой мусор вместо <!DOCTYPE..., то дальше можно не продолжать.

Ответить | Правка | Наверх | Cообщить модератору

34. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Соль земли (?), 30-Апр-25, 09:36

> сайт может быть занесён Google в чёрный список
в обход nofollow? тогда ясно кто

Ответить | Правка | Наверх | Cообщить модератору

35. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +3 +/–

Сообщение от Аноним (35), 30-Апр-25, 09:48

Новые Дон Кихоты и Санчо Пансы на борьбу с ботами вышли)
В наш век, нейронки выкачивают через ботов весь интернет.
И здесь двояко - можно постоянно вычислять и запрещать (боты постоянно меняю поведение и подстраиваются под ваши защиты + у каких нибудь дипсиков будут весьма ограниченные знания о вашем сайте/организации), либо искать какой то компромисс и банить только особо безбашенные боты)

Ответить | Правка | Наверх | Cообщить модератору

62. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (62), 30-Апр-25, 11:47

Ну, мой ответ прост - внешний сайт перевести тупо на статику, оставив только приветственную картинку как делают многие китайцы работающие с внешним миром, если не хватает канала - ограничить каждый ip парочкой соединений(чем не гнушается даже гитхаб), можно даже  с шейпингом для особо ретивых, или каптчу по превышении количества запрошенных ресурсов. У меня подобные боты быстро вспоминают, что такое интернет на скорости 2 кбод.
Внутренние рабочие ресурсы для удаленных сотрудников отдавать только с помощью запрещенной к упоминанию технологии из 3 букв.
Мы все же не в 90-еы живем, когда было модно выставлять на улицу всякие скрипты гостевых книг и форумы. Тогда боты больше емайлы собирали для спама, вот для них у меня и были скрытые ссылки на скрипты подготовлены, которые генерировали кучу динамически-рандомных емайлов, по сотне за раз.

Ответить | Правка | Наверх | Cообщить модератору

36. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +2 +/–

Сообщение от Аноним (36), 30-Апр-25, 09:49

Это всё AI-скрейперы, корпорации тренируют модели нового поколения. Ставьте себе Anubis, его создал хитрый жук, и у него есть ещё и хитрый план: https://github.com/TecharoHQ/anubis/discussions/258#discussi...
P.S.: специально посмотрю, удалят ли и этот комментарий, потому, что мои абсолютно безобидные комментарии трут бесжалостно последние полгода как минимум.

Ответить | Правка | Наверх | Cообщить модератору

61. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (-), 30-Апр-25, 11:43

> Это всё AI-скрейперы, корпорации тренируют модели нового поколения.
> Ставьте себе Anubis, его создал хитрый жук,
Еще не хватало этот квази-майнер ставить, беся пользователей. Осталось еще блин начать майнить на пользователях - и тогда боты вообще станут всячески велкам :). А если удалось задетектить бота - и начать майнить на нем дольше и наглее... ммм... так можно и подзаработать даже. На ботах. Если они сдуру JS отрастят.

Ответить | Правка | Наверх | Cообщить модератору

53. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (53), 30-Апр-25, 11:05

Банишь все ASN с type == Hosting и наслаждаешься тишиной на сайте :)

Ответить | Правка | Наверх | Cообщить модератору

63. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (62), 30-Апр-25, 11:50

не все боты живут на бесплатных фермах гугл лабс и амазон.
некоторые уже построены на ботнетах из роутеров и камер с уязвимостями.

Ответить | Правка | Наверх | Cообщить модератору

60. "Использование zip-бомбы для борьбы с вредоносными web-ботами" –1 +/–

Сообщение от Аноним (60), 30-Апр-25, 11:38

> может быть занесён Google в чёрный список
> и начнёт помечаться вредоносным в браузере Chrome с включённым режимом
> "Safe Browsing".
Так это ж вообще не баг а фича. Банит с сервера не только ботов - но и иди0тов с "safe" browsing от spyware corp.

Ответить | Правка | Наверх | Cообщить модератору

64. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (64), 30-Апр-25, 11:51

Я так понимаю речь идёт о конторе Netcup которая долбит тысячами запросов в секунду с разных ipv6 на сайты которые закрыты через клаудфларе.

Ответить | Правка | Наверх | Cообщить модератору

66. "Использование zip-бомбы для борьбы с вредоносными web-ботами" +/–

Сообщение от Аноним (62), 30-Апр-25, 11:54

Вопрос, кто тут еще самый умный буратина:
админы домашнего локалхоста, которые зачем то выпустили свою тушку наружу, без защиты соединения из трех буков,
или админы вебсерверов, получающих за это зарплату, но почему то до сих пор не внедривших защиту от ботов, или не переехавших к надежному хостеру с защитой.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+19 +/–
Сообщение от Аноним (1), 30-Апр-25, 08:17
> так как при случайной индексации подобной ловушки ботом Google > случайной > Google :D)))))))))))))))))))))))))))))))))))))))))))))))))))))))))))
Ответить \| Правка \| Наверх \| Cообщить модератору


	3. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+1 +/–
	Сообщение от Аноним (3), 30-Апр-25, 08:28
	Имелось ввиду, что если накосячишь с настройкой ловушки и она по ошибке сработает для Google Bot, то мало не покажется.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	6. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+5 +/–
	Сообщение от Tron is Whistling (?), 30-Апр-25, 08:29
	У бота гугла до сих пор нет лимитов на размер загружаемого содержимого? П - профессионализм.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	7. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+2 +/–
	Сообщение от Вася (??), 30-Апр-25, 08:35
	так это будет в лимита загрузки, но вне лимита распаковки
	Ответить \| Правка \| Наверх \| Cообщить модератору


	27. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+1 +/–
	Сообщение от Tron is Whistling (?), 30-Апр-25, 09:07
	Распаковка по-хорошему производится по мере загрузки. Никогда не удивляло, что gzip/bzip2/xz/zstd файл для распаковки целиком в память не загружают?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	29. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+/–
	Сообщение от Аноним (29), 30-Апр-25, 09:16
	Пункт 1 на Диком Западе: Шериф всегда прав.
	Ответить \| Правка \| К родителю #1 \| Наверх \| Cообщить модератору

4. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+/–
Сообщение от Tron is Whistling (?), 30-Апр-25, 08:29
Добавят в ботов лимит на размер содержимого, и всё.
Ответить \| Правка \| Наверх \| Cообщить модератору


	10. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+5 +/–
	Сообщение от n00by (ok), 30-Апр-25, 08:39
	Так и лимит на количество запросов могли бы добавить, но чего-то не хватило.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	14. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+/–
	Сообщение от Аноним (3), 30-Апр-25, 08:45
	Новомодные боты лезут с разных IP, не большой 10-20 запросов с одного. Лезут из Китая, Вьетнама, Бразилии. На днях фильтровал AI-ботов и только список /24 подсетей составил около 5000 строк за день. Всего под сотню тысяч разных IP было, непонятно где они их берут, на ботнет не походит.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	46. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	–1 +/–
	Сообщение от n00by (ok), 30-Апр-25, 10:42
	IP разные, а запросы одинаковые, потому и получается фильтровать. 100 тысяч IP, подозреваю, даже особо активный Аноним Опеннет может нагенерировать с двух телефонов.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	50. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+1 +/–
	Сообщение от Аноним (50), 30-Апр-25, 10:54
	Я не особенно активный аноним, но мне очень интересно, как сгенерить 100 000 ipv4 с двух телефонов.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	56. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+/–
	Сообщение от Аноним (3), 30-Апр-25, 11:27
	Запросы все разные, с разных реалистичных User Agent. Боты индексируют разные страницы без повторов и вся свора ботов синхронизирована (видимо задания на загрузку формируются заранее и распределяются). Без штук типа anubis от реальных пользователей их не отличишь.
	Ответить \| Правка \| К родителю #46 \| Наверх \| Cообщить модератору


	69. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+/–
	Сообщение от 678 (?), 30-Апр-25, 12:02
	Почему? боты аля-curl не грузят всякие css, как триггер геморно, но можно. с селениумами сложнее, но в целом тоже можно..половина сайтов современных выдает кучу уведомлений, от куки до рекламы, или около рекламы, так что большая часть страницы перекрывается, бот этот попап закрывать не станет, а юзер да - и если бот посмотрел страницу и ничего не закрыл, то для нового запроса можно бан или последнее китайское, в общем не вижу проблемы.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	11. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	–2 +/–
	Сообщение от Аноним (3), 30-Апр-25, 08:41
	Полный размер становится известен только после распаковки. Отдаётся вполне себе небольшой файл, укладывающийся в лимиты. Степень сжатия в таком файле может быть как 1:10 так и 1:1000000.
	Ответить \| Правка \| К родителю #4 \| Наверх \| Cообщить модератору


	20. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+/–
	Сообщение от Tron is Whistling (?), 30-Апр-25, 08:55
	Не "после", а "во время". Плюс распаковка потоковая, весь контент читать не обязательно. Но это слишком сложно, я понимаю.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	21. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+1 +/–
	Сообщение от Tron is Whistling (?), 30-Апр-25, 08:57
	Хотя в принципе могу понять, считать целиком, потом загнать в распаковку - старая добрая привычка скриптеров, вообще не понимающих, что делают. Им и положено страдать от таких zip-"бомб", пусть страдают :)
	Ответить \| Правка \| К родителю #11 \| Наверх \| Cообщить модератору

5. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	–5 +/–
Сообщение от нитгитлистер (?), 30-Апр-25, 08:29
эмм а что это за содержимое такое на 100 тб? типа набор рандомных случайных данных? или все серии ванписа?))
Ответить \| Правка \| Наверх \| Cообщить модератору


	8. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+8 +/–
	Сообщение от Аноним (8), 30-Апр-25, 08:35
	/dev/zero, написано же
	Ответить \| Правка \| Наверх \| Cообщить модератору


	23. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+2 +/–
	Сообщение от Аноним (23), 30-Апр-25, 08:58
	Рандомные данные плохо сжимаются, хороши сжимаются повторяющиеся данные - в данном случае нули. Архиватор представит 0000....000 виде "0:количество"
	Ответить \| Правка \| К родителю #5 \| Наверх \| Cообщить модератору


	26. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+/–
	Сообщение от нитгитлистер (?), 30-Апр-25, 09:03
	> Рандомные данные плохо сжимаются, хороши сжимаются повторяющиеся данные - в данном случае > нули. Архиватор представит 0000....000 виде "0:количество" о как, понял благодарю
	Ответить \| Правка \| Наверх \| Cообщить модератору

9. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	–3 +/–
Сообщение от qqq (??), 30-Апр-25, 08:37
Когда я лет 7 назад такого бота делал, оно качало только текст и видео/аудио с новостных сайтов. Соответственно всякие zip, gz и тп оно не качало. На некоторых добрых сайтах даже особо разбирать html не нужно было, просто можно было понять как у них систематизированы видео-текст и просто перебирать .../1.html .../1.mp4 или как-то так. И да, robots.txt оно игнорировало, надо же как-то данные для тренировки моделей собирать.
Ответить \| Правка \| Наверх \| Cообщить модератору


	17. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+5 +/–
	Сообщение от Аноним (3), 30-Апр-25, 08:49
	Когда ты запрашиваешь .html сервер отдаёт его тебе сжатым, если браузер выставляет заголовок "Accept-Encoding: deflate, gzip, brotli...", а сервер поддерживает сжатие.
	Ответить \| Правка \| Наверх \| Cообщить модератору

13. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+/–
Сообщение от Аноним (13), 30-Апр-25, 08:44
> На практике предложенный метод применять не рекомендуется, так как сайт может быть занесён Google в чёрный список и начнёт помечаться вредоносным в браузере Chrome с включённым режимом "Safe Browsing". И в чем смысл? Показать какой администратор умный? Не стоило новости.
Ответить \| Правка \| Наверх \| Cообщить модератору


	37. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	–1 +/–
	Сообщение от Аноним (37), 30-Апр-25, 10:03
	> Показать какой администратор умный? Скорее наоборот. Ибо предполагает, что авторы ботов настолько дураки, что не додумаются при потоковой распаковке добавить проверку содержимого, и отбрасывать все, что начинается с этих нулей вместо "<!DOCTYPE html>" и т.п. Наивность метода просто поражает.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	38. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+1 +/–
	Сообщение от Аноним (38), 30-Апр-25, 10:11
	> Ибо предполагает, что авторы ботов настолько дураки Ты и не представляешь насколько...
	Ответить \| Правка \| Наверх \| Cообщить модератору


	43. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	–1 +/–
	Сообщение от n00by (ok), 30-Апр-25, 10:34
	Ну он и не догадался, что после <!DOCTYPE html> можно отправлять пробелы...
	Ответить \| Правка \| Наверх \| Cообщить модератору


	47. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	–1 +/–
	Сообщение от Аноним (37), 30-Апр-25, 10:44
	> Ну он и не догадался, что после <!DOCTYPE html> можно отправлять пробелы... Ну да, ведь остановиться на размере 10-30 мегабайт при потоковой распаковке у ребят ну никак не получиться.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	41. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+/–
	Сообщение от qwe (??), 30-Апр-25, 10:32
	Наивные методы таки работают, хоть и не всегда. Простой пример защиты от спам-ботов: спам-боты часто не видят html-комментарии. Защита банальна: сунуть скрытое поле формы внутрь html-комментария и проверить, кто это поле передаст в post запросе. Браузеры такое поле в тело post запроса не передадут, а боты - вполне, ибо не разбирают DOM-дерево, а юзают регулярки. Не со всеми прокатывает, но со многими.
	Ответить \| Правка \| К родителю #37 \| Наверх \| Cообщить модератору


	42. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+/–
	Сообщение от Аноним (42), 30-Апр-25, 10:33
	Ну забью нулями посередине документа,или другим паттерном легитимного html.
	Ответить \| Правка \| К родителю #37 \| Наверх \| Cообщить модератору


	49. "Использование zip-бомбы для борьбы с вредоносными web-ботами"	+/–
	Сообщение от Аноним (37), 30-Апр-25, 10:49
	> Ну забью нулями посередине документа,или другим паттерном легитимного html. А остановить распаковку на пятом десятке легитимного HTML ну никак нельзя, да?
	Ответить \| Правка \| Наверх \| Cообщить модератору