форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение		[ Отслеживать ]

"Spamassassin и русский язык. Прямая фильтрация по словам."

Сообщение от nightowl (ok) on 06-Ноя-07, 16:23

Доброго всем времени суток ! Вопрос такой, как сделатьчтоб SA всеже реагировал на body            CUST_RUS_SEX            /плохое слово|очень плохое слово/i Дело в том, что когда плохие слова на кирилице, то SA их не замечает :( а латиницей - нормально... парсит когда в windows-1251 приходят письма. ТЕ вопрос в следующем, как SA помочь понимать больше русскоязычных кодировок, не средствами баеса. а прямой фильтрацией ? Спасибо

Высказать мнение | Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Spamassassin и русский язык. Прямая фильтрация по словам."

Сообщение от nightowl (ok) on 08-Ноя-07, 12:14

Неужели никто не сталкивался ? с такой проблемой ?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	2. "Spamassassin и русский язык. Прямая фильтрация по словам."
	Сообщение от anonyous on 09-Ноя-07, 01:29
	>Неужели никто не сталкивался ? с такой проблемой ? Сталкивались. Кстати, в последней версии 3.2.3, кажется, сделана нормализация к Unicod-у. Так вот, она не работает (если ещё не исправили, в чём сомневаюсь) в среде отличной от Unicode. Правда, это легко исправить. Там ещё и флажок есть в конфиге. Включать ли эту нормализацию. В общем, есть чего покопаться. Я как-то у себя это настроил с бубном. Успехов.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	3. "Spamassassin и русский язык. Прямая фильтрация по словам."
	Сообщение от nightowl (ok) on 09-Ноя-07, 10:18
	>>Неужели никто не сталкивался ? с такой проблемой ? > >Сталкивались. Кстати, в последней версии 3.2.3, кажется, Вотож :) "Кажется". UTF-8 не понимает :( > сделана нормализация к Unicod-у. Кстати, а что под "нормализацие" Вы понимаете ? >Так вот, она не работает (если ещё не исправили, в чём сомневаюсь) >в среде отличной от Unicode. Правда, это легко исправить. Путем переписывания Перловых модулей ? >Там ещё и флажок есть в конфиге. Включать ли эту нормализацию. Буду Вам очень признателен, если "тыкнете" где это. >В общем, есть чего покопаться. Спасибо, не сомниваюсь. > >Я как-то у себя это настроил с бубном. Успехов. Честное слово, искренне рад ! Спасибо за пожелание :) Но чтоб не оказалось как у Классиков "Пилите, Шура, пилите они - золотые".
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	4. "Spamassassin и русский язык. Прямая фильтрация по словам."
	Сообщение от anonymous (??) on 09-Ноя-07, 12:35
	Вы уж почитайте там про нормализацию. Она в недавней версии появилась только. В конфиге это выглядит так: normalize_charset 1 Под нормализацией я понимаю вот что. Скажем, слово "реклама", может быть в в разных кодировках. Если нормализации нет, то чтобы его "выловить" пришлось бы писать что-то такое: body __REKLAMA /реклама|то же во второй кодировке|то же в третьей/ в коi8,cp1251,utf-8. Причем //i едва ли будет работать, так что придётся писать [Рр]еклама|РЕКЛАМА ... А когда есть нормализация, достаточно написать в юникоде - /реклама/i.  Spamassassin перекодирует сообщение в юникод и сравнит с регулярным выражением. Если номарлизация выключена (normalize_charset 0), всё работает, только нужно длинные и некрасивые регулярные выражения писать. Если нормализация включена, то у меня, например, просто никогда не находил русских (российских, для политкоректности) слов. Ни в какой кодировке. Если же написать, опять же, это работало только у меня, в файл Plugins/Check.pm "use utf8", то всё переменится к лучшему. Так что, править перловый модуль особо не нужно. >Но чтоб не оказалось как у Классиков "Пилите, Шура, пилите они - золотые". А то нет!
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	5. "Spamassassin и русский язык. Прямая фильтрация по словам."
	Сообщение от nightowl (ok) on 09-Ноя-07, 16:20
	>Вы уж почитайте там про нормализацию. Она в недавней версии появилась только. > >В конфиге это выглядит так: > >normalize_charset 1 > Спасибо, огромное, человеческое. >[оверквотинг удален] >А когда есть нормализация, достаточно написать в юникоде - /реклама/i.  Spamassassin >перекодирует сообщение в юникод и сравнит с регулярным выражением. > > >Если номарлизация выключена (normalize_charset 0), всё работает, только нужно длинные и некрасивые >регулярные выражения писать. >Если нормализация включена, то у меня, например, просто никогда не находил русских >(российских, для политкоректности) слов. Ни в какой кодировке. Если же написать, >опять же, это работало только у меня, в файл Plugins/Check.pm "use >utf8", В результате, на данный момент, у меня распознаются письма только в koi8-r(u) и то только при normalize_charset 0 /usr/local/lib/perl5/site_perl/5.8.8/Mail/SpamAssassin/Plugin/Check.pm вот тут ничего подобного не нашел :( Да и еще, врядли важно, но у меня FreeBSD 6.2. >то всё переменится к лучшему. Так что, править перловый модуль >особо не нужно. > >>Но чтоб не оказалось как у Классиков "Пилите, Шура, пилите они - золотые". > >А то нет!
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	6. "Spamassassin и русский язык. Прямая фильтрация по словам."
	Сообщение от anonymous (??) on 09-Ноя-07, 17:11
	>В результате, на данный момент, у меня распознаются письма только в koi8-r(u) >и то только при normalize_charset 0 Так я и писал. Выхода мне видно два: 1. "normalize_charset 0" и писать регулярные выражения с учетом всех кодировок    (вот пример для koi8 и cp1251: /реклама|ТЕЛМБНБ/) 2. "normalize_charset 1" и писать регулярные выражение в кодировке utf-8    (пример: /реклама/i) Но "из коробки" это сейчас не работает, нужно добавить "use utf8" в этот файл: >/usr/local/lib/perl5/site_perl/5.8.8/Mail/SpamAssassin/Plugin/Check.pm >вот тут ничего подобного не нашел :( Не нашли Вы этого там, потому что это как раз нужно туда добавить. >Да и еще, врядли важно, но у меня FreeBSD 6.2. Как же, не важно, у меня тоже такая.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	7. "Spamassassin и русский язык. Прямая фильтрация по словам."
	Сообщение от Golub Mikhail (ok) on 09-Ноя-07, 19:35
	>[оверквотинг удален] > >>/usr/local/lib/perl5/site_perl/5.8.8/Mail/SpamAssassin/Plugin/Check.pm >>вот тут ничего подобного не нашел :( > >Не нашли Вы этого там, потому что это как раз нужно туда >добавить. > >>Да и еще, врядли важно, но у меня FreeBSD 6.2. > >Как же, не важно, у меня тоже такая. Добавил в /usr/local/lib/perl5/site_perl/5.8.8/Mail/SpamAssassin/Plugin/Check.pm "use utf8;" В конфиге - "normalize_charset 1" Рестарт spamd (version 3.2.3) - ругани нет. Но не реагирует всеравно на такие правила: body            TEST123       /п©яп╬п╡п╣яп╨п╟|проверка/i score           TEST123       1.0 describe        TEST123       Test normalize_charset
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	8. "Spamassassin и русский язык. Прямая фильтрация по словам."
	Сообщение от anonymous (??) on 09-Ноя-07, 19:56
	> body TEST123       /п©яп╬п╡п╣яп╨п╟|проверка/i По-моему, эта строка не является юникод-строкой... Попробуйте так: body TEST123       /п©яп╬п╡п╣яп╨п╟/i И вообще, spamassassin --lint -d Вам в помощь. Больше ничем помочь не могу, конец связи, желаю победы.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	9. "Spamassassin и русский язык. Прямая фильтрация по словам."
	Сообщение от Golub Mikhail (ok) on 09-Ноя-07, 20:07
	>> body TEST123       /п©яп╬п╡п╣яп╨п╟|проверка/i > >По-моему, эта строка не является юникод-строкой... >Попробуйте так: body TEST123       /п©яп╬п╡п╣яп╨п╟/i Пробовал. Изначально так и было. Потом уже добавил /unicode_string|koi8-r_string/i > >И вообще, spamassassin --lint -d Вам в помощь. >Больше ничем помочь не могу, конец связи, желаю победы.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	10. "нормальная нормализация в ненормальной обстановке"
	Сообщение от anonymous (??) on 05-Мрт-08, 18:44
	Вот ещё решил добавить кое-что. Помните люди, бубен не нужен тому, кто владеет ru_RU.UTF-8. Можно ещё добавить в Config.pm это: use utf8; use POSIX qw (locale_h); setlocale(LC_CTYPE,'ru_RU.UTF-8'); чтобы работали регулярные выражения вроде таких: /[а-я][abcekmnopruxy][а-я]/i
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	11. "нормальная нормализация в ненормальной обстановке"
	Сообщение от arkady (??) on 07-Окт-08, 14:46
	Я сделал так: Я добавил в Mail/Spamassassin/Message.pm после use warnings; #=========== use bytes; #=========== в Mail/SpamAssassin/Plugin/Check.pm после use warnings; добавил #===================== use utf8; use POSIX qw (locale_h); POSIX::setlocale(&POSIX::LC_CTYPE,'ru_RU.UTF-8'); #===================== в /etc/mail/spamassassin/local.cf #===================== normalize_charset 1 #===================== Таблицы кодировки utf8 можно найти здесь: http://www.utf8-chartable.de/unicode-utf8-table.pl И еще /i в хексах не работает (по крайней мере у меня не получилось), поэтому скажем русскую букву а я обозначаю как: (\xd0\x90)|(\xd0\xb0)|(\x40)|(\x41)|(\x61) имеется ввиду: А а @ A a а далее исключительно Ваше творчество.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	12. "нормальная нормализация в ненормальной обстановке"
	Сообщение от andribas (ok) on 29-Янв-09, 12:50
	>[оверквотинг удален] >normalize_charset 1 >#===================== > >Таблицы кодировки utf8 можно найти здесь: http://www.utf8-chartable.de/unicode-utf8-table.pl >И еще /i в хексах не работает (по крайней мере у меня >не получилось), поэтому скажем русскую букву а я обозначаю как: (\xd0\x90)|(\xd0\xb0)|(\x40)|(\x41)|(\x61) > >имеется ввиду: А а @ A a > >а далее исключительно Ваше творчество. Сделал первый плагин на русском языке - http://www.gentoo.ru/node/13632 Когда закончу - regexp'ы можно будет писать на русском и правила будут легче.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить	Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]