The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"ИИ как новый вектор атаки на разработчиков ПО"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от opennews (??), 12-Апр-25, 19:37 
Инструменты программирования с поддержкой искусственного интеллекта (ИИ) всё больше влияют на разработку программного обеспечения и приводят к проблеме в безопасности: генерации несуществующих имён пакетов. ИИ модели, как коммерческие, так и с открытые, иногда предлагают код с указанием пакетов, которые не существует. Согласно недавним исследованиям, это происходит в 5.2% случаев у коммерческих моделей и в 21.7% — у открытых моделей...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=63062

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "ИИ как новый вектор атаки на ПО через зависимости"  –8 +/
Сообщение от Аноним (1), 12-Апр-25, 19:37 
Копирую питон-код без особой проверки, смотрю только на `import`ы и на отсутствие всякой херни вроде eval/exec/pickle. Запускаю, выхлопом угощаю модель (дано задание делать кучу детального отладочного вывода). Модель делает новую реализацию кода. Код IO не использует, чистая математика. Повторять до тех пор, пока не заработает. Я в опасности?
Ответить | Правка | Наверх | Cообщить модератору

3. "ИИ как новый вектор атаки на ПО через зависимости"  +1 +/
Сообщение от Аноним (3), 12-Апр-25, 19:40 
А как же автор кода? Вы ему задонатели?
Ответить | Правка | Наверх | Cообщить модератору

5. "ИИ как новый вектор атаки на ПО через зависимости"  +8 +/
Сообщение от Аноним (5), 12-Апр-25, 19:42 
Код IO не использует? Ну это ты так думаешь, а импортированный пакет может делать что угодно
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

16. "ИИ как новый вектор атаки на ПО через зависимости"  +2 +/
Сообщение от Аноним (16), 12-Апр-25, 20:13 
Пакет сначала установить надо...
Ответить | Правка | Наверх | Cообщить модератору

68. "ИИ как новый вектор атаки на ПО через зависимости"  +/
Сообщение от Аноним (68), 13-Апр-25, 05:59 
ИИ: На дурака не нужен нож, ему с три короба наврёшь, и делай с ним что хошь (с)
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

70. "ИИ как новый вектор атаки на ПО через зависимости"  +/
Сообщение от Гуччизавр (ok), 13-Апр-25, 06:08 
В опасности. Так и будешь всю жизнь работать буфером обмена между ллмкой и строкой для ввода кода, а в итоге пенис вместо программы.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

6. "ИИ как новый вектор атаки на разработчиков ПО"  –8 +/
Сообщение от Аноним (6), 12-Апр-25, 19:45 
> Согласно недавним исследованиям, это происходит в 5.2% случаев у
> коммерческих моделей и в 21.7% — у открытых моделей.

Ничего удивительного. Создатели коммерческих моделей хотят ее продать, поэтому заинтересованы чтобы оно работало хорошо, иначе пользователь просто свалит к конкуренту.

А если пользуешься нейронкой, которую обучали непонятными 6оmжами в подвале... то и результат получается в 4 раза хуже.

Ответить | Правка | Наверх | Cообщить модератору

7. "ИИ как новый вектор атаки на разработчиков ПО"  +6 +/
Сообщение от Аноним (7), 12-Апр-25, 19:55 
Сюрприз - коммерческие модели тоже обучаются не элитной интеллигенцией, а нищими кенийцами за еду.
Ответить | Правка | Наверх | Cообщить модератору

14. "ИИ как новый вектор атаки на разработчиков ПО"  +1 +/
Сообщение от Аноним (-), 12-Апр-25, 20:07 
> Сюрприз - коммерческие модели тоже обучаются не элитной
> интеллигенцией, а нищими кенийцами за еду.

"Офигеть! Вас еще и кормят???" (с)

Ну пусть и кенийцами... но результат все равно лучше!
Кто же тогда обучает свободные???

Ответить | Правка | Наверх | Cообщить модератору

17. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от нах. (?), 12-Апр-25, 20:17 
открою страшную тайну - те же самые и теми же руками их обучают.
Просто в шв@6оооодные (ass in free beer) переводят позапрошлые версии моделей.

Поэтому и глючат они больше (глючат они на самом деле тоже одинаково, просто причина глюков - недостаток информации. Более новые модели просто успели больше переварить.)

Ответить | Правка | Наверх | Cообщить модератору

8. "ИИ как новый вектор атаки на разработчиков ПО"  +1 +/
Сообщение от keydon (ok), 12-Апр-25, 19:57 
Точнее создатели коммерческой модели заинтересованы её продать, а не чтобы работало хорошо.
В том числе заказывают исследования ради этого. Но ты не переживай, потребляй, спи, подчиняйся.
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

12. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (-), 12-Апр-25, 20:04 
> Точнее создатели коммерческой модели заинтересованы её продать, а не чтобы работало хорошо.

Практически всё идет как сервис по подписке. Ну круто, на месяц ты ее продать сможешь.
А дальше что?

> В том числе заказывают исследования ради этого.
> Но ты не переживай, потребляй, спи, подчиняйся.

У... опять нехорошие корпорасты потаются очернить вяликий и прякрасный попенсорс!

Ответить | Правка | Наверх | Cообщить модератору

32. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от keydon (ok), 12-Апр-25, 21:38 
> Практически всё идет как сервис по подписке. Ну круто, на месяц ты
> ее продать сможешь.
> А дальше что?

Да то же самое что всю жизнь корпораты делали под другим соусом.
-Мы все исправили. Честно.
-Теперь мы точно все исправили, мамой клянусь.
-Только наш сервис интегрирован с монополистнеймом.
-У нас акция. Пакетом скидка.
-Бесплатно, но мы все равно поимеем с вас денег.
И т.д. и т.п.

> У... опять нехорошие корпорасты потаются очернить вяликий и прякрасный попенсорс!

Всю жизнь пОтались и вдруг передумали!

Ответить | Правка | Наверх | Cообщить модератору

53. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (53), 13-Апр-25, 01:06 
Опенсорс в 2025 на 99% делают корпорации. Смотри в код крупных проектов. Добро пожаловать.
Ответить | Правка | Наверх | Cообщить модератору

34. "ИИ как новый вектор атаки на разработчиков ПО"  +1 +/
Сообщение от Аноним (34), 12-Апр-25, 21:45 
> Ну круто, на месяц ты ее продать сможешь. А дальше что?

А дальше заказываешь исследование, которое покажет, что новая версия работает успешно в 21.7% случаев по сравнению с 5.2% у старой, и все покупатели бегут продлять подписку.

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

54. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (53), 13-Апр-25, 01:08 
У всех больших моделей результаты исследований открыты. Повтори, проверь (хинт: проверяли).
Ответить | Правка | Наверх | Cообщить модератору

63. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (34), 13-Апр-25, 04:18 
И? Вопрос-то был в том, что будет через месяц. Ответ - все побегут продлять подписку.
Ответить | Правка | Наверх | Cообщить модератору

9. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (9), 12-Апр-25, 19:57 
Gpt4o коммерческая модель, но дичи она генерировала не меньше опенсорсного шлака. Кроме того, большинство решений, предлагаемых ей, предполагают использование десятки лет назад умерших проектов.
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

11. "ИИ как новый вектор атаки на разработчиков ПО"  –3 +/
Сообщение от Аноним (-), 12-Апр-25, 20:02 
> Gpt4o коммерческая модель, но дичи она генерировала не меньше опенсорсного шлака.

Именно поэтому ею практически никто и не пользовался, а сейчас используют Claude или OpenAI o1. Это как раз именно то, о чем я пишу - если твоя llm kakaxa - то перейдут к конкурентам.
А на шво6oдных llm особо и переходить некуда.

Ответить | Правка | Наверх | Cообщить модератору

25. "ИИ как новый вектор атаки на разработчиков ПО"  +1 +/
Сообщение от Аноним (25), 12-Апр-25, 20:54 
> Gpt4o коммерческая модель, но дичи она генерировала не меньше опенсорсного шлака

Я помню такая программка была, чат Алиса вроде, в 95. Весила пару килобайт.
Весь код это текст чатов типичных.
С возможностью обучения, те на основан твоих ответов языковая модель совершенствовалась.
И можно общатся типа в чате, но без интернета.
Вот GPT, 95.

Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

55. "ИИ как новый вектор атаки на разработчиков ПО"  –1 +/
Сообщение от Аноним (53), 13-Апр-25, 01:11 
Говорилки из 90х юзали либо цепи Маркова, либо тупо генератор. Надо объяснять, чем это отличается от нейросети?
Ответить | Правка | Наверх | Cообщить модератору

60. "ИИ как новый вектор атаки на разработчиков ПО"  +2 +/
Сообщение от Аноним (60), 13-Апр-25, 02:12 
Я объясню - Все в духе последнего десятилетия - дорого, масштабно, сложно, много тепла и ядер, а результат такой же дурацкий как после цепочек Маркова.
Нейронки тоже уметь использовать надо и это не для логики и программирования. Надо объяснять почему?
Ответить | Правка | Наверх | Cообщить модератору

65. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (25), 13-Апр-25, 05:47 
> цепи Маркова, либо тупо генератор. Надо объяснять, чем это отличается от нейросети?

Нейросеть это много цепей Маркова.
Флешка это много Ssd.

Ответить | Правка | К родителю #55 | Наверх | Cообщить модератору

13. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (13), 12-Апр-25, 20:07 
>пример того, как злоумышленники используют ИИ

И это только начало.
https://en.wikipedia.org/wiki/Artificial_Intelligence_Act

Ответить | Правка | Наверх | Cообщить модератору

23. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (25), 12-Апр-25, 20:43 
>пример того, как злоумышленники используют ИИ

И будет тебе звонить спам GPT, и может это делать 24/7 365,человека хоть послать можно, или пошутить.
Или какой нибудь интернет магазин, интернет провайдер, вместо решения вопроса будет говорить что ваша проблема рассматривается.
Но в случае с GPT, можно пожаловаться тостеру.

Ответить | Правка | Наверх | Cообщить модератору

18. "ИИ как новый вектор атаки на разработчиков ПО"  +5 +/
Сообщение от Аноним (18), 12-Апр-25, 20:22 
Вайбкодеры хуже любых хипстеров.
Ответить | Правка | Наверх | Cообщить модератору

19. "ИИ как новый вектор атаки на разработчиков ПО"  +1 +/
Сообщение от Аноним (19), 12-Апр-25, 20:34 
> ИИ модели, как коммерческие, так и с открытые, иногда предлагают код с указанием пакетов, которые не существует. Согласно недавним исследованиям, это происходит в 5.2% случаев у коммерческих моделей и в 21.7% — у открытых моделей.

Чисто для статискики, а какой процент ошибок от человеческой очепятки?

Ответить | Правка | Наверх | Cообщить модератору

26. "ИИ как новый вектор атаки на разработчиков ПО"  –1 +/
Сообщение от Аноним (13), 12-Апр-25, 21:02 
Проверяй:
https://chat.mistral.ai/chat
Ответить | Правка | Наверх | Cообщить модератору

38. "ИИ как новый вектор атаки на разработчиков ПО"  +1 +/
Сообщение от Аноним (38), 12-Апр-25, 22:07 
Ну на каком матерале обучили.
Ответить | Правка | Наверх | Cообщить модератору

62. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (62), 13-Апр-25, 02:44 
Что проверяй? Я чат ботами пользоваться не хочу.
Если бы эти статисты посчитали бы и процент человеческих ошибок оказалось бы что "ии" не так уж и плох и в сравнении с погромистом в пятницу генерит не такой уж и бредовый код)
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

21. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (25), 12-Апр-25, 20:40 
Да еще всякие фитнес тренеры, жалуются что клиенты забивают запрос и он (ИИ), составляет им план питания тренировок.
Ответить | Правка | Наверх | Cообщить модератору

30. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (9), 12-Апр-25, 21:36 
> Да еще всякие фитнес тренеры, жалуются что клиенты забивают запрос и он
> (ИИ), составляет им план питания тренировок.

Кстати это норм работает. Ну просто там всё достаточно элементарно, а все эти "профессиональные нутриционисты" поразительно безграмотные, разобраться что к чему не так и сложно. Food data central в помощь.

Ответить | Правка | Наверх | Cообщить модератору

67. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (25), 13-Апр-25, 05:55 
> Кстати это норм работает. Ну просто там всё достаточно элементарно, а все эти "профессиональные нутриционисты" поразительно безграмотные, разобраться что к чему не так и сложно. Food data central в помощь.

Да всякие домохозяйки уже рекламируют курсы, как создавать карточки для маркетплейсов в ИИ, какой запрос вводить.
Наверное очень сложно.

Ответить | Правка | Наверх | Cообщить модератору

35. "ИИ как новый вектор атаки на разработчиков ПО"  –1 +/
Сообщение от Аноним (34), 12-Апр-25, 21:47 
И что, помогают планы тренировок, составленные ИИ? Или пока непонятно, пока просто сэкономили на тренерах, а к тому времени, как станет понятно, про ИИ уже все забудут.
Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору

37. "ИИ как новый вектор атаки на разработчиков ПО"  +1 +/
Сообщение от Аноним (37), 12-Апр-25, 22:03 
Ты видел хотя бы одного выполняющего планы тренировок?

Почему не сработал план?

Да ты его не выполнил!

Ответить | Правка | Наверх | Cообщить модератору

43. Скрыто модератором  +/
Сообщение от Аноним (25), 12-Апр-25, 23:01 
Ответить | Правка | К родителю #35 | Наверх | Cообщить модератору

48. "ИИ как новый вектор атаки на разработчиков ПО"  +1 +/
Сообщение от нах. (?), 12-Апр-25, 23:59 
планы - может и помогают (хотя их и без ии составить не большая проблема)

вовремя заметить что ты не умеешь делать упражнение и вместо него делаешь в лучшем случае х-ню а в худшем нечто травмоопасное - никакой ии не поможет, но и не всякий тренер тоже.

Если фигняс тренер умеет только первое - ну может переквалифицироваться в управдомы.

Ответить | Правка | К родителю #35 | Наверх | Cообщить модератору

69. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (25), 13-Апр-25, 06:02 
> хотя их и без ии составить не большая проблема

Да насамом деле несложно просто ввести в поиске в интернете почитать, и самому составить.
Но там статья что фитнес тренеры жалуются, раньше они составляли планы тренировок ( с помощью ИИ ), а теперь, клиенты сами создают себе план тренировок с помощью ИИ, фитнес тренеры теряют, ведь клиенты используют то что используют фитнес тренеры.

Ответить | Правка | Наверх | Cообщить модератору

41. "ИИ как новый вектор атаки на разработчиков ПО"  +1 +/
Сообщение от нах. (?), 12-Апр-25, 22:24 
Есть, есть польза и от ИИ! Просто оставлю это здесь, наслаждайтесь: https://pbs.twimg.com/media/GoWy2hPXwAA1zcO.jpg

Ответить | Правка | Наверх | Cообщить модератору

47. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (-), 12-Апр-25, 23:52 
Я-то надеялся что-то весёлое выйдет, а получилось вот это:

Sticking any body part, including a penis, into the Large Hadron Collider (LHC) would be extremely dangerous and is not advisable under any circumstances. The LHC is a complex scientific instrument designed to accelerate particles to near the speed of light and collide them to study fundamental physics.

If someone were to attempt to insert a body part into the LHC, it could result in severe injury or death due to the high-energy environment, radiation, and the potential for mechanical hazards. Additionally, the LHC is a highly controlled facility, and unauthorized access is strictly prohibited for safety and security reasons.

It's important to respect scientific equipment and understand the risks associated with high-energy physics experiments.

Ответить | Правка | Наверх | Cообщить модератору

49. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от нах. (?), 13-Апр-25, 00:15 
> Я-то надеялся что-то весёлое выйдет, а получилось вот это:

но ЦЕРН ВООБЩЕ ничего ему не ответил!!!

(кстати - попроси уточнить, как обойти охрану)

Ответить | Правка | Наверх | Cообщить модератору

45. "ИИ как новый вектор атаки на разработчиков ПО"  +2 +/
Сообщение от Аноним (45), 12-Апр-25, 23:45 
В нормальном мире это был бы знак, что надо прекращать использовать ии. Но нет, мы в не нермальном мире живем. Эта зараза (ии, раст и т.д) продолжит разрастаться.
Ответить | Правка | Наверх | Cообщить модератору

50. Скрыто модератором  +/
Сообщение от Аноним (-), 13-Апр-25, 00:18 
Ответить | Правка | Наверх | Cообщить модератору

66. Скрыто модератором  +/
Сообщение от Аноним (25), 13-Апр-25, 05:51 
Ответить | Правка | Наверх | Cообщить модератору

61. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (61), 13-Апр-25, 02:39 
Ну с растом всё понятно, не все доросли ещё. А с ИИ что не так? Экономит кучу времени при кодинге, особенно на языках, которые успел уже подзабыть. Я-то знаю, как примерно должен выглядеть результат, который мне нужен. Модель всяко быстрее печатает чем я, а уж всякую фигню типа переписывания кусков кода чтобы на выходе получать чуть изменённую структуру данных чатгопота мне и вовсе ни разу ещё не запорола. Что там кто вайбит меня мало заботит, факт что задачи на которые у меня уходило по полдня я теперь за час могу решить. А что там другим танцорам мешает это к ним вопросы.
Ответить | Правка | К родителю #45 | Наверх | Cообщить модератору

46. Скрыто модератором  +3 +/
Сообщение от Аноним (46), 12-Апр-25, 23:51 
Ответить | Правка | Наверх | Cообщить модератору

51. Скрыто модератором  +1 +/
Сообщение от нах. (?), 13-Апр-25, 00:18 
Ответить | Правка | Наверх | Cообщить модератору

52. Скрыто модератором  +/
Сообщение от Аноним (-), 13-Апр-25, 00:31 
Ответить | Правка | Наверх | Cообщить модератору

57. "ИИ как новый вектор атаки на разработчиков ПО"  +1 +/
Сообщение от 12yoexpert (ok), 13-Апр-25, 01:45 
скам теперь и на опеннет
Ответить | Правка | Наверх | Cообщить модератору

58. "ИИ как новый вектор атаки на разработчиков ПО"  +2 +/
Сообщение от Аноним (60), 13-Апр-25, 01:48 
Неправильный и дезинформирующий заголовок новости - причем тут разработчики ПО?
Ведь содержании статьи речь идет про питонистов, а они не разработчики ПО.
Ответить | Правка | Наверх | Cообщить модератору

64. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (64), 13-Апр-25, 04:21 
ТОНКО
Ответить | Правка | Наверх | Cообщить модератору

59. "ИИ как новый вектор атаки на разработчиков ПО"  +/
Сообщение от Аноним (59), 13-Апр-25, 01:58 
А прикинь к тебе сосед который новостей на опеннете обчитался домой придет и от рута рм-рф сделает
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру