The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Выпуск системы машинного перевода OpenNMT-tf 2.30"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск системы машинного перевода OpenNMT-tf 2.30"  +/
Сообщение от opennews (??), 13-Дек-22, 07:21 
Опубликован выпуск системы машинного перевода OpenNMT-tf 2.30.0 (Open Neural Machine Translation), использующей методы машинного обучения.  Код развиваемых проектом OpenNMT-tf модулей написан на языке Python, использует библиотеку  TensorFlow и распространяется  под лицензией MIT...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=58316

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по ответам | RSS]

1. Сообщение от Аноним (1), 13-Дек-22, 07:21   +7 +/
каталанский особенно важен
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #22, #41

3. Сообщение от Аноним (3), 13-Дек-22, 07:31   –2 +/
Как и все, что касается нейросетей, данная технология доступна только NVIDIA-господам. А AMD-бедолагам остается только запускать GTA_V.exe, потому что ни на что другое их затычки рассчитаны и не были.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #13, #20, #21, #27, #35

10. Сообщение от Бывалый смузихлёб (?), 13-Дек-22, 08:17   +/
И что, если в каком-то языке появится новое слово или фразеологизм, нейросеть полностью перегонять, причём, для всех языков ?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #17, #37, #57

13. Сообщение от Аноним (13), 13-Дек-22, 08:31   +/
TensorFlow 2 ROCm ? не?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3

17. Сообщение от BeLord (ok), 13-Дек-22, 10:00   +3 +/
Не спеши, она еще старые слова не освоила-))
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10

18. Сообщение от Анонус (?), 13-Дек-22, 10:02   +/
Немного о компании SYSTRAN

> The company was established in La Jolla in California to work on translation of Russian to English text for the United States Air Force during the Cold War.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #29

19. Сообщение от Аноним (20), 13-Дек-22, 10:33   +/
>можно самостоятельно сформировать модель

Дэйтацентр сначала купить придётся.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #28, #30

20. Сообщение от Аноним (20), 13-Дек-22, 10:34   +3 +/
>NVIDIA-рабам

Пофиксил.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3

21. Сообщение от Аноним (20), 13-Дек-22, 10:36   +/
>Как и все, что касается нейросетей

inference на CPU вполне доступен, благодаря onnxruntime (осторожно, телеметния от Microsoft).

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #26

22. Сообщение от Аноним (22), 13-Дек-22, 10:37   +/
Native speakers    4.1 million (2021)
Total number of speakers: 9.2 million
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #23

23. Сообщение от YetAnotherOnanym (ok), 13-Дек-22, 11:21   +2 +/
С такой логикой на первом месте должен быть китайский.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22 Ответы: #24, #25

24. Сообщение от Аноним (24), 13-Дек-22, 11:23   +/
Именно. В США же во время Холодной войны учили русский.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23

25. Сообщение от Аноним (22), 13-Дек-22, 12:19   +/
Это опенсорс, детка. Возьми и добавь.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23

26. Сообщение от anonymous (??), 13-Дек-22, 13:41   +/
> осторожно, телеметния от Microsoft

Что за телеметрия в ONNX?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21

27. Сообщение от Без аргументов (?), 13-Дек-22, 14:09   +/
Вы имеете в виду, что эффективность питоноскриптов такова, что для их работу нужен минимум RTX 3090Ti?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3

28. Сообщение от Аноним (28), 13-Дек-22, 14:22   +/
Да нет. Выбросить все эти флоу, оптимизировать алгоритмы и запустить на Pentium 4.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #47

29. Сообщение от Бывалый смузихлёб (?), 13-Дек-22, 14:43   +/
> to work on translation of Russian to English tex
> Модели подготовлены для английского, немецкого и каталанского языков,
> для остальных языков можно самостоятельно сформировать модель

Выглядит как практически легендарный распил, ещё и с каталонским!

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18 Ответы: #38

30. Сообщение от Аноним (30), 13-Дек-22, 15:36   +1 +/
> Дэйтацентр сначала купить придётся.

А просто Дэйта - сгодится? Или обязательно его центр нужен?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

34. Сообщение от Аноним (34), 13-Дек-22, 16:27   +/
Господа, небольшой оффтоп, но может кто подскажет нормальный бесплатный OCR? Про tesseract я знаю - его использовать невозможно без лютой ручной предобработки изображений.
Есть дохрена коммерческих систем, которые отлично работают вообще без каких-либо настроект, есть что-то похожее в нашем опенсорсном мире?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #43, #44, #48, #63

35. Сообщение от commiethebeastie (ok), 13-Дек-22, 17:07   +/
PyTorch и Tensorflow работают на ROCm.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3

37. Сообщение от Аноним42 (?), 13-Дек-22, 17:36   –4 +/
Нейросеть хотя бы можно обучить или переобучить
А вот живых переводчиков…

Возьми переводы выполненные переводчиками советской школы и ужаснись, они переводили не зная реалий других стран и не понимая многих слов, у них то гамбургер переброшен через плечо(реальный пример), то старина Джон Баптист, то еще какая дичь. И они были совершенно необучаемы

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10 Ответы: #39, #64

38. Сообщение от Аноним42 (?), 13-Дек-22, 17:47   –4 +/
Когда кажется дуршлагом накрываться надо
Если ты сходишь на сайт проекта OPUS(https://opus.nlpl.eu/), то обнаружишь, что среди баз текстов на которых можно обучать просто уже была готовая база каталонского правительства, есть база, есть на чем учить
Сделай аналогичную готовую на русском или на урду, будут учить на них
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29

39. Сообщение от Бывалый смузихлёб (?), 13-Дек-22, 17:52   –1 +/
Это единичные случаи. То, что в отдельных странах отдельные писатели загаживали свой язык и он всё больше из литературного превращался в помойку - это, всё-таки, не совсем проблема переводчиков
Тем более, что их полно разных. Там на каждую сферу и отрасль - по собственному переводчику надо

Тогда как повсеместное применение нейросетей на грани уместности вызывает всё больше мыслей, что куда-то не туда оно движется
То с переводами, когда на каждый чих всё полностью заново переобучай на огромных выборках, то - с управлением авто( хотя алгоритмы там совершенно чёткие и нейросеть реально годится разве что на классификацию объектов ), а потом репу чешут, почему же из-за мусорного бака авто сбило человека

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37 Ответы: #42, #52

41. Сообщение от Аноним (41), 13-Дек-22, 18:30   +1 +/
Как видишь, оказался достаточно важным для кого-то, вот и добавили. Был бы ты в той команде, может быть и русский добавили бы, но ты туда почему-то не попал. Не знаешь почему?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #53

42. Сообщение от Аноним (41), 13-Дек-22, 18:35   +1 +/
> отдельные писатели загаживали свой язык

Типичное мнение людей, не знающих толком ни одного языка, даже родного. Филологов от этих бредовых фантазий про какой-то «литературный», и уж тем более «чистый», «незагаженный» язык избавляют на первом курсе.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #39

43. Сообщение от mikhailnov (ok), 13-Дек-22, 18:37   +/
imagemagick перед tesseract. Например, сократить кол-во цветов в изображении помогает распознавать скриншоты.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34 Ответы: #45

44. Сообщение от mikhailnov (ok), 13-Дек-22, 18:39   +/
scantailor хорош
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34

45. Сообщение от Аноним (34), 13-Дек-22, 18:41   +/
Скриншоты - возможно, но у меня на входе фотографии печатного текста. Они могут быть разного размера, с разной освещённостью, искривлёнными  и даже на разном фоне (не только чёрное на белом, но и зелёное на синем, например
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #43

46. Сообщение от Ддд (?), 13-Дек-22, 18:55   +/
А есть чтото просто без заморочек что поставить и подрубить для перевода?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #49, #51

47. Сообщение от Аноним (41), 13-Дек-22, 19:01   +/
Займись, озолотишься. Я как раз для клиента достраиваю пайплайн для тренировки нейросети. С его объёмами цены на аренду железа кусаются что на AWS, что на GCP, что на Azure, и это ещё до затрат на хранение и передачу. Инвесторы, конечно, раскошелятся в итоге, что делать, но куда лучше было бы сэкономить и не слушать это нытьё. Вторую неделю на митингах мусолим одно и то же, а дешевле не выходит. Ну что, возьмёшься? Считай, первый контракт в кармане, я договорюсь.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #28

48. Сообщение от Аноним (41), 13-Дек-22, 19:06   +/
Среди опенсорсных систем, Tesseract — лучшая. Так что если нет денег на ручную предобработку, бери коммерческую, дешевле выйдет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34 Ответы: #58

49. Сообщение от Аноним (41), 13-Дек-22, 19:07   +1 +/
https://translate.google.com. Вообще никаких заморочек.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #46

51. Сообщение от Аноним42 (?), 13-Дек-22, 21:39   +/
https://www.deepl.com/translator
https://translate.google.com/
https://translate.yandex.kz/
https://www.reverso.net/
https://www.bing.com/translator

Выбирай! Правда последний если использовать, то начинают вылезать из могил мои преподы из ин.яза имени Добролюбова и обещают убить авторов лопатой

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #46 Ответы: #60

52. Сообщение от Аноним42 (?), 13-Дек-22, 21:48   –2 +/
Когда появляется человек, который говорит про «загаживание языка» я понимаю, что передо мной клинический идиот которого выгнали из школы

Живой язык развивается, вбирает в себя слова из других языков, образовывает новые, отбрасывает старые или меняет им смысл
Мертвый язык лежит на полочке и никуда уже не торопится, не «загрязняется»

Я не понимаю почему больше всего в языки любят лезть такие, как ты, персонажи с 3 классами образования ЦПШ

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #39 Ответы: #56

53. Сообщение от Аноним (53), 13-Дек-22, 22:39   +1 +/
Возможно потому, что проект - говно, не интересное даже команде авторов? Выпустить систему машинного перевода только для пары языков, это надо очень сильно не любить то, что делаешь.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41 Ответы: #54

54. Сообщение от Аноним (41), 13-Дек-22, 23:02   +/
Тогда к чему претензии? К тому, что забыли с анонимами на опеннете посоветоваться?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #53

56. Сообщение от Бывалый смузихлёб (?), 14-Дек-22, 14:41   –1 +/
Конечно-конечно, надо скатываться в самые днищенские слегновые помойки конкретного района чтобы.. а чтобы что ?

"Живой язык" и помойный сленговый говор - разные вещи. Даже в разных жилых кварталах одного района одного города говор может быть чуть разным, но это не делает его индивидуальным и уникальным - это лишь говорит о том, что власти откровенно вертели какие-либо ценности и идентичность отдельного народа.

Поэтому, в той же финляндии, есть целая структура по разбору и борьбе с иноязом, а в сша - целые кварталы, которые говорят на ломанном испанском

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #52 Ответы: #59

57. Сообщение от Vasya definitely Vasyaemail (?), 14-Дек-22, 15:23   +/
... зависит, видимо, от контекста употребления этого нового фразелогизма т.е. если он появился в том же контексте, что и известное слово, то перевод будет аналогичным + разумеется без переобучения.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10

58. Сообщение от Аноним (58), 14-Дек-22, 15:51   +/
Не лучшая. К тому же, гулаг зажал готовые натренированные модели, которые можно сразу использовать, поэтому толку от него не много. То, что он ищет, это PaddleOCR, но там тоже проблемы с моделями будут.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #48

59. Сообщение от Аноним42 (?), 14-Дек-22, 17:24   –2 +/
При чем тут «слэнговые помойки», вася?
И, да, слэнги это такие же говоры и диалекты языка, как все остальные
Вот есть московский говор, который при совке объявили русским литературным(по сути это не русский литературный, а просто официальный российский диалект русского языка), а есть куча других говоров и они равнозначны для языка, для специалистов, а у таких, как ты выпускников ЦПШ вызывают горение нижней дупы

Я приводил пример, что совковые переводчики не знали что такое гамбургер, а ты сразу на свои родные помойки собрался

Совковая «переводческая школа» это были не переводчики, это были пересказчики по мотивам, они не знали языков, с их знаниями невозможно было говорить ни с кем из носителей
Посмотри переводы сделанные совковыми переводчиками текстов Толкина. Толкин — один из ведущих мировых лингвистов был, человек который писал на исключительном английском, в ряде текстов с архаикой, в ряде текстов без нее, в зависимости от потребности. Он в реальной жизни использовал архаичные выражения, потому что так думал. И потом смотрим одного из лучших, по мнение советской переводческой школы, советских горе-переводчиков по фамилии Муравьев. И волосы встают дыбом. Муравьев примерно половину текста не понял слов и придумывал все сам

Ох. Ну давай про финский поговорим, заодно про немецкий и французский. Языки бывают разные и развиваются они разными способами. Финский, немецкий и последние 100 лет французский(с французским это сделано искусственно) развиваются созданием собственных слов на каждый пук. Русский, английский, мандарин, украинский, польский и многие другие развиваются заимствованиями. В современном русском 75% примерно слов это когда-то заимствованные слова, а не пришедшие из общевосточнославянского. А в отдельных диалектах и говорах русского языка(например в том русском который является официальным в штате Нью-Йорк) может быть и больше этих 75%. И ситуация с финским, и ситуация с русским не хороша и не плоха, это просто естественные процессы

Все самое плохое с языками случается, когда вот такие васи, как ты, с образованием в 3 класса ЦПШ, да еще наслушавшись Зада Орного, лезут в язык. Ребята, вы говорите и пишите на нем плохо, а учите, как ему надо развиваться. Он как-то вон развился из общевосточнославянского, живет, как и другие восточнославянские языки пока что, помирать планирует не ранее, чем лет через 300. А вы все лезете и считаете, что ваше мнение кому-то нужно

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #56 Ответы: #61

60. Сообщение от Аноним (58), 14-Дек-22, 17:34   +/
Бинг кстати точнее остальных в списке переводит и не встречал такого что внезапно начинает гнать пургу и надо 10 раз обновить страницу. Особенно дипл плох, гт на втором месте. Яндекс просто надмозг, как и промпт. Ничего даже близко похожего на оригинальный смысл не будет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #51 Ответы: #62

61. Сообщение от Бывалый смузихлёб (?), 14-Дек-22, 17:52   +/
> При чем тут «слэнговые помойки», вася?

Бугуртом удовлетворён. Но читать это я, разумеется, не буду
А после фразы про "совок" - так цена твоя - не боле чем у мусора на обочине или у какляцкой свинины под Артёмовском( Бахмутом ) :)
Усирайся и далее в одиночестве, какол. За тобой однажды придут :))))

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #59

62. Сообщение от Аноним (63), 15-Дек-22, 12:19   +/
Дай ка угадаю. Просто у тебя тематика более подходящая под бинг, вот тебе так и кажется.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #60

63. Сообщение от Аноним (63), 15-Дек-22, 12:21   +1 +/
Tensorflow, Torch. Без заморочек не получится. Моделей просто море. Но подойдут ли они тебе? Скорее всего нет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34

64. Сообщение от анон (?), 15-Дек-22, 16:02   +1 +/
>выполненные переводчиками советской школы

Возьми переводы выполненные переводчиками англосакской школы и ужаснись.
Настолько ущербно переводить советские научные статьи еще уметь надо, а ведь у них горело с того, что они переводить не успевали, а ценные знания им позарез нужны были.
А худ литература в совке переводилась куда лучше, у твена выкинули всю чернуху, ты не седеешь со всех зверств в этих детских книгах.

Я свои науные статьи так и учился на инглиш переводить, брал оригиналы того же ландау, и смотрел оригинальные переводы, с самых ранних, там сразу видно днище забугорных коллег.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37 Ответы: #66

66. Сообщение от Ыеуз0email (?), 20-Дек-22, 06:41   +/
Ваше интересно, конечно. Наглосаксы устроили так со своими подельниками, что чуть более, чем вся отечественная наука не только стала грантовой, но ещё и обязана печататься в ихних журналах, на ихнем же языке. Иначе рейтинх не заработать, авторитет на цитируемости не заиметь, т.е. бабла не заработать.
--
Оффтоп, но чота приспичило написать это.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #64


Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру