Как объективно и самостоятельно оценить качество перевода по 5-бальной шкале за 4 простых шага? [Пояснение + шаблон модели]

«Меня система оценки перевода устраивает, все логично и честно».
Марина Мельникова, стажёр-переводчик, одна из первых испытала модель в деле

На тему стандартов качества переводов уже сломано столько копий, голов и мозгов, что что бы я сейчас ни написал, скорее всего я изобрету велосипед. И всё же, за 20 лет практики я пришел к выводу, что ни алгоритм исполнения (1 переводчик + 1 редактор + 1 корректор), ни мудрёные классификации  категорий и значимости ошибок (о них ниже) не гарантируют безупречного исполнения.

В 2007 году я столкнулся впервые с моделью оценки LISA — пришел заказ на оценку стороннего перевода. Если память не изменяет, там нужно было на  1000 слов выловить все ошибки, и рассортировать их по 7 категориям:

1. смысловая,
2. терминологическая,
3. грамматическая,
4. пунктуационная,
5. орфографическая,
6. стилистическая;
7. локализационная. 

Затем каждой ошибке надо было присвоить свой вес:

• критичная, 
• грубая, 
• незначительная, 
• вкусовая. 

Оценка качества по этой модели превращается в очень трудозатратный, неблагодарный и дорогой академический экзерсис, который впрочем тоже не дает гарантий получения, например, качественного рекламного перевода, где вынужденная игра слов или выправление косяков автора будут приводить к снижению или балла, или реального качества перевода (особенно, если проверяющий неопытный и следует требованиям формально).

Кроме того, проверяющий (а это обычно специалист высокой квалификации, который был бы полезнее на проекте) расходует своё время нерационально, тратя время на описание ошибок в заведомо неудачном предложении — если перед ним подстрочник, ему приходится объяснять ещё и другие ошибки, которые уже не имеют никакого значения.

И, наконец, я часто сталкивался, что бюро переводов, работающие по этой модели, обещают нереалистичные цифры — например, что на 1000 слов у них будет только 4 штрафных балла (т.е. 4 незначительных ошибки, типа пропущенной спорной запятой, на 4 страницы). Можете резать меня на куски — я не видел ни одного перевода, который отвечал бы таким критериям. Другое дело, что редактор каких-то недочётов не видит, но это уже вопрос квалификации редактора.

Все эти грустные размышления и некий тупик в обсуждении с клиентами внятных, измеряемых гарантий качества привели меня к тому, что надо изобретать свой велосипед по оценке качества.

Прежде чем я его опишу пошагово, я поясню, как в моём понимании выглядит процесс перевода профессиональным переводчиком.

Этот процесс я разбиваю на следующие этапы, которые следуют один за другим и ни в коем случае не должны накладываться друг на друга:

1. Понимание идеи/мессиджа автора на языке оригинала.
2. Пересказ идеи на языке перевода + проверка полноты пересказа.
3. Проверка терминологии.
4. Полировка пересказа таким образом, чтобы он был понятен с первого прочтения.
5. Отсечение лишнего + корректировка эмоциональной окраски (для творческих, рекламных переводов).

Почему этапы не должны накладываться друг на друга? — Потому что, если вы начнете переводить, не поняв до конца, что имел в виду автор — вы либо сделаете подстрочник, либо просто напишете чушь.

Почему не надо фильтровать термины, пока не перенес весь смысл? — Потому что это будет попыткой усидеть на двух стульях — и за однородностью терминов не уследите, и смыслы пропустите.

Почему не надо отсекать лишнее, пока фраза не отполирована? — Потому что при полировке у вас фраза ещё сто раз поменяется, а отсечение лишнего — трудоемкий процесс, просто сделаете двойную работу.

Почему именно в таком порядке? — Потому что, если переводчик сделал офигенно гладкий перевод, всё вычистил, вылизал, но неверно понял мысль автора — то все его старания не стоят ровным счётом ничего.

В общем, надеюсь, убедил, если не убедил, но хотите обсудить — пишите в личку.

Далее.
Я предлагаю давать оценку переводу в зависимости от ценности, который он собою представляет, и трудозатрат переводчика.
Ценность перевода — в доходчивости изложенной идеи.

Поэтому, если просто поняли оригинал, но не смогли полностью отразить идею — считайте, что перевода и не было — 0,0 баллов.
Если смогли перетащить идею в перевод полностью — получаете 2,0 балла.
Если полностью отразили смысл + правильно нашли все термины — получите ещё 1,0 балл
Если вы вычитали текст, вычистили орфографические и грамматические ошибки, отполировали стиль — держите ещё 1,0 балл.
Если смогли выразить мысль компактнее, чем автор (обычное дело) — получите бонусные 1,5 балла.

Проверяющий должен прекратить проверку предложения — пусть даже и прекрасно сформулированного, — если видит там хотя бы одну смысловую ошибку. Иными словами — увидели ошибку, останавливайте проверку на соответствующем этапе, дальше дороги нет.

Таким образом, получается, что идеальный перевод по такой модели это 5,5 баллов (пятерка с плюсом). Цифра, пожалуй, нереальная.

Опираясь на эту систему оценок, можно обсуждать с клиентом, например, такие уровни качества переводов:

4,5 балла — хороший рекламный перевод. Переводчик полностью передал идею без терминологических, стилистических, грамматических и орфографических ошибок и хотя бы в 30% случаев компактнее, чем автор.

4,0 баллов — хороший технический перевод. Компактность там некритична, абсолютная грамотность (как бы ни хотелось граммар-наци), тоже. Зато критически важна полная передача идеи без ошибок в терминах, большинство предложений должно быть понятно с первого прочтения (т.е. должен быть хороший стиль). Однако нужно понимать, что если орфографические-грамматические-стилистические ошибки приводят к непониманию или искажению смысла, то они превращаются в смысловые. Со всеми вытекающими.

Поскольку мы эту систему уже начали применять в бюро, и частично в школе переводчиков, поделюсь некоторыми наблюдениями:

1. Я не видел, чтобы текст кишел языковыми ошибками, но при этом был красиво сформулирован. Поэтому получается обычно так, что если текст сформулирован гладко, то в нем нет или почти нет грамматических и орфографических ошибок.
2. Переводчикам сложнее всего справляться с длинными предложениями. Поэтому, если нам надо проверить перевод выборочно, мы отбираем самые длинные сегменты, которые в сумме дают заданный объём.
3. Мы обязательно учитываем вес предложения, за большое предложение оценка весомее, чем за маленькое. (Иначе будет, как в анекдоте: «Один рябчик — один конь»).
4. Проверка 500 слов (3600 знаков) занимает в среднем 30 минут и требует меньше квалификации от проверяющего (ему не надо описывать все ошибки, достаточно описать первую обнаруженную). Это существенно снижает стоимость и время оценки по сравнению с моделью LISA и позволяет включать её в проектный цикл.
5. Качество перевода перестает быть неким сферическим конём в вакууме, и разговоры с новым клиентом можно строить более предметно: «Вам нужен англо-русский ИТ-перевод? Уровень на 3,50 балла стоит 2,5 рубля, на 4,0 балла стоит 3,0 рубля, на 4,5 баллов стоит 4.0 рубля».  Клиент понимает, что он получит перевод на 3+, на твёрдую 4 или на 4+ (обычно, клиента меньше всего волнует, через сколько глаз/специалистов прошел перевод, ему важен результат).  Кроме того, пятибальная система оценки нам всем знакома ещё со школы.
6. Передача смысла и передача идеи — разные вещи. Я требую от переводчиков именно передачу идеи (особенно в рекламных переводах). Разница вот в чём. Возьмем английскую поговорку: “A picture is worth a thousand words”. Смысловой перевод будет «Картинка равна тысяче слов». А вот идею передает фраза «Лучше один раз увидеть, чем сто раз услышать».
7. Мне переводчики иногда жаловались, что невозможно сказать короче, чем автор. Ни разу не встречал таких текстов. Везде можно избавляться, как минимум, от наречий, усиливая нейтральные глаголы  — уже будет экономия.
   Например, «он начал что-то тихо говорить» — «он замямлил».
   Есть ещё куча приёмов на тему сокращений — читайте Ильяхова/Главред, можно мои публикации (я часто на эти темы пишу).

Надеюсь было полезно. Удачи Вашему бизнесу.

P.S. Да, забыл, делюсь шаблончиком, который регулярно обновляется — http://bit.ly/ap-qc. Eсли удобно — делайте себе копию и пользуйтесь :). Если сошлётесь на меня или на наше бюро, как на разработчика модели — будет плюсик вам в карму 🙂

С уважением, 

Евгений Бартов (bartov-e@yandex.ru), 

переводчик, копирайтер, маркетолог.