10年前の翻訳ソフト評価－絶対評価

前回のエントリー（「翻訳ソフト評価記事－翻訳支援ソフト大解剖！」）の続き。

機械翻訳の訳文に対する絶対的な評価とそれが使用する辞書によってどのように変化したかを紹介しよう。もちろん、評価は記事を書く前に行っている。絶対値を出すのは広告連動であったなどいろいろな意味で問題があったので相対値としたわけだ。

●10年前の機械翻訳ソフトに対する絶対評価の結果

評価のやり方は以下のとおり。

まず、1文毎に3段階評価を行う。

表1．訳文定量評価の基準

点数	基準	労力
0点	使い物にならない	じゃまでしかない
4点	単語レベルで使える部分がある	あったほうがいいかないほうがいいか微妙
8点	多少の手直しで使える	労力の削減が可能

各文を構成する単語数を重みとし、以下の式で文書全体の平均点を算出する。

重み付け平均＝（（評価点×その文章の原文ワード数）の文書全体の合計）／原文総ワード数

こうして出てきた平均がたとえば4点なら、文書全体としてあったほうがいいかないほうがいいか微妙なレベル、それより高いなら労力の削減に寄与、低いならじゃまというイメージになるわけだ。

イメージとしては、自分が一から訳した場合を100点として、0点、40点、80点という感じだと思ってもらえばいいと思う（というか、そういうつもりで評価した）。もちろん、80点以上が8点とはしていない。20～60点なら40点、60点以上なら80点という感じである。

表2．辞書の組み合わせによる訳文品質の変化（絶対値）

辞書	Ａ	Ｂ	Ｃ
基本辞書のみ	2.76	1.14	1.58
基本＋専門	2.25	1.00	0.75
基本＋専門＋ユーザ	2.69	1.00	1.44
基本＋ユーザ	3.04	1.70	1.85

ベストだったのは、Ａの機械翻訳ソフトに「基本＋ユーザ」辞書を適用した場合の3.04点。私の評価は「じゃまにしかならない」である。

ただ、このくらいだと使い方次第で……と思う人が出てくるのもうなづける。私はたぶん、一般よりも品質に対する要求が高いので、この条件なら4点あるいは5点をつける人がいてもおかしくないからだ。

●機械翻訳ソフトの進化発展？

機械翻訳ソフトは進化発展している、これが10年前なら今はもっとよくなっているはずだと思う人もいるだろう。それはそのとおりだろう。

だが、私の評価基準もこの10年で上がっている。最近、セミナーや翻訳学校で課題を出して訳文の評価をすることが増えていて、そのネタ探しをしていて10年前の自分の訳文を見る機会が多いのだが、これがなんとも脇の甘い訳文が多いのだ。もちろん、10年前、その仕事をしたときには時間などが許す限りのベストを尽くしたつもりのものなのだが。

今の機械翻訳ソフトを10年前の私が評価すれば、たぶん、もう少しいい評価をするだろう。でも、今の機械翻訳ソフトを今の私が評価すれば……前述と似たような評価にしかならないだろう。

●機械翻訳ソフトは自分のコピーを作るもの？

機械翻訳ソフトを利用する人は、よく、機械翻訳ソフトに自分の訳し方を教え（登録などして）、自分のコピーを作るのだと言う。自分のコピーができれば自分が訳すのと同じだと。

なかなかいい表現だと思うし、そこまですればそれなりに使えるものになるのかもしれないとも思う。

同時に、それでは翻訳者として力を付けて行くことはできないだろうとも思う。いかに上手にコピーしてもコピーはコピー。オリジナル（自分）には一歩及ばない。そのレベルの翻訳を毎日続けてどうして力がつくのか。

今の自分にできる精一杯をがんばっていれば、10年後、力が付くというのはわかる。なぜかをきちんと論証するのは難しいが……経験からはそうだとしか思えない。体を使うものでも頭を使うものでも、みんな、そうやって伸びてきたはずだと思うのだ。少なくとも私はそうだった。同じことをしてなぜか伸びが速いヤツと遅いヤツはいるが、もうわかっていることだけ、できることだけやってどんどん伸びるヤツは見たことがない。

だから、まだこれから伸びる人、伸びたい人は機械翻訳ソフトはツールとして使わない方がいいと思っているし、私はまだ伸びたいと思うから使わない。今以上の伸びが期待できなくなった人、あるいは過去の資産で食いつないで逃げ切りを計る人であれば、機械翻訳ソフトを自分のコピーにして代わりに仕事をしてもらうのもいいだろうが。