JPH02194470A - 電子翻訳機 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

［産業上の利用分野） 本発明は電子翻ｆＲ１ｉに間する。

【従来の技術１ 半導体メモリーや磁気ディスクに単語等の訳などの情報
を収めておき、ｊ＠語の訳を得る電子翻訳機には次に述
べるようなものがあった。 まず、最も一般的なのはキー入力を行うことで単語等入
力するもので、小型の手帳サイズのものが実用化さハて
いる。仕組みが非常に簡単で機成的部分がほとんどない
ので、安価で供給されている。 そして、単語等の入力をキー入力でなく、文字を光字的
な画像とし°Ｃ取り込み文字認識・を行い、訳を得る方
法がある８画像の取り込み手段としては据置き型の画像
読み取り機や手で走査を行う画（瘉読み取り機、カメラ
などが使用されている。この方式は、アルファベット等
のキー入力操作１こ憤れていない者でも、速く、正確に
入力を行うことが可能である。また多量の文章など処理
する場合は、圧ｆｉｌｌ的にキー入力より速く、正確で
あった。 〔発明が解決しようとする課題１ 以上の述べたように５文字を光学的な画像としＣ取り込
み、文字認識を行う方法は、キー入力に比較し優れた。 屯が多いが、次のような問題がある。 １つは、カメラや裾置き型の画（Ｌ＆読み取り機で、例
λばＡ４の原稿−面の画像を取り込んだ場合に、原稿の
ある一部についてのａ１訳を得たい時、 人間が、取り込んだ文字画像そのもの又は認識結果を見
て、翻訳を行いたい部分を指定する、前処理を必ず行わ
なければならない、−１１１Ｕ的には、ＣＲＴ上に画像
を出し１人間がマウスで翻訳を行いたい範囲を指示する
などの操作を行う。 また、文字画像の取り込みを、手で走査を行う画像読み
取り機で行う時、操作前は入力したい部分を直接なぞる
ので、入力操作自体が前処理になっているので入力後た
だちに認識を行うことができる。しかし２手で走査する
画像読み取り機は手′Ｔ′動かすため、入力画像が多少
不安定で５特に長い文字列をきれいな画像で取り込もこ
とは至難であった。そのため主に単語程度の長さの文字
列を入力する用途がほとんどである。 このように１文字画像を取り込み認識する方法は、入力
に使用するカメラや画像読み取り機などの形態により、
得意な分野と不得意な分野があり、キー入力よりｆ憂れ
た能力を十分上か４゛ことが出来なかった。 本発明は以上の問題点を解決するもので、その目的は、
文字を画像として取り込み、それが短い単語程度の長さ
から文までの長い文字列まで対応できてかつ翻訳を行い
たい部分の節回設定が容易にできる電子翻訳機を得るこ
とにある。 １課題を解決するための手！９］ （１）本発明の電子翻訳機は、原稿紙面上の文字列を画
像データとして読み取る画像入力手段と、画像入力を行
う操作者の原稿紙面上における注視点と注視点の移動を
検出する注視点及び視線検出手段と、前記画像入力手段
による画像データと前記注視点及び視線検出手段からの
清報から必要な文字列を取り出す１文字列抽出手段と、
前記文字列抽出手段で取り出された文字列に対し、個々
の文字として認識を行いかつ認識に必要なデータ等記憶
している文字認識手段と、前記文字列抽出手段と文字認
識手段で得られた。単語や文に対する訳や翻訳を行い、
かつ、翻訳に必要なデータ等記憶している翻訳手段と、
前記文字認識手段と翻訳手段の結果及び前記画像入力手
段や注視点及び視線検出手段や文字５１１１！出千Ｙ−
９の状態に一ついて表示を行う表示手段とから構成され
ていることを特徴とする。 （２）前記１に記載の、電子昌１１釈磯において、認識
・翻訳結果や内部状態等を音声にて、操作者に知らせる
音声合成手段を備λたことを特徴とする。 （３）前記ｌに記載の電子翻訳機において、文字列の取
り込みが画像入力の他にキー入力が可能なキー入力手段
を備λたことを特徴とする。 〔作　用１ 本発明の電子翻訳＄４では、文字画像の取り込みはカメ
ラで行う、カメラは一度に広い範囲の画像を取り込むこ
とができる。 次に、取り込んだ画像のどこからどこまでを翻訳させる
かを指示する。一般に、人間が原稿を読んでいる時、現
在注視しているところが読んでいる文字である。そこで
眼の動きから人間の注視点を検出し、カメラで取り込ん
だ文字画像と注視点又は注視点の移動（視線）とを重ね
ることによリ、使用者が目で追っている部分を抽出する
ことができる。つまり使用者は１本機を使用して抽出し
たい部分を目で追うだけでよい。 以」−のように、眼の動きから文字列の抽出を行う。 眼の動きから注視点の検出を行う方法は、最も一般的な
、眼の黒目と白目の反射率が眼球の動きによって変化す
るのを利用して検出する方法などを用いる。他にも検出
方法があるが、どれを用いてもよい。 ［実　施　例１ 以下本発明の電子翻訳機について実施例にもとづいて詳
細に説明する。 第１図は本発明の電子翻訳機の基本構成について示した
図である。 原稿紙面上の文字列は、カメラなどを使用した画像入力
手段ｌにより画像として取り込まれ、電気信号に変換さ
れて一時的に記憶される。 眼の眼球の動きから注視点と注視点の時間的移動（視線
）が求められる。（注視点及び視線検出手段２） 取り込まれた文字画像と求められた注視点又は視線を重
ね合わせ１文字列と注視点（又は視＃ｌ）が重複してい
る部分を目的の文字列として抽出する。（文字列抽出手
段３） 抽出した文字列は、まだ文字画像なのでこれを１つ１つ
の文字として認識を行う、また、認識に必要なデータも
収められている。（文字認識手段４）このようにして得
られた、文字としての単語や文に対して適切な訳や翻訳
を行う、また訳や翻訳に必要なデータも収められている
。（翻訳手段以上のよう（こして得られた、認識結果や
翻訳。 画像入力状態や注視点の検出具合など装置の内部状態な
どは、表示手段６で表示される。 第２図は１本発明の電子翻訳機の外観の一例を示した図
である。 本実施例では、　ＩＩ’！の黒目と白目の反射率が眼球
の動きにより変化することを利用して、注視点を検出す
る方式で行うものとする。そのため装置全体は、カメラ
と注視点を検出する部分を載せた。 眼鏡形式の部分と、各種の制御や表示を行う部分の大き
く２つの部分から構成される。 まず、フレーム７と左透明板９．右透明板ｌＯで構成さ
れる眼鏡形式の保持機構がある。カメラ８は左透明板９
と右透明板ｌＯの間の上の部分に取り付けられている。 眼の黒目と白目の反射率の変化を検知する機構は、左透
明板９や右透明板１０の内側に設けられている。フレー
ム７は、カメラ８やその他の機構用の電源、信号のコー
ドの保持も兼ねている。音声出力用のイヤホン２１もフ
レームからつながっている。 一方、各種の制御部や表示は翻訳機本体１１で行われる
。翻訳機本体ｌｌ上には、各種表示を行う表示器１２と
読み取りキー１３．翻訳キー１４゜機能キー１５があり
各々、カメラからの画像入力、翻訳の表示と原文表示切
り換え、入力形式等の切り換えを行う、また−射的なア
ルファベット・数字キー１６があり１通常のキー入力も
可能である。他に１画面上のカーソル等の移動や訳語等
のスクロール等を行うカーソル移動キー１７１８．１９
．２０がある。 この例では、翻訳機本体は小型の一体化したものだが、
汎用のパーソナルコンピューター等を使用してもよい、
また例のような小型の翻訳機本体を、汎用のパーソナル
コンピューター等に接続して機能の拡張を図ることも可
能である。 更に、１１！訳機本体は一般的なキー入力が可能の場合
、本体単純で電子翻訳機として使用できる。 第３図は１本発明の電子翻訳機の回路構成の一例を示し
たブロク、り図である。 カメラ８は、レンズ２２とＣＣＤエリアセンサー２３で
構成されていて、センサーに必要な駆動用信号等は、　
ＣＣＤ　１ｉｌｌ＋ｉ１部２４より出力される。 ＣＣＤエリアセンサー２３からの映像信号は、コンパレ
ーター２５で、リファレンス電圧Ｒｅｆを基準に二値化
される。二値化された画像データは、ＣＣＤ　ｉｌ制御
部２４に同期して、メモリー制御部２６により、フィー
ルドメモリー２７に書き込まれる。ＣＰＯ２８は、フィ
ールドメモリー２７か−１１１Ｉ］Ｊ（４１，ｊ′−や
を啄５Ｊ＄８シし、たり、フィールトス七）−２７への
匝１像デーや書き込みの要求、中止をメモリー制（卸ε
ｉ３２　ｂに行う。 一方、眼の黒目と白目の反ａｔ十の変化を検ｔＢ牢るた
ぬ（Ｊ、右透明板ｌＯ（または左透明へ１１）の内側に
は、眼球に赤外光を当てるり、、　Ｅ　Ｄ　２９と、眼
球で反射した赤外光を検出する、フォトセンサー３１が
配置されている。ＬＥＤ２９の占、燈は、ＣＰＵ２８が
Ｉ−Ｅ　Ｄ制御部３０に命令を行うことで行う。 フォトセンサー３１の受けた光は、電気１Δ号に変換３
′５れ、増幅器３２て増幅後、７λ／［〕斐巻部３３で
デジタルｌ１４こ変換し、ＣＰ　ＩＪ　２８で分析され
る。 カメラからの画像はＣＰＬ１２８が一度フイールドメモ
リー２７への書き込みをメモリー制御部２６ｉ、：指示
すれば、書き込み動作が持続するので、その間ＣＰＬＪ
２８は、フォトセンサー３】の受光し、た光量の分析を
継続ができるので、注視５点や視線の検出を行うことが
可能で１ｂる。 、１視点検出等へ５文字列抽出、文字認識等・’７）　
ｆｆ業は、＋（ΔＭ　３４　Ｊ二２１ｊう。また各作業
１．−必賞なデータやブロクラムは、１（０λ・１．う
５に収めらね゛こいる、 ｈ表示は、表示２ｘとして洪晶表示様（以１”　ＩＣＤ
とする）を用いる場合、ＬＣＤ３８に必要な信号やキャ
ラクタを生成させるｌ＝　ＣＤ制御部、３０と、ノシ示
するキャラクタのもと）−・夕が収められ−（いるキャ
ラクタＲＯＭ　３７で行う。 −ｚｔ４．８１□１訳などの結果を表示でなく、音声合
成部３９＋こて音声４３号門口変メ−て、増幅器４　ｆ
ｌ）で出力を高めスピーカー４１より音声、七１．て出
υさゼる。音声出力Ｌトクどしで、第２メ１ｊこ示した
。４二つなイヤホン２１を用いれば、−ｑΩ的なスピル
カーよりも携帯性にイ憂れでいるが、例λば８１１訳機
本体１１にスピーカー４１を内蔵してもよい、キー入力
に関しては、多；りのギ・−４ニジの状態をＣＩ−’　
ｉ、Ｊ　２８がキーマトリックス回路４：（を介しでて
ｆｆることで、どのキーがインしでいるがλＬ１ろこと
によってキー入力が実現される。 第４図は、本発明の電子翻訳機を実際に装管し２“〔原
稿を見つめ′Ｃいる様子を示した図である。 使用者は、眼鏡形式の保持１ｔ４　！！ＩＩをＴ度眼鏡
をかけるのと同様に装着する。またイヤホン２１が備え
られていれば５耳；こはぬる。 原稿４４〜１の１接で示した領域４５が、カメラ８で実
際に取り込まれるｉ囲である。使用者は右透明板１０（
または左透明板９）を通し５て、原稿４４上の文字列を
直視できる。カメラ８は、使用者が本電子翻訳機を装着
した際に、はぼ使用者が正面を見た時に、カメラで取り
込んだ画像６丁度正面から見たよう；こなるように位置
を調整しておく。 そして注視点も、使用者が本電子翻訳機を装着して正面
を正しく見た時に、中心になるようにあらかじめ調整し
ておく。注視点４６は必ず領域４５の内にあるように調
整しておくことで、常にカメラの入力画像のどこを見て
いるか知ることができる。 第５図は、取り込んだ文字画像から特定の文字９１］を
抽出−４”る方法の一例≧革した［メ〕でル）ζ）。 第５［閾（Ｚｌ）は、カメラで取り込んだｌｌｌ！ｉ像
の−Ｐ）−を示したもので、複二（の文字列がある。図
の中の了、Ｊは途中の文字を省略したちので以上このよ
うな９味で使用するものとする。 第５図（ａ）上の７始点４７は注視点の一番最初であり
、終点４８は一番晟後である場合に、始点４７から終点
４８までを視線か移動し７たものとして、この間の文字
５１１？抽出するものとする。つまり図のｆｆＴｈｅ　
ｆ　ｉ　ｒｓ　ｔｑの部分から７〜人７ｉｎｔｅｒ　　
Ｇａｍｅ、Ｊｌの部分までチル）る。文′−？！’Ｉｆ
の切り出しは前後の空白部分の長さからギ１１定し、で
行われる。 次に、始点４７と終点４８を指定する手順の一例を示す
。 まず本電子翻訳機の眼鏡形式の保持ＯＳ＋霧を装着％　
２後、原稿紙面を見つめ抽出したい文字ンリの先頭付近
を見つめて、読み取りキー１３を一回押す、そして今度
は抽出したい文字列の終端付近を見つめて読み取りキー
１３をもう一度押１′。このＦ′）ｉ−、、、ｌ、　’
ｉ：、治−１，Ｎ−砂「壬、ｊ、４指定１−、　”Ｊ〜
・る。酋

【１］　ζ゛−・＋１′を費；十視占、をｊ（
ｒね、！′ｉ！１妬ど終１°点、′−，樟Ｅｔｊ　ｔ−
’、浦出文？：　！７１１小・決′ぶ（イ）。 ノた別の“、イノ法ビし、２Ｔ、抽出Ｊｕｌ始！、！ｊ
、・Ｔ）みを指−１′、ニー−こか０史７月］を追−）
丁いき、に゛νＩ　４−　ｒ’乞見て＋は！：時−１１
、び、終点上す：１ように決めＣＦ、旨“置Ｊ′始」、
ｔ、・７）＊ｊｊ　＃ｉＪ）示するだけで一文の抽出が
自デノｊ的ｉ、−１１える。 Ｌ：：Ｊ　、、、Ｅ　”・′）よパ】に１．て第５トｉ
（＋））ｃハＪ、凸に目的の交−ｉ”　’ｉ’ｉを１由
出することが−Ｃ′きる。 第１〕図は、　ＩＭり込４．だ文字画像からある単語ろ
・抽出する方法の一例を示した図で１ある。 第１３図（ａ）は、取り込んだ文−４両像の文字列の一
部である。この文字列から１つのｍ語を抽出、、、、　
、Ｊ二、’、）とする時、Ｉｊ的の単語を注視し５、涜
み取り一！−１：ｑを押して抽出開始点４（］を指・定
する。 １１４語の場合は、第す図のような長い文を入力−）゛
るのと区別しτ別の抽出法をとる、そのため機ｉ（ギ−
１５を押し、単訪読み取り１こ切り換え、抽出間ｔｌｓ
　、＋、散４９（鷹１近の単Ｓ８を１つ抽出する。抽出
は前後（’、７’′ｌ仝白部分の長さから籾藺４゛る。 このよう齋ごして抽出開始へ４９がある部分の単５１’
ｊ　’Ｉ　Ｃａ　ｎｌ　８４か抽出されＺ）、（第６図
（ｂ）） 以上のようにし、で、長い文でイ。）晒語でも始点１（
−締出、をｌト視、占から指定して、抽出したい部分を
決めることで１」的の文字列゛″で抽出４゛ろ、２とが
できる、 抽宇、後は、抽出し１こ文ｊ゛列を個々の文字ト’、　
Ｌ　Ｔ’認識し、後処理の容易なようにコード仕される
。 コード化されたヌ字は、文なら兵１１　ｊｆ、！、ｊ１
謔Δ゛らキＩＪ訳や用例などが搭載さねでいる辞書を参
考にして・−）＜らねる６ 第７図は、認識した文と翻訳文の表示例を示ｌ−た図で
ある９なお単語の場合は、認識１１１語と和：Ｆ寸・用
ｌｌ１ｌＩｉＤ表示どなる。 圭ず認識した文：」−度全文が表示される。（第ｒド１
（ａ））　　使用３は、表示されｔ−文をり、で′誤認
識し・、）イ認をする。もし誤りがあオｌば１．：ｊ上
するｉ′ｉＩ１分１．−ブリック５０を、カーソル移動
キー　１７、Ｉ８．１９．２（１８使用し、て移動！、
１　　アルファベラ１−・数字キー１６で訂正する。著
しく誤っていｆ二１］、目的以外の文字が＋に富にｙ・
い場りは再度画像入力を行゛ン。 このようにして、表示された認識した文に誤ｌ］がな目
れば、翻訳キー１４を押すとａｌｌ訳が行われ、翻訳結
東かに示さハる。（第７［メｉ（、ｂ））この状Ｉ！ζ
でもう一度翻訳キート４を押すと認識し、たもとの文の
Ｚｚ示（第７図（ａ））にもどる。 本、４：絶倒では対称を英、悟で日本語：こＷ１例を述
べたが、読み■νる文字は別の欧文やｌ−１本語などち
可ｌ１−Ｓま・）す、！ＩＩ訳（こ直−４言語も色々と
変えることう（できる、に才］は、認識やＣ１１３尺の
たｙ）のデータやソ！゛ノ４７゛うム、キャラクタの１
１ＯＮ・〕を変％する。二、七でスｔ　ｔ’ｃ；するこ
とができる。 ［鎚１１月の）ン！ｊ果］ 以ト述べたように、本発明の電子翻訳機は画像入力をカ
メ−ｙで行い、抽出したい文字列の指定へ・注視点の検
出によって行うので、長い文から短い単語まで容易に抽
出することができる。 画像入力をカメラで行うため、広い範ｑ、特に文の入力
に向いでおり、文字列の抽出も一度入力巳でから行う必
要がないため１１？ｉ処理が不用で、ル、る、また入力
も目の動きと、ごく失言々のキーのみで実現可能なため
に１文字列の高速入力　処理が実現ごきる。 本機は、入力した画像を認識してその文やｔｖニハのａ
ｌｌ訳や択を得るものだが、Ｉ］ｉｊ処ｒ甲が不用な画
像入力の方式を採用しているので、各挿端未の文字入力
専用機として使用することが可能という効果を（５する
。

【図面の簡単な説明】

第１図は、本発明の電子コ１］訳機の基本構成に・“）
いで示した図。 第：２図は、本発明の電子翻ｙＲ機の外観の一例を小し
た図。 第３図は６本発明の電子翻訳機の回路構成の一例を示し
たブロック図、 第４図は、本発明の電子ｉｌｌ訳機な実際に装着して原
稿を見つめている様子を示した図、第５図（ａ）（ｂ）
は、取り込んだ文字画（栄から特定の文字列を抽出する
方法の一例を示した図。 第６図（ａ）（ｂ）は、取り込んだ文字画像からある単
語を抽出する方法の一例を示した図、第７図（ａ）（ｂ
）は、認識した文と翻訳文の表示例を示した図である。 ｌ　・ ２　・ ３　・ ４　・ ５　・ ６　・ ７　・ ９　・ １０　・ １　ｌ　・ ｌ　２　・ ｌ　３　・ ・画像入力手段 ・注視点及び視線検出手段 ・文字列抽出手段 ・文字認識手段 ・翻訳手段 ・表示手段 ・フレーム ・カメラ ・左透明板 ・右透明板 翻訳機本体 ・表示器 ・読み取りキー ｌ　４　・ １５　・ １６　・ １７、１　日、 ２１　・　・　・ ２２　・　・　・ ２３　・　・ ２４　・　・　・ ２５　・　・　・ ２６　・　・　・ ２７　・　・　・ ２８　・　・　・ ２９　・　・　・ ３０　・　・　・ ３１　・　・　・ ３２　・　・　・ ３３　・　・　・ ３４　・　・　・ ３５　・　・　・ ・翻訳キー ・機能キー ・アルファベット・数字キー １９．２０ ・カーソル（多動キー ・イヤホン ・レンズ ・ＣＣＤエリアセンサー ・ＣＣＤ制御部 ・コンパレーター ・メモリー制御部 ・フィールドメモリー ・ＣＰＵ ・ＬＥＤ ・ＬＥＤ制御部 ・フォトセンサー ・増幅器 ・Ａ／Ｄ変換部 ・ＲＡＭ ・ＲＯＭ ３６　・　・　・ ３７　・　・　・ ３８・・・ ３９　・　・　・ ４０　・　・　・ ４１　・ ４２　・　・　・ ４３　・　・　・ ４４　・　・　・ ４５　・　・　・ ４６　・ ４７　・　・　・ ４８　・　・　・ ４９　・　・　・ ５０　　・　・ ・ＬＣＤＣＣ制御 部ャラクタＲＯＭ ・ＬＣＤ ・音声合成部 ・増幅器 ・スピーカー ・キー ・キーマトリックス回路 ・原稿 ・領域 ・注視点 ・始点 ・終点 ・抽出開始点 ・ブリンク 以 上 出願人　セイコーエプソン株式会社 代理人　弁理士　上　柳　雅　誉（化１名）第６図 （シ）

Claims (3)

【特許請求の範囲】
1. （１）原稿紙面上の文字列を画像データとして読み取る
   画像入力手段と、画像入力を行う操作者の原稿紙面上に
   おける注視点と注視点の移動を検出する注視点及び視線
   検出手段と、前記画像入力手段による画像データと前記
   注視点及び視線検出手段からの情報から必要な文字列を
   取り出す、文字列抽出手段と、前記文字列抽出手段で取
   り出された文字列に対し、個々の文字として認識を行い
   かつ認識に必要なデータ等記憶している文字認識手段と
   、前記文字列抽出手段と文字認識手段で得られた、単語
   や文に対する訳や翻訳を行い、かつ翻訳に必要なデータ
   等記憶している翻訳手段と、前記文字認識手段と翻訳手
   段の結果及び前記画像入力手段や注視点及び視線検出手
   段や文字列抽出手段の状態について表示を行う表示手段
   とから構成されることを特徴とする電子翻訳機。
2. （２）請求項１記載の電子翻訳機において、認識・翻訳
   結果や内部状態等を音声にて、操作者に知らせる音声合
   成手段を備えたことを特徴とする電子翻訳機。
3. （３）請求項１記載の電子翻訳機において、文字列の取
   り込みが画像入力の他にキー入力が可能なキー入力手段
   を備えたことを特徴とする電子翻訳機。