WO2011077648A1 - リアルタイムなカメラ辞書 - Google Patents

Abstract

【課題】　本発明は，リアルタイムに翻訳語や翻訳情報を表示できる情報表示装置を提供することを目的とする。 【解決手段】　本発明の情報表示装置は，リアルタイムに辞書表示を行うことができるカメラ辞書に関する。また，この装置は，撮影部１１で撮影された対象物に含まれるキャラクタを判別する。そして，この装置は，辞書１２からこのキャラクタに対応した情報を抽出する。キャラクタに対応した情報の例は，ある用語に対する翻訳語や用例である。そして，表示部１２が，キャラクタに対応した情報を表示する。

Description

リアルタイムなカメラ辞書

　本発明は，リアルタイムに辞書表示を行うことができるカメラ辞書に関するものである。より詳しく説明すると，本発明は，カメラが捉える画像が変化した瞬間に自動的に新しい翻訳語を連続的に表示できるリアルタイムレスポンスが可能なカメラ辞書に関する。

　特開２０００－１５２１２５号公報（特許文献１）には，ヘッドマウントディスプレイ装置が開示されている。この装置は，ユーザの目の前にある文章をＣＣＤカメラにより撮影し，得られた画像情報から文章又は単語を判読し，翻訳してディスプレイに表示する。

　特開２００７－２８０１６６号公報（特許文献２）には，電子辞書が開示されている。この電子辞書は，視野内の中心部分にある単語または文章を他の形態の単語または文章に変換して，ユーザの視野内に表示する。

　携帯電話Ｗ３１ＳＡの取り扱い説明書１６０ページ（非特許文献１）には，「カメラｄｅ辞書」サービスが掲載されている。このカメラｄｅ辞書サービスは，携帯電話にＯＣＲ機能を付加したものである。そして，この携帯電話は，撮影した写真に基づいてＯＣＲで用語を読み出し，読み出した用語を翻訳する機能を有するものである。

特開２０００－１５２１２５号公報 特開２００７－２８０１６６号公報

携帯電話Ｗ３１ＳＡの取り扱い説明書１６０ページ

　特許文献１及び特許文献２に開示された装置は，いずれもある文章やある単語を撮影し，それに基づいてその翻訳文や翻訳語をモニタに表示するものである。一方，ある単語は複数の意味を有するものがある。そのため，これらの装置では，誤訳が生じやすいという問題がある。

　また，特許文献１及び特許文献２に開示された装置は，いずれも翻訳語を所定の表示領域に表示する。このため，ユーザの視野に複数の文字がある場合，どの文字を翻訳したかわかりにくいという問題がある。

　非特許文献１に開示されたＯＣＲ機能つき携帯電話は，撮影した写真（静止画）に基づいてＯＣＲで用語を読み出し，読み出した用語を翻訳する。この携帯電話は，静止画に基づいて翻訳処理を行うため，リアルタイムに適切な用語を翻訳して表示することができないという問題がある。

　そこで本発明は，状況に応じて適切な対応情報（翻訳語，翻訳情報）をリアルタイムに次々と表示できるリアルタイムレスポンスが可能な情報表示装置を提供することを目的とする。

　また本発明は，翻訳対象を容易に把握できる情報表示装置を提供することを目的とする。

　さらに本発明は，新たな撮影対象に関する対応情報（翻訳語，翻訳情報）を絶え間なく瞬間的に表示できる情報表示装置を提供することを目的とする。

　本発明は，翻訳対象物の種類を把握した上で翻訳作業を行うことで，状況に応じて適切な対応情報を表示できるという知見に基づくものである。

　本発明の情報表示装置は，リアルタイムに辞書表示を行うことができるカメラ辞書に関する。また，この装置は，撮影部１１で撮影された対象物に含まれるキャラクタを判別する。そして，この装置は，辞書１２からこのキャラクタに対応した情報を抽出する。キャラクタに対応した情報の例は，ある用語に対する翻訳語や用例である。そして，表示部１２が，キャラクタに対応した情報を表示する。キャラクタは，一般的には文字である。しかし，キャラクタは，絵文字，コード情報，記号であってもよい。また，この装置の対象物判別部１３は，撮影部１１で撮影された対象物の種類（たとえば，書類，看板）を判別する。そして，情報抽出部１５が，辞書１２からキャラクタに対応した情報を抽出する際に，キャラクタに関する情報に加えて，対象物の種類に関する情報をも用いる。そうすることで，例えば，本を撮影した場合は学習用辞書に掲載された辞書情報を表示するといったように，状況に応じて適切な対応情報を抽出することができる。

　以下に本発明の好ましい例を説明する。本発明は以下に説明する例に限定されるものではない。本発明の情報表示装置の好ましい例は，対象物の種類に応じて適切な辞書を選択するものである。そして，この例では，例えば，文字の背景部分（書籍における紙の部分）のような対象物のうちキャラクタ以外の部分の色情報を用いて，対象物の種類を判別する。たとえば，キャラクタが黒で，背景部分が白，またはクリーム色であれば，対象物は本である可能性が高い。その場合，例えば，対象物が書籍であるという情報に基づいて，学習用の辞書を選択する。そうすることで，この装置は，例えば，知りたい用語に関する辞書情報を抽出して，表示することができる。

　本発明の情報表示装置の好ましい例は，情報抽出部１５が，対象物判別部（１３）により判別された対象物の種類及びキャラクタ判別部１２により判別されたキャラクタに基づいて，辞書１２から，キャラクタに対応した最適語を１つ抽出するものである。そして，表示部１６は，最適語を表示するとともに，表示された最適語が誤っている場合に，表示された最適語が誤っていることの入力を促す表示を行う。そして，情報表示装置に表示された最適語が誤っていることの入力がなされた場合は，情報抽出部１５は，辞書１２から，キャラクタに対応した最適語とは別の語を抽出する。そして，表示部１６は，その別の語を表示する。

　このようにすることで，上記の情報表示装置は，（仮に対象語の訳が誤っていても構わずに）最適な訳であると情報表示装置が判断した最適語を表示部に表示する。このような情報処理を行うことで，時々刻々変化する対象語についての最適語をリアルタイムレスポンスにより表示することができることとなる。具体的には，撮影部が連続的に被写体を撮影し，撮影が行われてから次の撮影が行われるより前に，対象語の最適語を求めて表示部に表示する。これにより，撮影対象が変化した瞬間に，最適語を表示することができる。

　本発明の情報表示装置の好ましい例は，撮影部の向きにより対象物の種類を判別するものである。例えば，撮影部が水平方向または水平方向より上向きである場合，ユーザは書籍ではなく，風景や看板の翻訳を要求すると考えられる。その場合，地名事典，名称事典に基づいて選択された情報が表示される。

　本発明の情報表示装置の好ましい例は，ユーザからの入力により対象物の種類を判別するものである。例えば，ユーザが英和辞書モードを選択した場合，特定された英語の和訳を含む辞書情報が表示される。

　本発明の情報表示装置の好ましい例は，撮影された対象物を画面に表示するとともに，翻訳された文字を対象物に重ねて表示するものである。この具体的な例は，外国語表記された看板を撮影すると，その外国語表記に置き換わって和文がモニタに表示されるものである。

　この例では，キャラクタの色を判別するとともに，キャラクタの表示部１６における位置，大きさ，及び角度を判別する。また，この例は，キャラクタの周辺の色を判別する。そして，翻訳前のキャラクタが表示部に表示されないように，翻訳前のキャラクタの周辺の色で，翻訳前のキャラクタを覆う。その上で，翻訳された語を，キャラクタの表示部１６における位置，大きさ，及び角度，及びキャラクタの色に基づいてキャラクタに対応させて表示する。このようにすることで，翻訳後の語が撮影された画面に重畳して表示される。

　本発明の情報表示装置の好ましい例は，表示部１６が，タッチパネルのものである。そして，この装置は，表示部１６が対象物を表示して，タッチパネルに表示された対象物に含まれるキャラクタをユーザが指示すると，その指示情報に基づいてキャラクタを特定して判別する。

　本発明の情報表示装置は，翻訳対象物の種類を把握した上で翻訳作業を行うことで，状況に応じて適切な対応情報をリアルタイムに次々と表示でき，リアルタイムレスポンスが可能となる。

　また本発明の情報表示装置の好ましい例は，翻訳対象となる語に重畳して翻訳後の語を表示できるので，翻訳対象を容易に把握できる。

　さらに本発明の情報表示装置の好ましい例は，写真に基づきユーザに翻訳対象語を指定させる必要がないので，新たな撮影対象に関する対応情報を絶え間なく瞬間的に表示できる。

　さらに本発明の情報表示装置の好ましい例は，翻訳語として最も適していると考えられる１語を表示し，表示された語が訳語として誤っていれば，誤りであることを示唆する入力を促すようにするため，新たな撮影対象に関する対応情報を絶え間なく瞬間的に表示できる。

図１は，本発明の情報表示装置を説明するためのブロック図である。 図２は，情報表示装置を用いた表示例を示す図である。 図３は，情報表示装置を用いた表示例を示す図である。 図４は，上記とは別の本発明の情報表示装置を説明するためのブロック図である。 図５は，重畳表示を説明するための図である。図５（ａ）は情報表示装置を介さない表示板を示す。図５（ｂ）はキャラクタを背景色で覆った際の概念図である。図５（ｃ）は，表示板における“Ｃｈｉｎａ”に変えて，“中国”の文字が表示される様子を示す図である。図５（ｄ）は，表示板におけるキャラクタが翻訳された様子を示す図である。 図６は，情報表示装置を用いた表示例を示す図である。 図７は，上記とは別の本発明の情報表示装置の動作例を説明するための図である。 図８は，上記とは別の本発明の情報表示装置の動作例を説明するための図である。 図９は，本発明のさらなる実施形態に係る情報表示装置を説明するためのブロック図である。

　以下，図面に基づいて本発明を実施するための形態について説明する。本発明は，以下の説明に限定されることなく，当業者に自明な範囲で適宜修正を加えたものも含む。

　図１は，本発明の情報表示装置を説明するためのブロック図である。図１に示されるように，本発明の情報表示装置１は，撮影部１１と，辞書１２と，対象物判別部１３と，キャラクタ判別部１４と，情報抽出部１５と，表示部１６と，を含む。

　情報表示装置は，撮影部１１及び表示部１６を有するものであればどのような形態のものであってもよい。また，情報表示装置は，撮影部１１が情報表示装置から離れた位置に存在し，撮影部１１が撮影した情報を受信して表示部１６に表示するものであってもよい。さらに，情報表示装置は，表示部１６が情報表示装置から離れた位置に存在するものであってもよい。情報表示装置の例は，２画面式携帯用ゲーム機，１画面式携帯用ゲーム機，携帯電話，カメラ，携帯型パーソナルコンピュータ，及び携帯端末である。

　撮影部１１は，対象物を撮影するための装置である。撮影部１１の例は，カメラである。カメラの例は，ＣＣＤカメラである。ＣＣＤカメラは，たとえば，動画撮影モードを用いる。この場合，たとえば１／３０秒ごとに被写体を捕らえて，ビデオメモリなどの画像記憶部へ連続的に記憶させる。

　辞書１２は，複数のキャラクタに関連した情報を記憶する電子的な辞書である。辞書の例は，英和辞書，和英辞書，国語辞典，地名事典，及び名称事典である。

　辞書１２は，対象物の種類に応じたデータベースを有することが好ましい。対象物の種類の例は，書籍，ノート，ポスター，地図，ゲーム画面，人形，表札及び看板である。

　対象物判別部１３は，撮影部１１で撮影された対象物の種類を判別するための装置である。

　対象物判別部１３は，対象物のうちキャラクタ以外の部分の色情報を用いて，対象物の種類を判別するものであってもよい。対象物判別部１３は，対象物のうちキャラクタ以外の部分の色情報と，キャラクタの色情報とを用いて，対象物の種類を判別するものであってもよい。

　この対象物判別部１３は，例えば，キャラクタ以外の部分の色と対象物の種類とを関連付けたテーブルを有する。そして，キャラクタ以外の部分の色情報に基づいて，そのテーブルから対象物の種類に関する情報を読み出す。また，この対象物判別部１３の別の例は，キャラクタの色及びキャラクタ以外の部分の色と対象物の種類とを関連付けたテーブルを有する。この場合も，撮影部１１が撮影した対象物からキャラクタ部分を判別し，その上でキャラクタ部分の色及びキャラクタ以外の部分の色を判別する。そして，得られた色情報を用いてテーブルから対象物の種類に関する情報を抽出する。

　対象物判別部１３は，撮影部１１の向きに基づいて，対象物の種類を判別するものであってもよい。たとえば，情報表示装置は，コンパスを有している。コンパスは，情報表示装置の向きを把握するものである。情報表示装置の向きを把握できれば，撮影部１１の向きをも把握することができる。すなわち，この対象物判別部１３は，コンパスと，コンパスからの情報に基づいて撮影部１１の向きを判断する向き判断部と，撮影部１１の向きと対象物の種類とを関連付けて記憶するテーブルを有するものである。コンパスからの情報を受け取った向き判断部が情報表示装置の向き及び撮影部の向きを判別する。そして，この対象物判別部１３は，求められた撮影部の向きに基づいてテーブルから対象物の種類を判別する。このようにして，容易に対象物を推測することができる。

　対象物判別部１３は，入力情報に基づいて，対象物の種類を判別するものであってもよい。たとえば，表示部１６に，対象物の種類を選択させる表示が表示される。そして，表示部１６がタッチパネルである。そして，ユーザがタッチパネルを用いて対象物の種類を選択する。すると，タッチパネルから対象物の種類に関する情報が情報表示装置に入力される。そして，情報表示装置は，入力された対象物の種類に関する情報を用いて後述する処理を行う。

　対象物判別部１３は，撮影部１１と，対象物との距離に基づいて，対象物の種類を判別するものであってもよい。カメラは通常対象物との距離を測定するための距離測定手段を有している。そして，この対象物判別部１３は，そのような距離測定手段を有する。距離測定手段を有するため，たとえば，遠方にある対象物は看板であるといったように対象物の種類を判別できる。

　キャラクタ判別部１４は，撮影部１１で撮影された対象物に含まれるキャラクタを判別するための装置である。キャラクタ判別部１４の例は，ＯＣＲ又はＯＭＲである。

　情報抽出部１５は，対象物の種類及びキャラクタに基づいて，辞書１２から，このキャラクタに対応した情報を抽出するための装置である。

　表示部１６は，情報抽出部１５により抽出されたキャラクタに対応した情報を表示するための装置である。

　次に，上記した情報表示装置の動作例について説明する。まず，撮影部１１が対象物を撮影する。この撮影は，連続的に行われる。撮影頻度は，たとえば１／３０秒である。このため，撮影部１１は，情報表示装置がわずかでも移動した瞬間に，被写体の異なる部分を撮影することとなる。すると，撮影部１１が撮影した画像は，画像処理部３１へ伝えられる。画像処理部３１は，撮影部１１から受け取った情報を分析して，表示部１６に表示できる画像となるよう処理を行う。画像処理部３１は，撮影部１１から受領した画像情報を連続的にビデオメモリなどの画像記憶部３２に伝え，画像記憶部３２は画像情報を一時的に記憶する。

　一方，画像処理部３１が処理を行った画像は，判別部３３へ伝えられる。判別部３３には，ＯＣＲ及びＯＭＲが含まれている。そして，ＯＣＲ又はＯＭＲが，画像に含まれるキャラクタを判別する。ＯＣＲ及びＯＭＲによるキャラクタ判別処理は既に知られている。

　また，判別部３３は，対象物の種類を判別する。判別部３３に含まれる対象物判別部１３は，例えば，対象物のうちキャラクタ以外の部分の色情報と，テーブルとを用いて対象物の種類を判別する。対象物のうちキャラクタ以外の部分の例は，キャラクタの背景色である。この場合，判別部３３は，対象物のうちキャラクタ以外の部分の色情報と対象物の種類とを関連付けたテーブルを有する。そして，キャラクタ以外の部分の色情報に基づいて，そのテーブルから対象物の種類に関する情報を読み出す。この例は，キャラクタの背景が白～クリーム色であれば，対象物は書類というものである。判別部３３で判別された情報は適宜，判別情報記憶部３４に記憶される。

　情報抽出部１５は，対象物の種類に関する情報を用いて，辞書１２のうち対象物の種類に応じたデータベースを選択する。すなわち，辞書は，対象物の種類に対応した複数のデータベースを有している。情報抽出部１５は，対象物の種類に関する情報を用いて，辞書１２のうち対象物の種類に応じたデータベースを選択する。その上で，情報抽出部１５は，キャラクタに基づいて，選択されたデータベースから，このキャラクタに対応した情報を抽出する。

　情報抽出部１５が抽出した情報は，画像調整部３４にて表示部１６に表示されるものに調整される。そして，画像調整部３４から表示情報を受け取った表示部１６は，次の撮影画像が撮影される前に所定の情報を表示する。これにより，この情報表示装置は，対象語について適切な対応情報（訳など）をリアルタイムに次々と表示でき，リアルタイムレスポンスが可能となる。

　上記の動作は，制御部４１からの制御指令に基づいて行われる。例えば，入力部４２から所定の情報が制御部４１に入力されると，制御部４１は主記憶部４３に記憶されたメインメモリから制御プログラムを読み出す。そして，制御部４１は，読み出した制御プログラムからの指令に基づいて各種演算部に所定の演算処理を行わせる。そして，制御部４１は，得られた演算結果を表示部１６や出力部４４から出力する。

　図２は，情報表示装置を用いた表示例を示す図である。この例は，情報表示装置が２画面携帯型ゲーム機の場合のものである。この例では，ゲーム機のカメラを用いて英語の本を写している。すると，情報表示装置は，撮影対象が書籍であると認識する。右画面に，カメラから撮影された英語の本のページが表示される。そして，右画面には，翻訳対象となる語を抽出するため翻訳対象語指示表示がなされている。

　そして，左画面には，右画面において指定された翻訳対象語に対応する英和辞書の該当部分が表示されている。図２に示す例では，特に翻訳語を指定する必要がなく，カメラで英語の本を連続的に撮影している間に翻訳領域に存在する語が自動的に翻訳される。一方，情報表示装置が移動すると翻訳対象語が変化するため，入力ボタンのいずれかを押すことで，翻訳対象語が変化する事態を防止するようにしてもよい。この場合，いずれかのボタンから入力を受けた情報表示装置は，現在表示されている語（図２の場合では“ｄｕｓｔｐａｎ”を表示させ続けるように処理すればよい。

　図２に示す例では，右画面に翻訳対象領域が指定されている。一方，翻訳対象領域は，図２に示される十字キーを用いて適宜移動できるものであってもよい。この場合，十字キーから翻訳対象領域が移動する旨の指令が情報表示装置に入力される。すると，情報表示装置は，制御プログラムからの指令に基づいて，翻訳対象領域を移動させるための演算処理を行うとともに，モニタが移動した後の翻訳対象領域を表示するように表示処理を行う。

　図３は，情報表示装置を用いた表示例を示す図である。この例は，ゲーム機のカメラを用いて空港の表示板を写している。この例では，右画面の選択語“Ｃｈｉｎａ”に対応する英和辞書の部分が左画面に表示されている。この例では，ユーザは表示板を撮影するため，撮影部を下向きではなく，上方に向ける。そして，情報表示装置に内蔵されるコンパスは，撮影部の向きが上方であることを感知し，制御部へ伝える。すると，制御部は，制御プログラムの指令を受け，対象物判別部１３に対象物を判別させる。その結果，対象物判別部１３は,撮影部の角度が所定値以上であるという情報に基づいて，対象物が書籍ではないと判断する。そして，情報抽出部１５は，対象物が書籍ではないという情報に基づいて辞書１２中のデータベースを選択する。その上で，適切な辞書部分を抽出し，表示してもよい。

　図４は，上記とは別の本発明の情報表示装置を説明するためのブロック図である。図４に示されるように，この情報表示装置１は，撮影部１１と，辞書１２と，対象物判別部１３と，キャラクタ判別部１４と，情報抽出部１５と，表示部１６と，キャラクタ色判別部１７と，キャラクタ背景判別部１８と，キャラクタ表示判別部１９と，重畳表示制御部２０とを含む。

　図４に示される情報表示装置のうち図１と同じ要素については，記載を引用することで説明を省略する。ただし，この情報表示装置は，対象物の種類に基づいてキャラクタ情報が抽出されてもされなくてもよい。

　キャラクタ色判別部１７は，キャラクタの色を判別するための装置である。例えば，カラーコードはコード情報の色を判別する識別手段である。本発明では，例えば，カラーコードに用いられている色判別装置を用いることで，キャラクタの色を判別することができる。

　キャラクタ背景判別部１８は，対象物のうちキャラクタの周辺の色を判別するための装置である。ＯＣＭ又はＯＭＲを用いてキャラクタを推測した場合，対象物のうちキャラクタを除いた部分が発生する。この対象物のうちキャラクタを除いた部分がキャラクタの周辺の色である。このキャラクタの周辺の色も既に知られた装置を用いて判別することができる。

　キャラクタ表示判別部１９は，キャラクタの表示部１６における位置，大きさ，及び角度を判別するための装置である。ＯＣＲ及びＯＭＲは，通常キャラクタを判別できればよいため，キャラクタの位置，大きさ，角度に関する情報を求めた後，これらの情報を捨てる。本発明では，キャラクタの位置，大きさ，角度に関する情報を求めて記憶部に記憶する。そして，キャラクタに翻訳語の語を重畳させる際に，翻訳前のキャラクタの位置，大きさ，角度に関する情報を用いる。

　重畳表示制御部２０は，キャラクタに対応した情報を表示部１６に表示される対象物に重畳して表示するための装置である。

　図５は，重畳表示を説明するための図である。図５（ａ）は情報表示装置を介さない表示板を示す。この表示板が存在する空港における風景を情報表示装置が撮影する。すると，情報表示装置が，表示板に含まれるキャラクタ“Ｃｈｉｎａ”を認識する。情報表示装置はさらに，この文字の表示部１６における位置，大きさ，及び角度を把握する。これらの情報を一時記憶部３５に記憶する。そして，情報表示装置は，情報表示装置の向きから撮影対象が書籍ではないと判断し，翻訳用の辞書として地名事典及び名称事典を選択する。その上で，情報表示装置は，地名事典から，用語“Ｃｈｉｎａ”に対応する翻訳語として“中国”を選択する。通常の辞書を用いるとＣｈｉｎａからは磁器，瀬戸物という意味も生ずる。この場合に，地名事典から用語を選択したために，“Ｃｈｉｎａ”の訳語として磁器と表示される事態を防止できる。

　次に，重畳表示制御部２０は，このキャラクタ“Ｃｈｉｎａ”が消えるように“Ｃｈｉｎａ”の部分を含む領域を表示板の色で覆う。この場合，重畳画像制御部２０は，キャラクタ背景判別部１８から，キャラクタ背景（対象物のうちキャラクタの周辺部分）の色情報を得る。そして，記憶部からキャラクタを覆うための適切な色情報を得る。さらに，重畳画像制御部２０は，キャラクタ表示判別部から表示部１６におけるキャラクタの位置や大きさに関する情報を得る。そして，重畳画像制御部２０は，表示部１６におけるキャラクタの位置や大きさに関する情報を用いて，そのキャラクタを覆うような多角形を求めて，先に求めた色の多角形をキャラクタに重畳する。このようにすると，キャラクタが擬似的に消滅する。図５（ｂ）はキャラクタを背景色で覆った際の概念図である。

　そして，重畳表示制御部２０は，表示板における“Ｃｈｉｎａ”の位置，大きさ，及び角度に関する情報を用いて，表示板に“Ｃｈｉｎａ”の位置，大きさ，及び角度に対応した“中国”の文字を表示する。図５（ｃ）は，表示板における“Ｃｈｉｎａ”に変えて，“中国”の文字が表示される様子を示す図である。先に説明したようにして，“Ｃｈｉｎａ”の訳語として中国が選択される。そして，重畳画像制御部２０は，キャラクタ表示判別部から表示部１６におけるキャラクタの位置や大きさに関する情報を得る。重畳画像制御部２０は，“中国”の語が，得られたキャラクタの位置や角度に一致するよう演算処理を行う。さらに重畳画像制御部２０は，先にキャラクタと覆うために用いた多角形に“中国”の語が収まるように演算処理をする。このようにすることで，違和感のない状態で翻訳語を表示させることができる。図５（ｄ）は，表示板におけるキャラクタが翻訳された様子を示す図である。なお，図５に示す例では，一語のみが翻訳されている。しかし，たとえば，モニタに表示されるすべての語について翻訳語がモニタに表示されるようにしてもよい。この場合も，先に説明したと同様の処理を行うことで，すべての語の翻訳語をモニタに表示できる。

　図６は，本発明の情報表示装置が携帯電話により実装された例を示す。この例では，文章中のｄｕｓｔｐａｎが“ちりとり”に訳されて表示されている。なお，この処理は上記した図５の処理と同様である。

　図７は，上記とは別の本発明の情報表示装置の動作例を説明するための図である。この情報表示装置における表示部１６は，タッチパネルである。図２と同様に２画面用ゲーム機の右側の画面に英文が表示される。この際，撮影部が撮影した静止画を記憶して，静止画を右画面に表示してもよい。この例では，英文の一部が表示される。そして，ユーザがタッチペンを用いてタッチパネルをタッチする。すると，タッチペンにより指示された語が選択される。図７に示されるように，選択された文字部分には選択マーカーが表示される。英文中の文字が選択されると，その英単語に対応する英和辞書の該当部分が左画面に表示される。

　図８は，上記とは別の本発明の情報表示装置の動作例を説明するための図である。この情報表示装置は，情報抽出部１５が，辞書１２から，キャラクタに対応した最適語を１つ抽出するものである。最適語は，先に説明したとおり，対象物の種類に関する情報を用いて辞書１２を選択し，抽出してもよい。たとえば，対象物が書物以外であれば，辞書１２として地名辞書に対応する語があれば，その語を他の辞書から得られる語より優先させて，最適語と判断するようにしてもよい。この態様の情報表示装置は，対象物の種類に関する情報を用いることなく，最適語を抽出してもよい。

　辞書１２は，たとえば，ある単語に関連した複数の訳語を有しており，それぞれの訳語を使用頻度とともに記憶しているものであってもよい。たとえば，ある単語「Ａ」について，辞書には，訳として，「あ」，「い」，及び「う」が格納されているとする。この場合，「あ」，「い」及び「う」についてそれぞれ１位，２位，及び３位が振られている。そして，たとえば，本発明の情報表示装置が，単語「Ａ」を訳す場合，辞書にアクセスし，最も順位の高い「あ」を最適語として，表示部に表示させるようにすればよい。なお，後述するように「あ」が誤っていることが情報表示装置へ入力された場合は，辞書にアクセスして，「あ」の次の順位である「い」を読み出して，表示部に表示するようにしてもよい。

　本発明の情報表示装置は，単語の訳と，文章に含まれる頻度の高い語とを関連付けて記憶した共起データベースを有するものであってもよい。たとえば，単語「ｐｒｅｓｃｒｉｐｔｉｏｎ」は，「処方箋」，「助言」，「規則」，及び「時効」といった訳が存在する。共起データベースは，たとえば，単語「ｐｒｅｓｃｒｉｐｔｉｏｎ」に関連する「処方箋」と関連させて，疾患，薬又は薬局に関する語（「ｄｉａｂｅｔｅｓ」，「ｄｒａｇ」，「ｍｅｄｉｃａｍｅｎｔ」，「ｐｈａｒｍａｃｉｅ」）を格納すればよい。このようにすれば，たとえば，訳の対象語が「ｐｒｅｓｃｒｉｐｔｉｏｎ」であり，「ｐｒｅｓｃｒｉｐｔｉｏｎ」の前後に，疾患，薬又は薬局に関する語が存在すれば，本発明の情報表示装置は，「処方箋」を最適語として抽出する。他の語も同様である。たとえば，「時効」と関連して，「ｄａｍａｇｅ」，「ａｃｃｏｕｎｔ　ｏｆ　ｐｒｏｆｉｔ」，「ｃｒｉｍｉｎａｌ　ｏｆｆｅｎｃｅ」などの語を格納すればよい。

　図８に示す例は，対象語としての「ｐｒｅｓｃｒｉｐｔｉｏｎ」という語をカメラが撮影した部分に含まれた単語「ｄｉａｄｅｔｅｓ」を用いて，「処方箋」と訳して表示したものである。

　この情報表示装置は，対象語を翻訳する際に，対象語と同一の行にある語，又はカメラにより撮影された箇所に含まれる語を記憶部に記憶する。そして，情報表示装置は，辞書に記憶されている対象語の訳の関連語をも読み出す。その上で，記憶部に記憶された語に関連語が含まれているか否か判断する演算処理を行う。このようにすることで，訳語を選択するための共起判断処理を行うことができる。

　これにより，この情報表示装置は，対象語の翻訳を１つだけ適切に表示できる。このため，対象語が変化した瞬間に，変化後の対象語に適切に対応した翻訳語を１つリアルタイムに表示することができることとなる。

　図８に示されるように，この態様の情報表示装置は，最適語を表示するとともに，表示された最適語が誤っている場合に表示された最適語が誤っていることの入力を促す表示を行う。図中，符号２１は，最適語が誤っていることの入力を促すための表示である。

　先に説明した処理により，情報表示装置の表示部に，最適語が表示される。一方，ユーザがこの訳は適切ではないと判断した場合，次の訳語候補を表示させたいと考える。このユーザは，たとえば，最適語が誤っていることの入力を促すための表示２１をタッチする。すると，表示部がタッチパネル式の入力部となっているため，最適語が誤っていることについての情報が情報表示装置へ入力される。この入力情報を受け取った情報表示装置の制御部は，改めて辞書２にアクセスし，２番目に順位の高かった訳語を読み出して，表示部に表示する。

　なお，本発明は，コンピュータを上記した情報表示装置として機能させるためのプログラムも提供し，さらにそのプログラムを格納したコンピュータ読み取り可能な情報記録媒体をも提供する。また，本発明は，上記した情報処理装置による情報処理方法も提供する。

　以下，図９を用いて本発明をさらに改良した実施の形態について説明する。
　上述したとおり，本発明は，カメラが捉える画像が変化した瞬間に自動的に新しい翻訳語を連続的に表示できるリアルタイムレスポンスが可能なカメラ辞書に関するものである。
　しかしながら，カメラによって撮影された全ての単語について，その翻訳語を画面に表示することとすると，コンピュータにおける処理速度が追いつかず，翻訳語の表示が遅れてしまうという改良すべき点があった。つまり，カメラによって単語を撮影し，その単語の翻訳語を表示するまでには，カメラによって撮影された単語を判別し，判別した単語の翻訳語を辞書から抽出し，抽出した翻訳語を表示装置に表示するという処理が行われる。特に，撮影した単語の翻訳語を辞書から抽出する処理は，複雑であり比較的長い所持時間を要するものである。そこで，ユーザが必要とする翻訳語のみを辞書から抽出し，表示することが求められている。

　また，本発明によって単語が連続的に撮影される速度は，ユーザの語学能力によって異なる。特に，語学能力の高いユーザは，文書を読み進める速度が早いため，本発明によって単語を撮影する速度も早い。従って，ユーザが文書を読み進める速度に，コンピュータによる翻訳処理が追いつかないという改良すべき点があった。そこで，ユーザの能力に応じたタイミングで，翻訳語を表示することができる情報表示装置が求められている。

　以上の点に鑑み，本発明のさらなる実施形態においては，ユーザの能力に応じて，ユーザが必要とする翻訳語のみを表示できる情報表示装置を提供することを目的とする。すなわち，本発明のさらなる実施形態は，ユーザの必要とする翻訳語のみを表示することにより，コンピュータ全体における処理速度を向上させることを解決課題とする。

　上記課題を解決するために，本発明のさらなる実施形態は，以下の構成を有する。
　つまり，本発明のさらなる実施形態は，図９において示されるように，
　対象物を撮影するための撮影部（１１）と，
　複数のキャラクタに関連した情報を記憶し，かつ，各キャラクタに関連した情報を難易度に応じて分類した難易度データベースを有する辞書（１２）と，
　前記撮影部（１１）で撮影された対象物の種類を判別するための対象物判別部（１３）
と，
　前記撮影部（１１）で撮影された対象物に含まれるキャラクタを判別するためのキャラ
クタ判別部（１４）と，
　前記キャラクタ判別部（１４）により判別されたキャラクタそれぞれを，前記辞書（１２）に含まれる難易度データベースに基づいて解析し，前記キャラクタそれぞれの難易度を決定することにより，前記撮影部（１１）により前記対象物を撮影したユーザの語学レベルを判定するレベル判定部（５１）と，
　前記レベル判定部（５１）により判定されたユーザの語学レベルに応じて，前記辞書（１２）に含まれる難易度データベースを選択するデータベース選択部（５２）と，
　前記対象物判別部（１３）により判別された対象物の種類及び前記キャラクタ判別部（１２）により判別されたキャラクタに基づいて，前記データベース選択部（５２）により選択された難易度データベースから，このキャラクタに対応した情報を抽出する情報抽出部（１５）と，
　前記情報抽出部（１５）により抽出されたキャラクタに対応した情報を表示するための
表示部（１６）と，
を含む，
　情報表示装置である。

　このような構成を有することにより，本発明のさらなる実施の形態は，ユーザの語学レベルに応じて，ユーザが必要とする翻訳語のみを辞書から抽出し，表示装置に表示できる。従って，ユーザが必要としない翻訳語については，辞書から抽出する処理を行わなくて済むため，コンピュータ全体の処理速度を向上させることができる。

　以下，本発明のさらなる実施形態について具体的に説明する。
　ただし，上述した実施形態と重複する箇所については，説明を省略する。従って，本発明のさらなる実施の形態においても，上述した実施の形態と同様の構成を適宜採用することができる。

　辞書１２は，複数のキャラクタに関連した情報を記憶する。さらに，辞書１２は，各キャラクタに関連した情報を難易度に応じて分類した難易度データベースを有する。難易度データベースには，それぞれのキャラクタが，その難易度に応じて分類されているものであり，例えば，英単語が，初級，中級，及び上級のように分類される。なお，キャラクタの難易度は，２段階分類されるものであってもよいし，３段階以上に分類されるものであってもよい。また，難易度データベースには，複数のキャラクタのそれぞれについて，その難易度に応じた数値が記憶されていることが好ましい。キャラクタの難易度に応じた数値は，対象物を撮影したユーザのレベルを判定する処理において用いられる。例えば，難易度が初級に分類される単語については数値１が割り振られ，中級に分類される単語については数値２が割り振られ，上級に分類される単語については数値３が割り振られる。また，例えば，初級に割り振られた単語について，さらにその難易度に応じて数値１.０～１.９が割り振られることとしてもよい。また，文書中に多数出現する単語であって，翻訳語を表示する必要性が低い単語については，数値を割り振らない，又は数値０を割り振ればよい。例えば，翻訳語を表示する必要性の低い単語の例としては，助詞，冠詞，助動詞，接続詞が挙げられる。なお，キャラクタのそれぞれについて割り振られる数値については，適宜変更することができ，上述した例に限定されるものではない。

　また，難易度データベースは，難易度が向上するにつれて，記憶するキャラクタ数が減少するものであることが好ましい。具体的に，難易度の高い難易度データベースには，難易度の低い難易度データベースに記憶されているキャラクタのうち，難易度の高いキャラクタが記憶されている構成とすることが好ましい。すなわち，難易度の低い難易度データベースにはより多くの単語が記憶され，難易度の高い難易度データベースにはより少ない単語が記憶されている。

　また，各難易度データベースは，対象物の種類に応じた複数のキャラクタを分類し記憶している。対象物の種類の例は，書籍，ノート，ポスター，地図，ゲーム画面，人形，表札及び看板である。

　本発明のさらなる実施形態は，撮影部１１により，対象物を撮影したユーザの語学レベルを判定するレベル判定部５１を有する。レベル判定部５１は，辞書１２に含まれる難易度データベースに基づいて，ユーザにより撮影された対象物に含まれるキャラクタそれぞれの難易度を決定し，ユーザが翻訳を必要とする単語の難易度を把握することにより，ユーザの語学レベルを判定する。例えば，ユーザにより撮影された対象物に含まれるキャラクタが，難易度データベースにおいて，初級に割り振られるものが多い場合には，ユーザのレベルは初級であると判定することができる。レベル判定部５１により，判定されたユーザの語学レベルに関する情報は，記憶部に記憶される。

　より具体的には，レベル判定部５１は，キャラクタ判別部１４によって判別されたキャラクタの全てについて難易度を決定する。このとき，キャラクタの難易度は，難易度データベースに記憶されている難易度に応じた数値が用いられる。例えば，キャラクタ判別部１４によって判別されたキャラクタの個数が１０である場合，この１０のキャラクタのそれぞれについて難易度データベースから難易度に応じた数値を求める。その後，それぞれのキャラクタの難易度に応じた数値を合計する。そして，この合計数を，キャラクタの個数で割り，キャラクタ判別部１４によって判別されたキャラクタの難易度の平均値を求める。レベル判定部５１は，このようにして求めたキャラクタの難易度の平均値に応じたレベルを，ユーザの語学レベルと判定することができる。判定部５１がユーザの語学レベルを判定するために用いたキャラクタの個数，キャラクタの難易度に応じた数値，及びキャラクタの難易度に応じた数値の平均値に関する情報は，記憶部に記憶される。

　なお，レベル判定部５１は，キャラクタ判別部１４によってキャラクタが判別される度に，記憶部に記憶したユーザの語学レベルに関する情報を更新することとしてもよい。これにより，ユーザの語学能力の変化に応じて，記憶部に記憶されている語学レベルに関する情報も変化させることができる。また，記憶部に記憶されるユーザの語学レベルは，ユーザが任意に選択するものであってもよい。

　本発明のさらなる実施形態では，レベル判定部５１により判定されたユーザの語学レベルに応じて，辞書１２に含まれる難易度データベースを選択するデータベース選択部５２を有する。前述したとおり，辞書１２には各キャラクタに関連した情報を難易度に応じて分類した難易度データベースが含まれている。そして，レベル判定部５１により，判定されたユーザの語学レベルに応じた難易度データベースが，辞書１２から選択される。例えば，レベル判定部５１によりユーザの語学レベルが初級であると判定された場合には，データベース選択部５２は，初級の語学レベルに応じたキャラクタを記憶する難易度データベースを選択する。

　そして，本発明のさらなる実施形態において，情報抽出部１５は，対象物判別部１３により判別された対象物の種類及びキャラクタ判別部１２により判別されたキャラクタに基づいて，データベース選択部５２により選択された難易度データベースから，このキャラクタに対応した情報を抽出する。難易度データベースには，キャラクタに対応した情報が，対象物の種類に分類されて記憶されているため，情報抽出１５は，対象物の種類に応じたキャラクタの翻訳語を抽出できる。特に，難易度データベースは，難易度が向上するにつれて，記憶されているキャラクタ数が少なくなっている。キャラクタ判別部１２によってキャラクタが判別された場合であっても，情報抽出部１５は，選択された難易度データベースに記憶されていないキャラクタに関しては，翻訳語を抽出しない。すなわち，ユーザの語学レベルが高い場合，情報抽出部１５によって抽出される翻訳語の数は少なくなる。一方，難易度データベースは，難易度が低下するにつれ記憶されているキャラクタ数が多くなっている。すなわち，ユーザの語学レベルが低い場合，情報抽出部１５によって抽出される翻訳語の数は多くなる。

　これにより，本発明のさらなる実施形態では，ユーザが必要とする翻訳語のみを表示することができる。すなわち，語学力の高いユーザに対しては，速い速度で，ユーザの必要とする少ない翻訳語を表示できる。一方，語学力の低いユーザに対しては，遅い速度で，ユーザの必要とする多くの翻訳語を表示できる。従って，本発明のさらなる実施形態は，ユーザの能力に応じて，ユーザが必要とする翻訳語を適切に表示することができる。

　本発明は，学習用機器や旅行用ツールとして有効に利用されうる。

　１　情報表示装置
　１１　撮影部
　１２　辞書
　１３　対象物判別部
　１４　キャラクタ判別部
　１５　情報抽出部
　１６　表示部
　１７　キャラクタ色判別部
　１８　キャラクタ背景判別部
　１９　キャラクタ表示判別部
　３１　画像処理部
　３２　画像記憶部
　３３　判別部
　３４　画像調整部
　３５　一時記憶部
　４１　制御部
　４２　入力部
　４３　主記憶部
　４４　出力部
　５１　レベル判定部
　５２　データベース選択部

Claims (7)

1. 　対象物を撮影するための撮影部（１１）と，
   　複数のキャラクタに関連した情報を記憶する辞書（１２）と，
   　前記撮影部（１１）で撮影された対象物の種類を判別するための対象物判別部（１３）と，
   　前記撮影部（１１）で撮影された対象物に含まれるキャラクタを判別するためのキャラクタ判別部（１４）と，
   　前記対象物判別部（１３）により判別された対象物の種類及び前記キャラクタ判別部（１２）により判別されたキャラクタに基づいて，前記辞書（１２）から，このキャラクタに対応した情報を抽出する情報抽出部（１５）と，
   　前記情報抽出部（１５）により抽出されたキャラクタに対応した情報を表示するための表示部（１６）と，
   を含む，
   　情報表示装置。
2. 　前記情報抽出部（１５）は，
   　前記対象物判別部（１３）により判別された対象物の種類及び前記キャラクタ判別部（１２）により判別されたキャラクタに基づいて，前記辞書（１２）から，前記キャラクタに対応した最適語を１つ抽出するものであり，
   　前記表示部（１６）は，前記最適語を表示するとともに，表示された最適語が誤っている場合に表示された最適語が誤っていることの入力を促す表示を行い，
   　表示された最適語が誤っていることの入力がなされた場合は，前記情報抽出部（１５）は，前記辞書（１２）から，前記キャラクタに対応した前記最適語とは別の語を抽出し，
   　前記表示部（１６）は，前記別の語を表示する，
   　請求項１に記載の情報表示装置。
3. 　前記対象物判別部（１３）は，
   　前記対象物のうちキャラクタ以外の部分の色情報を用いて，対象物の種類を判別するものであり，
   　前記辞書（１２）は，
   　対象物の種類に応じたデータベースを有する辞書であり，
   　前記情報抽出部（１５）は，
   　前記対象物判別部（１３）により判別された対象物の種類を用いて前記辞書（１２）に含まれる対象物の種類に応じたデータベースを選択し，
   　前記キャラクタ判別部（１２）により判別されたキャラクタに基づいて，選択されたデータベースから，このキャラクタに対応した情報を抽出する，
   　請求項１に記載の情報表示装置。
4. 　前記対象物判別部（１３）は，
   　前記撮影部（１１）の向きに基づいて，対象物の種類を判別するものであり，
   　前記辞書（１２）は，
   　対象物の種類に応じたデータベースを有する辞書であり，
   　前記情報抽出部（１５）は，
   　前記対象物判別部（１３）により判別された対象物の種類を用いて前記辞書（１２）に含まれる対象物の種類に応じたデータベースを選択し，
   　前記キャラクタ判別部（１２）により判別されたキャラクタに基づいて，選択されたデータベースから，このキャラクタに対応した情報を抽出する，
   　請求項１に記載の情報表示装置。
5. 　前記対象物判別部（１３）は，
   　入力情報に基づいて，対象物の種類を判別するものであり，
   　前記辞書（１２）は，
   　対象物の種類に応じたデータベースを有する辞書であり，
   　前記情報抽出部（１５）は，
   　前記対象物判別部（１３）により判別された対象物の種類を用いて前記辞書（１２）に含まれる対象物の種類に応じたデータベースを選択し，
   　前記キャラクタ判別部（１２）により判別されたキャラクタに基づいて，選択されたデータベースから，このキャラクタに対応した情報を抽出する，
   　請求項１に記載の情報表示装置。
6. 　前記表示部（１６）は，撮影部（１１）により撮影された対象物を表示するものであり，
    
   　前記キャラクタの色を判別するキャラクタ色判別部（１７）と，
   　前記対象物のうち前記キャラクタの周辺の色を判別するキャラクタ背景判別部（１８）と，
   　前記キャラクタの前記表示部（１６）における位置，大きさ，及び角度を判別するキャラクタ表示判別部（１９）と，
   　前記キャラクタに対応した情報を前記表示部（１６）に表示される対象物に重畳して表示するための重畳表示制御部（２０）と，
   　を含み，
   　前記重畳表示制御部（２０）は，
   　前記キャラクタ表示判別部（１９）が判別した前記キャラクタの前記表示部（１６）における位置，大きさ，及び角度と，前記キャラクタ色判別部（１７）が判別した前記キャラクタの色とに基づいて前記キャラクタに対応した情報を表示し，
   　前記キャラクタ背景判別部（１８）が判別した前記対象物のうち前記キャラクタの周辺の色に基づいて，前記キャラクタが前記表示部に表示されないように前記キャラクタの周辺の色を表示する，
   　請求項１に記載の情報表示装置。
7. 　前記表示部（１６）は，撮影部（１１）により撮影された対象物を表示するものであり，
   　前記表示部（１６）は，タッチパネルであり，
   　前記キャラクタ判別部（１４）は，前記タッチパネルからの指示情報に基づいて前記キャラクタを特定して判別する，
   　請求項１に記載の情報表示装置。
   
    
    

Images