特許文献1及び特許文献2に開示された装置は,いずれも,ある文章やある単語を撮影し,それに基づいてその翻訳文や翻訳語をモニタの所定の表示領域に表示するものである。このため,撮影された文書内に複数の単語がある場合,翻訳装置により,どの単語が翻訳されたのかがユーザに分かりにくくなるという問題があった。
また,カメラを用いた翻訳装置においては,一般的に,翻訳の対象となる文章をカメラで撮影し,撮影した文書から翻訳する単語を抽出し,抽出した単語を判別し,辞書を参照して,判別した単語の翻訳語を抽出する。そして,抽出した単語の翻訳語を表示部に表示するという処理が行われる。また,単語辞書には,一般的に,8万語程度の単語が記憶されている。従って,一般的な翻訳装置においては,文書の撮影から翻訳語の表示までの処理を行うのに時間がかかるものであり,文書を撮影してから単語の翻訳語が表示されるまでの間に,数秒のタイムタグが生じることとなる。このようなタイムラグは,翻訳装置を扱うユーザに対して,ストレスを与えることとなっていた。
そこで,本考案は,撮影された文書内に複数の単語が存在する場合であっても,どの単語を翻訳したのかをユーザに分かりやすく示すことができるカメラを用いた翻訳装置を提供することを目的とする。
また,本考案は,文書の撮影から翻訳語の表示までのタイムラグによって,ユーザにストレスを与えることのないカメラを用いた翻訳装置を提供することを目的とする。
本考案は,上記課題に鑑みてなされたものであり,基本的には,文書の撮影から単語の翻訳語の表示までの間に,翻訳の対象となる単語を指示するカーソルを移動する処理を行うことにより,ユーザの視線をカーソルに惹きつけることができるという知見に基づく。これにより,本考案は,翻訳装置によってどの単語が翻訳されたのかを簡明に表示することができるとともに,文書の撮影から翻訳語の表示まで間にタイムラグが生じた場合であっても,ユーザにストレスを感じさせることがない。
本考案は,カメラで撮影したキャラクタの翻訳を行う情報処理装置に関する。なお,本明細書中において,「翻訳」とは,日本語を外国語に置き換えることや,外国語を日本語に置き換えること,外国語を他の外国語に置き換えること,ある図形を言葉に置き換えること,ある言葉を図形に置き換えることのような様々な意味を有するものとして使用する。
この情報処理装置は,基本的には,撮影部と,辞書と,キャラクタ判別部と,情報抽出部と,表示部を備える。
この情報処理装置は,撮影部により,対象物を撮影する。辞書には,複数のキャラクタに関連した情報が記憶されている。キャラクタ判別部は,撮影部で撮影された対象物に含まれるあるキャラクタを判別する。情報抽出部は,キャラクタ判別部により判別されたあるキャラクタに基づいて,辞書から,あるキャラクタに対応した情報を抽出する。キャラクタに対応した情報の例は,ある用語に対する翻訳語や用例である。キャラクタは,一般的な文字であってもよいし,絵文字や,コード情報,記号であってもよい。表示部には,撮影部により撮影された撮影画像と,情報抽出部により抽出されたあるキャラクタに対応した情報が表示される。
そして,この情報処理装置は,さらに,カーソル表示部と,キャラクタ位置特定部と,カーソル位置移動部と,軌跡制御部を備えている。
カーソル表示部は,表示部の所定箇所にカーソルを表示する。キャラクタ位置特定部は,キャラクタ判別部により判別されたあるキャラクタの,表示部における位置を特定する。
カーソル移動手段は,キャラクタ位置特定部により特定したあるキャラクタの位置の情報に基づいて,表示部の所定箇所に表示されたカーソルを,あるキャラクタの表示部における位置に移動させる制御を行う。
軌跡制御部は,カーソル移動部により移動されるカーソルの,表示部の所定箇所からあるキャラクタの位置までの軌跡を制御する。
このように,本考案に係る情報処理装置においては,文書の撮影から翻訳語表示までの処理の間に,表示部に表示されたカーソルが,翻訳の対象のキャラクタ位置に移動するものである。このため,ユーザは,その処理の間,移動するカーソルを注視する。従って,この情報処理装置は,文書の撮影から翻訳語表示までのタイムラグによってストレスを感じさせることなく,ユーザに対して,翻訳語を提示することができる。さらに,表示部に表示されたカーソルは,翻訳の対象であるキャラクタの位置に移動する。従って,この情報処理装置は,撮影された文書内に複数の単語が存在する場合であっても,どの単語を翻訳したのかをユーザに分かりやすく示すことができる。また,カーソルの移動は,例えば,蛇行又は旋回するように,その軌跡が制御されるため,よりユーザの注意を惹くことが可能である。
本考案に係る情報処理装置においては,さらに,キャラクタサイズ特定部と,カーソルサイズ制御部を備えることが好ましい。キャラクタサイズ特定部は,キャラクタ位置特定部により対象物における位置が特定されたあるキャラクタの大きさを特定する。カーソル形状制御部は,キャラクタサイズ特定部が特定したあるキャラクタの大きさの情報に基づいて,カーソル位置移動部によりあるキャラクタの位置に移動したカーソルの大きさを制御する。
このように,本考案の情報処理装置の好ましい態様においては,カーソルが翻訳の対象であるキャラクタの位置に移動するだけでなく,その後,カーソルの大きさがそのキャラクタの大きさに合せて可変するものであるため,よりユーザの興味を惹きつけることができる。
本考案に係る情報処理装置においては,さらに,撮影部で撮影された対象物の種類を判別するための対象物判別部を備えることが好ましい。特に,対象物判別部は,カーソル位置特定部により特定されたあるキャラクタの大きさの情報に基づいて対象物の種類を判別するものでることが好ましい。この場合において,辞書は,対象物の種類に応じたデータベースを有する辞書である。また,情報抽出部は,対象物判別部により判別された対象物の種類を用いて,辞書に含まれる対象物の種類に応じた前記データベースを選択し,判別部により判別されたあるキャラクタに基づいて,選択されたデータベースから,あるキャラクタに対応した情報を抽出することが好ましい。
このように,本考案の好ましい態様においては,情報抽出部が,撮影の対象物に含まれるキャラクタの大きさに基づいて,情報を抽出する辞書のデータベースを選択するものである。このため,情報抽出部が,辞書データベースを参酌する処理を迅速なものとすることができる。例えば,情報処理抽出部は,キャラクタサイズ特定手段が,表示部に表示されたキャラクタの大きさが,所定の閾値よりも大きいものであると判断した場合,対象物が,撮影位置から近いもの(例えば雑誌),又はキャラクタが大きく表示されるもの(例えば看板)であると判断することができる。従って,辞書に記録されているキャラクタを,予め,例えば,「雑誌」や「看板」のように分類しておけば,情報抽出部が,辞書を参酌する時間を短縮することができる。
また,本考案に係る情報処理装置は,対象物を撮影するための撮影部を2つ備えることが好ましい。そして,キャラクタ判別部は,2つの撮影部で撮影された2つの撮影データに基づいて,対象物に含まれるあるキャラクタを判別するものであることが好ましい。
このように,本考案の好ましい態様においては,キャラクタ判別部は,異なる方向に設けられた撮影部により撮影された2つの撮影データを参酌して,対象物に含まれるキャラクタを判別するものである。従って,例えば,一方の撮影部によって撮影された撮影データに光が映りこみ対象物に含まれるキャラクタを判別できないものであっても,他方の撮影部により撮影された撮影データが正常であれば,このデータに基づいて対象物に含まれるキャラクタを判別することができる。
また,本考案に係る情報処理装置が,対象物を撮影するための撮影部を2つ備える場合,それらの撮影部により撮影された対象物を,表示部に立体表示することとしてもよい。従来のカメラ付き翻訳装置は,平面(二次元)の撮影対象物に含まれるキャラクタを撮影し,それを表示部に表示するものであった。しかし,本考案に係る情報処理装置のように,撮影部を2つ備えるものである場合,三次元空間に含まれる対象物を次々と撮影し,対象物のキャラクタを翻訳することができる。そして,2つの撮影部により撮影された対象物,その対象物に含まれるキャラクタの翻訳語,及びカーソルを,実空間における配置に対応させて,表示部に表示することにより,よりリアリティのある翻訳語表示が可能となる。
また,表示部は,第1表示部と,第2表示部に,ハードウェア的に分離されているものであることが好ましい。そして,第1表示部には,撮影部により撮影された撮影画像と,カーソル表示部により表示されるカーソルと,辞書に記憶されているキャラクタ詳細な説明の要約が表示される。一方,第2表示部には,辞書に記憶されているキャラクタの詳細な説明が表示される。この場合において辞書は,複数のキャラクタに関連した情報として,キャラクタの詳細な説明と,キャラクタの詳細な説明の要約を関連付けて記憶するものである。キャラクタの詳細な説明としては,例えば,キャラクタの用例や解説を含めた辞典に掲載されるような内容が表示され,キャラクタの詳細な説明の要約としては,例えば,用例や解説を省略し,最も一般的な用法の単語が3つ〜5つ程度表示されるものである。
このように,本考案に係る情報処理装置が,キャラクタの翻訳語の詳細な説明と要約を2つの表示部に分けて別々に表示することにより,ユーザは,例えば,詳しく知りたいキャラクタについては詳細画面を参酌し,簡潔に知りたいキャラクタについては要約画面を参酌するような,使い分けをすることができる。また,キャラクタの翻訳後の要約は,撮影部により撮影された撮影画像と同一の表示部に表示されるものであるため,ユーザは,視線方向の切り換えを行わずに,キャラクタの翻訳語の要約を知ることができる。
また,本考案に係る情報処理装置は,さらに,バルーン表示部を備えることが好ましい。バルーン表示部は,少なくとも,情報抽出部により抽出されたあるキャラクタに対応した情報を,表示部にバルーン表示するものである。
このように,本考案に係る情報処理装置は,情報抽出部に抽出されたキャラクタをバルーン表示するものであるため,ユーザの嗜好性を高めることができる。また,本考案に係る情報処理装置は,バルーン表示部によるバルーン表示のアクションを制御することにより,さらにユーザの嗜好性を高めることができる。
さらに,本考案に係る情報処理装置は,バルーン表示部によって表示部に表示されたバルーンを立体表示するように,バルーン画像の処理を行うこととしてもよい。このように,バルーン表示された翻訳語が,ユーザが立体的に視認できるよう表示されることにより,撮影部により撮影された対象物と,その対象物に含まれるキャラクタの翻訳語(バルーン)を区別して表示部に表示することができる。また,立体表示されたバルーンを,例えば揺動させるようにすることにより,ユーザは,より撮影対象物と翻訳語(バルーン)を区別して視認することができる。
次に,カメラで撮影したキャラクタの翻訳語を表示する情報表示方法について説明する。
この情報表示方法は,基本的には,撮影工程と,キャラクタ判別工程と,情報抽出工程と,表示工程を有し,情報抽出工程から表示工程の処理が行われる間に,カーソル表示工程と,キャラクタ位置特定工程と,カーソル位置移動工程を行う。
撮影工程においては,撮影部により,対象物を撮影する。キャラクタ判別工程においては,キャラクタ判別部により,撮影工程で撮影された対象物に含まれるあるキャラクタを判別する。情報抽出工程においては,情報抽出部により,キャラクタ判別工程で判別されたあるキャラクタに基づいて,複数のキャラクタに関連した情報を記憶する辞書から,あるキャラクタに対応した情報を抽出する。表示工程においては,表示部に,撮影部により撮影された撮影画像と,情報抽出工程で抽出したあるキャラクタに対応した情報を表示する。カーソル表示工程においては,カーソル部により,表示部の所定箇所にカーソルを表示する。キャラクタ位置特定工程においては,キャラクタ位置特定部により,キャラクタ判別工程で判別されたあるキャラクタの表示部における位置を特定する。カーソル移動工程においては,カーソル位置移動部により,キャラクタ位置特定工程で特定されたあるキャラクタの位置の情報に基づいて,表示部の所定箇所に表示されたカーソルを,あるキャラクタの位置に移動させる。
次に,情報処理装置を,カメラで撮影したキャラクタの翻訳後を表示する装置として機能させるプログラムについて説明する。
この情報表示プログラムは,基本的には,情報処理装置を,撮影手段と,キャラクタ判別手段と,情報抽出手段と,表示手段と,カーソル表示手段と,キャラクタ位置特定手段と,カーソル位置移動手段として機能させる。
撮影手段は,対象物を撮影する。キャラクタ判別手段は,撮影手段で撮影された対象物に含まれるあるキャラクタを判別する。情報抽出手段は,キャラクタ判別手段で判別されたあるキャラクタに基づいて,複数のキャラクタに関連した情報を記憶する辞書から,あるキャラクタに対応した情報を抽出する。表示手段は,撮影手段により撮影された撮影画像と,情報抽出手段で抽出したあるキャラクタに対応した情報を表示する。カーソル表示手段は,表示手段の所定箇所にカーソルを表示する。キャラクタ位置特定手段は,キャラクタ判別手段で判別されたあるキャラクタの表示手段における位置を特定する。カーソル移動手段は,キャラクタ位置特定手段で特定されたあるキャラクタの位置の情報に基づいて,表示手段の所定箇所に表示されたカーソルを,あるキャラクタの位置に移動させる。
なお,上記情報表示プログラムを格納したコンピュータが読み取り可能な情報記録媒体であっても,本考案の課題は達成される。
本考案においては,文書の撮影から単語表示までの処理の間に,モニタに表示されたカーソルが,翻訳対象のキャラクタ位置に移動する。このため,ユーザは,その処理の間,移動するカーソルを注視する。従って,本考案は,ユーザに対して,文書の撮影から単語表示までのタイムラグをストレスに感じさせることなく,キャラクタに対応する情報を表示することができる。
また,本考案においては,モニタに表示されたカーソルが,翻訳の対象であるキャラクタの位置に移動する。従って,本考案は,撮影された文書内に複数の単語が存在する場合であっても,どの単語を翻訳したのかをユーザに分かりやすく示すことができる。
以下,図面に基づいて本考案を実施するための形態について説明する。本考案は,以下の説明に限定されることなく,当業者に自明な範囲で適宜修正を加えたものも含む。
図1は,本考案の情報表示装置を説明するためのブロック図である。図1に示されるように,本考案の情報表示装置1は,撮影部11と,辞書12と,対象物判別部13と,キャラクタ判別部14と,情報抽出部15と,表示部16と,カーソル表示部21と,キャラクタ位置特定部22と,カーソル位置移動部23と,キャラクタサイズ特定部24と,カーソルサイズ制御部25を含む。
情報表示装置は,撮影部11及び表示部16を有するものであればどのような形態のものであってもよい。また,情報表示装置は,撮影部11が情報表示装置から離れた位置に存在し,撮影部11が撮影した情報を受信して表示部16に表示するものであってもよい。さらに,情報表示装置は,表示部16が情報表示装置から離れた位置に存在するものであってもよい。情報表示装置の例は,2画面式携帯用ゲーム機,1画面式携帯用ゲーム機,デジタルカメラ,ビデオカメラ,携帯電話,スマートフォン,携帯型パーソナルコンピュータ,及びその他携帯端末である。また,情報処理装置は,表示部16に三次元の立体映像を表示する立体映像表示装置であってもよい。立体映像表示装置は,偏光眼鏡やシャッター眼鏡を利用して立体映像を提示する眼鏡式ものであってもよいし,モニタにレンチキュラーレンズやパララックスバリアの視差障壁を備える裸眼式のものであってもよい。
撮影部11は,対象物を撮影するための装置である。撮影部11の例は,カメラである。カメラの例は,CCDカメラである。CCDカメラは,たとえば,動画撮影モードを用いる。この場合,たとえば1/30秒ごとに被写体を捕らえて,ビデオメモリなどの画像記憶部へ連続的に記憶させる。情報処理装置は,撮影部11を2以上備えるものであってもよい。複数の撮影部11のそれぞれは,情報処理装置の異なる位置に備えられ,異なる角度で,対象物を撮影する。異なる視点において撮影された撮影画像は,例えば,立体映像表示装置において立体画像を表示するための画像として用いることができる。
辞書12は,複数のキャラクタに関連した情報を記憶する電子的な辞書である。辞書の例は,英和辞書,和英辞書,国語辞典,地名事典,及び名称事典である。また,辞書12は,ユーザによる情報の入力操作によって更新されることしてもよい。例えば,辞書12にデフォルトで記憶されている情報は,ユーザが適宜追加・改変できることとしてもよい。
辞書12は,撮影の対象物の種類に応じたデータベースを有することが好ましい。対象物の種類の例は,書籍,ノート,ポスター,地図,ゲーム画面,人形,表札,道路標識,掲示板及び看板である。これらの対象物のうち,例えば,ポスターや,表札,看板,ノートに含まれるキャラクタが撮影された場合,撮影画像におけるキャラクタの大きさは,比較的大きいものとなる。一方,例えば,書籍や,地図,道路標識,掲示板に含まれるキャラクタが撮影された場合に,撮影画像におけるキャラクタの大きさは,比較的小さいものとなる。
対象物判別部13は,撮影部11で撮影された対象物の種類を判別する機能を有する。
対象物判別部13は,対象物に含まれるキャラクタの情報を用いて,対象物の種類を判別するものであってもよい。たとえば,後述のキャラクタサイズ特定部が,撮影部により撮影され表示部に表示されるキャラクタの大きさが,一定の閾値以上であると判断した
場合には,対象物判別部13は,その対象物はキャラクタが大きく記載されたもの(例えば,ポスター,看板,表札)であると判別することができる。
この対象物判別部13は,例えば,キャラクタの大きさに関する情報と対象物の種類とを関連付けたテーブルを有する。そして,撮影部により撮影され表示部に表示されたキャラクタの大きさに関する情報に基づいて,そのテーブルから対象物の種類に関する情報を読み出す。
対象物判別部13は,対象物のうちキャラクタ以外の部分の色情報を用いて,対象物の種類を判別するものであってもよい。対象物判別部13は,対象物のうちキャラクタ以外の部分の色情報と,キャラクタの色情報とを用いて,対象物の種類を判別するものであってもよい。
この対象物判別部13は,例えば,キャラクタ以外の部分の色と対象物の種類とを関連付けたテーブルを有する。そして,キャラクタ以外の部分の色情報に基づいて,そのテーブルから対象物の種類に関する情報を読み出す。また,この対象物判別部13の別の例は,キャラクタの色及びキャラクタ以外の部分の色と対象物の種類とを関連付けたテーブルを有する。この場合も,撮影部11が撮影した対象物からキャラクタ部分を判別し,その上でキャラクタ部分の色及びキャラクタ以外の部分の色を判別する。そして,得られた色情報を用いてテーブルから対象物の種類に関する情報を抽出する。
対象物判別部13は,撮影部11の向きに基づいて,対象物の種類を判別するものであってもよい。たとえば,情報表示装置は,コンパスを有している。コンパスは,情報表示装置の向きを把握するものである。情報表示装置の向きを把握できれば,撮影部11の向きをも把握することができる。すなわち,この対象物判別部13は,コンパスと,コンパスからの情報に基づいて撮影部11の向きを判断する向き判断部と,撮影部11の向きと対象物の種類とを関連付けて記憶するテーブルを有するものである。コンパスからの情報を受け取った向き判断部が情報表示装置の向き及び撮影部の向きを判別する。そして,この対象物判別部13は,求められた撮影部の向きに基づいてテーブルから対象物の種類を判別する。このようにして,容易に対象物を推測することができる。
対象物判別部13は,入力情報に基づいて,対象物の種類を判別するものであってもよい。たとえば,表示部16に,対象物の種類を選択させる表示が表示される。そして,表示部16がタッチパネルである。そして,ユーザがタッチパネルを用いて対象物の種類を選択する。すると,タッチパネルから対象物の種類に関する情報が情報表示装置に入力される。そして,情報表示装置は,入力された対象物の種類に関する情報を用いて後述する処理を行う。
対象物判別部13は,撮影部11と,対象物との距離に基づいて,対象物の種類を判別するものであってもよい。カメラは通常対象物との距離を測定するための距離測定手段を有している。そして,この対象物判別部13は,そのような距離測定手段を有する。距離測定手段を有するため,たとえば,遠方にある対象物は看板であるといったように対象物の種類を判別できる。
キャラクタ判別部14は,撮影部11で撮影された対象物に含まれるキャラクタを判別するための装置である。キャラクタ判別部14の例は,OCR又はOMRである。
情報抽出部15は,対象物の種類及びキャラクタに基づいて,辞書12から,このキャラクタに対応した情報を抽出するための装置である。
表示部16は,情報抽出部15により抽出されたキャラクタに対応した情報を表示するための装置である。
カーソル表示部21は,表示部16の所定箇所に,カーソルを表示するための装置である。カーソル表示部21によって表示されるカーソルの位置は,予め設定しておくこととしてもよい。また,カーソル表示部21によって表示されるカーソルの位置は,乱数によって定めることとしてもよい。カーソルは,翻訳の対象であるキャラクタが表示部16に表示される位置とは,異なる位置に表示されることが好ましい。カーソルは,矩形の枠体であってもよいし,アンダーラインのようなものであってもよい。
キャラクタ位置特定部22は,キャラクタ判別部14により判別されたキャラクタの,表示部16における位置を特定する装置である。撮影部11により対象物が撮影されると,表示部16には,撮影部11による撮影画像が表示される。キャラクタ判別部14は,その撮影画像に基づいて,対象物に含まれるキャラクタを判別する。また,キャラクタ位置特定部22は,そのキャラクタが,表示部16に表示された位置を特定する。
カーソル位置移動部23は,キャラクタ位置特定部22により特定したキャラクタの位置の情報に基づいて,表示部16の所定箇所に表示されたカーソルを,そのキャラクタの位置に移動させる装置である。カーソルの移動制御は,表示部16に表示された所定箇所から,キャラクタ位置特定部より特定されたキャラクタの位置まで,最短ルートで,移動させることとしてもよい。また,カーソルの移動制御は,キャラクタの位置まで蛇行するようにして移動させることとしてもよい。カーソル位置移動部は,キャラクタの判別から翻訳語の表示までの処理時間を予め算出し,算出した処理時間に合わせて,カーソルの移動制御を行うことが好ましい。すなわち,カーソル位置移動部は,翻訳語が表示されるタイミングに合わせて,カーソルがキャラクタの位置に到達するよう制御を行うことが好ましい。
キャラクタサイズ特定部24は,キャラクタ位置特定部24により表示部16における位置が特定されたキャラクタの大きさを特定する装置である。キャラクタサイズ特定部は,例えば,対象物に含まれる文字の間隔を検出し,相対的に文字間隔が大きくなっている箇所の間に含まれる文字群を1のキャラクタと判断し,これによりキャラクタの横幅及び縦幅を特定する。このように,キャラクタサイズ特定部24は,キャラクタの横幅及び縦幅を求める。
カーソルサイズ制御部25は,キャラクタサイズ特定部24が特定したキャラクタの大きさの情報に基づいて,カーソル位置移動部23によりそのキャラクタの位置に移動したカーソルの大きさを制御する装置である。カーソルサイズ制御部25は,表示部16に表示されているカーソルの大きさ(縦幅・横幅)と,キャラクタの大きさ(縦幅・横幅)を比較し,カーソルの大きさがキャラクタの大きさより小さい場合には,カーソルのサイズを大きくする制御をおこない,キャラクタの大きさに適合させる。一方,カーソルサイズ制御部は,カーソルの大きさがキャラクタの大きさより大きい場合には,カーソルの大きさを小さくする制御をおこない,キャラクタの大きさに適合させる。これにより,カーソルの大きさは,翻訳の対象となるキャラクタのみを囲い,他のキャラクタには重畳しない大きさとなるよう制御されることが好ましい。
情報処理装置は,さらに,バルーン表示部26を備えることとしてもよい。バルーン表示部26は,表示部16に,翻訳語を表示する際に,その翻訳語をバルーン表示する画像処理を行う。バルーン表示とは,図3に示すように,翻訳語を,吹き出し枠(バルーン)内に表示し,吹き出し枠を,撮影部11による撮影画像に重畳して表示させる処理である。バルーン表示部26により表示されたバルーンは,揺動するように表示されるものであってもよい。また,情報処理装置が備える物体の角度や角速度を検出する計測器(加速度センサ・ジャイロセンサ)を用いて,情報処理装置の角度や移動速度を検出し,検出した角度・速度に基づいて,バルーンを揺動させることとしてもよい。また,表示部16に表示されるバルーン画像について,ユーザが,表示部16の手前(0位置)で,バルーンを視認できるよう処理を施すこととしてもよい。
次に,図2を参照して,上記した情報表示装置の動作例について説明する。図2は,本考案に係る情報処理装置が行う処理のフローを示す図である。まず,撮影部11が対象物を撮影する(ステップS1)。この撮影は,連続的に行われる。撮影頻度は,たとえば1/30秒である。このため,撮影部11は,情報表示装置がわずかでも移動した瞬間に,被写体の異なる部分を撮影することとなる。すると,撮影部11が撮影した画像は,画像処理部31へ伝えられる。画像処理部31は,撮影部11から受け取った情報を分析して,表示部16に表示できる画像となるよう処理を行う。画像処理部31は,撮影部11から受領した画像情報を連続的にビデオメモリなどの画像記憶部32に伝え,画像記憶部32は画像情報を一時
的に記憶する。
一方,画像処理部31が処理を行った画像は,判別部33へ伝えられる。判別部33には,OCR及びOMRが含まれている。そして,OCR又はOMRが,画像に含まれるキャラクタを判別する。OCR及びOMRによるキャラクタ判別処理は既に知られている。
また,判別部33は,対象物の種類を判別する(ステップS2)。判別部33に含まれる対象物判別部13は,例えば,対象物のうちキャラクタ以外の部分の色情報と,テーブルとを用いて対象物の種類を判別する。対象物のうちキャラクタ以外の部分の例は,キャラクタの背景色である。この場合,判別部33は,対象物のうちキャラクタ以外の部分の色情報と対象物の種類とを関連付けたテーブルを有する。そして,キャラクタ以外の部分の色情報に基づいて,そのテーブルから対象物の種類に関する情報を読み出す。この例は,キャラクタの背景が白からクリーム色であれば,対象物は書類というものである。
また,対象物判別部13は,後述するキャラクタサイズ特定処理において得られた対象物に含まれるキャラクタの大きさの情報を用いて,対象物の種類を判別することとしてもよい。この場合,判別部33は,撮影部により撮影され表示部に表示されるキャラクタの大きさに関する情報と,対象物の種類とを関連付けて記憶するテーブルを有する。そして,対象物判別部13は,表示部におけるキャラクタの大きさに関する情報を用いて,テーブルを参照し,対象物の種類に関する情報を読み出す。そして,判別部33で判別された情報は適宜,判別情報記憶部35に記憶される。
また,判別部33は,キャラクタの種類を判別する(ステップS3)。判別部33には,OCR及びOMRが含まれており,OCR又はOMRが,画像に含まれるキャラクタを判別する。OCR及びOMRによるキャラクタ判別処理は既に知られた方法によればよい。
情報抽出部15は,対象物の種類に関する情報を用いて,辞書12のうち対象物の種類に応じたデータベースを選択する(ステップS4)。すなわち,辞書は,対象物の種類に対応した複数のデータベースを有している。情報抽出部15は,対象物の種類に関する情報を用いて,辞書12のうち対象物の種類に応じたデータベースを選択する。その上で,情報抽出部15は,キャラクタに基づいて,選択されたデータベースから,このキャラクタに対応した情報を抽出する。
情報抽出部15が抽出した情報は,画像調整部34によって,表示部16に表示される画像に調整され,表示部16に表示される(ステップS5)。画像調整部34から表示情報を受け取った表示部16は,次の撮影画像が撮影される前に所定の情報を表示することが好ましい。これにより,この情報表示装置は,対象語について適切な対応情報(訳など)をリアルタイムに次々と表示でき,リアルタイムレスポンスが可能となる。また,例えば,情報処理装置が備えるジャイロセンサと加速度センサを用いて,情報処理装置自体が移動していることを検知した場合には,撮影部11により連続的に対象物を撮影し,情報抽出部15によりリアルタイムに対象後についての対応情報を表示することとしてもよい。これにより,ユーザが,例えば,デジタルカメラにより,雑誌に含まれる単語を,そのデジタルカメラを文字列に沿ってスライドさせて連続的に読み込む場合,デジタルカメラは,リアルタイムにその単語の対応情報を次々と表示することができる。
また,対象物に含まれるキャラクタの対応情報が,表示部16に表示されに際して,バルーン表示部によって,バルーン表示処理が行われることとしてもよい。キャラクタの対応情報をバルーン表示し,そのバルーンを揺動させる処理を行うことにより,よりユーザの興味をひくことができる。バルーン画像については,例えば,複数視点分の画像を生成し,レンチキュラーレンズやパララックスバリアのような視差障壁を介して表示することにより,バルーンが浮き上がるような裸眼立体表示を行うこともできる。
また,表示部16は,2画面式パネルであってもよい。また,表示部16は,タッチパネルであってもよい。表示部が2画面式である場合,それぞれの表示部には,異なった情報が表示される。例えば,表示部の一方の画面には,対象物に含まれるキャラクタの翻訳語の詳細な説明を表示し,他方の画面には,その詳細な説明に要約を表示する。
一方,上記撮影工程(ステップS1)から情報抽出工程(ステップS2)と並行して,カーソル制御工程(ステップS6からステップS10)が行われる。カーソル制御工程は,表示部の所定箇所に表示したカーソルを,その表示部における翻訳の対象となるキャラクタの位置へと移動させる処理である。カーソル制御工程は,撮影部により対象物が撮影されたことを契機として処置が開始され,情報抽出部により抽出した対応情報が表示部に表示されるタイミングに併せて終了する。カーソル制御工程は,撮影部より対象物が撮影され表示部に対応情報が表示されるまでのタイムラグによって,ユーザが,ストレスを感じることが無いよう,カーソルを移動させることによってユーザの興味を惹きつけるための処理である。
カーソル表示部21は,撮影部11に対象物が撮影されたことを検知し,その後,表示部の所定箇所にカーソルを表示させる(ステップS6)。カーソルは,ユーザの興味を惹きつけるものであれば,どのような態様であってもよい。例えば,カーソル表示部21は,枠体のカーソルを表示部の端部に表示するものであってもよい。また,カーソル表示部21は,情報処理装置が備えるジャイロセンサと加速度センサを用いて,情報処理装置自体が移動していることを検知している場合には,撮影部11により対象物が撮影されたとしても,カーソル表示を行わないこととしてもよい。一方,この場合において,カーソル表示部は21,情報処理装置の移動が静止したことを検知した場合に,カーソル表示を行う。すなわち,カーソルは,携帯型の情報処理装置が,例えば書籍に含まれる単語を,その文字列によって連続的に撮影している場合には表示されず,情報処理装置の移動が静止したな愛には,静止したことを契機として,表示画面上に表示される。これにより,ユーザにとっての使いやすさを向上させることができる。
キャラクタ位置特定部22は,キャラクタ判別工程で判別されたキャラクタが表示部に表示される位置を特定する(ステップS8)。キャラクタ位置特定部22は,翻訳の対象となるキャラクタの表示部におけるx座標y座標情報を検出することにより,そのキャラクタの位置を特定する。特定されたキャラクタの位置情報は,一旦,記憶部に記憶される。
カーソル位置移動部23は,表示部16の所定箇所に表示されたカーソルを,翻訳の対象となるキャラクタが表示部に表示される位置に移動させる処理をおこなう(ステップS9)。カーソル移動部23は,記憶部に記憶されている翻訳の対象であるキャラクタの位置情報を読み出し,カーソルを,そのキャラクタの位置に移動させる。カーソルの移動は,例えば,直線的な移動,蛇行した移動,旋回した移動のような種々のパターンで行われるように制御することとしてもよい。カーソル移動パターンは,例えば乱数を用いて決定される。
キャラクタサイズ特定部24は,翻訳の対象であるキャラクタが表示部に表示される大きさを特定する(ステップS9)キャラクタの大きさは,例えば,表示部においてそのキャラクタが,どの程度の割合の領域を占めているか,又はそのキャラクタを表示するための画像数を測定することにより求めることができる。このようにしてキャラクタサイズ特定部24により特定されたキャラクタの大きさは,一旦,記憶部に記憶される。
カーソルサイズ制御部25は,カーソルの表示画面上における大きさを,翻訳の対象であるキャラクタの表示画面上における大きさに適合させる(ステップS10)。例えば,
カーソルサイズ制御部25は,表示部16に表示されているカーソルの大きさ(縦幅・横幅)と,キャラクタの大きさ(縦幅・横幅)を比較し,カーソルの大きさが,そのキャラクタの大きさに適合するよう制御を行う。これにより,キャラクタ位置に位置するカーソルは,その大きさが制御され,そのキャラクタにのみを囲う大きさとなることが好ましい。
なお,上記では,キャラクタ位置特定工程(ステップS7)及びカーソル位置移動工程(ステップ8)の後に,キャラクタサイズ特定工程(ステップS8)及びカーソルサイズ制御工程(ステップS10)が行われる場合について説明した。しかし,キャラクタサイズ特定工程(ステップS8)及びカーソルサイズ制御工程(ステップS10)の後に,キャラクタ位置特定工程(ステップS7)及びカーソル位置移動工程(ステップ8)が行われることとしてもよい。この場合には,表示部の所定箇所に表示されたカーソルは,まず,翻訳の対象であるキャラクタの大きさに適合され,その後に,カーソルがそのキャラクタの位置に移動される。
上記の動作は,制御部41からの制御指令に基づいて行われる。例えば,入力部42から所定の情報が制御部41に入力されると,制御部41は主記憶部43に記憶されたメインメモリから制御プログラムを読み出す。そして,制御部41は,読み出した制御プログラムからの指令に基づいて各種演算部に所定の演算処理を行わせる。そして,制御部41は,得られた演算結果を表示部16や出力部44から出力する。
図3は,本考案に係る情報表示装置を用いた情報の表示例を示す図である。この例は,情報表示装置が,カメラを備えた2画面式携帯型ゲーム機の場合のものである。この例では,ゲーム機にカメラを用いて英語の本を写している。情報表示装置は,カメラによって本を撮影すると,撮影対象物の色情報や表示画面におけるキャラクタの大きさに関する情報に基づいて,撮影対象が書籍であると認識する。上画面には,カメラから撮影された英語の本のページと,翻訳対象の文字を指示するカーソルと,翻訳対象の文字を示すバルーンと,翻訳語の詳細な説明の要約のバルーンが表示されている。そして,下画面には,翻訳語の詳細な説明が表示されている。
つまり,下画面には,上画面において指定された翻訳対象語に対応する英和辞書の該当部分が表示されている。図3に示す例では,特に翻訳語を指定する必要がなく,ゲーム機自体と文字列に沿って移動させ,カメラで英語の本を連続的に撮影している間に翻訳領域に存在する語が自動的に翻訳される。そして,ゲーム機自体の移動が止まり,ある1つの単語(図3においては“forest”)を一定時間撮影すると,カーソルが表示される。なお,情報表示装置が移動すると翻訳対象語が変化するため,入力ボタンのいずれかを押すことで,翻訳対象語が変化する事態を防止するようにしてもよい。この場合,いずれかのボタンから入力を受けた情報表示装置は,現在表示されている語(図3においては“forest”)を表示させ続けるように処理すればよい。
図3に示す例では,上画面には,翻訳対象領域が指定されている。なお,翻訳対象領域は,図2に示される十字キーを用いて適宜移動できるものであってもよい。この場合,十字キーの操作又は上画面若しくは下画面をタッチ操作することにより,翻訳対象領域を移動する旨の指令が情報表示装置に入力される。すると,情報表示装置は,制御プログラムからの指令に基づいて,翻訳対象領域を移動させるための演算処理を行うとともに,モニタが移動した後の翻訳対象領域を表示するように表示処理を行う。
図4は,本考案の情報処理装置に表示されるカーソルの動きの例を示した図である。図4に示す例においては,ゲーム機のカメラを用いて,英語の本を撮影している。カメラにり,翻訳対象領域に英語の文章が入るようにしつつ,その文字列沿って英単語を連続的に撮影されている。そして,カメラの動きが,文章内に含まれるある単語(図4においては“forest”)を撮影したまま,一定時間(例えば,1〜3秒)静止したとする(図4(A))。この場合,情報処理装置は,加速度センサやジャイロセンサにより,カメラの静止を検知する。すると,カメラが静止したことを契機として,モニタの左隅に枠状のカーソルが表示される(図4(B))。なお,カーソルは,例えば,ある指定されたボタン操作が押下されたことを契機としてモニタ上に表示されるものであってもよい。また,カーソルの出現位置は,一定であってもよいし,乱数によって定められるものであってもよい。
モニタにカーソルが表示されると,情報処理装置は,キャラクタ位置特定部によって,表示部における翻訳の対象である単語の位置を特定する。キャラクタ位置特定部は,キャラクタ判別部により判別された単語の表示部における位置を特定するものであってもよい。そして,情報処理装置のカーソル位置移動部は,モニタの左隅に表示されているカーソルを,キャラクタ位置特定部によって特定された単語の位置まで,移動させる(図4(C))。このとき,図4(B)に示す状態から図4(C)に示す状態までにカーソルが辿る軌跡は,例えば,直線的であったり,ジグザグに蛇行するものであったり,回転又は旋回するものであったりしてもよい。図5においては,軌跡制御部27により,モニタ上に表示されたカーソルの移動動作の軌跡(破線)が制御される例を示している。例えば,図5(A)に示す例においては,モニタ上に表示されたカーソルが,翻訳の対象である単語の位置まで,略直線的に移動する。また,図5(B)に示す例においては,モニタ上に表示されたカーソルが,翻訳の対象である単語の位置まで,蛇行して移動する。また,図5(C)に示す例においては,モニタ上に表示されたカーソルが,一度旋回した後,翻訳対象である単語の位置まで移動する。
そして,キャラクタ位置特定部により特定された単語の位置までカーソルが移動すると,情報処理装置は,キャラクタサイズ特定部を用いて,その単語の大きさ(横幅及び縦幅)を特定する。キャラクタサイズ特定部が,単語の大きさを特定すると,情報処理装置は,カーソルサイズ制御部を用いて,カーソルの枠体の大きさを制御する。図4(C)に示す例は,単語の大きさより,カーソルの大きさが大きい場合である。この場合において,図4(D)に示すように,カーソルサイズ制御部は,単語の縦幅に合せて,カーソルの縦幅を縮小させる制御を行なう。また,図4(D)に示すように,カーソルサイズ制御部は,単語の横幅に合せて,カーソルの横幅を縮小させる制御を行う。このようにして,カーソルの大きさは,翻訳の対象である単語の大きさに適合するものとなる(図4(D))。
上記したカーソルの表示,カーソルの移動,及びカーソルの大きさの制御の処理は,情報処理装置における単語の翻訳の処理と並行して行われる。そして,情報処理装置における単語の翻訳の処理が完了するタイミングに合わせて,カーソルサイズの適合処理が終了することが好ましい。従って,図4(E)に示すように,カーソルの大きさが,翻訳の対象である単語の大きさに適合すると,その単語及びその単語の翻訳語(要約)が同一画面上にバルーン表示される(図4(F))。図4(F)に示す例においては,モニタに表示されたバルーンが立体映像としてポップアップするように画像処理が施されている。このように,カメラにより撮影された単語の翻訳語をモニタに表示する処理が行われている間,モニタにカーソルを表示し,そのカーソルを動作させることにより,ユーザにストレスを
図6は,情報表示装置を用いた表示例を示す図である。この例は,ゲーム機のカメラを用いて空港の表示板を写している。この例では,上画面で選択された単語“China”に対応する英和辞書の部分が下画面に表示されている。また,単語選択画面である上画面には,英和辞書の要約と,“China”の文字が,バルーン表示されている。このバルーンは,立体映像として視認されるよう画像処理が施されたものである。この例では,ユーザは表示板を撮影するため,ゲーム機のカメラを下向きではなく,上方に向ける。そして,情報表示装置に内蔵されているジャイロは,撮影部の向きが上方であることを感知し,制御部へ伝える。すると,制御部は,制御プログラムの指令を受け,対象物判別部13に対象物を判別させる。その結果,対象物判別部13は,撮影部の角度が所定値以上であるという情報に基づいて,対象物が書籍ではないと判断する。そして,情報抽出部15は,対象物が書籍ではないという情報に基づいて辞書12中のデータベースを選択する。その上で,適切な辞書部分を抽出し,表示してもよい。
図7は,カメラを備えた1画面式の携帯電話を用いた情報の表示例を示す図である。この例では,携帯電話に備えられたカメラを用いて英語の本を撮影している。携帯電話は,カメラによって本を撮影すると,例えば,撮影対象物の色情報や,表示画面におけるキャラクタの大きさに関する情報に基づいて,撮影対象が書籍であると認識する。携帯電話のモニタには,カメラによって撮影された英語の本のページと,翻訳対象の文字を指示するカーソルと,翻訳対象の文字を示すバルーンと,翻訳語の要約を表示するバルーンが表示される。また,このバルーンは立体画像として視認されるよう画像処理が施されている。
図8は,デジタルカメラを用いた情報の表示例を示す図である。この例では,デジタルカメラの撮影部により英語の本を撮影し,撮影画像をそのモニタに表示している。デジタルカメラによって本を撮影すると,例えば,撮影位置から撮影対象物までの距離を認識し,その距離に関する情報に基づいて,撮影対象が書籍であると認識する。デジタルカメラのモニタには,カメラによって撮影された英語の本のページと,翻訳対象の文字を指示するカーソルと,翻訳対象の文字を示すバルーンと,翻訳語の要約を表示するバルーンが表示されている。また,このバルーンは立体画像として視認されるよう画像処理が施されている。
図9は,カメラを備えた1画面式のスマートフォンを用いた情報の表示例を示す図である。この例では,携帯電話に備えられたカメラを用いて英語の本を撮影している。また,この例では,モニタ(表示部)はタッチパネル式であり,入力部としても機能する。スマートフォンは,カメラによって本を撮影すると,ジャイロセンサにより本体の傾きを検知して,その傾きの情報に基づいて,撮影対象が書籍であると認識する。タッチパネルには,カメラによって撮影された英語の本のページと,翻訳対象の文字を指示するカーソルと,翻訳対象の文字を示すバルーンと,翻訳語の要約を表示するバルーンが表示されている。また,このバルーンは立体画像として視認されるよう画像処理が施されている。