JP6234188B2 - 翻訳表示装置、翻訳表示方法、および制御プログラム - Google Patents

Description

本発明は、画像中の文字を翻訳して表示する翻訳表示装置、翻訳表示方法、および制御プログラムに関する。

近年、カメラで撮像した画像から文字を抽出、認識して、所定の言語に翻訳し表示する翻訳表示装置に関する技術が開発されている。

例えば、特許文献１には、画像から光学式文字認識（ＯＣＲ（optical character reader））により抽出した外国語や絵文字を、リアルタイムに翻訳または変換して、適切な表示位置に表示する情報表示装置が開示されている。また、特許文献２には、素早く表示するために、連続する２つのフレーム間で画像を解析し、前フレームにおいて抽出・翻訳された文字を追従させて表示すると共に、新しく撮像された領域に対してのみ、文字抽出・翻訳処理を実行することが記載されている。

特開２０１１−１３４１４４号公報（２０１１年７月７日公開） 特開２０１０−１０３６９４号公報（２０１０年５月６日公開）

翻訳表示装置の高機能化が進められており、抽出可能な文字種の増加や多言語翻訳により、文字抽出処理および翻訳処理の時間が長くなっている。この場合、上述の特許文献１および２に示すような従来技術では、画像毎に、画像全体または画像の一部に対して、文字抽出処理および翻訳処理を行っているため、表示フレームレートが低くなってしまうという問題がある。

本発明は上記の問題点に鑑みてなされたものであり、その目的は表示フレームレートを維持しつつ画像から抽出した文字を翻訳し表示する翻訳表示装置、翻訳表示方法、および制御プログラムを実現することにある。

上記の課題を解決するために、本発明の一態様に係る翻訳表示装置は、画像を順次取得する画像取得手段と、画像から抽出された文字を翻訳する翻訳手段とを備え、上記翻訳手段は上記画像取得手段が或る画像を取得すると、当該或る画像と異なる他の画像に対して翻訳処理を行っていない場合に当該或る画像に対して翻訳処理を実行するものであり、さらに、直近に上記翻訳手段による上記翻訳処理が終了した画像である基準画像における被写体の位置を基準とする上記画像取得手段が直近に取得した画像における上記被写体の位置ずれを示す動き情報を特定する動き情報特定手段と、上記基準画像において文字が抽出された位置および上記動き情報に基づいて、上記画像取得手段が直近に取得した画像に、上記基準画像において翻訳された文字を重畳して表示する表示手段とを備えている。

また、本発明の一態様に係る翻訳表示方法は画像を順次取得する画像取得ステップと、画像から抽出された文字を翻訳する翻訳ステップとを含み、上記翻訳ステップは上記画像取得ステップにおいて或る画像が取得されると当該或る画像と異なる他の画像に対して翻訳処理を行っていない場合に当該或る画像に対して翻訳処理を実行するものであり、さらに直近に上記翻訳ステップが終了した画像である基準画像における被写体の位置を基準とする上記画像取得ステップにおいて直近に取得された画像における被写体の位置ずれを示す動き情報を特定する動き情報特定ステップと、上記基準画像において文字が抽出された位置および上記動き情報に基づいて、上記画像取得ステップにおいて直近に取得された画像に、上記基準画像において翻訳された文字を重畳して表示する表示ステップとを含む。

本発明の一態様によれば、表示タイミングを遅らせることなく（フレームレートを低くすることなく）、翻訳内容および翻訳された文字の表示位置を或る一定以上の正確性を維持して表示することができるという効果を奏する。

本発明の実施形態１に係る翻訳表示装置の要部構成を示すブロック図である。 翻訳表示装置の制御部の処理の流れの一例を示すフローチャートである。 翻訳表示処理の流れの一例を示すシーケンスである。 本発明の実施形態２に係る翻訳表示装置の要部構成を示すブロック図である。 翻訳表示装置の制御部の処理の流れの一例を示すフローチャートである。

〔実施形態１〕
本発明の一実施形態について図１から図３に基づいて説明すると以下の通りである。

図１は、翻訳表示装置１の要部構成の一例を示すブロック図である。図１に示すように、翻訳表示装置１は、カメラ２、制御部３、ＯＣＲ処理部４、翻訳処理部（翻訳手段）５、記憶部６、画像動き解析部（動き情報特定手段）７および表示部（表示手段）８を備えている。翻訳表示装置１は、例えば、スマートフォン、携帯電話機、デジタルカメラ、デジタルビデオカメラ、カーナビゲーションシステム、ＰＣ（Personal computer）、ＰＤＡ（Personal Digital Assistant）などである。

カメラ２は、文字等の被写体を撮像するための装置である。例えば、１秒間に数から数十の画像を撮像し、撮像した画像をカメラ画像取得部（画像取得手段）３１に送信する。

制御部３は、記憶部６から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、翻訳表示装置１が備える各部を統括的に制御するものである。本実施形態では、制御部３は、機能ブロックとして、カメラ画像取得部３１、ＯＣＲ／翻訳指示部３２、動き解析指示部３３および画像生成部３４を備える構成である。

カメラ画像取得部３１は、カメラ２が撮像した撮像画像を順次取得し、ＯＣＲ／翻訳指示部３２および動き解析指示部３３に当該撮像画像を送信する。

ＯＣＲ／翻訳指示部３２は、カメラ画像取得部３１から撮像画像を受信して、当該撮像画像に対してＯＣＲ処理および翻訳処理を実行するように、ＯＣＲ処理部４および翻訳処理部５に指示するものである。具体的には、ＯＣＲ／翻訳指示部３２は、まず、受信した撮像画像に対してＯＣＲ処理を実行するように、処理開始の指示として、ＯＣＲ処理部４に受信した撮像画像を送信する。ここで、ＯＣＲ／翻訳指示部３２がＯＣＲ処理部４に送信した撮像画像を翻訳画像と称する。次に、ＯＣＲ／翻訳指示部３２は、翻訳処理部５から処理終了報告として翻訳テキストおよびテキスト位置データを受信する。翻訳テキストは、翻訳画像から抽出された文字を翻訳したものであり、テキスト位置データは翻訳画像から抽出された文字の位置を示す情報である。ＯＣＲ／翻訳指示部３２は、翻訳テキストおよび位置データを受信すると、翻訳画像、翻訳テキストおよびテキスト位置データを紐付けた翻訳情報を記憶部６に記憶させる。また、ＯＣＲ／翻訳指示部３２は、処理終了報告を受信すると、ＯＣＲ処理および翻訳処理が完了した翻訳画像を示す画像識別情報（画像ＩＤ等）を動き解析指示部３３に送信する。なお、翻訳画像に複数の翻訳テキストが対応付けられていてもよく、この場合、当該複数の翻訳テキストにそれぞれ対応する複数のテキスト位置データが翻訳画像に対応付けられている。また、後述のように、翻訳処理部５は、ＯＣＲ処理部４の抽出した文字に対して翻訳処理を実行するため、本実施形態では、ＯＣＲ／翻訳指示部３２は、翻訳処理部５に具体的な指示は送信しない。

ただし、ＯＣＲ／翻訳指示部３２は、受信した撮像画像と異なる他の画像に対して、ＯＣＲ処理部４または翻訳処理部５が処理中ではない場合に、ＯＣＲ処理部４および翻訳処理部５に指示する。例えば、ＯＣＲ／翻訳指示部３２は、ＯＣＲ処理部４に処理開始の指示をしてから、翻訳処理部５から処理終了報告を受信するまでの期間を、ＯＣＲ処理部４または翻訳処理部５が処理中であると判断してもよい。なお、ＯＣＲ／翻訳指示部３２は、ＯＣＲ処理部４または翻訳処理部５が処理中である場合、カメラ画像取得部３１から撮像画像を受信しても、受信した撮像画像に対して処理を実行するように、ＯＣＲ処理部４に指示しない。

動き解析指示部３３は、カメラ画像取得部３１から撮像画像を受信すると、受信した撮像画像の画像動きを解析するように画像動き解析部７に指示するものである。ここで、動き解析指示部３３が画像動き解析部７に解析対象として指示した撮像画像を動き解析画像と称する。動き解析指示部３３は、具体的には、ＯＣＲ／翻訳指示部３２から直近に受信した画像識別情報の示す画像を動き解析画像と比較するための基準画像として特定する。そして、動き解析指示部３３は、基準画像を基準として動き解析画像を解析するように、画像動き解析部７に指示する。より詳細には、動き解析指示部３３は、画像動き解析指示として、受信した撮像画像および基準画像を示す画像識別情報を画像動き解析部７に送信する。

画像生成部３４は、画像動き解析部７から動き情報および動き解析画像を受信すると、記憶部６から、受信した動き解析画像と比較された基準画像の翻訳テキストおよびテキスト位置データを読み出す。画像生成部３４は、テキスト位置データおよび動き情報に基づいて、受信した動き解析画像上における、翻訳テキストの表示位置（翻訳表示位置）を特定する。画像生成部３４は、受信した動き解析画像に対して、特定した翻訳表示位置に翻訳テキストを重畳した画像（生成画像）を生成する。画像生成部３４は、生成した生成画像を表示部８に送信し、表示部８に生成画像を表示させる。

ＯＣＲ処理部４は、ＯＣＲ／翻訳指示部３２から翻訳画像を受信し、翻訳画像から文字を抽出し、抽出した文字を示すＯＣＲテキストを生成する。また、ＯＣＲ処理部４は当該文字が抽出された位置をテキスト位置データとして生成する。ＯＣＲ処理部４は生成したＯＣＲテキストとテキスト位置データとを翻訳処理部５に送信する。

翻訳処理部５は、ＯＣＲ処理部４からＯＣＲテキストとテキスト位置データとを受信すると、翻訳処理を実行する。具体的には、翻訳処理部５は受信したＯＣＲテキストを、ＯＣＲテキストにて使用されている言語以外の言語に翻訳する。上記の翻訳は、複数の言語への翻訳であってもよい。翻訳処理部５は翻訳を終了すると、処理終了報告として翻訳テキストおよびテキスト位置データをＯＣＲ／翻訳指示部３２に送信する。

記憶部６は、翻訳画像、翻訳テキストおよびテキスト位置データを紐付けて記憶する。

画像動き解析部７は、動き解析指示部３３から画像動き解析の指示として動き解析画像および画像識別情報を受信すると、記憶部６から画像識別情報の示す翻訳画像を基準画像として読み出す。画像動き解析部７は、基準画像および動き解析画像間の差異を解析し、動き情報を生成する。画像動き解析部７は、生成した動き情報および解析対象とした動き解析画像を画像生成部３４に送信する。ここで、動き情報とは、基準画像における被写体の位置を基準とする動き解析画像における上記被写体の位置ずれを示すものである。例えば、動き情報は、被写体の移動方向および移動量を示す情報（移動ベクトル情報）であってもよい。さらに、動き情報は、当該２つの画像間の構図およびズームの差異を示す情報を含んでいてよい。

画像動き解析部７は、基準画像全体と動き解析画像全体とを比較して動き情報を生成してもよいし、画像を複数の領域に分割し、各領域単位で基準画像と動き解析画像とを比較して動き情報を生成してもよい。上記の構成によれば、動き解析画像の領域ごとに、領域の位置ずれを示す動き情報を生成することができる。例えば、特定の領域に所属する被写体が別の領域に所属する被写体とは異なる移動方向に異なる移動量移動した場合においても、各領域の動き情報を別々に生成することによって、各被写体の動きを各領域の動き情報に反映することができる。

表示部８は、制御部３の指示に従って画像を表示するものである。表示部８は、制御部３の指示に従って画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなどを適用することが可能である。

次に、本実施形態１に係る翻訳表示装置１の制御部３の処理の流れについて説明する。図２は本発明の実施形態１に係る翻訳表示装置１の制御部３の処理の流れの一例を示すフローチャートである。

図２に示すように、カメラ画像取得部３１はカメラ２が撮像した撮像画像を取得し、ＯＣＲ／翻訳指示部３２および動き解析指示部３３に当該撮像画像を送信する（ステップＳ１：画像取得ステップ）。ＯＣＲ／翻訳指示部３２は撮像画像を受信すると、ＯＣＲ処理部４または翻訳処理部５が処理中であるか否かを判断する（ステップＳ２）。ＯＣＲ／翻訳指示部３２は、ＯＣＲ処理部４または翻訳処理部５が処理中でないと判断した場合（ステップＳ２においてＮＯの場合）、受信した撮像画像を翻訳の対象となる翻訳画像としてＯＣＲ処理部４に送信することにより当該翻訳画像のＯＣＲ処理を指示する。（ステップＳ３）。続いて、ＯＣＲ／翻訳指示部３２は、翻訳処理部５から処理終了報告として翻訳テキストおよびテキスト位置データを受信する（ステップＳ４）。続いて、ＯＣＲ／翻訳指示部３２は、テキスト位置データ、翻訳テキストおよび翻訳画像を紐付けて記憶部６に記憶させる。また、ＯＣＲ／翻訳指示部３２は、記憶させた翻訳画像を示す情報を動き解析指示部３３に送信する（ステップＳ５）。続いて、カメラ画像取得部３１は入力画像があるか否かを判断する（ステップＳ６）。カメラ画像取得部３１が、入力画像がないと判断した場合（ステップＳ６においてＮＯの場合）、処理は終了する。また、カメラ画像取得部３１が、入力画像があると判断した場合（ステップＳ６においてＹＥＳの場合）、ステップＳ１に移行する。なお、ＯＣＲ／翻訳指示部３２がＯＣＲ処理部４または翻訳処理部５が他の画像に対して処理中であると判断した場合（ステップＳ２においてＹＥＳの場合）、ステップＳ６に移行する。

また、カメラ画像取得部３１が撮像画像を取得すると（ステップＳ１）、制御部３は上述のステップＳ２〜６の処理と並行してステップＳ７〜１０の処理を行う。以下にその処理について説明する。動き解析指示部３３は、カメラ画像取得部３１から撮像画像を受信すると、受信した撮像画像を解析するように画像動き解析部７に指示する（ステップＳ７）。画像生成部３４は、画像動き解析部７から動き解析指示部３３が動き解析を指示した動き解析画像および動き解析画像の動き情報を受信すると、記憶部６から基準画像の翻訳テキストおよび基準画像のテキスト位置データを読み出す。画像生成部３４は、動き解析画像上における翻訳テキストの表示位置を、テキスト位置データが示す位置および動き情報から特定する。つぎに、画像生成部３４は、動き解析画像において特定した位置に翻訳テキストを重畳した画像を生成する。（ステップＳ８）。画像生成部３４は、生成した生成画像を表示部８に送信し、表示部８に生成画像を表示させる（ステップＳ９：表示ステップ）。続いて、カメラ画像取得部３１は、入力画像があるか否かを判断する（ステップＳ１０）。カメラ画像取得部３１が、入力画像がないと判断した場合（ステップＳ１０においてＮＯの場合）、処理は終了する。また、カメラ画像取得部３１が、入力画像があると判断した場合（ステップＳ１０においてＹＥＳの場合）、ステップＳ１に移行する。

次に、本実施形態１に係る翻訳表示装置１の翻訳表示処理の具体的な一連の流れについて説明する。図３は、本発明の実施形態１における翻訳表示処理の具体的な流れの一例を示すシーケンス図である。ここでは、図３に示す処理の開始前に、画像Ｐ０に対してＯＣＲ／翻訳処理が完了しており、記憶部６に画像Ｐ０、画像Ｐ０の翻訳テキストおよび画像Ｐ０のテキスト位置データが記憶されており、処理開始時点では基準画像を画像Ｐ０とする。

図３に示すように、制御部３は画像Ｐ１を取得する（ステップＳ２０：画像取得ステップ）。制御部３は、画像Ｐ１の取得時にＯＣＲ処理部４または翻訳処理部５が処理していないため、ＯＣＲ処理部４に画像Ｐ１のＯＣＲ処理を指示する（ステップＳ２１）。ＯＣＲ処理部４は、制御部３からの指示を受けて、画像Ｐ１からＯＣＲテキストおよびテキスト位置データを生成して、ＯＣＲテキストおよびテキスト位置データを翻訳処理部５に送信する（ステップＳ２２）。翻訳処理部５は、ＯＣＲテキストおよびテキスト位置データを受信すると、受信したＯＣＲテキストに対して翻訳処理を行い翻訳テキストを生成し（ステップＳ２３：翻訳ステップ）、処理終了報告として翻訳テキストおよびテキスト位置データを制御部３に送信する（ステップＳ２４）。

また、制御部３に画像Ｐ１が入力される（ステップＳ２０）と、制御部３は上述のステップＳ２１の処理と並行して、画像動き解析部７に画像Ｐ０を基準とする画像Ｐ１の動き解析処理を指示する（ステップＳ２５）。画像動き解析部７は、制御部３からの指示を受けて、画像Ｐ０における被写体の位置を基準とする、画像Ｐ１における被写体の位置ずれを示す動き情報を特定する（ステップＳ２６：動き情報特定ステップ）。画像動き解析部７は、生成した動き情報および画像Ｐ１を制御部３に送信する（ステップＳ２７）。制御部３は、画像動き解析部７から画像Ｐ１および画像Ｐ１の動き情報を受信すると、記憶部６から画像Ｐ１と比較された基準画像である画像Ｐ０の翻訳テキストおよびテキスト位置データを読み出す。制御部３は、画像Ｐ１における翻訳テキストが表示される位置を、テキスト位置データが示す位置および動き情報から特定し、画像Ｐ１に対して特定した位置に翻訳テキストを重畳した画像を生成し、表示部８に生成画像を表示させる（ステップＳ２８：表示ステップ）。

次に、画像Ｐ１に続き制御部３は画像Ｐ２を取得する（ステップＳ２０ａ）。制御部３は、ＯＣＲ処理部４が画像Ｐ１を処理中であるため、画像Ｐ２のＯＣＲ処理を指示しない。一方で、制御部３は、画像動き解析部７に画像Ｐ２の動き解析処理を指示する（ステップＳ２５ａ）。直近に翻訳完了した画像はＰ０であるため、画像動き解析部７は、制御部３からの指示を受けて、画像Ｐ０を基準とする画像Ｐ２の動き情報を特定する（ステップＳ２６ａ）。画像動き解析部７は、生成した画像Ｐ２の動き情報および画像Ｐ２を制御部３に送信する（ステップＳ２７ａ）。制御部３は、画像動き解析部７から動き情報および画像Ｐ２を受信すると、記憶部６から基準画像Ｐ０の翻訳テキストおよびテキスト位置データを読み出す。制御部３は、画像Ｐ２に対して、基準画像Ｐ０のテキスト位置データおよび画像Ｐ２の動き情報に基づいて特定した翻訳表示位置に翻訳テキストを重畳した画像を生成し、表示部８に生成画像を表示させる（ステップＳ２８ａ）。

次に、画像Ｐ２に続き制御部３は画像Ｐ３を取得する（ステップＳ２０ｂ）。制御部３は、翻訳処理部５が画像Ｐ１を処理中であるため、画像Ｐ３のＯＣＲ処理を指示しない。一方で、制御部３は、画像動き解析部７に画像Ｐ３の動き解析処理を指示する（ステップＳ２５ｂ）。続く、ステップＳ２６ｂ、２７ｂおよび２８ｂにおいては、ステップＳ２６ａ、２７ａおよび２８ａにおける画像Ｐ２に対する処理を画像Ｐ３に対して同様に行うステップである。ここでの詳細な説明は省略する。

次に、制御部３は画像Ｐ４を取得する（ステップＳ２０ｃ）。ここで、制御部３は、画像Ｐ４を取得する前に、画像Ｐ１の翻訳処理終了報告を受信している。そのため、制御部３は、ＯＣＲ処理部または翻訳処理部が処理中ではないと判断し、ＯＣＲ処理部４に画像Ｐ４のＯＣＲ処理を指示する（ステップＳ２１ｃ）。ＯＣＲ処理部４は、制御部３からの指示を受けて、画像Ｐ４についてステップＳ２２と同様の処理を行う（ステップＳ２２ａ）。

制御部３に画像Ｐ４が入力される（ステップＳ２０ｃ）と、制御部３は、上述のステップＳ２１ｃの処理と並行して、画像動き解析部７に画像Ｐ４の動き解析処理を指示する（ステップＳ２５ｃ）。このとき、直近に翻訳が完了した画像は、画像Ｐ１であるため、制御部３は、画像Ｐ１を基準とする画像Ｐ４の画像動きを解析するように指示する画像動き解析部７は、制御部３からの指示を受けて、基準画像Ｐ１を基準とする画像Ｐ４の動き情報を生成する（ステップＳ２６ｃ）。画像動き解析部７は、生成した動き情報および画像Ｐ４を制御部３に送信する（ステップＳ２７ｃ）。制御部３は、画像動き解析部７から画像Ｐ４および画像Ｐ４の動き情報を受信すると、記憶部６から画像Ｐ４と比較された基準画像Ｐ１の翻訳テキストおよびテキスト位置データを読み出す。制御部３は、画像Ｐ４に対して、基準画像Ｐ１のテキスト位置データおよび画像Ｐ４の動き情報に基づいて特定した翻訳表示位置に基準画像Ｐ１の翻訳テキストを重畳した画像を生成し、表示部８に生成画像を表示させる（ステップＳ２８ｃ）。

このように、ＯＣＲ／翻訳指示部３２は、１つの画像に対してのＯＣＲ処理および翻訳処理を終えてからカメラ画像取得部３１が最初に取得した画像に対してＯＣＲ処理部４および翻訳処理部５にＯＣＲ処理および翻訳処理を実行させる。そのため、ＯＣＲ処理時間および／または翻訳処理時間が長くなったとしても、そのＯＣＲ処理時間および／または翻訳処理時間に応じた最新の翻訳結果を出力することができる。すなわち、画像から抽出された翻訳対象の文字の位置、および、当該文字の翻訳内容の正確性を一定以上に維持することができる。

また、画像生成部３４は、基準画像において文字が抽出された位置および基準画像との位置ずれを示す動き情報に基づき、撮像画像における基準画像の翻訳された文字の表示位置を特定している。そのため、表示タイミングを遅らせることなく（フレームレートを低くすることなく）、撮像画像に基準画像の翻訳された文字を適切な位置に追従表示することができる。

したがって、翻訳表示装置１は、表示タイミングを遅らせることなく（フレームレートを低くすることなく）、翻訳内容および翻訳された文字の表示位置が一定以上の正確性を維持している画像を表示することができる。

〔実施形態２〕
本発明の他の実施形態について、図４および５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施形態に係る翻訳表示装置１ａの構成について図４に示す機能ブロック図を参照して説明する。

図４に示すように、翻訳表示装置１ａは、前記実施形態１の、翻訳表示装置１が備える各部材に加えセンサ（検出手段）９を備えている。また、翻訳表示装置１ａは制御部３に代わり制御部３ａを備えている。

制御部３ａは制御部３が備える各部材に加えセンサ情報取得部３５を備えている。また、制御部３ａは、前記実施形態１の制御部３の動き解析指示部３３および画像生成部３４の代わりに、動き解析指示部３３ａおよび画像生成部３４ａを備えている。

センサ９は、カメラ２の動き（例えば、移動方向、向き、回転、移動距離、移動速度等）を検出する。例えば、センサ９として６軸センサ等を利用することができる。センサ９は、カメラ２に関する動きを示すカメラ動き検出値をセンサ情報取得部３５に送信する。

センサ情報取得部３５は、センサ９からカメラ動き検出値を取得し、動き解析指示部３３ａへ送信する。

動き解析指示部３３ａは、上述した動き解析指示部３３の構成に加え、以下の構成を含む。動き解析指示部３３ａは、カメラ画像取得部３１から撮像画像を受信すると、基準画像の撮像時（基準時）のカメラ２の状態を基準として、受信した撮像画像の撮像時のカメラ２の動きが所定の範囲を超えているか否かをカメラ動き検出値から判断する。上記の判断は、例えば、基準時および撮像画像撮像時のカメラ動き検出値を参照することによって判断してもよい。動き解析指示部３３ａがカメラ２の動きが所定の範囲を超えていると判断した場合、動き解析指示部３３ａは画像動き解析部７に動き解析処理を指示せず、カメラ画像取得部３１から受信した撮像画像を画像生成部３４ａに送信する。

上記カメラ２の動きの所定の範囲とは、例えば、所定の角度以内の回転、所定の速度以内での移動、および、所定の距離以内の移動などが挙げられる。カメラ２の動きが所定の範囲を超えている場合をより詳細に説明すると、カメラの向きが基準時から３０度以上回転した場合、カメラが１０ｃｍ/秒以上の速度で移動している場合およびカメラが基準時から一定の距離以上移動した場合等が挙げられる。

画像生成部３４ａは、上述した動き解析指示部３３の構成に加え、動き解析指示部３３ａから撮像画像を受信した場合、撮像画像を表示部８に送信し、撮像画像をそのまま表示部８に表示させる。

ここで、撮像画像の撮像時にカメラ２の動きが所定の範囲を超えている場合、当該撮像画像には、基準画像において抽出された文字が撮像されていない場合が考えられる。この場合、抽出された文字の位置を追従する必要がなく、当該文字を翻訳した文字を表示する必要もない。本発明では、カメラ２の動きが所定の範囲を超えている場合、画像動き解析部７は、動き情報を特定せず、表示部８は、カメラ画像取得部３１が取得した画像をそのまま表示するため、不必要な処理を行わず、装置の処理負荷を低減させることができる。

なお、動き解析指示部３３ａは、一度、カメラ２の動きが所定の範囲を超えたとしても、受信した撮像画像の撮像時点においてカメラ２の動きが所定の範囲内であれば、カメラ２の動きが所定の範囲を超えていないと判断する。例えば、基準時からカメラ２が３０度以上回転した後、再び基準時のカメラの向きに戻った場合、動き解析指示部３３ａは、カメラ２の動きが所定の範囲内であると判定し、画像動き解析部７に画像動き解析を指示する。そのため、文字がカメラの撮像範囲から一旦外れたとしても、再びカメラの撮像範囲に戻ってきた場合、当該文字の位置を追従して、翻訳した文字を表示することができる。

次に、本実施形態２に係る翻訳表示装置１ａの制御部３ａの処理の流れについて説明する。図５は本発明の実施形態２に係る翻訳表示装置１ａの制御部３ａの処理の流れの一例を示すフローチャートである。ここでは実施形態１の制御部３の処理の流れと同様の処理については説明を省略する。

ステップＳ１に続いて、動き解析指示部３３ａは、カメラ画像取得部３１から撮像画像を受信する。次に、動き解析指示部３３ａは、記憶部６に記憶されている基準画像を撮像した時点である基準時から受信した撮像画像の撮像時のカメラ２の動きが所定の範囲を超えているか否か判断する（ステップＳ１１）。動き解析指示部３３ａがカメラ２の動きが所定の範囲を超えていると判断した場合（ステップＳ１１においてＹＥＳの場合）、動き解析指示部３３ａはカメラ画像取得部３１から受信した撮像画像を画像生成部３４ａに送信する。（ステップＳ１２）。ステップＳ１２に続くステップＳ９の処理は以下の通りである。画像生成部３４は動き解析指示部３３ａから受信した撮像画像をそのまま生成画像とする。画像生成部３４は生成画像を表示部８に送信し、表示部８に生成画像を表示させる（ステップＳ９）。続いてステップＳ１０に移行する。

すなわち、翻訳表示装置１ａにおいては、カメラ画像取得部３１はカメラ２が撮像した画像を取得するものであり、翻訳表示装置１ａはカメラ２の動きを検出するセンサ９をさらに備えている。基準画像の撮像時を基準として、カメラ２の動きが所定の範囲を超えている場合、画像動き解析部７は、動き情報を特定しない。表示部８は、カメラ画像取得部３１が取得した画像をそのまま表示する。

ここで、カメラ２の動きが所定の範囲を超えている場合、カメラ画像取得部３１が直近に取得した画像には、基準画像において抽出された文字が撮像されていない場合が考えられる。この場合、抽出された文字の位置を追従する必要がなく、当該文字を翻訳した文字を表示する必要もない。

上記の構成によれば、カメラ２の動きが所定の範囲を超えている場合、画像動き解析部７は、動き情報を特定せず、表示部８は、カメラ画像取得部３１が取得した画像をそのまま表示するため、不必要な処理を行わず、装置の処理負荷を低減させることができる。

また、上記の構成では、現時点（上記カメラ画像取得部３１が直近に取得した画像の撮像時）においてカメラ２の動きが所定の範囲を超えている場合に、不必要な処理を行っていないため、一度、カメラ２の動きが所定の範囲を超えたとしても、現時点においてカメラ２の動きが所定の範囲内であれば、画像動き解析部７は、動き情報を特定し、表示部８は、翻訳された文字を重畳して表示する。そのため、文字がカメラの撮像範囲から一旦外れたとしても、再びカメラの撮像範囲に戻ってきた場合、当該文字の位置を追従して、翻訳した文字を表示することができる。

〔実施形態３〕
翻訳表示装置１の制御部３、ＯＣＲ処理部４、翻訳処理部５および画像動き解析部７、並びに、翻訳表示装置１ａの制御部３ａ、ＯＣＲ処理部４、翻訳処理部５および画像動き解析部７は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、翻訳表示装置１および１ａは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る翻訳表示装置（１、１ａ）は、画像を順次取得する画像取得手段（画像取得部３１）と、画像から抽出された文字を翻訳する翻訳手段（翻訳処理部５）とを備え、上記翻訳手段は上記画像取得手段が或る画像を取得すると、当該或る画像と異なる他の画像に対して翻訳処理を行っていない場合に当該或る画像に対して翻訳処理を実行するものであり、さらに直近に上記翻訳手段による上記翻訳処理が終了した画像である基準画像における被写体の位置を基準とする、上記画像取得手段が直近に取得した画像における上記被写体の位置ずれを示す動き情報を特定する動き情報特定手段（画像動き解析部７）と、上記基準画像において文字が抽出された位置および上記動き情報に基づいて、上記画像取得手段が直近に取得した画像に、上記基準画像において翻訳された文字を重畳して表示する表示手段（表示部８）とを備えている。

上記の構成によれば、上記翻訳手段は、他の画像に対して翻訳処理を行っていない場合に、上記画像取得手段が取得した画像から抽出された文字を翻訳する一方、他の画像に対して翻訳処理を実行している場合、上記画像取得手段が取得した画像に対して翻訳処理を実行しない。換言すると、上記翻訳手段は、１つの画像に対しての翻訳処理を終えてから上記画像取得手段が最初に取得した画像に対して翻訳処理を行う。そのため、上記翻訳手段は、翻訳処理時間が長くなったとしても、その翻訳処理時間に応じた最新の翻訳結果を出力することができる。すなわち、画像から抽出された翻訳対象の文字の位置、および、当該文字の翻訳内容の正確性を一定以上に維持することができる。

また、表示手段は上記基準画像において文字が抽出された位置および上記動き情報に基づいて上記画像取得手段が直近に取得した画像に上記基準画像において翻訳された文字を重畳して表示する。つまり、表示手段は過去に翻訳した結果に基づいて翻訳された文字の位置を追従させて表示する。そのため、上記表示手段は上記画像取得手段が画像を取得したタイミングで当該画像に翻訳された文字を重畳して表示することができる。さらに、上記表示手段は直近の翻訳結果に基づいて翻訳された文字を表示しているため、上述のように、翻訳された文字の内容およびその表示位置を或る一定以上の正確性をもって表示することができる。

よって、表示タイミングを遅らせることなく（フレームレートを低くすることなく）、翻訳内容および翻訳された文字の表示位置を或る一定以上の正確性を維持して表示することができるという効果を奏する。

本発明の態様２に係る翻訳表示装置（１ａ）は、上記態様１において、上記画像取得手段は、カメラ（２）が撮像した画像を取得するものであり、上記カメラの動きを検出する検出手段（センサ９）をさらに備え、上記基準画像の撮像時を基準として、上記カメラの動きが所定の範囲を超えている場合、上記動き情報特定手段は、上記動き情報を特定せず、上記表示手段は、上記画像取得手段が取得した画像をそのまま表示してもよい。

上記カメラの動きが所定の範囲を超えている場合、上記画像取得手段が直近に取得した画像には、上記基準画像において抽出された文字が撮像されていない場合が考えられる。この場合、抽出された文字の位置を追従する必要がなく、当該文字を翻訳した文字を表示する必要もない。

上記の構成によれば、上記カメラの動きが所定の範囲を超えている場合、上記動き情報特定手段は、上記動き情報を特定せず、上記表示手段は、上記画像取得手段が取得した画像をそのまま表示するため、不必要な処理を行わず、装置の処理負荷を低減させることができる。

また、上記の構成では、現時点（上記画像取得手段が直近に取得した画像の撮像時）において上記カメラの動きが所定の範囲を超えている場合に、不必要な処理を行っていないため、一度、上記カメラの動きが所定の範囲を超えたとしても、現時点において上記カメラの動きが所定の範囲内であれば、上記動き情報特定手段は、上記動き情報を特定し、上記表示手段は、翻訳された文字を重畳して表示する。そのため、文字がカメラの撮像範囲から一旦外れたとしても、再びカメラの撮像範囲に戻ってきた場合、当該文字の位置を追従して、翻訳した文字を表示することができる。

本発明の態様３に係る翻訳表示装置（１ａ）は、上記態様２において、上記カメラが、上記基準画像の撮像時から、所定の角度以上回転した場合、所定の速度以上で移動した場合、および、所定の距離以上移動した場合の少なくとも何れかに該当する場合、上記カメラの動きが所定の範囲を超えているとしてもよい。

本発明の態様４に係る翻訳表示方法は、画像を順次取得する画像取得ステップと、画像から抽出された文字を翻訳する翻訳ステップとを含み、上記翻訳ステップは上記画像取得ステップにおいて或る画像が取得されると、当該或る画像と異なる他の画像に対して翻訳処理を行っていない場合に当該或る画像に対して翻訳処理を実行するものであり、さらに直近に上記翻訳ステップが終了した画像である基準画像における被写体の位置を基準とする上記画像取得ステップにおいて直近に取得された画像における被写体の位置ずれを示す動き情報を特定する動き情報特定ステップと、上記基準画像において文字が抽出された位置および上記動き情報に基づいて上記画像取得ステップにおいて直近に取得された画像に上記基準画像において翻訳された文字を重畳して表示する表示ステップとを含んでもよい。上記の構成によると、態様１と同様の効果を奏する。

本発明の各態様に係る翻訳表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記翻訳表示装置が備える各手段として動作させることにより上記翻訳表示装置をコンピュータにて実現させる翻訳表示装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、スマートフォン、携帯電話機、デジタルカメラ、デジタルビデオカメラ、カーナビゲーションシステム、ＰＣ、ＰＤＡなどに利用することができる。

１・１ａ 翻訳表示装置、２ カメラ、５ 翻訳処理部（翻訳手段）、７ 画像動き解析部（動き情報特定手段）、８ 表示部（表示手段）、９ センサ（検出手段）、３１ カメラ画像取得部（画像取得手段）、Ｐ０・Ｐ１ 基準画像、Ｐ１・Ｐ２・Ｐ３・Ｐ４ 画像、Ｓ１・Ｓ２０ 画像取得ステップ、Ｓ２３ 翻訳ステップ、Ｓ２６ 動き情報特定ステップ、Ｓ９ 表示ステップ

Claims (4)

1. 画像を順次取得する画像取得手段と、
   画像から文字を抽出するＯＣＲ処理を行うＯＣＲ処理部と、
   画像から抽出された文字を翻訳する翻訳手段と、を備え、
   上記翻訳手段は、上記画像取得手段が或る画像を取得すると、当該或る画像と異なる他の画像に対して翻訳処理を行っていない場合であって、かつ、ＯＣＲ処理を行っていない場合に、当該或る画像に対して翻訳処理を実行するものであり、
   さらに、直近に上記翻訳手段による上記翻訳処理が終了した画像である基準画像における被写体の位置を基準とする、上記画像取得手段が直近に取得した画像における上記被写体の位置ずれを示す動き情報を特定する動き情報特定手段と、
   上記基準画像において文字が抽出された位置および上記動き情報に基づいて、上記画像取得手段が直近に取得した画像に、上記基準画像において翻訳された文字を重畳して表示する表示手段と、を備えており、
   上記画像取得手段は、カメラが撮像した画像を取得するものであり、
   上記カメラの動きを検出する検出手段をさらに備え、
   上記基準画像の撮像時を基準として、上記カメラの動きが所定の範囲を超えている場合、
   上記動き情報特定手段は、上記動き情報を特定せず、
   上記表示手段は、上記画像取得手段が取得した画像をそのまま表示することを特徴とする翻訳表示装置。
2. 上記カメラが、上記基準画像の撮像時から、所定の角度以上回転した場合、所定の速度以上で移動した場合、および、所定の距離以上移動した場合の少なくとも何れかに該当する場合、上記カメラの動きが所定の範囲を超えているとすることを特徴とする請求項１に記載の翻訳表示装置。
3. 画像を順次取得する画像取得ステップと、
   画像から文字を抽出するＯＣＲ処理を行うＯＣＲ処理ステップと、
   画像から抽出された文字を翻訳する翻訳ステップと、を含み、
   上記翻訳ステップは、上記画像取得ステップにおいて或る画像が取得されると、当該或る画像と異なる他の画像に対して翻訳処理を行っていない場合であって、かつ、ＯＣＲ処理を行っていない場合に、当該或る画像に対して翻訳処理を実行するものであり、
   さらに、直近に上記翻訳ステップが終了した画像である基準画像における被写体の位置を基準とする、上記画像取得ステップにおいて直近に取得された画像における被写体の位置ずれを示す動き情報を特定する動き情報特定ステップと、
   上記基準画像において文字が抽出された位置および上記動き情報に基づいて、上記画像取得ステップにおいて直近に取得された画像に、上記基準画像において翻訳された文字を重畳して表示する表示ステップと、を含み、
   上記画像取得ステップは、カメラが撮像した画像を取得するステップであり、
   上記カメラの動きを示す検出値を取得するステップをさらに含み、
   上記基準画像の撮像時を基準として、上記カメラの動きが所定の範囲を超えている場合、
   上記動き情報特定ステップにて、上記動き情報を特定せず、
   上記表示ステップにて、上記画像取得ステップにて取得した画像をそのまま表示することを特徴とする翻訳表示方法。
4. 請求項１または２に記載の翻訳表示装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。

Images