JP5678710B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、３次元画像表示において、メッセージ、字幕、アイコンなどの付加情報を他の３次元画像オブジェクトに対して重畳表示する際の違和感を減少させた表示を実現する画像処理装置、および画像処理方法、並びにプログラムに関する。

昨今、３次元画像（３Ｄ画像）を表示可能としたテレビやＰＣなどの表示装置や、３次元画像（３Ｄ画像）を記録可能としたビデオカメラ、スチルカメラなどが開発され利用されている。３Ｄ画像は異なる視点からの撮影画像、すなわち左目用画像と右目用画像を利用して表示処理が行われる。

このような３次元画像の表示を行う場合、メッセージや字幕、あるいはエラー表示、メニュー、アイコンなどの付加情報を３次元画像に重畳して表示する際、３次元表示の状態によっては付加情報を重ねると違和感が生じ、３次元画像の視認にあたって問題が生じてしまう。

たとえば、付加情報を３次元の奥行き位置でちょうど０（表示画像の奥行き方向（遠方）／飛び出し方向（手前）の中心）の位置に表示させる場合、それよりも手前に表示されるような飛び出し表示されるオブジェクト部分が、付加情報の表示位置に重なる場合には、手前に飛び出る物体（表示オブジェクト）の一部が視覚的に奥に引っ込んだ状態に見えてしまう状況となり、観察者に違和感を想起させることになる。

このような状況を解決する構成を開示した従来技術として特許文献１（再公表特許Ｗ２００８／４１３１３号：画像表示装置（パイオニア））がある。
特許文献１は、元の３次元画像に重ねられる付加情報に関しては、その付加情報の奥行き方向の相対的な位置を変えたり、最大視差を有する最も手前の表示としたり、さらには表示位置を変更して重なりの位置を変える方法を提案している。

しかし、この特許文献１に開示された構成のように、３次元動画表示で最も飛び出しのある物体の直前に必ず付加情報が置かれるような動的制御を行うと、付加情報そのものの表示位置が変化するために視認性が悪くなる。

これを避けるため、例えば一連の動画像を構成する３次元画像の全オブジェクトよりも必ず手前にあるように付加情報の表示位置を固定する設定が考えられる。しかしこの設定では、左右の視差が最大となる手前の位置に付加情報が表示されることになり、比較的奥行き方向に３次元画像がある場合には、３次元画像と付加情報の奥行きの差が大きくなるため、視認性が悪くなる。

さらに、所定範囲の奥行きを持つオブジェクト上に付加情報を貼り付けるように表示する構成についても提案されているが、そのオブジェクトが付加情報を表示可能な領域、例えば表示文字が収まる領域を有しているとは限らず、このような対応を行った場合、付加情報が表示できなくなるという問題が発生する。

再公表特許Ｗ２００８／４１３１３号

本発明は、例えば上述の状況に鑑みてなされたものであり、３次元画像表示処理に際して、各種のメッセージ等の付加情報を重畳表示する場合の視認性の低下を防止可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
３次元画像の表示処理を実行する制御部を有し、
前記制御部は、
前記３次元画像に重畳させて、予め規定した規定奥行き位置に付加情報を表示する処理を行うとともに、
前記付加情報の表示予定領域に含まれる表示オブジェクトの奥行き位置と、前記付加情報を表示する規定奥行き位置との差分に基づく評価値を算出し、
該評価値の値に応じて、付加情報の表示態様の変更処理を実行する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記付加情報の表示態様変更処理として、付加情報の文字数の削減処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記付加情報の表示態様変更処理として、付加情報の文字サイズの変更処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記付加情報の表示態様変更処理として、付加情報の文字をアイコンに変更する処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記付加情報の表示態様変更処理として、付加情報の文字列に改行を設定する処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記付加情報の表示予定領域に含まれる画素単位で重なる表示オブジェクトの奥行き位置との差分を算出し、画素単位の差分を付加情報の表示予定領域全画素について加算して前記評価値を算出し、算出した評価値と予め規定した閾値との比較結果に基づいて付加情報の表示態様を変更するか否かを決定する。

さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記評価値が、付加情報の切り替え条件を満足する時間が予め規定した規定時間以上、継続したことを条件として付加情報の表示態様を変更する処理を行う。

さらに、本発明の第２の側面は、
画像処理装置において、３次元画像の表示処理を実行する画像処理方法であり、
前記３次元画像に重畳させて、予め規定した規定奥行き位置に付加情報を表示するステップと、
前記付加情報の表示予定領域に含まれる表示オブジェクトの奥行き位置と、前記付加情報を表示する規定奥行き位置との差分に基づく評価値を算出するステップと、
該評価値の値に応じて、付加情報の表示態様の変更処理を実行するステップを実行する画像処理方法にある。

さらに、本発明の第３の側面は、
画像処理装置において、３次元画像の表示処理を実行させるプログラムであり、
前記３次元画像に重畳させて、予め規定した規定奥行き位置に付加情報を表示させるステップと、
前記付加情報の表示予定領域に含まれる表示オブジェクトの奥行き位置と、前記付加情報を表示する規定奥行き位置との差分に基づく評価値を算出させるステップと、
該評価値の値に応じて、付加情報の表示態様の変更処理を実行させるステップを実行させるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例によれば、３次元画像に対する違和感を減少させた付加情報の重畳表示を実現する装置や方法が実現される。具体的には、３次元画像に重畳させて、予め規定した規定奥行き位置に付加情報を表示する処理を行うとともに、付加情報の表示予定領域に含まれる表示オブジェクトの奥行き位置と、付加情報を表示する規定奥行き位置との差分に基づく評価値を算出し、算出した評価値の値に応じて、付加情報の表示態様の変更処理を実行する。例えば、文字数の削減、文字サイズの変更、アイコンへの変更、あるいは改行の設定などを行う。また、付加情報の表示切り替え条件の発生からの経過時間等を計測するタイマーを設け、タイマーの計測情報に応じて表示切り替え制御を実行する。
これらの処理により、３次元画像に対する違和感を減少させた付加情報の重畳表示を実現する装置や方法が実現される。

付加情報の表示処理例について説明する図である。 処理例１に従って制御された付加情報の表示処理例について説明する図である。 処理例２に従って制御された付加情報の表示処理例について説明する図である。 処理例３に従って制御された付加情報の表示処理例について説明する図である。 処理例４に従って制御された付加情報の表示処理例について説明する図である。 処理例５に従って制御された付加情報の表示処理例について説明する図である。 付加情報の表示制御処理シーケンスについて説明するフローチャートを示す図である。 画像処理装置の構成例を示す図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．画像処理装置の実行する処理の詳細について
１−（１）付加情報の表示文字数を調整する処理例（処理例１）
１−（２）付加情報の表示文字サイズを調整する処理例（処理例２）
１−（３）付加情報の表示をアイコンに変更する処理例（処理例３）
１−（４）付加情報の文字列の改行調整を行う処理例（処理例４）
１−（５）処理例１〜４を組み合わせた処理例（処理例５）
２．画像処理装置の実行する処理シーケンスの詳細について
３．画像処理装置のハードウェア構成例について

［１．画像処理装置の実行する処理の詳細について］
３次元画像の表示に際して、表示する付加情報としては、たとえば、メッセージや字幕、あるいはエラー表示、メニュー、アイコンなどがある。これらの付加情報を違和感なく表示するための処理の詳細について説明する。

以下、付加情報を３次元画像に重畳して表示する際の具体的な複数の処理例として、以下の（１）〜（５）の処理例について、順次説明する。
（１）付加情報の表示文字数を調整する処理例（処理例１）
（２）付加情報の表示文字サイズを調整する処理例（処理例２）
（３）付加情報の表示をアイコンに変更する処理例（処理例３）
（４）付加情報の文字列の改行調整を行う処理例（処理例４）
（５）処理例１〜４を組み合わせた処理例（処理例５）

［１−（１）付加情報の表示文字数を調整する処理例（処理例１）］
処理例１として、付加情報の表示文字数を調整する処理例について説明する。
本処理例では、まず、奥行きを規定値とした固定位置に付加情報を表示する。例えば、３次元画像の奥行き位置として０（表示画像の奥行き方向（遠方）／飛び出し方向（手前）の中心）の位置に表示させる。なお、付加情報の表示位置を奥行位置＝０とする例は一例であり、その他の奥行位置に固定してもよい。

処理例１は、このように、付加情報の表示位置を所定の奥行き位置に固定した場合、例えば、付加情報表示位置に位置が重なり、かつ付加情報より手前に表示されるような表示物体（表示オブジェクト）が含まれる場合に有効となる処理例である。

このような場合には、付加情報の文字量を、その意味がわかるようにあらかじめ規定された量まで削減して、付加情報の手前に表示される物体（表示オブジェクト）と付加情報の重なりを避ける処理を行う。

この付加情報の表示制御処理例について図１、図２を参照して説明する。
本処理例１は、図１に示すように、３次元画像１００に重畳させて表示する付加情報１１１が、エラー、メッセージ、字幕、メニューのような文字列の場合に有効な処理である。

図１に示すように、付加情報１１１として、本来表示したい文字列が、
「バッテリーチェック」
の９文字であった場合、この文字全体を表示させると、付加情報の表示位置である奥行き０の位置よりも飛び出して見える３次元表示物体、ここでは右側の表示オブジェクト１０５（道路標識）と重なってしまう。
このような重なりが発生すると、重なった部分だけが奥行き０に落ち込んで見える。

表示予定の付加情報が、図１に示すような態様になる場合、本発明の画像処理装置は、図２に示すような付加情報表示制御を実行する。
すなわち、図２に示すように、付加情報の表示文字数を削減して付加情報の表示領域を調整する。具体的には、付加情報１２１として表示させる文字の位置、サイズはそのままで、表示する文字列を、
「バッテリーチェック」から、
「バッテリー」
に変更して、表示文字数を削減する。

図２に示す例では、９文字表示を５文字表示に変更する。この処理により、付加情報の表示領域が削減され、結果として、右側の表示オブジェクト１０５（道路標識）と付加情報１２１との重なり領域の発生を回避できる。

このように、飛び出して見える表示オブジェクト１０５（道路標識）に重なる領域を避けて付加情報１２１を表示することで、飛び出して見える表示オブジェクト１０５（道路標識）は自然な飛び出しを持つオブジェクトとして観察され、付加情報１２１は奥行位置＝０の位置に自然に観察することができる。

［１−（２）付加情報の表示文字サイズを調整する処理例（処理例２）］
次に、処理例２として、付加情報の表示文字サイズを調整する処理例について説明する。

本処理例も、処理例１と同様、既定の奥行位置に付加情報を表示する。例えば、３次元画像の奥行き位置として０（表示画像の奥行き方向（遠方）／飛び出し方向（手前）の中心）の位置に表示させる。

処理例２も処理例１と同様、例えば、奥行きを固定した付加情報の表示位置に位置が重なり、かつ付加情報より手前に表示されるような表示物体（表示オブジェクト）が含まれる場合に有効となる処理例である。

本処理例では、付加情報の表示位置に表示位置が重なり、例えば付加情報より手前に表示されるような表示オブジェクトがある場合には、付加情報の文字フォントサイズを小さくして重なる部分を避ける。

先に説明した処理例１と同様、表示予定の付加情報が、図１に示すような態様になる場合、本発明の画像処理装置は、図３に示すような付加情報の表示制御を実行する。

すなわち、図３に示すように、付加情報の表示文字サイズを小さくして付加情報の表示領域を調整する。具体的には、付加情報１２２として表示させる文字の位置はそのままで、表示する文字サイズを小さくして付加情報の表示領域を削減する。

本処理例２も、処理例１と同様、付加情報と表示オブジェクトとの重なりを回避する方法であるが、文字サイズを小さくすることで表示情報は削減しない。図３に示す例では同じ「バッテリーチェック」の文字であっても、文字サイズを小さく変更することで３次元画像の飛び出し部分との重なりを避けることが出来る。

本処理例においても、飛び出して見える表示オブジェクト１０５（道路標識）に重なる領域を避けて付加情報１２２を表示することで、飛び出して見える表示オブジェクト１０５（道路標識）は自然な飛び出しを持つオブジェクトとして観察され、付加情報１２２は奥行位置＝０の位置に自然に観察することができる。

［１−（３）付加情報の表示をアイコンに変更する処理例（処理例３）］
次に、処理例３として、付加情報の表示をアイコンに変更する処理例について説明する。

本処理例も、処理例１，２と同様、既定の奥行位置に付加情報を表示する。例えば、３次元画像の奥行き位置として０（表示画像の奥行き方向（遠方）／飛び出し方向（手前）の中心）の位置に表示させる。

処理例３も処理例１と同様、例えば、奥行きを固定した付加情報の表示位置に位置が重なり、かつ付加情報より手前に表示されるような表示物体（表示オブジェクト）が含まれる場合に有効となる処理例である。

本処理例では、付加情報の表示位置に表示位置が重なり、例えば付加情報より手前に表示されるような表示オブジェクトがある場合には、付加情報の表示をアイコンに変更して重なる部分を避ける。すなわち文字列表示をアイコン表示に変更する。

先に説明した処理例１と同様、表示予定の付加情報が、図１に示すような態様になる場合、本発明の画像処理装置は、図４に示すように付加情報の表示態様を変更、具体的には、例えば［文字列表示］から［アイコン表示］に変更する表示態様変更処理を行う。

すなわち、図１に示す「バッテリーチェック」の文字列からなる付加情報１１１を、図４に示すように、バッテリーチェックを連想させる「アイコン」からなる付加情報１２３に変更して表示する。

本処理例３も、処理例１、２と同様、付加情報と表示オブジェクトとの重なりを回避する方法であるが、例えばアイコンを利用した表示態様の変更により、表示文字が多い場合にも大幅な表示領域の削減が可能となる。図４に示す例では、図１に示す「バッテリーチェック」の文字列表示を図４に示すアイコンによる付加情報１２３に変更することで、付加情報の表示領域を大幅に削減し、付加情報と３次元画像の飛び出しオブジェクト１０５との重なりを避けることが出来る。

エラー、メッセージ、字幕、メニューのような文字情報からなる付加情報を表示する場合に文字情報を利用して表示領域を削減しようとすれば、前述の処理例１，２のように情報が伝わる最大の文字数に削減するか、または文字サイズを小さくする方法となる。しかし、削減文字数は、様々な表示文字列に応じて削減可能なデータがそれぞれ異なる。しかも文字列情報別に別データとして規定の削減文字数を１つまたは複数保持しておくことが必要となり、また重なり判定の際にもその領域の判定が多少複雑になる。また、文字サイズを過度に小さくすると視認性が悪くなるため、文字サイズの小型化にも限界がある。

これに対して、図４に示す処理例３のように文字表示をアイコン表示とすることで文字列による表示情報に比較して表示領域を大幅に削減できる。また情報によって面積に差が無く、さらに文字情報に置き換えるアイコンの種類は、１つの文字情報に対して１つ用意すればよく、メモリの利用容量や処理負荷の低減が可能となる。

［１−（４）付加情報の文字列の改行調整を行う処理例（処理例４）］
次に、処理例４として、付加情報の文字列の改行調整を行う処理例について説明する。
本処理例も、前述の処理例１〜３と同様、既定の奥行位置に付加情報を表示する。例えば、３次元画像の奥行き位置として０（表示画像の奥行き方向（遠方）／飛び出し方向（手前）の中心）の位置に表示させる。

処理例４も処理例１〜３と同様、例えば、奥行きを固定した付加情報の表示位置に位置が重なり、かつ付加情報より手前に表示されるような表示物体（表示オブジェクト）が含まれる場合に有効となる処理例である。

本処理例では、付加情報の表示位置に表示位置が重なり、付加情報より手前に表示されるような表示オブジェクトがある場合には、付加情報の文字列に改行を入れて行を変更して、付加情報の表示領域の形状を変更することで他の３次元表示オブジェクトと重なる部分を避ける。

先に説明した処理例１と同様、表示予定の付加情報が、図１に示すような態様になる場合、本発明の画像処理装置は、図５に示すような付加情報の表示制御を実行する。

すなわち、図５に示すように、付加情報１２４の文字列に改行を入れて段落を変更する。このような処理により、付加情報１２４の表示領域を変更して、付加情報より手前に表示されるような表示オブジェクトとの重なり領域を消滅させる。

本処理例４も、他の処理例と同様、付加情報と表示オブジェクトとの重なりを回避する方法であるが、文字サイズを小さくすることなく。すべての文字情報を表示可能として、３次元画像の飛び出し部分との重なりを避けることが出来る。

本処理例においても、飛び出して見える表示オブジェクト１０５（道路標識）に重なる領域を避けて付加情報１２４を表示することで、飛び出して見える表示オブジェクト１０５（道路標識）は自然な飛び出しを持つオブジェクトとして観察され、付加情報１２４は奥行位置＝０の位置に自然に観察することができる。

［１−（５）処理例１〜４を組み合わせた処理例（処理例５）］
上述した（処理例１）〜（処理例４）は、各々単独で利用することも可能であるが、２以上の処理例を任意に組み合わせて利用することも可能である。例えば、上述した（処理例１）〜（処理例４）を各々単独で利用した場合に、付加情報と３次元表示オブジェクトとの重なる領域が比較的大きく残る場合には、それぞれの方法を組み合わせて、さらに付加情報の表示領域を削減または変更して、他の３次元表示オブジェクトと重なる部分を避ける。

たとえば、図６に示す付加情報１２５は、上述した（処理例２）と（処理例４）とを組み合わて実行した処理例である。すなわち、
（処理例２）付加情報の表示文字サイズを調整する処理例
（処理例４）付加情報の文字列の改行調整を行う処理例
これら２つの処理を組み合わせた処理例を示している。

すなわち、図６に示す付加情報１２５は、文字サイズを小さくするとともに、改行を行い２行表示とした付加情報である。
処理例２に従って、文字列をサイズを縮小しても、他の表示オブジェクト１０５との重なりの解消が実現されない場合であり、このときはさらに処理例４を適用して改行を入れて文字表示領域の形状を変える。これらの複合した処理により、他の３次元表示オブジェクトとの重なりを回避している。

上記のように、表示する文字列の操作、サイズ変更、アイコン化などによって負荷情報の表示面積を減らす手法によって手前にある３次元画像との重なりを回避することが出来る。ただし、表示対象としての３次元画像が動画である場合には、ある瞬間の画像によって重なりを判断し、表示を変更しても、次の瞬間に手前に飛び出す画像が変化し、重なりが生じた場合にはさらに表示を変えなくてはならない。

この様なときには、すぐに表示を切り替えると表示形態の煩雑な変化となり、むしろ視認性を妨げてしまうことが考えられる。
このため、重なる部分の面積とその奥行きの量の差、重なる時間を評価し切り替えるタイミングを判断する処理を実行する。この処理の詳細については、以下、図７に示すフローチャートを参照して詳細に説明する。この処理によって頻繁な表示の変更を避けて観察者に対する付加情報の視認性を高めることができる。

［２．画像処理装置の実行する処理シーケンスの詳細について］
図７は、画像処理装置の実行する付加情報の表示制御処理のシーケンスの一例を説明するフローチャートである。
この図７に示すフローに従った処理においては、表示予定の付加情報の表示領域を構成する各画素に対応する評価値を算出する。すなわち、付加情報との重なりを持つオブジェクトとの奥行きの差に応じた評価値を設定し、その評価値に基づいて付加情報の表示態様を制御する。

図７に示すフローは、例えば画像処理装置のプログラム実行機能を持つＣＰＵ等を備えた制御部の制御の下に実行される。図７のフローチャートの各ステップの処理について説明する。

まず、ステップＳ１０１において初期設定を行う。表示予定の付加情報の表示領域を構成する各画素の評価値を、
評価値＝０
とする初期設定を行う。

ステップＳ１０２において、付加情報の表示予定領域の構成全画素の処理、すなわち評価値の算出処理が終了したか否かの判定を行う。処理が終了したと判定した場合は、ステップＳ１０５に進む。

表示予定の付加情報の表示領域を構成する各画素に対する評価値設定処理が終了していない場合は、ステップＳ１０３に進む。
ステップＳ１０３の処理は、付加情報の表示領域の構成画素各々について順次実行する判定処理であり、処理対象としている画素に対して重なる３次元表示オブジェクが存在するか否かを判定する。本例では、付加情報の表示位置を奥行き位置でちょうど０（表示画像の奥行き方向（遠方）／飛び出し方向（手前）の中心）の位置に設定するものとして説明する。この場合、ステップＳ１０３の重なり判定は、奥行き位置＝０の表示位置の付加情報の画素より手前の位置に表示される３次元オブジェクトがあるか否かの判定処理として実行される。

ステップＳ１０３において、処理対象画素の画素位置において、手前の位置に表示される３次元オブジェクトがあると判定した場合は、ステップＳ１０４に進み、ないと判定した場合は、ステップＳ１０２に戻る。

ステップＳ１０３において、処理対象画素の画素位置において、手前の位置に表示される３次元オブジェクトがあると判定した場合は、ステップＳ１０４に進み、ステップＳ１０４において、評価値の更新処理を実行する。
評価値は、奥行き位置＝０の表示位置の付加情報と、重なり表示がなされる３次元表示オブジェクトの表示位置、すなわち奥行き情報の差分を、算出済み評価値に加算する処理として実行する。

すなわち、評価値Ｅは、
付加情報の表示位置（＝０）を［Ｉｐ］として、
付加情報に重なり、付加情報の手前に表示されるオブジェクトの表示位置を［Ｏｐ］としたとき、
表示予定の付加情報の構成画素各々について、
｜Ｉｐ−Ｏｐ｜
を算出し、これらを、付加情報の表示領域の全構成画素について加算した値となる。すなわち、評価値Ｅは、下式に基づいて算出される。
評価値Ｅ＝Σ｜Ｉｐ−Ｏｐ｜

付加情報表示予定領域の全ての画素について処理を終了し、最終的な評価値が算出されると、ステップＳ１０５に進む。

ステップＳ１０５では、算出した評価値と、予め規定した閾値とを比較する。
評価値＞閾値
上記の判定式を満足する場合、すなわち、算出評価値が予め規定した閾値より大きい場合は、ステップＳ１２１に進む。一方、算出評価値が予め規定した閾値より大きくない場合は、ステップＳ１０６に進む。

ステップＳ１０５において、算出評価値が予め規定した閾値より大きくないと判定し、ステップＳ１０６に進むと、付加情報の表示切り替え制御のために設定された切り替えタイマーがカウント中であるか否かを判定する。
切り替えタイマーは、付加情報の表示切り替えを行う予め規定した時間を計測するタイマーである。評価値を加算した結果が閾値を超えていたら、時間評価を行うため切り替えタイマーをスタートする。

例えば、本例では付加情報の表示切り替えを行う最短時間間隔を２秒（２ｓｅｃ）として設定している。これは、頻繁に付加情報の表示変更がなされるのを防止するための措置である。付加情報の表示切り替えが頻繁に実行されるとちらつきが発生する。このようなちらつきにより観察者による付加情報の確認が困難になるのを防止するための措置である。

切り替えタイマーは、付加情報の切り替え条件が発生した場合にカウントを開始し、付加情報の切り替え条件が消滅した場合は、一時的に中断する。
この中断時間は、中断タイマーによって計測される。中断時間が予め規定した時間（本例では０．５秒）を超えた時点で付加情報の表示切り替え条件が発生していない場合は、切り替えタイマーは、クリア、すなわちリセットされる。

中断時間が予め規定した時間（本例では０．５秒）を超えた時点で付加情報の表示切り替え条件が発生している場合は、切り替えタイマーは、ストップされた時点から再度カウントを開始する。
この切り替えタイマーのカウント（計測時間）が、合計で２秒（２ｓｅｃ）を超えると、付加情報の表示切り替えが実行されることになる。

ステップＳ１０６において、切り替えタイマーがカウント中でない場合は、ステップＳ１２４に進み、切り替えタイマーのカウントの中断時間を計測するための中断タイマーがカウント中であるか否かを判定する。

ステップＳ１２４において、中断タイマーがカウント中でないと判定した場合は、ステップＳ１４２に進む。
ステップＳ１４２では、付加情報の表示が実行される。個の表示処理は、当初の表示予定の付加情報の表示である。
すなわち、付加情報とその他の３次元表示オブジェクトとの重なりが少なく、付加情報をそのまま表示しても視覚的に問題のない表示が実行された場合の処理である。

一方、ステップＳ１０５において、算出評価値が予め規定した閾値より大きくないと判定し、ステップＳ１０６において、付加情報の表示切り替え制御のために設定された切り替えタイマーがカウント中であると判定した場合は、ステップＳ１０７に進む。

ステップＳ１０７では、切り替えタイマーをストップする。
次に、ステップＳ１０８に進み、中断タイマーをスタートする。中断タイマーは、切り替えタイマーがストップしている期間をカウントするためのタイマーである。

次に、ステップＳ１０９に進み、中断タイマーのカウント時間が、予め規定した時間（例えば０．５ｓｅｃ）を超えたか否かを判定する。超えていない場合は、ステップＳ１０１に戻る。

ステップＳ１０９において、中断タイマーのカウント時間が、予め規定した時間（例えば０．５ｓｅｃ）を超えたと判定されると、ステップＳ１１０に進み、中断タイマーをクリアして、ステップＳ１４１に進む。

ステップＳ１４１では、切り替えタイマーをクリアし、ステップＳ１４２に進む。
ステップＳ１４２では、付加情報の表示が実行される。この表示処理は、当初の表示予定の付加情報の表示である。
すなわち、付加情報とその他の３次元表示オブジェクトとの重なりが少なく、付加情報をそのまま表示しても視覚的に問題のない表示が実行された場合の処理である。

次に、ステップＳ１０５の判定処理、すなわち、
評価値＞閾値
上記の判定式を満足しないと判定した場合の処理について説明する。
ステップＳ１０５において、算出評価値が予め規定した閾値より大きい場合は、ステップＳ１２１に進む。

ステップＳ１２１において、付加情報の表示切り替え制御のために設定された切り替えタイマーがカウント中であるか否かを判定する。
切り替えタイマーがカウント中でない場合は、ステップＳ１２２に進み、切り替えタイマーのカウントの中断時間を計測するための中断タイマーがカウント中であるか否かを判定する。

ステップＳ１２２において、中断タイマーがカウント中でないと判定すると、ステップＳ１２３に進む。
ステップＳ１２３では、切り替えタイマーをスタートし、ステップＳ１３１に進む。
ステップＳ１３１においては、切り替えタイマーのカウント再開を行い、さらに、中断タイマーのクリア処理を行う。

その後、ステップＳ１３２に進み、切り替えタイマーのカウント時間が、予め設定した時間（２秒）を超えたか否かが判定される。予め設定した時間（２秒）を超えていないと判定した場合は、ステップＳ１０１に戻る。

ステップＳ１３２において、切り替えタイマーのカウント時間が、予め設定した時間（２秒）を超えたと判定した場合は、ステップＳ１３３に進む。
ステップＳ１３３では、表示すべき付加情報を切り替える処理を行う。例えば前述した処理例１〜５のいずれかに従って、切り替え表示すべき付加情報の設定を行う。ここでは、処理例１の文字数削減を実行したものとして説明する。

ステップＳ１３３での文字数削減による切り替え表示すべき付加情報の設定処理を実行後、ステップＳ１３４に進む。
ステップＳ１３４においては、切り替え後の付加情報の文字列が予め規定した文字数より多いか否かを判定する。
ステップＳ１３４において、切り替え後の付加情報の文字列が予め規定した文字数より多いと判定した場合は、ステップＳ１３５に進み、さらに、文字数を削減してステップＳ１３４に進む。

一方、ステップＳ１３４において、切り替え後の付加情報の文字列が予め規定した文字数より多くないと判定すると、ステップＳ１４１に進む。
ステップＳ１４１では、切り替えタイマーをクリアし、ステップＳ１４２に進む。

ステップＳ１４２では、付加情報の表示が実行される。この表示処理は、当初の表示予定の付加情報ではなく、前述の処理例１〜５のいずれかによって制御された付加情報の表示処理として実行される。

すなわち、付加情報とその他の３次元表示オブジェクトとの重なりを解消または少なく設定するために、文字数削減等の制御を実行した結果としての付加情報表示が実行されることになる。

図７に示すフローを参照して説明したように、本発明の処理では、付加情報の切り替え条件の発生時からの時間を計測する切り替えタイマーと、付加情報の切り替え条件の消滅からの時間を計測する中断タイマーを利用して時間計測を実行する。各計測時間と既定の閾値時間を比較して、比較結果に基づいて付加情報の切り替え制御を実行する。この処理は、付加情報の頻繁な切り替えを抑えて、安定した表示切り替えを行うためである。

例えば切り替えタイマーによって計測される２秒の切り替え時間の最中に少しだけ条件が外れた場合等、微妙な表示条件の場合には切り替わりが行われなくなる。すなわち、表示切り替え処理の時間条件として、ある程度のヒステリシスを持たせている。

例えば動画の再生表示のように、付加情報と飛び出しオブジェクトとの重なり領域が頻繁に変更されるような場合に、付加情報の頻繁な表示切り替えを繰り返してちらちらした表示となるような事態を防止して観察者が安定して付加情報を確認することを可能としている。

本発明の処理を実行することで、３次元画像に対して文字列やアイコン、画像などの付加情報を重畳する際、３次元画像の手前側に飛び出す画像部分がある場合にその視認性を妨げることなくかつ規定の付加情報で伝えたい意味が十分使用者に伝わるような画像への付加情報の重畳表示を行うことが可能となる。

また、３次元画像が動画である場合に、文字列やアイコン、画像などの付加情報を重畳する際に、画像の変化に応じて煩雑な付加情報の表示形態の変化をさけ、情報の伝達の実現を行いながら、最低限の画像への影響で収めるめるような付加情報の重畳が可能となる。

［３．画像処理装置のハードウェア構成例について］
次に、上述した処理を実行する画像処理装置のハードウェア構成例について図８を参照して説明する。図８は、本発明の一実施例に係る画像処理装置の構成例を示すブロック図である。画像処理装置は、上述した付加情報の表示制御を実行して出力画像を生成する処理を行う装置である。具体的には例えば、テレビ、再生装置、ビデオカメラ、ＰＣなどの装置である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行する制御部（データ処理部）として機能する。例えば、上述の各実施例において説明した付加情報の表示制御を実行する。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３には、ＣＰＵ２０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ２０１、ＲＯＭ２０２、およびＲＡＭ２０３は、バス２０４により相互に接続されている。

ＣＰＵ２０１はバス２０４を介して入出力インタフェース２０５に接続され、入出力インタフェース２０５には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。ＣＰＵ２０１は、入力部２０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部２０７に出力する。

入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスク等からなり、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動し、記録されているコンテンツ、プログラム等の各種データを取得する。

タイマー２２１は、図７に示すフローチャートを参照して説明した切り替えタイマー、中断タイマーとして利用される。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例によれば、３次元画像に対する違和感を減少させた付加情報の重畳表示を実現する装置や方法が実現される。具体的には、３次元画像に重畳させて、予め規定した規定奥行き位置に付加情報を表示する処理を行うとともに、付加情報の表示予定領域に含まれる表示オブジェクトの奥行き位置と、付加情報を表示する規定奥行き位置との差分に基づく評価値を算出し、算出した評価値の値に応じて、付加情報の表示態様の変更処理を実行する。例えば、文字数の削減、文字サイズの変更、アイコンへの変更、あるいは改行の設定などを行う。また、付加情報の表示切り替え条件の発生からの経過時間等を計測するタイマーを設け、タイマーの計測情報に応じて表示切り替え制御を実行する。
これらの処理により、３次元画像に対する違和感を減少させた付加情報の重畳表示を実現する装置や方法が実現される。

１００ ３次元画像
１０５ 表示オブジェクト
１１１ 付加情報
１２１ 付加情報
１２２ 付加情報
１２３ 付加情報
１２４ 付加情報
１２５ 付加情報
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ バス
２０５ 入出力インタフェース
２０６ 入力部
２０７ 出力部
２０８ 記憶部
２０９ 通信部
２１０ ドライブ
２１１ リムーバブルメディア
２２１ タイマー

Claims (8)

1. ３次元画像の表示処理を実行する制御部を有し、
   前記制御部は、
   前記３次元画像に重畳させて、予め規定した規定奥行き位置に付加情報を表示する処理を行うとともに、
   前記付加情報の表示予定領域に含まれる表示オブジェクトの奥行き位置と、前記付加情報を表示する規定奥行き位置との差分に基づく評価値を算出し、
   該評価値の値に応じて、付加情報の表示態様の変更処理を実行する構成であり、
   前記制御部は、
   前記付加情報の表示予定領域において、前記付加情報の規定奥行き位置より前方にある表示オブジェクトの重なり領域を検出し、
   前記重なり領域における前記表示オブジェクトの奥行き位置と、前記規定奥行き位置との画素単位の差分を加算して前記評価値を算出し、
   算出評価値が規定閾値より大きい場合、前記表示オブジェクトと前記付加情報との重なり領域を解消または減少させるように、前記付加情報の表示態様を変更する画像処理装置。
2. 前記制御部は、
   前記付加情報の表示態様変更処理として、付加情報の文字数の削減処理を実行する請求項１に記載の画像処理装置。
3. 前記制御部は、
   前記付加情報の表示態様変更処理として、付加情報の文字サイズの変更処理を実行する請求項１に記載の画像処理装置。
4. 前記制御部は、
   前記付加情報の表示態様変更処理として、付加情報の文字をアイコンに変更する処理を実行する請求項１に記載の画像処理装置。
5. 前記制御部は、
   前記付加情報の表示態様変更処理として、付加情報の文字列に改行を設定する処理を実行する請求項１に記載の画像処理装置。
6. 前記制御部は、
   前記評価値が、付加情報の切り替え条件を満足する時間が予め規定した規定時間以上、継続したことを条件として付加情報の表示態様を変更する処理を行う請求項１に記載の画像処理装置。
7. 画像処理装置において、３次元画像の表示処理を実行する画像処理方法であり、
   前記３次元画像に重畳させて、予め規定した規定奥行き位置に付加情報を表示するステップと、
   前記付加情報の表示予定領域に含まれる表示オブジェクトの奥行き位置と、前記付加情報を表示する規定奥行き位置との差分に基づく評価値を算出する評価値算出ステップと、
   該評価値の値に応じて、付加情報の表示態様の変更処理を実行する表示態様変更処理ステップを実行し、
   前記評価値算出ステップは、
   前記付加情報の表示予定領域において、前記付加情報の規定奥行き位置より前方にある表示オブジェクトの重なり領域を検出し、
   前記重なり領域における前記表示オブジェクトの奥行き位置と、前記規定奥行き位置との画素単位の差分を加算して前記評価値を算出するステップであり、
   前記表示態様変更処理ステップは、算出評価値が規定閾値より大きい場合、前記表示オブジェクトと前記付加情報との重なり領域を解消または減少させるように、前記付加情報の表示態様を変更するステップである画像処理方法。
8. 画像処理装置において、３次元画像の表示処理を実行させるプログラムであり、
   前記３次元画像に重畳させて、予め規定した規定奥行き位置に付加情報を表示させるステップと、
   前記付加情報の表示予定領域に含まれる表示オブジェクトの奥行き位置と、前記付加情報を表示する規定奥行き位置との差分に基づく評価値を算出させる評価値算出ステップと、
   該評価値の値に応じて、付加情報の表示態様の変更処理を実行させる表示態様変更処理ステップを実行させ、
   前記評価値算出ステップは、
   前記付加情報の表示予定領域において、前記付加情報の規定奥行き位置より前方にある表示オブジェクトの重なり領域を検出し、
   前記重なり領域における前記表示オブジェクトの奥行き位置と、前記規定奥行き位置との画素単位の差分を加算して前記評価値を算出するステップを含み、
   前記表示態様変更処理ステップは、算出評価値が規定閾値より大きい場合、前記表示オブジェクトと前記付加情報との重なり領域を解消または減少させるように、前記付加情報の表示態様を変更するステップを含むプログラム。