JP4251952B2 - 立体画像表示装置および立体画像表示方法 - Google Patents

Description

本発明は、複数の視点に対応した複数の画像を立体表示する立体画像表示装置および立体画像表示方法に関するものである。

従来、視差を有する一組の画像を立体視することにより立体感のある画像を見ることができる方法が知られている。例えば、表示装置に被写体像の左眼用画像と右眼用画像を交互に出力し、観察者はその表示の切り替えタイミングに同期してシャッタを切り替えることのできる眼鏡を通して画像を観察することにより、画像を立体視することができる。この際、例えば左眼用画像を偶数フィールドに表示、右眼用画像は奇数フィールドに表示といったように、それぞれ別のフィールドに表示されるため、通常の２次元表示時に比べて、各画像の垂直解像度が１／２となっている。この表示方法は、時分割方式と呼ばれる。

また、特別な眼鏡等を用いずに立体画像を再生する方法として、パララクスバリア方式と呼ばれる方法がある。被写体像の左眼用画像と右眼用画像のそれぞれを画像の垂直走査方向に短冊状に分解し、交互に並べて一枚の画像とする。その画像を表示する表示装置には、画像を分解した場合と同様の短冊状のスリットがある。観察者が短冊状の画像データをスリットを通して観察することにより、短冊状に配置された左眼用画像は左眼で、右眼用画像は右眼で観察することになり、画像を立体視することができる。この際、左眼用画像と右眼用画像は、通常の２次元表示時に比べて、水平解像度が１／２となっている。また、スリットの代わりにレンチキュラレンズを用いたレンチキュラ方式と呼ばれる方法もある。

観察者がより快適に立体画像を観察するために、被写体像だけを立体表示するのではなく、被写体像にオーバーレイ表示される文字や記号などのキャラクタも立体表示する手法が下記特許文献１において提案されている。
特開平８−２４９４９３号公報 特許文献１では、左眼用画像と右眼用画像を用いて被写体像を立体表示するだけでなく、左眼用キャラクタと右眼用キャラクタを用いてキャラクタも立体表示する。

しかし、キャラクタを立体視することについては問題点がある。キャラクタを立体表示すると、被写体像と同様に２次元表示の時に比べて垂直解像度または水平解像度が１／２となってしまうため、キャラクタがギザギザに見えてしまい、非常に見にくくなってしまう。

本発明は、上記のような問題を解決するためになされたものであって、観察者が文字や記号などのキャラクタを見やすいように表示する立体画像表示装置および立体画像表示方法を提供することを目的とする。

本発明は、３次元表示モードと２次元表示モードを切り替えるモード制御部と、
複数の視点に対応する画像を格納する画像格納部と、視差調整量を表示する視差調整用キャラクタを格納するキャラクタ格納部と、前記モード制御部に従って３次元表示と２次元表示を切り替え可能な表示部と、前記画像格納部に格納されている画像と前記キャラクタ格納部に格納されているキャラクタを処理して前記表示部に出力する画像処理部と、を備え、
３次元表示を行うときの視差量調整を行う場合、前記モード制御部は、２次元表示モードに切り替え、前記画像処理部は、前記画像格納部に格納されている画像から３次元表示に用いる複数視点の画像を読み出し、前記キャラクタ格納部に格納されている視差量調整用キャラクタを読み出して複数視点の画像にオーバーレイ表示するように合成し、前記複数視点の画像をシフトして行う視差量調整に合わせてキャラクタに視差量を表示させることを特徴とする。

ここで、前記画像処理部は、表示させる前記複数視点の画像を、前記表示部の表示画面より大きく作成することを特徴とする。

また、本発明は、３次元表示を行うときの視差量調整を行う場合に、３次元表示と２次元表示を切り替え可能な表示部を２次元表示モードに切り替えるステップと、複数の視点に対応する画像を格納する画像格納部から３次元表示に用いる複数視点の画像を読み出し、視差調整量を表示する視差調整用キャラクタを格納するキャラクタ格納部から視差量調整用キャラクタを読み出して複数視点の画像にオーバーレイ表示するように合成するステップと、前記複数視点の画像をシフトして行う視差量調整に合わせて前記キャラクタに視差量を表示させるステップと、を備えることを特徴とする立体画像表示方法ある。

ここで、表示させる前記複数視点の画像を、前記表示部の表示画面より大きく作成することを特徴とする。

本発明によれば、被写体像を平面的に観察できる２次元表示モードと、被写体像を立体的に観察できる３次元表示モードの両方を備え、２次元表示モードと３次元表示モードを切り替えることができる立体画像表示装置において、文字や記号などのキャラクタをディスプレイに表示する時は自動的に３次元表示モードから２次元表示モードに切り替えることで、キャラクタの観察がしやすくなる。
また、本発明によれば、視差量調整をするためのキャラクタを表示する時には、左眼用画像と右眼用画像の両方をディスプレイに表示することで、視差量が目に見えるように表示され、視差量の調整がしやすくなる。

以下、本発明の実施形態について、図面とともに詳細に説明する。

＜第１の実施形態＞
本実施形態における立体画像表示装置は、被写体像を平面的に観察できる２次元表示モード（以下、２Ｄモードとする）と、被写体像を立体的に観察できる３次元表示モード（以下、３Ｄモードとする）の両方を有する立体画像表示装置である。本実施形態では、パララクスバリア方式を用いた立体画像表示装置と、時分割方式を用いた立体画像表示装置について説明する。

最初に、パララクスバリア方式を用いた立体画像表示装置について説明する。まず、パララクスバリア方式の一例について、図２および図３とともに説明する。前述したように、パララクスバリア方式では、左眼用画像と右眼用画像のそれぞれを垂直走査方向に短冊状に分解し、交互に並べて一枚の画像とする。図２に示す例では、被写体像の左眼用画像２００と右眼用画像２０１を縮小して、それぞれ水平解像度が１／２の左眼用画像２０２と右眼用画像２０３を作成し、画像表示パネル２０４上に垂直画素列１ラインおきに交互に並ぶように配置している。さらに、図３に示すように、同一視点の画素の間隔よりもサイズが小さいスリットを持つパララクスバリア３００を画像表示パネル２０４の前面に置くことにより、左眼用画像は左眼３０１だけで、右眼用画像は右眼３０２だけで観察することになり、立体視を行うことができる。本例では、左眼用画像と右眼用画像のそれぞれを画像表示パネル２０４上に垂直画素列１ラインおきに交互に並ぶように配置しているが、複数ラインおきに交互に並ぶように配置しても構わない。

次に、本立体画像表示装置のブロック図を図１に示す。図１の立体画像表示装置は、モード制御部１００と、ディスプレイ１０１と、画像処理部１０２と、画像格納部１０３と、キャラクタ格納部１０４とを備える。

モード制御部１００は、立体画像表示装置の表示モードを２Ｄモードもしくは３Ｄモードに切り替える。
ディスプレイ１０１は、図示しない画像表示パネルとパララクスバリアを含む構成となっており、表示モードに合わせて画像の表示方法を切り替える。つまり、画像表示パネルの前にパララクスバリアがある状態とない状態を切り替えることで、画像の２次元表示と３次元表示の両方を行うことができる。図５に、ディスプレイ１０１の一例を示す。図５の例では、パララクスバリアを液晶パネルを用いて実現している。図５のディスプレイは、画像表示パネル５０１の前に液晶パネル５００を置き、液晶パネル５００に電圧をかけたりかけなかったりすることで、パララクスバリアがある状態とない状態の切り替えを行う。２Ｄモードの時は、図５（Ａ）に示すように画像表示パネルに左眼用画像のみを配置し（右眼用画像のみでも構わない）、液晶パネル５００に電圧をかけないことでパララクスバリアがない状態にし、画像を２次元表示する。また、３Ｄモードの時は、図５（Ｂ）に示すように画像表示パネルに左眼用画像と右眼用画像を交互に配置し、液晶パネル５００の一部に電圧をかけることでパララクスバリアがある状態にし、画像を３次元表示する。ディスプレイ１０１は、２次元表示と３次元表示を切り替えることができるパララクスバリア方式のディスプレイであれば、図５の例に限らない。

画像格納部１０３は、被写体像の左眼用画像と右眼用画像が格納されている。格納されている画像は、例えばファイルから得られた画像、放送やインターネットを介して得られた画像、カメラ撮影から得られた画像などである。これらの画像は、図２の左眼用画像２００と右眼用画像２０１のような縮小前の画像であってもよいし、図２の左眼用画像２０２と右眼用画像２０３のような縮小後の画像であってもよい。
キャラクタ格納部１０４は、ディスプレイに表示される文字や記号などのキャラクタが格納されている。

画像処理部１０２は、表示モードに合わせて画像格納部１０３から左眼用画像と右眼用画像を取りだし、必要であれば各画像の縮小や並び替えなどの画像処理をし、ディスプレイ１０１に出力する。また、キャラクタ表示開始／終了要求に合わせてキャラクタ格納部１０４から必要なキャラクタを選択し、ディスプレイ１０１に出力する。

次に、本立体画像表示装置の各部の動作について説明する。モード制御部１００に２Ｄモードへの切り替え要求があった場合、ディスプレイ１０１は画像表示パネルの前にパララクスバリアがない状態にする。また、画像処理部１０２は画像格納部１０３に格納されている左眼用画像もしくは右眼用画像のどちらか一方だけをディスプレイ１０１に表示することにより、被写体像を２次元表示する。この時、画像格納部１０３に格納してある画像が、図２の左眼用画像２０２と右眼用画像２０３のように、縮小後の画像である場合は、画像を水平方向に２倍に拡大してからディスプレイ１０１上に表示する。

画像の拡大について、図９とともに詳細に説明する。図９において、拡大前の画像のｘ軸方向がａ番目、ｙ軸方向がｂ番目の画素値をｆ（ａ，ｂ）（０≦ａ≦３，０≦ｂ≦５）、拡大後の画像のｘ軸方向がｍ番目、ｙ軸方向がｎ番目の画素値をｆ´（ｍ，ｎ）（０≦ｍ≦７，０≦ｎ≦５）とする。

拡大の方法としては、各垂直画素列を単純にコピーする方法、すなわち、
ｆ´（ｍ，ｎ）＝ｆ（ｍ／２，ｎ） （ｍが偶数の時）
ｆ´（ｍ，ｎ）＝ｆ（（ｍ−１）／２，ｎ） （ｍが奇数の時）
や、拡大前の各垂直画素列の画素値の平均値を用いた方法、すなわち、
ｆ´（ｍ，ｎ）＝ｆ（ｍ／２，ｎ） （ｍが偶数の時）
ｆ´（ｍ，ｎ）＝｛ｆ（（ｍ−１）／２，ｎ）＋ｆ（（ｍ＋１）／２，ｎ）｝／２ （ｍが奇数の時）
ただし、ｍ＝７の時は、
ｆ´（ｍ，ｎ）＝ｆ（（ｍ−１）／２，ｎ）
などがある。また、単純な平均値ではなく、ローパスフィルタを用いて補間してもよい。

一方、画像格納部１０３に格納してある画像が、図２の左眼用画像２００と右眼用画像２０１のような縮小前の画像である場合は、拡大を行わずそのままディスプレイ１０１上に表示する。

左眼用画像と右眼用画像のどちらを表示するかは、あらかじめ立体画像表示装置に設定しておいてもよいし、２Ｄモードにする際に観察者が設定してもよい。また、立体画像データのヘッダ情報や立体画像データと関連付けられた情報に、どちらを表示するかを示す情報が格納されている場合は、この情報に基づいて設定してもよい。

次に、モード制御部１００に３Ｄモードへの切り替え要求があった場合、ディスプレイ１０１は画像表示パネルの前にパララクスバリアがある状態にする。また、画像処理部１０２は画像格納部１０３に格納されている左眼用画像と右眼用画像に対して必要であれば縮小などの画像処理を行い、図２の画像表示パネル２０４のように交互に配置してディスプレイ１０１に表示することにより、被写体像を３次元表示する。この時、画像格納部１０３に格納してある画像が、図２の左眼用画像２００と右眼用画像２０１のように、縮小前の画像である場合は、画像の水平解像度が１／２となるように画像を縮小する。画像の縮小について、図８とともに詳細に説明する。図８において、縮小前の画像のｘ軸方向がａ番目、ｙ軸方向がｂ番目の画素値をｆ（ａ，ｂ）（０≦ａ≦７，０≦ｂ≦５）、縮小後の画像のｘ軸方向がｍ番目、ｙ軸方向がｎ番目の画素値をｆ´（ｍ，ｎ）（０≦ｍ≦３，０≦ｎ≦５）とする。

縮小の方法としては、各垂直画素列を単純に間引く方法、すなわち、
ｆ´（ｍ，ｎ）＝ｆ（２ｍ，ｎ）
や、縮小前の各垂直画素列の画素値の平均値を用いた方法、すなわち、
ｆ´（ｍ，ｎ）＝｛ｆ（２ｍ，ｎ）＋ｆ（２ｍ＋１，ｎ）｝／２
などがある。

一方、画像格納部１０３に格納してある画像が、図２の左眼用画像２０２と右眼用画像２０３のような縮小後の画像である場合は縮小を行わず、画像表示パネル上に左眼用画像と右眼用画像を交互に配置して表示する。
上記の例では、ディスプレイが２視点に対応した被写体像を表示する場合の動作を説明したが、ディスプレイが３視点以上に対応した被写体像を表示する場合も同様の動作を行う。例えば、ディスプレイが３視点に対応した被写体像を表示する場合、２Ｄモードの時は水平方向の解像度が３倍になるように画像を拡大したり、３Ｄモードの時は水平方向の解像度が１／３になるように画像を縮小する処理を行う。

次に、本立体画像表示装置が、被写体像にオーバーレイ表示される文字や記号などのキャラクタを表示する時の動作について、図１および図７とともに説明する。図７（Ａ）は本立体画像表示装置が３Ｄモードである時のディスプレイ１０１を模式的に表したものであり、画像表示パネルの前にパララクスバリアがある状態である。

この３Ｄモードの時に、図示しないボタンを操作してディスプレイ１０１上にキャラクタを表示する場合、モード制御部１００と画像処理部１０２にキャラクタ表示開始要求が入力される。この時の動作を図１９のフローチャートとともに説明する。

キャラクタ表示開始要求を受け取ったモード制御部１００は、立体画像表示装置の表示モードを３Ｄモードから２Ｄモードに切り替える（ステップ１９００）。つまり、ディスプレイ１０１は画像表示パネルの前にパララクスバリアがない状態になり、左眼用画像と右眼用画像のどちらか一方だけが表示される。また、キャラクタ表示開始要求を受け取った画像処理部１０２は、キャラクタ格納部１０４から必要なキャラクタを選択し、被写体像にオーバーレイ表示するようにディスプレイ１０１に出力する（ステップ１９０１）。

図７（Ｂ）はキャラクタ表示開始要求を受け取った時に、上記処理を行った後のディスプレイ１０１の状態を模式的に表したものである。通常、キャラクタの幅は短冊状に分解した画像の幅の数倍の幅を持つが、図７（Ｂ）ではキャラクタの幅に比べて短冊状に分解した画像の幅を大きくして模式的に表現している。この場合、観察者は被写体像（左眼用画像）とこれにオーバーレイ表示されたキャラクタを平面的に観察できるようになる。次に、モード制御部１００と画像処理部１０２にキャラクタ表示終了要求が入力されると（ステップ１９０２）、キャラクタのオーバーレイ表示を終了し（ステップ１９０３）、再び３Ｄモードに戻る（ステップ１９０４）。

本立体画像表示装置のディスプレイ１０１は、画像表示パネルの前にパララクスバリアがある状態とない状態を切り替えることができるディスプレイを用いているが、その代わりに画像表示パネルの前にレンチキュラレンズがある状態とない状態を切り替えることができるディスプレイを用いてもよい。

次に、時分割方式を用いた立体画像表示装置について説明する。まず、時分割方式の一例について、図１１および図１２とともに説明する。前述したように、時分割方式では、ディスプレイに左眼用画像と右眼用画像を交互に出力し、観察者はその表示の切り替えタイミングに同期してシャッタを切り替えることのできる眼鏡を通して画像を再生することにより、観察者は被写体像を立体視することができる。図１１に示す例では、被写体像の左眼用画像１１００と右眼用画像１１０１を縮小して、それぞれ垂直解像度が１／２の左眼用画像１１０２と右眼用画像１１０３を作成し、画像表示パネル１１０４のように水平画素列１ラインおきに交互にならんだ形に配置され、左眼用画像と右眼用画像を交互に切り替えて表示するものである。

また、図１２に示すように、観察者は画像表示パネル１１０４の表示の切り替え周期に同期して開閉するシャッタ式メガネ１２００を着用し、同期信号１２０１を用いて画像表示パネル１１０４とシャッタ式メガネ１２００の同期を行う。ここで使用するシャッタは、ディスプレイに左眼用画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼用画像が表示されている時は左眼側が閉じて右眼側が開く。こうすることで、左眼用画像は左眼だけで、右眼用画像は右眼だけで観察されることになり、立体視を行うことができる。

次に、本立体画像表示装置のブロック図を図１３に示す。図１３の立体画像表示装置は、モード制御部１３００と、ディスプレイ１３０１と、シャッタ式メガネ１３０２と、画像処理部１３０３と、画像格納部１３０４と、キャラクタ格納部１３０５とを備える。

モード制御部１３００は、立体画像表示装置の表示モードを２Ｄモードもしくは３Ｄモードに切り替える。
ディスプレイ１３０１は、一定の周期で水平画素列１ラインおきに交互に画像を切り替えながら表示する。
シャッタ式メガネ１３０２は、３Ｄモードの時はディスプレイ１３０１の画像の切り替え周期に同期して左眼部分と右眼部分のシャッタを開閉し、２Ｄモードの時は両眼のシャッタを開いたままにする。

画像格納部１３０４は、被写体像の左眼用画像と右眼用画像が格納されている。格納されている画像は、例えばファイルから得られた画像、放送やインターネットを介して得られた画像、カメラ撮影から得られた画像などである。これらの画像は、図１１の左眼用画像１１００と右眼用画像１１０１のような縮小前の画像であってもよいし、図１１の左眼用画像１１０２と右眼用画像１１０３のような縮小後の画像であってもよい。

キャラクタ格納部１３０５は、ディスプレイに表示される文字や記号などのキャラクタが格納されている。
画像処理部１３０３は、表示モードに合わせて画像格納部１３０４から左眼用画像と右眼用画像を取りだし、必要であれば各画像の縮小や並び替えなどの画像処理をし、ディスプレイ１３０１に出力する。また、キャラクタ表示開始／終了要求に合わせてキャラクタ格納部１３０５から必要なキャラクタを選択し、ディスプレイ１３０１に出力する。

次に、本立体画像表示装置の各部の動作について説明する。モード制御部１３００に２Ｄモードへの切り替え要求があった場合、画像処理部１３０３は画像格納部１３０４に格納されている左眼用画像もしくは右眼用画像のどちらか一方だけをディスプレイ１３０１に表示し、シャッタ式メガネ１３０２は両眼のシャッタを開いたままにすることにより、被写体像を２次元表示する。この時、画像格納部１３０４に格納してある画像が、図１１の左眼用画像１１０２と右眼用画像１１０３のような縮小後の画像である場合は、画像を垂直方向に２倍に拡大してからディスプレイ１３０１上に表示する。

画像の拡大について、図１６とともに詳細に説明する。図１６において、拡大前の画像のｘ軸方向がａ番目、ｙ軸方向がｂ番目の画素値をｆ（ａ，ｂ）（０≦ａ≦７，０≦ｂ≦２）、拡大後の画像のｘ軸方向がｍ番目、ｙ軸方向がｎ番目の画素値をｆ´（ｍ，ｎ）（０≦ｍ≦７，０≦ｎ≦５）とする。

拡大の方法としては、各水平画素列を単純にコピーする方法、すなわち、
ｆ´（ｍ，ｎ）＝ｆ（ｍ，ｎ／２） （ｎが偶数の時）
ｆ´（ｍ，ｎ）＝ｆ（ｍ，（ｎ−１）／２）） （ｎが奇数の時）
や、拡大前の各水平画素列の画素値の平均値を用いた方法、すなわち、
ｆ´（ｍ，ｎ）＝ｆ（ｍ，ｎ／２） （ｎが偶数の時）
ｆ´（ｍ，ｎ）＝｛ｆ（ｍ，（ｎ−１）／２）＋ｆ（ｍ，（ｎ＋１）／２）｝／２ （ｎが奇数の時）
ただし、ｎ＝５の時は、
ｆ´（ｍ，ｎ）＝ｆ（ｍ，（ｎ−１）／２）
などがある。また、単純な平均値ではなく、ローパスフィルタを用いて補間してもよい。

一方、画像格納部１３０４に格納してある画像が、図１１の左眼用画像１１００と右眼用画像１１０１のような縮小前の画像である場合は、拡大を行わずそのままディスプレイ１３０１上に表示する。

左眼用画像と右眼用画像のどちらを表示するかは、あらかじめ立体画像表示装置に設定しておいてもよいし、２Ｄモードにする際に観察者が設定してもよい。また、立体画像データのヘッダ情報や立体画像データと関連付けられた情報に、どちらを表示するかを示す情報が格納されている場合は、この情報に基づいて設定してもよい。

次に、モード制御部１３００に３Ｄモードへの切り替え要求があった場合、画像処理部１３０３は画像格納部１３０４に格納されている左眼用画像と右眼用画像に対して必要であれば縮小などの画像処理を行い、図１１の画像表示パネル１１０４ように交互に配置にしてディスプレイ１３０１上に表示し、シャッタ式メガネ１３０２はディスプレイ１３０１の画像の切り替え周期に同期して左眼部分と右眼部分のシャッタを開閉することで、被写体像を３次元表示する。この時、画像格納部１３０４に格納してある画像が、図１１の左眼用画像１１００と右眼用画像１１０１のような縮小前の画像である場合は、画像の垂直解像度が１／２となるように画像を縮小する。

画像の縮小について、図１５とともに詳細に説明する。図１５において、縮小前の画像のｘ軸方向がａ番目、ｙ軸方向がｂ番目の画素値をｆ（ａ，ｂ）（０≦ａ≦７，０≦ｂ≦５）、縮小後の画像のｘ軸方向がｍ番目、ｙ軸方向がｎ番目の画素値をｆ´（ｍ，ｎ）（０≦ｍ≦７，０≦ｎ≦２）とする。

縮小の方法としては、各水平画素列を単純に間引く方法、すなわち、
ｆ´（ｍ，ｎ）＝ｆ（ｍ，２ｎ）
や、縮小前の各水平画素列の画素値の平均値を用いた方法、すなわち、
ｆ´（ｍ，ｎ）＝｛ｆ（ｍ，２ｎ）＋ｆ（ｍ，２ｎ＋１）｝／２
などがある。

一方、画像格納部１３０４に格納してある画像が、図１１の左眼用画像１１０２と右眼用画像１１０３のような縮小後の画像である場合は縮小を行わず、画像表示パネル上に左眼用画像と右眼用画像を交互に配置して表示する。

次に、本立体画像表示装置が、被写体像にオーバーレイ表示される文字や記号などのキャラクタを表示する時の動作について、図１３および図１４とともに説明する。図１４（Ａ）は本立体画像表示装置が３Ｄモードである場合のディスプレイ１３０１を模式的に表したものであり、シャッタ式メガネ１３０２は画像の切り替え周期に同期して左眼部分と右眼部分のシャッタを開閉している。

この３Ｄモードの時に、図示しないボタンを操作してディスプレイ１３０１上にキャラクタを表示する場合、モード制御部１３００と画像処理部１３０３にキャラクタ表示開始要求が入力される。この時の動作を図１９のフローチャートとともに説明する。

キャラクタ表示開始要求を受け取ったモード制御部１３００は、立体画像表示装置の表示モードを３Ｄモードから２Ｄモードに切り替える（ステップ１９００）。つまり、シャッタ式メガネ１３０２は両眼のシャッタを開いたままにし、ディスプレイ１３０１には左眼用画像と右眼用画像のどちらか一方だけが表示される。また、キャラクタ表示開始要求を受け取った画像処理部１３０３は、キャラクタ格納部１３０５から必要なキャラクタを選択し、被写体像にオーバーレイ表示するようにディスプレイ１３０１に出力する（ステップ１９０１）。

図１４（Ｂ）はキャラクタ表示開始要求を受け取った時に、上記処理を行った後のディスプレイ１３０１とシャッタ式メガネ１３０２の状態を模式的に表したものである。この場合、観察者が被写体像（左眼用画像）とこれにオーバーレイ表示されたキャラクタを平面的に観察できるようにする。次に、モード制御部１３００と画像処理部１３０３にキャラクタ表示終了要求が入力されると（ステップ１９０２）、キャラクタのオーバーレイ表示を終了し（ステップ１９０３）、再び３Ｄモードに戻る（ステップ１９０４）。
このように、本実施形態によれば、文字や記号などのキャラクタを観察者が見やすいように表示することができる立体画像表示装置を実現することができる。

また、上記の実施形態では、文字や記号などのキャラクタを表示させる場合に３Ｄモードから２Ｄモードに切り替えているが、複数ファイルや単一ファイルの中身を２次元表示の縮小画像（以後、サムネイル画像とする。）で一覧表示するプレビュー画面を表示させる場合に３Ｄモードから２Ｄモードに切り替え、プレビュー画面の表示を終了すると２Ｄモードから３Ｄモードに切り替える処理をしてもよい。なお、一覧表示するサムネイル画像に左眼用画像と右眼用画像のどちらを用いるかは、あらかじめ立体画像表示装置に設定してもよいし、サムネイル画像を表示させる時に観察者が選択してもよい。

また、上記の実施形態では、画像格納部に格納されている左眼用画像と右眼用画像を画像処理部への入力としているが、図示しないカメラ部で撮影された画像を、画像格納部を介さずに画像処理部への直接の入力としてもよい。

また、上記の実施形態では、画像格納部に左眼用画像と右眼用画像の２視点の画像しか格納されていない場合を説明したが、図６のような異なる視点に対応した画像を複数含む多視点画像が格納されていてもよい。この多視点画像は、見る場所によって異なった立体画像が得られるような立体画像表示装置で用いられる。本発明の立体画像表示装置において、図６のような多視点画像を用いる場合、左眼用画像を視点３の画像、右眼用画像を視点２の画像というように、観察者が被写体像を立体視できるような適切な左眼用画像と右眼用画像を選択する。

また、上記の実施形態では、キャラクタ表示要求を受け取った時に、ディスプレイ上で被写体像とキャラクタの両方表示するようにしているが、キャラクタのみを表示して被写体像を表示しないようにしてもよい。この場合、キャラクタの背景画像にはあらかじめ用意されている画像を用いる。また、画像処理部では、あらかじめ用意されている画像とキャラクタの合成のみを行う。

また、上記の実施形態では、ボタンによりキャラクタをディスプレイ上に表示させる例を説明したが、ボタンの代わりにマウス、ディスプレイ上のタッチパネル、音声認識を利用した音声操作など、ディスプレイ上にキャラクタを表示させたり、操作したりできるデバイスであればボタンに限定しない。また、例えばデジタルビデオカメラにおいて電池容量が少なくなった時に表示される警告情報などのように、ユーザーの操作によらないでキャラクタが表示される場合も本発明の手法により３Ｄモードから２Ｄモードに切り替える。

＜第２の実施形態＞
本実施形態における立体画像表示装置は、第１の実施形態と同様に、２Ｄモードと３Ｄモードの両方を有し、これら表示モードの切り替えが可能な立体画像表示装置である。また、本立体画像表示装置の構成も、第１の実施形態の図１または図１３と同様である。本実施形態における立体画像表示装置は、視差量調整をするためのキャラクタを表示させる時に、第１の実施形態の立体画像表示装置とは異なる動作を行う。

まず、視差量調整について図１０とともに説明する。なお、本例では立体画像の表示方式をパララクスバリア方式とする。視差量調整とは、立体画像の飛び出し具合や奥行き具合を調整する処理のことである。図１０（Ａ）は、視差量調整をする前の画像表示パネルの状態であり、短冊状の左眼用画像と右眼用画像が交互に並べてある。図１０（Ａ）の状態から、左眼用画像と右眼用画像の少なくとも一方を水平方向にシフトさせることにより視差量調整をする。図１０（Ｂ）は、図１０（Ａ）の状態から、左眼用画像を右方向に１ライン分シフトし、右眼用画像を左方向に１ライン分シフトして視差量調整を行った状態である。このような操作を行うことにより立体画像の飛び出し具合や奥行き具合を調整することができる。この時、左眼用画像と右眼用画像の横幅が画像の表示画面の横幅と同じ場合、視差量調整のために各画像を左右方向にシフトしていくと、図１０の領域１０００や領域１００１のように表示画面の左右端に画像がない状態になり、被写体を立体視できない領域が発生してしまう。そこで、左眼用画像と右眼用画像をあらかじめ画像の表示画面の横幅よりも大きめに作成しておくことで、各画像をシフトさせても立体視できない領域が発生しないようにしてもよい。表示方式が、レンチキュラ方式や時分割方式の場合でも、同様の処理を行うことで視差量調整ができる。

次に、第２の実施形態の詳細について説明する。第１の実施形態では、キャラクタを表示する際は表示モードを２Ｄモードに切り替え、左眼用画像か右眼用画像のどちらか一方を表示していたが、キャラクタを操作しながら視差量調節をする場合、左眼用画像と右眼用画像の両方がディスプレイ上で観察できたほうが視差量調整をしやすい。よって、視差量調整のためのキャラクタを表示させる場合は、ディスプレイには３Ｄモードの時と同じように左眼用画像と右眼用画像の両方を表示する。

図１７は、表示方式がパララクスバリア方式の場合に、視差量調整のためにキャラクタを表示する例を示す模式図である。図１７（Ａ）は、３Ｄモードである時のディスプレイの状態であり、図７（Ａ）と同様の状態である。この状態において、視差量調整のためのキャラクタ表示開始要求があった場合の動作を図２０のフローチャートとともに説明する。

まず、ディスプレイは２Ｄモードと同じように画像表示パネルの前にパララクスバリアがない状態に切り替え（ステップ２０００）、画像表示パネルには３Ｄモードと同じように左眼用画像と右眼用画像が交互に配置された画像が表示される（ステップ２００１）。また、視差量調整のためのキャラクタが被写体像にオーバーレイ表示される（ステップ２００２）。この状態のディスプレイを図１７（Ｂ）に示す。観察者は左眼用画像と右眼用画像の両方を見ながら視差量の調整を行うことができる（ステップ２００３）。視差量調整が終了して視差量調整のためのキャラクタ表示終了要求があると（ステップ２００４）、キャラクタの表示を終了し（ステップ２００５）、再び図１７（Ａ）の状態に戻る（ステップ２００６）。

また、図１８は、表示方式が時分割方式の場合に、視差量調整のためにキャラクタを表示する例を示す模式図である。図１８（Ａ）は、３Ｄモードである時のディスプレイとシャッタ式メガネの状態であり、図１４（Ａ）と同様の状態である。この状態において、視差量調整のためのキャラクタ表示開始要求があった場合の動作を図２１のフローチャートとともに説明する。

まず、シャッタ式メガネは２Ｄモードと同じようにシャッタの切り替えをしない状態となり（ステップ２１００）、画像表示パネルには３Ｄモードと同じように左眼用画像と右眼用画像が交互に配置された画像が表示される（ステップ２１０１）。また、視差量調整のためのキャラクタが被写体像にオーバーレイ表示される（ステップ２１０２）。この状態のシャッタ式メガネとディスプレイを図１８（Ｂ）に示す。観察者は左眼用画像と右眼用画像の両方を見ながら視差量の調整を行うことができる（ステップ２１０３）。視差量調整が終了して視差量調整のためのキャラクタ表示終了要求があると（ステップ２１０４）、キャラクタの表示を終了し（ステップ２１０５）、再び図１８（Ａ）の状態に戻る（ステップ２１０６）。

図４は視差量調整画面の一例である。図４（Ａ）は視差量調整を開始した時点での画面であり、実線は被写体像の左眼用画像、点線は被写体像の右眼用画像を示す。観察者はボタンなどを用いて視差量調整のためのキャラクタを操作しながら視差量調整を行う。図４（Ｂ）は、図４（Ａ）の左眼用画像を右方向に、右眼用画像を左方向にシフトさせることにより、視差量を大きくした画像である。また、図４（Ｃ）は、図４（Ａ）の左眼用画像を左方向に、右眼用画像を右方向にシフトさせることにより、視差量を小さくした画像である。

このように、本実施形態の立体画像表示装置によれば、視差量調整のためのキャラクタを表示する場合、左眼用画像と右眼用画像の両方をディスプレイ上に表示することで、視差量調整をしやすくすることができる。

上記の例では、ディスプレイが２視点に対応した被写体像を表示する場合の動作を説明したが、ディスプレイが３視点以上に対応した被写体像を表示する場合も同様の動作を行う。例えば、ディスプレイが３視点に対応した被写体像を表示する場合、視差量調整の際は３視点分の画像を表示して視差量調整を行う。

以上のように、本発明によれば、２Ｄモードと３Ｄモードを切り替えることができる立体画像表示装置において、文字や記号などのキャラクタをディスプレイに表示する時は自動的に３Ｄモードから２Ｄモードに切り替えることで、キャラクタの観察がしやすくなる。
また、本発明によれば、視差量調整をするためのキャラクタを表示する時には、左眼用画像と右眼用画像の両方をディスプレイに表示することで、視差量が目に見えるように表示され、視差量の調整がしやすくなる。

本発明の第１の実施形態に係る立体画像表示装置を示す構成図である。 左眼用画像と右眼用画像に対する画像処理を示す説明図である。 パララクスバリア方式を説明する説明図である。 視差量調整を説明する説明図である。 ２Ｄモードと３Ｄモードの切り替えが可能な立体画像表示装置の動作を示す説明図である。 多視点画像を示す概念図である。 本発明の第１の実施形態に係る立体画像表示装置の動作を示す模式図である。 画像の縮小を説明する説明図である。 画像の拡大を説明する説明図である。 視差量調整を説明する説明図である。 左眼用画像と右眼用画像に対する画像処理を示す説明図である。 時分割方式を説明する説明図である。 本発明の第１の実施形態に係る立体画像表示装置を示す構成図である。 本発明の第１の実施形態に係る立体画像表示装置の動作を示す模式図である。 画像の縮小を説明する説明図である。 画像の拡大を説明する説明図である。 本発明の第２の実施形態に係る視差調整画面を示す模式図である。 本発明の第２の実施形態に係る視差調整画面を示す模式図である。 本発明の第１の実施形態に係る立体画像表示装置の動作を示すフローチャートである。 本発明の第２の実施形態に係る立体画像表示装置の動作を示すフローチャートである。 本発明の第２の実施形態に係る立体画像表示装置の動作を示すフローチャートである。

符号の説明

１００ モード制御部
１０１ ディスプレイ
１０２ 画像処理部
１０３ 画像格納部
１０４ キャラクタ格納部

Claims (4)

1. ３次元表示モードと２次元表示モードを切り替えるモード制御部と、
   複数の視点に対応する画像を格納する画像格納部と、
   視差調整量を表示する視差調整用キャラクタを格納するキャラクタ格納部と、
   前記モード制御部に従って３次元表示と２次元表示を切り替え可能な表示部と、
   前記画像格納部に格納されている画像と前記キャラクタ格納部に格納されているキャラクタを処理して前記表示部に出力する画像処理部と、
   を備え、
   ３次元表示を行うときの視差量調整を行う場合、
   前記モード制御部は、２次元表示モードに切り替え、
   前記画像処理部は、
   前記画像格納部に格納されている画像から３次元表示に用いる複数視点の画像を読み出し、前記キャラクタ格納部に格納されている視差量調整用キャラクタを読み出して複数視点の画像にオーバーレイ表示するように合成し、
   前記複数視点の画像をシフトして行う視差量調整に合わせてキャラクタに視差量を表示させることを特徴とする立体画像表示装置。
2. 前記画像処理部は、表示させる前記複数視点の画像を、前記表示部の表示画面より大きく作成することを特徴とする請求項１に記載の立体画像表示装置。
3. ３次元表示を行うときの視差量調整を行う場合に、３次元表示と２次元表示を切り替え可能な表示部を２次元表示モードに切り替えるステップと、
   複数の視点に対応する画像を格納する画像格納部から３次元表示に用いる複数視点の画像を読み出し、視差調整量を表示する視差調整用キャラクタを格納するキャラクタ格納部から視差量調整用キャラクタを読み出して複数視点の画像にオーバーレイ表示するように合成するステップと、
   前記複数視点の画像をシフトして行う視差量調整に合わせて前記キャラクタに視差量を表示させるステップと、
   を備えることを特徴とする立体画像表示方法。
4. 表示させる前記複数視点の画像を、前記表示部の表示画面より大きく作成することを特徴とする請求項３に記載の立体画像表示方法。

Images