JPWO2013046974A1 - 立体画像表示制御方法、立体画像表示制御装置、及び撮像装置 - Google Patents

Abstract

システム制御部１１は、立体画像９０に設定される立体画像９０のサイズよりも小さいエリア９１内の立体画像を切り出して表示部２３に表示させ、エリア９１を移動する指示がなされたときに、移動前のエリア９１から切り出して表示される立体画像９２における視差量と、エリア９１を固定の移動幅で移動させた後のエリア９１から切り出して表示される立体画像９３における視差量との変化量Ｄが閾値より大きいときに、前記指示に応じて移動させるエリア９１の移動幅を固定の移動幅よりも小さい値に設定し、変化量Ｄが閾値以下のときに、エリア９１の移動幅を固定の移動幅に設定し、設定した移動幅でエリア９１を移動させる。

Description

本発明は、立体画像表示制御方法、立体画像表示制御装置、及び撮像装置に関する。

立体画像（３Ｄ画像）を表示できるテレビジョン受像機が普及し、被写体の立体画像を撮影できるデジタルカメラ（立体画像撮像装置）も普及の兆しを見せている。このような立体画像撮像装置により撮像して得られる立体画像を、その立体画像撮像装置の表示部や外部の表示装置（例えば大画面のテレビ）等に表示させる際、その表示された立体画像の一部を拡大して表示させたい場合がある。

例えば、図１３に示すように、表示装置の表示面全体に立体画像９０が表示されている状態で、その一部として表示エリア９１をユーザが指定すると、表示エリア９１内の立体画像９２を表示装置の表示面全体に拡大して表示する方法が知られている。

図１３に示すように、立体画像９２には、視差量がｄ１となる被写体９２Ｒと被写体９２Ｌが含まれている。

ユーザが、表示エリア９１を図１３中の破線の位置まで移動させると、移動後の表示エリア９１内の立体画像９３が表示装置の表示面全体に拡大して表示される。

図１３に示すように、立体画像９３には、視差量がｄ２となる被写体９３Ｒと被写体９３Ｌが含まれている。

ここで、視差量ｄ１と視差量ｄ２との差が大きいと、表示エリア９１の移動前と移動後とで、表示装置に表示される立体画像の視差が急激に変化することになる。このように、視差が急激に変化すると、立体視を行うユーザに疲労感を与えてしまう。

なお、図１３の説明では、立体画像９０のサイズが表示装置の表示サイズと同じである、又は、立体画像９０が表示装置の表示サイズに納まるように予め縮小されたものである場合を前提としている。ここで、画像の「サイズ」とは、その画像を構成している画素の数を意味し、画像の横方向の画素数をＷｘ、縦方向の画素数をＷｙとして、その画像のサイズを、Ｗｘ×Ｗｙと表すものとする。また、表示装置の表示サイズとは、表示装置に表示できる画素の数を意味し、画面の横方向の表示画素数をＨｘ、縦方向の表示画素数をＨｙとして、その表示装置の表示サイズを、Ｈｘ×Ｈｙと表すものとする。

しかし、上記前提とは別に、立体画像９０のサイズが表示装置の表示サイズよりも大きい場合、例えば、図１３において、エリア９１内の立体画像のサイズが表示装置のサイズと同じである場合においても、上述したように、エリア９１を移動させていくときには、表示装置に表示される立体画像の視差が急激に変化すると、立体視を行うユーザに疲労感を与えることになる。

特許文献１には、立体動画像のシーンの切り替え時におけるユーザの疲労感を軽減する方法が開示されている。

また、特許文献２には、立体画像のスクロール表示時に、移動部分を立体表示から平面表示に切替える方法が開示されている。

日本国特開２００９−２３９３８８号公報 国際公開２００６／１９０３９号公報

しかしながら、特許文献１に記載の方法は、立体画像の一部を切り出し表示し、画像を切り出すエリアを移動させていく際のユーザに与える疲労感を軽減できるものではない。

また、特許文献２に記載の方法では立体表示と平面表示の切り替えが頻繁に行われることになり、ユーザに疲労感を与えてしまう。

本発明は、上記事情に鑑みてなされたものであり、立体画像をスクロール表示するときの観察者に与える疲労感を軽減することのできる立体画像表示制御方法、立体画像表示制御装置、及びこれを備える撮像装置を提供することを目的とする。

本発明の立体画像表示制御装置は、視差のある複数の画像から構成される立体画像の一部の領域である表示対象領域の立体画像を切り出して表示部に表示させる表示制御部と、
上記表示対象領域を移動する指示がなされたときに、移動前の上記表示対象領域内の立体画像における視差量と、上記表示対象領域を第１の移動幅で移動させた後の上記表示対象領域内の立体画像における視差量との変化量を算出する視差変化量算出部と、上記視差変化量算出部によって算出される上記変化量に応じた移動幅で、上記表示対象領域を移動させる表示対象領域移動制御部と、を備えるものである。

本発明の立体画像表示制御方法は、視差のある複数の画像から構成される立体画像の一部の領域である表示対象領域の立体画像を切り出して表示部に表示させる表示制御ステップと、上記表示対象領域を移動する指示がなされたときに、移動前の上記表示対象領域内の立体画像における視差量と、上記表示対象領域を第１の移動幅で移動させた後の上記表示対象領域内の立体画像における視差量との変化量を算出する視差変化量算出ステップと、上記視差変化量算出ステップにより算出される上記変化量に応じた移動幅で、上記表示対象領域を移動させる表示対象領域移動制御ステップと、を備えるものである。

本発明の撮像装置は、上記立体画像表示制御装置と、上記表示部と、被写体を撮像する撮像部と、上記撮像部により撮像して得られる複数の撮像画像信号から、上記立体画像を表示するための立体画像データを生成する画像処理部とを備えるものである。

本発明によれば、立体画像をスクロール表示するときの観察者に与える疲労感を軽減することのできる立体画像表示制御方法、立体画像表示制御装置、及びこれを備える撮像装置を提供することができる。

本発明の一実施形態を説明するための撮像装置の概略構成を示す図 図１に示すデジタルカメラ１の立体画像データの再生時の動作を説明するためのフローチャート 図２に示したステップＳ６の変形例を説明するためのフローチャート 図２に示したステップＳ６の変形例を説明するためのフローチャート 図１に示すデジタルカメラ１の立体画像再生時の動作の第一の変形例を説明するためのフローチャート 図５におけるステップＳ６の詳細を説明するためのフローチャート 図１に示すデジタルカメラ１の立体画像再生時の動作の第二の変形例を説明するためのフローチャート 図７におけるステップＳ６の詳細を説明するためのフローチャート 図１に示すデジタルカメラ１の立体画像再生時の動作の第三の変形例を説明するためのフローチャート 図１に示すデジタルカメラ１の立体画像再生時の動作の第四の変形例を説明するためのフローチャート 図１０のステップＳ１０２で表示される画像の例を示す図 図１に示すデジタルカメラ１の立体画像再生時の動作の第五の変形例を説明するためのフローチャート 立体画像の拡大スクロール時の視差量の変化を説明するための図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、カメラ付携帯電話機等に搭載される撮像モジュール、等があり、ここではデジタルカメラを例にして説明する。

図示するデジタルカメラ１は、撮像部１０と、ＣＰＵ（中央演算処理装置；コンピュータ）を主体に構成されるシステム制御部１１と、ユーザからの指示信号をシステム制御部１１に入力するための操作部１４と、メモリ制御部１５と、メインメモリ１６と、デジタル信号処理部１７と、圧縮伸張処理部１８と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、表示ドライバ２２と、表示部（表示装置）２３とを備える。

撮像部１０は、視差のある２つの撮像画像信号を得ることのできるものである。例えば、撮像部１０は、離間して配置された２つの撮像素子及びこの２つの撮像素子の各々の前段に設けられる撮影光学系を備え、１回の撮影により、２つの撮像素子から視差のある２つの撮像画像信号を得るものが用いられる。又は、撮像部１０は、１つの撮像素子及びこの前段に設けられる１つの撮影光学系を備え、これらを移動しながら行う複数回の撮影により、当該１つの撮像素子から視差のある２つの撮像画像信号を得るものが用いられる。撮像部１０はシステム制御部１１の制御によって動作する。

メインメモリ１６は、ワークメモリとして利用され、メモリ制御部１５の制御によってデータの書き込み、消去が行われる。

デジタル信号処理部１７は、撮像部１０から出力される撮像画像信号に対し、補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行って撮影画像データを生成する。デジタル信号処理部１７によって生成された視差のある２つの撮像画像データ（異なる視点から撮像して得られた２つの撮像画像データ）は、互いに関連付けられて立体画像データとして生成される。この立体画像データは、例えば、カメラ映像機器工業会（ＣＩＰＡ）の規格であるＭＰＯ形式のデータである。

圧縮伸張処理部１８は、デジタル信号処理部１７で生成された立体画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする。

表示部２３は、立体画像データ（視差のある２つの撮像画像データ）を立体視可能に合成表示するものである。表示部２３は、時分割視差画像方式、レンチキュラ方式、及びパララックスバリア方式等に対応した液晶表示装置等で構成される。表示部２３は、表示ドライバ２２によって駆動される。

メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、外部メモリ制御部２０、及び表示ドライバ２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

デジタルカメラ１では、撮像部１０によって撮影が行われると、デジタル信号処理部１７によって立体画像データが生成され、この立体画像データが記録媒体２１に記録される。

記録媒体２１に記録された立体画像データの再生指示があると、システム制御部１１の指令により、表示ドライバ２２が当該立体画像データに基づく立体画像を表示部２３に表示させる。デジタルカメラ１は、立体画像の一部を切り出して表示し、更にその切り出しエリアをスクロールしていくことのできる切り出しモードを設定可能である。以下、立体画像データの再生時のデジタルカメラ１の動作について説明する。

図２は、図１に示すデジタルカメラ１の立体画像データの再生時の動作を説明するためのフローチャートである。

立体画像が表示部２３に表示された後に操作部１４が操作されて切り出しモードが設定されると（ステップＳ１：ＹＥＳ）、システム制御部１１は、例えば、図１３に例示したように、表示部２３に表示中の立体画像９０の中心位置に切り出し対象となるエリア９１を表示させる。切り出しモードが設定されていない場合（ステップＳ１：ＮＯ）、システム制御部１１は、ステップＳ１２において、立体画像の再生を終了するかどうかを判定し、再生を終了する指示があった場合は再生を終了し、再生を終了する指示がない場合はステップＳ１に処理を戻す。

ユーザは、表示部２３に表示されるエリア９１を操作部１４に含まれる十字キー等で自由に移動させることができる。ユーザがエリア９１を所定位置に移動させた後、操作部１４に含まれる決定ボタンを押下すると、システム制御部１１は、そのエリア９１内の立体画像を切り出し、切り出した立体画像を表示部２３の表示面全体に拡大表示させる（ステップＳ２）。

ステップＳ２の後、システム制御部１１は、エリア９１を移動する指示があったかどうかを判定する（ステップＳ３）。エリア９１の移動指示がない場合（ステップＳ３：ＮＯ）、システム制御部１１はステップＳ１１の処理を行う。

エリア９１の移動指示があった場合（ステップＳ３：ＹＥＳ）、システム制御部１１は、移動前のエリア９１内から切り出されて表示部２３に表示される立体画像における視差量と、エリア９１を固定の移動幅で移動させた後のエリア９１内から切り出されて表示部２３に表示される立体画像における視差量との変化量Ｄを算出する（ステップＳ４）。この固定の移動幅は、デジタルカメラ１に予め設定されている値である。

例えば、図１３に示すように、エリア９１を実線の位置から破線の位置に移動させる指示があった場合、システム制御部１１は、エリア９１が実線位置にあるときにそのエリア９１内から切り出されて表示部２３の表示面全体に拡大表示される立体画像９２における視差量と、エリア９１が破線位置にあるときにそのエリア９１内から切り出されて表示部２３の表示面全体に拡大表示される立体画像９３における視差量との変化量Ｄを算出する。

立体画像９２，９３における視差量の算出方法としては、例えば以下の４つが挙げられる。

１．立体画像９２（９３）に含まれる主要被写体（例えば、立体画像９２（９３）から抽出された被写体のうちの最もサイズの大きい被写体、立体画像９２（９３）の中心にある被写体等）の視差量を、その立体画像における視差量とする。
２．立体画像９２（９３）に含まれる各被写体の視差量のうち、最も視差量の大きい値を、その立体画像における視差量とする。
３．立体画像９２（９３）に含まれる各被写体の視差量のヒストグラムを作成し、そのヒストグラムにおいて最も数の多い視差量（ヒストグラムのピーク値）を、その立体画像における視差量とする。
４．立体画像９２（９３）に含まれる各被写体の視差量の平均値を、その立体画像における視差量とする。

例えば、図１３に示すように、立体画像９２の視差量は、被写体９２Ｌと被写体９２Ｒの視差量ｄ１になり、立体画像９３の視差量は、被写体９３Ｌと被写体９３Ｒの視差量ｄ２になり、変化量Ｄは｜ｄ１−ｄ２｜となる。

なお、立体画像に含まれる各被写体は、視差量＝０の部分が表示部の管面上にあるように見え、視差量が大きくなるにつれ、管面から飛び出したり引っ込んだりして見える。飛び出し側と引っ込み側とで、視差量の符号(正負)が逆のもとして扱った場合、上記２．の算出方法における、最も視差量の大きい値として、例えば、飛び出し側と引っ込み側のいずれか一方の被写体における視差量の絶対値の最大値、あるいは、両方を含めた被写体における視差量の絶対値の最大値等を用いればよい。

また、上記４．の算出方法における平均値は、例えば、飛び出し側と引っ込み側の一方の被写体における視差量の平均値、あるいは、両方の被写体における視差量を絶対値で平均したもの等とすればよい。

エリア９１を上記固定の移動幅で移動させた後のエリア９１内から切り出されて表示される立体画像９３と、移動前のエリア９１内から切り出されて表示される立体画像９２との視差変化（上記変化量Ｄに相当）が大きいとユーザに疲労感を与えてしまう。

そこで、システム制御部１１は、ステップＳ４の後に、変化量Ｄを閾値と比較し、変化量Ｄが閾値を超える場合（ステップＳ５：ＹＥＳ）は、移動指示に応じて移動させるべきエリア９１の移動幅を上記固定の移動幅よりも小さい値（例えば、固定の移動幅の半分等の予め決めておいた値）に設定する（ステップＳ６）。また、システム制御部１１は、変化量Ｄが閾値以下の場合（ステップＳ５：ＮＯ）は、移動指示に応じて移動させるべきエリア９１の移動幅を上記固定の移動幅に設定する（ステップＳ７）。

ステップＳ６，Ｓ７の後、システム制御部１１は、ステップＳ６，Ｓ７において設定した移動幅でエリア９１を移動させ（ステップＳ８）、移動後のエリア９１内の立体画像を切り出し（ステップＳ９）、切り出した立体画像を表示部２３の表示面全体に拡大表示させる（ステップＳ１０）。ステップＳ１０の後、システム制御部１１は、ステップＳ１１において切り出しモードを終了するかどうかを判定し、切り出しモードを終了する指示があった場合は切り出しモードを終了してステップＳ１２の処理を行い、切り出しモードを終了する指示がない場合はステップＳ３に処理を戻す。

以上のように、デジタルカメラ１によれば、立体画像の一部を切り出して表示させるときに、切り出して表示される立体画像における視差量が、切り出しエリアの移動前と移動後とで大きく変化する場合には、固定の移動幅よりも小さい移動幅で切り出しエリアが移動されることになる。このため、立体画像のスクロール時における視差の急激な変化を抑制することができ、ユーザの疲労感を軽減することができる。

なお、デジタルカメラ１では、システム制御部１１が、表示部２３に立体画像を表示させるものとしているが、これに限らない。例えば、デジタルカメラ１を外部の表示装置に接続し、この表示装置に立体画像を表示させるようにすることもできる。この場合は、システム制御部１１の制御対象となる表示ドライバが表示ドライバ２２ではなく、外部の表示装置に搭載されるドライバに変更される点を除いては、図２に示したのと同じ処理が行われる。

また、図２のステップＳ６においてシステム制御部１１が設定するエリア９１の移動幅は、予め決められた値に限らない。以下では、ステップＳ６における移動幅の設定方法の変形例について説明する。

図３は、図２に示したステップＳ６の変形例を説明するためのフローチャートである。

変化量Ｄが閾値を超えていた場合（図２のステップＳ５：ＹＥＳ）、システム制御部１１は、変化量Ｄに基づいてエリア９１の移動幅Ａを算出し（ステップＳ６１）、その移動幅Ａを、移動指示に応じて移動させるべきエリア９１の移動幅として設定する（ステップＳ６２）。ステップＳ６２の後は、図２のステップＳ８以降の処理が行われる。

上記移動幅Ａは、例えば、固定の移動幅Ｍｆ、立体視として許容できる視差量の最大値Ｍｍａｘとすると、以下の式（１）によって算出することができる。

Ａ＝Ｍｆ×｛（Ｍｍａｘ−Ｄ）／Ｍｍａｘ｝ （１）

このように、変化量Ｄに基づいて移動幅Ａを算出し、その移動幅Ａでエリア９１を移動させることで、エリア９１の移動前後の視差変化に応じた移動幅でエリアを移動させることができ、ユーザの疲労感をより効果的に軽減することができる。

図４は、図２に示したステップＳ６の別の変形例を説明するためのフローチャートである。

変化量Ｄが閾値を超えていた場合（図２のステップＳ５：ＹＥＳ）、システム制御部１１は、図３のステップＳ６１と同じ処理を行って移動幅Ａを算出する。その後、システム制御部１１は、表示部２３に拡大表示中の立体画像に含まれる主要被写体の表示サイズ（表示画素数）を求める（ステップＳ７１）。主要被写体の表示サイズとは、表示部２３に表示される主要被写体を構成する表示画素の数を意味する。主要被写体としては、表示されている立体画像の中央にある被写体や、予め決められた被写体（例えば顔）等を予め設定しておくことができる。

次に、システム制御部１１は、ステップＳ６１において算出した移動幅Ａを、ステップＳ７１において求めた主要被写体の表示サイズに基づいて補正して、最終的な移動幅Ｂを算出する（ステップＳ７２）。システム制御部１１は、その移動幅Ｂを、移動指示に応じて移動させるべきエリア９１の移動幅として設定する（ステップＳ７３）。ステップＳ７３の後は、図２のステップＳ８以降の処理が行われる。

上記移動幅Ｂは、例えば、画素数閾値Ｔｈ１、主要被写体の表示サイズＰとすると、以下の式（２）によって算出することができる。

Ｂ＝Ａ×α， α＝Ｔｈ１／（Ｐ−Ｔｈ１） （２）
ただし、０≦α≦１

このように、この変形例では、システム制御部１１が、変化量Ｄだけでなく、移動前のエリア９１内から切り出して表示される立体画像における主要被写体の表示サイズ（表示画素数）も考慮して移動幅Ｂを算出する。表示部２３に拡大表示されている主要被写体の大きさが大きいと、エリア９１が移動したときに、ユーザの疲労感が大きくなりやすい。上記式（２）にしたがって移動幅Ｂを算出することで、表示部２３に拡大表示されている主要被写体の大きさに応じて移動幅Ｂを調整することが可能となり、表示部２３に表示される主要被写体の大きさを考慮した最適な制御が可能となる。

図５は、図１に示すデジタルカメラ１の立体画像再生時の動作の変形例を説明するためのフローチャートである。図５に示したステップＳ６の詳細は図６に示している。図５において図２に示した処理と同じ処理には同一符号を付して説明を省略する。図５に示す動作を行うデジタルカメラ１は、外部の表示装置（例えば、大画面のテレビジョン）と接続して、この表示装置において立体画像を表示させることもできるものを想定している。

システム制御部１１は、ステップＳ１の処理の前に、立体画像の表示先の表示装置（表示部２３、又は、デジタルカメラ１に接続されている外部表示装置）の表示サイズと表示面積（画像が表示される面の“縦長さ”ד横長さ”で決まる面積）の情報を取得し（ステップＳ８０）、この情報から、表示装置の１つの表示画素あたりの面積を算出する（ステップＳ８１）。ステップＳ８１の後、システム制御部１１は、ステップＳ１以降の処理を行う。

そして、ステップＳ５の判定がＹＥＳのとき、システム制御部１１は、図３のステップＳ６１と同じ処理を行って移動幅Ａを算出する（ステップＳ８２）。

次に、システム制御部１１は、図４のステップＳ７１と同じ処理を行って、主要被写体の表示サイズ（表示画素数）を算出する（ステップＳ８３）。

次に、システム制御部１１は、ステップＳ８１において算出した１表示画素あたりの面積を、ステップＳ８３において算出した主要被写体の表示サイズ（表示画素数）に乗じて、表示部２３又は外部の表示装置に表示されている主要被写体の表示面積を算出する（ステップＳ８４）。

次に、システム制御部１１は、ステップＳ８２において算出した移動幅Ａを、ステップＳ８４において算出した主要被写体の表示面積に基づいて補正し、移動幅Ｃを算出する（ステップＳ８５）。

次に、システム制御部１１は、移動幅Ｃを、移動指示に応じて移動させるべきエリア９１の移動幅として設定する（ステップＳ８６）。ステップＳ８６の後は、図５のステップＳ８以降の処理が行われる。

上記移動幅Ｃは、例えば、表示面積閾値Ｔｈ２、主要被写体の表示面積Ｓとすると、以下の式（３）によって算出することができる。

Ｃ＝Ａ×β， β＝Ｔｈ２／（Ｓ−Ｔｈ２） （３）
ただし、０≦β≦１

このように、この変形例では、システム制御部１１が、変化量Ｄだけでなく、エリア移動前において表示装置に拡大表示されている立体画像に含まれる主要被写体の表示面積も考慮して移動幅Ｃを算出する。主要被写体の表示サイズが大きくても、表示装置の表示サイズが大きいものであれば、表示装置の表示面積に占める主要被写体の表示面積は小さくなるため、ユーザの疲労感は大きくなりにくい。上記式（３）にしたがって移動幅Ｃを算出することで、主要被写体の表示サイズが大きいときでも、表示装置の表示面積に応じて移動幅Ｃを調整することが可能となる。このため、立体画像の表示先である表示装置の表示面積を考慮した最適な制御が可能となる。

図７は、図５に示す動作の変形例を説明するためのフローチャートである。図７に示したステップＳ６の詳細は、図８に示している。図７において図５に示した処理と同じ処理には同一符号を付して説明を省略する。また、図８において図６に示した処理と同じ処理には同一符号を付して説明を省略する。

システム制御部１１は、ステップＳ８１の後、立体画像の表示先の表示装置（表示部２３、又は、デジタルカメラ１に接続されている外部表示装置）と、その表示装置を観察している観察者（ユーザ）との距離の情報を取得する（ステップＳ９０）。ステップＳ９０の後、システム制御部１１は、ステップＳ１以降の処理を行う。

ステップＳ９０でシステム制御部１１が取得する距離の情報は、例えば、デジタルカメラ１の操作部１４から距離の情報を入力できるようにしておき、ユーザから入力された距離の情報をシステム制御部１１が取得するものとすればよい。

図７のステップＳ５の判定がＹＥＳのとき、システム制御部１１は、図６のステップＳ８２〜ステップＳ８４と同じ処理を行う。

ステップＳ８４の後、システム制御部１１は、ステップＳ８２において算出した移動幅Ａを、ステップＳ８４において算出した主要被写体の表示面積と、ステップＳ９０において取得した距離の情報とに基づいて補正し、移動幅Ｅを算出する（ステップＳ９１）。

次に、システム制御部１１は、移動幅Ｅを、移動指示に応じて移動させるべきエリア９１の移動幅として設定する（ステップＳ９２）。ステップＳ９２の後は、図５のステップＳ８以降の処理が行われる。

上記移動幅Ｅは、例えば、表示面積閾値Ｔｈ３、表示装置−ユーザ間距離閾値Ｔｈ４、主要被写体の表示面積Ｓ、表示装置−ユーザ間距離ｄとすると、以下の式（４）によって算出することができる。

Ｅ＝Ａ×γ×θ，γ＝Ｔｈ３／（Ｓ−Ｔｈ３），θ＝Ｔｈ４／（ｄ−Ｔｈ４） （４）
ただし、０≦γ≦１、０≦θ≦１

このように、この変形例では、システム制御部１１が、変化量Ｄだけでなく、エリア移動前において表示装置に拡大表示されている立体画像に含まれる主要被写体の表示面積と、表示装置とそれを観察しているユーザとの距離も考慮して移動幅Ｅを算出する。表示装置の表示面積における主要被写体の表示面積の割合が大きい場合でも、その表示装置を遠くから観察している場合には、主要被写体は小さく見えるため、ユーザの疲労感は大きくなりにくい。上記式（４）にしたがって移動幅Ｅを算出することで、表示装置の表示面積における主要被写体の表示面積の割合が大きいときでも、表示装置とその観察者との距離に応じて移動幅Ｅを調整することが可能となる。このため、立体画像の観察状況を考慮した最適な制御が可能となる。

図９は、図１に示すデジタルカメラ１の立体画像再生時の動作の第三の変形例を説明するためのフローチャートである。図９において図２に示した処理と同じ処理には同一符号を付して説明を省略する。図９に示すフローチャートは、図２において、ステップＳ６とステップＳ８の間にステップＳ１００を追加したものである。

ステップＳ１００において、システム制御部１１は、エリア９１の移動幅を固定の移動幅よりも小さくしていることをユーザに通知するための注意メッセージを表示部２３の任意の位置に表示させる。注意メッセージとしては、例えば、“眼の疲労軽減のため、スクロール速度を遅くしています”といったものを表示させればよい。

以上のように、エリア９１の移動幅を小さくする設定を行ったときには、表示部２３に注意メッセージを表示させることで、スクロール速度が突然変化することによる違和感を軽減することができる。

図１０は、図１に示すデジタルカメラ１の立体画像再生時の動作の変形例を説明するためのフローチャートである。図１０において図２に示した処理と同じ処理には同一符号を付して説明を省略する。図１０に示すフローチャートは、図２において、ステップＳ１の前にステップＳ１０１を追加し、更に、ステップＳ１０とステップＳ１１の間にステップＳ１０２を追加したものである。

ステップＳ１０１において、システム制御部１１は、表示部２３に表示させた立体画像（図１３に示した立体画像９０）に含まれる各被写体の視差量を求める。

ステップＳ１０２において、システム制御部１１は、図１１に例示したような縮小プレビュー画像９５を、拡大表示させた立体画像９３に重畳表示させる。縮小プレビュー画像９５は、立体画像９３と同時に確認できればよく、立体画像９３に重畳させていなくてもよい。

縮小プレビュー画像９５は、立体画像９０を縮小した画像９０ｓと、立体画像９０に設定されているエリア９１を縮小した枠画像９１ｓと、枠画像９４ｓとにより構成される。

システム制御部１１は、ステップＳ１０１において求めた立体画像９０に含まれる各被写体の視差量に基づき、エリア９１が固定の移動幅でその領域内に移動すると、移動前と移動後における上述した変化量Ｄが閾値を超える領域（例えば図１１における領域９４）を算出し、その領域９４を示す枠として枠画像９４ｓを表示部２３に表示させる。この領域９４は、例えば、エリア９１を固定の移動幅でくまなく移動させたときのエリア９１の各移動位置におけるエリア９１内の視差量を算出し、隣接する移動位置同士の視差量の差の分布から求めることができる。

図１１に示したように、切り出し表示された立体画像９３と併せて縮小プレビュー画像９５を表示部２３に表示させることで、エリア９１をどこに移動させたときにエリア９１の移動幅が小さくなるのかをユーザは知ることができる。このため、スクロール速度が突然変化することによる違和感を軽減することができる。

図１２は、図１に示すデジタルカメラ１の立体画像再生時の動作の変形例を説明するためのフローチャートである。図１２において図２に示した処理と同じ処理には同一符号を付して説明を省略する。図１２に示すフローチャートは、図２において、ステップＳ７をステップＳ１１０〜Ｓ１１３に変更したものである。

ステップＳ１１０において、システム制御部１１は、エリア９１の移動幅が固定の移動幅よりも小さい値に設定されているか否かを判定する。

エリア９１の移動幅が固定の移動幅よりも小さい値に設定されている場合（ステップＳ１１０：ＹＥＳ）、システム制御部１１は、移動幅を、合計で固定の移動幅になる複数の移動幅に分けて設定する（ステップＳ１１２）。

例えば、図１２のステップＳ６において設定する移動幅Ｍ、エリア９１が固定の移動幅Ｍｆ移動するまでのエリア９１の移動回数ｔ（ｔは２以上の自然数）としたとき、システム制御部１１は、以下の式（５）によって求まる移動幅Ｆ（ｘ）をステップＳ１１２において設定する。

Ｆ（ｘ）＝Ｍｆ−（Ｍｆ−Ｍ）×（ｔ−ｘ）／ｔ （５）
ｘは、ｔ以下の自然数のいずれかの値をとる。

その後、システム制御部１１は、ステップＳ１１２において設定した移動幅Ｆ（ｘ）で、エリア９１を段階的に移動させていくと共に、エリア９１の各移動位置において立体画像を切り出して表示部２３に拡大表示させ（ステップＳ１１３）、その後はステップＳ１１以降の処理を行う。

例えば、式（５）においてｔ＝２であった場合、システム制御部１１は、まず、エリア９１を移動幅Ｆ（１）で移動させた後、エリア９１内の立体画像を切り出して表示部２３に拡大表示させ、その後、エリア９１を移動幅｛Ｆ（２）−Ｆ（１）｝で移動させた後、エリア９１内の立体画像を切り出して表示部２３に拡大表示させる。これにより、エリア９１の最終的な移動幅はＭｆとなる。

ステップＳ１１０の判定がＮＯであった場合、システム制御部１１は、エリア９１の移動幅を固定の移動幅に設定して（ステップＳ１１１）、ステップＳ８以降の処理を行う。

以上のように、エリア９１の移動幅が固定の移動幅よりも小さい値に設定されている状態で、変化量Ｄが閾値以下になった場合には、エリア９１を１回の移動で固定の移動幅移動させるのではなく、複数回の移動に分けて固定の移動幅を移動させることで、スクロール速度が突然変化することによる違和感を軽減することができる。

なお、ここまで説明してきた実施形態は適宜組み合わせることができる。例えば、図９〜図１２で説明した各変形例は、図５及び図７で説明した変形例と組み合わせることができる。また、図９，図１０に示した変形例と、図１２に示した変形例とを組み合わせることもできる。

また、本実施形態ではデジタルカメラを例にしたが、立体画像データを表示部に再生表示させる制御を行う表示制御装置を搭載する電子機器（例えば、３Ｄ表示対応のテレビジョン等）であれば、本実施形態で説明した技術を適用可能である。このような電子機器では、当該電子機器に搭載されるＣＰＵ（コンピュータ）が、図２〜図１０，１２に示したフローチャートの各ステップを行うことで、表示部を観察するユーザにかかる負担を軽減することができる。

また、ここまでの説明では、再生表示された立体画像９０のサイズが表示部２３又は外部表示装置の表示サイズと同じである、又は、立体画像９０が表示部２３又は外部表示装置の表示サイズに納まるように予め縮小されたものである場合を前提としている。しかし、上記前提とは別に、立体画像９０のサイズが表示部２３又は外部表示装置の表示サイズよりも大きい場合、例えば、図１３において、エリア９１内の立体画像のサイズが表示部２３又は外部表示装置のサイズと同じである場合においても、エリア９１を移動させる指示があったときには、図２〜図８で説明した処理をシステム制御部１１が行うことで、立体視を行うユーザへの疲労感を軽減することができる。

以上説明してきたように、本明細書には次の事項が開示されている。

開示された立体画像表示制御装置は、視差のある複数の画像から構成される立体画像の一部の領域である表示対象領域の立体画像を切り出して表示部に表示させる表示制御部と、上記表示対象領域を移動する指示がなされたときに、移動前の上記表示対象領域内の立体画像における視差量と、上記表示対象領域を第１の移動幅で移動させた後の上記表示対象領域内の立体画像における視差量との変化量を算出する視差変化量算出部と、上記視差変化量算出部によって算出される上記変化量に応じた移動幅で、上記表示対象領域を移動させる表示対象領域移動制御部と、を備えるものである。

開示された立体画像表示制御装置は、上記変化量が閾値より大きいときに、上記指示に応じて移動させる上記表示対象領域の移動幅を上記第１の移動幅よりも小さい第２の移動幅に設定し、上記変化量が上記閾値以下のときに、上記指示に応じて移動させる上記表示対象領域の移動幅を上記第１の移動幅に設定する移動幅設定部を備え、上記表示対象領域移動制御部は、上記移動幅設定部により設定された移動幅で上記表示対象領域を移動させるものである。

開示された立体画像表示制御装置は、上記第２の移動幅を、少なくとも上記変化量に基づいて求める移動幅生成部を備えるものである。

開示された立体画像表示制御装置は、上記立体画像に含まれる主要被写体を検出する主要被写体検出部と、移動前の上記表示対象領域内の立体画像に含まれる主要被写体の表示画素数を求める被写体表示画素数算出部とを備え、上記移動幅生成部は、上記変化量と上記主要被写体の表示画素数とに基づいて、上記第２の移動幅を求めるものである。

開示された立体画像表示制御装置は、記表示部の表示面積及び表示画素数の情報を取得する表示部情報取得部と、上記被写体表示画素数算出部で算出された上記主要被写体の表示画素数と、上記表示部の表示面積及び表示画素数の情報とから、上記主要被写体の上記表示部における表示面積を求める被写体表示面積算出部とを備え、上記移動幅生成部は、上記変化量と上記主要被写体の表示面積とに基づいて、上記第２の移動幅を求めるものである。

開示された立体画像表示制御装置は、上記表示部と上記表示部を観察する観察者との距離の情報を取得する距離情報取得部を備え、上記移動幅生成部は、上記変化量と上記主要被写体の表示面積と上記距離とに基づいて、上記第２の移動幅を求めるものである。

開示された立体画像表示制御装置は、上記指示に応じて移動させる上記表示対象領域の移動幅が上記第２の移動幅に設定された場合に、上記第２の移動幅に設定されたことを識別可能な情報を上記表示部に表示させる移動幅設定情報表示制御部を備えるものである。

開示された立体画像表示制御装置は、上記視差のある複数の画像から構成される立体画像全体における被写体の視差量を求める視差量算出部と、上記視差量算出部において求められた上記視差量に基づき、上記表示対象領域が上記第１の移動幅でその領域内に移動すると、上記表示対象領域の移動前と移動後における上記変化量が上記閾値を超える当該領域を求める領域算出部と、上記領域算出部において求められた上記領域を示す画像を、上記表示部に表示中の立体画像と併せて上記表示部に表示させる領域画像表示制御部とを備えるものである。

開示された立体画像表示制御装置は、上記指示に応じて移動させる上記表示対象領域の移動幅が上記第２の移動幅に設定されている状態で、上記変化量が閾値以下になった場合、上記移動幅設定部は、上記指示に応じて移動させる上記表示対象領域の移動幅を、合計で上記第１の移動幅になる複数の移動幅に分けて設定し、上記表示対象領域移動制御部は、上記複数の移動幅が設定された場合には、上記表示対象領域を上記複数の移動幅の各々ずつ移動させるものである。

開示された立体画像表示制御装置は、上記視差変化量算出部は、上記表示対象領域内の立体画像における視差量を、上記表示対象領域に含まれる主要被写体の視差量、上記表示対象領域に含まれる被写体の視差量のうちの最大値、上記表示対象領域に含まれる被写体の視差量のヒストグラムのピーク値、上記表示対象領域に含まれる被写体の視差量の平均値のいずれかとするものである。

開示された立体画像表示制御方法は、視差のある複数の画像から構成される立体画像の一部の領域である表示対象領域の立体画像を切り出して表示部に表示させる表示制御ステップと、上記表示対象領域を移動する指示がなされたときに、移動前の上記表示対象領域内の立体画像における視差量と、上記表示対象領域を第１の移動幅で移動させた後の上記表示対象領域内の立体画像における視差量との変化量を算出する視差変化量算出ステップと、記視差変化量算出ステップにより算出される上記変化量に応じた移動幅で、上記表示対象領域を移動させる表示対象領域移動制御ステップと、を備えるものである。

開示された撮像装置は、上記立体画像表示制御装置と、上記表示部と、被写体を撮像する撮像部と、上記撮像部により撮像して得られる複数の撮像画像信号から、上記立体画像を表示するための立体画像データを生成する画像処理部とを備えるものである。

本発明によれば、立体画像をスクロール表示するときの観察者に与える疲労感を軽減することのできる立体画像表示制御方法、立体画像表示制御装置、及びこれを備える撮像装置を提供することができる。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、２０１１年９月２９出願の日本特許出願（特願２０１１−２１５６４６）に基づくものであり、その内容はここに参照として取り込まれる。

１ デジタルカメラ
１１ システム制御部
２３ 表示部
９０ 立体画像
９１ 切り出し対象エリア
９２，９３ 切り出し表示された立体画像

Claims (12)

1. 視差のある複数の画像から構成される立体画像の一部の領域である表示対象領域の立体画像を切り出して表示部に表示させる表示制御部と、
   前記表示対象領域を移動する指示がなされたときに、移動前の前記表示対象領域内の立体画像における視差量と、前記表示対象領域を第１の移動幅で移動させた後の前記表示対象領域内の立体画像における視差量との変化量を算出する視差変化量算出部と、
   前記視差変化量算出部によって算出される前記変化量に応じた移動幅で、前記表示対象領域を移動させる表示対象領域移動制御部と、を備える立体画像表示制御装置。
2. 請求項１記載の立体画像表示制御装置であって、
   前記変化量が閾値より大きいときに、前記指示に応じて移動させる前記表示対象領域の移動幅を前記第１の移動幅よりも小さい第２の移動幅に設定し、前記変化量が前記閾値以下のときに、前記指示に応じて移動させる前記表示対象領域の移動幅を前記第１の移動幅に設定する移動幅設定部を備え、
   前記表示対象領域移動制御部は、前記移動幅設定部により設定された移動幅で前記表示対象領域を移動させる立体画像表示制御装置。
3. 請求項２記載の立体画像表示制御装置であって、
   前記第２の移動幅を、少なくとも前記変化量に基づいて求める移動幅生成部を備える立体画像表示制御装置。
4. 請求項３記載の立体画像表示制御装置であって、
   前記立体画像に含まれる主要被写体を検出する主要被写体検出部と、
   移動前の前記表示対象領域内の立体画像に含まれる主要被写体の表示画素数を求める被写体表示画素数算出部とを備え、
   前記移動幅生成部は、前記変化量と前記主要被写体の表示画素数とに基づいて、前記第２の移動幅を求める立体画像表示制御装置。
5. 請求項４記載の立体画像表示制御装置であって、
   前記表示部の表示面積及び表示画素数の情報を取得する表示部情報取得部と、
   前記被写体表示画素数算出部で算出された前記主要被写体の表示画素数と、前記表示部の表示面積及び表示画素数の情報とから、前記主要被写体の前記表示部における表示面積を求める被写体表示面積算出部とを備え、
   前記移動幅生成部は、前記変化量と前記主要被写体の表示面積とに基づいて、前記第２の移動幅を求める立体画像表示制御装置。
6. 請求項５記載の立体画像表示制御装置であって、
   前記表示部と前記表示部を観察する観察者との距離の情報を取得する距離情報取得部を備え、
   前記移動幅生成部は、前記変化量と前記主要被写体の表示面積と前記距離とに基づいて、前記第２の移動幅を求める立体画像表示制御装置。
7. 請求項２〜６のいずれか１項記載の立体画像表示制御装置であって、
   前記指示に応じて移動させる前記表示対象領域の移動幅が前記第２の移動幅に設定された場合に、前記第２の移動幅に設定されたことを識別可能な情報を前記表示部に表示させる移動幅設定情報表示制御部を備える立体画像表示制御装置。
8. 請求項２〜６のいずれか１項記載の立体画像表示制御装置であって、
   前記視差のある複数の画像から構成される立体画像全体における被写体の視差量を求める視差量算出部と、
   前記視差量算出部において求められた前記視差量に基づき、前記表示対象領域が前記第１の移動幅でその領域内に移動すると、前記表示対象領域の移動前と移動後における前記変化量が前記閾値を超える当該領域を求める領域算出部と、
   前記領域算出部において求められた前記領域を示す画像を、前記表示部に表示中の立体画像と併せて前記表示部に表示させる領域画像表示制御部とを備える立体画像表示制御装置。
9. 請求項２〜８のいずれか１項記載の立体画像表示制御装置であって、
   前記指示に応じて移動させる前記表示対象領域の移動幅が前記第２の移動幅に設定されている状態で、前記変化量が閾値以下になった場合、前記移動幅設定部は、前記指示に応じて移動させる前記表示対象領域の移動幅を、合計で前記第１の移動幅になる複数の移動幅に分けて設定し、
   前記表示対象領域移動制御部は、前記複数の移動幅が設定された場合には、前記表示対象領域を前記複数の移動幅の各々ずつ移動させる立体画像表示制御装置。
10. 請求項１〜９のいずれか１項記載の立体画像表示制御装置であって、
    前記視差変化量算出部は、前記表示対象領域内の立体画像における視差量を、前記表示対象領域に含まれる主要被写体の視差量、前記表示対象領域に含まれる被写体の視差量のうちの最大値、前記表示対象領域に含まれる被写体の視差量のヒストグラムのピーク値、前記表示対象領域に含まれる被写体の視差量の平均値のいずれかとする立体画像表示制御装置。
11. 請求項１〜１０のいずれか１項記載の立体画像表示制御装置と、
    前記表示部と、
    被写体を撮像する撮像部と、
    前記撮像部により撮像して得られる複数の撮像画像信号から、前記立体画像を表示するための立体画像データを生成する画像処理部とを備える撮像装置。
12. 視差のある複数の画像から構成される立体画像の一部の領域である表示対象領域の立体画像を切り出して表示部に表示させる表示制御ステップと、
    前記表示対象領域を移動する指示がなされたときに、移動前の前記表示対象領域内の立体画像における視差量と、前記表示対象領域を第１の移動幅で移動させた後の前記表示対象領域内の立体画像における視差量との変化量を算出する視差変化量算出ステップと、
    前記視差変化量算出ステップにより算出される前記変化量に応じた移動幅で、前記表示対象領域を移動させる表示対象領域移動制御ステップと、を備える立体画像表示制御方法。

Images