JP5564633B2 - 立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法 - Google Patents

Description

本発明は、立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法に関する。

立体画像（３Ｄ画像）を表示できるテレビジョン受像機が普及し、被写体の立体画像を撮影できるデジタルカメラ（立体画像撮像装置）も普及の兆しを見せている。このような立体画像撮像装置により撮像して得られる立体画像を、その立体画像撮像装置の表示部や外部の表示装置（例えば大画面のテレビ）等に表示させる際、その表示された立体画像を拡大して表示させたい場合がある。

図１０は、立体画像の一例を示す図である。図１０に示す立体画像３００は、主要被写体２００Ｒと、主要被写体２００Ｒよりも奥にある背景１００Ｒとを含む右眼用画像と、主要被写体２００Ｒに対して視差量Ｐｏずれた位置に表示される主要被写体２００Ｌと、背景１００Ｒに対して視差量Ｐｂずれた位置に表示される背景１００Ｌとを含む左眼用画像とによって構成されている。

図１１は、図１０に示した立体画像３００を拡大した図である。図１１に示すように、立体画像３００を拡大すると、視差量Ｐｂと視差量Ｐｏも拡大率に応じて大きくなる。この視差量Ｐｂと視差量Ｐｏが、ある程度の大きさであれば、観察者の眼等に負担をかけることなく立体画像３００を立体視させることができる。しかし、この視差量Ｐｂと視差量Ｐｏが大きくなりすぎると、主要被写体や背景の視差がきつくなってしまい、観察者の眼等にかかる負担が大きくなってしまう。

特許文献１には、立体画像の視差量が立体視可能な視差範囲内にあるか否かを判定し、視差量が当該視差範囲外であると判定した場合に、例えば、ユーザに警告を行ったり、立体画像の視差量を調整したりする装置が記載されている。

日本国特開２００４−３４９７３６号公報

しかし、特許文献１に記載の装置は、立体画像の視差量が立体視に適さない大きさになるまで拡大操作を行ったときに警告を表示するものであり、この警告が表示されたときには既に視差量の大きい立体画像が表示されてしまう。そのため、視差量の大きい立体画像を見た観察者の眼に負担がかかる。

また、特許文献１に記載の装置は、立体画像の視差量が立体視に適さない大きさになるまで拡大操作を行ったときに視差量の調整を行っている。しかし、視差量が大きくなりすぎた場合には、この調整が行われても、視差量は立体視に適さない大きい値のままであり、この場合も観察者の眼に負担がかかることになる。

本発明は、上記事情に鑑みてなされたものであり、立体画像を拡大する際の観察者への負担を軽減することのできる立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法を提供することを目的とする。

本発明の立体画像表示制御装置は、異なる視点で撮影された複数の画像データに基づく立体画像を立体画像表示装置に表示させる立体画像表示制御装置であって、上記立体画像表示装置に表示された上記立体画像を拡大する拡大指示を受け付ける拡大指示受付部と、上記拡大指示に応じて上記立体画像を拡大して上記立体画像表示装置に表示させる拡大表示制御部と、上記拡大指示に応じた拡大率で上記立体画像を拡大したときに上記立体画像表示装置に表示される拡大立体画像の視差量が閾値を超えるか否かを判定する視差量判定部とを備え、上記拡大表示制御部は、上記視差量が上記閾値を超える拡大率で上記立体画像を拡大する上記拡大指示がなされた場合に、その拡大指示の終了後に上記立体画像表示装置に表示させる拡大立体画像を、上記視差量が上記閾値以下となるときの拡大率で上記立体画像を拡大した拡大立体画像とするものである。

この構成によれば、拡大指示の終了後は、視差量が閾値以下となる拡大立体画像が立体画像表示装置に表示されることになるため、立体画像を拡大する際の観察者への負担を軽減することができる。本発明の立体画像表示制御装置は、拡大指示の終了後に立体画像表示装置に表示される拡大立体画像は、視差量が閾値以下となる拡大率で立体画像を拡大して得られるものである。つまり、拡大指示終了後に立体画像表示装置に表示される拡大立体画像は視差量自体が調整されたものではないため、この拡大立体画像と、拡大前の立体画像との相関度は高い。一方、特許文献１に記載の装置では、視差量を調整した拡大立体画像が表示されてしまうため、拡大指示終了後に表示される拡大立体画像と、拡大前の立体画像との相関度は低下する。したがって、本発明によれば、拡大指示によって立体画像表示装置に表示される拡大立体画像の品質を低下させることなく、立体画像を拡大する際の観察者への負担を軽減することができる。

本発明の撮像装置は、上記立体画像表示制御装置と、上記立体画像表示装置と、被写体を撮像する撮像部と、上記撮像部により撮像して得られる複数の撮像画像信号から、上記複数の画像データを生成する画像処理部とを備えるものである。

本発明の立体画像表示制御方法は、異なる視点で撮影された複数の画像データに基づく立体画像を立体画像表示装置に表示させる立体画像表示制御方法であって、上記立体画像表示装置に表示された上記立体画像を拡大する拡大指示を受け付ける拡大指示受付ステップと、上記拡大指示に応じて上記立体画像を拡大して上記立体画像表示装置に表示させる拡大表示制御ステップと、上記拡大指示に応じた拡大率で上記立体画像を拡大する場合に上記立体画像表示装置に表示される拡大立体画像の視差量が閾値を超えるか否かを判定する視差量判定ステップとを備え、上記拡大表示制御ステップでは、上記視差量が上記閾値を超える拡大率で上記立体画像を拡大する上記拡大指示がなされた場合に、その拡大指示の終了後に上記立体画像表示装置に表示させる拡大立体画像を、上記視差量が上記閾値以下となるときの拡大率で上記立体画像を拡大した拡大立体画像とするものである。

本発明によれば、立体画像を拡大する際の観察者への負担を軽減することができる立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法を提供することができる。

本発明の一実施形態を説明するための撮像装置の概略構成を示す図 図１に示すデジタルカメラ１における立体画像の拡大操作時の動作を説明するためのフローチャート 図２に示すフローチャートに基づく動作中に、立体画像表示装置２３に表示される画面の一例を示す図 図１に示したデジタルカメラ１の立体画像の拡大操作時の動作の変形例を説明するためのフローチャート 図４に示す変形例のフローチャートに基づく動作中に、立体画像表示装置２３に表示される画面の一例を示す図 図１に示すデジタルカメラ１における立体画像の拡大指示受け付け時に立体画像表示装置２３に表示される画面を示す図 図１に示すデジタルカメラ１における立体画像の拡大指示受け付け時に立体画像表示装置２３に表示される画面を示す図 本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示す図 図８に示すスマートフォン２００の構成を示すブロック図 立体画像の一例を示す図 図１０に示す立体画像を拡大した図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための立体画像表示制御装置を備える電子機器の概略構成を示す図である。電子機器としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、カメラ付携帯電話機（スマートフォン）、及びタブレット型コンピュータ等があり、ここではデジタルカメラを例にして説明する。

図示するデジタルカメラ１は、撮像部１０と、ＣＰＵ（中央演算処理装置；コンピュータ）を主体に構成されるシステム制御部１１と、ユーザからの指示信号をシステム制御部１１に入力するためのシャッタボタン等を含む操作部１４と、メモリ制御部１５と、メインメモリ１６と、デジタル信号処理部１７と、圧縮伸張処理部１８と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、表示ドライバ２２と、立体画像表示装置２３と、タッチパネル１９とを備える。

撮像部１０は、異なる視点で撮影された複数（ここでは２つとする）の撮像画像信号を得ることのできるものである。

例えば、撮像部１０は、離間して配置された２つの撮像素子及びこの２つの撮像素子の各々の前段に設けられる撮影光学系を備え、１回の撮影により、当該２つの撮像素子から異なる視点で撮影された２つの撮像画像信号を得る。撮像部１０は、１つの撮像素子及びこの前段に設けられる１つの撮影光学系を備え、これらを移動させながら行う複数回の撮影により、当該１つの撮像素子から、異なる視点で撮影された２つの撮像画像信号を得るものであってもよい。撮像部１０の構成はこれらのものに限定されない。撮像部１０はシステム制御部１１の指示によって動作する。

メインメモリ１６は、ワークメモリとして利用されるＲＡＭと、各種データが記憶されるＲＯＭとを含み、メモリ制御部１５の制御によってデータの読み込み、書き込み、及び消去が行われる。

デジタル信号処理部１７は、撮像部１０から出力される撮像画像信号に対し、補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行って撮影画像データを生成する。デジタル信号処理部１７によって生成された異なる視点で撮影して得られた２つの撮像画像データは、互いに関連付けられて立体画像データとして生成される。この立体画像データは、例えば、カメラ映像機器工業会（ＣＩＰＡ）の規格であるＭＰＯ形式のデータである。

圧縮伸張処理部１８は、デジタル信号処理部１７で生成された立体画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする。

立体画像表示装置２３は、立体画像データ（異なる視点で撮影された２つの撮像画像データ）に基づく立体画像を表示するものである。立体画像表示装置２３は、時分割視差画像方式、レンチキュラ方式、及びパララックスバリア方式等に対応した液晶表示装置等で構成される。立体画像表示装置２３は、表示ドライバ２２によって駆動される。

立体画像表示装置２３の表示面にはタッチパネル１９が貼り付けられている。タッチパネル１９はマルチタッチに対応しており、立体画像表示装置２３の画面における２つの物体（例えばユーザの２本の指）の各々の接触点の座標情報、当該２つの物体の当該接触点からの移動の有無の情報、当該２つの物体の移動先の座標情報等の、ユーザのタッチパネル１９に対するタッチ操作に応じた情報をシステム制御部１１に送信する。

メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、タッチパネル１９、外部メモリ制御部２０、及び表示ドライバ２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

デジタルカメラ１では、撮像部１０によって撮影が行われると、デジタル信号処理部１７によって立体画像データが生成され、この立体画像データが記録媒体２１に記録される。

記録媒体２１に記録された立体画像データの再生指示があると、システム制御部１１の指令により、表示ドライバ２２が当該立体画像データに基づく立体画像を立体画像表示装置２３に表示させる。デジタルカメラ１では、立体画像表示装置２３に表示された立体画像を、タッチパネル１９の操作によって拡大することができる。以下、立体画像を拡大表示する時のデジタルカメラ１の動作について説明する。

図２は、図１に示すデジタルカメラ１における立体画像の拡大操作時の動作を説明するためのフローチャートである。図３は、図２に示すフローチャートに基づく動作中に、立体画像表示装置２３に表示される画面の一例を示す図である。

デジタルカメラ１が再生モードに設定され、記録媒体２１に記録されている立体画像データの再生指示がユーザによってなされると、システム制御部１１は、記録媒体２１から当該立体画像データを読み込んでメインメモリ１６に展開する（ステップＳ１）。そして、システム制御部１１は、展開した立体画像データに基づく立体画像を、表示ドライバ２２を介して立体画像表示装置２３に表示させる（ステップＳ２）。

このときの立体画像表示装置２３の画面表示は例えば図３のＦＩＧ３Ａのようになる。ＦＩＧ３Ａに示す例では、立体画像表示装置２３に被写体Ｈを含む立体画像が表示されている。図３では、立体画像を構成する異なる視点で撮影された２つの画像を立体画像表示装置２３に同時に表示させたときの画面例を示している。また、図３では、立体画像表示装置２３に表示される画像を、タッチパネル１９を通してみたときの状態を示している。

ＦＩＧ３Ａに示す立体画像が表示された状態で、ユーザが人差し指Ｙ１と親指Ｙ２をタッチパネル１９上の任意の位置に置く。すると、人差し指Ｙ１と親指Ｙ２の各々の接触位置を示す画面上の座標情報がタッチパネル１９からシステム制御部１１に送信される。

システム制御部１１は、ステップＳ２の後、タッチパネル１９からの情報に基づいて、立体画像表示装置２３に表示中の立体画像に対して拡大中心点（立体画像を拡大する際にどこを中心に拡大するかを示す点）が指定されたか否かを判定する（ステップＳ３）。具体的には、システム制御部１１は、２つの指の座標情報をタッチパネル１９から受信した場合に拡大中心点が指定されたと判定し、２つの指の座標情報をタッチパネル１９から受信していない場合は、拡大中心点が指定されていないと判定する。

ステップＳ３の判定結果がＹＥＳのとき、システム制御部１１は、タッチパネル１９から受信した座標情報に基づき、立体画像に対して拡大中心点を設定する（ステップＳ４）。例えば、システム制御部１１は、座標情報に含まれる２つの物体の座標の中間点を拡大中心点に設定する。

ＦＩＧ３Ａに示す状態から、ＦＩＧ３Ｂに示すように、ユーザが２つの指を互いに離す方向に移動させて拡大指示を行うと、この２つの指が夫々移動したことを示す物体移動情報と、この２つの指の各々の移動先の座標情報とがタッチパネル１９からシステム制御部１１に送信される。

システム制御部１１は、ステップＳ４の後、タッチパネル１９からの情報に基づき、立体画像表示装置２３に表示中の立体画像に対して拡大指示がなされたか否かを判定する（ステップＳ５）。具体的には、システム制御部１１は、上記物体移動情報と上記移動先の座標情報とを受信した場合に拡大指示がなされたと判定し、上記物体移動情報と上記移動先の座標情報とを受信していないときは拡大指示がなされていないと判定する。

ステップＳ５の判定結果がＹＥＳのとき、システム制御部１１は、ユーザからの拡大指示を受け付け、ステップＳ２以降に受信した２つ指の初期位置の座標情報と、ステップＳ４以降に受信した２つの指の移動先の座標情報とから、２つの指の移動量を算出し、その移動量に応じた立体画像の拡大率の情報を取得する（ステップＳ６）。移動量に対応する拡大率の情報は、メインメモリ１６内のＲＯＭに予め記憶されており、システム制御部１１は、このＲＯＭから指の移動量に対応する拡大率の情報を取得する。ステップＳ５の判定結果がＮＯとき、システム制御部１１はステップＳ３に処理を戻す。

次に、システム制御部１１は、ステップＳ４で設定した拡大中心点を中心にステップＳ６で取得した拡大率で立体画像を拡大したときの、立体画像表示装置２３に表示される拡大立体画像の視差量を求める。拡大立体画像の視差量とは、拡大立体画像を構成する２つの画像の各々に含まれる共通の被写体同士の画素ずれ量（図１１に例示した符号Ｐｏ，Ｐｂ）を示す。ただし、拡大立体画像には複数の被写体が含まれることもあるため、本実施形態では、拡大立体画像の視差量として、視差量の代表値を求めるようにしている。

拡大立体画像の視差量の算出方法としては、例えば以下の４つが挙げられる。

１．拡大立体画像に含まれる主要被写体（例えば、拡大立体画像から抽出された被写体のうちの最もサイズの大きい被写体、拡大立体画像の中心にある被写体等）の視差量を、その拡大立体画像における視差量とする。
２．拡大立体画像に含まれる各被写体の視差量のうち、最も視差量の大きい値を、その拡大立体画像における視差量とする。
３．拡大立体画像に含まれる各被写体の視差量のヒストグラムを作成し、そのヒストグラムにおいて最も数の多い視差量（ヒストグラムのピーク値）を、その拡大立体画像における視差量とする。
４．拡大立体画像に含まれる各被写体の視差量の平均値を、その拡大立体画像における視差量とする。

例えば、拡大立体画像が図１１に示すようなものであった場合、Ｐｏや｛（Ｐｏ＋Ｐｂ）／２｝等が当該拡大立体画像の視差量として求められる。

なお、立体画像に含まれる各被写体は、視差量＝０の部分が立体画像表示装置２３の管面上にあるように見え、視差量が大きくなるにつれ、管面から飛び出したり引っ込んだりして見える。飛び出し側と引っ込み側とで、視差量の符号（正負）が逆のもとして扱った場合、上記２．の算出方法における、最も視差量の大きい値として、例えば、飛び出し側と引っ込み側のいずれか一方の被写体における視差量の絶対値の最大値、あるいは、両方を含めた被写体における視差量の絶対値の最大値等を用いればよい。

また、上記４．の算出方法における平均値は、例えば、飛び出し側と引っ込み側の一方の被写体における視差量の平均値、あるいは、両方の被写体における視差量を絶対値で平均したもの等とすればよい。

システム制御部１１は、拡大立体画像の視差量を求めると、求めた視差量（符号を無視した絶対値）が閾値を超えるか否かを判定する（ステップＳ７）。

この閾値は、拡大立体画像を観察するユーザの眼に負担を与えない程度の立体感を提供できる視差量の上限値である。この閾値は、メインメモリ１６内のＲＯＭに予め記録されている。

ステップＳ７の判定がＮＯのとき、つまり、拡大後の立体画像の視差量が閾値を超えない場合には、システム制御部１１は、ステップＳ６において取得した拡大率で立体画像を拡大して立体画像表示装置２３に表示させる（ステップＳ８）。このときの状態を示したのが図３のＦＩＧ３Ｂである。

ステップＳ７の判定がＹＥＳのとき、つまり、拡大後の立体画像の視差量が閾値を超えてしまう場合には、システム制御部１１は、ステップＳ６において取得した拡大率で立体画像を拡大させる処理は行わず（拡大指示に応じた拡大処理は停止し）、立体画像表示装置２３に表示中の拡大立体画像（視差量＝閾値のときの拡大率で立体画像を拡大したもの）の表示を継続させる（ステップＳ９）。ステップＳ９と同時又は直後に、システム制御部１１は、拡大立体画像（視差量＝閾値のときの拡大率で立体画像を拡大したもの）を、画面内で振動させて表示させる制御を行う（ステップＳ１０）。この制御は、具体的には、拡大立体画像が表示されているエリア近傍で、移動量や移動方向を時間変動させながら、表示画面と平行な方向に拡大立体画像を平行移動させる制御である。ステップＳ１０の処理により、立体画像表示装置２３に表示される拡大立体画像は、図３のＦＩＧ３Ｃに示すように、画面内で上下又は左右又はその両方に振動して表示される。

なお、ステップＳ１０では、拡大立体画像を画面内で振動させる代わりに、当該拡大立体画像を縮小した立体画像と、当該拡大立体画像を拡大した立体画像とを交互に繰り返して表示させてもよい。なお、このときの拡大立体画像の縮小率及び拡大率は、視差量＝閾値となっている拡大立体画像の立体感を損なわない程度の微小な値としておく。

ステップＳ１０の処理は、立体画像表示装置２３に表示される拡大立体画像の視差量が閾値を超えてしまったため、ユーザの眼への負担を考慮して拡大指示に応じた拡大表示処理を行っていないことを、ユーザに認識させることを目的に行っている。上記の例では、拡大立体画像自体の表示変化により、デジタルカメラ１の行っている処理をユーザに認識させるものとした。これ以外にも、例えば、拡大立体画像と共に、「視差が強すぎるため、拡大表示処理を停止しています」といった文字情報を立体画像表示装置２３に表示させることで、デジタルカメラ１の行っている処理をユーザに認識させることも可能である。

なお、上記閾値は、ユーザの好みやユーザの年齢によって変えられることが好ましい。例えば、デジタルカメラ１のメインメモリ１６には複数種類の閾値を記憶しておく。そして、システム制御部１１が、デジタルカメラ１のユーザに応じて、この複数種類の閾値からいずれかを選択して用いるようにすればよい。

より具体的に説明すると、メインメモリ１６には、ユーザの年齢幅（例えば、小学生未満の幼児、小中学生、高校生以上の３つの年齢幅）に応じて複数種類の閾値を記憶しておく。更に、デジタルカメラ１の操作部１４又はタッチパネル１９によって、ユーザに関する情報（例えば年齢の情報）を入力できるようにしておく。そして、システム制御部１１は、入力されたユーザに関する情報を取得し、ユーザに関する情報に含まれるユーザの年齢の情報から、その年齢が入る年齢幅に対応する種類の閾値を、ステップＳ７の判定において用いる閾値として設定する。

又は、予め記憶されている複数種類の閾値の中からユーザが好みに応じた閾値を選択して、ユーザ情報と対応付けて登録できるようにしておいてもよい。この場合は、ユーザが、立体画像の再生を行う前に、事前登録されているユーザ情報の中から自分の情報を選択する。ユーザ情報が選択されると、システム制御部１１がこのユーザ情報を取得し、そのユーザ情報に対応する閾値を、ステップＳ７の判定において用いる閾値として設定する。

このように、複数種類の閾値を記憶しておき、ユーザに応じた閾値を用いてステップＳ７の判定を行うことで、ユーザの年齢やユーザの好みにあった制御が可能になる。

ステップＳ８とステップＳ１０の後、システム制御部１１は、拡大指示が終了したか否かを判定する（ステップＳ１１）。システム制御部１１は、２つの物体の少なくとも一方の接触がなくなったことを示す情報をタッチパネル１９から受信すると、拡大指示が終了したと判定する。

拡大指示が終了していない場合（ステップＳ１１：ＮＯ）はステップＳ５の処理が行われる。拡大指示が終了した場合（ステップＳ１１：ＹＥＳ）、システム制御部１１は、ステップＳ１０の処理が行われているか否かを判定する（ステップＳ１２）。

ステップＳ１２の判定がＹＥＳであれば、システム制御部１１は、視差量＝閾値となる拡大率で立体画像を拡大した拡大立体画像の振動表示処理、縮小・拡大交互表示処理、又は文字情報表示処理を停止し、立体画像表示装置２３には、視差量＝閾値となる拡大率で立体画像を拡大した拡大立体画像を表示させる（ステップＳ１３）。このときの状態を示したのが図３のＦＩＧ３Ｄである。ＦＩＧ３Ｃの状態においてタッチパネル１９から指を離した時点で、拡大表示画像の表示変化（画像の振動、画像の縮小拡大）が終了し、視差量＝閾値となる拡大率で立体画像を拡大した拡大立体画像が、立体画像表示装置２３に表示されることになる。

システム制御部１１は、ステップＳ１３の後はステップＳ３に処理を戻す。

以上のように、デジタルカメラ１によれば、２本の指をタッチパネル１９に接触させた後、この２本の指を広げる方向に移動させると、視差量が閾値となる拡大率までは、２本の指の動きに応じて立体画像が拡大表示されていく。そして、視差量が閾値となる拡大率になると、それ以上の拡大指示が行われても、表示画像の拡大は行われない。このため、立体感が強くなってしまった拡大立体画像がユーザによって観察されるのを防ぐことができ、ユーザの眼への負担を軽減することができる。

また、視差量が閾値となる拡大率を超えて拡大指示を行った場合には、ＦＩＧ３Ｃに示すように、視差量が閾値以下となる拡大率で立体画像を拡大しているときとは異なる表示形態で、拡大立体画像が立体画像表示装置２３に表示される。このため、この拡大立体画像の表示形態の変化により、ユーザは、デジタルカメラ１が何らかの特別な処理を行っていることを認識することができる。したがって、この特別な処理により、ユーザが、自身の拡大操作のミスによって立体画像が拡大されなかったものと誤解してしまうのを防ぐことができる。

以上の説明では、図２のステップＳ９，Ｓ１３において立体画像表示装置２３に表示させる立体画像を、視差量＝閾値となる拡大率で立体画像を拡大したものとしている。しかし、ステップＳ９，Ｓ１３では、視差量＜閾値となる拡大率で立体画像を拡大した拡大立体画像を表示させてもよい。ただし、ステップＳ９，Ｓ１３において表示させる拡大立体画像の拡大率が小さすぎると、視差量が閾値を超える境界付近で表示画像が急激に変化してしまうことになる。そのため、この拡大率は表示画像の急激な変化をユーザに認識させない程度の値にしておくことが好ましい。

また、ステップＳ１０において、拡大立体画像を振動表示させる場合には、拡大立体画像の振動方向を、ユーザが指を広げている方向と略一致させることが好ましい。

例えば、システム制御部１１は、タッチパネル１９から受信した、２つの物体（指）の初期位置の情報と、２つの物体の初期位置に対する移動先の位置の情報とから、２つの物体の画面内における移動方向を判定する。そして、システム制御部１１は、ステップＳ１０において、前記判定した移動方向に拡大立体画像を振動させる制御を行う。このようにすることで、ユーザが指を広げている方向に拡大立体画像が振動することになり、ユーザが指を広げている方向と拡大立体画像の振動方向とが一致しない（例えば直交する）場合と比較すると、違和感のない、良好な操作性を実現することができる。

次に、デジタルカメラ１の動作の変形例について説明する。この変形例では、システム制御部１１が、視差量が閾値となる拡大率を超えて立体画像を拡大する拡大指示がなされた場合でも、当該拡大指示のなされている間は、当該拡大指示に応じた拡大率で立体画像を拡大した拡大立体画像を立体画像表示装置２３に表示させる。そして、システム制御部１１は、当該拡大指示が終了したときに、視差量が閾値以下となるときの拡大率で立体画像を拡大した拡大立体画像を立体画像表示装置２３に表示させるようにしている。

図４は、図１に示したデジタルカメラ１の立体画像の拡大操作時の動作の変形例を説明するためのフローチャートである。図５は、図４に示す変形例のフローチャートに基づく動作中に、立体画像表示装置２３に表示される画面の一例を示す図である。

図４に示すフローチャートは、図２に示すフローチャートのステップＳ６以降の処理を、ステップＳ２１〜ステップＳ２５に置き換えたものである。このため、図２に示す処理と同じ処理には同一符号を付して説明を省略する。

図５のＦＩＧ５Ａに示すように、ユーザが人差し指Ｙ１と親指Ｙ２をタッチパネル１９に接触させた後、ＦＩＧ５Ｂに示すように、人差し指Ｙ１と親指Ｙ２をそれぞれ移動させて拡大指示を行うと、図４のステップＳ６において、拡大率の情報がシステム制御部１１により取得される。その後、システム制御部１１は、取得した拡大率で立体画像を拡大した拡大立体画像を立体画像表示装置２３に表示させる（ステップＳ２１）。

次に、システム制御部１１は、図２のステップＳ１１と同様の方法で拡大指示が終了したか否かを判定する（ステップＳ２２）。システム制御部１１は、拡大指示が終了していない場合はステップＳ５に処理を戻し、拡大指示が終了した場合はステップＳ２３の処理を行う。

ステップＳ２３において、システム制御部１１は、立体画像表示装置２３に表示中の拡大立体画像の視差量を求める。そして、システム制御部１１は、ステップＳ２３において求めた視差量が閾値を超えているか否かを判定する（ステップＳ２４）。

ステップＳ２４の判定がＮＯであれば、システム制御部１１はステップＳ３に処理を戻し、ステップＳ２４の判定がＹＥＳであれば、システム制御部１１は、視差量＝閾値となる拡大率で立体画像を拡大した拡大立体画像を立体画像表示装置２３に表示させる（ステップＳ２５）。

例えば、図５のＦＩＧ５Ｃに示すように、視差量が閾値を超える拡大率で立体画像が拡大表示された後に、ＦＩＧ５Ｄに示すように、ユーザがタッチパネル１９から指を離して拡大指示を終了したとする。このとき、システム制御部１１は、拡大指示が終了する直前に立体画像表示装置２３に表示させていたＦＩＧ５Ｄに示す拡大立体画像を、視差量＝閾値となる拡大率で立体画像を拡大したＦＩＧ５Ｅに示す拡大立体画像に切替える制御を行う。

ステップＳ２５の後、システム制御部１１はステップＳ３に処理を戻す。

以上のように、この変形例によれば、２本の指をタッチパネル１９に接触させた後、この２本の指を広げる方向に移動させると、視差量が閾値となる拡大率を超えても、図５のＦＩＧ５Ｂ〜ＦＩＧ５Ｃに示すように、立体画像は拡大され続ける。そして、ＦＩＧ５Ｃの状態において拡大指示を終了すると、ＦＩＧ５Ｅに示すように、視差量＝閾値となる拡大率で立体画像を拡大した拡大立体画像が立体画像表示装置２３に表示される。このため、拡大指示の終了後に、立体感が強くなってしまった拡大立体画像がユーザによって観察されるのを防ぐことができ、ユーザの眼への負担を軽減することができる。

なお、図４のステップＳ２５において、立体画像表示装置２３に表示させる拡大立体画像を、視差量が閾値を超える拡大率（Ａ倍とする）で拡大した拡大立体画像から、視差量が閾値となる拡大率（Ｂ倍とする）で拡大した拡大立体画像に切替える際に、システム制御部１１は、拡大率をＡ倍からＢ倍にかけて徐々に小さくしていき（例えば拡大率を所定の変化率で変化させていき）、拡大率を小さくしていく過程での各拡大率における拡大立体画像を、立体画像表示装置２３に表示させるようにしてもよい。このようにすることで、図５のＦＩＧ５Ｄの状態からＦＩＧ５Ｅの状態に急激に画像が切り替わるのではなく、スムーズに画像を切り替えることができ、ユーザの眼への負担を軽減することができる。

また、図４のステップＳ２５において、視差量が閾値となる拡大率で拡大した拡大立体画像を表示させた後又はこれと同時に、「指示された拡大率では視差が強くなりすぎるため拡大率を低くした画像を表示しています」といったデジタルカメラ１の処理内容を通知するための情報を立体画像表示装置２３に表示させてもよい。このようにすることで、ユーザが自身の拡大操作のミスによって立体画像が拡大されなかったものと誤解してしまうのを防ぐことができる。

なお、図４のフローチャートでは、ステップＳ２５において立体画像表示装置２３に表示させる拡大立体画像を、視差量＝閾値となる拡大率で立体画像を拡大したものとしている。しかし、ステップＳ２５では、視差量が閾値よりも小さくなる拡大率で立体画像を拡大したものを表示させてもよい。

デジタルカメラ１のシステム制御部１１は、図２及び図４のステップＳ３において拡大中心点の指定がなされたときに、立体画像表示装置２３に表示される立体画像の視差量が閾値以下に収まる指の移動範囲を示す枠画像を立体画像表示装置２３に表示させてもよい。

タッチパネル１９にユーザの２本の指が接触すると、システム制御部１１は、表示中の立体画像の視差量から、視差量が閾値となる拡大率である許容拡大率を算出する。更に、システム制御部１１は、２本の指の接触位置の情報と、タッチパネル１９に接触している２本の指の各々の移動距離と立体画像の拡大率とを対応付けたテーブル（メインメモリ１６に記憶）のデータとから、拡大率が許容拡大率になる２本の指の移動後の位置を求め、この２本の指の移動後の位置を示す座標同士を結ぶ枠画像６０を生成する。そして、システム制御部１１は、図６に示すように、この枠画像６０を立体画像表示装置２３に表示させる。

この枠画像６０は、指を動かした先がこの枠内にあれば、立体画像表示装置２３に拡大表示される立体画像の視差量が閾値以下になり、指を動かした先がこの枠外に出ると、立体画像表示装置２３に拡大表示される立体画像の視差量が閾値を超えてしまうことを示す情報となる。指の移動量は拡大率に対応するため、この枠画像６０は、視差量が閾値以下に収まる許容拡大率を示す情報ということができる。システム制御部１１は、立体画像の拡大中心点の指定があった時点で、拡大後の立体画像の視差量が閾値以下になる指の移動範囲を示す枠画像６０を立体画像表示装置２３に表示させる。このようにすることで、ユーザは、どの程度までの拡大操作であれば良好な立体感が得られるのかを知ることができ、使い勝手を向上させることができる。

また、システム制御部１１は、上記枠画像６０に加えて、立体画像表示装置２３に拡大表示される立体画像の視差量が立体視に最も適した値となる指の移動位置を示す枠画像７０を、図７に示すように表示させてもよい。

立体視に最も適した視差量は、経験的に求めておいた既知の値としてもよいし、立体画像表示装置２３に表示される立体画像の視差量と閾値との平均値としてもよい。例えば、ｈｔｔｐ：／／ｗｗｗ．３ｄｃ．ｇｒ．ｊｐ／ｊｐ／ｓｃｍｔ＿ｗｇ＿ｒｅｐ／３ｄｃ＿ｇｕｉｄｅＪ＿２０１００４２０．ｐｄｆに記載されているような視差量を採用することができる。

システム制御部１１は、立体画像表示装置２３に表示中の立体画像の視差量から、当該視差量が最適値となる拡大率である最適拡大率を算出する。更に、システム制御部１１は、２本の指の接触位置の情報と上記テーブルのデータとから、拡大率が最適拡大率になる２本の指の移動後の位置を求め、この２本の指の移動後の位置を示す座標同士を結ぶ枠画像７０を生成する。そして、システム制御部１１は、図７に示すように、この枠画像７０を立体画像表示装置２３に表示させる。

この枠画像７０は、指を動かした先がこの枠上にあれば、立体画像表示装置２３に拡大表示される立体画像の視差量が最適値になることを示す情報となる。指の移動量は拡大率に対応するため、この枠画像７０は、視差量が最適値になる最適拡大率を示す情報ということができる。このように、システム制御部１１は、立体画像の拡大中心点の指定があった時点で、拡大後の立体画像の視差量が最適値になる指の移動位置を示す枠画像７０を立体画像表示装置２３に表示させることで、ユーザは、どの程度まで拡大すれば最適な立体感が得られるのかを知ることができ、使い勝手を向上させることができる。

なお、図７では、枠画像６０と枠画像７０の両方を表示させる例を示しているが、枠画像７０のみを表示させるようにしてもよい。

立体画像表示装置２３に表示される立体画像は、拡大指示に応じて、その表示範囲が狭くなっていく。このため、周辺部分は視差量が大きく
、中心部分は視差量が小さい被写体を含む立体画像の場合は、その立体画像を拡大していくと、拡大後に立体画像表示装置２３に表示される拡大立体画像の視差量が増大していった後、ある程度の拡大率を越えると、立体画像表示装置２３に表示される範囲が被写体の中心部分のみになり、視差量が突然閾値以下になることが考えられる。

図４，５で説明した変形例において、例えば、図５のＦＩＧ５Ｃの状態（視差量が初めて閾値を超えた状態）から、ユーザが強制操作（例えばタッチパネル１９に指を置き続ける、指の移動速度を速くする等）を行った場合を説明する。この場合、システム制御部１１は、ＦＩＧ５Ｅに示すような拡大立体画像を表示させる代わりに、視差量が閾値となる拡大率よりも大きい拡大率であって、視差量が閾値以下となる拡大率、で立体画像を拡大した拡大立体画像を立体画像表示装置２３に表示させる。このような制御により、視差量が大きい拡大立体画像が立体画像表示装置２３に長時間表示されるのを防いで、ユーザの眼への負担を軽減することができる。

なお、上述してきた実施形態では、拡大指示を行うインターフェースとしてタッチパネル１９を用いた例を示したが、インターフェースはこれに限らない。例えば、操作部１４に含まれる十字キー、ダイヤルキー、各種ボタン等によって、立体画像の拡大指示を行えるようにしてもよい。操作部１４を用いて拡大指示を行う形態の場合は、図６に示す枠画像６０の代わりに、許容拡大率を文字情報として表示させればよい。また、図７に示す枠画像７０の代わりに、最適拡大率を文字情報として表示させればよい。

また、上述してきた実施形態では、デジタルカメラを例にしたが、立体画像データに基づく立体画像を立体画像表示装置に表示させる制御を行う立体画像表示制御装置を搭載する電子機器（例えば、３Ｄ表示対応のテレビジョン、スマートフォン、タブレッド型コンピュータ等）であれば、本実施形態で説明した技術を適用可能である。このような電子機器では、当該電子機器に搭載されるＣＰＵ（コンピュータ）が図２及び図４に示したフローチャートの各ステップを行うことで、立体画像表示装置を観察するユーザへの負担を軽減することができる。

また、図１に示すデジタルカメラ１は、立体画像等の表示先を内部に搭載する立体画像表示装置２３としているが、この表示先を、例えば、デジタルカメラ１と接続される外部の立体画像表示装置（例えば３Ｄ表示対応のテレビジョン等）とすることもできる。

上述してきた閾値は、立体画像を表示させる表示装置の画面サイズ、又は、表示装置とユーザとの距離（視距離）に応じて変更してもよい。

例えば、画面サイズが大きいほど閾値を小さくしたり、視距離が短いほど閾値を小さくしたりする等の制御をシステム制御部１１が行う。画面サイズの情報は、システム制御部１１が表示装置から取得してもよいし、ユーザから入力できるようにしてもよい。視距離の情報は、表示装置毎に予め決められた最適値を用いてもよいし、表示装置側にユーザとの距離を求める測距手段を設けておいてもよい。

次に、立体画像表示制御装置を搭載する電子機器としてスマートフォンの構成について説明する。

図８は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。図８に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図９は、図８に示すスマートフォン２００の構成を示すブロック図である。図９に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図８に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図８に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図８に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、撮像部１０と同じ機能を有する。カメラ部２０８は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２０８は、主制御部２２０の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ
ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部２１２に記録したり、外部入出力部２１３や無線通信部２１０を通じて出力したりすることができる。図８に示すにスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００において、主制御部２２０が、図１に示したデジタルカメラ１のシステム制御部１１と同じ図２及び図４に示した処理を行うことで、立体画像を拡大する際の観察者への負担を軽減することができる。

以上説明してきたように、本明細書には次の事項が開示されている。

開示された立体画像表示制御装置は、異なる視点で撮影された複数の画像データに基づく立体画像を立体画像表示装置に表示させる立体画像表示制御装置であって、上記立体画像表示装置に表示された上記立体画像を拡大する拡大指示を受け付ける拡大指示受付部と、上記拡大指示に応じて上記立体画像を拡大して上記立体画像表示装置に表示させる拡大表示制御部と、上記拡大指示に応じた拡大率で上記立体画像を拡大したときに上記立体画像表示装置に表示される拡大立体画像の視差量が閾値を超えるか否かを判定する視差量判定部とを備え、上記拡大表示制御部は、上記視差量が上記閾値を超える拡大率で上記立体画像を拡大する上記拡大指示がなされた場合に、その拡大指示の終了後に上記立体画像表示装置に表示させる拡大立体画像を、上記視差量が上記閾値以下となるときの拡大率で上記立体画像を拡大した拡大立体画像とするものである。

開示された立体画像表示制御装置は、上記拡大表示制御部は、上記視差量が上記閾値となる拡大率を超えて立体画像を拡大する上記拡大指示がなされている拡大指示期間は、その拡大指示に応じた拡大処理は停止し、上記視差量が上記閾値となる拡大率で上記立体画像を拡大した拡大立体画像を、上記視差量が上記閾値以下となる拡大率で上記立体画像を拡大表示させるときの表示形態とは異なる表示形態で上記立体画像表示装置に表示させるものである。

開示された立体画像表示制御装置は、上記拡大表示制御部は、上記拡大指示期間中、上記視差量が上記閾値となる拡大率で上記立体画像を拡大した拡大立体画像を、上記立体画像表示装置の画面内で振動させて表示させる、又は、拡大と縮小を交互に繰り返して表示させるものである。

開示された立体画像表示制御装置は、上記立体画像表示装置は画面上に設けられるタッチパネルを有し、上記拡大指示受付部は、上記タッチパネルに対して２つの物体が接触したこと、その２つの物体がその接触している点からそれぞれ移動したこと、及びその２つの物体の移動先を示す情報を上記タッチパネルから取得し、その情報に基づいて上記拡大指示を受け付けるものであり、上記拡大表示制御部は、上記拡大指示期間中、上記視差量が上記閾値となる拡大率で上記立体画像を拡大した拡大立体画像を、上記立体画像表示装置の画面内で振動させて表示させるものであり、上記２つの物体の上記接触している点からの移動方向を上記情報から取得し、上記拡大立体画像の上記画面内における振動方向をその移動方向と略一致させるものである。

開示された立体画像表示制御装置は、上記拡大表示制御部は、上記視差量が上記閾値となる拡大率を超えて立体画像を拡大する上記拡大指示がなされた場合に、その拡大指示のなされている間は、その拡大指示に応じた拡大率で上記立体画像を拡大した拡大立体画像を上記立体画像表示装置に表示させ、その拡大指示が終了したときに、上記視差量が上記閾値以下となるときの拡大率で上記立体画像を拡大した立体画像を上記立体画像表示装置に表示させるものである。

開示された立体画像表示制御装置は、上記拡大表示制御部は、上記拡大指示が終了したときに、上記立体画像表示装置に表示されている拡大立体画像を徐々に縮小表示させて最終的に上記視差量が上記閾値以下となる拡大率で上記立体画像を拡大した立体画像を上記立体画像表示装置に表示させるものである。

開示された立体画像表示制御装置は、上記立体画像表示装置の観察者に関する情報を取得する観察者情報取得部と、上記観察者情報取得部によって取得された上記観察者の情報に応じて上記閾値を設定する閾値設定部とを備えるものである。

開示された立体画像表示制御装置は、上記視差量が上記閾値以下に収まる許容拡大率を示す情報を上記立体画像表示装置に表示させる第一の情報表示制御部を備えるものである。

開示された立体画像表示制御装置は、上記視差量が立体視に最適な値となる最適拡大率を示す情報を上記立体画像表示装置に表示させる第二の情報表示制御部を備えるものである。

開示された立体画像表示制御装置は、上記拡大立体画像の視差量は、上記拡大立体画像に含まれる主要被写体の視差量、上記拡大立体画像に含まれる被写体の視差量のうちの最大値、上記拡大立体画像に含まれる被写体の視差量のヒストグラムのピーク値、上記拡大立体画像に含まれる被写体の視差量の平均値のいずれかであるものを含む。

開示された撮像装置は、上記立体画像表示制御装置と、上記立体画像表示装置と、被写体を撮像する撮像部と、上記撮像部により撮像して得られる複数の撮像画像信号から、上記複数の画像データを生成する画像処理部とを備えるものである。

開示された立体画像表示制御方法は、異なる視点で撮影された複数の画像データに基づく立体画像を立体画像表示装置に表示させる立体画像表示制御方法であって、上記立体画像表示装置に表示された上記立体画像を拡大する拡大指示を受け付ける拡大指示受付ステップと、上記拡大指示に応じて上記立体画像を拡大して上記立体画像表示装置に表示させる拡大表示制御ステップと、上記拡大指示に応じた拡大率で上記立体画像を拡大する場合に上記立体画像表示装置に表示される拡大立体画像の視差量が閾値を超えるか否かを判定する視差量判定ステップとを備え、上記拡大表示制御ステップでは、上記視差量が上記閾値を超える拡大率で上記立体画像を拡大する上記拡大指示がなされた場合に、その拡大指示の終了後に上記立体画像表示装置に表示させる拡大立体画像を、上記視差量が上記閾値以下となるときの拡大率で上記立体画像を拡大した拡大立体画像とするものである。

本発明は、例えば、デジタルカメラやテレビジョン等に適用して有効である。

以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、２０１２年２月２３日出願の日本特許出願（特願２０１２−３７６４６）に基づくものであり、その内容はここに取り込まれる。

１１ システム制御部
２３ 立体画像表示装置

Claims (12)

1. 異なる視点で撮影された複数の画像データに基づく立体画像を立体画像表示装置に表示させる立体画像表示制御装置であって、
   前記立体画像表示装置に表示された前記立体画像を拡大する拡大指示を受け付ける拡大指示受付部と、
   前記拡大指示に応じて前記立体画像を拡大して前記立体画像表示装置に表示させる拡大表示制御部と、
   前記拡大指示に応じた拡大率で前記立体画像を拡大したときに前記立体画像表示装置に表示される拡大立体画像の視差量が閾値を超えるか否かを判定する視差量判定部とを備え、
   前記拡大表示制御部は、前記視差量が前記閾値を超える拡大率で前記立体画像を拡大する前記拡大指示がなされた場合に、当該拡大指示の終了後に前記立体画像表示装置に表示させる拡大立体画像を、前記視差量が前記閾値以下となるときの拡大率で前記立体画像を拡大した拡大立体画像とする立体画像表示制御装置。
2. 請求項１記載の立体画像表示制御装置であって、
   前記拡大表示制御部は、前記視差量が前記閾値となる拡大率を超えて立体画像を拡大する前記拡大指示がなされている拡大指示期間は、当該拡大指示に応じた拡大処理は停止し、前記視差量が前記閾値となる拡大率で前記立体画像を拡大した拡大立体画像を、前記視差量が前記閾値以下となる拡大率で前記立体画像を拡大表示させるときの表示形態とは異なる表示形態で前記立体画像表示装置に表示させる立体画像表示制御装置。
3. 請求項２記載の立体画像表示制御装置であって、
   前記拡大表示制御部は、前記拡大指示期間中、前記視差量が前記閾値となる拡大率で前記立体画像を拡大した拡大立体画像を、前記立体画像表示装置の画面内で振動させて表示させる、又は、拡大と縮小を交互に繰り返して表示させる立体画像表示制御装置。
4. 請求項３記載の立体画像表示制御装置であって、
   前記立体画像表示装置は画面上に設けられるタッチパネルを有し、
   前記拡大指示受付部は、前記タッチパネルに対して２つの物体が接触したこと、当該２つの物体が当該接触している点からそれぞれ移動したこと、及び当該２つの物体の移動先を示す情報を前記タッチパネルから取得し、当該情報に基づいて前記拡大指示を受け付けるものであり、
   前記拡大表示制御部は、前記拡大指示期間中、前記視差量が前記閾値となる拡大率で前記立体画像を拡大した拡大立体画像を、前記立体画像表示装置の画面内で振動させて表示させるものであり、前記２つの物体の前記接触している点からの移動方向を前記情報から取得し、前記拡大立体画像の前記画面内における振動方向を当該移動方向と略一致させる立体画像表示制御装置。
5. 請求項１記載の立体画像表示制御装置であって、
   前記拡大表示制御部は、前記視差量が前記閾値となる拡大率を超えて立体画像を拡大する前記拡大指示がなされた場合に、当該拡大指示のなされている間は、当該拡大指示に応じた拡大率で前記立体画像を拡大した拡大立体画像を前記立体画像表示装置に表示させ、当該拡大指示が終了したときに、前記視差量が前記閾値以下となるときの拡大率で前記立体画像を拡大した立体画像を前記立体画像表示装置に表示させる立体画像表示制御装置。
6. 請求項５記載の立体画像表示制御装置であって、
   前記拡大表示制御部は、前記拡大指示が終了したときに、前記立体画像表示装置に表示されている拡大立体画像を徐々に縮小表示させて最終的に前記視差量が前記閾値以下となる拡大率で前記立体画像を拡大した立体画像を前記立体画像表示装置に表示させる立体画像表示制御装置。
7. 請求項１〜６のいずれか１項記載の立体画像表示制御装置であって、
   前記立体画像表示装置の観察者に関する情報を取得する観察者情報取得部と、
   前記観察者情報取得部によって取得された前記観察者の情報に応じて前記閾値を設定する閾値設定部とを備える立体画像表示制御装置。
8. 請求項１〜７のいずれか１項記載の立体画像表示制御装置であって、
   前記視差量が前記閾値以下に収まる許容拡大率を示す情報を前記立体画像表示装置に表示させる第一の情報表示制御部を備える立体画像表示制御装置。
9. 請求項１〜８のいずれか１項記載の立体画像表示制御装置であって、
   前記視差量が立体視に最適な値となる最適拡大率を示す情報を前記立体画像表示装置に表示させる第二の情報表示制御部を備える立体画像表示制御装置。
10. 請求項１〜９のいずれか１項記載の立体画像表示制御装置であって、
    前記拡大立体画像の視差量は、前記拡大立体画像に含まれる主要被写体の視差量、前記拡大立体画像に含まれる被写体の視差量のうちの最大値、前記拡大立体画像に含まれる被写体の視差量のヒストグラムのピーク値、前記拡大立体画像に含まれる被写体の視差量の平均値のいずれかである立体画像表示制御装置。
11. 請求項１〜１０のいずれか１項記載の立体画像表示制御装置と、
    前記立体画像表示装置と、
    被写体を撮像する撮像部と、
    前記撮像部により撮像して得られる複数の撮像画像信号から、前記複数の画像データを生成する画像処理部とを備える撮像装置。
12. 異なる視点で撮影された複数の画像データに基づく立体画像を立体画像表示装置に表示させる立体画像表示制御方法であって、
    前記立体画像表示装置に表示された前記立体画像を拡大する拡大指示を受け付ける拡大指示受付ステップと、
    前記拡大指示に応じて前記立体画像を拡大して前記立体画像表示装置に表示させる拡大表示制御ステップと、
    前記拡大指示に応じた拡大率で前記立体画像を拡大する場合に前記立体画像表示装置に表示される拡大立体画像の視差量が閾値を超えるか否かを判定する視差量判定ステップとを備え、
    前記拡大表示制御ステップでは、前記視差量が前記閾値を超える拡大率で前記立体画像を拡大する前記拡大指示がなされた場合に、当該拡大指示の終了後に前記立体画像表示装置に表示させる拡大立体画像を、前記視差量が前記閾値以下となるときの拡大率で前記立体画像を拡大した拡大立体画像とする立体画像表示制御方法。

Images