JP4757812B2 - 立体撮影装置および方法並びにプログラム - Google Patents

Description

本発明は、立体画像を作成するために被写体を異なる複数の視点から撮影する立体撮影装置および方法並びに立体撮影方法をコンピュータに実行させるためのプログラムに関するものである。

複数の画像を組み合わせて表示することにより、視差を利用して立体視できることは知られている。このような立体視ができる立体画像は、同一の被写体を異なる位置から複数のカメラにより撮影を行うことにより複数の画像を取得し、複数の画像に含まれる被写体の視差を利用して複数の画像を組み合わせることにより作成することができる（例えば特許文献１〜３参照）。具体的には、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像を１ライン毎に交互に組み合わせることにより、立体画像を作成することができる。そして、立体画像を表示して、赤青メガネや偏光メガネを用いて表示された立体画像を目の自動焦点機能により融合視することにより、画像を立体視することができる。また、偏光メガネ等を使用しなくても、立体画像を表示モニタに表示して立体視することも可能である。
特開平１０−１７０２２７号公報 特開２００３−２０９８５８号公報 特開２００３−２６４８５１号公報

しかしながら、撮影時にあまりに至近距離にある被写体については視差が大きくなるため、立体画像上における被写体の間隔が離れすぎてしまうことから融合視することが困難となり、無理に融合視しようとすると目の疲労感が多大なものとなる。このように立体画像において視差が大きくなるのは、立体画像作成のための画像を撮影する際に、被写体までの距離が確認できないことにある。

本発明は、上記事情に鑑みなされたものであり、立体画像を作成するに際し、被写体までの距離を確認できるようにすることを目的とする。

本発明による立体撮影装置は、被写体を異なる複数の視点から撮影することにより、各視点における複数の画像を取得する複数の撮影手段と、
前記複数の撮影手段から前記被写体までの距離である被写体距離を測定する測距手段と、
前記画像に含まれる被写体を、前記被写体距離に応じた複数のグループに分類し、該分類結果を出力する分類手段とを備えたことを特徴とするものである。

なお、本発明による立体撮影装置においては、前記複数の画像および／または該複数の画像から作成した立体画像を表示する表示手段と、
前記分類結果に応じて、前記複数の画像および／または前記立体画像に含まれる前記被写体の表示の態様を変更する表示態様変更手段とをさらに備えるものとしてもよい。

また、本発明による立体撮影装置においては、前記表示態様変更手段を、前記複数の画像および／または前記立体画像に含まれる、所定の被写体距離となる被写体を含む領域をマスキングする手段としてもよい。

また、本発明による立体撮影装置においては、前記表示態様変更手段を、前記立体画像に含まれる、所定の被写体距離となる被写体を含む領域を、前記複数の画像のいずれかの画像に含まれる対応する領域の画像と置換する手段としてもよい。

また、本発明による立体撮影装置においては、前記分類結果に基づいて、所定の被写体距離となる被写体が占める領域の前記複数の画像および／または前記立体画像に対する割合を算出し、該割合が所定値以上の場合に警告を行う警告手段をさらに備えるものとしてもよい。

また、本発明による立体撮影装置においては、前記分類結果に基づいて、所定の被写体距離となる被写体が占める領域の前記複数の画像および／または前記立体画像に対する割合を算出し、該割合が所定値以上の場合に、前記複数の撮影手段の輻輳角、基線長およびズーム倍率のうちの少なくとも１つを調整する調整手段をさらに備えるものとしてもよい。

本発明による立体撮影方法は、被写体を異なる複数の視点から撮影することにより、各視点における複数の画像を取得し、
前記複数の撮影手段から前記被写体までの距離である被写体距離を測定し、
前記画像に含まれる被写体を、前記被写体距離に応じた複数のグループに分類し、該分類結果を出力することを特徴とするものである。

なお、本発明による立体撮影方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、撮影手段から被写体までの距離である撮影距離が測定され、画像に含まれる被写体が被写体距離に応じた複数のグループに分類され、その分類結果が出力される。このため、分類結果を参照すれば、撮影により取得した画像に含まれる被写体の被写体距離を判断することができ、その結果、撮影により取得した画像に好ましくない被写体距離となる被写体が含まれる場合には、その被写体距離の部分について表示態様を変更したり、警告を発したり、さらには撮影手段の輻輳角等を調整する等の処理を行うことができる。したがって、このような処理を行えば、立体視に適した視差となる被写体距離の被写体のみを含む画像を取得でき、これにより、見ていても疲労感のない立体画像を作成することができる。

また、分類結果に応じて、複数の画像および／または立体画像に含まれる被写体の表示の態様を変更することにより、被写体距離をより容易に認識することができる。

この場合、複数の画像および／または立体画像において、所定の被写体距離となる被写体を含む領域をマスキングすることにより、立体画像において所定の被写体距離の領域を立体視することができなくなる。したがって、融合視できないような至近距離を所定の被写体距離とすることにより、至近距離にある被写体は立体視できなくなるため、見ていても疲労感のない立体画像を作成することができる。

また、立体画像に含まれる所定の被写体距離となる被写体を含む領域を、複数の画像のいずれかの画像に含まれる対応する領域の画像と置換することにより、立体画像において所定の被写体距離の領域を立体視することができなくなる。したがって、融合視できないような至近距離を所定の被写体距離とすることにより、至近距離にある被写体は立体視できなくなるため、見ていても疲労感のない立体画像を作成することができる。

また、分類結果に基づいて、所定の被写体距離となる被写体が占める領域の複数の画像および／または立体画像に対する割合を算出し、割合が所定値以上の場合に警告を行うことにより、撮影者は好ましくない被写体距離となる被写体が撮影により取得した画像に含まれることを容易に認識することができる。

また、分類結果に基づいて、所定の被写体距離となる被写体が占める領域の複数の画像および／または立体画像に対する割合を算出し、割合が所定値以上の場合に、複数の撮影手段の輻輳角、基線長および倍率のうちの少なくとも１つを調整することにより、疲労感なく融合視可能な立体画像が得られるように撮影手段の位置関係を調整することができ、これにより、見ていても疲労感のない立体画像を作成することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による立体撮影装置の構成を示す概略ブロック図である。図１に示すように第１の実施形態による立体撮影装置１は、２つのカメラ２Ａ，２Ｂと、Ａ／Ｄ変換部３Ａ，３Ｂと、画像処理部４Ａ，４Ｂと、カメラ制御部５と、カメラ駆動機構６Ａ，６Ｂとを備える。

カメラ２Ａ，２Ｂは、撮影レンズおよびＣＣＤ等の撮像素子を備えてなり、カメラ制御部５により、撮影レンズを用いてのフォーカス動作およびズーム動作、並びに撮像素子からの電荷の読み出しのタイミング等の駆動が制御される。また、カメラ２Ａ，２Ｂは所定間隔をあけて配置されており、カメラ駆動機構６Ａ，６Ｂによりカメラ２Ａ，２Ｂの間隔である基線長および輻輳角を変更することができる。なお、第１の実施形態においては、カメラ２Ａ，２Ｂは動画像を撮影するものとするが、静止画像を撮影するものであってもよい。

Ａ／Ｄ変換部３Ａ，３Ｂは、カメラ２Ａ，２Ｂが撮影により取得した画像ＳＡ，ＳＢをアナログデータからデジタルデータに変換する。

画像処理部４Ａ，４Ｂは、Ａ／Ｄ変換後の画像ＳＡ，ＳＢに対して、階調処理および色変換処理等の画像処理を施す。

カメラ駆動機構６Ａ，６Ｂは、カメラの輻輳角および／または基線長を変更するための、ステッピングモータ等により駆動される公知の機構である。そして、後述する入力部１１からの指示により輻輳角および基線長の変更の指示がなされると、指示された変更量に応じてモータが駆動して、カメラ２Ａ，２Ｂの輻輳角および／または基線長を変更する。

また、立体撮影装置１は、距離算出部７と、立体画像作成部８とを備える。

距離算出部７は、カメラ２Ａ，２Ｂからカメラ２Ａ，２Ｂの撮影範囲に含まれる被写体までの距離を測定するためのものであり、まずステレオマッチングの手法を用いてカメラ２Ａ，２Ｂが取得した画像ＳＡ，ＳＢ上において互いに対応する対応点を求める。例えば、画像ＳＡ，ＳＢから部分的な行列（例えば３×３画素）を取り出して相関値を求めることにより対応点を求める。そして、求めた対応点、カメラ２Ａ，２Ｂの基線長、輻輳角およびズーム倍率を用いて、三角測量の原理を用いて画像ＳＡ，ＳＢに共通に含まれる被写体までの距離（被写体距離）を算出する。具体的には、画像ＳＡ，ＳＢ上のすべての画素について、画素毎に被写体距離を算出する。

立体画像作成部８は、画像ＳＡ，ＳＢを縦方向において１ラインずつ間引くとともに、間引いた画像ＳＡ，ＳＢを１ラインずつ交互に並べることにより立体画像ＳＲを作成する。

また、立体撮影装置１は、画像ＳＡ，ＳＢおよび立体画像ＳＲを表示するための液晶等のモニタ１０と、立体撮影装置１に各種入力を行うためのキーボード等からなる入力部１１と、立体画像ＳＲをメモリカード等の記録媒体１２に記録するための記録制御部１３とを備える。さらに、立体撮影装置１は、ＣＰＵ（Central Processor Unit）１４、操作／制御プログラムが格納されるとともに作業領域となるＲＡＭ（Random Access Memory）１５、および各種設定値が記憶されているＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）１６からなる全体制御部１７を備える。

さらに立体撮影装置１は、立体画像ＳＲに含まれる被写体を、被写体距離に応じて分類する分類部１８と、分類部１８による分類結果に応じて立体画像ＳＲの表示の態様を変更する表示態様変更部１９とを備える。

ここで、立体視を行う場合の視差について説明する。図２は視差を説明するための図である。まず、図２（ａ）に示すように立体視を行わない状態で立体画像ＳＲを観察した場合における両目から立体画像ＳＲまでの距離を、遠近感の基準となる調整距離Ｌ０とする。なお、この場合の視差は角度αとなる。

立体画像ＳＲにおいては、カメラ２Ａ，２Ｂに近い被写体は視差が大きくなり、同一の被写体についての左目用の画像（左目像）および右目用の画像（右目像）の配置されるべき左右の位置が反転するため、図２（ｂ）に示すように左目および右目の視線を立体画像ＳＲの手前で交差させて融合視することにより、立体画像ＳＲよりも手前に立体像Ｒ１を観察することができる。この場合における両目から立体像Ｒ１までの距離を輻輳距離Ｌ１とする。また、この場合の視差は角度βとなる。

一方、立体画像ＳＲにおいては、カメラ２Ａ，２Ｂから遠い被写体は視差が小さく、同一の被写体についての左目用の画像（左目像）および右目用の画像（右目像）の配置されるべき左右の位置は反転しないため、図２（ｃ）に示すように左目および右目の視線を立体画像ＳＲの向こう側で交差させて融合視することにより、立体画像ＳＲよりも向こう側に立体像Ｒ２を観察することができる。この場合における両目から立体像Ｒ２までの距離を輻輳距離Ｌ２とする。また、この場合の視差は角度γとなる。

このように立体画像ＳＲを観察することにより、輻輳距離Ｌ１，Ｌ２との差が立体画像ＳＲに奥行き感を与えることとなる。

ところで、カメラ２Ａ，２Ｂから遠い被写体は、図２（ｃ）に示すように視差が小さいために見ていても疲労感は少ないが、カメラ２Ａ，２Ｂに近い被写体は、図２（ｂ）に示すように視差が大きいために視線を大きく交差させる必要があることから目の疲労感が大きい。ここで、角度αと角度βの差の絶対値が１度以下（すなわち｜α−β｜≦１）であると、疲労感を比較的少なくして立体視を行うことができる。

分類部１８は、距離算出部７が算出した画像ＳＡ，ＳＢの画素毎の被写体距離に基づいて、画像ＳＡ，ＳＢに含まれる被写体を３つのグループに分類する。具体的には、視差が｜α−β｜≦１の関係を満たす適正な被写体距離の第１グループＧ１、視差がαよりも小さくなる遠景の被写体距離の第２グループＧ２および視差が｜α−β｜≦１の関係を満たさない不適正な被写体距離の第３グループＧ３に被写体、すなわち画像上の各画素を分類する。

図３は分類を説明するための図である。簡単のため、画像ＳＡ，ＳＢには、背景となる空、人物および人物の前にある看板を被写体とする。この場合、人物の領域に含まれる画素が第１グループＧ１に、空の領域に含まれる画素が第２グループＧ２に、看板の領域に含まれる画素が第３グループＧ３に分類される。

表示態様変更部１９は、分類部１８による画像ＳＡ，ＳＢの画素の分類結果に基づいて、モニタ１０に表示される立体画像ＳＲを色分けして表示する。図４はモニタ１０の表示の例を示す図である。図４に示すように、本実施形態においてはモニタ１０には画像ＳＡ，ＳＢおよび立体画像ＳＲが同時に表示されるが、立体画像ＳＲについては、図５に示すように分類された画素毎に色分けがなされている。具体的には、各画素の色にグループ毎に異なる色を重畳することにより色分けを行う。ここで、図５においては、各グループＧ１〜Ｇ３の色が異なることを、異なるハッチングにより表している。なお、色分けのみならず、グループ毎に画像の透明度を変更してもよい。例えば、グループＧ１は透明度を０（すなわち全く透明でない）、グループＧ２は透明度を０．５（半分程度透明）、グループＧ３は透明度を０．１（殆ど透明）としてもよい。

次いで、第１の実施形態において行われる処理について説明する。図６は第１の実施形態において行われる処理を示すフローチャートである。立体撮影装置１の電源がオンとされることにより全体制御部１７が処理を開始し、カメラ２Ａ，２Ｂが撮影により取得し、Ａ／Ｄ変換および画像処理が施された画像ＳＡ，ＳＢをＲＡＭ１５に取り込む（ステップＳＴ１）。次いで距離算出部７が、画像ＳＡ，ＳＢに含まれる被写体の被写体距離を算出し（ステップＳＴ２）、立体画像作成部８が立体画像を作成する（ステップＳＴ３）。

次いで、分類部１８が、距離算出部７が算出した画像ＳＡ，ＳＢの画素毎の被写体距離に基づいて、画像ＳＡ，ＳＢに含まれる被写体を３つのグループに分類する（ステップＳＴ４）。そして、表示態様変更部１９が、立体画像ＳＲを分類結果に応じて色分けして（ステップＳＴ５）、色分けされた立体画像ＳＲを画像ＳＡ，ＳＢとともにモニタ１０に表示し（ステップＳＴ６）、ステップＳＴ１にリターンする。

このように、第１の実施形態においては、被写体距離に応じた被写体の分類結果に応じて、立体画像ＳＲに含まれる被写体を色分けして表示するようにしたため、表示した立体画像ＳＲを観察することにより、撮影しようとしている被写体の被写体距離を容易に認識することができる。したがって、好ましくない被写体距離となる被写体が撮影した画像ＳＡ，ＳＢに含まれるか否かを容易に判断することができ、好ましくない被写体距離となる被写体が画像ＳＡ，ＳＢに含まれる場合には、カメラ２Ａ，２Ｂの基線長や輻輳角等を調整することが可能となる。これにより、好ましい被写体距離の被写体のみを含む画像を取得することができ、その結果、見ていても疲労感のない立体画像ＳＲを作成することができる。

なお、第１の実施形態においては、被写体距離に応じて立体画像ＳＲを色分けしているが、画像ＳＡ，ＳＢを色分けして表示するようにしてもよく、画像ＳＡ，ＳＢおよび立体画像ＳＲの双方を色分けして表示するようにしてもよい。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態による立体撮影装置は、第１の実施形態による立体撮影装置１と同一の構成を有し、表示態様変更部１９が行う処理のみが異なるため、ここでは構成についての詳細な説明は省略する。第１の実施形態においては、被写体距離に応じて立体画像ＳＲを色分けしていたが、第２の実施形態においては、グループＧ３に分類された画素を含む所定範囲の領域をマスキングするようにした点が第１の実施形態と異なる。

図７は第２の実施形態において行われる処理を示すフローチャートである。立体撮影装置１の電源がオンとされることにより全体制御部１７が処理を開始し、カメラ２Ａ，２Ｂが撮影により取得し、Ａ／Ｄ変換および画像処理が施された画像ＳＡ，ＳＢをＲＡＭ１５に取り込む（ステップＳＴ１１）。次いで距離算出部７が、画像ＳＡ，ＳＢに含まれる被写体の被写体距離を算出し（ステップＳＴ１２）、立体画像作成部８が立体画像を作成する（ステップＳＴ１３）。

次いで、分類部１８が、距離算出部７が算出した画像ＳＡ，ＳＢの画素毎の被写体距離に基づいて、画像ＳＡ，ＳＢに含まれる被写体を３つのグループに分類する（ステップＳＴ１４）。そして、表示態様変更部１９が、立体画像ＳＲを所定数（例えば８）の領域に分割し（ステップＳＴ１５）、分割により得られた各領域において、グループＧ３に分類された画素の割合を算出する（ステップＳＴ１６）。そして、算出した割合がしきい値Ｔｈ１（例えば３０％）以上となる領域（エラー領域とする）をＲＡＭ１５に記憶し（ステップＳＴ１７）、立体画像ＳＲにおけるエラー領域をマスキングし（ステップＳＴ１８）、マスキングされた立体画像ＳＲを画像ＳＡ，ＳＢとともにモニタ１０に表示し（ステップＳＴ１９）、ステップＳＴ１１にリターンする。

図８はマスキングを説明するための図である。図８に示すように立体画像ＳＲを８つの領域Ａ１〜Ａ８に分割したとすると、グループＧ３に分類された画素は領域Ａ５，Ａ６に含まれ、その割合は領域Ａ５，Ａ６内の全画素に対して３０％以上となっている。したがって、領域Ａ５，Ａ６のみが図９に示すようにマスキングされてモニタ１０に表示される。なお、マスキングはマスキングする領域の色をグレーとすることにより行えばよい。なお、図９においてはマスキングする領域を黒としている。

このように第２の実施形態においては、立体画像ＳＲ上におけるグループＧ３の被写体距離となる被写体を含む領域のみをマスキングするようにしたため、立体画像ＳＲにおいて疲労感を与えるような被写体距離の領域を立体視することができなくなる。したがって、見ていても疲労感のない立体画像ＳＲを作成することができる。

なお、第２の実施形態においては、領域Ａ５，Ａ６をマスキングしているが、グループＧ３に分類された画素からなる領域のみをマスキングするようにしてもよい。

次いで、本発明の第３の実施形態について説明する。なお、第３の実施形態による立体撮影装置は、第１の実施形態による立体撮影装置１と同一の構成を有し、表示態様変更部１９が行う処理のみが異なるため、ここでは構成についての詳細な説明は省略する。第１の実施形態においては、被写体距離に応じて立体画像ＳＲを色分けしていたが、第３の実施形態においては、立体画像におけるグループＧ３に分類された画素を含む所定範囲の領域を、画像ＳＡまたは画像ＳＢの対応する領域と置換するようにした点が第１の実施形態と異なる。

図１０は第３の実施形態において行われる処理を示すフローチャートである。立体撮影装置１の電源がオンとされることにより全体制御部１７が処理を開始し、カメラ２Ａ，２Ｂが撮影により取得し、Ａ／Ｄ変換および画像処理が施された画像ＳＡ，ＳＢをＲＡＭ１５に取り込む（ステップＳＴ２１）。次いで距離算出部７が、画像ＳＡ，ＳＢに含まれる被写体の被写体距離を算出し（ステップＳＴ２２）、立体画像作成部８が立体画像を作成する（ステップＳＴ２３）。

次いで、分類部１８が、距離算出部７が算出した画像ＳＡ，ＳＢの画素毎の被写体距離に基づいて、画像ＳＡ，ＳＢに含まれる被写体を３つのグループに分類する（ステップＳＴ２４）。そして、表示態様変更部１９が、立体画像ＳＲを所定数（例えば８）の領域に分割し（ステップＳＴ２５）、分割により得られた各領域において、グループＧ３に分類された画素の割合を算出する（ステップＳＴ２６）。そして、算出した割合がしきい値Ｔｈ１（例えば３０％）以上となるエラー領域をＲＡＭ１５に記憶し（ステップＳＴ２７）、立体画像ＳＲにおけるエラー領域を、画像ＳＡまたは画像ＳＢにおけるエラー領域に対応する領域と置換し（ステップＳＴ２８）、エラー領域が置換された立体画像ＳＲを画像ＳＡ，ＳＢとともにモニタ１０に表示し（ステップＳＴ２９）、ステップＳＴ２１にリターンする。

ここで、上記図８に示すように立体画像ＳＲを８つの領域Ａ１〜Ａ８に分割したとすると、グループＧ３に分類された画素は領域Ａ５，Ａ６に含まれ、その割合は３０％以上となっている。したがって、第３の実施形態によれば、領域Ａ５，Ａ６のみが図１１に示すように画像ＳＡの対応する領域と置換されてモニタ１０に表示される。

このように第３の実施形態においては、立体画像ＳＲにおいて、グループＧ３の被写体距離となる被写体を含む領域のみを画像ＳＡまたは画像ＳＢにおける対応する領域と置換するようにしたため、立体画像ＳＲにおいて疲労感を与えるような被写体距離の領域を立体視することができなくなる。したがって、見ていても疲労感のない立体画像ＳＲを作成することができる。

なお、第３の実施形態においては、領域Ａ５，Ａ６を画像ＳＡと置換しているが、グループＧ３に分類された画素からなる領域のみを画像ＳＡと置換するようにしてもよい。

次いで、本発明の第４の実施形態について説明する。図１２は本発明の第４の実施形態による立体撮影装置の構成を示す概略ブロック図である。なお、第４の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第４の実施形態による立体撮影装置１Ａは、第１の実施形態における表示態様変更部１９に代えて、警告部２０を備えた点が第１の実施形態と異なる。

次いで、第４の実施形態において行われる処理について説明する。図１３は第４の実施形態において行われる処理を示すフローチャートである。立体撮影装置１Ａの電源がオンとされることにより全体制御部１７が処理を開始し、カメラ２Ａ，２Ｂが撮影により取得し、Ａ／Ｄ変換および画像処理が施された画像ＳＡ，ＳＢをＲＡＭ１５に取り込む（ステップＳＴ３１）。次いで距離算出部７が、画像ＳＡ，ＳＢに含まれる被写体の被写体距離を算出し（ステップＳＴ３２）、立体画像作成部８が立体画像を作成する（ステップＳＴ３３）。

次いで、分類部１８が、距離算出部７が算出した画像ＳＡ，ＳＢの画素毎の被写体距離に基づいて、画像ＳＡ，ＳＢに含まれる被写体を３つのグループに分類する（ステップＳＴ３４）。そして、警告部２０が、グループＧ３に分類された画素の立体画像ＳＲの全画素に対する割合を算出する（ステップＳＴ３５）。そして、算出した割合がしきい値Ｔｈ２（例えば３０％）以上であるか否かを判定し（ステップＳＴ３６）、ステップＳＴ３６が肯定されるとモニタ１０に立体画像ＳＲを表示するともに表示された立体画像ＳＲ上に警告表示を行い（ステップＳＴ３７）、ステップＳＴ３１にリターンする。一方、ステップＳＴ３６が否定されると、ステップＳＴ３１にリターンする。

図１４は警告表示の例を示す図である。図１４に示すように、ステップＳＴ３６が肯定された場合に、立体画像ＳＲに重畳して「立体視非適正範囲が多すぎます。調整を行って下さい」の警告表示３０が行われる。

このように第４の実施形態においては、立体画像ＳＲにおいて、グループＧ３の被写体距離となる画素の割合が所定値Ｔｈ２以上の場合に警告表示３０を行うようにしたため、表示された立体画像ＳＲを観察することにより、好ましくない被写体距離となる被写体が撮影した画像ＳＡ，ＳＢに含まれるか否かを容易に判断することができる。したがって、警告表示３０がなされた場合には、カメラ２Ａ，２Ｂの基線長や輻輳角等を調整することが可能となる。これにより、好ましい被写体距離の被写体のみを含む画像を取得することができ、その結果、見ていても疲労感のない立体画像ＳＲを作成することができる。

なお、上記第４の実施形態においては、警告表示３０を行った後も撮影を続けているが、警告表示３０を行った後に撮影を停止してもよい。これにより、疲労感が大きい画像が記録媒体１２に記録されてしまい、記録媒体１２が無駄に消費されてしまうことを防止することができる。

次いで、本発明の第５の実施形態について説明する。図１５は本発明の第５の実施形態による立体撮影装置の構成を示す概略ブロック図である。なお、第５の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第５の実施形態による立体撮影装置１Ｂは、第１の実施形態における立体撮影装置１において、警告部２０をさらに備えた点が第１の実施形態と異なる。

次いで、第５の実施形態において行われる処理について説明する。図１６は第５の実施形態において行われる処理を示すフローチャートである。立体撮影装置１Ａの電源がオンとされることにより全体制御部１７が処理を開始し、カメラ２Ａ，２Ｂが撮影により取得し、Ａ／Ｄ変換および画像処理が施された画像ＳＡ，ＳＢをＲＡＭ１５に取り込む（ステップＳＴ４１）。次いで距離算出部７が、画像ＳＡ，ＳＢに含まれる被写体の被写体距離を算出し（ステップＳＴ４２）、立体画像作成部８が立体画像を作成する（ステップＳＴ４３）。

次いで、分類部１８が、距離算出部７が算出した画像ＳＡ，ＳＢの画素毎の被写体距離に基づいて、画像ＳＡ，ＳＢに含まれる被写体を３つのグループに分類する（ステップＳＴ４４）。そして、表示態様変更部１９が、立体画像ＳＲを分類結果に応じて色分けして（ステップＳＴ４５）、色分けされた立体画像ＳＲを画像ＳＡ，ＳＢとともにモニタ１０に表示する（ステップＳＴ４６）。

次いで警告部２０が、グループＧ３に分類された画素の立体画像ＳＲの全画素に対する割合を算出する（ステップＳＴ４７）。そして、算出した割合がしきい値Ｔｈ２（例えば３０％）以上であるか否かを判定し（ステップＳＴ４８）、ステップＳＴ４８が肯定されると、警告部２０が表示された立体画像ＳＲ上に警告表示を行い（ステップＳＴ４９）、ステップＳＴ４１にリターンする。一方、ステップＳＴ４８が否定されると、ステップＳＴ４１にリターンする。

このように第５の実施形態においては、警告表示３０を行うとともに、立体画像ＳＲに含まれる被写体を色分けして表示するようにしたため、表示された立体画像ＳＲを観察することにより、撮影しようとしている被写体の被写体距離を容易に認識することができるとともに、好ましくない被写体距離となる被写体が撮影した画像ＳＡ，ＳＢに含まれるか否かを容易に判断することができる。したがって、警告表示３０がなされた場合には、カメラ２Ａ，２Ｂの基線長や輻輳角等を調整することが可能となり、これにより、好ましい被写体距離の被写体のみを含む画像を取得することができ、その結果、見ていても疲労感のない立体画像ＳＲを作成することができる。

なお、上記第５の実施形態においては、表示態様変更部１９が第１の実施形態と同様に立体画像ＳＲを色分けしているが、第２の実施形態と同様にマスキングを行ってもよく、第３の実施形態と同様に、立体画像ＳＲにおけるグループＧ３に分類された領域を画像ＳＡまたは画像ＳＢの対応する領域と置換するようにしてもよい。

次いで、本発明の第６の実施形態について説明する。図１７は本発明の第６の実施形態による立体撮影装置の構成を示す概略ブロック図である。なお、第６の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第６の実施形態による立体撮影装置１Ｃは、第１の実施形態における表示態様変更部１９に代えて、警告部２０およびカメラ調整部２１を備えた点が第１の実施形態と異なる。

カメラ調整部２１は、グループＧ３に分類された画素の立体画像ＳＲの全画素に対する割合がしきい値Ｔｈ２（例えば３０％）以上である場合、画像ＳＡ，ＳＢの視差が所定のしきい値Ｔｈ３以下となるように、輻輳角変更の指示をカメラ駆動機構６Ａ，６Ｂに行う。これにより、カメラ駆動機構６Ａ，６Ｂがカメラ２Ａ，２Ｂの輻輳角を変更する。

次いで、第６の実施形態において行われる処理について説明する。図１８は第６の実施形態において行われる処理を示すフローチャートである。立体撮影装置１Ｃの電源がオンとされることにより全体制御部１７が処理を開始し、カメラ２Ａ，２Ｂが撮影により取得し、Ａ／Ｄ変換および画像処理が施された画像ＳＡ，ＳＢをＲＡＭ１５に取り込む（ステップＳＴ５１）。次いで距離算出部７が、画像ＳＡ，ＳＢに含まれる被写体の被写体距離を算出し（ステップＳＴ５２）、立体画像作成部８が立体画像を作成する（ステップＳＴ５３）。

次いで、分類部１８が、距離算出部７が算出した画像ＳＡ，ＳＢの画素毎の被写体距離に基づいて、画像ＳＡ，ＳＢに含まれる被写体を３つのグループに分類する（ステップＳＴ５４）。そして、警告部２０が、グループＧ３に分類された画素の立体画像ＳＲの全画素に対する割合を算出する（ステップＳＴ５５）。そして、算出した割合がしきい値Ｔｈ２（例えば３０％）以上であるか否かを判定し（ステップＳＴ５６）、ステップＳＴ５６が否定されると、ステップＳＴ５１にリターンする。

ステップＳＴ５６が肯定されると、モニタ１０に立体画像ＳＲを表示するともに、表示された立体画像ＳＲ上に警告表示を行い（ステップＳＴ５７）、カメラ調整部２１が、カメラ２Ａ，２Ｂの輻輳角を１ステップ変更する指示をカメラ駆動機構６Ａ，６Ｂに対して行う（ステップＳＴ５８）。

次いで、立体画像作成部８がグループＧ３に分類された画素についての視差がしきい値Ｔｈ３以上であるか否かを判定する（ステップＳＴ５９）。ステップＳＴ５９が否定されるとステップＳＴ５１にリターンする。ステップＳＴ５９が肯定されると、ステップＳＴ５７に戻り、ステップＳＴ５７以降の処理を繰り返す。

図１９は輻輳角の変更を説明するための図である。図１９に示すように画像ＳＡ，ＳＢの視差が大きいと立体画像ＳＲにおいて被写体のずれが大きくなるため、立体視をしようとすると非常に疲労感が大きくなる。これは画像ＳＡ，ＳＢの画角のずれが大きいためである。このため、第６の実施形態のようにカメラ２Ａ，２Ｂの輻輳角を変更して画角のずれを小さくすると視差も小さくなるため、図２０に示すように立体画像ＳＲにおいて被写体のずれを小さくすることができる。このため、容易に立体視を行うことができ、その結果、観察時に疲労感の少ない立体画像ＳＲを作成することができる。

なお、上記第６の実施形態においては、カメラ２Ａ，２Ｂの輻輳角を変更しているが、基線長を変更してもよい。また、図２１に示すように、カメラ２Ａ，２Ｂのズーム倍率を小さくなるように変更することによっても、視差のずれを小さくすることができる。

また、上記第６の実施形態においては、警告部２０を備え、警告表示を行った後にカメラ２Ａ，２Ｂの輻輳角を変更しているが、警告部２０を省略し、警告表示を行うことなくカメラ２Ａ，２Ｂの輻輳角を変更するようにしてもよい。

また、上記第４から第６の実施形態においては、警告部２０がモニタ１０に警告表示３０を行っているが、音声による警告を行うようにしてもよい。また、警告表示３０および音声による警告の双方を同時に行うようにしてもよい。

次いで、本発明の第７の実施形態について説明する。図２２は本発明の第７の実施形態による立体撮影装置の構成を示す概略ブロック図である。なお、第７の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第７の実施形態による立体撮影装置１Ｄは、距離検出カメラ２３を備え、距離算出部７が算出した被写体距離に代えて、距離検出カメラ２３が検出した被写体距離を用いて被写体の分類を行うようにした点が第１の実施形態と異なる。

距離検出カメラ２３は、被写体に向けて出射した近赤外線等の測距光が被写体により反射して戻ってくるまでの時間を計測することにより、カメラ２Ａ，２Ｂから被写体までの距離を測定する、ＴＯＦ（Time Of Flight）方式のカメラである。なお、撮影する画像の焦点位置を検出し、その焦点位置に基づいて被写体距離を算出するものであってもよい。

このように距離検出カメラ２３を用いて被写体距離を算出することによっても、上記第１から第６の実施形態と同様に、被写体距離に応じて被写体を分類することができる。

本発明の第１の実施形態による立体撮影装置の構成を示す概略ブロック図 視差を説明するための図 分類を説明するための図 モニタの表示の例を示す図 色分けされた立体画像を示す図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態において行われる処理を示すフローチャート マスキングを説明するための図（その１） マスキングを説明するための図（その２） 第３の実施形態において行われる処理を示すフローチャート 画像の置換を説明するための図 本発明の第４の実施形態による立体撮影装置の構成を示す概略ブロック図 第４の実施形態において行われる処理を示すフローチャート 警告表示の例を示す図 本発明の第４の実施形態による立体撮影装置の構成を示す概略ブロック図 第５の実施形態において行われる処理を示すフローチャート 本発明の第６の実施形態による立体撮影装置の構成を示す概略ブロック図 第６の実施形態において行われる処理を示すフローチャート 輻輳角の変更を説明するための図（その１） 輻輳角の変更を説明するための図（その２） ズーム倍率の変更を説明するための図 本発明の第７の実施形態による立体撮影装置の構成を示す概略ブロック図

符号の説明

１，１Ａ〜１Ｄ 立体撮影装置
２Ａ，２Ｂ カメラ
５ カメラ制御部
６Ａ，６Ｂ カメラ駆動機構
７ 距離算出部
８ 立体画像作成部
１０ モニタ
１７ 全体制御部
１８ 分類部
１９ 表示態様変更部
２０ 警告部
２１ カメラ調整部

Claims (10)

1. 被写体を異なる複数の視点から撮影することにより、各視点における複数の画像を取得する複数の撮影手段と、
   前記複数の撮影手段から前記被写体までの距離である被写体距離を測定する測距手段と、
   前記画像に含まれる被写体を、前記被写体距離に応じた複数のグループに分類し、該分類結果を出力する分類手段と、
   前記複数の画像および／または該複数の画像から作成した立体画像を表示する表示手段と、
   前記複数の画像および／または該複数の画像から作成した立体画像を表示するに際し、前記分類結果に基づいて、前記複数の画像および／または前記立体画像に含まれる、所定の被写体距離となる被写体を含む領域をマスキングする表示態様変更手段とを備えたことを特徴とする立体撮影装置。
2. 被写体を異なる複数の視点から撮影することにより、各視点における複数の画像を取得する複数の撮影手段と、
   前記複数の撮影手段から前記被写体までの距離である被写体距離を測定する測距手段と、
   前記画像に含まれる被写体を、前記被写体距離に応じた複数のグループに分類し、該分類結果を出力する分類手段と、
   前記複数の画像および／または該複数の画像から作成した立体画像を表示する表示手段と、
   前記複数の画像および／または該複数の画像から作成した立体画像を表示するに際し、前記分類結果に基づいて、前記立体画像に含まれる、所定の被写体距離となる被写体を含む領域を、前記複数の画像のいずれかの画像に含まれる対応する領域の画像と置換する表示態様変更手段とを備えたことを特徴とする立体撮影装置。
3. 前記分類結果に基づいて、前記所定の被写体距離となる被写体が占める領域の前記複数の画像および／または前記立体画像に対する割合を算出し、該割合が所定値以上の場合に警告を行う警告手段をさらに備えたことを特徴とする請求項１または２記載の立体撮影装置。
4. 前記分類結果に基づいて、前記所定の被写体距離となる被写体が占める領域の前記複数の画像および／または前記立体画像に対する割合を算出し、該割合が所定値以上の場合に、前記複数の撮影手段の輻輳角、基線長およびズーム倍率のうちの少なくとも１つを調整する調整手段をさらに備えたことを特徴とする請求項１または２記載の立体撮影装置。
5. 前記測距手段は、前記複数の画像からステレオマッチングの手法を用いて前記被写体距離を測定する手段であることを特徴とする請求項１から４のいずれか１項記載の立体撮影装置。
6. 前記測距手段は、前記被写体に向けて出射した測距光が該被写体により反射して戻ってくるまでの時間を計測することにより前記被写体距離を測定する手段であることを特徴とする請求項１から４のいずれか１項記載の立体撮影装置。
7. 被写体を異なる複数の視点から撮影することにより、各視点における複数の画像を取得し、
   前記複数の撮影手段から前記被写体までの距離である被写体距離を測定し、
   前記画像に含まれる被写体を、前記被写体距離に応じた複数のグループに分類し、該分類結果を出力し、
   前記複数の画像および／または該複数の画像から作成した立体画像を表示するに際し、前記分類結果に基づいて、前記複数の画像および／または前記立体画像に含まれる、所定の被写体距離となる被写体を含む領域をマスキングすることを特徴とする立体撮影方法。
8. 被写体を異なる複数の視点から撮影することにより、各視点における複数の画像を取得し、
   前記複数の撮影手段から前記被写体までの距離である被写体距離を測定し、
   前記画像に含まれる被写体を、前記被写体距離に応じた複数のグループに分類し、該分類結果を出力し、
   前記複数の画像および／または該複数の画像から作成した立体画像を表示するに際し、前記分類結果に基づいて、前記立体画像に含まれる、所定の被写体距離となる被写体を含む領域を、前記複数の画像のいずれかの画像に含まれる対応する領域の画像と置換することを特徴とする立体撮影方法。
9. 被写体を異なる複数の視点から撮影することにより、各視点における複数の画像を取得する手順と、
   前記複数の撮影手段から前記被写体までの距離である被写体距離を測定する手順と、
   前記画像に含まれる被写体を、前記被写体距離に応じた複数のグループに分類し、該分類結果を出力する手順と、
   前記複数の画像および／または該複数の画像から作成した立体画像を表示する手順と、
   前記分類結果に基づいて、前記複数の画像および／または前記立体画像に含まれる、所定の被写体距離となる被写体を含む領域をマスキングする手順とを有することを特徴とする立体撮影方法をコンピュータに実行させるためのプログラム。
10. 被写体を異なる複数の視点から撮影することにより、各視点における複数の画像を取得する手順と、
    前記複数の撮影手段から前記被写体までの距離である被写体距離を測定する手順と、
    前記画像に含まれる被写体を、前記被写体距離に応じた複数のグループに分類し、該分類結果を出力する手順と、
    前記複数の画像および／または該複数の画像から作成した立体画像を表示する手順と、
    前記分類結果に基づいて、前記立体画像に含まれる、所定の被写体距離となる被写体を含む領域を、前記複数の画像のいずれかの画像に含まれる対応する領域の画像と置換する手順とを有することを特徴とする立体撮影方法をコンピュータに実行させるためのプログラム。

Images