JP5526233B2 - 立体視用画像撮影装置およびその制御方法 - Google Patents

Description

この発明は，立体視用画像撮影装置およびその制御方法に関する。

特許文献１には，カメラを移動させながら得られる多数の画像群（第１の画像群）について隣合う画像間同士で特徴点の対応付けを行い，上記特徴点の対応付け情報を用いて第１の画像群の中から視点間隔が一定の画像群（第２の画像群）を得るものが記載されている。第２の画像群によって立体画像が構成される。

特開２００６−１１３８０７号公報

しかしながら，視点間隔が一定であっても隣合う画像同士において対応づけられる特徴点の数が少ないと，立体視に違和感が生じるおそれがある。

この発明は，立体視に適する画像を簡便に得ることができるようにすることを目的とする。

この発明による立体視用画像撮影装置は，被写体を撮像し，撮像によって得られる画像データを出力する撮像手段を備え，上記撮像手段から出力される左目用視点および右目用視点からの被写体像を表す画像データから立体視用画像ファイルを生成するものであり，左目用視点または右目用視点のいずれか一方の基準視点から得られる第１画像データを用いて検出される複数の特徴点のそれぞれに対応する対応点を，左目用視点または右目用視点のいずれか他方の上記基準視点と異なる視点から得られる第２画像データを用いて探索する対応点探索手段，上記対応点探索手段による探索によって見つかった対応点の数が第１の閾値以上であるかどうかを判断する対応点数判断手段，上記対応点数判断手段によって対応点数が第１の閾値未満と判断された場合に，上記基準視点と異なる視点からの再度の撮像によって得られる，新たな第２画像データを用いて上記対応点探索および上記対応点数判断を再実行する、上記対応点探索手段および対応点数判断手段を制御する制御手段，ならびに上記対応点数判断手段によって対応点数が第１の閾値以上と判断された場合に，判断の際の第１画像データおよび第２画像データを用いて立体画像ファイルを作成する立体画像ファイル作成手段を備える。上記第１の閾値はあらかじめ定められる数であってもよいし，上記第２画像データによって表される第２画像を構成する画素数に対する割合によって定められる数であってもよい。

この発明は，上記立体視用画像撮影装置の制御方法も提供する。この方法は，被写体を撮像し，撮像によって得られる画像データを出力する撮像手段を備え，上記撮像手段から出力される左目用視点および右目用視点からの被写体像を表す画像データから立体視用画像データを生成する立体視用画像撮影装置の制御方法であって，対応点探索手段が，左目用視点または右目用視点のいずれか一方の基準視点から得られる第１画像データを用いて検出される複数の特徴点のそれぞれに対応する対応点を，左目用視点または右目用視点のいずれか他方の上記基準視点と異なる視点から得られる第２画像データを用いて探索し，対応点数判断手段が，上記対応点探索手段による探索によって見つかった対応点の数が第１の閾値以上であるかどうかを判断し，制御手段が，上記対応点数判断手段によって対応点数が第１の閾値未満と判断された場合に，上記基準視点と異なる視点からの再度の撮像によって得られる，新たな第２画像データを用いて上記対応点探索および上記対応点数判断を再実行するように，上記対応点探索手段および上記対応点数判断手段を制御し，立体画像ファイル作成手段が，上記対応点数判断手段によって対応点数が第１の閾値以上と判断された場合に，そのときの第１画像データおよび第２画像データを用いて立体画像ファイルを作成する。

基準視点（たとえば左目用視点）から得られる第１画像と，上記基準視点と異なる視点（たとえば右目用視点）から得られる第２画像が用いられて，第１画像から検出される特徴点に対応する対応点が第２画像から探索される。探索によって見つかった対応点の数が第１の閾値以上であれば，その第１画像を表す第１画像データおよび第２画像を表す第２画像データから立体画像ファイルが作成される。他方，対応点の数が第１の閾値に満たない場合には，再度の撮像によって得られる，新たな第２画像データが用いられて対応点の探索および探索によって見つかった対応点の数が第１の閾値以上であるかの判断が再度実行される。

第２画像データと新たな第２画像データとは，いずれも上記基準視点と異なる視点（たとえば右目用視点）から被写体を撮像（撮影）することによって得られる画像データであることは共通するが，その撮影タイミングが異なり，したがって異なる画像データであることを意味する。対応点数が第１の閾値未満と判断された場合に，その後に上記基準視点と異なる視点から上記被写体が再撮影されることによって得られる画像データを上記新たな第２画像データとしてもよいし，あらかじめの複数回の撮像によって得られる上記基準視点と異なる視点からの複数の第２画像データの中から選択される一の第２画像データを上記新たな第２画像データとして用いてもよい。

この発明によると，第１画像と，第１画像から検出される特徴点に対応する対応点を多く含む第２画像とによって立体画像ファイルが作成される。視点が異なりかつ構図が比較的合致する第１画像および第２画像から立体画像ファイルが構成されるので，立体視に適する立体画像を得ることができる。

第１の閾値以上の数の対応点を持つ第２画像データが得られるまで（対応点探索手段による探索によって見つかった対応点の数が，対応点数判断手段によって第１の閾値以上であると判断されるまで），上記基準視点と異なる視点からの撮像，上記対応点探索および上記対応点数判断を繰返してもよい。

好ましくは，上記対応点数判断手段による所定回数の判断処理，または所定時間内における上記対応点数判断手段による複数回の判断処理を終えた時点において，第１の閾値以上の数の対応点を持つ第２画像データが未取得の場合に，上記第１の閾値を下げる閾値低減手段がさらに備えられる。長時間にわたって立体画像ファイルの作成に至らない状況を回避することができる。

一実施態様では，上記対応点探索手段による探索によって見つかった対応点ごとに，上記特徴点と上記対応点との視差値を算出する視差値算出手段を備え，上記対応点数判断手段は，上記対応点探索手段による探索によって見つかった対応点のうち，所定視差値を持つ対応点の数が第２の閾値以上であるかどうかを判断するものである。この場合，上記所定視差値を持つ対応点の数が第２の閾値以上と判断された場合に上記立体画像ファイルの作成に進み，上記所定視差値を持つ対応点の数が第２の閾値未満と判断された場合に新たな第２画像データを用いた上記対応点探索および上記対応点数判断の再実行に進む。立体視に適する視差値（所定視差値）を有する第１画像と第２画像の組が立体画像ファイルとされるので，立体視を行いやすい立体画像ファイルを得ることができる。第２の閾値も，あらかじめ定められる数であってもよいし，上記第２画像データによって表される第２画像を構成する画素数に対する割合によって定められる数であってもよい。

他の実施態様では，上記対応点数判断手段は，上記対応点数探索手段による探索によって見つかった対応点のうち，限界視差値以上の視差値を持つ対応点の数が第３の閾値未満であるかどうかをさらに判断するものである。この場合には，上記所定視差値を持つ対応点の数が第２の閾値以上，かつ上記限界視差値以上の視差値を持つ対応点の数が上記第３の閾値未満と判断された場合に上記立体画像ファイルの作成に進み，上記所定視差値を持つ対応点の数が第２の閾値未満または上記限界視差値以上の視差値を持つ対応点の数が上記第３の閾値以上と判断された場合に，新たな第２画像データを用いた上記対応点探索および上記対応点数判断の再実行に進む。第２画像中に大きすぎる視差値（限界視差値以上の視差値）（立体視に適さない視差値）を有する対応点が所定数（第３の閾値）以上見つかった場合には，新たな第２画像データを用いた処理に進むことができる。第３の閾値も，あらかじめ定められる数であってもよいし，上記第２画像データによって表される第２画像を構成する画素数に対する割合によって定められる数であってもよい。

上記視差値算出手段は，上記特徴点の座標値から上記特徴点に対応する対応点の座標値を減算することによって対応点ごとの上記視差値を算出するものであり，上記対応点数判断手段は，正の視差値が算出された対応点または負の視差値が算出された対応点のいずれかを優先して用いるものであってもよい。奥まり感または飛出感のいずれかが強調された立体画像を表す立体画像ファイルを得ることができる。

好ましくは，上記対応点探索手段による対応点探索に用いられる第２画像データによって表される第２画像を複数の領域に分割する領域分割手段を備え，上記対応点数判断手段は，上記領域分割手段によって分割された複数の分割領域のそれぞれについて，分割領域に含まれる対応点の数が第４の閾値以上であるかどうかを判断する。画像全体にわたって対応点が多数存在する第２画像が立体画像ファイルを構成する画像として選ばれるので，画像全体にわたって立体視可能が立体画像ファイルを得ることができる。第４の閾値も，あらかじめ定められる数であってもよいし，分割領域を構成する画素数に対する割合によって定められる数であってもよい。

他の実施態様では，輝度または色の変化の少ない画像平坦領域を検出する画像平坦領域検出手段を備え，上記対応点探索手段は，上記画像平坦領域検出手段によって検出された画像平坦領域を除く残り画像領域を上記対応点探索の範囲とする。対応点が探索されにくい画像平坦領域を対応点探索範囲から除外することによって，対応点探索処理の効率化を図ることができる。なお、ここでいう「画像平坦領域」とは、画像内にてエッジや輪郭が検出されない特徴点の存在しない領域を言うものである。

さらに，上記第２画像の左右の端部の所定領域を除く残り画像領域を上記対応点探索の範囲としてもよい。オーバーラップする画像部分が少ないことがある画像の左右端部を対応点探索範囲から除外することによって対応点探索処理の効率化を図ることができる。

立体視用画像撮影装置は，動画撮影によって得られる画像データを上記第１画像データおよび第２画像データとして用いるものであってもよい。

上記第２画像データによって表わされる第２の被写体像には含まれているが上記第１画像データによって表わされる第１の被写体像には含まれていない第１の死角領域または上記第１の被写体像には含まれているが上記第２の被写体像には含まれていない第２の死角領域の少なくとも一方の死角領域の大きさが第５の閾値以上であるかどうかを判断する死角領域判断手段をさらに備えてもよい。この場合，上記制御手段は，たとえば，上記死角領域判断手段によって，上記第１の死角領域または上記２の死角領域の少なくとも一方の死角領域の大きさが第５の閾値以上と判断された場合に，上記基準視点と異なる視点からの再度の撮像によって得られる，新たな第２画像データを用いて上記対応点探索および上記対応点数判断を再実行するように，上記対応点探索手段および対応点数判断手段を制御するものであり，上記立体画像ファイル作成手段は，たとえば，上記死角領域判断手段によって，上記第１の死角領域または上記第２の死角領域の少なくとも一方の死角領域の大きさが第５の閾値未満と判断された場合に，そのときの第１画像データおよび第２画像データを用いて立体画像ファイルを作成するものである。

また，上記対応点数判断手段は，上記対応点探索手段によって見つかった対応点のうち，視差値の絶対値が第６の閾値以上のものを除く、すなわち、第６の閾値未満の所定視差値をもつ対応点の数が，第１の閾値以上であるかどうかを判断するものでもよい。

さらに，上記第２画像データによって表わされる第２の被写体像から主要被写体像を検出する主要被写体像検出手段をさらに備えてもよい。この場合，上記対応点探索手段は，たとえば，上記第１画像データを用いて検出される複数の特徴点のそれぞれに対応する対応点を，上記主要被写体像検出手段によって検出された主要被写体像の中から探索するものとなろう。

被写体を撮影するときのディジタル・スチル・カメラの位置関係を示す斜視図である。 ディジタル・スチル・カメラの電気的構成を示すブロック図である。 第１実施例におけるディジタル・スチル・カメラの動作を示すフローチャートである。 左目用画像と右目用画像の画像例を示す。 左目用画像と右目用画像の画像例を示す。 左目用画像と右目用画像の画像例を示す。 第１実施例の変形例におけるディジタル・スチル・カメラの動作を示すフローチャートである。 右目用画像と，画像平坦領域，画像左端領域および画像右端領域との関係を示す。 第２実施例のディジタル・スチル・カメラの動作を示すフローチャートである。 左目用画像と右目用画像の画像例を示す。 第３実施例のディジタル・スチル・カメラの処理を示すフローチャートである。 対応点ごとの視差を，破線で示す右目用画像に重合わせて示す。 ディジタル・スチル・カメラの処理を示すフローチャートである。 右目用画像の画像例を示す。 ディジタル・スチル・カメラの処理を示すフローチャートである。 視差ヒストグラムの一例である。 ディジタル・スチル・カメラの処理を示すフローチャートである。 左目用画像と右目用画像の画像例を示す。

（第１実施例）
図１は，この発明の実施例を示すもので，被写体を撮影するときのディジタル・スチル・カメラ１の位置関係を示している。

この実施例によるディジタル・スチル・カメラ１は，同一の被写体を複数回撮影することによって得られる画像から，立体視可能な画像（以下，立体画像という）を得るものである。立体画像を得るために，ディジタル・スチル・カメラ１はその位置（視点）が移動させられ，移動の前後のそれぞれにおいて視点を異ならせて被写体が撮影される。図１はユーザがディジタル・スチル・カメラ１を用いて左目用視点（基準視点）から１回目の撮影を行い，その後被写体に向かって右方向に移動して右目用視点から２回目の撮影を行うときのディジタル・スチル・カメラ１の位置関係を示している。以下の説明では，移動前の撮影によって得られる画像を「左目用画像」とし，移動後の撮影によって得られる画像を「右目用画像」とする。もちろん，移動前の撮影によって得られる画像を「右目用画像」とし，移動後の撮影によって得られる画像を「左目用画像」としてもよい。この場合には，ユーザ（ディジタル・スチル・カメラ１）の移動方向は被写体に向かって左方向となる。いずれにしても左目用画像および右目用画像の２つの画像から立体画像は構成される。

図２はディジタル・スチル・カメラ１の電気的構成を示すブロック図である。なお，ディジタル・スチル・カメラ（静止画を得るもの）に限らず，ディジタル・ムービ・カメラ（動画を得るもの）にもこの発明の実施例は適用することができる。

ディジタル・スチル・カメラ１の全体的な動作はＣＰＵ２によって統括される。

ディジタル・スチル・カメラ１は固体撮像素子（ＣＣＤ，ＣＭＯＳなど）15を備え，固体撮像素子15の前方に撮像レンズ11，絞り12，赤外線カット・フィルタ13および光学的ロウパス・フィルタ（ＯＬＰＦ）14が設けられている。

ディジタル・スチル・カメラ１は操作器３を備えている。操作器３には電源ボタン，モード設定ダイアル，二段ストローク・タイプのシャッタ・レリーズ・ボタンなどが含まれる。操作器３から出力される操作信号はＣＰＵ２に入力する。モード設定ダイアルによって設定されるモードには撮影モード，再生モードなどがある。撮影モードの中にはさらに通常撮影モード，立体撮影モードなどがある。

またディジタル・スチル・カメラ１には，ストロボ撮像のための発光装置４および発光装置４から出射される出射光の反射光を受光するための受光装置５が設けられている。

ディジタル・スチル・カメラ１の電源がオンされ，撮影モードが設定されると，被写体像を表す光線束が，撮像レンズ11，絞り12，赤外線カット・フィルタ13および光学的ロウパス・フィルタ14を介して固体撮像素子15の受光面に入射する。固体撮像素子15の受光面上に被写体像が結像し，被写体像を表すアナログ映像信号が固体撮像素子15から出力する。固体撮像素子15によって一定周期で被写体が撮像され，一定周期で被写体像を表すアナログ映像信号が１フレーム分ずつ出力される。

固体撮像素子15から出力された被写体像を表すアナログ映像信号はアナログ信号処理装置16に入力する。アナログ信号処理装置16は相関二重サンプリング回路，信号増幅器などを含み，ここで相関二重サンプリング，信号増幅などが行われる。アナログ信号処理装置16から出力されたアナログ映像信号はアナログ／ディジタル変換回路17に入力し，ここでディジタル画像データに変換される。ディジタル画像データはデータバス32を介してメモリ制御回路21に与えられる。メモリ制御回路21の制御のもと，ディジタル画像データはメイン・メモリ22に一時的に記録される。ＣＰＵ２とメモリ制御回路21等とは制御ライン31によって接続されている。

ディジタル画像データはメイン・メモリ22から読出され，データバス32を介してディジタル信号処理回路23に入力する。ディジタル信号処理回路23では白バランス調整，ガンマ補正などの所定のディジタル信号処理が行われる。ディジタル信号処理回路23においてディジタル信号処理が行われたデータは表示制御回路28に与えられる。表示制御回路28によって表示装置29が制御されることにより表示画面上に被写体像が表示される。

シャッタ・レリーズ・ボタンの第一段階の押下があると，レンズ駆動回路６によってレンズ11が駆動されて焦点合わせが行われる。メイン・メモリ22から読出される画像データに基づいてディジタル信号処理回路23において輝度データが得られ，輝度データは積算回路25に入力して積算される。積算値を表すデータはＣＰＵ２に与えられて露出量が算出される。算出された露出量となるように絞り12の開口が絞り駆動回路７によって制御され，固体撮像素子15のシャッタ速度が撮像素子駆動回路８によって制御される。

シャッタ・レリーズ・ボタンの第二段階の押下があると，アナログ／ディジタル変換回路17から出力された画像データはメイン・メモリ22に記録される。メイン・メモリ22から読み出された画像データに対し，上述のようにディジタル信号処理回路23において所定のディジタル信号処理が行われる。ディジタル信号処理回路23から出力された画像データは圧縮伸張処理回路24においてデータ圧縮される。圧縮された画像データが外部メモリ制御回路26の制御によってメモリ・カード27に記録される。

操作器３において再生モードが設定されると，メモリ・カード27に記録されている圧縮画像データが読出される。読出された圧縮画像データは圧縮伸張処理回路24において伸張された後，表示制御回路28に与えられる。表示装置29の表示画面上に再生画像が表示される。

上述したように，ディジタル・スチル・カメラ１は立体画像を得ることができる。立体画像を得る場合には，操作器３のモード選択ダイアルが用いられて立体撮影モードが選択される。立体撮影モードが選択されたときのディジタル・スチル・カメラ１の動作について，以下詳細に説明する。

図３は立体撮影モードがモード設定ダイアルによって設定されているときのディジタル・スチル・カメラ１の動作を示すフローチャートである。図４，図５および図６は，いずれもディジタル・スチル・カメラ１を用いた撮影によって得られた，左目用画像と右目用画像の画像例を示している。

図３に示すフローチャートにおいて，対応点探索処理（ステップ43，44），対応点数カウント処理（ステップ45），対応点数に基づく判断処理（ステップ46），立体画像作成処理（ステップ47）は，上述したディジタル信号処理回路23またはＣＰＵ２によって行われる。もちろん，これらの処理を実行する専用のハードウエア回路（対応点探索処理回路，対応点数カウント回路，判断回路および立体画像作成回路など）をディジタル・スチル・カメラ１に別途設けてもよい。このことは，後述する他の実施例でも同様である。

シャッタ・レリーズ・ボタンが押下されることによって左目用画像の撮影が行われ，左目用画像データがメイン・メモリ22に記憶される（ステップ41）。その後，ディジタル・スチル・カメラ１が右方向に移動させられて，再びシャッタ・レリーズ・ボタンが押下されて右目用画像の撮影が行われる。右目用画像データもメイン・メモリ22に記憶される（ステップ42）。左目用画像の撮影が行われるディジタル・スチル・カメラ１の位置（視点）と右目用画像の撮影が行われるディジタル・スチル・カメラ１の位置は互いに異なるが，いずれの撮影においても同一の被写体が撮影されるものとする（図１参照）。

メイン・メモリ22に記憶された左目用画像データおよび右目用画像データが用いられて対応点探索処理が行われる（ステップ43）。

対応点探索処理では，メイン・メモリ22に記憶されている左目用画像データまたは右目用画像データの一方を用いて，画像中の物体の角や線分の交点等を検出してこれを特徴点（特徴画素）とし，他方の画像における上記特徴点と相関の高い画素（これを対応点と呼ぶ）を探索する処理が行われる。対応点探索処理はテンプレートマッチング等によって局所的に行われ，複数回の対応点探索処理によって画像全体に対する処理が実行される（ステップ44でNO）。対応点探索処理において一般に複数の特徴点が検出され，かつ複数の対応点が探索されて見つけられる。この実施例では左目用画像Ｌ１を用いて特徴点が検出され，右目用画像Ｒ１〜Ｒ３を用いて上記特徴点に対応する対応点が探索されるものとする。図４〜図６には左側に左目用画像Ｌ１が示され，右側に右目用画像Ｒ１〜Ｒ３が示されている。上述の探索によって見つかった複数の対応点が右目用画像Ｒ１〜Ｒ３上に黒丸によって強調して示されている。左目用画像Ｌ１において検出される複数の特徴点の図示は省略されている。

対応点探索処理が完了すると（ステップ44でYES），見つかった対応点の数がカウントされ（ステップ45），対応点数が，所定の閾値（第１の閾値。たとえば，１％であるが，１％で無くともよい。），ここでは右目用画像Ｒ１の全画素数（左目用画像Ｌ１の全画素数と同じであるのは言うまでもない）の１％以上であるかどうかが判断される（ステップ46）。たとえば，右目用画像Ｒ１が横1,024画素，縦768 画素から構成されている場合，全画素数（1,024×768＝786,432）の１％は約7,864画素である。対応点探索処理において見つかった対応点の数が7,864以上であるかどうかが判断される。

対応点数が全画素数の１％に満たない場合（ステップ46でNO），例えば、ユーザに対し再度の撮影が必要な旨の表示がなされ、その後、ユーザにより右目用画像が再び撮影される（ステップ42）。或いは、対応点数が全画素数の１％に満たない場合（ステップ46でNO），例えば、全自動により右目用画像が再び撮影される（ステップ42）。図４を参照して，図４に示す右目用画像Ｒ１は左目用画像Ｌ１から得られる特徴点に対応する対応点の数が少ない（全画素数の１％に満たない）例を示している。この場合に上述のように右目用画像の再撮影が行われる。再撮影によって得られた右目用画像Ｒ２（図５）を表す画像データが，１回目の撮影によって得られた右目用画像Ｒ１を表す画像データに代えてまたは加えてメイン・メモリ22に新たに記憶される。左目用画像Ｌ１を表す画像データはそのままメイン・メモリ22に保持される。

再撮影によって得られた新たな右目用画像Ｒ２が用いられて対応点が探索され，見つかった対応点数がカウントされる（ステップ42〜45）。二回目以降の対応点探索処理では，一回目の対応点探索処理において既に検出されている左目用画像Ｌ１の特徴点が用いられ，その特徴点に対応する対応点が，新たに得られた右目用画像Ｒ２から探索される。

二度目の撮影によって得られた右目用画像Ｒ２の対応点の数も全画素数の１％に満たない場合には，さらに三度目の右目用画像の撮影が行われ（ステップ46でNO，ステップ42），対応点探索処理および対応点数のカウント処理が繰返される（ステップ43〜45）。

図６を参照して，図６に示す右目用画像Ｒ３は対応点の数が多い（全画素数の１％以上）（図示の便宜上，すべての対応点は示されていない）例を示している。対応点数が全画素数の１％以上である場合（ステップ46でYES ），メイン・メモリ22に記憶されているそのときの左目用画像および右目用画像，ここでは左目用画像Ｌ１と右目用画像Ｒ３の２つの画像を表す画像データから立体画像ファイルが作成される（ステップ47）。立体画像ファイルには，左目用画像Ｌ１を表す画像データおよび右目用画像Ｒ３を表す画像データを含むマルチピクチャーフォーマットにしたがうデータが記録される。作成された立体画像ファイルが外部メモリ制御回路26によってメモリ・カード27に記録されて保存される（ステップ48）。立体撮影モードにおける一連の処理が終了する。

上述した実施例において，複数回の撮影によって得られる右目用画像Ｒ１，Ｒ２，Ｒ３は，たとえば連写（１秒間に複数駒の撮影が行われるタイミングのそれぞれでの撮影）によって得られる。ユーザがディジタル・スチル・カメラ１を両手で持っている場合，一般に連写のそれぞれのタイミングでディジタル・スチル・カメラ１の向きが異なるのが通常であるから，複数回の撮影のうちに対応点の数の多い右目用画像を得られる可能性が高い。

左目用画像から得られる特徴点に対応する右目用画像中の対応点の数が少ない場合，その２つの画像を用いると立体視が困難または立体視に違和感が生じることがある。上述のように，対応点数が所定閾値（上述の実施例では，全画素数の１パーセント）よりも少ない場合には右目用画像の撮影を再度行い，所定閾値以上の対応点を有する右目用画像が得られると，その右目用画像を用いて立体画像が構成される。視点が異なりかつ構図が比較的一致している左目用画像と右目用画像の組から立体画像ファイルが作成されるので，立体視に適した左目用画像と右目用画像の組（立体画像）を得ることができる。

上述した第１実施例において，あらかじめ定められた撮影回数（処理回数）またはあらかじめ定められた時間内での複数回の撮影を終えても対応点数が所定閾値以上とならなかった場合には，閾値を下げて（ステップ46の判断に用いられるパーセント値を小さくする），低められた閾値を用いて再撮影に進むかどうかを判断してもよい。このことは後述する他の実施例でも同様である。

また，上述した第１実施例では，右目用画像Ｒ１，Ｒ２，Ｒ３が撮影されるたびに対応点探索処理（ステップ43，44），対応点数カウント処理（ステップ45），対応点数に基づく判断処理（ステップ46）が行われているが，一定時間連続撮影してあらかじめ複数の右目用画像を得ておき，その後に複数の右目用画像のそれぞれについて対応点探索処理（ステップ43，44），対応点数カウント処理（ステップ45），および対応点数に基づく判断処理（ステップ46）を行うようにしてもよい。このことは後述する他の実施例でも同様である。

（変形例）
図７は第１実施例の変形例におけるディジタル・スチル・カメラ１の動作を示すフローチャートである。図３に示す第１実施例のフローチャートと同一の処理には同一符号を付し，重複した詳細な説明は避ける。

第１実施例では，左目用画像および右目用画像の全領域を用いて対応点探索処理を行っている。第１実施例の変形例では，後述する画像平坦領域および画像左右端領域を除外して，これらの画像平坦領域および画像左右端領域を除く残り領域を処理対象にして対応点探索処理が行われる。

図８は，右目用画像Ｒ３と，画像平坦領域ＦＡ，画像左端領域ＬＡおよび画像右端領域ＲＡとの関係を示している。

左目用画像および右目用画像の撮影を終え，対応点探索処理に進む前に，画像平坦領域の検出処理が行われる（ステップ51）。画像平坦領域の検出処理では，右目用画像を処理対象にして，たとえばバンドパスフィルタが用いられて高周波成分が抽出され，抽出された高周波成分を用いて輝度変化の少ない領域を検出する処理が行われる。検出された輝度変化の少ない領域が画像平坦領域ＦＡとされる。例えば、画像全体の輝度変化の範囲が０〜255である場合には、画像平坦領域における輝度の変化は、±２すなわち約１％の範囲をいう。画像平坦領域検出処理はディジタル信号処理回路23またはＣＰＵ２によって行われる。輝度変化の少ない領域に代えてたとえば各画素の色ベクトルから色変化の少ない領域を検出し，これを画像平坦領域ＦＡとしてもよい。

画像左端領域ＬＡおよび画像右端領域ＲＡは，いずれも右目用画像Ｒ３の横方向画素数の10％の画素数の横幅ｗを持つ。右目用画像Ｒ３の左端から右向きの上記横幅ｗ分の範囲が画像左端領域ＬＡとされ，右目用画像Ｒ３の右端から左向きの横幅ｗ分の範囲が画像右端領域ＲＡとされる。検出された画像平坦領域ＦＡと，画像左端領域ＬＡと，画像右端領域ＲＡとを除く残りの領域について，上述した対応点検索処理が行われる（ステップ43Ａ）。

輝度変化または色変化の少ない画像平坦領域ＦＡは対応点が検出されにくい。画像平坦領域ＦＡをあらかじめ処理領域から除くことによって対応点探索処理の効率化が図られる。また，画像の左右端は左目用画像と右目用画像のオーバーラップが少ないことがあり，対応点が無いまたは見つかりにくい領域である。画像左端領域ＬＡおよび画像右端領域ＲＡについても対応点探索処理から除外することによって，対応点探索処理の効率化が図られる。

（第２実施例）
図９は第２実施例のディジタル・スチル・カメラ１の動作を示すフローチャートである。図３に示す第１実施例のフローチャートと同一処理には同一符号を付し，重複した詳細な説明は避ける。図１０はディジタル・スチル・カメラ１による撮像によって得られた左目用画像と右目用画像の画像例を示している。図１０に示す画像例を参照して第２実施例のディジタル・スチル・カメラ１の処理を説明する。

第２実施例では，対応点が探索される右目用画像が複数のエリアに分割され，分割エリアごとに対応点数がカウントされる。そして分割エリアのそれぞれの対応点数が所定の閾値以上であるかどうかが判断される。

図１０を参照して，右目用画像Ｒ１が縦方向および横方向のそれぞれで３等分され，合計９つの分割エリアｄ１〜ｄ９が規定されている。もちろん，さらに少数またはさらに多数の分割エリアを規定することもできる。また，分割エリアのすべてを同一形状（同一画素数）とせずに，たとえば右目用画像Ｒ１の中央部分のエリアと，その中央エリアを取囲む周辺エリアといった，互いに形状の異なる分割エリアを規定してもよい。

左目用画像が撮影され，その後ディジタル・スチル・カメラ１が右方向に移動させられて右目用画像が撮影され，得られた左目用画像と右目用画像が用いられて対応点探索処理が行われるのは，上述した第１実施例と同じである（ステップ41〜44）。

右目用画像Ｒ１に分割エリアｄ１〜ｄ９が規定され，分割エリアｄ１〜ｄ９ごとの対応点数がカウントされる（ステップ61）。

すべての分割エリアｄ１〜ｄ９について，各分割エリアに含まれる対応点数がその分割エリアの画素数の１％（第４の閾値。１％でなくともよい）以上あるかどうかが判断される（ステップ62）。

図１０に示す右目用画像Ｒ１を分割する分割エリアｄ１〜ｄ９の場合，９つの分割エリアｄ１〜ｄ９のそれぞれの対応点数が，分割エリアｄ１〜ｄ９のそれぞれの画素数の１％以上あるかどうかが判断される。もちろん，分割エリアｄ１〜ｄ９の画素数が等しい（等分割されている場合）には，カウントされた対応点数が最も少ない分割エリアのみについて，その対応点数が分割エリアの画素数の１パーセント以上あるかどうかを判断してもよい。

対応点数が分割エリアの画素数の１パーセントに満たない，そのような分割エリアが存在する場合，再度の右目用画像の撮影が行われる。２度目（さらには３度目）の撮影によって得られた右目用画像が新たに用いられて，上述の処理が繰返されるのは第１実施例と同様である（ステップ62でNO，ステップ42〜44，ステップ61）。

すべての分割エリアの対応点数が分割エリアの画素数の１％以上であれば（ステップ62でYES ），右目用画像のさらなる撮影は行われず，そのときの左目用画像および右目用画像が用いられて立体画像ファイルが作成され，メモリ・カード27に保存される（ステップ47，48）。

分割エリアｄ１〜ｄ９のすべてにおいて多数の対応点が含まれる右目用画像が用いられて立体画像ファイルが作成されるので，画像全体において立体視が可能な立体画像を得ることができる。

第２実施例においても，上述した第１実施例の変形例（図８参照）と同様に，画像平坦領域ＦＡおよび画像左右端領域ＬＡ，ＲＡを除く残りの領域を処理対象にして，対応点探索処理を行うようにしてもよい。この場合，上記画像平坦領域ＦＡおよび画像左右端領域ＬＡ，ＲＡを除いて得られる分割エリアの画素数が，ステップ62の判断において用いられる。

（第３実施例）
図１１は第３実施例のディジタル・スチル・カメラ１の処理を示すフローチャートである。図３に示す第１実施例のフローチャートと同一処理には同一符号を付し重複説明を避ける。

第１実施例および第２実施例では右目用画像から探索される対応点それ自体の数に着目して，右目用画像を立体画像ファイルを構成する画像とすべきかどうか（再撮影すべきかどうか）を判断している。第３実施例では，第１，第２実施例と異なり，対応点それ自体の数に代えて，特徴点とその特徴点に対応する対応点との間隔，すなわち対応点ごとの視差をも考慮して，右目用画像を立体画像を構成する画像とすべきかどうか（再撮影すべきかどうか）を判断する。

図１２は，第３実施例のディジタル・スチル・カメラ１の処理において用いられる視差を，破線で示す右目用画像Ｒ３に重合わせて示すものである。

視差を表す値（以下，視差値という）は，左目用画像における特徴点の横座標値からその特徴点に対応する右目用画像中の対応点の横座標値を減算することによって，対応点ごとに算出される。特徴点および対応点の位置によって視差値はプラス（＋）の値またはマイナス（−）の値となる。図１２において，黒丸および黒色の太線によってマイナスの値を持つ視差値が示されている。白丸および白色の太線によってプラスの値を持つ視差値が示されている。太線の長さは視差値の大きさを示している。立体画像とされたとき，たとえばマイナスの視差値を有する対応点は奥行き方向に奥まっているかのように視認され，プラスの視差値を有する対応点は手前方向に飛び出しているかのように視認される。

第３実施例においても，第１実施例および第２実施例と同様にして対応点探索処理が行われる。すなわち，左目用画像から特徴点が検出されかつ検出された特徴点に対応する対応点が右目用画像から探索される（ステップ41〜43）。その後，上述のように，検出された特徴点の横座標値からその特徴点に対応する対応点の横座標値を減算することによって，その特徴点と対応点の組についての視差値が画素数によって算出される（ステップ71）。対応点ごとに視差値の算出は行われる。

複数の対応点のうち，所定の大きさ（絶対値）の視差値を有する対応点の数がカウントされる（ステップ72）。たとえば，右目用画像Ｒ３の横方向画素数の４％〜６％の画素数に相当する視差値を有する対応点の数がカウントされる。右目用画像Ｒ３の横方向画素数が1,024画素とすると，その４％〜６％，すなわち41〜61画素の範囲の視差値を有する対応点の数がカウントされることになる。

所定の大きさの視差値を有する対応点の数が，全画素数の0.2 ％（第２の閾値。0.2％でなくともよい。）以上であるかどうかが判断される（ステップ73）。たとえば，右目用画像Ｒ３が横1,024ピクセル縦768 ピクセルから構成されている場合，全画素数の0.2 ％は約1,572ピクセルである。カウントされた所定の大きさの視差値を有する対応点の数が1,572以上であるかどうかが判断される。

所定視差値を有する対応点の数が全画素数の0.2 ％に満たない場合（ステップ73でNO），第１実施例および第２実施例と同様に，右目用画像の再撮影が行われ（ステップ42），新たに得られた右目用画像が用いられて上述の処理が繰返される（ステップ43，44，71〜73）。所定視差値を有する対応点の数が全画素数の0.2 ％以上であれば，立体画像ファイルの作成および保存に進む（ステップ73でYES ，ステップ47，48）。

立体視に適する視差値を有する対応点を多く含む右目用画像が用いられて立体画像ファイルが構成されるので，立体視に適した立体画像を得ることができる。

上述した第３実施例では，視差値の大きさ（絶対値）を用いた処理が行われているが，マイナスの視差値を有する対応点，またはプラスの視差値を有する対応点のいずれかを優先して上述と同様の処理を行うようにしてもよい。たとえば，マイナスの視差値を有する対応点のみを用いると，マイナスの視差値を有する対応点を多く含む右目用画像が用いられて立体画像ファイルが生成される。奥行き感が強調された立体画像が得られやすくなる。プラスの視差値を有する対応点のみを用いると，プラスの視差値を有する対応点を多く含む右目用画像が用いられて立体画像ファイルが生成される。飛出し感が強調された立体画像が得られやすくなる。

第３実施例においても，第１実施例の変形例と同様に，画像平坦領域および画像左右端領域を除く残りの領域を処理対象にして対応点探索処理を行うようにしてもよい。また，第２実施例と同様に，右目用画像を複数の分割エリアに分割し，分割エリアごとに所定の大きさの視差値を有する対応点の数をカウントして，すべての分割エリアに所定数以上の所定の大きさの視差値を有する対応点が存在する右目用画像を用いて立体画像ファイルを作成するようにしてもよい。

大きすぎる視差値を有する対応点が右目用画像に多数存在すると，立体視に違和感が生じることがある。上記第３実施例においてさらに，立体視に適さない視差値（限界視差値という）以上の視差値を有する対応点が多数見つかった場合には再度の右目用画像の撮影を行うようにしてもよい。たとえば，右目用画像の横方向画素数の10％の画素数に相当する視差値が限界視差値とされる。限界視差値以上の視差値を有する対応点の数が所定の閾値（右目用画像の全画素数に対する所定割合によって定められる値。第３の閾値。）以上見つかった場合に，再度の右目用画像の撮影が行われる。限界視差値以上の視差値を有する対応点の数が所定の閾値未満であれば立体画像ファイルの作成に進む。

上述の第１〜第３実施例では，静止画撮影によって得られた左目用画像Ｌ１および右目用画像Ｒ３を用いて一つの立体画像ファイルを生成する例を説明したが，立体画像ファイルを連続して生成することによって，立体視可能な動画像を得ることもできる。この場合，被写体像が連続撮像され，図３，図７，図９，図１１に示すフローチャートの処理が連続して繰返されて多数の立体画像ファイルが作成される。多数の立体画像ファイルが連続再生されることによって立体視可能な動画像が視認される。

（その他の変形例等）
図１３および図１４は，第３実施例の変形例を示すものである。図１３は，ディジタル・スチル・カメラ１の処理を示すフローチャートである。図１３の処理において，図１１に示す処理と同一の処理については同一符号を付す。図１４は視差値が示されている右目用画像の一例である。

第３実施例では，画像全体の対応点の視差を考慮して，右目用画像を再撮影するかどうかを判断しているが，図１３および図１４に示す変形例では，主要被写体像内の対応点の視差を考慮して右目用画像を再撮影するかどうかが判断される。

上述のように，右目用画像Ｒ３が得られ（ステップ42），対応点が探索されたものとする（ステップ43，44，図６参照）。

つづいて，得られた右目用画像Ｒ３から主要被写体が検出される（ステップ81）。右目用画像Ｒ３の主要被写体は，熊の画像ＯＢであるとすると，その熊の画像ＯＢが検出される。たとえば，位置，画像に対する割合，合焦の程度などを利用して主要被写体が検出される。

主要被写体が検出されると，その主要被写体ＯＢ中に存在する各対応点の視差値が算出される（ステップ82）。視差値は，上述したのと同様に対応点ごとに画素数で表される。

図14は，上述のように，右目用画像Ｒ３に視差値が示されている。視差値が分りやすくなるように，被写体像は破線で示されている。主要被写体ＯＢ中に存在する対応点について視差値が示されており，主要被写体ＯＢ以外の画像部分については視差値は算出されない。もっとも，主要被写体ＯＢ以外の画像部分についての視差値を算出し，後述するカウント対象から主要被写体ＯＢ以外の画像部分についての視差値を排除するようにしてもよい。

主要被写体ＯＢ中に存在する各対応点についての視差値が算出されると，上述したのと同様に，それらの視差値のうち，主要被写体の視差が立体画像の視差として適切な範囲の所定の大きさ（絶対値）の視差値を有する対応点の数がカウントされる（ステップ72）。この場合も，上述したのと同様に，たとえば，右目用画像Ｒ３の横方向の画素数の４％〜６％の画素数に相当する視差値を有する対応点の数がカウントされる。右目用画像Ｒ３の横方向の画素数が1,024画素とすると，その４％〜６％，すなわち41〜61画素の範囲の視差値を有する対応点の数がカウントされる。

つづいて，所定の大きさの視差値を有する対応点の数が，主要被写体の画素数の0.3％（第２の閾値）以上であるかが判断される（ステップ83）。たとえば，主要被写体の画素数が50,000ピクセルであれば，そのような対応点の数が150以上であるかどうかが判断される。

所定視差値を有する対応点の数が主要被写体ＯＢの画素数の0.3％に満たない場合（ステップ83でＮＯ），右目用画像の再撮影が行われる（ステップ42）。新たに得られた右目用画像についてステップ43，44，81，82，72，83の処理が繰り返される。所定視差値を有する対応点の数が主要被写体ＯＢの画素数の0.3％以上の場合（ステップ83でＹＥＳ），そのときに得られた右目用画像と左目用画像とから立体画像ファイルが作成される（ステップ47）。作成された立体画像ファイルがメモリ・カード27に保存される（ステップ48）。主要被写体について特に適切に立体視できる画像が得られる。

図１５および図１６は，上述した第３実施例のさらに他の変形例を示している。図１５は，ディジタル・スチル・カメラ１の処理を示すフローチャートであり，図１１に示す処理と同一の処理については同一符号が付されている。図１６は，視差値のヒストグラムを示している。横軸が視差値であり，縦軸がその視差値をもつ対応点の数である。

図１５および図１６に示す変形例では，上述したように各対応点の視差値が算出されるが，大きな視差値の対応点についてはカウント対象から除外される。

上述のように左目用画像および右目用画像が得られ，右画像全体について対応点が算出される（ステップ41〜44，71）（上述のように主要被写体を検出し，主要被写体について対応点の視差値を算出するようにしてもよい）。対応点が算出されると，図１６に示すように，視差値ヒストグラムが生成される。

生成された視差値ヒストグラムを利用して，所定の大きさ（絶対値）（第６の閾値）以上の視差値を有する対応点を除く対応点の数がカウントされる（ステップ91）。たとえば，右目用画像Ｒ３の横方向画素数の８％以上の画素数に相当する視差値を有する対応点が除外され，残りの対応点の数がカウントされる。右目用画像Ｒ３の横方向の画素数を1,024画素とすると，その８％，すなわち81画素以上の視差値を有する対応点がカウントから除外される（絶対値で81画素未満の視差値を有する対応点がカウントされる）。

カウントされた対応点の数が，右目用画像Ｒ３の全画素数の0.3％（第１の閾値）以上であるかどうかが判断される（ステップ46）。カウントされた対応点の数が0.3％に満たない場合（ステップ46でNO），右目用画像の再撮影が行われ（ステップ42），新たに得られた右目用画像を用いて上述したステップ42〜44，71，91，46の処理が繰り返される。カウントされた対応点の数が右目用画像Ｒ３の全画素数の0.3％以上であれば（ステップ46でＹＥＳ），立体画像ファイルの作成およびその保存が行われる（ステップ47，48）。

図１７および図１８は，第１実施例の変形例をさらに示している。図１７は，ディジタル・スチル・カメラ１の処理を示すフローチャートであり，図３に示す処理と同一の処理については同一符号が付されている。図１８は，左目用画像および右目用画像の一例である。

左目用画像は，左目の視点で撮影され，右目用画像は，右目の視点で撮影されるから，左目用画像または右目用画像のうち，一方の画像には表示されるが他方の画像には表示されない領域（死角領域，オクルージョン領域）が生じる。

図18を参照して，左目用画像Ｌ１に含まれている主要被写体OBLの左側には左目用画像Ｌ１には表示されているが，右目用画像Ｒ４には表示されない死角領域ＢＬがハッチングで図示されている。また，右目用画像Ｒ４に含まれている主要被写体OBRの右側には右目用画像Ｒ４には表示されているが，左目用画像Ｌ１には表示されない死角領域ＢＲがハッチングで図示されている。この変形例では，これらの死角領域ＢＬおよびＢＲ（少なくとも一方の領域でもよい）が考慮される。

図１７を参照して，上述した対応点がカウントされ（ステップ45），対応点の数が右目用画像Ｒ４の全画素数の１％以上あるかどうかが判断される（ステップ46）。

対応点の数が右目用画像Ｒ４の全画素数の１％以上あった場合には（ステップ46でＹＥＳ），右目用画像Ｌ１から死角領域ＢＬが検出され，左目用画像Ｒ４から死角領域ＢＲが検出される（ステップ101）。これらの死角領域ＢＬおよびＢＲは，左目用画像Ｌ１と右目用画像Ｒ４とを対応する画素ごとに比較することにより容易に検出できる。

左目用画像Ｌ１の死角領域ＢＬと右目用画像Ｒ４の死角領域ＢＲとが検出されると，左目用画像Ｌ１の死角領域ＢＬが左目用画像Ｌ１の５％（第５の閾値）以上であり，かつ右目用画像Ｒ４の死角領域ＢＲが右目用画像Ｒ４の５％以上であるかどうかが判断される（ステップ102）。死角領域ＢＬおよびＢＲのいずれもが，それぞれに対応する画像の５％未満であれば（ステップ102でNO），左目用画像Ｌ１と右目用画像Ｒ４とから立体画像を生成しても死角領域が少ないので，違和感の少ない立体画像が得られる。上述したように，左目用画像Ｌ１と右目用画像Ｒ４とから立体画像ファイルが生成され，メモリ・カード27に保存される（ステップ47，48）。死角領域ＢＬおよびＢＲの少なくとも一方が，対応する画像の５％以上であると（ステップ102でＹＥＳ），立体的に見えない部分が比較的多いと考えられるので，右目用画像が再撮影される。ステップ42〜46，101，102の処理が繰り返される。

死角領域の部分は立体的に見えないが，立体的に見えない部分を少なくできる。

上述した変形例では，死角領域ＢＬが左目用画像Ｌ１の５％以上ある場合，または死角領域ＢＲが右目用画像Ｒ４の５％以上ある場合には，右目用画像Ｒ４が再撮影されているが，死角領域ＢＬが左目用画像Ｌ１の５％以上あり，かつ死角領域ＢＲが右目用画像Ｒ４の５％以上ある場合に，右目用画像Ｒ４が再撮影されるようにしてもよい。

さらに，対応点数が全画素数の１％未満であると判断された場合に，あらかじめ複数回の撮像によって得られる複数の右目用画像の中から選択される一の右目用画像を，新たな右目用画像として用いて上述したステップ43等の処理を行うようにしてもよい。このことは，第１実施例に限らず，上述した他の実施例，変形例についても同様である。

１ ディジタル・スチル・カメラ
２ ＣＰＵ
３ 操作器
15 固体撮像素子
23 ディジタル信号処理回路
27 メモリ・カード

Claims (20)

1. 被写体を撮像し，撮像によって得られる画像データを出力する撮像手段を備え，上記撮像手段から出力される左目用視点および右目用視点からの被写体像を表す画像データから立体視用画像ファイルを生成する立体視用画像撮影装置であって，
   左目用視点または右目用視点のいずれか一方の基準視点から得られる第１画像データを用いて検出される複数の特徴点のそれぞれに対応する対応点を，左目用視点または右目用視点のいずれか他方の上記基準視点と異なる視点から得られる第２画像データを用いて探索する対応点探索手段，
   上記対応点探索手段による探索によって見つかった対応点の数が第１の閾値以上であるかどうかを判断する対応点数判断手段，
   上記対応点数判断手段によって対応点数が第１の閾値未満と判断された場合に，上記基準視点と異なる視点からの再度の撮像によって得られる，新たな第２画像データを用いて上記対応点探索および上記対応点数判断を再実行する，上記対応点探索手段および対応点数判断手段を制御する制御手段，ならびに
   上記対応点数判断手段によって対応点数が第１の閾値以上と判断された場合に，該判断の際の第１画像データおよび第２画像データを用いて立体画像ファイルを作成する立体画像ファイル作成手段，
   を備える立体視用画像撮影装置。
2. 第１の閾値以上の数の対応点を持つ第２画像データが得られるまで上記基準視点と異なる視点からの撮像，上記対応点探索および上記対応点数判断が繰返してなる，
   請求項１に記載の立体視用画像撮影装置。
3. 上記対応点数判断手段による所定回数の判断処理，または所定時間内における上記対応点数判断手段による複数回の判断処理を終えた時点において，第１の閾値以上の数の対応点を持つ第２画像データが未取得の場合に，上記第１の閾値を下げる閾値低減手段をさらに備える，
   請求項１または２に記載の立体視用画像撮影装置。
4. 上記第１の閾値は，上記第２画像データによって表される第２画像の画素数に対する所定割合によって定められる，
   請求項１から３のいずれか一項に記載の立体視用画像撮影装置。
5. 上記対応点探索手段による探索によって見つかった対応点ごとに，上記特徴点と上記対応点との間の視差値を算出する視差値算出手段を備え，
   上記対応点数判断手段は，
   上記対応点探索手段による探索によって見つかった対応点のうち，所定視差値を持つ対応点の数が，第２の閾値以上であるかどうかを判断するものであり，
   上記所定視差値を持つ対応点の数が第２の閾値以上と判断された場合に上記立体画像ファイルの作成に進み，
   上記所定視差値を持つ対応点の数が第２の閾値未満と判断された場合に，新たな第２画像データを用いた上記対応点探索および上記対応点数判断の再実行に進む，
   請求項１に記載の立体視用画像撮影装置。
6. 上記対応点数判断手段は，
   上記対応点探索手段による探索によって見つかった対応点のうち，限界視差値以上の視差値を持つ対応点の数が第３の閾値未満であるかどうかをさらに判断するものであり，
   上記所定視差値を持つ対応点の数が第２の閾値以上，かつ上記限界視差値以上の視差値を持つ対応点の数が上記第３の閾値未満と判断された場合に，上記立体画像ファイルの作成に進み，
   上記所定視差値を持つ対応点の数が第２の閾値未満または上記限界視差値以上の視差値を持つ対応点の数が上記第３の閾値以上と判断された場合に，新たな第２画像データを用いた上記対応点探索および上記対応点数判断の再実行に進む，
   請求項５に記載の立体視用画像撮影装置。
7. 上記第２の閾値は，上記第２画像データによって表される第２画像の画素数に対する所定割合によって定められる，
   請求項５に記載の立体視用画像撮影装置。
8. 上記第２および３の閾値は，上記第２画像データによって表される第２画像の画素数に対する所定割合によって定められる，
   請求項６に記載の立体視用画像撮影装置。
9. 上記視差値算出手段は，上記特徴点の座標値から上記特徴点に対応する対応点の座標値を減算することによって対応点ごとの上記視差値を算出するものであり，
   上記対応点数判断手段は，
   正の視差値が算出された対応点または負の視差値が算出された対応点のいずれかを優先して用いるものである，
   請求項５に記載の立体視用画像撮影装置。
10. 上記対応点探索手段による対応点探索に用いられる第２画像データによって表される第２画像を複数の領域に分割する領域分割手段を備え，
    上記対応点数判断手段は，
    上記領域分割手段によって分割された複数の分割領域のそれぞれについて，分割領域に含まれる上記対応点の数が第４の閾値以上であるかどうかを判断する，
    請求項１から６のいずれか一項に記載の立体視用画像撮影装置。
11. 上記第４の閾値は，上記分割領域を構成する画素数に対する所定割合によって定められる，
    請求項１０に記載の立体視用画像撮影装置。
12. 上記対応点数判断手段によって対応点数が上記第１の閾値未満と判断された場合に，その後に上記基準視点と異なる視点から上記被写体が撮影されることによって得られる画像データを，上記新たな第２画像データとして用いる，
    請求項１に記載の立体視用画像撮影装置。
13. 上記対応点数判断手段によって対応点数が上記第１の閾値未満と判断された場合に，あらかじめの複数回の撮像によって得られる上記基準視点と異なる視点からの複数の第２画像データの中から選択される一の第２画像データを，上記新たな第２画像データとして用いる，
    請求項１に記載の立体視用画像撮影装置。
14. 輝度または色の変化の少ない画像平坦領域を検出する画像平坦領域検出手段を備え，
    上記対応点探索手段は，
    上記画像平坦領域検出手段によって検出された画像平坦領域を除く残り画像領域を上記対応点探索の範囲とする，
    請求項１から１３のいずれか一項に記載の立体視用画像撮影装置。
15. 上記対応点探索手段は，上記第２画像データによって表わされる第２画像の左右の端部の所定領域を除く残り画像領域を上記対応点探索の範囲とする，
    請求項１から１３のいずれか一項に記載の立体視用画像撮影装置。
16. 動画撮影によって得られる画像データを，上記第１画像データおよび第２画像データとして用いる，
    請求項１から１５のいずれか一項に記載の立体視用画像撮影装置。
17. 上記第２画像データによって表わされる第２の被写体像には含まれているが上記第１画像データによって表わされる第１の被写体像には含まれていない第１の死角領域または上記第１の被写体像には含まれているが上記第２の被写体像には含まれていない第２の死角領域の少なくとも一方の死角領域の大きさが第５の閾値以上であるかどうかを判断する死角領域判断手段をさらに備え，
    上記制御手段は，
    上記死角領域判断手段によって，上記第１の死角領域または上記第２の死角領域の少なくとも一方の死角領域の大きさが第５の閾値以上と判断された場合に，上記基準視点と異なる視点からの再度の撮像によって得られる，新たな第２画像データを用いて上記対応点探索および上記対応点数判断を再実行する，上記対応点探索手段および対応点数判断手段を制御するものであり，
    上記立体画像ファイル作成手段は，
    上記死角領域判断手段によって，上記第１の死角領域または上記第２の死角領域の少なくとも一方の死角領域の大きさが第５の閾値未満と判断された場合に，該判断の際の第１画像データおよび第２画像データを用いて立体画像ファイルを作成するものである，
    請求項１に記載の立体視用画像撮影装置。
18. 上記対応点数判断手段は，
    上記対応点探索手段によって見つかった対応点のうち，視差値の絶対値が第６の閾値未満の所定視差値をもつ対応点の数が，第１の閾値以上であるかどうかを判断するものである，
    請求項１に記載の立体視用画像撮影装置。
19. 上記第２画像データによって表わされる第２画像から主要被写体像を検出する主要被写体像検出手段をさらに備え，
    上記対応点探索手段は，
    上記第１画像データを用いて検出される複数の特徴点のそれぞれに対応する対応点を，上記主要被写体像検出手段によって検出された主要被写体像の中から探索するものである，
    請求項５に記載の立体視用画像撮影装置。
20. 被写体を撮像し，撮像によって得られる画像データを出力する撮像手段を備え，上記撮像手段から出力される左目用視点および右目用視点からの被写体像を表す画像データから立体視用画像データを生成する立体視用画像撮影装置の制御方法であって，
    対応点探索手段が，左目用視点または右目用視点のいずれか一方の基準視点から得られる第１画像データを用いて検出される複数の特徴点のそれぞれに対応する対応点を，左目用視点または右目用視点のいずれか他方の上記基準視点と異なる視点から得られる第２画像データを用いて探索し，
    対応点数判断手段が，上記対応点探索手段による探索によって見つかった対応点の数が，第１の閾値以上であるかどうかを判断し，
    制御手段が，上記対応点数判断手段によって対応点数が第１の閾値未満と判断された場合に，上記基準視点と異なる視点からの再度の撮像によって得られる，新たな第２画像データを用いて上記対応点探索および上記対応点数判断を再実行する，上記対応点探索手段および上記対応点数判断手段を制御し，
    立体画像ファイル作成手段が，上記対応点数判断手段によって対応点数が第１の閾値以上と判断された場合に，該判断の際の第１画像データおよび第２画像データを用いて立体画像ファイルを作成する，
    立体視用画像撮影装置の制御方法。

Images