JP5425305B2 - 立体画像制御装置ならびにその動作制御方法およびその動作制御プログラム - Google Patents

Description

この発明は，立体画像制御装置ならびにその動作制御方法およびその動作制御プログラムに関する。

立体画像を表示する装置が開発されつつある（特開２００８−２２１５０号公報）。このような立体画像の表示装置においては，立体画像に含まれる被写体像部分ごとに視差を調整するものもある（特願２００７−３０７２２５号）。また，注目部位を抽出するディジタル・カメラ（特開２００１−１４８８００号公報），複数の物体が重なって見える被写体の複数の奥行きの値を取得する視差画像撮像装置もある（特開２００１−４３７０号公報）。
立体画像では，立体画像を構成する左目用画像と右目用画像とに共通に含まれる，ある画像部分の視差が無いようにする必要がある。従来は，左目用画像と右目用画像とのそれぞれのほぼ中央部分の視差が無いようにしているが，表示される立体画像が不自然となってしまうことがある。

この発明は，比較的自然な立体画像を得ることを目的とする。
第１の発明による立体画像制御装置は，立体画像を構成する左目用画像と右目用画像とのそれぞれの画像から所望の対象画像部分を見つける第１の対象画像部分検出装置（第１の対象画像部分検出手段），上記第１の対象画像部分検出装置においてそれぞれ見つけられた，上記左目用画像の対象画像部分と上記右目用画像の対象画像部分との視差ずれが除かれるように上記左目用画像と上記右目用画像とをずらす視差ずらし装置（視差ずらし手段），上記視差ずらし装置によってずらされた上記左目用画像と上記右目用画像とのうち，上記視差ずらし装置によって視差ずれが除かれた対象画像部分を含む表示領域を決定する表示領域決定装置（表示領域決定手段），および上記視差ずらし装置によってずらされた上記左目用画像と上記右目用画像とのうち，上記表示領域決定装置によって決定された表示領域内の画像を拡大して表示するように表示装置を制御する表示制御装置（表示制御手段）を備えていることを特徴とする。
第１の発明は，上記立体画像制御装置の動作制御方法も提供している。すなわち，この方法は，対象画像部分検出装置が，立体画像を構成する左目用画像と右目用画像とのそれぞれの画像から所望の対象画像部分を見つけ，視差ずらし装置が，上記第２の対象画像部分検出装置においてそれぞれ見つけられた，上記左目用画像の対象画像部分と上記右目用画像の対象画像部分との視差ずれが除かれるように上記左目用画像と上記右目用画像とをずらし，表示領域決定装置が，上記視差ずらし装置によってずらされた上記左目用画像と上記右目用画像とのうち，上記視差ずらし装置によって視差ずれが除かれた対象画像部分を含む表示領域を決定し，表示制御装置が，上記視差ずらし装置によってずらされた上記左目用画像と上記右目用画像とのうち，上記表示領域決定装置によって決定された表示領域内の画像を拡大して表示するように表示装置を制御するものである。
第１の発明は，上記立体画像制御装置の動作制御方法を実施するための動作プログラムも提供している。さらに，そのような動作プログラムを格納した記録媒体も提供するようにしてもよい。
第１の発明によると，立体画像を構成する左目用画像と右目用画像とのそれぞれの画像から所望の対象画像部分が見つけられる。左目用画像から見つけられた対象画像部分と右目用画像から見つけられた対象画像部分との視差が除かれるように，左目用画像と右目用画像との視差ずらしが行われる。左目用画像と右目用画像とのうち，視差ずれが除かれた対象画像部分を含む表示領域（好ましくは所定の最小表示サイズ以上で立体画像の大きさ未満）が決定される。決定された表示領域内の画像が拡大して表示されるように表示装置が制御される。
単に，左目用画像の中央部分と右目用画像の中央部分との視差ずれが無くなるように視差ずらしが行われるのではなく，観賞者が着目するような所望の対象画像部分の視差ずれが無くなるように視差ずらしが行われる。観賞者が着目する対象画像部分の視差ずれが無いので自然な立体画像が得られる。さらに，そのような対象画像部分を含む表示領域が決定され，決定された表示領域内の画像が拡大して表示されるので，表示領域外の画像部分は表示されない。立体画像表示では，手前の被写体を表わす被写体像は，画像を撮像した装置に含まれる撮像レンズの収差の影響により視差ずれが大きく，目への負担が大きいが，表示領域外の画像部分は表示されないので観賞者の目の負担を軽くできる。
上記第１の対象画像部分検出装置によって検出された対象画像部分により表される対象物よりも手前に存在する被写体を表す手前被写体像（手前二重像）が上記左目用画像および上記右目用画像のそれぞれに含まれているかどうかを判定する第１の判定装置（第１の判定手段），および上記第１の判定装置によって，上記手前被写体像が上記左目用画像および上記右目用画像のそれぞれに含まれていると判定されたことにより，上記左目用画像に含まれている手前被写体像と上記右目用画像に含まれている手前被写体像とのずれ量が許容範囲外かどうかを判定する第２の判定装置（第２の判定手段）をさらに備えてもよい。この場合，上記表示領域決定装置は，たとえば，上記第２の判定装置により上記許容範囲外と判定されたことに応じて上記表示領域を決定するものである。
上記対象画像部分検出装置において，上記左目用画像と上記右目用画像との両方の画像から見つけられた対象画像部分の大きさよりも上記左目用画像と上記右目用画像とのうちの一方の画像からは見つけられずに他方の画像からは見つけられた対象画像部分の大きさの方が大きいかどうかを判定する大きさ判定装置（大きさ判定手段），および上記大きさ判定装置によって，上記左目用画像と上記右目用画像との両方の画像から見つけられた対象画像部分の大きさよりも上記他方の画像からは見つけられた対象画像部分の大きさの方が大きいと判定され，かつ上記一方の画像が上記左目用画像の場合，または上記左目用画像と上記右目用画像との両方の画像から見つけられた対象画像部分の大きさよりも上記他方の画像からは見つけられた対象画像部分の大きさの方が小さいと判定され，かつ上記一方の画像が上記右目用画像の場合には，上記一方の画像からは見つけられなかった対象画像部分を，上記他方の画像において見つけられた対象画像部分に対応する位置の右側から見つけ，上記大きさ判定装置によって，上記左目用画像と上記右目用画像との両方の画像から見つけられた対象画像部分の大きさよりも上記他方の画像からは見つけられた対象画像部分の大きさの方が大きいと判定され，かつ上記一方の画像が上記右目用画像の場合，または上記左目用画像と上記右目用画像との両方の画像から見つけられた対象画像部分の大きさよりも上記他方の画像からは見つけられた対象画像部分の大きさの方が小さいと判定され，かつ上記一方の画像が上記左目用画像の場合には，上記一方の画像からは見つけられなかった対象画像部分を，上記他方の画像において見つけられた対象画像部分に対応する位置の左側から見つける第２の対象画像検出装置（第２の対象画像検出手段）をさらに備えてもよい。この場合，上記表示領域決定装置は，たとえば，上記視差ずらし装置によってずらされた上記左目用画像と上記右目用画像とのうち，上記視差ずらし装置によって視差ずれが除かれた対象画像部分，上記第１の対象画像部分検出装置において他方の画像から見つけられた対象画像部分および上記第２の対象画像部分検出装置において一方の画像から見つけられた対象画像部分を含む表示領域を決定するものとなろう。
上記左目用画像と上記右目用画像とのうち，上記第１の対象画像検出装置において他方の画像からのみ見つけられた対象画像部分によって表される対象物の位置が，その他方の画像の中心部にある画像に対応する被写体の位置よりも手前にあり，かつ上記一方の画像が左目用画像の場合，または上記左目用画像と上記右目用画像とのうち，上記第１の対象画像検出装置において他方の画像からのみ見つけられた対象画像部分によって表される対象物の位置が，その他方の画像の中心部にある画像に対応する被写体の位置よりも奥にあり，かつ上記一方の画像が右目用画像の場合には，上記一方の画像からは見つけられなかった対象画像部分を，上記他方の画像において見つけられた対象画像部分に対応する位置の右側から見つけ，上記左目用画像と上記右目用画像とのうち，上記第１の対象画像検出装置において他方の画像からのみ見つけられた対象画像部分によって表される対象物の位置が，その他方の画像の中心部にある画像に対応する被写体の位置よりも手前にあり，かつ上記一方の画像が右目用画像の場合，または上記左目用画像と上記右目用画像とのうち，上記第１の対象画像検出装置において他方の画像からのみ見つけられた対象画像部分によって表される対象物の位置が，その他方の画像の中心部にある画像に対応する被写体の位置よりも奥にあり，かつ上記一方の画像が左目用画像の場合には，上記一方の画像からは見つけられなかった対象画像部分を，上記他方の画像において見つけられた対象画像部分に対応する位置の左側から見つける第３の対象画像部分検出装置（第３の対象画像部分検出手段）をさらに備えてもよい。この場合，上記表示領域決定装置は，たとえば，上記視差ずらし装置によってずらされた上記左目用画像と上記右目用画像とのうち，上記視差ずらし装置によって視差ずれが除かれた対象画像部分，上記第１の対象画像部分検出装置において他方の画像からのみ見つけられた対象画像部分および上記第３の対象画像部分検出装置において一方の画像から見つけられた対象画像部分を含む表示領域を決定するものとなろう。
上記左目用画像の中央部分と上記右目用画像の中央部分とのそれぞれに，上記第１の対象画像部分検出装置によって検出された対象画像部分によって表される対象物よりも手前に存在する被写体を表す中央被写体像があることにより，上記中央被写体像の主要被写体らしさと上記第１の対象画像部分検出装置によって検出された対象画像部分の主要被写体らしさを比較する比較装置（比較手段）をさらに備えてもよい。この場合，上記視差ずらしそうちは，たとえば，上記比較装置により，上記中央被写体像の主要被写体らしさが上記第１の対象画像部分検出装置によって検出された対象画像部分の主要被写体らしさよりも大きいと判定されたことにより，上記左目用画像の上記中央被写体像と上記右目用画像の上記中央被写体像との菱さずれが除かれるように上記左目用画像と上記右目用画像とをずらすものである。
上記表示制御装置による拡大表示制御が行われることにより，上記左目用画像検出装置において見つけられた対象画像部分が表示されないかどうかを判定する表示判定装置（表示判定手段），および上記表示判定装置において，上記左目用画像検出装置において見つけられた対象画像部分が表示されないと判定されたことに応じて上記左目用画像の中央部分と上記右目用画像の中央部分との視差ずれが除かれるように上記左目用画像と上記右目用画像とをずらすように上記視差ずらし装置を制御する視差ずらし制御装置（視差ずらし制御手段）を備えてもよい。
上記左目用画像を表す左目用画像データ，上記右目用画像を表す右目用画像データ，ならびに上記視差ずらし装置によって視差ずれが除かれる部分および上記表示領域決定装置によって決定された表示領域をそれぞれ表すデータを可搬型記録媒体に記録する記録制御装置（記録制御手段）をさらに備えてもよい。
上記左目用画像を表す左目用画像データ，および上記右目用画像を表す右目用画像データが可搬型記録媒体に記録されている場合には，上記視差ずらし装置によって視差ずれが除かれる部分および上記表示領域決定装置によって決定された表示領域をそれぞれ表すデータを上記可搬型記録媒体に記録する記録制御装置（記録制御手段）をさらに備えてもよい。
第２の発明による立体画像制御装置は，左目用画像と右目用画像とを重ね合わせて立体画像を生成する立体画像生成装置（立体画像生成手段），上記立体画像生成装置によって生成された立体画像の中から所望の対象画像部分を見つける対象画像検出装置（対象画像検出手段），上記立体画像生成装置によって生成された立体画像の中から電子ズーム領域を指定する電子ズーム領域指定装置（電子ズーム領域指定手段），上記電子ズーム領域指定装置によって指定された電子ズーム領域の中に，上記対象画像検出装置によって検出された対象画像が含まれているかどうかを判定する判定装置（判定手段），上記判定装置によって，電子ズーム領域に対象画像が含まれていないと判定されたことにより，上記立体画像または上記電子ズーム領域の中央部分の視差ずれが無くなるように，左目用画像と右目用画像とをずらし，上記判定装置によって電子ズーム領域に対象画像が含まれていると判定されたことにより，上記対象画像検出装置によって検出された対象画像の視差ずれが無くなるように，左目用画像と右目用画像とをずらす視差ずらし装置（視差ずらし手段），および上記電子ズーム領域内の画像を拡大して表示する表示制御装置（表示制御手段）を備えていることを特徴とする。
第２の発明は，上記立体画像制御装置に適した動作制御方法も提供している。すなわち，この方法は，立体画像生成装置が，左目用画像と右目用画像とを重ね合わせて立体画像を生成し，対象画像検出装置が，上記立体画像生成装置によって生成された立体画像の中から所望の対象画像部分を見つけ，電子ズーム領域指定装置が，上記立体画像生成装置によって生成された立体画像の中から電子ズーム領域を指定し，判定装置が，上記電子ズーム領域指定装置によって指定された電子ズーム領域の中に，上記対象画像検出装置によって検出された対象画像が含まれているかどうかを判定し，視差ずらし装置が，上記判定装置によって，電子ズーム領域に対象画像が含まれていないと判定されたことにより，上記立体画像または上記電子ズーム領域の中央部分の視差ずれが無くなるように，左目用画像と右目用画像とをずらし，上記判定装置によって電子ズーム領域に対象画像が含まれていると判定されたことにより，上記対象画像検出装置によって検出された対象画像の視差ずれが無くなるように，左目用画像と右目用画像とをずらし，表示制御装置が，上記電子ズーム領域内の画像を拡大して表示するものである。
第２の発明によると，指定された電子ズーム領域内に対象画像部分が含まれていれば，その対象画像部分の視差ずれが無くなるように視差ずらしが行われ，指定された電子ズーム領域内に対象画像部分が含まれていなければ，立体画像または電子ズーム領域の中央部分の視差ずれが無くなるように視差ずらしが行われる。自然な立体画像が得られる。

第１図は被写体と立体撮像ディジタル・カメラとの位置関係を示している。
第２ａ図は左目用画像を，第２ｂ図は右目用画像を示している。
第３図は被写体像と立体撮像ディジタル・カメラとの関係を示している。
第４図は立体画像一例である。
第５図は立体画像の一例である。
第６図は立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
第７図は立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
第８図は被写体と立体撮像ディジタル・カメラとの位置関係を示している。
第９ａ図は左目用画像を，第９ｂ図は右目用画像を示している。
第１０図は検出された対象画像部分の一例である。
第１１図は被写体像と立体撮像ディジタル・カメラとの関係を示している。
第１２ａ図は左目用画像を，第１２ｂ図は右目用画像を示している。
第１３図は被写体像と立体撮像ディジタル・カメラとの関係を示している。
第１４ａ図は左目用画像を，第１４ｂ図は右目用画像を示している。
第１５図は被写体像と立体撮像ディジタル・カメラとの関係を示している。
第１６図（Ａ）は左目用画像を，第１６ｂ図は右目用画像を示している。
第１７図は被写体像と立体撮像ディジタル・カメラとの関係を示している。
第１８図は画像の中央部のフォーカス・レンズ位置と対象画像部分のフォーカス・レンズ位置とを示している。
第１９ａ図は左目用画像を，第１９ｂ図は右目用画像を示している。
第２０ａ図は左目用画像を，第２０ｂ図は右目用画像を示している。
第２１ａ図は左目用画像を，第２１ｂ図は右目用画像を示している。
第２２ａ図は左目用画像を，第２２ｂ図は右目用画像を示している。
第２３図は立体画像の一例である。
第２４図は立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
第２５図は表示領域算出処理手順を示すフローチャートである。
第２６図は被写体と立体撮像ディジタル・カメラとの位置関係を示している。
第２７ａ図は左目用画像を，第２７ｂ図は右目用画像を示している。
第２８図は画像の中央部のフォーカス・レンズ位置と対象画像部分のフォーカス・レンズ位置と主要被写体らしさとの関係を示している。
第２９図は画像の中央部のフォーカス・レンズ位置と対象画像部分のフォーカス・レンズ位置と主要被写体らしさとの関係を示している。
第３０図は画像の中央部のフォーカス・レンズ位置と対象画像部分のフォーカス・レンズ位置と主要被写体らしさとの関係を示している。
第３１図は立体画像の一例である。
第３２図は立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
第３３図は画像ずらしの処理手順を示すフローチャートである。
第３４図は立体画像の一例である。
第３５図は立体画像の一例である。
第３６図は立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
第３７図は再生処理手順を示すフローチャートである。
第３８図は立体画像の一例である。
第３９図は立体画像の一例である。
第４０図は立体画像の一例である。
第４１図は立体画像の一例である。
第４２図は立体撮像ディジタル・カメラの電気的構成を示すブロック図である。

第１図は，この発明の実施例を示すもので，立体撮像ディジタル・カメラと被写体との関係を平面的に表している。
立体撮像ディジタル・カメラ１には，観賞者が左目で見る左目用画像を撮像する第１の撮像装置２および観賞者が右目で見る右目用画像を撮像する第２の撮像装置３が設けられている。
立体撮像ディジタル・カメラ１の前方には，立体撮像ディジタル・カメラ１から遠い順に，タワー１１，人物１２および壁１３が存在している。
第２ａ図および第２ｂ図は，第１図に示す立体撮像ディジタル・カメラ１を用いて撮像して得られた左目用画像および右目用画像をそれぞれ表している。
第２ａ図に示す左目用画像１０Ｌは，立体撮像ディジタル・カメラ１の第１の撮像装置２によって撮像されたものである。第２ｂ図に示す右目用画像１０Ｒは，立体撮像ディジタル・カメラ１の第２の撮像装置３によって撮像されたものである。
第２ａ図を参照して，左目用画像１０Ｌには，中央のタワー１１に対応するタワー画像１１Ｌが中央に表示されている。このタワー画像１１Ｌの左側に人物１２に対応する人物像１２Ｌが表示されている。左目用画像１０Ｌの右下隅には壁１３に対応する壁画像１３Ｌが表示されている。
第２ｂ図を参照して，右目用画像１０Ｒにも，中央にタワー画像１１Ｒが表示され，そのタワー画像１１Ｒの左に人物像１２Ｒが表示されている。右目用画像１０Ｒの右下隅には壁画像１３Ｒが表示されている。
第２ａ図に示す左目用画像１０Ｌと第２ｂ図に示す右目用画像１０Ｒとの間には視差がある。立体画像として表示する場合には，左目用画像１０Ｌと右目用画像１０Ｒとに共通に含まれる，ある画像部分の視差が除かれるように（無くなるように），左目用画像１０Ｌと右目用画像１０Ｒとを水平方向にずらす必要がある。この実施例では，左目用画像１０Ｌと右目用画像１０Ｒとのそれぞれの画像から所望の対象画像部分が検出され，その検出された対象画像部分の視差が除かれるように，左目用画像１０Ｌと右目用画像１０Ｒとが水平方向にずらされる。複数の対象画像部分が見つけられた場合には，複数の対象画像部分のうちいずれか１つの対象画像部分の視差が除かれる。
この実施例では，人物１２の顔画像が所望の対象画像部分とされるが，他の画像部分でもよいのはいうまでもない。
第２ａ図を参照して，左目用画像１０Ｌから人物像１２Ｌの顔画像５Ｌの検出処理が行われ，その顔画像５Ｌが検出される。検出された顔画像５Ｌを指定する枠１５Ｌが左目用画像１０Ｌに表示される。同様に，第２ｂ図に示す右目用画像１０Ｒにおいても人物像１２Ｒの顔画像５Ｒの検出処理が行われ，その顔画像５Ｒが検出される。検出された顔画像５Ｒを指定する枠１５Ｒが右目用画像１０Ｒに表示される。
第３図は，被写体像と立体撮像ディジタル・カメラ１との関係を示している。
上述のように，左目用画像１０Ｌから検出された顔画像５Ｌ（人物像１２Ｌ）と右目用画像１０Ｒから検出された顔画像５Ｒ（人物像１２Ｒ）との視差が除かれるように左目用画像１０Ｌと右目用画像１０Ｒとがずらされると，人物像１２には，ずれが無くなる。
人物１２の後方にあるタワー１１は，左目用画像１０Ｌに含まれるタワー画像１１Ｌと右目用画像１０Ｒに含まれるタワー画像１１Ｒとによって表される。これらのタワー画像１１Ｌと１１Ｒとの間にずれが生じる（奥側二重像）。また，人物１２の前方にある壁１３は，左目用画像１０Ｌに含まれる壁画像１３Ｌと右目用画像１０Ｒに含まれる壁画像１３Ｒとによって表される。これらの壁画像１３Ｒと壁画像１３Ｌとの間にもずれが生じる（手前二重像）。
タワー１１は，視差ずれの無い人物１２の後方にあるので，左目用画像１０Ｌに含まれるタワー画像１１Ｌは右目用画像１０Ｒに含まれるタワー画像１１Ｒの右側にある。これに対して，壁１３は，視差ずれの無い人物１２の手前にあるので，左目用画像１０Ｌに含まれる壁画像１３Ｌは右目用画像１０Ｒに含まれる壁画像１３Ｒの左側にある。
第４図は，第２ａ図に示す左目用画像１０Ｌと第２ｂ図に示す右目用画像１０Ｒとを重ね合わせる（ずらされる）ことにより得られる立体画像の一例である。
この立体画像１０は，左目用画像１０Ｌから検出された顔画像５Ｌと右目用画像１０Ｒから検出された顔画像５Ｒとの視差が除かれるように左目用画像１０Ｌと右目用画像１０Ｒとがずらされているものである。
立体画像１０には，タワー１１，人物１２および壁１３にそれぞれ対応するタワー画像１１，人物画像１２および壁画像１３（これらの符号もタワー１１，人物１２および壁１３の符号と同じ符号を使用する）が含まれている。人物像１２には視差ずれが無いが，タワー画像１１および壁画像１３には，視差ずれがあり二重の画像となっている。この実施例では，立体画像１０のうち，検出された顔画像５を含む表示領域を決定し，その表示領域内の画像を拡大して表示するものである。
第５図は，立体画像１０の一例である。
上述したように，立体画像１０において，検出された顔画像５を含むように表示領域１７が決定される。表示領域１７は，立体画像１０のアスペクト比と同じアスペクト比をもち，かつ立体画像１０の上下左右の辺にそれぞれ平行な辺を有している。表示領域１７内の画像が表示装置の表示画面全体に表示されるように拡大される。表示領域１７外の画像には，検出された対象画像部分によって表される人物１２の顔よりも手前にある（立体撮像ディジタル・カメラ１に近い）対象物である壁１３を表す壁画像１３（視差があるため二重である）も含まれている。人物１２の顔よりも奥にある（立体撮像ディジタル・カメラから遠い）対象物であるタワー１１を表すタワー画像１１は，視差があるために二重であるが，このように視差が無い顔画像５によって表される顔５よりも奥にある対象物の画像は立体感を出すために必要であるが，顔５よりも手前にある対象物の画像は観賞者の目の負担を減らすためにも無くした方が好ましい。この実施例では，表示領域１７外の画像は表示されないので，顔５よりも手前にある対象物の二重像が表示されなくなることが多い。しかも，顔画像５が含むように表示領域１７が決定されているので，観賞者が見たい対象画像部分が表示されない，ということも未然に防止できる。
第６図は，立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
立体撮像ディジタル・カメラの全体の動作は，メインＣＰＵ２０によって統括される。立体撮像ディジタル・カメラには，撮像モード，再生モードなどのモード設定ボタン，立体動画記録の開始および終了を指定する動画ボタンなどの各種ボタン類が含まれている操作装置２７が設けられている。操作装置２７から出力される操作信号は，メインＣＰＵ２０に入力する。
上述したように，立体撮像ディジタル・カメラには，第１の撮像装置２と第２の撮像装置３とが含まれている。これらの第１の撮像装置２と第２の撮像装置３とによって被写体が撮像される。
第１の撮像装置２は，被写体を撮像することにより，立体画像を構成する左目用画像を表す画像データを出力するものである。第１の撮像装置２には，第１の撮像素子（ＣＣＤ，ＣＭＯＳなど）３４が含まれている。第１の撮像素子３４の前方には，ズーム・レンズ３１，フォーカス・レンズ３２および絞り３３が設けられている。これらのズーム・レンズ３１，フォーカス・レンズ３２および絞り３３は，それぞれズーム・レンズ制御装置３５，フォーカス・レンズ制御装置３６および絞り制御装置３７によって駆動させられる。撮像モードが設定され，第１の撮像素子３４の受光面に左目用画像が結像すると，タイミング・ジェネレータ４２から与えられるクロック・パルスにもとづいて，左目用画像を表す左目用映像信号が第１の撮像素子３４から出力される。
第１の撮像素子３４から出力された左目用映像信号は，アナログ信号処理装置３９において，所定のアナログ信号処理が行われ，アナログ／ディジタル変換装置４０においてディジタルの左目用画像データに変換される。左目用画像データは，画像入力コントローラ４１からディジタル信号処理装置６２に入力する。ディジタル信号処理装置６２において左目用画像データに対して所定のディジタル信号処理が行われる。ディジタル信号処理装置６２から出力された左目用画像データはＡＦ検出装置７６に入力し，フォーカス・レンズ３２のレンズ位置を決定するＡＦ評価値が算出される。算出されたＡＦ評価値にもとづいてフォーカス・レンズ３２が位置決めされる。また，左目用画像データは，ＡＥ／ＡＷＢ検出装置７７にも入力し，露出量および白バランス調整量が算出される。算出された露出量にもとづいて絞り３３の絞り値および第１の撮像素子３４のシャッタ速度（電子シャッタ）が決定される。また，算出された白バランス調整量にもとづいてアナログ信号処理装置３９において白バランス調整が行われる。
第２の撮像装置３には，第２の撮像素子５４が含まれている。第２の撮像素子５４の前方には，ズーム・レンズ制御装置５５，フォーカス・レンズ制御装置５６および絞り制御装置５７によってそれぞれ駆動させられるズーム・レンズ５１，フォーカス・レンズ５２および絞り５３が設けられている。撮像モードが設定され，第２の撮像素子５４の受光面に右目用画像が結像すると，タイミング・ジェネレータ６２から与えられるクロック・パルスにもとづいて，右目用画像を表す右目用映像信号が第２の撮像素子５４から出力される。
第２の撮像素子５４から出力された右目用映像信号は，アナログ信号処理装置５９において，所定のアナログ信号処理が行われ，アナログ／ディジタル変換装置６０においてディジタルの右目用画像データに変換される。右目用画像データは，画像入力コントローラ６１からディジタル信号処理装置６２に入力する。ディジタル信号処理装置６２において右目用画像データに対して所定のディジタル信号処理が行われる。ディジタル信号処理装置６２から出力された右目用画像データもＡＦ検出装置７６に入力し，フォーカス・レンズ５２のレンズ位置を決定するＡＦ評価値が算出される。算出されたＡＦ評価値にもとづいてフォーカス・レンズ５２が位置決めされる。また，右目用画像データも，ＡＥ／ＡＷＢ検出装置７７に入力し，露出量および白バランス調整量が算出される。算出された露出量にもとづいて絞り５３の絞り値および第２の撮像素子５４のシャッタ速度（電子シャッタ）が決定される。また，算出された白バランス調整量にもとづいてアナログ信号処理装置５９において白バランス調整が行われる。
上述のようにして得られた左目用画像データおよび右目用画像データは，被写体検出装置８５にも入力する。被写体検出装置８５において，上述のように，所望の対象画像部分（顔画像）が左目用画像および右目用画像のそれぞれから検出される。さらに，左目用画像データおよび右目用画像データならびに検出された対象画像部分の位置を示すデータは，視差調整装置８３および二重像判定装置８６を単に通過して位置ずれ量測定装置８８に入力する。位置ずれ量測定装置８８において，左目用画像および右目用画像のそれぞれの画像において，お互いに対応する画像部分のずれ方向およびずれ量が測定される。さらに，位置ずれ量測定装置８８において，検出された対象画像部分によって表される対象物よりも手前の被写体を表す画像（手前二重像）の位置ずれか，その対象物よりも奥の被写体を表す画像（奥側二重像）の位置ずれかも検出される。
左目用画像において検出された対象画像部分と右目用画像において検出された対象画像部分との位置ずれがなくなるように（視差ずれが無くなるように），視差調節装置８３において，左目用画像と右目用画像とがずらされる。視差調節装置８３において画像がずらされた左目用画像データおよび右目用画像データは表示制御装置８１に入力する。
また，検出された対象画像部分の位置を表すデータならびに左目用画像データおよび右目用画像データは表示領域計算装置８７にも入力する。表示領域計算装置８７において，上述したように表示領域の位置および大きさが算出される。算出された表示領域の位置および大きさを表すデータは，二重像判定装置８６を単に通過して表示制御装置８１に与えられる。
表示制御装置８１において，検出された対象画像部分の視差が無くなり，かつ表示領域内の画像が表示画面全体に表示されるように拡大されて表示されるようにモニタ表示装置８２が制御される。
さらに，立体撮像ディジタル・カメラには，左目用画像および右目用画像のうち，対象画像部分が一方から見つけられた場合に他方の画像から対象画像部分を見つける対応点検出装置８４も含まれている。また，立体撮像ディジタル・カメラには，後述するように対象画像部分によって表される対象物よりも手前の被写体を表す手前二重像が存在するか，その手前二重像のずれの程度が許容範囲内かどうかを判定する二重像判定装置８６も含まれている。
操作装置２７に含まれているシャッタ・レリーズ・ボタンが押されると，上述のようにして得られる立体画像を表すデータ（左目用画像データおよび右目用画像データ）がメディア制御装置７９によってメモリ・カード８０に記録される。メモリ・カード８０には，表示領域内の画像を表す左目用画像データおよび右目用画像データを記録するようにしてもよいが，好ましくは，表示領域外の画像も含めて撮像により得られた右目用画像データおよび左目用画像データがメモリ・カード８０に記録される。
さらに，立体撮像ディジタル・カメラには，各種データ類を記憶するＶＲＡＭ７１，ＳＤＲＡＭ７２，フラッシュＲＯＭ７３およびＲＯＭ７４も含まれている。また，立体撮像ディジタル・カメラには，バッテリィ２１が含まれており，このバッテリィ２１から供給される電源が電源制御装置２２に与えられる。電源制御装置２２から立体撮像ディジタル・カメラを構成する各装置に電源が供給される。さらに，立体撮像ディジタル・カメラには，フラッシュ制御装置２５によって制御されるフラッシュ２４，姿勢検出センサ２６および手振れ制御装置７８も含まれている。
上述したメモリ・カード８０に立体撮像ディジタル・カメラの動作プログラムが格納されており，その動作プログラムが立体撮像ディジタル・カメラにインストールされることにより，立体撮像ディジタル・カメラが動作する。もっとも，その動作プログラムは立体撮像ディジタル・カメラにプリ・インストールされていてもよいし，メモリ・カード８０以外の可搬型記録媒体に記録されていてもよい。さらに，動作プログラムはネットワークを介して立体撮像ディジタル・カメラに与えられてもよい。その場合には立体撮像ディジタル・カメラには，ネットワークに接続するための通信装置が設けられよう。
第７図は，立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
上述のように被写体が撮像され，第２ａ図および第２ｂ図に示すように左目用画像と右目用画像とが得られる。得られた左目用画像と右目用画像とのそれぞれの画像から，対象画像部分（顔画像）が検出される。左目用画像と右目用画像とのうち，いずれか一方からでも対象画像部分が検出されると（ステップ９１でＹＥＳ），第４図に示したように，対象画像部分の視差ずれが除かれるように左目用画像と右目用画像とがずらされる（ステップ９２）。対象画像部分が左目用画像および右目用画像のうち，一方の画像からのみ検出された場合には，特徴点検出装置８４において他方の画像から特徴点を検出する処理が行われ，一方の画像から検出された対象画像部分に対応する画像部分が他方の画像から検出される。
上述したように，位置ずれ測定装置８８によって得られる位置ずれの測定結果にもとづいて，検出された対象画像部分によって表される対象物よりも手前の被写体を表す手前二重像があるかどうかが判定される（ステップ９３）。そのような手前二重像がある場合には（ステップ９３でＹＥＳ），位置ずれ測定装置８８によって測定された位置ずれの結果にもとづいて，その手前二重像のずれが許容範囲内かどうかが判定される（ステップ９４）。許容範囲外であれば（ステップ９４でＮＯ），上述したように，検出された対象画像部分が含まれるように表示領域（たとえば立体画像の大きさよりも小さく，立体画像と同じアスペクト比をもつ）が計算される（ステップ９５）。
表示領域が計算されると，立体画像（左目用画像および右目用画像）から除外される範囲があるかどうかが確認される（ステップ９６）。除外される範囲があると（ステップ９６でＹＥＳ），計算された表示領域が最低のサイズ（たとえばＶＧＡ：Ｖｉｄｅｏ Ｇｒａｐｈｉｃ Ａｒｒａｙ）よりも大きいかどうかが確認される（ステップ９７）。
計算された表示領域が最低のサイズ以上であれば（ステップ９７でＹＥＳ），その表示領域内の画像を表示画面全体にわたって表示させることができるので，表示領域内の画像が拡大されて表示される（ステップ９８）。目の負担が少なく，かつ観賞する場合に不快と感じる手前二重像が除去された立体画像が表示されるようになる。計算された表示領域が最低のサイズ未満であれば（ステップ９７でＮＯ），表示領域内の画像を表示画面全体にわたって表示させることはできないので，表示領域内の画像を拡大して表示せずに立体画像全体が表示画面全体にわたって表示される（ステップ９９）。
対象画像部分が検出されなかった場合（ステップ９１でＮＯ），手前二重像が無い場合（ステップ９３でＮＯ），手前二重像のずれ量が許容範囲内の場合（ステップ９４でＹＥＳ），除外範囲が無い場合（ステップ９６でＮＯ）にも，表示領域内の画像を表示画面全体にわたって表示させることはできないので，表示領域内の画像を拡大して表示せずに立体画像全体が表示画面全体にわたって表示される（ステップ９９）。
上述の実施例は，撮像時の得られた左目用画像データおよび右目用画像データについて行われているが，撮像時でなく，メモリ・カード８０などの可搬型記録媒体（可搬型でなくともよい）に記録された左目用画像データおよび右目用画像データの再生時にも同様の処理を実施できるのはいうまでもない。
上述の実施例においては，手前二重像が除去された立体画像を表示させることができる。これにより，撮像時，いわゆるライブビューの時，再生時に，撮像した画像のアスペクト比と同じアスペクト比をもち，かつ視差ずれが少ない画像をユーザに見せることができる。上述の実施例では，いわゆるオート再生を考慮するものであり，そのようなオート再生において観賞者の目の負担を軽くできる。
手前二重像を除去するために，左目用画像および右目用画像のそれぞれの画像において，顔画像（対象画像）を正確に検出したいが，顔が立体撮像ディジタル・カメラ１から遠い場合，顔が正面ではなく斜めを向いている場合，顔の一部または全体が暗い場合などには顔画像が正確に検出できずに，右目用画像と左目用画像とのうち，一方の画像からしか検出できないことがある。そのような場合であっても，右目用画像と左目用画像とのうち他方の画像からも顔画像を検出して上述のように，手前二重像を除去することが好ましい。顔画像を検出するために，右目用画像および左目用画像のうち，顔画像が検出できなかった他方の画像全体に対して顔画像のテンプレートとのマッチング処理を行い，顔画像を検出すると，とくに上述した表示領域の計算（第７図ステップ９５の処理）に比較的時間がかかってしまう。このために，顔画像が検出できなかった他方の画像から顔画像を比較的速く検出することが好ましい。以下に述べる実施例は，顔画像が検出できなかった他方の画像から顔画像を比較的速く検出するものである。
第８図から第１７図は，他の実施例を示している。この実施例は，上述のように，左目用画像および右目用画像のうち，対象画像が検出できなかった他方の画像から対象画像を比較的速く検出し，一方の画像からのみ検出された対象画像部分も表示領域内に入るように表示領域を決定するものである。最初に，第８図から第１７図を参照して，左目用画像および右目用画像のそれぞれに複数の人物が含まれており，少なくとも一人の人物については左目用画像および右目用画像の両方の画像で顔画像が検出される場合の処理について説明する。両方の画像で検出された顔画像について視差ずれがないようにした上で後述の顔画像を検出する処理の検出対象領域が設定される。
第８図は，立体撮像ディジタル・カメラ１と被写体との位置関係を平面的に示すもので，第１図に対応している。第８図において第１図に示すものと同一物については同一符号を付して説明を省略する。
第８図においては，上述した人物（第１の人物とする）１２の右側の奥であって，タワー１１よりも手前に第２の人物１４がいる。上述した実施例では，撮像範囲内に対象画像となる人物像（顔画像）は一人であったが，この実施例においては，第２の人物１４が新たに加わっており，撮像範囲内に二人の人物像が含まれている（三人以上であってもよい）。
第９ａ図および第９ｂ図は，第８図に示す位置関係にある被写体を，立体撮像装置１の第１の撮像装置２および３においてそれぞれ撮像することにより得られた左目用画像および右目用画像である。これらの第９ａ図および第９ｂ図も第２ａ図および第２ｂ図にそれぞれ対応するもので，第２ａ図および第２ｂ図に示すものと同一物については同一符号を付して説明を省略する。
左目用画像１０Ｌにおいて，対象画像部分の検出処理が行われ，第１の人物１２の顔画像５Ｌおよび第２の人物１４の顔画像６Ｌがそれぞれ検出されたものとする（顔画像５Ｌを囲む枠１５Ｌおよび顔画像６Ｌを囲む枠１６Ｌも表示されている）。同様に，右目用画像１０Ｒにおいて対象画像部分の検出処理が行われ，第１の人物１２の顔画像５Ｒは検出されたが（顔画像５Ｒを囲む枠１５Ｒが表示されている），第２の人物１４の顔画像６Ｒは検出されなかったものとする。
左目用画像１０Ｌから検出された顔画像６Ｌを利用して，その顔画像６Ｌに対応する顔画像６Ｒが右目用画像１０Ｒから見つけられる。
第１０図は，左目用画像１０Ｌと右目用画像１０Ｒとの両方の画像から検出された顔画像５Ｌ（５Ｒ）の大きさと，左目用画像１０Ｌと右目用画像１０Ｒとのうち一方の画像からのみ検出された顔画像６Ｌの大きさとを比較している。
この実施例においては，両方の画像から検出された顔画像５Ｌ（５Ｒ）の大きさが一方の画像からのみ検出された顔画像６Ｌの大きさよりも大きい場合には，一方の画像のみから検出された顔画像６Ｌによって表される被写体は，両方の画像から検出された顔画像５Ｌによって表される被写体よりも遠い（奥側）位置にあるものとされる。
第３図を参照して説明したように，両方の画像から検出された対象画像５Ｌ（第９ａ図参照）と対象画像５Ｒ（第９ｂ図参照）との視差ずれが無くなると，その対象画像５よりも奥にある被写体は，左目用画像１０Ｌによって表されるものが右側に，右目用画像１０Ｒによって表されるものが左側となる。このため，左目用画像１０Ｌに検出された顔画像６Ｌに対応する右目用画像１０Ｒの位置よりも右側で顔画像６Ｌに対応する顔画像を右目用画像１０Ｒから見つけると，比較的短時間で見つけられる。
目的としては，顔画像を見つけて顔画像に視差を合わせたいということであるが，顔画像が左目用画像および右目用画像のそれぞれの画像で見つかっている場合には，それらの画像がファイルに格納されており，そのファイルのヘッダ情報に顔画像の領域を表す座標情報が記録されているときには，視差を調節するために対応点検出する範囲は極めて限られた範囲となる。しかしながら，左目用画像および右目用画像のうち一方の画像でのみ顔画像が検出された場合であって，顔画像がどこにあるのかの情報が不足している状況で画像空間を総当りするようなシステムでは，対となる顔画像を探し出すところに膨大に時間的コストがかかるため，使用時のレスポンスを向上させるためには何らかの手段でこの探索範囲を限定し，高速に対応点検出処理を実施することがポイントとなる。ここでは，左目用画像および右目用画像の両方の画像から検出できた顔画像（両目検出顔画像）の大きさと，左目用画像と右目用画像とのうち一方の画像から検出できた顔画像（片目検出顔画像）の大きさとを比較することで，片目検出顔画像が両目検出顔画像よりも手前か奥かを判断し，手前か奥かの判断情報から手前側で探すか奥側を探すかの探索範囲を限定することで高速化を実現する。
この実施例では，左目用画像１０Ｌと上記右目用画像１０Ｒとの両方の画像から見つけられた対象画像部分の大きさよりも他方の画像からのみ見つけられた対象画像部分の大きさの方が大きいと判定され，かつ対象画像部分を見つけられなかった一方の画像が左目用画像の場合，または左目用画像と右目用画像との両方の画像から見つけられた対象画像部分の大きさよりも他方の画像からのみ見つけられた対象画像部分の大きさの方が小さいと判定され，かつ対象画像部分を見つけられなかった一方の画像が右目用画像の場合には，一方の画像からは見つけられなかった対象画像部分を，他方の画像において見つけられた対象画像部分に対応する位置の右側から見つける。
第１１図は，第９ａ図および第９ｂ図に示すように立体撮像ディジタル・カメラ１を用いて撮像された左目用画像１０Ｌおよび右目用画像１０Ｒにそれぞれ含まれる顔画像５Ｌおよび６Ｌならびに顔画像５Ｒおよび６Ｒを，それらの顔画像５Ｌおよび６Ｌならびに顔画像５Ｒおよび６Ｒの人物１２および１４と立体撮像ディジタル・カメラ１との位置関係に対応して表現しているものである。
第９ａ図および第９ｂ図も参照して，立体撮像ディジタル・カメラ１に近い位置にいる人物については左目用画像１０Ｌから顔画像５Ｌとして検出され，右目用画像１０Ｒから顔画像５Ｒとして検出されたものとする。左目用画像１０Ｌから顔画像５Ｌが検出されたことにより，第９ａ図および第１１図に示すように枠１５Ｌが顔画像５Ｌの周りに表示されている。右目用画像１０Ｒから顔画像５Ｒが検出されたことにより，第９ａ図および第１１図に示すように枠１５Ｒが表示されている。
立体撮像ディジタル・カメラ１から遠い位置にいる人物については左目用画像１０Ｌから顔画像６Ｌとして検出されるが，右目用画像１０Ｒからは顔画像６Ｒが検出されなかったものとする。すると，右目用画像１０Ｒにおいて，左目用画像１０Ｌから検出された顔画像６Ｌに対応する位置の右側が顔画像６Ｒを検出する検出対象領域２１０として設定される。具体的には，この検出対象領域２１０は，左目用画像１０Ｌにおいて検出された顔画像６Ｌを囲む枠１６Ｌの左端に対応する右目用画像１０Ｒの位置から右側に，最大幅ｗ１が視差ずれの最大量に検出された顔の幅を加算した値以下となり，高さｈ１が左目用画像１０Ｌにおいて検出された顔画像６Ｌの高さに対応する。もっとも，検出対象領域２１０の左端は，左目用画像１０Ｌにおいて検出された顔画像６Ｌを囲む枠１６Ｌの左端よりも少し左側とし，検出対象領域２０１の高さｈ１は，左目用画像１０Ｌにおいて検出された顔画像６Ｌの高さよりも上下に少し大きくしてもよい。検出対象領域２１０から顔画像６Ｌが検出されるので，比較的迅速に顔画像６Ｌを検出できる。
第１２ａ図は左目用画像の一例であり，第１２ｂ図は右目用画像の一例である。第１３図は，第１１図に対応するもので，第１２ａ図および第１２ｂ図に示すように立体撮像ディジタル・カメラ１を用いて撮像された左目用画像１０Ｌおよび右目用画像１０Ｒにそれぞれ含まれる顔画像５Ｌおよび６Ｌならびに顔画像５Ｒおよび６Ｒを，それらの顔画像５Ｌおよび６Ｌならびに顔画像５Ｒおよび６Ｒの人物１２および１４と立体撮像ディジタル・カメラ１との位置関係に対応して表現しているものである。
立体撮像ディジタル・カメラ１から遠くにいる人物については左目用画像１０Ｌから顔画像６Ｌとして検出され，右目用画像１０Ｒから顔画像６Ｒとして検出されたものとする。左目用画像１０Ｌから顔画像６Ｌが検出されたことにより，第１２ａ図および第１３図に示すように枠１６Ｌが顔画像６Ｌの周りに表示されている。右目用画像１０Ｒから顔画像６Ｒが検出されたことにより，第１２ａ図および第１３図に示すように枠１６Ｒが表示されている。
立体撮像ディジタル・カメラ１から近い位置にいる人物については右目用画像１０Ｒから顔画像５Ｒとして検出されるが，左目用画像１０Ｌからは顔画像５Ｌが検出されなかったものとする。すると，左目用画像１０Ｌにおいて，右目用画像１０Ｒから検出された顔画像５Ｒに対応する位置の右側が顔画像５Ｌを検出する検出対象領域２１１として設定される。具体的には，この検出対象領域２１１は，右目用画像１０Ｒにおいて検出された顔画像５Ｒを囲む枠１５Ｒの右端に対応する左目用画像１０Ｌの位置から左側に最大幅ｗ２が視差ずれの最大量に検出された顔の幅を加算した値以下となり，高さｈ２が右目用画像１０Ｒにおいて検出された顔画像５Ｒの高さに対応する。もっとも，検出対象領域２１１の左端も，右目用画像１０Ｒにおいて検出された顔画像５Ｒを囲む枠１５Ｒの左端よりも少し左側とし，検出対象領域２１１の高さｈ１は，右目用画像１０Ｒにおいて検出された顔画像５Ｒの高さよりも上下に少し大きくしてもよい。検出対象領域２１１から顔画像５Ｌが検出されるので，比較的迅速に顔画像６Ｌを検出できる。
また，左目用画像と右目用画像との両方の画像から見つけられた対象画像部分の大きさよりも他方の画像からのみ見つけられた対象画像部分の大きさの方が大きいと判定され，かつ対象画像部分を見つけられなかった一方の画像が右目用画像の場合，または左目用画像と右目用画像との両方の画像から見つけられた対象画像部分の大きさよりも他方の画像からのみ見つけられた対象画像部分の大きさの方が小さいと判定され，かつ対象画像部分を見つけられなかった一方の画像が左目用画像の場合には，一方の画像からは見つけられなかった対象画像部分を，他方の画像において見つけられた対象画像部分に対応する位置の左側から見つける。
第１４ａ図は左目用画像の一例であり，第１４ｂ図は右目用画像の一例である。第１５図は，第１１図，第１３図に対応するもので，第１４ａ図および第１４ｂ図に示すように立体撮像ディジタル・カメラ１を用いて撮像された左目用画像１０Ｌおよび右目用画像１０Ｒにそれぞれ含まれる顔画像５Ｌおよび６Ｌならびに顔画像５Ｒおよび６Ｒを，それらの顔画像５Ｌおよび６Ｌならびに顔画像５Ｒおよび６Ｒの人物１２および１４と立体撮像ディジタル・カメラ１との位置関係に対応して表現しているものである。
第９ａ図および第９ｂ図ならびに第１１図を参照して説明したのと同様に，立体撮像ディジタル・カメラ１に近い位置にいる人物については左目用画像１０Ｌから顔画像５Ｌとして検出され，右目用画像１０Ｒから顔画像５Ｒとして検出されたものとする。
立体撮像ディジタル・カメラ１から遠い位置にいる人物については右目用画像１０Ｒから顔画像６Ｒとして検出されるが，左目用画像１０Ｌからは顔画像６Ｌが検出されなかったものとする。すると，左目用画像１０Ｌにおいて，右目用画像１０Ｒから検出された顔画像６Ｒに対応する位置の左側が顔画像６Ｌを検出する検出対象領域２１２として設定される。この検出対象領域２１２は，右目用画像１０Ｒにおいて検出された顔画像６Ｒを囲む枠１６Ｒの右端に対応する左目用画像１０Ｌの位置から左側に設定される。検出対象領域２１２の大きさは，上述した検出対象領域２１０の大きさと同じである（もっとも異なってもよい）。
第１６ａ図は左目用画像の一例であり，第１６ｂ図は右目用画像の一例である。第１７図は，第１１図，第１３図，第１５図に対応するもので，第１６ａ図および第１６ｂ図に示すように立体撮像ディジタル・カメラ１を用いて撮像された左目用画像１０Ｌおよび右目用画像１０Ｒにそれぞれ含まれる顔画像５Ｌおよび６Ｌならびに顔画像５Ｒおよび６Ｒを，それらの顔画像５Ｌおよび６Ｌならびに顔画像５Ｒおよび６Ｒの人物１２および１４と立体撮像ディジタル・カメラ１との位置関係に対応して表現しているものである。
立体撮像ディジタル・カメラ１から遠くにいる人物については左目用画像１０Ｌから顔画像６Ｌとして検出され，右目用画像１０Ｒから顔画像６Ｒとして検出されたものとする。
立体撮像ディジタル・カメラ１から近い位置にいる人物については左目用画像１０Ｌから顔画像５Ｌとして検出されるが，右目用画像１０Ｒからは顔画像５Ｒが検出されなかったものとする。すると，右目用画像１０Ｒにおいて，左目用画像１０Ｌから検出された顔画像５Ｌに対応する位置の左側が顔画像５Ｒを検出する検出対象領域２１３として設定される。検出対象領域２１３は，上述した検出対象領域２１１（第１２ａ図参照）の大きさと同じである（異なってもよい）。
上述の実施例では，左目用画像と右目用画像との両方の画像から検出された顔画像の大きさと，左目用画像と右目用画像とのうち一方の画像からのみ検出された顔画像の大きさとを比較して，一方の画像からのみ検出され，他方の画像からは検出されない顔画像を検出する検出対象領域を決定しているが，左目用画像と右目用画像との両方の画像から検出される顔画像が少なくとも一つは存在しなければ（安定して顔画像が検出できなければ），その検出対象領域を決定できない。次に述べる実施例では，左目用画像と右目用画像との両方の画像から検出される顔画像が存在しなくとも，左目用画像と右目用画像とのうち一方の画像からのみ検出され，他方の画像からは検出されない顔画像を検出する検出対象領域を決定するものである。
第１８図は，フォーカス・レンズ位置を示している。
左目用画像１０Ｌおよび右目用画像１０Ｒの両方から共通の対象画像部分（顔画像）が検出できなかった場合には，フォーカス・レンズ位置を利用して，一方の画像において検出された対象画像部分に対応する他方の画像における対象画像部分を検出する部分が決定される。
左目用画像および右目用画像のうち，対象画像部分が検出された方の画像の中央部が合焦するときのフォーカス・レンズの位置がＰ１であり，検出された対象画像部分が合焦するときのフォーカス・レンズの位置がＰ２であったものとする。すると，それらの位置Ｐ１と位置Ｐ２との位置関係から，画像の中央部に存在する被写体と検出された対象画像部分によって表される対象物との位置関係がわかる。この実施例では画像の中央部は視差ずれが無いように左目用画像と右目用画像とが調整される。
左目用画像と右目用画像とのうち，他方の画像からのみ見つけられた対象画像部分によって表される対象物の位置が，その他方の画像の中央部にある視差ずれの無い画像に対応する被写体の位置よりも手前にあり，かつ対象画像部分を見つけられなかった一方の画像が右目用画像の場合，または左目用画像と右目用画像とのうち，他方の画像からのみ見つけられた対象画像部分によって表される対象物の位置が，その他方の画像の中央部にある視差ずれの無い画像に対応する被写体の位置よりも奥にあり，かつ一方の画像が左目用画像の場合には，一方の画像からは見つけられなかった対象画像部分を，他方の画像において見つけられた対象画像部分に対応する位置の左側から見つける。
第１９ａ図は左目用画像の一例であり，第１９ｂ図は右目用画像の一例である。これらの図において，第９ａ図および第９ｂ図と同一物については同一符号を付して説明を省略する。
左目用画像１０Ｌには中央にタワー画像１１Ｌがあり，右目用画像１０Ｒにも中央にタワー画像１１Ｒがある。上述の実施例と異なり，左目用画像１０Ｌと右目用画像１０Ｒとは中央部にあるタワー画像１１Ｌと１１Ｒとの視差ずれが除去されているものとする。
また，左目用画像１０Ｌから顔画像６Ｌが検出されているが，右目用画像１０Ｒからは顔画像６Ｒが検出されていないものとする。第１８図に示すように，中央部（タワー１１）のフォーカス・レンズ位置Ｐ１よりも対象画像（左目用画像１０Ｌから検出された顔画像６Ｌ）のフォーカス・レンズ位置Ｐ２がＮｅａｒ側にあるので，タワー１１よりも顔６の人物１４の方が手前にいることがわかる。すると，タワー１１と人物１４とは，第１７図に示す位置関係に相当するので，右目用画像１０Ｒにおいて，検出された顔画像６Ｌに対応する位置から左側に，顔画像６Ｒを検出する検出対象領域２１０Ａが設定される。
第２０ａ図は左目用画像の一例であり，第２０ｂ図は右目用画像の一例である。これらの図において，第１６ａ図および第１６ｂ図と同一物については同一符号を付して説明を省略する。第２０ａ図および第２０ｂ図においても，上述の実施例と異なり，左目用画像１０Ｌと右目用画像１０Ｒとはタワー画像１１Ｌと１１Ｒとの視差ずれが除去されているものとする。
左目用画像１０Ｌから顔画像５Ｌが検出されているが，右目用画像１０Ｒからは顔画像５Ｒが検出されていないものとする。この場合も，第１９ａ図および第１９ｂ図に示すものと同様に，顔画像５Ｒを検出する人物１２はタワー１１よりも手前にあるから，右目用画像１０Ｒにおいて，検出された顔画像５Ｌに対応する位置から左側に，顔画像５Ｒを検出する検出対象領域２１３が設定されることは理解できよう。
左目用画像と右目用画像とのうち，他方の画像からのみ見つけられた対象画像部分によって表される対象物の位置が，その他方の画像の中央部にある視差ずれの無い画像に対応する被写体の位置よりも手前にあり，かつ対象画像部分を見つけられなかった一方の画像が左目用画像の場合，または左目用画像と右目用画像とのうち，他方の画像からのみ見つけられた対象画像部分によって表される対象物の位置が，その他方の画像の中央部にある視差ずれの無い画像に対応する被写体の位置よりも奥にあり，かつ対象画像部分を見つけられなかった一方の画像が右目用画像の場合には，一方の画像からは見つけられなかった対象画像部分を，他方の画像において見つけられた対象画像部分に対応する位置の右側から見つける。
第２１ａ図は左目用画像の一例であり，第２１ｂ図は右目用画像の一例である。これらの図において，第１４ａ図および第１４ｂ図と同一物については同一符号を付して説明を省略する。これらの図においても，左目用画像１０Ｌと右目用画像１０Ｒとはタワー画像１１Ｌと１１Ｒとの視差ずれが除去されているものとする。
また，右目用画像１０Ｒから顔画像６Ｒが検出されているが，左目用画像１０Ｌからは顔画像６Ｌが検出されていないものとする。タワー１１と人物１４とは，第１３図に示す位置関係に相当するので，左目用画像１０Ｌにおいて，検出された顔画像６Ｒに対応する位置から右側に，顔画像６Ｌを検出する検出対象領域２１２Ａが設定される。
第２２ａ図は左目用画像の一例であり，第２２ｂ図は右目用画像の一例である。これらの図において，第１２ａ図および第１２ｂ図と同一物については同一符号を付して説明を省略する。第２２ａ図および第２０ｂ図においても，左目用画像１０Ｌと右目用画像１０Ｒとはタワー画像１１Ｌと１１Ｒとの視差ずれが除去されているものとする。
右目用画像１０Ｒから顔画像５Ｒが検出されているが，左目用画像１０Ｌからは顔画像５Ｌが検出されていないものとする。この場合も，第２１ａ図および第２１ｂ図に示すものと同様に，顔画像５Ｒを検出する人物１２はタワー１１よりも手前にあるから，左目用画像１０Ｌにおいて，検出された顔画像５Ｒに対応する位置から右側に，顔画像５Ｌを検出する検出対象領域２１１が設定されることは理解できよう。
第９ｂ図では，左目用画像１０Ｌにおいて検出された顔画像６Ｌを基準として右側に検出対象領域２１０が設定されているのに対し，第１９ｂ図では，左目用画像１０Ｌにおいて検出された顔画像６Ｌを基準として左側に検出対象領域２１０Ａが設定されている。また，第１４ａ図では，右目用画像１０Ｒにおいて検出された顔画像６Ｒを基準として左側に検出対象領域２１２が設定されているのに対し，第２１ａ図では，右目用画像１０Ｒにおいて検出された顔画像６Ｒを基準として左側に検出対象領域２１２Ａが設定されている。このように検出対象領域が設定される方向が異なるのは，第９ｂ図および第１４ａ図では，顔画像が左目用画像１０Ｌおよび右目用画像１０Ｒの両方の画像で検出された人物１２の視差ずれが除去され，その人物１２を基準として顔画像６Ｒまたは６Ｌを検出する人物１４が人物１２よりも奥にいる状況で検出対象領域２１０および２１２を設定しているのに対し，第１９ｂ図および第２１ａ図では，タワー１１の画像１１Ｌおよび１１Ｒの視差ずれが除去され，そのタワー１１を基準として顔画像６Ｒまたは６Ｌを検出する人物１４がタワー１１よりも手前にいる状況で検出対象領域２１０Ａおよび２１２Ａが設定されているからである。
第２３図は，左目用画像と右目用画像とを重ねあわせた立体画像の一例であり，第５図に対応する。第２３図において第５図に示すものと同一物については同一符号を付して説明を省略する。
上述のようにして，左目用画像１０Ｌからは検出された顔画像６Ｌに対応する顔画像が，右目用画像１０Ｒからは検出されなかった場合においても，顔画像６Ｒが見つけられる。立体画像に含まれる顔画像５および６（枠１５および１６も表示されている）を囲むように表示領域１８が決定される。決定された表示領域内の画像が表示画面全体に表示されるようになる。
第２４図は，立体撮像ディジタル・カメラの電気的構成を示すブロック図である。この図において，第５図に示すものと同一物については同一符号を付して説明を省略する。
第２４図に示す立体撮像ディジタル・カメラには，フォーカス位置比較演算装置８９が設けられている。このフォーカス位置比較演算装置８９は，図１８に示すように，左目用画像および右目用画像のうち対象画像部分が検出された画像において中央部分のフォーカス・レンズ位置と検出された対象画像部分のフォーカス・レンズ位置とを比較して，その中央部分に存在する被写体と検出された対象画像部分によって表される対象物との位置関係を算出するものである。算出された位置関係にもとづいて，対象画像部分が検出されなかった画像から，その対象画像部分を見つける領域が決定される。
第２５図は，表示領域決定処理手順（第７図ステップ９５の処理手順）を示すフローチャートである。
左目用画像および右目用画像のうち，一方の画像でのみ検出された対象画像部分があるかどうかが確認される（ステップ１０１）。一方の画像でのみ検出された対象画像部分があると（ステップ１０１でＹＥＳ），左目用画像および右目用画像の両方の画像で検出された対象画像部分があるかどうかが確認される（ステップ１０２）。
両方の画像で検出された対象画像部分があると（ステップ１０２でＹＥＳ），第１０図を参照して説明したように，両方の画像で検出された対象画像部分の大きさが，一方の画像でのみ検出された対象画像部分の大きさよりも大きいかどうかが判定される（ステップ１０３）。両方の画像で検出された対象画像部分の大きさが，一方の画像でのみ検出された対象画像部分の大きさよりも大きい場合には（ステップ１０３でＹＥＳ），両方の画像で検出された対象画像部分によって表される対象物よりも，一方の画像でのみ検出された対象画像部分によって表される対象物の方が手前にあると考えられる（マッチング方向を手前側にする）。上述したように，対象画像部分が検出できなかった画像が左目用画像か右目用画像によって，対象画像部分が検出できなかった一方の画像のうち，他方の画像において対象画像部分が検出された位置に対応する位置の右側または左側に設定される検出対象表示領域から検出されなかった対象画像部分が見つけられる（ステップ１０４，１０７）。ここで，マッチングとは，左目用画像および右目用画像のうち，一方の画像でしか見つかっていない対象画像を探す際に，他方の画像の中を，いわゆるパターン・マッチングのようにして対応点検出を行う演算作業の意味である。具体的には，第８図から第２２ａ図および第２２ｂ図を参照して説明したように，顔画像を検出する処理である。
両方の画像で検出された対象画像部分の大きさが，一方の画像でのみ検出された対象画像部分の大きさよりも小さい場合には（ステップ１０３でＮＯ），両方の画像で検出された対象画像部分によって表される対象物よりも，一方の画像でのみ検出された対象画像部分によって表される対象物の方が奥側にあると考えられる（マッチング方向を奥側にする）。そのために，上述したように，対象画像部分が検出できなかった画像が左目用画像か右目用画像によって，対象画像部分が検出できなかった一方の画像のうち，他方の画像において対象画像部分が検出された位置に対応する位置の右側または左側に設定される検出対象領域から検出されなかった対象画像部分が見つけられる（ステップ１０５，１０７）。
両方の画像から検出された対象画像部分が無かった場合には（ステップ１０２でＮＯ），第１８図を参照して説明したように，フォーカス・レンズの位置を利用して検出されなかった対象画像部分を見つける範囲が決定される。
中央部のフォーカス・レンズの位置に比較して，一方の画像からのみ検出された対象画像部分のフォーカス・レンズの位置が手前であると（ステップ１０６でＹＥＳ），中央に存在する被写体よりも，一方の画像でのみ検出された対象画像部分によって表される対象物の方が手前にあると考えられる（マッチング方向を手前側にする）。上述したように，検出対象領域を設定し，対象画像部分が検出できなかった画像が左目用画像か右目用画像によって，対象画像部分が検出できなかった一方の画像のうち，検出されなかった対象画像部分が検出対象領域から見つけられる（ステップ１０４，１０７）。
中央部のフォーカス・レンズの位置に比較して，一方の画像からのみ検出された対象画像部分のフォーカス・レンズの位置が奥側であると（ステップ１０６でＮＯ），中央に存在する被写体よりも，一方の画像でのみ検出され対象画像部分によって表される対象物の方が奥側にあると考えられる（マッチング方向を奥側にする）。上述したように，検出対象領域を設定し，対象画像部分が検出できなかった画像が左目用画像か右目用画像によって，対象画像部分が検出できなかった一方の画像のうち，検出されなかった対象画像部分が検出対象領域から見つけられる（ステップ１０５，１０７）。
一方の画像でのみ検出された対象画像部分が無ければ（ステップ１０１でＮＯ），ステップ１０２からステップ１０７の処理はスキップされる。
見つけられた（検出された）すべての対象画像部分を含むように表示領域が計算される（ステップ１０８）。
上述の実施例は，顔画像を正確に検出し，手前二重像を除去するためのものであるが，マクロ・モードのように手前二重像を除去しないことが好ましい場合もある。その実施例が次に述べるものである。
第２６図から第３３図は，他の実施例を示している。この実施例は，対象画像部分が検出された場合であっても対象画像部分以外の画像部分が主要被写体であると考えられる場合に，その画像部分の視差ずれが無くなるように，左目用画像と右目用画像とをずらすものである。
第１９図は，立体撮像ディジタル・カメラと被写体との位置関係を平面的に示すもので，第１図に対応している。この図において，第１図に示すものと同一物については同一符号を付して説明を省略する。
立体撮像ディジタル・カメラ１の前方には，人物１１１および花１１２がある。人物１１１よりも花１１２の方が手前にあり，花１１２は立体撮像ディジタル・カメラ１によって撮像できる撮像範囲のほぼ中心にある。
第２７ａ図および第２７ｂ図は，第２６図に示す位置関係にある人物１１１および花１１２を立体撮像ディジタル・カメラ１によって撮像した場合に得られる左目用画像１１０Ｌおよび右目用画像１１０Ｒの一例である。
第２７ａ図を参照して，左目用画像１１０Ｌには，左上に人物１１１を表す人物像１１１Ｌが表示され，ほぼ中心に花１１２を表す花画像１１２Ｌが表示されている。対象画像部分検出処理が行われることにより，顔画像１１５Ｌが検出され，その検出された顔画像１１５Ｌの周りに枠１１３Ｌが表示されている。
第２７ｂ図を参照して，右目用画像１１０Ｒには，左上に人物１１１を表す人物像１１１Ｒが表示され，ほぼ中心に花１１２を表す花画像１１２Ｒが表示されている。対象画像部分検出処理が行われることにより，顔画像１１５Ｒが検出され，その検出された顔画像１１５Ｒの周りに枠１１３Ｒが表示されている。
第２８図から第３０図は，対象画像部分を検出したときの撮像レンズのフォーカス位置と中央部の撮像レンズのフォーカス位置と，主要被写体らしさを表す指数との関係を示している。第２８図は，ズーム・レンズがワイド側に設定されている場合の関係のグラフＧ１を示し，第２９図は，ズーム・レンズがワイド側とテレ側との中間に設定されている場合の関係のグラフＧ２を示し，第３０図は，ズーム・レンズがテレ側に設定されている場合の関係のグラフＧ３を示している。
主要被写体らしさを表す指数ＦＰは，ズーム・レンズのズーム・ポジションに対応してそれぞれのズーム・ポジションごとにあらかじめ記憶されている。第２８図に示すように，ズーム・レンズがワイド側（広角側）であれば，Ｎｅａｒ側が最大値となるようなグラフＧ１となる。第２９図に示すように，ズーム・レンズがワイド側とテレ側との中間であれば，Ｎｅａｒ側とＦａｒ側とのほぼ中間が最大値となるようなグラフＧ２となる。第３０図に示すように，ズーム・レンズがテレ側（望遠側）であれば，Ｆａｒ側が最大値となるようなグラフＧ３となる。これらのフォーカス・レンズ位置と主要被写体らしさの指数との関係を示すグラフはズーム・ポジションに応じて連続的に変化する。ズーム・ポジションに応じて，フォーカス・レンズ位置と主要被写体らしさの指数との関係を示すグラフがあらかじめ記憶されており（実際にはテーブルの形態で記憶されていよう），それらのグラフの中から設定されているズーム・ポジションに対応したグラフが選択され，その選択されたグラフを用いて対象画像部分を検出したときの撮像レンズのフォーカス位置および中央部の撮像レンズのフォーカス位置を決定したときの主要被写体らしさを表す指数ＦＰが算出される。
対象画像部分を検出したときのフォーカス・レンズの位置はＰ１２であり，中央部分の被写体を合焦するときのフォーカス・レンズの位置はＰ１１であるとする。
ズーム・ポジションがワイド側の場合には第２８図に示すグラフＧ１を用いて，フォーカス・レンズの位置Ｐ１１およびＰ１２を垂直に伸ばしたときに，グラフＧ１との交点の指数がそれぞれの主用被写体らしさとなる。中央部分の被写体の主要被写体らしさを表す指数はＦ１であり，対象画像部分の主要被写体らしさを表す指数はＦ２である。Ｆ１＞Ｆ２であるため，中央部分の被写体の方が対象画像部分によって表される対象物よりも主要被写体らしいと考えられる。
ズーム・ポジションが中間の場合であり，第２９図に示すグラフＧ２が用いられる場合には，中央部分の被写体の主要被写体らしさを表す指数はＦ３であり，対象画像部分の主要被写体らしさを表す指数はＦ１である。Ｆ１＞Ｆ３であるため，対象画像部分によって表される対象物の方が中央部分の被写体よりも主要被写体らしいと考えられる。
ズーム・ポジションがテレ側の場合には第３０図に示すグラフＧ３を用いて，中央部分の被写体の主要被写体らしさを表す指数はＦ４であり，対象画像部分の主要被写体らしさを表す指数はＦ１である。Ｆ１＞Ｆ４であるため，対象画像部分によって表される対象物の方が中央部分の被写体よりも主要被写体らしいと考えられる。
ズーム・レンズがワイド側に設定されるマクロ・モードのように，ユーザが近距離にある被写体を狙って撮像している場合には，その被写体の視差を除去し，手前二重像の除去は行われない。
第３１図は，第２７ａ図および第２７ｂ図に示す左目用画像と右目用画像とを重ね合わせた立体画像１１０の一例である。
立体画像１１０には，人物１１１を表す人物像１１１および花１１２を表す花画像１１２が含まれている（人物像１１１および花画像１１２も人物１１１および花１１２と同じ符号とする）。人物像１１１は顔画像１１５が検出されており，その顔画像１１５の周りに枠１１３が表示されている。
この実施例では，マクロ・モードが設定され，第２８図に示したように，人物像１１１の主要被写体らしさの指数Ｆ２よりも花画像１１２の主要被写体らしさの指数Ｆ１の方が大きいので，人物像１１１に視差ずれが生じないように左目用画像１１０Ｌと右目用画像１１０Ｒとをずらすのではなく，主要被写体と考えられる花画像１１２に視差ずれが生じないように左目用画像１１０Ｌと右目用画像１１０Ｒとがずらされる。立体画像１１０に含まれる花画像１１２は視差ずれが除去される。
第３２図は，立体撮像ディジタル・カメラ１の電気的構成を示すブロック図である。この図において，第２４図に示すものと同一物については同一符号を付して説明を省略する。
第３２図に示す立体撮像ディジタル・カメラ１には，主要被写体らしさ判定装置１０９が設けられている。この主要被写体らしさ判定装置１０９において，上述したように，画像の中央に存在する画像の主要被写体らしさの指数と検出された対象画像部分の主要被写体らしさの指数とが比較され，主要被写体らしさの指数の高い画像の視差ずれが無くなるように，左目用画像と右目用画像とがずらされる。
第３３図は，左目用画像と右目用画像とをずらす処理手順（第７図ステップ９２の処理手順）を示すフローチャートである。
左目用画像と右目用画像とを重ね合わせて得られる立体画像の中央部に二重像があるかどうかが判定される（ステップ１２１）。中央部に二重像があれば（ステップ１２１でＹＥＳ），上述のように中央部にある二重像の主要被写体らしさの指数が算出される（ステップ１２２）。つづいて，検出された対象画像部分の主要被写体らしさの指数も算出される（ステップ１２３）。
算出された主要被写体らしさの指数が比較され（ステップ１２４），中央部にある二重像の主要被写体らしさの指数の方が検出された対象画像部分の主要被写体らしさの指数よりも大きければ，中央部の二重像の視差ずれを除くように左目用画像と右目用画像とがずらされる（ステップ１２６）。逆に，検出された対象画像部分の主要被写体らしさの指数よりも中央部にある二重像の主要被写体らしさの指数の方が大きければ，複数の対象画像部分が存在するかどうかが確認される（ステップ１２５）。複数の対象画像部分が存在する場合には（ステップ１２４），優先度の高い対象画像部分の視差ずれが除かれるように左目用画像および右目用画像がずらされる（ステップ１２７）。優先度には，検出された対象画像部分の大きさの大きい順，検出された対象画像部分の位置が中央に近い順などがあり，あらかじめ設定されているのはいうまでもない。複数の対象画像部分が存在しない場合には（ステップ１２４でＮＯ），検出された対象画像部分の視差ずれが除かれるように，左目用画像と右目用画像とがずらされる（ステップ１２８）。
上述の実施例は，いわゆるオート再生を考慮しているものであるが，ユーザがマニアル・ズームを利用して再生する場合もある。そのような場合であっても，ズーム動作に応じて，視差ずれが少なく，ユーザの目に負担の少ない良好の画像を再生することが好ましい。そのような実施例が次に述べるものである。
第３４図から第３７図は，他の実施例を示している。この実施例は，再生時における電子ズーム処理についてのものである。
第３４図および第３５図は，再生された立体画像（左目用画像と右目用画像とが重ねられた画像）の一例である。第３４図は，対象画像部分５の視差ずれが除かれた立体画像であり，第３５図は，中央のタワー画像１１の視差ずれが除かれた立体画像である。これらの図は，第１図に示す位置関係にある被写体を撮像して得られたものであり，第４図に示すものと同一物については同一符号を付して説明を省略する。
再生時に電子ズーム処理が行われる場合，第２１図および第２２図に示すようにズーム領域１３１が指定される。立体撮像ディジタル・カメラ１に含まれる操作装置２７を利用してズーム領域１３１が指定される。指定されたズーム領域１３１内の画像が表示画面全体に表示されるように拡大処理が行われる。
再生時に対象画像部分を検出し，検出された対象画像部分の視差ずれがなくなるように左目用画像と右目用画像とをずらして立体画像を表示する場合において，上述のように電子ズーム処理が行われると，指定されたズーム領域１３１から対象画像部分が外れることがある。第３４図に示すように，そのような状況で電子ズーム処理が行われると拡大された立体画像には視差ずれが除かれた対象画像部分が含まれていない立体画像が表示されることとなる。このために，この実施例では，第３５図に示すように，検出された対象画像部分がズーム領域１３１から外れた場合に中央部に存在する画像部分（タワー画像１１）の視差ずれがなくなるように左目用画像と右目用画像とがずらされる。
第３６図は，立体撮像ディジタル・カメラの電気的構成を示すブロック図である。この図において，第３２図に示すものと同一物については同一符号を付して説明を省略する。
第３６図に示す立体撮像ディジタル・カメラには，ズーム領域判定装置１３２が含まれている。ズーム領域判定装置１３２において，上述のように，指定されたズーム領域内の対象画像部分が含まれているかどうかが判定される。ズーム領域内に対象画像部分が含まれていない場合には，画像の中心またはズーム領域の中心にある画像の視差が除かれるように左目用画像と右目用画像とがずらされて，ズーム領域内の画像が拡大される。
第３７図は，電子ズームによる再生処理手順を示すフローチャートである。
メモリ・カード８０から左目用画像データおよび右目用画像データが読み出され，左目用画像データおよび右目用画像データによってそれぞれ表される左目用画像および右目用画像のそれぞれから対象画像部分の検出処理が行われる。左目用画像または右目用画像のいずれか一方の画像から対象画像部分の検出処理が行われるようにしてもよい。左目用画像および右目用画像から構成される立体画像がモニタ表示装置８０の表示画面に表示され，電子ズーム領域が指定される。
ユーザによりズーム操作（マニアル・ズーム操作）が行われると（ステップ１４０でＹＥＳ），立体画像の中に対象画像があるかどうかの判定処理が行われる。立体画像の中に対象画像部分があれば（ステップ１４１でＹＥＳ），検出された対象画像部分が，指定された電子ズーム領域内にあるかどうかが判定される（ステップ１４２）。
検出された対象画像部分が，指定された電子ズーム領域内にあると（ステップ１４２でＹＥＳ），表示領域内に複数の対象画像部分が含まれているかどうかが確認される（ステップ１４３）。
複数の対象画像部分が存在する場合には（ステップ１４３でＹＥＳ），上述したのと同様に優先度の高い対象画像部分の視差ずれが除かれるように左目用画像および右目用画像がずらされる（ステップ１４５）。複数の対象画像部分が存在しない場合には（ステップ１４２でＮＯ），検出された対象画像部分の視差ずれが除かれるように，左目用画像と右目用画像とがずらされる（ステップ１４６）。
立体画像に対象画像部分が存在しない場合（ステップ１４１でＮＯ），検出された対象画像部分が，指定された電子ズーム領域内にない場合には（ステップ１４２でＮＯ），上述のように，立体画像の中央部分または電子ズーム領域の中央部分の画像の視差ずれが除かれるように左目用画像と右目用画像とがずらされて表示される（ステップ１４４）。
ユーザによるズーム操作が無ければ（ステップ１４０でＮＯ），上述したステップ１４１から１４６までの処理はスキップされる。視差ずれの変更処理は行われない。
第３８図から第４２図は，他の実施例を示している。立体画像のプリントにおいて，手前二重像のような観賞する上で目障りで，目に負担のかかる部分を除去するものである。これにより，視差ずれが少なく，ユーザの目が疲れないようなプリントを提供するシステムを提供できる。この実施例は，上述のように，視差ずれ量が除かれる部分および表示領域をそれぞれ表すデータが，メモリ・カード８０に記録されるものである。視差ずれ量が除かれる部分および表示領域をそれぞれ表すデータは，撮像によって得られた左目用画像データおよび右目用画像データとともにメモリ・カード８０に記録されてもよいし，すでに左目用画像データおよび右目用画像データが記録されているメモリ・カード８０に記録されるようにしてもよい。
第３８図は，立体画像１０の一例である。この第３８図は第２３図に対応するもので，第２３図に示すものと同一物については同一符号を付して説明を省略する。
第３８図を参照して，立体画像１０に含まれる第１の人物像１２の顔画像５の視差ずれが無くなるように表示される場合には，その顔画像５を囲む矩形枠１５の左上の座標（ｘ１，ｙ１）および右下の座標（ｘ２，ｙ２）をそれぞれ示すデータが視差ずれ量が除かれる部分を表すデータとされる。
第３９図は，立体画像１０の一例である。この第３９図も第２３図に対応するもので，第２３図に示すものと同一物については同一符号を付して説明を省略する。
立体画像１０には第１の人物像１２の顔画像５および第２の人物像１４の顔画像６が検出されており，顔画像５を含むように矩形の表示領域１８が決定される。すると，表示領域１８の左上の座標（ｘ３，ｙ３）および右下の座標（ｘ４，ｙ４）をそれぞれ示すデータが表示領域１８を表すデータとされる。
これらのデータが，視差ずれが除かれる部分および表示領域をそれぞれ表すデータとしてメモリ・カード８０に記録される（たとえば，メモリ・カード８０のヘッダ領域に記録される）。
視差ずれが除かれる部分および表示領域をそれぞれ表すデータならびに左目用画像データおよび右目用画像データが記録されているメモリ・カード８０を写真店に持っていき，視差ずれが除かれる部分を表すデータが読み出されることにより，立体画像から視差ずれが除かれる画像部分が分かる。その画像部分の視差ずれがなくなるような立体画像をプリントできる。さらに，メモリ・カード８０から表示領域を表すデータが読み出されることにより，立体画像のうち表示領域が分かる。その表示領域内の画像が１枚の画像となるようにプリントできる。
第４２図は，立体画像１０の一例である。この第４２図も第２３図に対応するもので，第２３図に示すものと同一物については同一符号を付して説明を省略する。
第４０図を参照して，立体画像１０に含まれる第１の人物像１２の顔画像６の視差ずれが無くなるように表示される場合には，その顔画像６を囲む矩形枠１６の左上の座標（ｘ５，ｙ５）および右下の座標（ｘ６，ｙ７）をそれぞれ示すデータが視差ずれ量が除かれる部分を表すデータとされる。
第４１図は，立体画像１０の一例である。この第４１図も第２３図に対応するもので，第２３図に示すものと同一物については同一符号を付して説明を省略する。
立体画像１０には第１の人物像１２の顔画像５および第２の人物像１４の顔画像６が検出されており，顔画像６を含むように矩形の表示領域１８が決定される。すると，表示領域１８の左上の座標（ｘ７，ｙ７）および右下の座標（ｘ８，ｙ８）をそれぞれ示すデータが表示領域１８を表すデータとされる。
これらのデータが，上述したのと同様に視差ずれが除かれる部分および表示領域をそれぞれ表すデータとしてメモリ・カード８０に記録される。
上述したのと同様に，視差ずれが除かれる部分および表示領域をそれぞれ表すデータならびに左目用画像データおよび右目用画像データが記録されているメモリ・カード８０を写真店に持っていき，視差ずれが除かれる部分を表すデータが読み出されることにより，立体画像から視差ずれが除かれる画像部分が分かる。その画像部分の視差ずれがなくなるような立体画像をプリントできる。さらに，メモリ・カード８０から表示領域を表すデータが読み出されることにより，立体画像のうち表示領域が分かる。その表示領域内の画像が１枚の画像となるようにプリントできる。
上述した実施例では，視差ずれが除かれる画像部分および表示領域は立体画像１０における座標として捉えているが，実際には立体画像は左目用画像と右目用画像とから構成されるので，左目用画像および右目用画像のそれぞれの画像において視差ずれが無くなる部分を示す座標位置ならびに表示領域を示す座標位置がメモリ・カード８０に記録されることとなる。
第４２図は，立体撮像ディジタル・カメラの電気的構成を示すブロック図である。この図において，第３６図に示すものと同一物については同一符号を付して説明を省略する。
第４２図に示す立体撮像ディジタル・カメラには，プリント・オーダ情報生成装置１０９が設けられている。このプリント・オーダ情報生成装置１０９は，立体画像のプリントに関する情報を生成するものである。プリントする立体画像がモニタ表示装置８２に立体画像が表示される。モニタ表示装置８２に表示された立体画像（左目用画像および右目用画像）を特定するデータ（例えばフレーム番号データ），プリント枚数を表すデータのほか，上述したように，視差ずれを無くす画像部分を示すデータおよび表示領域を示すデータがプリント・オーダ情報として生成される。生成されたプリント・オーダ情報がメモリ・カード８０に記録され，そのプリント・オーダ情報にしたがって，立体画像がプリントされる。

Claims (12)

1. 立体画像を構成する左目用画像と右目用画像とのそれぞれの画像から所望の対象画像部分を見つける第１の対象画像部分検出装置，
   上記第１の対象画像部分検出装置においてそれぞれ見つけられた，上記左目用画像の対象画像部分と上記右目用画像の対象画像部分との視差ずれが除かれるように上記左目用画像と上記右目用画像とをずらす視差ずらし装置，
   上記視差ずらし装置によってずらされた上記左目用画像と上記右目用画像とのうち，上記視差ずらし装置によって視差ずれが除かれた対象画像部分を含む表示領域を決定する表示領域決定装置，および
   上記視差ずらし装置によってずらされた上記左目用画像と上記右目用画像とのうち，上記表示領域決定装置によって決定された表示領域内の画像を拡大して表示するように表示装置を制御する表示制御装置，
   を備えた立体画像制御装置。
2. 上記第１の対象画像部分検出装置によって検出された対象画像部分により表される対象物よりも手前に存在する被写体を表す手前被写体像が上記左目用画像および上記右目用画像のそれぞれに含まれているかどうかを判定する第１の判定装置，および
   上記第１の判定装置によって，上記手前被写体像が上記左目用画像および上記右目用画像のそれぞれに含まれていると判定されたことにより，上記左目用画像に含まれている手前被写体像と上記右目用画像に含まれている手前被写体像とのずれ量が許容範囲外かどうかを判定する第２の判定装置をさらに備え，
   上記表示領域決定装置は，上記第２の判定装置により上記許容範囲外と判定されたことに応じて上記表示領域を決定するものである，
   請求の範囲第１項に記載の立体画像制御装置。
3. 上記対象画像部分検出装置において，上記左目用画像と上記右目用画像との両方の画像から見つけられた対象画像部分の大きさよりも上記左目用画像と上記右目用画像とのうちの一方の画像からは見つけられずに他方の画像からは見つけられた対象画像部分の大きさの方が大きいかどうかを判定する大きさ判定装置，および
   上記大きさ判定装置によって，上記左目用画像と上記右目用画像との両方の画像から見つけられた対象画像部分の大きさよりも上記他方の画像からは見つけられた対象画像部分の大きさの方が大きいと判定され，かつ上記一方の画像が上記左目用画像の場合，または上記左目用画像と上記右目用画像との両方の画像から見つけられた対象画像部分の大きさよりも上記他方の画像からは見つけられた対象画像部分の大きさの方が小さいと判定され，かつ上記一方の画像が上記右目用画像の場合には，上記一方の画像からは見つけられなかった対象画像部分を，上記他方の画像において見つけられた対象画像部分に対応する位置の右側から見つけ，上記大きさ判定装置によって，上記左目用画像と上記右目用画像との両方の画像から見つけられた対象画像部分の大きさよりも上記他方の画像からは見つけられた対象画像部分の大きさの方が大きいと判定され，かつ上記一方の画像が上記右目用画像の場合，または上記左目用画像と上記右目用画像との両方の画像から見つけられた対象画像部分の大きさよりも上記他方の画像からは見つけられた対象画像部分の大きさの方が小さいと判定され，かつ上記一方の画像が上記左目用画像の場合には，上記一方の画像からは見つけられなかった対象画像部分を，上記他方の画像において見つけられた対象画像部分に対応する位置の左側から見つける第２の対象画像検出装置をさらに備え，
   上記表示領域決定装置は，
   上記視差ずらし装置によってずらされた上記左目用画像と上記右目用画像とのうち，上記視差ずらし装置によって視差ずれが除かれた対象画像部分，上記第１の対象画像部分検出装置において他方の画像から見つけられた対象画像部分および上記第２の対象画像部分検出装置において一方の画像から見つけられた対象画像部分を含む表示領域を決定するものである，
   請求の範囲第２項に記載の立体画像制御装置。
4. 上記左目用画像と上記右目用画像とのうち，上記第１の対象画像検出装置において他方の画像からのみ見つけられた対象画像部分によって表される対象物の位置が，その他方の画像の中心部にある画像に対応する被写体の位置よりも手前にあり，かつ上記一方の画像が左目用画像の場合，または上記左目用画像と上記右目用画像とのうち，上記第１の対象画像検出装置において他方の画像からのみ見つけられた対象画像部分によって表される対象物の位置が，その他方の画像の中心部にある画像に対応する被写体の位置よりも奥にあり，かつ上記一方の画像が右目用画像の場合には，上記一方の画像からは見つけられなかった対象画像部分を，上記他方の画像において見つけられた対象画像部分に対応する位置の右側から見つけ，上記左目用画像と上記右目用画像とのうち，上記第１の対象画像検出装置において他方の画像からのみ見つけられた対象画像部分によって表される対象物の位置が，その他方の画像の中心部にある画像に対応する被写体の位置よりも手前にあり，かつ上記一方の画像が右目用画像の場合，または上記左目用画像と上記右目用画像とのうち，上記第１の対象画像検出装置において他方の画像からのみ見つけられた対象画像部分によって表される対象物の位置が，その他方の画像の中心部にある画像に対応する被写体の位置よりも奥にあり，かつ上記一方の画像が左目用画像の場合には，上記一方の画像からは見つけられなかった対象画像部分を，上記他方の画像において見つけられた対象画像部分に対応する位置の左側から見つける第３の対象画像部分検出装置をさらに備え，
   上記表示領域決定装置は，
   上記視差ずらし装置によってずらされた上記左目用画像と上記右目用画像とのうち，上記視差ずらし装置によって視差ずれが除かれた対象画像部分，上記第１の対象画像部分検出装置において他方の画像からのみ見つけられた対象画像部分および上記第３の対象画像部分検出装置において一方の画像から見つけられた対象画像部分を含む表示領域を決定するものである，
   請求の範囲第３項に記載の立体画像制御装置。
5. 上記左目用画像の中央部分と上記右目用画像の中央部分とのそれぞれに，上記第１の対象画像部分検出装置によって検出された対象画像部分によって表される対象物よりも手前に存在する被写体を表す中央被写体像があることにより，上記中央被写体像の主要被写体らしさと上記第１の対象画像部分検出装置によって検出された対象画像部分の主要被写体らしさを比較する比較装置をさらに備え，
   上記視差ずらし装置は，
   上記比較装置により，上記中央被写体像の主要被写体らしさが上記第１の対象画像部分検出装置によって検出された対象画像部分の主要被写体らしさよりも大きいと判定されたことにより，上記左目用画像の上記中央被写体像と上記右目用画像の上記中央被写体像との菱さずれが除かれるように上記左目用画像と上記右目用画像とをずらすものである，
   請求の範囲第４項に記載の立体画像制御装置。
6. 上記左目用画像を表す左目用画像データ，上記右目用画像を表す右目用画像データ，ならびに上記視差ずらし装置によって視差ずれが除かれる部分および上記表示領域決定装置によって決定された表示領域をそれぞれ表すデータを可搬型記録媒体に記録する記録制御装置，
   をさらに備えた請求の範囲第５項に記載の立体画像制御装置。
7. 上記左目用画像を表す左目用画像データ，および上記右目用画像を表す右目用画像データが可搬型記録媒体に記録されており，
   上記視差ずらし装置によって視差ずれが除かれる部分および上記表示領域決定装置によって決定された表示領域をそれぞれ表すデータを上記可搬型記録媒体に記録する記録制御装置，
   をさらに備えた請求の範囲第６項に記載の立体画像制御装置。
8. 左目用画像と右目用画像とを重ね合わせて立体画像を生成する立体画像生成装置，
   上記立体画像生成装置によって生成された立体画像の中から所望の対象画像部分を見つける対象画像検出装置，
   上記立体画像生成装置によって生成された立体画像の中から電子ズーム領域を指定する電子ズーム領域指定装置，
   上記電子ズーム領域指定装置によって指定された電子ズーム領域の中に，上記対象画像検出装置によって検出された対象画像が含まれているかどうかを判定する判定装置，
   上記判定装置によって，電子ズーム領域に対象画像が含まれていないと判定されたことにより，上記立体画像または上記電子ズーム領域の中央部分の視差ずれが無くなるように，左目用画像と右目用画像とをずらし，上記判定装置によって電子ズーム領域に対象画像が含まれていると判定されたことにより，上記対象画像検出装置によって検出された対象画像の視差ずれが無くなるように，左目用画像と右目用画像とをずらす視差ずらし装置，および
   上記電子ズーム領域内の画像を拡大して表示する表示制御装置，
   を備えた立体画像制御装置。
9. 対象画像部分検出装置が，立体画像を構成する左目用画像と右目用画像とのそれぞれの画像から所望の対象画像部分を見つけ，
   視差ずらし装置が，上記第２の対象画像部分検出装置においてそれぞれ見つけられた，上記左目用画像の対象画像部分と上記右目用画像の対象画像部分との視差ずれが除かれるように上記左目用画像と上記右目用画像とをずらし，
   表示領域決定装置が，上記視差ずらし装置によってずらされた上記左目用画像と上記右目用画像とのうち，上記視差ずらし装置によって視差ずれが除かれた対象画像部分を含む表示領域を決定し，
   表示制御装置が，上記視差ずらし装置によってずらされた上記左目用画像と上記右目用画像とのうち，上記表示領域決定装置によって決定された表示領域内の画像を拡大して表示するように表示装置を制御する，
   立体画像制御装置の動作制御方法。
10. 立体画像生成装置が，左目用画像と右目用画像とを重ね合わせて立体画像を生成し，
    対象画像検出装置が，上記立体画像生成装置によって生成された立体画像の中から所望の対象画像部分を見つけ，
    電子ズーム領域指定装置が，上記立体画像生成装置によって生成された立体画像の中から電子ズーム領域を指定し，
    判定装置が，上記電子ズーム領域指定装置によって指定された電子ズーム領域の中に，上記対象画像検出装置によって検出された対象画像が含まれているかどうかを判定し，
    視差ずらし装置が，上記判定装置によって，電子ズーム領域に対象画像が含まれていないと判定されたことにより，上記立体画像または上記電子ズーム領域の中央部分の視差ずれが無くなるように，左目用画像と右目用画像とをずらし，上記判定装置によって電子ズーム領域に対象画像が含まれていると判定されたことにより，上記対象画像検出装置によって検出された対象画像の視差ずれが無くなるように，左目用画像と右目用画像とをずらし，
    表示制御装置が，上記電子ズーム領域内の画像を拡大して表示する，
    立体画像制御装置の動作制御方法。
11. 立体画像制御装置の動作を制御するコンピュータ読み取り可能なプログラムであって，
    立体画像を構成する左目用画像と右目用画像とのそれぞれの画像から所望の対象画像部分を見つけさせ，
    それぞれ見つけられた，上記左目用画像の対象画像部分と上記右目用画像の対象画像部分との視差ずれが除かれるように上記左目用画像と上記右目用画像とをずらさせ，
    ずらされた上記左目用画像と上記右目用画像とのうち，視差ずれが除かれた対象画像部分を含む表示領域を決定させ，
    ずらされた上記左目用画像と上記右目用画像とのうち，決定された表示領域内の画像を拡大して表示するように表示装置を制御させるように上記立体画像制御装置の動作を制御するプログラム。
12. 立体画像制御装置の動作を制御するコンピュータ読み取り可能なプログラムであって，
    左目用画像と右目用画像とを重ね合わせて立体画像を生成させ，
    生成された立体画像の中から所望の対象画像部分を見つけさせ，
    生成された立体画像の中から電子ズーム領域を指定させ，
    指定された電子ズーム領域の中に，検出された対象画像が含まれているかどうかを判定させ，
    電子ズーム領域に対象画像が含まれていないと判定されたことにより，上記立体画像または上記電子ズーム領域の中央部分の視差ずれが無くなるように，左目用画像と右目用画像とをずらし，電子ズーム領域に対象画像が含まれていると判定されたことにより，検出された対象画像の視差ずれが無くなるように，左目用画像と右目用画像とをずらさせ，
    上記電子ズーム領域内の画像を拡大して表示させるように立体画像制御装置の動作を制御するプログラム。

Images