JPWO2012026185A1 - 撮像装置およびその動作制御方法 - Google Patents

Abstract

一つの撮像装置を備えたカメラで立体画像用の左目用画像と右目用画像とを得る。基準位置ＰＬ11において対象物ＯＢ10，ＯＢ20，ＯＢ30がディジタル・スチル・カメラ１で撮像されることにより左目用画像が得られる。カメラ１にもっとも近い対象物ＯＢ10とカメラ１にもっとも遠い対象物ＯＢ30との間の対象物間距離が長いほど小さくなり，その対象物間距離が短いほど大きくなる必要視差量が決定される。対象物ＯＢ10，ＯＢ20，ＯＢ30が連続して撮像されながら，ディジタル・スチル・カメラ１が右方向に移動される。ディジタル・スチル・カメラ１が決定された視差量だけ移動させられ，決定された視差量をもつ被写体像が得られると右目用画像として自動的に記録される。

Description

この発明は，撮像装置およびその動作制御方法に関する。

立体撮像用のディジタル・スチル・カメラではなく，一つの撮像装置が設けられているディジタル・スチル・カメラを用いて，立体画像を表示するための左目用画像（観賞者が左目で見る画像）と右目用画像（観賞者が右目で見る画像）とを得るためには，左目用画像と右目用画像との視差量分だけ水平方向にカメラをずらして２回撮像する。あらかじめ撮像されたものの中から視差のある画像を抽出するものがある（特許文献１）。また，被写体の奥行きにもとづいて複数の撮影位置の位置差を制御するものもある（特許文献２）。

特開2009-3609号公報 特開2003-140279号公報

しかしながら、特許文献１に開示の発明では，適切な視差量を有していることはあまりない。また、特許文献２に開示の発明では、複数の撮影位置を制御するものの、その制御が煩雑となってしまう。そのことから、この発明は，比較的簡単に立体画像用の画像データを得ることを目的とする。

この発明による撮像装置（立体画像撮像装置）は，撮像範囲内に含まれる被写体を連続して撮像し，撮像された画像データを連続して出力する撮像手段，記録指令が与えられたことにより，記録指令が与えられたタイミングで撮像されることにより得られる画像データを，第１の被写体像を表わす画像データとして記録手段に記録する第１の記録制御手段，上記撮像手段から連続して出力された画像データによって表わされる被写体像のうちの対象物検出用被写体像から所定の条件を満たす対象物を全て検出する対象物検出手段，上記対象物検出手段により検出された複数の対象物のうち撮像装置にもっとも近い対象物と上記撮像装置にもっとも遠い対象物との間の距離情報を算出する第１の距離情報算出手段，上記第１の距離情報算出手段によって算出された距離情報にもとづいて，視差量を決定する視差量決定手段，および上記撮像装置を水平方向にずらすことにより，上記撮像手段から連続して出力される画像データによって表わされる被写体像と上記第１の被写体像との水平方向のずれ量が上記視差量決定手段によって決定された視差量と等しくなったことに応じて（完全に等しくなった場合だけでなく，ほぼ等しいと考えられる場合も含まれる），その等しくなったタイミングで撮像された画像データを，第２の被写体像を表わす画像データとして，上記第１の被写体像を表す画像データと関連づけて上記記録手段に記録する第２の記録制御手段を備えていることを特徴とする。

この発明は，上記撮像装置の動作制御方法も提供している。すなわち，この方法は，撮像手段が，撮像範囲内に含まれる被写体を連続して撮像し，撮像された画像データを連続して出力し，第１の記録制御手段が，記録指令が与えられたことにより，記録指令が与えられたタイミングで撮像されることにより得られる画像データを，第１の被写体像を表わす画像データとして記録手段に記録し，対象物検出手段が，上記撮像手段から連続して出力された画像データによって表わされる被写体像のうちの対象物検出用被写体像から所定の条件を満たす対象物を全て検出し，距離情報算出手段が，上記対象物検出手段により検出された複数の対象物のうち撮像装置にもっとも近い対象物と上記撮像装置にもっとも遠い対象物との間の距離情報を算出し，視差量決定手段が，上記第１の距離情報算出手段によって算出された距離情報にもとづいて，視差量を決定し，第２の記録制御手段が，上記撮像装置を水平方向にずらすことにより，上記撮像手段から連続して出力される画像データによって表わされる被写体像と上記第１の被写体像との水平方向のずれ量が上記視差量決定手段によって決定された視差量と等しくなったことに応じて，その等しくなったタイミングで撮像された画像データを，第２の被写体像を表わす画像データとして，上記第１の被写体像を表す画像データと関連づけて上記記録手段に記録するものである。

この発明によると，撮像範囲内に含まれる被写体が連続的に撮像されている。記録指令が与えられると，そのタイミングでの撮像により得られる画像データが第１の被写体像を表わす画像データとして記録手段（撮像装置から着脱自在な記録媒体，撮像装置に内蔵されている記録媒体を含む）に記録される。被写体が連続して撮像されることにより得られる被写体像のうちのいずれかの対象物検出用被写体像から所定の条件を満たす対象物（たとえば，人物の顔や所定のしきい値以上の空間周波数をもつ対象物）が全て検出される。検出された複数の対象物のうち撮像装置にもっとも近い対象物と撮像装置にもっとも遠い対象物との間の距離情報が算出される。算出された距離情報にもとづいて，視差量（第１の被写体像を立体画像として見せるための視差量）が決定される。ユーザによって撮像装置が動かされ，撮像により得られる被写体像と第１の被写体像との視差量が，決定された視差量と等しくなると，視差量が等しくなったタイミングで撮像により得られた画像データが第２の被写体像を表わす画像データとして，第１の被写体像を表わす画像データと関連づけられて記録媒体に記録される。第１の被写体像と第２の被写体像とを用いて立体画像が得られる。

上記撮像装置から上記撮像範囲内に含まれる複数の対象物のそれぞれの対象物までの距離情報を測定する第２の距離情報算出手段をさらに備えてもよい。この場合，上記第１の距離情報算出手段は，たとえば，上記第２の距離情報算出手段によって算出された，上記もっとも近い対象物までの距離情報と上記もっとも遠い対象物までの距離情報とから，上記もっとも近い対象物と上記もっとも遠い対象物との間の距離情報を算出するものである。

上記撮像手段は，撮像素子およびフォーカス・レンズを含んでもよい。この場合，上記フォーカス・レンズを移動させながら，その移動位置ごとに撮像することにより得られる画像データから，その移動位置ごとに合焦の程度を表わすＡＦ評価値を算出するＡＦ評価値算出手段をさらに備える。そして，上記第２の距離情報算出手段は，上記ＡＦ評価値算出手段によって算出されたＡＦ評価値がしきい値以上となる，そのようなＡＦ評価値が得られたときのフォーカス・レンズの位置にもとづいて，上記複数の対象物のそれぞれの対象物までの距離を測定する。なお、フォーカス・レンズは、撮像素子の前方すなわち撮像素子に対し被写体側を自在に移動するものである。

上記視差量決定手段は，たとえば，上記第２の距離情報算出手段が，上記対象物検出手段によって検出された複数の対象物のうち一つの対象物までの距離のみを測定できた場合には，あらかじめ定められた値を上記視差量と決定するものである。

上記視差量決定手段は，たとえば，立体画像を表示する表示画面の大きさと上記第１の距離情報算出手段によって算出された距離情報とにもとづいて，上記視差量を決定するものである。

上記立体画像を表示する表示画面の大きさを設定する設定手段をさらに備えてもよい。この場合，上記視差量決定手段は，上記設定手段によって設定された表示画面の大きさと上記第１の距離情報算出手段によって算出された距離情報とにもとづいて，上記視差量を決定するものとなろう。上記第２の記録制御手段は，たとえば，上記撮像装置を水平方向にずらすことにより，上記撮像手段から連続して出力される画像データによって表わされる被写体像と上記第１の被写体像との水平方向のずれ量が上記視差量決定手段によって決定された複数の視差量のいずれかの視差量と等しくなったことに応じて，その等しくなったタイミングで撮像された画像データを，第２の被写体像を表わす画像データとして，上記第１の被写体像を表す画像データと関連づけて上記記録媒体に記録する処理を上記複数の視差量について繰り返すものである。

立体再生指令に応じて，上記記録手段に記録されている第１の被写体像を表わす画像データと上記記録手段に記録されている第２の被写体像を表わす画像データを上記記録手段から読み出す読出手段，および上記読出手段によって読み出された第１の被写体像を表わす画像データによって表わされる第１の被写体像と第２の被写体像を表わす画像データによって表わされる第２の被写体像とを，上記視差量決定手段によって決定された視差量だけ水平方向にずらして表示するように表示装置を制御する表示制御手段をさらに備えるようにしてもよい。

上記対象物検出用被写体像に含まれる対象物の種類を決定する対象物種類決定手段をさらに備えてもよい。この場合，上記対象物検出手段は，たとえば，上記対象物種類決定手段によって決定された対象物の種類のうち，あらかじめ定められた種類の対象物を検出するものとなる。また，上記対象物検出手段は，たとえば，上記対象物種類決定手段によって決定された対象物の種類のうち，あらかじめ定められた種類を除く種類の対象物を検出するものでもよい。

上記対象物決定手段によって種類が決定された対象物までの距離を算出する距離算出手段をさらに備えるようにしてもよい。この場合，上記対象物検出手段は，たとえば，上記対象物種類決定手段によって決定された種類の対象物のうち，上記距離算出手段によって算出さたれ距離が第１のしきい値以下の距離にある対象物および第１のしきい値よりも大きな第２のしきい値以上の距離にある対象物を除く対象物を検出するものである。

好ましくは，第１の被写体像を表示画面に表示する表示装置，および上記表示画面に形成されたタッチ・パネルをさらに備える。この場合，上記対象物検出手段は，たとえば，上記タッチ・パネルがタッチされた位置に表示されている対象物を検出するものとなろう。

ディジタル・スチル・カメラと被写体との関係を示している。 表示画面サイズ設定画像を示している。 立体撮像モードの処理手順を示すフローチャートである。 立体撮像モードの処理手順を示すフローチャートである。 フォーカス・レンズ位置とＡＦ評価値との関係を示している。 被写体距離と必要視差量との関係を示している。 被写体距離と必要視差量との関係を示している。 表示画面サイズと必要視差量との関係を示している。 被写体と表示画面サイズと必要視差量との関係を示している。 立体撮像モードの処理手順を示すフローチャートである。 フォーカス・レンズ位置とＡＦ評価値との関係を示している。 立体撮像モードの処理手順を示すフローチャートである。 被写体までの距離を示している。 表示画面に表示される被写体像の一例である。 ディジタル・スチル・カメラの背面を示している。 撮像位置と被写体との関係を示している。 （Ａ）は左目用画像の一例を，（Ｂ）は右目用画像の一例を示している。 立体画像の一例である。 視差量と被写体距離との関係を示している。 必要視差量算出処理手順を示すフローチャートである。 ファイル構造の一例である。 ディジタル・スチル・カメラの電気的構成を示すブロック図である。 ディジタル・スチル・カメラと被写体との関係を示している。 視差量と対象物間距離との関係を示している。 視差量と対象物間距離との関係を示している。 必要視差量算出処理手順を示すフローチャートである。 ファイル構造の一例である。 （Ａ）は左目用画像の一例を，（Ｂ）は右目用画像の一例を示している。 立体画像の一例である。 ディジタル・スチル・カメラの電気的構成を示すブロック図である。 対象物種類決定処理手順を示すフローチャートである。 対象物検出用被写体像の一例である。 対象物ごとに領域が分けられた対象物検出用被写体像の一例である。 対象物検出処理手順を示すフローチャートである。 対象物検出処理手順を示すフローチャートである。 対象物検出処理手順を示すフローチャートである。 ＡＦ評価値とフォーカス・レンズ位置との関係を示している。 ＡＦ評価値とフォーカス・レンズ位置との関係を示している。 対象物検出処理手順を示すフローチャートである。 対象物検出用被写体像の一例である。

立体画像を表示するためには観賞者が左目で見る左目用画像と観賞者が右目で見る右目用画像とが必要である。立体画像撮像用のディジタル・スチル・カメラでは，２つの撮像装置が設けられており，一方の撮像装置を用いて左目用画像が撮像され，他方の撮像装置を用いて右目用画像が撮像される。この実施例は，２つの撮像装置が設けられている立体画像撮像用のディジタル・スチル・カメラではなく，１つの撮像装置を備えたディジタル・スチル・カメラを用いて立体画像表示用の左目用画像と右目用画像とを得るものである。

図１から図22は，第１実施例を示している。

図１は，一つの撮像装置を備えたディジタル・スチル・カメラ１と被写体との関係を平面的に示している。

ディジタル・スチル・カメラ１の前方に，木の被写体ＯＢ１，人物の被写体ＯＢ２および自動車の被写体ＯＢ３がある。木の被写体ＯＢ１がディジタル・スチル・カメラ１にもっとも近く，人物の被写体ＯＢ２がディジタル・スチル・カメラ１に次に近い。自動車の被写体ＯＢ３がディジタル・スチル・カメラ１からもっとも遠い。

まず，基準位置ＰＬ１でディジタル・スチル・カメラ１が位置決めされて被写体ＯＢ１，ＯＢ２，ＯＢ３が撮像されて，これらの被写体ＯＢ１，ＯＢ２，ＯＢ３の被写体像を表わす画像データが記録される。基準位置ＰＬ１で撮像により得られた被写体像が左目用画像となる（右目用画像でもよい）。

後述するように，たとえば，３インチの表示画面での立体画像を表示するのに適した視差量ｄ１および32インチの表示画面での立体画像を表示するのに適した視差量ｄ２がそれぞれ算出される。

被写体ＯＢ１，ＯＢ２，ＯＢ３を連続して（周期的に）撮像しながら，ユーザは，ディジタル・スチル・カメラ１を右方向に移動する。ディジタル・スチル・カメラ１の右方向への移動中も被写体ＯＢ１，ＯＢ２，ＯＢ３が撮像されている。ディジタル・スチル・カメラ１が位置ＰＲ１となった時点で，撮像により得られた被写体像の視差が，算出された視差量ｄ１となると，撮像により得られた被写体像は３インチの表示画面で表示される右目用画像となり，その右目用画像を表わす画像データとして記録される。さらに，ユーザは，ディジタル・スチル・カメラ１を右方向に移動し，ディジタル・スチル・カメラ１が位置ＰＲ２となった時点で，撮像により得られた被写体像の視差が，算出された視差量ｄ２となると，撮像により得られた被写体像は32インチの表示画面で表示される右目用画像となり，その右目用画像を表わす画像データとして記録される。

図２は，表示画面サイズ設定画像の一例である。

表示画面サイズ設定画像は，立体画像を表示する表示画面のサイズを設定するために利用されるものである。表示画面サイズ設定画像を利用して設定された表示画面のサイズに対応した視差量をもつ左目用画像を表わす画像データと右目用画像を表わす画像データとが記録される。

ディジタル・スチル・カメラ１に含まれているモード設定ボタンにより設定モードが設定される。設定モードに含まれる表示画面サイズ設定モードが設定されると，ディジタル・スチル・カメラ１の背面に形成されている表示画面２に表示画面サイズ設定画像が表示される。

表示画面サイズ設定画像には，表示画面サイズ入力領域３，４および５が形成されている。これらの入力領域３，４および５に，ディジタル・スチル・カメラ１に設けられているボタンを利用して表示画面のサイズが入力される。

図３および図４は，上述のように，一つの撮像装置をもつディジタル・スチル・カメラ１を用いて立体表示用の左目用画像および右目用画像を記録する立体撮像モードの処理手順を示すフローチャートである。

立体撮像モードとなると，連続して（周期的に）被写体が撮像され，撮像により得られた被写体像がディジタル・スチル・カメラ１の背面に設けられている表示画面に動画（スルー画）で表示される。ユーザは，表示画面に表示されている動画を見ながら，カメラ・アングルを決定する。

二段ストローク・タイプのシャッタ・レリーズ・ボタンが半押しされると（ステップ11），被写体までの距離が算出される（ステップ12）。被写体までの距離としては,撮像範囲の中のほぼ中央にある人物の被写体ＯＢ２までの距離が算出されるが，撮像範囲の他の部分にある他の被写体ＯＢ１またはＯＢ３までの距離が算出されてもよい。

被写体までの距離は，フォーカス・レンズの移動量を利用して算出することができる。

図５は，フォーカス・レンズ位置と撮像により得られた画像データの高周波数成分を表わすＡＦ評価値との関係を示している。

フォーカス・レンズをNEAR位置（またはホーム・ポジション位置）からFAR位置に移動させながら，被写体が撮像される。被写体が撮像されることにより得られる画像データのうち，撮像範囲の中央部分の画像データの高周波数成分（ＡＦ評価値）が抽出される。ＡＦ評価値が最大値ＡＦ０となったときのフォーカス・レンズ位置Ｐ０のフォーカス・レンズ移動量から，撮像範囲の中央部分にある被写体ＯＢ２までの距離が算出できる。

図３に戻って，シャッタ・レリーズ・ボタンが全押しされると（ステップ13でＹＥＳ），全押しされたタイミングで撮像された被写体像（左目用画像，第１の被写体像）を表わす画像データがディジタル・スチル・カメラ１のメモリ・カードに記録される（ステップ14）。

つづいて，サイズ変数ｉが１にリセットされる（ステップ15）。

さらに，表示画面サイズ設定において設定された表示画面サイズごとに，必要視差量が決定される（ステップ16）。

図６は，必要視差量と被写体までの距離との関係を表わしている。

必要視差量と被写体までの距離との関係は，立体画像を表示する表示画面サイズごとにあらかじめ決まっている。図６に示す例は32インチの表示画面に立体画像を表示する場合の画素単位の必要視差量と被写体までの距離との関係を示している。たとえば，32インチの表示画面の場合，被写体までの距離が0.3ｍであれば，必要視差量は40画素である。

図７は，画素単位での必要視差量と被写体までの距離との関係を示すテーブルである。

このテーブルは，表示画面サイズが32インチのものである。被写体までの距離ごとに必要視差量が規定されている。このようなテーブルが表示画面サイズごとに決まっている。

上述のように，被写体までの距離と表示画面サイズとが決定すると，必要視差量が決定する。

図８は，表示画面サイズと決定された必要視差量との関係を示すテーブルである。

表示画面サイズが３インチと32インチと設定された場合において，被写体までの距離に応じて，表示画面サイズが３インチの場合の必要視差量はｄ１となり，表示画面サイズが32インチの場合の必要視差量はｄ２となる。

図３に戻って，表示画面サイズが３インチについての必要視差量がｄ１と算出されると（ステップ16），サイズ変数ｉが設定された表示画面サイズの種類の数（この場合２）となったかどうかが確認される（ステップ17）。サイズ変数ｉが設定された表示画面サイズの種類の数となっていなければ（ステップ17でＮＯ），サイズ変数ｉがインクレメントされて（ステップ18），次の表示画面サイズについての必要視差量が算出される（ステップ16）。

設定された表示画面サイズのすべて（３インチと32インチ）の表示画面に立体画像を表示するために必要な左目用画像と右目用画像との必要視差量が算出されると（ステップ17でＹＥＳ），計時が開始される（ステップ19）。

ユーザにディジタル・スチル・カメラ１を水平移動するように促すメッセージが表示画面に表示され，その表示にしたがって，ユーザはディジタル・スチル・カメラ１を水平方向（右方向。基準画像が右目用画像の場合には左方向。）に移動する（ステップ20）。

ディジタル・スチル・カメラ１の移動中にも被写体の撮像が続けられており，いわゆるスルー画像が連続的に得られている。第１の被写体像とスルー画像とのずれ量が算出される（ステップ21）。算出されたずれ量が，必要視差量と等しくなるまで，ディジタル・スチル・カメラ１の移動（ステップ20）および第１の被写体像とスルー画像とのずれ量の算出（ステップ21）が繰り返される。

算出されたずれ量が必要視差量と等しくなると（ステップ22），必要視差量と等しくなったときに撮像された被写体像（第２の被写体像，右目用画像）を表わす画像データがメモリ・カードに記録される（ステップ23）。ユーザが意識することなく，最適な視差量をもつ画像を記録できる。表示画面サイズに応じた画像を記録するので，大画面の表示画面で立体画像を表示した場合に視差量が大きくなりすぎることを未然に防止できる。また，撮像の失敗を未然に防止できる。

算出されたすべての必要視差量をもつ被写体像が記録されていなければ（ステップ24でＮＯ），制限時間が経過しない限り（ステップ25でＮＯ），再びステップ20からの処理が繰り返される。算出されたすべての必要視差量をもつ被写体像を表わす画像データがメモリ・カードに記録されると立体撮像モードの処理は終了する。上述のように，設定された表示画面サイズが３インチと32インチの場合には，ｄ１の視差量をもつ３インチ用の右目用画像とｄ２の視差量をもつ32インチ用の右目用画像とが得られると立体撮像モードの処理が終了する。

図９から図11は，変形例を示している。

上述の実施例では，撮像範囲内の特定の一つの被写体を立体的に表示するための視差量を算出して，表示画面サイズごとに一つの右目用画像を生成している。これに対して，この変形例では，撮像範囲内の複数の被写体のそれぞれを立体的に表示するための視差量を算出する。それぞれの被写体ごとに，かつ表示画面サイズごとに一つの右目用画像が生成される。図１に示したように，被写体ＯＢ１，ＯＢ２，ＯＢ３のそれぞれの被写体ごとに表示画面サイズに応じた視差量をもつ右目用画像を生成するものとする。

図９は，必要視差量を表わすテーブルであり，図８に示すテーブルに対応している。

撮像範囲内の主な被写体の数を表わすための被写体変数ｊが導入される。被写体ＯＢ１，ＯＢ２，ＯＢ３の場合，被写体変数ｊは１から３となる。主な被写体の数はユーザが入力してもよいし，後述のように所定のしきい値以上のＡＦ評価値のピーク値（極大値）の数としてもよい。被写体は，ディジタル・スチル・カメラ１から被写体までの距離に応じて，前景の被写体（ディジタル・スチル・カメラ１に近い被写体）ＯＢ１，中景の被写体（ディジタル・スチル・カメラ１から近くも遠くも無い被写体）ＯＢ２，背景の被写体（ディジタル・スチル・カメラ１から遠い被写体）ＯＢ３に分けられている。それぞれの被写体ＯＢ１，ＯＢ２，ＯＢ３について，表示画面サイズに適した必要視差量が算出される。算出された必要視差量が図９に示すテーブルに格納されていく。

図10は，立体撮像モードの処理手順を示すフローチャートであり，図３の処理手順に対応している。図10において，図３に示す処理と同様の処理については同一符号を付して説明を省略する。

シャッタ・レリーズ・ボタンの半押しがあると（ステップ11でＹＥＳ），撮像範囲内の複数の主な被写体までのそれぞれの距離が算出される（ステップ12Ａ）。

図11は，フォーカス・レンズ位置と撮像により得られる画像データから抽出される高周波数成分を表わすＡＦ評価値との関係を示している。

撮像しながら，フォーカス・レンズがNEAR位置からFAR位置まで動かされて，撮像範囲全体の画像を表わす画像データから高周波数成分が抽出されると，図11に示す関係のグラフが得られる。図11に示すグラフにおいて，比較的ＡＦ評価値の値が高い（所定のしきい値以上の）ＡＦ評価値ＡＦ１，ＡＦ２およびＡＦ３に対応するフォーカス・レンズの位置Ｐ１，Ｐ２およびＰ３が得られる。これらの位置Ｐ１，Ｐ２およびＰ３から（フォーカス・レンズの移動量から）被写体ＯＢ１，ＯＢ２およびＯＢ３までの距離がわかる。

図10に戻って，シャッタ・レリーズ・ボタンの第二段階の押し下げがあると（ステップ13でＹＥＳ），その第二段階の押し下げのタイミングで撮像された被写体像が第１番目被写体像（右目用画像）とされて，第１の被写体像を表わす画像データがメモリ・カードに記録される（ステップ14）。

被写体変数ｊおよびサイズ変数ｉがそれぞれ１にリセットされる（ステップ26，15）。

すると，必要視差量が算出される（ステップ16）。最初は，被写体変数ｊが１であり，サイズ変数ｉが１であるから，前景の被写体ＯＢ１について表示画面サイズが３インチに適した必要視差量が算出される（ステップ16）。表示画面サイズに対応した図６に示す関係のグラフから，測定された被写体までの距離を用いて，必要視差量が算出される。サイズ変数ｉが表示画面サイズの種類の数となっていなければ（ステップ17でＮＯ），サイズ変数ｉがインクレメントされて（ステップ18），次の表示画面サイズでの表示に適した必要視差量が算出される（ステップ16）。

サイズ変数ｉが表示画面サイズの種類の数となると（表示画面サイズは３インチと32インチなので２となると）（ステップ17でＹＥＳ），被写体変数ｊが被写体数となったかどうかが確認される（ステップ27）。被写体数となっていなければ（ステップ27でＮＯ），被写体変数ｊがインクレメントされる（ステップ28）。これにより，次の被写体についての表示画面サイズごとの必要視差量の算出処理が行われる。

このようにして，撮像範囲内の主な被写体について表示画面ごとの必要視差量がすべて算出される。算出された必要視差量は図９に示すテーブルに格納される。上述したように，ユーザによってディジタル・スチル・カメラ１が水平方向に移動されながら撮像が繰り返されており，算出された必要視差量の被写体像が撮像されたときに，その被写体像を表わす画像データがメモリ・カードに記録される。この実施例では，基準となる左目用画像（第１の画像）と６種類の右目用画像をそれぞれ表わす画像データがメモリ・カードに記録されることとなる。もっとも，右目用画像を基準として，６種類の左目用画像をそれぞれ表わす画像データがメモリ・カードに記録されるようにしてもよい。

図12から図15は，他の変形例を示している。

この変形例では，撮像範囲内に複数の主な被写体が存在する場合，被写体までの代表的な距離が算出され，算出された代表的な距離から必要視差量が算出される。

図12は，立体撮像モードの処理手順を示すフローチャートである。この図において，図３に示す処理と同一の処理については同一符号を付して説明を省略する。

上述のように，シャッタ・レリーズ・ボタンの第一段階の押し下げがあると（ステップ11でＹＥＳ），撮像範囲に含まれている複数の主な被写体までの距離が算出される（ステップ12Ａ）。

図13は，複数の主な被写体までの距離を示すテーブルである。

上述のように，主な被写体までの距離が測定されると，それらの距離を示すテーブルが生成されてディジタル・スチル・カメラ１に記憶される。たとえば，前景の被写体ＯＢ１までの距離は１ｍ，中景の被写体ＯＢ２までの距離は1.5ｍ，背景の被写体ＯＢ３までの距離は３ｍである。

図12に戻って，シャッタ・レリーズ・ボタンの第二段階の押し下げがあると（ステップ13でＹＥＳ），左目用画像（第１の被写体像）を表わす画像データがメモリ・カードに記録される（ステップ14）。

つづいて，代表画像までの距離を表わす代表距離が算出される（ステップ28）。代表距離は，撮像範囲内にある複数の主な被写体までの距離の平均距離，ディジタル・スチル・カメラ１にもっとも近い被写体までの距離などが考えられる。平均距離を代表距離とした場合には前景の被写体の視差量が大きくなってしまうことがあるが，代表距離をもっとも近い距離とした場合には，視差量が大きくなってしまうことを未然に防止できる。また，撮像により得られた被写体像がディジタル・スチル・カメラ１の背面に設けられている表示画面に表示されているので，その表示されている被写体像の中から所望の被写体像を選択し，選択された被写体像までの距離を代表画像としてもよい。

図14および図15は，代表画像を選択する方法の一例である。

図14は，表示画面に表示されている被写体像の一例である。

表示画面２に複数の被写体像ＯＢ１，ＯＢ２，ＯＢ３（被写体と同じ符号を付する）が表示されている。これらの被写体像ＯＢ１，ＯＢ２，ＯＢ３の中から，ユーザが指Ｆで代表画像を指定する。

図15は，代表画像を選択する他の方法であり，ディジタル・スチル・カメラ１の背面図を示している。

ディジタル・スチル・カメラ１の背面の全体にわたって表示画面２が形成されている。表示画面２に複数の被写体像ＯＢ１，ＯＢ２，ＯＢ３が表示されている。表示画面２の右側の下部に移動ボタン６が設けられている。この移動ボタン６の上に決定ボタン７が設けられている。さらに，決定ボタン７の上にワイド・ボタン８およびテレ・ボタン９が設けられている。表示画面２には，カーソル10が表示されている。このカーソル10は，ユーザの指Ｆによる移動ボタン６の操作に応じて表示画面２に表示されている画像上を移動する。所望の被写体像上にカーソル10が位置するように移動ボタン６によって操作される。所望の被写体像上にカーソル10が位置すると，決定ボタン７がユーザの指Ｆによって押される。すると，カーソル10がある被写体像が代表画像となる。

このようにして選択された代表画像までの距離は，図５に示したものと同様にして，上述のようにフォーカス・レンズの位置を動かしながら，撮像を繰り返して得られる画像データのうち，指Ｆでタッチされた代表画像部分またはカーソル10で指定された代表画像部分を表わす画像データから抽出して得られる高周波数成分であるＡＦ評価値のピーク値におけるフォーカス・レンズの位置からわかる。

代表画像までの代表距離が算出されると，上述のように，その代表距離に対応した必要視差量が算出されて，その必要視差量となったときの被写体像を表わす画像データがメモリ・カードに記録される。代表距離に対応した視差量をもつ被写体像を表わす画像データがメモリ・カードに記録されるので，必要以上に無駄に画像データが記録されてしまうこともない。

図16から図20は，さらに他の変形例を示している。

この変形例は，上述のようにして算出される必要視差量が視差量許容値以下となるようにするものである。視差量が大きい場合，立体画像の観賞者は違和感を生じることがあるが，必要視差量の上限が制限されるので立体画像の観賞者が違和感を生じてしまうことを未然に防止できる。

図16は，被写体と撮影位置との関係を示す平面的に示している。

左目用画像の撮影位置はＸ１で表わされ，右目用画像の撮影位置はＸ２で表わされている。これらの撮影位置Ｘ１およびＸ２に比較的近い第１の被写体ＯＢ11と，撮影位置Ｘ11およびＸ12に比較的遠い第２の被写体ＯＢ12とがあるものとする。撮影位置Ｘ１から第１の被写体ＯＢ11および第２の被写体ＯＢ12が撮像されて左目用画像が得られる。また，撮影位置Ｘ２から第１の被写体ＯＢ11および第２の被写体ＯＢ12が撮像されて右目用画像が得られる。

図17（Ａ）は撮像により得られた左目用画像の一例であり，図17（Ｂ）は撮像により得られた右目用画像の一例である。

図17（Ａ）を参照して，左目用画像30Ｌには，第１の被写体ＯＢ11を表わす第１の被写体像31Ｌおよび第２の被写体ＯＢ12を表わす第２の被写体像32Ｌが含まれている。第１の被写体像31Ｌの左側に第２の被写体像32Ｌが位置している。

図17（Ｂ）を参照して，右目用画像30Ｒにも，第１の被写体ＯＢ11を表わす第１の被写体像31Ｒおよび第２の被写体ＯＢ12を表わす第２の被写体像32Ｒが含まれている。右目用画像30Ｒでは左目用画像30Ｌと異なり，第１の被写体像31Ｌの右側に第２の被写体像32Ｒが位置している。

図18は，左目用画像と右目用画像とを重ね合わせた立体画像30を表わしている。

図17（Ａ）に示す左目用画像30Ｌに含まれている第１の被写体像31Ｌと図17（Ｂ）に示す右目用画像30Ｒに含まれている第１の被写体像31Ｒとが一致するように（クロス・ポイント），左目用画像30Ｌと右目用画像30Ｒとが重ねられている。第１の被写体ＯＢ11を表わす第１の被写体像31は左右のずれはない。これに対して，第２の被写体像ＯＢ12を表わす第２の被写体像32Ｌと第２の被写体像32Ｒとの間には視差量Ｌだけずれている。この視差量Ｌが大きすぎると，上述のように立体画像の観賞者が違和感をもつこととなる。

図19は，視差量と被写体距離との関係を示している。

被写体までの距離に対応して，その被写体が立体的に見える視差量を表すグラフＧ１が規定されている。たとえば，第１の被写体ＯＢ11までの距離が0.3ｍであれば，視差量は40画素となる。第１の被写体ＯＢ11よりも遠い位置にある第２の被写体ＯＢ12までの距離が1.5ｍの場合，その第２の被写体ＯＢ12の被写体像の視差量許容値はグラフＧ２から25画素であることがわかる。第１の被写体ＯＢ11の被写体像の視差量を40画素とすると，第２の被写体ＯＢ12の視差量は視差量許容値である25画素を超えてしまう。このために，この実施例では，第１の被写体ＯＢ11の視差量が第２の被写体ＯＢ12の視差量許容値25に設定される。

図20は，必要視差量算出処理手順（図10，図12のステップ16の処理手順）を示すフローチャートである。

図19に示すグラフＧ１を用いて被写体までの距離から被写体の必要視差量が算出される（ステップ41）。必要視差量が算出される被写体よりも遠くに主な被写体が存在するかどうか（上述したＡＦ評価値が所定のしきい値以上となるような被写体）が確認される（ステップ42）。

必要視差量が算出される被写体よりも遠くに主な被写体が存在する場合には（ステップ42でＹＥＳ），必要視差量が算出される被写体よりも遠くにある主な被写体の中で一番遠くにある被写体の視差許容値がグラフＧ２を利用して算出される（ステップ43）。

算出された必要視差量が視差許容値を超えると（ステップ44でＹＥＳ），上述のように，一番遠くにある被写体の視差許容値が必要視差量とされる（ステップ45）。

必要視差量を算出する被写体よりも遠くに主な被写体が存在しない場合には（ステップ42でＮＯ），ステップ43から45の処理はスキップされる。また，必要視差量が一番遠い主な被写体の視差許容値を超えていなければ（ステップ44でＮＯ），ステップ45の処理はスキップされる。もっとも必要視差量を算出する被写体よりも近い主な被写体についても同様の処理を行ってもよい。

立体画像を表示したときに，視差が大きくなってしまうことを未然に防止できる。

図21は，上述した左目用画像および右目用画像をそれぞれ表わす画像データを格納するファイルのファイル構造の一例である。

ファイルには，ヘッダ記録領域51とデータ記録領域52とが含まれている。

ヘッダ記録領域51には，ファイルを管理する情報が格納されている。

データ記録領域52に複数の画像を表わす画像データ等が記録される。

データ記録領域52には複数の記録領域71〜78が形成されている。第１の記録領域71および第２の記録領域72が左目用画像のための領域である。第３の記録領域73から第８の記録領域78が右目用画像のための領域である。ファイルに格納される右目用画像データによって表わされる右目用画像の数が多ければ，記録領域の数はさらに多くなるのはいうまでもない。

第１の記録領域71には，画像データの開始を示すＳＯＩ（スタート・オブ・イメージ）データが格納されるＳＯＩ領域61，画像番号，つづいて記録されている画像データが右目用画像か左目用画像かを示す画像情報などの付属情報が格納される付属情報領域62，画像データが記録される領域63，および画像データの終了を示すＥＯＩ（エンド・オブ・イメージ）データが格納されるＥＯＩ領域64が形成されている。第１の記録領域71の画像データが記録される領域63には，左目用画像を表わす画像データが記録されている。第２の記録領域72の画像データが記録される領域63には第１の記録領域71に記録されている左目用画像データによって表わされる左目用画像のサムネイル画像を表わす画像データが記録されている。

第１の記録領域71から第８の記録領域78のうち，奇数番目の記録領域には撮像によって得られた左目用画像または右目用画像を表わす画像データが記録されており，偶数番目の記録領域には撮像によって得られた左目用画像または右目用画像のサムネイル画像を表わす画像データが記録されている。

第３の記録領域73から第８の記録領域78についても，右目用画像の画像データが記録されている以外は，第１の記録領域71および第２の記録領域72と同様である。もっとも，右目用画像には，付属情報に画像番号および右目用画像であることのほかに表示画面サイズ，主な被写体がどの位置にあるか（前景，中景，遠景など）を示すデータも記録されているのはいうまでもない。

上述のようにして得られた左目用画像を表わす画像データおよび複数の右目用画像を表わす画像データがファイルに格納されてメモリ・カードに記録される。

図22は，上述した撮像が行われるディジタル・スチル・カメラの電気的構成を示すブロック図である。

ディジタル・スチル・カメラの全体の動作は，ＣＰＵ80によって統括される。ディジタル・スチル・カメラには，視差画像生成用の立体撮像モード，通常の二次元撮像を行う撮像モード，二次元再生を行う二次元再生モード，立体画像表示を行う立体再生モード，設定モードなどのモードを設定するモード設定ボタン，二段ストローク・タイプのシャッタ・レリーズ・ボタンなどの各種ボタン類が含まれている操作装置81が設けられている。操作装置81から出力される操作信号は，ＣＰＵ80に入力する。

ディジタル・スチル・カメラには，被写体を撮像し，被写体を表わすアナログ映像信号を出力する撮像素子（ＣＣＤ，ＣＭＯＳなど）88が一つ含まれている。この撮像素子88の前方には，フォーカス・レンズ84，絞り85，赤外線カット・フィルタ86および光学ロウ・パス・フィルタ87が設けられている。フォーカス・レンズ84のレンズ位置は，レンズ駆動装置89によって制御される。絞り85の絞り量は絞り駆動装置90によって制御される。撮像素子88は，撮像素子駆動装置91によって制御される。

立体撮像モードが設定されると，撮像素子88によって被写体が周期的に撮像される。被写体像を表わす映像信号が撮像素子88から周期的に出力される。撮像素子88から出力された映像信号は，アナログ信号処理装置92において，所定のアナログ信号処理が行われ，アナログ／ディジタル変換装置96においてディジタル画像データに変換される。ディジタル画像データは，ディジタル信号処理装置96に入力する。ディジタル信号処理装置96においてディジタル画像データに対して所定のディジタル信号処理が行われる。ディジタル信号処理装置から出力されたディジタル画像データは，表示制御装置101を介して表示装置102に与えられる。表示装置102の表示画面に撮像により得られた画像が動画で表示される（スルー画表示）。

シャッタ・レリーズ・ボタンの第１段階の押し下げがあると，上述したように，フォーカス・レンズ84が移動させられながら被写体が撮像される。被写体距離取得装置103において，撮像により得られた画像データから高周波数成分が抽出されて，高周波数成分のピーク値等とフォーカス・レンズの移動量とから被写体までの距離が算出される。また，画像データが積算装置98に入力し，被写体が測光される。得られた測光値にもとづいて絞り85の絞り値および撮像素子88のシャッタ速度（電子シャッタ）が決定される。

シャッタ・レリーズ・ボタンの第２段階の押し下げがあると，その第２のタイミングで撮像された画像データが左目用画像を表わすものとなる。左目用画像を表わす画像データはメモリ制御装置94の制御のもとにメイン・メモリ95に与えられ，一時的に記憶される。画像データはメイン・メモリ95から読み出されて圧縮伸張処理装置97において圧縮される。圧縮された画像データがメモリ制御装置99によってメモリ・カード100に記録される。

被写体距離取得装置103において取得された主な被写体までの距離（撮像範囲の中央に存在する一つの被写体までの距離でもよい）を表わすデータは必要視差量算出装置105に入力する。必要視差量算出装置105において，上述したように必要視差量が算出される。さらに，主な被写体までの距離を表わすデータは代表距離算出装置104にも与えられる。代表距離算出装置104により，代表的な被写体までの距離が算出される。もっとも，上述のように，表示装置102の表示画面に表示されている複数の主な被写体の中から代表的な被写体が選択される場合には，その選択された被写体までの距離が代表距離として算出される。

左目用画像を表わす画像データがメモリ・カード100に記録されると，ユーザによってディジタル・スチル・カメラ自体が水平方向（右方向）に移動させられる。カメラの移動中も被写体の撮像が続けられており，被写体像が連続して得られる。連続した撮像により得られる画像データはスルー画視差量算出装置106に入力する。スルー画視差量算出装置106において，入力した被写体像が，算出された必要視差量と等しくなったかどうかが確認される。等しくなると，入力した被写体像をあらわす画像データが右目用画像データとしてメモリ・カード100に記録される。上述したように，表示画面サイズに応じた視差量をもつように右目用画像を表わす画像データがメモリ・カード100に記録されるようになる。

さらに，ディジタル・スチル・カメラには，発光装置82および受光装置83も含まれている。

立体再生モードが設定されると，メモリ・カード100に記録されている左目用画像データと表示装置102の表示画面サイズに対応した右目用画像データが記録されている場合には，その右目用画像データとが読み出される。読み出された左目用画像データおよび右目用画像データが圧縮伸張処理装置97において伸張される。伸張された左目用画像データおよび右目用画像データが表示装置102に与えられることにより，立体画像が表示される。表示装置102の表示画面サイズに対応した右目用画像データがメモリ・カード100に記録されていない場合には，メモリ・カード100に記録されている右目用画像データを読み出して，表示装置102の表示画面サイズに適した視差量となるように左目用画像と右目用画像との視差調整を行えばよい。

図23から図30は，第２実施例を示している。

この実施例では，撮像範囲内に含まれる複数の対象物のうち，ディジタル・スチル・カメラ（立体画像撮像装置）１にもっとも近い対象物（ＡＦ評価値がしきい値以上の対象物のうちもっとも近い対象物であり，最近対象物という）とディジタル・スチル・カメラ１にもっとも遠い対象物（ＡＦ評価値がしきい値以上の対象物のうちもっとも遠い対象物であり，最遠対象物という）との間の距離（対象物間距離，距離情報）にもとづいて必要視差量が決定される。

図23は，一つの撮像装置を備えたディジタル・スチル・カメラ１Ａと撮像範囲に含まれる複数の対象物との関係を平面的に示している。

ディジタル・スチル・カメラ１の前方に第１の対象物ＯＢ10，第２の対象物ＯＢ20および第３の対象物ＯＢ30がある。第１の対象物ＯＢ10がディジタル・スチル・カメラ１にもっとも近く，第２の対象物ＯＢ20がディジタル・スチル・カメラ１に次に近い。第３の対象物ＯＢ30がディジタル・スチル・カメラ１からもっとも遠い。第１の対象物ＯＢ10が最近対象物であり，第３の対象物ＯＢ30が最遠対象物である。

第１の対象物ＯＢ10が符号Ｌ11で示す位置にあり，かつ第３の対象物ＯＢ30が符号Ｌ31で示す位置にある場合，最近対象物と最遠対象物との間の対象物間距離は比較的短い距離Ｌ１となる。これに対して，第１の対象物ＯＢ10が符号Ｌ11よりもディジタル・スチル・カメラ１に近い位置である符号Ｌ12で示す位置にあり，第３の対象物ＯＢ30が符号Ｌ31で示す位置よりもディジタル・スチル・カメラ１に遠い位置である符号Ｌ32で示す位置にあると，最近対象物と最遠対象物との間の対象物間距離は比較的長い距離Ｌ２となる。

対象物間距離が短い場合には，上述のようにして左目用画像と右目用画像とを得ても，主要被写体（第２の対象物ＯＢ20であり，主要被写体は最近対象物と最遠対象物との間にあるものと想定している）と最近対象物または最遠対象物との相対的な視差が少なくなる。このために，この実施例では，対象物間距離が短い場合には，立体画像を構成するための右目用画像と左目用画像との必要視差量が大きくされる。逆に対象物間距離が長い場合には，主要被写体と最近対象物または最遠対象物との相対的な視差が多くなる。このために，この実施例では，対象物間距離が長い場合には，立体画像を構成するための右目用画像と左目用画像との必要視差量が小さくされる。

上述したのと同様に，まず，基準位置ＰＬ11でディジタル・スチル・カメラ１Ａが位置決めされて撮像範囲内に含まれる対象物ＯＢ10，ＯＢ20，ＯＢ30が連続して撮像される。連続して撮像された被写体像のうちのいずれかの被写体像である対象物検出用被写体像から対象物ＯＢ10，ＯＢ20，ＯＢ30が検出される。記録指令が与えられると，記録指令が与えられたタイミングで撮像された対象物ＯＢ10，ＯＢ20，ＯＢ30の被写体像を１フレームの画像（第１の被写体像）として表わす画像データが記録される。基準位置ＰＬ11で撮像により得られた被写体像が左目用画像となる（右目用画像でもよい）。

後述するように，たとえば，所定の大きさの表示画面での立体画像を表示するのに適した視差量ｄ11が対象画像間距離に応じて決定される。

上述した実施例と同様に，対象物ＯＢ10，ＯＢ20，ＯＢ30を連続して（周期的に）撮像しながら，ユーザは，ディジタル・スチル・カメラ１Ａを右方向に移動する。ディジタル・スチル・カメラ１の右方向への移動中も被写体ＯＢ10，ＯＢ20，ＯＢ30が撮像されている。ディジタル・スチル・カメラ１が位置ＰＲ11となった時点で，撮像により得られた被写体像の視差が，後述するように決定された視差量ｄ11となると，撮像により得られた被写体像は所定の大きさの表示画面で表示される右目用画像（第２の被写体像）となり，その右目用画像を表わす画像データとして記録される。その他の大きさの表示画面に適した視差量も対象物間距離にもとづいて決定され，その決定された視差量をもつ被写体像が撮像されると，その撮像された被写体像を表わす画像データが記録される。もちろん，表示画面の大きさに関係なく，対象物間距離にもとづいて視差量が決定されてもよい。立体画像を表示する表示画面の大きさを設定する設定手段をディジタル・スチル・カメラ１に設けるようにしてもよい。その場合には，上記設定手段によって設定された表示画面の大きさと対象物間距離とから視差量が決定される。表示画面の大きさと対象物間距離と視差量との関係を表わすテーブルがあらかじめ定められており，そのようなテーブルを用いて視差量が決定されるのはいうまでもない。

図24は，必要視差量と対象物間距離との関係を表わしている。

必要視差量と対象物間距離との関係は，立体画像を表示する表示画面サイズごとにあらかじめ決まっている。図24に示す例は，３インチの表示画面に立体画像を表示する場合の画素単位の必要視差量と対象物間距離との関係を示している。たとえば，対象物間距離が0.3ｍであれば，必要視差量は40画素である。

図25は，画素単位での必要視差量と対象物間距離との関係を示すテーブルである。

このテーブルは，表示画面サイズが３インチのものである。対象物間距離ごとに必要視差量が規定されている。このようなテーブルが表示画面サイズごとに決まっている。

上述のように，最近対象物と最遠対象物との間の距離である対象物間距離と表示画面サイズとが決定すると，必要視差量が決定する。もちろん，上述のように表示画面サイズを考慮せずに対象物間距離のみに応じて必要視差量を決定してもよい。

図26は，一つの撮像装置をもつディジタル・スチル・カメラ１を用いて立体表示用の左目用画像および右目用画像を記録する立体撮像モードの処理手順の一部を示すフローチャートである。図26は，図３に対応するもので，図３の処理と同一の処理については同一符号を付して必要に応じて説明を省略する。

複数の対象物の撮像が連続的に繰り返されながら，カメラ・アングルが決定されると，シャッタ・レリーズ・ボタンが半押しされる（ステップ11）。すると，半押しのタイミングで撮像された被写体像（対象物検出用被写体像。必ずしも半押しのタイミングで撮像された被写体像に限らず，連続して撮像されている被写体像のうちいずれかの被写体像でもよい。）の中から所定の条件を満たすすべての対象物が検出される（ステップ29）。検出された対象物の中から最近対象物と最遠対象物との距離を表わす対象物間距離が算出される（ステップ12Ａ）。

対象物間距離は，次のようにして算出することができる。

図11を参照して説明したように，まず，フォーカス・レンズが，撮像素子にもっとも近づく位置であるNEAR位置と撮像素子にもっとも遠くなる位置であるFAR位置との間を所定距離ずつ移動させられる。その移動位置ごとに対象物が撮像され，撮像ごとに得られる画像データから，高周波数成分が抽出される。この高周波数成分から，フォーカス・レンズの移動位置ごとに合焦の程度を表わすＡＦ評価値が得られる。しきい値を越えるＡＦ評価値の曲線の極大値を与えるフォーカス・レンズの位置Ｐ１，Ｐ２およびＰ３の位置（フォーカス・レンズの移動量）が，対象物ＯＢ10，ＯＢ20およびＰＢ30までのそれぞれの距離に相当する。このようにして検出された対象物ＯＢ10と対象物ＯＢ30との間の距離が対象物間距離となる。フォーカス・レンズの移動量から対象物ＯＢ10，ＯＢ20およびＯＢ30のそれぞれの距離がわかるのはいうまでもない。対象物の検出自体も上述のようにして実現できる。

シャッタ・レリーズ・ボタンが全押し（記録指令）されると（ステップ13でＹＥＳ），全押しされたタイミングで撮像された被写体像が第１の被写体像とされてメモリ・カードに記録される（ステップ14）。上述したように，サイズ変数ｉが１にリセットされ（ステップ15），サイズ変数ｉで決定される表示画面のサイズに対応したテーブル（図25参照）から必要視差量が決定される（ステップ16）。上述の実施例では，シャッタ・レリーズ・ボタンが半押しされたことにより，最近対象物と最遠対象物との間の対象物間距離が算出され，シャッタ・レリーズ・ボタンが全押しされたことにより第１の被写体像をメモリ・カードに記録しているが，シャッタ・レリーズ・ボタンが全押しされたことにより，第１の被写体像をメモリ・カードに記録し，その第１の被写体像から所定の条件を満たす対象物（例えば，人物の顔画像，しきい値以上空間周波数をもつ対象物）をすべて検出し，検出された複数の対象物のうちディジタル・スチル・カメラ（撮像装置）１にもっとも近い対象物ともっとも遠い対象物との距離を算出し，算出された距離から視差量を決定することが好ましい。

サイズ変数ｉが表示画面サイズの種類の数と同じとなるまで（ステップ17），サイズ変数ｉがインクレメントされながら（ステップ18），表示画面の大きさおよび対象物間距離に対応した必要視差量が決定される。

必要視差量が決定されると，上述したように（図４参照），ユーザがディジタル・スチル・カメラを持ちながら撮像が繰り返される。第１の被写体像とスルー画像とのずれ量が，決定された必要視差量と同じとなったときに撮像された画像が第２の被写体像とされて，メモリ・カードに記録される。第１の画像が立体画像を構成する左目用画像（右目用画像）であり，第２の画像が立体画像を構成する右目用画像（または左目用画像）である。

上述の実施例では，最近対象物と最遠対象物との間の距離を示す対象物距離が算出できる場合について説明されているが，撮像範囲内から検出される対象物が一つのみの場合には対象物距離を算出することができない。そのような場合には，あらかじめ定められている必要視差量（好ましくは，表示画面に対応してあらかじめ定められている必要視差量）が決定されることとなる。

図27は，上述した実施例により得られる左目用画像および右目用画像をそれぞれ表わす画像データを格納するファイルのファイル構造の一例である。

図27は，図21に対応するもので，図21に示す物と同一物については同一符号を付して説明を省略する。

第１の記録領域71の画像データ記録領域63に，左目用画像を表わす画像データが格納されている。第２の記録領域72の画像データ記録領域63に，左目用画像のサムネイル画像を表わす画像データが格納されている。

第３の記録領域73，第５の記録領域75および第７の記録領域77に上述のように，対象物間距離および表示画面サイズに対応した必要視差量をもつ右目用画像を表わす画像データが記録されている。第４の記録領域74，第６の記録領域76および第８の記録領域78にサムネイル画像データが記録されている。

このように，左目用画像および複数フレーム分の右目用画像をそれぞれ表わす画像データが一つのファイルに格納され，そのファイルがメモリ・カードに記録される。

図28（Ａ）は，この実施例により記録された左目用画像の一例であり，図28（Ｂ）は，この実施例により記録された右目用画像の一例である。

図28（Ａ）を参照して，左目用画像140Ｌには，第１の対象物ＯＢ10を表わす第１の対象物画像110Ｌ，第２の対象物ＯＢ20を表わす第２の対象物画像120Ｌおよび第３の対象物ＯＢ30を表わす第３の対象物画像130Ｌが含まれている。

図28（Ｂ）を参照して，右目用画像140Ｒにも，第１の対象物ＯＢ10を表わす第１の対象物画像110Ｒ，第２の対象物ＯＢ20を表わす第２の対象物画像120Ｒおよび第３の対象物ＯＢ30を表わす第３の対象物画像130Ｒが含まれている。

図29は，図28（Ａ）に示す左目用画像140Ｌと図28（Ｂ）に示す右目用画像140Ｒとを重ね合わせた立体画像140を表わしている。

図28（Ａ）に示す左目用画像140Ｌと図28（Ｂ）に示す右目用画像140Ｒとが，必要視差量分だけ水平方向にずれるようにして左目用画像30Ｌと右目用画像30Ｒとが重ねられている。すると，主要被写体である第２の対象物ＯＢ20を表わす第２の被写体像120は左右のずれは無い。これに対して，第１の対象物ＯＢ10を表わす第１の対象物画像110Ｌと110Ｒとの間には左右のずれがある。同様に，第３の対象物ＯＢ30を表す第１の対象物画像130Ｌと130Ｒとの間にも左右のずれがある。このように左右のずれが生じることから，ユーザは，立体画像を見ることができる。

図30は，図22は，この実施例によるディジタル・スチル・カメラの電気的構成を示すブロック図である。図30は，図22に示すブロック図に対応するもので，図22に示すものと同一物については同一符号を付して説明を省略する。

図30に示すディジタル・スチル・カメラにおいては，対象物間距離算出装置104Ａが設けられている。上述したように，被写体距離取得装置103において，複数の対象物までの距離が算出される。算出された複数の対象物のそれぞれの対象物までの距離を表わすデータが被写体距離取得装置103から対象物間距離算出装置104に入力する。入力したデータから対象物間距離算出装置104において対象物間距離が算出される。算出された対象物間距離にもとづいて上述のように，必要視差量が決定される。決定された必要視差量となる被写体像が上述のようにメモリ・カード100に記録される。

立体再生モードが設定されると，上述のようにメモリ・カード100に記録された左目用画像と右目用画像とをそれぞれ表わす画像データであって，表示装置102の表示画面の大きさに対応した画像データが読み取られる。読み取られた画像データが表示制御装置101に与えられることにより，表示装置102の表示画面上に立体画像が表示されるようになる。

この第２実施例においても，上述した第１実施例と同様に，立体画像を表示する表示画面の大きさと，最近対象物と最遠対象物との距離情報と，にもとづいて視差量を決定するようにしてもよい。また，図２に示すように，表示画面の大きさを設定するようにし，その設定された表示画面の大きさと，最近対象物と最遠対象物との距離情報と，にもとづいて視差量を決定するようにしてもよい。さらに，メモリ・カード100に記録された第１の被写体像を表わす画像データと第２の被写体像を表わす画像データとを読み出し，読み出された画像データによって表わされる第１の被写体像と第２の被写体像とを，決定された視差量だけ水平方向にずらして表示装置の表示画面に表示するようにしてもよい。

図31から図40は，変形例を示すもので，上述のように，最近対象物と最遠対象物とが選ばれる対象となる対象物を検出する処理（図26ステップ29に相当する処理）を示している。これらの処理により検出された対象物の中から上述の最近対象物と最遠対象物とが決定される。

図31は，対象物の種類を決定する処理手順を示すフローチャートである。

上述のように，シャッタ・レリーズ・ボタンが半押しされると，被写体が撮像され，被写体像（対象物検出用被写体像）を表わす画像データが得られる。

図32は，撮像により得られた対象物検出用画像160の一例である。被写体は図23と異なっているが，図23の被写体と同じでもよいのはいうまでもない。

対象物検出用画像160には，手前に道路の画像162があり，その道路の画像162上に自動車の画像161がある。ほぼ中央には人物の画像163があり，その人物の画像163の左右に木の画像164および165がある。対象物検出用画像160の左上には雲の画像166がある。さらに，対象物検出用画像160内の上部は空の画像167である。

図31を参照して，対象物検出用被写体像160が得られると，対象物検出用被写体像160を構成する各画素の色が検出され，色ごとの領域に分けられる（ステップ151）。フルカラーの色ごとの領域に分ける必要はなく，同じような対象物を表わしていると考えられる領域に分けられる程度の色（例えば，32色，64色程度）であればよい。つづいて，色ごとに分けられた領域から，領域ごとの特徴量が抽出される（ステップ152）。この特徴量は，あらかじめ定められているもので，分けられた領域を代表する色，コントラスト，明るさ，対象物検出用被写体像160における位置などである。このようにして領域が分けられた場合に，同じ対象物であっても異なる領域に表わされていることがあるので，特徴量が近似している近くの領域は一つの領域にまとめられる（ステップ153）。

対象物検出用被写体像160が複数の領域に分けられると，分けられた各領域がどのような対象物の種類を表わしているかが学習データベースを参照して決定される（ステップ154）。学習データベースは，対象物の色，コントラスト，明るさ，撮像される場合の位置などの特徴量と対象物との種類を対応して記憶しているもので，上述したようにメイン・メモリ95にあらかじめ格納されている。分けられた領域の特徴量から，その領域がどのような対象物の種類を表わしているかが決定できる。

図33は，決定された対象物の種類を示している。

上述したように，対象物検出用被写体像160が複数の領域171〜177に分けられている。領域171は，対象物の種類として自動車を表わしている。同様に，領域172は道路を，領域173は人間を，領域174および175は，それぞれ木を，領域176は雲を，領域177は空を，それぞれ対象物の種類として表わしている。

図34は，上述のようにして決定された対象物の種類を利用して，最近対象物と最遠対象物とが選ばれる対象となる対象物を検出する処理（図26ステップ29に相当する処理）を示すフローチャートである。

上述のように対象物の種類が決定されると（ステップ181），決定された対象物の種類があらかじめ定められている種類の対象物のものかどうかが判定される（ステップ182）。あらかじめ定められている種類の対象物であれば（ステップ182でＹＥＳ），対象物として検出される。検出された対象物の中から上述のように最近対象物と最遠対象物とが決定され，上述のように，最近対象物と最遠対象物との対象物間距離がされるようになる。

最近対象物と最遠対象物との対象物間距離にもとづいて視差量を決定する場合，立体的に見せたい対象物と立体的に見せたくない対象物とがある。たとえば，立体的に見せたい対象物は，人物，自動車，樹木，建物などであり，立体的に見せたくない対象物は，空，道路，海，などであるが，何を立体的に見せたいか，見せたくないかは自由に決定することができる。たとえば，空，道路，海などを立体的に見せたいと考えてもよいし，人物，自動車，樹木，建物などを立体的に見せたくないと考えてもよい。

この実施例では，立体的に見せたい対象物の種類（たとえば，人物，自動車，樹木，建物）があらかじめ定められており，決定された種類が立体的に見せたい対象物かどうかが判定される。立体的に見せたくない対象物から最近対象物と最遠対象物との対象物間距離が算出されてしまうことを未然に防止できる。すなわち，立体的に見せたくない対象物が，より立体的に見えるような視差量が決定されてしまうことを未然に防止できる。

図35は，対象物検出処理手順を示す他のフローチャートである。

図34に示す処理手順は，あらかじめ定められた種類の対象物を対象物として検出するものである。これに対して，図35に示す処理手順は，あらかじめ除外対象種類の対象物が定められており，その除外対象種類に該当しない対象物を対象物として検出するものである。

上述したように対象物の種類が決定される（ステップ181）。すると，決定された種類の対象物があらかじめ定められている除外対象種類の対象物（たとえば，道路，空，雲，海など）かどうかが判定される（ステップ184）。決定された種類の対象物が除外対象物でなければ（ステップ184でＮＯ），その決定された種類の対象物が対象物として検出される（ステップ183）。決定された種類の対象物が除外対象物であれば（ステップ184でＹＥＳ），対象物としては検出されない。

図36は，対象物検出処理手順を示す他のフローチャートである。この処理手順は，第１のしきい値よりも近くにある対象物および第２のしきい値よりも遠くにある対象物を対象物から除外し，残りの対象物を対象物として検出するものである。

上述のように，対象物の種類が決定されると（ステップ181），種類が決定された対象物までの距離が，それぞれ算出される（ステップ191）。対象物までの距離は，上述のように，フォーカス・レンズ84を動かしながら被写体を撮像することにより得られる画像データから高周波数成分を抽出し（ＡＦ評価値），このＡＦ評価値とフォーカス・レンズ84のレンズ位置との関係を表わすグラフを利用して算出することができる。図33に示すように，領域に分けられると，その領域に対応する画像データから高周波数成分を抽出することによりＡＦ評価値が得られ，得られたＡＦ評価値とフォーカス・レンズ84のレンズ位置とを示すグラフにおいて最大のＡＦ評価値を与えるフォーカス・レンズ84のレンズ位置から，その領域が表わす対象物までの距離がわかる。

図37は，図33に示す自動車を表わす画像の領域171から得られるＡＦ評価値とフォーカス・レンズ84のレンズ位置との関係を表わしている。

図37においては，ＡＦ評価値のピーク値がＡＦ11であり，そのピーク値ＡＦ11のときのフォーカス・レンズ84のレンズ位置はＰ11である。そのレンズ位置Ｐ11がフォーカス・レンズ84のホーム・ポジションからどの位離れているかにより，自動車までの距離がわかる。

図38は，図33に示す人物を表わす画像の領域173から得られるＡＦ評価値とフォーカス・レンズ84のレンズ位置との関係を表わしている。

図38においては，ＡＦ評価値のピーク値がＡＦ13であり，そのピーク値ＡＦ13のときのフォーカス・レンズ84のレンズ位置はＰ13である。そのレンズ位置Ｐ13がフォーカス・レンズ84のホーム・ポジションからどの位離れているかにより，人物までの距離がわかる。

上述したように，自動車，人物に限らず，他の対象物までの距離についても同様に算出できる。

図36に戻って，それぞれの対象物までの距離が算出されると，距離が算出された対象物のうち，第１のしきい値（たとえば，0.5ｍ）よりも近い対象物および第２のしきい値（たとえば，30ｍ）よりも遠い対象物を除外したものが対象物として検出される（ステップ192）。検出された対象物の中から上述のように最近対象物および最遠対象物が見つけられる。

図39および図40は，対象物検出を示すもので，図39は，その処理手順を示すフローチャート，図40は，表示画面２に表示されている対象物検出用被写体像160を示している。

上述のように，撮像により対象物検出用被写体像160が得られると，その対象物検出用被写体像160は，表示画面２に表示される（ステップ201）。表示画面２の表面にはタッチ・パネルが形成されており，表示された対象物検出用被写体像160の中から所望の対象物がユーザによってタッチされる（ステップ202）。

図40を参照して，表示画面２には対象物検出用被写体像160が表示されている。対象物検出用被写体像160には，上述のように，自動車の画像161，道路の画像162，人物の画像163，木の画像164および165，雲の画像166，空の画像167が含まれている。ユーザは，これらの画像のうち，対象物としたい所望の対象物の画像部分を指Ｆでタッチする。たとえば，自動車の画像161，人物の画像163ならびに木の画像164および165が指Ｆでタッチされる。タッチされた画像部分を表わす対象物が検出されることとなる（図39ステップ203）。タッチされた対象物の中から最近対象物と最遠対象物とが見つけられることとなる。

上述したように，対象物決定処理において決定された対象物の種類を図40に示すように対象物検出用被写体像160の対応する対象物近傍に表示してもよい。ユーザがタッチする対象物が何か一見して分るようになる。また，図33に示すように，対象物ごとに領域が分けられ，それらの領域に検出された対象物の種類が表示されたものが表示画面２に表示してもよい。この場合もユーザがタッチする対象物が何か一見して分る。

１ ディジタル・スチル・カメラ（撮像装置）
80 ＣＰＵ
88 撮像素子（撮像手段）
100 メモリ・カード
103 被写体距離取得装置
104Ａ 対象物間距離算出装置
105 必要視差量算出装置
106 スルー画視差量算出装置

Claims (12)

1. 撮像範囲内に含まれる被写体を連続して撮像し，撮像された画像データを連続して出力する撮像手段，
   記録指令が与えられたことにより，記録指令が与えられたタイミングで撮像されることにより得られる画像データを，第１の被写体像を表わす画像データとして記録手段に記録する第１の記録制御手段，
   上記撮像手段から連続して出力された画像データによって表わされる被写体像のうちの対象物検出用被写体像から所定の条件を満たす対象物を全て検出する対象物検出手段，
   上記対象物検出手段により検出された複数の対象物のうち撮像装置にもっとも近い対象物と上記撮像装置にもっとも遠い対象物との間の距離情報を算出する第１の距離情報算出手段，
   上記第１の距離情報算出手段によって算出された距離情報にもとづいて，視差量を決定する視差量決定手段，および
   上記撮像装置を水平方向にずらすことにより，上記撮像手段から連続して出力される画像データによって表わされる被写体像と上記第１の被写体像との水平方向のずれ量が上記視差量決定手段によって決定された視差量と等しくなったことに応じて，等しくなったタイミングで撮像された画像データを，第２の被写体像を表わす画像データとして，上記第１の被写体像を表す画像データと関連づけて上記記録手段に記録する第２の記録制御手段，
   を備えた撮像装置。
2. 上記撮像装置から上記撮像範囲内に含まれる複数の対象物のそれぞれの対象物までの距離情報を測定する第２の距離情報算出手段をさらに備え，
   上記第１の距離情報算出手段は，
   上記第２の距離情報算出手段によって算出された，上記もっとも近い対象物までの距離情報と上記もっとも遠い対象物までの距離情報とから，上記もっとも近い対象物と上記もっとも遠い対象物との間の距離情報を算出するものである，
   請求項１に記載の撮像装置。
3. 上記撮像手段は，撮像素子およびフォーカス・レンズを含み，
   上記フォーカス・レンズを移動させながら，その移動位置ごとに撮像することにより得られる画像データから，その移動位置ごとに合焦の程度を表わすＡＦ評価値を算出するＡＦ評価値算出手段をさらに備え，
   上記第２の距離情報算出手段は，
   上記ＡＦ評価値算出手段によって算出されたＡＦ評価値がしきい値以上となる，ＡＦ評価値が得られたときのフォーカス・レンズの位置にもとづいて，上記複数の対象物のそれぞれの対象物までの距離を測定するものである，
   請求項２に記載の撮像装置。
4. 上記視差量決定手段は，
   上記第２の距離情報算出手段が，上記対象物検出手段によって検出された複数の対象物のうち一つの対象物までの距離のみを測定できた場合には，あらかじめ定められた値を上記視差量と決定するものである，
   請求項１から３のうちいずれか一項に記載の撮像装置。
5. 上記視差量決定手段は，
   立体画像を表示する表示画面の大きさと上記第１の距離情報算出手段によって算出された距離情報とにもとづいて，上記視差量を決定するものである，
   請求項１から３のうち，いずれか一項に記載の撮像装置。
6. 上記立体画像を表示する表示画面の大きさを設定する設定手段をさらに備え，
   上記視差量決定手段は，
   上記設定手段によって設定された表示画面の大きさと上記第１の距離情報算出手段によって算出された距離情報とにもとづいて，上記視差量を決定するものであり，
   上記第２の記録制御手段は，
   上記撮像装置を水平方向にずらすことにより，上記撮像手段から連続して出力される画像データによって表わされる被写体像と上記第１の被写体像との水平方向のずれ量が上記視差量決定手段によって決定された複数の視差量のいずれかの視差量と等しくなったことに応じて，その等しくなったタイミングで撮像された画像データを，第２の被写体像を表わす画像データとして，上記第１の被写体像を表す画像データと関連づけて上記記録媒体に記録する処理を上記複数の視差量について繰り返すものである，
   請求項１から４のうち，いずれか一項に記載の撮像装置。
7. 立体再生指令に応じて，上記記録手段に記録されている第１の被写体像を表わす画像データと上記記録手段に記録されている第２の被写体像を表わす画像データを上記記録手段から読み出す読出手段，および
   上記読出手段によって読み出された第１の被写体像を表わす画像データによって表わされる第１の被写体像と第２の被写体像を表わす画像データによって表わされる第２の被写体像とを，上記視差量決定手段によって決定された視差量だけ水平方向にずらして表示するように表示装置を制御する表示制御手段，
   をさらに備えた請求項１から６のうち，いずれか一項に記載の撮像装置。
8. 上記対象物検出用被写体像に含まれる対象物の種類を決定する対象物種類決定手段をさらに備え，
   上記対象物検出手段は，
   上記対象物種類決定手段によって決定された対象物の種類のうち，あらかじめ定められた種類の対象物を検出するものである，
   請求項１から７のうち，いずれか一項に記載の撮像装置。
9. 上記対象物検出用被写体像に含まれる対象物の種類を決定する対象物種類決定手段をさらに備え，
   上記対象物検出手段は，
   上記対象物種類決定手段によって決定された対象物の種類のうち，あらかじめ定められた種類を除く種類の対象物を検出するものである，
   請求項１から７のうち，いずれか一項に記載の撮像装置。
10. 上記対象物決定手段によって種類が決定された対象物までの距離を算出する距離算出手段をさらに備え，
    上記対象物検出手段は，
    上記対象物種類決定手段によって決定された種類の対象物のうち，上記距離算出手段によって算出さたれ距離が第１のしきい値以下の距離にある対象物および第１のしきい値よりも大きな第２のしきい値以上の距離にある対象物を除く対象物を検出するものである，
    請求項８または９に記載の撮像装置。
11. 第１の被写体像を表示画面に表示する表示装置，および
    上記表示画面に形成されたタッチ・パネルをさらに備え，
    上記対象物検出手段は，
    上記タッチ・パネルがタッチされた位置に表示されている対象物を検出するものである，
    請求項１から７のうち，いずれか一項に記載の撮像装置。
12. 撮像手段が，撮像範囲内に含まれる被写体を連続して撮像し，撮像された画像データを連続して出力し，
    第１の記録制御手段が，記録指令が与えられたことにより，記録指令が与えられたタイミングで撮像されることにより得られる画像データを，第１の被写体像を表わす画像データとして記録手段に記録し，
    対象物検出手段が，上記撮像手段から連続して出力された画像データによって表わされる被写体像のうちの対象物検出用被写体像から所定の条件を満たす対象物を全て検出し，
    距離情報算出手段が，上記対象物検出手段により検出された複数の対象物のうち撮像装置にもっとも近い対象物と上記撮像装置にもっとも遠い対象物との間の距離情報を算出し，
    視差量決定手段が，上記第１の距離情報算出手段によって算出された距離情報にもとづいて，視差量を決定し，
    第２の記録制御手段が，上記撮像装置を水平方向にずらすことにより，上記撮像手段から連続して出力される画像データによって表わされる被写体像と上記第１の被写体像との水平方向のずれ量が上記視差量決定手段によって決定された視差量と等しくなったことに応じて，その等しくなったタイミングで撮像された画像データを，第２の被写体像を表わす画像データとして，上記第１の被写体像を表す画像データと関連づけて上記記録手段に記録する，
    撮像装置の動作制御方法。

Images