JPWO2013038863A1

JPWO2013038863A1 - 単眼立体撮影装置、撮影方法及びプログラム

Info

Publication number: JPWO2013038863A1
Application number: JP2013533577A
Authority: JP
Inventors: 貴嗣青木; 沢地　洋一; 洋一沢地
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2011-09-13
Filing date: 2012-08-15
Publication date: 2015-03-26
Anticipated expiration: 2032-08-15
Also published as: US9462252B2; CN103874960B; US20140192162A1; CN103874960A; JP5788518B2; WO2013038863A1

Abstract

適切な立体感で撮影することができる。ＡＥ／ＡＦ／ＡＷＢ動作後に、画素毎に被写体距離を算出し、これに基づいて距離分布を示すヒストグラムを作成する（ステップＳ１２）。ヒストグラムに基づいて合焦距離より近側でピークとなる最も頻度の高い階級を探索し（ステップＳ１３）、探索された範囲内の被写体距離を有する画素を含む矩形エリアＬｎを設定する（ステップＳ１４）。矩形エリアＬｎに含まれる平均視差量Ｐｎを算出し（ステップＳ１５）、Ｐｎが視差量ａとａ−ｔ１の範囲内にあるかを確認する（ステップＳ１６）。Ｐｎが予め設定された視差量ａとａ−ｔ１の範囲内にない場合には、Ｐｎが視差量ａとａ−ｔ１の範囲内になるように絞り値を調整する（ステップＳ１７〜１９）。同様にして、遠側についても平均視差量Ｐｆが視差量ｂ以下となるように絞り値を調整する（ステップＳ２０〜Ｓ２５）。

Description

本発明は単眼立体撮影装置、撮影方法及びプログラムに係り、特に、単一の撮影光学系の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左眼用の画像及び右眼用の画像を取得する単眼立体撮影装置、撮影方法及びプログラムに関する。

特許文献１には、単眼立体撮影装置が開示されている。この単眼立体撮影装置では、メインレンズ及びリレーレンズの左右方向の異なる領域を通過した被写体像をミラーにより瞳分割し、それぞれ結像レンズを介して撮像素子に結像させるようにしている。

瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。したがって、左右方向に瞳分割された被写体像を撮像素子を介して取得することにより、被写体距離に応じて視差の異なる左視点画像及び右視点画像を取得し、取得された左視点画像及び右視点画像を用いて３次元画像を表示することができる。

特表２００９−５２７００７号公報

しかしながら、特許文献１に記載の単眼立体撮影装置は、被写体の距離によって自動的に立体感が決定されてしまい、適切な立体感とならない場合があるという問題がある。

本発明はこのような事情に鑑みてなされたもので、適切な立体感で撮影することができる単眼立体撮影装置、撮影方法及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の一の態様に係る単眼立体撮影装置は、単一の撮影光学系と、撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得する撮像素子と、絞り値が変更可能な絞りと、複数の画像に基づいて複数の画像に含まれる被写体の距離情報の分布を求める距離情報取得手段と、距離情報の分布に基づいて視差調整の対象となる画像領域の視差量が所定範囲内の視差量となるように絞り値を制御する制御手段と、を備えたことを特徴とする。なお、視差量には個人差があるが、子供の場合、ディスプレイ上での視差が50mmを超えないような視差が所定範囲内の視差量となる。また、ここでいう「複数の画像に基づいて複数の画像に含まれる被写体の距離情報」とは、視差に関する情報も含まれているものをいう。

本発明の一の態様に係る単眼立体撮影装置によれば、単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して得られた複数の画像に含まれる被写体の距離情報の分布を求め、距離情報の分布に基づいて視差調整の対象となる画像領域の視差量が所定範囲内の視差量となるように絞り値を制御する。これにより、適切な視差量の視差画像を撮影することができる。

本発明の他の態様に係る単眼立体撮影装置において、距離情報取得手段は、複数の画像のうちの所定の１枚の画像である基準画像の画素毎に距離情報を算出し、第１軸に距離情報、第２軸に画素数としたヒストグラムであって、距離情報を距離範囲毎に複数の階級に分割し、算出された距離情報が各階級の範囲に入っている画素の数を度数としたヒストグラムを作成するようにしてもよい。これにより、どの被写体距離の被写体がどの程度の割合を占めているかを明らかにすることができる。

本発明の他の態様に係る単眼立体撮影装置において、距離情報取得手段は、複数の画像のうちの所定の１枚の画像である基準画像を複数の領域に分割し、分割された領域毎に距離情報を算出し、第１軸に距離情報、第２軸に領域数としたヒストグラムであって、距離情報を距離範囲毎に複数の階級に分割し、算出された距離情報が各階級の範囲に入っている領域の数を度数としたヒストグラムを作成してもよい。これにより、どの被写体距離の被写体がどの程度の割合を占めているかを明らかにすることができる。

本発明の他の態様に係る単眼立体撮影装置において、距離情報取得手段は、基準画像の画素毎に距離情報を算出し、領域に含まれる画素の距離情報の平均値を分割された領域毎に算出することにより、複数の領域毎の距離情報を算出してもよい。

本発明の他の態様に係る単眼立体撮影装置において、距離情報取得手段は、基準画像と、複数の画像のうちの基準画像以外の画像との間でパターンマッチング処理を行うことにより、距離情報を算出してもよい。

本発明の他の態様に係る単眼立体撮影装置において、制御手段は、ヒストグラムにおいて、合焦している被写体の被写体距離と近側（カメラに近づく方向）のピークを有するもつ被写体距離の間、及び合焦している被写体の被写体距離と遠側（カメラから遠ざかる方向）にヒストグラムのピークを有するもつ被写体距離の間の少なくとも１つを視差調整の対象となる画像領域として絞り値を制御するようにしてもよい。これにより、ヒストグラムにおいて、合焦している被写体の被写体距離と近側のピークを有するもつ被写体距離の間、及び合焦している被写体の被写体距離と遠側にヒストグラムのピークを有するもつ被写体距離の間の少なくとも１つを適切に調整することができる。

本発明の他の態様に係る単眼立体撮影装置において、制御手段は、合焦している被写体と合焦している被写体より近側で最も面積の広い被写体、及び合焦している被写体と合焦している被写体より遠側で最も面積の広い被写体の少なくとも１つを視差調整の対象となる画像領域として絞り値を制御するようにしてもよい。これにより、合焦している被写体より近側で最も面積の広い被写体と合焦している被写体より遠側で最も面積の広い被写体、又は合焦している被写体と合焦している被写体より近側で最も面積の広い被写体との視差量及び合焦している被写体と合焦している被写体より遠側で最も面積の広い被写体との視差量の少なくとも１つを適切に調整することができる。

本発明の他の態様に係る単眼立体撮影装置において、制御手段は、分割された複数の領域のうちのヒストグラムの度数が閾値以上の階級に含まれる領域を対象に視差調整の対象となる画像領域を決定するようにしてもよい。これにより、画像内で所定の範囲を占める被写体のみを対象に視差調整の対象となる被写体を決定することができる。

本発明の他の態様に係る単眼立体撮影装置において、制御手段は、絞り値を制御し、合焦している被写体と視差調整の対象となる画像領域との視差量が一定の値の範囲内とするようにしてもよい。これにより、飛び出し方向の視差量、奥行き方向の視差量の少なくとも１つを適切にすることができる。

本発明の他の態様に係る単眼立体撮影装置において、距離情報取得手段は、画像の位置に応じて異なる重みを付けて距離情報を算出するようにしてもよい。これにより、より撮影者の意図に合った立体感の視差画像を撮影することができる。

本発明の他の態様に係る単眼立体撮影装置において、撮影光学系は、フォーカスレンズを含み、制御手段は、視差調整の対象となる画像領域の視差が所定範囲内の視差量となるようにフォーカスレンズを移動させるようにしてもよい。これにより、絞り値だけでは調整しきれない場合にも、視差量を調整することができる。

本発明の他の態様に係る単眼立体撮影方法において、単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得するステップと、複数の画像に基づいて複数の画像に含まれる被写体の距離情報の分布を求めるステップと、距離情報の分布に基づいて視差調整の対象となる画像領域の視差量が所定範囲内の視差量となるように絞りの絞り値を制御するステップと、を含むことを特徴とする。

本発明の他の態様に係るプログラムにおいて、単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得するステップと、複数の画像に基づいて複数の画像に含まれる被写体の距離情報の分布を求めるステップと、距離情報の分布に基づいて視差調整の対象となる画像領域の視差量が所定範囲内の視差量となるように絞りの絞り値を制御するステップと、を演算装置に実行させることを特徴とする。

本発明によれば、適切な立体感で撮影することができる。

立体撮影装置のブロック図位相差イメージセンサの構成例を示す図主、第２画素の１画素ずつを示した図図４Ａ及び図４Ｂは図３の要部拡大図被写体距離と視差量との関係を示す図第１の実施の形態における視差量調整処理の流れを示すフローチャート撮影対象の一例領域分割の一例図７の被写体を撮影したときの距離分布を示すヒストグラム基準画像データの一例第２の実施の形態における視差量調整処理の流れを示すフローチャート第２の実施の形態における距離情報の分布を示すヒストグラム第３の実施の形態における視差量調整処理の流れを示すフローチャート重み付けの一例第３の実施の形態における距離情報の分布を示すヒストグラム第４の実施の形態における視差量調整処理の流れを示すフローチャート被写体距離と視差量との関係を示す図第５の実施の形態における視差量調整処理の流れを示すフローチャート合焦位置が変更されたときの被写体距離と視差量との関係を示す図

以下、添付図面に従って本発明に係る撮影装置を実施するための最良の形態について詳細に説明する。

＜第１の実施の形態＞
［撮影装置の構成の説明］
図１は本発明に係る単眼立体撮影装置１０の実施の形態を示すブロック図である。この単眼立体撮影装置１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記憶メディアに記録するデジタルカメラであり、装置全体の動作は中央処理装置（ＣＰＵ）４０によって統括制御される。

単眼立体撮影装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて単眼立体撮影装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。

シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、二次元撮影モード、３次元撮影モード、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モード、本発明に係る視差優先撮影モードを選択する選択手段である。

再生ボタンは、撮影記録した３次元画像、二次元画像の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせるときなどに使用される。

撮影モード時において、被写体を示す画像光は、フォーカスレンズ、ズームレンズを含む撮影光学系１２、絞り１４を介して固体撮像素子である位相差ＣＣＤ１６の受光面に結像される。

撮影光学系１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。

絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ1.4〜Ｆ11まで１ＡＶ刻みで６段階に絞り制御される。また、ＣＰＵ４０は、ＣＣＤ制御部３２を介して位相差ＣＣＤ１６での電荷蓄積時間（シャッタ速度）や、位相差ＣＣＤ１６からの画像信号の読み出し制御等を行う。

図２は位相差ＣＣＤ１６（単眼３次元画像素子）の構成例を示す図である。

位相差ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素（第１画素）と、偶数ラインの画素（第２画素）とを有しており、これらの主、第２画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。

図２に示すように位相差ＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

図３は撮影光学系１２、絞り１４、及び位相差ＣＣＤ１６の第１画素ＰＤａ、第２画素ＰＤｂの１画素ずつを示した図であり、図４Ａ及び図４Ｂは図３の要部拡大図である。

図４Ａに示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。

これに対し、図４Ｂに示すように、位相差ＣＣＤ１６の第１画素ＰＤａ及び第２画素ＰＤｂには遮光部材１６Ａが形成され、この遮光部材１６Ａにより第１画素ＰＤａ、第２画素ＰＤｂの受光面の右半分、又は左半分が遮光されている。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。

なお、上記構成の位相差ＣＣＤ１６は、第１画素ＰＤａと第２画素ＰＤｂとでは、遮光部材１６Ａにより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤ（ＰＤａ，ＰＤｂ）とを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、二つの画素（第１画素と第２画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。

図１に戻って、位相差ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで画素毎のＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行う。

また、ＥＥＰＲＯＭ５６は、カメラ制御プログラム、位相差ＣＣＤ１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル、プログラム線図、本発明に係る複数の視差優先プログラム線図等が記憶されている不揮発性メモリである。

ここで、図２（Ｂ）及び（Ｃ）に示すように、位相差ＣＣＤ１６の奇数ラインの第１画素から読み出される基準画像データは、左視点画像データとして処理され、偶数ラインの第２画素から読み出される参照画像データは、右視点画像データとして処理される。

デジタル信号処理部２４で処理された左視点画像データ及び右視点画像データ（３次元画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３次元画像を表す３次元画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３次元画像を表す３次元画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３次元画像データが書き換えられている方の領域以外の領域から、書き込まれている３次元画像データが読み出される。ＶＲＡＭ５０から読み出された３次元画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ３０（ＬＣＤ）に出力され、これにより３次元の被写体像が液晶モニタ３０の表示画面上に表示される。

この液晶モニタ３０は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。

また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、位相差ＣＣＤ１６は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ／ＡＷＢ検出部４４に取り込まれる。

ＡＥ／ＡＷＢ検出部４４は、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重み付けをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ／ＡＷＢ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り１４の絞り値及び位相差ＣＣＤ１６の電子シャッタ（シャッタ速度）を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいてＣＣＤ制御部３２を介して位相差ＣＣＤ１６での電荷蓄積時間を制御する。

また、ＡＥ／ＡＷＢ検出部４４は、ＡＷＢ制御に必要な物理量として、１画面を複数のエリア（例えば、１６×１６）に分割し、分割したエリア毎にＲ、Ｇ、Ｂの画像信号の色別の平均積算値を算出する。ＣＰＵ４０は、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリア毎にＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。判別された光源種に適したホワイトバランス調整値に従って、例えば各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ＝１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を決定する。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データ及び右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域（以下、ＡＦエリアという）内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。なお、ＡＦ評価値の演算はＧ信号を利用してもよいし、輝度信号（Ｙ信号）などの他の画像信号を利用してもよい。また、位相差ＡＦ処理を行う場合には、左視点画像データ及び右視点画像データのうちの所定のＡＦエリア内の第１画素、第２画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。ＡＦエリアは、例えば画面中央部に設定されるが、画面全体をＡＦエリアとしてもよいし、所望の被写体（例えば顔）の近傍領域をＡＦエリアとしてもよい。なお、顔を検出する方法は既に公知であるため説明を省略する。

単眼立体撮影装置１０では、合焦している像は位相差ＣＣＤ１６上の同一位置に結像する（一致する）ため、視差量は０であるが、合焦していない像は位相差ＣＣＤ１６上の異なる位置に結像するため、被写体の距離に応じた視差量がつく。図５は、被写体までの距離（以下、被写体距離という）と視差との関係を示すグラフであり、１ｍの位置にある被写体が合焦している場合の異なるＦ値のグラフである。Ｆ値が同じ場合には、３ｍの位置にある被写体の視差量と、１０ｍにある被写体の視差量とを比較すると、３ｍの位置にある被写体の視差量ａより１０ｍにある被写体の視差量ｂの方が大きい。したがって、被写体距離によっては視差量が適切でない場合が起こりうる。視差量が一定以上となると見づらくなり、視差量が一定以下となると立体感が得にくいため、Ｆ値を変えることで、最適な視差量となるように制御する。

なお、図５において、視差量０とは視差がない、すなわち液晶モニタ３０表面の位置に表示されることを意味する。また、視差量＋とは、液晶モニタ３０表面より奥行き方向の視差を意味し、視差量−とは、液晶モニタ３０表面より飛び出し方向（手前側）の視差を意味する。

同じ被写体距離でもＦ値によって視差量が異なる。位相差ＣＣＤ１６に入射する光束を少なくする、すなわちＦ値を大きくすると、合焦する被写体距離の範囲が広くなる。それに対し、位相差ＣＣＤ１６に入射する光束を多くする、すなわちＦ値を小さくすると、合焦する被写体距離の範囲が狭くなる。したがって、図５に示すように、Ｆ値が大きくなればなるほどグラフの形がなだらかになる、すなわち基準画像と参照画像との視差量が小さくなる。また、Ｆ値が小さくなればなるほどグラフの形が急峻になる、すなわち基準画像と参照画像との視差量が大きくなる。

なお、図５においては１ｍの位置にある被写体が合焦している場合であるが、例えば３ｍの位置にある被写体が合焦している場合には、３ｍのところで横軸が交差するように図５のグラフを右方向に平行移動したものとなる。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される第１画素及び第２画素に対応する左眼用画像（基準画像）及び右眼用画像（参照画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。

メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸張処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。

メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディアコントローラ５２により読み出され、メモリカード５４に記録される。

なお、ＡＦ動作は、シャッタボタンの第１段階の押下（半押し）がある場合のみでなく、左眼用画像及び右眼用画像の２枚分の画像データ、すなわち右眼用画像データ、左眼用画像データを連続的に撮影する場合にも行われる。右眼用画像データ、左眼用画像データを連続的に撮影する場合とは、例えばライブビュー画像（スルー画像）を撮影する場合や、動画を撮影する場合が挙げられる。この場合には、ＡＦ処理部４２は、連続的に右眼用画像データ、左眼用画像データを撮影している間、繰り返しＡＦ評価値の演算を行って又は位相差の検出を行って、連続的にフォーカスレンズ位置を制御するコンティニュアスＡＦを行う。

［撮影装置の動作の説明］
次に、単眼立体撮影装置１０の動作について説明する。この撮像処理はＣＰＵ４０によって制御される。この撮像処理をＣＰＵ４０に実行させるためのプログラムはＣＰＵ４０内のプログラム格納部に記憶されている。

撮影光学系１２を通過した被写体光は、絞り１４を介して位相差ＣＣＤ１６の受光面に結像される。ＣＣＤ制御部３２により、位相差ＣＣＤ１６の第１画素及び第２画素に蓄えられた信号電荷は、信号電荷に応じた電圧信号（画像信号）として所定のフレームレートで順次読み出され、アナログ信号処理部１８、Ａ／Ｄ変換器２０、画像入力コントローラ２２を介してデジタル信号処理部２４に順次入力され、左眼用画像データ及び右眼用画像データが順次生成される。生成された左眼用画像データ及び右眼用画像データは順次ＶＲＡＭ５０に入力される。

ＣＰＵ４０は、左眼用画像データ及び右眼用画像データに基づいて、絞り駆動部３４を介して絞り１４の開口量である絞り値（Ｆ値）を変更する。また、ＣＰＵ４０は、操作部３８からの入力に応じて、レンズ駆動部３６を介してズーミングを行う。

撮影者は、この液晶モニタ３０にリアルタイムに表示される画像（ライブビュー画像）を見ることにより、撮影画角を確認することができる。

シャッタボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ４０に入力され、ＣＰＵ４０はＡＦ処理部４２及びＡＥ／ＡＷＢ検出部４４を介してＡＥ／ＡＦ／ＡＷＢ動作を実施する。

図６は、ＡＥ／ＡＦ／ＡＷＢ動作後に、撮影者から最も近い被写体と撮影者から最も遠い被写体との視差量が適切となるように絞り値（Ｆ値）を制御する視差量調整処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ４０によって行われる。

ＣＰＵ４０は、ＡＦ処理が終了したか否かを判断する（ステップＳ１０）。終了していない場合（ステップＳ１０でＮＯ）は再度ステップＳ１０を行う。

ＡＦ処理が終了した場合（ステップＳ１０でＹＥＳ）は、合焦している被写体の被写体距離を求める（ステップＳ１１）。合焦している被写体の被写体距離は、フォーカスレンズの位置から算出することができる。これにより、図５に示す距離と視差量との関係を示すグラフが確定する。

ＣＰＵ４０は、距離頻度のヒストグラムを作成する（ステップＳ１２）。ステップＳ１２の処理を図７に示す被写体を撮影する場合を例に説明する。

まず、ＣＰＵ４０は、基準画像データ（又は参照画像データ、以下同じ）の画素毎に被写体距離を算出する。被写体距離は、基準画像と参照画像との間でパターンマッチング処理を行うことにより得られた位相差から求めることができる。また、画素毎に分割測距を行うことにより求めることもできる。

ＣＰＵ４０は、距離情報取得手段としても機能し、作成されたデータを用いてヒストグラムを作成する。図９（８）は、図７に示す被写体を撮影した場合のヒストグラムである。横軸は被写体距離であり、複数の階級に分けられている。また、縦軸は、算出された画素毎の被写体距離が、各階級の範囲に入っている画素の数である。これにより、被写体距離のバラツキや、どの被写体距離の被写体がどの程度の割合を占めているか、すなわち被写体の距離情報の分布を得ることができる。図７に示す被写体の場合には、主に合焦位置（人Ａ）、近い距離の被写体（花Ｂ）、遠距離の被写体（背景Ｃ）の３つから構成されることが分かる。

なお、ヒストグラムの作成方法はこれに限られない。例えば、図８（９）に示すように基準画像データを複数の領域に分割し、画素毎に算出された被写体距離の平均値を領域毎に算出することで、ヒストグラムの基となるデータを作成し、このデータに基づいてヒストグラムを作成してもよい。この場合には、縦軸は、算出された平均値が各階級の範囲に入っている領域の数となる。横軸は、被写体距離である。また、領域の被写体距離は、画素毎に算出された被写体距離に基づいて算出しても良いし、領域の位相差に基づいて算出してもよい。領域の位相差は、基準画像データ、参照画像データの間でパターンマッチングを行うことにより算出できる。

ＣＰＵ４０は、ヒストグラムに基づいて合焦距離（合焦している被写体の被写体距離）より近側（カメラに近づく方向）でピークとなる最も頻度の高い階級を探索する（ステップＳ１３）。図９に示す場合においてはαである。ＣＰＵ４０は、ステップＳ１３で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｎを設定する（ステップＳ１４）。これにより、視差調整の対象として最も近い被写体が設定される。図７に示す被写体を撮影した第１画素データを図１０とすると、図１０においては、図９のαの被写体距離範囲内の画素を含む矩形エリアＬαが設定される。矩形エリアを設定し、演算するエリアを特定範囲内に限定することで、演算時間を短縮することができる。

ＣＰＵ４０は、ステップＳ１４で設定された矩形エリアＬｎに含まれる各画素の視差量の平均値（平均視差量）Ｐｎを算出する（ステップＳ１５）。視差量は、第１画素データと第２画素データとの対象画素のずれ量であり、画素数で表される。例えば、第１画素データにおける花の中心と、第２画素データにおける花の中心とが５画素ずれていた場合には、視差量は５画素となる。なお、Ｐｎは視差量の絶対値で求められる。

ＣＰＵ４０は、ステップＳ１５で算出されたＰｎが予め設定された視差量ａとａ−ｔ１の範囲内にあるかを確認する（ステップＳ１６）。すなわち、合焦している被写体と最も近い被写体との視差量が、一定の視差量ａとａ−ｔ１の範囲内にあるかを確認する。この視差量ａは、立体視融合範囲内の所定の値に設定される。
立体視融合範囲内とは、画像視聴者が快適に立体視できる視差量であり、過大視差や開散視差とならない範囲である。これらは主に立体表示装置の画面サイズ、視聴距離等の条件から設定される。

Ｐｎが予め設定された視差量ａとａ−ｔ１の範囲内にない場合（ステップＳ１６でＮＯ）で、Ｐｎが視差量ａ−ｔ１より小さい場合には、視差量が小さすぎ、適切な立体感が得られない場合であるため、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を１段階開き、視差量を大きくする（ステップＳ１７）。また、Ｐｎが予め設定された視差量ａとａ−ｔ１の範囲内にない場合（ステップＳ１６でＮＯ）で、Ｐｎが視差量ａより大きい場合には、立体感が強すぎる場合であるため、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を１段階閉じ、視差量を小さくする（ステップＳ１８）。

その結果、絞り１４が限界絞り値となったか否かを判断する（ステップＳ１９）。限界絞り値でない場合（ステップＳ１９でＮＯ）には、視差量の調整が可能であるため、ステップＳ１５へ戻り、再度視差量の確認を行う。

Ｐｎが予め設定された視差量ａとａ−ｔ１の範囲内にある場合（ステップＳ１６でＹＥＳ）及び限界絞り値である場合（ステップＳ１９でＹＥＳ）には、ＣＰＵ４０は、ヒストグラムに基づいて合焦距離より遠側（カメラから遠ざかる方向）でピークとなる最も頻度の高い階級を探索する（ステップＳ２０）。図９に示す場合においてはβである。ＣＰＵ４０は、ステップＳ２０で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｆを設定する（ステップＳ２１）。これにより、視差調整の対象として最も遠い被写体が設定される。図７に示す被写体を撮影した第１画素データを図１０とすると、図１０においては、図９βの被写体距離範囲内の画素を含む矩形エリアＬβが設定される。

ＣＰＵ４０は、ステップＳ２１で設定された矩形エリアＬｆに含まれる各画素の視差量の平均値（平均視差量）Ｐｆを算出する（ステップＳ２２）。視差量の算出はステップＳ１５と同様である。なお、Ｐｆは視差量の絶対値で求められる。ＣＰＵ４０は、ステップＳ２２で算出されたＰｆが予め設定された視差量ｂ以下であるかを確認する（ステップＳ２３）。すなわち、合焦している被写体と最も遠い被写体との視差量が視差量ｂ以下であるかを確認する。この視差量ｂは、立体視融合範囲内の所定の値に設定される。

Ｐｆが予め設定された視差量ｂ以下でない場合（ステップＳ２３でＮＯ）には、立体感が強すぎる場合であるため、視差量を小さくするため、絞り駆動部３４を介して絞り１４の絞り値を１段階閉じる（ステップＳ２４）。その結果、絞り１４が限界絞り値となったか否かを判断する（ステップＳ２５）。限界絞り値でない場合（ステップＳ２５でＮＯ）には、視差量の調整が可能であるため、ステップＳ２２へ戻り、再度視差量の確認を行う。

Ｐｆが予め設定された視差量ｂ以下である場合（ステップＳ２３でＹＥＳ）及び限界絞り値である場合（ステップＳ２５でＹＥＳ）には、視差量調整処理を終了する。

これにより、図９のαとβとの視差量、すなわち最も近い被写体と最も遠い被写体との視差量を所定の範囲内にすることができる。なお、視差量の絞りによる変化量は近距離ほど大きく変動するため、本実施の形態では近距離側の視差を優先して調整する。

その後、シャッタボタンが全押しされると、ＣＰＵ４０にＳ２ＯＮ信号が入力され、ＣＰＵ４０は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッタ速度、絞り値で位相差ＣＣＤ１６を露光する。

位相差ＣＣＤ１６の第１画素、第２画素からそれぞれ出力された２枚分の画像データは、アナログ処理部６０、Ａ／Ｄ変換器２０、画像入力コントローラ２２を介してＶＲＡＭ５０に取り込まれ、画像信号処理部６４において輝度／色差信号に変換されたのち、ＶＲＡＭ５０に格納される。ＶＲＡＭ５０に格納された左眼用画像データは、圧縮伸張処理部２６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、ＶＲＡＭ５０に格納される。

ＶＲＡＭ５０に記憶された２枚分の圧縮データからＭＰファイルが生成され、そのＭＰファイルはメディアコントローラ２を介してメモリカード５４に記録される。これにより、立体視画像が撮影、記録される。

なお、本実施の形態では、立体視画像を撮影する場合を例に説明したが、単眼立体撮影装置１０は、二次元画像、立体視画像の両方が撮影可能である。二次元画像を撮影する場合には、位相差ＣＣＤ１６の第１画素のみを用いて撮影を行うようにすればよい。撮影処理の詳細については立体視画像を撮影する場合と同様であるため、説明を省略する。

以上のようにしてメモリカード５４に記録された画像は、再生ボタンにより単眼立体撮影装置１０のモードを再生モードに設定することにより、液晶モニタ３０で再生表示させることができる。

再生モードに設定されると、ＣＰＵ４０は、メディアコントローラ５２にコマンドを出力し、メモリカード５４に最後に記録された画像ファイルを読み出させる。

読み出された画像ファイルの圧縮画像データは、圧縮伸張処理部２６に加えられ、非圧縮の輝度／色差信号に伸張されたのち、ビデオ・エンコーダ２８を介して液晶モニタ３０に出力される。

画像のコマ送りは、十字キーの左右のキー操作によって行われ、十字キーの右キーが押されると、次の画像ファイルがメモリカード５４から読み出され、液晶モニタ３０に再生表示される。また、十字キーの左キーが押されると、一つ前の画像ファイルがメモリカード５４から読み出され、液晶モニタ３０に再生表示される。

本実施の形態によれば、撮影者から最も遠い被写体と最も近い被写体との視差量を適切にすることができる。

なお、本実施の形態では、先に近い被写体の視差量Ｐｎを調整し、後で遠い被写体の視差量Ｐｆを調整したが、先に遠い被写体の視差量を調整し、後で近い被写体の視差量を調整しても良い。

＜第２の実施の形態＞
本発明の第１の実施の形態では、撮影者から最も遠い被写体と最も近い被写体との視差量を適切にするものであるが、視差量を適切にする対象となる被写体（視差調整の対象となる被写体）はこれに限られない。

本発明の第２の実施の形態は、基準画像、参照画像のそれぞれの画像内で所定の範囲を占める被写体のみを対象に視差調整の対象となる被写体を決定する形態である。以下、第２の実施の形態に係る単眼立体撮影装置１０−１について説明する。なお、第１の実施の形態と同一の部分については説明を省略する。

図１１は、ＡＥ／ＡＦ／ＡＷＢ動作後に、基準画像、参照画像のそれぞれの画像内で所定の範囲を占める被写体のうちで撮影者から最も近い被写体と撮影者から最も遠い被写体との視差量が適切となるようにＦ値を制御する視差量調整処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ４０によって行われる。

ＣＰＵ４０は、ＡＦ処理が終了したか否かを判断する（ステップＳ１０）。終了していない場合（ステップＳ１０でＮＯ）は再度ステップＳ１０を行う。ＡＦ処理が終了した場合（ステップＳ１０でＹＥＳ）は、合焦している被写体の被写体距離を求める（ステップＳ１１）。

ＣＰＵ４０は、距離情報の分布である距離頻度のヒストグラムを作成する（ステップＳ１２）。距離情報の分布に基づいて視差調整の対象となる画像領域の視差量を絞り値により制御する制御手段としても機能するＣＰＵ４０は、ヒストグラムの度数が閾値以上の階級のなかから合焦距離及びその近側（カメラに近づく方向）でピークとなる最も頻度の高い階級を探索する（ステップＳ３０）。ステップＳ１２で作成されたヒストグラムが図１２であるとすると、合焦している被写体（人Ａ）は閾値以上であるが、合焦距離より近側にはヒストグラムの閾値以上の階級が存在しない。したがって、ＣＰＵ４０は、人Ａの階級γを探索結果とする。ヒストグラムの度数が閾値以上の階級とは、基準画像、参照画像のそれぞれの画像内で所定の範囲を占めることを意味する。したがって、ヒストグラムの度数が閾値以上の階級に限定することで、撮影された範囲の狭い被写体を視差調整の対象となる被写体から除外することができる。図１２に示す例においては、花Ｂのエリアは写っている範囲として狭いと判断され、視差調整の対象となる被写体から除外される。なお、閾値は、予め設定された値を用いてもよいし、撮影者が操作部３８を介して変更しても良いし、例えば３個の階級が閾値を越えるようにＣＰＵ４０が自動設定してもよい。

ＣＰＵ４０は、ステップＳ３０で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｎを設定する（ステップＳ３１）。ＣＰＵ４０は、ステップＳ１４で設定された矩形エリアＬｎに含まれる各画素の視差量の平均値（平均視差量）Ｐｎを算出する（ステップＳ１５）。

ＣＰＵ４０は、ステップＳ１５で算出されたＰｎが予め設定された視差量ａとａ−ｔ１の範囲内にあるかを確認する（ステップＳ１６）。この視差量ａは、立体視融合範囲内の所定の値に設定される。

Ｐｎが予め設定された視差量ａとａ−ｔ１の範囲内にある場合（ステップＳ１６でＹＥＳ）及び限界絞り値である場合（ステップＳ１９でＹＥＳ）には、ＣＰＵ４０は、ヒストグラムの度数が閾値以上のもののなかから合焦距離及びその遠側（カメラから遠ざかる方向）でピークとなる最も頻度の高い階級を探索する（ステップＳ３２）。図１２に示す場合においてはβである。

ＣＰＵ４０は、ステップＳ３１で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｆを設定する（ステップＳ３３）。

ＣＰＵ４０は、ステップＳ２１で設定された矩形エリアＬｆに含まれる各画素の視差量の平均値（平均視差量）Ｐｆを算出する（ステップＳ２２）。視差量の算出はステップＳ１５と同様である。ＣＰＵ４０は、ステップＳ２２で算出されたＰｆが予め設定された視差量ｂ以下であるかを確認する（ステップＳ２３）。この視差量ｂは、立体視融合範囲内の所定の値に設定される。

Ｐｆが予め設定された視差量ｂ以下である場合（ステップＳ２３でＹＥＳ）及び限界絞り値である場合（ステップＳ２５でＹＥＳ）には、視差量調整処理を終了する。これにより、図１２のγとβとの視差量を所定の範囲内にすることができる。

本実施の形態によれば、撮影された範囲の狭い被写体を視差調整の対象となる被写体から除外することで、撮影された画像内で一定の割合以上の被写体のなかから視差調整の対象となる被写体を設定し、これらの被写体間の視差量を適切な視差量とすることができる。したがって、より適切な立体感の視差画像を撮影することができる。

なお、本実施の形態では、処理の途中で閾値は変更しないが、閾値が高すぎて視差調整の対象が見つからなかった場合等に閾値を調整するようにしても良い。閾値の調整は、ＣＰＵ４０が自動で行ってもよいし、撮影者が指示しても良い。

また、本実施の形態では、ステップＳ３０、Ｓ３２において、ヒストグラムの度数が閾値以上の階級のなかから合焦距離及びその近側又は遠側でピークとなる最も頻度の高い階級を探索して視差調整の対象となる被写体としたが、視差調整の対象となる被写体はこれに限られない。例えば、ヒストグラムの度数が閾値以上の階級のなかから最も近側又は遠側の階級を探索して視差対象の被写体としてもよい。図１２においては、階級βの一つ右にある階級が視差対象の被写体となる。

＜第３の実施の形態＞
本発明の第１の実施の形態では、撮影者から最も遠い被写体と最も近い被写体との視差量を適切にするものであるが、視差量を適切にする対象となる被写体（視差調整の対象となる被写体）はこれに限られない。

本発明の第３の実施の形態は、する形態である。以下、第３の実施の形態に係る単眼立体撮影装置１０−２について説明する。なお、第１の実施の形態と同一の部分については説明を省略する。

図１３は、ＡＥ／ＡＦ／ＡＷＢ動作後に、視差調整の対象となる被写体間の視差量が適切となるようにＦ値を制御する視差量調整処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ４０によって行われる。

ＣＰＵ４０は、画素の位置に応じた重み付けをして、距離頻度のヒストグラムを作成する（ステップＳ４０）。以下、ステップＳ４０の処理について説明する。

まず、ＣＰＵ４０は、ステップＳ１２と同様に、基準画像データの画素毎に被写体距離を算出する。次に、ＣＰＵ４０は、ステップＳ１２と同様に、図８に示すように基準画像データを複数の領域に分割し、画素毎に算出された被写体距離の合計値を領域毎に算出する。最後に、ＣＰＵ４０は、各領域の位置に応じて重み付けをしてヒストグラムの基となるデータを作成する。本実施の形態では、図１４に示すように、画像の上側は重みを大きくし、下側に行くにつれて重みを小さくする。例えば、通常は頻度１であるが、重みを大きくする、例えば２倍にする場合には頻度２とし、重みを小さくする例えば半分にする場合には頻度０．５とする処理を行う。被写体距離が合焦距離より近い側は視差量が大きくなりやすいため、被写体距離が近い被写体があるとすぐに視差量を小さくする制御が入ってしまう。したがって、遠距離の被写体が多いと思われる画像の上側の重みを大きくすることで、遠距離の被写体に重みを付けたデータを生成する。

ＣＰＵ４０は、重み付けがされたデータを用いてヒストグラムを作成する。図１５は、作成されたヒストグラムを示す。横軸は被写体距離であり、縦軸は被写体距離の合計値が各被写体距離範囲に含まれる領域の度数である。同じ被写体に対して重み付け無しで作成されたヒストグラムである図９と比較すると、人Ａ及び背景Ｃに相当する階級の度数が多くなっていることが分かる。

ＣＰＵ４０は、ヒストグラムに基づいて合焦距離（合焦している被写体の被写体距離）より近側（カメラに近づく方向）でピークとなる最も頻度の高い階級を探索する（ステップＳ１３）。ＣＰＵ４０は、ステップＳ１３で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｎを設定する（ステップＳ１４）。ＣＰＵ４０は、ステップＳ１４で設定された矩形エリアＬｎに含まれる各画素の視差量の平均値（平均視差量）Ｐｎを算出する（ステップＳ１５）。

Ｐｎが予め設定された視差量ａとａ−ｔ１の範囲内にある場合（ステップＳ１６でＹＥＳ）及び限界絞り値である場合（ステップＳ１９でＹＥＳ）には、ＣＰＵ４０は、ヒストグラムに基づいて合焦距離より遠側（カメラから遠ざかる方向））でピークとなる最も頻度の高い階級を探索する（ステップＳ２０）。ＣＰＵ４０は、ステップＳ２０で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｆを設定する（ステップＳ２１）。

本実施の形態によれば、画素の位置に応じて重み付けをして距離情報の分布を作成することで、より撮影者の意図に合った立体感の視差画像を撮影することができる。

なお、本実施の形態では、遠距離の被写体が多いと思われる画像の上側の重みを大きくすることで、遠距離の被写体に重みを付けたデータを生成してヒストグラムを作成したが、重み付けの方法はこれに限られず、撮影者が操作部３８等を介して任意に設定することができる。例えば、重要な被写体が撮影されていると思われる画像の中央の重みを大きくしても良い。

また、本実施の形態では、位置に応じた重み付けをしてヒストグラムを作成し、最も近い被写体と最も遠い被写体との視差量が適切になるように絞り値を制御したたが、位置に応じた重み付けをしてヒストグラムに対して、度数が閾値以上の階級に限定して視差調整の対象となる被写体を設定して絞り値を制御しても良い。

＜第４の実施の形態＞
本発明の第１の実施の形態では、撮影者から最も遠い被写体と最も近い被写体との視差量を適切にするものであるが、視差量を適切にする対象となる被写体（視差調整の対象となる被写体）はこれに限られない。

本発明の第４の実施の形態は、合焦した被写体を基準とし、撮影者から遠い被写体までの視差量と撮影者から近い被写体までの視差量との二つの情報をもとに視差量を最適に制御するする形態である。以下、第４の実施の形態に係る単眼立体撮影装置１０−３について説明する。なお、第１の実施の形態と同一の部分については説明を省略する。

図１６は、ＡＥ／ＡＦ／ＡＷＢ動作後に、視差調整の対象となる被写体間の視差量が適切となるようにＦ値を制御する視差量調整処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ４０によって行われる。

ＣＰＵ４０は、距離頻度のヒストグラムを作成する（ステップＳ１２）。ＣＰＵ４０は、ヒストグラムに基づいて合焦距離（合焦している被写体の被写体距離）より近側（カメラに近づく方向）でピークとなる最も頻度の高い階級を探索する（ステップＳ１３）。ＣＰＵ４０は、ステップＳ１３で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｎを設定する（ステップＳ１４）。ＣＰＵ４０は、ステップＳ１４で設定された矩形エリアＬｎに含まれる各画素の視差量の平均値（平均視差量）Ｐｎを算出する（ステップＳ１５）。

また、ＣＰＵ４０は、ヒストグラムに基づいて合焦距離より遠側（カメラから遠ざかる方向））でピークとなる最も頻度の高い階級を探索する（ステップＳ２０）。ＣＰＵ４０は、ステップＳ２０で探索された範囲内の被写体距離を有する画素を基準画像データ及び参照画像データから選択し、その画素を含む矩形エリアＬｆを設定する（ステップＳ２１）。ＣＰＵ４０は、ステップＳ２１で設定された矩形エリアＬｆに含まれる各画素の視差量の平均値（平均視差量）Ｐｆを算出する（ステップＳ２２）。

ＣＰＵ４０は、ＰｎとＰｆとを比較し、どちらが大きいか判断する（ステップＳ５０）。図１７に示す例においては、合焦している被写体である人Ｂと花Ａとの視差量Ｐｎが人Ｂと背景Ｃとの視差量Ｐｆより大きい。ステップＳ５０でＰｎとＰｆが同じ又はＰｎが大きいと判断された場合には、ＣＰＵ４０は、ステップＳ１５で算出されたＰｎが予め設定された視差量ａとａ−ｔ１の範囲内にあるかを確認する（ステップＳ１６）。

その結果、絞り１４が限界絞り値となったか否かを判断する（ステップＳ１９）。限界絞り値でない場合（ステップＳ１９でＮＯ）には、視差量の調整が可能であるため、ステップＳ１６へ戻り、再度視差量の確認を行う。

ステップＳ５０でＰｎが大きいと判断された場合には、ＣＰＵ４０は、ステップＳ２２で算出されたＰｆが予め設定された視差量ｂ以下であるかを確認する（ステップＳ２３）。この視差量ｂは、立体視融合範囲内の所定の値に設定される。

Ｐｆが予め設定された視差量ｂ以下でない場合（ステップＳ２３でＮＯ）には、立体感が強すぎる場合であるため、視差量を小さくするため、絞り駆動部３４を介して絞り１４の絞り値を１段階閉じる（ステップＳ２４）。その結果、絞り１４が限界絞り値となったか否かを判断する（ステップＳ２５）。限界絞り値でない場合（ステップＳ２５でＮＯ）には、視差量の調整が可能であるため、ステップＳ２３へ戻り、再度視差量の確認を行う。

Ｐｎが予め設定された視差量ａとａ−ｔ１の範囲内にある場合（ステップＳ１６でＹＥＳ）、ＰｎがＰｆが予め設定された視差量ｂ以下である場合（ステップＳ２３でＹＥＳ）及び限界絞り値である場合（ステップＳ１９、Ｓ２５でＹＥＳ）には、視差量調整処理を終了する。

本実施の形態によれば、合焦した被写体を基準とし、合焦している被写体と最も近い被写体との視差量、すなわち飛び出し方向の視差量、又は合焦している被写体と最も遠い被写体との視差量、すなわち奥行き方向の視差量を適切に制御することができる。

なお、本実施の形態では、近距離側を優先するため、ＰｎとＰｆが同じ場合にはＰｎを用いて視差量の調整を行ったが、ＰｎとＰｆが同じ場合にはＰｆを用いて視差量の調整を行ってもよい。

また、本実施の形態では、ＰｎとＰｆを比較し、大きい方を基準に視差量の調整を行ったが、撮影者が基準を設定してもよい。図１７に示す例において、撮影者によって操作部３８を介して遠い側の被写体を優先することが設定されている場合には、ＣＰＵ４０は、人Ｂと背景Ｃとの視差量が適切となるように絞り１４の絞り値を制御する。この場合において、絞り値の制御を行った結果、人Ａと花Ｂとの視差量が視差量ａより大きくなってしまったとしても、ＣＰＵ４０は、遠い被写体である背景Ｃと人Ｂとの視差量が適切となるように絞り値を制御する。これにより、撮影者の望む立体感の視差画像を撮影することができる。

＜第５の実施の形態＞
本発明の第４の実施の形態では、合焦した被写体を基準とし、撮影者から遠い被写体までの視差量と撮影者から近い被写体までの視差量のいずれかを最適に制御する形態であるが、両方を最適に制御してもよい。

本発明の第５の実施の形態は、合焦下被写体と遠い被写体までの視差量と、合焦下被写体と近い被写体までの視差量の両方を最適にする形態である。以下、第５の実施の形態に係る単眼立体撮影装置１０−４について説明する。なお、第１の実施の形態と同一の部分については説明を省略する。

図１８は、ＡＥ／ＡＦ／ＡＷＢ動作後に、視差調整の対象となる被写体間の視差量が適切となるようにＦ値を制御する視差量調整処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ４０によって行われる。

ＣＰＵ４０は、距離頻度のヒストグラムを作成する（ステップＳ１２）。ＣＰＵ４０は、ヒストグラムに基づいて合焦距離（合焦している被写体の被写体距離）より近側（カメラに近づく方向）でピークとなる最も頻度の高い階級を探索する（ステップＳ１３）。ＣＰＵ４０は、ステップＳ１３で探索された範囲内の被写体距離を有する画素を右画像データ及び左画像データ（基準画像を右画像、参照画像を左画像という）から選択し、その画素を含む矩形エリアＬｎを設定する（ステップＳ１４）。ＣＰＵ４０は、ステップＳ１４で設定された矩形エリアＬｎに含まれる各画素の視差量の平均値（平均視差量）Ｐｎを算出する（ステップＳ１５）。

ＣＰＵ４０は、ステップＳ２２で算出されたＰｆが予め設定された視差量ｂ以下であるかを確認する（ステップＳ２３）。この視差量ｂは、立体視融合範囲内の所定の値に設定される。

Ｐｆが予め設定された視差量ｂ以下でない場合（ステップＳ２３でＮＯ）には、立体感が強すぎる場合であるため、視差量を小さくするため、絞り駆動部３４を介して絞り１４の絞り値を１段階閉じる（ステップＳ２４）。その結果、絞り１４が限界絞り値となったか否かを判断する（ステップＳ２５）。限界絞り値でない場合（ステップＳ２５でＮＯ）には、視差量の調整が可能であるため、ステップＳ２３へ戻り、再度視差量の確認を行う。これにより、合焦位置にある被写体と遠い被写体との視差量が適切となるように調整される。

ＰｎがＰｆが予め設定された視差量ｂ以下である場合（ステップＳ２３でＹＥＳ）及び限界絞り値である場合（ステップＳ２５でＹＥＳ）には、ＣＰＵ４０は、ステップＳ１５で算出されたＰｎが予め設定された視差量ａとａ−ｔ１の範囲内にあるかを確認する（ステップＳ１６）。

Ｐｎが予め設定された視差量ａとａ−ｔ１の範囲内にない場合（ステップＳ１６でＮＯ）には、ＣＰＵ４０は、Ｐｎが予め設定された視差量ａとａ−ｔ１の範囲内に収まるように、レンズ駆動部３６を介してフォーカスレンズを移動させる（ステップＳ６０）。例えば、図１７において視差量Ｐｎが視差量ａより大きい場合には、ＣＰＵ４０は、視差量Ｐｎが視差量ａとａ−ｔ１の範囲になるようにフォーカスレンズを移動させる。その結果、図１９に示すように、視差量Ｐｎは視差量ａとａ−ｔ１の範囲内の視差量Ｐｎ’となり、合焦位置にあった被写体である人Ａは合焦距離より遠側に移動されて奥行き方向に視差量Ｘを有することとなり、視差量ＰｆはＰｆより小さい視差量Ｐｆ’となる。

Ｐｎが予め設定された視差量ａとａ−ｔ１の範囲内にある場合（ステップＳ１６でＹＥＳ）には、視差量調整処理を終了する。

本実施の形態によれば、絞り値の制御に加えて合焦位置を制御することにより、合焦している被写体と近い被写体との視差量、合焦している被写体と遠い被写体との視差量のどちらかが大きすぎたり小さすぎたりした場合に、より緻密に視差量の調整を行うことができる。

なお、本実施の形態では、まず遠側の被写体の視差量を絞りの制御で調整とし、近側の被写体の視差量を合焦位置の制御で調整したが、近側の被写体の視差量を絞りの制御で調整とし、遠側の被写体の視差量を合焦位置の制御で調整してもよい。

また、第１の実施の形態の図６に示すフローにおいて、限界絞り値で絞り値での視差量の調整が不可能となった場合（ステップＳ１９、Ｓ２５でＮＯ）の場合に、合焦位置を制御することで視差量の調整を行っても良い。例えば、図６ステップＳ１９で限界絞り値であった場合（ステップＳ１９でＹＥＳ）には、ＣＰＵ４０は、Ｐｎが予め設定された視差量ａとａ−ｔ１の範囲内に収まるように、レンズ駆動部３６を介してフォーカスレンズを移動させ（図１９のステップＳ６０）、再度図６のステップＳ１５に戻るようにすればよい。

なお、本実施の形態では、撮像素子にＣＣＤを用いた例で説明したが、ＣＣＤに限定されるものではない。本発明は、ＣＭＯＳ等他のイメージセンサにも適用可能である。また、単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得するステップと、複数の画像に基づいて前記複数の画像に含まれる被写体の距離情報の分布を求めるステップと、距離情報の分布に基づいて視差調整の対象となる画像領域の視差量を前記絞り値により制御するステップと、を上述のプログラムにより演算装置に実行させることもできることには留意されたい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

例えば、図２に示すような左右方向の位相差撮像素子のかわりに、左右方向及び上下方向の位相差撮像素子を使用することもできる。この場合には、左右方向に２個、上下方向に２個の合計４個の画素が１つの画素に含まれ、一度に４枚の画像信号が得られる。４枚の画像信号が得られた場合においても、基準画像として左上の画像を選択し、参照画像として残りの３枚の中の所望の１枚を選択し、選択した２枚の画像に対する処理を複数回行うことにより、同様の結果を得ることができる。すなわち、本発明は、特許請求の範囲の記載が２枚の画像を対象にしているからといって２枚の画像を取得する場合に限定されるわけではなく、２枚以上の複数の画像を取得する全ての場合に適用することができる。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０、１０−１、１０−２、１０−３、１０−４…単眼立体撮影装置、１２…撮影光学系、１４…絞り、１６…位相差ＣＣＤ（撮像素子）、１６Ａ…遮光部材、１６Ｂ…遮光部材の開口、２４…デジタル信号処理部、４０…ＣＰＵ、４８…メモリ、５２…メディアコントローラ、５４…メモリカード、５６…ＥＥＰＲＯＭ、Ｌ…マイクロレンズ、ＰＤ…フォトダイオード（画素）

【０００２】
ることができる単眼立体撮影装置、撮影方法及びプログラムを提供することを目的とする。
課題を解決するための手段
［０００７］
上記目的を達成するために、本発明の一の態様に係る単眼立体撮影装置は、フォーカスレンズを含む単一の撮影光学系と、撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得する撮像素子と、絞り値が変更可能な絞りと、複数の画像に基づいて複数の画像に含まれる被写体の距離情報の分布を求める距離情報取得手段と、距離情報の分布に基づいて視差調整の対象となる画像領域の視差量が所定範囲内の視差量となるように、絞り値とフォーカスレンズの移動を制御する制御手段と、を備えたことを特徴とする。なお、視差量には個人差があるが、子供の場合、ディスプレイ上での視差が５０ｍｍを超えないような視差が所定範囲内の視差量となる。また、ここでいう「複数の画像に基づいて複数の画像に含まれる被写体の距離情報」とは、視差に関する情報も含まれているものをいう。これにより、絞り値だけで調整しきれない場合にも、視差量を調整することができる。
［０００８］
本発明の一の態様に係る単眼立体撮影装置によれば、単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して得られた複数の画像に含まれる被写体の距離情報の分布を求め、距離情報の分布に基づいて視差調整の対象となる画像領域の視差量が所定範囲内の視差量となるように絞り値とフォーカスレンズの移動を制御させる。これにより、適切な視差量の視差画像を撮影することができる。
［０００９］
本発明の他の態様に係る単眼立体撮影装置において、距離情報取得手段は、複数の画像のうちの所定の１枚の画像である基準画像の画素毎に距離情報を算出し、第１軸に距離情報、第２軸に画素数としたヒストグラムであって、距離情報を距離範囲毎に複数の階級に分割し、算出された距離情報が各階級の範囲に入っている画素の数を度数としたヒストグラムを作成するようにしてもよい。これにより、どの被写体距離の被写体がどの程度の割合を占めているかを明らかにすることができる。
［００１０］
本発明の他の態様に係る単眼立体撮影装置において、距離情報取得手段は、複数の画像のうちの所定の１枚の画像である基準画像を複数の領域に分割

【０００４】
焦している被写体と合焦している被写体より近側で最も面積の広い被写体との視差量及び合焦している被写体と合焦している被写体より遠側で最も面積の広い被写体との視差量の少なくとも１つを適切に調整することができる。
［００１５］
本発明の他の態様に係る単眼立体撮影装置において、制御手段は、分割された複数の領域のうちのヒストグラムの度数が閾値以上の階級に含まれる領域を対象に視差調整の対象となる画像領域を決定するようにしてもよい。これにより、画像内で所定の範囲を占める被写体のみを対象に視差調整の対象となる被写体を決定することができる。
［００１６］
本発明の他の態様に係る単眼立体撮影装置において、制御手段は、絞り値を制御し、合焦している被写体と視差調整の対象となる画像領域との視差量が一定の値の範囲内とするようにしてもよい。これにより、飛び出し方向の視差量、奥行き方向の視差量の少なくとも１つを適切にすることができる。
［００１７］
本発明の他の態様に係る単眼立体撮影装置において、距離情報取得手段は、画像の位置に応じて異なる重みを付けて距離情報を算出するようにしてもよい。これにより、より撮影者の意図に合った立体感の視差画像を撮影することができる。
［００１８］
［００１９］
本発明の他の態様に係る単眼立体撮影方法において、フォーカスレンズを含む単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得するステップと、複数の画像に基づいて複数の画像に含まれる被写体の距離情報の分布を求めるステップと、距離情報の分布に基づいて視差調整の対象となる画像領域の視差量が所定範囲内の視差量となるように絞りの絞り値とフォーカスレンズの移動を制御するステップと、を含むことを特

【０００５】
徴とする。
［００２０］
本発明の他の態様に係るプログラムにおいて、フォーカスレンズを含む単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得するステップと、複数の画像に基づいて複数の画像に含まれる被写体の距離情報の分布を求めるステップと、距離情報の分布に基づいて視差調整の対象となる画像領域の視差量が所定範囲内の視差量となるように絞りの絞り値とフォーカスレンズの移動を制御するステップと、を演算装置に実行させることを特徴とする。
発明の効果
［００２１］
本発明によれば、適切な立体感で撮影することができる。
図面の簡単な説明
［００２２］
［図１］立体撮影装置のブロック図
［図２］位相差イメージセンサの構成例を示す図
［図３］主、第２画素の１画素ずつを示した図
［図４］図４Ａ及び図４Ｂは図３の要部拡大図
［図５］被写体距離と視差量との関係を示す図
［図６］第１の実施の形態における視差量調整処理の流れを示すフローチャート
［図７］撮影対象の一例
［図８］領域分割の一例
［図９］図７の被写体を撮影したときの距離分布を示すヒストグラム
［図１０］基準画像データの一例
［図１１］第２の実施の形態における視差量調整処理の流れを示すフローチャート
［図１２］第２の実施の形態における距離情報の分布を示すヒストグラム
［図１３］第３の実施の形態における視差量調整処理の流れを示すフローチャート
［図１４］重み付けの一例
［図１５］第３の実施の形態における距離情報の分布を示すヒストグラム
［図１６］第４の実施の形態における視差量調整処理の流れを示すフローチャート
［図１７］被写体距離と視差量との関係を示す図

Claims

単一の撮影光学系と、
前記撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得する撮像素子と、
絞り値が変更可能な絞りと、
前記複数の画像に基づいて前記複数の画像に含まれる被写体の距離情報の分布を求める距離情報取得手段と、
前記距離情報の分布に基づいて視差調整の対象となる画像領域の視差量を前記絞り値により制御する制御手段と、
を備えたことを特徴とする単眼立体撮影装置。
前記距離情報取得手段は、
前記複数の画像のうちの１枚の画像である基準画像について画素毎に距離情報を算出し、
前記距離情報を距離範囲毎に複数の階級に分割し、前記算出された距離情報が各階級の範囲に入っている画素の数を度数としたヒストグラムを作成する請求項１に記載の単眼立体撮影装置。
前記距離情報取得手段は、
前記基準画像を複数の領域に分割し、前記分割された領域毎に距離情報を算出し、
前記距離情報を距離範囲毎に複数の階級に分割し、前記算出された距離情報が各階級の範囲に入っている領域の数を度数としたヒストグラムを作成する請求項１に記載の単眼立体撮影装置。
前記距離情報取得手段は、
前記基準画像の画素毎に距離情報を算出し、
前記分割された各領域に含まれる画素の距離情報の平均値を領域毎に算出することにより、前記複数の領域毎の距離情報を算出する請求項３に記載の単眼立体撮影装置。
前記距離情報取得手段は、
前記基準画像と、前記複数の画像のうちの基準画像以外の画像との間でパターンマッチング処理を行うことにより、前記距離情報を算出する請求項２又は３に記載の単眼立体撮影装置。
前記制御手段は、前記ヒストグラムにおいて、合焦している被写体の被写体距離と近側にヒストグラムのピークを有する被写体距離の間、及び合焦している被写体の被写体距離と遠側にヒストグラムのピークを有する被写体距離の間の少なくとも１つを前記視差調整の対象となる画像領域として前記絞り値を制御する請求項２から５のいずれかに記載の単眼立体撮影装置。
前記制御手段は、
前記分割された複数の領域のうちの前記ヒストグラムの度数が閾値以上の階級に含まれる領域を対象に前記視差調整の対象となる画像領域を決定する請求項２から６のいずれかに記載の単眼立体撮影装置。
前記制御手段は、
前記絞り値を制御し、前記合焦している被写体と前記視差調整の対象となる画像領域との視差量が一定の値の範囲内とする請求項６又は７に記載の単眼立体撮影装置。
前記距離情報取得手段は、
前記複数の画像のいずれかの画像内の位置に応じて異なる重みを付けて前記距離情報を算出することを特徴とする請求項２から８のいずれかに記載の単眼立体撮影装置。
前記撮影光学系は、
フォーカスレンズを含み、
前記制御手段は、
前記視差調整の対象となる画像領域の視差が所定範囲内の視差量となる範囲で前記フォーカスレンズを移動させる請求項１から９のいずれかに記載の単眼立体撮影装置。
単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得するステップと、
前記複数の画像に基づいて前記複数の画像に含まれる被写体の距離情報の分布を求めるステップと、
前記距離情報の分布に基づいて視差調整の対象となる画像領域の視差量を前記絞り値により制御するステップと、
を含むことを特徴とする単眼立体撮影方法。
単一の撮影光学系の異なる領域を通過した光束をそれぞれ受光して複数の画像を取得するステップと、
前記複数の画像に基づいて前記複数の画像に含まれる被写体の距離情報の分布を求めるステップと、
前記距離情報の分布に基づいて視差調整の対象となる画像領域の視差量を前記絞り値により制御するステップと、
を演算装置に実行させることを特徴とするプログラム。