JP5328321B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

デジタルカメラ等の撮像装置において、被写体の明るさを確保するため、本撮影時にフラッシュを用いた撮影をする場合がある。このとき、被写体に人物等の目が含まれる場合、目が赤く写るという現象（赤目現象）が発生する。そこで、例えば、特許文献１には、得られた画像に対して赤目を軽減する技術が開示されている。特許文献１は、フラッシュを用いた人物の撮影時に、ホワイトバランスや彩度等の自動調整による影響を受けることなく赤目を軽減することを目的としている。まず、撮影手段によってホワイトバランス又は色彩の異なる第１画像及び第２画像を生成する。そして、第１画像から赤目を検出し、第２画像において赤目の領域と同じ領域における色彩を補正する。

特開２００７−２３５５３１号公報

上記赤目の検出は、顔検出機能（パターンマッチング）及び顔のパーツ認識機能などの画像解析（辞書学習を含む。）を用いて行なわれる。そして、赤目の領域の色彩の補正は、単純に色を塗り替えるものである。ところが、従来の技術では、検出された赤目部分に該当する目の本来の色彩は不明であるため、赤目部分について想定される一般的な目の色彩に置き換えるだけであった。

しかし、目の色彩は実際のところ個人差があるため、撮影して得られた画像において目が完全に赤目になってしまうと、本来の目の色彩を再現することが困難であるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影によって得られた画像において、発光部の影響によって発生する赤目を低減し、より本来の色成分に近い目を表現することが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、本撮影時に被写体に対して光を照射する発光部と、第１の光学系を介して受けた被写体からの光を電気信号に変換する第１の撮像素子と、第１の光学系と異なる第２の光学系を介して受けた被写体からの光を電気信号に変換する第１の撮像素子と異なる第２の撮像素子と、静止画像の本撮影がされたとき、第１の撮像素子で変換された電気信号に基づいて静止画像用の第１の画像信号と、第２の撮像素子で変換された電気信号に基づいて第１の画像信号と同一タイミングの静止画像用の第２の画像信号を生成する画像信号処理部と、第１の画像信号及び第２の画像信号から被写体の眼部分の色成分を抽出し、眼部分の色成分の色構成を判断する抽出部と、発光部による光に基づいて発生した抽出された眼部分の色成分のうち赤成分がより少ない第１の画像信号及び第２の画像信号のうちいずれか一方を記録媒体に記録する記録制御部とを備える撮像装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、本撮影時に被写体に対して光を照射する発光部と、第１の光学系を介して受けた被写体からの光を電気信号に変換する第１の撮像素子と、第１の光学系と異なる第２の光学系を介して受けた被写体からの光を電気信号に変換する第１の撮像素子と異なる第２の撮像素子と、静止画像の本撮影がされたとき、第１の撮像素子で変換された電気信号に基づいて静止画像用の第１の画像信号と、第２の撮像素子で変換された電気信号に基づいて第１の画像信号と同一タイミングの静止画像用の第２の画像信号を生成する画像信号処理部と、第１の画像信号及び第２の画像信号から被写体の眼部分の色成分を抽出し、眼部分の色成分の色構成を判断する抽出部と、発光部による光に基づいて発生した抽出された眼部分の色成分のうち赤成分がより少ない第１の画像信号及び第２の画像信号のうちいずれか一方の被写体の眼部分の色成分を用いて、他方の被写体の眼部分の色成分を補正する補正部とを備える撮像装置が提供される。

上記第１の画像信号と第２の画像信号との間の位置ずれを検出する位置ずれ検出部と、補正部によって色成分が補正された後、検出された位置ずれを用いて第１の画像信号と第２の画像信号を合成する合成部とを更に備える。

また、上記課題を解決するために、本発明の別の観点によれば、発光部が本撮影時に被写体に対して光を照射するステップと、第１の撮像素子が第１の光学系を介して受けた被写体からの光を電気信号に変換するステップと、第１の撮像素子と異なる第２の撮像素子が第１の光学系と異なる第２の光学系を介して受けた被写体からの光を電気信号に変換するステップと、静止画像の本撮影がされたとき、第１の撮像素子で変換された電気信号に基づいて静止画像用の第１の画像信号と、第２の撮像素子で変換された電気信号に基づいて第１の画像信号と同一タイミングの静止画像用の第２の画像信号を生成するステップと、第１の画像信号及び第２の画像信号から被写体の眼部分の色成分を抽出し、眼部分の色成分の色構成を判断するステップと、発光部による光に基づいて発生した抽出された眼部分の色成分のうち赤成分がより少ない第１の画像信号及び第２の画像信号のうちいずれか一方を記録媒体に記録するステップとを備える撮像方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、発光部が本撮影時に被写体に対して光を照射するステップと、第１の撮像素子が第１の光学系を介して受けた被写体からの光を電気信号に変換するステップと、第１の撮像素子と異なる第２の撮像素子が第１の光学系と異なる第２の光学系を介して受けた被写体からの光を電気信号に変換するステップと、静止画像の本撮影がされたとき、第１の撮像素子で変換された電気信号に基づいて静止画像用の第１の画像信号と、第２の撮像素子で変換された電気信号に基づいて第１の画像信号と同一タイミングの静止画像用の第２の画像信号を生成するステップと、第１の画像信号及び第２の画像信号から被写体の眼部分の色成分を抽出し、眼部分の色成分の色構成を判断するステップと、発光部による光に基づいて発生した抽出された眼部分の色成分のうち赤成分がより少ない第１の画像信号及び第２の画像信号のうちいずれか一方の被写体の眼部分の色成分を用いて、他方の被写体の眼部分の色成分を補正するステップとを備える撮像方法が提供される。

本発明によれば、撮影によって得られた画像において、発光部の影響によって発生する赤目を低減し、より本来の色成分に近い目を表現することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（一実施形態の構成）
まず、本発明の一実施形態に係る撮像装置１００について説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。撮像装置１００は、例えば、２つの光学系及び撮像系を備えており、それぞれの系統で被写体を撮影して、それぞれで画像を取得することができる。例えば、ライブビュー表示をしているときは、１つの系統でライブビュー用の画像を取得し、他の系統で測光をする。また、光学系が左右に配置されて撮影をし、同一タイミングで画像を取得することで、ステレオ画像（立体的に被写体を見ることが可能な平面画像）を生成することができる。

撮像装置１００は、例えば、結像光学系１０１、１０２と、イメージセンサ１０３、１０４と、ＳＤＲＡＭ１０５と、メモリカード１０７と、ＲＯＭ１０９と、レリーズボタン１１５と、タイミングジェネレータ１１７と、ＤＳＰ１２１、１２２と、フラッシュコントローラ１３１と、フラッシュ１３３と、ＬＣＤコントローラ１３５と、ＬＣＤ１３７等からなる。

結像光学系１０１、１０２は、第１の光学系、第２の光学系の一例であって、外部の光情報をイメージセンサ１０３、１０４に結像させる光学系システムであり、被写体からの光をイメージセンサ１０３、１０４まで透過させる。結像光学系１０１からの光がイメージセンサ１０３に到達し、結像光学系１０２からの光がイメージセンサ１０４に到達する。結像光学系１０１、１０２は、例えば、ズームレンズ、絞り、フォーカスレンズなどからなる。ズームレンズは、焦点距離を変化させて画角を変えるレンズであり、絞りは、透過する光量を調節する機構である。フォーカスレンズは、一側から他側に、又は他側から一側に移動することでイメージセンサ１０３、１０４の撮像面に被写体像を合焦させる。

イメージセンサ１０３、１０４は、第１の撮像素子、第２の撮像素子（光電変換素子）の一例であり、結像光学系１０１、１０２を透過して入射した光情報を電気信号に変換する光電変換が可能な複数の素子から構成される。各素子は受光した光に応じた電気信号を生成する。イメージセンサ１０３、１０４は、ＣＣＤ（charge coupled device）センサー、ＣＭＯＳ（complementary metal oxide semiconductor）センサー等を適用することができる。

なお、イメージセンサ１０３、１０４の露光時間を制御するため、非撮影時に光を遮って撮影時のみ光が当たるように、メカニカルシャッター（図示せず。）を適用することができる。また、これに限定されず、電子シャッター（図示せず。）を適用してもよい。なお、メカニカルシャッター又は電子シャッターの動作は、ＤＳＰ１２１、１２２に接続されたレリーズボタン１１５（操作部材）のスイッチによって行われる。

イメージセンサ１０３、１０４は、更にＣＤＳ／ＡＭＰ部、Ａ／Ｄ変換部を有する。ＣＤＳ／ＡＭＰ部（相関二重サンプリング回路（correlated double sampling）／増幅器（amplifier））は、イメージセンサ１０３、１０４から出力された電気信号に含まれる低周波ノイズを除去すると共に、電気信号を任意のレベルまで増幅する。Ａ／Ｄ変換部は、ＣＤＳ／ＡＭＰ部から出力された電気信号をデジタル変換してデジタル信号を生成する。Ａ／Ｄ変換部は、生成したデジタル信号を画像信号処理部１４１に出力する。

ＳＤＲＡＭ（synchronous DRAM）１０５、１０６は、撮影した画像の画像データを一時的に保存する。ＳＤＲＡＭ１０５、１０６は、複数の画像の画像データを記憶できる記憶容量を有している。また、ＳＤＲＡＭ１０５、１０６は、それぞれＤＳＰ１２１、１２２に接続される。ＳＤＲＡＭ１０５、１０６への画像の読み書きは、メモリコントローラ１５１によって制御される。
なお、ＳＤＲＡＭ１０５には、ＶＲＡＭとしての領域が確保される。ＶＲＡＭは、画像表示用のメモリであり、複数のチャネルを有する。ＶＲＡＭは、画像表示用の画像データの入力と、ＬＣＤコントローラ１３５への画像データの出力を同時に実行できる。ＬＣＤ１３７の解像度や最大発色数はＶＲＡＭの容量に依存する。

メモリカード１０７は、例えば、フラッシュメモリ等の半導体記憶媒体である。撮影によって生成された画像データがメモリカード１０７に記録されたり、メモリカード１０７から読み出されたりする。なお、記録媒体は、フラッシュメモリ等のメモリカード１０７に限定されず、例えば、光ディスク（ＣＤ、ＤＶＤ、ブルーレイディスク等）、光磁気ディスク、磁気ディスクなどでもよい。メモリカード１０７は、撮像装置１００から着脱可能に構成されてもよい。ＲＯＭ１０９は、ＤＳＰ１２１、１２２の動作プログラムを保存する。

レリーズボタン１１５は、ユーザーによる半押し、全押し、解除が可能である。レリーズボタン１１５は、半押し（Ｓ１操作）されたときフォーカス制御開始の操作信号を出力し、半押し解除でフォーカス制御が終了する。また、レリーズボタン１１５は、全押し（Ｓ２操作）されたとき、撮影開始の操作信号を出力する。
なお、撮像装置１００には、レリーズボタン１１５以外の操作部材（図示せず。）が設けられる。操作部材は、例えば、撮像装置１００に設けられた上下左右キー、電源スイッチ、モードダイアルなどである。操作部材は、ユーザーによる操作に基づいて操作信号をＤＳＰ１２１、１２２等に送る。

タイミングジェネレータ１１７は、イメージセンサ１０３、１０４やＣＤＳ／ＡＭＰ部にタイミング信号を出力し、イメージセンサ１０３、１０４を構成している各画素の露光期間の制御や、電荷の読み出し制御を行う。

ＤＳＰ１２１、１２２は、画像信号処理部の一例であり、プログラムによって演算処理装置及び制御装置として機能し、撮像装置１００内に設けられた各構成要素の処理を制御する。ＤＳＰ１２１、１２２は、例えば、フォーカス制御や露出制御に基づいてドライバ（図示せず。）に信号を出力して結像光学系１０１、１０２を駆動させる。また、ＤＳＰ１２１、１２２は、操作部材（図示せず。）からの信号に基づいて撮像装置１００の各構成要素を制御する。なお、本実施形態においては、ＤＳＰ１２１、１２２は、図１に示すように、例えば、撮像系毎に設けられる。ＤＳＰ１２１、１２２が信号系の命令と操作系の命令とを別々に行うように個別に構成されている。

なお、図５に示すようにＤＳＰ２２１は、信号系の命令と操作系の命令とを１つのＣＰＵで行うとして１つだけのＣＰＵから構成されてもよい。図５は、本実施形態に係る撮像装置１００の変更例である撮像装置２００を示すブロック図である。詳細部分は、図１に示す撮像装置１００と同様であるため省略する。

フラッシュコントローラ１３１は、ＤＳＰ１２１から受けた信号に基づいて制御信号を生成し、生成した制御信号をフラッシュ１３３に送る。フラッシュ１３３は、本撮影時や本撮影前のフォーカス制御時に被写体に対して光を照射する。

ＬＣＤコントローラ１３５は、例えばエンコーダＬＣＤ制御部１６３から画像データを受けて、ＬＣＤ（liquid crystal display：液晶画面）１３７に画像を表示する。ＬＣＤ１３７は、撮像装置１００本体に設けられる。ＬＣＤ１３７が表示する画像は、例えば、ＳＤＲＡＭ１０５から読み出された撮影前の画像（ライブビュー表示）、撮像装置１００の各種設定画面や、撮像して記録された画像などである。本実施形態では、表示部としてＬＣＤ１３７、表示駆動部としてＬＣＤコントローラ１３５としたが、本発明はかかる例に限定されず、例えば有機ＥＬディスプレイ、その表示制御部などであってもよい。

次に、本実施形態に係る撮像装置１００のＤＳＰ１２１、１２２について説明する。図２は、本実施形態に係る撮像装置１００のＤＳＰ１２１、１２２を示すブロック図である。
ＤＳＰ１２１、１２２は、画像信号処理部１４１と、ＡＥ／ＡＦ／ＡＷＢ算出部１４２と、メモリコントローラ１５１と、画像合成処理部１５２と、対応点・特徴点検出部１５３と、画像相関検出部１５４と、シーン判別部１５５と、記憶媒体制御部１６１と、外部通信制御部１６２と、エンコーダＬＣＤ制御部１６３と、画像圧縮伸張処理部１６４と、ＣＰＵ１７１と、ＳＩＯ１７２と、Ｉ／Ｏポート１７３等からなる。

画像信号処理部１４１は、イメージセンサ１０３、１０４から画像信号を受け、イメージセンサ１０３、１０４のＡ／Ｄ変換部から出力されたデジタル信号に対して処理を施し、画像処理が可能となる画像信号を生成する。画像信号処理部１４１は、ＷＢ制御値、γ値、輪郭強調制御値などに基づいて、画像処理された画像信号を生成する。画像信号処理部１４１は、画像信号に基づいてＡＥ評価値、ＡＷＢ評価値及びＡＦ評価値を算出する。

ＡＥ／ＡＦ／ＡＷＢ算出部１４２は、画像信号処理部１４１で算出されたＡＥ（auto exposure：自動露光）評価値に基づいて、絞りの絞り量やシャッター速度を算出する。ＡＥ／ＡＦ／ＡＷＢ算出部１４２は、画像信号処理部１４１で算出されたＡＷＢ（auto white balance：自動ホワイトバランス）評価値に基づいて、例えば３原色の色信号のゲインを算出する。なお、ＡＥ評価値、ＡＷＢ評価値は、画像信号の輝度値に基づいて画像信号処理部１４１で算出されたものである。

露光制御・ＡＦ動作制御部１４３は、ＡＥ／ＡＦ／ＡＷＢ算出部１４２で算出された絞り量を制御信号として結像光学系１０１のドライバ（図示せず。）に出力する。ドライバは、露光制御・ＡＦ動作制御部１４３から受けた制御信号に基づいて駆動信号を生成する。露光制御・ＡＦ動作制御部１４３は、そのほか露光時間、ゲイン、イメージセンサ１０３、１０４の読出しモードによって露光を制御する。ゲインは、コントラスト値の算出に用いられる。イメージセンサ１０３、１０４の読出しモードとは、例えば、イメージセンサ１０３、１０４から画像データを読み出す際の信号処理モードであり、被写体像が暗いときは画素加算を行う、又は被写体像が明るいときは画素すべてをそのまま読み出すなどの処理である。露光制御・ＡＦ動作制御部１４３は、露出量設定部の一例である。

露光制御・ＡＦ動作制御部１４３は、フォーカス制御開始の操作信号を受けると、フォーカスレンズを一方向に移動する制御信号を生成して、生成した制御信号をドライバ１４３に出力する。露光制御・ＡＦ動作制御部１４３は、画像信号処理部１４１で算出されたＡＦ（auto focus：自動焦点）評価値に基づいて、フォーカスレンズの合焦位置を算出する。なお、ＡＦ評価値は、画像信号の輝度値に基づいて画像信号処理部１４１で算出されたものである。ＡＦ評価値は、例えば画像のコントラスト値であり、コントラスト値がピークとなったとき、被写体像がイメージセンサ１０３、１０４の撮像面で合焦していると判断する（コントラスト検出方式）。
メモリコントローラ１５１は、ＳＤＲＡＭ１０５、１０６への画像データの読み書きを制御する。なお、ＳＤＲＡＭ１０５、１０６は、ＤＲＡＭでもよい。

画像合成処理部１５２は、位置ずれ検出部及び合成部の一例であり、イメージセンサ１０３、１０４において同一又は異なるタイミングで撮影した２枚の画像を合成する。このとき、画像間の位置ずれ量を検出し、その位置ずれ量に基づいて合成処理する。
対応点・特徴点検出部１５３は、フレーム画像から特徴点を抽出し、フレーム画像間で対応点を見付け、画像間の対応付けを行なったり、対応点の追跡を行なったりする。また、
画像相関検出部１５４は、フレーム画像間の相関を算出する。画像相関検出部１５４は、対応点・特徴点検出部１５３で検出された特徴点が少ないときや対応点がとれないとき、画像間の対応付けを行なうことができる。
シーン判別部１５５は、対応点・特徴点検出部１５３や画像相関検出部１５４の検出結果から、撮影シーンが例えば風景、人物、スポーツ等いずれのシーンであるかを判別する。

記憶媒体制御部１６１は、メモリカード１０７への画像データの書き込み、又はメモリカード１０７に記録された画像データや設定情報などの読み出しを制御する。
外部通信制御部１６２は、ＰＣ、プリンタ等との外部機器と信号を送受信する。

エンコーダＬＣＤ制御部１６３は、画像表示用の画像データをエンコーダ処理して、ＬＣＤ１３７に表示可能なデータを生成する。

画像圧縮伸張処理部１６４は、圧縮処理前の画像信号を受けて、例えばＪＰＥＧ圧縮形式、又はＭＰＥＧ圧縮形式などの圧縮形式で画像信号を圧縮処理する。画像圧縮伸張処理部１６４は、圧縮処理で生成した画像データを例えば記憶媒体制御部１６１に送る。
ＣＰＵ１７１は、ＤＳＰ１２１、１２２の演算処理部及び制御部である。ＳＩＯ１７２又はＩ／Ｏポート１７３を介して外部と信号の送受信をする。

なお、撮像装置１００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。上記の通り、本実施形態は、２つの光学系・撮像系を備える場合について説明したが、３以上の複数の光学系・撮像系を備えてもよい。

本実施形態の撮像装置１００は、複数の光学系・撮像系を備え、それぞれから同一又は異なるタイミングで画像データを取得する。そして、撮像装置１００は、例えばＤＳＰ１２１，１２２において、取得した画像間の相関度合いを算出する機能ブロックと、特定の形状の画像を抽出し、色調を比較できる機能ブロックと、抽出された特定の形状部分の色成分を修正する機能ブロックを有する。また、本実施形態の撮像装置１００は、通常画像（ステレオ画像ではない平面画像）撮影シーケンスとステレオ画像撮影シーケンスの双方が可能である。

本実施形態は、複数毎の画像データを取得できるが、平面画像撮像モードでは、赤目の度合いが低い画像のみを記録する。また、ステレオ画像撮像モードでは、赤目の度合いが低い方の色に合わせて、他方の目の色を修正する。その結果、人物を被写体としたフラッシュ撮影において、より自然な画像を生成することができる。

（一実施形態の動作）
次に、本実施形態に係る撮像装置１００の動作について説明する。
まず、図３を参照して、本実施形態に係る撮像装置１００の平面画像撮像モードの動作について説明する。図３は、本実施形態に係る撮像装置１００の平面画像撮像モードの動作を示すフローチャートである。

図３中のＬは撮像装置１００の左側の光学系・撮像系（以下、Ｌ系という。）を示し、Ｒは撮像装置１００の右側の光学系・撮像系（以下、Ｒ系という。）を示す。本実施形態の光学系・撮像系は、左右ともに同一の性能（解像度等）を有する。

露出パラメータ等が設定された状態で、レリーズボタン１１５の押し下げが検知されたか否かを判断する（ステップＳ１０１）。押し下げが検知されたときは、ステップＳ１０２に進む。一方、押し下げが検知されるまでの間は、ステップＳ１０１のまま待機状態である。

押し下げが検知されたときは、Ｌ系とＲ系の２系統は同一タイミングで画像データを出力して、画像信号処理部１４１に、Ｌ系及びＲ系から撮影された２枚の画像データが入力される（ステップＳ１０２）。そして、画像相関検出部１５４が、２枚の画像データについて、パターンマッチングをする（ステップＳ１０３）。被写体に人物の目が含まれる場合は、パターンマッチングによって、２枚の画像データの目の位置を検出する。

次に、検出された目を対象として、２枚の画像データの目の色成分を算出する（ステップＳ１０４）。そして、それぞれの目が赤成分を多く含む赤目であるか否かを判断する（ステップＳ１０５）。赤目がないと判断されたときは、Ｌ系及びＲ系で取得された画像データのうち基準画像をメモリカード１０７等の記録媒体（メディア）に記録する（ステップＳ１０７）。基準画像については、Ｌ系又はＲ系のいずれの画像データを基準画像とするかを予め決定しておいてもよいし、Ｌ系又はＲ系の画像の内容、画質等を判断して決定してもよい。

一方、ステップＳ１０５で、赤目があると判断されたときは、Ｌ系及びＲ系の両方の画像データを比較して、赤目のレベルを比較する（ステップＳ１０６）。そして、Ｌ系及びＲ系の両方の画像データのうち、赤目の度合いが低い（ノーマルに近い）と判断された画像が記録メディアに記録される（ステップＳ１０８）。一方、Ｌ系及びＲ系の両方の画像データについて、赤目の度合いがいずれも高いと判断されたときは、Ｌ系及びＲ系で取得された画像データのうち基準画像をメモリカード１０７等の記録媒体（メディア）に記録する（ステップＳ１０７）。

本実施形態では、複数毎の画像データを取得できるが、いずれも赤目の度合いが高い場合を除いて、平面画像撮像モードでは、赤目の度合いが低い画像のみが記録される。これにより、画像データを加工することなく、より自然な目の色を有する画像を保存することができる。

次に、図４を参照して、本実施形態に係る撮像装置１００のステレオ画像撮像モードの動作について説明する。図４は、本実施形態に係る撮像装置１００のステレオ画像撮像モードの動作を示すフローチャートである。

図４中のＬは撮像装置１００の左側の光学系・撮像系（以下、Ｌ系という。）を示し、Ｒは撮像装置１００の右側の光学系・撮像系（以下、Ｒ系という。）を示す。本実施形態の光学系・撮像系は、左右ともに同一の性能（解像度等）を有する。

露出パラメータ等が設定された状態で、レリーズボタン１１５の押し下げが検知されたか否かを判断する（ステップＳ２０１）。押し下げが検知されたときは、ステップＳ２０２に進む。一方、押し下げが検知されるまでの間は、ステップＳ２０１のまま待機状態である。

押し下げが検知されたときは、Ｌ系とＲ系の２系統は同一タイミングで画像データを出力して、画像信号処理部１４１に、Ｌ系及びＲ系から撮影された２枚の画像データが入力される（ステップＳ２０２）。そして、画像相関検出部１５４が、２枚の画像データについて、パターンマッチングをする（ステップＳ２０３）。被写体に人物の目が含まれる場合は、パターンマッチングによって、２枚の画像データの目の位置を検出する。また、パターンマッチングによって、２つの画像の相関を算出し、位置ずれを検出する。そして、Ｒ系で撮影された画像と、Ｌ系で撮影された画像の２つの画像や、位置ずれ量、撮像装置が有する特性などに基づいて、ステレオ画像を生成するためのパラメータを算出する。

次に、検出された目を対象として、２枚の画像データの目の色成分を算出する（ステップＳ２０４）。そして、それぞれの目が赤成分を多く含む赤目であるか否かを判断する（ステップＳ２０５）。

赤目がないと判断されたときは、Ｌ系及びＲ系で取得された画像データに基づいて、ステレオ画像フォーマットで画像データ及びステップＳ２０３で算出されたパラメータをメモリカード１０７等の記録媒体（メディア）に記録する（ステップＳ２０８）。

一方、ステップＳ２０５で、赤目があると判断されたときは、Ｌ系及びＲ系の両方の画像データを比較して、赤目のレベルを比較する（ステップＳ２０６）。そして、Ｌ系及びＲ系の両方の画像データのうち、赤目の度合いが低い（ノーマルに近い）と判断されたとき、赤目の度合いが高いと判断された画像の赤目の部分を他方の赤目の度合いが低い（ノーマルに近い）目の色に塗り替える（ステップＳ２０７）。そして、Ｌ系及びＲ系で取得された画像データに基づいて、ステレオ画像フォーマットで画像データ及びステップＳ２０３で算出されたパラメータをメモリカード１０７等の記録媒体（メディア）に記録する（ステップＳ２０８）。

一方、Ｌ系及びＲ系の両方の画像データについて、赤目の度合いがいずれも高いと判断されたときは、Ｌ系及びＲ系で取得された画像データに基づいて、ステレオ画像フォーマットで画像データ及びステップＳ２０３で算出されたパラメータをメモリカード１０７等の記録媒体（メディア）に記録する（ステップＳ２０８）。

本実施形態では、複数毎の画像データを取得できるが、いずれも赤目の度合いが高い場合、又はいずれも赤目の度合いが低い場合を除いて、ステレオ画像撮像モードでは、赤目の度合いが低い画像を基準として赤目が修正されてステレオ画像フォーマットで画像データが記録される。これにより、赤目を低減することができ、より自然な目の色を有する画像を保存することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

なお、上記説明では、本実施形態の光学系・撮像系は、左右ともに同一の性能を有するとしたが、画像処理によって左右画像の画質を同一にすることができれば、互いに解像度等が異なる光学系・撮像系であってもよい。

本発明の一実施形態に係る撮像装置を示すブロック図である。 同実施形態に係る撮像装置のＤＳＰを示すブロック図である。 同実施形態に係る撮像装置の平面画像撮像モードの動作を示すフローチャートである。 同実施形態に係る撮像装置のステレオ画像撮像モードの動作を示すフローチャートである。 同実施形態に係る撮像装置の変更例を示すブロック図である。

符号の説明

１００、２００ 撮像装置
１０１、１０２ 結像光学系
１０３、１０４ イメージセンサ
１０５、１０６ ＳＤＲＡＭ
１０７ メモリカード
１０９ ＲＯＭ
１１５ レリーズボタン
１１７ タイミングジェネレータ
１２１、１２２、２２１ ＤＳＰ
１３１ フラッシュコントローラ
１３３ フラッシュ
１３５ ＬＣＤコントローラ
１３７ ＬＣＤ
１４１ 画像信号処理部
１４２ ＡＥ／ＡＦ／ＡＷＢ算出部
１５１ メモリコントローラ
１５２ 画像合成処理部
１５３ 対応点・特徴点検出部
１５４ 画像相関検出部
１５５ シーン判別部
１６１ 記憶媒体制御部
１６２ 外部通信制御部
１６３ エンコーダＬＣＤ制御部
１６４ 画像圧縮伸張処理部
１７１ ＣＰＵ
１７２ ＳＩＯ
１７３ Ｉ／Ｏポート

Claims (5)

1. 本撮影時に被写体に対して光を照射する発光部と、
   第１の光学系を介して受けた前記被写体からの光を電気信号に変換する第１の撮像素子と、
   前記第１の光学系と異なる第２の光学系を介して受けた前記被写体からの光を電気信号に変換する前記第１の撮像素子と異なる第２の撮像素子と、
   静止画像の本撮影がされたとき、前記第１の撮像素子で変換された前記電気信号に基づいて静止画像用の第１の画像信号と、前記第２の撮像素子で変換された前記電気信号に基づいて前記第１の画像信号と同一タイミングの静止画像用の第２の画像信号を生成する画像信号処理部と、
   前記第１の画像信号及び前記第２の画像信号から前記被写体の眼部分の色成分を抽出し、前記眼部分の色成分の色構成を判断する抽出部と、
   前記発光部による光に基づいて発生した前記抽出された眼部分の色成分のうち赤成分がより少ない前記第１の画像信号及び前記第２の画像信号のうちいずれか一方を記録媒体に記録する記録制御部と
   を備える、撮像装置。
2. 本撮影時に被写体に対して光を照射する発光部と、
   第１の光学系を介して受けた前記被写体からの光を電気信号に変換する第１の撮像素子と、
   前記第１の光学系と異なる第２の光学系を介して受けた前記被写体からの光を電気信号に変換する前記第１の撮像素子と異なる第２の撮像素子と、
   静止画像の本撮影がされたとき、前記第１の撮像素子で変換された前記電気信号に基づいて静止画像用の第１の画像信号と、前記第２の撮像素子で変換された前記電気信号に基づいて前記第１の画像信号と同一タイミングの静止画像用の第２の画像信号を生成する画像信号処理部と、
   前記第１の画像信号及び前記第２の画像信号から前記被写体の眼部分の色成分を抽出し、前記眼部分の色成分の色構成を判断する抽出部と、
   前記発光部による光に基づいて発生した前記抽出された眼部分の色成分のうち赤成分がより少ない前記第１の画像信号及び前記第２の画像信号のうちいずれか一方の前記被写体の眼部分の色成分を用いて、他方の前記被写体の眼部分の色成分を補正する補正部と、
   を備える、撮像装置。
3. 前記第１の画像信号と前記第２の画像信号との間の位置ずれを検出する位置ずれ検出部と、
   前記補正部によって色成分が補正された後、前記検出された位置ずれを用いて前記第１の画像信号と前記第２の画像信号を合成する合成部と、
   を更に備える、請求項２に記載の撮像装置。
4. 発光部が本撮影時に被写体に対して光を照射するステップと、
   第１の撮像素子が第１の光学系を介して受けた前記被写体からの光を電気信号に変換するステップと、
   前記第１の撮像素子と異なる第２の撮像素子が前記第１の光学系と異なる第２の光学系を介して受けた前記被写体からの光を電気信号に変換するステップと、
   静止画像の本撮影がされたとき、前記第１の撮像素子で変換された前記電気信号に基づいて静止画像用の第１の画像信号と、前記第２の撮像素子で変換された前記電気信号に基づいて前記第１の画像信号と同一タイミングの静止画像用の第２の画像信号を生成するステップと、
   前記第１の画像信号及び前記第２の画像信号から前記被写体の眼部分の色成分を抽出し、前記眼部分の色成分の色構成を判断するステップと、
   前記発光部による光に基づいて発生した前記抽出された眼部分の色成分のうち赤成分がより少ない前記第１の画像信号及び前記第２の画像信号のうちいずれか一方を記録媒体に記録するステップと
   を備える、撮像方法。
5. 発光部が本撮影時に被写体に対して光を照射するステップと、
   第１の撮像素子が第１の光学系を介して受けた前記被写体からの光を電気信号に変換するステップと、
   前記第１の撮像素子と異なる第２の撮像素子が前記第１の光学系と異なる第２の光学系を介して受けた前記被写体からの光を電気信号に変換するステップと、
   静止画像の本撮影がされたとき、前記第１の撮像素子で変換された前記電気信号に基づいて静止画像用の第１の画像信号と、前記第２の撮像素子で変換された前記電気信号に基づいて前記第１の画像信号と同一タイミングの静止画像用の第２の画像信号を生成するステップと、
   前記第１の画像信号及び前記第２の画像信号から前記被写体の眼部分の色成分を抽出し、前記眼部分の色成分の色構成を判断するステップと、
   前記発光部による光に基づいて発生した前記抽出された眼部分の色成分のうち赤成分がより少ない前記第１の画像信号及び前記第２の画像信号のうちいずれか一方の前記被写体の眼部分の色成分を用いて、他方の前記被写体の眼部分の色成分を補正するステップと、
   を備える、撮像方法。
   
   
   

Images