JP6202982B2 - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、デジタル一眼レフカメラ、デジタルスチルカメラ、又はデジタルビデオカメラなどの画像処理装置に関する。

近年、コンピュテーショナルフォトグラフィ（Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｐｈｏｔｏｇｒａｐｈｙ）が搭載された撮像装置が開発されている。このコンピュテーショナルフォトグラフィでは、画像の輝度および色に関するデータ（つまり、画像データ）の他に、撮像素子から他の情報（他のデータ）を取り込んで、当該他のデータを画像データとともに保存して、画像処理ＬＳＩで様々な処理を行う。

上述の他のデータとして、例えば、被写体からの光の入射角度に関するデータおよび奥行きに関するデータがある。そして、これら他のデータを用いて、被写体を撮像した際に一意に決定されたフォーカス、アイリスによる被写界深度、および焦点距離などを画像処理で正確に再現している。

なお、この他のデータは、一般に被写体のライトフィールドと呼ばれる光線情報であり、この光線情報を用いれば、従来の撮像装置では実現できなかった機能を有する撮像装置を得ることができ、例えば、上記の光線情報を用いて、撮像の結果得られた画像データについて画像処理によってフォーカス位置を変更できることができる。

ここで、ライトフィールド（光線情報）を取得する一例として多視点で画像データを得る場合について概説する。

いま、１台の撮像装置を用いて焦点距離を変更して複数の画像データを取得する。そして、これら画像データを合成して１枚の画像データとすると、当該画像データに含まれるライトフィールドを用いて、画像処理によって画像データにおける焦点距離を変更することができる。

さらに、撮像装置を水平又は垂直に移動させつつ、複数枚の画像データを取得すれば、これら画像データにおける視差に応じて被写体の距離を示す距離情報を得ることができる。

上述の手法では、一台の撮像装置（つまり、撮像素子）を用いているので、動的な被写体に対してライトフィールドを有効に取得することができないというデメリットがある。

このようなデメリットを補いつつ、多視点で画像を取得するため、撮像素子又は撮像装置そのものを複数用いることが行われている（特許文献１参照）。ここでは、撮像素子又は撮像装置をアレイ状に複数配置して、撮像の結果得られる複数の画像データについて同時性を付与して、ライトフィールドに係る情報量を増やして、動的な被写体についてもライトフィールドを有効に取得するようにしている。

特開２００８−２５７６８６号公報

ところが、特許文献１に記載の手法では、複数の撮像素子又は撮像装置が必要となる結果、不可避的に消費電力が増大するばかりでなく、撮像装置又は撮像システムそのものが大型化してしまう。

加えて、ライトフィールドを取得する撮像装置においては、ユーザに対してどのような画像を表示すればよいかという問題がある。例えば、従来の撮像装置では、特定の人物の動きを記録するため当該人物を追尾したい場合には、その人物を検出（顔などを検出）して、ユーザがその被写体を追尾しやすい位置にズームを行っている。

一方、ライトフィールドを取得する撮像装置では、画像処理によってズーム位置、フォーカス位置、および被写界深度が変更されるので、どのような画像を出力（つまり、表示）すればユーザの意図する画像となるか分からないという問題がある。

このように、ライトフィールドを取得する撮像装置においては、ユーザがどのような画画像を得たいか、つまり、ユーザが認識する主被写体を判定して画像を出力する必要がある。

従って、本発明の目的は、撮影の際にライトフィールドを取得する際、ユーザが被写体を精度よく認識することのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、焦点距離が異なる光学系を含む複数の撮像レンズにそれぞれ対応する複数の撮像素子から得られる複数の画像を処理する画像処理装置であって、前記複数の画像から特定の被写体を検出する検出手段と、前記検出手段によって前記複数の画像から前記特定の被写体が検出されると、前記特定の被写体が検出された画像のうち最も焦点距離が長い最望遠で得られた画像を表示部に表示する表示制御手段と、を有することを特徴とする。

本発明による制御方法は、焦点距離が異なる光学系を含む複数の撮像レンズにそれぞれ対応する複数の撮像素子から得られる複数の画像を処理する画像処理装置の制御方法であって、前記複数の画像から特定の被写体を検出する検出ステップと、前記検出ステップで前記複数の画像から前記特定の被写体が検出されると、前記特定の被写体が検出された画像のうち最も焦点距離が長い最望遠で得られた画像を表示部に表示する表示制御ステップと、を有することを特徴とする。

本発明による制御プログラムは、焦点距離が異なる光学系を含む複数の撮像レンズにそれぞれ対応する複数の撮像素子から得られる複数の画像を処理する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記複数の画像から特定の被写体を検出する検出ステップと、前記検出ステップで前記複数の画像から前記特定の被写体が検出されると、前記特定の被写体が検出された画像のうち最も焦点距離が長い最望遠で得られた画像を表示部に表示する表示制御ステップと、を実行させることを特徴とする。

本発明によれば、画像において被写体が検出されると、被写体が検出された画像のうち被写体が最も大きい画像を表示部に表示するようにしたので、ユーザは被写体を良好に認識することができる。その結果、ユーザは容易に被写体の撮影を行うことができる。

本発明の第１の実施形態による画像処理装置の一例である撮像装置についてその外観を説明するための図であり、（ａ）は外観を示す斜視図、（ｂ）は撮影レンズ部を正面から示す図である。 図１に示すカメラを説明するためのブロック図であり、（ａ）はその構成を示すブロック図、（ｂ）は（ａ）に示す画像処理ＬＳＩの構成を示すブロック図である。 図２に示すカメラにおける表示処理を説明するためのフローチャートである。 本発明の第２の実施形態に係るカメラにおける表示処理を説明するためのフローチャートである。

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置の一例である撮像装置についてその外観を説明するための図である。そして、図１（ａ）は外観を示す斜視図であり、図１（ｂ）は撮影レンズ部を正面から示す図である。

図示の撮像装置１００は、所謂ビデオカメラ（以下単にカメラと呼ぶ）であり、カメラ１００は、カメラ筐体２０１の前面には撮像レンズ部２０２が配置されている。この撮影レンズ部２０２には、例えば、１６個の開口部が形成されており、これら開口部の各々には撮影レンズユニット（以下単に撮影レンズと呼ぶ）２０３が配置されている。そして、撮影レンズの後段には撮像センサ（図示せず）は配置され、この撮像センサは、撮影レンズに対応する撮像素子を有している。

なお、図示のように、カメラ筐体２０１の側面には、表示部１０９が開閉可能に配置されている。また、図示の例では、カメラ筐体２０１に配置された記録ボタン（つまり、シャッタボタンおよび電源スイッチなどを省略されている。

図示はしないが、撮像素子の各々において、その受光面（撮像面ともいう）には、複数のマイクロレンズから構成されるマイクロレンズアレイが配置されている。このマイクロレンズアレイによって撮像素子の受光面における光の強度分布に加えて、その光の進行方向に係る情報（つまり、ライトフィールドデータ）を得る。そして、図示のカメラでは、撮像の後、ライトフィールドデータによって、任意の視点又は任意の焦点に設定された画像を再構築する。

前述の複数の撮像素子は同一の平面上にアレイ状（つまり、２次元マトリックス状）に配列されており、その個数はライトフィールドデータを得るために必要な個数であって、図示の例では、１６個の撮像素子が同一平面上に配列されている。

図１（ｂ）に示すように、１６個の撮像素子は４つのグループ”１”〜”４”に分けられており、撮像レンズ２０３による焦点距離がグループ毎に制御される。図示の例では、グループ”１”の焦点距離は”Ａ”、グループ”２”の焦点距離は”Ｂ”、グループ”２”の焦点距離は”Ｃ”、グループ”４”の焦点距離は”Ｄ”とされる。そして、焦点距離Ａはワイド（Ｗｉｄｅ）側となり、焦点距離Ｄはテレ（Ｔｅｌｅ）側となる。

このようにして、グループ毎に焦点距離を変えて、複数の画角で画像データを得れば、後述するライトフィールド画像処理部によって任意の焦点距離の画像データを得ることができる。さらに、同一の焦点距離である撮像素子が複数（図示の例では４刃をつ）存在するので、光の視差を用いて、被写体の距離を示す距離情報を得ることができる。そして、当該距離情報を用いれば、ピント位置および背景のぼかしの調整を行って、画像データにおける被写界深度を制御することができる。

図２は、図１に示すカメラを説明するためのブロック図である。そして、図２（ａ）は、その構成を示すブロック図であり、図２（ｂ）は図２（ａ）に示す画像処理ＬＳＩの構成を示すブロック図である。

図２（ａ）においては、図２（ａ）に示す撮像レンズ部２０２が光学系１０１で示されており、光学系１０１は被写体からの光（つまり、光学像）を撮像素子１０２の受光面に結像する。この光学系１０１（つまり、各撮像レンズ）には、例えば、ピント位置を調整するためのフォーカスレンズ、入射光を制御するアイリス部、および焦点距離を変更するためのズームレンズ部が備えられている。

前述のように、複数の撮像素子１０２は所謂ライトフィールドデータを取得するため平面上にアレイ状に配列されており、撮像素子１０２の各々は光学像に応じた電気信号（アナログ信号）を出力する。撮像素子１０２の出力であるアナログ信号は画像処理ＬＳＩ１０３に与えられる。

なお、撮像素子１０２として、例えば、ＣＣＤイメージセンサー（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳイメージセンサーが用いられる。

また、上述の例では、撮像素子１０２は画像信号としてアナログ信号を出力としたが、撮像素子１０２においてＡ／Ｄ変換処理を行って、ＬＶＤＳ（Ｌｏｗ ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ）などのデジタル信号を出力するようにしてもよい。

図示はしないが、画像処理ＬＳＩ１０３は、アナログフロントインド部および画像処理ブロックを備えており、アナログフロントエンド部は撮像素子１０２の出力であるアナログ信号をデジタル信号に変換する。そして、画像処理ブロックは当該デジタル信号に対して各種の画像処理を行って画像データを生成する。

なお、撮像素子１０２においてＡ／Ｄ変換処理が行われる場合には、アナログフロントエンド部は省略される。

画像処理ブロックは、画像処理として所謂画素加算処理、ノイズリダクション処理、ガンマ補正処理、ニー処理、およびデジタルゲイン処理などを行うとともに、キズ補正処理を行う。なお、撮像素子１０２がＣＭＯＳイメージセンサーである場合には、画像処理ブロックはＣＭＯＳイメージセンサー特有の固定パターンノイズの除去および黒レベルクランプ処理などを行う。また、画像処理ＬＳＩ１０３には、画像処理などに必要な設定値を記憶する記憶回路（図示せず）を備えている。

画像処理ＬＳＩの出力である画像データの全てが信号記録部１０４に記録され、さらに、後述するように、画像処理ＬＳＩの出力である画像データの１つがライトフィールド画像処理部１０５に与えられる。この信号記録部１０４には上述のライトフィールドデータも記録される。

なお、信号記録部１０４として、例えば、ＨＤＤ（ハードディスクドライブ）、ＳＤメモリーカード、又はコンパクトフラッシュ(登録商標)メモリーカードが用いられる。

ライトフィールド画像処理部１０５は、システム制御部１０８の制御下で、画像データに付加されたライトフィールドデータに応じて、画像データに後述する画像処理を施してライトフィールド画像データとして出力する。そして、このライトフィード画像データは表示部１０９に送られる。

例えば、ライトフィールド画像処理部１０５はライトフィールドデータに応じて、画像データに対して光学系のピント位置、ズーム位置、および被写界深度調整など画像処理を行う。

フォーカス制御部１０６は、システム制御部１０８の制御下で、光学系１０１に備えられたフォーカス機構（つまり、フォーカスレンズ）を制御してピント位置を調節する。

撮像素子制御部１０７は、システム制御部１０７の制御下で各撮像素子１０２の制御を行う。例えば、撮像素子制御部１０７は、システム制御部１０８の制御下で撮像素子１０２の露光時間を決定して撮像素子１０２を駆動制御する。

システム制御部１０８は、カメラ全体の制御を司り、例えば、画像処理ＬＳＩ１０３から露出情報を受けて、当該露出情報に応じてカメラの露出を制御する。この際には、システム制御部１０８は露出情報に応じてフォーカス制御部１０６および撮像素子制御部１０７を制御して、前述のように、フォーカスレンズを駆動制御するとともに、撮像素子１０２を駆動する。

表示部１０９には、カメラによって得られた画像データに応じた画像が表示される。この表示部１０９は、例えば、外部のモニター、カメラに付属する液晶モニター、又はビューファインダーである。

図２（ｂ）に示すように、画像処理ＬＳＩ１０３は、複数の映像解析部１１１および映像選択部１１２を有しており、映像解析部１１１の出力は信号記録部１０４に接続されるとともに映像選択部１１２に接続されている。そして、映像選択部１１２の出力はライトフィールド画像処理部１０５に与えられる。なお、映像解析部１１１はそれぞれ撮像素子１０２に対応している。

画像処理ＬＳＩ１０３には、複数の撮像素子１０２の出力である画像信号が入力される。そして、映像解析部１０３の出力である画像データの全てが信号記録部１０４に記録される。

映像解析部１１１の各々は、画像信号（つまり、デジタル信号）が示す画像を解析して主被写体（ここでは、例えば、顔）を検出する。そして、映像解析部１１１の各々はその解析結果（つまり、主被写体検出結果）をシステム制御部１０８に送る。

システム制御部１０８は解析結果に応じて映像選択部１１２を制御して、映像解析部１１１による画像処理の結果得られた画像データの１つを選択して、ライトフィールド画像処理部１０５に送る。つまり、システム制御部１０８は解析結果に応じて、いずれの撮像素子１０２で得られた画像データに応じた画像を表示部１０９に表示するかを決定する。そして、システム制御部１０８は映像選択部１１２を制御して、最も表示に適した画像データを選択して、ライトフィールド画像処理部１０５に出力する。

図３は、図２に示すカメラにおける表示処理を説明するためのフローチャートである。なお、図３に示すフローチャートに係る処理は、システム制御部１０８の制御下で行われる。

表示処理が開始されると、システム制御部１０８はユーザによって顔検出モードが設定されたか否かを判定する（ステップＳ１）。

なお、ステップＳ１においては、人間の顔を検出する顔検出モードの他に、人体を検出する人体検出モード又はペットなどを検出するペット検出モータが設定されているか否かを判定するようにしてもよい。システム制御部１０８は、これらのモードのいずれかが設定されているかに応じて、ユーザがどのような被写体を撮影するかを判定して、フォーカス制御および露出制御を行うことになる。

顔検出モードが設定されていると（ステップＳ１において、ＹＥＳ）、システム制御部１０８は映像解析部１１１を制御して、最も焦点距離が短くかつ最広角である撮像素子の出力を解析する（ステップＳ２）。そして、システム制御部１０８は当該解析結果に応じて画像に主被写体が存在するか否かを判定する（ステップＳ３）。

画像に主被写体が存在すると（ステップＳ３において、ＹＥＳ）、システム制御部１０８は主被写体が存在する画像を出力する撮像素子１０２のうち最も焦点距離の長い（望遠側）撮像素子１０２を決定する。そして、システム制御部１０８はその決定結果に応じて映像選択部１１２を制御して、望遠側の撮像素子１０２の出力である画像データを選択してライトフィールド画像処理部１０５に与える（ステップＳ４）。

これによって、ライトフィールド画像処理部１０５で画像処理された望遠側の画像データが表示部１０９に送られて表示される（ステップＳ６）。表示部１０９に画像が表示されると、システム制御部１０８は表示処理を終了する。

顔検出モードが設定されていないと（ステップＳ１において、ＮＯ）、システム制御部１０８は映像選択部１１２を制御して最広角である撮像素子の出力に応じた画像データをライトフィールド画像処理部１０５に出力する（ステップＳ６）。そして、システム制御部１０８はステップＳ６の処理に進む。

なお、画像に主被写体が存在しないと（ステップＳ３において、ＮＯ）、システム制御部１０８はステップＳ６の処理に進む。

このように、本発明の第１の実施形態では、最も広角の焦点距離である撮像素子の出力を用いて主被写体を検出する。そして、主被写体を検出すると、当該主被写体が最も大きく写る焦点距離の撮像素子で得られた画像を表示部に出力する。この結果、主被写体を大きく、しかも鮮明に表示することができる。

一方、主被写体が検出できないと、最広角の撮像素子で得られた画像を表示部に表示する。これによって、ユーザには後で編集可能な最も広い画角の画像を表示することができる。

なお、ステップＳ１において顔検出モードなどの被写体を検出するモードは、例えば、表示部１０９に備えられたタッチパネルを用いて設定される。また、ステップＳ６においては、最広角の撮像素子で得られた画像以外の画像を出力するようにしてもよい。

［第２の実施形態］
続いて、本発明の第２の実施形態に係るカメラの一例について説明する。なお、第２の実施形態によるカメラの構成は、図１および図２に示すカメラと同様である。

図４は、本発明の第２の実施形態によるカメラにおける表示処理を説明するためのフローチャートである。なお、図４に示すフローチャートに係る処理は、システム制御部１０８の制御下で行われる。

いま、表示処理が開始されて撮像素子１０２の出力（つまり、画像）において主被写体が検出されている状態であるものとする。システム制御部１０８は映像解析部１１１を制御して撮像素子１０２によって得られた画像を解析する（ステップＳ１１）。そして、システム制御部１０８は当該解析結果に応じて主被写体（例えば、顔）が未だ検出されているか否かを判定する（ステップＳ１２）。

主被写体が検出されていると（ステップＳ１２において、ＹＥＳ）、システム制御部１０８は撮像素子制御部１０７によって撮像素子１０２を駆動制御して主被写体を大きくするためのデジタルズームを行う（ステップＳ１３）。そして、システム制御部１０８は映像選択部１１２を制御してデジタルズームされた画像をライトフィールド画像処理部１０５に与える。

これによって、ライトフィールド画像処理部１０５で画像処理された画像データが表示部１０９に送られて表示される（ステップＳ１４）。表示部１０９に画像が表示されると、システム制御部１０８は表示処理を終了する。

例えば、主被写体が動いて、現時点における焦点距離の撮像素子１０２で得られた画像に主被写体が存在しないと、つまり、主被写体が検出されていないと（ステップＳ１２において、ＮＯ）、システム制御部１０８は当該撮像素子が最広角の撮像素子であるか否かを判定する（ステップＳ１５）。

いままで主被写体が存在していた画像が得られた撮像素子が最広角の撮像素子１０２でないと（ステップＳ１５において、ＮＯ）、システム制御部１０８は次に焦点距離の短い撮像素子１０２で得られた画像を選択する（ステップＳ１６）。そして、システム制御部１０８はステップＳ１１の処理に戻って映像解析部１０１を制御して、次に焦点距離の短い撮像素子１０２で得られた画像を解析する。

いままで主被写体が存在していた画像が得られた撮像素子１０２が最広角の撮像素子１０２であると（ステップＳ１５において、ＹＥＳ）、システム制御部１０８は主被写体が存在する画像はないと判定して、映像選択部１１２を制御して最広角の撮像素子１０２で得られた画像の出力を継続する（ステップＳ１７）。そして、システム制御部１０８はステップＳ１４の処理に進む。

このように、本発明の第２の実施形態では、主被写体の検出結果に応じて、望遠側の撮像素子１０２から広角側の撮像素子１０２にその画像を切り替える。そして、主被写体が検出された状態では当該主被写体を拡大して表示する。これによって、ユーザは拡大された主被写体を観察することができる結果、主被写体の撮影を容易に行うことができる。

上述の説明から明らかなように、図２に示す例では、システム制御部１０８および映像解析部１１１が検出手段として機能し、システム制御部１０８、映像選択部１１２、およびライトフィールド画像処理部１０５が表示制御手段として機能する。また、映像解析部１１１およびシステム制御部１０８は判定手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０１ 光学系
１０２ 撮像素子
１０３ 画像処理ＬＳＩ
１０４ 信号記録部
１０５ ライトフィールド画像処理部
１０６ フォーカス制御部
１０７ 撮像素子制御部
１０８ システム制御部
１０９ 表示部
１１１ 映像解析部
１１２ 映像選択部

Claims (8)

1. 焦点距離が異なる光学系を含む複数の撮像レンズにそれぞれ対応する複数の撮像素子から得られる複数の画像を処理する画像処理装置であって、
   前記複数の画像から特定の被写体を検出する検出手段と、
   前記検出手段によって前記複数の画像から前記特定の被写体が検出されると、前記特定の被写体が検出された画像のうち最も焦点距離が長い最望遠で得られた画像を表示部に表示する表示制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記検出手段は、前記複数の撮像素子から得られる画像のうち最も焦点距離の短い最広角で得られた画像において特定の被写体を検出していることを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像から前記特定の被写体が検出されないと、前記表示制御手段は、前記最広角で得られた画像を前記表示部に表示することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記検出手段によって前記画像において前記特定の被写体が検出された状態で当該画像に未だ前記特定の被写体が存在するか否かを判定する判定手段を有し、
   前記判定手段によって前記画像に前記特定の被写体が存在しないと判定された場合に、前記画像が最広角で得られた画像であると、前記表示制御手段は前記最広角の画像を前記表示部に表示することを特徴とする請求項３に記載の画像処理装置。
5. 前記判定手段によって前記画像に前記特定の被写体が存在する判定された場合に、前記表示制御手段は、前記特定の被写体を拡大した画像を前記表示部に表示することを特徴とする請求項４に記載の画像処理装置。
6. 前記複数の撮像レンズと、
   前記複数の撮像素子と、
   を有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 焦点距離が異なる光学系を含む複数の撮像レンズにそれぞれ対応する複数の撮像素子から得られる複数の画像を処理する画像処理装置の制御方法であって、
   前記複数の画像から特定の被写体を検出する検出ステップと、
   前記検出ステップで前記複数の画像から前記特定の被写体が検出されると、前記特定の被写体が検出された画像のうち最も焦点距離が長い最望遠で得られた画像を表示部に表示する表示制御ステップと、
   を有することを特徴とする制御方法。
8. 焦点距離が異なる光学系を含む複数の撮像レンズにそれぞれ対応する複数の撮像素子から得られる複数の画像を処理する画像処理装置で用いられる制御プログラムであって、
   前記画像処理装置が備えるコンピュータに、
   前記複数の画像から特定の被写体を検出する検出ステップと、
   前記検出ステップで前記複数の画像から前記特定の被写体が検出されると、前記特定の被写体が検出された画像のうち最も焦点距離が長い最望遠で得られた画像を表示部に表示する表示制御ステップと、
   を実行させることを特徴とする制御プログラム。

Images