JP5282461B2 - 撮像装置 - Google Patents

Description

本発明は、撮影された画像から被写体毎に領域を分割する被写体領域の分割技術に関する。

従来、被写体を撮影する際に測距装置によって得られる複数の測距点の値に基づいて距離画像を作成し、距離画像から被写体領域を検出する撮像装置が知られている（例えば、特許文献１参照）。

また、撮影された画像を被写体毎の領域に分割する技術が検討されている（例えば、特許文献２参照）。
特開２００５−１２３０７号公報 特開平１０−２６９３６０号公報

ところが、従来技術のように、測距装置によって得られる複数の測距点の値に基づいて作成された距離画像から被写体領域を検出する方法は、測距点の数によって距離画像の解像度が制限されてしまう。一般に、測距装置によって作成された距離画像の解像度は、撮影画像の解像度より低いため、検出された被写体領域に基づいて撮影画像の被写体領域と背景領域とを分割すると、被写体領域と背景領域との境界が粗くなってしまうという問題があった。

また、画像の特徴量を用いて被写体領域を分割する場合は、複雑な処理を行う必要があり、しかも撮影画像全体に亘って特徴量を求める必要があり、処理に多大な時間が掛かるという問題があった。

本発明の目的は、撮影画像から被写体領域と背景領域とを分割する場合に、被写体領域と背景領域との境界が粗くならず、且つ高速に被写体領域の分割処理を行うことが可能な撮像装置を提供することである。

本発明に係る撮像装置は、撮像装置であって、被写界の光を光電変換し電気信号を生成する撮像素子と、前記電気信号をもとに、複数の画素データから構成される画像データを生成する画像処理部と、前記被写界内の所定の情報検出領域に対応した距離情報を抽出する情報抽出部と、前記画像データを、少なくとも１つの前記情報検出領域を含む複数の中領域に分割し、異なる中領域の前記情報検出領域より抽出された前記距離情報の類似度に基づいて、前記画像データを、少なくとも１つ以上の中領域から構成される複数の大領域へ分割する第１被写界分割部と、前記大領域に含まれる中領域の内の、大領域どうしの境界に位置する中領域を、少なくとも１以上の画素データからなる小領域に分割し、該小領域に含まれる画素データから、該小領域の特徴量を算出する特徴量算出部と、前記特徴量算出部により算出された小領域の特徴量と、同じ大領域内の前記境界に位置する中領域と隣接する中領域との特徴量に基づいて、前記小領域を、隣接する該小領域を含む大領域に含まれるように決定する境界決定部と、備え、前記境界決定部は、前記撮像装置からの距離が近い側の大領域内の画像の特徴量に基づいて境界を決定することを特徴とする。

また、好ましくは、前記被写界の光を前記撮像素子へ導く撮影レンズと、前記撮像素子の撮像面における当該撮影レンズの焦点状態を、合焦状態に調整する焦点光学系とを含む撮影光学系を有し、前記情報抽出部は、前記撮像素子によって受光される被写界内の複数の焦点検出領域において、前記焦点光学系を合焦させるための焦点検出情報をそれぞれ抽出し、前記第１被写界分割部は、前記画像データを、少なくとも１つの前記焦点検出領域を含む中領域に分割し、異なる中領域に含まれる前記焦点検出領域の焦点検出情報の類似度に基づいて、前記画像データを、少なくとも１つ以上の中領域を含む複数の大領域へ分割することを特徴とする。

また、好ましくは、前記焦点検出情報は、前記焦点検出領域のデフォーカス情報、または該デフォーカス情報をもとに算出された距離情報であることを特徴とする。

また、好ましくは、前記被写界を照明する照明部を有し、前記情報抽出部は、前記撮像素子によって受光される被写界の明るさを検出する複数の明るさ検出領域において、前記被写界の明るさ情報を抽出し、前記第１被写界分割部は、前記画像データを、少なくとも１つの前記明るさ検出領域を含む中領域に分割し、異なる中領域に含まれる前記明るさ検出領域の明るさ情報の類似度に基づいて、前記画像データを、少なくとも１つ以上の中領域を含む複数の大領域へ分割することを特徴とする。

また、好ましくは、前記情報抽出部は、前記撮像素子によって生成された電気信号をもとに、前記撮像素子によって受光される被写界の複数の明るさ検出領域に対応する複数の明るさ情報を抽出する明るさ抽出部を有し、該明るさ抽出部は、前記撮像素子の露光時間中に前記照明部により照明して取得された第１画像信号をもとに、前記撮像素子によって受光される被写界の複数の明るさ検出領域ごとに抽出された第１明るさ情報と、前記撮像素子の前記露光時間中に前記照明部により照明せずに取得された第２画像信号をもとに、前記撮像素子によって受光される被写界の複数の明るさ検出領域ごとに抽出された第２明るさ情報とを抽出し、前記明るさ検出領域に対応する前記第１明るさ情報と前記第２明るさ情報と演算（差分、あるいは比率）によって、前記明るさ検出領域に対応する明るさ情報を算出することを特徴とする。

また、好ましくは、さらに、前記撮像素子とは異なる第２撮像素子を有し、前記情報抽出部は、前記第２撮像素子によって生成された電気信号をもとに、前記撮像素子によって受光される被写界の複数の明るさ検出領域に対応する複数の明るさ情報を抽出することを特徴とする。

また、好ましくは、少なくとも前記被写界の焦点検出領域の被写体を照明する照明部と、前記照明部により照明された照明光の、被写体からの反射光を受光する受光部と、前記照明部によって、前記被写体に照明光が照射されてから、該照明光の反射光が、前記受光部で検出されるまでの到達時間を測定する時間測定部とを有し、前記焦点検出領域に対応する焦点検出情報は、前記到達時間、または当該到達時間をもとに算出された距離情報であることを特徴とする。

また、好ましくは、前記情報抽出部は、前記画像データより解像度の低い低解像度画像データを生成し、前記被写界内の所定の特徴量抽出領域に対応した低解像度特徴量情報を、前記低解像度画像データの前記特徴量抽出領域に対応した領域に含まれる画素データから算出し、前記第１被写界分割部は、前記画像データを、少なくとも１つの前記特徴量抽出領域に対応する領域を含む複数の中領域に分割し、該中領域に含まれる特徴量抽出領域に対応する前記低解像度特徴量情報に基づいて、前記画像データを少なくとも１つ以上の中領域から構成される複数の大領域へ分割することを特徴とする。

また、好ましくは、前記画像データのうち、前記中領域に属さない周辺画像データを含む周辺領域が存在する際には、前記中領域と前記周辺領域との周辺境界に位置する前記周辺領域の境界部分の周辺画像データの特徴量を算出し、該特徴量と該境界部分の小領域の前記特徴量とに基づいて、該境界部分の画像データを該小領域の属する大領域へ含まれるように決定する周辺境界決定部を有することを特徴とする。

また、好ましくは、前記焦点光学系を合焦させるために用いられた焦点検出情報に対応する前記焦点検出領域を含む前記大領域の画像データを、主要被写体として認識することを特徴とする。

本発明によれば、撮影画像から被写体領域と背景領域とを分割する場合に、被写体領域と背景領域との境界が粗くならず、且つ高速に被写体領域の分割処理を行うことができる。

以下、図面を参照して本発明の各実施形態について詳しく説明する。
（第１の実施形態）
図１は第１の実施形態に係る撮像装置１０１を示す側面図である。撮像装置１０１はカメラ本体１０２と、撮影レンズ１０３を含む撮影光学系が収容された撮影レンズユニット１０４とで構成される。

カメラ本体１０２は、後述の撮影機構と、レリーズボタンなどが配置された操作部１０５と、制御部１０６と、画像処理部１０７と、メモリ１０８と、液晶モニタ１０９と、メモリカード１１０とを有している。

また、撮影機構として、カメラ本体１０２の中心部には、光軸に沿ってミラーボックス１１１と、フォーカルプレーンシャッタ１１２と、撮像素子１１３とが配置され、カメラ本体１０２の上部領域には、後述の光学ファインダ系が配置されている。さらに、カメラ本体１０２には、レンズ駆動部１１４と、ミラー駆動部１１５と、ＡＦセンサ１１６と、ＡＦ用補助光源１１７とが配置されている。

ここで、ミラーボックス１１１について説明する。ミラーボックス１１１の内部には、観察位置と退避位置とに切り替え可能なクイックリターンミラー１１８と、クイックリターンミラー１１８の背面に付設されたサブミラー１１９とが配置されている。観察位置でのクイックリターンミラー１１８は、フォーカルプレーンシャッタ１１２および撮像素子１１３の前方で傾斜しており、撮影レンズユニット１０４から撮像素子１１３までの撮影光路に対してクイックリターンミラー１１８が交差した状態にある。この観察位置のクイックリターンミラー１１８は、撮影レンズユニット１０４を通過した光束を上方に反射させてファインダ光学系に導くようになっている。一方、退避位置のクイックリターンミラー１１８は、点線で示したように、観察位置の上方に跳ね上げられて撮影光路から外れた状態にある。この退避位置では、撮影レンズユニット１０４を通過した光束はフォーカルプレーンシャッタ１１２および撮像素子１１３に導かれ、撮像素子１１３によって被写体像を撮影することができる。また、クイックリターンミラー１１８の中央部は光を透過するハーフミラーになっている。そして、観察位置のクイックリターンミラー１１８を透過した光束は、サブミラー１１９によって下方に反射され、ＡＦ（オートフォーカス）センサ１１６に導かれる。

クイックリターンミラー１１９によって反射された被写体像は、不図示の二次結像レンズによりＡＦセンサ１１６上に再結像される。このような撮影レンズ１０３の焦点状態を検出する焦点検出光学系を、撮像素子１１３の撮影画面上の複数の位置に対応付けて複数設け、撮影画面内の複数のエリアにおける焦点検出状態が検出され、いわゆる位相差ＡＦ動作が実行される。

一方、光学ファインダ系は、焦点板１２０と、コンデンサレンズ１２１と、ペンタプリズム１２２と、接眼レンズ１２３とを有している。焦点板１２０は、ミラーボックス１１１の上方に位置し、観察位置のクイックリターンミラー１１８で反射された光束を一旦結像させる。焦点板１２０上で結像した光束はコンデンサレンズ１２１およびペンタプリズム１２２を通過し、ペンタプリズム１２２の入射面に対して９０°偏向した射出面からカメラ本体１０２の後方に導かれ、接眼レンズ１２３を介してファインダを覗く撮影者の眼に投影される。尚、操作部１０５のレリーズボタンを押すと、観察位置のクイックリターンミラー１１８およびサブミラー１１９を跳ね上げて待避位置に移動するよう制御部１０６はミラー駆動部１１５に指令する。また、焦点板１２０上で結像した光束の一部は、コンデンサレンズ１２１およびペンタプリズム１２２を通過して、ペンタプリズム１２２の近傍に設けられたＡＥセンサ１２４に導かれ、被写体の輝度値の測定を行う。

画像処理部１０７は、撮像素子１１３の出力に基づいて画像データを生成する。液晶モニタ１０９はカメラ本体１０２の背面に設けられ、撮像素子１１３で撮影した画像や、操作部１０５でカメラ本体１０２を操作する際の操作メニューや設定内容などが表示される。制御部１０６は、予め記憶されたプログラムに基づいて、カメラ本体１０２の各部の動作を制御する。例えば、使用するフォーカスモードやＡＦエリアの設定、ＡＦ演算やＡＥ演算、液晶モニタ１０９の表示制御、レンズ駆動部１１４の制御、ミラー駆動部１１５の制御などを実行する。

次に、ＡＦセンサ１１６について説明する。図２は、ＡＦセンサ１１６が焦点状態の測定（フォーカス測定）を行う領域（ＡＦエリア）を撮像素子１１３上の撮像画面２００に対応付けて＋印で示してある。使用者は、操作部１０５を操作して、撮影レンズ１０３のフォーカスを合わせる際に使用するＡＦエリア（焦点評価領域）を選択する。例えば、図２の撮影画面２００ａの場合は、制御部１０６はＡＦセンサ１１６から、領域２５１で示したＡＦエリア２０８，２１２，２１３，２１４，２１８の５つのＡＦエリアのデフォーカス量（合焦位置からのずれ（焦点検出情報））を入力して、レンズ駆動部１１４に撮影レンズ１０３を合焦位置に移動するよう指令を行う。同様に、図２の撮影画面２００ｂの場合は、制御部１０６はＡＦセンサ１１６から、領域２５２で示したＡＦエリア２０９，２１４の２つのＡＦエリアのデフォーカス量を入力して合焦位置を求め、レンズ駆動部１１４に撮影レンズ１０３を合焦位置に移動するよう指令を行う。

次に、撮像素子１１３による撮影の前または後にＡＦセンサ１１６から得られた全ＡＦエリアのデフォーカス量またはデフォーカス量から得られる距離情報を利用して、撮像素子１１３による撮影画像から被写体領域を分割する処理について説明する。特に、本実施形態に係る撮像装置１０１は、図３に示すように、撮影画像の領域を例えばブロック状に分割する。図３において、６００が全ＡＦエリアの配置を撮影画面に対応付けて示した画面、６０１は撮影画像を分割する領域（Ｂ１からＢ２５）を示した画面、６０２は分割する領域を示した画面６０１にＡＦエリアの配置を示した画面６００を重ね合わせた画面、をそれぞれ示している。

このように、本実施形態では、分割された撮影画像の各ブロック領域に少なくとも１つのＡＦエリアが含まれるように構成されている。尚、図３では１つの分割領域に１つのＡＦエリアが含まれる例について示したが、１つの分割領域に複数のＡＦエリアが含まれるように分割しても構わない。特に、１つの分割領域に複数のＡＦエリアを含む場合は、複数のＡＦエリアのデフォーカス量を平均化して、その分割領域のデフォーカス量としても構わない。或いは、分割領域の中心部に位置するＡＦエリアのデフォーカス量と、同じ分割領域の周辺部に位置するＡＦエリアのデフォーカス量とに重み付けを行うようにしても構わない。例えば、１つの分割領域に２つのＡＦエリアが含まれる場合、分割領域内の中心部のＡＦエリアのデフォーカス量に０．７の重み付けを行い、分割領域内の周辺部のＡＦエリアのデフォーカス量に０．３の重み付けを行って加算した値をその分割領域のデフォーカス量とする。このようにして、各ＡＦエリア毎に対応するデフォーカス量を抽出する（情報抽出部に相当）。

ここで、距離画像について、図４を用いて説明する。尚、図４では説明を簡単にするために、分割領域の数を９とし、各分割領域には１つのＡＦエリアが含まれるものとしている。各ＡＦエリアに対応する分割領域はＡＦ１からＡＦ９で示されている。今、ファインダ画像３００の構図の時にＡＦセンサ１１６から入力した全ＡＦエリアのデフォーカス量を距離に変換すると、距離画像４００が得られる。図４の距離画像４００では、簡単のために、各ＡＦエリアに対応する被写体までの撮影距離が近いか遠いかで表示している。距離画像４００において、画面の中央部分に位置するＡＦエリアに対応する分割領域ＡＦ５とＡＦ８は、ファインダ画像３００の中央部分の人物位置に相当するので、撮像装置１０１と被写体（人物）との距離が近いことがわかる。逆に、ＡＦ５とＡＦ８を除く背景部分に位置する分割領域では、撮像装置１０１と被写体（背景部分）との距離が遠いことがわかる。

一方、背景の山を画面の中心とした構図に変えた場合は、撮影しようとする画像はファインダ画像３０１のようになり、この構図の時にＡＦセンサ１１６から入力した全ＡＦエリアのデフォーカス量を距離に変換すると、距離画像４０１が得られる。つまり、人物が立っている位置にあるＡＦ４およびＡＦ７の分割領域では被写体（人物）までの撮影距離が近く、それ以外の分割領域では被写体（背景）までの撮影距離が遠くなる。

このようにして、本実施形態に係る撮像装置１０１は、ＡＦセンサ１１６から入力する全ＡＦエリアのデフォーカス量から得られる距離情報の類似度を基にして、撮影画像の中の人物領域を判別することができる。

上記に説明したように、光学情報（デフォーカス量）を利用して被写体領域と背景領域とを分割する方法は、画像の特徴量を基にして被写体領域と背景領域とを分割する方法に比較して、迅速に概略の被写体領域を分割することができる。つまり、本撮影された画素の解像度より低い解像度のデフォーカス量を用いて被写体領域を分割し、距離画像を作成する。ここで、デフォーカス量は低解像度画像データに相当し、１つの分割領域に少なくとも１つのＡＦエリアが含まれる。

ところが、デフォーカス量を用いて作成した距離画像の解像度は、本撮影された画素の解像度に比較して低いため抽出する被写体領域が粗くなってしまうという問題がある。この点について、図５を用いて説明する。図５（ａ）は、距離画像８０１の上に、本撮影装置１０１に正対する被写体像８０２を描いた図である。ここで、分かり易いように、被写体像８０２は三角形で囲まれた内側が被写体部分で、三角形の外側は背景部分とする。

図５（ａ）において、距離画像８０１の解像度は、ブロックＢ１からブロックＢ４８までの４８ブロックで構成される解像度である。ところが、距離画像８０１の解像度は、本撮影された被写体像８０２の解像度より低いので、例えば、被写体像８０２と背景部分の両方を含む境界部分のブロックＢ１２，Ｂ１３，Ｂ１９，Ｂ２２，Ｂ２６，Ｂ３１，Ｂ３３〜Ｂ４０では、被写体領域か背景領域かを正確に判別することができない。このため、被写体領域として確実に分割されるのは、図５（ｂ）に示すように、斜線で示したブロックＢ２０，Ｂ２１，Ｂ２７〜Ｂ３０となり、分割された被写体領域の形状が本撮影された画像の被写体の形状よりも粗い解像度の被写体画像になってしまう。ここで、互いに隣接するブロックＢ２０，Ｂ２１，Ｂ２７〜Ｂ３０は被写体領域として統合して分割処理される。つまり、撮影画像を、少なくとも１つのＡＦエリア（情報検出領域）を含む複数のブロックＢに分割し、各ブロックＢに含まれる各ＡＦエリアから得られるデフォーカス量（光学情報）の類似度に基づいて、撮影画像を少なくとも１つ以上のブロックＢで構成される複数の大きな領域へ分割する（第１被写界分割部に相当）。

例えば、具体的な例として、図６に示すように、風景を撮影した撮影画像８０３から「山小屋」の被写体像８０４の領域を、他の被写体領域と領域分割する場合について説明する。図６の点線８０５で示した拡大図において、距離画像で同等の距離範囲に位置する被写体像８０４を距離画像の解像度であるブロック８０６の大きさの単位で分割した場合、分割後の被写体領域８０７の形状は、撮影画像の被写体像８０４の領域とは大きく異なり、粗い解像度の被写体領域８０７として分割されてしまう。特に、このような粗い解像度で抽出された被写体領域８０７に、高域強調や色補正，明るさ補正などの補正を掛けた場合、被写体像８０４と背景部分との境界を含むブロックの補正が行われなかったり、逆に背景部分に補正が行われることもあり、不自然な画像になってしまう。

そこで、本実施形態では、例えば、図５（ｂ）に示す被写体像８０２と背景部分との両方を含む境界部分のブロックＢ１２，Ｂ１３，Ｂ１９，Ｂ２２，Ｂ２６，Ｂ３１，Ｂ３３〜Ｂ４０において、さらに被写体領域の分割処理を行う（第２被写体分割処理）。

次に、第２被写体分割処理について説明する。ここでは、図５（ｂ）の被写体像８０２と背景部分との両方を含む境界部分のブロックの内、ブロックＢ１９を例に挙げて説明する。尚、他の境界部分のブロックＢ１２，Ｂ１３，Ｂ２２，Ｂ２６，Ｂ３１，Ｂ３３〜Ｂ４０においても同様に処理される。図７（ａ）はブロックＢ１９をさらに小さな１６個のブロックＡ１からＡ１６に分けた中間画像において、被写体領域の分割処理を行う様子を示している。尚、中間画像とは、第２被写体分割処理で用いる画像を示し、距離画像より解像度が高く、最大で本撮影された画像の解像度となる。

第２被写体分割処理は、図５のようにデフォーカス量から作成した距離画像を用いる方法とは異なり、各ブロック内の画像の特徴量を算出して被写体領域と背景領域とを分割する。例えば、画像の特徴量として、分離された領域内の平均色や各色のヒストグラム、或いはエッジ量の最大値・最小値およびその方向のヒストグラム、またはテクスチャなどを算出し、類似度を判定基準とする。算出した画像の特徴量の類似度が所定値以上のブロック（つまり、類似しているブロック）を統合して抜き出すことにより、顔や花や建物などを分割することができる。

図７（ａ）において、ブロックＢ１９の右側および下側に隣接するブロックＢ２０，Ｂ２７は、図５（ａ）に示したように、既に距離画像から同一の被写体領域であると判別されているので、例えば、ブロックＢ１９の中の小ブロックＡ１からＡ１６の中で、ブロックＢ２０およびブロックＢ２７に隣接する小ブロックＡ８，Ａ１２，Ａ１４，Ａ１５，Ａ１６の各ブロックと、ブロックＢ２０およびブロックＢ２７との画像の特徴量の類似度を算出し、当該類似度が所定値以上の場合は、ブロックＢ２０およびブロックＢ２７と同じ被写体の領域であると判別し、ブロックＢ２０およびブロックＢ２７と統合して同一の被写体領域とする。同様に、小ブロックＡ１２および小ブロックＡ１５に隣接する小ブロックＡ１１も小ブロックＡ１２および小ブロックＡ１５との画像の特徴量の類似度を算出し、類似度が所定値以上の場合は同一の被写体領域であると判別し、小ブロックＡ１１も小ブロックＡ８，Ａ１２，Ａ１４，Ａ１５，Ａ１６の各ブロックおよびブロックＢ２０，Ｂ２７，Ｂ２８と統合して同一の被写体領域とする。尚、被写体像８０２内側のブロックＢ２０，Ｂ２７，Ｂ２８ではなく、被写体像８０２外側、つまり背景側のブロックＢ１１やＢ１８及び、小ブロックＡ１，Ａ２，Ａ３，Ａ５，Ａ９との画像の特徴量の類似度を算出し、所定値と比較して背景側から領域分割を行っても構わないが、背景部分は様々な種類の撮影物が想定されるので誤って判別されてしまう可能性がある。このため、本実施形態のように、ブロックＢ１９内の各小ブロックについて被写体像８０２内側のブロックＢ２０，Ｂ２７，Ｂ２８との画像の特徴量の類似度を算出して、背景との境界部分の方向に被写体領域を統合しながら拡大していくのが好ましい。

ところが、図７（ｂ）に示すように、被写体像８０２と背景部分との両方を含む境界部分の小ブロックＡ４，Ａ７，Ａ１０，Ａ１３の各ブロックでは、被写体領域であるか背景領域であるかを正確に判別することは難しい。そこで、図７（ｂ）の被写体８０２と背景部分との境界を含む小ブロックＡ４，Ａ７，Ａ１０，Ａ１３において、先にＢ１９で説明した第２被写体分割処理と同様の処理を行う。例えば、被写体像８０２と背景部分との境界を含む小ブロックＡ７をさらに小さなブロックに分けて、被写体領域の分割処理を行う。この様子を図８に示す。

図８において、例えば小ブロックＡ１１とＡ１４とに隣接する微小ブロックＣ８，Ｃ１２，Ｃ１４，Ｃ１５，Ｃ１６の各ブロックと隣接する被写体領域の小ブロックＡ１１とＡ１４との画像の特徴量の類似度を算出する。類似度が所定値以上の場合は微小ブロックＣ８，Ｃ１２，Ｃ１４，Ｃ１５，Ｃ１６も被写体領域であると判別し、小ブロックＡ１１とＡ１４と統合して被写体領域とする。尚、ブロックＢ２０，Ｂ２７，Ｂ２８、および小ブロックＡ８，Ａ１１，Ａ１２，Ａ１４，Ａ１５，Ａ１６の各ブロックは図５および図７で説明したものと同じである。尚、微小ブロックＣ１１についても、前述の小ブロックＡ１１の処理と同様に、微小ブロックＣ１１に隣接するさらに小さいブロックに分けて同様の処理を繰り返しても構わない。

このように、検出した被写体領域の境界部分より内側の画像の特徴量を基準に、内側から画像の特徴量が類似している領域を拡大するように処理して被写体領域を拡張していく。このようにして、被写体領域の周辺境界を決定していき、最終的に周辺境界によって囲まれた部分を主要被写体として認識する（境界決定部に相当）。

また、被写体像８０２と背景部分との境界を含むブロックを再帰的に小さくして行くことによって、被写体像８０２と背景部分との境界の解像度を高めることができる。例えば、図６で説明したような撮影画像８０３から「山小屋」の被写体像８０４を領域分割する場合、図９に示すように、点線８０５で示した拡大図において、距離画像の解像度であるブロック８０６よりもさらに小さなブロック８０６ｂで、被写体像８０４と背景との境界部分を細かく分割することができる。さらに、ブロック８０６ｂの被写体像８０４と背景との境界部分を細かく分割していくことにより、分割後の被写体領域８０８の形状は、撮影画像の被写体像８０４の形状に近くなって、より正確な被写体領域の分割が可能になる。特に、予め距離画像によって被写体像８０４が粗く分割されているので、演算量が大きく時間が掛かる画像の特徴量の類似度を用いた分割処理は、被写体像８０４と背景との境界部分だけで行えばよく、処理時間を大幅に短くすることができる。

尚、本実施形態では、領域を分割して抽出しようとする被写体領域側から画像の特徴量の類似度を判断する構成としたが、背景側から画像の特徴量の類似度を判断する構成としてもよい。但し、被写体領域側から判断する場合には、被写体領域側が同一の被写体であることがある程度保証されているので、高い精度で分割することができる。一方、背景側から画像の特徴量の類似度を判断する場合は、背景側が類似度の高い同一の背景である保証はないので、分割精度は劣る可能性がある。

次に、本実施形態に係る撮像装置１０１の被写体領域分割処理の流れについて、図１０のフローチャートを用いて説明する。尚、被写体領域分割処理は、制御部１０６に予め格納されたプログラムによって、画像処理部１０７と連携して処理される。
（ステップＳ５０１）被写体領域分割処理の開始
（ステップＳ５０２）ＡＦセンサ１１６から入力されたデフォーカス量に基づいて、撮影画像から被写体領域を分割する。尚、この時、分割するブロックは距離画像の解像度になる。
（ステップＳ５０３）被写体領域と背景領域との境界を含むブロックにおいて、さらに小さな小ブロックに分割する。
（ステップＳ５０４）分割した小ブロックにおいて、画像の特徴量を求め、求めた画像の特徴量の類似性を基に被写体領域を分割する。尚、この時、分割するブロックは小ブロックの解像度になる。
（ステップＳ５０５）小ブロックの大きさが所定の大きさ以下になったか否かを判別する。つまり、被写体領域の分割が所望の解像度まで行われたか否かを判別する。所望の解像度が得られた場合は、ステップＳ５０６に進み、所望の解像度が得られていない場合は、ステップＳ５０３に戻り、被写体領域と背景領域との境界を含む小ブロックにおいて、さらに小さな小ブロックに分割し、所望の解像度になるまでステップＳ５０３からステップＳ５０５の処理を繰り返す。尚、所望の解像度として設定可能な最小のブロックサイズは、撮影画像の画素サイズである。
（ステップＳ５０６）被写体領域分割処理の終了
このように、制御部１０６に予め格納されたプログラムによって、画像処理部１０７と連携して被写体領域の分割処理を行うことができる。ここで、デフォーカス量に基づいて分割処理を行うステップＳ５０２が第１の被写体分割処理に相当し、画像の特徴量の類似性に基づいて分割処理を行うステップＳ５０２が第２の被写体分割処理に相当する。尚、第２の被写体分割処理は上記の例のように再帰的に複数回行われる処理を含む。

次に、撮影画像の領域と距離画像の領域の関係について図１１を用いて説明する。図１１（ａ）は、撮影画像７０１の撮影領域において、被写体として樹木７０３と、人間７０４と、家屋７０５を分割する場合の一例を示す。図１１（ｂ）は、ＡＦセンサ１１６から得られるデフォーカス量を用いて作成した距離画像７０２の領域を示している。先に説明した処理方法に従って距離画像７０２を用いて被写体領域を分割する場合、距離画像７０２より撮影画像７０１の領域の方が大きいため、距離画像７０２からはみ出した被写体部分を分割することができない。そこで、例えば、距離画像７０２において被写体領域を分割する際に、分割した被写体領域が距離画像７０２の縁にかかる場合は、その縁の部分に隣接する撮影画像７０１の領域で特徴量を求め、距離画像７０２の縁の被写体領域の画像の特徴量と類似性がある場合（類似度が高い場合）は、図１１（ｃ）に示すように、距離画像７０２の領域外へ被写体領域を拡張して分割する。つまり、距離画像７０２のブロック領域に属さない周辺画像データを含む周辺領域が存在する場合には、距離画像７０２のブロック領域と周辺領域との周辺境界に位置する周辺領域の境界部分の周辺画像データの特徴量を算出して、その特徴量と境界部分の各ブロックの特徴量とに基づいて、境界部分の周辺画像データを境界部分のブロックが属するより大きなブロックに含まれるように被写体領域を拡張する。このようにして、距離画像７０２のブロック領域に属さない周辺領域において、被写体領域の周辺境界を決定していく（周辺境界決定部）。そして、最終的に、周辺境界によって囲まれた部分が主要被写体として認識される。

尚、図１２（ａ）に示すように、撮影画像７１０から被写体として人間７１１を分割する場合、図１２（ｂ）のように人間７１１は距離画像７０２に完全に含まれており、分割した被写体領域が距離画像７０２の領域外にはみ出さないので、図１１のように、距離画像７０２の領域外へ被写体領域を拡張する処理は行う必要がない。ここで、主要被写体の検出は、例えば、ＡＦセンサ１１６の複数のＡＦエリアのうちフォーカス制御に用いたＡＦエリアが位置する分割領域を主要被写体として認識することで実現できる。

このように、距離画像７０２の領域が撮影画像７０１の領域よりも小さい場合でも、画像の特徴量の類似性を基に被写体領域を拡張するので、撮影画像７０１に写っている被写体領域を漏れなく分割することができる。特に、分割した被写体領域が距離画像７０２の縁にかかる部分に隣接する領域だけで画像の特徴量を求めるので、距離画像７０２と撮影画像７０１との全ての境界部分で画像の特徴量を求めて処理する場合に比べて、処理時間を短縮することができる。但し、図１３に示すように、距離画像７０２と撮影画像７０１との全ての境界部分で画像の特徴量を求めて分割処理を行っても構わない。

尚、上記の実施形態では、デフォーカス情報を基に距離画像を作成して被写体領域を分割する手法について説明したが、本発明は、これに限定されず、他の情報を用いる構成であっても構わない。例えば、図１のＡＦ補助光源１１７の発光時と非発光時の２つの条件で撮像素子１１３で撮像を行い、これをもとに距離画像を生成して上述と同様の手法によって領域を分割する構成としてもよい。例えば、ＡＦ補助光源１１７（照明部）の発光時に撮像素子１１３で撮像を行い、被写界の複数の明るさ検出領域に対応する複数の明るさ情報を抽出する（明るさ抽出部）。ここで、明るさ抽出部の処理は、制御部１０６によって行われる。ここで、複数の明るさを照明部の発光時と非発光時の２種類だとした場合、例えば、明るさ抽出部は、撮像素子１１３の露光時間中に照明部が発光時に取得された第１画像信号を基に、撮像素子１１３によって受光される被写界の複数の明るさ検出領域毎に明るさ情報を抽出し（第１明るさ情報）、撮像素子１１３の露光時間中に照明部が非発光時に取得された第２画像信号を基に、撮像素子１１３によって受光される被写界の複数の明るさ検出領域毎に明るさ情報を抽出する（第２明るさ情報）。そして、明るさ抽出部は、明るさ検出領域毎に、上記の第１明るさ情報と第２明るさ情報との差分や比率を求める演算を行い、その演算結果を明るさ検出領域毎の明るさ情報として、距離画像を生成して上述と同様の手法によって領域を分割する構成としてもよい。尚、撮像素子１１３の代わりに撮像素子１１３より解像度の低いＡＥセンサ１２４（第２撮像素子に相当）で撮像し、これをもとに距離画像を生成して上述と同様に領域を分割してもよい。

或いは、撮像装置１０１から光を発光するようにし、被写体からの反射光が到達するまでの時間によって低解像度の距離画像を得るＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）を用いても構わない。このＴＯＦは、例えば、制御部１０６が照明部（ＡＦ補助光源１１７で代用しても構わない）から光を発光したタイミングと、受光部（撮像素子１１３またはＡＥセンサ１２４）で発光した光を受光したタイミングとをモニタすることにより、光が被写体と撮像装置１０１との間を往復する時間が得られる（時間測定部）。そして、光速を得られた時間で割った距離の１／２が被写体と撮像装置１０１との距離となる。これを画像内の分割領域毎に求めれば、距離画像を得ることができる。

また、本画像の撮影の前後に行われる液晶モニタ１０９に表示するためのプレビュー画像（一般に本画像より画素数が低い）を用いて、画像の特徴量による類似度を判断して、距離画像の代わりとなる粗い分割を行うようにしても構わない。但し、プレビュー画像と本画像とにおいて被写体の位置が異なる可能性があるので、動きベクトルを用いてプレビュー画像と本画像との被写体の位置を合わせる必要がある。

さらに、デフォーカス量や、ＡＥセンサ情報などの取得範囲が本画像の撮影領域より狭い場合についても、プレビュー画像などを用いた手法で補うようにしても構わない。

以上、説明してきたように、本実施形態に係る撮像装置１０１は、先ず、処理の速いデフォーカス量を用いた距離画像によって被写体領域と背景領域とを粗く分割しておき、被写体と背景との境界部分を含むブロックにおいては画像の特徴量の類似度による被写体領域の分割を行うので、処理時間を短くすることができる。特に、被写体と背景との境界部分を含むブロックの大きさを、再帰的に小さくして行くことによって、被写体と背景との境界部分の解像度を高めることができ、正確な領域分割を行うことができる。

尚、本実施形態では、撮影画像の被写体ごとの領域への分離処理や分離した被写体ごとの各領域に施す画像の画像処理などを、撮像装置１０１自体で行う例について説明したが、撮影画像と共に距離画像（デフォーカス量でも構わない）も、着脱可能に装着されたメモリカード１１０に記憶するようにし、メモリカード１１０を取り外して、パソコンなどに接続し、パソコンのソフトウェアによって、撮影画像の被写体領域への分離処理や分離した各領域の画像データに対して被写体認識結果に基づいて個別の画像処理などを行うようにしても構わない。

第１の実施形態に係る撮像装置１０１の構成を示すブロック図である。 ＡＦセンサ１１６のＡＦエリアを示す説明図である。 ＡＦエリアと領域分割の様子を示す説明図である。 撮影画像と距離画像との関係を示す説明図である。 距離画像による領域分割の様子を示す説明図である。 距離画像による領域分割の一例を示す説明図である。 再帰的な分割処理を説明するための説明図である。 本実施形態の分割処理を示す説明図である。 本実施形態の領域分割の一例を示す説明図である。 本実施形態の分割処理を示すフローチャートである。 距離画像の領域外への拡張処理を示す説明図である。 距離画像の領域内で閉じた場合の一例を示す説明図である。 距離画像の領域外への拡張処理を示す説明図である。

符号の説明

１０１・・・撮像装置 １０２・・・カメラ本体
１０３・・・撮影レンズ １０４・・・撮影レンズユニット
１０５・・・操作部 １０６・・・制御部
１０７・・・画像処理部 １０８・・・メモリ
１０９・・・液晶モニタ １１０・・・メモリカード
１１１・・・ミラーボックス １１２・・・フォーカルプレーンシャッタ
１１３・・・撮像素子 １１４・・・レンズ駆動部
１１５・・・ミラー駆動部 １１６・・・ＡＦセンサ
１１７・・・ＡＦ用補助光源 １１８・・・クイックリターンミラー
１１９・・・サブミラー １２４・・・ＡＥセンサ

Claims (10)

1. 撮像装置であって、
   被写界の光を光電変換し電気信号を生成する撮像素子と、
   前記電気信号をもとに、複数の画素データから構成される画像データを生成する画像処理部と、
   前記被写界内の所定の情報検出領域に対応した距離情報を抽出する情報抽出部と、
   前記画像データを、少なくとも１つの前記情報検出領域を含む複数の中領域に分割し、異なる中領域の前記情報検出領域より抽出された前記距離情報の類似度に基づいて、前記画像データを、少なくとも１つ以上の中領域から構成される複数の大領域へ分割する第１被写界分割部と、
   前記大領域に含まれる中領域の内の、大領域どうしの境界に位置する中領域を、少なくとも１以上の画素データからなる小領域に分割し、該小領域に含まれる画素データから、該小領域の特徴量を算出する特徴量算出部と、
   前記特徴量算出部により算出された小領域の特徴量と、同じ大領域内の前記境界に位置する中領域と隣接する中領域との特徴量に基づいて、前記小領域を、隣接する該小領域を含む大領域に含まれるように決定する境界決定部と、備え、
   前記境界決定部は、前記撮像装置からの距離が近い側の大領域内の画像の特徴量に基づいて境界を決定する
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置はさらに、
   前記被写界の光を前記撮像素子へ導く撮影レンズと、
   前記撮像素子の撮像面における当該撮影レンズの焦点状態を、合焦状態に調整する焦点光学系とを含む撮影光学系を有し、
   前記情報抽出部は、前記撮像素子によって受光される被写界内の複数の焦点検出領域において、前記焦点光学系を合焦させるための焦点検出情報をそれぞれ抽出し、
   前記第１被写界分割部は、前記画像データを、少なくとも１つの前記焦点検出領域を含む中領域に分割し、異なる中領域に含まれる前記焦点検出領域の焦点検出情報の類似度に基づいて、前記画像データを、少なくとも１つ以上の中領域を含む複数の大領域へ分割する
   ことを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記焦点検出情報は、前記焦点検出領域のデフォーカス情報、または該デフォーカス情報をもとに算出された距離情報である
   ことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置はさらに、
   前記被写界を照明する照明部を有し、
   前記情報抽出部は、前記撮像素子によって受光される被写界の明るさを検出する複数の明るさ検出領域において、前記被写界の明るさ情報を抽出し、
   前記第１被写界分割部は、前記画像データを、少なくとも１つの前記明るさ検出領域を含む中領域に分割し、異なる中領域に含まれる前記明るさ検出領域の明るさ情報の類似度に基づいて、前記画像データを、少なくとも１つ以上の中領域を含む複数の大領域へ分割する
   ことを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記情報抽出部は、前記撮像素子によって生成された電気信号をもとに、前記撮像素子によって受光される被写界の複数の明るさ検出領域に対応する複数の明るさ情報を抽出する明るさ抽出部を有し、
   該明るさ抽出部は、前記撮像素子の露光時間中に前記照明部により照明して取得された第１画像信号をもとに、前記撮像素子によって受光される被写界の複数の明るさ検出領域ごとに抽出された第１明るさ情報と、前記撮像素子の前記露光時間中に前記照明部により照明せずに取得された第２画像信号をもとに、前記撮像素子によって受光される被写界の複数の明るさ検出領域ごとに抽出された第２明るさ情報とを抽出し、前記明るさ検出領域に対応する前記第１明るさ情報と前記第２明るさ情報と演算（差分、あるいは比率）によって、前記明るさ検出領域に対応する明るさ情報を算出する
   ことを特徴とする撮像装置。
6. 請求項４または５に記載の撮像装置において、
   さらに、前記撮像素子とは異なる第２撮像素子を有し、
   前記情報抽出部は、前記第２撮像素子によって生成された電気信号をもとに、前記撮像素子によって受光される被写界の複数の明るさ検出領域に対応する複数の明るさ情報を抽出する
   ことを特徴とする撮像装置。
7. 請求項２に記載の撮像装置はさらに、
   少なくとも前記被写界の焦点検出領域の被写体を照明する照明部と、
   前記照明部により照明された照明光の、被写体からの反射光を受光する受光部と、
   前記照明部によって、前記被写体に照明光が照射されてから、該照明光の反射光が、前記受光部で検出されるまでの到達時間を測定する時間測定部とを有し、
   前記焦点検出領域に対応する焦点検出情報は、前記到達時間、または当該到達時間をもとに算出された距離情報である
   ことを特徴とする撮像装置。
8. 請求項１に記載の撮像装置において、
   前記情報抽出部は、前記画像データより解像度の低い低解像度画像データを生成し、前記被写界内の所定の特徴量抽出領域に対応した低解像度特徴量情報を、前記低解像度画像データの前記特徴量抽出領域に対応した領域に含まれる画素データから算出し、
   前記第１被写界分割部は、前記画像データを、少なくとも１つの前記特徴量抽出領域に対応する領域を含む複数の中領域に分割し、該中領域に含まれる特徴量抽出領域に対応する前記低解像度特徴量情報に基づいて、前記画像データを少なくとも１つ以上の中領域から構成される複数の大領域へ分割する
   ことを特徴とする撮像装置。
9. 請求項１乃至８のいずれか１項に記載の撮像装置において、
   前記画像データのうち、前記中領域に属さない周辺画像データを含む周辺領域が存在する際には、前記中領域と前記周辺領域との周辺境界に位置する前記周辺領域の境界部分の周辺画像データの特徴量を算出し、該特徴量と該境界部分の小領域の前記特徴量とに基づいて、該境界部分の画像データを該小領域の属する大領域へ含まれるように決定する周辺境界決定部を有する
   ことを特徴とする撮像装置。
10. 請求項２に記載の撮像装置において、
    前記焦点光学系を合焦させるために用いられた焦点検出情報に対応する前記焦点検出領域を含む前記大領域の画像データを、主要被写体として認識することを特徴とする撮像装置。

Images