JP6406340B2 - 画像処理装置及び撮像装置 - Google Patents

Description

本発明は、画像処理装置及び撮像装置に関するものである。

従来、撮像画像を複数の小領域に分割し、画素の画像信号の標準偏差および平均値を小領域毎に算出し、ホワイトバランスを調整する撮像装置が存在する（例えば、特許文献１参照）。この撮像装置によれば、予め画像を複数領域に細分化しておき、細分化した領域毎の状態を分析して被写体領域を特定する。

特開２０１０−２７３３１９号公報

しかしながら、上述の撮像装置においては、撮像画像を細分化しすぎると被写体領域の特定効率が低下する。一方細分化が粗すぎると必要な被写体領域が細分化されないという問題があった。従って、抽出したい被写体領域を細分化しつつ出来るだけ少ない領域数とすることが望ましい。

本発明の目的は、抽出したい被写体領域を細分化しつつ出来るだけ領域数が少なくなるように画像の分割を行う画像処理装置及び撮像装置を提供することである。

本発明の画像処理装置は、撮像部で撮像された画像の被写体の大きさを検出する検出部と、前記画像を分割する領域の数を設定する設定部とを備え、前記設定部は、前記検出部で検出された第１の画像の第１の被写体の大きさが、前記検出部で検出された第２の画像の第２の被写体の大きさより大きいと、前記第１の画像を分割する領域の数を、前記第２の画像を分割する領域の数より少なく設定する。
また、本発明の画像処理装置は、撮像部で撮像された画像の被写体の大きさを検出する検出部と、前記画像を分割する領域の大きさを設定する設定部とを備え、前記設定部は、前記検出部で検出された第１の画像の第１の被写体の大きさが、前記検出部で検出された第２の画像の第２の被写体の大きさより大きいと、前記第１の画像を分割する領域の大きさを、前記第２の画像を分割する領域の大きさより大きく設定する。

また、本発明の撮像装置は、本発明の画像処理装置と、前記撮像部とを備える。

本発明によれば、抽出したい被写体領域を細分化しつつ出来るだけ領域数が少なくなるように画像の分割を行うことができる。

実施の形態に係る画像処理装置のシステム構成を示すブロック図である。 実施の形態に係る顔サイズとＫの値の関係を示す図である。 実施の形態に係る撮影画角内の被写体、画像をＫ＝６０で細分化した場合及び画像をＫ＝１００で細分化した場合を示す図である。 実施の形態に係る撮影画角内の被写体、画像をＫ＝６０で細分化した場合及び画像をＫ＝１００で細分化した場合を示す図である。 実施の形態に係る画像の画面中の動体を示す図である。 実施の形態に係る画像の画面中の動体を示す図である。

以下、図面を参照して、本発明の実施の形態に係る画像処理装置についてカメラを例に説明する。図１は、実施の形態に係るカメラのシステム構成を示すブロック図である。図１に示すように、カメラ２は、カメラ２の各部を統括的に制御する制御部４を備えている。制御部４には、被写体を撮像する撮像部６、撮像部６から出力された撮像信号から生成された画像データを記憶するメモリ８、制御部４が実行する撮影処理、分割処理等のプログラムを記憶するプログラムメモリ１０、撮影画像の画像データ等を記憶するメモリカード１２、カメラ２の背面部に配置され撮像部６により撮像された画像、スルー画及びカメラ２のモードを設定する画面等を表示するＬＣＤ表示部１４及び操作部１６が接続されている。ここで操作部１６は、電源スイッチ及びレリーズボタン等を備えている。

次に、本発明の実施の形態に係るカメラによる分割処理について説明する。操作者が操作部１６の電源スイッチを操作することによりカメラ２の電源をオンにすると、制御部４は、撮像部６により所定のフレームレートで被写体を撮像し、撮像部６から出力された撮像信号に基づいてＬＣＤ表示部１４にスルー画像を表示する。ここで、撮像部６から出力されたスルー画像の画像データは一時的にメモリ８に記憶される。

操作者がレリーズボタンを半押しすると、制御部４はメモリ８に一時的に記憶された画像データに基づく画像について分割処理を行い画像を細分化する。画像の細分化では、隣接した画素群が同じオブジェクト領域に属するか否かを、特徴量の類似性を用いて判別する。その結果、類似した特徴を有する隣接画素群がグループ化され、画像が複数の領域に細分化される。その際、どの程度の大きさに細分化するかを、調整することが可能である。

例えば、細分化手法としてｋ−ｍｅａｎｓ法を用いる場合、ｋ−ｍｅａｎｓ法は、与えられたクラスタ数K個に要素を分割するものであるが、その際、各クラスタ内の平均が最小となるように分割を行う。具体的には、まず、K個のクラスタの中心をランダムに割り当てる（ステップ１）。次に各要素を最も近い中心（クラスタ）に割り当てる（ステップ２）。そして各クラスタの中心を再計算する（ステップ３）。その結果、全クラスタの中心が変化しなければ終了し、そうでなければステップ２へ戻る。この手法を画像の細分化に用いる場合は、対象とする要素は画素である。クラスタ中心との距離は、中心画素との色差、及び画面距離を用いる。ここで、クラスタ中心との距離は次のように表される。
クラスタ中心との距離＝中心画素との色差＋中心画素との画面距離
クラスタ中心との距離＝ｐΔｕｖ＋ｑΔｘｙ
クラスタ中心との距離＝√[(ｕｉ−ｕｊ)²+(ｖｉ−ｖｊ)²] ＋ √[(ｘｉ−ｘｊ)²+(ｙｉ−ｙｊ)²]
細分化の度合い（分割パラメータ）はクラスタＫの値で調整することが可能である。ここで、Ｋの値が小さければ、細分化の度合いは小さく（細分化された領域の面積は大きく）なり、Ｋの値が大きければ、細分化の度合いは大きく（細分化された領域の面積は小さく）なる。

本発明は、被写体の大きさに基づいてＫの値を変化させる。この場合被写体は人間であり、検出した顔の大きさに基づいてＫの値を変化させる。ここで、Ｋの値は次のように表される。なお、ｆは顔サイズである。
Ｋ＝ｓ（ｆ）
ｓ（ｆ）は、図２に示すように、顔サイズの大きさによって決まる関数であり、顔サイズが大きいほど大きな値をとる。この実施の形態では、顔の大きさを正方矩形で定義した場合の辺の長さf（顔サイズ）に比例する関数とした。また、Ｋ＝ｓ（ｆ）を適用する範囲には、上限と下限を設定し、そこを外れた範囲は固定値とした。上限は、細分化される領域が大きくなりすぎないような値とし、下限は、検出できる顔サイズの大きさの限界とした。

制御部４は顔認識機能を用いてメモリ８に一時的に記憶された画像データに基づく画像について人の顔を検出し、検出した顔の大きさに応じた正方矩形の辺の長さに基づいて顔サイズｆを検出する。そして、Ｋ＝ｓ（ｆ）＝α×ｆによりＫの値を決定しＫを用いてメモリ８に記憶されている画像データに基づく画像の分割処理を行う。

図３に、顔サイズが大きい場合の画像（ａ）、画像をＫ＝６０で細分化をした場合（ｂ）及び画像をＫ＝１００で細分化をした場合（ｃ）の例を示す。この場合、適したＫの値は６０である。Ｋ＝６０では被写体部分が十分に分割されているが、Ｋ＝１００では、被写体の大きさに対し、過剰に分割されている。

また図４に、顔サイズが小さい場合の画像（ａ）、画像をＫ＝６０で細分化した場合（ｂ）及び画像をＫ＝１００で細分化した場合（ｃ）の例を示す。この場合、適したＫの値は１００である。Ｋ＝６０では被写体部分が分割されない。Ｋ＝１００では、被写体部分が十分に分割されている。

制御部４は、分割処理により細分化された画像の画像データをメモリ８に対し出力し一時的に記憶し、記憶された細分化された画像の画像データに基づいて被写体領域及び背景領域を特定する。そして、特定された被写体領域はＡＦ等の処理に用いられる。即ち、制御部４は特定された被写体領域について図示しないＡＦ駆動部により焦点合わせの動作を行う。

本発明の実施の形態に係るカメラによれば、被写体の大きさに基づいて画像の細分化の度合いを決定するため、抽出したい被写体領域を細分化しつつ出来るだけ領域数が少なくなるように画像の分割を行うことができる。

なお、上述のｋ−ｍｅａｎｓ法とは別の細分化手法として論文（タイトル：Efficient Graph-Based Image Segmentation，著者：Pedro F. Felzenszwalb and Daniel P. Huttenlocher，出典：International Journal of Computer Vision, Volume 59,Number 2, September 2004，参照ＵＲＬ：http:// people.cs.uchicago. edu/~pff/papers/seg-ijcv.pdf）に記載されている手法が知られている。

上述の論文に記載されている細分化手法は、隣接した画素群（領域）を、統合すべきか否かを順次判別する方法である。細分化の度合い（分割パラメータ）は、以下の式で定義する係数τ（Ｃ）によって決定される。ここで、係数τ（Ｃ）は、値が大きいほど統合しやすくさせる。なお、Ｃは領域面積であり、ｋは定数である。
τ（Ｃ）＝ｋ／Ｃ
係数τ（Ｃ）は、領域面積Ｃの逆数となっており、面積が小さいほど統合されやすい効果をもつ。被写体の大きさに基づいてτ（Ｃ）を変化させると、この場合においても被写体が人である場合には、検出した顔サイズの大きさに基づいて、次の式に表すようにτ（Ｃ）を変化させることで、ｋ−ｍｅａｎｓ法と同様の効果を得ることができる。
τ（Ｃ）＝ｓ（ｆ）×ｋ／Ｃ
また、上述の実施の形態において、画面中の動いている部分（動体）を被写体とみなし、動体の大きさに基づいて次の式に表すようにτ（Ｃ）を変化させるようにしてもよい。なお、ｍは動体サイズである。
τ（Ｃ）＝ｓ（ｍ）×ｋ／Ｃ
ｓ（ｍ）は、動体サイズの大きさによって決まる関数であり、動体サイズが大きいほど大きな値をとる。この場合、動体サイズｍに比例する関数とし、動体サイズｍは動体とみなした部分を包含する矩形枠の面積をとした。ここで、図５は動いている人の大きさが小さい場合を示す図であり、図６は動いている人の大きさが大きい場合を示す。

動体部分の検出はどのような方法でもよい。例えば、異なる時間に取得した複数画像において、重ならない部分が動いている部分であるとみなす方法、又は、画像中のサンプリング点の動きベクトルを算出する方法でもよい。

また、上述の実施の形態においては、カメラ２を用いて分割処理を行っているが、パソコン等の画像処理装置を用いて上述の分割処理を行うようにしてもよい。

また、パソコン等の画像処理装置に上述の画像データの分割処理を実施させるプログラムを読み込んで画像データに基づく画像の分割処理を実行するようにしてもよい。即ち、上述の実施の形態で用いられている画像の分割処理プログラムはパソコン等に、画像から被写体の情報を抽出するステップ、被写体の情報に基づいて分割パラメータを決定するステップ、画像について分割パラメータを用いて分割処理を行うステップ、分割パラメータを用いて行われた分割処理情報を出力するステップを実行させる。従って、上述の実施の形態に係る画像データの分割処理プログラムによれば、メモリに予め記憶されている画像データに基づく画像の被写体の大きさに基づいて画像の細分化の度合いを決定するため、抽出したい被写体領域を細分化しつつ出来るだけ領域数が少なくなるように画像の分割を行うことができる。

この場合、画像処理装置の制御部は、メモリに記憶されている画像データに基づく画像について分割処理を行い細分化し、特定された被写体に基づいて画像データに対してホワイトバランス調整を行うようにしてもよい。

また、上述の実施の形態において、分割処理の結果を表示部１４において表示するようにしても良い。例えば細分化された画像において特定された被写体領域及び背景領域について異なる色を用いてＬＣＤ表示部１４に表示するようにしてもよい。

２…カメラ、４…制御部、６…撮像部、８…メモリ、１０…プログラムメモリ、１４…ＬＣＤ表示部、１６…操作部。

Claims (7)

1. 撮像部で撮像された画像の被写体の大きさを検出する検出部と、
   前記画像を、前記画像の画素の特徴量に基づいてグループ化することにより分割する領域の数を設定する設定部と
   を備え、
   前記設定部は、前記検出部で検出された第１の画像の第１の被写体の大きさが、前記検出部で検出された第２の画像の第２の被写体の大きさより大きいと、前記第１の画像を分割する領域の数を、前記第２の画像を分割する領域の数より少なく設定する画像処理装置。
2. 撮像部で撮像された画像の被写体の大きさを検出する検出部と、
   前記画像を、前記画像の画素の特徴量に基づいてグループ化することにより分割する領域の大きさを設定する設定部と
   を備え、
   前記設定部は、前記検出部で検出された第１の画像の第１の被写体の大きさが、前記検出部で検出された第２の画像の第２の被写体の大きさより大きいと、前記第１の画像を分割する領域の大きさを、前記第２の画像を分割する領域の大きさより大きく設定する画像処理装置。
3. 請求項１または２記載の画像処理装置において、
   前記検出部は、前記被写体の大きさとして顔の大きさを検出する画像処理装置。
4. 請求項１から３の何れか一項に記載の画像処理装置において、
   前記設定部により設定された前記領域から前記被写体が撮像されている領域を抽出する抽出部を備える画像処理装置。
5. 請求項４記載の画像処理装置において、
   前記抽出部により抽出された前記被写体の領域に対して画像処理を施す処理部を備える画像処理装置。
6. 請求項４または５に記載の画像処理装置において、
   前記抽出部により抽出された前記被写体の領域と前記被写体の領域以外の領域とが異なるように表示部に表示させる表示制御部を備える画像処理装置。
7. 請求項１から６の何れか一項に記載の画像処理装置と、
   前記撮像部と
   を備える撮像装置。