JP6257292B2 - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、入力画像から所定の領域を示す特定領域を判別して抽出する画像処理装置に関する。

一般に、デジタルカメラなどの撮像装置によって、被写体における明暗の差が激しい撮影シーンを撮影する際、例えば、明るい空を背景として人物および背景を逆光で撮影することがある。このような撮影シーンにおいて、人物および背景の明るさが適正レベルになるように露光を行うと空が飽和してしまう。一方、空の明るさを適正に露光すると、人物および背景が露光アンダーで撮影されてしまう。

このような状態を解決するため、例えば、空および背景の領域を分割して、これら領域の各々に対する最適な露光条件を決定して２枚の画像を撮影し、これら画像を合成するようにした画像処理装置が知られている（特許文献１参照）。さらに、空および背景の領域を分割する手法として、例えば、青色でかつエッジ信号が存在しないという特徴を有する領域を空領域として抽出する手法がある。

特開２００４−１５９２１１号公報

ところが、青色でかつエッジ信号が存在しないという特徴を有する領域を空領域として抽出すると、構図によっては空領域を良好に抽出できないことがある。

図１１は、従来の画像処理装置における空領域の抽出を説明するための図である。そして、図１１（ａ）は構図の一例を示す図であり、図１１（ｂ）は図１１（ａ）に示す構図における空領域の抽出結果を示す図である。

いま、図１１（ａ）に示す構図においては、画面上部に空が位置し、画面下部に背景が位置している。そして、画面上部に空が抜けて見える被写体１１０１が存在する。このような構図において得られた画像について空領域の抽出を行おうとすると、図１１（ｂ）に示すように、画像処理装置は符号Ｂ１で示す領域を背景領域として判定するものの、符号Ｂ２で示す領域にはエッジ領域があるとして背景領域と判定してしまうことになる。そして、画像処理装置は符合Ａ１で示す領域のみを空領域として判定する。

この結果、符合Ｂ２で示す領域に存在する空領域は飽和してしまうことになる。このような問題を解決するため、エッジ信号を確認することなく、色情報のみで領域の判定を行おうとすると、今度は、符号Ｂ１で示す領域に空領域と同一の色の被写体が存在すると、符号Ｂ１で示す領域において空領域と同一の色の被写体が露光アンダーになってしまうという。

従って、本発明の目的は撮影の際の構図に拘わらず、空領域などの特定領域を精度よく判別して抽出することのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、入力画像から特定の領域を特定領域として判別して抽出する画像処理装置であって、前記入力画像の特徴を示す特徴量に応じて前記入力画像を、前記特定領域を含む複数の領域に分割する分割手段と、前記特定領域を除く前記領域の各々について、前記特定領域と予め定められた条件で隣接しているか否かを判定して、前記予め定められた条件で隣接する領域を特定領域候補とする判定手段と、前記特定領域における画素値に応じて基準となる画素値を基準画素値として算出し、さらに、前記特定領域候補における画素値に応じて前記特定領域候補を代表する代表画素値を算出する算出手段と、前記基準画素値および前記代表画素値に応じて前記特定領域候補を前記特定領域に統合するか否かを判定して、その判定結果に基づいて前記特定領域候補を前記特定領域に統合する領域統合手段と、を有することを特徴とする。

本発明による制御方法は、入力画像から特定の領域を特定領域として判別して抽出する画像処理装置の制御方法であって、前記入力画像の特徴を示す特徴量に応じて前記入力画像を、前記特定領域を含む複数の領域に分割する分割ステップと、前記特定領域を除く前記領域の各々について、前記特定領域と予め定められた条件で隣接しているか否かを判定して、前記予め定められた条件で隣接する領域を特定領域候補とする判定ステップと、前記特定領域における画素値に応じて基準となる画素値を基準画素値として算出し、さらに、前記特定領域候補における画素値に応じて前記特定領域候補を代表する代表画素値を算出する算出ステップと、前記基準画素値および前記代表画素値に応じて前記特定領域候補を前記特定領域に統合するか否かを判定して、その判定結果に基づいて前記特定領域候補を前記特定領域に統合する領域統合ステップと、を有することを特徴とする。

本発明による制御プログラムは、入力画像から特定の領域を特定領域として判別して抽出する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記入力画像の特徴を示す特徴量に応じて前記入力画像を、前記特定領域を含む複数の領域に分割する分割ステップと、前記特定領域を除く前記領域の各々について、前記特定領域と予め定められた条件で隣接しているか否かを判定して、前記予め定められた条件で隣接する領域を特定領域候補とする判定ステップと、前記特定領域における画素値に応じて基準となる画素値を基準画素値として算出し、さらに、前記特定領域候補における画素値に応じて前記特定領域候補を代表する代表画素値を算出する算出ステップと、前記基準画素値および前記代表画素値に応じて前記特定領域候補を前記特定領域に統合するか否かを判定して、その判定結果に基づいて前記特定領域候補を前記特定領域に統合する領域統合ステップと、を実行させることを特徴とする。

本発明によれば、特定領域における基準画素値と特定領域候補における代表画素値とに応じて特定領域候補を特定領域に統合するか否かを判定するようにしたので、撮影の際の構図に拘わらず特定領域を精度よく判別して抽出することができる。

本発明の第１の実施形態による画像処理装置を備える撮像装置の一例を示すブロック図である。 図１に示すカメラで行われる領域判別処理を説明するためのフローチャートである。 図１に示すカメラで行われる領域判別を説明するための図であり、（ａ）は画像の一例を示す図、（ｂ）は領域分割後の画像を示す図、（ｃ）は空領域候補を示す図、（ｄ）は領域判別後の画像を示す図である。 空領域がグラデーションを有する際の基準画素値の算出の一例を説明するための図である。 図４に示す画像においてブロック毎の平均輝度を説明するための図であり、（ａ）は垂直方向のブロック位置を０とした場合のブロック毎の平均輝度値を示す図、 （ｂ）は水平方向のブロック位置を０とした場合のブロック毎の平均輝度値を示す図、（ｃ）は垂直方向のブロック位置を３とした場合のブロック毎の平均輝度値を示す図である。 図２に示す空領域統合処理を説明するためのフローチャートである。 本発明の第２の実施形態に係るカメラで行われる空領域統合処理の一例を説明するためのフローチャートである。 空領域候補の画素を空領域の画素とする処理を説明するための図であり、（ａ）は空領域の画素と空領域候補の画素と示す図、（ｂ）は空領域候補の画素を空領域の画素に変更した状態の一例を示す図、（ｃ）は空領域候補の画素を空領域の画素に変更した状態の一例を示す図である。 本発明の第３の実施形態に係るカメラで行われる領域判別処理の一例を説明廃るためのフローチャートである。 図９に示す信頼度分布の算出を説明するための図であり、（ａ）は画素毎の空領域である空確率を示す図、（ｂ）は空確率のヒストグラムを示す図である。 従来の画像処理装置における空領域の抽出を説明するための図であり、（ａ）は構図の一例を示す図であり、（ｂ）は（ａ）に示す構図における空領域の抽出結果を示す図である。

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置を備える撮像装置の一例を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、撮像部１０１を有している。撮像部１０１は撮影レンズユニット（以下単に撮影レンズと呼ぶ）、撮像素子、および撮像素子を駆動するための駆動回路を備えている。そして、撮像素子は、例えば、ＣＣＤ又はＣＭＯＳセンサであり、撮影レンズを介して結像した光学像に応じた電気信号（アナログ画像信号）を出力する。

撮像部１０１から出力されたアナログ画像信号は、Ａ／Ｄ変換回路１０２によってデジタル画像信号（画像データ）に変換される。そして、この画像データは画像処理部１０３に入力される。画像処理部１０３は画像データに対して、既知のホワイトバランス処理、ノイズ抑圧処理、階調変換処理、およびエッジ強調補正処理などを行って、輝度信号Ｙおよび色差信号ＵおよびＶを処理済み画像データとして出力する。さらに、画像処理部１０３は後述する領域判別処理を行う。

画像処理１０３から出力された処理済み画像データは、記憶媒体１０６に記録される。さらに、表示部１０５には処理済み画像データに応じた画像が表示される。制御部１０４は、カメラ全体の制御を司る。つまり、制御部１０は画像処理部１０３、表示部１０５、および記録媒体１０６などの動作を制御する。画像処理部１０３、制御部１０４、表示部１０５、および記憶媒体１０６はバス１０７によって相互に接続され、バス１０７を介して各種データが送受される。

図２は、図１に示すカメラで行われる領域判別処理を説明するためのフローチャートである。なお、図２に示すフローチャートに係る処理は、制御部１０４の制御下で画像処理部１０３によって行われる。また、ここでは、画像データが示す画像には空領域および背景領域が含まれており、空領域と背景領域とを領域判別して分割する場合について説明する。

画像処理部１０３は画像データ（入力画像）を受けると、当該画像データの特徴量に応じて画像を所定のサイズの複数のブロックに分割する。そして、画像処理部１０３は、例えば、ブロック毎に空領域および背景領域を判別する領域判別を行う（ステップＳ２０１）。

空領域（つまり、ここでは特定領域）を判別する際には、例えば、画像処理部１０３はその色が類似する領域を検出する。この際には、画像処理部１０３は画素の色を示すＲＧＢの色情報をＨＳＶ表色系に変換して色相輝度情報を用いて、互いに隣接する領域において同一の色および輝度を有する領域を隣接領域として検出する。画像処理部１０３はこれら隣接領域を統合して統合領域を得る。そして、画像処理部１０３は統合領域の面積が所定の面積（つまり、所定の閾値）以上であると、この統合領域を空領域とする。

図３は、図１に示すカメラで行われる領域判別を説明するための図である。そして、図３（ａ）は画像の一例を示す図であり、図３（ｂ）は領域分割後の画像を示す図である。また、図３（ｃ）は空領域候補を示す図であり、図３（ｄ）は領域判別後の画像を示す図である。

図３（ａ）に示す例では、領域１、領域２、および領域３の全てが空領域として判別される色および輝度情報を有するものとする。ここでは、領域１についてその面積が閾値（面積閾値）以上であるので、画像処理部１０３は領域１を空領域と判定する。一方、領域２および領域３についてはその面積が閾値未満であるので、画像処理部１０３は領域２および領域３については空領域と判定せず背景領域に分類する。

この結果、画像処理部１０３は図３（ａ）に示す元画像について、図３（ｂ）に示すように、空領域および背景領域に分割する。

再び図２を参照して、ステップＳ２０１の処理に続いて、画像処理部１０３は画像に空領域が存在したか否かを判定する（ステップＳ２０２）。空領域が存在しないと（ステップＳ２０２において、ＮＯ）、画像処理部１０３は領域判別処理を終了する。一方、空領域が存在すると（ステップＳ２０２において、ＹＥＳ）、画像処理部１０３は、ステップＳ２０１で背景領域と判別された領域について、空領域候補判定を行って空領域候補（つまり、特定領域候補）である領域が存在するか否かを判定する（ステップＳ２０３）。

空領域候補判定の際には、例えば、画像処理部１０３は空領域にその上左右が囲まれた領域を空領域候補と判定する。図３（ｂ）に示す背景領域において、符号Ａで示す領域に位置する背景領域はその上左右が空領域と接している（背景領域と空領域との境界が存在する：予め定められた条件）。このため、符号Ａで示す領域に位置する背景領域は空領域である可能性が高いので、図３（ｃ）に示すように、符号Ａで示す領域に位置する背景領域は空領域候補とされる。

一方、符号Ｂで示す領域に位置する背景領域については、その左右が空領域と接していない（左右で背景領域と空領域とが接していない）。このため、空領域である可能性が低いので、符号Ｂで示す領域に位置する背景領域については、図３（ｃ）に示すように、背景領域のままとされる。

続いて、画像処理部１０３は空領域における基準画素値（Ｙｓｋｙ，Ｕｓｋｙ，Ｖｓｋｙ）を求める。ここでは、例えば、ステップＳ２０１において空領域と判別した領域における画素値の平均値などを用いて空領域における基準画素値を求める。なお、次のようにして、基準画素値を求めるようにしてもよい。

図４は、空領域がグラデーションを有する際の基準画素値の算出の一例を説明するための図である。

いま、空領域が水平方向のグラデーションを有しているものとすると、画像を複数のブロック１００１に分割して、ブロック１００１の各々について平均輝度値（Ｙ＿ＡＶＥ（ｘｂ，ｙｂ））を求める。なお、ｘｂは水平方向のブロック位置、ｙｂは垂直方向のブロック位置を示す。図示の例では、水平方向のブロック数を１２、垂直方向のブロック数を９とした。

図５は、図４に示す画像においてブロック毎の平均輝度を説明するための図である。そして、図５（ａ）は垂直方向のブロック位置を０とした場合のブロック毎の平均輝度値を示す図であり、図５（ｂ）は水平方向のブロック位置を０とした場合のブロック毎の平均輝度値を示す図である。また、図５（ｃ）は垂直方向のブロック位置を３とした場合のブロック毎の平均輝度値を示す図である。

図５（ａ）において、横軸はブロックの位置、縦軸はブロック毎の平均輝度値を示す。ｙｂ＝０とした場合の平均輝度値Ｙ＿ＡＶＥ（ｘｂ，０）とすると、水平方向におけるブロック間での傾きＧＲＡＤ＿Ｈ（ｘｂ，０）は、次の式（１）で示される。

ＧＲＡＤ＿Ｈ（ｘｂ，０）＝Ｙ＿ＡＶＥ（ｘｂ＋１，０）−Ｙ＿ＡＶＥ（ｘｂ，０） （１）
図示の例では、傾きの平均値（ｘｂ＝０〜１０）が所定の値以上となるので、水平方向に空領域はグラデーションを有すると判定される。

図５（ｂ）では、ｘｂ＝０とした場合の平均輝度値Ｙ＿ＡＶＥ（０，ｙｂ）とすると、垂直方向におけるブロック間での傾きＧＲＡＤ＿Ｖ（０，ｙｂ）は次の式（２）で示される。

ＧＲＡＤ＿Ｖ（０，ｙｂ）＝Ｙ＿ＡＶＥ（０，ｙｂ＋１）−Ｙ＿ＡＶＥ（０，ｙｂ） （２）
図示の例では、傾きの平均値（ｙｂ＝０〜７）が所定の値未満となるので、垂直方向には空領域はグラデーションを有しないと判定される。

空領域は水平方向にグラデーションを有するので、水平方向におけるブロック間の傾きＧＲＡＤ＿Ｈ（ｘｂ，０）とブロック毎の平均輝度値Ｙ＿ＡＶＥ（ｘｂ−１，ｙｂ）とに応じて空領域候補であるブロックの基準輝度値が求められる。基準輝度値Ｙ＿ＴＡＲＧＥＴ（ｘｂ，ｙｂ）は次の式（３）で示される。

Ｙ＿ＴＡＲＧＥＴ（ｘｂ，ｙｂ）＝Ｙ＿ＡＶＥ（ｘｂ−１，ｙｂ）＋ＧＲＡＤ＿Ｈ（ｘｂ，０） （３）
図５（ｃ）に示すｙｂ＝３の場合においては、ｘｂ＝０，１，および２までが空領域のブロックとなるので、ｘｂ＝３，４，５，６，および７のブロックについて空領域候補であるブロックの基準輝度値Ｙ＿ＴＡＲＧＥＴを求める。

同様にして、色情報について基準色相値を求めて、基準輝度値および基準色相値に応じてブロック毎の基準画素値（Ｙ＿ＴＡＲＧＥＴ（ｘｂ，ｙｂ）、Ｕ＿ＴＡＲＧＥＴ（ｘｂ，ｙｂ）、およびＶ＿ＴＡＲＧＥＴ（ｘｂ，ｙｂ））を求める。そして、ブロック毎の基準画素値から、既知の線形補間によって、画素毎に空領域の基準画素値（Ｙｓｋｙ（ｘ，ｙ）、Ｕｓｋｙ（ｘ，ｙ）、Ｖｓｋｙ（ｘ，ｙ））を求める。このようにして、画像処理部１０３は空領域についてその色輝度分布を求めて、目標とする色輝度範囲を定める（ステップＳ２０４）。

再び図２を参照して、ステップＳ２０４の処理に続いて、画像処理部１０３は、ステップＳ２０３の空領域候補判定で空領域候補と判定された画素について空領域統合処理を行う（ステップＳ２０５）。

図６は、図２に示す空領域統合処理を説明するためのフローチャートである。

空領域統合処理を開始すると、画像処理部１０３は、まず着目画素が空領域候補の画素であるか否かを判別する（ステップＳ３０１）。着目画素が空領域候補の画素であると（ステップＳ３０１において、ＹＥＳ）、画像処理部１０３は基準画素値と着目画素の画素値（ここでは代表画素）との差分を検出する（ステップＳ３０２）。例えば、着目画素の画素値が（Ｙ，Ｕ、Ｖ）である場合には、差分ＳＵＢは次の式（４）で求められる。

なお、空領域候補の画素値を代表する画素値を代表画素値として当該代表画素値と基準画素値とを比較して差分を求めるようにしてもよい。

ＳＵＢ＝ＳＱＲＴ（（Ｙ−Ｙｓｋｙ（ｘ，ｙ））＾２＋（Ｕ−Ｕｓｋｙ（ｘ，ｙ））＾２＋（Ｖ−Ｖｓｋｙ（ｘ，ｙ））＾２） （４）
続いて、画像処理部１０３は差分ＳＵＢが予め定められた閾値以下であるか否かを判定する（ステップＳ３０３）。差分ＳＵＢが閾値以下であると（ステップＳ３０３において、ＹＥＳ）、画像処理部１０３は当該着目画素を空領域に統合する（ステップＳ３０４）。そして、画像処理部１０３は次の空領域候補の画素が存在するか否かを判定する（ステップＳ３０５）。

次の空領域候補の画素が存在すると（ステップＳ３０５において、ＮＯ）、画像処理部１０３はステップＳ３０１の処理に戻る。一方、次の空領域候補の画素が存在しないと（ステップＳ３０５において、ＹＥＳ）、画像処理部１０３は空領域統合処理を終了する。

なお、着目画素が空領域候補の画素でないと（ステップＳ３０１において、ＹＥＳ）、画像処理部１０３はステップＳ３０５の処理に進む。同様にして、差分ＳＵＢが閾値を超えていると（ステップＳ３０３において、ＮＯ）、画像処理部１０３ステップＳ３０５の処理に進む。

上述のようにして、空領域統合処理を行った後、画像処理部１０３は領域判別処理を終了する。

このようにして、本発明の第１の実施形態では、空領域候補と判定された画素についてのみ、当該空領域候補の画素が空領域に属するか否かを再度判定する。これによって、例えば、図３（ｄ）に示すように、空が抜けている見える撮影シーンにおいても、空が抜けて見える領域（図３（ａ）に示す領域２および３）を適切に空領域と判定することができる。

なお、第１の実施形態では、画素値の差分を検出するに当たってＹＵＶを用いて表現したが、画素値を表現できるものであれば、ＹＵＶに限るものではない。例えば、Ｌａｂ又はＸＹＺなどをもとるようにしてもよい。また、ここでは、画素値の差分を検出するようにしたが、着目画素の周辺画素も含めた平均値又はブロック単位で処理を行うようにしてもよい。

さらに、第１の実施形態では、空領域と背景領域とを領域判別する例について説明したが、空領域と背景領域とを領域判別に限るものではなく、例えば、人物領域が加わったシーンにおいても同様に適用することができる。いずれにしても、第１の実施形態では特定の領域（つまり、被写体領域）である空領域を精度よく抽出することができる。

加えて、上述の第１の実施形態では、空領域候補の画素を判定する際、空領域に上左右が囲まれた領域を空領域候補と判定するようにしたが、空領域が所定の面積以上である場合に空領域候補を求めるようにしてもよい。

［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置を備えるカメラの一例について説明する。なお、第２の実施形態に係るカメラの構成は図１に示すカメラと同様である。

第２の実施形態に係るカメラは、図２で説明したようにして、領域判別処理を行うが、ここでは、空領域統合処理が第１の実施形態と異なっている。

図７は、本発明の第２の実施形態に係るカメラで行われる空領域統合処理の一例を説明するためのフローチャートである。なお、図示のフローチャートにおいて、図６に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。

ステップＳ３０３の処理において、差分ＳＥＢが閾値（差分閾値）以下と判定すると、画像処理部１０３は着目画素と空領域との距離が所定の閾値（距離閾値）以下であるか否かを判定する（ステップＳ４０４）。距離が距離閾値以下であると（ステップＳ４０４において、ＹＥＳ）、画像処理部１０３はステップＳ３０４の処理に進んで着目画素を空領域に統合する。一方、距離が距離閾値を超えると（ステップＳ４０４において、ＮＯ）、画像処理部１０３は、前述のステップＳ３０５の処理に進む。

図８は空領域候補の画素を空領域の画素とする処理を説明するための図である。そして、図８（ａ）は空領域の画素と空領域候補の画素と示す図であり、図８（ｂ）は空領域候補の画素を空領域の画素に変更した状態の一例を示す図である。また、図８（ｃ）は空領域候補の画素を空領域の画素に変更した状態の一例を示す図である。

図８（ａ）において、空領域に属すると判定された画素をＳｘｘ（ｘ：０〜４）で示し、空領域候補の画素をＨｘｘ（ｘ：０〜４）で示す。正気の距離閾値を２画素として、さらに画素Ｈ２３および画素Ｈ３４と着目画素との差分が差分閾値以下であるとする。

画素Ｈ２３との距離が最小となる空領域の画素は画素Ｓ０３であり、その距離は２画素であるので、画像処理部１０３は画素Ｈ２３を空領域と判定する。ここでは、図８（ｂ）に示すように、画像処理部１０３は空領域候補の画素Ｈ２３を空領域の画素に変更して、当該画素にＳ２３のラベルを付ける。つまり、画像処理部１０３は空領域候補の画素Ｈ２３を空領域に統合する。

画素Ｈ３４については、その距離が最小となる空領域の画素は画素Ｓ２３である。そして、画素Ｈ３４と画素Ｓ２３との距離は２画素以内であるので、画素処理部１０３は画素Ｈ３４を空領域と判定する。画像処理部１０３は空領域候補の画素Ｈ３４を空領域の画素に変更して、当該画素にＳ３４のラベルを付ける（図８（ｃ）参照）。つまり、画像処理部１０３は空領域候補の画素Ｈ３４を空領域に統合する。

このように、本発明の第２の実施形態では、差分が所定の差分閾値以下である空領域候補の画素について空領域との距離が所定の距離閾値以下であるか否かを判定して、その判定結果に応じて当該空領域候補の画素を空領域に統合する。その結果、空が抜けている見える撮影シーンにおいても、空が抜けて見える領域を精度よく空領域と判定することができる。

なお、上述の第２の実施形態では、空領域候補の画素についてのみ空領域との統合処理を行うか否かを判定するようにしたが、全ての背景領域の画素について空領域との統合処理を行うか否かの判定を行うようにしてもよい。

［第３の実施形態］
次に、本発明の第３の実施形態による画像処理装置を備えるカメラの一例について説明する。なお、第３の実施形態に係るカメラの構成は図１に示すカメラと同様である。

図９は、本発明の第３の実施形態に係るカメラで行われる領域判別処理の一例を説明廃るためのフローチャートである。なお、図示のフローチャートにおいて、図２に示すフローチャートにおけるステップと同一のステップについては同一の参照符号を付して説明を省略する。

ステップＳ２０３において、空領域候補の判定を行った後、画像処理部１０３は空領域候補である領域（画素）が存在するか否かを確認する（ステップＳ５０３）。空領域候補である領域が存在しないと（ステップＳ５０３において、ＮＯ）、画像処理部１０３は領域判別処理を終了する。

一方、空領域候補である領域が存在すると（ステップＳ５０３において、ＹＥＳ）、画像処理部１０３は空領域候補の領域について空領域であるか否かの信頼度を示す信頼度分布を算出する（ステップＳ５０４）。

図１０は、図９に示す信頼度分布の算出を説明するための図である。そして、図１０（ａ）は画素毎の空領域である空確率を示す図であり、図１０（ｂ）は空確率のヒストグラムを示す図である。

図１０（ａ）において、横軸は色相を示し、縦軸は空確率を示す。ここでは、画像処理部１０３は空領域候補の画素毎に空領域である空確率を求めるが、着目画素（つまり、空領域候補の画素）の色相Ｈｕｅが色相Ｈｕｅ１以下又は色相Ｈｕｅ４以上であると、画像処理部１０３は空確率を０とする。一方、着目画素の色相Ｈｕｅが色相Ｈｕｅ２以上で色相Ｈｕｅ３以下の場合には、画像処理部１０３は空確率を１とする。

着目画素の色相Ｈｕｅが色相Ｈｕｅ１を超え色相Ｈｕｅ２未満の間の場合には、画像処理部１０３は次の式（５）に応じて空確率を求める。

空確率＝（Ｈｕｅ−Ｈｕｅ１）×（Ｈｕｅ２−Ｈｕｅ１） （５）
同様にして、着目画素の色相Ｈｕｅが色相Ｈｕｅ３を超え色相Ｈｕｅ４未満の間の場合には、画像処理部１０３は次の式（６）に応じて空確率を求める。

空確率＝（Ｈｕｅ−Ｈｕｅ３）×（Ｈｕｅ４−Ｈｕｅ３）＋１ （６）
なお、色相Ｈｕｅを求める際には、Ｌａｂ空間に変換した後、Ｈｕｅ＝ｔａｎ−１（ｂ＊／ａ＊）などの演算が用いられる。

空領域候補の画素の各々について空確率を求めた後、画像処理部１０３は空確率に関するヒストグラムを求める（図１０（ｂ）参照）。そして、画像処理部１０３は当該ヒストグラムの平均値、ピーク値、又は分散値に応じて空領域である信頼度を算出する。例えば、図１０（ｂ）に示すように、ヒストグラムの分散が大きい場合には、空のみでなく背景領域の被写体が混じっている可能性が高く、画像処理部１０３は空領域である信頼度が低いと判定する。この場合には、画像処理部１０３は信頼度を低くする。

続いて、画像処理部１０３は空領域候補についてその信頼度が所定の閾値（信頼度閾値）以上であるか否かを判定する（ステップＳ５０５）。信頼度が信頼度閾値以上であると（ステップＳ５０５において、ＹＥＳ）、画像処理部１０３は空領域候補の画素に係る信頼度が高いと判断して、空領域および背景領域に係る領域分割を行わない（ステップＳ５０６）。そして、画像処理部１０３は領域判別処理を終了する。

一方、信頼度が信頼度閾値未満であると（ステップＳ５０５において、ＮＯ）、画像処理部１０３は空領域候補の画素に係る信頼度が低いと判断して、空領域候補の画素を背景領域として領域分割する（ステップＳ５０７）。そして、画像処理部１０３は領域判別処理を終了する。

このように、本発明の第３の実施形態では、空領域候補について空領域である信頼性を示す信頼度に応じて空領域および背景領域に係る領域分割を行わないようにしたので、空領域および背景領域について誤検出を低減することができる。

上述の説明から明らかなように、図１に示す例においては、制御部１０４および画像処理部１０３が分割手段、判定手段、算出手段、および領域統合手段として機能する。また、ここでは、少なくとも画像処理部１０３および制御部１０４が画像処理装置を構成する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも分割ステップ、判定ステップ、算出ステップ、および領域統合ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０１ 撮像部
１０２ Ａ／Ｄ変換部
１０３ 画像処理部
１０４ 制御部
１０５ 表示部
１０６ 記憶媒体

Claims (10)

1. 入力画像から特定の領域を特定領域として判別して抽出する画像処理装置であって、
   前記入力画像の特徴を示す特徴量に応じて前記入力画像を、前記特定領域を含む複数の領域に分割する分割手段と、
   前記特定領域を除く前記領域の各々について、前記特定領域と予め定められた条件で隣接しているか否かを判定して、前記予め定められた条件で隣接する領域を特定領域候補とする判定手段と、
   前記特定領域における画素値に応じて基準となる画素値を基準画素値として算出し、さらに、前記特定領域候補における画素値に応じて前記特定領域候補を代表する代表画素値を算出する算出手段と、
   前記基準画素値および前記代表画素値に応じて前記特定領域候補を前記特定領域に統合するか否かを判定して、その判定結果に基づいて前記特定領域候補を前記特定領域に統合する領域統合手段と、
   を有することを特徴とする画像処理装置。
2. 前記特徴量は色相および輝度を示す色相輝度情報であり、
   前記分割手段は、前記複数の領域のうち所定の面積以上の領域を前記特定領域とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記領域統合手段は、前記代表画素値と前記基準画素値との差分が予め定められた閾値以下であると前記特定領域候補を前記特定領域に統合することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記領域統合手段は、前記代表画素値と前記基準画素値との差分が予め定められた差分閾値以下であり、かつ前記特定領域候補と前記特定領域との距離が予め定められた距離閾値以下であると前記特定領域候補を前記特定領域に統合することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記領域統合手段は、前記基準画素値および前記代表画素値に応じて前記特定領域候補が前記特定領域である信頼性を示す信頼度を得て、前記信頼度が予め定められた信頼度閾値以上であると前記特定領域候補を前記特定領域に統合することを特徴とする請求項１に記載の画像処理装置。
6. 前記領域統合手段は、前記代表画素値が示す色相に応じて前記特定領域候補が前記特定領域である確率を前記信頼度として得ることを特徴とする請求項５に記載の画像処理装置。
7. 前記基準画素値および前記代表画素値は、それぞれ前記特定領域および前記特定領域候補における画素値の平均値であることを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記特定領域は、空を示す空領域であることを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 入力画像から特定の領域を特定領域として判別して抽出する画像処理装置の制御方法であって、
   前記入力画像の特徴を示す特徴量に応じて前記入力画像を、前記特定領域を含む複数の領域に分割する分割ステップと、
   前記特定領域を除く前記領域の各々について、前記特定領域と予め定められた条件で隣接しているか否かを判定して、前記予め定められた条件で隣接する領域を特定領域候補とする判定ステップと、
   前記特定領域における画素値に応じて基準となる画素値を基準画素値として算出し、さらに、前記特定領域候補における画素値に応じて前記特定領域候補を代表する代表画素値を算出する算出ステップと、
   前記基準画素値および前記代表画素値に応じて前記特定領域候補を前記特定領域に統合するか否かを判定して、その判定結果に基づいて前記特定領域候補を前記特定領域に統合する領域統合ステップと、
   を有することを特徴とする制御方法。
10. 入力画像から特定の領域を特定領域として判別して抽出する画像処理装置で用いられる制御プログラムであって、
    前記画像処理装置が備えるコンピュータに、
    前記入力画像の特徴を示す特徴量に応じて前記入力画像を、前記特定領域を含む複数の領域に分割する分割ステップと、
    前記特定領域を除く前記領域の各々について、前記特定領域と予め定められた条件で隣接しているか否かを判定して、前記予め定められた条件で隣接する領域を特定領域候補とする判定ステップと、
    前記特定領域における画素値に応じて基準となる画素値を基準画素値として算出し、さらに、前記特定領域候補における画素値に応じて前記特定領域候補を代表する代表画素値を算出する算出ステップと、
    前記基準画素値および前記代表画素値に応じて前記特定領域候補を前記特定領域に統合するか否かを判定して、その判定結果に基づいて前記特定領域候補を前記特定領域に統合する領域統合ステップと、
    を実行させることを特徴とする制御プログラム。

Images