JP6131519B2 - 画像処理装置、撮像装置、及び画像処理プログラム - Google Patents

Description

本発明は、画像に含まれる領域を識別する画像処理装置、撮像装置、及び画像処理プログラムに関する。

画像の特徴量のヒストグラムに基づいて、撮像された画像から領域を抽出し、抽出した領域を識別する画像処理装置が開示されている（特許文献１参照）。

特開平４−１００７９号公報

しかしながら、特許文献１に開示された画像処理装置は、撮像された画像から人が注目する領域を抽出すること、すなわち、主要被写体の領域を抽出することができなかった。

本発明は、このような状況に鑑みてなされたもので、撮像された画像から主要被写体の領域を抽出する画像処理装置、撮像装置、及び画像処理プログラムを提供する。

上述した課題を解決するために、本発明は、レンズの位置調節に用いる特定領域を抽出する画像処理装置であって、色情報と輝度情報とにより選別された、画像に含まれる複数の第１被写体領域のうち、前記第１被写体領域を含む領域の中心に対する前記第１被写体領域の形状と前記領域の中心に対する前記第１被写体領域の大きさとにより第２被写体領域を抽出する抽出部と、前記抽出部により抽出された前記第２被写体領域から前記特定領域を選択する選択部と、を備える画像処理装置である。

また、本発明は、レンズからの光を撮像する撮像部と、前記撮像部で撮像された光により得られた画像に含まれる第１被写体領域であって色情報と輝度情報とにより選別された、複数の前記第１被写体領域のうち、前記第１被写体領域を含む領域の中心に対する前記第１被写体領域の形状と前記第１被写体領域を含む領域の中心に対する前記第１被写体領域の大きさとにより第２被写体領域を抽出する抽出部と、前記抽出部により抽出された前記第２被写体領域から前記レンズの位置調節に用いる特定領域を選択する選択部と、を有する画像処理部と、前記特定領域に合焦させるように前記レンズを駆動させる駆動部と、を備える撮像装置である。

また、本発明は、コンピュータに、色情報と輝度情報とにより選別された、画像に含まれる複数の第１被写体領域のうち、前記第１被写体領域を含む領域の中心に対する前記第１被写体領域の形状と前記第１被写体領域を含む領域の中心に対する前記第１被写体領域の大きさとにより第２被写体領域を抽出するステップと、レンズの位置調節に用いる特定領域を、前記第２被写体領域から選択するステップと、を実行させるための画像処理プログラムである。

以上説明したように、本発明によれば、画像から主要被写体の領域を抽出することができる。

本発明の一実施形態によるカメラシステムの構成例を示すブロック図である。 本発明の一実施形態による抽出部が抽出するマスクの例を示す図である。 本発明の一実施形態による評価値算出部が算出する評価値の概要を示す図である。 本発明の一実施形態による画像処理装置の動作例を示すフローチャートである。 本発明の一実施形態による一次評価値と二次評価値との合計値の例を示す図である。 本発明の一実施形態による画像処理装置の動作例を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態によるカメラシステム１の構成を示すブロック図である。カメラシステム１は、レンズ鏡筒１１１と、画像処理装置１３０を備える撮像装置１００と、記憶媒体１９０とを備えている。ここでは、レンズ鏡筒１１１から入射される光学像が、撮像装置１００によって撮像され、得られた画像が静止画又は動画の画像として、記憶媒体１９０に記憶される。

レンズ鏡筒１１１は、合焦レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）１１２と、ＡＦエンコーダ１１３と、鏡筒制御部１１４と、レンズ駆動部１１５とを備えている。レンズ鏡筒１１１は、撮像装置１００に着脱可能に接続されてもよいし、撮像装置１００と一体であってもよい。
ＡＦレンズ１１２は、レンズ駆動部１１５により駆動され、撮像部１１０の撮像素子１１６の受光面（光電変換面）に、光学像を導く。

ＡＦエンコーダ１１３は、ＡＦレンズ１１２の移動を検出し、ＡＦレンズ１１２の移動量に応じた信号を、鏡筒制御部１１４に出力する。ＡＦレンズ１１２の移動量に応じた信号とは、例えば、ＡＦレンズ１１２の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号である。

鏡筒制御部１１４は、撮像装置１００のＣＰＵ１７０から入力される駆動制御信号に応じて、レンズ駆動部１１５を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１２を光軸方向に駆動させる制御信号である。鏡筒制御部１１４は、駆動制御信号に応じて、例えば、レンズ駆動部１１５に出力するパルス電圧のステップ数を変更する。
また、鏡筒制御部１１４は、ＡＦレンズ１１２の移動量に応じた信号に基づいて、レンズ鏡筒１１１におけるＡＦレンズ１１２の位置（フォーカスポジション）を、ＣＰＵ１７０に出力する。ここで、鏡筒制御部１１４は、例えば、ＡＦレンズ１１２の移動量に応じた信号を、ＡＦレンズ１１２の移動方向に応じて積算することで、レンズ鏡筒１１１におけるＡＦレンズ１１２の移動量（位置）を算出することができる。
レンズ駆動部１１５は、鏡筒制御部１１４の制御に応じてＡＦレンズ１１２を駆動し、ＡＦレンズ１１２をレンズ鏡筒１１１内で光軸方向に移動させる。

撮像装置１００は、撮像部１１０と、操作部１２０と、画像処理装置１３０と、表示部１４０と、バッファメモリ部１５０と、記憶部１６０と、ＣＰＵ１７０と、通信部１８０とを備えている。
撮像部１１０は、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ１７０により制御され、撮像を行って画像を生成する。撮像部１１０は、撮像素子１１６と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備えている。
撮像素子１１６は、光電変換面を備え、レンズ鏡筒１１１（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部１１７に出力する。撮像素子１１６は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）により構成される。

また、撮像素子１１６は、操作部１２０を介してユーザからの撮影指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部１１７を介して記憶媒体１９０に記憶させる。一方、撮像素子１１６は、操作部１２０を介してユーザからの撮影指示を受け付けていない状態において、連続的に得られる画像をスルー画像として、バッファメモリ部１５０及び表示部１４０に、Ａ／Ｄ変換部１１７を介して出力する。

Ａ／Ｄ変換部１１７は、撮像素子１１６によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部１５０に出力する。
操作部１２０は、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）等の操作キーを備え、ユーザからの操作入力を受け付け、操作入力に応じた信号をＣＰＵ１７０に出力する。

画像処理装置１３０は、記憶部１６０に記憶されている画像処理条件に基づいて画像処理を行う。画像処理装置１３０は、抽出部１３１と、評価値算出部１３２と、選択部１３３とを備えている。
抽出部１３１は、バッファメモリ部１５０に一時的に記憶されている画像を読み出し、読み出した画像に含まれる複数の被写体領域を抽出する。ここで、抽出部１３１は、バッファメモリ部１５０から取得した画像における複数の特徴毎に、その特徴量を算出する。特徴量には、例えば、動きベクトル、色相、彩度、明度、テクスチャ、エッジ、距離（デプス、デプスマップ、デフォーカス量）、画像におけるコントラスト（例えば、隣接する画素のコントラスト）などがある。

また、抽出部１３１は、これら１種類以上の特徴量に基づいて、特徴量毎に検出した画像に含まれる領域を識別するラベル（識別子）を設定するラベリング処理を行う。ラベルは、特徴量が互いに近い画素により構成された領域であって、グループ化された領域（集合）を示す。ラベリングとは、特徴量が互いに近い（例えば、彩度ｈ＝０〜２０度に該当する）画素に隣接する領域を、順次検出してグループ化することである。例えば、輝度値（Ｙ）＝１２８±３０である領域を検出し（ラベリング）、検出した領域に名称（例えば、ラベル１、ラベル２、…）をつけるのが一般的である。

ここでは、抽出部１３１によるラベリングにより抽出された被写体領域を、マスクという。抽出部１３１は、特徴量に基づいて複数のマスクを検出すると、これら複数のマスクについて、画像における画角中心に基づいて一次評価値（画角評価値）を算出する。一次評価値は、例えば、画角中心に対するマスクのかたまり度合いを示す評価値である。具体的には、例えば、抽出部１３１は、画像における画角中心に対するマスクの位置、形状、かたまり度（慣性モーメント）、大きさ、充填率などのいずれかまたは複数の組み合わせに基づいて一次評価値を算出する。充填率とは、例えば、マスクの外接矩形に対するマスクの占める領域の割合である。

また、抽出部１３１は、算出した一次評価値に基づいて、複数のマスクを抽出する。例えば、抽出部１３１は、ノイズマスク、背景マスク、画面の端にあるマスク等を除去する。図２は、抽出部１３１が抽出するマスクの例を示す図である。抽出部１３１は、符号ａ１に示される画像の画角中心である符号ａ３に対するマスクの評価値を算出する。ここで、抽出部１３１は、符号ａ２に示されるような、画像に対する一定の中心領域の外にあるマスクを除去し、中心領域の中にあるマスクを抽出する。抽出部１３１は、このように抽出したマスクを識別するラベルを、領域毎に記憶部１６０及び記憶媒体１９０に記憶させる。

評価値算出部１３２は、抽出部１３１が抽出したマスク毎に、そのマスクが示す被写体領域における領域の中心であるマスク中心に基づいて二次評価値（領域評価値）を算出する。二次評価値は、例えば、マスク中心に対するマスクのかたまり度合いを示す評価値である。すなわち、抽出部１３１が算出する一次評価値は、画角中心に対するマスクの評価値であることに対し、評価値算出部１３２が算出する二次評価値は、マスク中心に対するマスクの評価値である。図３は、評価値算出部１３２が算出する評価値の概要を示す図である。評価値算出部１３２は、マスクの外接矩形を算出し、外接矩形の中心をマスク中心として、マスク中心に対するマスクの位置、形状、かたまり度（慣性モーメント）、大きさ、充填率、純色度、アスペクト比などのいずれかまたは複数の組み合わせに基づいて二次評価値を算出する。あるいは、例えばマスク中心からの各画素のヒストグラムを、Ｘ方向、Ｙ方向に算出し、偏差の大小に応じて二次評価値を算出することもできる。ここでは、マスクの外接矩形の中心をマスク中心とする例を説明するが、マスクの重心や、マスクの内接矩形の中心をマスク中心とすることもできる。

選択部１３３は、評価値算出部１３２が二次評価値を算出した複数のマスクから、二次評価値に基づいてマスクを選択する。例えば、二次評価値の高いマスクを選択する。また、選択部１３３は、二次評価値に基づいて複数のマスクを選択した場合、複数のマスクのうち、至近側のマスクを選択する。
このように、本実施形態においては、抽出部１３１が算出する画角中心からのマスクの評価値（一次評価値）のみならず、評価値算出部１３２が算出するマスク中心からのマスクの評価値（二次評価値）を算出し、一次評価値と二次評価値とに基づいてマスクを選択する。これにより、一次評価値のみでは選択するマスクが中心に偏ってしまうところ、一定の中心領域にあるマスクについては二次評価値を算出して、マスクを選択することができる。例えば、図２に示したような例の場合、一次評価値のみでは、画角中心に近いマスクＡやマスクＢが選択される場合があった。これに対し、一定の中心領域内のマスクＡ、マスクＢ、マスクＣ、マスクＤのマスク毎の二次評価値に基づいてマスクの選択を行えば、マスクＣやマスクＤ等の、より大きく、より形がかたまっているマスクを選択することができる。

表示部１４０は、例えば液晶ディスプレイであって、撮像部１１０によって得られた画像、及び操作画面等を表示する。
バッファメモリ部１５０は、撮像部１１０によって撮像された画像を、一時的に記憶する。
記憶部１６０は、撮像部１１０によって撮像された画像や、撮像装置１００が備える各部が動作するための各種条件等の情報を記憶する。

ＣＰＵ１７０は、設定された撮像条件（例えば絞り値、露出値等）に従って撮像部１１０やレンズ鏡筒１１１等を制御する。また、ＣＰＵ１７０は、プレ処理又はポスト処理として、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、被写体像（オブジェクト）の追尾の設定、夜景か否かの判定の設定、色補正処理の設定、被写体像の拡大表示の設定、パンニング表示の設定、ズーム倍率に連動した明るさの最適化の設定、などを制御する。
通信部１８０は、カードメモリ等の取り外しが可能な記憶媒体１９０と接続され、この記憶媒体１９０への情報（画像データ、領域の情報など）の書込み、読み出し、あるいは消去を行う。
記憶媒体１９０は、撮像装置１００に対して着脱可能に接続される記憶部であって、情報（画像データ、領域の情報など）を記憶する。なお、記憶媒体１９０は、撮像装置１００と一体であってもよい。

次に、図面を参照して、本実施形態による撮像装置１００の動作例を説明する。図４は、画像処理装置１３０が、一次評価値によってマスクを抽出した後、二次評価値に基づいてマスクを選択する動作例を示すフローチャートである。
操作部１２０にユーザから操作入力が入力されると、撮像部１１０は、画像を撮像し、スルー画像をバッファメモリ部１５０に記憶させる。画像処理装置１３０は、バッファメモリ部１５０に記憶されているスルー画像を読み出し（ステップＳ１）、基本的な画像処理を行う。ここで、基本的な画像処理とは、例えば、簡易的な露出調整（簡易ＡＥ）、ホワイトバランス調整（ＡＷＢ）、ノイズリダクション（ＮＲ）である。

抽出部１３１は、画像の特徴毎に特徴量を算出し、特徴量毎（例えば、特徴が色相である場合、緑色、赤色ごと）に基づいてラベリングし、画像からマスクを抽出する（ステップＳ３）。抽出部１３１は、特徴量毎に抽出した複数のマスクから、ノイズマスク、背景マスクを除去する（ステップＳ４）。また、抽出部１３１は、特徴量毎に抽出した複数のマスクから、画面位置に基づいて一定のマスクを除去する。例えば、画面の端にあるマスクを除去する（ステップＳ５）。抽出部１３１は、特徴量毎に検出したマスクに、そのマスクを識別するラベルを設定し、設定したラベルを、マスク毎に記憶部１６０に記憶させる。

また、抽出部１３１は、検出したマスク毎に画角中心に対する一次評価値を算出する（ステップＳ６）。そして、評価値算出部１３２は、複数のマスクのうち、算出した一次評価値が、例えば上位Ｎ件（Ｎは予め定められた任意の整数）までのＮ個のマスクについて、外接矩形を算出する（ステップＳ７）。また、評価値算出部１３２は、Ｎ個のマスクのそれぞれについて、外接矩形中心からの評価値である二次評価値を算出する（ステップＳ８）。選択部１３３は、評価値算出部１３２が算出したマスク毎の二次評価値を比較し、例えば上位２位までのマスクを選択する（ステップＳ９）。ＣＰＵ１７０は、選択部１３３によって選択されたマスクの領域をＡＦ矩形に整形し（ステップＳ１０）、レンズ鏡筒１１１を制御して設定されたウィンドウにてコントラストスキャンを行い（ステップＳ１１）、至近優先にてＡＦ制御を行う（ステップＳ１２）。これにより、レンズ駆動部１１５が、選択部１３３によって選択されたマスクに合焦するようにＡＦレンズ１１２を駆動させる。

本実施形態では、抽出部１３１が、画角中心に対する中心領域の中にあるマスクを抽出する例を示したが、抽出部１３１は、画角中心ではない特定領域に含まれるマスクを抽出することもできる。特定領域とは、例えば、ズーム倍率に応じて変化する中心領域である。例えば、ズーム倍率が高ければ、特定領域を小さくし、ズーム倍率が低ければ、特定領域を大きくする。あるいは、画角の上半分の領域を特定領域とすることができる。この場合、例えば画像のＥＸＩＦ情報に含まれる画像方向が、縦位置を示すか横位置を示すかに基づいて、画像方向に向かって上側の領域を特定領域とすることができる。あるいは、ユーザから任意の領域を選択する入力を受け付け、選択された領域を特定領域とすることもできる。また、このような特定領域の中心点に基づいて各マスクの評価値を算出することもできる。これによれば、画角中心からの評価値に依存せず、一定の領域内のマスクを等価に評価することができる。
また、抽出部１３１による一次評価値の算出を行わず、評価値算出部１３２によって算出される二次評価値のみに基づいて選択部１３３がマスクを選択することもできる。あるいは、抽出部１３１は、画角全体に含まれるマスクを抽出することもできる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第１の実施形態では、抽出部１３１が、一次評価値に基づく判定を行って複数のマスクを抽出した後に、この複数のマスクについて評価値算出部１３２が二次評価値を算出し、二次評価値に基づいてマスクを選択する例を示した。これに対し、本実施形態では、抽出部１３１が算出した一次評価値と評価値算出部１３２が算出した二次評価値との合計値に基づいて、マスクを選択する。例えば、図５は、一次評価値と二次評価値との合計値の例を示す図である。この図では、大きさやモーメント等に応じた順位に基づく合計値を算出する例を示している。ここでは、マスクＡについての一次評価値の順位が１位であり、二次評価値の順位が３位である。マスクＢについての一次評価値の順位が２位であり、二次評価値の順位が４位である。マスクＣについての一次評価値の順位が４位であり、二次評価値の順位が２位である。マスクＤについての一次評価値の順位が３位であり、二次評価値の順位が１位である。このとき、選択部１３３は、二次評価値の順位の値と、二次評価値の順位に０．５を乗じた値との合計値を算出し、合計値が最も低い（順位が高い）マスクを、選択する。このように、選択部１３３は、抽出部１３１が算出した一次評価値と、評価値算出部１３２が算出した二次評価値との合計値に基づいて、マスクを選択する。

図６は、画像処理装置１３０が、一次評価値と二次評価値との合計値に基づいてマスクを選択する動作例を示すフローチャートである。ステップＳ２１からステップＳ２６までは、ステップＳ１からステップＳ６までの処理と同様である。そして、評価値算出部１３２は、複数のマスクのうち、算出した一次評価値が上位Ｎ件までのＮ個のマスクについて、そのマスクの重心を算出する（ステップＳ２７）。また、評価値算出部１３２は、Ｎ個のマスクのそれぞれについて、重心からの評価値である二次評価値を算出する（ステップＳ２８）。選択部１３３は、抽出部１３１が算出した一次評価値と、評価値算出部１３２が算出した二次評価値の合計値を算出し、マスク毎に算出した合計値を比較し、上位２位までのマスクを選択する（ステップＳ２９）。ステップＳ３０からステップＳ３２は、ステップＳ１０からステップＳ１２までの処理と同様である。

以上説明したように、本実施形態によれば、特徴量に基づいて抽出したマスクについて、まず画角中心の一次評価値を算出し、次に各マスクのマスク中心からの二次評価値を算出し、一次評価値と、二次評価値とに基づいてマスクを選択する。これにより、例えば、画面の中心領域にある複数のマスクを等価に評価し、より適切なマスクを選択することができる。

なお、本発明における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００…撮像装置、１１０…撮像部、１１５…駆動部、１３０…画像処理装置、１３１…抽出部、１３２…評価値算出部、１３３…選択部

Claims (7)

1. レンズの位置調節に用いる特定領域を抽出する画像処理装置であって、
   色情報と輝度情報とにより選別された、画像に含まれる複数の第１被写体領域のうち、前記第１被写体領域を含む領域の中心に対する前記第１被写体領域の形状と前記領域の中心に対する前記第１被写体領域の大きさとにより第２被写体領域を抽出する抽出部と、
   前記抽出部により抽出された前記第２被写体領域から前記特定領域を選択する選択部と、
   を備える画像処理装置。
2. 前記抽出部は、複数の前記第１被写体領域のうち、画角中心に対する前記第１被写体領域の形状と画角中心に対する前記第１被写体領域の大きさとにより前記第２被写体領域を抽出する請求項１に記載の画像処理装置。
3. 前記抽出部は、複数の前記第１被写体領域のうち、前記第１被写体領域の慣性モーメントにより前記第２被写体領域を抽出する請求項１又は請求項２に記載の画像処理装置。
4. 前記選択部は、前記第２被写体領域のうち、至近側に存在する前記第１被写体領域を前記特定領域として選択する請求項１から請求項３のいずれか一項に記載の画像処理装置。
5. 前記抽出部は、前記画像の中心を含み、かつ、前記画像よりも面積が小さい領域に前記第１被写体領域のうち、少なくとも一部の領域が含まれている前記第１被写体領域から前記第２被写体領域を抽出する請求項１から請求項４のいずれか一項に記載の画像処理装置。
6. レンズからの光を撮像する撮像部と、
   前記撮像部で撮像された光により得られた画像に含まれる第１被写体領域であって色情報と輝度情報とにより選別された、複数の前記第１被写体領域のうち、前記第１被写体領域を含む領域の中心に対する前記第１被写体領域の形状と前記第１被写体領域を含む領域の中心に対する前記第１被写体領域の大きさとにより第２被写体領域を抽出する抽出部と、前記抽出部により抽出された前記第２被写体領域から前記レンズの位置調節に用いる特定領域を選択する選択部と、を有する画像処理部と、
   前記特定領域に合焦させるように前記レンズを駆動させる駆動部と、
   を備える撮像装置。
7. コンピュータに、
   色情報と輝度情報とにより選別された、画像に含まれる複数の第１被写体領域のうち、前記第１被写体領域を含む領域の中心に対する前記第１被写体領域の形状と前記第１被写体領域を含む領域の中心に対する前記第１被写体領域の大きさとにより第２被写体領域を抽出するステップと、
   レンズの位置調節に用いる特定領域を、前記第２被写体領域から選択するステップと、
   を実行させるための画像処理プログラム。

Images