JP5471521B2 - 画像処理装置及び方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、複数の対象が遠近方向に存在する環境において、遠い位置にある方の対象に着目した画像処理を行う技術に関する。

従来より、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ：オートフォーカス）処理を実行可能な撮像装置が存在する。代表的なＡＦ処理の手法としては、画像信号に含まれる周波数成分（直流成分を除く）が合焦レンズ位置（フォーカス位置）で最大になることを利用して、画像信号に含まれる周波数成分の量を評価値として合焦状態を検出する、というものが存在する。そして、この手法により検出される評価値は、撮像画像の一領域から検出される。この検出される評価値を、以下、「ＡＦ評価値」と呼び、ＡＦ評価値が検出される当該一領域を、以下、「ＡＦ評価エリア」と呼ぶ。

このようなＡＦ評価エリアの従来の設定手法としては、複数のＡＦ評価エリアの各々に関して合焦レンズ位置を演算し、演算された複数の合焦レンズ位置のうち、最至近の合焦レンズ位置に対応するＡＦ評価エリアを選択する、という手法が特許文献１に記載されている。

特開２００４−３６１４８４号公報

しかしながら、特許文献１に記載の手法では、特異なケースとして動物等の被写体の手前にフェンス等が存在するといった場合は、フェンス等の位置が合焦レンズ位置として算出される場合がある。つまり、フェンス等は被写体よりも手前にあり、撮像装置の最至近に存在することが多いため、フェンス等の位置が合焦レンズ位置として算出されＡＦ評価エリアが選択されて、フェンス等に合焦してしまう。即ち、被写体の手前にフェンス等が存在すると、これを着目すべき被写体と見做し、真に着目すべき被写体に合焦できない場合がある。

本発明は、このような状況に鑑みてなされたものであり、複数の対象が遠近方向に存在する環境において、遠い位置にある方の対象に着目した画像処理を行うこと、例えば手前にフェンス等が存在しても、着目する被写体に合焦させることを目的とする。

本発明の第１の観点によると、
着目する被写体を撮像することによって、撮像画像を出力する撮像手段と、
合焦手段と、
前記撮像手段によって撮像された撮像画像から、前記被写体を含む一部の領域を処理対象領域画像として抽出する抽出手段と、
前記撮像画像の全体から、エッジを検出する検出手段と、
前記抽出手段により抽出された前記処理対象領域画像の中に、前記検出手段により検出された前記エッジと略合致する合致直線が存在するか否かを判断する判断手段と、
前記判断手段により前記処理対象領域画像の中に前記合致直線が存在すると判断された場合、前記処理対象領域画像のうち、前記合致直線の領域を除外した領域を処理対象領域とし、前記処理対象領域に合焦するように前記合焦手段を制御する制御手段と、
を備える画像処理装置を提供する。
本発明の第２の観点によると、
前記判断手段は、前記処理対象領域画像の中に、前記検出手段により前記処理対象領域画像外の領域である非処理対象領域画像で検出されたエッジと略合致する合致直線が存在するか否かを判断する、
画像処理装置を提供する。

本発明の第３の観点によると、
前記制御手段は、さらに、
前記判断手段により前記処理対象領域画像の中に前記合致直線が存在しないと判断された場合、前記処理対象領域画像を処理対象領域とする、
画像処理装置を提供する。

本発明の第４の観点によると、
前記合焦手段は、ＡＦ評価エリアから算出されたＡＦ評価値に基づいて、合焦し、
前記制御手段は、前記処理対象領域に基づいて前記ＡＦ評価エリアを設定し、設定した前記ＡＦ評価エリアから前記ＡＦ評価値を算出することで、前記合焦手段を制御する、
画像処理装置を提供する。
本発明の第５の観点によると、
前記処理対象領域画像をハフ変換した結果と、前記非処理対象領域画像をハフ変換した結果と、を比較することにより合致直線を検出する、
画像処理装置を提供する。

本発明の第６の観点によると、
着目する被写体を撮像することによって、撮像画像を出力する撮像手段と、合焦手段とを備える画像処理装置によって、処理対象画像のうち着目像を含む領域を処理対象領域として、前記処理対象領域を用いた処理を制御するための画像処理方法において、
前記撮像手段によって撮像された撮像画像から、前記被写体を含む一部の領域を処理対象領域画像として抽出する抽出ステップと、
前記処理対象画像の全体から、エッジを検出する検出ステップと、
前記抽出ステップの処理により抽出された前記処理対象領域画像の中に、前記検出ステップの処理により検出された前記エッジと略合致する合致直線が存在するか否かを判断する判断ステップと、
前記判断ステップの処理により前記処理対象領域画像の中に前記合致直線が存在すると判断された場合、前記処理対象領域画像のうち、前記合致直線の領域を除外した領域を処理対象領域として決定し、前記処理対象領域に合焦するように前記合焦手段を制御する制御ステップと、
を含む画像処理方法を提供する。

本発明の第７の観点によると、
着目する被写体を撮像することによって、撮像画像を出力する撮像手段と、合焦手段とを備え、処理対象画像のうち着目像を含む領域を処理対象領域として、前記処理対象領域を用いた処理を制御するコンピュータに、
前記撮像手段によって撮像された撮像画像から、前記被写体を含む一部の領域を処理対象領域画像として抽出する抽出機能と、
前記処理対象画像の全体から、エッジを検出する検出機能と、
前記抽出機能の実現により抽出された前記処理対象領域画像の中に、前記検出機能の実現により検出された前記エッジと略合致する合致直線が存在するか否かを判断する判断機能と、
前記判断機能の実現により前記処理対象領域画像の中に前記合致直線が存在すると判断された場合、前記処理対象領域画像のうち、前記合致直線の領域を除外した領域を処理対象領域として決定し、前記処理対象領域に合焦するように前記合焦手段を制御する制御機能と、
を実現させるためのプログラムを提供する。

本発明によれば、手前にフェンス等が存在しても、着目する被写体に合焦させることができる。

本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 図１の画像処理装置の機能的構成を示す機能ブロック図である。 図２の画像処理装置が実行するＡＦ評価エリア設定処理の流れの一例を示すフローチャートである。 図３のＡＦ評価エリア設定処理の結果の具体例を示している。 図３のＡＦ評価エリア設定処理の結果の具体例を示している。 図３のＡＦ評価エリア設定処理の結果の具体例を示している。 図３のＡＦ評価エリア設定処理の結果の具体例を示している。 図３のＡＦ評価エリア設定処理の結果の具体例を示している。 図３のＡＦ評価エリア設定処理の結果の具体例を示している。

以下、本発明の一実施形態を図面に基づいて説明する。

図１は、本発明の一実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。画像処理装置１は、例えばデジタルカメラにより構成することができる。

画像処理装置１は、光学レンズ装置１１と、ＡＦ機構１２と、シャッタ装置１３と、アクチュエータ１４と、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ１５と、前処理部１６と、ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１７と、信号処理部１８と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１９と、ＣＰＵ２０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２と、表示制御部２３と、表示部２４と、操作部２５と、メモリカード２６と、を備える。

光学レンズ装置１１は、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、ＣＭＯＳセンサ１５の受光面に被写体を結像させるためレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。

ＡＦ機構１２は、ＣＰＵ２０の制御に従って、フォーカスレンズを移動させることで、合焦レンズ位置に合焦させる。

シャッタ装置１３は、例えばシャッタ羽根等から構成される。シャッタ装置１３は、ＣＭＯＳセンサ１５へ入射する光束を遮断する機械式のシャッタとして機能する。シャッタ装置１３はまた、ＣＭＯＳセンサ１５へ入射する光束の光量を調節する絞りとしても機能する。

アクチュエータ１４は、ＣＰＵ２０の制御に従って、シャッタ装置１３のシャッタ羽根を開閉させる。

ＣＭＯＳセンサ１５は、ＣＭＯＳ型の撮像素子を有するイメージセンサである。ＣＭＯＳセンサ１５には、光学レンズ装置１１からシャッタ装置１３を介して被写体が入射される。そこで、ＣＭＯＳセンサ１５は、ＴＧ１７から供給されるクロックパルスに従って、一定時間毎に被写体を光電変換（撮影）して画像信号を画素毎に蓄積し、蓄積した画像信号を出力する。

前処理部１６は、ＴＧ１７から供給されるクロックパルスに従って、ＣＭＯＳセンサ１５から出力される画像信号を、黒レベルの補正等の前処理を実行した上で、信号処理部１８とＤＲＡＭ１９とにそれぞれ出力する。

ＴＧ１７は、ＣＰＵ２０の制御に従って、一定時間毎にクロックパルスをＣＭＯＳセンサ１５と前処理部１６とにそれぞれ供給する。

信号処理部１８は、例えばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等で構成され、ＣＰＵ２０の制御に従って、前処理部１６から供給された画像信号又はＤＲＡＭ１９に記憶された画像信号に対して各種信号処理を実行する。

ＤＲＡＭ１９は、前処理部１６から供給された画像信号、又は信号処理部１８により信号処理が実行された画像信号を一時的に記憶する。ここで、ＣＭＯＳセンサ１５から出力された画素単位の画像信号の、ＣＭＯＳセンサ１５の入力画角内の全画素分の集合体からなる画像データを、以下、フレーム画像データと呼ぶ。本実施形態では、ＤＲＡＭ１９の記憶の単位は、このようなフレーム画像データである。

ＣＰＵ２０は、画像処理装置１全体の動作を制御する。ＲＡＭ２１は、ＣＰＵ２０が各処理を実行する際にワーキングエリアとして機能する。ＲＯＭ２２は、画像処理装置１が各処理を実行するのに必要なプログラムやデータを記憶する。ＣＰＵ２０は、ＲＡＭ２１をワーキングエリアとして、ＲＯＭ２２に記憶されているプログラムとの協働により各種処理を実行する。

例えばＣＰＵ２０は、ＡＦ処理を実行する。即ち、ＣＰＵ２０は、ＡＦ評価エリアを設定し、当該ＡＦ評価エリア内の画像信号に含まれる周波数成分の量を画素単位で積分し、その結果得られる積分値をＡＦ評価値として検出する。そして、ＣＰＵ２０は、検出したＡＦ評価値に基づいて、合焦レンズ距離を決定し、この合焦レンズ距離で合焦するようにＡＦ機構１２を制御する。

表示制御部２３は、ＣＰＵ２０の制御に従って、ＤＲＡＭ１９やメモリカード２６に記憶されているフレーム画像データを読み出して、当該フレーム画像データにより表現される画像（以下、「フレーム画像」と呼ぶ）を表示部２４に表示させる。

操作部２５は、ユーザによる各種ボタンの操作を受け付ける。操作部２５は、例えば電源釦、十字釦、決定釦、メニュー釦、レリーズ釦等を備える。操作部２５は、受け付けた各種ボタンの操作に対応する信号を、ＣＰＵ２０に供給する。ＣＰＵ２０は、操作部２５からの信号に基づいてユーザの操作内容を解析し、その操作内容に応じた処理を実行する。

メモリカード２６は、信号処理部１８により生成された動画像データ（フレーム画像データの集合体）や、静止画像データ（フレーム画像データ）等各種データを記録する。

図２は、このようなハードウェア構成の画像処理装置１が実行する処理のうち、ＡＦ評価エリア設定処理及びＡＦ処理を実現するための機能的構成を示す機能ブロック図である。

図２に示すように、画像処理装置１は、ＡＦ評価エリア設定処理及びＡＦ処理を実現すべく、撮像部５１と、原画像取得部５２と、処理対象領域候補抽出部５３と、エッジ検出部５４と、合致直線判断部５５と、ＡＦ制御部５６と、上述したＡＦ機構１２と、を備えている。

本実施形態では、撮像部５１は、図１の光学レンズ装置１１と、シャッタ装置１３と、ＣＭＯＳセンサ１５と、から構成されている。また、原画像取得部５２乃至ＡＦ制御部５６は、ＣＰＵ２０及び信号処理部１８というハードウェアと、ＲＯＭ３２に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。即ち、本実施形態では、原画像取得部５２乃至ＡＦ制御部５６が実行する各種画像処理のうち少なくとも一部が、ＣＰＵ２０の制御に基づいて信号処理部１８において実行され、残りの一部がＣＰＵ２０において実行される。

撮像部５１は、所定の画角内に存在する被写体を撮像することによって、撮像画像のフレーム画像データを出力する。原画像取得部５２は、撮像部５１から出力された撮像画像のフレーム画像データを、ＡＦ評価エリアの設定用の原画像のフレーム画像データとして取得する。

処理対象領域候補抽出部５３は、原画像取得部５２により取得された原画像のフレーム画像データを用いて、当該原画像から、着目する被写体を含む領域を処理対象領域候補として抽出する。なお、ここでいう処理対象とは、後述するＡＦ制御部５６にとっての処理対象をいう。即ち、後述するように、処理対象領域に基づいてＡＦ評価エリアがＡＦ制御部５６によって設定される。

エッジ検出部５４は、原画像取得部５２により取得された原画像のフレーム画像データを用いて、当該原画像からエッジを検出する。

合致直線判断部５５は、処理対象領域候補抽出部５３により抽出された処理対象領域候補の中に、エッジ検出部５４により検出されたエッジと略合致する直線（以下、「合致直線」と呼ぶ）が存在するか否かを判断する。即ち、合致直線判断部５５は、処理対象領域候補の中から、合致直線を検出する。

ＡＦ制御部５６は、処理対象領域候補の中に合致直線が存在すると合致直線判断部５５により判断された場合、即ち、１以上の合致直線が検出された場合、処理対象領域候補のうち合致直線の領域を除外した領域を、処理対象領域として決定する。即ち、ＡＦ制御部５６は、処理対象領域候補に対して、合致直線の領域がマスクされた領域を、処理対象領域として決定する。そして、ＡＦ制御部５６は、当該処理対象領域に合焦するようにＡＦ機構１２を制御する。即ち、ＡＦ制御部５６は、当該処理対象領域に基づいてＡＦ評価エリアを設定して、当該ＡＦ評価エリアを用いてＡＦ処理を実行する。

なお、合致直線判断部５５により合致直線が検出されない場合、ＡＦ制御部５６は、処理対象領域候補をそのまま、処理対象領域として決定する。そして、ＡＦ制御部５６は、当該処理対象領域をＡＦ評価エリアとして設定して、ＡＦ処理を実行する。

次に、このような機能的構成を有する画像処理装置１が実行するＡＦ評価エリア設定処理について説明する。

図３は、ＡＦ評価エリア設定処理の流れの一例を示すフローチャートである。図４乃至図９は、図３のＡＦ評価エリア設定処理の結果の具体例を示している。

ＡＦ評価エリア設定処理は、操作部２５のレリーズ釦が半押しされる操作がユーザにより行われた場合、その操作を契機として開始される。即ち、当該操作により、上述したように、原画像取得部５２は、撮像部５１から出力された撮像画像のフレーム画像データを、原画像のフレーム画像データとして取得する。例えば図４の例では、檻（フェンス）の中の動物が被写体として撮像された結果得られる原画像１０１のフレーム画像データが、原画像取得部５２により取得されている。ただし、便宜上、図４においては、実際の撮像画像が線図化されたものが、原画像１０１として示されている。このようにして原画像１０１等のフレーム画像データが原画像取得部５２により取得されると、次のようなＡＦ評価エリア設定処理が実行される。

即ち、ステップＳ１において、処理対象領域候補抽出部５３は、原画像のフレーム画像データを用いて、当該原画像から、着目する被写体を含む領域を処理対象領域候補として抽出する。そして、本実施形態では、処理対象領域候補抽出部５３は、抽出した処理対象領域候補に含まれる画素については「１」の画素値を付与し、それ以外の画素については「０」の画素値を付与したバイナリ画像のフレーム画像データを、抽出結果として生成する。このような画像を、以下、「処理対象領域候補画像」と呼び、Ｂ（ｘ，ｙ）と記述する。ここで、ｘは、直角座標系におけるＸ軸（水平方向の軸）の画素位置を示し、ｙは、直角座標系におけるＹ軸（垂直方向の軸）の画素位置を示している。例えば図４の例では、画像１０２のフレーム画像データが、処理対象領域候補画像Ｂ（ｘ，ｙ）のフレーム画像データとして生成されている。即ち、図４の画像１０２のうち、白い領域が処理対象領域候補となっている。

なお、処理対象領域候補の抽出手法は、特に限定されず、任意の手法を採用することができる。例えば、トリーズマンの特徴統合理論に基づく手法を採用することができる。当該手法が採用された場合、処理対象領域候補抽出部５３は、複数の特徴マップ、例えばコントランストに基づく特徴マップ、ヒストグラムの距離に基づく特徴マップ、及び色の分散に基づく特徴マップを生成する。次に、処理対象領域候補抽出部５３は、これら複数の特徴マップを統合し顕著性マップを生成し、この顕著性マップに基づいて処理対象領域候補を抽出する。その他の抽出手法としては、例えば、ジェレミー ウォルフの誘導探索モデルに基づく手法、Ｋｏｃｈ−Ｕｌｍａｎのｓａｌｉｅｎｃｙ ｍａｐの概念に基づく手法、「Ｉｔｔｉ，Ｌ，＆Ｋｏｃｈ，Ｃ．（２００１） Ｎａｔｕｒｅ Ｒｅｖｉｅｗｓ Ｎｅｕｒｏｓｃｉｅｎｃｅ」に基づく手法等を採用することができる。さらにまた、このような従来の抽出手法のみならず、今後出現し得る任意の抽出手法を採用することができる。

ステップＳ２において、エッジ検出部５４は、原画像取得部５２により取得された原画像のフレーム画像データを用いて、エッジ検出画像のフレーム画像データを生成する。具体的には、本実施形態では、エッジ検出部５４は、原画像のフレーム画像データに対してエッジフィルタ処理を施すことによって、エッジ検出画像のフレーム画像データを生成する。このようなエッジ検出画像を、以下、Ｅ（ｘ，ｙ）と記述する。例えば図４の例では、画像１０３のフレーム画像データが、エッジ検出画像Ｅ（ｘ，ｙ）のフレーム画像データとして生成されている。即ち、図４の画像１０３のうち、白い線がエッジを示している。なお、エッジフィルタは、特に限定されず、例えばＰｒｅｗｉｔｔ、Ｓｏｂｅｌ、Ｌａｐｌａｃｉａｎ等の従来の任意のエッジフィルタを採用することもできるし、今後出現し得る任意のエッジフィルタを採用することができる。

ステップＳ３において、合致直線判断部５５は、エッジ検出画像Ｅ（ｘ、ｙ）のフレーム画像データから処理対象領域候補の画像データを切り出すことによって、エッジ検出画像Ｅ（ｘ、ｙ）のフレーム画像データを、処理対象領域画像と非処理対象画像との各々のフレーム画像データに分離する。ここで、処理対象領域画像とは、処理対象領域候補を含むフレーム画像をいい、以下、Ｔ（ｘ，ｙ）と記述する。一方、非処理対象領域画像とは、処理対象領域候補を含まないフレーム画像をいい、以下、Ｎ（ｘ，ｙ）と記述する。

本実施形態では、画素位置（ｘ，ｙ）の画素毎に、次の式（１）が演算されることによって処理対象領域画像Ｔ（ｘ，ｙ）のフレーム画像データが得られ、次の式（２）が演算されることによって非処理対象領域画像Ｎ（ｘ、ｙ）が得られる。
Ｔ（ｘ、ｙ） ＝ Ｂ（ｘ，ｙ）×Ｅ（ｘ、ｙ） ・・・（１）
Ｎ（ｘ、ｙ） ＝ ｛１−Ｂ（ｘ、ｙ）｝×Ｅ（ｘ、ｙ） ・・・（２）

例えば図５の例では、画像１０３が、エッジ検出画像Ｅ（ｘ，ｙ）である。このような画像１０３から分離された処理対象領域画像Ｔ（ｘ，ｙ）が、画像１０５である。また、画像１０３から分離された非処理対象領域画像Ｎ（ｘ、ｙ）が、画像１０４である。

ステップＳ４において、合致直線判断部５５は、非処理対象領域画像Ｎ（ｘ，ｙ）のフレーム画像データに対して、ハフ変換（Ｈｏｕｇｈ変換）を施す。また、ステップＳ５において、合致直線判断部５５は、処理対象領域画像Ｔ（ｘ、ｙ）のフレーム画像データに対してハフ変換を施す。即ち、直角座標系の非処理対象領域画像Ｎ（ｘ、ｙ）の各画素（点）（ｘ，ｙ）は、次の式（３）に従って、ハフ空間Ｎ（ρ，θ）上の１本の正弦曲線に変換される。同様に、直角座標系における処理対象領域画像Ｔ（ｘ，ｙ）の各画素（点）（ｘ，ｙ）は、次の式（３）に従って、ハフ空間Ｔ（ρ，θ）上の１本の正弦曲線に変換される。
ρ ＝ ｘｃｏｓθ＋ｙｓｉｎθ ・・・（３）

例えば図６の例では、非処理対象領域画像Ｎ（ｘ、ｙ）としての画像１０４のフレーム画像データに対してハフ変換が施された結果として、画像１０６で示されるハフ空間Ｎ（ρ，θ）が得られている。また、処理対象領域画像Ｔ（ｘ、ｙ）としての画像１０５のフレーム画像データに対してハフ変換が施された結果として、画像１０７で示されるハフ空間Ｔ（ρ，θ）が得られている。画像１０６及び画像１０７において、各点の値（各画素値）は、その点を通った正弦曲線の数（以下、「投票数」と呼ぶ）を表している。図６の例では、画像１０６及び画像１０７とも、投票数が多い点程白く（明るく）なるように表示されている。

なお、以上説明したステップＳ４及びＳ５の処理の順番は、図３の例に特に限定されず、ステップＳ４とＳ５の処理が同時に実行されてもよいし、ステップＳ５の処理の後にステップＳ４の処理が実行されてもよい。何れにしても、ステップＳ４及びＳ５の処理が終了すると、処理はステップＳ６に進む。

ステップＳ６において、合致直線判断部５５は、合致直線の検出処理を実行する。例えば本実施形態では、合致直線の検出処理として、次のような処理が実行される。

即ち、合致直線判断部５５は、ハフ空間Ｎ（ρ，θ）において、投票数が多い点の位置（画素位置）を決定する。ハフ空間Ｎ（ρ，θ）において、このような投票数が多い点の位置（画素位置）を、以下、多投票座標と称し、ｐｉ（ρｉ，θｉ）と記述する。ここで、ｉは、１乃至Ｋ（Ｋは、１以上の整数値であって、本実施形態では１５とする）の整数値であって、投票数が多い順番に付された値である。即ち、本実施形態では、最大の多投票座標ｐ１（ρ１，θ１）を筆頭にして、１５個の多投票座標ｐ１（ρ１，θ１）乃至ｐ１５（ρ１５，θ１５）が得られることになる。なお、図６においては、説明の便宜上、上位５位までの多投票座標ｐ１（ρ１，θ１）乃至ｐ５（ρ５，θ５）が、それぞれ符号ｐ１乃至ｐ５を付された上で図示されており、上位６位以下の多投票座標ｐ６（ρ６，θ６）乃至ｐ１５（ρ１５，θ１５）の図示は省略されている。

このようにして得られた１５個の多投票座標ｐ１（ρ１，θ１）乃至ｐ１５（ρ１５，θ１５）は、元のＸ軸とＹ軸とで構成される直角座標系に逆ハフ変換されると、図７においては白い領域として示されているように、上位１５本の直線らしい点（画素）の集合体になる。以下、ハフ空間上の多投票座標を逆変換した結果得られる、直線らしい点の集合体を、「検出直線」と呼ぶ。図７の画像と図４の原画像１０１とを比較するに、図７における各検出直線は、原画像１０１の檻（フェンス）を精度よく検出した各直線となっていることがわかる。

次に、合致直線判断部５５は、エッジ検出画像Ｅ（ｘ，ｙ）の中から、非処理対象領域画像Ｎ（ｘ、ｙ）の検出直線と合致する直線、即ち、合致直線を検出する。このような合致直線の検出手法は、特に限定されないが、本実施形態では次のような手法が採用されている。

即ち、合致直線判断部５５は、ハフ空間Ｔ（ρ，θ）において、ハフ空間Ｎ（ρ，θ）の中から得られた１５個の多投票座標ｐ１（ρ１，θ１）乃至ｐ１５（ρ１５，θ１５）の各々と同一の座標を、１５個の投票座標ｔ１（ρ１，θ１）乃至ｔ１５（ρ１５，θ１５）の各々として求める。

ここで、投票座標ｔｉ（ρｉ，θｉ）に対する逆ハフ変換の結果が、多投票座標ｐｉ（ρ１，θ１）の検出直線と合致する度合を、以下、「直線合致度」と呼ぶ。このような直線合致度が高いことは、投票座標ｔｉ（ρｉ，θｉ）に対する逆ハフ変換の結果は、多投票座標ｐｉ（ρｉ，θｉ）の検出直線との合致直線である可能性が高いことを意味する。そこで、本実施形態では、合致直線判断部５５は、次のようにして直線合致度を求め、この直線合致度を用いて合致直線を検出する。

即ち、合致直線判断部５５は、ｉ＝１乃至１５の投票座標ｔｉ（ρｉ，θｉ）の各値（各投票数）と、所定の閾値ｔｈとを比較することによって、投票座標ｔｉ（ρｉ，θｉ）の直線合致度を求める。具体的には、本実施形態では、直線合致度は高い又は低いといった２値で表現されている。そこで、合致直線判断部５５は、次の式（４）の不等式を満たす場合には、投票座標ｔｉ（ρｉ，θｉ）の直線合致度は高いと判断する。これに対して、合致直線判断部５５は、次の式（４）の不等式を満たさない場合には、投票座標ｔｉ（ρｉ，θｉ）の直線合致度は低いと判断する。
ｔｉ（ρｉ，θｉ） ＞ ｔｈ ・・・（４）

これにより、合致直線判断部５５は、直線合致度が高い投票座標ｔｉ（ρｉ，θｉ）に対して逆ハフ変換を施すことによって、合致直線を検出することが可能になる。

さらに以下、図６の例、即ち、画像１０６で示されるハフ空間Ｎ（ρ，θ）から得られた上位５個の多投票座標ｐ１（ρ１，θ１）乃至ｐ５（ρ５，θ５）のみの例を用いて、合致直線の検出手法について具体的に説明する。

画像１０６で示されるハフ空間Ｎ（ρ，θ）から得られた上位５個の多投票座標ｐ１（ρ１，θ１）乃至ｐ５（ρ５，θ５）の各々と同一の座標が、画像１０７で示されるハフ空間Ｔ（ρ，θ）から、投票座標ｔ１（ρ１，θ１）乃至ｔ５（ρ５，θ５）の各々として求められる。なお、図６においては、投票座標ｔ１（ρ１，θ１）乃至ｔ５（ρ５，θ５）が、それぞれ符号ｔ１乃至ｔ５を付された上で図示されており、

ここで、投票座標ｔ１（ρ１，θ１）及びｔ４（ρ４，θ４）の値（投票数）は、画像１０７において暗くなっている（黒に近い）ことからわかるように、閾値ｔｈ未満となっている。従って、投票座標ｔ１（ρ１，θ１）及びｔ４（ρ４，θ４）の合致度は低いため、非処理対象領域画像Ｎ（ｘ、ｙ）における多投票座標ｐ１（ρ１，θ１）及びｐ４（ρ４，θ４）の各検出直線は、処理対象領域画像Ｔ（ｘ、ｙ）においては合致直線としては存在しないことになる。

これに対して、投票座標ｔ２（ρ２，θ２）、ｔ３（ρ３，θ３）、及びｔ５（ρ５，θ５）の値（投票数）は、画像１０７において明るくなっている（白に近い）ことからわかるように、閾値ｔｈを超えている。従って、投票座標ｔ２（ρ２，θ２）、ｔ３（ρ３，θ３）、及びｔ５（ρ５，θ５）の各々の直線合致度は高いため、非処理対象領域画像Ｎ（ｘ、ｙ）における、多投票座標ｐ２（ρ２，θ２）、ｐ３（ρ３，θ３）、及びｐ５（ρ５，θ５）の各検出直線の合致直線が、処理対象領域画像Ｔ（ｘ、ｙ）においても、投票座標ｔ２（ρ２，θ２）、ｔ３（ρ３，θ３）、及びｔ５（ρ５，θ５）の各検出直線として存在することになる。

以上の結果は、図６の下側の図にも示されている。即ち、図６の下側の図においては、非処理対象領域画像Ｎ（ｘ、ｙ）である画像１０４において、多投票座標ｐ１（ρ１，θ１）乃至ｐ５（ρ５，θ５）の各々に対応する元の直線の箇所に、符号ｐ１乃至ｐ５が付されている。同様に、処理対象領域画像Ｔ（ｘ、ｙ）である画像１０５において、投票座標ｔ１（ρ１，θ１）乃至ｔ５（ρ５，θ５）のうち、直線合致度が高い投票座標ｔ２（ρ２，θ２）、ｔ３（ρ３，θ３）、及びｔ５（ρ５，θ５）の各々に対応する元の直線の箇所に、符号ｔ２，ｔ３，ｔ５の各々が付されている。このことは、非処理対象領域画像Ｎ（ｘ、ｙ）である画像１０４において、多投票座標ｐ２（ρ２，θ２）、ｐ３（ρ３，θ３）、及びｐ５（ρ５，θ５）の各々に対応する元の直線は、処理対象領域画像Ｔ（ｘ、ｙ）である画像１０５においても同様に、投票座標ｔ２（ρ２，θ２）、ｔ３（ρ３，θ３）、及びｔ５（ρ５，θ５）の各々に対応する元の直線として、即ち合致直線として確認できていることを意味している。逆に、このことは、非処理対象領域画像Ｎ（ｘ、ｙ）である画像１０４において、多投票座標ｐ１（ρ１，θ１）及びｐ４（ρ４，θ４）の各々に対応する元の直線は、処理対象領域画像Ｔ（ｘ、ｙ）である画像１０５においては、被写体を示す処理対象領域候補以外の場所に存在するために、確認できないことを意味している。

なお、図６の下側の処理対象領域画像Ｔ（ｘ、ｙ）である画像１０５においては、投票座標ｔ２（ρ２，θ２）、ｔ３（ρ３，θ３）、及びｔ５（ρ５，θ５）の各々に対応する元の直線以外にも、数本の直線（合致直線として検出される元の直線）が示されている。これらの直線は、上述の説明の対象外であった上位６位以降の投票座標ｔｉ（ρｉ，θｉ）のうちの数点に対応する元の直線であり、これらの数点の投票座標ｔｉ（ρｉ，θｉ）も閾値ｔｈを超えて、直線合致度が高いと判定されることになる。

以上のことから、合致直線判断部５５は、ｉ＝１乃至１５の投票座標ｔｉ（ρｉ，θｉ）のうち、閾値ｔｈを超える値（投票数）を有するものに対して、逆ハフ変換を施すことで、合致直線を求めることが可能になる。例えば図６に示す投票座標ｔ２（ρ２，θ２）、ｔ３（ρ３，θ３）、及びｔ５（ρ５，θ５）を含め、閾値ｔｈを超える値（投票数）を有する幾つかの投票座標ｔｉ（ρｉ，θｉ）に対して、逆ハフ変換が施されると、図８の画像１０８に示されるような幾つかの合致直線が検出される。

このようにして、図３のステップＳ６の処理で、合致直線判断部５５による合致直線の検出処理が終了すると、その処理結果はＡＦ制御部５６に通知される。これにより、処理はステップＳ７に進む。

ステップＳ７において、ＡＦ制御部５６は、合致直線が検出されたか否かを判定する。

ステップＳ６の処理で、合致直線判断部５５により１以上の合致直線が検出された場合、処理はステップＳ８に進む。ステップＳ８において、ＡＦ制御部５６は、処理対象領域候補に対して、１以上の合致直線の領域がマスクされ、処理対象領域候補の合致直線領域をマスクした領域を処理対象領域として決定する。そして、ＡＦ制御部５６は、当該処理対象領域に基づいてＡＦ評価エリアを設定する。これにより、ＡＦ評価エリア設定処理は終了となり、その後、ＡＦ制御部５６は、このようにして設定されたＡＦ評価エリアを用いてＡＦ処理を実行する。

例えば上述の図４乃至図８の例では、処理対象領域候補抽出部５３の抽出結果は、処理対象領域候補画像Ｂ（ｘ，ｙ）として、図４や図８に示す画像１０２のフレーム画像データとして得られている。一方、合致直線判断部５５による合致直線の検出結果として、例えば図８に示すように、合致直線上の画素については「０」の画素値（黒の値）を付与し、それ以外の画素については「１」の画素値（白の値）を付与した画像１０８のフレーム画像データが用いられるとする。なお、このような画像を、以下、「合致直線含有画像」と呼ぶ。この場合、ＡＦ制御部５６は、図８に示すように、処理対象領域候補画像Ｂ（ｘ，ｙ）としての画像１０２のフレーム画像データと、合致直線含有画像としての画像１０８のフレーム画像データとを乗算することで、画像１０９のフレーム画像データを得ることができる。なお、以下、画像１０９のように、合致直線の領域がマスクされた画像を、「直線マスク画像」と呼び、Ｍ（ｘ，ｙ）と記述する。即ち、図８の例では、直線マスク画像Ｍ（ｘ、ｙ）である画像１０９のうち白い領域が、檻（非被写体）を除外した動物（被写体）のみを含む処理対象領域となる。従って、ＡＦ制御部５６は、図９の画像１１０に示すように、当該処理対象領域をＡＦ評価エリアとして設定して、ＡＦ処理を実行することが可能になる。

なお、ｉ＝１乃至１５の投票座標ｔｉ（ρｉ，θｉ）の全ての値（投票数）が閾値ｔｈ未満である場合、即ち、合致直線が検出されなかった場合、図３のステップＳ７においてＮＯであると判定され、処理はステップＳ９に進む。ステップＳ９において、ＡＦ制御部５６は、処理対象領域候補をそのまま処理対象領域として決定する。そして、ＡＦ制御部５６は、当該処理対象領域をＡＦ評価エリアとして設定する。これにより、ＡＦ評価エリア設定処理は終了となり、その後、ＡＦ制御部５６は、このようにして設定されたＡＦ評価エリアを用いてＡＦ処理を実行する。

以上説明したように、本実施形態に係る画像処理装置１は、撮像された原画像から、着目する被写体を含む領域を処理対象領域候補として抽出し、また、原画像から、エッジを検出する。画像処理装置１は、抽出された処理対象領域候補の中に、検出されたエッジと略合致する合致直線が存在するか否かを判断する。画像処理装置１は、処理対象領域候補の中に合致直線が存在すると判断した場合、処理対象領域候補のうち、合致直線の領域を除外した領域、即ち合致直線をマスクした領域を、処理対象領域として決定し、処理対象領域に基づいてＡＦ評価エリアを設定して、ＡＦ処理を実行する。

これにより、動物等の被写体の手前にフェンス等が存在した場合であっても、フェンス等は合致直線として検出されるので、フェンス等はマスクされた状態で、ＡＦ評価エリアが設定される。即ち、このようにして設定されたＡＦ評価エリア内には、フェンス等は存在せず、被写体のみが存在することになる。よって、このようなＡＦ評価エリアに基づいてＡＦ処理が実行されることで、手前にフェンス等が存在しても、着目する被写体に合焦させることが可能になる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述した実施形態では、「処理対象領域」の「処理」とは、ＡＦ処理を意味していたが、特にこれに限定されない。例えば、処理対象領域から適正露出を算出するＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）処理であってもよいし、処理対象領域を適正なホワイトバランスに補正するＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）処理であってもよく、任意の画像処理で用いられる領域を、処理対象領域とすることができる。また、画像処理で用いられる処理対象画像も、特に撮像画像に限定されず、着目像の手前にフェンスや柱等が存在する任意の画像を採用することができる。このような場合、本発明に係る画像処理装置は、次のような処理を実行することができる。

即ち、本発明に係る画像処理装置は、処理対象画像から、着目像を含む領域を処理対象領域候補として抽出し、また、処理対象画像から、エッジを検出する。画像処理装置は、抽出された処理対象領域候補の中に、検出されたエッジと略合致する合致直線が存在するか否かを判断する。画像処理装置は、処理対象領域候補の中に合致直線が存在すると判断した場合、処理対象領域候補のうち、合致直線の領域を除外した領域、即ち、合致直線をマスクした領域を処理対象領域として決定し、処理対象領域を用いた処理を制御する。

また例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラとして構成される例として説明した。しかしながら、本発明は、デジタルカメラに特に限定されず、画像処理機能を有する電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ２２や、図示せぬハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１・・・画像処理装置、１１・・・光学レンズ装置、１２・・・ＡＦ機構、１３・・・シャッタ装置、１４・・・アクチュエータ、１５・・・ＣＭＯＳセンサ、１６・・・前処理部、１７・・・ＴＧ、１８・・・信号処理部、１９・・・ＤＲＡＭ、２０・・・ＣＰＵ、２１・・・ＲＡＭ、２２・・・ＲＯＭ、２３・・・表示制御部、２４・・・表示部、２５・・・操作部、２６・・・メモリカード、５１・・・撮像部、５２・・・原画像取得部、５３・・・処理対象領域候補抽出部、５４・・・エッジ検出部、５５・・・合致直線判断部、５６・・・ＡＦ制御部

Claims (7)

1. 着目する被写体を撮像することによって、撮像画像を出力する撮像手段と、
   合焦手段と、
   前記撮像手段によって撮像された撮像画像から、前記被写体を含む一部の領域を処理対象領域画像として抽出する抽出手段と、
   前記撮像画像の全体から、エッジを検出する検出手段と、
   前記抽出手段により抽出された前記処理対象領域画像の中に、前記検出手段により検出された前記エッジと略合致する合致直線が存在するか否かを判断する判断手段と、
   前記判断手段により前記処理対象領域画像の中に前記合致直線が存在すると判断された場合、前記処理対象領域画像のうち、前記合致直線の領域を除外した領域を処理対象領域とし、前記処理対象領域に合焦するように前記合焦手段を制御する制御手段と、
   を備える画像処理装置。
2. 前記判断手段は、前記処理対象領域画像の中に、前記検出手段により前記処理対象領域画像外の領域である非処理対象領域画像で検出されたエッジと略合致する合致直線が存在するか否かを判断する、
   請求項１に記載の画像処理装置。
3. 前記制御手段は、さらに、
   前記判断手段により前記処理対象領域画像の中に前記合致直線が存在しないと判断された場合、前記処理対象領域画像を処理対象領域とする、
   請求項１又は２に記載の画像処理装置。
4. 前記合焦手段は、ＡＦ評価エリアから算出されたＡＦ評価値に基づいて、合焦し、
   前記制御手段は、前記処理対象領域に基づいて前記ＡＦ評価エリアを設定し、設定した前記ＡＦ評価エリアから前記ＡＦ評価値を算出することで、前記合焦手段を制御する、
   請求項１乃至３いずれか一項に記載の画像処理装置。
5. 前記処理対象領域画像をハフ変換した結果と、前記非処理対象領域画像をハフ変換した結果と、を比較することにより合致直線を検出する、
   請求項２に記載の画像処理装置。
6. 着目する被写体を撮像することによって、撮像画像を出力する撮像手段と、合焦手段とを備える画像処理装置によって、処理対象画像のうち着目像を含む領域を処理対象領域として、前記処理対象領域を用いた処理を制御するための画像処理方法において、
   前記撮像手段によって撮像された撮像画像から、前記被写体を含む一部の領域を処理対象領域画像として抽出する抽出ステップと、
   前記処理対象画像の全体から、エッジを検出する検出ステップと、
   前記抽出ステップの処理により抽出された前記処理対象領域画像の中に、前記検出ステップの処理により検出された前記エッジと略合致する合致直線が存在するか否かを判断する判断ステップと、
   前記判断ステップの処理により前記処理対象領域画像の中に前記合致直線が存在すると判断された場合、前記処理対象領域画像のうち、前記合致直線の領域を除外した領域を処理対象領域として決定し、前記処理対象領域に合焦するように前記合焦手段を制御する制御ステップと、
   を含む画像処理方法。
7. 着目する被写体を撮像することによって、撮像画像を出力する撮像手段と、合焦手段とを備え、処理対象画像のうち着目像を含む領域を処理対象領域として、前記処理対象領域を用いた処理を制御するコンピュータに、
   前記撮像手段によって撮像された撮像画像から、前記被写体を含む一部の領域を処理対象領域画像として抽出する抽出機能と、
   前記処理対象画像の全体から、エッジを検出する検出機能と、
   前記抽出機能の実現により抽出された前記処理対象領域画像の中に、前記検出機能の実現により検出された前記エッジと略合致する合致直線が存在するか否かを判断する判断機能と、
   前記判断機能の実現により前記処理対象領域画像の中に前記合致直線が存在すると判断された場合、前記処理対象領域画像のうち、前記合致直線の領域を除外した領域を処理対象領域として決定し、前記処理対象領域に合焦するように前記合焦手段を制御する制御機能と、
   を実現させるためのプログラム。

Images