JP6855207B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像中の対象を認識する技術に関する。

従来から、画像中の対象（被写体）を認識する画像認識技術が知られている。例えば、画像中に存在する顔の位置を認識する顔認識、人体を検出する人体検出、画像が撮像された環境や状況を認識するシーン認識、画像中の各画素の意味的なカテゴリを認識する意味的領域分割などである。

しかしながら、画像情報のみに基づいて画像中の対象を認識することが、困難となる場合がある。例えば、意味的領域分割において、画像中の被写体を空と空以外の１以上のカテゴリとに分類する際、画像情報のみでは、空に類似した白い壁や水面といった領域を空と誤認識してしまうことがある。また、学習事例数が少ない場合、様々な色やテクスチャを持つ空を認識することは困難である。

そこで、撮像時に得られる撮像系の位置や姿勢などの情報を利用して地平線や水平線を推定し、画像の認識を行う技術が知られている。非特許文献１には、撮像系の姿勢から得られた水平線や地平線の情報に基づいて領域分割を行うことが開示されている。

Ｊｉｎｇ Ｗａｎｇ，Ｇｒａｎｔ Ｓｃｈｉｎｄｌｅｒ，Ｉｒｆａｎ Ｅｓｓａ， ’Ｏｒｉｅｎｔａｔｉｏｎ−Ａｗａｒｅ Ｓｃｅｎｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｆｏｒ Ｍｏｂｉｌｅ Ｃａｍｅｒａｓ’，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１２ ＡＣＭ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｕｂｉｑｕｉｔｏｕｓ Ｃｏｍｐｕｔｉｎｇ，ｐｐ．２６０−２６９ Ｒ．Ａｃｈａｎｔａ，Ａ．Ｓｈａｊｉ，Ｋ．Ｓｍｉｔｈ，Ａ．Ｌｕｃｃｈｉ，Ｐ．Ｆｕａ，ａｎｄ Ｓ．Ｓｕｓｓｔｒｕｎｋ，ＳＬＩＣ Ｓｕｐｅｒｐｉｘｅｌｓ Ｃｏｍｐａｒｅｄ ｔｏ Ｓｔａｔｅ−ｏｆ−ｔｈｅ−ａｒｔ Ｓｕｐｅｒｐｉｘｅｌ Ｍｅｔｈｏｄｓ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．３４，ｎｕｍ．１１，ｐ．２２７４−２２８２，２０１２． Ｔｉｍｏ Ｏｊａｌａ，Ｍａｔｔｉ Ｐｉｅｔｉｋaｉｎｅｎ，ａｎｄ Ｄａｖｉｄ Ｈａｒｗｏｏｄ． Ａ ｃｏｍｐｅｒａｔｉｖｅ ｓｔｕｄｙ ｏｆ ｔｅｘｔｕｒｅ ｍｅａｓｕｒｅｓ ｗｉｔｈ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｂａｓｅｄ ｏｎ ｆｅａｔｕｒｅｄ ｄｉｓｔｒｉｂｕｔｉｏｎｓ．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｖｏｌ．２９，Ｎｏ．１，ｐｐ．５１−５９，１９９６．

しかし、撮像系の姿勢のみから推定される地平線や水平線を利用しただけでは、地平線や水平線よりも上方に存在する非空領域（空以外のカテゴリの領域）を空領域として誤判別する可能性があった。そこで、本発明は、より精度良く空領域を認識できるようにすることにある。

上記課題を解決するために、本発明は、
撮像装置による撮像により得られた画像を複数の領域に分割する分割手段と、
前記領域ごとに前記画像の画像情報に基づく第１の特徴を抽出する抽出手段と、
前記撮像装置の前記撮像の際の姿勢を示す姿勢情報を取得する第１の取得手段と、
前記第１の取得手段により取得された前記姿勢情報に基づいて、前記画像における水平線または地平線を推定する第１の推定手段と、
前記画像の所定領域ごとの被写体と前記撮像装置との距離を示す距離情報を取得する第２の取得手段と、
前記抽出手段により抽出された前記第１の特徴と、前記第１の推定手段による推定結果と、前記第２の取得手段により取得される前記距離情報とを統合した、前記領域ごとの第２の特徴を取得する第３の取得手段と、
前記領域ごとの前記第２の特徴と、隣接する領域の前記第２の特徴とに基づいて、前記領域ごとの第３の特徴を取得する第４の取得手段と、
学習された識別器への、前記第４の取得手段により取得された前記領域ごとの前記第３の特徴の入力に対する出力に基づいて、前記画像における空領域を推定する第２の推定手段と、
を有することを特徴とする。

以上の構成によれば、本発明は、より精度良く空領域を認識できるようになる。

第１の実施形態に係る画像処理装置の機能構成を示すブロック図。 第１の実施形態に係る画像処理の詳細を示すフローチャート。 第１の実施形態において撮像系の姿勢情報を説明する図。 第１の実施形態おいて地平線／水平線尤度マップの生成を説明する図。 第１の実施形態において隣接ＳＰの分類を説明する図。 第１の実施形態において隣接ＳＰの統計値を算出する方法を説明する図。 第２の実施形態に係る画像処理装置の機能構成を示すブロック図。 第２の実施形態に係る画像処理の詳細を示すフローチャート。 第２の実施形態においてエッジ強度マップの生成を説明する図。 第３の実施形態に係る画像処理装置の機能構成を示すブロック図。 第３の実施形態に係る画像処理の詳細を示すフローチャート。 第４の実施形態に係る画像処理装置の機能構成を示すブロック図。 第４の実施形態に係る画像処理の詳細を示すフローチャート。

［第１の実施形態］
以下、図面を参照して本発明の第１の実施形態を詳細に説明する。本実施形態では、画像認識の一例として、画像中に存在する被写体のカテゴリを判別し、カテゴリの領域ごとに分割する意味的領域分割の場合について説明する。被写体のカテゴリには、空と、空以外の、例えば、人体、草木、建物、車、道路といった一般的なＣ個のカテゴリとする。

図１は、本実施形態に係る画像処理装置の機能構成を示すブロック図であり、図１（ａ）は画像認識時の機能構成を示している。画像処理装置は、画像認識を行う対象の画像を取得するための画像取得部１０１、取得された画像を部分領域に分割する部分領域分割部１０２、撮像系の姿勢を取得する撮像系姿勢取得部１０３を有する。また、撮像系の姿勢から画像中の水平線または地平線を推定する地平線／水平線位置推定部１０４、取得画像の距離情報を取得する距離情報取得部１０５を有する。また、画像と距離情報及び水平線または地平線の位置に基づいて部分領域ごとに特徴量を抽出する部分領域特徴抽出部１０６、部分領域特徴量に基づいて空境界を推定する空境界推定部１０７を有する。また更に、空境界判別器を保持する空境界判別器保持部１０９、前記部分領域特徴量と推定された前記空境界に基づいて部分領域のカテゴリを認識する部分領域判別部１０８、部分領域判別器を保持する部分領域判別器保持部１１０を有する。

この画像処理装置は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のハードウェア構成を備え、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、例えば、上述した各機能構成の処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。ＨＤは、ＣＰＵが処理を実行する際に要する各種のプログラム、閾値に関するデータ等を含む各種のデータを格納する記憶領域を有する。

ここで、本実施形態に係る画像処理装置の各機能部による処理の詳細を、図２を用いて説明する。図２は、本実施形態の画像処理装置による処理の詳細を示すフローチャートであり、図２（ａ）は画像認識時の処理を示している。まず、ステップＳ１において、画像取得部１０１は、カメラ等の撮像装置から画像を１枚取得する。ここでの画像は、静止画像、もしくは動画像中の１フレームの画像である。

次に、ステップＳ２で、部分領域分割部１０２が、取得した画像を部分領域に分割する。具体的には、非特許文献２等の公知の方法を用いて、Ｓｕｐｅｒ−Ｐｉｘｅｌ（以下、ＳＰと記す）と呼ばれる色と位置の類似した小領域（画素の塊）に画像を分割する。
次に、ステップＳ３で、撮像系姿勢取得部１０３は撮像装置（撮像系）の姿勢を取得する。具体的には、撮像系に取り付けられたジャイロセンサや加速度センサ等の慣性センサの情報を利用して撮像系の姿勢を求める。ここで、ジャイロセンサや加速度センサの値から得られた重力加速度値を［Ｇｘ，Ｇｙ，Ｇｚ］として、図３に示す撮像系の姿勢に関する情報φ，Θ，ψを、以下の数式１により算出する。

なお、ここでは、撮像系姿勢取得部１０３は、取得した慣性センサに基づいて撮像系の姿勢情報を算出して取得するようにしているが、撮像系（撮像装置）で姿勢情報を算出して、撮像系姿勢取得部１０３はその算出した姿勢情報を取得するだけとしてもよい。

次に、ステップＳ４で、地平線／水平線位置推定部１０４は、ステップＳ３で得られた撮像系の姿勢情報に基づいて、画像内の水平線または地平線の位置を推定する。具体的には、非特許文献１等に開示されている公知の手法により、撮像系の姿勢情報から画像内の地平線または水平線の位置を推定する。なお、撮影時の撮像系の姿勢情報を利用して地平線／水平線位置を推定してもよいし、撮影前後の時系列で得られた撮像系の姿勢情報にカルマンフィルタや拡張カルマンフィルタなどの時系列フィルタを施した値を利用して地平線／水平線位置を推定してもよい。

また、本実施形態において、地平線／水平線位置推定部１０４は、推定された地平線／水平線位置に基づいて、ステップＳ１で入力された画像の画素ごとに水平線位置らしさを示す地平線／水平線尤度を計算して、地平線／水平線尤度マップを生成する。具体的には、撮像系の姿勢を推定するための慣性センサに含まれるノイズが正規分布であると仮定し、慣性センサ値から一意に求められた地平線／水平線位置を中心とした正規分布により地平線／水平線尤度マップを表現する。

次に、ステップＳ５で、距離情報取得部１０５がステップＳ１で得られた入力画像に対応した距離情報を取得し、距離マップを作成する。

図４は、本実施形態における地平線／水平線尤度マップを説明する図であり、図４（ａ）が入力画像の一例を示している。ここでは、ｓｋｙ、ｂｕｉｌｄｉｎｇ等のカテゴリを含む画像が入力されているものとする。図４（ｂ）には上述のステップＳ４で生成される地平線／水平線尤度マップの例を示し、図４（ｃ）には上述のステップＳ５で生成される距離マップの例を示している。

次に、ステップＳ６で、部分領域特徴抽出部１０６がステップＳ２で得られた各部分領域から特徴量を抽出する。ここでは、入力画像の画素値に基づく特徴量と、ステップＳ４で得られた水平線尤度マップに基づく特徴量、およびステップＳ５で得られた距離マップに基づく特徴量の３種類の特徴量を抽出する。

具体的には、まず、部分領域毎に抽出される特徴量として、入力画像のＳＰごとに、色の分布のヒストグラムやＬｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ（以下、ＬＢＰと記す）領域のモーメント、高次統計量といった一般的な特徴量を抽出する。なお、ＬＢＰについては、非特許文献３等により広く知られた技術内容であるので、ここでの説明は省略する。

また、距離マップに基づく部分領域特徴量として、入力画像の注目部分領域に対応する距離マップの部分領域内の距離値の平均、分散、歪度、尖度などの基本統計量を抽出する。
さらに、地平線／水平線尤度に基づく部分領域特徴量として、注目部分領域に対応する地平線／水平線尤度マップの部分領域内の尤度値および、水平線の上下のいずれに部分領域が存在するかの情報を抽出する。これら複数の種類の特徴量を全て連結し、特徴次元ごとのスケールの違いを吸収するため次元ごとに正規化したものを部分領域特徴量とする。

次に、ステップＳ７において、空境界推定部１０７は、注目ＳＰが空境界であるかどうかを判別する。このステップＳ７は、サブステップＳ７ａ、Ｓ７ｂに分けられる。まず、ステップＳ７ａにおいて、空境界推定特徴生成部１０７ａが、注目ＳＰと注目ＳＰに隣接するＳＰとから成る部分領域の特徴量から、空境界を推定するために必要な特徴量を生成する。ここでは、図５に示すように、注目ＳＰと隣接ＳＰとの相対的な位置関係に基づいて、隣接ＳＰを上下左右の４つの方向に分類する。そして、各方向に隣接するＳＰの部分領域特徴量の平均、分散、歪度、尖度などの基本統計量を注目ＳＰの部分領域特徴量に連結して、注目ＳＰの空境界推定特徴量とする。

例えば、図５に示した例では、注目ＳＰ１０１０に隣接するＳＰのうち、ＳＰ１０１１とＳＰ１０１２が右方向に隣接している。そこで、ＳＰ１０１１とＳＰ１０１２の部分領域特徴量の平均を、右方向に隣接するＳＰの特徴量１０１４として注目ＳＰの部分領域特徴量１０１３に連結する。

次に、ステップＳ７ｂで、空境界判別部１０７ｂが、前段のステップＳ７ａで得られた部分領域の空境界推定特徴量に基づいて、部分領域が空境界か否かを判別する。空境界判別部１０７ｂは、サポートベクトルマシン（以下、ＳＶＭと記す）の識別器により空領域か否かを判断する。この識別器は、空境界推定特徴量を入力変数、空境界か否かを目標変数として、与えられた入力変数に対して正しく空境界か否か出力できるように前もって学習が行われている。以上のステップＳ７での判別処理の結果、１つの部分領域に対して空境界か否かの判別スコア（空境界スコア）が得られる。

次に、ステップＳ８で領域判別部１０８が、部分領域特徴抽出部１０６で抽出された部分領域特徴量と、空境界推定部１０７で得られた部分領域ごとの空境界スコアとに基づいて、部分領域のカテゴリを判別する。

領域判別部１０８は、第２の部分領域特徴生成部１０８ａと部分領域認識部１０８ｂとにより構成されている。まず、ステップＳ８ａにおいて、第２の部分領域特徴生成部１０８ａが、図６に示すように、注目ＳＰの周辺領域を注目ＳＰからの方向と距離に応じて８分割した領域１００１から１００８ごとに、空境界スコアの平均や分散といった統計値を算出する。そして、この算出した統計量を空境界特徴量として、注目ＳＰの部分領域特徴量と、注目ＳＰの空境界特徴量とを連結した特徴量を第２の部分領域特徴量として生成する。

次に、ステップＳ８ｂで部分領域認識部１０８ｂが、前段のステップＳ８ａで得られた第２の部分領域特徴量に基づいて部分領域のカテゴリを認識する。統合領域認識部１０８ｂは、ＳＶＭの識別器を用いて部分領域のカテゴリを認識する。この識別器は、第２の部分領域特徴量を入力変数、正解カテゴリを目標変数として、与えられた入力変数に対して正しいカテゴリが出力できるように前もって学習されている。なお、ＳＶＭは基本的に２クラス判別器であるため、対象カテゴリを正事例とし、その他の全てのカテゴリを負事例としてカテゴリごとに学習を行い、Ｃ個のＳＶＭを用意するものとする。このステップＳ８ｂでの判別処理の結果、１つの統合領域に対してＣ個のカテゴリの判別スコアが得られる。

次に、上述のステップＳ７で用いる空境界判別器の学習方法について説明する。なお、画像認識時と共通する同様の機能構成、処理については同じ符号を付して説明を省略する。図１（ｂ）は、本実施形態に係る画像処理装置の空境界判別器を学習する時の機能構成を示している。画像処理装置は、学習に必要な画像、撮像系の姿勢、距離情報、及びカテゴリＧＴを有する学習データ保持部１１２、部分領域分割部１０２、地平線／水平線位置推定部１０４、部分領域特徴抽出部１０６を有する。また、空境界推定特徴生成部１０７ａ、空境界判別器学習部１１０、空境界判別器保持部１０９を有する。なお、カテゴリＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とは、入力画像に正解のカテゴリを割り当てたマップのことである。

図２（ｂ）は、本実施形態における空境界の学習処理を示すフローチャートである。まず、ステップＳ２において、部分領域分割部１０２が、非特許文献２等に記載の手法を用いて、学習データ保持部１１２に保持されている学習画像をＳＰに分割する。次に、ステップＳ４において、地平線／水平線推定部１０４が、学習データ保持部１１２に保持された撮像系の姿勢情報から、認識時と同様の方法で画像内の地平線または水平線の位置を推定する。

次に、ステップＳ６において、部分領域特徴抽出部１０６が、ステップＳ２で得られた部分領域から認識時と同様の手法で部分領域特徴量を取得する。次に、ステップＳ７ａにおいて、空境界推定生成部１０７ａが、認識時と同様の手法で、部分領域特徴量と地平線／水平線位置に基づいて、空境界推定に必要な特徴量を生成する。

次に、ステップＳ９で、空境界判別器学習部１１０が、前段のステップＳ７ａで得られた空境界推定特徴量と、学習データ保持部１１２に保持されたカテゴリＧＴとに基づいて、空境界判別器を学習する。空境界判別器はＳＶＭから成り、空境界推定特徴量を入力変数、空境界か否かを目標変数として、与えられた入力変数に対して正しく空境界か否かが出力できるように学習される。

次に、本実施形態の画像認識処理のステップＳ８で用いられる部分領域判別器の学習方法について説明する。なお、画像認識時と共通する同様の機能構成、処理については同じ符号を付して説明を省略する。図１（ｃ）は、本実施形態に係る画像処理装置の部分領域判別器の学習時の機能構成を示している。画像処理装置は、学習データ保持部１１２、部分領域分割部１０２、部分領域特徴抽出部１０６、空境界推定部１０７を有する。また、空境界判別器保持部１０９、第２の部分領域特徴生成部１０８ａ、部分領域判別器学習部１０８ｂ、部分領域判別器保持部１１３を有する。

図２（ｃ）は、本実施形態における部分領域判別器の学習処理を示すフローチャートである。同図において、ステップＳ２からＳ６までの処理は、空境界判別器の学習処理と同様であるため、重ねての説明を省く。

ステップＳ８ａにおいて、第２の部分領域特徴生成部１０８ａは、画像認識時と同様の手法で、第２の部分領域特徴量を生成する。次に、ステップＳ１０において、前段のステップＳ８ａで得られた第２の部分領域特徴量と、学習データ保持部１１２に保持されているカテゴリＧＴとに基づいて、部分領域判別器を学習する。部分領域判別器はＳＶＭから成り、第２の部分領域特徴量を入力変数、部分領域のカテゴリを目標変数として、与えられた入力変数に対して正しくカテゴリを出力できるように学習される。部分領域判別器保持部１１３は、得られた部分領域判別器を保持する。

以上、本実施形態によれば、撮像系の姿勢から推定される画像中の地平線／水平線と、画像情報の両方を利用して、画像中の空境界を推定する。これにより、より精度良く空領域を認識できるようになる。具体的には、第２の部分領域特徴生成部１０８ａによって、注目ＳＰと空境界の関係を考慮した特徴量が生成されるため、地平線／水平線上方の誤判別や、地平線／水平線が画像中に存在しない場合の誤判別を軽減することができる。

［第１の実施形態の変形例］
第１の実施形態では、空境界推定特徴生成部１０７ａが各象限に存在する隣接ＳＰの部分領域特徴量の平均や分散等の統計量を注目ＳＰの部分領域特徴量に連結して、注目ＳＰの空境界推定特徴量とした。しかし、コードブック化された隣接ＳＰの部分領域特徴量の頻度ヒストグラムを注目ＳＰの部分領域特徴量に連結して、空境界推定特徴量としてもよい。ここで、コードブックとは、注目ＳＰの部分領域特徴量をｋ−ｍｅａｎｓなどのクラスタリング手法によって得られる代表ベクトルのことを指す。

また、本実施形態では空境界推定特徴生成部１０７ａは、注目ＳＰに隣接するＳＰに着目し、隣接ＳＰの部分領域特徴量を利用して、空境界推定特徴量を生成した。しかし、注目ＳＰに隣接するＳＰではなく、注目ＳＰを中心とするある領域内に存在するＳＰの部分領域特徴量を利用して、空境界推定特徴量を生成してもよい。

また、第１の実施形態では、空境界判別部１０７ｂ、及び部分領域判別部１０８ｂはＳＶＭを用いたが、別の識別器を用いることも考えられる。例えば、ロジスティック回帰、ニューラルネット、ランダムフォレスト等を用いることが考えられる。また、部分領域の判別スコアを条件付き確率場ＣＲＦ（Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ）の枠組みに組み込み、カテゴリを判別するようにしてもよい。

なお、第１の実施形態では、画像認識時、空境界判別器の学習時、部分領域判別器の学習時で、同一の画像処理装置を用いるものとして説明したが、それぞれ別々の装置で行うようにしてもよい。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第１の実施形態では、画像認識タスクとして意味的領域分割の例を説明したが、本実施形態ではシーン判別の場合について説明する。本実施形態では、静止画像１枚を入力とし、入力画像のシーンのカテゴリを判別することを目的とする。ここでのカテゴリとは、山岳風景、街中の景色、人物ポートレートなど予めユーザが分類しておいた所定のＣ個のシーンのカテゴリである。なお、第１の実施形態において既に説明をした構成については同一の符号を付し、その説明を省略する。

図７は、本実施形態に係る画像処理装置の機能構成を示すブロック図であり、図７（ａ）は画像認識時の機能構成を示している。画像処理装置は、画像取得部１０１、部分領域分割部１０２、撮像系姿勢取得部１０３、地平線／水平線位置推定部１０４、部分領域特徴抽出部１０６を有する。また、空境界推定部２０２、画像中のエッジを抽出するためのエッジ抽出部２０１、部分領域特徴量と空境界推定結果からシーンのカテゴリを判別するシーン判別部２０３、シーン判別器を保持するシーン判別器保持部２０４を有する。

図８は、本実施形態の画像処理装置による処理の詳細を示すフローチャートであり、図８（ａ）は画像認識の処理に係るフローチャートである。まず、ステップＳ２０１において、画像取得部１０１は、カメラ等の撮像装置から画像を１枚取得する。次に、ステップＳ２０２で、部分領域分割部１０２は、画像取得部１０１により取得された画像を複数の部分領域に分割する。続いて、ステップＳ２０６で、部分領域特徴抽出部１０６が、第１の実施形態と同様にして、前段のステップＳ２０２で分割された各部分領域から部分領域特徴量を抽出する。

一方、ステップＳ２０３で、撮像系姿勢取得部１０３は撮像系の姿勢情報を取得する。次に、ステップＳ２０５において、地平線／水平線位置推定部１０４が撮像系の姿勢情報に基づき、第１の実施形態に示した手法と同様にして、水平線または地平線の位置を推定する。さらに、地平線／水平線位置推定部１０４は、推定した地平線／水平線位置に基づいて画素毎に地平線／水平線尤度を算出し、地平線／水平線尤度マップを作成する。

次に、ステップＳ２０４において、エッジ抽出部２０１はＣａｎｎｙ法等のエッジ抽出法を用いて画像中のエッジを抽出する。ここでは、図９に示すように、閾値を１つ以上変えてエッジを抽出し、全てのエッジ抽出結果に対して重み付け和を計算することにより、エッジ強度マップを生成する。

次に、ステップＳ２０７において、空境界推定部２０３は、エッジ抽出部２０１により生成されたエッジ強度マップと、地平線／水平線位置推定部１０４により作成された地平線／水平線尤度マップとに基づいて、空境界を推定する。具体的には、エッジ抽出部２０１により画素ごとに得られたエッジ強度マップを地平線／水平線尤度で重みづけして、地平線／水平線位置を考慮したエッジ強度マップを生成し、このマップから空境界を推定する。

次に、ステップＳ２０８において、シーン判別部は、部分領域特徴抽出部１０６により抽出された部分領域特徴量と、空境界推定部２０２により推定された空境界とに基づいてシーンの判別を行う。具体的には、ステップＳ２０８ａにおいて、シーン判別特徴生成部２０３ａが、注目ＳＰの部分領域特徴量と、注目ＳＰ内に存在するエッジコードブックの頻度ヒストグラムで表現したものとを連結し、シーン判別特徴量を生成する。具体的には、ステップＳ２０７で得られたＳＰ内のエッジの方向および強度に基づいて予めクラスタリングしてエッジコードブックを取得しておく。そして、ＳＰ毎に抽出された特徴量をコードブック化して、画像中の全ＳＰのコードブック頻度ヒストグラムをシーン判別特徴量とする。

次に、ステップＳ２０８ｂにおいて、シーン判別部２０３ｂは、シーン判別器保持部２０４に保持されたシーン判別器を用いて、ステップＳ２０８ａでＳＰ毎に求めたシーン判別特徴量に基づいて画像のシーンを判別する。シーン判別部２０３ｂが用いるシーン判別器はＳＶＭの識別器であり、シーン判別特徴量を入力変数、正解シーンを目標変数として、与えられた入力変数に対して正しいシーンが出力できるように前もって学習されている。なお、ＳＶＭは基本的に２クラス判別器であるため、対象シーンを正事例とし、その他のすべてのシーンカテゴリーを負事例としてシーンごとに学習を行い、Ｃ個のＳＶＭを用意する。ステップＳ２０２ｂでは、シーン判別処理の結果、１枚の画像に対してＣ個のシーンの判別スコアが得られる。

次に、上述の画像認識処理のステップＳ２０８で用いられるシーン判別器の学習方法について説明する。図７（ｂ）は、本実施形態におけるシーン判別器の学習時の画像処理装置の機能構成を示している。画像処理装置は、学習に必要な画像、撮像系の姿勢、及びシーンＧＴを有する学習データ保持部２０５、地平線／水平線位置推定部１０４、エッジ抽出部２０１、空境界判別器学習部２０４、空境界判別器保持部２０３を有する。

図８（ｂ）は、本実施形態に係るシーン判別器の学習処理を示すフローチャートである。同図において、まず、ステップＳ２０２において、部分領域分割部１０２は、非特許文献１等に記載の手法を用いて、学習データ保持部に保存されている学習画像をＳＰに分割する。次に、ステップＳ２０６において、部分領域特徴抽出部１０６は、画像認識時と同様の手法により、前段のステップＳ２０２で得られた部分領域毎に特徴量を抽出する。

次に、ステップＳ２０４で、エッジ抽出部２０１は、画像認識時と同様に、画像中のエッジを抽出する。次に、ステップＳ２０５において、地平線／水平線位置推定部１０４は、画像認識時と同様に、撮像系の姿勢情報から水平線または地平線の位置を推定し、地平線／水平線尤度マップを作成する。

次に、ステップＳ２０７で、空境界推定部２０２は、画像認識時と同様に、エッジ抽出部２０１により抽出されたエッジ情報と、地平線／水平線位置推定部１０４により作成された地平線／水平線尤度マップとに基づいて空境界を推定する。

次に、ステップＳ２０７ａで、シーン判別特徴生成部２０３ａは、部分領域特徴抽出部１０６により得られた部分領域特徴と、空境界推定部２０２より得られた空境界の情報とを用いて、画像認識時と同様に、シーン判別特徴量を生成する。次に、ステップＳ２１０で、シーン判別器学習部２０５は、前段のステップＳ２０７ａで得られたシーン判別特徴量と、学習データ保持部２０５に保持されているシーンＧＴとに基づいて、シーン判別器を学習する。そして、シーン判別器保持部２０４は、学習されたシーン判別器を保持する。

以上、本実施形態によれば、画像認識タスクがシーン判別の際にも、撮像系の姿勢から推定される画像中の地平線／水平線と、画像情報の両方を利用して、画像中の空境界を推定することにより、精度良く空領域を認識できるようになる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。本実施形態は、空境界推定方法およびカテゴリ判別方法が第１の実施形態と異なるものである。なお、第１、第２の実施形態で既に説明をした構成については同一の符号を付し、その説明は省略する。

図１０は、本実施形態に係る画像処理装置の機能構成を示すブロック図であり、図１０（ａ）は画像認識時の機能構成を示している。本実施形態に係る画像処理装置は、画像取得部１０１、撮像系姿勢取得部１０３、地平線／水平線位置推定部１０４、距離情報取得部１０５を有する。また、第１の部分領域特徴分割部３０１、第１の部分領域特徴抽出部３０２、第１の空境界判別部３０３、第１の空境界判別器保持部３０７を有する。さらに、第２の部分領域分割部３０４、第２の部分領域特徴抽出部３０５、第２の空境界判別部３０６、第２の空境界判別器保持部３０８、部分領域判別部３１４、部分領域判別器保持部３０９を有する。

図１１は、本実施形態の画像処理装置による処理の詳細を示すフローチャートであり、図１１（ａ）は画像認識の処理に係るフローチャートである。なお、ステップＳ３０１からステップＳ３０６までの処理は、第１の実施形態と同様であるため、重ねての説明を省く。

ステップＳ３０７において、第２の部分領域分割部３０４は、地平線／水平線位置推定美１０４により得られた地平線／水平線尤度マップと、距離情報取得部１０５により得られた距離マップとに基づいて、画像を第２の部分領域に分割する。具体的には、予め正規化した地平線／水平線尤度マップおよび距離マップの２チャネルを持つ画像と仮定し、非特許文献２等の方法を用いてこの画像をＳＰに分割する。

次に、ステップＳ３０８で、第１の空境界判別部３０３が、ステップＳ３０５で得られた第１の部分領域特徴に基づいて、画像内の各ＳＰの空境界スコアを推定する。この第１の部分領域特徴は、第１の実施形態における部分領域特徴に相当しており、第１の部分領域特徴に基づいて空境界スコアを推定する手法は第１の実施形態と同様であるため、重ねての説明を省く。

次に、ステップＳ３０９で、第２の部分領域特徴抽出部３０５が、地平線／水平線尤度マップ及び距離マップの値に基づいて、前段のステップＳ３０７で得られた第２の部分領域ごとに特徴量を抽出する。具体的には、第２の部分領域内の距離の平均や分散等の統計値、地平線／水平線尤度の平均や分散等の統計値、及びＳＰ重心と地平線／水平線の相対的な位置関係を全て連結して第２の部分領域特徴量とする。

次に、ステップＳ３１０で第２の空境界判別部３０６が、前段のステップＳ０９で得られた第２の部分領域特徴量に基づいて、第２の部分領域ごとの空境界スコアを推定する。第２の空境界判別部が用いるＳＶＭの識別器は、第２の部分領域特徴量を入力変数、空境界か否かを目標変数として、正しく空境界か否かを出力できるように、予め学習されている。

次に、ステップＳ３１１で部分領域判別部３１４が、第１の部分領域特徴、第１の空境界判別部３０３により得られた空境界推定スコア、及び第２の空境界判別部３０６より得られた空境界推定スコアに基づいて、部分領域のカテゴリを判別する。具体的には、第２の部分領域特徴生成部３１４ａが、第１の実施形態と同様に、注目ＳＰの周辺に位置するＳＰの空境界スコアを算出する。そして、第１の部分領域特徴と、第１の空境界判別部３０３で得られた周辺ＳＰの空境界スコアの平均や分散等の統計値と、第２の空境界判別部３０６で得られた周辺ＳＰの空境界スコアの平均や分散等の統計値と、を連結して、第３の部分領域特徴を生成する。

さらに、ステップＳ３１１ｂで、部分領域判別部３１４ｂが、第３の部分領域特徴に基づいて部分領域のカテゴリを判別する。部分領域判別部３１４ｂが用いるＳＶＭの識別器は、第３の部分領域特徴量を入力変数、被写体のカテゴリを目標変数として、正しくカテゴリを出力できるように、予め学習されている。

次に、上述した画像認識処理のステップＳ３０８で用いられる第１の空境界判別器の学習処理について説明する。図１０（ｂ）は、本実施形態に係る第１の空境界を学習する際の画像処理装置の機能構成を示すブロック図である。

本実施形態の画像処理装置は、学習に必要な画像、撮像系の姿勢、距離情報、及びカテゴリＧＴを有する学習データ保持部３１０、画像をＳＰに分割する第１の部分領域分割部３０１、第１の部分領域から特徴を抽出する第１の部分領域特徴抽出部を有する。また、第１の部分領域特徴量に基づいて、空境界を学習する第１の空境界判別器学習部、第１の空境界判別器を保持する第１の空境界判別器保持部を有する。

図１１（ｂ）は、本実施形態における第１の空境界判別器の学習処理を示すフローチャートである。同図のステップＳ３０４からステップＳ３０５までは、第１の部分領域分割部３０１が、画像を部分領域に分割した後、第１の部分領域抽出部３０２により、第１の部分領域特徴を抽出する。具体的な処理は、画像認識時と同様であるため、重ねての説明を省く。

次に、ステップＳ３１２において、第１の空境界判別器学習部３１１が、前段のステップＳ３０５で得られた第１の部分領域特徴に基づいて、注目部分領域が空境界か否かを学習する。具体的には、第１の空境界判別器学習部３１１は、ＳＶＭの識別器を用いて、第１の部分領域特徴を入力変数とし、注目する部分領域が空境界か否かを目標変数として、空境界か否かを学習する。その後、第１の空境界判別器保持部３０７は、前段のステップＳ３１２で得られた空境界判別器を保持する。

次に、本実施形態の画像認識処理におけるステップＳ３０８で用いられる第２の空境界判別器の学習処理について説明する。図１０（ｃ）は、本実施形態における第２の空境界判別器を学習する時の画像処理装置の機能構成を示す図である。

本実施形態の画像処理装置は、学習データ保持部３１０、撮像系の姿勢から画像の地平線及び水平線位置を推定する地平線／水平背に値位置推定部１０４、地平線／水平線の情報と距離情報から画像を部分領域に分割する第２の部分領域分割部３０４を有する。また、前段で得られた部分領域ごとに特徴量を抽出する第２の部分領域特徴抽出部、前段で得られた特徴量に基づいて空境界を学習する第２の空境界判別器学習部３１２、前段で得られた空境界判別器を保持する空境界判別器保持部３０８を有する。

図１１（ｃ）は、本実施形態における第２の空境界判別器の学習処理を示すフローチャートである。この学習処理において、ステップＳ３０６からステップＳ３０９までの処理は、画像認識時と同様であるため、重ねての説明を省く。

次に、ステップＳ３１３で、第２の空境界判別器学習部３１２は、前段のステップＳ３０９で得られた第２の部分領域特徴量と学習データ保持部３１０に保持されているカテゴリＧＴの情報とに基づいて、注目する部分領域が空境界であるか否かを学習する。具体的には、第２の空境界判別器学習部３１２は、ＳＶＭの識別器を用いて、第２の部分領域特徴を入力変数とし、注目する部分領域が空境界か否かを目標変数として、空境界か否かを学習する。その後、第２の空境界判別器保持部３０８は、前段のステップＳ３１３で得られた空境界判別器を保持する。

次に、本実施形態の画像認識処理のステップＳ３１１で用いられる部分領域判別器の学習処理について説明する。図１０（ｄ）は、本実施形態における部分領域判別器を学習する時の画像処理装置の機能構成を示すブロック図である。

本実施形態の画像処理装置は、学習データ保持部３１０、第１の部分領域分割部３０１、第１の部分領域特徴抽出部３０２、第１の空境界判別部３０３、第１の空境界判別器保持部３０７を有する。また、地平線／水平線位置推定部１０４、第２の部分領域分割部３０４、第２の空境界判別部３０６、第２の空境界判別器保持部３０８、第３の部分領域特徴生成部３１４ａ、部分領域判別器学習部３１３、部分領域判別器保持部３０９を有する。

図１１（ｄ）は、本実施形態における部分領域判別器の学習処理を示すフローチャートである。ステップＳ３０４からステップＳ３１１までの処理は、画像認識時と同様であるため、重ねての説明を省く。

次に、ステップＳ３１４において、部分領域判別器学習部３１３は、第３の部分領域特徴生成部３１４ａで得られた第３の部分領域特徴と学習データ保持部３１０に保持されているカテゴリＧＴの情報に基づいて、注目する部分領域のカテゴリを学習する。具体的には、部分領域判別器学習部３１３は、ＳＶＭの識別器を用いて、第３の部分領域特徴を入力変数とし、注目する部分領域のカテゴリＧＴを目標変数として、注目する部分領域のカテゴリを学習する。その後、部分領域判別器保持部３０９は、前段のステップＳ３１４で得られた部分領域判別器を保持する。

以上、本実施形態によれば、第１の空境界判別部、第２の空境界判別部の両方を用いて、画像中の空境界を推定することにより、精度良く空領域を認識できるようになる。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。本実施形態は、空境界推定方法およびカテゴリ判別方法が、第１の実施形態とは異なるものである。なお、第１〜第３の各実施形態において既に説明をした構成については同一の符号を付し、その説明は省略する。

図１２は、本実施形態に係る画像処理装置の機能構成を示すブロック図である。本実施形態に係る画像処理装置は、画像取得部１０１、部分領域分割部１０２、撮像系姿勢取得部１０３、地平線／水平線位置推定部１０４、距離情報取得部１０５、部分領域特徴抽出部１０６を有する。また、部分領域判別部１０８、部分領域判別器保持部１１０、空境界推定部１０７、空境界判別器保持部１０９、誤判別訂正部４０１を有する。

図１３は、本実施形態に係る画像処理装置による画像認識処理の詳細を示すフローチャートである。ステップＳ４０１からステップＳ４０６までは、第１の実施形態と同様であるため、重ねての説明を省く。

次に、ステップＳ４０７において、空境界推定部１０７は、注目ＳＰの空境界尤度を推定する。空境界推定部１０７は、第１の実施形態と同様にして、注目ＳＰの部分領域特徴と、注目ＳＰに隣接するＳＰの部分領域特徴とに基づいて空境界尤度を推定する。

次に、ステップＳ４０８で、部分領域判別部１０８は、第１の実施形態と同様にして、部分領域特徴抽出部１０６により得られた部分領域特徴に基づいて、カテゴリごとの推定スコアを出力する。

次に、ステップＳ４０９において、誤判別訂正部４０１は、部分領域判別部１０８より得られた各ＳＰのカテゴリのスコアと、空境界推定部１０７によって得られた空境界スコアとに基づいて、ＣＲＦの枠組みでカテゴリ誤判別の訂正を行う。具体的には、ＣＲＦのｐａｉｒｗｉｓｅ ｐｏｔｅｎｔｉａｌを設計する際に、空境界を跨ぐような伝播のコストを高くすることで、空境界を考慮した誤判別の訂正が可能となる。

例えば、下記の数式２によりＣＲＦのポテンシャルを設計する場合、Φ_ｈに小領域ｉと小領域ｊが空境界を跨ぐ場合に、ペナルティＫ（Ｋ＞０）を付与することにより、境界を跨ぐ伝播を発生しにくくさせ、空境界を考慮したカテゴリの訂正が可能となる。

ここで、ｘ_ｉは領域ｉのカテゴリ、Φ_ｕはｘ_ｉに対するカテゴリ尤度を表すｕｎａｒｙ ｐｏｔｅｎｔｉａｌ、ψは隣接する領域間のｐａｉｒｗｉｓｅ ｐｏｔｅｎｔｉａｌである。

以上、本実施形態によれば、誤判別訂正部４０１が各ＳＰのカテゴリのスコアと空境界スコアとに基づいて、ＣＲＦの枠組みでカテゴリ誤判別の訂正を行うようにしたので、精度良く空領域を認識できるようになる。

なお、上述の説明では、誤判別訂正部４０１は、ＣＲＦの枠組みでカテゴリ誤判別の訂正を行ったが、推定されたカテゴリのうち、地平線／水平線よりも下方に存在する空のカテゴリを、空以外で最も推定スコアの高いカテゴリに訂正してもよい。

［その他の実施形態］
本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１ 画像取得部
１０２ 部分領域分割部
１０３ 撮像系姿勢取得部
１０４ 地平線／水平線位置推定部
１０５ 距離情報取得部
１０６ 部分領域特徴抽出部
１０７ 空境界推定部
１０８ 部分領域判別部

Claims (11)

1. 撮像装置による撮像により得られた画像を複数の領域に分割する分割手段と、
   前記領域ごとに前記画像の画像情報に基づく第１の特徴を抽出する抽出手段と、
   前記撮像装置の前記撮像の際の姿勢を示す姿勢情報を取得する第１の取得手段と、
   前記第１の取得手段により取得された前記姿勢情報に基づいて、前記画像における水平線または地平線を推定する第１の推定手段と、
   前記画像の所定領域ごとの被写体と前記撮像装置との距離を示す距離情報を取得する第２の取得手段と、
   前記抽出手段により抽出された前記第１の特徴と、前記第１の推定手段による推定結果と、前記第２の取得手段により取得される前記距離情報とを統合した、前記領域ごとの第２の特徴を取得する第３の取得手段と、
   前記領域ごとの前記第２の特徴と、隣接する領域の前記第２の特徴とに基づいて、前記領域ごとの第３の特徴を取得する第４の取得手段と、
   学習された識別器への、前記第４の取得手段により取得された前記領域ごとの前記第３の特徴の入力に対する出力に基づいて、前記画像における空領域を推定する第２の推定手段と、
   を有することを特徴とする画像処理装置。
2. 前記画像からエッジ情報を抽出する第２の抽出手段を更に有し、
   前記第２の推定手段は、前記エッジ情報に基づいて前記画像における空領域を推定することを特徴とする請求項１に記載の画像処理装置。
3. 前記領域ごとにカテゴリを判別する判別手段を更に有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第２の推定手段は、前記領域ごとに空領域らしさを示すスコアを算出し、
   前記判別手段は、前記スコアと前記第３の特徴とに基づいて前記複数の領域ごとにカテゴリを判別することを特徴とする請求項３に記載の画像処理装置。
5. 前記領域ごとの前記スコアと、方向と距離に応じた周辺領域の前記スコアとに基づく前記領域ごとの第４の特徴及び前記第３の特徴を統合した、前記領域ごとの第５の特徴を取得する第５の取得手段を更に有し、
   前記判別手段は、学習された第２の識別器への、前記第５の取得手段により取得された前記領域ごとの前記第５の特徴の入力に対する出力に基づいて、前記領域ごとにカテゴリを判別することを特徴とする請求項４に記載の画像処理装置。
6. 前記画像のシーンを判別する第２の判別手段を更に有することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記画像から抽出されたエッジ情報と、前記第１の推定手段による推定結果とに基づく空領域と非空領域との境界の推定結果及び前記第２の特徴とを結合した、前記領域ごとの第６の特徴を取得する第６の取得手段を更に有し、
   前記第２の判別手段は、学習された第３の識別器への、前記第６の取得手段により取得された前記領域ごとの前記第６の特徴の入力に対する出力に基づいて、前記画像のシーンを判別することを特徴とする請求項６に記載の画像処理装置。
8. 前記抽出手段は、前記画像の画素値に基づいて前記第１の特徴を抽出することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記第２の推定手段は、前記複数の領域のそれぞれが空領域と非空領域との境界を含むか否かを推定することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 撮像装置による撮像により得られた画像を複数の領域に分割し、
    前記領域ごとに前記画像の画像情報に基づく第１の特徴を抽出し、
    前記撮像装置の前記撮像の際の姿勢を示す姿勢情報を取得し、
    取得された前記姿勢情報に基づいて、前記画像における水平線または地平線を推定し、
    前記画像の所定領域ごとの被写体と前記撮像装置との距離を示す距離情報を取得し、
    抽出された前記第１の特徴と、前記水平線または地平線の推定結果と、前記距離情報とを統合した、前記複数の領域ごとの第２の特徴を取得し、
    前記領域ごとの前記第２の特徴と、隣接する領域の前記第２の特徴とに基づいて、前記領域ごとの第３の特徴を取得し、
    学習された識別器への、前記領域ごとの前記第３の特徴の入力に対する出力に基づいて、前記画像における空領域を推定する
    ことを特徴とする画像処理方法。
11. コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images