JP7117177B2

JP7117177B2 - 領域特定装置及びプログラム

Info

Publication number: JP7117177B2
Application number: JP2018124108A
Authority: JP
Inventors: 勇鶴李; 光輝坂元; 崇之篠原; 俊明佐藤
Original assignee: Pasco Corp
Current assignee: Pasco Corp
Priority date: 2018-06-29
Filing date: 2018-06-29
Publication date: 2022-08-12
Anticipated expiration: 2038-06-29
Also published as: JP2020004166A

Description

本発明は、領域特定装置及びプログラムに関する。

二次元画像において所定の抽出対象の物体が表された領域を特定する技術が知られている。このような技術の一例として、二次元画像の特徴量に基づいて当該二次元画像において所定の物体が表された領域を囲む矩形領域を特定する技術や、画素単位で当該画素が表す物体を特定するセマンティックセグメンテーションの技術が存在する。

また特許文献１には、複数の画像取得手段の各々が互いに異なる位置から撮影した画像に基づいて、三次元空間上の物体領域を判定する技術が記載されている。

国際公開第２０１１／１６２３０９号

１つの二次元画像において所定の抽出対象が表された領域を囲む矩形領域を特定する場合、例えば特定される領域の隅などの一部に当該抽出対象が実際には表れてない領域が含まれてしまうことがある。

また１つの二次元画像においてセマンティックセグメンテーションの技術を用いて所定の抽出対象が表された領域を特定する場合、輪郭がうまく抽出されなかったり部分的な抽出の欠落が発生したりすることがある。

以上のように、１つの二次元画像に基づいて当該二次元画像における所定の抽出対象が表された領域を特定する場合に特定される領域と当該抽出対象が実際に表れている領域との間に大きな差異が発生することがある。

なお特許文献１に記載の技術は、二次元画像に基づいて所定の抽出対象が表された領域として特定される領域と当該抽出対象が実際に表れている領域との差異を低減する技術ではない。

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、二次元画像に基づいて所定の抽出対象が表された領域として特定される領域と当該抽出対象が実際に表れている領域との差異を低減できる領域特定装置及びプログラムを提供することにある。

（１）本発明に係る領域特定装置は、所定の抽出対象の表われ方が互いに異なる複数の参照画像のそれぞれから、前記抽出対象が表された候補領域を抽出する候補領域抽出手段と、前記参照画像をターゲット画像に変換する所与の幾何変換を、前記参照画像から抽出される前記候補領域に対して実行することで、前記ターゲット画像における当該参照画像に対応付けられる前記候補領域を特定する変換手段と、前記ターゲット画像における前記複数の前記参照画像のそれぞれに対応付けられる前記候補領域の統合結果を、前記ターゲット画像における前記抽出対象が表された領域として特定する抽出対象領域特定手段と、を含む。

（２）本発明に係る別の領域特定装置は、所定の抽出対象の表われ方が互いに異なるターゲット画像及び参照画像のそれぞれから、前記抽出対象が表された候補領域を抽出する候補領域抽出手段と、前記参照画像を前記ターゲット画像に変換する所与の幾何変換を、前記参照画像から抽出される前記候補領域に対して実行することで、前記ターゲット画像における当該参照画像に対応付けられる前記候補領域を特定する変換手段と、前記ターゲット画像における前記参照画像に対応付けられる前記候補領域と前記ターゲット画像から抽出される前記候補領域との統合結果を、前記ターゲット画像における前記抽出対象が表された領域として特定する抽出対象領域特定手段と、を含む。

（３）上記（１），（２）の領域特定装置において、前記ターゲット画像に基づいて前記参照画像を生成する参照画像生成手段、をさらに含み、前記候補領域抽出手段は、前記参照画像生成手段により生成される前記参照画像から前記候補領域を抽出する構成とすることができる。

（４）上記（３）の領域特定装置において、前記ターゲット画像は、三次元空間に配置された前記抽出対象を撮影した画像であり、前記ターゲット画像に基づいて、前記三次元空間における前記抽出対象に形成されている面を特定する面特定手段、をさらに含み、前記参照画像生成手段は、特定される前記面の法線方向を射影方向とし、前記面を囲む特定の辺の方向を所定の方向に変換する射影変換を前記ターゲット画像に対して実行することにより前記参照画像を生成する構成とすることができる。

（５）上記（１）～（４）の領域特定装置において、前記抽出対象領域特定手段は、複数の前記候補領域が重なる領域を、前記ターゲット画像における前記抽出対象が表された領域として特定する構成とすることができる。

（６）上記（１）～（４）の領域特定装置において、前記抽出対象領域特定手段は、前記候補領域の抽出の信頼度に応じて選択される前記候補領域に基づく前記統合結果を、前記ターゲット画像における前記抽出対象が表された領域として特定する構成とすることができる。

（７）上記（１）～（４）の領域特定装置において、前記抽出対象領域特定手段は、前記候補領域の抽出の信頼度の低さに応じた拡大率で拡大される前記候補領域に基づく前記統合結果を、前記ターゲット画像における前記抽出対象が表された領域として特定する構成とすることができる。

（８）本発明に係るプログラムは、所定の抽出対象の表われ方が互いに異なる複数の参照画像のそれぞれから、前記抽出対象が表された候補領域を抽出する手順、前記参照画像をターゲット画像に変換する所与の幾何変換を、前記参照画像から抽出される前記候補領域に対して実行することで、前記ターゲット画像における当該参照画像に対応付けられる前記候補領域を特定する手順、前記ターゲット画像における前記複数の前記参照画像のそれぞれに対応付けられる前記候補領域の統合結果を、前記ターゲット画像における前記抽出対象が表された領域として特定する手順、をコンピュータに実行させる。

（９）本発明に係る別のプログラムは、所定の抽出対象の表われ方が互いに異なるターゲット画像及び参照画像のそれぞれから、前記抽出対象が表された候補領域を抽出する手順、前記参照画像を前記ターゲット画像に変換する所与の幾何変換を、前記参照画像から抽出される前記候補領域に対して実行することで、前記ターゲット画像における当該参照画像に対応付けられる前記候補領域を特定する手順、前記ターゲット画像における前記参照画像に対応付けられる前記候補領域と前記ターゲット画像から抽出される前記候補領域との統合結果を、前記ターゲット画像における前記抽出対象が表された領域として特定する手順、をコンピュータに実行させる。

本発明によれば、二次元画像に基づいて所定の抽出対象が表された領域として特定される領域と当該抽出対象が実際に表れている領域との差異を低減できる。

本発明の一実施形態に係る領域特定装置の構成図である。ターゲット画像の一例を示す図である。抽出対象領域が示されたターゲット画像の一例を示す図である。参照画像の一例を示す図である。参照画像の一例を示す図である。図４に示す参照画像に対応付けられる候補領域が示されたターゲット画像の一例を示す図である。図５に示す参照画像に対応付けられる候補領域が示されたターゲット画像の一例を示す図である。図６に示す候補領域と図７に示す候補領域と図３に示す抽出対象領域との関係が示されたターゲット画像の一例を示す図である。ターゲット画像から抽出された候補領域が示されたターゲット画像の一例を示す図である。車両に形成されている面が示されたターゲット画像の一例を示す図である。本発明の一実施形態に係る領域特定装置の機能の一例を示す機能ブロック図である。本発明の一実施形態に係る領域特定装置で行われる処理の流れの一例を示すフロー図である。本発明の一実施形態に係る領域特定装置で行われる処理の流れの別の一例を示すフロー図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る領域特定装置１０の構成図である。本実施形態に係る領域特定装置１０は、パーソナルコンピュータなどのコンピュータである。図１に示すように領域特定装置１０は、例えば、プロセッサ１２、記憶部１４、表示部１６、操作部１８を含んでいる。

プロセッサ１２は、例えば領域特定装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。

記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１４には、プロセッサ１２によって実行されるプログラムなどが記憶される。

表示部１６は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。

操作部１８は、キーボードやマウスなどといったユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。

なお、領域特定装置１０は、ネットワークボードなどの通信インタフェース、ＤＶＤ－ＲＯＭやＢｌｕ－ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。

図２は、本実施形態において、所定の抽出対象が表されている領域が特定される二次元画像であるターゲット画像２０の一例を示す図である。ここで所定の抽出対象としては、例えば三次元空間に配置された車両２２等の物体などが挙げられる。そして本実施形態では例えば図３に示すように、ターゲット画像２０における抽出対象が表された領域が特定される。以下、このようにして特定される領域を抽出対象領域２４と呼ぶこととする。図３の例では、抽出対象の一例である車両２２がターゲット画像２０において表された凸多角形（ここでは例えば凸五角形）の抽出対象領域２４が示されている。

以下、本実施形態における抽出対象領域２４の特定の一例について説明する。

本実施形態では例えば、まず、図２に示すターゲット画像２０に対して互いに異なるパラメータによる射影変換が実行されることで複数の参照画像２６が生成される。図４及び図５にはそれぞれ、図２に示すターゲット画像２０に基づいて生成される参照画像２６ａ及び参照画像２６ｂが示されている。参照画像２６ａ及び参照画像２６ｂでは、所定の抽出対象である車両２２の表われ方が互いに異なる。例えば、参照画像２６ａ及び参照画像２６ｂには、所定の抽出対象である車両２２が、その輪郭線の向きが互いに異なるようにして表される。ここで当該輪郭線は、直線には限定されず曲線であっても構わない。

そして本実施形態では、参照画像２６に対して、例えば参照画像２６の特徴量を用いた画像認識処理が実行され、参照画像２６において車両２２が表された候補領域２８が抽出される。図４には参照画像２６ａにおける候補領域２８ａが示されている。また図５には参照画像２６ｂにおける候補領域２８ｂが示されている。なお、参照画像２６ａ及び参照画像２６ｂの両方に対して所定の抽出対象を囲む矩形領域を特定する同じアルゴリズムが実行されることで、候補領域２８ａ及び候補領域２８ｂが抽出されてもよい。また図４及び図５に示すように、候補領域２８の一部が参照画像２６からはみ出ていてもよい。また学習済の機械学習モデルを用いて候補領域２８が抽出されてもよい。

そして本実施形態では例えば、参照画像２６における候補領域２８に対して、当該参照画像２６をターゲット画像２０に変換する所与の幾何変換が実行される。例えば、参照画像２６における候補領域２８に対して、当該参照画像２６に表れている、所与の抽出対象の輪郭線の向きをターゲット画像２０に表れている当該抽出対象の輪郭線の向きに変換する所与の幾何変換が実行される。そして当該幾何変換が実行されることにより、ターゲット画像２０における当該参照画像２６に対応付けられる候補領域２８が特定される。

例えば図４の参照画像２６ａにおける候補領域２８ａに対して、参照画像２６ａの生成の際に実行された射影変換の逆変換に相当する射影変換が実行されることにより、図６に示すようにターゲット画像２０における候補領域２８ｃが特定される。また例えば図５の参照画像２６ｂにおける候補領域２８ｂに対して、参照画像２６ｂの生成の際に実行された射影変換の逆変換に相当する射影変換が実行されることにより、図７に示すようにターゲット画像２０における候補領域２８ｄが特定される。

そして本実施形態では例えば、ターゲット画像２０における候補領域２８ｃとターゲット画像２０における候補領域２８ｄとの統合結果が、ターゲット画像２０における抽出対象が表された抽出対象領域２４として特定される。

図８は、図６に示す候補領域２８ｃと図７に示す候補領域２８ｄと図３に示す抽出対象領域２４との関係が示されたターゲット画像２０の一例を示す図である。

図８の例では、候補領域２８ｃの上辺と候補領域２８ｄの上辺のうち下側にある辺が、抽出対象領域２４の上辺３０ａとして設定される。また、候補領域２８ｃの右辺と候補領域２８ｄの右辺の一部とが重なっており、その共通部分が抽出対象領域２４の右辺３０ｂとして設定される。また、候補領域２８ｃの下辺のうち候補領域２８ｄ内に存在する一部が、抽出対象領域２４の右下辺３０ｃとして設定される。また、候補領域２８ｄの下辺のうち候補領域２８ｃ内に存在する一部が、抽出対象領域２４の左下辺３０ｄとして設定される。また、候補領域２８ｃの左辺の一部と候補領域２８ｄの左辺とが重なっており、その共通部分が抽出対象領域２４の左辺３０ｅとして設定される。

このように図８の例では、ターゲット画像２０において候補領域２８ｃと候補領域２８ｄとが重複する領域の辺が抽出対象領域２４の辺として設定されることとなる。このようにして、例えばターゲット画像２０において候補領域２８ｃと候補領域２８ｄとが重なる領域が抽出対象領域２４として特定されてもよい。

ここで本実施形態において、例えば図９に示すように、ターゲット画像２０そのものに対して、例えばターゲット画像２０の特徴量を用いた画像認識処理が実行され、ターゲット画像２０において車両２２が表された候補領域２８ｅが抽出されてもよい。この場合、所定の抽出対象を囲む矩形領域を特定する上述のアルゴリズムが実行されることで候補領域２８ｅが抽出されてもよい。

そして例えば、ターゲット画像２０における候補領域２８ｃとターゲット画像２０における候補領域２８ｄとターゲット画像２０における候補領域２８ｅとの統合結果が、ターゲット画像２０における抽出対象が表された抽出対象領域２４として特定されてもよい。ここで例えばターゲット画像２０において候補領域２８ｃと候補領域２８ｄと候補領域２８ｅとが重複する領域が抽出対象領域２４として特定されてもよい。

なおこの場合に例えば候補領域２８ｃと候補領域２８ｅとの統合結果や、候補領域２８ｄと候補領域２８ｅとの統合結果が、ターゲット画像２０における抽出対象が表された抽出対象領域２４として特定されてもよい。

１つの二次元画像に基づいて当該二次元画像における所定の抽出対象が表された抽出対象領域２４が特定される場合に、特定される抽出対象領域２４と当該抽出対象が実際に表れている領域との間に大きな差異が発生することがある。

本実施形態では以上のようにして、ターゲット画像２０における候補領域２８の統合結果がターゲット画像２０における抽出対象が表された抽出対象領域２４として特定される。そのため本実施形態によれば、１つの二次元画像に基づいて抽出対象領域２４が特定される場合よりも、特定される抽出対象領域２４と抽出対象が実際に表れている領域との差異を低減できることとなる。

また例えば、矩形領域である抽出対象領域２４が特定される場合は、図３の抽出対象領域２４の左下や右下の、車両２２が表されていない領域も、抽出対象領域２４の一部に含まれてしまう。本実施形態では上述のように矩形領域に所与の幾何変換が実行された領域の統合結果がターゲット画像２０における抽出対象が表された抽出対象領域２４として特定される。そのため本実施形態によれば、抽出対象がより正確に表された多角形の抽出対象領域２４が特定されることとなる。

また例えばセマンティックセグメンテーションの技術を用いて画素単位で当該画素が表す物体を特定することにより抽出対象が表された抽出対象領域２４を特定することも考えられる。しかしセマンティックセグメンテーションの技術では部分的な抽出の欠落が発生しやすく、また学習に要する作業量が膨大である。一方、上述の例では、特定される抽出対象領域２４内における抽出の欠落は発生していない。

なお、本実施形態において例えば、所定の角度ずつ互いに異なる射影方向となるような複数のパラメータのそれぞれによって、ターゲット画像２０に対する射影変換が実行されることにより、複数の参照画像２６が生成されてもよい。

また例えば候補領域２８ｅが表す三次元の実空間における、車両２２の表面までの距離分布を示すデータや、車両２２の表面の位置の分布を示す点群（ポイントクラウド）のデータに基づいて、車両２２に形成されている面３２が特定されてもよい。図１０には、特定された面３２ａ及び面３２ｂが示されている。なお車両２２の表面までの距離分布を示すデータや点群（ポイントクラウド）のデータは、例えばターゲット画像２０の撮影の際に併せて取得されてもよい。

そして例えば、面３２ａの法線方向を射影方向とし、面３２ａを囲む特定の辺の方向を所定の方向に変換する射影変換がターゲット画像２０に対して実行されることにより参照画像２６ａが生成されてもよい。例えば、面３２ａの法線方向を射影方向とし、面３２ａの下辺の方向を水平方向に変換する射影変換がターゲット画像２０に対して実行されることにより参照画像２６ａが生成されてもよい。また、面３２ｂの法線方向を射影方向とし、面３２ａを囲む特定の辺の方向を所定の方向に変換する射影変換がターゲット画像２０に対して実行されることにより参照画像２６ｂが生成されてもよい。例えば、面３２ｂの法線方向を射影方向とし、面３２ｂの下辺の方向を水平方向に変換する射影変換がターゲット画像２０に対して実行されることにより参照画像２６ｂが生成されてもよい。

なお面３２の特定方法は特に限定されず、上述の方法とは異なる方法により面３２が特定されてもよい。

また例えば、ターゲット画像２０における複数の候補領域２８が重なる領域が抽出対象領域２４として特定される必要はない。例えばターゲット画像２０における複数の候補領域２８の和集合である領域が抽出対象領域２４として特定されてもよい。また例えばターゲット画像２０における複数の候補領域２８が重なる領域を所定倍に拡大又は縮小した領域やターゲット画像２０における複数の候補領域２８が重なる領域を所定長だけずらした領域が抽出対象領域２４として特定されてもよい。

また例えばターゲット画像２０における複数の候補領域２８が重なる領域に対して抽出対象である物体の種類に応じた変形を実行した領域が抽出対象領域２４として特定されてもよい。この場合、物体の種類と変形の規則との関係は予め定められていてもよい。例えば車両２２の例ではターゲット画像２０における複数の候補領域２８が重なる領域からタイヤの部分がはみ出る可能性がある。例えばこのような種類の物体については、ターゲット画像２０における複数の候補領域２８が重なる領域を所定倍に拡大した上で所定長だけ下にずらした領域が抽出対象領域２４として特定されてもよい。

また例えば公知の技術を用いてターゲット画像２０や参照画像２６からの候補領域２８の抽出の信頼度が特定されるようにしてもよい。そして当該候補領域２８の抽出の信頼度に応じて複数の候補領域２８のうちの一部が選択されてもよい。例えば信頼度のとり得る値が０より大きく１以下である値である場合、抽出の信頼度が所定の閾値（例えば０．５）よりも大きな候補領域２８が選択されてもよい。

そして選択される候補領域２８に基づく統合結果がターゲット画像２０における抽出対象領域２４として特定されてもよい。この場合例えば参照画像２６から抽出される候補領域２８が選択される場合は、当該候補領域２８に対して幾何変換が実行されることにより特定される、ターゲット画像２０における当該参照画像２６に対応付けられる候補領域２８が統合の対象となる。また例えば、ターゲット画像２０から抽出される候補領域２８が選択される場合は、当該候補領域２８が統合の対象となる。

また例えば、抽出の信頼度の低さに応じた拡大率で候補領域２８が拡大されてもよい。例えば信頼度の値の逆数が示す拡大率で候補領域２８が拡大されてもよい。この場合、候補領域２８の中心の位置を変えることなく候補領域２８が拡大されてもよい。そして拡大される候補領域２８に基づく統合結果が、ターゲット画像２０における抽出対象領域２４として特定されてもよい。ここで参照画像２６における候補領域２８については、拡大された後で幾何変換が実行されることにより、ターゲット画像２０における当該参照画像２６に対応付けられる候補領域２８が特定されてもよい。あるいは、参照画像２６における候補領域２８に対して幾何変換が実行されることにより特定される、ターゲット画像２０における当該参照画像２６に対応付けられる候補領域２８が拡大されてもよい。

またここでターゲット画像２０から抽出される候補領域２８についても同様に抽出の信頼度の低さに応じた拡大率で拡大されてもよい。この場合、ターゲット画像２０における候補領域２８の中心の位置を変えることなく当該候補領域２８が拡大されてもよい。そして拡大後の当該候補領域２８と、ターゲット画像２０における参照画像２６に対応付けられる拡大後の候補領域２８との統合結果が、ターゲット画像２０における抽出対象領域２４として特定されてもよい。

また、本実施形態における候補領域２８は矩形領域である必要はない。例えばセマンティックセグメンテーションを実行することにより車両２２が表されていると推定される画素群を囲む領域が候補領域２８として特定されてもよい。なおこの場合は抽出対象領域２４が凸多角形ではない可能性がある。また楕円抽出により候補領域２８が抽出されてもよい。

またターゲット画像２０から参照画像２６を生成する射影変換や参照画像２６における候補領域２８からターゲット画像２０における候補領域２８を特定する射影変換は、例えば回転変換であってもよい。なおターゲット画像２０から参照画像２６を生成する幾何変換や参照画像２６における候補領域２８からターゲット画像２０における候補領域２８を特定する幾何変換は射影変換である必要はない。

また例えば、抽出対象は、車両２２などといった立体的な物体に限定されず、例えばナンバープレートのような平面的な物体であってもよい。

また参照画像２６は、ターゲット画像２０に基づいて生成される画像である必要はない。例えばカメラの投影中心の位置がほぼ同じであり撮影方向のみが異なる複数の撮影画像のそれぞれが、参照画像２６として用いられてもよい。また当該複数の撮影画像のうちのいずれかがターゲット画像２０として用いられ、残りが参照画像２６として用いられてもよい。なおこの場合、ターゲット画像２０を撮影したカメラの撮影方向と参照画像２６を撮影したカメラの撮影方向とがなす角度に応じたパラメータによって、参照画像２６における候補領域２８に対する射影変換が実行されてもよい。そして当該射影変換が実行されることにより、ターゲット画像２０における当該参照画像２６に対応付けられる候補領域２８が特定されてもよい。

以下、本実施形態に係る領域特定装置１０の機能並びに本実施形態に係る領域特定装置１０で実行される処理についてさらに説明する。

図１１は、本実施形態に係る領域特定装置１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る領域特定装置１０で、図１１に示す機能のすべてが実装される必要はなく、また、図１１に示す機能以外の機能が実装されていても構わない。

図１１に示すように、本実施形態に係る領域特定装置１０には、機能的には例えば、参照画像生成部４０、候補領域抽出部４２、候補領域変換部４４、抽出対象領域特定部４６、が含まれる。これらの要素はプロセッサ１２を主として実装される。

以上の機能は、コンピュータである領域特定装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して領域特定装置１０に供給されてもよい。

参照画像生成部４０は、本実施形態では例えば、ターゲット画像２０に基づいて参照画像２６を生成する。

ここで上述のように、参照画像生成部４０が、ターゲット画像２０に基づいて、三次元空間における抽出対象に形成されている面３２を特定してもよい。そして参照画像生成部４０が、特定される面３２の法線方向を射影方向とし、当該面３２を囲む特定の辺の方向を所定の方向に変換する射影変換をターゲット画像２０に対して実行することにより参照画像２６を生成してもよい。

候補領域抽出部４２は、本実施形態では例えば、所定の抽出対象の表われ方が互いに異なる複数の参照画像２６のそれぞれから、抽出対象が表された候補領域２８を抽出する。ここで候補領域抽出部４２は、所定の抽出対象が、その輪郭線の向きが互いに異なるようにして表された複数の参照画像２６のそれぞれから、抽出対象が表された候補領域２８を抽出してもよい。

あるいは、候補領域抽出部４２は、本実施形態では例えば、所定の抽出対象の表われ方が互いに異なるターゲット画像２０及び参照画像２６のそれぞれから、抽出対象が表された候補領域２８を抽出する。ここで候補領域抽出部４２は、所定の抽出対象が、その輪郭線の向きが互いに異なるようにして表されたターゲット画像２０及び参照画像２６のそれぞれから、抽出対象が表された候補領域２８を抽出してもよい。

ここで候補領域抽出部４２は、参照画像生成部４０により生成される参照画像２６から候補領域２８を抽出してもよい。

候補領域変換部４４は、本実施形態では例えば、参照画像２６をターゲット画像２０に変換する所与の幾何変換を、参照画像２６から抽出される候補領域２８に対して実行する。ここで候補領域変換部４４は、参照画像２６に表れている、抽出対象の輪郭線の向きをターゲット画像２０に表れている当該抽出対象の輪郭線の向きに変換する所与の幾何変換を、参照画像２６から抽出される候補領域２８に対して実行してもよい。そして候補領域変換部４４は、本実施形態では例えば、当該幾何変換を実行することで、ターゲット画像２０における当該参照画像２６に対応付けられる候補領域２８を特定する。

抽出対象領域特定部４６は、本実施形態では例えば、ターゲット画像２０における複数の参照画像２６のそれぞれに対応付けられる候補領域２８の統合結果を抽出対象領域２４として特定する。

あるいは抽出対象領域特定部４６は、本実施形態では例えば、ターゲット画像２０における参照画像２６に対応付けられる候補領域２８とターゲット画像２０から抽出される候補領域２８との統合結果を抽出対象領域２４として特定する。

ここで抽出対象領域特定部４６は、上述のように、ターゲット画像２０における複数の候補領域２８が重なる領域を抽出対象領域２４として特定してもよい。

また抽出対象領域特定部４６は、上述のように、候補領域２８の抽出の信頼度に応じて選択される候補領域２８に基づく統合結果を抽出対象領域２４として特定してもよい。

また抽出対象領域特定部４６は、上述のように、候補領域２８の抽出の信頼度の低さに応じた拡大率で拡大される候補領域２８に基づく統合結果を抽出対象領域２４として特定してもよい。

また抽出対象領域特定部４６は、抽出対象領域２４を示す情報を出力してもよい。抽出対象領域特定部４６は例えば、図３に示す、抽出対象領域２４が示されたターゲット画像２０を画面に表示出力してもよい。

以下、本実施形態に係る領域特定装置１０において行われる処理の流れの一例を、図１２に例示するフロー図を参照しながら説明する。この例では複数の参照画像２６における候補領域２８に基づいて抽出対象領域２４が特定される。

まず、参照画像生成部４０が、ターゲット画像２０に基づいて複数の参照画像２６を生成する（Ｓ１０１）。

そして候補領域抽出部４２が、Ｓ１０１に示す処理で生成された複数の参照画像２６のそれぞれから、抽出対象が表された候補領域２８を抽出する（Ｓ１０２）。

そして候補領域変換部４４が、Ｓ１０２に示す処理で抽出された参照画像２６における候補領域２８に対して幾何変換を実行して、ターゲット画像２０における当該参照画像２６に対応付けられる候補領域２８を特定する（Ｓ１０３）。

そして抽出対象領域特定部４６が、Ｓ１０３に示す処理で特定される複数の候補領域２８によって同一の抽出対象を表す領域が抽出されていることを確認する（Ｓ１０４）。ここで例えば、Ｓ１０３に示す処理で特定される複数の候補領域２８についてのIntersection over Union (ＩｏＵ)の値などに基づいて、上述の確認が行われてもよい。例えばＩｏＵの値が所定の閾値以上（例えば０．５以上）である場合に、同一の抽出対象を表す領域が抽出されていると確認されるようにしてもよい。

そして同一の抽出対象を表す領域が抽出されていることが確認されなかった場合は（Ｓ１０４：Ｎ）、本処理例に示す処理が終了される。この場合例えば抽出対象領域２４の抽出ができなかった旨が出力されてもよい。

一方、同一の抽出対象を表す領域が抽出されていることが確認された場合は（Ｓ１０４：Ｙ）、抽出対象領域特定部４６が抽出対象領域２４を特定する（Ｓ１０５）。例えば、Ｓ１０３に示す処理で特定されたターゲット画像２０における複数の参照画像２６のそれぞれに対応付けられる候補領域２８の統合結果が抽出対象領域２４として特定される。そして本処理例に示す処理は終了される。

以下、本実施形態に係る領域特定装置１０において行われる処理の流れの別の一例を、図１３に例示するフロー図を参照しながら説明する。この例では１又は複数の参照画像２６における候補領域２８とターゲット画像２０から抽出される候補領域２８とに基づいて抽出対象領域２４が特定される。

まず、参照画像生成部４０が、ターゲット画像２０に基づいて１又は複数の参照画像２６を生成する（Ｓ２０１）。

そして候補領域抽出部４２が、Ｓ２０１に示す処理で生成された１又は複数の参照画像２６のそれぞれと、ターゲット画像２０から、抽出対象が表された候補領域２８を抽出する（Ｓ２０２）。

そして候補領域変換部４４が、Ｓ２０２に示す処理で抽出された参照画像２６における候補領域２８に対して幾何変換を実行して、ターゲット画像２０における当該参照画像２６に対応付けられる候補領域２８を特定する（Ｓ２０３）。

そして抽出対象領域特定部４６が、Ｓ２０３に示す処理で特定される１又は複数の候補領域２８、及び、Ｓ２０２に示す処理でターゲット画像２０から抽出される候補領域２８によって同一の抽出対象を表す領域が抽出されていることを確認する（Ｓ２０４）。ここで例えば、Ｓ２０３に示す処理で特定される候補領域２８及びＳ２０２に示す処理でターゲット画像２０から抽出される候補領域２８についてのIntersection over Union (ＩｏＵ)の値などに基づいて、上述の確認が行われてもよい。例えばＩｏＵの値が所定の閾値以上（例えば０．５以上）である場合に、同一の抽出対象を表す領域が抽出されていると確認されるようにしてもよい。

ここで同一の抽出対象を表す領域が抽出されていることが確認されなかった場合は（Ｓ２０４：Ｎ）、本処理例に示す処理が終了される。この場合例えば抽出対象領域２４の抽出ができなかった旨が出力されてもよい。

一方、同一の抽出対象を表す領域が抽出されていることが確認された場合は（Ｓ２０４：Ｙ）。抽出対象領域特定部４６が抽出対象領域２４を特定する（Ｓ２０５）。例えば、Ｓ２０３に示す処理で特定されたターゲット画像２０における１又は複数の参照画像２６のそれぞれに対応付けられる候補領域２８とＳ２０２に示す処理でターゲット画像２０から抽出された候補領域２８との統合結果が抽出対象領域２４として特定される。そして本処理例に示す処理は終了される。

なお、本発明は上述の実施形態に限定されるものではない。

また、上述の具体的な文字列や数値、並びに、図面中の具体的な文字列は例示であり、これらの文字列や数値には限定されない。

１０領域特定装置、１２プロセッサ、１４記憶部、１６表示部、１８操作部、２０ターゲット画像、２２車両、２４抽出対象領域、２６，２６ａ、２６ｂ参照画像、２８，２８ａ，２８ｂ，２８ｃ，２８ｄ，２８ｅ候補領域、３０ａ上辺、３０ｂ右辺、３０ｃ右下辺、３０ｄ左下辺、３０ｅ左辺、３２，３２ａ，３２ｂ面、４０参照画像生成部、４２候補領域抽出部、４４候補領域変換部、４６抽出対象領域特定部。

Claims

所定の抽出対象が表れているターゲット画像に対して、互いに異なるパラメータによる所与の射影変換を実行することで、前記抽出対象の表われ方が互いに異なる複数の参照画像を生成する参照画像生成手段と、
前記複数の参照画像のそれぞれから、前記抽出対象が表された候補領域を抽出する候補領域抽出手段と、
前記参照画像を前記ターゲット画像に変換する、前記所与の射影変換の逆変換を、前記参照画像から抽出される前記候補領域に対して実行することで、前記ターゲット画像における当該参照画像に対応付けられる前記候補領域を特定する変換手段と、
前記ターゲット画像における前記複数の前記参照画像のそれぞれに対応付けられる前記候補領域の統合結果を、前記ターゲット画像における前記抽出対象が表された領域として特定する抽出対象領域特定手段と、
を含むことを特徴とする領域特定装置。
所定の抽出対象を撮影したターゲット画像、及び、当該抽出対象を前記ターゲット画像とは異なる角度から撮影した参照画像のそれぞれから、前記抽出対象が表された候補領域を抽出する候補領域抽出手段と、
前記ターゲット画像の撮影方向と前記参照画像の撮影方向とがなす角度に応じたパラメータによる射影変換を、前記参照画像から抽出される前記候補領域に対して実行することで、前記ターゲット画像における当該参照画像に対応付けられる前記候補領域を特定する変換手段と、
前記ターゲット画像における前記参照画像に対応付けられる前記候補領域と前記ターゲット画像から抽出される前記候補領域との統合結果を、前記ターゲット画像における前記抽出対象が表された領域として特定する抽出対象領域特定手段と、
を含むことを特徴とする領域特定装置。
前記ターゲット画像は、三次元空間に配置された前記抽出対象を撮影した画像であり、
前記ターゲット画像に基づいて、前記三次元空間における前記抽出対象に形成されている面を特定する面特定手段、をさらに含み、
前記参照画像生成手段は、特定される前記面の法線方向を射影方向とし、前記面を囲む特定の辺の方向を所定の方向に変換する射影変換を前記ターゲット画像に対して実行することにより前記参照画像を生成する、
ことを特徴とする請求項１に記載の領域特定装置。
前記抽出対象領域特定手段は、複数の前記候補領域が重なる領域を、前記ターゲット画像における前記抽出対象が表された領域として特定する、
ことを特徴とする請求項１から３のいずれか一項に記載の領域特定装置。
前記抽出対象領域特定手段は、前記候補領域の抽出の信頼度に応じて選択される前記候補領域に基づく前記統合結果を、前記ターゲット画像における前記抽出対象が表された領域として特定する、
ことを特徴とする請求項１から３のいずれか一項に記載の領域特定装置。
前記抽出対象領域特定手段は、前記候補領域の抽出の信頼度の低さに応じた拡大率で拡大される前記候補領域に基づく前記統合結果を、前記ターゲット画像における前記抽出対象が表された領域として特定する、
ことを特徴とする請求項１から５のいずれか一項に記載の領域特定装置。
所定の抽出対象が表れているターゲット画像に対して、互いに異なるパラメータによる所与の射影変換を実行することで、前記抽出対象の表われ方が互いに異なる複数の参照画像を生成する手順、
前記複数の参照画像のそれぞれから、前記抽出対象が表された候補領域を抽出する手順、
前記参照画像を前記ターゲット画像に変換する、前記所与の射影変換の逆変換を、前記参照画像から抽出される前記候補領域に対して実行することで、前記ターゲット画像における当該参照画像に対応付けられる前記候補領域を特定する手順、
前記ターゲット画像における前記複数の前記参照画像のそれぞれに対応付けられる前記候補領域の統合結果を、前記ターゲット画像における前記抽出対象が表された領域として特定する手順、
をコンピュータに実行させることを特徴とするプログラム。
所定の抽出対象を撮影したターゲット画像、及び、当該抽出対象を前記ターゲット画像とは異なる角度から撮影した参照画像のそれぞれから、前記抽出対象が表された候補領域を抽出する手順、
前記ターゲット画像の撮影方向と前記参照画像の撮影方向とがなす角度に応じたパラメータによる射影変換を、前記参照画像から抽出される前記候補領域に対して実行することで、前記ターゲット画像における当該参照画像に対応付けられる前記候補領域を特定する手順、
前記ターゲット画像における前記参照画像に対応付けられる前記候補領域と前記ターゲット画像から抽出される前記候補領域との統合結果を、前記ターゲット画像における前記抽出対象が表された領域として特定する手順、
をコンピュータに実行させることを特徴とするプログラム。