JP7028099B2

JP7028099B2 - 候補領域推定装置、候補領域推定方法、及びプログラム

Info

Publication number: JP7028099B2
Application number: JP2018145608A
Authority: JP
Inventors: 之人渡邉; 周平田良島; 峻司細野; 潤島村; 哲也杵渕
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2018-08-02
Filing date: 2018-08-02
Publication date: 2022-03-02
Anticipated expiration: 2038-08-02
Also published as: US12008765B2; US20210304415A1; WO2020027282A1; JP2020021340A

Description

本発明は、候補領域推定装置、候補領域推定方法、及びプログラムに係り、特に、複数の対象物を表す候補領域を推定するための候補領域推定装置、候補領域推定方法、及びプログラムに関する。

従来から、画像中の単一の物体が含まれていそうな候補領域を推定する物体候補領域推定は、画像が含む物体を検索する物体検索や物体検出の前処理として広く用いられており、撮影された画像による商品検索サービスやＯ２Ｏ（オンライン・ツー・オフライン）サービスへの応用が期待されている。

物体候補領域推定の典型例を非特許文献１に従って概説する。まず、画像中の鋭敏に変化するような箇所である境界線を検出する。次に、スライディングウィンドウ等で切り出された各領域について、その領域がどの程度物体を過不足なく含んでいるかを表すスコアを算出する。最後に、スコアが高い上位の領域を、物体候補領域として出力する。

このような物体候補領域推定は、対象物体の領域である前景領域から境界線が多く検出され、また、対象物体ではない領域である背景領域から境界線があまり検出されないことが前提となる。例えば、背景領域から境界線が多く検出されるような場合には、背景に対して候補領域を推定してしまうなど、対象物を正確に捉えた候補領域を推定できない。言い換えると、対象物の境界線を過不足なく検出できれば、対象物の候補領域を高精度に推定できる。

境界線検出の方法については、種々の技術が発明・開示されている。例えば非特許文献２では、Ｃａｎｎｙ法と呼ばれる方法が開示されている。

Ｃａｎｎｙ法では、まず、画像のｘ方向及びｙ方向に、１次微分した２次元ガウス関数を畳み込み、ｘ方向及びｙ方向微分値を求め、各画素における微分値から、勾配の大きさと勾配方向を求める。次に、境界線ではない画素を抑制すべく、各画素に対して、その画素が勾配方向に対して極大値であるかを判定し、極大値とならない画素を抑制する。最後に、２種の閾値（閾値１及び閾値２）を用いて、閾値１より勾配の大きさが大きい画素、及び、閾値２より勾配の大きさが大きく、かつ、境界線として検出された画素に隣接する画素を境界線として検出する。

一般的に、このような境界線検出によって検出される境界線は、畳み込むガウス関数の標準偏差、及び、閾値処理に用いる２種の閾値などのパラメータに大きく影響される。

例えば、標準偏差を大きくすると、画像の大まかな特徴を表す境界線のみが検出されるようになり、閾値を大きくすると、検出される境界線の量が減少する傾向がある。そのため、未検出及び誤検出が少ない境界線検出を行うためには、パラメータを適切に設定する必要がある。

しかしながら、パラメータの適切な値は画像によって異なるため、あらゆる画像から高精度に境界線を検出できる共通のパラメータを設定することは困難である。

このような問題を解決するべく、パラメータに依らずに高精度に境界線を検出する技術に関する取り組みがなされてきた。

例えば、非特許文献３には、大津の二値化法に基づくＣａｎｎｙ法の閾値決定方法が記載されている。画像の画素値を２クラスへ分割する値ｔを大津の二値化法によって決定する。すなわち、２クラスへ分割した際のクラス内分散に対するクラス間分散の割合が最大となる値を値ｔとする。この値ｔを閾値１に、０．５×ｔを閾値２とすることで、画像ごとにパラメータを設定することができる。

また、特許文献１には、機械学習のアプローチによる境界線検出の方法が記載されている。人為的に境界線情報が付与されたデータを訓練画像として学習し、学習した形状の境界線を高精度に検出することができる。

特開２０１５－１０３０７５号公報

C. L. Zitnick and P. Doll´ar. Edge boxes: Locating object proposals from edges. In ECCV, 2014. John Canny, "A Computational Approach to Edge Detection", IEEE Trans. on PAML, Vol. 8, No. 6, Nov. 1986, pp. 679 - 698. M,Fang, G.X.Yue and Q.C.Yu, "The Study on An Application of Otsu Method in Canny Operator", in Proc.ISIP'09, 2009, Aug. 2009, pp. 109-112.

しかし、非特許文献３に記載の方法は、画像全体から閾値を決定しており、対象物の境界線が過不足なく捉えられるとは限らない、という問題があった。

また、画像から適応的に決定するのは閾値１のみであり、当該パラメータを全て適応的に決定するものではない。そのため、例えば、勾配の大きさが０．５×ｔ（閾値２）を下回るような境界線は検出できない、という問題があった。

更に、ガウス関数の標準偏差についても、別途適切な値を設定する必要がある、という問題があった。

また、特許文献１に記載の方法は、事前に訓練画像を準備する必要があるため、画像への境界線情報の付与コスト及び学習の計算コストが必要となる、という問題があった。

また、上記パラメータについて、画像ごとに手動で適切な値を設定すれば、高精度に境界線を検出することができる。しかし、画像毎に当該パラメータの各々の値を調節することは非効率的である、という問題があった。

本発明は上記の点に鑑みてなされたものであり、画像に含まれる複数の対象物の各々を表す候補領域を高精度に推定することができる候補領域推定装置、候補領域推定方法、及びプログラムを提供することを目的とする。

本発明に係る候補領域推定装置は、複数の対象物を含む画像から、前記複数の対象物の各々について、前記対象物を含む領域の候補となる候補領域を推定する候補領域推定装置であって、前記画像と、前記画像に含まれる前記複数の対象物のうち少なくとも一つの前記対象物を含む領域を示す領域情報との入力を受け付ける入力部と、前記画像に含まれる境界線の密度と、前記領域情報が示す領域内の境界線の密度との割合に基づいて、前記画像の境界線を検出する際に用いられるパラメータを決定するパラメータ決定部と、前記パラメータを用いて、前記画像から境界線を検出する境界線検出部と、前記境界線検出部により検出された前記境界線に基づいて、前記画像に含まれる前記複数の対象物の各々について、前記対象物の前記候補領域を推定する領域推定部と、を備えて構成される。

また、本発明に係る候補領域推定方法は、複数の対象物を含む画像から、前記複数の対象物の各々について、前記対象物を含む領域の候補となる候補領域を推定する候補領域推定方法であって、前記画像と、前記画像に含まれる前記複数の対象物のうち少なくとも一つの前記対象物を含む領域を示す領域情報との入力を受け付ける入力ステップと、前記画像に含まれる境界線の密度と、前記領域情報が示す領域内の境界線の密度との割合に基づいて、前記画像の境界線を検出する際に用いられるパラメータを決定するパラメータ決定ステップと、前記パラメータを用いて、前記画像から境界線を検出する境界線検出ステップと、前記境界線検出ステップにより検出された前記境界線に基づいて、前記画像に含まれる前記複数の対象物の各々について、前記対象物の前記候補領域を推定する領域推定ステップと、を含む。

本発明に係る候補領域推定装置及び候補領域推定方法によれば、入力部が、画像と、当該画像に含まれる複数の対象物のうち少なくとも一つの当該対象物を含む領域を示す領域情報との入力を受け付け、パラメータ決定部が、当該画像に含まれる境界線の密度と、当該領域情報が示す領域内の境界線の密度との割合に基づいて、画像の境界線を検出する際に用いられるパラメータを決定する。

そして、境界線検出部が、当該パラメータを用いて、当該画像から境界線を検出し、領域推定部が、検出された当該境界線に基づいて、当該画像に含まれる当該複数の対象物の各々について、当該対象物の候補領域を推定する。

このように、画像に含まれる境界線の密度と、当該画像に含まれる複数の対象物のうち少なくとも一つの当該対象物を含む領域を示す領域情報が示す領域内の境界線の密度との割合に基づいて、画像の境界線を検出する際に用いられるパラメータを決定し、当該パラメータを用いて、当該画像から境界線を検出し、検出された当該境界線に基づいて、当該画像に含まれる当該複数の対象物の各々について、当該対象物の候補領域を推定することにより、画像に含まれる複数の対象物の各々を表す候補領域を高精度に推定することができる。

また、本発明に係る候補領域推定装置の前記パラメータ決定部は、前記画像に含まれる境界線の密度と、前記領域情報が示す領域の一部である小領域内の境界線の密度との割合に基づいて、前記パラメータを決定することができる。

また、本発明に係る候補領域推定装置の前記領域推定部は、前記領域情報が示す領域の上方の領域又は下方の領域から、前記対象物の前記候補領域を推定することができる。

また、本発明に係る候補領域推定装置の前記領域推定部は、前記領域情報が示す領域の右方の領域又は左方の領域から、前記対象物の前記候補領域を推定することができる。

また、本発明に係る候補領域推定装置の前記領域推定部は、更に、前記推定された前記対象物の前記候補領域から、前記対象物の前記候補領域が示す領域内の境界線の密度と、前記領域情報が示す領域内の境界線の密度とに基づいて、推定結果として出力する前記候補領域を選択することができる。

本発明に係るプログラムは、上記の候補領域推定装置の各部として機能させるためのプログラムである。

本発明の候補領域推定装置、候補領域推定方法、及びプログラムによれば、画像に含まれる複数の対象物の各々を表す候補領域を高精度に推定することができる。

本発明の実施の形態に係る候補領域推定装置の構成を示すブロック図である。本発明の実施の形態に係る対象とする画像及び領域情報の一例を示すイメージ図である。本発明の実施の形態に係る候補領域推定装置の候補領域推定処理ルーチンを示すフローチャートである。

以下、本発明の実施の形態について図面を用いて説明する。

＜本発明の実施の形態に係る候補領域推定装置の構成＞
図１を参照して、本発明の実施の形態に係る候補領域推定装置１の構成について説明する。図１は、本発明の実施の形態に係る候補領域推定装置の構成を示すブロック図である。

候補領域推定装置１は、ＣＰＵと、ＲＡＭと、後述する候補領域推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。

図１に示すように、本実施形態に係る候補領域推定装置１は、入力部１０と、パラメータ決定部１１と、境界線検出部１２と、領域推定部１３と、出力部１４とを備えて構成される。

入力部１０は、複数の対象物を含む画像１０１と、当該画像に含まれる複数の対象物のうち少なくとも一つの当該対象物を含む領域を示す領域情報１０２との入力を受け付ける。

領域情報１０２は、画像１０１が含む複数の対象物のうち少なくとも一つの当該対象物の位置を表す情報である。領域情報１０２は、例えば、ある対象物を囲う矩形の頂点の座標である。

図２に画像１０１及び領域情報１０２の一例を示す。図２は、複数の対象物（「ＡＡＡ」、「ＢＢＢ」、及び「ＣＣＣ」）と、「Ｚ」という背景とを含む画像１０１と、「ＡＡＡ」という対象物の位置を示す領域情報１０２を表す図である。

なお、本発明の実施の形態において必須の構成要素ではないが、候補領域推定装置１に入力される領域情報１０２として、画像１０１に対する物体検出結果を利用することができる。この場合、画像１０１が含む対象物の少なくとも一つの位置を検出する物体検出装置２を外部に備える。

対象物の検出方法としては、例えば、参考文献１に記載の方法を利用すればよい。
［参考文献１］J. Redmon and A. Farhadi. YOLO9000: better, faster, stronger. In CVPR, 2017.

また、必ずしも物体検出装置２を備える必要はなく、例えば、画像１０１が含む対象物の少なくとも一つの位置を指定して領域情報１０２を作成しても良い。

そして、入力部１０は、画像１０１及び領域情報１０２を、パラメータ決定部１１に渡す。

パラメータ決定部１１は、画像１０１に含まれる境界線の密度と、領域情報１０２が示す領域内の境界線の密度との割合に基づいて、画像１０１の境界線を検出する際に用いられるパラメータを決定する。

具体的には、パラメータ決定部１１は、まず、画像１０１に含まれる境界線と、領域情報１０２が示す領域内の境界線とを、任意の境界線検出の方法及び予め定めたパラメータを用いて、検出する。

本実施形態では、パラメータ決定部１１は、境界線検出の方法として非特許文献２に記載のＣａｎｎｙ法を用いる場合について説明する。すなわち、パラメータ決定部１１は、Ｃａｎｎｙ法及び予め定めた３種のパラメータ（畳み込むガウス関数の標準偏差、及び閾値処理に用いる２種の閾値）を用いて、画像１０１に含まれる境界線と、領域情報１０２が示す領域内の境界線とを検出する。なお、当該３種のパラメータは、パラメータ決定部１１が境界線を検出する際に用いるパラメータである。

次に、パラメータ決定部１１は、検出した画像１０１に含まれる境界線の画像１０１全体に対する密度を求める。境界線の密度は、画像の画素数（面積）に対する、境界線が存在する画素数（境界線の量）の割合として求めればよい。

同様に、パラメータ決定部１１は、検出した領域情報１０２が示す領域内の境界線の当該領域内の境界線の密度を求める。

次に、パラメータ決定部１１は、画像１０１に含まれる境界線の密度と、領域情報１０２が示す領域内の境界線の密度とに基づいて、畳み込むガウス関数の標準偏差と、閾値処理に用いる２種の閾値との３種類のパラメータを決定する。なお、パラメータ決定部１１が決定する当該３種のパラメータは、境界線検出部１２が境界線を検出する際に用いるためのパラメータである。

より具体的には、パラメータ決定部１１は、例えば、画像１０１に含まれる境界線の密度に対する、領域情報１０２が示す領域内の境界線の密度の割合を評価値とし、３種のパラメータが取り得る範囲をグリッドサーチすることにより、当該３種のパラメータを決定する。

当該評価値を用いることで、対象物の境界線における勾配の大きさが背景の境界線における勾配の大きさよりも大きい画像において、領域情報が示す領域における背景から検出される境界線に対する対象物から検出される境界線の割合が、画像全体における背景から検出される境界線に対する対象物から検出される境界線の割合よりも大きくなるような場合であっても、パラメータを適応的に決定することができる。

例えば、図２のように、背景が画像１０１全域に存在し、また、領域情報１０２が示す領域が対象物を過不足なく含むような場合、領域内外での背景の境界線の密度は同程度となり、対象物の境界線の密度は領域内で高くなることが期待できる。

また、当該評価値が高くなるようなパラメータを探索できれば、必ずしもグリッドサーチを行う必要はなく、例えば、ランダムサーチ、ベイズ最適化など、任意のパラメータ探索方法を用いても良い。

また、パラメータ決定部１１は、画像１０１に含まれる境界線の密度と、領域情報１０２が示す領域の一部である小領域内の境界線の密度との割合に基づいて、各パラメータを決定する構成としてもよい。

この場合、パラメータ決定部１１は、例えば、画像１０１に含まれる境界線の密度に対する、領域情報１０２が示す領域内の一部小領域の境界線の密度の割合を評価値とする。

一部小領域の境界線密度としては、例えば、当該領域情報で規定される領域をＸ×Ｙのグリッドへ分割し、各々のＸ×Ｙ個の小領域の各々の境界線密度を算出し、その最小値を用いればよい。ここで、Ｘ、Ｙは自然数であり、例えば、各々２等とすればよい。

一部小領域の各々で境界線の密度を算出することで、対象物の境界線における勾配の大きさが変動するような場合に対して、頑健に評価値を算出することができる。

そして、パラメータ決定部１１は、画像１０１、領域情報１０２、及び決定したパラメータを、境界線検出部１２に渡す。

境界線検出部１２は、パラメータを用いて、画像１０１から境界線を検出する。

具体的には、境界線検出部１２は、任意の境界線の検出方法及びパラメータ決定部１１が決定したパラメータを用いて、画像１０１の境界線を検出する。

ここで、境界線検出部１２が用いる境界線の検出方法は限定されないが、パラメータ決定部１１で用いた境界線の検出方法と同一の方法であるものとする。

そして、境界線検出部１２は、画像１０１、領域情報１０２、及び検出した境界線を、領域推定部１３に渡す。

領域推定部１３は、境界線検出部１２により検出された境界線に基づいて、画像１０１に含まれる複数の対象物の各々について、当該対象物を含む領域の候補となる候補領域を推定する。

具体的には、領域推定部１３は、画像１０１及び境界線検出部１２が検出した境界線に基づいて、画像１０１に含まれる複数の対象物の各々について、当該対象物の候補領域を、任意の領域の推定方法を用いて推定する。

領域の推定方法は、境界線を入力とする領域の推定方法であれば、任意の方法を用いることができる。例えば、非特許文献１に記載の方法を用いることで、対象物の候補領域を推定できる。

また、領域推定部１３は、領域情報１０２が示す領域の上方の領域又は下方の領域から、当該対象物の候補領域を推定する構成としてもよい。

具体的には、画像１０１が含む複数の対象物の配置情報を利用できる場合、これを利用することができる。例えば、図２のように、対象物の各々が縦方向に並ぶように配置されるような画像１０１を対象とする場合、領域情報１０２が示す領域の位置の上方又は下方に他の対象物が存在する可能性があるため、領域情報１０２が示す領域の位置の上下の領域を対象として候補領域の推定を行えばよい。

また、領域推定部１３は、領域情報１０２が示す領域の右方の領域又は左方の領域から、当該対象物の候補領域を推定する構成としてもよい。

上下の領域を対象として候補領域の推定を行う場合と同様に、領域情報１０２が示す領域の位置の左右の領域を対象として候補領域の推定を行えばよい。

また、領域推定部１３は、更に、推定された対象物の候補領域から、当該対象物の候補領域が示す領域内の境界線の密度と、領域情報１０２が示す領域内の境界線の密度とに基づいて、推定結果１０３として出力する候補領域を選択する構成としてもよい。

この場合、領域推定部１３は、推定した候補領域の各々について、領域情報１０２が示す領域内の境界線の密度と同程度（例えば±Ｎ％以内、Ｎは０＜Ｎ＜１００の実数）の境界線の密度となる候補領域のみを、推定結果１０３として出力する。

このような構成により、領域情報１０２が示す領域内の境界線の密度と同程度の境界線の密度となる候補領域のみを推定結果１０３とするため、領域の誤推定を抑制することができる。

そして、領域推定部１３は、推定結果１０３を出力部１４に渡す。なお、推定結果１０３には、画像１０１が含む対象物の各々の位置を表す領域情報が含まれる。

出力部１４は、推定結果１０３を出力する。

＜本発明の実施の形態に係る候補領域推定装置の作用＞
図３は、本発明の実施の形態に係る候補領域推定処理ルーチンを示すフローチャートである。

入力部１０に画像１０１及び領域情報１０２が入力されると、候補領域推定装置１において、図３に示す候補領域推定処理ルーチンが実行される。

まず、ステップＳ１００において、入力部１０が、画像１０１及び領域情報１０２の入力を受け付ける。

ステップＳ１１０において、パラメータ決定部１１は、画像１０１に含まれる境界線の密度と、領域情報１０２が示す領域内の境界線の密度との割合に基づいて、画像１０１の境界線を検出する際に用いられるパラメータを決定する。

ステップＳ１２０において、境界線検出部１２は、上記ステップＳ１１０により決定されたパラメータを用いて、画像１０１から境界線を検出する。

ステップＳ１３０において、領域推定部１３は、上記ステップＳ１２０により検出された境界線に基づいて、画像１０１に含まれる複数の対象物の各々について、当該対象物を含む領域の候補となる候補領域を推定する。

ステップＳ１４０において、出力部１４は、上記ステップＳ１３０により推定された結果である推定結果１０３を出力する。

以上説明したように、本発明の実施形態に係る候補領域推定装置によれば、画像に含まれる境界線の密度と、当該画像に含まれる複数の対象物のうち少なくとも一つの当該対象物を含む領域を示す領域情報が示す領域内の境界線の密度との割合に基づいて、画像の境界線を検出するためのパラメータを決定し、当該パラメータを用いて、当該画像から境界線を検出し、検出された当該境界線に基づいて、当該画像に含まれる当該複数の対象物の各々について、当該対象物の候補領域を推定することにより、画像に含まれる複数の対象物の各々を表す候補領域を高精度に推定することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１候補領域推定装置
２物体検出装置
１０入力部
１１パラメータ決定部
１２境界線検出部
１３領域推定部
１４出力部
１０１画像
１０２領域情報
１０３推定結果

Claims

複数の対象物を含む画像から、前記複数の対象物の各々について、前記対象物を含む領域の候補となる候補領域を推定する候補領域推定装置であって、
前記画像と、前記画像に含まれる前記複数の対象物のうち少なくとも一つの前記対象物を含む領域を示す領域情報との入力を受け付ける入力部と、
前記画像の面積に対する境界線の量の割合を示す境界線の密度であって、前記画像に含まれる境界線の密度と、前記領域情報が示す領域内の境界線の密度との割合に基づいて、前記画像の境界線を検出する際に用いられるパラメータを決定するパラメータ決定部と、
前記パラメータを用いて、前記画像から境界線を検出する境界線検出部と、
前記境界線検出部により検出された前記境界線に基づいて、前記画像に含まれる前記複数の対象物の各々について、前記対象物の前記候補領域を推定する領域推定部と、
を含む候補領域推定装置。
前記パラメータ決定部は、前記画像に含まれる境界線の密度と、前記領域情報が示す領域の一部である小領域内の境界線の密度との割合に基づいて、前記パラメータを決定する
請求項１記載の候補領域推定装置。
前記領域推定部は、前記領域情報が示す領域の上方の領域又は下方の領域から、前記対象物の前記候補領域を推定する
請求項１又は２記載の候補領域推定装置。
前記領域推定部は、前記領域情報が示す領域の右方の領域又は左方の領域から、前記対象物の前記候補領域を推定する
請求項１又は２記載の候補領域推定装置。
前記領域推定部は、更に、前記推定された前記対象物の前記候補領域から、前記対象物の前記候補領域が示す領域内の境界線の密度と、前記領域情報が示す領域内の境界線の密度とに基づいて、推定結果として出力する前記候補領域を選択する
請求項１乃至４の何れか１項記載の候補領域推定装置。
複数の対象物を含む画像から、前記複数の対象物の各々について、前記対象物を含む領域の候補となる候補領域を推定する候補領域推定方法であって、
前記画像と、前記画像に含まれる前記複数の対象物のうち少なくとも一つの前記対象物を含む領域を示す領域情報との入力を受け付ける入力ステップと、
前記画像の面積に対する境界線の量の割合を示す境界線の密度であって、前記画像に含まれる境界線の密度と、前記領域情報が示す領域内の境界線の密度との割合に基づいて、前記画像の境界線を検出する際に用いられるパラメータを決定するパラメータ決定ステップと、
前記パラメータを用いて、前記画像から境界線を検出する境界線検出ステップと、
前記境界線検出ステップにより検出された前記境界線に基づいて、前記画像に含まれる前記複数の対象物の各々について、前記対象物の前記候補領域を推定する領域推定ステップと、
を含む候補領域推定方法。
コンピュータを、請求項１乃至５の何れか１項記載の候補領域推定装置の各部として機能させるためのプログラム。