WO2020049933A1 - 物体認識装置および物体認識方法 - Google Patents

Abstract

物体認識装置１０は、画像から認識対象物体を認識する処理を実行する第１の認識処理部と、画像から認識対象物体の周辺に存在し得る周辺物体を認識する処理を実行する第２の認識処理部と、第１の認識処理部による認識結果が不十分である場合、第２の認識処理部による認識結果に基づいて、認識対象物体を認識する物体認識部と、を備える。

Description

物体認識装置および物体認識方法

　本発明は、物体を認識する物体認識装置および物体認識方法に関する。

　従来、物体を認識する物体認識装置として、画像内の認識したい対象物の特徴点を機械学習することで、対象物を高精度に認識しようとする技術が知られている。また、カメラやＬｉＤＡＲ（Light Detection And Ranging）、レーダーといった複数のセンサを組み合わせて対象物を認識する技術（センサフュージョン）も知られている。しかしながら、特徴点を機械学習する方法の場合、対象物が特徴的でない場合や、対象物の特徴が変化する場合には、対象物を適切に認識できない。また、センサフュージョンを用いた物体認識の場合、複数のセンサを組み合わせて使用するためコストが嵩むとともに、装置の外形寸法、重量および消費電力が増大してしまう。

　認識したい対象物が認識しづらい場合の対策として、従来は、認識したい対象物だけでなく、その周辺の物体も認識し、両者の認識結果を総合的に判断することで、対象物の認識精度を向上させるようにしていた。
　日本国登録公報特許第４０１５４２３号公報には、対象物の近くにある認識しやすい目印を認識し、当該目印の位置座標に対象物の相対座標を加算することで、対象物の位置座標を割り出す方法が開示されている。

日本国登録公報：特許第４０１５４２３号公報

　日本国登録公報特許第４０１５４２３号公報に記載の技術では、対象物の位置を割り出せても、その位置に存在する物体が認識対象の物体であるかを判断するためには、対象物自体を認識する処理が必要となる。つまり、対象物自体の認識結果と、対象物の周辺の目印の認識結果を用いて割り出された対象物の位置座標とを総合的に判断し、対象物であるかの判断が行われる。
　しかしながら、対象物が小さい場合や、特徴的でない場合、形状や色等が変化した場合、さらには、対象物が移動するなどして割り出した位置に物体が存在しない場合には、対象物の認識精度が低くなる。そのため、目標の対象物かどうかの判断が困難となる。
　そこで、本発明は、認識対象の物体が認識しづらい場合であっても、適切に認識対象の物体と判断することができる物体認識装置および物体認識方法を提供することを目的とする。

　上記課題を解決するために、本発明の一つの態様の物体認識装置は、画像から認識対象物体を認識する処理を実行する第１の認識処理部と、前記画像から前記認識対象物体の周辺に存在し得る周辺物体を認識する処理を実行する第２の認識処理部と、前記第１の認識処理部による認識結果が不十分である場合、前記第２の認識処理部による認識結果に基づいて、前記認識対象物体を認識する物体認識部と、を備える。

　また、本発明の一つの態様の物体認識方法は、画像から認識対象物体を認識する処理を実行する第１ステップと、前記画像から前記認識対象物体の周辺に存在し得る周辺物体を認識する処理を実行する第２ステップと、前記第１ステップの認識結果が不十分である場合、前記第２ステップの認識結果に基づいて、前記認識対象物体を認識する第３ステップと、を含む。

　本発明の一つの態様によれば、認識対象の物体が認識しづらい場合であっても、適切に認識対象の物体と判断することができる。

図１は、物体認識装置のハードウェア構成例を示す図である。 図２は、物体認識方法の概要を説明するための図である。 図３は、長期記憶装置のデータ領域の詳細を示す図である。 図４は、物体の認識事例１を示す図である。 図５は、物体の認識事例２を示す図である。 図６は、物体の認識事例３を示す図である。 図７は、物体の認識事例４を示す図である。 図８は、物体の認識事例５を示す図である。 図９は、物体の認識事例６を示す図である。 図１０は、物体認識処理手順を示すフローチャートである。 図１１は、事前学習処理手順を示すフローチャートである。 図１２は、認識場所の座標テーブルの一例である。 図１３は、認識用データテーブルの一例である。

  以下、図面を用いて本発明の実施の形態について説明する。
  なお、本発明の範囲は、以下の実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で任意に変更可能である。

　図１は、本実施形態における物体認識装置１０のハードウェア構成例を示す図である。
　本実施形態における物体認識装置１０は、例えばアームロボットやＡＧＶ（無人搬送車）、自動車の自動運転やＡＤＡＳ（先進運転支援システム）、防犯カメラなどに搭載され、画像から認識対象物体を認識する装置である。なお、本明細書において、「認識する」とは、画像から検出された物体が、認識したい対象の物体かどうかを判断する（識別する）ことをいう。

　例えば物体認識装置１０がアームロボットに搭載されている場合、物体認識装置１０は、把持対象の物体を認識する。そして、物体認識装置１０による認識結果に基づいて、アームロボットのアーム動作が制御される。
　また、ＡＧＶは、予め定められた走行計画に従って目標位置（ゴール地点）まで走行する。物体認識装置１０がＡＧＶに搭載されている場合には、物体認識装置１０は、ゴール地点に置かれた物体を認識し、ＡＧＶは、物体認識装置１０により認識された物体の位置で停止する。また、物体認識装置１０は、ＡＧＶの障害物との接触を回避するために、ＡＧＶの走行経路上の障害物を認識する場合もある。

　さらに、物体認識装置１０が自動車に搭載されている場合には、物体認識装置１０は、歩行者や他車両等の障害物となる物体を認識する。そして、自動車は、物体認識装置１０による認識結果に基づいて、障害物との接触を回避するためにブレーキ制御やステアリング制御等を行う。また、物体認識装置１０は、自動車が先行車両に追従走行するために、先行車両を認識する場合もある。　また、物体認識装置１０が防犯カメラに搭載されている場合には、物体認識装置１０は、不審者を認識し、監視員等に報知する。

　物体認識装置１０は、図１に示すように、ＣＰＵ１１と、センサ部１２と、メモリ１３と、長期記憶装置１４と、を備える。長期記憶装置１４は、ＣＰＵ１１が実行するプログラムを格納するプログラム領域１５と、後述する物体認識処理に用いるデータ（変数やテーブル）を格納するデータ領域１６と、を備える。

　ＣＰＵ１１は、物体認識装置１０における動作を統括的に制御する。
　センサ部１２は、認識対象物体を撮像するカメラ（２Ｄカメラ、３Ｄカメラ等）を備える。
　メモリ１３は、ＣＰＵ１１の主メモリ、ワークエリア等として機能する。ＣＰＵ１１は、処理の実行に際して長期記憶装置１４から必要なプログラムをメモリ１３にロードし、当該プログラムを実行することで各種の機能動作を実現することができる。

　本実施形態では、物体認識装置１０は、画像から認識対象物体とその周辺に存在し得る周辺物体とをそれぞれ認識する処理を実行し、最も良い認識結果を用いて、認識対象物体を認識する。つまり、物体認識装置１０は、認識対象物体の認識結果が不十分である場合には、認識対象物体の認識結果を用いず、周辺物体の認識結果のみを用いて認識対象物体を認識するようにする。

　具体的には、物体認識装置１０は、画像を複数の領域に分割し、分割された部分領域について、順次、物体を認識する認識処理を実行する。そして、物体認識装置１０は、認識処理の結果（認識結果）の良し悪しを点数化し、認識結果およびその点数をデータ領域１６に格納する。例えば、物体認識装置１０は、図２に示すように、画像２０を９個の部分領域に分割し、画像２０の中心から順に認識処理を実行することができる。ここで、図２に示す数字は、認識処理を実行する順番を示している。そして、物体認識処理１０は、最も良い点数が得られた部分領域の認識結果に基づいて、認識対象物体を認識する。
　なお、部分領域の数、形状、大きさ、および、部分領域に対して認識処理を実行する順番は、上記に限定されるものではなく、任意に設定可能である。また、認識処理を実行する領域は、必ずしも画像全体でなくてもよい。

　図３は、長期記憶装置１４のデータ領域１６の詳細を示す図である。
　データ領域１６に格納されるデータは、一番良い認識結果１６１、一番良い認識結果の点数１６２、一番良い認識結果が出た場所１６３、認識する場所のパターン１６４、今回の認識場所１６５、認識する場所の数１６６、今回の認識結果１６７および今回の認識結果の点数１６８を含む。
　一番良い認識結果１６１には、各部分領域に対してそれぞれ認識処理を実行した結果、最も良い点数が得られた部分領域に対して実行された認識処理の結果（認識結果）が格納される。ここで、認識結果は、認識処理により認識された物体に関する情報（位置、形状、大きさ、色など）を含む。

　一番良い認識結果の点数１６２には、各部分領域の認識結果の点数のうち、最も良い点数が格納される。ここで、認識結果の点数は、認識結果の精度を示す値である。例えば、テンプレートマッチングを用いて物体の認識処理を行う場合、テンプレートとの類似度を、認識結果の点数として用いることができる。この場合、認識結果の点数は、類似度に応じて０点～１００点として点数化することができる。
　一番良い認識結果が出た場所１６３には、各部分領域の認識結果の点数のうち、最も良い点数が得られた部分領域の場所を示す情報が格納される。部分領域の場所を示す情報は、部分領域の画像内における座標情報であってもよいし、部分領域を識別するためのインデックスであってもよい。
　認識する場所のパターン１６４には、各部分領域のうち認識処理を実行する場所、および認識処理を実行する順番が格納される。この認識する場所のパターン１６４には、例えば［右、左、上、下、右と左の両方、…］といったテーブルを格納してもよい。

　今回の認識場所１６５には、認識処理を実行している部分領域の場所を示す情報が格納される。この今回の認識場所１６５に格納される部分領域の場所を示す情報は、上述した一番良い認識結果が出た場所１６３に格納される情報と対応している。
　認識する場所の数１６６には、認識処理を実行する部分領域の総数が格納される。例えば、図２に示す例では、認識する場所の数が９となる。部分領域の場所を示す情報として、部分領域を識別するためのインデックスを用いる場合、この認識する場所の数１６６には、上記インデックスの最大値が格納される。
　今回の認識結果１６７には、今回の認識場所１６５に対して実行された認識処理の結果（認識結果）が格納される。
　今回の認識結果の点数１６８には、今回の認識場所１６５に対して実行された認識処理の結果の良し悪しを示す点数が格納される。

　従来、認識対象物体を高精度に認識するために、デバイス性能（カメラの解像度など）をアップさせて認識対象物体を認識する方法、認識対象物体に認識コード（二次元バーコードなど）を貼り付ける方法、複数のセンサを用いて補い合う方法（センサフュージョン）などが用いられている。また、認識対象物体とその周辺の物体とを認識し、両者の認識結果を総合的に判断して認識対象物体を認識する方法を用いる場合もある。
　このように、認識したい物体を直接認識するか、認識したい物体の周辺物体も併せて総合的に認識する方法を用いることが一般的であった。

　しかしながら、上記のデバイス性能をアップする方法は、コストが嵩むという問題がある。また、認識対象物体に認識コードを貼り付ける方法は、当該認識コードを貼ることができない認識対象物体には適用できない。さらに、複数のセンサを用いて補い合う方法は、いずれのセンサでも認識しづらい物体には適用できない。
　また、認識対象物体とその周辺物体とを両方認識して総合的に判断する方法は、周辺物体を高精度で認識できたとしても、認識対象物体が認識しづらい場合には総合判断結果の精度が低くなり、認識対象物体の認識率（認識の確からしさ）が低下してしまう。特に、認識対象物体が、認識が困難なほど小さい場合や、特徴的でない場合、特徴量が変化し得る場合、移動し得る場合に、当該認識対象物体が認識しづらく、認識率が低下する。

　本実施形態では、上記のようにサイズや特徴、変化、移動等により認識対象物体が認識しづらい場合には、認識対象物体の認識結果を用いず、周辺物体の認識結果のみを用いて認識対象物体を認識する。
　つまり、本実施形態における物体認識方法は、画像から認識対象物体を認識する処理と、画像から認識対象物体の周辺に存在し得る周辺物体を認識する処理とをそれぞれ実行し、認識対象物体の認識結果が不十分である場合、周辺物体の認識結果に基づいて認識対象物体を認識する方法である。

　以下、物体の認識事例について具体的に説明する。
（事例１）
　アームロボットが飲料を掴む動作を行う場合、アームロボットに搭載された物体認識装置１０は、カメラによって撮像された画像から把持対象となる飲料を認識する。このとき、カメラによって撮像された画像が図４（ａ）に示す画像２１Ａであるものとする。この画像２１Ａの中心には、把持対象（認識対象）である飲料２１１が存在する。また、飲料２１１の右上の領域には、花２１２が存在する。
　この場合、従来のアームロボットでは、画像中心の飲料２１１だけを認識する、または、中心の飲料２１１とその右上の花２１２の両方を認識して、画像中心の物体が把持対象の飲料かどうかを判断していた。なお、飲料２１１の認識に際しては、飲料２１１の容器（ペットボトル）の形状や色（デザイン等）の特徴量を用いてマッチングを行う。

　ところが、図４（ｂ）に示すように、アームロボットの把持対象として、飲料２１１とはデザインの異なる飲料２１３が投入された場合、上記従来の認識方法では、色がマッチングしないため、飲料２１３を把持対象の飲料として認識することができない。
　本実施形態では、上記のように飲料２１３の認識結果が不十分となる場合には、飲料２１３の認識結果を無視し、周辺物体である花２１２の認識結果のみを用いて、飲料２１３を認識する。つまり、花２１２の左下の物体は把持対象の飲料であると判断する。これにより、認識対象物体に変化が生じている場合であっても、飲料２１３を把持対象の物体として高い認識率で認識することができる。

（事例２）
　アームロボットが基板に実装する部品（半導体等）を掴む動作を行う場合、アームロボットに搭載された物体認識装置１０は、カメラによって撮像された画像から把持対象となる部品を認識する。このとき、カメラによって撮像された画像が図５（ａ）に示す画像２２Ａであるものとする。この画像２２Ａの中心には、把持対象（認識対象）である部品２２１が存在する。また、部品２２１の右の領域には、基板２２２が存在する。
　この場合、従来のアームロボットでは、画像中心の部品２２１とその右の基板２２２の両方を認識して、画像中心の物体が把持対象の部品であるかを判断していた。ところが、把持対象である部品２１１は小さくて認識しづらいため、総合判断の結果である認識対象物体の認識率が低下してしまう。

　また、図５（ｂ）に示すように、画像中心の部品２２１の近傍にゴミ２２３が存在する場合、上記従来の認識方法では、部品２２１の認識率がさらに低下するために、総合判断の結果である認識対象物体の認識率がさらに低下してしまう。
　本実施形態では、上記のように部品２２１の認識結果が不十分となる場合には、部品２２１の認識結果を無視し、周辺物体である基板２２２の認識結果のみを用いて、部品２２１を認識する。つまり、基板２２２の左の物体は把持対象の部品であると判断する。これにより、認識対象物体が認識しづらいほど小さい場合であっても、部品２２１を把持対象の物体として高い認識率で認識することができる。

（事例３）
　自動運転やＡＤＡＳが搭載された自動車が走行する場合、自動車に搭載された物体認識装置１０は、カメラによって撮像された画像から信号機を認識し、走行制御を行う。このとき、カメラによって撮像された画像が図６（ａ）に示す画像２３Ａであるものとする。この画像２３Ａの中心には、認識対象である信号機２３１が存在する。また、信号機２３１の右の領域には、コンビニ２３２が存在し、信号機２３１の右下の領域には、横断歩道２３３が存在する。
　この場合、従来の自動車では、画像中心の信号機２３１のみ、または、中心の信号機２３１と右のコンビニ２３２、または、中心の信号機２３１と右下の横断歩道２３３、または、中心の信号機２３１と右のコンビニ２３２と右下の横断歩道２３３を認識して、画像中心の物体が認識対象の信号機であるかを判断していた。

　信号機２３１は、サイズも大きく認識しやすい物体であるため、晴れた日には高精度な認識が可能である。ところが、図６（ｂ）に示すように、雪２３４により信号機２３１が覆われてしまうと、上記従来の認識方法では、信号機２３１を認識することができない。また、降る雪が障害物やノイズの原因となり、信号機２３１を認識しづらくする場合もある。
　雪のケースを学習させるにも、雪の降り方や積もり方は千差万別である、南国（四国や南九州）だと滅多に雪が降らないため、学習させるのが困難である。

　本実施形態では、上記のように信号機２３１の認識結果が不十分となる場合には、信号機２３１の認識結果を無視し、周辺物体であるコンビニ２３２や横断歩道２３３の認識結果のみを用いて、信号機２３１を認識する。つまり、コンビニ２３２の左の物体は認識対象の信号機であると判断する、もしくは、横断歩道２３３の左上の物体は認識対象の信号機であると判断する。これにより、認識対象物体に変化が生じたり障害物やノイズが生じたりしている場合であっても、信号機２３１を認識対象の物体として高い認識率で認識することができる。

（事例４）
　ＡＧＶが自動販売機の横に設置されたゴミ箱をゴールとして移動する場合、ＡＧＶに搭載された物体認識装置１０は、カメラによって撮像された画像からゴールとなるゴミ箱を認識する。このとき、カメラによって撮像された画像が図７（ａ）に示す画像２４Ａであるものとする。この画像２４Ａの中心には、ゴール（認識対象）であるゴミ箱２４１が存在する。また、ゴミ箱２４１の右の領域には、自動販売機２４２が存在する。
　この場合、従来のＡＧＶでは、画像中心のゴミ箱２４１だけを認識する、または、中心のゴミ箱２４１とその右の自動販売機２４２の両方を認識して、画像中心の物体がゴールとして設定されたゴミ箱であるかを判断していた。なお、ゴミ箱２４１の認識に際しては、ゴミ箱２４１の形状や色（デザイン等）の特徴量を用いてマッチングを行う。

　ところが、図７（ｂ）に示すように、ＡＧＶのゴール地点のゴミ箱が、ゴミ箱２４１とは形状の異なるゴミ箱２４３に入れ替わった場合、上記従来の認識方法では、形状がマッチングしないため、ゴミ箱２４３をゴール地点のゴミ箱として認識することができない。
　本実施形態では、上記のようにゴミ箱２４３の認識結果が不十分となる場合には、ゴミ箱２４３の認識結果を無視し、周辺物体である自動販売機２４２の認識結果のみを用いて、ゴミ箱２４３を認識する。つまり、自動販売機２４２の左の物体はゴール地点のゴミ箱であると判断する。これにより、認識対象物体に変化が生じている場合であっても、ゴミ箱２４３をゴール地点の物体として高い認識率で認識することができる。

（事例５）
　ＡＧＶが椅子をゴールとして移動する場合、ＡＧＶに搭載された物体認識装置１０は、カメラによって撮像された画像からゴールとなる椅子を認識する。このとき、カメラによって撮像された画像が図８（ａ）に示す画像２５Ａであるものとする。この画像２５Ａの中心には、ゴール（認識対象）である椅子２５１が存在する。また、椅子２５１の右の領域には、机２５２が存在する。
　この場合、従来のＡＧＶでは、画像中心の椅子２５１だけを認識する、または、中心の椅子２５１とその右の机２５２の両方を認識して、画像中心の物体がゴールとして設定された椅子であるかを判断していた。

　ところが、図８（ｂ）に示すように、ＡＧＶのゴール地点の椅子が移動され、無くなってしまった場合、上記従来の認識方法では、椅子を検出できないため、認識対象物体が存在しないと判断する。つまり、ゴール地点の認識ができない。
　本実施形態では、上記のようにゴール地点の認識結果が不十分となる場合には、ゴール地点の認識結果を無視し、周辺物体である机２５２の認識結果のみを用いて、ゴール地点を判断する。つまり、机２５２の左はゴール地点であると判断する。これにより、認識対象物体が移動して無くなった場合であっても、適切にゴール地点を認識することができる。

（事例６）
　防犯カメラを用いて不審者を検知する場合、物体認識装置１０は、カメラによって撮像された画像から認識対象となる人物を認識する。このとき、カメラによって撮像された画像が図９（ａ）に示す画像２６Ａであるものとする。この画像２６Ａの中心には、認識対象である人物の顔２６１が存在する。また、顔２６１の下の領域には、身体２６２が存在する。
　この場合、従来の防犯カメラでは、画像中心の顔２６１だけを認識する、または、中心の顔２６１だけでなく、その下の身体２６２も認識（両方認識）して、画像中心の物体が不審者の顔であるかを判断していた。なお、顔２６１の認識に際しては、顔２６１の輪郭、パーツの形状、髪型、髭などの特徴量を用いてマッチングを行う。

　ところが、図９（ｂ）に示すように、画像中心の顔２６３が帽子やマスクを着用している場合、上記従来の認識方法では、特徴がマッチングしないため、顔２６３が不審者の顔であるかを適切に判断することができない。
　本実施形態では、上記のように顔２６３の認識結果が不十分となる場合には、顔２６３の認識結果を無視し、周辺物体である身体２６２の認識結果のみを用いて、不審者の判断を行う。例えば、病院内に設置された防犯カメラにおいて、身体２６２の認識結果により白衣を着用していると判断された場合には、不審者ではないと判断することができる。このように、認識対象物体に変化が生じている場合であっても、適切に不審者を認識することができる。

　図１０は、物体認識装置１０が実行する物体認識処理手順を示すフローチャートである。
　まずステップＳ１において、物体認識装置１０は、長期記憶装置１４のデータ領域１６に格納された認識結果を初期化する。具体的には、図３に示す一番良い認識結果１６１、一番良い認識結果の点数１６２および一番良い認識結果が出た場所１６３の変数に、それぞれ予め設定された初期値を代入する。また、今回の認識場所１６５を示す変数ｎを初期値（ｎ＝１）に設定する。
　次にステップＳ２において、物体認識装置１０は、センサ部１２から画像を取得し、今回の認識場所に対して物体認識処理を施す。例えばｎ＝１である場合、図２に示す画像２０の中心の領域が今回の認識場所となり、物体認識装置１０は、画像の中心の領域に対して認識処理を行う。

　次にステップＳ３では、物体認識装置１０は、ステップＳ２の認識結果を図３の今回の認識結果１６７に記録するとともに、ステップＳ２の認識結果を点数化し、図３の今回の認識結果の点数１６８に記録する。
　ステップＳ４では、物体認識装置１０は、ステップＳ３において採点された今回の認識結果の点数１６８が、データ領域１６に格納されている一番良い認識結果の点数１６２よりも高いか否かを判定する。つまり、このステップＳ４では、物体認識装置１０は、今回の認識結果の点数１６８が、これまでの認識結果の点数の中で最も良い点数であるか否かを判定する。そして、今回の認識結果の点数１６８が最も良い点数であると判定された場合にはステップＳ５に移行し、最も良い点数ではないと判定された場合にはステップＳ６に移行する。

　ステップＳ５では、物体認識装置１０は、今回の認識結果１６７を、一番良い認識結果１６１として格納する。また、このとき物体認識装置１０は、今回の認識結果の点数１６８を、一番良い認識結果の点数１６２として格納する。さらに、物体認識装置１０は、今回の認識場所１６５を、一番良い認識結果が出た場所１６３として格納する。つまり、このステップＳ５において、物体認識装置１０は、データ領域１６に現時点での最良値を記録する。
　ステップＳ６では、物体認識装置１０は、設定されたすべての場所で認識処理を実行したか否かを判定する。具体的には、物体認識装置１０は、今回の認識場所１６５が認識する場所の数１６６に達しているか否かを判定する。そして、まだ認識処理を実行していない場所が存在すると判定された場合にはステップＳ７に移行し、インデックスｎをインクリメントしてステップＳ２に戻る。一方、設定されたすべての場所で認識処理が完了していると判定された場合にはステップＳ８に移行する。

　ステップＳ８では、物体認識装置１０は、一番良い認識結果１６１を用いて、認識対象物体を認識する。例えば、一番良い認識結果１６１が認識対象物体の認識結果である場合には、物体認識装置１０は、当該認識対象物体の認識結果をもとに、一番良い認識結果が出た場所１６３の物体が認識対象物体であると判断する。
　一方、一番良い認識結果１６１が認識対象物体の認識結果ではない場合、すなわち、認識対象物体の認識結果が不十分である場合には、物体認識装置１０は、認識対象物体の周辺物体の認識結果である一番良い認識結果１６１をもとに、認識対象物体を認識する。その際、物体認識装置１０は、認識対象物体と、一番良い認識結果が出た場所１６３に存在する周辺物体との相対位置に関する情報を用いて、認識対象物体を認識する。

　例えば上述した事例１（図４（ｂ））の場合、画像中心の飲料２１３の認識結果が不十分となり、画像右上で一番良い認識結果が得られる。この場合には、認識対象物体と画像右上の花２１２との相対位置に関する情報を用いて、認識対象物体を認識する。この図４（ｂ）に示す例では、事前に認識対象物体が花２１２の左下の領域に存在することがわかっている。そのため、物体認識装置１０は、花２１２の左下の領域である画像中心の領域に認識対象物体が存在すると判断し、画像中心の物体（飲料２１３）が認識対象物体であると判断する。　認識対象物体と周辺物体との相対位置に関する情報は、認識対象物体と周辺物体との画像上における位置関係がわかる情報であればよく、データテーブル、位置座標情報、ベクトル情報など、いずれ形式で記憶されていてもよい。

　このように、物体認識装置１０は、画像内の物体に対してそれぞれ認識処理を行い、最も良い認識結果だけを用いて認識対象物体を認識する。つまり、物体認識装置１０は、認識対象物体とその周辺物体との各々について認識処理を行い、その結果、認識対象物体の認識結果が不十分である場合には、周辺物体の認識結果に基づいて認識対象物体を認識する。より具体的には、物体認識装置１０は、周辺物体の認識結果のみを用いて、認識対象物体を認識する。
　なお、本実施形態では、ＣＰＵ１１が、画像から認識対象物体を認識する処理を実行する第１の認識処理部、画像から周辺物体を認識する処理を実行する第２の認識処理部、および、第１の認識処理部による認識結果が不十分である場合、第２の認識処理部による認識結果に基づいて認識対象物体を認識する物体認識部として機能する。

　上記構成により、本実施形態における物体認識装置１０は、認識対象物体が、認識が困難なほど小さい場合や、特徴的でない場合、特徴量が変化した場合、移動した場合など、画像から認識対象物体を直接認識しづらい場合であっても、認識しやすい周辺物体に関する情報を用いて適切に認識することができる。また、精度の低い認識対象物体の認識結果を用いずに、精度の高い周辺物体の認識結果のみを用いるので、認識対象物体と周辺物体との認識結果を総合的に判断する場合と比較して、認識対象物体の認識率を上げることができる。

　例えば図４（ｂ）に示す事例１の場合、中心の認識対象物体（飲料２１３）の認識結果の精度（点数）が１０点と低く、周辺物体（花２１２）の認識結果の精度（点数）が１００点である場合について考える。
　認識対象物体と周辺物体との認識結果を総合的に判断する場合、認識対象物体の認識率は次式により表される。
　（１０点×５０％）＋（１００点×５０％）＝５５点　………（１）
　これに対して、本実施形態のように、精度の低い認識対象物体の認識結果を用いずに、精度の高い周辺物体の認識結果のみを用いた場合、認識対象物体の認識率は次式により表される。
　（１０点×０％）＋（１００点×１００％）＝１００点　………（２）
　このように、認識対象物体と周辺物体との認識結果を同等の比重で総合的に判断する場合と比較して、認識率を上げることができる。

　また、物体認識装置１０は、認識対象物体が認識しづらい場合、認識対象物体と周辺物体との相対位置に関する情報を用いて、認識対象物体を認識する。つまり、物体認識装置１０は、高精度に認識された周辺物体を基準としてどの位置に認識対象物体が存在するかを判断し、判断された位置に認識対象物体が存在すると判断する。したがって、認識対象物体が移動しており、画像内に認識対象物体が存在しない場合であっても、認識対象物体が存在すると判断された位置に認識対象物体が存在すると判断することができる。
　これにより、例えば図５（ａ）および図５（ｂ）に示す事例５のように、ＡＧＶのゴール地点として設定された椅子２５１が移動し、無くなっている場合であっても、物体認識装置１０は、机２５２の左に認識対象物体である椅子２５１が存在すると判断することができる。その結果、ＡＧＶを適切にゴール地点まで走行させ、当該ゴール地点で停止させることができる。

　また、物体認識装置１０は、認識対象物体の認識結果を点数化するので、認識対象物体の認識結果が不十分であるか否かを容易に判定することができる。また、最も良い認識結果を容易に判定することもできる。
　以上のように、本実施形態における物体認識装置１０は、認識対象物体を認識しようとすることが、むしろデメリットになっている場合には、認識対象物体の認識結果を用いない（認識対象物体を認識しない）ようにすることで、認識対象物体の認識率を上げることができる。

　図１１は、物体認識装置１０が、図１０に示す物体認識処理に先立って実行する事前学習処理手順を示すフローチャートである。この事前学習処理は、認識対象物体と周辺物体とを撮像した画像から、認識対象物体と周辺物体との相対位置に関する情報を生成し、記憶する処理である。
　まずステップＳ１１において、物体認識装置１０は、インデックスｉを初期化（ｉ＝１）し、ステップＳ１２に移行する。
　ステップＳ１２では、物体認識装置１０は、認識場所の座標テーブルを参照し、認識処理を実行する場所（認識場所）を設定する。認識場所の座標テーブルの一例を図１２に示す。この図１２に示す認識場所の座標テーブル３１は、図２に示すように画像２０を９個の部分領域に分割した場合の座標テーブルである。座標テーブル３１は、各部分領域（領域１（中心）～領域９（左下））の画像上の座標位置を格納する。各部分領域の座標位置は、画像の中央を基準とした相対ＸＹ座標で示されている。
　物体認識装置１０は、座標テーブル３１から領域ｉの座標データを取り出し、認識場所として設定する。

　次にステップＳ１３では、物体認識装置１０は、ステップＳ１２において設定された認識場所に対して物体認識処理を実行し、ステップＳ１４に移行する。
　ステップＳ１４では、物体認識装置１０は、ステップＳ１３における物体認識処理の結果（認識結果）を、認識用データテーブルに記録する。認識用データテーブルの一例を図１３に示す。この図１３に示す認識用データテーブル３２は、図２に示すように画像２０を９個の部分領域に分割した場合のデータテーブルである。データテーブル３２は、各部分領域（領域１（中心）～領域９（左下））の認識結果を、それぞれ認識用データとして格納する。
　物体認識装置１０は、ステップＳ１３において得られた領域ｉの認識結果を、データテーブル３２の領域ｉに対応付けて記録する。

　次にステップＳ１５では、物体認識装置１０は、設定されたすべての場所で認識処理を実行したか否かを判定する。具体的には、物体認識装置１０は、現在のインデックスｉが画像中の部分領域の数（図２では、９）に達しているか否かを判定する。そして、まだ認識処理を実行していない場所が存在すると判定された場合にはステップＳ１６に移行し、インデックスｉをインクリメントしてステップＳ１２に戻る。一方、設定されたすべての場所で認識処理が完了していると判定された場合には処理を終了する。

　このように、物体認識装置１０は、認識対象物体と周辺物体とを撮像した画像から、認識対象物体と周辺物体との相対位置に関する情報を生成し、記憶装置等に記憶する記憶部を備えることができる。本実施形態では、ＣＰＵ１１が記憶部として機能することができる。
　これにより、認識対象物体と周辺物体との相対位置に関する情報を適切に記憶し、認識対象物体の認識に用いることができる。

　なお、図１１に示す事前学習処理は、物体認識装置１０とは別の装置において実行されてもよい。その場合、物体認識装置１０は、当該別の装置において実行された事前学習処理の結果を取得し、図１０の物体認識処理に使用すればよい。

（変形例）
　上記実施形態においては、認識対象物体の認識結果が不十分である場合、周辺物体の認識結果のみを用いて認識対象物体を認識する場合について説明した。しかしながら、認識対象物体の認識結果が不十分である場合、認識対象物体の認識結果を完全に無視するのではなく、多少は考慮して認識対象物体を認識するようにしてもよい。つまり、物体認識装置１０は、認識対象物体の認識結果の重みを、周辺物体の認識結果の重みよりも小さくする重み付けを行い、当該重み付けを行った認識対象物体の認識結果と周辺物体の認識結果とに基づいて、認識対象物体を認識してもよい。

　この場合、認識対象物体の認識結果の比重は、例えば２０％など、予め決められた値であってよい。例えば図４（ｂ）に示す事例１の場合、中心の認識対象物体（飲料２１３）の認識結果の精度（点数）が１０点と低く、周辺物体（花２１２）の認識結果の精度（点数）が１００点である場合、認識対象物体の認識率は次式により表される。
　（１０点×２０％）＋（１００点×８０％）＝８２点　………（３）
　このように、精度の低い認識対象物体の認識結果の比重を下げ、精度の高い周辺物体の認識結果を優先的に用いてもよい。この場合にも、認識対象物体と周辺物体との認識結果を同等の比重で総合的に判断する場合（上記（１）式）と比較して、認識対象物体の認識率を上げることができる。

　また、上記実施形態においては、物体認識装置１０は、認識対象物体の認識に用いた周辺物体の認識結果に関する情報を学習する機能を有していてもよい。この場合、物体認識装置１０は、学習の結果を、周辺物体を認識する処理に用いることができる。　このように、高精度に認識できた周辺物体に関する情報を学習することで、例えば、次回以降は高精度に認識できた周辺物体を優先的に認識する処理を行うといった対応が可能となる。これにより、処理負荷を軽減しつつ、適切に認識対象物体を認識することができる。

　さらに、上記実施形態においては、認識対象物体が画像の中心に位置する場合について説明したが、認識対象物体が画像の中心に無い場合にも適用可能である。なお、認識対象物体が画像の中心に無い場合、カメラの画角を制御して、認識対象物体が画像の中心に位置するようにしてから上述した認識処理を行うようにしてもよい。

　また、上記実施形態においては、物体の認識方法は固定であるが、認識対象物体の認識結果が不十分である場合には、異なる認識方法を用いて認識対象物体を認識するといった処理を組み合わせてもよい。
　例えば、認識対象物体を形状および色に基づいて認識する処理を行っている場合、認識対象物体の色が変化すると当該認識対象物体を認識できなくなる。このような場合には、認識方法を変更し、認識対象物体を形状のみに基づいて認識するようにしてもよい。そして、認識方法を変更しても認識対象物体の認識結果が不十分である場合に、周辺物体の認識結果を用いて認識対象物体を認識するようにしてもよい。

　１０…物体認識装置、１１…ＣＰＵ、１２…センサ部、１３…メモリ、１４…長期記憶装置、１６…データ領域、２０…画像

Claims (8)

1. 　画像から認識対象物体を認識する処理を実行する第１の認識処理部と、
   　前記画像から前記認識対象物体の周辺に存在し得る周辺物体を認識する処理を実行する第２の認識処理部と、
   　前記第１の認識処理部による認識結果が不十分である場合、前記第２の認識処理部による認識結果に基づいて、前記認識対象物体を認識する物体認識部と、を備えることを特徴とする物体認識装置。
2. 　前記物体認識部は、
   　前記第２の認識処理部による認識結果のみを用いて、前記認識対象物体を認識することを特徴とする請求項１に記載の物体認識装置。
3. 　前記物体認識部は、
   　前記第１の認識処理部による認識結果の重みを前記第２の認識処理部による認識結果の重みよりも小さくする重み付けを行い、
   　当該重み付けを行った前記第１の認識処理部による認識結果および前記第２の認識処理部による認識結果に基づいて、前記認識対象物体を認識することを特徴とする請求項１に記載の物体認識装置。
4. 　前記物体認識部は、
   　前記第２の認識処理部により認識された前記周辺物体に関する情報に基づいて、前記認識対象物体と前記周辺物体との相対位置に関する情報を用いて、前記認識対象物体を認識することを特徴とする請求項１から３のいずれか１項に記載の物体認識装置。
5. 　前記認識対象物体と前記周辺物体とを撮像した画像から、前記認識対象物体と前記周辺物体との相対位置に関する情報を生成し、記憶する記憶部をさらに備えることを特徴とする請求項４に記載の物体認識装置。
6. 　前記第１の認識処理部は、前記認識対象物体の認識結果を点数化することを特徴とする請求項１から５のいずれか１項に記載の物体認識装置。
7. 　前記物体認識部による前記認識対象物体の認識に用いた前記第２の認識処理部による認識結果に関する情報を学習し、当該学習の結果を、前記第２の認識処理部による前記周辺物体を認識する処理に用いることを特徴とする請求項１から６のいずれか１項に記載の物体認識装置。
8. 　画像から認識対象物体を認識する処理を実行する第１ステップと、
   　前記画像から前記認識対象物体の周辺に存在し得る周辺物体を認識する処理を実行する第２ステップと、
   　前記第１ステップの認識結果が不十分である場合、前記第２ステップの認識結果に基づいて、前記認識対象物体を認識する第３ステップと、を含むことを特徴とする物体認識方法。

Images