JP7324956B1 - 物体認識装置および物体認識方法 - Google Patents

Abstract

【課題】資材の物体位置または個数を適切に推定できる物体認識装置を提供する。【解決手段】複数の認識対象物２２を含む物体群２０を複数方向から撮影した２次元画像データと前記物体群の距離画像を取得するデータ取得装置１と、前記２次元画像データに基づいて認識対象物を検出した位置を示す境界ボックスＢＢを複数方向のそれぞれで求め、前記物体群の距離画像から求めた前記物体群の３次元情報に基づいて複数方向の境界ボックスを統合し、統合した境界ボックスにより前記認識対象物の位置または個数を求める物体自動計数装置２と、を備えるようにした。【選択図】図１

Description

本発明は、物体認識装置および物体認識方法に関する。

近年の少子高齢化に伴う作業者の減少に伴い、在庫数確認などの目視による確認作業を代替するため、各種物体の個数を計数する技術が提案されている。例えば、下記特許文献１の要約には、「…入力される画像データに基づいて、当該画像データに含まれる各資材に対して境界ボックスを検出して、各境界ボックス毎に所定の種類の資材か否かを出力し、前記各種類毎の資材の個数を計数する計数処理部…」と記載されている。

特開２０２１－２６６９７号公報

ところで、上述した技術において、資材等の認識対象物体の位置または対象物体の個数を一層適切に推定したいという要望がある。
この発明は上述した事情に鑑みてなされたものであり、資材の物体位置または個数を適切に推定できる物体認識装置および物体認識方法を提供することを目的とする。

上記課題を解決するため本発明の物体認識装置は、複数の認識対象物を含む物体群を複数方向から撮影した２次元画像データと前記物体群の距離画像を取得するデータ取得装置と、前記２次元画像データに基づいて認識対象物を検出した位置を示す境界ボックスを複数方向の２次元画像データのそれぞれで求め、前記物体群の距離画像から求めた前記物体群の３次元情報に基づいて複数方向の境界ボックスにおける同一の認識対象物の境界ボックスを統合して２次元の代表画面にマップし、統合した境界ボックスにより前記認識対象物の位置または個数を求める物体自動計数装置と、を備えるようにした。

本発明によれば、資材等の認識対象物体の位置または個数を適切に推定できる。

第１実施形態による物体認識システムのブロック図である。 ２次元フレーム画像の例を示す図である。 コンピュータのブロック図である。 データ取得装置において実行されるデータ取得処理ルーチンのフローチャートである。 ユーザの撮影速度が速い場合の警告表示を示す図である。 距離画像センサのキャリブレーション等の初期設定を行うための警告表示を示す図である。 物体認識装置において実行される計数処理ルーチンのフローチャートである。 カウント対象となった境界ボックスの一例を示す図である。 計算値表示部における表示画面の例を示す図である。 全体画像データと各画角の物体群の表示画像の関係を説明する図である。 データ取得装置の具体的な表示例を示す図である。 ユーザが未検出の境界ボックスＢＢを手動追加した状態を示す図である。

［実施形態の概要］
一般的には、画像解析ＡＩによる物体の自動計数は、目標精度を達成するまで、データの再収集・再学習を行う必要があり、非常に大きな工数がかかる。また、上述した特許文献１では、計数対象物体が一枚の画像に収まらない場合の対策をしていないため、撮影の方法や対象の物体が限定される。そこで、後述する実施形態では、２次元の画像データと３次元の点群データとを同期して（より好ましくは同時に）取得することで、２次元の画像データに基づく計数結果（境界ボックス）と、３次元の点群情報とを相互参照し、計数対象物体が一枚の画像に収まらない場合であっても、計数対象物体の数を適切に計数するものである。

［第１実施形態］
〈第１実施形態の構成〉
図１は、第１実施形態による物体認識装置１０のブロック図である。
物体認識装置１０は、物体群２０に含まれる認識対象物体２２の位置を推定、または数量を計数するものであり、データ取得装置１と、物体自動計数装置２と、を備えている。なお、図示の例において、各認識対象物体２２は、建築現場の足場資材である円筒状の物体（パイプ）である。

より具体的には、実施形態の物体認識装置１０は、リース会社からリースされた建築現場の足場資材である円筒状の物体（パイプ）を認識対象物体２２とし、リース会社に返却予定の複数の認識対象物体２２から成る物体群２０の２次元の画像データと３次元の点群データとを、スマートフォン等の携帯端末であるデータ取得装置１により取得する。そして、物体自動計数装置２が、２次元の画像データと３次元の点群データの画像解析により認識対象物体２２を計数する。これにより返却する資材の管理を容易にする。

データ取得装置１は、データ取得部１０１と、データ分析部１０２と、データ送信部１０４と、計数値表示部１０６と、計数値修正部１０８と、を備えている。また、物体自動計数装置２は、データ受信部２０１と、物体計数部２０２と、計算値補正部２０３と、計数値送信部２０４と、計数結果登録部２０５と、計数結果データベース２０６と、を備えている。

データ取得部１０１は、２次元動画データを撮影するカメラ（図示略）と、３次元点群データを取得するＬｉＤＡＲ（Light Detection and Ranging）等の距離画像センサや３次元センサ（図示略）と、ＩＭＵ（Inertial Measurement Unit）センサと、を備える。これにより、ユーザがデータ取得部１０１を操作して物体群２０をスキャンすると、データ取得部１０１は、２次元動画データＤＧ（２次元画像データ）と、３次元点群データＴＱ（距離画像情報）と、ＩＭＵセンサの検出結果であるＩＭＵデータＤＩと、を出力する。

詳しくは、ＩＭＵセンサは、加速度センサ・回転角加速度センサ・ジャイロセンサ・磁界センサ・気圧センサ・温度センサ等の物理情報センサを一つのパッケージに統合したセンサユニットである。データ取得装置１では、詳細は図４で説明するが、データ取得部１０１が、２次元動画データと３次元点群データを取得する際に、ＩＭＵセンサで検出したデータ取得装置１の移動速度、撮影距離、撮影角度が許容範囲であるかを判定する。これより、異常な２次元動画データと３次元点群データの取得を抑制し、解析精度の低下を防止する。

アラート表示部１０９は、ＩＭＵセンサで検出したデータ取得装置１の移動速度、撮影距離、撮影角度が許容範囲でない場合に、データ取得装置１に撮影条件を改善するためのアラート表示またはアシスト表示を行う。

データ分析部１０２は、データ取得部１０１から供給されたデータに基づいて、２次元動画データＤＧと、３次元点群データＴＰと、撮影位置データＰＳと、デプスデータＤＰと、を出力する。ここで、撮影位置データＰＳは、ＩＭＵデータＤＩや、Ｖｉｓｕａｌ ＳＬＡＭ、ＬｉＤＡＲ ＳＬＡＭ等の手法に基づいて取得したものであり、データ取得部１０１の位置を示すデータである。３次元点群データＴＰは、３次元点群データＴＱに対して点群累積処理（詳細は後述する）を行った結果のデータである。また、デプスデータＤＰとは、３次元点群データＴＱ，ＴＰを変換して得たデータであり、データ取得部１０１の位置から各３次元点までの距離を表すデータである。

２次元データ動画データＤＧのフレーム番号をｎとし、物体群２０をスキャンする期間内におけるフレーム番号ｎの最小値を「１」とし、フレーム番号ｎの最大値を「ｎ_max」とする。２次元動画データＤＧの、フレーム番号ｎの画像を２次元フレーム画像ＤＧ（ｎ）と呼ぶ。また、データ分析部１０２は、２次元動画データＤＧのフレーム周期に同期して（より好ましくは同一タイミングで）３次元点群データＴＱ、撮影位置データＰＳおよびデプスデータＤＰを分割する。以下、フレーム毎に分割された３次元点群データＴＱを、フレーム番号ｎを用いて３次元フレーム点群ＴＱ（ｎ）と呼ぶ。

ここで、データ分析部１０２が実行する点群累積処理について説明する。あるフレーム番号ｎにおける３次元フレーム点群ＴＱ（ｎ）には、物体群２０の表面上における点の３次元位置座標である複数の点座標が含まれる。同様に、次のフレーム番号ｎ＋１における３次元フレーム点群ＴＱ（ｎ＋１）にも、複数の点座標が含まれる。ここで、データ取得部１０１が両フレーム間で移動すると、基準となるデータ取得部１０１の位置が異なるため、一般的には、３次元フレーム点群ＴＱ（ｎ）に含まれる点座標は、３次元フレーム点群ＴＱ（ｎ＋１）に含まれる何れの点座標とも一致しない。

そこで、データ分析部１０２は、レジストレーションと呼ばれる技術を用いて、３次元フレーム点群ＴＱ（ｎ）の点座標となるべく一致するように３次元フレーム点群ＴＱ（ｎ＋１）に含まれる点座標の空間上の絶対位置に合わせ（以下、単に「位置合わせ」と呼ぶ）、その結果を３次元点群データＴＰとして出力する。この結果、３次元フレーム点群ＴＰ（ｎ）および３次元フレーム点群ＴＰ（ｎ＋１）に含まれる点座標は、大部分が一致するようになる。そして、３次元フレーム点群ＴＰ（ｎ），ＴＰ（ｎ＋１）のうち一方のみに含まれる点座標は、一般的には、他方において死角になる部分の点座標になる。この処理を点群累積処理と呼ぶ。なお、図１の例では、データ分析部１０２はデータ取得装置１に含まれているが、データ分析部１０２を物体自動計数装置２に含めてもよい。

データ送信部１０４は、２次元動画データＤＧ、３次元点群データＴＰ、撮影位置データＰＳ、およびデプスデータＤＰをデータ受信部２０１に送信し、データ受信部２０１はこれらのデータを受信する。

物体計数部２０２は、特徴領域認識部２２２（特徴領域認識過程）と、３次元形状認識部２２４（３次元形状認識過程）と、物体位置推定部２２６（物体位置推定過程）と、推定カウント値算出部２２８と、を備えている。特徴領域認識部２２２は、各フレームの２次元フレーム画像ＤＧ（ｎ）を画像解析し、認識対象物体２２の特徴を表す境界ボックスＢＢ（特徴領域、図２参照）を推定する。具体的には、認識した認識対象物体２２の端部の形状（円形または楕円形）を含む領域を境界ボックスＢＢとする。

図１に示した例において、認識対象物体２２は円筒状であるため、その端面の像は、２次元フレーム画像ＤＧ（ｎ）において円形または楕円形になる。そこで、これらの円形または楕円形を囲む四角形の枠を境界ボックスＢＢ（図２参照）と呼ぶ。フレーム番号ｎにおけるｋ番目の境界ボックス（但し、ｋ＝１，…，ｋ_max）を、境界ボックスＢＢ（ｎ，ｋ）と表す。なお、境界ボックス数ｋ_maxは、フレーム番号ｎ毎に異なる。認識対象物体２２の端面を検出する手法は、ディープラーニングを用いた物体検出手法であってもよいし、ＨｏＧ特徴量などを用いた物体検出手法であってもよい。

また、物体計数部２０２（特徴領域認識部２２２）では、データ受信部２０１で受信したデプスデータＤＰ（３Ｄ奥行距離）で規定される境界ボックスの実際の大きさが、認識対象物体２２の端面の実際の大きさと比較して、所定範囲になければ誤検出とし、検出した境界ボックスＢＢを除去する。つまり、境界ボックスＢＢの大きさが、認識対象物体２２の端面の実際の大きさに相当するとして、３Ｄ奥行距離で規定される大きさと照らし合わせて、大きすぎたり小さすぎたりするものを、誤検出として除去する。

３次元形状認識部２２４は、認識対象物体２２の形状を示すプロファイルデータに基づいて、認識対象物体２２の３次元形状および寸法を認識する。
物体位置推定部２２６は、特徴領域認識部２２２および３次元形状認識部２２４の認識結果に基づいて、各々の認識対象物体２２の位置および姿勢を推定する。
推定カウント値算出部２２８は、物体位置推定部２２６における推定結果に基づいて、認識対象物体２２の数量の暫定値である暫定カウント値ＣＮＴＰ（詳細は後述する）を算出する。

また、計算値補正部２０３は、確信度算出部２３２と、修正部２３４と、を備えている。確信度算出部２３２は、複数のフレームにおける境界ボックスＢＢが、同一の認識対象物体２２に対応する度合いを示す確信度ＰＲを算出する。また、修正部２３４は、暫定カウント値ＣＮＴＰを修正することにより、より確実性の高いカウント値ＣＮＴを求める。

図２は、２次元フレーム画像ＤＧ（ｎ）の例を示す図である。
図２には、あるフレーム番号ｎａ，ｎｂにおける２次元フレーム画像ＤＧ（ｎａ），ＤＧ（ｎｂ）を示す。これら画像においては、認識対象物体２２の像である複数の物体像３２が含まれている。また、図２には、各画像から抽出された境界ボックスＢＢの例も併せて表記している。但し、図示の２次元フレーム画像ＤＧ（ｎａ）には、実際には認識対象物体２２の端面の像が含まれていないにもかかわらず、境界ボックスとして誤って抽出した誤抽出境界ボックス３８も含まれている。例えば、物体群２０（図１参照）の周辺に円環状の形状を有する異物が存在し、認識対象物体２２がその異物を認識対象物体２２の端面であると誤認した場合に、誤抽出境界ボックス３８が現れる。

詳細は後述するが、誤抽出境界ボックス３８は、３次元形状認識部２２４において、評価値ＥＶ（ＢＩＤ）が閾値ＥＶth未満になるため除外される。
また、上述したように、特徴領域認識部２２２が、境界ボックスＢＢを３Ｄ奥行距離で規定される大きさと照らし合わせて、大きすぎたり小さすぎたりするもの（所定範囲外のもの）を誤検出として除去することにより、誤抽出境界ボックス３８の出現が抑止される。

これら２次元フレーム画像ＤＧ（ｎａ），ＤＧ（ｎｂ）における境界ボックスＢＢには、同一の認識対象物体２２に対するものが含まれている。計算値補正部２０３は、３次元点群データＴＰを参照して、複数のフレームに現れている、同一の認識対象物体２２に対するもの境界ボックスＢＢを統合し、これによって物体群２０（図１参照）に含まれる認識対象物体２２の数をカウントする。なお、その詳細については後述する。

図３は、コンピュータ９８０のブロック図である。
図１に示したデータ取得装置１および物体自動計数装置２は、何れも図１に示すコンピュータ９８０を、１台または複数台備えている。図３において、コンピュータ９８０は、ＣＰＵ９８１と、記憶部９８２と、通信Ｉ／Ｆ（インタフェース）９８３と、入出力Ｉ／Ｆ９８４と、メディアＩ／Ｆ９８５と、を備える。ここで、記憶部９８２は、ＲＡＭ９８２ａと、ＲＯＭ９８２ｂと、ＨＤＤ９８２ｃと、を備える。通信Ｉ／Ｆ９８３は、通信回路９８６に接続される。入出力Ｉ／Ｆ９８４は、入出力装置９８７に接続される。メディアＩ／Ｆ９８５は、記録媒体９８８からデータを読み書きする。

ＲＯＭ９８２ｂには、ＣＰＵによって実行されるＩＰＬ（Initial Program Loader）等が格納されている。ＨＤＤ９８２ｃには、アプリケーションプログラムや各種データ等が記憶されている。ＣＰＵ９８１は、ＨＤＤ９８２ｃからＲＡＭ９８２ａに読み込んだアプリケーションプログラム等を実行することにより、各種機能を実現する。先に図１に示した、データ取得装置１および物体自動計数装置２の内部は、アプリケーションプログラム等によって実現される機能をブロックとして示したものである。

〈第１実施形態の動作〉
（データ取得処理）
次に、本実施形態の動作を説明する。
図４は、データ取得装置１において実行されるデータ取得処理ルーチンのフローチャートである。

まず、データ取得部１０１は、ステップＳ２１０で、ＬｉＤＡＲ等の距離画像センサのキャリブレーション等の初期設定を行うため、アラート表示部１０９により、ユーザにデータ取得装置１を所定時間（３秒間程度）静止するよう促す。例えば、図５Ｂに示すように、データ取得装置１の画面に「静止してください」と表示する。詳細は後述する。

図４において処理がステップＳ２０１に進むと、データ取得部１０１は、ＩＭＵデータＤＩを取得する。次に、処理がステップＳ２０２に進むと、データ分析部１０２は、３次元点群データＴＰに基づいて、デプスデータＤＰを取得する。

次に、データ取得部１０１は、ステップＳ２１１で、ステップＳ２０１で取得したＩＭＵデータＤＩとステップＳ２０２で取得したデプスデータＤＰ（３次元点群データ）に基づいて、データ取得装置１の移動速度・撮影距離・撮影角度の少なくとも一つを算出し、算出値が許容範囲内であるか否かを判定する。許容範囲内である場合には（Ｓ２１１のＹｅｓ）、ステップＳ２０３に進み、許容範囲外である場合には（Ｓ２１１のＮｏ）、ステップＳ２１２に進む。

ステップＳ２１２で、アラート表示部１０９は、図５Ａで詳細を説明するが、ユーザに適切な撮影条件に測定を行うように警告するアラート表示またはアシスト表示を行い、ステップＳ２０１に戻る。これにより、適切な撮影条件で、物体群２０を測定できるので、境界ボックスＢＢの検出精度を向上でき、後述する計数値の修正処理を軽減できる。

次に、処理がステップＳ２０３に進むと、データ取得部１０１は２次元動画データＤＧを取得する。次に、処理がステップＳ２０４に進むと、データ分析部１０２は、ＩＭＵデータＤＩ、３次元点群データＴＰおよび２次元動画データＤＧに基づいて、撮影位置データＰＳを取得する。次に、処理がステップＳ２０５に進むと、データ分析部１０２は、３次元点群データＴＱに対して点群累積処理を行い、その結果である３次元点群データＴＰを取得する。

次に、処理がステップＳ２０６に進むと、データ分析部１０２は、２次元動画データＤＧのエンコード処理を行う。次に、処理がステップＳ２０７に進むと、データ分析部１０２は、３次元点群データＴＰ、撮影位置データＰＳ、およびデプスデータＤＰを、２次元動画データＤＧのフレームタイミングに同期して、フレーム単位に分割する。

次に、処理がステップＳ２０８に進むと、データ分析部１０２は、ユーザが所定の終了操作を行ったか否かを判定する。ここで「Ｎｏ」と判定されると、ステップＳ２０１～Ｓ２０８の動作が再度繰り返される。一方、ユーザが所定の終了操作を行った場合は「Ｙｅｓ」と判定され、処理はステップＳ２０９に進む。ここでは、データ送信部１０４が、上述した２次元動画データＤＧ、３次元点群データＴＰ、撮影位置データＰＳおよびデプスデータＤＰを、物体自動計数装置２に送信し、本ルーチンの処理が終了する。

図５Ａ、図５Ｂは、アラート表示部１０９による、データ取得装置１の物体群２０を測定中の表示画面の表示例を示す図であり、ユーザに適切な測定を行うように警告するアラート表示を示している。以下、詳細に説明する。
なお、表示画面の符号５１は撮影時間を示し、符号５２はカメラから画面の＋マークまでの距離、符号５３は撮影角度を示している。

図５Ａは、ユーザの撮影速度（撮影位置の移動速度）が速い場合の警告表示を示しており、アラート表示部１０９（図１参照）が、表示画面に「ゆっくり撮影してください」のメッセージと警告マークとを表示をする。これにより、ユーザは撮影速度が速いことを認識できるので、撮影条件を適切にすることができる。
また、撮影距離が許容範囲内にない場合には、「もっと資材に近づいてください」、「資材から遠ざかってください」のメッセージを表示する。

図５Ｂは、ＬｉＤＡＲ等の距離画像センサのキャリブレーション等の初期設定を行うための警告表示を示しており、アラート表示部１０９が、表示画面に「静止してください」と表示して、ユーザにデータ取得装置１を所定時間（３秒間程度）静止するよう促す。
（計数処理）
図６は、物体自動計数装置２において実行される計数処理ルーチンのフローチャートである。
図６において処理がステップＳ３０１に進むと、物体計数部２０２は、各々の２次元フレーム画像ＤＧ（ｎ）において、境界ボックスＢＢ（図２参照）を推定し、各フレームにおける境界ボックス数ｋ_maxを取得する。

物体計数部２０２（特徴領域認識部２２２）は、推定した境界ボックスＢＢを３Ｄ奥行距離で規定される大きさと照らし合わせて、大きすぎたり小さすぎたりするものを誤検出として除去する。

次に、処理がステップＳ３０２に進むと、物体計数部２０２は、全てのフレーム番号の中で、（後述するステップＳ３０３の処理において）未だ選択されていないフレーム番号が存在するか否かを判定する。

ステップＳ３０２において「Ｙｅｓ」と判定されると、処理はステップＳ３０３に進み、物体計数部２０２は、未だ選択されていない一つのフレーム番号を選択する。選択されたフレーム番号を、以下、「フレーム番号ｎｓ」と呼ぶ。次に、処理がステップＳ３０４に進むと、フレーム番号ｎｓに係る２次元フレーム画像ＤＧ（ｎｓ）において、識別番号ＢＩＤが未割当である境界ボックスＢＢが存在するか否かを判定する。

なお、識別番号ＢＩＤとは、同一の認識対象物体２２（図１参照）に対応して認識されたと推定される、一または複数の境界ボックスＢＢ（ｎ，ｋ）に対して共通に付与される識別番号である。ある境界ボックスＢＢ（ｎ，ｋ）に付与された識別番号ＢＩＤを、「識別番号ＢＩＤ（ｎ，ｋ）」のように表記することがある。ステップＳ３０４において「Ｙｅｓ」と判定されると、処理はステップＳ３０５に進み、物体計数部２０２は、２次元フレーム画像ＤＧ（ｎｓ）において識別番号ＢＩＤが未割当である一つの境界ボックスＢＢを選択する。選択された境界ボックスＢＢを、以下、選択境界ボックスＢＢ（ｎｓ，ｋｓ）（但し、ｋ＝１，…，ｋ_max）と呼ぶ。

次に、処理がステップＳ３０６に進むと、物体計数部２０２は最尤識別番号ＢＩＤ_Mを検索する。そこで、この処理の内容について説明する。まず、フレーム番号ｎにおける３次元フレーム点群ＴＰ（ｎ）のうち、境界ボックスＢＢ（ｎ，ｋ）に対応する点群を境界ボックス対応点群ＢＰ（ｎ，ｋ）と呼ぶ。すなわち、境界ボックス対応点群ＢＰ（ｎ，ｋ）とは、認識対象物体２２（図１参照）の形状（例えば円筒）に基づいて、境界ボックスＢＢ（ｎ，ｋ）に係る認識対象物体２２（図１参照）の表面の点座標であると推定できる点座標の集合である。物体位置推定部２２６（図１参照）は、各境界ボックスＢＢ（ｎ，ｋ）に対応する境界ボックス対応点群ＢＰ（ｎ，ｋ）を抽出することによって、各認識対象物体２２の位置および姿勢を認識する。また、選択境界ボックスＢＢ（ｎｓ，ｋｓ）に対応する点群を選択境界ボックス対応点群ＢＰ（ｎｓ，ｋｓ）と呼ぶ。

物体計数部２０２は、既に識別番号ＢＩＤが付与された全ての境界ボックスＢＢ（ｎ，ｋ）について、境界ボックス対応点群ＢＰ（ｎ，ｋ）と、選択境界ボックス対応点群ＢＰ（ｎｓ，ｋｓ）との重複度ＭＵＬ（ＢＩＤ）を計算する。ここで、重複度ＭＵＬ（ＢＩＤ）とは、識別番号ＢＩＤの境界ボックス対応点群ＢＰ（ｎ，ｋ）に属する点座標のうち選択境界ボックス対応点群ＢＰ（ｎｓ，ｋｓ）に属する点座標と一致するものの割合である。そして、計算値補正部２０３は、全ての識別番号ＢＩＤに対応する重複度ＭＵＬ（ＢＩＤ）のうち、最大になるものを検索する。検索された重複度ＭＵＬ（ＢＩＤ）に係る識別番号ＢＩＤを、最尤識別番号ＢＩＤ_Mと呼ぶ。

次に、処理がステップＳ３０７に進むと、物体計数部２０２は、最尤識別番号ＢＩＤ_Mに係る重複度ＭＵＬ（ＢＩＤ_M）が、所定の閾値ＭＵＬth以上であるか否かを判定する。ここで、「Ｎｏ」と判定されると、処理はステップＳ３０８に進む。ステップＳ３０７で「Ｎｏ」と判定されたということは、選択境界ボックス対応点群ＢＰ（ｎｓ，ｋｓ）は、既に識別番号ＢＩＤが付与された他の境界ボックスＢＢ（ｎ，ｋ）の境界ボックス対応点群ＢＰ（ｎ，ｋ）との間で重複する点座標が少ない、ということである。

換言すれば、選択境界ボックスＢＢ（ｎｓ，ｋｓ）は、既に識別番号ＢＩＤが付与された他の境界ボックスＢＢ（ｎ，ｋ）とは異なる認識対象物体２２（図１参照）について検出された境界ボックスＢＢであると推定される。そこで、ステップＳ３０８において、物体計数部２０２は、新しい識別番号ＢＩＤ（新識別番号ＢＩＤ_nと呼ぶ）を生成し、選択境界ボックスＢＢ（ｎｓ，ｋｓ）に割り当てる。また、新識別番号ＢＩＤ_nの確信度ＰＲ（ＢＩＤ_n）を「１」に設定する。

一方、ステップＳ３０７において「Ｙｅｓ」と判定されると、処理はステップＳ３０９に進む。この場合、選択境界ボックスＢＢ（ｎｓ，ｋｓ）は、既に最尤識別番号ＢＩＤ_Mが付与されている一または複数の他の境界ボックスＢＢ（ｎ，ｋ）と同一の認識対象物体２２について検出された境界ボックスＢＢであると推定される。そこで、ステップＳ３０９において、物体計数部２０２は、選択境界ボックスＢＢ（ｎｓ，ｋｓ）の識別番号ＢＩＤ（ｎｓ，ｋｓ）に、最尤識別番号ＢＩＤ_Mを代入し、確信度ＰＲ（ＢＩＤ_M）を「１」だけ増加させる。

以下、同様にステップＳ３０２～Ｓ３０９の処理が繰り返されると、全てのフレーム番号ｎにおいて検出された全ての境界ボックスＢＢ（ｎ，ｋ）に対して、識別番号ＢＩＤが付与され、かつ、これら識別番号ＢＩＤの各々に対して確信度ＰＲ（ＢＩＤ）が計算される。その後、処理がステップＳ３０２に進むと、ここで「Ｎｏ」と判定され、処理はステップＳ３１０に進む。なお、この時点で既に付与された識別番号ＢＩＤの総数は、認識対象物体２２（図１参照）の数量として暫定的に推定された数になる。そこで、識別番号ＢＩＤの総数を、暫定カウント値ＣＮＴＰと呼ぶ。換言すれば、物体計数部２０２の推定カウント値算出部２２８は、識別番号ＢＩＤの総数をカウントすることによって暫定カウント値ＣＮＴＰを求める機能を備える。

次に、ステップＳ３１０において、計算値補正部２０３は、全ての点座標のヒット値Ｑを算出する。その内容を、以下説明する。フレーム番号ｎにおける３次元フレーム点群ＴＰ（ｎ）に属する全ての点座標の数をｐ_maxとしたとき、３次元フレーム点群ＴＰ（ｎ）に属する点座標を点座標ＴＴＰ（ｎ，ｐ）（但し、ｐ＝１，…，ｐ_max）と呼ぶ。上述したように、ステップＳ２０５（図４参照）において点群累積処理を行った結果、点座標ＴＴＰ（ｎ，ｐ）は複数のフレームにおいて、同一値になる場合もある。一または複数のフレームにおいて、同一値である点座標ＴＴＰ（ｎ，ｐ）が存在するとき、これらフレームの数を「ヒット値Ｑ」と呼ぶ。また、点座標ＴＴＰ（ｎ，ｐ）のヒット値をヒット値Ｑ（ｎ，ｐ）と呼ぶ。ステップＳ３１０において、計算値補正部２０３は、全てのフレームにおける全ての点座標ＴＴＰ（ｎ，ｐ）のヒット値Ｑ（ｎ，ｐ）を算出する。

次に、処理がステップＳ３１１に進むと、計算値補正部２０３は、全ての識別番号ＢＩＤに対応する平均ヒット値Ｑave（ＢＩＤ）を算出する。その処理内容を説明する。まず、計算値補正部２０３は、全ての識別番号ＢＩＤについて、各々の識別番号ＢＩＤが付与された境界ボックスＢＢ（ｎ，ｋ）に対応する境界ボックス対応点群ＢＰ（ｎ，ｋ）を列挙する。次に、計算値補正部２０３は、列挙した境界ボックス対応点群ＢＰ（ｎ，ｋ）に属する点座標のヒット値Ｑを抽出する。この抽出した全てのヒット値Ｑの平均値が平均ヒット値Ｑaveになる。ある識別番号ＢＩＤにおける平均ヒット値Ｑaveを、平均ヒット値Ｑave（ＢＩＤ）と呼ぶ。

次に、処理がステップＳ３１２に進むと、計算値補正部２０３における修正部２３４は、カウント値ＣＮＴを「０」に初期化する。次に、処理がステップＳ３１２に進むと、修正部２３４は、全ての識別番号ＢＩＤについて、ステップＳ３１４の処理を実行したか否かを判定する。

ここで「Ｎｏ」と判定されると、処理はステップＳ３１４に進み、修正部２３４は、未処理の識別番号ＢＩＤを一つ選択し、その評価値ＥＶ（ＢＩＤ）を計算する。ここで、評価値ＥＶ（ＢＩＤ）は、「ＥＶ（ＢＩＤ）＝ＰＲ（ＢＩＤ）×Ｑave（ＢＩＤ）」で計算される値である。次に、処理がステップＳ３１５に進むと、修正部２３４は、評価値ＥＶ（ＢＩＤ）が所定の閾値ＥＶth以上であるか否かを判定する。

ここで、「Ｙｅｓ」と判定されると、処理はステップＳ３１６に進む。この場合、識別番号ＢＩＤが付与された境界ボックスＢＢ（ｎ，ｋ）は、実際に認識対象物体２２（図１参照）に対応した有効な境界ボックスであり、識別番号ＢＩＤは有効な識別番号になる。そこで、修正部２３４は、カウント値ＣＮＴを「１」だけ増加させる。その後、処理はステップＳ３１３に戻る。

一方、ステップＳ３１５において「Ｎｏ」と判定されると、ステップＳ３１６はスキップされ、処理はステップＳ３１３に戻る。この場合、識別番号ＢＩＤが付与された境界ボックスＢＢ（ｎ，ｋ）は、実際に認識対象物体２２（図１参照）に対応したものではなく、誤抽出境界ボックス３８（図２参照）であると推定される。すなわち、識別番号ＢＩＤは無効な識別番号になる。このように、全ての識別番号ＢＩＤについてステップＳ３１４～Ｓ３１６が実行され、その後に処理がステップＳ３１３に戻ると、ここで「Ｙｅｓ」と判定され、処理はステップＳ３１７に進む。

ステップＳ３１７において、計数値送信部２０４は、カウント値ＣＮＴと、全体画像データＩＧＤと、をデータ取得装置１に出力する。ここで、全体画像データＩＧＤとは、物体群２０（図１参照）の全体を俯瞰した画像であり、計算値補正部２０３が、２次元動画データＤＧの各フレームを重ね合わせることによって生成したものである。以上により、本ルーチンの処理が終了する。

図７は、カウント対象となった境界ボックスＢＢの一例を示す図である。
図７においては、図２に示した誤抽出境界ボックス３８は、評価値ＥＶ（ＢＩＤ）が閾値ＥＶth未満になるため、カウント対象から除外されている。

（計数結果の修正処理）
図８は、計数値表示部１０６における表示画面の例を示す図である。
同図に示す表示画面３１０は、全体画像表示部３１２と、カウント値表示部３１４と、カーソル３１６と、を含んでいる。

全体画像表示部３１２は、表示画面３１０の全体と重なっており、物体自動計数装置２から供給された全体画像データＩＧＤの内容を表示する。ここで、表示画面３１０においては、有効な識別番号ＢＩＤに対応する境界ボックス対応点群ＢＰ（ｎ，ｋ）に対応する領域がハイライト表示される。図７においては、ハイライト表示されている部分を、ドットを付して表示している。

カウント値表示部３１４は、カウント値ＣＮＴを表示する。カーソル３１６は、ユーザの操作に応じて表示画面に示される矩形枠画像であり、ユーザは、その位置および大きさを自由に調節できる。図示の例においては、カーソル３１６が表示されている領域において、カウント抜けが生じたと考えられる部分が生じている。このような場合、ユーザは、図示のように、カウント抜けが生じたと考えられる部分にカーソル３１６の位置を合わせ、所定の操作を行い、物体自動計数装置２に対して計数処理の再実行を指令することができる。

計数処理の再実行が指令されると、その旨が物体自動計数装置２に通知され、物体自動計数装置２は、上述した計数処理ルーチン（図６）を再実行する。但し、計数処理ルーチンの再実行時において、計算値補正部２０３は、カーソル３１６が表示されている部分において有効な識別番号ＢＩＤに対応する境界ボックス対応点群ＢＰ（ｎ，ｋ）が生じるように、上述した閾値ＭＵＬthまたは閾値ＥＶthを、最初に実行した時と比較して、低い値に設定する。

図８に示す表示画面３２０は、物体自動計数装置２が計数処理ルーチンを再実行時した後に計数値表示部１０６に表示される表示画面の例である。表示画面３２０は、表示画面３１０と同様に、全体画像表示部３１２と、カウント値表示部３１４と、を含んでいる。

但し、全体画像表示部３１２は、計数処理ルーチンの再実行結果に基づく全体画像データＩＧＤを表示する。そして、図示の例において、表示画面３２０には、上述した表示画面３１０におけるカウント抜けが解消されている。また、その結果、表示画面３２０におけるカウント値表示部３１４の内容も、表示画面３１０のものから更新されている。

図８に示す表示画面３２０のように、認識対象物体２２を正常に認識した全体画像データＩＧＤが取得できた場合は、ユーザが所定の登録操作を行う。登録操作が行われると、計数結果登録部２０５は、カウント値ＣＮＴを、計数結果データベース２０６に格納する。

次に、表示画面３２０の表示内容の詳細を図９、図１０Ａ、図１０Ｂにより説明する。図９は、物体群２０（図１参照）の全体を俯瞰した画像である図１０Ａ、図１０Ｂは、データ取得装置１の具体的な表示例を示す図である。

図８で説明したように、計算値補正部２０３は、複数の２次元フレーム画像ＤＧ（ｎｓ）で抽出した各フレームの境界ボックスＢＢを、３次元点群データＴＰ（ＬｉＤＡＲ点群情報）で統合解析して２Ｄ画面にマップし、物体群２０の全体を俯瞰した代表画像（全体画像データＩＧＤ）を生成し、計数値表示部１０６により表示する。この際、計算値補正部２０３は、誤検出した境界ボックスＢＢを削除する。

計数値修正部１０８は、代表画像上で、ユーザが未検出の境界ボックスＢＢ（太い矩形枠）を手動追加できるようにし、物体自動計数装置２に対して計数処理の再実行を指令する。

計数値表示部１０６は、さらに、代表画面で修正した内容（境界ボックスＢＢの追加）を別のアングルの２Ｄ画面（フレーム）に反映させ、フレーム毎にスクロール表示する。つまり、代表画面の境界ボックスの表示面を他のアングルに回転させて検出位置を表示しなおし、追加した境界ボックスの情報を引き継いで表示する。

また、計数値表示部１０６は、他のアングルを代表画面として引き継いで、境界ボックスＢＢの手動追加を行えるようにしてもよい。これにより、一つの画面では見えにくい部材を他の見えやすいアングルで確認して境界ボックスを追加・修正することができる。

図１０Ａは、データ取得装置１の具体的な表示例を示す図であり、図１０Ｂは、ユーザが未検出の境界ボックスＢＢ（太い矩形枠）を手動追加した状態を示している。符号５４が、手動追加した境界ボックスＢＢである。
符号５５は、スクロールボタンであり、ユーザがタップすると、代表画面とは別のアングル（フレーム）を表示する。

［実施形態の効果］
以上のように上述の実施形態によれば、物体認識装置（１０）は、複数の認識対象物体２２を含む物体群２０を撮影した２次元画像データ（ＤＧ）から認識対象物体２２に対応する特徴領域（ＢＢ）を認識する特徴領域認識部２２２と、認識対象物体２２の３次元形状を認識する３次元形状認識部２２４と、特徴領域認識部２２２および３次元形状認識部２２４における認識結果に基づいて、各々の認識対象物体２２の位置を推定する物体位置推定部２２６と、を備える。このように、特徴領域認識部２２２および３次元形状認識部２２４における認識結果に基づいて、各々の認識対象物体２２の位置を推定するため、認識対象物体２２の位置を適切に推定できる。さらに、認識対象物体２２の位置を適切に推定できることにより、認識対象物体２２をカウントする際の精度も向上させるという効果も奏する。

また、物体位置推定部２２６は、物体群２０の表面の点座標を含む３次元点群データＴＰから、特徴領域（ＢＢ）に対応する点座標を抽出することにより、各々の認識対象物体２２の位置を認識すると一層好ましい。これにより、３次元点群データＴＰと特徴領域（ＢＢ）とを関連させることができ、認識対象物体２２の位置を一層適切に推定できる。

また、２次元画像データ（ＤＧ）は複数のフレームに分割されているものであり、３次元点群データＴＰを、２次元画像データ（ＤＧ）に同期して分割するデータ分析部１０２をさらに備えると一層好ましい。これにより、３次元点群データＴＰと、２次元画像データ（ＤＧ）との対応付けが一層容易になる。

また、物体認識装置（１０）は、特徴領域認識部２２２によって複数のフレームに対応して認識した特徴領域（ＢＢ）が、同一の認識対象物体２２に対応する度合いを示す確信度ＰＲを、特徴領域（ＢＢ）毎に算出する確信度算出部２３２をさらに備えると一層好ましい。これにより、各々の特徴領域（ＢＢ）の確信度ＰＲを取得できる。

また、物体認識装置（１０）は、特徴領域認識部２２２が推定した特徴領域（ＢＢ）と、３次元形状認識部２２４における認識結果と、に基づいて、認識対象物体２２の暫定カウント値ＣＮＴＰを算出する推定カウント値算出部２２８と、確信度ＰＲに基づいて、暫定カウント値ＣＮＴＰを修正した結果であるカウント値ＣＮＴを求める修正部２３４と、をさらに備えると一層好ましい。これにより、認識対象物体２２の数量を適切にカウントすることができる。

また、物体認識装置（１０）は、カウント値ＣＮＴに対応する認識対象物体２２の画像を表示する計数値表示部１０６と、ユーザの操作に基づいて、カウント値ＣＮＴの修正を指令する計数値修正部１０８と、をさらに備えると一層好ましい。これにより、カウント値ＣＮＴが認識対象物体２２の数と相違する場合に、ユーザは、カウント値ＣＮＴの修正を指令することができる。

［変形例］
本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成に他の構成を追加してもよく、構成の一部について他の構成に置換をすることも可能である。また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、製品上で必要な全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。上記実施形態に対して可能な変形は、例えば以下のようなものである。

（１）上記実施形態においては、３次元点群データＴＰを取得するために、データ取得部１０１にＬｉＤＡＲ（Light Detection and Ranging）等の３次元センサ（図示略）設けた。しかし、３次元点群データＴＰを取得する方法は、３次元センサを用いることに限定されるわけではなく、例えば、フォトグラメトリなどの、複数の２次元データから３次元点群データを取得する技法によって３次元点群データＴＰを算出するようにしてもよい。

（２）上記実施形態においては、レジストレーションによって、３次元フレーム点群ＴＱ（ｎ）間の位置合わせを行ったが、レジストレーション以外の方法によって位置合わせを行ってもよい。例えば、ＩＭＵデータＤＩに基づいて、３次元フレーム点群ＴＱ（ｎ）間の位置合わせを行っても差し支えない。

（３）上記実施形態における物体認識装置１０のハードウエアは一般的なコンピュータによって実現できるため、図４、図６に示したフローチャート、その他上述した各種処理を実行するプログラム等を記憶媒体（プログラムを記録したコンピュータ読み取り可能な記録媒体）に格納し、または伝送路を介して頒布してもよい。

（４）図４、図６に示した処理、その他上述した各処理は、上記実施形態ではプログラムを用いたソフトウエア的な処理として説明したが、その一部または全部をＡＳＩＣ(Application Specific Integrated Circuit；特定用途向けＩＣ)、あるいはＦＰＧＡ(Field Programmable Gate Array)等を用いたハードウエア的な処理に置き換えてもよい。

（５）上記実施形態において実行される各種処理は、図示せぬネットワーク経由でサーバコンピュータが実行してもよく、上記実施形態において記憶される各種データも該サーバコンピュータに記憶させるようにしてもよい。

１０ 物体認識装置
２０ 物体群
２２ 認識対象物体
１０２ データ分析部
１０６ 計数値表示部
１０８ 計数値修正部
１０９ アラート表示部
２２２ 特徴領域認識部（特徴領域認識過程）
２２４ ３次元形状認識部（３次元形状認識過程）
２２６ 物体位置推定部（物体位置推定過程）
２２８ 推定カウント値算出部
２３２ 確信度算出部
２３４ 修正部
ＢＢ 境界ボックス（特徴領域）
ＤＧ ２次元動画データ（２次元画像データ）
ＰＲ 確信度
ＴＰ，ＴＱ ３次元点群データ
ＣＮＴ カウント値
ＣＮＴＰ 暫定カウント値

Claims (7)

1. 複数の認識対象物を含む物体群を複数方向から撮影した２次元画像データと前記物体群の距離画像を取得するデータ取得装置と、
   前記２次元画像データに基づいて認識対象物を検出した位置を示す境界ボックスを複数方向の２次元画像データのそれぞれで求め、前記物体群の距離画像から求めた前記物体群の３次元情報に基づいて複数方向の境界ボックスにおける同一の認識対象物の境界ボックスを統合して２次元の代表画面にマップし、統合した境界ボックスにより前記認識対象物の位置または個数を求める物体自動計数装置と、
   を備えることを特徴とする物体認識装置。
2. 請求項１に記載の物体認識装置において、
   前記物体自動計数装置は、前記境界ボックスを、奥行距離で規定される前記認識対象物の大きさと照らし合わせて、所定範囲外のものを、誤検出とした境界ボックスとし、除去する
   ことを特徴とする物体認識装置。
3. 請求項１に記載の物体認識装置において、
   前記データ取得装置は、前記物体群の２次元画像データと距離画像を取得する際に、移動速度・撮影距離・撮影角度の少なくとも一つを算出し、算出値が許容範囲内であるか否かを判定し、許容範囲外の場合にアラート表示する
   ことを特徴とする物体認識装置。
4. 請求項１に記載の物体認識装置において、
   前記データ取得装置は、静止を依頼するメッセージを所定時間表示した後に、前記物体群の２次元画像データと距離画像を取得する
   ことを特徴とする物体認識装置。
5. 請求項１に記載の物体認識装置において、
   前記物体自動計数装置は、複数方向の境界ボックスを２次元の代表画面に統合し、
   前記データ取得装置は、前記代表画面上で、ユーザが未検出の境界ボックスを手動追加できるようにするとともに、複数方向のそれぞれの２次元画像データに手動追加した前記境界ボックスを表示する
   ことを特徴とする物体認識装置。
6. 複数の認識対象物を含む物体群を複数方向から撮影して認識対象物の位置または個数を検出する物体認識方法であって、
   複数の認識対象物を含む物体群を複数方向から撮影した２次元画像データと前記物体群の距離画像を取得し、
   前記２次元画像データに基づいて認識対象物を検出した位置を示す境界ボックスを複数方向の２次元画像データのそれぞれで求め、
   前記物体群の距離画像から求めた前記物体群の３次元情報に基づいて複数方向の境界ボックスにおける同一の認識対象物の境界ボックスを統合して２次元の代表画面にマップし、
   統合した境界ボックスにより前記認識対象物の位置または個数を求める
   ことを特徴とする物体認識方法。
7. 請求項６に記載の物体認識方法において、さらに、
   記境界ボックスを、奥行距離で規定される前記認識対象物の大きさと照らし合わせて、所定範囲外のものを、誤検出とした境界ボックスとし、除去する
   ことを特徴とする物体認識方法。

Images