JP7277615B2 - 光の３ｄマッピングとモデリングを使用した物体認識システム及び方法 - Google Patents

Description

本開示は、光の３Ｄマッピングとモデリングを使用した物体認識システム及び方法に関する。

コンピュータビジョンは、（幾つか挙げると）カメラ、ＬｉＤＡＲやレーダーなどの距離センサ、構造化光やステレオビジョンに基づく深度カメラシステムなどのセンサを介して周囲の情報を収集できる電子機器の豊富な使用により、急速な発展を遂げている分野である。これらの電子機器は、コンピュータ処理ユニットによって処理され、その結果、人工知能やコンピュータ支援アルゴリズムを用いて環境やシーンの理解を展開する生の画像データを提供する。この環境の理解を如何に展開するかについては多くの方法がある。一般的には、２Ｄ又は３Ｄの画像及び／又はマップが形成され、そして、これらの画像及び／又はマップはシーンとそのシーン内の物体の理解を展開するために分析される。コンピュータビジョンを改善するための１つの見込みは、シーン内の物体の化学的組成の成分を測定することである。２Ｄ又は３Ｄ画像として取得された環境内の物体の形状と外観は、環境の理解を展開するために使用されることができるが、これらの技術にはいくつかの欠点を有している。

コンピュータビジョン分野の課題の１つは、センサ、計算能力、ライトプローブなどの最小量の資源を用いて、高精度かつ低遅延で各シーン内の可能な限り多くの物体を識別できることにある。物体識別方法は、長年にわたって、リモートセンシング、物体識別、分類、認証又は認識と呼ばれてきた。本開示の範囲では、シーン内の物体を識別するコンピュータビジョンシステムの能力は、「物体認識」と呼ばれる。例えば、コンピュータによって写真を分析し、その写真の中のボールを識別／ラベル付けすることは、時にはボールの種類（バスケットボール、サッカーボール、野球ボール）、ブランド、状況などのさらなる情報を有するとしても、「物体認識」の用語に該当する。

一般に、コンピュータビジョンシステムで物体を認識するために利用される技術は、以下のように分類される。

技術１： 物理タグ（画像ベース）：バーコード、ＱＲコード、シリアルナンバー、テキスト、パターン、ホログラムなど。

技術２： 物理タグ（スキャン／密着ベース）：視野角依存顔料、アップコンバージョン顔料、メタクロミクス、カラー（赤／緑）、発光材料。

技術３： 電子タグ（パッシブ）：ＲＦＩＤタグなど。電力なしで物体体に取り付けられる装置であって、必ずしも見えなくてもよいが、他の周波数（例えば無線）で作動することができる。

技術４： 電子タグ（アクティブ）：無線通信、光、無線、車両から車両、車両から任意のもの（Ｘ）など。種々の形で情報を発する対象物体上の電力駆動装置。

技術５： 特徴検出（画像ベース）：画像の分析及び識別、例えば、車について側面視で一定の距離にある２つの車輪；顔認識について２つの目と１つの口（この順序で）など。これは、既知の幾何学形状／形に依存する。

技術６： ディープラーニング／ＣＮＮベース（画像ベース）：車や顔などのラベル付けされた画像の多数の写真によってコンピュータをトレーニングし、該コンピュータが検出すべき特徴決定し、対象物体が新しいエリアに存在する場合に予測する。識別すべき物体の各分類についてトレーニング手順を繰り返す必要がある。

技術７： 物体追跡方法：シーン内のアイテムを特定の順序に整理し、最初に順序付けられた物体にラベルを付けする。その後に、既知の色／幾何学形状／３Ｄ座標でシーン内の物体を追跡する。物体がシーンから離れて再び入ってくる場合は、「認識」は失われる。

以下では、上述の技術のいくつかの欠点が示されている。

技術１： 画像内の物体が遮蔽されている場合、又は物体の小さな部分だけが視界にある場合、バーコード、ロゴなどが読めない可能性がある。さらに、可撓性の物品上にあるバーコードなどは、歪む可能性があり、可視性を制限する。物体のすべての側面が、遠距離から見えるために、大きなバーコードを担持しなければならず、さもなければ、物体は近距離で正しい方向に向いている時のみ認識されるだけである。これは、例えば倉庫の棚上の物体のバーコードがスキャンされる場合に、問題となる。シーン全体にわたって操作する場合、技術１は、変化し得る環境光に依存する。

技術２： アップコンバージョン顔料は、それらの低量子収率による低レベルの発光のため、視認距離に限界がある。そのため、強力なライトプローブが必要となる。また、それらは通常不透明で大きい粒子であるため、コーティングの選択肢が限られる。さらに、それらの使用を複雑にしているのは、蛍光と光反射に比べて、アップコンバージョン反応が遅いということである。幾つかの適用は、使用される化合物に依存するこの独特の反応時間を利用するが、これは、該センサ／物体システムの飛行距離時間が予め知られている場合にのみ、可能である。これはコンピュータビジョンアプリケーションでは稀なケースである。これらの理由から、偽造防止センサは、正確さのために、読み取りのためのカバーされた／暗い部分と、プローブとしてのクラス１又は２のレーザと、対象物体への固定された限られた距離とを有している。

同様に視野角依存の顔料システムは、近距離でのみ機能し、複数の角度で見る必要がある。また、視覚的に心地よい効果に関しては、色が均一ではない。正しい測定を行うためには、入射光のスペクトルが管理されなければならない。単一の画像／シーン内では、角度依存のカラーコーティングを施した物体は、サンプルの次元に沿って、カメラに見える色を複数有している。

色ベースの認識は、測定された色が環境光条件に部分的に依存するため、困難である。したがって、シーンごとに基準サンプル及び／又は制御された光条件が必要となる。また、異なるセンサは、異なる色を識別する能力が異なり、また、センサの種類やメーカーによって異なり、センサごとに較正ファイルを必要とする。

環境光下での発光ベースの認識は、物体の反射成分と発光成分が一緒に加算されるため、困難なタスクとなる。一般的に、発光ベースの認識は、代わりに、暗い測定環境と、発光材料の励起領域の事前の知識を利用し、それによって正しいライトプローブ／光源が使用され得る。

技術３： ＲＦＩＤタグなどの電子タグは、回路、集電装置、アンテナを物体品／物体に取り付ける必要があり、コストを増加させ、設計を複雑化させる。ＲＦＩＤタグは存在するかどうかの情報を提供するが、シーンにわたって多数のセンサが使用されない限り、正確な位置情報を提供しない。

技術４： これらの能動的な手法では、物体体を電源に接続する必要があり、サッカーボール、シャツ、又はパスタの箱などの単純な物品にはコストがかかりすぎて、したがって実用的ではない。

技術５： 遮蔽や異なる視野角は容易に結果を変化させるため、予測精度は、画像の品質とシーン内でのカメラの位置に大きく依存する。ロゴタイプの画像は、シーン内の複数の場所に存在することができ（すなわち、ロゴがボール、Ｔシャツ、帽子、又はコーヒーカップに存在し得るなど）、物体認識は推論による。物体の視覚パラメータは、多大な労力をかけて数学パラメータに変換されなければならない。形状を変えることができる柔軟な物体は、それぞれの可能な形がデータベースに含まれなければならないため、問題である。似た形の物体が対象物体と誤認される可能性があるため、常に固有の曖昧さが存在する。

技術６： トレーニング用データセットの質が方法の成功を決定する。認識／分類される各物体のために、多数のトレーニング用画像が必要とされる。技術５についての遮蔽や柔軟な物体の形の制限が適用される。数千以上の画像によって材料の各分類についてトレーニングする必要がある。

技術７： この技術は、シーンがあらかじめ整理されている場合に有効であるが、これは現実的ではない。物体体がシーンから離れたり、完全に遮蔽されたりすると、上記の他の技術と組み合わされていない限り、物体は認識されない。

上記のような既存の技術の欠点の他に、言及すべきいくつかの課題がある。遠距離を見る能力、小さな物体を見る能力、物体を十分に詳細に見る能力は、すべて高解像度画像化システム、すなわち、高解像度カメラ、ＬｉＤＡＲ、レーダーなどを必要とする。高解像度の必要性は、関連するセンサのコストを増加させ、処理すべきデータ量を増加させる。

自律走行やセキュリティのように瞬時に応答する必要があるアプリケーションでは、遅延はもう１つの重要な側面である。処理される必要があるデータ量は、エッジコンピューティング又はクラウドコンピューティングが該アプリケーションに適しているか否かを決定し、後者はデータ量が少ない場合にのみ可能である。エッジコンピューティングが重い処理に使用される場合、システムを作動させる機器は大型化し、使用の容易さ、したがって、実装を制限する。

このように、コンピュータビジョンアプリケーションの物体認識能力を向上させるのに適したシステム及び方法に対する要求が存在している。色空間ベースの物体認識技術の課題の１つは、シーン内の未知の照明条件である。対象となる環境の多くは、制御された照明条件、３Ｄマップ又はネットワーク能力を有していないため、シーン内の照明条件の動的モデリングは不可能であった。照射要素及び３Ｄスキャナーを含むＩｏＴデバイスの進歩と処理能力の向上により、このような光モデリング技術は化学ベースの物体認識システムの設計のために利用することができる。

本開示は、独立請求項の特徴を有するシステム及び方法を提供する。実施形態は、従属請求項ならびに説明及び図面の対象である。

請求項１によれば、コンピュータビジョンアプリケーションを介した物体認識のためのシステムが提供され、該システムは少なくとも以下の構成要素：
－ 認識される少なくとも１つの物体であって、物体特有の反射スペクトルパターンと物体特有の発光スペクトルパターンとを有する、物体と、
－ 周囲光条件下で少なくとも１つの物体を含むシーンを照射するように構成された少なくとも１つの光源であって、前記少なくとも１つの光源は、光源特有の放射輝度値を有している、光源と、
－ 前記シーンが前記光源によって照射されたときに、前記少なくとも１つの物体を含む前記シーンの放射輝度データを測定するように構成されたセンサと、
－ 前記シーンの少なくとも部分的な３Ｄマップをレンダリングしているシーンをマッピングするように構成されたシーンマッピングツールと、
－ 適切に割り当てられたそれぞれの物体とともに発光スペクトルパターン及び／又は反射スペクトルパターンを含むデータ記憶ユニットと、
－ 前記シーンマッピングツールから受信したデータを分析し、前記分析されたデータを前記光源特有の放射輝度値と統合し、それに基づいて、前記シーン内の点、特に前記少なくとも１つの物体上の点における入射光の放射輝度を計算し、前記シーン内の点の入射光の計算された放射輝度を、前記シーン内の点、特に前記少なくとも１つの物体上の点から前記センサに戻る光の測定された放射輝度と組み合わせ、前記シーン内の前記少なくとも１つの物体における光スペクトル分布及び強度のモデルを形成し、前記光スペクトル分布及び強度のモデルから前記認識される少なくとも１つの物体の物体特有の発光スペクトルパターン及び／又は反射スペクトルパターンを抽出／検出し、前記抽出／検出された物体特有の発光スペクトルパターン及び／又は反射スペクトルパターンを、前記データ記憶ユニットに記憶されている発光スペクトルパターン及び／又は反射スペクトルパターンとマッチングさせ、ベストマッチングする発光スペクトルパターン及び／又は反射スペクトルパターンを識別し、その後、その割り当てられた物体を識別するように構成された、データ処理ユニットと、を備え、
少なくとも前記センサ、前記シーンマッピングツール、前記データ記憶ユニット、及び前記データ処理ユニットは、互いに通信接続され、無線及び／又は有線を介して互いにリンクされ、デフォルトで前記光源と同期し、これにより、統合システムを形成している。

提案されたシステムの一部又はすべての技術的構成要素は、互いに通信接続されてよい。いずれかの構成要素間の通信接続は、有線接続でも無線接続でもよい。それぞれの適切な通信技術が使用されてよい。それぞれの構成要素は、それぞれ相互に通信するための１つ以上の通信インターフェースを含んでよい。このような通信は、ファイバ分散データインタフェース（ＦＤＤＩ）、デジタル加入者線（ＤＳＬ）、イーサネット、非同期転送モード（ＡＴＭ）などの有線データ伝送プロトコル、又はその他の有線伝送プロトコルを用いて実行されてよい。あるいは、通信は、汎用パケット無線サービス（ＧＰＲＳ）、ユニバーサル移動体通信システム（ＵＭＴＳ）、符号分割多元接続（ＣＤＭＡ）、長期的進化（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ））、ワイヤレスユニバーサルシリアルバス（ＵＳＢ）などのさまざまなプロトコルのいずれかを使用して、無線通信ネットワークを介して無線で行われてもよい。それぞれの通信は、無線通信及び有線通信を組み合わせたものであってよい。

本開示の範囲内では、「蛍光性」及び「発光性」という用語は同義的に使用される。「蛍光」及び「発光」という用語についても同様である。

光のスペクトル分布と強度のモデルを形成するために、考慮されるシーン内の点は、光源、センサ、及び３Ｄマッピングツールの少なくとも１つの視野又は視線内にある。シーン内の点が、前記３つの構成要素のいずれか視線内にもない場合、その点はモデル形成のためには考慮されない。

システムが、シーン内に複数のセンサ／カメラ、光源、マッピングツールを備えていることが可能である。それにもかかわらず、それらのシステム構成要素のいずれかによるシーンの部分的なカバーで十分である、すなわち、シーン内のすべての点が考慮される必要はない。放射輝度のさらなる計算は、シーンマッピングツールから得られた少なくとも部分的な３Ｄマップの内部で、すなわちその境界内で行われてもよいことを述べておく。３Ｄマッピングツール、すなわちシーンマッピングツールは、シーンの一部をマッピングするために使用され、続いて、３Ｄマップは、部分的にマッピングされたシーンの点に入射する光の放射輝度を計算するために使用される。

光源は、センサ、シーンマッピングツール、データ記憶ユニット及び／又はデータ処理ユニットなどの、システムのさらなる構成要素の少なくとも１つに自動的に接続するように設計することができる。しかし、光源は、（光源が事前に定義された既知のパラメータ、例えば、放射輝度値、パルスレート及びタイミングなどを有する場合）システムの他の構成要素とリンク及び／又はネットワーク接続されている必要はないが、他の構成要素と同期される必要がある。この同期は、スペクトルカメラなどの、システムの他の構成要素からの測定値によって達成されてよい。光源の放射輝度が少なくとも１つの分光放射計で測定されること、すなわち、システムが分光放射計によって初期化されることも可能である。しかし、一般的には、このことはシステムのセットアップのためにのみ行われ、一般的にはリアルタイムでは行われない、すなわち、システムの操作モードでは行われない。

光源特有の放射輝度値は、シーン内の少なくとも１つの光源のスペクトル特性、パワー及び／又は放射角プロファイル（光出力プロファイル）を含む。シーン内の少なくとも１つの物体の点における少なくとも１つの光源の放射輝度は、光源特有の放射輝度値、特にシーン内の少なくとも１つの光源のスペクトル特性、パワー及び／又は放射角度プロファイルを使用し、及び少なくとも１つの光源からシーン内の少なくとも１つの物体までの距離をマッピングすることによって計算される。

本システムのさらなる実施形態によれば、センサは、マルチスペクトルカメラ又はハイパースペクトルカメラである。センサは一般的に、光子カウンティング機能を有する光センサである。より具体的には、センサは、モノクロカメラ、又はＲＧＢカメラ、又はマルチスペクトルカメラ、又はハイパースペクトルカメラであり得る。センサは上記のいずれかの組み合わせであってもよいし、又は、上記のいずれかと例えば特定フィルタを備えたモノクロセンサなどの調整可能又は選択可能なフィルタセットとの組み合わせであってもよい。センサは、シーンの単一のピクセルを測定してもよく、又は一度に多くのピクセルを測定してもよい。光センサは、特定のスペクトル範囲で、特に３つ以上のバンドで、光子をカウントするように構成されてよい。光センサは、広い視野のために、特にすべてのバンドを同時に読み、又は異なる時間に異なるバンドを読む複数の画素を有するカメラであってよい。

マルチスペクトルカメラは、電磁スペクトル上の特定の波長範囲の画像データを取得する。波長は、フィルタで分離されてもよく、赤外線や紫外線などの可視光域を超える周波数の光を含む特定の波長に感度を有する機器を使用することによって分離されてもよい。スペクトルイメージングは、赤、緑、青の受容体によって人間の目では捉えられない追加の情報の抽出を可能にする。マルチスペクトルカメラは、少数（通常３～１５）のスペクトルバンドで光を測定する。ハイパースペクトルカメラは、しばしば数百の連続したスペクトルバンドが利用可能であるスペクトルカメラの特別な例である。

提案されたシステムのさらなる実施形態によれば、シーンマッピングツールは、飛行時間（ＴＯＦ）、ステレオビジョン及び／又は構造化光に基づく技術を用いてシーンマッピングを実行するように構成されている。シーンマッピングツールは、ＴＯＦカメラなどの飛行時間システム、ステレオビジョンベースのシステム、構造化光を発する光プローブ、又はそれらの任意の組み合わせのうちの少なくとも１つを含んでよい。構造化光は、例えば、赤外光であってよい。飛行時間測定には、赤外光、可視光、又はレーダーを使用できる。代替のシーンマッピングツールは、（ウルトラ）サウンドベースのシステムがある。

さらに別の態様では、システムは、（ＧＰＳを介して受信される）物理的な位置情報、コンパスの方位、時刻、及び／又は気象条件を使用して、シーン内の少なくとも１つの物体の照射に対する太陽放射の影響をモデル化するように構成されている。それらの影響因子は、モデルにおいて考慮される、すなわちモデルに組み込まれる。

さらなる態様では、システムは、少なくとも１つの物体の反射特性及び蛍光特性の情報だけでなく、シーン内の他のアイテムの反射特性及び蛍光特性の情報を使用して、シーン全体の反射光及び蛍光光の相互反射を考慮するために双方向反射分布関数（ＢＲＤＦ）及び双方向蛍光分布関数（ＢＦＤＦ）によって、シーンの放射輝度マッピングを改善するように構成されている。

提案されたシステムの別の実施形態によれば、システムは、シーン内の少なくとも１つの点に配置された少なくとも１つの白色タイルを備え、該白色タイルは、シーン内の少なくとも１つの点における光源の放射輝度を測定するために使用されるように構成されており、シーン内の少なくとも１つの点における光源の測定された放射輝度は、シーン内の他の点における放射輝度を推定するために、３Ｄマップ及び光源の光出力プロファイルと共に使用される。シーン内の反射率の高い白いタイルは、シーン内のその点における光源からの放射輝度を測定するために使用されることができる。これは光源のスペクトル特性をも与える。シーンの３Ｄマップ、及び光源の光出力プロファイルに関する仮定／計算を合わせて、シーン内の他の点の放射輝度を推定することができる。これは、光源に関する情報がネットワークされていないシステムで最も有用である。白色タイルは、光源に関する情報とネットワーク接続された「スマート」システムについて、説明されているシステムの外部の光源からの寄与を決定することに加えて、計算を検証するために使用されることもできる。

本開示は、コンピュータビジョンアプリケーションを介した物体認識のための方法にも関し、前記方法は少なくとも以下のステップ：
－ 認識される少なくとも１つの物体を提供するステップであって、前記物体は、物体特有の反射スペクトルパターンと物体特有の発光スペクトルパターンとを有している、ステップと、
－ 少なくとも１つの光源によって、周囲光条件下で前記少なくとも１つの物体を含むシーンを照射するステップであって、前記少なくとも１つの光源は、光源特有の放射輝度値を有している、ステップと、
－ 前記シーンが前記光源によって照射されたときに、前記少なくとも１つの物体を含む前記シーンの放射輝度データをセンサによって測定する、ステップと、
－ シーンマッピングツールを使用して、前記シーンの少なくとも部分的な３Ｄマップをレンダリングしているシーンをマッピングする、ステップと、
－ 適切に割り当てられたそれぞれの物体とともに発光スペクトルパターン及び／又は反射スペクトルパターンを含むデータ記憶ユニットを提供するステップと、
－ 前記シーンマッピングツールから受信したデータを分析し、前記分析したデータを前記光源特有の放射輝度値と統合して、前記シーン内の点、特に前記少なくとも１つの物体上の点における入射光の放射輝度を計算し、前記シーン内の点の入射光の前記計算された放射輝度を、前記シーン内の点、特に前記少なくとも１つの物体上の点から前記センサに戻る光の測定された放射輝度と組み合わせ、これにより、前記シーン内の前記少なくとも１つの物体における光スペクトル分布及び強度のモデルを形成し、前記光スペクトル分布及び強度のモデルから認識される前記少なくとも１つの物体の物体特有の発光スペクトルパターン及び／又は反射スペクトルパターンを抽出／検出し、前記抽出／検出された物体特有の発光スペクトルパターン及び／又は反射スペクトルパターンを、前記データ記憶ユニットに記憶されている発光スペクトルパターン及び／又は反射スペクトルパターンとマッチングさせ、ベストマッチングする発光スペクトルパターン及び／又は反射スペクトルパターンを識別し、その後、その割り当てられた物体を識別するようにプログラミングされた、データ処理ユニットを提供するステップと、を含み、
前記センサ、前記シーンマッピングツール、前記データ記憶ユニット、及び前記データ処理ユニットは、無線及び／又は有線を介して互いに通信接続され、デフォルトで前記光源と同期し、これにより、統合システムを形成している。

提案された方法の一実施形態によれば、シーンマッピングは、飛行時間（ＴＯＦ）及び／又は構造化光及び／又はステレオカメラに基づく技術を用いることによって実行され、そこでは、飛行時間システム、サウンドベースのシステム、ステレオビジョンベースのシステム、又はそれらの任意の組み合わせのうちの少なくとも１つが使用される。赤外線、可視光線、ＵＶ光が使用され得る。レーダー、ステレオビジョン及び／又は超音波などもここでは使用され得る。

さらなる態様では、シーン内の少なくとも１つの物体における少なくとも１つの光源の放射輝度が、シーン内の少なくとも１つの光源のスペクトル特性、パワー、及び／又は放射角プロファイルなどの光源特有の放射輝度値、及び少なくとも１つの光源からシーン内の少なくとも１つの物体までの距離をマッピングすることを使用して計算される。

さらに、（ＧＰＳを介して決定される）物理的な位置、コンパスの方位、時刻、及び／又は気象条件が、シーンの照射に対する太陽放射の影響をモデル化することに使用され、したがってそれに応じてモデルを適合させることに使用されることができる。

さらなる態様では、シーン内の（少なくとも１つの物体だけではなく）アイテムの反射特性及び蛍光特性の情報を使用して、シーン全体の反射光及び蛍光光の相互反射を考慮するため双方向反射分布関数（ＢＲＤＦ）及び双方向蛍光分布関数（ＢＦＤＦ）によって、シーンの放射輝度マッピングを改善する。

光スペクトル分布と強度のモデルは分析され、３Ｄマップ／ビューを発行するように構成されたディスプレイ又はスクリーンなどのそれぞれの出力装置を介して、２Ｄマップ上又は３Ｄビューとして表示されることができる。

本発明の実施形態は、独立型ユニットであり得るか、又は例えばクラウドに設置された中央コンピュータと例えばインターネットもしくはイントラネットなどのネットワークを介して通信する１つ又は複数の遠隔端末又は装置を含むコンピュータシステムと共に使用されるか、又はコンピュータシステムに組み込まれ得る。このように、本明細書に記載されるデータ処理ユニット及び関連構成要素は、ローカルコンピュータシステム又はリモートコンピュータ又はオンラインシステムの一部であってよく、又はそれらの組み合わせであってもよい。データベース、すなわち本明細書に記載されているデータ記憶ユニット及びソフトウェアは、コンピュータの内部メモリに保存されていてよく、又は非一時的なコンピュータ可読媒体に記憶されていてよい。本開示の範囲内では、データベースは、データ記憶ユニットの一部であってもよく、又はデータ記憶ユニット自体を表していてもよい。「データベース」及び「データ記憶ユニット」という用語は、同義的に使用される。

本開示はさらに、提案されたシステムの構成要素／一部として提供されるデータ処理ユニットによって実行可能な命令を有するコンピュータプログラム製品に関し、前記命令は、システムに：
－ シーンマッピングツールから受信したデータを分析すること、
－ 前記分析したデータを光源特有の放射輝度データと統合させること、
－ 前記統合されたデータに基づいて、シーン内の点、特に認識される少なくとも１つの物体の点の入射光の放射輝度を計算すること、
－ 前記シーン内の点の入射光の計算された放射輝度を、前記シーン内の点、特に前記少なくとも１つの物体の点からセンサに戻る光の測定された放射輝度と組み合わせ、これにより、前記シーン内の前記少なくとも１つの物体における光スペクトル分布及び強度のモデルを形成すること、
－ 前記光スペクトル分布及び強度のモデルから、前記認識される少なくとも１つの物体の物体特有の発光スペクトルパターン及び／又は反射スペクトルパターンを抽出すること、
－ 前記抽出された前記物体特有の発光スペクトルパターン及び／又は反射スペクトルパターンを、前記データ記憶ユニットに記憶されている発光スペクトルパターン及び／又は反射スペクトルパターンとマッチングさせること、及び
－ ベストマッチングする発光スペクトルパターン及び／又は反射スペクトルパターン、及び、したがって、その割り当てられた物体を識別すること、を行わせる。

本開示は、提案されたシステムの構成要素（複数）としての１つ又は複数のデータ処理ユニットによって実行されるときに、システムに：
－ シーンマッピングツールから受信したデータを分析すること、
－ 前記分析したデータを光源特有の放射輝度データと統合させること、
－ 前記統合されたデータに基づいて、シーン内の点、特に認識される少なくとも１つの物体の点の入射光の放射輝度を計算すること、
－ 前記シーン内の点の入射光の計算された放射輝度を、前記シーン内の点、特に前記少なくとも１つの物体の点からセンサに戻る光の測定された放射輝度と組み合わせ、これにより、前記シーン内の前記少なくとも１つの物体における光スペクトル分布及び強度のモデルを形成すること、
－ 前記光スペクトル分布及び強度のモデルから、前記認識される少なくとも１つの物体の物体特有の発光スペクトルパターン及び／又は反射スペクトルパターンを抽出すること、
－ 前記抽出された前記物体特有の発光スペクトルパターン及び／又は反射スペクトルパターンを、前記データ記憶ユニットに記憶されている発光スペクトルパターン及び／又は反射スペクトルパターンとマッチングさせること、及び
－ ベストマッチングする発光スペクトルパターン及び／又は反射スペクトルパターン、及び、したがって、その割り当てられた物体を識別すること、を行わせる命令を記憶する非一時的なコンピュータ可読媒体にも関する。

本開示は、物体認識のための方法、及び、光源（複数）、センサ特にカメラ、異なる物体の発光スペクトルパターン及び／又は反射スペクトルパターンのデータベース、ならびに様々なアルゴリズム、シーンの３Ｄマップ、及びセンサの視野内のターゲット物体における光スペクトル分布及び強度（照度）のモデルを使用してデータベースのそのような発光性物体及び／又は反射性物体のスペクトルマッチングを計算するように構成されたコンピュータ／データ処理ユニットを含む化学ベースの物体認識システムを記載する。シーンの３Ｄマップとそれぞれのシーンにおける照度の単純なモデルを、ネットワーク接続された／同期されたシステムの残りの部分に組み込むことにより、発光性／化学ベースの物体認識技術は単純化され、改善される。

本発明は、以下の実施例でさらに定義される。これらの実施例は、本発明の好ましい実施形態を示すことにより、説明のみのために与えられていることを理解されたい。上述の議論及び実施例から、当業者は、本発明の本質的な特徴を確認することができ、その精神及び範囲から逸脱することなく、本発明を様々な用途及び条件に適合させるために、本発明の様々な変更及び改変を行うことができる。

本発明によるシステムの一実施形態の配置を模式的に示した図である。

図面の詳細説明
図１は、コンピュータビジョンアプリケーションを介した物体認識のためのシステム１００の一実施形態を示す。システム１００は、認識される少なくとも１つの物体１１０を有する。物体１１０は、物体特有の反射スペクトルパターン及び物体特有の発光スペクトルパターンを有する。物体１１０はさらに、シーン１３０内に位置する。システム１００は、第１光源１２１と第２光源１２２とをさらに有する。両方の光源は、好ましくは周囲光条件下で、少なくとも１つの物体１１０を含むシーン１３０を照射するように構成されている。システム１００は、シーン１３０が光源１２１及び１２２のうちの少なくとも１つによって照射されたときに、少なくとも１つの物体１１０を含むシーン１３０の放射輝度データを測定するように構成されたセンサ１４０をさらに備えている。ここに示されている場合では、センサ１４０は、マルチスペクトルカメラ又はハイパースペクトルカメラである。システム１００は、シーン１３０の少なくとも部分的な３Ｄマップをレンダリングしているシーン１３０をマッピングするように構成されているシーンマッピングツール１５０をさらに備えている。さらに示されるのは、適切に割り当てられたそれぞれの物体とともに、発光スペクトルパターン及び／又は反射スペクトルパターンを有するデータ記憶ユニット１６０である。システム１００は、シーンマッピングツール１５０から受信したデータを分析し、分析されたデータを光源特有の放射パラメータ／値と統合し、シーン１３０内の点、特に物体１１０の点の入射光の放射輝度を計算するように構成されたデータ処理ユニット１７０をさらに備える。シーン１３０内の特定の点の入射光の放射輝度は、光強度の関数Ｉ（ｘ，ｙ，ｚ）を介して定式化されることができ、ここで（ｘ，ｙ，ｚ）はシーン１３０内の特定の点の空間座標を指定している。関数Ｉ（ｘ，ｙ，ｚ）は、最も単純な場合には、特定の点（ｘ，ｙ，ｚ）における第１光源１２１の光強度Ｉ_１と第２光源１２２の光強度Ｉ_２との重ね合わせによって与えられ得る：Ｉ（ｘ，ｙ，ｚ）＝Ｉ_１（ｘ，ｙ，ｚ）＋Ｉ_２（ｘ，ｙ，ｚ）。シーン１３０内の点の入射光の計算された放射輝度は、シーン内の点、特に物体１１０の点からカメラ１４０に戻る光の測定された放射輝度と組み合わされる。このような計算された放射輝度及び測定された放射輝度の組み合わせに基づいて、シーン内の物体１１０における光スペクトル分布及び強度のモデルが形成される。データ処理ユニット１７０はさらに、光スペクトル分布及び強度のモデルから、物体１１０の物体特有の発光スペクトルパターン及び／又は反射スペクトルパターンを計算し、物体１１０の物体特有の発光スペクトルパターン及び／又は反射スペクトルパターンを、データ記憶ユニット１６０に記憶された発光スペクトルパターン及び／又は反射スペクトルパターンとマッチングさせるように構成されている。それにより、ベストマッチングの発光スペクトルパターン及び／又は反射スペクトルパターンを特定することができ、物体１１０は、このベストマッチングする発光スペクトルパターン及び／又は反射スペクトルパターンにデータベース内で割り当てられている物体として識別される。

カメラ１４０、シーンマッピングツール１５０、データベース１６０、及びデータ処理ユニット１７０は、互いに通信接続されており、無線及び／又は有線を介してリンクされ、しがたって統合システムを形成している。光源１２１及び１２２は、システムの他の構成要素とリンクされなければならないということではないが、リンクされてよい。しかし、光源は他の構成要素と同期させる必要がある。光源１２１、１２２は、例えば、データ処理ユニット１７０又はその他のコントローラによって制御されてよい。

光源１２１，１２２の放射輝度データを測定するように構成された分光放射計などのさらなるセンサは有用であり得るが、必須ではない。一般に、工場生産仕様は、各光源１２１，１２２の放射輝度について利用可能である。放射角プロファイル、パワー、又はスペクトル特性などの光源１２１，１２２に関する情報は、シーン１３０内の異なる点での放射輝度を計算するために、シーンマッピングツール１５０によって提供されるシーン１３０の部分的な３Ｄマップと組み合わせてよい。つまり、シーン１３０内の対象とする点、特に物体１１０の点における光の放射輝度は、光源１２１，１２２の特性と、シーンマッピングツール１５０（３Ｄマッピングツール）によって出力されるシーンの３Ｄマップに基づいて計算される。

物理的な位置、コンパスの方位、時刻、及び気象条件に関する情報などのさらなる情報は、シーン１３０の照射に対する太陽放射の影響をモデル化するために使用されることができる。シーンマッピングツール１５０は、飛行時間及び／又は構造化光、例えば赤外光に基づく技術を用いてシーンマッピングを実行してよい。しかしながら、可視光、レーダー、ステレオビジョン、及び／又は超音波は可能な代替手段であり得る。シーンマッピングツール１５０は、飛行時間システム（例えば、ＬｉＤＡＲシステム）、サウンドベースのシステム、ステレオビジョンベースのシステム、又はそれらの任意の組み合わせのうちの少なくとも１つを備えていてよい。

シーン１３０内の物体／アイテムの反射特性及び蛍光特性の知識を使用して、シーン１３０全体における反射光及び蛍光光の相互反射を考慮するため双方向反射分布関数及び双方向蛍光分布関数などの技術によって、シーンマッピングを改善する。双方向反射分布関数は、シーン１３０内の不透明な表面で光がどのように反射されるかを示す。このような双方向反射分布関数及び／又は双方向蛍光分布関数の知識によって、シーン内のさらなる物体が発する反射光及び蛍光光によるさらなる効果を考慮することができるため、シーンマッピングツールによって実行される３Ｄマッピングを改善することができる。このように、３Ｄマッピングは、一般にシーン内で認識される物体が少なくとも１つの物体だけというのより多いため、より現実的になる。

発光体すなわちシーン１３０内の光源１２１及び１２２のスペクトル特性及びパワーに関する知識又は測定により、また、光源１２１，１２２から、事前に知られているシーン１３０内の複数の物体、例えば机１３１及び椅子１３２までの距離をマッピングすることにより、シーン１３０内の任意の点で正確な放射輝度を導出及び計算することができる。シーンマッピングは、様々な異なる技術を用いて、シーンマッピングツール１５０によって実行され得る。最も一般的な技術は、飛行時間測定に基づく。さらなる可能性としては、構造化光の使用がある。光源１２１及び１２２からシーン１３０内の物体１１０、１３１及び１３２までの距離を知っている場合、シーンの３Ｄマップを形成することができ、したがってシーン内のそれぞれの物体の特定の座標に関する情報を得られる。認識される物体１１０の座標、及びカメラ１４０による物体１１０を含むシーンの測定された放射輝度データの知識により、シーンの計算された放射輝度モデルから、物体特有の蛍光スペクトルパターンをフィルタリングすることができる。既に上述したように、シーンの放射輝度マッピングは、シーン全体の反射光及び蛍光光の相互反射を考慮するために双方向反射分布関数及び双方向蛍光分布関数を用いることによって改善され得る。

１００ システム
１１０ 物体
１２１，１２２ 光源
１３０ シーン
１３１ 机
１３２ 椅子
１４０ センサ／カメラ
１５０ シーンマッピングツール
１６０ データ記憶ユニット／データベース
１７０ データ処理ユニット

Claims (14)

1. コンピュータビジョンアプリケーションを介した物体認識のためのシステムであって、少なくとも以下の構成要素：
   － 認識される少なくとも１つの物体（１１０）であって、物体特有の反射スペクトルパターンと物体特有の発光スペクトルパターンとを有する、物体（１１０）と、
   － 周囲光条件下でシーン（１３０）を照射するように構成された少なくとも１つの光源（１２１、１２２）であって、前記シーン（１３０）は、少なくとも１つの物体（１１０）を含み、光源特有の放射輝度値を有している、光源（１２１、１２２）と、
   － 前記シーン（１３０）が前記光源（１２１、１２２）によって照射されたときに、前記シーン（１３０）の放射輝度データを測定するように構成されたセンサ（１４０）と、
   － 前記シーン（１３０）の少なくとも部分的な３Ｄマップをレンダリングしているシーン（１３０）をマッピングするように構成されたシーンマッピングツール（１５０）と、
   － 適切に割り当てられたそれぞれの物体とともに発光スペクトルパターン及び／又は反射スペクトルパターンを含むデータ記憶ユニット（１６０）と、
   － 前記シーンマッピングツール（１５０）から受信したデータを分析し、前記分析されたデータを前記光源特有の放射輝度値と統合し、それに基づいて、前記シーン（１３０）内の点、特に前記少なくとも１つの物体（１１０）における入射光の放射輝度を計算し、前記シーン（１３０）内の点の入射光の計算された放射輝度を、前記シーン（１３０）内の点、特に前記少なくとも１つの物体（１１０）から前記センサ（１４０）に戻る光の測定された放射輝度と組み合わせ、したがって、前記シーン（１３０）内の前記少なくとも１つの物体（１１０）における光スペクトル分布及び強度のモデルを形成し、前記光スペクトル分布及び強度のモデルから前記認識される少なくとも１つの物体の物体特有の発光スペクトルパターン及び／又は反射スペクトルパターンを抽出し、前記抽出された物体特有の発光スペクトルパターン及び／又は反射スペクトルパターンを、前記データ記憶ユニット（１６０）に記憶されている発光スペクトルパターン及び／又は反射スペクトルパターンとマッチングさせ、ベストマッチングする発光スペクトルパターン及び／又は反射スペクトルパターンを識別し、その後、その割り当てられた物体を識別するように構成された、データ処理ユニット（１７０）と、を備え、
   少なくとも前記センサ（１４０）、前記シーンマッピングツール（１５０）、前記データ記憶ユニット（１６０）、及び前記データ処理ユニット（１７０）は、互いに通信接続され、無線及び／又は有線を介して互いにリンクされ、デフォルトで前記光源（１２１、１２２）と同期し、これにより、統合システムを形成している、システム。
2. 光源特有の放射輝度値、特にシーン内の少なくとも１つの光源のスペクトル特性、パワー及び／又は放射角度プロファイルを使用し、及び前記少なくとも１つの光源（１２１、１２２）から前記シーン（１３０）内の前記少なくとも１つの物体（１１０）までの距離をマッピングすることによって、前記シーン（１３０）内の前記少なくとも１つの物体（１１０）における前記少なくとも１つの光源（１２１、１２２）の放射輝度を計算するように構成された、請求項１に記載のシステム。
3. 前記光源（１２１、１２２）は、前記シーンマッピングツール（１５０）、前記データ記憶ユニット（１６０）、及び／又は前記データ処理ユニット（１７０）とリンクされている、請求項１又は２に記載のシステム。
4. 前記センサ（１４０）は、マルチスペクトルカメラ又はハイパースペクトルカメラである、請求項１、２又は３のいずれか１項に記載のシステム。
5. 前記シーンマッピングツール（１５０）は、飛行時間（ＴＯＦ）、ステレオビジョン、構造化光、レーダー及び／又は超音波のうちの少なくとも１つに基づく技術を用いてシーンマッピングを実行するように構成されている、請求項１～４のいずれか１項に記載のシステム。
6. 物理的な位置情報、コンパスの方位、時刻、及び／又は気象条件を使用して、前記シーン（１３０）内の前記少なくとも１つの物体（１１０）の照射に対する太陽放射の影響をモデル化するように構成されている、請求項１～５のいずれか１項に記載のシステム。
7. 前記シーン（１３０）内の前記少なくとも１つの物体（１１０）の反射特性及び蛍光特性の情報を使用して、前記シーン（１３０）全体の反射光及び蛍光光の相互反射を考慮するために双方向反射分布関数（ＢＲＤＦ）及び双方向蛍光分布関数（ＢＦＤＦ）により、シーンの放射輝度マッピングを改善するように構成されている、請求項１～６のいずれか１項に記載のシステム。
8. 前記シーン（１３０）内の少なくとも１つの点に配置された少なくとも１つの白色タイルをさらに備え、前記白色タイルは、前記シーン（１３０）内の少なくとも１つの点における前記光源（１２１、１２２）の放射輝度を測定するために使用されるように構成され、前記シーン（１３０）内の少なくとも１つの点における前記光源の測定された放射輝度は、前記シーン（１３０）内の他の点における放射輝度を推定するために、３Ｄマップ及び前記光源（１２１、１２２）の光出力プロファイルと共に使用される、請求項１～７のいずれか１項に記載のシステム。
9. コンピュータビジョンアプリケーションを介した物体認識のための方法であって、少なくとも以下のステップ：
   － 認識される少なくとも１つの物体を提供するステップであって、前記物体は、物体特有の反射スペクトルパターンと物体特有の発光スペクトルパターンとを有している、ステップと、
   － 少なくとも１つの光源によって、周囲光条件下で前記少なくとも１つの物体を含むシーンを照射するステップであって、前記少なくとも１つの光源は、光源特有の放射輝度値を有している、ステップと、
   － 前記シーンが前記光源によって照射されたときに、前記少なくとも１つの物体を含む前記シーンの放射輝度データをセンサによって測定する、ステップと、
   － シーンマッピングツールを使用して、前記シーンの少なくとも部分的な３Ｄマップをレンダリングしているシーンをマッピングする、ステップと、
   － 適切に割り当てられたそれぞれの物体とともに発光スペクトルパターン及び／又は反射スペクトルパターンを含むデータ記憶ユニットを提供するステップと、
   － 前記シーンマッピングツールから受信したデータを分析し、前記分析したデータを前記光源特有の放射輝度値と統合して、前記シーン内の点、特に前記少なくとも１つの物体上の点における入射光の放射輝度を計算し、前記シーン内の点における入射光の前記計算された放射輝度を、前記シーン内の点、特に前記少なくとも１つの物体から前記センサに戻る光の測定された放射輝度と組み合わせ、これにより、前記シーン内の前記少なくとも１つの物体における光スペクトル分布及び強度のモデルを形成し、前記光スペクトル分布及び強度のモデルから認識される前記少なくとも１つの物体の物体特有の発光スペクトルパターン及び／又は反射スペクトルパターンを抽出し、前記抽出された物体特有の発光スペクトルパターン及び／又は反射スペクトルパターンを、前記データ記憶ユニットに記憶されている発光スペクトルパターン及び／又は反射スペクトルパターンとマッチングさせ、ベストマッチングする発光スペクトルパターン及び／又は反射スペクトルパターンを識別し、その後、その割り当てられた物体を識別するようにプログラミングされた、データ処理ユニットを提供するステップと、を含み、
   前記センサ、前記シーンマッピングツール、前記データ記憶ユニット、及び前記データ処理ユニットは、無線及び／又は有線を介して互いに通信接続され、デフォルトで前記光源と同期し、これにより、統合システムを形成する、方法。
10. シーンマッピングは、飛行時間（ＴＯＦ）、ステレオビジョン、構造化光、レーダー及び／又は超音波のうちの少なくとも１つに基づく技術を用いて実行される、請求項９に記載の方法。
11. 前記シーン内の前記少なくとも１つの物体における少なくとも１つの光源の放射輝度は、シーン内の少なくとも１つの光源のスペクトル特性、パワー及び／又は放射角度プロファイルを使用し、及び前記少なくとも１つの光源から前記シーン内の少なくとも１つの物体までの距離をマッピングすることによって計算される、請求項９又は１０に記載の方法。
12. 物理的な位置、コンパスの方位、時刻、及び／又は気象条件が、前記シーンの照射に対する太陽放射の影響をモデル化することに使用される、請求項９～１１のいずれか１項に記載の方法。
13. 前記シーン内の前記少なくとも１つの物体の反射特性及び蛍光特性の情報は、前記シーン全体の反射光及び蛍光光の相互反射を考慮するために双方向反射分布関数（ＢＲＤＦ）及び双方向蛍光分布関数（ＢＦＤＦ）を用いて、前記シーンの放射輝度マッピングを改善するように使用される、請求項９～１２のいずれか１項に記載の方法。
14. 前記光スペクトル分布と強度のモデルは分析され、２Ｄマップ上又は３Ｄビューとして表示され得る、請求項９～１３のいずれか１項に記載の方法。

Images