JP7060686B2 - 画像処理およびオブジェクトの視点決定の方法ならびにシステム - Google Patents

Description

本開示は画像処理の分野に関し、より正確には、画像上の３次元オブジェクトの検出に関する。

カメラで取得した画像上の三次元オブジェクトを検出することが提案されている。

典型的には、画像上で見えるオブジェクトの６Ｄポーズを得ることも望ましい。「６Ｄポーズ」は、オブジェクトの３次元位置と３次元方向との組み合わせを指定する、当業者に周知の表現である。

オブジェクトを検出するための既知の方法は、満足のいくものではない。例えば、既知の方法は、深度情報を使用する（例えば、「ＲＧＢ－Ｄ」または「ＲＧＢ－深度」として当業者に知られている画像を使用する）ことを必要とし得る。

既知の方法では、ジオメトリやテクスチャが難しいオブジェクトや小さなオブジェクトなど、特定のオブジェクトの検出に失敗することもある。

いくつかの方法は、視点（オブジェクトが画像上で見られる角度）または６Ｄポーズに関する非常に粗い情報を提供する。たとえば、一部のメソッドは、オブジェクトが側面または下から見えることのみを示している。

したがって、画像を処理し、特にオブジェクトおよびその視点を検出するための改善された方法が必要とされている。従来技術から、以下の文献が知られている。
・ Ａ．Ｍｏｕｓａｖｉａｎ、Ｄ．Ａｎｇｕｅｌｏｖ、Ｊ．Ｆｌｙｎｎ、および、Ｊ．Ｋｏｓｅｃｋａ、「ディープ・ラーニングと幾何学を用いた３Ｄバウンディング・ボックス推定（３Ｄ Ｂｏｕｎｄｉｎｇ Ｂｏｘ Ｅｓｔｉｍａｔｉｏｎ Ｕｓｉｎｇ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ａｎｄ Ｇｅｏｍｅｔｒｙ）」ａｒＸｉｖ：１６１２．００４９６、２０１６、
・ Ｐ．Ｐｏｉｒｓｏｎ、Ｐ．Ａｍｍｉｒａｔｏ，Ｃ．－Ｙ．Ｆｕ、Ｗ．Ｌｉｕ、Ｊ．Ｋｏｓｅｃｋａ、およびＡ．Ｃ．Ｂｅｒｇ、「高速シングルショット検出と姿勢推定（Ｆａｓｔ Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ）」、３ＤＶ、２０１６、
・ Ｗ．Ｌｉｕ、Ｄ．Ａｎｇｕｅｌｏｖ、Ｄ．Ｅｒｈａｎ、Ｃ．Ｓｚｅｇｅｄｙ、Ｓ．Ｒｅｅｄ、Ｃ．－ｙ．Ｆｕ、および、Ａ．Ｃ．Ｂｅｒｇ、「ＳＳＤ：シングルショット・マルチボックス検出器（ＳＳＤ：Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）」、ＥＣＣＶ、２０１６。

本開示は、画像を処理するための方法を提案することによって、従来技術の１つ以上の欠点を克服する。この方法は、以下のように構成されたニューラル・ネットワークに画像を入力することを含む。各特徴マップがそれぞれの解像度およびそれぞれの深度を有する複数の特徴マップを取得し、各特徴マップに対して配信するために各特徴マップに対して以下の分類を実行する。
・ 画像上で見える少なくとも１つのオブジェクト（１つ以上のオブジェクト）のタイプ、
・ 少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、
・ 少なくとも１つのオブジェクトの少なくとも１つの可能な視点、
・ 少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転。

一例として、画像は、当業者に知られているＲＧＢ（赤－緑－青）画像などのカラー画像とすることができる。

特徴マップはベクトルの行列であり、表現解像度は行列の解像度に向けられ、深度は行列のベクトルの深度に関係する。

本願で使用される「ニューラル・ネットワーク」という表現は、複数の既知のネットワークの組み合わせを包含することができる。例えば、複数の特徴マップを取得するステップは、第１のサブネットワークを使用して実行することができる。当業者は、それぞれの解像度およびそれぞれの深度を有する特徴マップを得るために、どのサブネットワークを使用すべきかを知っている。

分類を実行するステップは、また、第２のサブネットワークによって実行することができる。当業者は、各特徴マップ、
・ 画像上で見える少なくとも１つのオブジェクトのタイプ、
・ 少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、
・ 少なくとも１つのオブジェクトの少なくとも１つの可能な視点、
・ 少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転
について、どのサブネットワークを使用して配信するかを知っている。

当業者は、バウンディング・ボックスがオブジェクトを囲む座標を有する仮想矩形であることを知っていることに留意する。複数のオブジェクトが決定された場合、各オブジェクトは少なくとも１つのバウンディング・ボックスに関連付けられる。バウンディング・ボックスは複数の所定のバウンディング・ボックスの中から選択することができ、分類ステップは最良のバウンディング・ボックス（すなわち、オブジェクトに最も近いバウンディング・ボックス）を決定するように構成される。

オブジェクトのタイプは、検出され得るオブジェクトの所定のセットの中から選択される。

視点は画像上でオブジェクトが見える角度であり、例えば、基準角度（ｒｅｆｅｒｅｎｃｅ ａｎｇｌｅ）から測定される。

面内回転は、画像を取得するために使用される画像取得モジュールまたはカメラの光軸の周りの回転である。

例として、ニューラル・ネットワークは、画像上で見えるオブジェクトにそれぞれ関連付けられた情報の１つ以上の群を出力することができ、各群は、オブジェクトのタイプ、オブジェクトを囲むバウンディング・ボックスの位置および形状、視点、および面内回転を含む。

いくつかのオブジェクトが画像上で見える場合、ニューラル・ネットワークは、上記で定義したような情報の少なくとも２つのグループを出力することができる。

また、ニューラル・ネットワークは、例えば、視点に関連する２つの群の間の差を用いて、同じオブジェクトについて２つ以上の群の情報を出力してもよい。

前記ニューラル・ネットワークを使用することにより、超並列シングルパスネットワークを使用することが可能になり、計算速度が大幅に向上し（前記方法は、約１０Ｈｚ、すなわち毎秒１０画像で動作することが観察されている）、良好な精度を得ることが可能になることに留意する。

さらに、可能な視点を提供する分類を実行することによって、所定の視点のセットにおける視点を選択することが可能である。これにより、ネットワークが視野角を予測する精度を向上させることができる。例えば、視野角は、５度以下のオーダーの精度で決定することができる。

実施形態によれば、画像はカラー画像（例えば、ＲＧＢ画像）、または色と深度画像（例えば、ＲＧＢ－Ｄ画像）である。

深度の使用は、本方法の精度を改善することに留意する。

一実施形態によれば、分類は、核パーセプトロンの手段によって実行される。

一実施形態によれば、３つ以上の特徴マップが取得されるか、または６つの特徴マップが取得され、特徴マップはそれぞれ異なる解像度を有する。

本発明の発明者らは、６つの特徴マップで良好な結果が得られることを観察した。様々な解像度（および特徴マップの少なくともいくつかの深度）を使用することにより、画像上で見えるオブジェクトの異なるスケールに対処することが可能になる。

一実施形態によれば、本方法は、少なくとも１つのオブジェクトについての少なくとも１つの可能な視点と、少なくとも１つのオブジェクトについての少なくとも１つの可能な面内回転とを使用して、少なくとも１つのオブジェクトの６Ｄポーズを取得することをさらに含む。

ニューラル・ネットワークの出力を解析して、少なくとも１つのオブジェクトの６Ｄポーズを得ることが可能であることが観察されている。最も注目すべきは、視点および面内回転を得ることにより、６Ｄポーズを得ることができることである。

例として、平行移動行列（ｔｒａｎｓｌａｔｉｏｎ ｍａｔｒｉｘ）と回転行列（ｒｏｔａｔｉｏｎ ｍａｔｒｉｘ）の形で６Ｄポーズを得るように、視点上と面内回転上で分類を行うことができる。

一実施形態によれば、６Ｄポーズを取得することは、色ベースのアプローチ、輪郭ベースのアプローチ、または深度ベースのアプローチを使用して６Ｄポーズを精緻化することをさらに含む。

例えば、深度ベースのアプローチは、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）法を使用することができる。

ＲＧＢ画像が使用される場合、オブジェクトをレンダリングして、画像上に最初に存在するオブジェクトとの位置合わせを検証することができる。

一実施形態によれば、本方法はニューラル・ネットワークの予備訓練をさらに含み、前記予備訓練は、少なくとも１つの３次元テンプレート・オブジェクトがニューラル・ネットワークにレンダリングされたテンプレート画像を入力することを含む。

３次元テンプレート・オブジェクト手段をレンダリングし、このテンプレート・オブジェクトの投射が選択された角度で見える画像を作成する。

好適には、この方法が、テンプレート・オブジェクトとして使用されたオブジェクトを含む画像に使用される。

前記レンダリングを使用することによって、対称オブジェクトにより良く対処することができ、対称性から生じる視点の混乱を排除することができる。

一実施形態によれば、前記予備訓練は、前記ニューラル・ネットワークを使用して、
・ テンプレート画像上で見える少なくとも１つのテンプレート・オブジェクトのタイプ、
・ 少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスのテンプレート画像内の位置および形状、
・ 少なくとも１つのテンプレート・オブジェクトの少なくとも１つの可能な視点、
・ 少なくとも１つのテンプレート・オブジェクトの少なくとも１つの可能な面内回転、および、式

におけるＬを最小化することを取得するステップをさらに含む。ここで、
Ｐ_ｏｓは、テンプレート・オブジェクトの領域の予め定義された部分を囲む領域を有するバウンディング・ボックスを表し、
Ｎ_ｅｇテンプレート・オブジェクトの領域の予め定義された部分を囲まない領域を有するバウンディング・ボックスを表し、
ｂは、Ｐ_ｏｓまたはＮ_ｅｇのいずれかに属するバウンディング・ボックスであり、
Ｌ_{ｃｌａｓｓ}は、クラスの属性におけるエラーに関連する損失であり、
Ｌ_ｆｉｔは、バウンディング・ボックスのコーナーの位置のエラーに関連する損失であり、
Ｌ_ｖｉｅｗは、視点の属性におけるエラーに関連する損失であり、
Ｌ_{ｉｎｐｌａｎｅ}は、面内回転の属性におけるエラーに関連する損失であり、
α、β、およびγは、所定の係数である。

例として、Ｌ_{ｃｌａｓｓ}、Ｌ_ｖｉｅｗ、および、Ｌ_{ｉｎｐｌａｎｅ}は、当業者に知られている方法でソフトマック・スクロスエントロピー損失（ｓｏｆｔｍａｘ ｃｒｏｓｓ－ｅｎｔｒｏｐｙ ｌｏｓｓ）によって得ることができる。

また、例として、Ｌ_ｆｉｔは、当業者に公知の方法で、滑らかなＬ１回帰によって得ることができる。

Ｌ（Ｐ_ｏｓ，Ｎ_ｅｇ）は、ニューラル・ネットワークの訓練中に最小化されるべきエネルギーを表すために、当業者によって考慮される損失関数である。あるいは、Ｌ（Ｐ_ｏｓ，Ｎ_ｅｇ）は、ニューラル・ネットワークの訓練中に最小化されるべき目的関数であると考えられる。

α、β、およびγは、ニューラル・ネットワークの訓練中の各損失に起因する重要性に応じて選択することができる。

一実施形態によれば、可能な視点は、視点の所定のセットの中から選択され、テンプレート・オブジェクトが対称である場合、所定の視点の組の視点は、すべて、テンプレート・オブジェクトを中心とする球の円弧上に配置され、テンプレート・オブジェクトが半対称である場合、所定の視点の組の視点は、すべて、テンプレート・オブジェクトを中心とする球の１つの半球上に配置される。

これにより、対称または半対称のオブジェクトを検出するニューラル・ネットワークの能力を向上させることができる。

対称オブジェクトは、本出願では、ボトルのような軸対称性を呈するオブジェクト、または円筒形オブジェクト（これらのオブジェクトの場合、対称軸はオブジェクトの中心を通る）であることに留意する。

また、本願において、半対称オブジェクトとは左右対称と呼ばれることがある平面対称性を示すオブジェクトである（バグやスプーンはこの範畴に入るが、これらのオブジェクトについてはオブジェクトの中心軸を通る対称面が存在する）。

一実施形態によれば、ニューラル・ネットワークは、画像上で見えるオブジェクトにそれぞれ関連付けられた情報の１つ以上の群を出力し、各群は、オブジェクトのタイプ、オブジェクトを囲むバウンディング・ボックスの位置および形状、視点、ならびに面内回転を含む。そして、この方法は、ニューラル・ネットワークによって出力された各グループのスコア（例えば、スカラー値）を精緻化するステップと、各スコアの所定の閾値を比較するステップと、前記閾値を超えるスコアを有するグループのみを保持するステップとをさらに含む。

このスコアは、情報のグループの正確さを示すように取得することができる。スコアを計算するために使用される式は、較正ステップ中に当業者によって選択され得る。

さらに、前記所定の閾値は、較正ステップ中に設定され得る。

一実施形態によれば、本方法は、ニューラル・ネットワークによって出力された２つの情報グループの２つのバウンディング・ボックスがエリア閾値を超えてオーバラップする場合に、最も高いスコアを有する情報グループが保持される非最大抑制を含む。

この面積閾値は、２つのバウンディング・ボックスの各々の面積のパーセンテージとして決定することができる。パーセンテージは５０％であり得る。例えば、バウンディング・ボックスが他のバウンディング・ボックスの面積の５０％に重なっている場合、条件が検証される。

この実施形態は、最良の精度を有する情報のグループを維持することを可能にする。

一実施形態によれば、オブジェクトと画像を取得した画像取得モジュールとの間の距離は、少なくとも１つのバウンディング・ボックスの対角長を使用して決定される。

第２の態様によれば、本発明はまた、画像を処理するためのシステムを提案し、このシステムは画像を入力することができるニューラル・ネットワークを備え、ニューラル・ネットワークは複数の特徴マップを取得するように構成され、各特徴マップはそれぞれの解像度およびそれぞれの深度を有し、各特徴マップに対して分類を実行して、各特徴マップ、すなわち、
・ 画像上で見える少なくとも１つのオブジェクトのタイプ、
・ 少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、
・ 少なくとも１つのオブジェクトの少なくとも１つの可能な視点、
・ 少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転
について配信する。

このシステムは、上述した画像処理方法の全ての実施形態を実行するように構成することができる。

特定の一実施形態では、画像を処理する方法のステップが、コンピュータプログラム命令によって決定される。

したがって、本発明は、このプログラムがコンピュータによって実行されるとき、上述の方法のステップを実行するためのコンピュータプログラムにも向けられる。

このプログラムは任意のプログラミング言語を使用することができ、ソースコード、オブジェクトコード、またはソースコードとオブジェクトコードとの間の中間のコード、例えば部分的にコンパイルされた形式、または他の任意の望ましい形式をとることができる。

本発明は、上述したコンピュータプログラムの命令を含むコンピュータ可読情報媒体にも向けられる。

情報媒体は、プログラムを格納することが可能な任意のエンティティまたは装置とすることができる。例えば、媒体は、ＲＯＭ、例えばＣＤ ＲＯＭまたはマイクロエレクトロニックサーキットＲＯＭのような格納手段、または磁気格納装置、例えばディスケット（フロッピー（登録商標）ディスク）またはハードディスクを含むことができる。

あるいは、この情報媒体は、プログラムが組み込まれた集積回路であり得、回路は当該方法を実行するように、またはその実行に使用されるように適合される。

以下、添付の図面を参照して、本開示をどのように実施することができるかを例として説明する。
図１は、一例による、画像を処理するための例示的な方法のブロック図である。 図２は、一例による、画像を処理するための例示的なシステムのブロック図である。 図３は、オブジェクトの可能なビューポイントのセットを示している。 図４は、ニューラル・ネットワークの訓練に使用される種々の画像を示している。

画像を処理するための例示的な方法およびシステムを以下に説明する。

画像を処理する方法は図１に示されており、以下に説明するように、この方法は、画像上で見えるオブジェクトの６Ｄポーズを決定することもできる。しかしながら、本発明は、画像上で見えるオブジェクトの６Ｄポーズの決定に限定されない。

図１では処理対象の画像をＩＭＧとしたが、この例では画像の解像度が幅２９９画素、高さ２９９画素である。画像ＩＭＧはＲＧＢ画像であり、したがって、画像の各画素は、３つの値に関連付けられる。

画像ＩＭＧを処理するために、図１に示すニューラル・ネットワーク１にこの画像を入力し、さらにその画像ＩＭＧが深度情報を含む場合（例えば、ＲＧＢ－Ｄ画像である場合）、ニューラル・ネットワーク１にはＲＧＢ値のみを入力することができ、その後の精緻化ステップ（ｒｅｆｉｎｉｎｇ ｓｔｅｐ）ステップで深度情報を使用することができる。

ニューラル・ネットワーク１は複数の特徴マップを取得するように構成され、各特徴マップはそれぞれの解像度およびそれぞれの深度を有する。この目的のために、ニューラル・ネットワーク１は、６つの特徴マップを作成することができるサブネットワーク２を備える。６つの特徴マップはそれぞれ異なる解像度を持つ。

例えば、第１の特徴マップ４ａは、７１×７１の解像度と３８４の深度を有する。第２の特徴マップ４ｂは、３５×３５の解像度と３８４の深度を有する。第３の特徴マップ４ｃは、１７×１７の解像度と１０２４の深度を有する。第４の特徴マップ４ｄは、９×９の解像度および１５３６の深度を有する。第５の特徴マップ４ｅは、解像度５×５、深度１０２４である。第６の特徴マップ４ｆは、解像度３×３であり、深度が１０２４である。

当業者は、いくつの特徴マップを使用すべきか、ならびにそれらの解像度および深度を選択することができる。例えば、較正ステップを実行して、アプリケーションの関数として、特徴マップの数、それらの解像度、およびそれらの深度を決定することができる。異なる解像度を使用することにより、様々なスケールを有するオブジェクトを検出することができる。

サブネットワーク２は、当業者には、インセプションＶ４（ＩｎｃｅｐｔｉｏｎＶ４）として知られ、ＣＳｚｅｇｅｄｙ、ＳＩｏｆｆｅ、およびＶＶａｎｈｏｕｃｋｅ、「Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ ａｎｄ Ｉｍｐａｃｔ ｏｆ Ｒｅｓｉｄｕａｌ Ｃｏｎｎｅｃｔｉｏｎｓ」に記載されているネットワークであることが好ましい。

好適には、サブネットワーク２が前のステップで訓練される。

ニューラル・ネットワーク１は、各特徴マップに対して、配信する各特徴マップ、すなわち、
・ 画像上で見える少なくとも１つのオブジェクトのタイプ、
・ 少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、
・ 少なくとも１つのオブジェクトの少なくとも１つの可能な視点、
・ 少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転、
上で分類を実行するようにさらに構成される。

この目的のために、ニューラル・ネットワーク１はサブネットワーク２を含む。好適には、サブネットワーク２が分類器、例えば、カーネル・パーセプトロンである。

サブネットワーク２は、入力として６つの特徴マップ４ａ－４ｆを受信する。例えば、ｗｓ、ｈｓ、およびｃｓがそれぞれ、スケールｓにおける幅、高さ、およびチャネル深度に対応する場合（ｓは、特徴マップ４ｓのしるしを示す）、各特徴マップ４ｓに対して、解像度として３倍、深度としてｃｓを有するカーネル・パーセプトロンを使用することができる。このカーネル・パーセプトロンは、特に、オブジェクトのタイプ、視点、および面内回転についてのスコアを提供する。

可能なバウンディング・ボックスの数Ｂ_ｓは、また、異なる位置（好適には所定のアスペクト比および所定の位置）で異なるアスペクト比を提供することができる。

入力として４ｓを受け取ったカーネル・パーセプトロンの出力は、ｗｓ×ｈｓの解像度と、Ｂ_ｓ×（Ｃ＋Ｖ＋Ｒ＋４）の深度とを有する特徴マップとすることができる。ここで、Ｃは可能なオブジェクトクラスの数であり、Ｖは可能な視点の数であり、Ｒは可能な面内回転の数である。

例として、２１２２２個の可能なバウンディング・ボックスが、異なる形状およびサイズを有して使用されてもよい。

このようにして、６つの特徴マップ５ａ、５ｂ、５ｃ、５ｄ、５ｅ、および５ｆが、カーネル・パーセプトロンの出力として得られる。これらの特徴マップは、
・ 画像上、例えば各特徴マップ４ｓ上で、で見える少なくとも１つのオブジェクトの種類、
・ この特徴マップ４ｓ上の少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、
・ この特徴マップ４ｓ上の少なくとも１つのオブジェクトの少なくとも１つの可能な視点、
・ この特徴マップ４ｓ上の少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転、
を示すものとして解釈できる。

次に、非最大抑圧ステップ６が実行される。

次に、６つの注釈付き画像７ａ、７ｂ、７ｃ、７ｄ、７ｅ、７ｆが得られる。これらの画像から、バウンディング・ボックスが検出されたオブジェクトを囲み、オブジェクトのタイプ、オブジェクトの視点、および面内回転に関する情報が提供される。

これらの結果から、これらのオブジェクトのそれぞれの６Ｄポーズを推定することが可能である。

図１を参照して説明した方法のステップは、コンピュータ命令によって決定することができる。これらの命令は図２に示すように、システムのプロセッサで実行できる。

この図では、システム１０が示されている。このシステムは、プロセッサ１１と、画像を取得するように構成された取得モジュール１２と、メモリ１３とを備える。

メモリ１３は、不揮発性メモリであり得、プロセッサ１１によって実行され、図１を参照して説明した方法を実行することができる命令（またはコンピュータプログラム）ＩＮＳＴのセットを含む。ＩＮＳＴのセットは、各特徴マップがそれぞれの解像度およびそれぞれの深度を有する複数の特徴マップを取得するための命令１４、各特徴マップ、すなわち、
・ 画像上で見える少なくとも１つのオブジェクトのタイプ、
・ 少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、
・ 少なくとも１つのオブジェクトの少なくとも１つの可能な視点、
・ 少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転、
に対して配信するために各特徴マップにおいて分類を実行するための命令１５、を含む。

図３は、レンダリングされた３次元テンプレート・オブジェクトＯＢＪを示す。このオブジェクトは、図１の方法のニューラル・ネットワークの訓練中に画像上にレンダリングすることができる。

可能な視点のセットも図３に示されている。

より正確には、可能な視点２０がテンプレート・オブジェクトＯＢＪを中心とする球の円弧上に配置される。これらの視点は、対称オブジェクトには十分である。

テンプレート・オブジェクトＯＢＪを中心とする球体の半球上には、さらに視点２２、２１が配置されている。半対称オブジェクトの場合、視点２０と２１、または、２０と２２のどちらかのみを使用することが可能である。対称性のないオブジェクトについては、全ての視点２０、２１、２２を使用することができる。

これは、従来技術の方法が使用されるときに視点の決定に混乱がある対称または半対称であるオブジェクトの視点の決定を容易にする。

実際、ニューラル・ネットワークの訓練中、ニューラル・ネットワークをより良く訓練するために、（半）対称オブジェクトに対しては、限られた一組の視点のみが使用される。

訓練後にニューラル・ネットワークを用いて画像を処理する場合、オブジェクトが検出されると、視点を決定するために、限られた視点の組のみが分類される。

図４は、図１を参照して開示された方法のニューラル・ネットワークを訓練するために使用される様々な画像を示し、これは、典型的には、本願方法のステップを実行する前に実行される（そして、予備訓練と称されてもよい）。

好適には、この訓練は、少なくとも１つの３次元テンプレート・オブジェクトがニューラル・ネットワークにレンダリングされたテンプレート画像を入力することを含む。例えば、図３を参照して説明したテンプレート・オブジェクトＯＢＪは、画像でレンダリングすることができ、その画像は次に、得られたテンプレート画像の背景となる。

図４では４つのテンプレート画像が表現されており、各テンプレート画像ではいくつかのテンプレート・オブジェクトがレンダリングされている。

この例では、写真が背景として使用され、テンプレート・オブジェクトがこの背景上にレンダリングされてテンプレート画像が形成される。

背景として写真を使用することは、完全に合成された画像（例えば、コンピュータによって生成された画像）を使用するよりも良好な訓練結果をもたらすことが、本発明者らによって観察された。

本発明のニューラル・ネットワークによって検出されたオブジェクトは図上のバウンディング・ボックスによって囲まれ、例えば、これらは、ニューラル・ネットワークによって出力され、１組のバウンディング・ボックス内で選択されたすべてのバウンディング・ボックスである。より正確には、図に表されたバウンディング・ボックスは、テンプレート・オブジェクトの領域の所定の部分を囲む領域を有する。

レンダリングされたテンプレート・オブジェクトに関連するバウンディング・ボックスは、テンプレート・オブジェクトの領域の事前定義された一部を囲む領域を持つバウンディング・ボックスと、条件を検証しない残りのバウンディング・ボックスとの間でソートすることができる。

上記の条件は、当業者によって「合併に対する交差（ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ）」と呼ばれ、条件を検証するための閾値は、バウンディング・ボックスの面積の５０％に設定することができる。

次に、訓練は、前記ニューラル・ネットワーク、テンプレート画像上で見える少なくとも１つのテンプレート・オブジェクトのタイプ、
・ 少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスのテンプレート画像内の位置および形状、
・ 少なくとも１つのテンプレート・オブジェクトの少なくとも１つの可能な視点、
・ 少なくとも１つのテンプレート・オブジェクトの少なくとも１つの可能な面内回転、および以下の式

における最小化、
を用いて取得することをさらに含む。ここで、
Ｐ_ｏｓは、テンプレート・オブジェクトの領域の予め定義された部分を囲む領域を有するバウンディング・ボックスを表し、
Ｎ_ｅｇテンプレート・オブジェクトの領域の予め定義された部分を囲まない領域を有するバウンディング・ボックスを表し、
ｂは、Ｐ_ｏｓまたはＮ_ｅｇのいずれかに属するバウンディング・ボックスであり、
Ｌ_{ｃｌａｓｓ}は、クラスの属性におけるエラーに関連する損失であり、
Ｌ_ｆｉｔは、バウンディング・ボックスのコーナーの位置のエラーに関連する損失であり、
Ｌ_ｖｉｅｗは、視点の属性におけるエラーに関連する損失であり、
Ｌ_{ｉｎｐｌａｎｅ}は面内回転の属性におけるエラーに関連する損失であり、
α、β、およびγは、所定の係数である。

Claims (13)

1. 画像を処理する方法であって、
   該画像を、各特徴マップがそれぞれの解像度およびそれぞれの深度を有する複数の特徴マップ（４ａ，．．．，４ｆ）を取得し（２）、
   各特徴マップについて配信するために、各特徴マップ、すなわち、画像上で見える少なくとも１つのオブジェクトのタイプ、前記少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、前記少なくとも１つのオブジェクトの少なくとも１つの可能な視点、前記少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転について分類を実行する（３）
   ように構成されたニューラル・ネットワークに入力する（１）ステップを含む方法であり、
   前記ニューラル・ネットワークの予備訓練をさらに含み、前記予備訓練は、少なくとも１つの３次元テンプレート・オブジェクトが前記ニューラル・ネットワークにレンダリングされたテンプレート画像を入力するステップを含み、
   前記予備訓練がさらに、
   前記ニューラル・ネットワークを用いて、前記テンプレート画像の上で見える少なくとも１つのテンプレート・オブジェクトのタイプ、前記少なくとも１つのオブジェクトを取り囲む少なくとも１つの２次元バウンディング・ボックスの前記テンプレート画像内の位置および形状、前記少なくとも１つのテンプレート・オブジェクトの少なくとも１つの可能な視点、前記少なくとも１つのテンプレート・オブジェクトの少なくとも１つの可能な面内回転、を取得するステップと、
   

   

   の式において最小化するステップであって、Ｐ _ｏｓ は、テンプレート・オブジェクトの領域の予め定義された部分を囲む領域を有するバウンディング・ボックスを表し、Ｎ _ｅｇ テンプレート・オブジェクトの領域の予め定義された部分を囲まない領域を有するバウンディング・ボックスを表し、ｂは、Ｐ _ｏｓ またはＮ _ｅｇ のいずれかに属するバウンディング・ボックスであり、Ｌ _{ｃｌａｓｓ} は、クラスの属性におけるエラーに関連する損失であり、Ｌ _ｆｉｔ は、バウンディング・ボックスのコーナーの位置のエラーに関連する損失であり、Ｌ _ｖｉｅｗ は、視点の属性におけるエラーに関連する損失であり、Ｌ _{ｉｎｐｌａｎｅ} は、面内回転の属性におけるエラーに関連する損失であり、α、β、およびγは、所定の係数である、ステップと
   を含む、方法。
2. 前記画像は、カラー画像、または、カラーおよび深度画像である、請求項１に記載の方法。
3. 前記分類は、核パーセプトロン（３）の手段によって実行される、請求項１または２に記載の方法。
4. ３つ以上の特徴マップが得られるか、または６つの特徴マップ（４ａ，．．．，４ｆ）が得られ、該特徴マップの各々が異なる解像度を有する、請求項１ないし３のいずれか１項に記載の方法。
5. 前記少なくとも１つのオブジェクトの前記少なくとも１つの可能な視点と、前記少なくとも１つのオブジェクトの前記少なくとも１つの可能な面内回転とを使用して、少なくとも１つのオブジェクの６Ｄポーズを取得するステップをさらに含む、請求項１ないし４のいずれか１項に記載の方法。
6. 前記６Ｄポーズを取得するステップは、色ベースのアプローチ、輪郭ベースのアプローチ、または、深度ベースのアプローチを使用して、前記６Ｄポーズを精緻化するステップをさらに含む、請求項５に記載の方法。
7. 前記可能な視点は、所定の視点の組の中から選択され、
   テンプレート・オブジェクトが対称の場合、所定の視点のセットの視点が、テンプレート・オブジェクトを中心とする球の弧にすべて配置され、
   テンプレート・オブジェクトが半対称の場合、所定の視点のセットの視点は、前記テンプレート・オブジェクトを中心とする球の１つの半球にすべて配置される、
   請求項１に記載の方法。
8. 前記ニューラル・ネットワークは、前記画像上で見えるオブジェクトにそれぞれ関連付けられた情報の１つ以上の群を出力し、
   各群は、前記オブジェクトのタイプ、前記オブジェクトを囲むバウンディング・ボックスの位置および形状、前記視点、および前記面内回転を含み、
   前記方法は、
   前記ニューラル・ネットワークによって出力された各グループのスコア（例えば、スカラー値）を精緻化するステップと、
   各スコアの所定の閾値を比較するステップと、前記閾値を超えるスコアを有するグループのみを保持するステップと
   をさらに含む、請求項１ないし７のいずれか１項に記載の方法。
9. 前記ニューラル・ネットワークによって出力される情報の２つのグループの２つのバウンディング・ボックスΜ、エリア閾値を超えてオーバラップする場合、最も高いスコアを有する情報のグループが保持される非最大抑制を含む、請求項８に記載の方法。
10. 前記オブジェクトと前記画像を取得した画像取得モジュールとの間の距離は、前記少なくとも１つのバウンディング・ボックスの対角長を使用して決定される、請求項１ないし９のいずれか１項に記載の方法。
11. 画像を処理するためのシステムであって、
    該システムは、該画像が入力され得るニューラル・ネットワークを備え、
    該ニューラル・ネットワークは、複数の特徴マップを取得し、
    各特徴マップはそれぞれの解像度およびそれぞれの深度を有し、
    各特徴マップについて配信するために、各特徴マップ、すなわち、前記画像の上で見える少なくとも１つのオブジェクトのタイプ、前記少なくとも１つのオブジェクトを囲む少なくとも１つの２次元バウンディング・ボックスの画像内の位置および形状、前記少なくとも１つのオブジェクトの少なくとも１つの可能な視点、前記少なくとも１つのオブジェクトの少なくとも１つの可能な面内回転に対して分類を実行するように構成される、システムであり、
    該システムは、前記ニューラル・ネットワークの予備訓練を実行するようにさらに構成され、前記予備訓練は、少なくとも１つの３次元テンプレート・オブジェクトが前記ニューラル・ネットワークにレンダリングされたテンプレート画像を入力するステップを含み
    、
    前記予備訓練がさらに、
    前記ニューラル・ネットワークを用いて、前記テンプレート画像の上で見える少なくとも１つのテンプレート・オブジェクトのタイプ、前記少なくとも１つのオブジェクトを取り囲む少なくとも１つの２次元バウンディング・ボックスの前記テンプレート画像内の位置および形状、前記少なくとも１つのテンプレート・オブジェクトの少なくとも１つの可能な視点、前記少なくとも１つのテンプレート・オブジェクトの少なくとも１つの可能な面内回転、を取得するステップと、
    

    

    の式において最小化するステップであって、Ｐ _ｏｓ は、テンプレート・オブジェクトの領域の予め定義された部分を囲む領域を有するバウンディング・ボックスを表し、Ｎ _ｅｇ テンプレート・オブジェクトの領域の予め定義された部分を囲まない領域を有するバウンディング・ボックスを表し、ｂは、Ｐ _ｏｓ またはＮ _ｅｇ のいずれかに属するバウンディング・ボックスであり、Ｌ _{ｃｌａｓｓ} は、クラスの属性におけるエラーに関連する損失であり、Ｌ _ｆｉｔ は、バウンディング・ボックスのコーナーの位置のエラーに関連する損失であり、Ｌ _ｖｉｅｗ は、視点の属性におけるエラーに関連する損失であり、Ｌ _{ｉｎｐｌａｎｅ} は、面内回転の属性におけるエラーに関連する損失であり、α、β、およびγは、所定の係数である、ステップと
    を含む、
    システム。
12. コンピュータプログラムがコンピュータによって実行されるときに、請求項１ないし１０のいずれか１項に記載の方法のステップを実行するための命令を含むプログラム。
13. 請求項１ないし１０のいずれか１項に記載の方法のステップを実行するための命令を含むコンピュータプログラムを記録した、コンピュータによって読み取り可能な記録媒体。

Images