JP7485217B2 - 分類装置、分類方法及びプログラム - Google Patents

Description

本開示は、分類装置、制御装置、分類方法、制御方法及び非一時的なコンピュータ可読媒体に関する。

画像分析およびビデオ分析の技術は急速に発展してきた。

例えば、特許文献１は、シーンのサムネイルを作成することができる表示制御装置を開示している。具体的には、表示制御装置は、コンテンツの各フレームがクラスタリングの対象となるクラスタリング結果を作成し、サムネイルを表示する。表示制御装置のシーン分類部６１２は、注目するクラスタに属するフレームを、１つ以上のフレームからなるフレーム群を有するシーンに分類する。表示制御装置のサムネイル作成部６１３は、シーン分類部６１２からのシーン情報を元に、各シーンのサムネイルを作成する。

特許第５５３３８６１号公報

近年、人間の活動を機械（例えば、コンピュータ、サポートロボットなど）で支援する技術が開発されている。このような技術では、人間が望む支援を実現するために、機械が人間の動作シーケンスを検出して分類することが重要である。

本開示の目的は、人間の支援（人間に対する支援として理解される）を提供することができる分類装置、制御装置、分類方法、制御方法および非一時的なコンピュータ可読媒体を提供することである。

第１の例示的側面では、分類装置は、所定のアルゴリズムに基づいてビデオデータの特定の時間領域を決定し、前記特定の時間領域において前記ビデオデータが抽出された部分ビデオデータを生成する生成手段と、前記生成手段によって生成された前記部分ビデオデータを分類する分類手段と、前記分類手段によって実行された分類の評価に基づいて、前記所定のアルゴリズムを修正する修正手段とを備える。

第２の例示的側面では、制御装置は、作業を含むビデオデータを認識し、それによって前記作業を決定する認識手段と、決定された前記作業に応じて機械の動作を決定し、前記決定された作業に従って前記機械を制御するコントローラを備える。

第３の例示的側面では、分類方法は、所定のアルゴリズムに基づいてビデオデータの特定の時間領域を決定し、前記特定の時間領域において前記ビデオデータが抽出された部分ビデオデータを生成することと、前記部分ビデオデータを分類することと、分類の評価に基づいて、前記所定のアルゴリズムを修正することとを含む。

第４の例示的側面では、制御方法は、作業を含むビデオデータを認識し、それによって前記作業を決定することと、決定された前記作業に応じて機械の動作を決定し、前記決定された作業に従って前記機械を制御することとが含まれる。

第５の例示的側面は、所定のアルゴリズムに基づいてビデオデータの特定の時間領域を決定し、前記特定の時間領域において前記ビデオデータが抽出された部分ビデオデータを生成することと、前記部分ビデオデータを分類することと、分類の評価に基づいて、前記所定のアルゴリズムを修正することとをコンピュータに実行させるプログラムを格納する非一時的なコンピュータ可読媒体である。

第６の例示的側面は、作業を含むビデオデータを認識し、それによって前記作業を決定することと、決定された前記作業に応じて機械の動作を決定し、前記決定された作業に従って前記機械を制御することとをコンピュータに実行させるプログラムを格納する非一時的なコンピュータ可読媒体である。

本開示によれば、人間に支援を提供することができる分類装置、制御装置、分類方法、制御方法および非一時的なコンピュータ可読媒体を提供することができる。

図１は、実施の形態１にかかる分類装置のブロック図である。 図２は、実施の形態１にかかるビデオデータの分類方法を示すフローチャートである。 図３は、実施の形態２にかかる制御装置のブロック図である。 図４は、実施の形態２にかかる機械の制御方法を示すフローチャートである。 図５は、実施の形態３にかかる分類システムのブロック図である。 図６は、実施の形態３にかかる生成部のブロック図である。 図７は、実施の形態３にかかるビデオデータの強度信号の例を示すグラフである。 図８Ａは、実施の形態３にかかる各サブシーケンスの人間の動作の例を示す図である。 図８Ｂは、実施の形態３にかかるサブシーケンスに対応する分類およびカテゴリラベルの例を示す表である。 図９は、実施の形態３にかかるビデオデータの強度信号の例を示すグラフである。 図１０は、実施の形態３にかかるサブシーケンスに対応する分類およびカテゴリラベルの例を示す表である。 図１１は、実施の形態３にかかるフィードバック処理の概略図である。 図１２は、実施の形態３にかかる合理的な分類ソリューション数の推移例を示すグラフである。 図１３は、実施の形態４にかかる意図検出システムのブロック図である。 図１４は、実施の形態５にかかる意図検出システムを含む機械のブロック図である。 図１５は、実施の形態５にかかる意図検出システムを含むピッキングロボットの例を示す図である。 図１６Ａは、実施の形態５にかかる人間のジェスチャーによって指示されたピッキングロボットの処理の一例を示す図である。 図１６Ｂは、実施の形態５にかかる人間のジェスチャーによって指示されたピッキングロボットの処理の他の例を示す図である。 図１７は、実施の形態にかかる情報処理装置の構成図である。

（実施の形態１）
本開示の実施の形態１を、図面を参照して以下に説明する。図１を参照すると、分類装置１０は、生成部１１、分類部１２および修正部１３を備える。分類装置１０は、ビデオデータを扱うことができる様々なコンピュータ又は機械に適用されてもよい。例えば、分類装置１０は、パーソナルコンピュータ、ビデオレコーダ、ロボット、機械、テレビ、携帯電話などとして設置されてもよい。

生成部１１は、所定のアルゴリズムに基づいてビデオデータの特定の時間領域を決定し、その特定の時間領域においてビデオデータが抽出された部分ビデオデータを生成する。ビデオデータはある時間長を有し、特定の時間領域はある時間長内にある。ビデオデータは画像データのシーケンスであってもよい。つまり、ビデオデータは、複数のフレームを有してもよい。生成部１１は、所定のアルゴリズムを使用してビデオデータの内容を分析し、特定の時間領域を設定してもよい。ビデオデータは、分類装置１０内のメモリに格納されてもよいし、分類装置１０の外部から生成部１１に入力されてもよい。さらに、所定のアルゴリズムは、分類装置１０内のメモリに格納されてもよい。

分類部１２は、生成部１１によって生成された部分ビデオデータを分類する。分類は、数字やテキストなどを用いて行うことができる。分類は、ジェスチャー、テレビ番組又は映画の特定のシーンなど、人間の動作に関連していてもよいが、これらに限定されるものではない。

修正部１３は、分類部１２によって実行される分類の評価に基づいて、所定のアルゴリズムを修正する。評価は、分類装置１０内の構成要素で処理されてもよいが、分類装置１０外の装置で処理されてもよい。

図２は、実施の形態１にかかる分類装置１０で実行される処理の一例を示すフローチャートである。以下、分類装置１０で実行される処理について説明する。

まず、生成部１１が所定のアルゴリズムに基づいてビデオデータの特定の時間領域を決定する（ステップＳ１１）。次に、生成部１１は、特定の時間領域においてビデオデータが抽出された部分ビデオデータを生成する（ステップＳ１２）。この部分ビデオデータは、１つのシーンを指し示し、人間の動作の一種を示してもよいが、これに限定されない。

次に、分類部１２は、生成部１１によって生成された部分ビデオデータを分類する（ステップＳ１３）。この処理によって、分類部１２は、さまざまな部分ビデオデータを複数のカテゴリに分類してもよい。

その後、修正部１３は、分類部１２によって実行された分類の評価に基づいて、必要に応じて所定のアルゴリズムを修正する（ステップＳ１４）。所定のアルゴリズムを修正した結果、評価結果とともに特定の時間領域が変更されてもよい。そのため、生成部１１は、部分ビデオデータを生成することで、より正確に分類すべきシーンを部分ビデオデータに含めることができる。例えば、分類が人間の動作サブシーケンスを分類することを目的としたものであれば、分類装置１０は、一人の人間の動作サブシーケンスを表す部分ビデオデータの適切な時間領域を決定することができる。その結果、部分ビデオデータは正確な一人の人間の動作サブシーケンスを示すことができるため、分類部１２は部分ビデオデータをより正確に分類することができる。

（実施の形態２）
本開示の実施の形態２を、図面を参照して以下に説明する。図３を参照すると、制御装置１４は、認識部１５とコントローラ１６とを備える。制御装置１４は、例えば人間を支援するロボットといった、様々なコンピュータ又は機械に搭載された装置に適用されてもよい。

認識部１５は、作業（operation）を含むビデオデータを認識し、それによって作業を決定する。ビデオデータは人の動作を示してもよく、人の動作は、ある物体に対する作業であってもよい。例えば、作業は、ある物体をつかむ作業、ある物体を置く作業などを含む。このジェスチャーは、ロボットに何らかの処理を行うよう指示することができ、暗黙的かつ明示的であってもよい。ビデオデータは、実施の形態１に示すように分類され得る。

コントローラ１６は、決定された作業に応じて機械の動作を決定し、決定された作業に従って機械を制御する。機械は、制御装置１４を含むものであってもよいが、これに限らない。

図４は、実施の形態２にかかる制御装置１４が実行する処理の一例を示すフローチャートである。以下、制御装置１４によって実行される処理について説明する。

まず、認識部１５は、作業を含むビデオデータを認識する（ステップＳ１５）。前述のように、作業は人間の動作であってもよい。次に、認識部１５はビデオデータを認識することで作業を決定する（ステップＳ１６）。

そして、コントローラ１６は、決定した作業に応じて機械の動作を決定する（ステップＳ１７）。その後、コントローラ１６は、決定した作業に応じて機械を制御する（ステップＳ１８）。例えば、ユーザが作業を行った場合、認識部１５はユーザが機械に何をさせたいかを理解し、コントローラ１６は、ユーザやその他の入力によって指示されたように機械を制御することができる。具体的には、この処理により、制御装置１４は人間の意図を認識することで機械を制御することができる。

実施の形態２にかかる制御装置１４は、例えばロボットやコンピュータなどの機械におけるシステム統合機能の低減を実現することができる。

認識部１５は、図１の分類部１２及び／又は修正部１３の機能によって実現可能である。さらに、認識部１５は、図５の前処理部２１、生成部２２、分類部２３、マッピング部２４、及び／又は修正部２５の機能によって実現可能とされてもよい。認識部１５は、図６の計算部２６、信号分析部２７、決定部２８、及び／又はサブシーケンス生成部２９の機能によって実現可能とされてもよい。さらに、認識部１５は、図１３の人物対象分析部３１及び／又は意図検出部３２の機能によって実現可能とされてもよい。認識部１５は、コンピュータビジョンの分野におけるパターン認識アルゴリズム及び／又は画像認識アルゴリズムによって実現可能とされてもよい。さらに、コントローラ１６は、図１４の信号発生器４１及び／又はオプティマイザコントローラ４２の機能によって実現可能である。図５、６、１３及び１４の詳細については後述する。

（実施の形態３）
本開示の実施の形態３を、図面を参照して以下に説明する。実施の形態３は、実施の形態１の具体例である。

まず、実施の形態３にかかる分類システムの構成と処理について説明する。図５を参照すると、分類システム２０は、前処理部２１、生成部２２、分類部２３、マッピング部２４、修正部２５、データベース（ＤＢ）を備える。分類システム２０は、例えば、機械又はロボットのモジュールとして提供されてもよい。分類システム２０は、感覚入力（sensory input）または（図５には示されていない）イメージングセクション、例えばビデオカメラから未加工のビデオデータを受信してもよい。イメージングセクションは、一定の間隔で人物のフレームを捉えることができる。

前処理部２１は未加工のビデオデータを受信し、それを前処理（すなわち前工程処理）する。具体的には、前処理部２１は未加工データに含まれる情報を削減し、分類に関する情報を含む前処理済みのビデオデータ（以下、単にビデオデータと呼称する）を生成する。これは、分類部２３によって行われる。例えば、前処理部２１は、不規則にサンプリングされた高解像度フレームのシーケンスを、関連情報を含むデータポイントの数が少ないフレームへ削減することができる。関連情報には、撮影される人物の特徴的な体の点が含まれてもよい。また、関連情報には、人が作業する、又は人の近くに位置する物体と人との関係が含まれてもよい。

前処理部２１はビデオデータを生成部２２に出力する。前処理部２１は、分類システム２０における前処理ソフトウェアとプロセッサとの組み合わせによって実現されてもよい。

生成部２２は、前処理部２１からビデオデータを受信し、特定の時間領域においてビデオデータが抽出されるサブシーケンス（部分ビデオデータ）を生成する。そのために、生成部２２は、所定のアルゴリズムに基づいてビデオデータの特定の時間領域を決定する。つまり、生成部２２は、ビデオを複数のサブシーケンスに分割する分割生成部として実行してもよい。

図６は、生成部２２のブロック図である。生成部２２は、計算部２６、信号分析部２７、決定部２８、およびサブシーケンス生成部２９を含む。生成部２２における詳細な処理について説明する。

計算部２６は、ビデオデータの強度信号を計算して、ビデオデータ内のサブシーケンスの長さとサブシーケンスの位置（すなわち、特定の時間領域）を決定し、強度信号は人の動作を示す。詳細には、スカラー信号と、この信号の特徴点を決定することと、によって、強度信号は、動作する人の動的な動作を集約する。計算部２６は、式及び／又は規則として表されてもよい所定のアルゴリズムを使用して、強度信号を計算する。計算部２６は、信号分析部２７に強度信号を出力する。

信号分析部２７は、強度信号を分析し、強度の候補点を特定する。候補点は、ビデオデータ中のサブシーケンスの長さ及びサブシーケンスの位置を決定するための特徴点の候補である。

決定部２８は、信号分析部２７で特定された候補点から特徴点を決定する。信号分析部２７と決定部２８は、所定のアルゴリズムに含まれるルールベースを使用して上記の処理を行う。このようにして、ビデオデータ中の特徴点が導き出される。

サブシーケンス生成部２９は、決定部２８によって決定される特徴点を利用して、ビデオデータ中のサブシーケンスの長さとサブシーケンスの位置を決定する。サブシーケンス生成部２９は、所定のアルゴリズムに含まれる生成法則を使用して、これらの要素を決定する。サブシーケンス生成部２９は、フレームのシーケンス（すなわちビデオデータ）からサブシーケンスを生成する。

要約すると、生成部２２は、生成法則と適切なルールベースを含む所定のアルゴリズムに基づいて、ビデオデータのフレームのシーケンスから一連のサブシーケンスを生成することができる。各サブシーケンスのデータは、分類部２３によってモーションサブシーケンスの候補として使用される。生成部２２は、生成されたサブシーケンスを分類部２３に出力する。

また、所定のアルゴリズムは、修正部２５からのフィードバックによって修正することができることにも留意する必要がある。所定のアルゴリズムが修正された場合、計算部２６が強度信号を計算する方法を変更する、及び／又は、信号分析部２７及び決定部２８の少なくとも１つが、特徴点を決定する方法を変更する。したがって、ビデオデータ内のサブシーケンスの長さ及び／又はサブシーケンスの位置が修正されることで、より正確に分類を得る。この修正処理について、以下で詳しく説明する。

分類部２３は、サブシーケンスを受信し、サブシーケンス（部分ビデオデータ）を人間の動作として分類する。分類部２３は、分類されたサブシーケンスを分類番号に割り当てる。さらに、分類部２３は、マッピング部２４及び／又はＤＢにアクセスすることによって、分類されたサブシーケンスをテキストラベルに割り当てることができる。サブシーケンスは、人間の動作のクラスタとして分類される。分類部２３は、さらなる処理のため、分類番号とテキストラベルとともに、サブシーケンスを出力する。

さらに、単一のサブシーケンスを分類される候補とみなすために、分類部２３は、１つ（または一時的に１つ以上）の分類ソリューションを導出してもよい。分類部２３は、各サブシーケンスに関してこの処理を実行し、分類ソリューションは、分類部２３のサブシーケンスを分類するために必要である。

ＤＢはライブラリとして機能し、分類部２３によって生成された分類ソリューションと分類番号を格納する。分類部２３はＤＢにアクセスし、分類ソリューションと分類番号を使用してサブシーケンスを分類することができる。

マッピング部２４は、データベース及び／又はインターネットから、文書などの分類に関連するテキスト情報を取得する。マッピング部２４はさらに、特に分類システム２０のユーザによって提供されるテキスト情報を取得する。マッピング部２４はテキスト情報を処理し、分類に使用される語彙の説明へのマッピングを生成する。マッピング部２４は、プロセッサとメモリの他に、入力部及び／又はネットワークインターフェースを含んでもよい。分類部２３は、サブシーケンスとカテゴリの決定の精度を向上させるために、マッピング部２４にアクセスしてマッピングを参照することができる。言い換えれば、分類部２３によって行われる分類処理は、マッピング部２４によって生成される言語ドメインにカテゴリをマッピングすることによって支援される。より具体的には、分類部２３は、人間が理解できるテキストラベルをサブシーケンスに割り当て、これまで分類番号でラベル付けされていた既に識別済のカテゴリに対して、可能な限り正確に動作パターンを記述する。また、分類部２３が隣接するサブシーケンスのテキストラベルを使用してカテゴリを決定できない場合にも、これは役立つ。テキスト情報を使用する主な目的は、分類の能力を強化することと、カテゴライザの誤った結果を追加チューニングまたは修正する必要がある場合にシステムの推論を理解することである。

修正部２５は、特定の分類ソリューションの評価値を決定する。分類ソリューションの評価値は、対応する分類が、分類後の後続の処理ステップにどの程度適しているかを示してもよい。後続の処理ステップの例として、意図検出がある。評価値は、対応するサブシーケンスによって示される人間の動作の後のアクションまたはイベントを予測するために、対応する分類がどれだけ適しているかを示してもよい。

得られた分類ソリューションの評価値は、１または複数の指標によって判断できる。指標の第１の例は、同一のカテゴリに属していることがすでに知られている要素を、分類ソリューション（すなわち、分類部２３）が、同一のカテゴリの一部としてどの程度良く分類するかである。指標の第２の例は、定義された問題に対する所定のカテゴリ数からの偏差を記述する指標である。つまり、この指標は、既知であると仮定された最適なカテゴリ数からの偏差が、定義された問題に対してどの程度であるかを示す。たとえば、得られた分類ソリューションが不適切になるほど、この指標は大きくなる。指標の第３の例は、システム全体が分類システム２０を含む一方、システム全体が分類ソリューションを使用して全体的なタスクをどの程度達成するかを記述する指標である。これは最も重要な指標の１つであり、分類を改善するために使用すべきであれば、最も困難な指標である。システム全体の例については後述する。

修正部２５は、これらの指標のうち少なくとも１つを用いて分類を評価する。ただし、指標はこれらの例に限定されるものではない。指標は、分類ソリューションの正しさ又は適切さを定義するための様々なパラメータを有してもよい。現在の分類ソリューションの評価値が指標に関して所定の基準を満たさない場合（たとえば、現在の分類ソリューションが検討対象のタスクに対して十分ではない場合）、修正部２５は生成部２２に所定のアルゴリズムを変更するよう、適切な指示（フィードバック）を与える。具体的には、もし修正部２５が分類の評価を考慮して、あるカテゴリが適切でないと判断した場合、修正部２５は所定のアルゴリズムのうちそのカテゴリに対応する部分が修正されるべきことを指示する指示を送信する。指示に基づいて所定のアルゴリズムが修正され、計算部２６による計算方法、信号分析部２７による分析方法、決定部２８による決定方法、及びサブシーケンス生成部２９の生成方法のうち少なくとも１つに修正が加えられる。その結果、ビデオデータ中のサブシーケンスの長さ及びサブシーケンスの位置を変更することができる。

次に図７～８Ｂを参照して、具体的な人の動作の例と分類システム２０が実行する処理について説明する。ビデオデータの強度信号の例を図７に示す。フレーム番号０からｋ_ｃが時間軸として図７に示され、フレームの特徴点はｋ_Ａとｋ_Ｂの２つがある。図７に示すように、特徴点では信号の強度は強度ｄ_ｋに関して変曲点、特に極小値を有する。

分類システム２０において、計算部２６は図７のグラフを導出する。信号分析部２７はこのグラフを分析し、２つの特徴点ｋ_Ａとｋ_Ｂを求め、この２つの点を候補点とする。そして、決定部２８は、２つの点ｋ_Ａとｋ_Ｂを特徴点とする。サブシーケンス生成部２９は、決定された２つの点ｋ_Ａとｋ_Ｂを利用して、ビデオデータ中のサブシーケンスの長さとサブシーケンスの位置を決定する。この例では、サブシーケンス生成部２９は、サブシーケンス（１）、（２）及び（３）を生成する。フレーム番号０からｋ_Ａまでのサブシーケンスをサブシーケンス（１）、フレーム番号ｋ_Ａからｋ_Ｂまでのサブシーケンスをサブシーケンス（２）、フレーム番号ｋ_Ｂからｋ_ｃまでのサブシーケンスをサブシーケンス（３）と設定する。上記の通り、サブシーケンスは２つの特徴点ｋ_Ａとｋ_Ｂによって定義される。

図８Ａは、各サブシーケンスの人間の動作の例を示す。図８Ａに示されるように、サブシーケンス（１）は人Ｐが「左腕を上げる」こと、サブシーケンス（２）は人Ｐが物体Ｏについて「物体を渡す」こと、サブシーケンス（３）は人Ｐが「リラックス」することを示している。これらの人間の動作の特徴的な体の点は、図７の強度信号で表される。

図８Ｂは、サブシーケンス（１）から（３）に対応するカテゴリとカテゴリラベルの例を示す。サブシーケンス（１）のカテゴリは「ｍｐ３１」、サブシーケンス（２）のカテゴリは「ｍｐ７６」、サブシーケンス（３）のカテゴリは「ｍｐ２１」である。分類部２３はＤＢを使用してこれらのカテゴリ番号を設定する。さらに、サブシーケンス（１）のカテゴリラベルは「左腕を上げる」、サブシーケンス（２）のカテゴリは「物体を渡す」、サブシーケンス（３）のカテゴリは「リラックス」である。分類部２３は、マッピング部２４によって生成されたテキスト情報を使用してこれらのカテゴリラベルを設定する。このように、分類システム２０はサブシーケンスのラベルを定義する。

次に、図９及び１０を参照して、分類システム２０がサブシーケンスを分類しない例を説明する。図９のグラフは図７のグラフと同じである。しかしながら、特徴点を見つける手がかりとなる情報が不足しているため、分類システム２０は偽点ｋ_Ａ’とｋ_Ｂ’を特徴点と誤判断している。その結果、サブシーケンス生成部２９はサブシーケンス（１）’、（２）’及び（３）’を生成する。フレーム番号０からｋ_Ａ’までのサブシーケンスをサブシーケンス（１）’、フレーム番号ｋ_Ａ’からｋ_Ｂ’までのサブシーケンスをサブシーケンス（２）’、フレーム番号ｋ_Ｂ’からｋ_ｃまでのサブシーケンスをサブシーケンス（３）’と設定する。

図１０は、サブシーケンス（１）’から（３）’に対応するカテゴリとカテゴリラベルの例を示す。分類部２３は、サブシーケンス（１）'と（３）'のカテゴリとカテゴリラベルを正しく決定できるが、サブシーケンス（２）'のカテゴリを決定できないため、サブシーケンス（２）'は分類部２３によって分類できない。この場合、テキスト推論は分類処理を支援し、この手段なしでは分類できない場合でも分類を可能にする。

図１１は、この状況での修正部２５によるフィードバック処理の概略図である。修正部２５は、指標を使用して分類結果を評価し、生成部２２にフィードバックを送信する。フィードバックは、特徴点の決定に関して、所定のアルゴリズムを修正する必要があることを指示する。フィードバックを受けて、生成部２２は、特徴点再評価アルゴリズムを使用し、再評価の結果として特徴点の決定を調整する。これにより、生成部２２は、図９に示すように、点ｋ_Ａ’と点ｋ_Ｂ’を元の点から移動させ、図７の正しい位置に点を設定する。

例えば、修正部２５は、特徴１と２のペアを含む特徴空間を処理し、データ点を異なる方法で複数のグループに分類してもよい。ただし、特徴空間は２次元に限定されないことに留意する必要がある。

図１２は、合理的な分類ソリューションの数の推移例を示す。分類部２３は、どのような分類ソリューションが合理的な分類ソリューションであるかを決定する。図１２の開始時点では、合理的な分類ソリューションの数は一つである。その数は、時間の経過とともに順番に２, ３, ２, １, ２, １となる。要約すると、数は一時的に複数になることもあるが、時間経過とともに１に収束する。分類後の処理を行うためには、分類の際にあいまいさを減らすべきであるため、分類部２３は、分類部２３で使用される分類ソリューションの数を１に制限することが望ましい。

人の動作を検出するため、関連技術では、人の動作のカテゴリの決定が行われることがある。しかしながら、（例えば、特定のタスクを実行する）人の動作を示すムービーのフレームを分析して得られた前処理データを利用して、自動的にカテゴリを決定することに取り組む場合、以下のような問題が生じることがある。

第１の問題は、最小限の情報を使用するか、または情報を全く使用しないことによって、サブシーケンスを記述する意味のあるカテゴリを導出することの問題である。カテゴリは、得られた分類が技術システムの全体的な目的に有用であることを意味する実用的な観点から意味をなすべきである。この問題は、サブシーケンスの正しい長さが正確に知られていても発生する。分類ソリューションの評価値を記述する有効な基準を確立する必要がある。

第２の問題は、カテゴリにマッピングできる有効なサブシーケンスを見つけ、時間の経過とともにサブシーケンスの決定を改善することの問題である。この問題は、情報がないか情報量が少ない場合、前処理されたデータのみを使用して単一のサブシーケンスの長さを導出することが困難であるために発生する。さらに、サブシーケンスを生成する指示がない。

第３の問題は、サブシーケンスやカテゴリの決定を改善するために、データベース、インターネットから得られる、または特にユーザによって提供される文書などのテキスト情報を使用することの問題である。

分類システム２０は、前述の問題を解決することができる。第１の問題は、分類部２３によって行われた分類を評価する指標を設定することによって解決される。関連技術では、入手できる関連情報の量が少なく、分類システムが（意図検出システムのような）さらなる処理システムへの入力を提供する場合、その影響が直接推定できない、すなわち、ある動作パターン分類システムで局所的な意図をどの程度良好に検出できるかに関して、評価には固有の困難さがある。しかしながら、指標の拡張セットの導入により、分類システム２０は、分類の特性を評価することができる。

さらに、分類の評価により、分類システム２０は、必要に応じて、所定のアルゴリズムを修正して、サブシーケンスの生成方法（候補点の選択方法）を変更することができる。つまり、得られた分類ソリューションの評価値に基づいて、例えば、強度信号の計算方法や特徴点の決定方法（例えばルールベースによる）を変更することによって、サブシーケンス長の計算が適合されてもよい。したがって、分類部２３による修正に応じて分類ソリューションが修正され、修正された分類ソリューションがＤＢに格納される。

第２の問題は、所定の適合性のあるアルゴリズムに基づいてサブシーケンスの関連する長さを決定するために、ある適合性が高い方法で強度信号を計算し、この信号の特徴点を導出することによって解決される。

第３の問題は、ＤＢとマッピング部２４を分類システム２０に導入することによって解決される。これらのユニットは、分類システム２０が適切な数とテキスト情報を使用してカテゴリとカテゴリラベルを生成することを可能にする。特に、マッピング部２４は、データベース及び／又はインターネットから人間の動作に関する情報を取得することによってマッピング情報を生成することができ、分類部２３は、マッピング情報を利用して分類の精度を向上させることができる。

カテゴリは、分類システム２０によって自動的に学習されることができ、新しい動作サブシーケンスが実行された場合でも、データの必要性が高くない状態で、新しい動作の新しいカテゴリが決定可能である。

上記で説明したように、分類システム２０は、分類部２３によって実行された分類の評価に基づいて、所定のアルゴリズムを修正することができる。したがって、分類システム２０は、サブシーケンスをより正確に分類することができる。

さらに、前処理部２１は未加工のビデオデータに含まれる情報を削減し、分類に関連する情報を含むビデオデータを生成することができる。これにより、分類に関連する処理を少ない処理時間で行うことができ、分類の精度を高めることができる。

さらに、修正部２５は、同一のカテゴリに属することがすでに知られている要素を、分類手段が同一のカテゴリの一部としてどの程度良く分類しているかを示す指標、定義された問題に対する既定のカテゴリ数からの偏差を示す指標、システムが全体的なタスクをどの程度達成しているかを示す指標のうち、少なくとも１つの指標を使用して分類を評価することができる。このため、分類システム２０は、実用的に分類を評価することができる。ここで、システムには分類装置が含まれている。

さらに、分類部２３は、サブシーケンス（部分ビデオデータ）を人間の動作の一種として分類することができる。その結果、分類システム２０は、人間の動作を検出するために使用することができる。

特に、生成部２２は、ビデオデータの強度信号を計算して、特定の時間領域を決定することができる。ここで、強度信号は人の動作を示す。人の動作の特徴を単純な強度信号として定義できるため、結果、生成部２２は、人の動作の特徴を容易に把握することができる。

さらに、分類部２３は、分類されたサブシーケンス（部分ビデオデータ）をテキストラベルに割り当てることができる。このため、分類システム２０のユーザは、分類結果を容易に認識することができる。

（実施の形態４）
本開示の実施の形態４を、図面を参照して以下に説明する。

図１３は、意図検出システム３０を示す。意図検出システム３０は、分類システム２０、人物対象分析部３１及び意図検出部３２のユニットを備える。要約すると、意図検出システム３０は、意図検出推論モジュールと結合されたシステムである。前処理部２１から修正部２５までのユニットの処理は、実施の形態３で説明したものと同じであるため、その説明は省略する。実施の形態２における認識部１５の一例には、人物対象分析部３１と意図検出部３２が対応する。

人物対象分析部３１は、前処理部２１が入力したビデオデータと、生成部２２が生成したサブシーケンスを分析し、サブシーケンス内のさまざまな種類の人間の部分を検出する。検出される人間の部分は、例えば、頭部、右腕または左腕、右足または左足などである。好ましくは、人物対象分析部３１は指示を示すジェスチャーに用いられる部分を検出できる。人物対象分析部３１は、検出結果を分類部２３に出力する。分類部２３は、検出結果を利用してサブシーケンスを分類し、分類の精度を向上させる。

意図検出部３２は、分類部２３からの分類結果を受信し、これを利用して、ビデオデータ内の人物の意図を検出する。本開示において、「意図」は、ある対象に対する作業を表すことができる。作業には、例えば、ある対象をつかむ作業、ある対象を置く作業などがある。意図検出システム３０が工場内に設置されている場合、意図検出部３２は、作業者の意図（例えば、「ある対象を掴みたいという気持ちを表す」、「注意を向けられたいという気持ちを表す」、「対象を置きたいという気持ちを表す」など。）を検出することができる。さらに、「意図」は、機械の動作の指示を表すこともできる。機械の動作は、例えば、移動、機械の一部の操作、またはこれらの操作の停止を含むことができる。意図検出部３２は、意図検出の結果を出力する。出力の例としては、分析対象のサブシーケンスに関する推定対象者の活動及び／又はジェスチャーがある。さらに、意図検出部３２は、人物の次の行動及び／又はジェスチャーを予測し、予測を出力してもよい。

この場合、意図検出部３２は、分類されたサブシーケンス（部分ビデオデータ）を使用して、人間の意図を検出することができる。これにより、意図検出システム３０は、産業分野及び／又は医療分野など、様々な分野における人間活動の支援システムに適用することができる。

（実施の形態５）
本開示の実施の形態５を、図面を参照して以下に説明する。この実施の形態は、意図検出システム３０の特定用途を説明する。

図１４は意図検出システム３０を含む機械を示す。具体的には、機械４０は意図検出システム３０、センサＳ、信号発生器４１及びオプティマイザコントローラ４２を備える。意図検出システム３０の処理は実施の形態４で説明したものと同じであるため、その説明を省略する。機械４０の一例はロボットである。

センサＳは未加工のビデオデータを取得し、意図検出システム３０内の前処理部２１にそれを入力する。例えば、センサＳはビデオセンサであってもよい。

信号発生器４１は、意図検出システム３０内の意図検出部３２の出力を受信し、意図検出部３２の出力も考慮して、機械４０の動作を制御する制御信号を生成する。例えば、信号発生器４１は、意図検出部３２が決定した作業に応じて機械４０の動作を決定し、決定した作業に応じて機械４０を制御することができる。信号発生器４１は、図１４に示すように、機械の他のセンサ及び／又は部分から他の入力信号を受信し、また、他の入力信号を考慮して制御信号を発生してもよい。信号発生器４１は、機械４０のコントローラとして機能する。例えば、機械が地上を移動できるのであれば、信号発生器４１は軌道プランナーとして機能し、計画された軌道とともに移動の制御信号を生成することができる。さらに、信号発生器４１は、機械４０の部分から信号を受信し、基準信号を生成してその部分を制御することができる。信号発生器４１は、生成した信号をオプティマイザコントローラ４２に出力する。オプティマイザコントローラ４２は、制御信号を受信し、オプティマイザとして制御信号を処理する。これが、機械４０がその動作を計画し、制御する方法である。

図１５は、ピッキングロボットである機械４０の特定用途を示す。ピッキングロボットＲは、意図検出システム３０をその内部に備え、また、吸い込み機構ＡＭ及び収納スペースを備える。吸い込み機構ＡＭは品物を吸い込み、吸い込まれた品物はピッキングロボットＲの内部制御に対応した収納スペースに収納される。

図１６Ａ及び１６Ｂは人間のジェスチャーで指示されたピッキングロボットＲの処理例を示す。図１６Ａ及び１６Ｂは、倉庫又は工場で作業者ＷがピッキングロボットＲに指示及び命令を出したい状況を示している。ピッキングロボットＲは作業者Ｗをモニターし、ビデオデータを取得して作業者のジェスチャーを認識することができる。実施の形態３及び４で説明した処理を経て、ピッキングロボットＲは作業者のジェスチャーを分類し、その分類に基づいて作業者の意図を検出する。意図の検出結果を利用して、ピッキングロボットＲは所望の作業を行うことができる。ピッキングロボットＲは、検出された作業者Ｗのジェスチャー（すなわち指示）と、ピッキングロボットＲが行う作業との対応関係を記憶してもよい。ジェスチャーを検出して、ピッキングロボットＲは、記憶された対応関係に基づく所望の作業を行ってもよい。

例えば、図１６Ａでは、作業者Ｗが右腕を棚Ｓに向かって伸ばしている。また、図１６Ａは、棚Ｓに多くの異なる商品があることを示している。作業者Ｗのジェスチャー前では、ピッキングロボットＲは棚Ｓの商品を回収する作業をしない。しかしながら、作業者Ｗがジェスチャーを行うと、ピッキングロボットＲは作業者Ｗのこのジェスチャーを分類し、このジェスチャーが棚Ｓの商品を吸い込む処理に該当すると決定する。そして、ピッキングロボットＲの信号発生器４１が制御信号を生成してピッキングロボットＲを棚Ｓの近くの位置に移動させ、吸い込み機構ＡＭに棚Ｓの商品を吸い込ませて回収する。

もう一つの例として、図１６Ｂでは、作業者Ｗが左腕を図１６Ｂの右側から左側に動かしている。ピッキングロボットＲは、作業者Ｗのこのジェスチャーを分類し、このジェスチャーが作業を停止して棚Ｓから離れる処理に該当すると決定する。そして、ピッキングロボットＲ内の信号発生器４１がこれらの動作を行うための制御信号を生成する。

関連技術では、人にマーカーを取り付けるのが煩わしい場合があっても、機械への指示にマーカーがしばしば必要となる。しかしながら、本開示は様々な機械に適用可能な高度な機械学習システムを開示し、「マーカーなしのソリューション」を提供することができる。したがって、マーカーを人に取り付ける負担を回避することができる。

また、信号発生器４１（コントローラ）は、意図検出部３２によって検出された人間の意図に基づいて機械４０の動作を制御する。そのため、機械４０は作業者の作業を支援することができる。

なお、本発明は、上記の実施形態に限定されるものではなく、本発明の精神を逸脱することなく、適宜変更されてもよい。例えば、修正部２５の代わりに、分類システム２０内の別のユニット、または分類システム２０外部の装置が、分類部２３によって行われた分類を評価してもよい。

異なる人間の動作は、それらの動作の時間が重なり合ってなされ得るため、生成される複数の部分ビデオデータ（またはサブシーケンス）は、実施の形態１及び２において、時間に関して互いに重なっていてもよい。

図８Ａは、人物Ｐの「左腕を上げる」、「物体を渡す」及び「リラックスする」の例を示す。しかしながら、人間の動作の例はこれらに限らないことは言うまでもない。例えば、「物体の近くで左腕を上げる」、「右腕を上げる」、「人差し指で指す」、「手で特別なジェスチャーをする」などが検出対象となる人間の動作であってもよい。

本開示は、データフレームの主要な情報が、空間内で位置が変化する２又は３次元空間内の、何らかの形で関連する特定の少数の点に要約され、これらの点の画像が特定の時間ステップで与えられる用途に適用されることができる。

本開示は、規則的または不規則にサンプリングされたムービーフレームのシーケンスから計算される点データから得られる動作パターンを分類することができる、様々な目的のための分類システム、方法およびプログラムに関する。この技術システムは、行為をする人の動作パターンを決定し、それに応じて動作パターンを分類するのに役立つ。これは、正しく分類され、ラベル付けされた動作サブシーケンスが、例えば人間への支援の計画など、さらなる処理のために重要な役割を果たす意図検出システムに適用されてもよい。具体的には、工場、ショッピングモール、倉庫、食堂のキッチン、又は建設現場など、さまざまな状況で使用することができる。さらに、スポーツに関する活動又は他の活動における人間の動作を分析するために使用することができる。また、非常に一般的な動的パターンの特徴付けにも適用できる。ただし、本開示の用途は、必ずしもこの分野に限定されない。

次に、上記の複数の実施形態で説明された装置のハード構成例について、図１７を参照して以下で説明する。

図１７は、情報処理装置の構成例を示すブロック図である。情報処理装置９０は、図１７に示すように、ネットワークインターフェース９１、プロセッサ９２及びメモリ９３を備える。ネットワークインターフェース９１は、無線通信によって他の機器とデータを送受信することができる。

プロセッサ９２は、上記の実施形態のシーケンス図やフローチャートを参照して説明した情報処理装置９０が行う処理を、メモリ９３からソフトウェア（コンピュータプログラム）をロードして実行することによって実行する。プロセッサ９２は、例えば、マイクロプロセッサ、ＭＰＵ（Micro Processing Unit）、又はＣＰＵ（Central Processing Unit）であってもよい。プロセッサ９２は、複数のプロセッサを含んでもよい。

メモリ９３は、揮発性メモリと不揮発性メモリの組み合わせによって構成される。メモリ９３は、プロセッサ９２から離間して配置されたストレージを含んでもよい。この場合、プロセッサ９２はＩ／Ｏインターフェース（不図示）を介してメモリ９３にアクセスしてもよい。

図１７に示された例では、ソフトウェアモジュール群を格納するためにメモリ９３が使用されている。プロセッサ９２は、メモリ９３からソフトウェアモジュール群を読み込み、読み込んだソフトウェアモジュールを実行することで、上記の実施形態で説明した情報処理装置が行う処理を行うことができる。

図１７を参照して上記で説明したように、上記の実施形態の情報処理装置に含まれる各プロセッサは、命令群を含む１または複数のプログラムを実行して、図面を参照して上記で説明したアルゴリズムをコンピュータに実行させる。

さらに、情報処理装置９０は、ネットワークインターフェースを備えてもよい。ネットワークインターフェースは、通信システムを構成する他のネットワークノード装置との通信に使用される。ネットワークインターフェースは、例えば、ＩＥＥＥ ８０２．３シリーズに準拠したネットワークインターフェースカード（ＮＩＣ）を含んでもよい。情報処理装置９０は、ネットワークインターフェースを使用して、入力特徴マップを受信、又は、出力特徴マップを送信してもよい。

上記の例では、プログラムが格納され、任意の種類の非一時的なコンピュータ可読媒体を使用してコンピュータに提供されることができる。非一時的なコンピュータ可読媒体には、任意の種類の有形記憶媒体が含まれる。非一時的なコンピュータ可読媒体の例としては、磁気記憶媒体（例えば、フロッピーディスク、磁気テープ、ハードディスクドライブなど。）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（compact disc read only memory）、ＣＤ－Ｒ（compact disc recordable）、ＣＤ－Ｒ／Ｗ（compact disc rewritable）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory）など）がある。プログラムは、任意の種類の一時的なコンピュータ可読媒体を使用してコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例としては、電気信号、光信号、電磁波がある。一時的なコンピュータ可読媒体は、有線通信回線（例えば、電線、光ファイバー）または無線通信回線を介してコンピュータにプログラムを提供することができる。

上記の実施形態の一部または全部を以下の付記のように記述することができるが、本開示はそれに限定されない。
（付記１）
所定のアルゴリズムに基づいてビデオデータの特定の時間領域を決定し、前記特定の時間領域において前記ビデオデータが抽出された部分ビデオデータを生成する生成手段と、
前記生成手段によって生成された前記部分ビデオデータを分類する分類手段と、
前記分類手段によって実行された分類の評価に基づいて、前記所定のアルゴリズムを修正する修正手段と、
を備える分類装置。
（付記２）
未加工のデータに含まれる情報を削減し、前記分類に関連する情報を含む前記ビデオデータを生成する前処理手段をさらに備える、
付記１に記載の分類装置。
（付記３）
前記修正手段は、同一のカテゴリに属することがすでに知られている要素を、前記分類手段が前記同一のカテゴリの一部としてどの程度良く分類しているかを示す指標、定義された問題に対する既定のカテゴリ数からの偏差を示す指標、及び、前記分類装置を含むシステムが全体的なタスクをどの程度達成しているかを示す指標のうち、少なくとも１つの指標を使用して前記分類を評価する、
付記１又は２に記載の分類装置。
（付記４）
前記分類手段は、前記部分ビデオデータを人間の動作の一種として分類する、
付記１から３のいずれか１項に記載の分類装置。
（付記５）
前記生成手段は、前記ビデオデータの強度信号を計算して前記特定の時間領域を決定し、前記強度信号は人の動作を示す、
付記４に記載の分類装置。
（付記６）
前記分類手段は、分類された前記部分ビデオデータをテキストラベルに割り当てる、
付記４または５に記載の分類装置。
（付記７）
分類された前記部分ビデオデータを用いて人間の意図を検出する意図検出手段をさらに備える、
付記４から６のいずれか１項に記載の分類装置。
（付記８）
前記意図検出手段によって検出された人間の意図に基づいて機械の動作を制御するコントローラをさらに備える、
付記７に記載の分類装置。
（付記９）
作業を含むビデオデータを認識し、それによって前記作業を決定する認識手段と、
決定された前記作業に応じて機械の動作を決定し、前記決定された作業に従って前記機械を制御するコントローラと、
を備える制御装置。
（付記１０）
前記ビデオデータを分類し、分類された前記ビデオデータを前記認識手段に入力する分類手段をさらに備える、
付記９に記載の制御装置。
（付記１１）
所定のアルゴリズムに基づいてビデオデータの特定の時間領域を決定し、前記特定の時間領域において前記ビデオデータが抽出された部分ビデオデータを生成する生成手段と、
前記分類手段によって実行された分類の評価に基づいて、前記所定のアルゴリズムを修正する修正手段と、をさらに備え、
前記部分ビデオデータは前記認識手段によって認識される、
付記１０に記載の制御装置。
（付記１２）
前記修正手段は、同一のカテゴリに属することがすでに知られている要素を、前記分類手段が前記同一のカテゴリの一部としてどの程度良く分類しているかを示す指標、定義された問題に対する既定のカテゴリ数からの偏差を示す指標、及び、前記分類装置を含むシステムが全体的なタスクをどの程度達成しているかを示す指標のうち、少なくとも１つの指標を使用して前記分類を評価する、
付記１１に記載の制御装置。
（付記１３）
前記分類手段は、前記ビデオデータを人間の動作の一種として分類する、
付記１０から１２のいずれか１項に記載の制御装置。
（付記１４）
所定のアルゴリズムに基づいてビデオデータの特定の時間領域を決定し、前記特定の時間領域において前記ビデオデータが抽出された部分ビデオデータを生成することと、
前記部分ビデオデータを分類することと、
分類の評価に基づいて、前記所定のアルゴリズムを修正することと、
を含む分類方法。
（付記１５）
作業を含むビデオデータを認識し、それによって前記作業を決定することと、
決定された前記作業に応じて機械の動作を決定し、前記決定された作業に従って前記機械を制御することと、
を含む制御方法。
（付記１６）
所定のアルゴリズムに基づいてビデオデータの特定の時間領域を決定し、前記特定の時間領域において前記ビデオデータが抽出された部分ビデオデータを生成することと、
前記部分ビデオデータを分類することと、
分類の評価に基づいて、前記所定のアルゴリズムを修正することと、
をコンピュータに実行させるプログラムを格納する非一時的なコンピュータ可読媒体。
（付記１７）
作業を含むビデオデータを認識し、それによって前記作業を決定することと、
決定された前記作業に応じて機械の動作を決定し、前記決定された作業に従って前記機械を制御することと、
をコンピュータに実行させるプログラムを格納する非一時的なコンピュータ可読媒体。

広く説明された本開示の精神または範囲から逸脱することなく、特定の実施形態に示されているように、本開示には多くのバリエーション及び／又は変更を加えてもよいことは、当業者には理解されるであろう。したがって、本実施形態は、すべての点で例示的であり、制限的ではないとみなされる。

１０ 分類装置
１１ 生成部
１２ 分類部
１３ 修正部
１４ 制御装置
１５ 認識部
１６ コントローラ
２０ 分類システム
２１ 前処理部
２２ 生成部
２３ 分類部
２４ マッピング部
２５ 修正部
２６ 計算部
２７ 信号分析部
２８ 決定部
２９ サブシーケンス生成部
３０ 意図検出システム
３１ 人物対象分析部
３２ 意図検出部
４０ 機械
４１ 信号発生器
４２ オプティマイザコントローラ

Claims (8)

1. 所定のアルゴリズムに基づいてビデオデータの特定の時間領域を決定し、前記特定の時間領域において前記ビデオデータが抽出された部分ビデオデータを生成する生成手段と、
   前記生成手段によって生成された前記部分ビデオデータを所定のカテゴリに分類する分類手段と、
   前記分類手段によって実行された分類の評価に基づいて、前記所定のカテゴリが適切でないと判断した場合に、前記生成手段に対し、前記所定のアルゴリズムのうち前記所定のカテゴリに対応する部分を修正させる修正手段と、
   を備える分類装置。
2. 前記生成手段は、前記所定のアルゴリズムを用いて、前記ビデオデータの強度信号を計算し、前記強度信号を分析することで特徴点を決定し、前記特徴点を用いて前記部分ビデオデータを生成し、
   前記修正手段は、前記所定のカテゴリに対応する部分として、前記強度信号を計算する方法を変更させる、
   請求項１に記載の分類装置。
3. 前記生成手段は、前記所定のアルゴリズムを用いて、前記ビデオデータの強度信号を計算し、前記強度信号を分析することで特徴点を決定し、前記特徴点を用いて前記部分ビデオデータを生成し、
   前記修正手段は、前記所定のカテゴリに対応する部分として、前記特徴点を決定する方法を変更させる、
   請求項１に記載の分類装置。
4. 未加工のデータに含まれる情報を削減し、前記分類に関連する情報を含む前記ビデオデータを生成する前処理手段をさらに備える、
   請求項１から３のいずれか１項に記載の分類装置。
5. 前記修正手段は、同一のカテゴリに属することがすでに知られている要素を、前記分類手段が前記同一のカテゴリの一部としてどの程度良く分類しているかを示す指標、定義された問題に対する既定のカテゴリ数からの偏差を示す指標、及び、前記分類装置を含むシステムが全体的なタスクをどの程度達成しているかを示す指標のうち、少なくとも１つの指標を使用して前記分類を評価する、
   請求項１から４のいずれか１項に記載の分類装置。
6. 前記分類手段は、前記部分ビデオデータを人間の動作の一種として分類する、
   請求項１から５のいずれか１項に記載の分類装置。
7. 所定のアルゴリズムに基づいてビデオデータの特定の時間領域を決定し、前記特定の時間領域において前記ビデオデータが抽出された部分ビデオデータを生成することと、
   前記部分ビデオデータを所定のカテゴリに分類することと、
   分類の評価に基づいて、前記所定のカテゴリが適切でないと判断した場合に、前記所定のアルゴリズムのうち前記所定のカテゴリに対応する部分を修正することと、
   を含む分類方法。
8. 所定のアルゴリズムに基づいてビデオデータの特定の時間領域を決定し、前記特定の時間領域において前記ビデオデータが抽出された部分ビデオデータを生成することと、
   前記部分ビデオデータを所定のカテゴリに分類することと、
   分類の評価に基づいて、前記所定のカテゴリが適切でないと判断した場合に、前記所定のアルゴリズムのうち前記所定のカテゴリに対応する部分を修正することと、
   をコンピュータに実行させるプログラム。

Images