JP6631594B2 - 情報処理装置、情報処理装置の制御方法、プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理装置の制御方法、プログラムに関し、撮像手段で撮像することにより得られる画像データに含まれる被験者の認識を一時的に失敗したとしても、再度認識したときに前記被験者を特定することが可能な仕組みに関する。

単方向から撮影した映像等の情報をもとに、人物の動きをデジタル的に記録するモーションキャプチャ技術がある。

モーションキャプチャ技術の方式の一つとして、赤外線センサーやステレオカメラを利用して、装置から対象の人物までの距離を測定し、測定した値をもとに、対象人物の動きを立体的に記録する方式がある。また、特殊な装置を用いずに、通常の映像に対して画像解析を行うことで、対象人物の各部位の動きを平面的に記録する方式がある。

この技術では、認識した人物が映像の中でどこにいるかという位置情報なども取得することができる。また、撮影範囲内にいる複数の人物の認識を行うとともに追跡も行い、継続して認識できている場合には同一人物であると判別することもできる。

近年では、このような技術を用いて、介護やリハビリテーションにおける効果測定も行われている。

例えば、特許文献１には、リハビリテーションの現場において、モーションキャプチャ技術を用いた仕組みについて開示されている。また、その中で対象者と介助者を区別する仕組みについて開示されている。

特開２０１５−０６１５７７号公報

単方向から撮影した映像等の情報から人物の認識を行う場合、複数の人物と撮影装置がほぼ一直線上に並んだ状況では、装置から遠い方の人物が映像等の情報の中でかげに隠れてしまい、正確に認識することが困難となる場合がある。

また、人体の認識技術は完全ではないため、かげに隠れていない場合でも、人物の向きや姿勢等の理由で認識に失敗してしまうことがありうる。

このような条件下において、任意の人物を対象として、認識した結果から得られる情報を用いて何らかの処理を行いたい時に、対象の人物の認識に失敗してしまった場合、追跡が正しく行われず、処理を行った結果が期待と異なるという課題がある。

特に、背景で挙げた介護やリハビリテーションにおける効果測定では、対象である被験者のすぐそばに介助や測定作業を行う人物がいる場合があり、被験者の認識に失敗してしまう可能性が高まる。

また、認識に失敗するたびに手動で対象を再設定するのでは多くの手間がかかるが、自動で再設定する場合、誤って異なる人物を対象としてしまうと、効果の測定が正しく行えないという課題がある。

そのため、対象の人物の認識に失敗してしまった場合でも、異なる人物を対象とすることなく、対象の人物を再度認識した際に、自動的に対象に再設定し、処理を継続できることが望まれる。

先の特許文献１では、動作内容などを用いて対象者と介助者を区別しているが、連続して認識できていることが前提としてあるため、特許文献１に記載の技術を用いたとしても依然として上述した課題が発生する恐れがあった。

本発明は、撮像手段で撮像することにより得られる画像データに含まれる被験者の認識を一時的に失敗したとしても、再度認識したときに前記被験者を特定することが可能な仕組みを提供することを目的とする。

本発明は、撮像手段で撮像することで順次得られる画像データに含まれる人物の関節の座標情報を取得する取得手段と、前記取得手段で座標情報を取得した人物の中から被験者を特定する第１の被験者特定手段と、前記取得手段で座標情報を取得した人物の中から被験者と隣接する人物を特定する隣接人物特定手段と、前記被験者特定手段で被験者として特定した人物の座標情報が取得できないことを条件に、前記隣接人物特定手段により特定された前記被験者と隣接する人物から所定の範囲内にいる人物を前記被験者として特定する第２の被験者特定手段とを備えることを特徴とする。

また、本発明は、撮像手段で撮像することで順次得られる画像データに含まれる人物の関節の座標情報を取得する取得手段を備える情報処理装置の制御方法であって、前記情報処理装置の第１の被験者特定手段が、前記取得手段で座標情報を取得した人物の中から被験者を特定する第１の被験者特定工程と、前記情報処理装置の隣接人物特定手段が、前記取得手段で座標情報を取得した人物の中から被験者と隣接する人物を特定する隣接人物特定工程と、前記情報処理装置の第２の被験者特定手段が、前記被験者特定工程で被験者として特定した人物の座標情報が取得できないことを条件に、前記隣接人物特定手段により特定された前記被験者と隣接する人物から所定の範囲内にいる人物を前記被験者として特定する第２の被験者特定工程とを備えることを特徴とする。

また、本発明は、撮像手段で撮像することで順次得られる画像データに含まれる人物の関節の座標情報を取得する取得手段を備える情報処理装置で読み取り実行可能なプログラムであって、前記情報処理装置を、前記取得手段で座標情報を取得した人物の中から被験者を特定する第１の被験者特定手段と、前記取得手段で座標情報を取得した人物の中から被験者と隣接する人物を特定する隣接人物特定手段と、前記被験者特定手段で被験者として特定した人物の座標情報が取得できないことを条件に、前記隣接人物特定手段により特定された前記被験者と隣接する人物から所定の範囲内にいる人物を前記被験者として特定する第２の被験者特定手段として機能させることを特徴とする。

本発明によれば、撮像手段で撮像することにより得られる画像データに含まれる被験者の認識を一時的に失敗したとしても、再度認識したときに前記被験者を特定することが可能となる。

また、本発明では、一般的に処理の負荷が高いことが多い技術を新たに追加することなく、それまでも取得していたモーション情報のみを用いた、負荷が低い処理を行うため、撮影を行いながら同時に処理する場合でも、負荷の増大を抑えながら前記の効果を達成できる。

本発明の実施形態における、情報処理装置１０１の機能構成の一例を示す図である。 本発明の実施形態における、情報処理装置１０１のハードウェア構成の一例を示す図である。 本発明の実施形態における、全体の流れの一例を示すフローチャートである。 本発明の実施形態における、認識できなくなった原因である介助者を検出する処理の一例を示すフローチャートである。 本発明の実施形態における、被験者を検出する処理の一例を示すフローチャートである。 本発明の実施形態における、対象とする状況の一例を示す図である。 本発明の実施形態における、対象とする状況の一例を示す図である。 本発明の実施形態における、対象とする状況の一例を示す図である。 本発明の実施形態における、人物情報一覧のテーブルの一例を示す図である。 本発明の実施形態における、モーション情報取得部１５１により取得された被験者の様子を示す図である。 本発明の実施形態における、各関節の座標情報の一例を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、情報処理装置１０１の機能構成の一例を示した図である。

モーション情報取得部１５１は、介護やリハビリが行われる空間における人物（本発明においては、被験者（介護やリハビリを受ける者））の動きを検知し、被験者のモーション情報を取得する。なお、他の実施形態として、モーション情報の取得対象は動物であっても良い。

具体的には、モーション情報取得部１５１は、Ｋｉｎｅｃｔ（登録商標）として知られるセンサー群であり、ＲＧＢカメラ、深度センサー、音声センサーなどが内蔵され、被写体（本発明においては、被験者（介護やリハビリを受ける者））の位置、動き、声、顔などを認識することができる。

深度センサーは、赤外線を利用して被験者までの距離を測定する方式を用いるものとする。この方式によれば、被験者にマーカ等を付けることなくセンサーから被験者までの距離を測定することが可能である。

モーション情報取得部１５１で取得された各データは、動画データとして記憶部に記憶される。

モーション情報取得部１５１の各センサーにより取得されたモーション情報は、モーション情報解析部１５２に送信され、データ解析が行われる。

モーション情報解析部１５２では、モーション情報取得部１５１により取得された各データを解析し、被験者の動作を座標情報に変換する。

図１０の１００１は、モーション情報取得部１５１により取得された被験者の様子を示している。モーション情報取得部１５１は、被験者の動きを検知し、予め記憶された人体パターンとマッチングすることで、被験者の人体表面の座標を得る。そして、当該被験者の骨格を形成する各関節の座標を算出し、算出された座標情報に基づき、被験者の骨格を形成する。また、図１０の１００２は、各関節の座標情報から形成された被験者の骨格情報の一例である。各関節の座標情報の一例を図１１に示す。

このようにして各関節の座標情報を算出し、各関節の座標の変化を検出することで、被験者が足を上げたり、膝を曲げたりする動作を認識することが可能となる。

測定部１５３は、モーション情報解析部１５２により解析されたモーション情報と、各種目（「開眼片足立ち」、「椅子立ち座り」、「通常歩行」、「最大１歩」、「ＴＵＧ（ＴｉｍｅｄＵｐ＆Ｇｏ）」等）に応じた設定に基づき、当該種目における測定を行う。

図２は、本発明の実施形態に係わる情報処理装置１０１のハードウェア構成の一例を示すブロック図である。

図２に示すように、情報処理装置１０１では、システムバス２００を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、記憶装置２０４、入力コントローラ２０５、音声入力コントローラ２０６、ビデオコントローラ２０７、メモリコントローラ２０８、よび通信Ｉ／Ｆコントローラ２０９が接続される。

ＣＰＵ２０１は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。

ＲＯＭ２０２あるいは記憶装置２０４は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは記憶装置２０４からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

入力コントローラ２０５は、入力装置２１０からの入力を制御する。入力装置２１０としては、キーボード、タッチパネル、マウス等のポインティングデバイス等が挙げられる。

なお、入力装置２１０がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

音声入力コントローラ２０６は、マイク／スピーカ２１１がマイク機能として動作する場合、マイク／スピーカ２１１からの音声入力を制御し、マイク／スピーカ２１１から入力された音声を認識することが可能となっている。また、音声入力コントローラ２０６は、マイク／スピーカ２１１がスピーカ機能として動作する場合、マイク／スピーカ２１１への音声出力を制御し、マイク／スピーカ２１１に対し音声を出力することが可能となっている。

ビデオコントローラ２０７は、ディスプレイ２１２などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置２１０を提供する。

なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

本発明では、ユーザが情報処理装置を通常使用する場合の表示に用いられる第１のビデオメモリ領域と、所定の画面が表示される場合に、第１のビデオメモリ領域の表示内容に重ねての表示に用いられる第２のビデオメモリ領域を有している。ビデオメモリ領域は２つに限ったものではなく、情報処理装置の資源が許す限り複数有することが可能なものとする。

メモリコントローラ２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

通信Ｉ／Ｆコントローラ２０９は、ネットワーク２１４を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。

なお、記憶装置２０４は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの媒体であってもよい。

また本実施形態における通信端末で行われる各種処理時の一時的なメモリエリアとしても利用可能である。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１２上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１２上の不図示のマウスカーソル等でのユーザ指示を可能とする。

次に、図３〜図５を用いて、本発明の実施形態における処理について説明する。

図３のフローチャートは、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理であり、測定部１５３における本発明の全体の流れのフローチャートである。

ステップＳ３０１において、情報処理装置１０１は、モーション情報取得部１５１（本発明における、撮像手段）による撮影を開始する。

ステップＳ３０２において、情報処理装置１０１は、モーション情報取得部１５１で取得した情報をもとにモーション情報解析部１５２が認識した人物の情報の一覧（図９の認識人物一覧テーブル９００）を取得する。ここで言う人物の情報とは、少なくとも、人物を一意に識別するためのＩＤ情報とその人物の位置情報を含むものとする。

ステップＳ３０２は、本発明における撮像手段で撮像することで順次得られる画像データに含まれる人物の関節の座標情報を取得する取得手段の一例である。

図９の認識人物一覧テーブル９００は、モーション情報取得部１５１で取得した情報をもとにモーション情報解析部１５２が認識した人物の一覧を記憶するテーブルであり、人物ＩＤ９０１、人物位置情報９０２およびその他の情報からなる。人物ＩＤ９０１は、認識した人物を一意に識別するためのＩＤ情報が登録される。人物位置情報９０２は、認識した人物の位置情報が登録される。この位置情報は、二次元座標位置でも三次元座標位置でも良く、映像内の位置でもモーション情報取得部１５１との相対位置でもＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報のような現実空間での位置でも良い。

ステップＳ３０３において、情報処理装置１０１は、対象の人物（本発明においては、被験者）を登録しているかどうかを判断する。ステップＳ３０３でＹＥＳだった場合、ステップＳ３０４へ移行し、ステップＳ３０３でＮＯだった場合、ステップＳ３０７へ移行する。なお、ステップＳ３０４でＮＯと判定された後に、ステップＳ３１１からステップＳ３０２に処理が戻されてステップＳ３０３の処理がなされる場合、ステップＳ３０４でＮＯと判定されたことで、一旦被験者の登録が解除されているため、ステップＳ３０３でＮＯと判定される。

被験者の登録は、測定の開始時に情報処理装置１０１上に、ステップＳ３０２で取得した人物の情報の一覧を表示し、いずれの人物を被験者として登録するかの選択をユーザから受け付ける方法や、最も情報処理装置に近いユーザを被験者として登録する方法が挙げられ、被験者の登録は、ステップＳ３０３の処理の実行前に行われる（本発明における前記取得手段で座標情報を取得した人物の中から被験者を特定する第１の被験者特定手段）。なお、被験者の登録がされることを条件に被験者の測定が開始され、ステップＳ３１１でＮＯと判定されるまで測定が行われるものとする。

また、ステップＳ３０２で取得した人物の情報の一覧に含まれる人物のうち、被験者登録時に被験者として登録されなかった人物は、除外人物の一覧（不図示）に登録する。除外人物の一覧には、除外された人物の人物ＩＤ９０１が登録される。

ステップＳ３０４において、情報処理装置１０１は、登録している被験者が、ステップＳ３０２で取得した認識人物一覧テーブル９００に含まれているかを判断する。ステップＳ３０４でＹＥＳだった場合、ステップＳ３０５へ移行し、ステップＳ３０４でＮＯだった場合、ステップＳ３０６に移行する。

介助者が被験者に重なる等の理由により被験者を認識できなくなった場合には、ステップＳ３０４でＮＯと判定される。

ステップＳ３０５において、情報処理装置１０１は、登録している被験者の認識結果から位置情報を取得し、当該被験者の人物ＩＤ９０１に対応する人物位置情報９０２を更新する。これは、被験者を認識できなくなった時には、当然のことながら位置情報が取得できないため、人物位置情報９０２を随時更新しておくことで、認識できなくなった直前の被験者の位置情報を利用するためである。

ステップＳ３０６において、情報処理装置１０１は、認識できなくなった被験者の人物位置情報９０２と、認識人物一覧テーブル９００から、被験者が認識できなくなった原因である可能性のある人物の検出を行う。なお、この人物について本発明においては、最も想定されるケースをもとに介助者と表記するが、実際に介助を目的とする人物である必要はなく、少なくとも被験者を認識できなくなった時に被験者の近くにいた人物であれば良い。ステップＳ３０６の処理の詳細は、図４を用いて説明する。

なお、本実施形態では、ステップＳ３０６の介助者検出処理をステップＳ３０４の後に行うとしたが、他の実施形態として、ステップＳ３０４の前に介助者検出処理を行っても良い。

ステップＳ３０７において、情報処理装置１０１は、人物ＩＤ９０１をもとに、認識人物一覧テーブル９００から全ての除外人物（被験者ではないことが既知である人物）を除外する。被験者でないことが既知である人物とは、例えば、被験者登録時に認識されていた人物であって、被験者として登録されなかった人物のことである。

ステップＳ３０８において、情報処理装置１０１は、ステップＳ３０７で全ての除外人物を除外した認識人物一覧テーブル９００の件数を確認して、一覧が空になっているのかを判定する。ステップＳ３０８がＹＥＳだった場合、ステップＳ３１１へ移行し、ステップＳ３０８でＮＯだった場合、ステップ３０９へ移行する。ステップＳ３０８でＹＥＳと判定される場合とは、被験者が撮影範囲外にいる場合等である。また、ステップＳ３０８でＮＯと判定された場合に認識人物一覧テーブル９００に残っている人物とは、ステップＳ３０４で一旦認識ができなくなった後にステップＳ３０２で再度認識された被験者（後述する図８における人物６０１）や、測定中にモーション情報取得部１５１の撮影範囲内に入ってきた新たな人物（後述する図８の人物６０３）等である。

ステップＳ３０９において、情報処理装置１０１は、認識人物一覧テーブル９００から被験者を検出し、登録を行う。ステップＳ３０９の処理の詳細については、後述する図５で説明する。

ステップＳ３１０において、情報処理装置１０１は、認識人物一覧テーブル９００と、登録している被験者から、除外人物の一覧を更新する。ステップＳ３０９で被験者を検出した場合には、検出した被験者以外を除外人物の一覧に登録する。

ステップＳ３１１において、情報処理装置１０１は、モーション情報取得部１５１による撮影を継続するかどうかを判断する。通常、ユーザが明示的に操作を行わない場合には撮影を継続し、ステップＳ３０２へ戻る。ステップＳ３１１がＮＯとなるのは、ユーザがプログラムを終了する、プログラムのモードを切り替えるなどの操作を行った時で、その場合にはこのフローチャートを終了する。

次に、図４を用いて、図３のステップＳ３０６の詳細を説明する。図４のフローチャートは、介助者の検出を行うフローチャートである。

介助者の検出において、情報処理装置１０１は、モーション情報解析部１５２で認識した人物の一覧（認識人物一覧テーブル９００）に含まれる全員に対して検査を行う。

ステップＳ４０１において、情報処理装置１０１は、被験者以外の認識人物の人物位置情報９０２と、被験者の認識できなくなった直前の人物位置情報９０２から、その二人の距離を確認する。距離の確認には、人物位置情報９０２からＸ軸の値を用いる。これは、一般的にモーション情報取得部１５１の映像の縦横比は横長であることが多く、人物のシルエットは縦長であるため、Ｘ軸の値さえ離れていれば、モーション情報取得部１５１およびモーション情報解析部１５２で人物を個別に認識できる場合が多いためである。ただし、モーション情報取得部１５１の仕様や、対象の動作の性質によっては、Ｙ軸やＺ軸の値で確認しても良いし、組み合わせて確認しても良い。

ステップＳ４０２において、情報処理装置１０１は、確認した距離が一定範囲内に収まるかどうかを判定する。このステップＳ４０２でＮＯだった場合には、この認識人物の検査を終了し、次の認識人物の検査へ移行し、ステップＳ４０２でＹＥＳだった場合、ステップＳ４０３へ移行する。

ステップＳ４０３において、情報処理装置１０１は、介助者の候補が既に登録されているか、登録されているならば、検査中の認識人物のほうが、既に介助者の候補として登録されている人物よりも認識にできなくなった直前の被験者の位置に近いかを判定する。

ステップ４０３でＹＥＳだった場合、検査中の人物を介助者の候補リスト（不図示）に登録し、人物ＩＤと人物位置情報９０２を記憶する。

認識した人物一覧に登録されている全員の検査を終えたら、ループを抜け、ステップＳ４０５へ移行する。

ステップＳ４０５において、情報処理装置１０１は、介助者の候補が挙げられたかどうかを判断し、挙げられたならばステップＳ４０６で、介助者の候補として挙げられた人物を介助者として登録する。ステップＳ４０６は、本発明における前記取得手段で座標情報を取得した人物の中から被験者と隣接する人物を特定する隣接人物特定手段の一例である。

ステップＳ４０７において、情報処理装置１０１は、被験者情報および介助者候補情報を削除する。

以下、図５を用いて、ステップＳ３０９の詳細を説明する。

図５のフローチャートは、被験者の検出を行うフローチャートである。

ステップＳ５０１において、情報処理装置１０１は、ステップＳ４０６で介助者が登録されているかを判定する。ステップＳ５０１でＹＥＳだった場合、ステップ５０２へ移行し、ステップ５０１でＮＯだった場合、図３のステップＳ３０７の除外人物一覧の全ての人物の中から被験者を登録するため、ステップ５０４へ移行する。

ステップＳ５０２において、情報処理装置１０１は、認識人物一覧テーブル９００の各人物と、介助者との距離をそれぞれ確認する。この距離の確認には、ステップＳ４０１と同様の方法で行う。

ステップＳ５０３において、情報処理装置１０１は、ステップＳ５０２で確認した距離が一定範囲内である認識人物がいるかどうかを判断する。

ステップＳ５０３でＮＯだった場合、被験者は登録せず、フローチャートを終了し、ステップＳ５０３でＹＥＳだった場合、一定範囲内にいる人物の中から被験者を登録するため、ステップＳ５０４へ移行する。

ステップＳ５０４において、情報処理装置１０１は、ステップＳ５０３の判定結果または図３のステップＳ３０７の判定結果の人物一覧の中から、ユーザが情報処理装置１０１のディスプレイ２１２上で被験者を選択することで、被験者の登録を行う。図３のステップＳ３０７の判定結果の人物一覧の中から、ユーザが情報処理装置１０１のディスプレイ２１２上で被験者を選択する場合とは、例えば、ステップＳ５０３でＮＯと判定された場合である。

なお、人物が複数該当する場合、特許文献１のように解析した動きを用いても良いし、異なる装置から得られる情報を用いて選定しても良いし、単純に現在の位置情報や姿勢を用いて選定しても良いし、被験者の顔画像データを用いて特徴量が一致する人物を被験者として選定しても良い。なお、顔画像データの特徴量一致は情報処理装置１０１の処理負荷が大きいため、通常時の被験者特定には用いないものとする。

ステップＳ５０４は、本発明における、前記被験者特定手段で被験者として特定した人物の座標情報が取得できないことを条件に、前記隣接人物特定手段により特定された前記被験者と隣接する人物から所定の範囲内にいる人物を前記被験者として特定する第２の被験者特定手段の一例である。

ステップＳ５０５において、情報処理装置１０１は、利用済みの介助者情報を削除する。以上で、図５の説明を終了する。

次に図６〜図８を用いて、本実施形態における代表的な状況について説明する。図６〜図８はモーション情報取得部１５１によって取得できる情報を情報処理装置１０１のディスプレイ２１２の画面に表示する一例であり、画面内には複数の人物が映っている。この時、図６〜図８の人物６０１は同一人物の情報で、対象としたい人物であり、被験者にあたる。各図の人物６０２は同一人物の情報であり、この人物はプログラムで対象とはしない人物であり、介助者にあたる。図８の人物６０３は、対象とはしない人物である。

図６は、２人の人物がともに認識できており、人物６０１に対する処理を行うことができる状態である。この時の位置関係は、人物６０１と人物６０２との間には、充分な距離がある。

図７は、図６の状態から被験者である人物６０１が測定のために移動したか、介助者である人物６０２が被験者の介助等のために移動したため、人物６０１が人物６０２に隠れる形となったため、人物６０１を認識できなくなった状態である。この時、人物６０１と人物６０２は、モーション情報取得部１５１から見て、重なり合うようになっているため、位置関係は非常に近接している。また、人物６０１が認識できなくなる直前の位置と、現在の人物６０１の位置も非常に近接していると推論できる。

図８は、図７の状態から更に人物６０１、または人物６０２が移動し、対象としたい人物６０１を再び認識できるようになった状態にある。しかし、モーション情報取得部１５１およびモーション情報解析部１５２は、人物６０１の認識が連続していないため、同一人物であることを判断できない。また、人物６０１が再び認識できるようになった時、人物６０１は人物６０２の後方から現れる形となるため、人物６０１が再び認識できた時の位置と、人物６０２の位置は近接している。また、図７までは認識していなかった人物６０３を認識している。

図６〜図８のように状態が遷移した時、人物６０１を被験者として登録し、処理の対象としたいが、図７で認識が途切れてしまっているため、図６と図８の人物６０１を紐づけることができない。

しかしながら、人物６０１が被験者であるのならば、被験者が認識できている状態から継続して認識できている人物６０２は、被験者ではないことが既知である。対して、図８における人物６０１は、モーション情報取得部１５１およびモーション情報解析部１５２からは被験者ではないことが既知ではない新たな人物であり、被験者である可能性がある。人物６０３も同様に、被験者ではないことが既知ではない新たな人物であり、被験者である可能性がある。

また、遮蔽物に隠れる場合、隠れる直前にはその遮蔽物の近くにいると推論でき、再び現れた直後にもその遮蔽物の近くにいると推論できる。これにより、図６で被験者としていた人物６０１は図４で人物６０２の近くで認識できなくなったため、図８で対象の人物である可能性があった人物６０１と人物６０３では、認識できなくなった原因である人物６０２から、離れた位置にいる人物６０３ではなく、近くで認識された人物６０１が被験者であると推論できる。

なお、被験者を認識できなくなった時に、付近に人物がいなかった場合には、モーション情報取得部１５１のセンサー範囲外への移動や人物以外の遮蔽物に隠れたなどの理由が考えられるが、センサー範囲外でどのように移動したかや、遮蔽物の情報（大きさや形状など）が不明であるため、再び認識された時の位置関係については考慮しない。ただし、その場合でも対象ではないことが既知である人物は対象ではないことは自明であるため、対象ではないことが既知の人物は対象としない。また、本発明ではモーション情報取得部１５１をＫｉｎｅｃｔ（対象は人体に限る）としているが、モーション情報取得部１５１を異なる装置で置き換えたり、Ｋｉｎｅｃｔから得られる情報を解析することによって、人物以外の遮蔽物の大きさ・形状・移動などが分かる場合には、人物による遮蔽と同様に扱っても良い。

以上、本発明によると、撮像手段で撮像することにより得られる画像データに含まれる被験者の認識を一時的に失敗したとしても、再度認識したときに前記被験者を特定することが可能となる。また、本発明では、一般的に処理の負荷が高いことが多い技術を新たに追加することなく、それまでも取得していたモーション情報のみを用いた、負荷が低い処理を行うため、撮影を行いながら同時に処理する場合でも、負荷の増大を抑えながら前記の効果を達成できる。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 情報処理装置

Claims (7)

1. 撮像手段で撮像することで順次得られる画像データに含まれる人物の関節の座標情報を取得する取得手段と、
   前記取得手段で座標情報を取得した人物の中から被験者を特定する第１の被験者特定手段と、
   前記取得手段で座標情報を取得した人物の中から被験者と隣接する人物を特定する隣接人物特定手段と、
   前記被験者特定手段で被験者として特定した人物の座標情報が取得できないことを条件に、前記隣接人物特定手段により特定された前記被験者と隣接する人物から所定の範囲内にいる人物を前記被験者として特定する第２の被験者特定手段と
   を備えることを特徴とする情報処理装置。
2. 前記取得手段により取得した前記座標情報に基づいて、前記被験者の動作に係る測定を行う測定手段を備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記被験者の顔画像データを管理する管理手段を備え、
   前記隣接人物特定手段により特定された前記被験者と隣接する人物から所定の範囲内にいる人物が複数である場合に、前記第２の被験者特定手段は、前記管理手段で管理する前記被験者の顔画像データと最も特徴量が近い人物を被験者として特定することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記取得手段で座標情報を取得した人物の一覧を表示する第１の表示手段と、
   前記第１の特定手段は、前記第１の表示手段により一覧で表示した人物のうちユーザから指定を受け付けた人物を被験者として特定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 記隣接人物特定手段により特定された前記被験者と隣接する人物から所定の範囲内に人物がいない場合に、前記取得手段で座標情報を取得した人物の一覧を表示する第２の表示手段を備え、
   前記第２の被験者特定手段は、前記第２の表示手段により一覧で表示した人物のうちユーザから指定を受け付けた人物を被験者として特定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 撮像手段で撮像することで順次得られる画像データに含まれる人物の関節の座標情報を取得する取得手段を備える情報処理装置の制御方法であって、
   前記情報処理装置の第１の被験者特定手段が、前記取得手段で座標情報を取得した人物の中から被験者を特定する第１の被験者特定工程と、
   前記情報処理装置の隣接人物特定手段が、前記取得手段で座標情報を取得した人物の中から被験者と隣接する人物を特定する隣接人物特定工程と、
   前記情報処理装置の第２の被験者特定手段が、前記被験者特定工程で被験者として特定した人物の座標情報が取得できないことを条件に、前記隣接人物特定手段により特定された前記被験者と隣接する人物から所定の範囲内にいる人物を前記被験者として特定する第２の被験者特定工程と
   を備えることを特徴とする情報処理装置の制御方法。
7. 撮像手段で撮像することで順次得られる画像データに含まれる人物の関節の座標情報を取得する取得手段を備える情報処理装置で読み取り実行可能なプログラムであって、
   前記情報処理装置を、
   前記取得手段で座標情報を取得した人物の中から被験者を特定する第１の被験者特定手段と、
   前記取得手段で座標情報を取得した人物の中から被験者と隣接する人物を特定する隣接人物特定手段と、
   前記被験者特定手段で被験者として特定した人物の座標情報が取得できないことを条件に、前記隣接人物特定手段により特定された前記被験者と隣接する人物から所定の範囲内にいる人物を前記被験者として特定する第２の被験者特定手段と
   して機能させることを特徴とするプログラム。

Images