JP5424852B2 - 映像情報処理方法及びその装置 - Google Patents

Description

本発明は、人物の行動を含む複数の撮影映像の違いを可視化する方法及び装置に関する。

病気、けがにより身体的に障害を負った人のリハビリテーション（以下、リハビリ）において、撮影映像が活用されている。具体的には、定期的に同一のリハビリや日常の行動を撮影し、異なる日時の撮影映像を並列・連続して表示することで、行動時の姿勢や速度の違いを明示的に可視化している。このように、行動の違いの可視化は、リハビリの効果を、当事者自身が確認するのに有用である。

特開２００４−１４５５６４ 米国公開特許 ２００７／０２３７３８７

行動の違いを可視化するには、同じ条件での同じ行動を異なる日時で実施した撮影映像が必要である。そのため、同じ条件での同じ行動を異なる日時で実施できる環境を利用して映像を撮影する場合がある。しかし、リハビリを必要とする身体的に障害を持った人が、ひとりで自身の行動を撮影することは難しい。そこで、専門の療法士と予定を合わせて前述の撮影映像を撮影することが一般的であるが、自宅などでリハビリを続ける場合に、前述の撮影映像を用意することが難しい。

特許文献１には、記録した撮影映像を解析して分類し、その分類ごとに撮影映像を記録することで、特定の場面の撮影映像のみを対象にした高速な検索を実現する技術が開示されている。同じ条件での同じ行動ごとに、撮影映像を分類することができる。しかし、撮影映像が分類されても、療法士など専門家でなければ、分類された撮影映像の中でどの撮影映像が、患者の状況を理解するために必要な撮影映像か分からない。分類された撮影映像のうち、比較すべき具体的な撮影映像を選択することができないという課題があった。

本発明では、同じ行動における動作の違いを確認するために必要な映像を表示することを目的とする。

上記目的は、以下の方法によって達成できる。

認識手段が、現実空間を撮影した複数の撮影映像ごとに、該現実空間の事象を認識する認識工程と、
分類手段が、前記事象ごとに前記複数の撮影映像に映像タグ情報を割り当てて、前記撮影映像を分類する分類工程と、
検索手段が、前記割り当てられた映像タグ情報に基づいて、前記撮影映像から前記事象が同一である複数の撮影映像を検索する検索工程と、
解析手段が、前記検索された複数の撮影映像の各々の中の動作の特徴を解析する解析工程と、
選択手段が、前記検索された撮影映像の各々の前記解析された動作の特徴の違いに基づいて、前記検索された撮影映像の中から少なくとも２つ以上の該撮影映像を選択する選択工程と、
生成手段が、前記選択された撮影映像に基づいて、表示手段に表示させる映像情報を生成する生成工程と、
を有することを特徴とする映像情報処理方法。

上記目的は、以下の方法によっても達成できる。

解析手段が、現実空間を撮影した複数の撮影映像の各々の中の動作の特徴を解析する解析工程と、
分類手段が、前記解析された動作の特徴ごとに前記複数の撮影映像に映像タグ情報を割り当てて、前記撮影映像を分類する分類工程と、
検索手段が、前記割り当てられた映像タグ情報に基づいて、前記複数の撮影映像を検索する検索工程と、
認識手段が、前記検索された複数の撮影映像の各々に、前記現実空間の事象を認識する認識工程と、
選択手段が、前記検索された撮影映像の各々の前記認識された事象に基づいて、前記検索された撮影映像の中から少なくとも２つ以上の該撮影映像を選択する選択工程と、
生成手段が、前記選択された撮影映像に基づいて、表示手段に表示させる映像情報を生成する生成工程と、
を有することを特徴とする映像情報処理方法。

本発明によれば、同じ行動における動作の違いを確認するために必要な映像を表示することができる。

本発明の第一の実施形態に係る映像情報処理装置の構成を示す図である。 本発明の第一の実施形態に係る映像情報処理装置の処理を示す図である。 本発明の第一の実施形態に係る選択された撮影映像から映像情報を生成する例である。 本発明の第二の実施形態に係る映像情報処理装置の構成を示す図である。 本発明の第二の実施形態に係る映像情報処理装置の処理を示す図である。 本発明の第二の実施形態に係る撮影映像の例を示す図である。 コンピュータの構成例を示す図である。

以下、添付図面を参照して本発明をその好適な実施形態に従って詳細に説明する。

〔第一の実施形態〕
（概要）以下、図を用いて本実施形態に係る映像情報処理装置の構成および処理について説明する。

（構成１００） 図１は、本実施形態に係る映像情報処理装置１００の概略を示す図である。図１に示すように、映像情報処理装置１００は、取得手段１０１、認識手段１０２、解析手段１０３、抽出手段１０４、生成手段１０５、表示手段１０６からなる。抽出手段１０４は、分類手段１０４−１、検索手段１０４−２、選択手段１０４−３からなる。

取得手段１０１は、撮影した撮影映像を取得する。例えば、一般家庭内に設置されてその空間を継続的に撮影するカメラがある。また、撮影に関する情報を、映像タグ情報として取得する。例えば、カメラのパラメータや、撮影取得日時がある。例えば、マイク、人感センサ・床面に設置した圧力センサのようなカメラ以外のセンサでもよい。取得した撮影映像および映像タグ情報は、認識手段１０２へ出力する。

認識手段１０２は、取得手段１０１から出力された撮影映像と映像タグ情報を入力し、撮影映像内に映る人物および物体に関する事象を認識する。例えば、認識する具体的な処理として、人物認識処理、顔認識処理、表情認識処理、人物や物体の位置姿勢認識処理、人物行動認識処理、一般物体認識処理がある。認識した事象は、入力された撮影映像、映像タグ情報とともに、分類手段１０４−１に送られる。

分類手段１０４−１は、認識した事象と映像タグ情報の組み合わせに基づいて、撮影映像を事前に用意された複数のカテゴリに分類する。例えば、認識した事象が動作認識による「歩行」、人物認識による「Ａさん」、映像タグ情報が「午前中に撮影」のとき、「移動」というカテゴリや、「午前中のＡさん」というカテゴリなどに分類される。分類したカテゴリは、新たな映像タグ情報として記録媒体１０７に記録する。

検索手段１０４−２は、確認したい事象で分類された撮影映像を映像タグ情報によって検索し、事象に該当する撮影映像のすべてを取り出す。例えば、取得手段で取得した「午前中」という映像タグ情報を持つ撮影映像を検索してもよいし、分類手段で分類した「移動」という映像タグ情報を持つ撮影映像を検索してもよい。取り出した撮影映像は、映像タグ情報とともに、解析手段１０３及び選択手段１０４−３に送られる。

解析手段１０３は、検索手段から送られた撮影映像の各々を、定量的な映像解析を行う。認識手段１０２では、撮影映像中の事象（Ｗｈｏ、Ｗｈａｔ、Ｗｈｉｃｈ、Ｗｈｅｎ）を認識したが、ここでは、撮影映像中の動作がどのように行われているか（Ｈｏｗ）を解析する。例えば、撮影映像に映された人物の腕関節の角度、歩行動作周波数、足の振り上げ幅、速度などの解析を行う。解析の結果は、選択手段１０４−３に送られる。

選択手段１０４−３は、映像タグ情報と解析された結果から、互いに比較することができる複数の撮影映像を選択する。例えば、検索された映像タグ情報を持つ撮影映像から、比較することのできる２枚の撮影映像を選びだす。選択された撮影映像は、生成手段１０５へと送られる。

生成手段１０５は、選択された撮影映像を、行動の違いを明示する映像情報を生成する。例えば、選択された２つの撮影映像間で、被写体中の右足の動作が同じ位置に表示されるように、アフィン変換などを用いて重ね合わせた映像を生成する。また、右足を強調表示してもよい。また、３次元空間に再構成した映像を生成してもよい。生成された映像情報は、表示手段１０６へと送られる。また、２枚の撮影映像の映像タグ情報を並べて表示してもよい。

表示手段１０６は、生成された映像情報をディスプレイに表示する。

以上が、本実施形態にかかる映像情報処理装置１００の構成である。

（処理） 図２のフローチャートを用いて、本実施形態にかかる映像情報処理装置１００が行う処理について説明する。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内のＲＡＭやＲＯＭなどのメモリ内に格納され、ＣＰＵやＭＰＵなどにより読み出され、実行される。なお、データ等の送受信に関する処理に関しては、直接的もしくはネットワーク越しに行ってもよい。

（取得） ステップＳ２０１では、取得手段１０１により、現実空間を撮影した撮影映像が取得される。

例えば、一般家庭内に設置されてその空間を継続的に撮影するカメラにより撮影される。このカメラは、天井や壁に取り付けられていてもよい。床、台、テレビなどの家具・建具に据え置き、内蔵されていてもよい。ロボットや人が装着するなどして、空間内を移動するカメラでもよい。また、空間全体を撮影するために広角レンズを使用してもよい。パンチルトやズームなどのカメラパラメータが固定でも可変でもよい。複数のカメラを用いて空間を複数視点から撮影してもよい。

同時に、取得手段１０１により、撮影に関する情報を、映像タグ情報として取得される。例えば、カメラのパラメータや、撮影取得日時がある。例えば、マイクにより収集した音声データや、人感センサによって検知した人物の在否情報や、圧力センサによって計測された床面上の圧力分布情報ような映像タグ情報をカメラ以外のセンサから取得してもよい。

取得した撮影映像および映像タグ情報は、認識手段１０２へ出力され、ステップＳ２０２へと進む。

（認識） ステップＳ２０２では、認識手段１０２により、取得手段１０１から出力された撮影映像と映像タグ情報を入力され、撮影映像内に映る人物および物体に関する事象を定性的に認識される。

例えば、認識する具体的な処理として、人物認識処理、顔認識処理、表情認識処理、人物や物体の位置姿勢認識処理、人物行動認識処理、一般物体認識処理などが行われる。なお、認識処理は、１種類に限定されるものではなく、複数の認識処理を組み合わせてもよい。

また、認識処理の際には、取得手段１０１から出力された映像タグ情報を、必要に応じて利用してもよい。例えば、マイクから得た音声データを映像タグ情報として利用してもよい。

また、取得手段１０１から受け取った撮影映像だけでは、シーケンスが短いなどにより、認識処理が行えない場合がある。このとき、受け取った撮影映像を保持したまま、ステップＳ２０１へと戻り、認識処理に必要な撮影映像が蓄積されるまで、繰り返してもよい。特許文献２に開示されている認識処理を利用してもよい。

認識した事象は、入力された撮影映像、映像タグ情報とともに、分類手段１０４−１に送られ、ステップＳ２０３へと進む。

（分類） ステップＳ２０３では、分類手段１０４−１によって、認識した事象と映像タグ情報の組み合わせに基づいて、撮影映像を事前に用意された複数のカテゴリに分類される。

ここでのカテゴリは、人物のリハビリ効果を可視化しうる事象（Ｗｈａｔ，Ｗｈｏ，Ｗｈｉｃｈ，Ｗｈｅｎ，Ｗｈｅｒｅ）を示す。例えば、認識した事象が動作認識による「歩行」、人物認識による「Ａさん」、映像タグ情報が「午前中に撮影」のとき、「移動」というカテゴリや、「午前中のＡさん」というカテゴリなどに分類される。カテゴリは予め、専門家が自身の知見に基づいて入力してもよい。

なお、認識手段１０２より受け取る全ての撮影映像が、必ずしも何らかのカテゴリに分類されなくてもよい。また、どこのカテゴリにも分類されなかった撮影映像を「その他」というカテゴリに分類してもよい。

例えば、撮影映像中に複数人が映っている場合の認識処理について述べる。単純に人物認識処理の結果「Ａさん」と「Ｂさん」と、人物の動作認識処理の結果「歩行」からでは、その撮影映像を「Ａさんの歩行」と「Ｂさんの歩行」のどちらに分類すべきか確定しない。その場合は、人物認識処理がＡまたはＢの存在を判別した撮影映像中の位置と、動作認識処理が「歩行」の実施を判別した撮影映像中の位置を照らし合わせ、その撮影映像を「Ａさんの歩行」「Ｂさんの歩行」のどちらと分類すべきかを判定する。

このとき、撮影映像全体をカテゴリに分類しても、カテゴリに相当する撮影映像の部分領域だけを切り出して部分的に隠蔽処理を行い分類してもよい。また、単一の認識結果についてのみを参照して分類されるカテゴリでもよい。例えば、動作認識処理の結果「転倒」が割り当てられた撮影映像を、他の認識結果や映像タグ情報に関わらず、全て「転倒」というカテゴリに分類してもよい。

事象とカテゴリは、必ずしも１対１対応でなくてもよい。人物認識結果「Ａさん」の動作認識処理結果「歩行」及び映像タグ情報「午前中」の撮影映像と、人物認識結果「Ｂ」動作認識結果「車椅子移動」映像タグ情報「午前中」の撮影映像を、同じ「ＡさんとＢさんの午前中の移動」に分類してもよい。また、人物認識結果「Ａさん」の動作認識結果「歩行」映像タグ情報及び「午前中」に対応する撮影映像を、「Ａさんの歩行」というカテゴリと「Ａさんの午前中」という二つのカテゴリに分類してもよい。

分類したカテゴリは、新たな映像タグ情報として記録媒体１０７に記録され、ステップＳ２０４へと進む。

なお、分類ごとに別ファイルとして記録してもよい。全ての撮影映像を１つのファイルとして記録し、映像タグ情報からそれが割り当てられた撮影映像を参照するためのポインタを別ファイルに記録してもよい。これらの記録方法を組み合わせてもよい。例えば、同じ日付に分類される撮影映像を１つのファイルに記録し、撮影映像を参照するためのポインタを日付ごとに用意した別ファイルに記録してもよい。撮影映像はＨＤＤなど記憶媒体１０７の機器に記録してもよいし、ネットワーク越しに接続した遠隔地のサーバの記憶媒体１０７に記録してもよい。

（検索） ステップＳ２０４では、検索手段１０４−２において、撮影映像を検索する事象が入力が確認される。例えば、ユーザがキーボードやボタンを介して入力されてもよい。定期的なスケジュールに従って自動的に入力されてもよい。遠隔地から専門の療法士などにより入力されてもよい。また、ステップＳ２０１若しくはステップＳ２０２で取得された映像タグ情報を入力してもよい。

検索する事象の入力が確認されるとステップＳ２０５へと進み、確認されないときにステップＳ２０１へと戻る。

ステップＳ２０５では、検索手段１０４−２により、確認したい事象を、分類された撮影映像を映像タグ情報によって検索され、事象に該当する撮影映像のすべてを取り出される。例えば、取得手段で取得した「午前中」という映像タグ情報を持つ撮影映像を検索してもよいし、分類手段で分類した「移動」という映像タグ情報を持つ撮影映像を検索してもよい。取り出した撮影映像は、映像タグ情報とともに、解析手段１０３及び選択手段１０４−３に送られる。

また、検索手段１０４−２により、外部から映像タグ情報を含む検索する事象の入力を受け付けると、記録された撮影映像の中から、映像タグ情報に対応する撮影映像を全て取り出される。例えば、過去一日分（現在）から３０日前（過去）の撮影映像を検索対象にする。これにより、選択手段では、３０日分のリハビリの経過を知るために必要な撮影映像を選択することができる。

取り出した撮影映像に対応する映像タグ情報とともに、解析手段１０３および選択手段１０４−３へと送る。

（解析） ステップＳ２０６では、解析手段１０３により、検索手段から送られた撮影映像の各々を、定量的な映像解析が行われる。認識手段１０２では、撮影映像中の事象（Ｗｈａｔ）を認識したが、ここでは、撮影映像中の動作がどのように行われているか（Ｈｏｗ）を解析する。

例えば、撮影映像に映った人物の腕の関節角度や歩行動作周波数や足の振り上げ幅などの動作の特徴を計測することを目的とした映像解析を行う。より具体的には、人物を構成する人体パーツを個別に識別した後に、パーツ間の撮影映像中における相対的位置姿勢変化を定量的に解析して、そこから現実空間における関節角度や動作周波数や動作振幅などの動作の特徴を動作量として算出する。

例えば、背景差分技術などを利用して、撮影映像中に新たに現れた人と思われる被写体を切り出した後に、その撮影映像の大きさなどに基づいて、切り出した被写体の現実空間における形状や大きさなどを算出する。

例えば、取得手段１０１がステレオカメラを備え、解析手段１０３がステレオ映像を得るような場合は、公知のステレオ映像処理に基づいて画面中の被写体までの距離を算出して、その被写体の移動経路や移動速度を算出する。

例えば、被写体の移動距離Ｘ ｍ／ｓなどを解析する場合には、取得手段１０１から撮影映像を受け取り続けながら、解析処理を行う。

撮影映像に映る人物や物体の、現実空間における３次元形状やその３次元的な位置姿勢を解析的に算出する方法は、数多く知られている。解析手段１０３は、そうした公知の技術を利用して、撮影映像ごとに、そこに映る人物（被写体）に対する空間的な映像解析を行う。どのような定量的映像解析を行うかは、専門家の知見やリハビリの種類などによって予め決定しておくものとする。

解析の結果は、選択手段１０４−３に送られ、ステップＳ２０７へ進む。

（選択） ステップＳ２０７では、選択手段１０４−３より、映像タグ情報と解析された結果に基づいて、検索された映像タグ情報を持つ撮影映像から、互いに比較することができる複数の撮影映像が選択される。

具体的には、解析手段１０３から受け取るそれぞれの撮影映像における歩行動作の解析結果を照らし合わせる。そして、ある基準において類似／非類似である（定量的に一定閾値以下／以上である）撮影映像を二つ選択する。

例えば、動作の速度の違いが所定の閾値よりも小さいもの、大きいものを選びとることで、比較するために必要な撮影映像を抽出することができる。また、動作の軌跡の違いが所定の閾値より大きいもの、小さいものを選びとることで、比較するために必要な撮影映像を抽出することができる。

例えば、動作の速度の違いが小さく、動作の軌跡の違いが大きい組み合わせを互いに比較することで、動作の軌跡の違いを比較することができる。このとき、動作の軌跡がなるべく異なるものを選びとるとなお良い。例えば、動作の速度の違いが大きく、動作の軌跡の違いが小さい組み合わせを互いに比較することで、動作の速度の違いを比較することができる。このとき動作の軌跡がなるべく同じものを選びとるとなお良い。

例えば、足の振り上げ幅や速度の各々が一定以上、一定以下の異なる撮影映像を選びだす。ここでは撮影映像を二つ選択するとしたが、三つ以上を選択してもよい。つまり、二つの期間ではなく三つ以上の期間から比較対象となる撮影映像を選択してもよい。

また、閾値を用いることに限らない。例えば、動作の速度や軌跡がもっとも差の大きい二つの撮影映像を選択してもよい。
選択された撮影映像は、生成手段１０５へと送られ、ステップＳ２０８へ進む。

（生成） ステップＳ２０８では、生成手段１０５により、選択された撮影映像から行動の違いを明示する映像情報が生成される。

図３は、選択された撮影映像から映像情報を生成する例である。例えば、選択手段１０４−３が選択した二つの撮影映像３０１、３０２を、右足の動作が両者で同じ位置に表示されるように一方の撮影映像３０２をアフィン変換し、変換された映像３０３をもう一方の撮影映像に重ねた映像３０４を生成する。これにより、左足の動き方の違いや腰部関節の動揺振幅から左足および歩行における重心動揺が可視化される。もしくは、歩行動作の開始点をそろえ画像のスケールが同じになるように正規化した二つの映像を、並列表示もしくは連続表示する映像を生成する。これにより、歩行速度や歩行経路の違いを比較できる。映像情報の生成方法は、ここでの例に限定するものではない。注目領域を強調したり、抜き出したり、アノテーションをつけたり、３次元再構成技術を用いて二つの撮影映像中の行動を一つの３次元仮想空間上に再現する映像を生成してもよい。また、二つの撮影映像を隣り合わせて並べた映像を生成してもよい。生成結果である映像情報が画像情報に限らず、画像情報以外で表現される情報を生成してもよい。例えば、それぞれの行動速度を数値やグラフなどで可視化してもよい。

また、どのような撮影映像を比較しているかを認識するために、何と何を比較しているのかを示す情報を付与した映像情報を生成してもよい。例えば、二つの撮影映像の日付や、解析した結果の違いを示す情報を付与した映像情報を生成する。

生成された映像情報は、表示手段１０６へと送られ、Ｓ２０９へ進む。

（表示） ステップＳ２０９では、表示手段１０６により、生成された映像情報を表示する。例えば、ディスプレイで表示してもよい。表示された後、Ｓ２０１に戻る。

以上の処理によって、映像情報処理装置１００は、撮影した撮影映像の中から同じ条件での同じ行動となる撮影映像を抽出した後に、行動の違いの可視化に対して適切な組み合わせとなる撮影映像を選択することができる。

〔第二の実施形態〕
第一の実施形態では、撮影映像として記録された多種多様な行動を、定性的な基準によって分類分けした後、同一分類内の行動同士の違いを定量的な基準によって比較することによって撮影映像を複数選択した。これに対し、第二の実施形態で示す形態では、撮影映像として記録された多種多様な行動を、定量的な基準によって分類分けした後に、同一分類内の行動同士の違いを定性的な基準によって比較することによって、撮影映像を複数選択する。

以下、図を用いて本実施形態に係る映像情報処理装置の構成および処理について説明する。

（構成４００） 図４は、本実施形態に係る映像情報処理装置４００の概略を示す図である。図４に示すように、映像情報処理装置４００は、取得手段１０１、解析手段１０４、認識手段１０２、抽出手段１０４、生成手段１０５、表示手段１０６からなる。抽出手段１０４は、分類手段１０４−１、検索手段１０４−２、選択手段１０４−３からなる。
この構成の大半は図１に示した映像情報処理装置１００と同様であるので、同様の部分には同じ名称をつけており、重複する部分についての詳細な説明は以下では割愛する。

取得手段１０１は、撮影した撮影映像を取得する。また、撮影した空間に関する情報を、映像タグ情報として取得する。取得手段１０１が取得した撮影映像および映像タグ情報は、解析手段１０３へと送られる。

解析手段１０３は、取得手段１０１から出力された撮影映像と映像タグ情報とを入力とし、撮影映像に対して解析処理を行う。解析された撮影映像は、映像タグ情報とともに、分類手段１０４−１へと送られる。

分類手段１０４−１は、映像解析結果と映像タグ情報の組み合わせに基づいて、それに対応する撮影映像を事前に用意された複数のカテゴリに分類していく。分類したカテゴリは、新たな映像タグ情報として記録媒体１０７に記録する。

検索手段１０４−２は、確認したい事象を、分類された撮影映像を映像タグ情報によって検索し、事象に該当する撮影映像のすべてを取り出す。取り出した撮影映像は、映像タグ情報とともに、認識手段１０２及び選択手段１０４−３に送られる。

認識手段１０２は、取得手段１０１から出力された撮影映像と映像タグ情報を入力し、撮影映像内に映る人物および物体に関する事象を認識する。認識した事象は、入力された撮影映像、映像タグ情報とともに、選択手段１０４−３に送られる。

選択手段１０４−３は、映像タグ情報と解析された結果から、互いに比較することができる複数の撮影映像を選択する。選択された撮影映像は、生成手段１０５へと送られる。

生成手段１０５は、選択手段１０４−３で選択した撮影映像を、そこに映る行動の違いを明示的に可視化する映像情報を生成する。生成された映像情報は、表示手段１０６へと送られる。

表示手段１０６は例えばディスプレイで、生成手段１０５で生成された映像情報を、観察者に表示する。

以上が、本実施形態にかかる映像情報処理装置４００に関する構成部分である。

（処理） 図５に示したフローチャートを用いて、本実施形態の映像情報処理装置４００が行う処理について説明する。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内のＲＡＭやＲＯＭなどのメモリ内に格納され、ＣＰＵやＭＰＵなどにより読み出され、実行される。

ステップＳ２０１では、取得手段１０１により、撮影した撮影映像が取得される。また、撮影した空間に関する情報が、映像タグ情報として取得される。例えば一日毎など、時間をおいてオフラインに行ってもよい。取得手段１０１が取得した撮影映像および映像タグ情報は、解析手段１０３へと送られ、ステップＳ５０２へ進む。

ステップＳ２０２では、解析手段１０３において、取得手段１０１から出力された撮影映像と映像タグ情報とを入力とし、撮影映像に対して解析処理を行う。解析された撮影映像は、映像タグ情報とともに、分類手段１０４−１へと送られ、ステップＳ２０３へ進む。

ステップＳ５０３では、分類手段１０４−１において、解析手段１０３から出力された映像解析結果と映像タグ情報の組み合わせに基づき、対応する撮影映像を事前に用意された複数のカテゴリに分類していく。

図６は、本実施形態に係る、撮影映像の例を示す図である。具体的には、走っている事象６０１、６０２、歩いている事象６０３、６０４、杖をもって歩いている事象６０５が撮影されている。また、それぞれ、第一の実施形態と同様に解析することで、動作の速度６０６、６０７や動作の軌跡６０８，６０９，６１０をタグ情報として付与することができる。

例えば、解析手段１０３より被写体の移動速度がＸ ｍ／ｓという結果と映像タグ情報「午前中」を受け取った場合、「午前中の被写体で、移動速度がＸ ｍ／ｓ」というカテゴリに解析手段２０２より受け取った撮影映像を分類する。例えば、「午前中の被写体で取得手段１０１に対して距離Ｙ ｍ以内」６０１や「１０秒以内にＺ ｍ以上移動した被写体」６０２といったカテゴリに分類される。

分類したカテゴリは、新たな映像タグ情報として記録媒体１０７に記録され、ステップＳ２０４へ進む。

ステップＳ２０４では、検索手段１０４−２において、撮影映像を検索する検索する事象の入力が確認される。入力が確認されれば処理はステップＳ２０５へと進み、確認されなければ処理はステップＳ２０１へと戻る。

ステップＳ２０５では、検索手段１０３において、記録されている撮影映像の検索が行われる。すなわち、検索する事象に該当する映像タグ情報が割り当てられた撮影映像の全てが取り出される。取り出された撮影映像は、それに対応する映像タグ情報および映像解析結果とともに、認識手段１０２および選択手段１０４−３へと送られ、処理はステップＳ５０６へと進む。

ステップＳ２０６では、認識手段１０２において、検索手段１０４−２より送られる撮影映像ごとに、そこに映る人物に対する定性的な映像認識が行われる。その結果は選択手段１０４−３へと送られ、処理はステップＳ２０７へと進む。

ステップＳ５０７では、選択手段１０４−３において、検索手段１０４−２から送られる撮影映像の中から、複数の撮影映像が選択される。これは、各撮影映像に対応する映像タグ情報と、認識手段１０２から送られる映像認識結果に基づいて行われる。

例えば、「被写体の移動速度がＸ ｍ／ｓ以上」と分類された撮影映像が検索され選択手段１０４−３に送られている場合を例に説明する。「Ａさん（が映っている）」と認識された撮影映像を選ぶ。そして、残るその他の認識結果がなるべく多く共通する撮影映像の組を選択する。例えば、３つの撮影映像がそれぞれ「杖なし歩行」６０３「杖なし歩行」６０４「杖あり歩行」６０５という認識結果を持っていれば、「杖なし歩行」という認識結果を持ったものを選択する。類似している（一定数以上の同一認識結果を持つもの）撮影映像の組が見つからなければ、一定数以上の同一認識結果を持つ撮影映像を複数選択する。

選択された撮影映像は映像解析結果とともに生成手段１０５へと送られ、処理はステップＳ２０８へと進む。

ステップＳ２０８では、生成手段１０５において、選択手段１０４−３で選択された撮影映像が、そこに映る行動の違いを明示的に示される映像情報を生成する。生成された映像情報は表示手段１０６へと送られ、処理はステップＳ２０９へと進む。

ステップＳ２０９では、表示手段１０６において、生成手段１０５で生成された映像情報が、観察者に表示される。その後、処理はステップＳ２０１へと戻る。

以上の処理によって、映像情報処理装置１００は、人物撮影映像から、同じ条件での同じ行動を実施したときの撮影映像を抽出後、行動の違いの可視化対して適切な組み合わせとなる撮影映像を複数選択することが出来る。

〔第３の実施形態〕
第１の実施形態では、認識の結果に基づいて、分類し、分類した撮影映像を解析して選択を行っていた。第２の実施形態では、解析の結果に基づいて、分類し、分類した撮影映像を認識して選択を行っていた。これらを組み合わせることにより、認識・解析の結果に基づいて、分類して映像タグ情報を記憶し、映像タグ情報に基づいて、分類した撮影映像を認識・解析して選択を行ってもよい。

〔その他の実施形態〕
図７は、コンピュータの構成例を示す図である。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク７０７又は各種のコンピュータ読み取り可能な記憶媒体７０２、７０３を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ７０１（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

本発明は、例えば、リハビリの進捗を確認できる。

Claims (12)

1. 認識手段が、現実空間を撮影した複数の撮影映像ごとに、該現実空間の事象を認識する認識工程と、
   分類手段が、前記事象ごとに前記複数の撮影映像に映像タグ情報を割り当てて、前記撮影映像を分類する分類工程と、
   検索手段が、前記映像タグ情報に基づいて、前記複数の撮影映像から前記事象が同一である複数の撮影映像を検索する検索工程と、
   解析手段が、前記検索された複数の撮影映像の各々の中の動作の特徴を解析する解析工程と、
   選択手段が、前記検索された撮影映像の各々の前記解析された動作の特徴に基づいて、前記検索された撮影映像の中から少なくとも２つ以上の該撮影映像を選択する選択工程と、
   生成手段が、前記選択された撮影映像に基づいて、表示手段に表示させる映像情報を生成する生成工程と、
   を有することを特徴とする映像情報処理方法。
2. 解析手段が、現実空間を撮影した複数の撮影映像の各々の中の動作の特徴を解析する解析工程と、
   分類手段が、前記解析された動作の特徴ごとに前記複数の撮影映像に映像タグ情報を割り当てて、前記撮影映像を分類する分類工程と、
   検索手段が、前記割り当てられた映像タグ情報に基づいて、前記複数の撮影映像を検索する検索工程と、
   認識手段が、前記検索された複数の撮影映像の各々に、前記現実空間の事象を認識する認識工程と、
   選択手段が、前記検索された撮影映像の各々の前記認識された事象に基づいて、前記検索された撮影映像の中から少なくとも２つ以上の該撮影映像を選択する選択工程と、
   生成手段が、前記選択された撮影映像に基づいて、表示手段に表示させる映像情報を生成する生成工程と、
   を有することを特徴とする映像情報処理方法。
3. 前記認識工程では、人物の行動を前記事象として認識することを特徴とする請求項１又は請求項２に記載の映像情報処理方法。
4. 前記解析工程では、前記複数の撮影映像の各々の中の動作の速度、及び、動作の軌跡を解析することを特徴とする請求項１乃至請求項３の何れか１項に記載の映像情報処理方法。
5. 前記選択工程では、前記動作の速度の違いが所定より大きく、動作の軌跡の違いが所定より小さい組み合わせとなる前記複数の撮影映像を抽出することを特徴とする請求項４に記載の映像情報処理方法。
6. 前記選択工程では、前記動作の速度の違いが所定より小さく、動作の軌跡の違いが所定より大きい組み合わせとなる前記複数の撮影映像を抽出することを特徴とする請求項４に記載の映像情報処理方法。
7. 前記生成工程では、前記抽出された撮影映像の各々を重ね合わせた映像情報を生成することを特徴とする請求項１乃至請求項６の何れか１項に記載の映像情報処理方法。
8. 前記生成工程では、前記抽出された撮影映像の各々を３次元仮想空間上に再現し、映像情報を生成することを特徴とする請求項７に記載の映像情報処理方法。
9. 前記生成工程では、前記抽出された撮影映像を隣り合わせて並べた、映像情報を生成することを特徴とする請求項１乃至請求項６の何れか１項に記載の映像情報処理方法。
10. 請求項１乃至請求項９の何れか１項に記載の映像情報処理方法をコンピュータに実行させることを特徴とするプログラム。
11. 現実空間を撮影した複数の撮影映像ごとに、該現実空間の事象を認識する認識手段と、
    前記事象ごとに前記複数の撮影映像に映像タグ情報を割り当てて、前記撮影映像を分類する分類手段と、
    前記割り当てられた映像タグ情報に基づいて、前記撮影映像から前記事象が同一である複数の撮影映像を検索する検索手段と、
    前記検索された複数の撮影映像の各々の中の動作の特徴を解析する解析手段と、
    前記検索された撮影映像の各々の前記解析された動作の特徴の違いに基づいて、前記検索された撮影映像の中から少なくとも２つ以上の該撮影映像を選択する選択手段と、
    前記選択された撮影映像に基づいて、表示手段に表示させる映像情報を生成する生成手段と、
    を有することを特徴とする映像情報処理装置。
12. 現実空間を撮影した複数の撮影映像の各々の中の動作の特徴を解析する解析手段と、
    前記解析された動作の特徴ごとに前記複数の撮影映像に映像タグ情報を割り当てて、前記撮影映像を分類する分類手段と、
    前記割り当てられた映像タグ情報に基づいて、前記複数の撮影映像を検索する検索手段と、
    前記検索された複数の撮影映像の各々に、前記現実空間の事象を認識する認識手段と、
    前記検索された撮影映像の各々の前記認識された事象に基づいて、前記検索された撮影映像の中から少なくとも２つ以上の該撮影映像を選択する選択手段と、
    前記選択された撮影映像に基づいて、表示手段に表示させる映像情報を生成する生成手段と、
    を有することを特徴とする映像情報処理装置。

Images