JP6411373B2 - 認識データ伝送装置、認識データ記録装置及び認識データ記録方法 - Google Patents

Description

本発明は、認識データ伝送技術に関する。

人物の存室状況や室内への入退出管理、遠隔地からの見守り等、各種センサを用いた人物等の行動を認識する機器や手法が提案されている。

カメラで撮影した宅内の画像を電話回線及びインターネットを介してサーバ装置に送信し、そのサーバ装置から携帯端末にその画像やカメラ撮影動作を含む制御命令を受信して制御をおこなうことにより、設置が容易で安価な遠隔見守りシステムが提案されている（下記特許文献１参照）。

また、映像コンテンツに含まれる顔を検出し、顔に関する特徴量をコンテンツ管理ファイルに記録して、特定顔に関する特徴量と該コンテンツ管理ファイルに記録されている特徴量を比較して特定顔を含むコンテンツを迅速に利用する画像処理装置が提案されている（下記特許文献２参照）。

特開２００５−３１８４４５号公報 特開２０１０−３９７２４号公報

しかしながら、特許文献１に記載の人物検出システムは、人体センサにより人物を検出した場合に人物の撮影を開始し、映像を送信先に伝送する。一方、見守りを行う側は、人物の行動を常に見守ることはできるが、人物が危険な行動をとっているか、または安全に過ごしているかなどを見守り者自身が判断する必要がある。そのため、見守る側は伝送されてくる映像の人物を常に視聴している必要があるという課題があった。また、伝送データは映像データであるため、カメラによって撮影される人物のプライバシーが守られないという課題があった。さらに、転送するデータ量が膨大となり、データの伝送帯域を大きくする必要があった。

特許文献２は、映像コンテンツから検出した顔やその特徴量を記録し、検索することはできるが、映像中の人物の行動を検出し、その情報を記録することはできなかった。さらに、映像コンテンツから検出された人物やその特徴データは、一定間隔毎に作成される代表サムネイル毎に記録されるため、同一人物の検出データが重複して記録され、検出情報が増大するという課題があった。また、検出された人物の1つの行動時間内に複数の代表サムネイルが記録される場合があるため、記録された検出情報間の関連性が不明であり、人物の行動を結びつけることができなかった。

本発明は、このような問題を鑑みてなされたもので、映像から検出された人物およびその行動を検知し、人物の行動単位でその情報を伝送することで、見守る側の利便性向上と伝送データの削減を両立する認識データ伝送装置を提供することにある。

本発明の一観点によれば、少なくとも１つの撮像部と、前記撮像部が撮像した映像から人物の特徴量を検出し、検出した前記特徴量から前記映像中の人物を特定する人物検出部と、前記人物検出部が検出した人物に関する特徴量から人物の身体的特徴を表すユーザ情報を検出するユーザ情報検出部と、前記ユーザ情報検出部が出力する前記ユーザ情報と、前記撮像部で撮像した映像と、からユーザのモーション（動きまたは身振り手振り）を検出するモーション検出部と、前記モーション検出部が出力するモーション情報と、前記ユーザ情報とから、人物の動きを含む行動を認識する行動認識部と、前記行動認識部が出力する認識情報を人の行動毎に時間軸上で分割し、分割したブロックデータを生成するデータ変換部と、前記データ変換部が出力する前記ブロックデータを、認識データとしてブロック毎に外部に伝送する制御を行う伝送制御部と、を有することを特徴とする認識データ伝送装置が提供される。

例えば、ユーザ情報は、人物の特徴量として予め登録してある情報ＤＢのデータと比較して検出する。また、行動は、モーション情報として予め登録してある情報ＤＢのデータと比較して、人物の行動を検出する。

本発明によれば、映像から検出された人物およびその行動を検知し、人物の行動単位でその情報を伝送することで、見守る側の利便性向上と伝送データの削減を両立させることができる。

本明細書は本願の優先権の基礎である日本国特許出願２０１３−２６０４２５号の明細書および／または図面に記載される内容を包含する。

本発明によれば、映像から検出された人物およびその行動を検知し、人物の行動単位でその情報を伝送することで、見守る側の利便性向上と伝送データの削減を両立することができる。

本発明の第１の実施の形態による認識データ伝送技術を用いた監視システム（見守りシステム）の外観構成例を示す図である。 本発明の第１の実施の形態による認識データ伝送技術に用いる行動情報の伝送例を示す図である。 本発明の第１の実施の形態による認識データ伝送装置の一構成例を示す機能ブロック図である。 認識データ伝送装置に含まれる映像解析部の一構成例を示す機能ブロック図である。 ブロックで伝送する行動情報の一例を示す図である。 行動情報に含まれる行動ＩＤおよびフレームレートＩＤの一例を示す図である。 行動情報伝送処理の流れを示すフローチャート図である。 本発明の第２の実施の形態による認識データ伝送装置における異常時の行動情報の伝送例を示す図である。 本発明の第２の実施の形態による認識データ伝送装置における異常時の行動情報伝送処理の流れを示すフローチャート図である。 本発明の第３の実施の形態による認識データ伝送装置における異常時の行動情報に対応する映像データの伝送例を示す図である。 本発明の第３の実施の形態による認識データ伝送装置における異常時の行動情報に対応する映像データを示す情報の一例を示す図である。 本発明の第３の実施の形態による認識データ伝送装置におけるブロックで伝送する映像データ構造例を示す図である。 本発明の第３の実施の形態による認識データ伝送装置におけるコーデックの種類を示す図である。 本発明の第３の実施の形態による異常時の行動情報に対応する映像データ伝送処理の流れを示すフローチャート図である。

以下、図面を参照しながら本発明の実施形態について詳しく説明する。
（第１の実施形態）
本実施の形態は、宅内における人の位置や行動を認識するセンサを用い、そのセンサが取得した情報を遠隔地にいる人に知らせる見守りや子守り、侵入者の監視、防犯、安心安全などのセキュリティへの利用、または宅内の家電機器制御に利用するための画像処理装置、撮像装置、画像処理方法およびプログラムに関するものである。例えば、行動記録装置、行動再生装置、行動検出撮像装置などが該当する。
〔見守りシステム〕
図１は、本発明の第１の実施形態に係る認識データ伝送装置を用いた見守りシステムの概念図である。

図１に示すように、認識データ伝送装置１は、撮像装置１０と撮影映像から検出した入室者７の特徴データや行動情報を検出し、その行動情報を外部に伝送する。図１では、撮像装置１０を含む認識データ伝送装置１の設置位置の一例として、テレビ３の上部に設置している例を示す。テレビ３は、部屋の角に設置し、認識データの撮像装置１０から室内５全体を撮影できるようにしている。また、ドア６から入室する入室者７を確実に撮影できるように、ドア６の反対側の角に設置している。

認識データ伝送装置１は、入室者７を撮影し、撮影映像から人物の検出と、その人物がだれであるか、どのような行動をしているかに関する情報（以下、「行動情報」と称する。）を検出する。

なお、認識データ伝送装置１の設置位置は、室内５の全体が見渡せ、入室者７が確実に撮影映像画角内に入る位置ならばどこの位置であってもよく設置位置が限定されるものではない。例えば、天井や照明内部、室内壁面に設置したエアコン内部などでも良い。

次いで、認識データ伝送装置１が検出した行動情報をＷｉ−ＦｉやＥｔｈｅｒｎｅｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等のローカルネットワーク（ＬＡＮ）手段を用いて、室内５と同一の建物の別室にある情報表示端末２に表示する。表示する情報は検出した行動情報を文字やイラストで表示することや、情報表示端末で音声データに変換して、音声データとして出力してもよい。また、異常時等の緊急を要する行動情報の場合は、フラッシュや警告音、バイブレーション等とともに情報表示端末２にその行動情報を出力し、見守り者側に知らせてもよい。ここで、情報表示端末２に伝送するデータは行動情報としているが、認識データ伝送装置１の撮像装置１０で撮影した映像を伝送してもよい。特に、異常時等の緊急を要する場合は、行動情報とともに映像データを伝送することにより、見守り者は瞬時に入室者７の容態や安否を確認することができる。

同様に、認識データ伝送装置１で検出した行動データまたは撮影映像を光回線やＡＤＳＬ、携帯電話向け無線通信システム（第３・４世代移動通信システム）を使用してインターネットに接続し、遠隔地にある情報表示端末４に伝送してもよい。これにより、情報表示端末２に出力した見守り情報を遠隔地にいる見守り者に知らせることが可能となる。

なお、認識データ伝送装置１の映像を、情報表示端末２または４に表示させ、これら情報表示端末２または４に内蔵されたカメラの映像を認識データ伝送装置１経由でテレビ３に表示させることで、ＴＶ電話を実現することも可能である。ここでは、認識データ伝送装置１の映像を、テレビ３に表示する一例を挙げたが、これに限定されず、室内にある表示装置（例えば、スマートフォンやタブレット端末、ＰＣなど）に表示させるようにしてもよい。
〔行動情報伝送〕
図２は、認識データ伝送装置１が検知した行動情報の伝送例を示す図である。行動を検知される人物がＡ、Ｂ２人の場合について図示している。図２の左から右に向けて時間の経過を表している。最初に人物Ａが「入室した」行動を行い、「入室した」行動が終了した後、一定時間経過後に「立った」行動を行ったことを表している。ここで、図面上の左右方向の矢印は対応する行動に要した経過時間を表している。このように、図２においては、人物Ａ、Ｂの行動について経過時間とともに、時系列に示している。

人物の行動は、ある瞬間にのみ起こるということは少なく、一般的には行動開始から終了までに経過時間が存在する。見守りを行う場合は、映像の最小単位であるフレーム毎にその行動情報が通知される必要はなく、行動毎に行動情報が通知されればよい。従って、例えば「立った」という行動に関する行動情報は、いつ行動が開始され、その経過時間がどれくらいであったかを伝送すればよい。また、フレーム単位で行動情報を伝送すると、フレーム間で検出された行動情報の関連性が不明であるため、関連を保持する情報を付加する必要があり、伝送データが増大してしまう。

そこで、本実施形態では、１つの行動について、行動開始から終了までを行動情報の最小単位として伝送することを特徴とする。また、行動情報とともに、その映像を伝送する場合は、行動情報と映像データは行動の開始時間と終了時間とで参照すればよく、これにより、行動に対応する映像を検索することができる。

前述の行動情報の最小単位をブロックと呼ぶことにする。図２では、最初に人物Ａが「入室した」行動を開始し、「入室した」行動の間に、人物Ｂが「座った」行動を開始したことを示している。行動情報の伝送順番は、最初に行った人物Ａの「入室した」行動に関する行動情報をブロック０に格納して伝送を行う。次に、人物Ｂが行った「座った」という行動情報をブロック１としてブロック０の次に伝送を行う。このように、検出した人物の行動を１つの行動毎に１つの行動情報として検出し、それを１つのブロックとして、行動が発生した順番で伝送する。１つの行動を１つの行動情報としてブロック単位で伝送することにより、映像のフレーム毎に検出した顔などの情報を伝送する場合に比べて、大幅に伝送データを削減することができる。

前述のように、人物の行動は、１つの行動に対して経過時間が発生するため、ある行動が行われている間に別の人物による別の行動が行われる場合がある。例えば、図２の人物Ｂが「泣いた」を始めた後に、人物Ａが「立った」を始め、人物Ｂの「泣いた」が終わる前に人物Ａの「立った」の行動が終了するような場合である。この場合、人物Ｂの「泣いた」の行動を開始した時点で行動情報の伝送を開始すると、「泣いた」の行動が終了するまで人物Ａの「立った」の行動情報を伝送できなくなってしまう。そのため、本実施の形態では、行動が終了した時点を基準にしてその行動の検知が終了したと認識し、検知した順番に行動情報を伝送する。このような伝送順とすることで、人物Ｂの「泣いた」と人物Ａの「立った」の行動では、人物Ａの「立った」の行動の方が先に終了するため、ブロック２として人物Ｂの「泣いた」の行動情報のブロック３より先に伝送している。

また、人物Ａの「笑った」の行動と人物Ｂの「居なくなった」の行動のように同時刻に終了する場合は、どちらを先に伝送してもよい。図２では先に行動が開始された人物Ｂの「居なくなった」の行動情報をブロックｎとして人物Ａの「笑った」の行動情報（ブロックｎ＋１）より先に伝送する例を示している。

このように、同一時刻に終了した行動の行動情報がある場合の一例として、行動開始時刻が早い順に行動情報の優先度を高く設定し、優先度の高い順に行動情報を伝送するよう
にしてもよい。もし、同一時刻に終了した行動の行動情報があり、行動開始時刻も同じ行動情報があった場合は、予め優先度の高い人物を設定しておき、優先度の高い人物の行動には、より高い優先度を設定し、優先度の高い順に行動情報を伝送してもよい。図２では、人物Ｂより人物Ａの方が優先度が高いと設定しており、人物Ａの「泣いた」と人物Ｂの「起きた」は同一の開始時刻と終了時刻となっているため、優先度の高い人物Ａの「泣いた」をブロック６として、人物Ｂの「起きた」のブロック７より先に伝送している例を示している。

以上説明した行動情報は、人物の行動を表す情報としてブロック単位で伝送する例を説明したが、伝送するデータとして行動情報だけでなく、対応する映像や静止画を伝送してもよい。また、伝送データ量を削減するため、行動情報だけを伝送してもよい。
〔認識データ伝送装置〕
図３を参照して本実施の形態による認識データ伝送装置の構成例について説明する。

認識データ伝送装置１は、撮像装置１０で撮影した映像を表す映像信号を生成し、生成した映像信号を映像データとして映像解析部１１に送る。撮像装置１０は１つ以上の撮像部（１０１〜ｎ）から構成されていてもよい。図３では、ｎ個の撮像部があるとして図示している。１つ以上の撮像部とすることで、各撮像部が撮影する室内の領域を分担して撮影することが可能となるため、より広い領域を撮影できることや、家具などの物の影となる領域（オクルージョン領域）を削減することが可能となる。撮像部１０１からｎまでは、例えば、被写体から入射された光を焦点に集光するレンズを備えた光学系と、集光された光を電気信号に変換する撮像素子を備えるカメラである。撮像部１０１〜ｎが備える撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子である。なお、撮像装置１０が撮影する映像の出力は、有線であっても無線であってもよく、どのような伝送方式を用いて映像解析部１１に入力させるようにしてもよい。

映像解析部１１は、撮像装置１０から入力された映像を解析し、顔や人物の検出、または識別、人物がとった行動を検知する。情報ＤＢ（メモリ）１２は、顔や人物の検出、または識別するために必要な顔や物体のテンプレート、行動を検出するのに必要なモーション情報のテンプレートなどの学習情報等を記憶する。また、映像解析を行うための中間データを一時的に記憶する。さらに、予め特定の人物を識別できるようにするため、顔や人物の特徴量データを記憶する。

あるいは、映像解析部１１が検出した認識情報に応じて、人物の行動に対するアクションをネットワーク先の見守り側の情報表示端末に表示するための情報等が記憶されている。

映像解析部１１は、撮像装置１０の入力映像と情報ＤＢ１２の学習データを用いて、映像内の人物の行動を検知し、認識情報として出力する。その際、行動の検知に使用した映像データ（撮像装置１０が撮影した撮影映像を含む）についても、対応する認識情報とともに出力してもよい。

データ変換部１３は、映像解析部１１から出力された認識情報や撮影映像を前述のブロック単位に変換する処理を行う。そしてブロック単位に変換された認識情報や映像データを行動情報として伝送制御部１４に送り、伝送制御部１４は前述のＷｉ−Ｆｉなどの伝送手段を使って外部に伝送する。なお、伝送制御部１４はネットワークに伝送するだけでなく、光学ディスクや半導体メモリ、ＨＤＤなどの記録媒体１６に記録してもよい。伝送制御部１４が外部に伝送する行動情報は、認識情報のみで構成されていてもよいし、映像データのみで構成されていてもよいし、または認識情報および映像データの両方で構成されていてもよい。

また、映像解析部１１に入力する映像は、撮像装置１０からの撮影映像だけでなく記録媒体１６に記録された映像データベースの映像であってもよい。さらに映像データベースは、インターネット上に接続されたサーバが記憶している映像であってもよい。

映像解析部１１に入力する映像データは、映像データだけでなく赤外線センサや測距センサ、加速度センサ、ジャイロセンサ、電子コンパスなどの各種センサからの検出結果でもよく、これらセンサの検出結果を用いて認識情報を生成してもよい。
〔映像解析部〕
図４を用いて映像解析部１１の一構成例について詳細に説明する。

映像解析部１１は、撮像装置１０から入力された映像信号に基づき人物の顔の検出と、複数の撮影時間が異なる映像データの違いから算出する動き情報を組合せ、顔と検出した映像上の領域から、動いたもの（画像データに変化があった領域）を人物であると判定し、人物がいるかどうか、および人物の追跡検出を行い、その結果を認識情報として出力する。また、映像解析部１１は、撮像装置１０から入力された映像信号に基づき人物のいる位置や動き量の検出、人物の性別や年齢、人物がだれであるかの識別、顔の向いている方向や表情等、検出した人物がどのような行動をしているかを検出し、その結果を検出情報として出力する。さらに、検出する行動には、ジェスチャ等の人のモーションを表す情報を検出し、出力する。
〔動きベクトル検出部〕
動きベクトル検出部１１０は、撮像装置１０から入力される複数の映像から映像内の動いた領域を検出する。１つの撮像部の映像を時間方向に１フレーム以上ためておき、現在のフレーム画素値と対応する同座標の過去のフレームの画素値の差分値が予め定めた閾値より大きい領域が、動いた領域として検出する。動きベクトル検出部１１０は、検出した動いた領域とその重心座標、移動量と移動方向（ベクトル）を追跡情報（動きベクトル情報）として、人物検出部１１１およびモーション検出部１１３に入力し、同時に検出情報として出力する。

また、動きベクトル検出部１１０は、撮像装置１０から入力される複数の映像に加え、後述の人物検出部１１１が出力する人物情報を入力して映像内の動いた領域を検出してもよい（図示はなし）。動きベクトル検出部１１０が検出した動いた領域が、人物検出部１１１が出力する人物情報に含まれる位置情報を基準に予め定めた閾値の範囲（領域）内にある場合に、人物が動いたと判定し、検出した動いた領域とその重心座標、移動量と移動方向（ベクトル）を人物の追跡情報（動きベクトル情報）として、モーション検出部１１３に入力し、同時に検出情報として出力してもよい。このように、検出した動いた領域情報と人物情報を組み合わせることで、物などの人物以外の動きベクトル情報を検出することを避けることができ、見守り対象の人物の動きベクトル情報を抽出して、出力することが可能となる。

なお、動きベクトル検出部１１０の動き情報検出方法はこの方法に限定されるわけではなく、縦と横の画素数が８×８や１６×１６などの領域（マクロブロック）の単位で現在のフレームのマクロブロックに一致する領域が過去フレームのどこにあるかを探索し、見つかった場合にその座標の移動量を動き量にする方法など、どのような方法であってもよい。
〔人物検出部〕
人物検出部１１１は、撮像装置１０から入力される複数の映像と、動きベクトル検出部１１０から入力される動きベクトル情報とから顔面の画像を表す領域を検出する。人物検出部１１１は、検出した顔面の領域における代表点（例えば、重心点）の２次元座標や、その領域の上端、下端、左端、右端の２次元座標を表す２次元顔面領域情報を生成する。人物検出部１１１は、複数の撮像部が撮影した複数の画像から生成した前述の２次元座標を組合せ、室内の３次元空間座標系の３次元座標に変換して、３次元の顔位置情報を生成する。ここで顔を検出できた場合に、人物が室内に入室したと判定する。

顔面の領域を検出するために、人物検出部１１１は、例えば予め設定した顔面の色彩（例えば、肌色）を表す色信号値の範囲にある画素を、入力された画像信号から抽出する。

なお、人物検出部１１１は、予め人間の顔面を表す濃淡（モノクロ）画像信号を記憶した記憶部を備えるようにしてもよい。そこで、人物検出部１１１は、記憶部から読み出した濃淡画像信号と入力された画像信号との相関値を複数の画素を含む画像ブロック毎に算出し、算出した相関値が予め定めた閾値よりも大きい画像ブロックを顔面の領域と検出する。

その他、人物検出部１１１は、入力された画像信号に基づいて特徴量（例えば、Ｈａａｒ−Ｌｉｋｅ特徴量）を算出し、算出した特徴量に基づいて予め定めた処理（例えば、Ａｄａｂｏｏｓｔアルゴリズム）を行って顔面の領域を検出してもよい。人物検出部１１１が顔面の領域を検出する方法は、上述の方法に限られず、入力された画像信号から顔面の領域を検出する方法であれば、いかなる方法を用いてもよい。

また、映像中に人物がいる場合でも、必ずしも顔が撮影されるとは限らないため、動きベクトル検出部１１０から入力される動きベクトル情報を用いて、動いた領域に人物がいると判定してもよい。さらに、顔面の領域情報と動きベクトルを組み合わせて人物を検出してもよい。動きベクトル情報と顔面の領域情報とを照合しながら、検出した人物を追跡することで、次のフレームでの顔検出範囲を特定することができるため、人物検出精度の向上と、計算量の削減が可能となる。

以上までの説明では、画像上の顔を検出する方法について説明したが、その他の顔に関する情報、例えば、顔の性別、年齢、顔の向いている向き、笑っているや怒っている、泣いている等の顔の表情など、これら画像から特徴量を抽出し、登録することにより、画像上の顔を検出する。また、同様に上や下、横などの様々な方向を向いた顔画像から特徴量を抽出し、登録することにより、顔の向いている向きを検出する。さらに、人物検出部１１１は、予め特定の人物の顔画像から特徴量を抽出し、その特徴量を登録しておき、入力された顔画像と登録した特徴量を前記アルゴリズムにて照合することによって、入力された顔画像が登録者のだれであるかを識別するようにしてもよい。

人物検出部１１１が検出したこれら顔に関する情報は、人物情報として、ユーザ情報検出部１１２およびモーション検出部１１３、行動認識部１１４に入力され、同時に検出情報として出力される。

さらに、人物検出部１１１は、前記検出した人物情報に加え、撮像装置１０で撮影された撮影映像、または前記撮影映像から検出された人物情報に対応する顔領域や人物領域などを切り出した切出映像や、撮像装置１０が撮像した撮影映像のうち、人物情報に対応する撮影映像をユーザ情報検出部１１２およびモーション検出部１１３、行動認識部１１４に出力してもよい。
〔ユーザ情報検出部〕
次に、ユーザ情報検出部１１２の構成について説明する。人物検出部１１１で検出した人物情報に基づき、人物の特徴量として予め登録してある情報ＤＢのデータと比較して、属性推定部１１２０は検出した人物情報の年齢や性別を推定する。また、表情推定部１１２１は人物の笑うや泣く、怒りなどの表情を推定する。人物識別部１１２２は、予め情報ＤＢに登録してある人物の顔器官の特徴量と比較し、登録者のだれと一致するかの照合を行い、映像データ内にいる人物を識別する。登録者と一致した場合は、その人物の名前を、だれとも一致しない場合は、未知の人として識別結果を出力する。位置検出部１１２３は、人物の映像上の位置を出力する。人体部位検出部１１２４は、検出した人物の頭、腕、手、足、胴体といった人体の部位を検出し、その映像中の位置情報や大きさを出力する。
〔モーション検出部〕
モーション検出部１１３は、撮像装置１０から入力される複数の映像と、人物検出部１１１から入力される人物情報と、動きベクトル検出部１１０から入力される追跡情報（動きベクトル情報）から、検出した人の動きや行動などのモーションを検出する。人物検出部１１１から入力される顔の３次元空間座標系の座標位置が、予め定めた閾値より高い位置にある場合に、立っていると判断する。さらに、予め情報ＤＢに登録した人の識別情報と一緒に、身長情報を登録しておき、人物検出部１１１から出力される識別情報と身長情報から、立っていると判断する顔の３次元座標の範囲を設定しておけば、より高精度に立っていると判断できる。次に、同様に顔の３次元座標が床より予め定めた閾値より床側にあるときに寝ている（もしくは倒れている）と判断する。ベッドなどが設置されている場合は、その高さを前述の閾値に含めることにより、同様に寝ているかを判断する。これら、立っているもしくは寝ている以外の状態を座っていると判断する。モーション検出部１１３は、これら判定結果をモーション情報として出力する。

また、モーション検出部１１３は、人物検出部１１１からの人物情報と、動きベクトル検出部１１０の追跡情報と、位置検出部１１２３の人物位置情報と、人体部位検出部１１２４の人体部位情報とから、人が室内に存在し、かつ動いていることを検出すると、検出した人が起きていると判断する。さらに、起きている人が、突然、寝た状態になった、もしくは、寝た状態からしばらく動かない場合は、体調の急変が予測されるため、倒れているという情報をモーション情報として出力する。

また、モーション検出部１１３は、人物検出部１１１からの人物情報と、動きベクトル検出部１１０の追跡情報と、位置検出部１１２３の人物位置情報と、人体部位検出部１１２４の人体部位情報とから、人の手や足の動き、顔の３次元座標の変動からジャンプ等を検出し、予め定めた身体の形や動きなどのジェスチャを検出する。そして、検出したジェスチャ情報をモーション情報として出力する。

なお、以上までに説明した人の行動検出は、これに限定されるものではなく、これら単体での検出に加え、いくつかを組み合わせて人の行動またはモーションを検出してもよい。
〔行動認識部〕
行動認識部１１４は、ユーザ情報検出部１１２から入力される検出情報である室内の人の有無の検出および追跡結果や、入室者が誰であるかの識別結果、在室人のモーション検出結果と、情報ＤＢ１２の情報から、入室者の行動を検出し、情報ＤＢ１２に記録する。検出される行動には、入室者が立っているか、座っているか、寝ているか、部屋のどこに位置し、どちらの方向を向いているか等を検出する。また、入室者のいる位置と人の向いている方向を検出することにより、例えば、テレビを見ている、調理をしている、食事をしているなどを検出することができる。

さらに、検出した行動の情報を情報ＤＢ１２に記録するだけでなく、例えば、テレビなどの表示ディスプレイにその検出結果を表示してもよい。それは、現在の検出情報をリアルタイムに表示しても良いし、過去のデータを表示してもよい。

また、行動認識部１１４は、ネットワークを通じて、検出した行動情報を、見守りを行う側に送信してもよい。送信する行動情報は、見守りを行う側の表示ディスプレイ（テレビや、携帯電話、携帯端末、専用表示ディスプレイなど）に送信・表示や記録してもよい。また、ネットワーク上に存在するサーバに検出した行動情報を一旦記録し、見守りを行う側が必要な時に読みだし、前記表示ディスプレイに表示してもよい。

さらに、行動認識部１１４は、部屋に入室した人の検出情報から、例えば、子供の場合は浴室や洗濯機設置部屋への入室の検出による閉じ込め防止や溺れ事故を防ぐことができる。あるいはキッチンでのコンロやストーブのいたずらによる火災を未然に防ぐことができ、室内のセキュリティの監視にも使用することができる。また、情報ＤＢ１２に登録されていない人物の入室を検出することにより、窃盗犯等の検出を行うことが可能となる。

行動認識部１１４はこれら制御に追加し、例えば、予め決められたジェスチャや、予め決められた人の行動を自動認識し、対応する機器１〜ｍの操作を行う。ユーザ情報検出部１１２から入力された検出情報と情報ＤＢ１２の情報を照合し、予め決められた機器の指定と、指定した機器の制御コマンドを検索し、対応する機器に制御コマンドを送信する。

行動認識部１１４は、人物検出部１１１およびユーザ情報検出部１１２、モーション検出部１１３から入力される、撮像装置１０で撮影された撮影映像、または前記撮影映像から検出された人物情報に対応する顔領域や人物領域などを切り出した切出映像や、撮像装置１０が撮像した撮影映像のうち、人物情報に対応する撮影映像を、前記行動情報を含む認識情報とともに、撮影映像としてデータ変換部１３や情報ＤＢ１２に出力してもよい。
〔行動情報〕
図５を参照しながら、ブロックで伝送する行動情報の詳細な例について説明する。

図５は、１つのブロックの先頭から格納するデータの順番や内容について説明した図である。ブロックに格納するデータは、図５の形式にしたがったバイナリ形式のデータである。ブロックに格納する各情報（以下、フィールド）は、先頭から順にブロックＩＤ、ブロック優先度、行動ＩＤ、開始時間、行動時間、フレームレートＩＤ、付加情報サイズ、付加情報の順に記録される。以下に説明を行う。
（ブロックＩＤ）
１つ目のフィールドのブロックＩＤは、ブロック毎に付加される固有のＩＤであり、伝送するブロックに対して０から順番に格納する。ブロックＩＤの記録領域は３Ｂｙｔｅの固定長であり、０から０ｘＦＦＦＦＦＦの値を格納する。例えば、図２のＡの最初の行動である「入室した」の行動情報を格納するブロック０のブロックＩＤには、「０」を格納する。
（ブロック優先度）
２つ目のフィールドのブロック優先度は、検出した行動情報の優先度を格納する。優先度が高ければ高いほど、先に（早い時間に）行われた（終了した）行動であり、「倒れた」などの緊急を要する重要な行動情報であることを示す。ブロック優先度の記録領域は１Ｂｙｔｅの固定長であり、１から０ｘＦＦの値を格納する。値１は優先度が一番低く、値が増加するにつれ、優先度が高くなることを示す。また、０ｘＦＦで緊急データ（最優先）であることを示す。
（行動ＩＤ）
３つ目のフィールドの行動ＩＤは、検出した行動の内容を表すＩＤである。行動ＩＤの記録領域は１Ｂｙｔｅの固定長であり、図６（ａ）の行動ＩＤに示すように、行動の種類に対応するＩＤを格納する。映像解析部１１で認識した行動情報に対応する行動の種類のＩＤを格納する。例えば、図２のＡの最初の行動である「入室した」の場合は、ＩＤ２を格納する。

撮像部１０１の撮影映像内に人がいないか、またいる場合でも、特に目立った行動をしていない場合は、ＩＤ０の「行動情報なし」を格納する。目立った行動がないにも関わらず、「行動情報なし」を格納し、伝送する場合には、撮像部１０１の撮影映像内に人が検出され、その人がだれであるか、また検出した顔や行動の信頼度等の付加情報を伝送したい場合等である。行動ＩＤは、図６（ａ）に示す０〜１５の行動に加え、後で追加定義できるようにしてもよい。そのため、行動ＩＤ１６から２５４までをＲｅｓｅｒｖｅｄ領域として確保している。行動情報を後で追加する場合に行動ＩＤ１６から２５４を使用し、新たに行動の種類を定義する。

また、行動ＩＤとして値２５５を格納すると「拡張フラグ」を示す。「拡張フラグ」は、行動の種類として行動ＩＤ０から２５４を使い果してしまった場合の拡張用であり、行動ＩＤに２５５が格納されると、後述する付加情報のＲｅｓｅｒｖｅｄ領域に、追加の行動の種類を定義できるようにするためである。
（開始時間）
４つ目のフィールドの開始時間は、行動ＩＤで示した行動を開始した時間を示す情報を格納する。開始時間の記録領域は４Ｂｙｔeの固定長であり、撮像部１０１で撮影した映像データと、映像データから認識した行動情報を伝送する場合、撮影開始からのフレーム番号を格納する。見守りを開始してからの撮影映像に対応するフレーム番号を格納することにより、認識した行動に対応する映像をすぐに検索することが可能となる。

また、伝送のデータ量を削減するためや、映像データが不要なシステムの場合など、行動情報を伝送する場合は、時刻（時間）情報を格納してもよい。
（行動時間）
５つ目のフィールドの行動時間は、行動ＩＤで示した行動に費やした経過時間を示す情報を格納する。行動時間の記録領域は４Ｂｙｔeの固定長であり、撮像部１０１で撮影した映像データと、映像データから認識した行動情報を伝送する場合、行動開始（開始時間フィールドが示すフレーム番号）からのフレーム数を格納する。見守りを開始してからの撮影映像に対応するフレーム数を格納することにより、認識した行動の経過時間（行動期間）に対応する映像をすぐに検索することが可能となる。

また、伝送のデータ量を削減するためや、映像データが不要なシステムの場合など、行動情報を伝送する場合は、行動に費やした経過時間を格納してもよい。

行動の経過時間情報を格納する説明を行ったが、行動が終了した時点でのフレーム番号、または時刻（時間）情報を格納してもよい。この場合、前述の開始時間と格納した行動終了時間の差で、行動の経過時間を算出することが可能となる。
（フレームレートＩＤ）
６つ目のフィールドのフレームレートＩＤは、撮像部１０１で撮影した映像データのフレームレートを表す情報を格納する。フレームレートＩＤの記録領域は１Ｂｙｔeの固定長であり、図６（ｂ）に示すフレームレートの種類に対応したＩＤを格納する。例えば、映像データが１秒間に６０フレームの場合は、ＩＤの値８を格納する。図６（ｂ）では、０から１３のフレームレートの種類を示しているが、これだけのフレームレートの種類に関わらず他のフレームレートがあってもよい。そのため、フレームレートが後で追加できるように、ＩＤ１４から２５５までＲｅｓｅｒｖｅｄ領域として確保する。フレームレートの追加が発生した場合は、ＩＤ１４から２５５に追加で定義すれば良い。

フレームレートＩＤは、開始時間や行動時間で示した情報が対応する映像のフレーム番号やフレーム数を格納した場合に、フレーム番号やフレーム数から行動開始時刻（時間）や行動の経過時間を算出するために用いる。例えば、フレームレートＩＤが８（１秒間に６０フレームの映像）の場合に、開始時間が６００（フレーム）であったとすると、撮影開始から１０秒後に開始された行動であることを示す。また、行動時間が３６００（フレーム）であったとすると、行動が開始されてから６０秒その行動が行われたことを示す。

また、フレームレートＩＤが値０（フレームレート情報なし）の場合は、フレームレート情報がないことを示す。これは、認識した行動情報を伝送し、対応する映像データを伝送しない場合等に使用する。この場合、開始時間や行動時間にフレーム番号やフレーム数を格納しても、時刻（時間）情報に変換できないため、開始時間や行動時間フィールドには、時刻（時間）情報を格納することになる。したがって、フレームレートＩＤの値が０の場合は、開始時間や行動時間に格納された情報が時刻（時間）情報であると判定するフラグ情報として使用することができる。
（付加情報）
７つ目のフィールドの付加情報サイズ、および８つ目のフィールドの付加情報は、映像解析部１１が出力する認識情報を決定するのに用いる各検出情報を格納する。付加情報の記録領域は０から６５５３５Ｂｙｔｅの可変長であり、伝送する付加情報のサイズを付加情報サイズに格納する。付加情報サイズの記録領域は２Ｂｙｔeの固定長であり、付加情報サイズの大きさをＢｙｔｅ単位で格納する。

付加情報は、先頭から行動信頼度、顔識別ＩＤ、顔識別信頼度、テキスト情報サイズ、テキスト情報を格納する。
（行動信頼度）
付加情報の１つ目のフィールドである行動信頼度は、映像解析部１１が認識した行動に対する信頼度（認識情報の確からしさ）を格納する。行動信頼度の記録領域は２Ｂｙｔｅの固定長であり、０から６５５３５の値を格納する。値が大きいほど、信頼度が高いことを示す。
（顔識別ＩＤ）
付加情報の２つ目のフィールドである顔識別ＩＤは、映像解析部１１で認識した行動を行った人を識別するＩＤを格納する。顔識別ＩＤの記録領域は２Ｂｙｔｅの固定長であり、０から６５５３５の値を格納する。値０は識別情報なし（識別者なし）を表し、値１から人の識別情報を表す。識別情報は、予め識別したい人の顔を撮影し、映像解析部１１の人物識別部１１２２にて、撮影した人の特徴を顔情報として抽出し、識別ＩＤに割り当てることで、識別したい人を登録する。そして、見守り開始からの撮影映像から同様に人物識別部１１２２にて撮影した人の特徴を顔情報として抽出し、予め登録した識別ＩＤのどのＩＤと一致するかを識別し、一致する識別ＩＤが存在した場合は、そのＩＤを顔識別ＩＤに格納する。一致する識別ＩＤが存在しない（予め登録してある人と別の人）の場合は、顔識別ＩＤに０を格納する。
（顔識別信頼度）
付加情報の３つ目のフィールドである顔識別信頼度は、映像解析部１１の人物識別部１１２２で識別した人の識別ＩＤに対する信頼度（認識情報の確からしさ）を格納する。顔識別信頼度の記録領域は２Ｂｙｔｅの固定長であり、０から６５５３５の値を格納する。値が大きいほど、信頼度が高いことを示す。
（テキスト情報）
付加情報の４つ目のフィールドのテキスト情報サイズ、および５つ目のフィールドのテキスト情報は、伝送ブロックに関する説明や、顔識別者の名前、認識した行動に対する注意や警告に対応する通知内容等の文字情報を格納する。テキスト情報の記録領域は０から２５５Ｂｙｔｅの可変長であり、伝送するテキスト情報のサイズをテキスト情報サイズに格納する。テキスト情報サイズの記録領域は１Ｂｙｔeの固定長であり、テキストサイズの大きさをＢｙｔｅ単位（１文字単位）で格納する。

テキスト情報の終了は、Ｎｕｌｌ文字を付加することで行う。テキスト情報が奇数の文字数の場合や、テキスト情報の次のフィールドの先頭が４の倍数のアドレス（４ＢｙｔeのＡｌｉｇｎｍｅｎｔ）値とならない場合に、テキスト情報サイズで４Ｂｙｔe Ａｌｉｇｎｍｅｎｔがなされるサイズを格納してテキスト情報サイズを調整し、実際に格納された文字数は、テキスト情報の先頭からＮｕｌｌ文字を検索することで行ってもよい。

また、付加情報に格納する情報はこれらに関わらず他の検出や認識した情報を格納してもよい。そのため、追加の情報が後で追加できるように、Ｒｅｓｅｒｖｅｄ領域を可変長領域として確保する。Ｒｅｓｅｒｖｅｄ領域には、前述の図６（ａ）の行動の種類が２５６個以上となった場合、ＩＤ２５５の拡張フラグを使用し、行動の種類等の情報を格納する。Ｒｅｓｅｒｖｅｄ領域は可変長サイズとなるが、付加情報全体のサイズは、付加情報サイズに格納されているため、Ｒｅｓｅｒｖｅｄ領域の終端位置を検出することが可能である。

さらに、付加情報を伝送しない場合は、付加情報サイズに０を格納し、付加情報を伝送しないことも可能である。この場合、１つのブロックのデータサイズは、ブロックＩＤから付加情報サイズの合計１６Ｂｙｔｅとなり、行動情報を最小限のデータ量で伝送することが可能となる。
〔処理フロー〕
次に、本実施の形態に係る認識データ伝送処理について説明する。

図７は、本実施形態に係る認識データ伝送処理の流れを示すフローチャート図である。（ステップＳ１００）
映像解析部１１が、撮像装置１０から映像データを取得する。次に、ステップＳ１０１に進む。
（ステップＳ１０１）
動きベクトル検出部１１０が、撮像装置１０で撮像された映像データに基づいて、撮影時間が異なる複数のフレーム映像を保持しておき、映像上で画素値が変化した領域を動いた領域として検出し、その移動量を出力する。検出した移動量や移動座標、移動ベクトルを動きベクトル情報として出力する。次のフレーム映像の動き量を検出するため、現在のフレーム映像を情報ＤＢ（メモリ）１２に保存する。次に、ステップＳ１０２に進む。
（ステップＳ１０２）
人物検出部１１１が、撮像装置１０で撮像された映像データと、ステップＳ１０１で検出した動きベクトルを使って、映像データ内の人物を検出する。映像データ内から前述の方法により顔を検出し、顔が存在した場合は、人物が存在したと判定する。また、映像中に人物がいる場合でも、必ずしも顔が撮影されるとは限らないため、算出した動きベクトルを用いて、動いた領域に人物がいると判定してもよい。さらに、顔検出情報と動きベクトルを組み合わせて人物を検出してもよい。ステップＳ１０１で出力された動きベクトルとステップＳ１０２で検出した人物情報とを照合しながら、検出した人物を追跡することで、次のフレームでの顔検出範囲を特定することができるため、人物検出精度の向上と、計算量の削減が可能となる。映像中の人物の有無、映像内の人物の位置、顔の大きさ、顔の向き、顔器官の特徴量、人物の追跡結果といった人物情報を出力し、ステップＳ１０３に進む。

尚、ステップＳ１０１とステップＳ１０２の処理は、上述のように、処理の前後を入れ替えても良い（ステップＳ１０２からステップＳ１０１でも良い）。
（ステップＳ１０３）
ユーザ情報検出部１１２が、ステップＳ１０２で算出した人物情報に基づき、人物の特徴量として予め登録してある情報ＤＢのデータと比較して、属性推定部１１２０は検出した人物情報の年齢や性別を推定する。また、表情推定部１１２１は人物の笑いや泣く、怒りなどの表情を推定する。人物識別部１１２２は、予め情報ＤＢに登録してある人物の顔器官の特徴量と比較し、登録者のだれと一致するかの照合を行い、映像データ内にいる人物を識別する。登録者と一致した場合は、その人物の名前を、だれとも一致しない場合は、未知の人として識別結果を出力する。位置検出部１１２３は、人物の映像上の位置を出力する。人体部位検出部１１２４は、検出した人物の頭、腕、手、足、胴体といった人体の部位を検出し、その映像中の位置情報や大きさを出力する。ステップ１０３では、これら検出したユーザ情報を出力し、ステップＳ１０４に進む。
（ステップＳ１０４）
モーション検出部１１３が、撮影時間の異なる複数のフレーム映像から検出した人物の位置情報と人体部位情報、動きベクトル情報、人物追跡情報とから、人物の動きや身振り手振りを含むモーション情報を検出する。そして、ステップＳ１０５に進む。
（ステップＳ１０５）
行動認識部１１４が、撮像装置１０で撮像した映像データと、検出した人物情報、ユーザ情報、モーション情報に基づいて、人の立っている、座っている、寝ている、倒れているなどの人物の行動に関する情報（行動情報）を認識し、認識情報として出力する。その後、ステップＳ１０６に進む。
（ステップＳ１０６）
ステップＳ１０５の行動認識処理から出力された認識情報を情報ＤＢ（メモリ）に保存する。これは、複数のフレーム間で認識を行う動き情報や追跡情報、モーション情報の検出を行うために使用され、現在の映像データから検出した認識情報を保存する。その後、ステップＳ１０７に進む。
（ステップＳ１０７）
ステップＳ１０６から出力される認識情報を伝送するため、人物の行動毎に認識情報を分割し、１つの行動に対する認識情報を１つのブロックデータとして生成する。１つのブロックデータは、前述の行動開始、終了時間や行動に対応する行動ＩＤなどである。そして、ステップＳ１０８に進む。
（ステップＳ１０８）
入力された映像データで検出された行動について、本映像データ内で行動が終了したことを検出した、すなわち、同一時刻で終了した行動の行動情報が他にあるかを判定する。同一時刻に行動が終了した行動情報がある場合（ステップＳ１０８ Ｙｅｓ）、ステップＳ１０９に進む。同一時刻に行動が終了した行動情報が他にない場合（ステップＳ１０８
Ｎｏ）、行動情報を格納するブロックのブロック優先度フィールドに０ｘ８０（通常データ）を格納し、ステップＳ１１０に進む。
（ステップＳ１０９）
同一時刻に終了した行動の行動情報がある場合、その中で行動開始時刻が早い順に、行動情報を格納するブロックのブロック優先度フィールドに優先度の高い値を格納する。例えば、同一時刻に終了した行動の行動情報の中で行動開始時刻が一番遅かった行動情報に対しては、ブロック優先度に０ｘ８０（通常データ）を格納する。前記行動情報の次に行動開始時刻が早かった行動情報に対しては、ブロック優先度に０ｘ８１を格納するというように、行動開始時刻が早い行動情報の方がより高い優先度の値をブロック優先度に格納する。また、同一時刻に終了した行動の行動情報の中で、もし行動開始時刻が同じ行動情報があった場合は、予め優先度の高い人物を設定しておき、優先度の高い人物の行動には、より高い優先度の値をブロック優先度に格納するようにする。ブロック優先度の値を格納し終えたら、ステップＳ１１０に進む。
（ステップＳ１１０）
映像データから検出された行動情報をブロック単位で伝送する。伝送する順番は、ブロック内に格納されたブロック優先度の値が高い順に伝送する。全てのブロックの行動情報を伝送し終えたら、ステップＳ１１１に進む。
（ステップＳ１１１）
電源ＯＦＦや見守り終了など、認識データ伝送処理を終了させるか否かを判断する。認識データ伝送処理を引き続き継続すると判断された場合（ステップＳ１１１ ＮＯ）、ステップＳ１００に進み、次の撮影映像を取得する。認識データ伝送処理が終了したと判断された場合（ステップＳ１１１ ＹＥＳ）、処理を終了する。

以上により、撮像装置１０で撮像した映像データから、人物の行動を認識し、行動毎に認識した行動情報をブロック単位で伝送することで、見守る情報として最小限のデータを伝送することができるため、転送データ量を削減できる。さらに、従来は見守る側は映像データを常に視聴して安否の確認をする必要があったが、予め定めた行動情報のみ通知する、または伝送された行動情報から選択することにより、緊急を要する行動または安全に生活しているといった安否情報を必要な場合に通知することができるため、利便性が大幅に向上する。

尚、本実施の形態では、認識したデータを伝送する認識データ伝送装置について説明したが、認識したデータを記録する認識データ記録装置も同様に実現できることは言うまでもない。
（第２の実施形態）
〔異常時の伝送〕
次に、図２に記載の行動情報に追加して、異常時の行動情報を伝送する場合の１例について図８を参照しながら説明する。

人物の行動には、図２で説明した「立つ」や「笑う」など普段の生活を表すものに加え、倒れた（転んだ）や居なくなった等の異常時を表す行動も存在する。一般的に異常時の行動への対応は緊急を要する場合が多いため、通常の行動情報より早くその情報を見守り側に通知する必要がある。そのため、図８では人物Ｂが先に「歩いた」行動を開始し、「歩いた」が継続している間に、人物Ａが「倒れた」行動を開始している。その後、人物Ｂの「歩いた」行動が終了した後に、人物Ａの「倒れた」行動が終了している。第１の実施の形態の伝送順のルール（図２）によれば、行動が終了した順番で行動情報を伝送するため、人物Ｂの「歩いた」行動情報の方が、人物Ａの「倒れた」行動情報より先に伝送されることになる。しかしながら、人物Ａの「倒れた」の行動は緊急を要する異常時の行動であるため、図８中の人物Ａの「倒れた」の行動情報をブロック４（太枠で示す。）として、人物Ｂの「歩いた」の行動情報（ブロック５）より先に伝送するようにする。このように、予め定めた異常時等の行動を検知した場合は、それ以外の行動情報より先に伝送することにより、見守り側に緊急情報を素早く通知することが可能となる。

なお、ここでいう「倒れた」の行動開始から終了までは、人物Ａが倒れはじめ、床や地面に横たわり、ある一定時間動かなかった時点を以て「倒れた」の行動が終了したとしている。そのため、倒れる行動を検知するまでに時間を要することになり、場合によっては、人物Ｂの「歩いた」の行動終了より、人物Ａの「倒れた」の検出時間が遅くなってしまう状況が発生し、この場合には、人物Ｂの「歩いた」の行動情報が先に伝送される。そこで、異常時の行動検出がなされた場合には、できるだけ早い段階で見守り側に伝送する必要があるため、人物Ａが倒れはじめた段階で倒れると予見できる場合には、倒れる行動の検出終了前の予見できた段階でその行動情報を伝送するようにしてもよい。
〔行動情報〕
次に、本実施の形態において伝送されるブロックに格納する行動情報について説明する。

人物Ｂの「歩いた」の行動時間中に、人物Ａの「倒れた」を検出できた場合は、図５の行動ＩＤに、ＩＤ８（図６（ａ）、倒れた）を格納し、ブロック優先度に０ｘＦＦ（緊急データ）を格納する。そして、ブロックＩＤとして値４と、前述と同様にその他情報を格納し、人物Ｂの「歩いた」の行動情報より先に、ブロック４として人物Ａの「倒れた」の行動情報を伝送する。

その後、人物Ｂの「歩いた」の行動終了後に、図５の行動ＩＤに、ＩＤ３（図６（ａ）、歩いた）を格納し、ブロック優先度に０ｘ８０（通常データ）を格納する。そして、ブロックＩＤとして値５と、前述と同様にその他情報を格納し、人物Ｂの「歩いた」の行動情報をブロック５として伝送する。

これら異常時の行動データに対して、ブロック優先度フィールドに優先度が高いことを表す情報を格納し、他のブロックデータより先に異常時の行動情報を伝送することで、見守り側に異常時の行動情報を素早く通知することができる。
〔処理フロー〕
次に、本実施の形態に係る異常時の認識データ伝送処理について説明する。

図９は、本実施の形態に係る異常時の認識データ伝送処理の流れを表すフローチャートである。

ステップＳ１００からＳ１１１は前述と同様であるため、説明を省略する。
（ステップＳ１２０）
撮像装置１０の映像データから認識した認識情報が予め登録してある「倒れた」や「居なくなった」などの異常時の行動情報であったか否かを判定する。異常時の行動情報は緊急を要する場合が多いため、ブロックの伝送順番を変更する。行動情報が緊急時のデータであった場合（ステップＳ１２０でＹｅｓ）、ステップＳ１２１に進む。行動情報が緊急時のデータでなかった場合（ステップＳ１２０でＮｏ）、ステップＳ１０８に進む。
（ステップＳ１２１）
認識した行動情報が緊急時である場合は、ブロック内ブロック優先度フィールドに緊急データであることを示す０ｘＦＦの値を格納する。これで検出した行動情報が緊急データであることを示すため、ステップＳ１１０で最も先に伝送されるブロックとなる。

以上により、認識した行動情報が緊急を要する異常時であった場合に、他の人物の行動情報より先に伝送することが可能となる。そのため、見守る側は、予め登録しておいた異常時の行動をいち早く知ることが可能となる。
（第３の実施形態）
〔静止画の伝送〕
次に図８の異常時の行動を認識した場合の行動情報に追加して、対応する静止画を伝送する場合の例について、図１０を参照しながら説明する。

本実施の形態では、図８の異常時の行動情報の伝送について、見守り側に異常を通知するだけでなく、その状況を映像によって知らせるようにするため、行動情報と併せて静止画を伝送する。人物Ａの「倒れた」行動を検知した段階でブロック４としてその行動情報を伝送するが、ブロック４伝送の後にブロック４に対応する「倒れた」状況を撮影した静止画像をブロック５として伝送する。その後、人物Ｂの「歩いた」の行動情報（ブロック６）を伝送する。このように行動情報と静止画像とを伝送することにより、見守り側の情報表示端末に異常時の行動とその状況を表す静止画像を素早く通知することができる。異常時の場合に、対応する静止画像を伝送することで、現在行われている映像伝送を主体とした見守りサービスや監視カメラと比較し、必要な情報（静止画像を含む）を最小限に伝送すればよく、伝送データ量を大幅に削減できる。さらに、見守りを行う場合、一日の行動情報を全て受け取ると、膨大なデータ量となる。映像データのみ伝送する場合は、一日中、映像を視聴する必要があり、非常に不便である。そのため、通常の行動ではその行動を表す行動情報を伝送し、異常が発生した場合は、その行動情報とともに対応する映像を伝送することで、見守る側の利便性の向上と、データ転送量の削減、延いては消費電力の削減が可能となる。静止画像はサムネイル画像でも良い。

〔ブロック４：行動情報伝送〕
次に、本実施形態で伝送するブロックに格納する行動情報について説明する。
人物Ｂの「歩いた」の行動時間中に、人物Ａの「倒れた」を検出できた場合は、図１１の行動ＩＤに、ＩＤ８（倒れた）を格納し、ブロック優先度に０ｘＦＦ（緊急データ）を格納する。そして、人物Ａの「倒れた」状況を撮影した映像（静止画像）を後述する形式
で記録し、ブロック５として映像（静止画像）データを伝送する。伝送した映像データであるブロック５のＩＤを図１１の付加情報領域に格納する。
（映像ブロック情報）
付加情報領域内のテキスト情報の後に、６つ目のフィールドの映像数、および７つ目のフィールドの映像ブロックＩＤを格納する。映像ブロックＩＤは、検出した行動情報に対応する映像データ（静止画像）が格納されたブロックのブロックＩＤを格納する。１つの映像ブロックＩＤを格納する記録領域は、３Ｂｙｔｅの固定長であり、これらを順に複数個格納することができる。したがって、映像ブロックＩＤ領域は、可変長サイズとなる。格納した映像ブロックＩＤの数を映像数フィールドに格納する。映像数フィールドの記録領域は、１Ｂｙｔｅであり、１から２５５までの映像ブロックＩＤを格納することができる。映像数フィールドが値０の場合は、映像ブロックＩＤが存在しないことを表し、映像ブロックＩＤ領域にデータが格納されず、行動情報に対応する映像データが存在しないことを示す。

ここでは、ブロック４に対応する映像データが格納されたブロック５のＩＤである値５を映像のブロックＩＤ１のフィールドに格納し、映像数に記録した映像データ数である値１を格納する。本実施形態では、１つの行動情報に対応する映像データとして、ブロック５を伝送する例を示したが、これに関わらず、１つの行動情報に対して、２つ以上の映像データを伝送してもよい。その場合、伝送する映像データの数だけ対応するブロックＩＤを映像ブロックＩＤフィールドに格納し、そのデータ数を映像数フィールドに格納する。このように、対応する映像データ数を複数個格納する例として、１つの行動情報に対し、違った角度で撮影した映像（静止画または動画）や異なる時間の映像を２つ以上伝送する
場合などが挙げられる。その他にも映像データが動画の場合に、１つの映像データを複数のブロックに分割して伝送する場合や、静止画と動画の両方を伝送する場合等に用いることができる。

そして、ブロックＩＤとして値４と、前述と同様にその他情報を格納し、人物Ｂの「歩いた」の行動情報より先に、ブロック４として人物Ａの「倒れた」の行動情報を伝送する。
〔ブロック５：映像データ伝送〕
次に、映像データを伝送するブロックのデータ構造について、図１２を参照して説明する。

図１２は、映像データを伝送するブロックの先頭から格納するデータの順番や内容について説明した図である。ブロックへ格納するデータは、図１２の形式にしたがったバイナリ形式のデータである。ブロックに格納する各情報は、先頭から順にブロックＩＤ、映像データフラグ、対応ＩＤ、コーデックＩＤ、データサイズ、映像データの順である。
（ブロックＩＤ）
１つ目フィールドのブロックＩＤは、ブロック毎に付加される固有のＩＤであり、伝送するブロックに対して０から順番に格納される。ブロックＩＤの記録領域は３Ｂｙｔｅの固定長であり、０から０ｘＦＦＦＦＦＦの値を格納する。ここでは、ブロック４に対応する映像データとしてブロック５を伝送するため、ブロックＩＤには、「５」を格納する。（映像データフラグ）
２つ目フィールドの映像データフラグは、伝送するブロックが映像データであるか、行動情報であるかを示す情報を格納する。映像データフラグの記録領域は１Ｂｙｔｅの固定長であり、映像データを格納したブロックの場合は、値０を格納する。映像データフラグに対応する行動情報を格納するブロックのフィールドは、ブロック優先度になるが、ブロック優先度は１以上の値を格納するため、これらフィールド情報が格納されているブロックの先頭から３Ｂｙｔｅ読み飛ばした先頭からの１Ｂｙｔｅ領域の値が０かそれ以外であるかを判定することによって、映像データのブロックであるか行動情報のブロックであるかの判定をすることができる。また、映像データの優先度を取得する場合は、後述する対応ＩＤフィールドが示すブロックＩＤのブロック優先度を参照することにより可能となる。
（対応ＩＤ）
３つ目のフィールドの対応ＩＤは、映像データブロックを参照している行動情報のブロックＩＤを格納する。対応ＩＤの記録領域は３Ｂｙｔｅ固定長であり、映像データブロックを参照した行動情報のブロックＩＤ０から０ｘＦＦＦＦＦＦの値を格納する。ここでは、映像データを格納したブロック５を参照している行動情報のブロック４のＩＤである「４」を格納する。
（コーデックＩＤ）
４つ目のフィールドのコーデックＩＤは、格納した映像データのコーデック情報を格納する。コーデックＩＤの記録領域は１Ｂｙｔeの固定長であり、図１３に示すコーデックの種類を表すＩＤを格納する。例えば、伝送する映像データが静止画像の場合でＢｉｔｍａｐデータの場合は、コーデックＩＤとして値１を格納する。伝送する映像データが動画の場合でＭＰＥＧの場合は、コーデックＩＤとして値８を格納する。ここでの説明では、コーデック情報として符号化方式を表すＩＤを用いて説明したが、映像データを格納するコンテナのフォーマット形式を格納してもよい。例えば、Ｈ．２６４のコーデックで生成された映像データを格納しているＭＰ４フォーマットの場合は、コーデックＩＤとして値１２を格納する。この場合、コーデック情報を取得するには、コーデックＩＤ１２を解釈し、ＭＰ４フォーマットと認識した上で、映像データに格納されたＭＰ４データのメタデータを解釈することで、コーデック情報を取得することが可能となる。ここでは、ブロック４の行動情報に対応する映像データの静止画として、例えばＪＰＥＧデータを用いるとすると、コーデックＩＤとして「３」を格納する。

なお、コーデックＩＤ０は、コーデック情報なしを示し、映像データブロックに映像データを格納せずにブロックを伝送する場合や、コーデックの種類に定義されていない未知のコーデックの映像データを伝送する場合、映像データ以外のデータを伝送する場合に使用してもよい。

また、コーデックＩＤは、図１３に示す０〜１３のコーデックの種類に加え、後で追加定義できるようにしてもよい。そのため、コーデックＩＤ１４から２５５までをＲｅｓｅｒｖｅｄ領域として確保している。コーデック情報を後で追加する場合にコーデックＩＤ１４から２５５を使用し、新たにコーデックの種類を定義する。
（データサイズ）
５つ目のフィールドのデータサイズは、格納した映像データのデータサイズを格納する。データサイズの記録領域は４Ｂｙｔeの固定長であり、Ｂｙｔｅ単位のサイズ情報を格納する。格納できるデータサイズは、最大４ＧＢｙｔｅである。もし、映像データサイズが４ＧＢｙｔｅを超えるような大きいサイズのデータを伝送する場合は、前述のように、複数のブロックに分割して伝送すればよい。
（映像データ）
６つ目のフィールドの映像データには、映像データを格納する。映像データの記録領域は、０から４ＧＢｙｔｅの可変長であり、映像データフィールドの先頭から映像データを格納する。映像データを格納しないブロックを伝送する場合は、データサイズフィールドに値０を格納し、映像データフィールドには、何も格納しない。この場合、ブロック全体のデータサイズは、ブロックＩＤからデータサイズの記録領域を合計した１２Ｂｙｔｅである。

そして、映像データを格納したブロック５について、ブロック４の後にブロック５として人物Ａの「倒れた」に関する映像データを伝送する。
〔ブロック６：行動情報伝送〕
次に、人物Ｂの「歩いた」の行動終了後に、図１１の行動ＩＤに、ＩＤ３（歩いた）を格納し、ブロック優先度に０ｘ８０（通常データ）を格納する。そして、ブロックＩＤとして値６と、前述と同様にその他情報を格納し、人物Ｂの「歩いた」の行動情報をブロック６として、ブロック４および５の後に伝送する。

これら異常時の行動データに対して、ブロック優先度フィールドに優先度が高いことを表す情報を格納し、他のブロックデータより先に異常時の行動情報を伝送する仕組みを設けることで、見守り側に異常時の行動情報を素早く通知することができる。

なお、異常時の行動に対応する映像として静止画像を伝送する説明をしたが、その行動に対応する（期間の）動画をブロックデータとして伝送してもよい。行動に対応する動画を映像データとして図１２の映像データフィールドに格納し、そのコーデック情報としてコーデックＩＤに格納（例えば、コーデックＩＤが値８のＭＰＥＧなど）する。見守り側は受信した行動情報とその付加情報を解析し、コーデックがＭＰＥＧのような動画の場合は、映像データフィールドに格納された映像データをデコーダーに送り、コーデックＩＤが示すコーデックを用いて動画データを再生してもよい。

また、伝送する静止画や動画は異常時の行動のみならず、笑うなどの通常の行動に対応づけて伝送してもよい。笑顔の画像を伝送することで、安否確認を映像とともに行えるため、見守る側の安心感を向上させることが可能となる。見守り側の要求に合わせて、予め行動毎に伝送する映像を設定できるようにし、行動に合わせてその映像を伝送するようにしてもよい。ここでいう設定とは、行動に合わせて映像を伝送するか否か、映像を伝送する場合は静止画とするか動画とするかといった情報である。

以上の説明では、映像データを格納したブロック５をブロック４の直後に伝送する例であったが、ブロック５をブロック６の行動情報を伝送した後に送ってもよい。データ転送の効率やシステム設計に合わせ、ブロック５をブロック４の前や後に伝送しても、ブロック４と別のブロックの間に伝送してもよい。見守り側に問題が発生しない状態であれば、行動情報や映像データのブロックは、どのような順番で伝送してもよい。これは、行動情報からは映像ブロックＩＤフィールドによって対応する映像データのブロックを参照可能であり、反対に映像データからは、対応ＩＤフィールドによって映像データを参照している行動情報のブロックＩＤを参照可能なため、ブロックの伝送順序に関係なく、対応する互いのブロックを参照することが可能となる。
〔処理フロー〕
次に、本実施の形態に係る異常時の認識データ伝送処理について説明する。

図１４は、本実施形態に係る異常時の認識データ伝送処理を表すフローチャートである。

ステップＳ１００からＳ１１１、Ｓ１２０からＳ１２１は前述と同様であるため、説明を省略する。
（ステップＳ１３１）
緊急時の行動情報を検出した場合に、それがどのような状況かを見守り側に知らせるには、その映像データを伝送することが一番良い方法である。そのため、緊急時の行動を検出した画像を前述の映像データブロックに格納し、伝送する。緊急時の行動情報を検出し、映像データを伝送する場合（ステップＳ１３１でＹｅｓ）、ステップＳ１３２に進む。緊急時の行動情報を伝送し、映像データを伝送しない場合（ステップＳ１３１でＮｏ）、ステップＳ１１０に進む。
（ステップＳ１３２）
緊急時の映像データを伝送する場合は、その行動情報を格納したブロックを伝送した後に、対応する映像データを格納したブロックを伝送する。伝送する映像データは複数ある場合があるため、行動情報のブロックを伝送した後に、映像データブロックを、行動情報に格納した映像ブロックＩＤの順番に伝送する。全ての行動情報のブロックと映像データのブロックを伝送し終えたら、ステップＳ１１０に進む。

以上により、緊急を要する異常時の行動情報を検出した場合に、その行動情報だけでなく、その映像データも素早く伝送することが可能となる。従って、見守る側が緊急を要する行動情報の通知を受けた場合でも、その程度や重要度が分かりにくいが、その映像を伝送することで、適切な対応をいち早く行うことが可能となる。また、緊急時の映像データだけでなく、普段の生活の起きた時の画像や、楽しんでいる画像を伝送することで、見守る側に安心感を与えることが可能となる。

以上の説明のように、本実施形態の方法により人物の行動を認識して、その行動単位で行動情報を伝送すれば、データ量の削減と見守る側の利便性を向上させることができる。さらに、「倒れた」等の異常時の行動を認識した場合は、その行動情報をその他の情報より優先度を上げた情報として格納し、先に伝送することで、異常時の行動を見守り側に素早く通知することが可能となる。また、異常時の行動では、その映像を付加することで、見守り側にその安否を確認する手段を素早く提供するとともに、伝送データ量を削減し、効率的な伝送量で、見守りを行うことができる。

これら少なくとも１つの撮像装置の撮影映像から、人の顔や動き、モーションを検出し、子供やお年寄りの見守りや、不審者の侵入の検出、家電機器の操作など、様々なアプリケーションに利用することが可能となる。

本発明の各実施の形態によれば、映像から検出した人物の特徴データやその行動データを見守り側に伝送することで、見守る側は常に伝送映像を視聴せずとも、例えば朝起きたＴＶを視聴している等の安全に生活しているといった情報や、倒れたなどの異常が発生したといった情報の通知を受けることが可能となる。また、映像から検出した人物の特徴データや行動データを人物が行動した単位で伝送することにより、伝送データ量を削減することができる。

さらに、見守られる側の映像データは伝送せず、行動データなどの検出情報を伝送することで、見守られる側のプライバシーに配慮した見守りシステムを実現することが可能となる。

尚、上記では人物の監視を行う例について説明したが、動物などを監視対象としても良い。

また、上述した実施形態における認識データ伝送装置の一部、例えば、動きベクトル検出部１１０、人物検出部１１１、ユーザ情報検出部１１２、モーション検出部１１３、行動認識部１１４、情報ＤＢ１２、データ変換部１３、伝送制御部１４をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、認識データ伝送装置に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した実施形態における認識データ伝送装置の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。認識データ伝送装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

本発明は、以下の開示を含む。
（付記）
（１）
少なくとも１つの撮像部と、
前記撮像部が撮像した映像から人物の特徴量を検出し、検出した前記特徴量から前記映像中の人物を特定する人物検出部と、
前記人物検出部が検出した人物に関する特徴量から
人物の動きや人物に関わる情報を含む人物の行動を認識する行動認識部と、
前記行動認識部が出力する認識情報を人の行動毎に時間軸上で分割し、分割したブロックデータを生成するデータ変換部と、
前記データ変換部が出力する前記ブロックデータを、認識データとしてブロック毎に外部に伝送する制御を行う伝送制御部と
を有することを特徴とする認識データ伝送装置。

本発明によれば、映像から検出された人物およびその行動を検知し、人物の行動単位でその情報を伝送することで、見守る側の利便性向上と伝送データの削減を両立させることができる。
（２）
少なくとも１つの撮像部と、
前記撮像部が撮像した映像から人物（の身体の一部、または全部）の特徴量を検出し、検出した前記特徴量から前記映像中の人物を特定する人物検出部と、
前記人物検出部が検出した人物に関する特徴量から人物の身体的特徴を表すユーザ情報を検出するユーザ情報検出部と、
前記ユーザ情報検出部が出力する前記ユーザ情報と、前記撮像部で撮像した映像と、からユーザのモーション（動きまたは身振り手振り）を検出するモーション検出部と、
前記モーション検出部が出力するモーション情報と、前記ユーザ情報とから、人物の動きを含む行動を認識する行動認識部と、
前記行動認識部が出力する認識情報を人の行動毎に時間軸上で分割し、分割したブロックデータを生成するデータ変換部と、
前記データ変換部が出力する前記ブロックデータを、認識データとしてブロック毎に外部に伝送する制御を行う伝送制御部と
を有することを特徴とする認識データ伝送装置。

本発明によれば、映像から検出された人物およびその行動を検知し、人物の行動単位でその情報を伝送することで、見守る側の利便性向上と伝送データの削減を両立させることができる。
（３）
さらに、前記行動認識部が出力する認識情報だけを出力し、外部に伝送することを特徴とする（１）または（２）に記載の認識データ伝送装置。

見守られる側を撮影した映像データは伝送せず、認識情報だけを外部に伝送することで、見守られる側のプライバシーが守られる（個人情報の秘匿性が向上する）ことと、伝送データの削減を両立することができる。
（４）
前記伝送制御部は、
前記行動が終了した時点を基準にしてその行動の検知が終了したと認識し、検知が終了した順番に行動情報を伝送することを特徴とする（１）から（３）までのいずれか１に記載の認識データ伝送装置。

１つの行動について、行動開始から終了までを行動情報の最小単位として伝送することを特徴とする。また、行動情報とともに、その映像を伝送する場合は、行動情報と映像データは行動の開始時間と終了時間とで参照すればよく、これにより、行動に対応する映像を検索することができる。
（５）
前記伝送制御部は、
前記行動が終了した時点が同じ場合には、行動開始時刻が早い順に行動情報の優先度を高く設定し、優先度の高い順に行動情報を伝送することを特徴とする（４）に記載の認識データ伝送装置。

その行動が認識できたものから伝送していくことで、効率良くデータ伝送を行うことができる。

また、同一時刻に終了した行動の行動情報があり、行動開始時刻も同じ行動情報があった場合は、予め優先度の高い人物を設定しておき、優先度の高い人物の行動には、より高い優先度を設定し、優先度の高い順に行動情報を伝送してもよい。
（６）
前記行動認識部が出力する前記認識情報のうち、（人物が居なくなっている、倒れて動けなくなっている、を含む）緊急を要する行動情報を検知したときは、前記人の行動毎に分割したブロックデータに緊急であることを示す緊急情報を格納し、
前記伝送制御部は、
前記緊急情報を有するブロックデータを、その他のブロックデータより先に伝送するように制御することを特徴とする（１）から（５）までのいずれか１に記載の認識データ伝送装置。
（７）
前記行動認識部は、前記緊急を要する行動情報を検知したときに、その行動情報に対応する前記撮像部が撮像した映像データを出力し、
前記伝送制御部は、前記緊急を要する行動情報を格納したブロックデータを除くその他のブロックデータより先に、前記緊急を要する行動情報と対応する映像データを伝送することを特徴とする（６）に記載の認識データ伝送装置。
（８）
前記データ変換部は、前記緊急を要する行動情報と、対応する映像データを互いに参照可能とする情報を格納することを特徴とする（７）に記載の認識データ伝送装置。
（９）
前記ユーザ情報検出部が出力する前記ユーザ情報は、人物の特徴情報（人物の顔の位置、顔の向き、性別、年齢、表情、人体部位を含む情報）であることを特徴とする（２）から（８）までのいずれか１に記載の認識データ伝送装置。
（１０）
前記行動認識部が出力する前記認識情報は、（人物が立っている、座っている、寝ている、倒れている、居なくなっている、を含む）行動を示す情報であることを特徴とする（１）から（９）までのいずれか１に記載の認識データ伝送装置。
（１１）
少なくとも１つの撮像部と、
前記撮像部が撮像した映像から人物（の身体の一部、または全部）の特徴量を検出し、検出した前記特徴量から前記映像中の人物を特定する人物検出部と、
前記人物検出部が検出した人物に関する特徴量から
人物の動きや人物に関わる情報を含む人物の行動を認識する行動認識部と、
前記行動認識部が出力する認識情報を人の行動毎に時間軸上で分割し、分割したブロックデータを生成するデータ変換部と、
前記データ変換部が出力する前記ブロックデータを、認識データとして記録部に記録させる記録制御部と
を有することを特徴とする認識データ記録装置。

本発明によれば、映像から検出された人物およびその行動を検知し、人物の行動単位でその情報を記録することで、見守る側の利便性向上と記憶データ量の削減を両立させることができる。
（１２）
少なくとも１つの撮像部と、
前記撮像部が撮像した映像から人物（の身体の一部、または全部）の特徴量を検出し、検出した前記特徴量から前記映像中の人物を特定する人物検出部と、
前記人物検出部が検出した人物に関する特徴量から人物の身体的特徴を表すユーザ情報を検出するユーザ情報検出部と、
前記ユーザ情報検出部が出力する前記ユーザ情報と、前記撮像部で撮像した映像と、からユーザのモーション（動きまたは身振り手振り）を検出するモーション検出部と、
前記モーション検出部が出力するモーション情報と、前記ユーザ情報とから、人物の動きを含む行動を認識する行動認識部と、
前記行動認識部が出力する認識情報を人の行動毎に時間軸上で分割し、分割したブロックデータを生成するデータ変換部と、
前記データ変換部が出力する前記ブロックデータを、認識データとして記録部に記録させる記録制御部と
を有することを特徴とする認識データ記録装置。

本発明によれば、映像から検出された人物およびその行動を検知し、人物の行動単位でその情報を記録することで、見守る側の利便性向上と記憶データ量の削減を両立させることができる。
（１３）
少なくとも１つの撮像部が撮像した映像から人物の特徴量を検出し、検出した前記特徴量から前記映像中の人物を特定する人物検出ステップと、
前記人物検出ステップで出力される人物に関する特徴量から人物の動きや人物に関わる情報を含む人物の行動を認識する行動認識ステップと、
前記行動認識ステップで出力される認識情報を人の行動毎に時間軸上で分割し、分割したブロックデータを生成するデータ変換ステップと、
前記データ変換ステップが出力する前記ブロックデータを、認識データとしてブロック毎に外部に伝送する制御を行う伝送制御ステップと
を有することを特徴とする認識データ伝送方法。
（１４）
少なくとも１つの撮像部が撮像した映像から人物の特徴量を検出し、検出した前記特徴量から前記映像中の人物を特定する人物検出ステップと、
前記人物検出ステップにおいて検出した人物に関する特徴量から人物の身体的特徴を表すユーザ情報を検出するユーザ情報検出ステップと、
前記ユーザ情報検出ステップにおいて出力する前記ユーザ情報と、前記撮像部で撮像した映像と、からユーザのモーション（動きまたは身振り手振り）を検出するモーション検出ステップと、
前記モーション検出ステップで出力されるモーション情報と、前記ユーザ情報とから、人物の動きを含む行動を認識する行動認識ステップと、
前記行動認識ステップで出力される認識情報を人の行動毎に時間軸上で分割し、分割したブロックデータを生成するデータ変換ステップと、
前記データ変換ステップが出力する前記ブロックデータを、認識データとしてブロック毎に外部に伝送する制御を行う伝送制御ステップと
を有することを特徴とする認識データ伝送方法。
（１５）
上記（１３）または（１４）に記載の認識データ伝送方法をコンピュータに実行させるためのプログラム。
（１６）
上記（１５）のプログラムを格納するコンピュータ読み取り可能な記録媒体。
（１７）
少なくとも１つの撮像部が撮像した映像から人物（の身体の一部、または全部）の特徴量を検出し、検出した前記特徴量から前記映像中の人物を特定する人物検出ステップと、
前記人物検出ステップにおいて出力された人物に関する特徴量から人物の動きや人物に関わる情報を含む人物の行動を認識する行動認識ステップと、
前記行動認識ステップで出力された認識情報を人の行動毎に時間軸上で分割し、分割したブロックデータを生成するデータ変換ステップと、
前記データ変換ステップが出力する前記ブロックデータを、認識データとして記録部に記録させる記録制御ステップと
を有することを特徴とする認識データ記録方法。
（１８）
少なくとも１つの撮像部が撮像した映像から人物（の身体の一部、または全部）の特徴量を検出し、検出した前記特徴量から前記映像中の人物を特定する人物検出ステップと、
前記人物検出ステップで検出された人物に関する特徴量から人物の身体的特徴を表すユーザ情報を検出するユーザ情報検出ステップと、
前記ユーザ情報検出ステップで出力された前記ユーザ情報と、前記撮像部で撮像した映像と、からユーザのモーション（動きまたは身振り手振り）を検出するモーション検出ステップと、
前記モーション検出ステップにおいて出力されたモーション情報と、前記ユーザ情報とから、人物の動きを含む行動を認識する行動認識ステップと、
前記行動認識ステップで出力された認識情報を人の行動毎に時間軸上で分割し、分割したブロックデータを生成するデータ変換ステップと、
前記データ変換ステップが出力する前記ブロックデータを、認識データとして記録部に記録させる記録制御ステップと
を有することを特徴とする認識データ記録方法。
（１９）
上記（１７）または（１８）に記載の認識データ記録方法をコンピュータに実行させるためのプログラム。
（２０）
上記（１９）のプログラムを格納するコンピュータ読み取り可能な記録媒体。

本発明は、認識データ伝送装置として利用可能である。

１０…撮像装置、１０１、１０２〜ｎ…撮像部、１１…映像解析部、１２…情報ＤＢ、１３…データ変換部、１４…伝送制御部、１１０…動きベクトル検出部、１１１…人物検出部、１１２…ユーザ情報検出部、１１２０…属性推定部、１１２１…表情推定部、１１２２…人物識別部、１１２３…位置検出部、１１２４…人体部位検出部、１１３…モーション検出部、１１４…行動認識部。

本明細書で引用した全ての刊行物、特許および特許出願をそのまま参考として本明細書にとり入れるものとする。

Claims (9)

1. 少なくとも１つの撮像部と、
   前記撮像部が撮像した映像から人又は動物の特徴量を検出し、検出した前記特徴量から前記映像中の人又は動物を特定する人物検出部と、
   前記人物検出部が検出した人又は動物に関する特徴量から人又は動物の動きや人又は動物に関わる情報を含む人又は動物の行動を認識する行動認識部と、
   前記行動認識部が出力する前記人又は動物の行動情報を含む認識情報を人又は動物の行動毎に時間軸上で分割し、分割した前記認識情報または前記認識情報に対応する映像のうちの少なくともいずれか一方を格納したブロックデータを、人又は動物の行動毎に生成するデータ変換部と、
   前記データ変換部が出力する前記ブロックデータを、認識データとしてブロック毎に外部に伝送する制御を行う伝送制御部と
   を有し、
   前記伝送制御部は、
   前記行動が終了した時点を基準にしてその行動の検知が終了したと認識し、検知が終了した順番に前記ブロックデータを伝送することを特徴とする認識データ伝送装置。
2. 前記伝送制御部は、
   前記行動が終了した時点が同じ場合には、行動開始時刻が早い順に行動情報の優先度を高く設定し、優先度の高い順に前記ブロックデータを伝送することを特徴とする請求項１に記載の認識データ伝送装置。
3. 前記行動認識部が出力する前記認識情報のうち、緊急を要する行動情報を検知したときは、前記人又は動物の行動毎に生成したブロックデータに緊急であることを示す緊急情報を格納し、
   前記伝送制御部は、
   前記緊急情報を有するブロックデータを、その他のブロックデータより先に伝送するように制御することを特徴とする請求項１又は２に記載の認識データ伝送装置。
4. 前記行動認識部は、前記緊急を要する行動情報を検知したときに、その行動情報に対応する前記撮像部が撮像した映像データを出力し、
   前記伝送制御部は、前記緊急を要する行動情報を格納したブロックデータを除くその他のブロックデータより先に、前記緊急を要する行動情報と対応する映像データを格納したブロックデータを伝送することを特徴とする請求項３に記載の認識データ伝送装置。
5. 前記データ変換部は、前記緊急を要する行動情報と対応する映像データについて、相手側を参照可能とする情報を、前記行動情報を格納したブロックデータと前記映像データを格納したブロックデータの少なくとも一方に格納することを特徴とする請求項４に記載の認識データ伝送装置。
6. 前記行動認識部が認識する認識情報のみを出力し、外部に伝送することを特徴とする請求項１に記載の認識データ伝送装置。
7. 少なくとも１つの撮像部と、
   前記撮像部が撮像した映像から人又は動物の特徴量を検出し、検出した前記特徴量から前記映像中の人又は動物を特定する人物検出部と、
   前記人物検出部が検出した人又は動物に関する特徴量から人又は動物の動きや人又は動物に関わる情報を含む人又は動物の行動を認識する行動認識部と、
   前記行動認識部が出力する前記人又は動物の行動情報を含む認識情報を人又は動物の行動毎に時間軸上で分割し、分割した前記認識情報または前記認識情報に対応する映像のうちの少なくともいずれか一方を格納したブロックデータを、人又は動物の行動毎に生成するデータ変換部と、
   前記データ変換部が出力する前記ブロックデータを、認識データとして記録部に記録させる記録制御部と
   を有し、
   前記記録制御部は、
   前記行動が終了した時点を基準にしてその行動の検知が終了したと認識し、検知が終了した順番に前記ブロックデータを記録することを特徴とする認識データ記録装置。
8. 少なくとも１つの撮像部が撮像した映像から人又は動物の特徴量を検出し、検出した前記特徴量から前記映像中の人又は動物を特定する人物検出ステップと、
   前記人物検出ステップで出力される人又は動物に関する特徴量から人又は動物の動きや人又は動物に関わる情報を含む人又は動物の行動を認識する行動認識ステップと、
   前記行動認識ステップで出力される前記人又は動物の行動情報を含む認識情報を人又は動物の行動毎に時間軸上で分割し、分割した前記認識情報または前記認識情報に対応する映像のうちの少なくともいずれか一方を格納したブロックデータを、人又は動物の行動毎に生成するデータ変換ステップと、
   前記データ変換ステップが出力する前記ブロックデータを、認識データとしてブロック毎に外部に伝送する制御を行う伝送制御ステップと
   を有し、
   前記伝送制御ステップは、
   前記行動が終了した時点を基準にしてその行動の検知が終了したと認識し、検知が終了した順番に前記ブロックデータを伝送することを特徴とする認識データ伝送方法。
9. 少なくとも１つの撮像部が撮像した映像から人又は動物の特徴量を検出し、検出した前記特徴量から前記映像中の人又は動物を特定する人物検出ステップと、
   前記人物検出ステップで出力される人又は動物に関する特徴量から人又は動物の動きや人又は動物に関わる情報を含む人又は動物の行動を認識する行動認識ステップと、
   前記行動認識ステップで出力された前記人又は動物の行動情報を含む認識情報を人又は動物の行動毎に時間軸上で分割し、分割した前記認識情報または前記認識情報に対応する映像のうちの少なくともいずれか一方を格納したブロックデータを、人又は動物の行動毎に生成するデータ変換ステップと、
   前記データ変換ステップが出力する前記ブロックデータを、認識データとして記録部に記録させる記録制御ステップと
   を有し、
   前記記録制御ステップは、
   前記行動が終了した時点を基準にしてその行動の検知が終了したと認識し、検知が終了した順番に前記ブロックデータを記録することを特徴とする認識データ記録方法。

Images