JP7325745B2 - 監視装置、監視プログラム、記憶媒体、および、監視方法 - Google Patents

Description

本発明は、監視装置、監視プログラム、記憶媒体、および、監視方法に関し、特に、監視対象の特定位置の記録に基づき、対象を認証する監視装置、監視プログラム、記憶媒体、および、監視方法に関するものである。

監視カメラは、従来から利用されてきたが、インターネット回線の普及によってネットワークに接続され、遠隔のサーバで監視するような運用が多くなりつつある。また、カメラの画素数も多くなり、録画された画像を事後的に解析して、事故や犯罪の認識が可能となった。このような監視カメラの現状であるが、最も多い利用形態は、建物に無人の監視カメラを設置し、遠隔地において、警備会社などの防犯係員が監視カメラの映像を監視して、防犯に役立てるものである。防犯係員は、監視カメラの多数の画像を多数の表示装置で実際に観察して、疑わしい対象（不審者や不審物）を認識し、必要であれば、警備員を派遣したり、不審者に警告したりしている。

しかしながら、防犯係員は、様々な場所、様々な建物を映す監視カメラの画像を見ることになるが、近年、テロや犯罪などもあり、監視カメラの設置は急激に増加しているが、このような状況は、監視する防犯係員の負担を増加させ、監視ミスを誘発させている。

監視カメラの自動化の従来技術として、画像処理装置、画像処理システム及びプログラム（特許文献１を参照されたい。）がある。これは、「監視領域の全景画像内に注視領域を設定し、画像解析手段により、設定した注視領域の画像を解析して移動体を検出し、検出に基づきカメラ部のズームカメラを作動して上記移動体を撮影する。その際、注視部分画像に全景画像との空間的な関係情報と、注視部分画像の全景画像における時間軸上の遷移を示す時間的な関係情報を作成し、注視部分画像に前記各関係情報を付与して画像記憶部に記憶させる。検索時には、上記各関係情報を用いて、全景画像及び注視部分画像を検索して両画像を重ねて表示部に表示する。」といった技術である。

特開2010-233185号公報

上記の従来技術は、監視領域を設定した後で、その監視領域内での移動体を不審な対象としてズームさせて撮影するものである。これは、不審者を自動追尾してズームする技術であるが、「監視領域の自動設定」はできない。また、監視領域が広い場合や監視領域に複数の移動体が入った場合には、高速な演算装置でなければ処理が間に合わなくなり、不審な対象の捕捉が不可能になるなどのデメリットがある。

このように、監視カメラの自動化の技術は発展してきたが、監視対象の識別、特定、認証といった技術は、いまだ実用化レベルには達していない。

ここで、特に重要なことは監視対象の特定・識別である。監視対象の識別が可能になれば、現在の入退出システムの主流であるＩＤカード認証の代替システムとして活用できるが、実用化レベルのものは存在しない。

また、監視カメラは自動認識でも人間による観察においても、光、雨などの気象変化を、不審者や不審物であると間違って認識することがあるが、これについては、カメラの画素数を増大させるなどで対応しているが、根本的には解決していない。

そこで、本発明の目的は、特に、監視対象の特定位置の記録に基づき、対象を認証する監視装置、監視プログラム、記憶媒体、および、監視方法を提供することである。

上述した諸課題を解決すべく、第１の発明による監視装置は、
ステレオカメラとサーバとを含む監視装置であって、
前記ステレオカメラが、
ステレオ画像を撮像する撮像部と、
前記ステレオ画像を前記サーバに送信する通信部と、
を有し、
前記サーバが、
特定済対象の特定位置（最も高い部分（その位置の高さを身長と見做せる部位）、頭頂部、つむじ、目、鼻、口、耳、肩など）の座標を順次、記録したものを特定座標記録として格納する記憶部と、
前記ステレオカメラから送信された前記ステレオ画像、を受信する通信部と、
前記ステレオカメラにおける前記ステレオ画像内において、第１と第２の監視線の設定を受け付ける監視線設定部と、
前記ステレオ画像を解析して、前記受け付けた第１と第２の監視線を通過する対象を認識し、第１の監視線と第２の監視線との間の監視領域に位置する対象の特定位置の座標を追跡する監視部と、
前記特定位置の座標を順次、記録したものを座標記録として取得する座標取得部と、
（前記特定位置の座標を順次、記録したものを座標記録として前記記憶部に格納させる格納指示部と、）
前記座標記録と、前記特定座標記録とを比較し、所定の閾値よりも一致度の高い特定座標記録の特定済対象を、前記対象であると認証する対象認証部と、
所定の時間内に、前記監視領域に認証されない対象があるとき、所定の警報（電子メールの送信、警告音声の出力や送信、画像出力、監視員への警告、管理者への警告、警備会社や警察などへの通報など）を出力する警報出力部と、
を有する、
ことを特徴とする。

また、第２の発明による監視装置は、
ステレオカメラとサーバとを含む監視装置であって、
前記ステレオカメラが、
ステレオ画像を撮像する撮像部と、
前記ステレオ画像を前記サーバに送信する通信部と、
を有し、
前記サーバが、
特定済対象の特定位置（例えば、最も高い部分（その位置の高さを身長と見做せる部位）、頭頂部、つむじ、目、鼻、口、耳、肩など）の座標を順次、記録したものを特定座標記録として格納する記憶部と、
前記ステレオカメラから送信された前記ステレオ画像、を受信する通信部と、
前記ステレオ画像を解析して、対象の特定位置の座標を追跡する監視部と、
前記特定位置の座標を順次、記録したものを座標記録として取得する座標取得部と、
（前記特定位置の座標を順次、記録したものを座標記録として前記記憶部に格納させる格納指示部と、）
前記座標記録と、前記特定座標記録とを比較し、所定の閾値よりも一致度の高い特定座標記録の特定済対象を、前記対象であると認証する対象認証部と、
所定の時間内に、認証されない対象があるとき、所定の警報（電子メールの送信、警告音声の出力や送信、画像出力、監視員への警告、管理者への警告、警備会社や警察などへの通報など）を出力する警報出力部と、
を有する、
ことを特徴とする。

また、第３の発明による監視装置は、
ステレオ画像を撮像する撮像部と、
特定済対象の特定位置（例えば、最も高い部分（その位置の高さを身長と見做せる部位）、頭頂部、つむじ、目、鼻、口、耳、肩など）の座標を順次、記録したものを特定座標記録として格納する記憶部と、
前記ステレオ画像を解析して、対象の特定位置の座標を追跡する監視部と、
前記特定位置の座標を順次、記録したものを座標記録として取得する座標取得部と、
（前記特定位置の座標を順次、記録したものを座標記録として前記記憶部に格納させる格納指示部と、）
前記座標記録と、前記特定座標記録とを比較し、所定の閾値よりも一致度の高い特定座標記録の特定済対象を、前記対象であると認証する対象認証部と、
所定の時間内に、認証されない対象があるとき、所定の警報（電子メールの送信、警告音声の出力や送信、画像出力、監視員への警告、管理者への警告、警備会社や警察などへの通報など）を出力する警報出力部と、
を有する、
ことを特徴とする。

上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。なお、下記の方法やプログラムの各ステップは、データの処理においては必要に応じて、CPU、DSPなどの演算処理装置を使用するものであり、入力したデータや加工・生成したデータなどを磁気テープ、HDD、メモリなどの記憶装置に格納するものである。

例えば、本発明をプログラムとして実現させた第４の発明による監視プログラムは、
１つまたは複数の演算処理装置を第１～３のいずれかの発明に記載の監視装置として機能させる監視プログラムである。

また、例えば、本発明を記憶媒体として実現させた第５の発明による記憶媒体は、
第４の発明に記載の監視プログラムを格納したコンピュータ可読な記憶媒体である。

また、例えば、本発明を方法として実現させた第６の発明による監視方法は、
ステレオカメラとサーバとを含む監視装置による監視方法であって、
前記ステレオカメラが、ステレオ画像を撮像する撮像ステップと、
前記ステレオカメラが、前記ステレオ画像を前記サーバに送信する通信ステップと、
前記サーバが、特定済対象の特定位置（例えば、最も高い部分（その位置の高さを身長と見做せる部位）、頭頂部、つむじ、目、鼻、口、耳、肩など）の座標を順次、記録したものを特定座標記録として取得する座標取得ステップと、
前記サーバが、前記ステレオカメラから送信された前記ステレオ画像、を受信する通信ステップと、
前記サーバが、前記ステレオ画像を解析して、対象の特定位置の座標を追跡する監視ステップと、
前記サーバが、前記特定位置の座標を順次、記録したものを座標記録として取得する座標取得ステップと、
前記サーバが、前記座標記録と、前記特定座標記録とを比較し、所定の閾値よりも一致度の高い特定座標記録の特定済対象を、前記対象であると認証する対象認証部と、
所定の時間内に、認証されない対象があるとき、所定の警報（電子メールの送信、警告音声の出力や送信、画像出力、監視員への警告、管理者への警告、警備会社や警察などへの通報など）を出力する警報出力ステップと、
を有する、
ことを特徴とする。

また、第７の発明による監視方法は、
撮像部が、ステレオ画像を撮像する撮像ステップと、
記憶部が、特定済対象の特定位置（例えば、最も高い部分（その位置の高さを身長と見做せる部位）、頭頂部、つむじ、目、鼻、口、耳、肩など）の座標を順次、記録したものを特定座標記録として格納する格納ステップと、
前記演算部が、前記ステレオ画像を解析して、対象の特定位置の座標を追跡する監視ステップと、
前記演算部が、前記特定位置の座標を順次、記録したものを座標記録として取得する座標取得ステップと、
前記演算部が、前記サーバが、前記座標記録と、前記特定座標記録とを比較し、所定の閾値よりも一致度の高い特定座標記録の特定済対象を、前記対象であると認証する対象認証ステップと、
前記演算部が、所定の時間内に、認証されない対象があるとき、所定の警報（電子メールの送信、警告音声の出力や送信、画像出力、監視員への警告、管理者への警告、警備会社や警察などへの通報など）を出力する警報出力ステップと、
を有する、
ことを特徴とする。

本発明によれば、監視対象の特定位置の記録に基づき、対象を認証することが可能となる。

図１は、本発明の一実施態様による監視装置の概要を示すブロック図である。 図２は、図１に示した監視装置で実行される処理の一例を示すシーケンス図である。 図３は、本装置の対象の認証技法を説明する模式図である。 図４は、特定座標記録および座標記録の一例を示すテーブルである。 図５は、特定座標記録および座標記録の一例を示すテーブルである。 図６は、特定座標記録および座標記録の一例を示す模式図である。 図７は、座標記録から派生情報を導出する一例を示す模式図である。 図８は、座標記録から頭部の揺れの軌跡を導出する一例を示す模式図である。 図９は、特定座標記録および座標記録の一例を示すテーブルである。 図１０は、座標記録の一例を示す模式図である。 図１１は、特定座標記録および座標記録の一例を示す模式図である。 図１２は、特定座標記録および座標記録の一例を示す模式図である。 図１３は、監視装置を介護システムに適用した実施態様の模式図である。 図１４は、本装置を入退室管理システムに応用した場合の模式図である。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。

図１は、本発明の一実施態様による監視装置の概要を示すブロック図である。図に示すように、監視装置ＭＳ１は、ステレオカメラＳＣ１とサーバＳＶ１とを含むものである。サーバＳＶ１は、制御部（ＣＰＵ、演算処理装置、プロセッサ）ＣＯＮ、入力部（図示せず）、出力部（図示せず）、通信部ＣＯＭ、記憶部ＭＥＭ、および、表示部ＤＩＳを有する。ステレオカメラＳＣ１は、制御部（ＣＰＵ、演算処理装置、プロセッサ、図示せず）、通信部ＣＯＭを有するが、さらに、入力部（図示せず）、出力部（図示せず）、記憶部（図示せず）および、表示部（図示せず）を有してもよい。ステレオカメラとは、複数（通常は２つ）のカメラ（撮像部）で複数（通常は２つ）の画像を撮影するものである。通常は、２つのカメラの光軸が平行なもので対象物を同時に撮影するものである。また、これで撮影した２つの画像をステレオ画像といい、さらに、これら２つの画像から様々な処理をした画像、処理後の情報セット、また、これらを組み合わせたものもステレオ画像に含まれる。３眼以上のカメラで撮影した３眼ステレオ画像であってもよい。また、カメラは、夜間でも僅かな環境中の光で撮影可能な高性能な機種を使用することが好適である。

ステレオカメラＳＣ１が、ステレオ画像を撮像する撮像部ＣＡＭと、自装置の位置を測定する位置測定部（図示せず、ＧＰＳなど）と、自装置の撮像部の方向を測定する方向測定部（図示せず、３軸地磁気センサなど）と、ステレオ画像（位置、および、方向を含んでもよい）をサーバに送信する通信部ＣＯＭとを有する。

サーバＳＶ１が、ステレオカメラから送信されたステレオ画像（位置、および、方向を含んでもよい）を受信する通信部ＣＯＭと、ネットワークＮＥＴを介して接続された認証情報サーバＡＩＳまたは記憶部ＭＥＭなどから、特定済対象の特定位置（最も高い部分（その位置の高さを身長と見做せる部位）、頭頂部、つむじ、目、鼻、口、耳、肩など）の座標を順次、記録したもの（「特定座標記録」という。）を取得する取得部ＡＣＱとを有する。

また、サーバＳＶ１は、
特定済対象の特定位置（最も高い部分（その位置の高さを身長と見做せる部位）、頭頂部、つむじ、目、鼻、口、耳、肩など）の座標を順次、記録したものを特定座標記録ＳＣＲ（または、これから派生した情報である特定派生情報など）として格納する記憶部ＭＥＭと、
前記ステレオカメラから送信された前記ステレオ画像、を受信する通信部ＣＯＭと、
前記ステレオカメラにおける前記ステレオ画像内において、第１と第２の監視線の設定を受け付ける監視線設定部ＭＬＳと、
前記ステレオ画像を解析して、前記受け付けた第１と第２の監視線を通過する対象を認識し、第１の監視線と第２の監視線との間の監視領域に位置する対象の特定位置の座標を追跡する監視部ＭＯＮと、
前記特定位置の座標を順次、記録したものを座標記録として取得する座標取得部（図示せず。これは取得部ＡＣＱを用いてもよい）と、
（前記特定位置の座標を順次、記録したものを座標記録ＣＲ（または、これから派生した情報である派生情報など）として前記記憶部に格納させる格納指示部（図示せず）と、）
前記座標記録と、前記特定座標記録とを比較し、所定の閾値よりも一致度の高い特定座標記録の特定済対象を、前記対象であると認証する対象認証部ＳＡと、
所定の時間内に、前記監視領域に認証されない対象があるとき、所定の警報（電子メールの送信、警告音声の出力や送信、画像出力、監視員への警告、管理者への警告、警備会社や警察などへの通報など）を出力する警報出力部ＷＯＴと、
を有する、

ネットワークＮＥＴを介して接続された敷地情報サーバ（図示せず）または記憶部ＭＥＭなどから、位置の敷地に関する敷地情報を取得してもよい。敷地情報から、監視線設定部ＭＬＳが、位置、方向、および、敷地情報に基づき、ステレオ画像内における敷地の輪郭の少なくとも一部を形成する境界線（境界の座標）を求め、ステレオ画像内において該境界線を監視線に設定することが可能である。制御部ＣＯＮは、ステレオ画像（２つの画像）のうちの特定領域（対象が存在する部分など）と自装置との距離を、既知のステレオ画像距離解析技法などを用いて、算出する距離算出部（図示せず）を含む。距離算出部や監視線設定部などは、ソフトウェアで実現してもよいが、回路化してハードウェアとして実現する方がより高速処理可能となる。表示部ＤＩＳは、本装置に格納される情報や生成された情報を表示することができる。

サーバＳＶ１の制御部に含まれる各機能部は、制御部のメモリ空間に読み込まれたプログラムモジュールによって実現することが好適である。これは、ステレオカメラＳＣ１は、制御部は図示していないが、制御部のメモリ空間に読み込まれたプログラムモジュールによって各機能部を実現したり、内蔵するＧＰＳユニットやカメラユニットなどで各機能部を実現したりすることが可能である。通常は、記憶部或いはウェブサイトから、プロセッサを本装置の各部として機能させるソフトウェアをダウンロードして、ＰＣにインストールして起動することで、ＰＣが、本装置として動作する。なお、制御部に設けた各機能部は、機能上一定のまとまりのあるステップを１つにまとめたものに過ぎず、複数の機能部を１つの機能部にしたり、その一部を他の機能部に組み入れたり、他の独立した機能部に分割したりすることが可能である。

このように、生成・抽出した情報や中間データおよび取得したデータを外部に送信したり、表示部に表示したり、生成・抽出した情報や中間データおよび取得したデータなどを記憶部に格納したりすることは、後述する他の実態態様でも同様に可能であることに注意されたい。なお、本装置は、汎用コンピュータ、特定用途コンピュータ、サーバ、ＰＣ、スマートフォンなどの携帯端末などのコンピュータ、或いは、本装置の機能や処理手順（方法）をコンピュータ上で実現（実行）するプログラムモジュールをコンピュータが持つＣＰＵや記憶部に保持したり、外部のサーバやストレージから読み込んだりすることで、コンピュータ上に本装置を構築することが好適であり、後続の各実施態様においても同様である。また、各機能部は、ネットワークで接続された別個のコンピュータや装置に分散させてもよい。また、複数の機能部を１つにしたり、処理ステップの一部を他の機能部にさせたりするような形態でもよい。さらに、本実施態様では、サーバとステレオカメラを別個のものとして規定したが、ステレオカメラ内にサーバの各機能の一部または全てを含ませてもよい。

図２は、図１に示した監視装置で実行される処理の一例を示すシーケンス図である。図に示すように、ステレオカメラＳＣ１，サーバＳＶ１の２つの装置が連携して処理を行う。他のサーバにある敷地情報や認証情報サーバの情報をサーバＳＶ１が一旦格納しておけば、他のサーバとの連携は不要とすることも可能である。

ステレオカメラＳＣ１のステップＳ１１にて、撮像部ＣＡＭが、ステレオ画像を撮像する。ちなみに、撮像は、継続的に行ってもよいが、通信量や処理量を低減するために、フレームを間引きしたり、静止画を数秒間隔で実施したりすることが好適である。任意であるが、位置測定部ＰＯＭが自装置の位置を測定してもよい。また、方向測定部が、自装置の撮像部の方向を測定してもよい。次に、ステップＳ１２にて、通信部ＣＯＭが、ステレオ画像（位置、および、方向を含ませてもよい）をサーバに送信する。このとき、カメラの撮像設定値（画角、ズーム、画素数、など）を併せて送信することが好適である。なお、ステレオ画像、位置、および、方向は、まとめて送信してもよいし、個別に送信してもよい。

この後、処理はサーバＳＶ１に移る。サーバＳＶ１のステップＶ１１にて、通信部ＣＯＭが、ステレオカメラから送信されたステレオ画像（位置、および、方向を含んでもよい）を受信する。次に、取得部ＡＣＱは、位置に関する敷地情報要求を敷地情報サーバに送信してもよい。或いは、取得部ＡＣＱは、受信した位置の敷地に関する敷地情報を自装置内の記憶部ＭＥＭから読み出して取得してもよい。

サーバＳＶ１は、ステップＶ１３にて、監視線設定部ＭＬＳが、ステレオ画像内において、第１と第２の監視線の設定を受け付ける。次に、ステップＶ１４にて、ステレオ画像を解析して、受け付けた第１と第２の監視線を通過する対象を認識し、第１の監視線と第２の監視線との間の監視領域に対象が位置するとき、対象（例えば、監視領域に進入した未知の人物のことを指す。）の特定位置の座標を追跡する。次に、ステップＶ１５にて、前記特定位置の座標を順次、記録したものを座標記録ＣＲとして記憶部に格納させるか、座標記録ＣＲとして取得する。

次に、ステップＶ１６にて、座標記録ＣＲと、前記特定座標記録ＳＣＲとを比較し、所定の閾値（一致度８０％、９０％など）よりも一致度の高い特定座標記録の特定済対象を、前記対象であると認証する。最後に、ステップＶ１５にて、警報出力部ＷＯＴは、所定の時間内に、前記監視領域に認証されない対象があるとき、所定の警報（電子メールの送信、警告音声の出力や送信）を出力する。或いは、撮影した画像を当該施設地の所有者（警備会社の契約者など）の携帯端末に送信してもよい。

なお、ステップＶ１３とＶ１４との間に、何らかのさらなる判定条件を付加してもよい。例えば、本サーバは、監視線に接触した対象の高さを求める機能があり、これを用いて、高さ１５０ｃｍ以上のものだけ、１５０ｃｍ～１９０ｃｍ（即ち、大人）だけ、ステップＶ１５に進ませ、それ以外は、除外するようにしてもよい。これによって、１５０ｃｍ未満の子供、または、犬、猫、鳥、虫などの小動物を効果的に除外することが可能となる。

また、ドップラーセンサーをカメラやその近傍に設置し、監視線に接触した対象の心拍数を測定し、人間の心拍数の範囲のものだけステップＶ１４に進ませ、それ以外は、除外するようにしてもよい。これによって、犬、猫、鳥、虫などの小動物を効果的に除外することが可能となる。

格納ステップは、一回実施しておけば、その情報が変更されるまでは再実施する必要はない。或いは、格納ステップは、当該情報を格納したＲＯＭやフラッシュメモリを装置やコンピュータに搭載することで不要となる。

図３は、本装置の対象の認証技法を説明する模式図である。図に示すように、ステレオカメラＳＣ１が、取得したステレオ画像における対象ＳＪの移動時（歩行時）の特定部位の座標（この場合は、対象の最も高い部分）を座標記録ＣＲとして取得する。この高さ方向の座標から地面の高さ方向の座標を減算すれば、身長が出る。但し、この身長は、移動時に微妙に変化する。この変化（変動）は、かなり個人差があり、これを解析して、対象の認証を行う。これは、ステレオ画像から、特定部位の空間座標を求めることができることを利用したものである。特定（認証）の技法には、多種多様なものがあるが、例えば、パターン分析、周期分析、数学的分析（微分、積分など）である。最も単純には、最高部ｈｐと、最低部ｌｐとの高低差ｄｉｆ，最高部ｈｐと、最低部ｌｐとの間の第１の周期ｐｒｄ１１（片足分の移動距離、歩幅、或いは、時間）、最低部ｌｐと最高部ｈｐの間の第２の周期ｐｒｄ１２（もう片足分の移動距離、歩幅或いは、時間）、これらを合計した周期ｐｒｄ１０（両足分の移動距離或いは、時間）を解析することが好適である。

図４は、特定座標記録および座標記録の一例を示すテーブルである。図に示すように、特定座標記録ＳＣＲ１と、座標記録ＣＲ１とがあり、本装置は、これらを比較して対象を認証、特定、識別する。特定座標記録ＳＣＲ１には、多数の対象（人物）の個体識別情報があるが、作図と説明の便宜上、認証済対象ｄｓｕｂ１～３の各データを載せてある。

特定座標記録ＳＣＲ１の各データは以下である。
ｐｒｄ１０(左足と右足で歩いた時間,または歩幅、周期)
prd11(左足の歩幅、または、歩いた時間、周期)
prd12(右足の歩幅、または、歩いた時間、周期)
hp（最も高い点）
lp（最も低い点）
dif(高低差)

座標記録ＣＲ１には、未知の対象（人物）の個体識別情報があるが、作図と説明の便宜上、対象ｓｕｂ１の各データを載せてある。内容は、特定座標記録と同様のもの、或いは、その一部で足りる。

本装置は、特定座標記録ＳＣＲ１と、座標記録ＣＲ１とを比較し、比較の結果、最もマッチするものがdsub1であり、Sub1は、dsub1であると認証（対象を特定）できた。この例では、身長がほぼ同じ特定済み対象があったが、高低差ｄｉｆが２倍近く異なるため、識別できた。もちろん、データの種類が増えれば増えるだけ、認識精度は高まるため、より多くのデータで比較することが好適である。

図５は、特定座標記録および座標記録の一例を示すテーブルである。図に示すように、特定座標記録ＳＣＲ２と、座標記録ＣＲ２とがあり、本装置は、これらを比較して対象を認証、特定、識別する。特定座標記録ＳＣＲ２には、多数の対象（人物）の個体識別情報があるが、作図と説明の便宜上、認証済対象ｄｓｕｂ１１～１３の各データを載せてある。

特定座標記録ＳＣＲ２の各データは以下である。この例では、座標記録から数学的処理をして派生した情報「特定派生情報」を用いた。具体的には、微分値、傾き、積分値などである。
dv1(左足で歩き始め（或いは、左足で歩いているときに身長が最も高くなった時点から）0.1secのときの微分値、傾き)
dv２(左足で歩き始め（或いは、右足で歩いているときに身長が最も高くなった時点から）0.２secのときの微分値、傾き)
dv３(左足で歩き始め（或いは、左足で歩いているときに身長が最も高くなった時点から）0．３secのときの微分値、傾き)
iv1(左足で歩き始め（或いは、左足で歩いているときに身長が最も高くなった時点から）0.1secのときの積分値)
iv2(左足で歩き始め（或いは、左足で歩いているときに身長が最も高くなった時点から）0.2secのときの積分値)
iv2(左足で歩き始め（或いは、左足で歩いているときに身長が最も高くなった時点から）0.3secのときの積分値)

座標記録ＣＲ２には、未知の対象（人物）の個体識別情報があるが、作図と説明の便宜上、対象ｓｕｂ１の各データを載せてある。内容は、特定座標記録と同様のもの、或いは、その一部で足りる。これも数学的処理をした後の派生情報である。

本装置は、特定座標記録ＳＣＲ２と、座標記録ＣＲ２とを比較し、比較の結果、最もマッチするものがdsub12であり、Sub2は、dsub12であると認証（対象を特定）できた。もちろん、このような派生情報のみならず、図４の情報も併せて比較すればより精度高く認証することが可能である。

図６は、特定座標記録および座標記録の一例を示す模式図である。図に示すように、特定座標記録ＳＣＲ１０と、座標記録ＣＲ１とがあり、本装置は、これらを比較して対象を認証、特定、識別する。特定座標記録ＳＣＲ１０には、多数の対象（人物）の個体識別情報があるが、作図と説明の便宜上、認証済対象の特定座標記録ＳＣＲ１１～１３の各データを載せてある。

特定座標記録ＳＣＲ１０の各データは以下である。この例では、座標記録から身長を求め、これの軌跡パターンを用いた。

座標記録ＣＲ１には、未知の対象（人物）の個体識別情報があるが、作図と説明の便宜上、未知の対象のデータを載せてある。内容は、特定座標記録と同様のもの、即ち、身長の軌跡パターンである。

本装置は、特定座標記録ＳＣＲ１０（即ち、それに含まれるＳＣＲ１１－１３）と、座標記録ＣＲ１とを比較し、SCR13と、CR1とが一致度が高く、CR1の対象を、SCR13の特定済対象であると認証（特定）した。もちろん、このような情報のみならず、図４、図５の情報も併せて比較すればより精度高く認証することが可能である。

図７は、座標記録から派生情報を導出する一例を示す模式図である。図に示すように、座標記録ＣＲ１は、特定部位の高さ方向の座標軌跡のパターンである。これを画像解析、または、数学的処理をして、上述したような、ｐｒｄ１０、ｐｒｄ１１、ｐｒｄ１２，ｈｐ，ｌｐ、ｄｉｆなどを導出する。同様に取得した特定済対象の派生情報と、この派生情報とを比較して対象を特定することが可能となる。

図８は、座標記録から頭部の揺れの軌跡を導出する一例を示す模式図である。図に示すように、座標記録ＣＲは、特定部位（頭頂部）の水平面の座標軌跡のパターンである。即ち、対象の進行方向の軸に対する頭部のブレ、ズレ、揺れを捉えたものであり、これは、個体（人物）によって顕著に特徴が異なるものである。これを画像解析、または、数学的処理をして、頭部の最も左へずれた位置から右へずれて、また、元の位置に戻るまでの時間または距離ｈｐｒｄ１０、頭部の最も左へずれた位置から最も右へシフトするまでの時間または距離ｈｐｒｄ１１、頭部の最も右へずれた位置から最も左へシフトするまでの時間または距離ｈｐｒｄ１２，頭部の進行軸の中心から左への変位ｍｌｐ，頭部の進行軸の中心から右への変位ｍｒｐ、頭部の横の差異ｈｄｉｆなどを導出する。同様に取得した特定済対象の派生情報と、この派生情報とを比較して対象を特定することが可能となる。

図９は、特定座標記録および座標記録の一例を示すテーブルである。図に示すように、特定座標記録ＳＣＲ２０は、３つの特定座標記録ＳＣＲ２１～２３を含む。これらは、特定部位（頭頂部）の水平面の座標軌跡のパターン（頭部のブレ）である。同様に、座標記録ＣＲは、ＣＲ２である。これは、特定部位（頭頂部）の水平面の座標軌跡のパターンである。本装置は、特定済対象の座標記録と、未知の対象の座標記録とを比較して対象を特定することが可能となる。即ち、座標の一つとして頭頂部の左右への揺れ（変化）を解析して、人物特定、人物の認証をする。結果、SCR21と、CR2とが一致度が高いので、CR2の対象を、SCR21の特定済対象であると認証できた。また、誤った認証を回避するために、一致度が所定の閾値（記憶部に格納されている）を超える場合のみ、認証することが好適である。

図１０は、座標記録の一例を示す模式図である。図に示すように、頭部の頂点の３次元座標の変化を解析して、人物特定をし、認証を行う。３次元座標のＸ軸、Ｙ軸、Ｚ軸の座標記録ＣＲを取得し、特定済みの対象の特定座標記録と比較すれば、対象の認証を行う。演算量が多くなるが、対象の動作を精密に分析できるため、精度よく対象の認証を行うことが可能となる。

図１１は、特定座標記録および座標記録の一例を示す模式図である。図に示すように、特定座標記録ＳＣＲ３０と、座標記録ＣＲ３１とがあり、本装置は、これらを比較して対象を認証、特定、識別する。特定座標記録ＳＣＲ３０には、多数の対象（人物）の個体識別情報があるが、作図と説明の便宜上、認証済対象の特定座標記録ＳＣＲ３１～３３の各データを載せてある。特定座標記録３１－３３の各データは、３次元座標の軌跡パターンである。

座標記録ＣＲ３は、未知の対象（人物）の個体識別情報があるが、作図と説明の便宜上、未知の対象のデータを１つ載せてある。内容は、特定座標記録と同様のもの、即ち、３次元座標の軌跡パターンである。

図１２は、特定座標記録および座標記録の一例を示す模式図である。図に示すように、特定済の対象の、水平面の座標の軌跡パターンである特定座標記録ＳＣＲ４０のうち、立ち止まる直前から立ち止まるまでの特定座標記録に注目する。異なる特定済の対象の特定座標記録ＳＣＲ４１－４３がある。このように、対象によって立ち止まるときの頭部の動きが異なる。

同様に、未知の対象の、水平面の座標の軌跡パターンである座標記録のうち、立ち止まる直前から立ち止まるまでの座標記録ＣＲ４０に注目して、そこの軌跡を認証の基礎にする。本装置は、特定済対象の座標記録と、未知の対象の座標記録とを比較して対象を特定することが可能となる。即ち、立ち止まるときの頭頂部の揺れ（変化）を解析して、人物特定、人物の認証をする。結果、比較の結果、最もマッチするものがSCR41であり、ＣＲ４０は、SCR41の対象であると認証（対象を特定）した。また、誤った認証を回避するために、一致度が所定の閾値（記憶部に格納されている）を超える場合のみ、認証する（マッチしたとする）ことが好適である。さらに、水平面の軌跡を基礎としたが、高さの軌跡でもよいし、３次元座標の軌跡を用いてもよい。さらにまた、歩き出しのときには、対象に特有の揺らぎがあるので、歩き出しのタイミングの軌跡を比較材料としてもよい。

ここまでの実施態様では、特定部位として、頭頂部を使用したが、他の部位、例えば、耳、口、鼻、目、或いは、これらの組み合わせを使用してもよい。

図１３は、監視装置を介護システムに適用した実施態様の模式図である。介護施設に来た未知の対象ＳＪ５１，ＳＪ５２，ＳＪ５３がステレオ画像に現れたものとする。この３人の対象の座標記録と、特定済の対象の特定座標記録とを比較し、３人とも認証できたものとする。その場合、本装置は、介護サーバＣＳ１に認証情報を送付し、これを受けた介護サーバは、認証できたＳＪ５１の利用実績記録シートに「水曜：９：１８」に入館したという情報を記録し、これを介護費用の請求業務に利用することが可能である。退館も同様に記録できる。他の対象も認証したものは、同様に記録可能である。また、これは、認知症の利用者の無断外出を防止する、即ち、徘徊回避監視装置としても利用可能である。特定済の利用者が勝手に退館しようとした場合は、警報を出力することが好適である。また、新規の利用者が、入館しようとした場合は、認証不可として、警報を発することも可能であるが、介護サーバと連携して、入所登録することが可能である。例えば、当日、利用開始の利用者が３人いる場合は、利用提供票の当日利用のシートおよび個人ファイル（顔写真ファイルなど）をポップアップさせ、介護施設スタッフが、対象である利用者を特定し、利用実績記録シートと、座標記録をひもづけて、これを特定座標記録とすることが好適である。

図１４は、本装置を入退室管理システムに応用した場合の模式図である。図に示すように、シーンＳＣＮ１は、従来の入退室システムのカード認証を利用したものである。例えば、対象ＳＪ６１が認証可能なカードをかざして、認証された場合は、そのすぐそばにいる対象ＳＪ６２も、対象ＳＪ６１と共に入館可能、即ち、共連れ可能である。これは、従来のどのようなシステムでも共連れが可能であり、不正入館を防止することは困難である。例えば、２Ｄのカメラで顔認証するようなシステムの場合は、対象がカメラ前に立ち、認証された場合にゲートが開くようなシステムであり、このようなシステムでも、「認証された対象に接近して、一緒に入館する共連れ」が可能であり、不正入館を防止することは困難である。

シーンＳＣＮ２は、本装置を適用した入退室管理システムであり、監視カメラに映る対象を個別に、認証していくものである。個別認証なので、共連れは不可能である。例えば、対象ＳＪ７１が認証されたた場合は、そのすぐそばにいる対象ＳＪ７２は、自己が認証されない限り、対象ＳＪ７１と共に入館は不可能、即ち、共連れは不可である。このように本装置は、不正入館を適正に防止することが可能である。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部、各ステップなどに含まれる処理や機能などは論理的に矛盾しないように再配置可能であり、複数の手段／部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。或いは、本発明による装置、方法、プログラムなどの一部の構成要素、機能、処理、ステップなどを遠隔地のサーバなどに配置することも可能であることに注意されたい。また、本発明をリアルタイムの監視装置として説明してきたが、撮影済みの画像を入力として、不審な対象が撮影した時間帯や瞬間を切り出す、編集装置や編集システムとしても使用可能である。

本装置は、図１に示すような、顔認証サーバＰＡＳと連携することも可能である。例えば、顔認証サーバでは、顔の特徴のみに基づき、人物の認証を行うが、本装置は、人物の身長などの身体的特徴および人物の歩行動作の振る舞いなども総合的に認証材料にするため、本装置と協働させることで、より精度を高め、より短時間で、認証判断でき、総合的には、より高精度な認証システムを構築することが可能である。或いは、本装置に、顔認証システムを包含させることも可能である。

ＳＣＲ３１-３３ 特定座標記録
ＳＣＲ２１-２３ 特定座標記録
ＳＣＲ１１-１３ 特定座標記録
ｄｓｕｂ１１-１３ 認証済対象
ｄｓｕｂ１-３ 認証済対象
ＡＣＱ 取得部
ＡＩＳ 認証情報サーバ
ＣＡＭ 撮像部
ＣＯＭ 通信部
ＣＯＮ 制御部
ＣＲ 座標記録
ＣＲ１ 座標記録
ＣＲ２ 座標記録
ＣＲ３ 座標記録
ＣＲ３１ 座標記録
ＣＲ４０ 特定座標記録
ＣＳ１ 介護サーバ
ｄｉｆ 高低差
ｄｉｆ， 高低差
ＤＩＳ 表示部
ｈｄｉｆ 差異
ｈｐ 最高部
ｈｐｒｄ１０ 距離
ｈｐｒｄ１１ 距離
ｈｐｒｄ１２， 距離
ｌｐ 最低部
ＭＥＭ 記憶部
ｍｌｐ 変位
ＭＬＳ 監視線設定部
ＭＯＮ 監視部
ｍｒｐ 変位
ＭＳ１ 監視装置
ＮＥＴ ネットワーク
ＰＯＭ 位置測定部
ｐｒｄ１０ 周期
ｐｒｄ１１ 周期
ｐｒｄ１２ 周期
Ｓ１１ ステップ
Ｓ１２ ステップ
ＳＡ 対象認証部
ＳＣ１ ステレオカメラ
ＳＣＲ 特定座標記録
ＳＣＲ１ 特定座標記録
ＳＣＲ１０ 特定座標記録
ＳＣＲ２ 特定座標記録
ＳＣＲ２０ 特定座標記録
ＳＣＲ３０ 特定座標記録
ＳＣＲ４０ 特定座標記録
ＳＣＲ４１ 特定座標記録
ＳＪ 対象
ＳＪ５１，ＳＪ５２，ＳＪ５３ 対象
ｓｕｂ１ 対象
ＳＶ１ サーバ
ＷＯＴ 警報出力部

Claims (7)

1. ステレオカメラとサーバとを含む監視装置であって、
   前記ステレオカメラが、
   ステレオ画像を撮像する撮像部と、
   前記ステレオ画像を前記サーバに送信する通信部と、
   を有し、
   前記サーバが、
   特定済対象の特定位置の座標を時間の経過とともに記録したものを特定座標記録として格納する記憶部と、
   前記ステレオカメラから送信された前記ステレオ画像、を受信する通信部と、
   前記ステレオカメラにおける前記ステレオ画像内において、第１と第２の監視線の設定を受け付ける監視線設定部と、
   前記ステレオ画像を解析して、前記受け付けた第１と第２の監視線を通過する対象を認識し、第１の監視線と第２の監視線との間の監視領域に位置する対象の特定位置の座標を追跡する監視部と、
   前記対象の特定位置の座標を時間の経過とともに記録したものを座標記録として取得する座標取得部と、
   前記対象の立ち止まる直前から立ち止まるまでの前記座標記録と、前記特定済対象の立ち止まる直前から立ち止まるまでの前記特定座標記録とを比較し、所定の閾値よりも一致度の高い特定座標記録の特定済対象を、前記対象であると認証する対象認証部と、
   前記監視領域に認証されない対象があるとき、所定の警報を出力する警報出力部と、
   を有し、
   前記特定済対象の特定位置は、
   前記特定済対象が前記ステレオカメラに向かう場合における該特定済対象の最も高い部分、頭頂部、つむじ、目、鼻、口、耳、または、肩、であり、
   前記対象の特定位置は、前記対象が前記ステレオカメラに向かう場合における該対象の最も高い部分、頭頂部、つむじ、目、鼻、口、耳、または、肩である
   ことを特徴とする、監視装置。
2. ステレオカメラとサーバとを含む監視装置であって、
   前記ステレオカメラが、
   ステレオ画像を撮像する撮像部と、
   前記ステレオ画像を前記サーバに送信する通信部と、
   を有し、
   前記サーバが、
   特定済対象の特定位置の座標を時間の経過とともに記録したものを特定座標記録として格納する記憶部と、
   前記ステレオカメラから送信された前記ステレオ画像、を受信する通信部と、
   前記ステレオ画像を解析して、対象の特定位置の座標を追跡する監視部と、
   前記対象の特定位置の座標を時間の経過とともに記録したものを座標記録として取得する座標取得部と、
   前記対象の立ち止まる直前から立ち止まるまでの前記座標記録と、前記特定済対象の立ち止まる直前から立ち止まるまでの前記特定座標記録とを比較し、所定の閾値よりも一致度の高い特定座標記録の特定済対象を、前記対象であると認証する対象認証部と、
   認証されない対象があるとき、所定の警報を出力する警報出力部と、
   を有し、
   前記特定済対象の特定位置は、
   前記特定済対象が前記ステレオカメラに向かう場合における該特定済対象の最も高い部分、頭頂部、つむじ、目、鼻、口、耳、または、肩、であり、
   前記対象の特定位置は、前記対象が前記ステレオカメラに向かう場合における該対象の最も高い部分、頭頂部、つむじ、目、鼻、口、耳、または、肩である
   ことを特徴とする、監視装置。
3. 監視装置であって、
   ステレオ画像を撮像する撮像部と、
   特定済対象の特定位置の座標を時間の経過とともに記録したものを特定座標記録として格納する記憶部と、
   前記ステレオ画像を解析して、対象の特定位置の座標を追跡する監視部と、
   前記対象の特定位置の座標を時間の経過とともに記録したものを座標記録として取得する座標取得部と、
   前記対象の立ち止まる直前から立ち止まるまでの前記座標記録と、前記特定済対象の立ち止まる直線から立ち止まるまでの前記特定座標記録とを比較し、所定の閾値よりも一致度の高い特定座標記録の特定済対象を、前記対象であると認証する対象認証部と、
   認証されない対象があるとき、所定の警報を出力する警報出力部と、 を有し、
   前記特定済対象の特定位置は、
   前記特定済対象が前記ステレオカメラに向かう場合における該特定済対象の最も高い部分、頭頂部、つむじ、目、鼻、口、耳、または、肩、であり、
   前記対象の特定位置は、前記対象が前記ステレオカメラに向かう場合における該対象の最も高い部分、頭頂部、つむじ、目、鼻、口、耳、または、肩である
   ことを特徴とする、監視装置。
4. １つまたは複数の演算処理装置を請求項１～３のいずれか１項に記載の監視装置として機能させる監視プログラム。
5. 請求項４に記載の監視プログラムを格納したコンピュータ可読な記憶媒体。
6. ステレオカメラとサーバとを含む監視装置による監視方法であって、
   前記ステレオカメラが、ステレオ画像を撮像する撮像ステップと、
   前記ステレオカメラが、前記ステレオ画像を前記サーバに送信する通信ステップと、
   前記サーバが、特定済対象の特定位置の座標を時間の経過とともに記録したものを特定座標記録として記憶部に格納する格納ステップと、
   前記サーバが、前記ステレオカメラから送信された前記ステレオ画像、を受信する通信ステップと、
   前記サーバが、前記ステレオ画像を解析して、対象の特定位置の座標を追跡する監視ステップと、
   前記サーバが、前記対象の特定位置の座標を時間の経過とともに記録したものを座標記録として取得する座標取得ステップと、
   前記サーバが、前記対象の立ち止まる直前から立ち止まるまでの前記座標記録と、前記特定済対象の立ち止まる直前から立ち止まるまでの前記特定座標記録とを比較し、所定の閾値よりも一致度の高い特定座標記録の特定済対象を、前記対象であると認証する対象認証ステップと、
   認証されない対象があるとき、所定の警報を出力する警報出力ステップと、
   を有し、
   前記特定済対象の特定位置は、
   前記特定済対象が前記ステレオカメラに向かう場合における該特定済対象の最も高い部分、頭頂部、つむじ、目、鼻、口、耳、または、肩、であり、
   前記対象の特定位置は、前記対象が前記ステレオカメラに向かう場合における該対象の最も高い部分、頭頂部、つむじ、目、鼻、口、耳、または、肩である
   ことを特徴とする、監視方法。
7. 監視方法であって、
   撮像部が、ステレオ画像を撮像する撮像ステップと、
   記憶部が、特定済対象の特定位置の座標を時間の経過とともに記録したものを特定座標記録として格納する格納ステップと、
   演算部が、前記ステレオ画像を解析して、対象の特定位置の座標を追跡する監視ステップと、
   前記演算部が、前記対象の特定位置の座標を時間の経過とともに記録したものを座標記録として取得する座標取得ステップと、
   前記演算部が、前記対象の立ち止まる直前から立ち止まるまでの前記座標記録と、前記特定済対象の立ち止まる直前から立ち止まるまでの前記特定座標記録とを比較し、所定の閾値よりも一致度の高い特定座標記録の特定済対象を、前記対象であると認証する対象認証ステップと、
   前記演算部が、認証されない対象があるとき、所定の警報を出力する警報出力ステップと、
   を有し、
   前記特定済対象の特定位置は、
   前記特定済対象が前記ステレオカメラに向かう場合における該特定済対象の最も高い部分、頭頂部、つむじ、目、鼻、口、耳、または、肩、であり、
   前記対象の特定位置は、前記対象が前記ステレオカメラに向かう場合における該対象の最も高い部分、頭頂部、つむじ、目、鼻、口、耳、または、肩である
   ことを特徴とする、監視方法。
   

Images