JPH1040482A - 文章情報による無人報知システム - Google Patents
文章情報による無人報知システムInfo
- Publication number
- JPH1040482A JPH1040482A JP21312596A JP21312596A JPH1040482A JP H1040482 A JPH1040482 A JP H1040482A JP 21312596 A JP21312596 A JP 21312596A JP 21312596 A JP21312596 A JP 21312596A JP H1040482 A JPH1040482 A JP H1040482A
- Authority
- JP
- Japan
- Prior art keywords
- sentence
- information
- video signal
- analyzer
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
Abstract
(57)【要約】
【目的】 監視対象物の映像信号及び音声信号により３
次元位置・姿勢並びに移動動作を推定し、前記対象物の
動作情報を文章情報に変換して報知する。 【構成】 ビデオカメラ、マイクロホン、動静解析装
置、発話認識装置、言語解析文章生成装置及び通信装置
とにより構成される。
次元位置・姿勢並びに移動動作を推定し、前記対象物の
動作情報を文章情報に変換して報知する。 【構成】 ビデオカメラ、マイクロホン、動静解析装
置、発話認識装置、言語解析文章生成装置及び通信装置
とにより構成される。
Description
【０００１】
【産業上の利用分野】本発明は、病院等に於ける要介護
者の動静の監視、建物内に外部よりの侵入者のセキュリ
ティ監視、高価動物の動静監視等を無人にて行なう文章
情報による無人報知システムに関する。
者の動静の監視、建物内に外部よりの侵入者のセキュリ
ティ監視、高価動物の動静監視等を無人にて行なう文章
情報による無人報知システムに関する。
【０００２】
【従来の技術】従来の無人報知システムとしては、赤外
線センサー、圧力センサー、音響センサー等が対象物を
感知したとき、通信回線を介して遠隔地へ警報を伝える
システムがある。
線センサー、圧力センサー、音響センサー等が対象物を
感知したとき、通信回線を介して遠隔地へ警報を伝える
システムがある。
【０００３】このシステムは、単一もしくは複数の特定
センサーの作動に連動してセンサーが感知内容を通報す
るシステムである。
センサーの作動に連動してセンサーが感知内容を通報す
るシステムである。
【０００４】またビデオカメラあるいはマイクロホンに
より採取された映像信号あるいは音声信号そのものを監
視地点まで伝達する報知システムがある。
より採取された映像信号あるいは音声信号そのものを監
視地点まで伝達する報知システムがある。
【０００５】この他に対象物のジェスチャ動作を映像信
号の各フレーム画像の変化の特徴をもとに認識する方法
（長屋茂喜、関進、岡隆一：電子情報通信学技法，ＮＬ
Ｃ９５−３７，１９９５年１０月）、また発話者の動作
種別の認識と発話内容をもとに発話者の動作種別の認識
と発話内容をもとに発話者の行動を認識する方法（中村
祐一他：電子情報通信学技法，ＮＬＣ９５−３８，１９
９５年１０月）等の報告がある。
号の各フレーム画像の変化の特徴をもとに認識する方法
（長屋茂喜、関進、岡隆一：電子情報通信学技法，ＮＬ
Ｃ９５−３７，１９９５年１０月）、また発話者の動作
種別の認識と発話内容をもとに発話者の動作種別の認識
と発話内容をもとに発話者の行動を認識する方法（中村
祐一他：電子情報通信学技法，ＮＬＣ９５−３８，１９
９５年１０月）等の報告がある。
【０００６】また、与えられた画像の内容を説明する文
章情報を用いて画像を理解する方法（渡辺靖彦等：電子
情報通信学技法，ＮＬＣ９５−３３，１９９５年１０
月、Ｓｒｉｈａｒｉ、Ｍｃｋｅｗｎ）等の報告がある。
章情報を用いて画像を理解する方法（渡辺靖彦等：電子
情報通信学技法，ＮＬＣ９５−３３，１９９５年１０
月、Ｓｒｉｈａｒｉ、Ｍｃｋｅｗｎ）等の報告がある。
【０００７】
【発明が解決しようとする課題】しかしながら特定セン
サーによる報知システムでは、限定された単一情報しか
報知できず、報知内容に限度があり、病人の動静を監視
する等の複雑な情報を得ることは不可能である。
サーによる報知システムでは、限定された単一情報しか
報知できず、報知内容に限度があり、病人の動静を監視
する等の複雑な情報を得ることは不可能である。
【０００８】また映像信号あるいは音声信号そのものを
監視地点まで伝達する報知システムでは、伝達情報量が
大きく通信コストが大きくなること、また送られてきた
信号を常時再生し監視しなければならないため監視コス
ト高くなること、また送られてきた信号を人間が監視す
るため監視される人間のプライバシーを守ることができ
ないという問題がある。
監視地点まで伝達する報知システムでは、伝達情報量が
大きく通信コストが大きくなること、また送られてきた
信号を常時再生し監視しなければならないため監視コス
ト高くなること、また送られてきた信号を人間が監視す
るため監視される人間のプライバシーを守ることができ
ないという問題がある。
【０００９】そのうえ監視情報を記憶する膨大な記憶装
置が必要となるため設備費が高くなるという欠点があ
る。
置が必要となるため設備費が高くなるという欠点があ
る。
【００１０】また長屋等の報告では、ジェスチャ認識な
らびに動作種別の認識は２次元画像上の対象物のパター
ン変化の特徴量を求め、この値をもとにジェスチャまた
は動作種別を識別しており、対象物の３次元位置・姿勢
情報を求めていないため、３次元的な移動情報をもと
に、行動、動作を記述することは不可能である。
らびに動作種別の認識は２次元画像上の対象物のパター
ン変化の特徴量を求め、この値をもとにジェスチャまた
は動作種別を識別しており、対象物の３次元位置・姿勢
情報を求めていないため、３次元的な移動情報をもと
に、行動、動作を記述することは不可能である。
【００１１】また渡辺靖等の報告は、いずれも２次元画
像上のパターン形状を対象とするものであり、対象物の
３次元位置・姿勢を抽出し、この移動情報をもとに、行
動、動作を記述することは不可能である。
像上のパターン形状を対象とするものであり、対象物の
３次元位置・姿勢を抽出し、この移動情報をもとに、行
動、動作を記述することは不可能である。
【００１２】本発明の目的とするところは、監視のため
の通信コストが低く、監視対象物のプライバシーを守
り、必要な監視項目を見落とすことなく正確に、監視記
録の記憶情報量を大幅に低減できる文章情報による無人
報知システムである。
の通信コストが低く、監視対象物のプライバシーを守
り、必要な監視項目を見落とすことなく正確に、監視記
録の記憶情報量を大幅に低減できる文章情報による無人
報知システムである。
【００１３】
【課題を解決するための手段】監視対象物のビデオカメ
ラにより採集した映像信号あるいは前記映像信号及び監
視対象物のマイクロホンにより採集した音声信号によ
り、各標本時点での対象物の３次元位置・姿勢を推定
し、前記対象物の情報を文章情報に変換して報知するこ
とにより解決される。
ラにより採集した映像信号あるいは前記映像信号及び監
視対象物のマイクロホンにより採集した音声信号によ
り、各標本時点での対象物の３次元位置・姿勢を推定
し、前記対象物の情報を文章情報に変換して報知するこ
とにより解決される。
【００１４】
【作用】対象物から発生する音響または音声を一つまた
は複数のマイクロホンで捉え音声信号に変える。
は複数のマイクロホンで捉え音声信号に変える。
【００１５】その時前記対象物を一つまたは複数のビデ
オカメラで捉え映像信号に変える。
オカメラで捉え映像信号に変える。
【００１６】つぎに前記音声信号をもとに対象物の３次
元位置を推定する。
元位置を推定する。
【００１７】つづいて前記映像信号及び音声信号により
対象物の３次元的な動静を適当な標本時間間隔で調べ、
前記動静を数値情報で表す。
対象物の３次元的な動静を適当な標本時間間隔で調べ、
前記動静を数値情報で表す。
【００１８】前記３次元数値情報で表された移動情報
を、格文法構造など予め与えられた構文規則に基ずく移
動文（文章）にて表示する。
を、格文法構造など予め与えられた構文規則に基ずく移
動文（文章）にて表示する。
【００１９】順次得られる移動文と予め設置位置が与え
られている位置関係、また音声認識により得られ多発話
内容をもとに対象物の一つにまとまった動作を格構造な
どで表し、格文法等の構文を持つ目的動作文を生成す
る。
られている位置関係、また音声認識により得られ多発話
内容をもとに対象物の一つにまとまった動作を格構造な
どで表し、格文法等の構文を持つ目的動作文を生成す
る。
【００２０】つづいて複数の目的動作文をから、一定時
間単位の動作状況を説明する動作状況説明文を生成す
る。
間単位の動作状況を説明する動作状況説明文を生成す
る。
【００２１】前記目的動作文及び状況説明文が予め指定
された基準（報知基準）以上の報知状況または目的動作
文または動作状況説明文であれば、格文法に基ずく文章
で報知文で表す。
された基準（報知基準）以上の報知状況または目的動作
文または動作状況説明文であれば、格文法に基ずく文章
で報知文で表す。
【００２２】前記報知文はデータ通信網を介して監視所
に電送し、受信する。
に電送し、受信する。
【００２３】前記受信した報知データは、文章、映像、
音声信号の形にて再生表示する。
音声信号の形にて再生表示する。
【００２４】
【実施例】図１は病院に於ける文章情報による無人報知
システムの一実施例を示すが、本発明はこの実施例に限
定されるものではない。
システムの一実施例を示すが、本発明はこの実施例に限
定されるものではない。
【００２５】図において対象物１である病人が収容され
ている病室内にはビデオカメラ２及びマイクロホン３が
設置されている。
ている病室内にはビデオカメラ２及びマイクロホン３が
設置されている。
【００２６】ビデオカメラ２は、対象物の動静を捉え映
像信号に換えて動静解析装置４におくる。
像信号に換えて動静解析装置４におくる。
【００２７】またマイクロホン３は、対象物１の音響及
び音声を捉え、音声信号に換え一部は動静解析装置４に
送るとともに発話認識装置５に送る。
び音声を捉え、音声信号に換え一部は動静解析装置４に
送るとともに発話認識装置５に送る。
【００２８】動静解析装置４においては前記音声信号に
より対象物１の３次元位置を推定するとともに、前記映
像信号を両眼立体視法（モデルベース認識法でもよい）
及び位置・姿勢推定手法を用いて対象物１の３次元位置
・姿勢の変化で捉え、言語解析文章生成装置６に送る。
より対象物１の３次元位置を推定するとともに、前記映
像信号を両眼立体視法（モデルベース認識法でもよい）
及び位置・姿勢推定手法を用いて対象物１の３次元位置
・姿勢の変化で捉え、言語解析文章生成装置６に送る。
【００２９】一方発話認識装置５においては、送られて
きた音声信号をもとにＨＭＭ（隠れマルコフモデル）手
法を用いて発話内容を認識し、対象物１の３次元位置の
推定との関連を調べ、この結果を言語解析文章生成装置
６におくる。
きた音声信号をもとにＨＭＭ（隠れマルコフモデル）手
法を用いて発話内容を認識し、対象物１の３次元位置の
推定との関連を調べ、この結果を言語解析文章生成装置
６におくる。
【００３０】言語解析文章生成装置６においては動静解
析装置４より送られてきた対象物１の３次元位置・姿勢
の変化及び発話認識装置５より送られてきた発話文を、
適当な標本時間間隔で調べ、動作内容を構文構造を持っ
た移動文で表す。
析装置４より送られてきた対象物１の３次元位置・姿勢
の変化及び発話認識装置５より送られてきた発話文を、
適当な標本時間間隔で調べ、動作内容を構文構造を持っ
た移動文で表す。
【００３１】さらに言語解析文章生成装置６において複
数の前記移動文をもとに一つのまとまった目的動作を表
す目的動作文を生成する。
数の前記移動文をもとに一つのまとまった目的動作を表
す目的動作文を生成する。
【００３２】前記目的動作文の生成には、予め３次元配
置が与えられている設置物体の位置と対象物１の移動位
置の相対的な関係を用いてもよい。
置が与えられている設置物体の位置と対象物１の移動位
置の相対的な関係を用いてもよい。
【００３３】さらには音声認識した発話内容を用いて目
的動作文を生成してもよい。
的動作文を生成してもよい。
【００３４】つぎに複数の前記目的動作文をもととして
対象物１の状況を表す動作状況文を生成する。
対象物１の状況を表す動作状況文を生成する。
【００３５】つづいて前記目的動作文さらには動作状況
文を調べ、予めプロダクションルール形式（述語論理形
式でもよい）にて指定された報知基準以上の動作状況文
あるいは目的動作文が現われれば、文章にて報知文を生
成するとともに、予め与えられている基準に従い前記報
知文の他に、必要な時点の静止画あるいは動画さらには
音声データをディジタル形式にて報知データを生成す
る。
文を調べ、予めプロダクションルール形式（述語論理形
式でもよい）にて指定された報知基準以上の動作状況文
あるいは目的動作文が現われれば、文章にて報知文を生
成するとともに、予め与えられている基準に従い前記報
知文の他に、必要な時点の静止画あるいは動画さらには
音声データをディジタル形式にて報知データを生成す
る。
【００３６】生成された前記報知報知文または報知デー
タは、通信装置７を介し通信網により監視所８に送信さ
れる。
タは、通信装置７を介し通信網により監視所８に送信さ
れる。
【００３７】監視所８に於いて受信された前記報知デー
タは文章、映像、音声信号の形で再生表示され、一定の
基準で選択された内容文であれば、アラーム信号等の警
報を発する。
タは文章、映像、音声信号の形で再生表示され、一定の
基準で選択された内容文であれば、アラーム信号等の警
報を発する。
【００３８】また受信した監視所８側から報知されてき
た内容に基づき、報知側の報知基準あるいは報知データ
の種類を変更指示できる。
た内容に基づき、報知側の報知基準あるいは報知データ
の種類を変更指示できる。
【００３９】さらに監視所８に於いては、報知されてき
た情報を蓄積し、監視対象物の状況のデータベースを作
成し、再度検索の必要ある場合にデータを提供すること
が可能である。
た情報を蓄積し、監視対象物の状況のデータベースを作
成し、再度検索の必要ある場合にデータを提供すること
が可能である。
【００４０】
【発明の効果】本発明により、報知のための情報を映像
または音声で直接伝送する従来方式に比べ、報知する内
容を文章に変換し、必要な情報のみを選択して報知する
ため、監視される人間のプライバシが守れること、映像
信号、音声信号を連続して伝送するコストに比べ、必要
な時点でのみ文章情報、または選択基準に応じた映像情
報、音声情報を報知できるため伝送コストが飛躍的に低
減できること、常時監視またはチェックの要員を必要と
せず省力化できること、遠隔地からソフトを操作するこ
とにより報知範囲あるいは報知内容の変更が可能なこ
と、さらには長期にわたり報知内容を蓄積でき、その蓄
積するための記憶容量が少なくできシステム価格が低減
できることが可能となった。
または音声で直接伝送する従来方式に比べ、報知する内
容を文章に変換し、必要な情報のみを選択して報知する
ため、監視される人間のプライバシが守れること、映像
信号、音声信号を連続して伝送するコストに比べ、必要
な時点でのみ文章情報、または選択基準に応じた映像情
報、音声情報を報知できるため伝送コストが飛躍的に低
減できること、常時監視またはチェックの要員を必要と
せず省力化できること、遠隔地からソフトを操作するこ
とにより報知範囲あるいは報知内容の変更が可能なこ
と、さらには長期にわたり報知内容を蓄積でき、その蓄
積するための記憶容量が少なくできシステム価格が低減
できることが可能となった。
【図１】本発明の文章情報による無人報知システムを示
した説明図である。
した説明図である。
１ 対象物 ２ ビデオカメラ ３ マイクロホン ４ 動静解析装置 ５ 発話認識装置 ６ 言語解析文章生成装置 ７ 通信装置 ８ 監視所 WW@@トト給滑
───────────────────────────────────────────────────── フロントページの続き (72)発明者 黄瀬 浩一 大阪府堺市大野芝町23番大野芝宅舎１−24 (72)発明者 萩原 昭夫 兵庫県尼崎市神田北通り９丁目259番地
Claims (1)
- 【請求項１】対象物より得た信号により、前記対象物の
３次元位置・姿勢及び移動動作を推定し、前記対象物の
動作情報を文章情報に変換して報知する文章情報による
無人報知システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21312596A JPH1040482A (ja) | 1996-07-23 | 1996-07-23 | 文章情報による無人報知システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21312596A JPH1040482A (ja) | 1996-07-23 | 1996-07-23 | 文章情報による無人報知システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1040482A true JPH1040482A (ja) | 1998-02-13 |
Family
ID=16633997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21312596A Pending JPH1040482A (ja) | 1996-07-23 | 1996-07-23 | 文章情報による無人報知システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1040482A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001056471A1 (en) * | 2000-02-02 | 2001-08-09 | Hunter, Jeremy, Alexander | Patient monitoring devices and methods |
| JP2002024962A (ja) * | 2000-07-07 | 2002-01-25 | Nippon Lsi Card Co Ltd | 現場状況報知方法とそのシステム並びにこれに用いる撮像ユニット |
| JP2002133558A (ja) * | 2000-10-27 | 2002-05-10 | Victor Co Of Japan Ltd | 監視用信号の通信方法、及び監視用信号通信装置 |
| JP2007251556A (ja) * | 2006-03-15 | 2007-09-27 | Omron Corp | 監視装置および方法、画像処理装置および方法、並びにプログラム |
| JP2009201014A (ja) * | 2008-02-25 | 2009-09-03 | Sogo Keibi Hosho Co Ltd | 要約文作成装置及び要約文作成方法 |
| JP2019008638A (ja) * | 2017-06-27 | 2019-01-17 | オムロン株式会社 | 見守り支援システム及びその制御方法 |
-
1996
- 1996-07-23 JP JP21312596A patent/JPH1040482A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001056471A1 (en) * | 2000-02-02 | 2001-08-09 | Hunter, Jeremy, Alexander | Patient monitoring devices and methods |
| JP2002024962A (ja) * | 2000-07-07 | 2002-01-25 | Nippon Lsi Card Co Ltd | 現場状況報知方法とそのシステム並びにこれに用いる撮像ユニット |
| JP2002133558A (ja) * | 2000-10-27 | 2002-05-10 | Victor Co Of Japan Ltd | 監視用信号の通信方法、及び監視用信号通信装置 |
| JP2007251556A (ja) * | 2006-03-15 | 2007-09-27 | Omron Corp | 監視装置および方法、画像処理装置および方法、並びにプログラム |
| JP2009201014A (ja) * | 2008-02-25 | 2009-09-03 | Sogo Keibi Hosho Co Ltd | 要約文作成装置及び要約文作成方法 |
| JP2019008638A (ja) * | 2017-06-27 | 2019-01-17 | オムロン株式会社 | 見守り支援システム及びその制御方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9602938B2 (en) | Sound library and method | |
| CN110741433B (zh) | 使用多个计算设备的对讲式通信 | |
| Nakadai et al. | Real-time auditory and visual multiple-object tracking for humanoids | |
| US20180018970A1 (en) | Neural network for recognition of signals in multiple sensory domains | |
| US11551684B1 (en) | State detection and responses for electronic devices | |
| CN105474666A (zh) | 声音处理装置、声音处理系统及声音处理方法 | |
| US10565862B2 (en) | Methods and systems for ambient system control | |
| CN110209281B (zh) | 对运动信号进行处理的方法、电子设备和介质 | |
| CN112099630B (zh) | 一种多模态意图逆向主动融合的人机交互方法 | |
| WO2011025460A1 (en) | Method and system for event detection | |
| US11335359B2 (en) | Methods and devices for obtaining an event designation based on audio data | |
| US20210368279A1 (en) | Smart hearing assistance in monitored property | |
| JPH1040482A (ja) | 文章情報による無人報知システム | |
| Arslan et al. | Sound based alarming based video surveillance system design | |
| Yun et al. | Recognition of emergency situations using audio–visual perception sensor network for ambient assistive living | |
| Park et al. | Sound learning–based event detection for acoustic surveillance sensors | |
| CN105474665A (zh) | 声音处理装置、声音处理系统及声音处理方法 | |
| Neumann et al. | Integration of audiovisual sensors and technologies in a smart room | |
| US20220189267A1 (en) | Security system | |
| JPH11134349A (ja) | 環境適応型情報呈示装置及び実世界データベース | |
| JP4175180B2 (ja) | 監視通報システム | |
| US20230041272A1 (en) | Conversation facilitating method and electronic device using the same | |
| CN100559410C (zh) | 情况监视装置和情况监视系统 | |
| Hussein et al. | Acoustic Event Classification for Ambient Assisted Living and Healthcare Environments | |
| Komatsu et al. | An acoustic monitoring system and its field trials |