JP4627152B2 - 危機監視システム - Google Patents

危機監視システム Download PDF

Info

Publication number
JP4627152B2
JP4627152B2 JP2004163328A JP2004163328A JP4627152B2 JP 4627152 B2 JP4627152 B2 JP 4627152B2 JP 2004163328 A JP2004163328 A JP 2004163328A JP 2004163328 A JP2004163328 A JP 2004163328A JP 4627152 B2 JP4627152 B2 JP 4627152B2
Authority
JP
Japan
Prior art keywords
crisis
monitoring
crisis monitoring
emotion
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004163328A
Other languages
English (en)
Other versions
JP2005346254A5 (ja
JP2005346254A (ja
Inventor
信夫 佐藤
康成 大淵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to JP2004163328A priority Critical patent/JP4627152B2/ja
Priority to US11/043,169 priority patent/US7298256B2/en
Publication of JP2005346254A publication Critical patent/JP2005346254A/ja
Publication of JP2005346254A5 publication Critical patent/JP2005346254A5/ja
Application granted granted Critical
Publication of JP4627152B2 publication Critical patent/JP4627152B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/16Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1654Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
    • G08B13/1672Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00Predictive alarm systems characterised by extrapolation or other computation using updated historic data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)
  • Maintenance And Inspection Apparatuses For Elevators (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、危機監視システムに関し、特に人間の発話から危機状態を判定するシステムに関する。
狭い空間の公共スペースにおいては、痴漢が出没する場合が多い。それを防ぐために、例えば、エレベータ内で痴漢からの被害を防ぐために、外部との通話ボタン付近や行き先階数ボタンの付近に立ち、あやしい人が入ってきたら、その人の行動に注意する。もし危険を感じたら、通話ボタンや、行き先階数ボタンを押して、エレベータを止めて逃げなければならない。
この問題を解決すべく、危機監視システムに関しては、エレベータの乗りかご内を撮像する撮像手段によって撮像された画像を、画像判定部が判定し、前記乗りかご内の状態をかご内状態判定部が判定する。これら2つの判定結果に応じてかご内が正常か異常かを異常判定部が判定し、異常である場合は管理人室に通報する技術が提案されている(例えば、特許文献1参照。)。
また、予め選定した監視対象とする対象物より発生される音波を音響信号として得、その音響信号を音声認識部の音響解析手段で解析し、解析結果の分析を信号分析手段で行うことにより、目的とする対象物に関する分析情報を得る。そして、その得られる分析情報が所定レベルを超えたときは居住空間を撮影中の画像信号、及び音響信号をインターネットに供給し、遠隔地に設置されるモニタ装置に伝送し、表示、発音する技術が提案されている(例えば、特許文献2参照。)。
さらに、不法侵入通知システムにおいて、住居の出入り口であるドア、住居内の階段の床板、カーペットなどに配置されている各感知センサが、不法侵入者を感知すると、住居内のサーバ(固定電話機)へ感知した旨を通知する電波を発信する。サーバは、電波を受信すると、所定の宛先へ通信回線を介して不法侵入者がいる旨の通知を行う。これにより、ユーザは、出先に居ても不法侵入者がいることを認識でき、当該不法侵入者に対する迅速な対応をする技術が提案されている(例えば、特許文献3参照。)。
特開2001−80833号公報 特開2002−133558号公報 特開2004−48164号公報
しかし、前述した技術では、狭い空間の公共スペースは、密閉空間であり、かつ、あまり身動きが取れないため、痴漢にあった場合には、叫んでも誰も助けが来ない。さらに、その場から逃げることが難しい。その対策方法としては、例えば、エレベータの場合では、外部との通話ボタンの付近や行き先階数ボタンの付近に立つなど、未然に防ぐための方法しか存在しない。よって、痴漢からの被害にあってしまった場合には、外部との通話ボタンを押して、エレベータの籠が停止してくれるのを待つしかなかった。
本発明は、人間の発話から感情を特定して危機を判定する危機監視システムを提供することを目的とする。
本発明の危機監視装置は、音声信号が入力される入力部と、危機状態を判定するために必要な情報を記録する記録部と、前記入力部および前記記録部の動作を制御する制御部と、を備える危機監視装置であって、前記記録部には、特定の感情の音声信号の特徴量である感情属性情報が記録されており、前記制御部が危機監視を開始すると、前記記録部は、前記入力部に入力された音声信号を記録し、前記制御部は、前記入力部に入力された音声信号と前記感情属性情報とを比較した結果に基づいて人間の感情を判定し、前記判定された感情が危機状態である場合には、予め定められた対応方法に従って緊急処理を行い、前記制御部は、前記危機監視を終了するか否かを判定し、前記危機監視装置の動作を停止する場合には前記危機監視を終了し、前記制御部は、前記判定された感情が危機状態でない場合には、前記危機監視を開始してから終了するまでに前記記録部に記録された音声信号を消去する一方、前記判定された感情が危機状態である場合には、前記危機監視を開始してから終了するまでに前記記録部に記録された音声信号を所定期間保存することを特徴とする。
本発明によると、監視を希望するユーザを特定するのではなく、人間が危機状態のときに発する音声を検出し、感情を分析することにより、多数のユーザが利用する公共空間において、危機を判定することができる。
また、ユーザの危機を監視する危機監視装置と、この危機監視装置による監視を起動する危機監視端末を組み合わせて用いることにより、危機監視を希望するユーザのみを対象とした危機監視をすることができる。
(実施形態1)
図1は、本発明の実施形態1の危機監視システムのブロック図である。
危機監視端末100は、危機監視装置110を起動させるための信号を送信する端末であり、危機監視を希望するユーザが携帯する。危機監視端末100は、入力部101、記録部102、制御部103、通信部104および出力部105によって構成されている。
入力部101は、危機監視端末100に対する操作が入力されるもので、タッチパネルや、スイッチによって構成される。また、入力部101は、ユーザの音声を入力するマイク、映像を入力するカメラ、または、データを入力するためのキーボードもしくはマウス等を備えてもよい。
記録部102は、ハードディスクやメモリによって構成されており、観測依頼を行うメインプログラム、および、ユーザの個人情報である個人情報管理テーブル900(図9参照)が記憶されている。
制御部103は、CPUを備え、記録部102に格納されたメインプログラムを実行し、危機監視装置110に観測を依頼する。
通信部104は、無線(または、赤外線)によって危機監視装置110と通信する。通信部104は、他の外部機器と通信可能であってもよい。
出力部105は、危機監視に関する各種データを表示する液晶ディスプレイや、音声を出力するスピーカによって構成される。
危機監視装置110は、危機監視端末100からの監視起動信号に基づいて、監視エリア内の危機の発生を観測する装置であって、監視対象場所(例えば、エレベータ等の公共空間)に設置される。危機監視装置110は、入力部111、記録部112、制御部113、通信部114および出力部115によって構成されている。
入力部111は、ユーザの音声を入力するマイク、映像を入力するカメラ、データを入力するタッチパネル、スイッチ、キーボードまたはマウス等の入力デバイスによって構成される。
記録部112は、ハードディスクやメモリによって構成されており、入力された音声を分析する音声感情認識プログラム、状況データベース300(図3参照)、音声データ、および、画像データが記憶されている。
制御部113は、CPUを備え、異常が発生した場合に、記録部112に格納された音声感情認識プログラムに基づき緊急処理を行う。
通信部114は、無線(または、赤外線)によって危機監視端末100と通信する。また、通信部114は、有線(例えば、PSTNや、インターネット)によって管理センタ(図示省略)と通信する。通信部114は、他の外部機器と通信可能であってもよい。
出力部115は、危機監視に関する各種データを表示する液晶ディスプレイや、音声を出力するスピーカによって構成される。
危機監視装置110は、危機監視端末100からの観測依頼を受けて、入力部111によって観測された音声情報に基づいて感情を分析し、監視領域を監視する。そして、怒鳴り声や悲鳴を観測することによって異常を発見した場合には、異常事態(例えば、痴漢、強盗等)が発生したと判定し、通信部114より管理センタに通報する。
図2は、実施形態1の危機監視装置110による監視処理を説明するフローチャートである。
まず、危機監視装置110は、所定のタイミングで問い合わせ信号を送信して、危機監視端末100が通信可能エリア内(例えば、エレベータの中等の監視エリア内)へ進入してきたか否かを検索する端末サーチ処理を行う(ステップ202)。
そして、危機監視端末100からの応答信号を受信すると、危機監視装置110は危機監視端末100が通信可能エリア内(監視エリア内)に進入したと判定し(ステップ203)、監視エリア内の観測を開始する(ステップ207)。
一方、危機監視端末100からの応答信号を受信しなかった場合、危機監視装置110は、現在の状況を記録部112に記録する(ステップ204)。危機監視端末100からの応答信号を受信しない場合とは、例えば、危機監視端末100が通信可能エリア内に進入していない場合、危機監視端末100が通信可能エリア外に移動した場合、または、ユーザが危機監視装置100に監視を希望しない旨の操作をした場合である。
現在の状況は、記録部112の状況データベース300に記録され、その記録内容は、通信部114によって、所定のタイミングで管理センタに送信される。管理センタに送信される記録内容として、状況データベース300をそのまま用いてもよい。
危機監視装置110は、終了判定処理によって、さらに端末サーチを行うか否かを判定する(ステップ205)。この終了判定処理は、危機監視装置110が動作を停止する場合(例えば、観測中止の入力がされた場合)は、危機監視装置110は端末サーチを終了する(ステップ206)。一方、危機監視装置110が動作を継続する場合は、ステップ202に戻り端末サーチを継続する。
危機監視装置110は、観測を開始すると(ステップ207)、入力部111から入力された音声情報に基づき、感情判定処理を行い(図5参照)、ユーザに異常が生じているか否かを判定する(ステップ208)。
ユーザに異常が発見されない場合は、危機監視装置110は、現在の状況を状況データベース300に記録する(ステップ209)。その後、ステップ202に戻り、危機監視装置110は端末をサーチする。
一方、ユーザに異常が発見されると、危機監視装置110は、状況データベース300に設定された緊急時の対応311に基づいて、管理センタへ通報するなどの緊急処理を行う(ステップ210)。
緊急時には、制御部113が各部に対して所定の制御を行う。
具体的には、制御部113は、通信部114に対して、管理センタへ通報する制御を行う。このとき、通信部114は、記録部112に記録されている現在の状況も、管理センタに送信することが好ましい。さらに、個人情報管理テーブル900に記録されているユーザの個人情報も管理センタに送信することが好ましい。なお、ユーザの個人情報を送信する際には、外部から情報が解読されないように、公開鍵暗号等の公知の暗号処理を用いる。
また、制御部113は、出力部115に対して、管理センタへ通報中である旨を、音声または画像で表示する制御を行う。
また、制御部113は、エレベータの自動運行を制御してもよい。エレベータの自動運行とは、具体的には、エレベータが動作中であれば、近くの階で停止して扉が開く制御や、管理人がいる階で停止して扉が開く制御をする。また、エレベータが停止中ならば、エレベータが動作せずに扉が開いたままにしてもよい。
エレベータの自動運行をするために、制御部113は、通信部114からエレベータ制御装置に対して、運行停止等の命令を送信する。また、制御部113は、通信部114によって、エレベータの管理センタや建物のセキュリティを請け負っている会社に設けられたエレベータ制御装置に対して、エレベータの自動運行命令を送信し、外部のエレベータ制御装置によってエレベータを操作することも好ましい。
このようにエレベータを自動運行することによって、例えば、籠内にいるユーザがエレベータを操作できない場合に、所定の階でエレベータを停止させてユーザを救出することができる。また、エレベータを自動運行することによって、加害者にエレベータを操作できないようにする。
ユーザが希望する場合には、前述した制御方法を個人情報管理テーブル900に記録することによって、ユーザ毎の希望によって緊急時の処理を変更できることが好ましい。
また、これらは一例であり、ユーザの安全を確保するためには、これ以外の制御方法でもかまわない。
緊急処理(ステップ210)が完了すると、危機監視装置110は、現在の状況を記録部112に記録して、状況データベース300を更新する(ステップ211)。その後、危機監視装置110は、ステップ202に戻り端末サーチを行う。
危機監視装置110による監視は、危機監視端末100が通信可能エリア内に進入してきた場合には常時起動する設定の他、深夜などの時間帯にユーザ(危機監視端末100)が通信可能エリア内に進入してきた場合にのみ自動的に起動する設定、エレベータ昇降ワイヤ取付部に設けられた荷重センサがユーザの体重を超える重量を検出した場合に起動する設定、さらに、危機監視端末100が通信可能エリア内に進入してきた後一定時間経過した場合には監視を停止する設定、または、これらを組み合わせた設定など多くの設定が可能である。これらの危機監視装置110による監視方法は、個々のユーザが希望する設定を予め個人情報管理テーブル900に設定することが好ましい。
なお、入力部111から入力された音声は、記録部112に保存することが好ましい。保存された音声は、観測中にユーザが被害にあった場合に、犯人を特定する資料として用いることができる。また、カメラを用いて映像を観測することもできる。カメラを用いた場合には、カメラにより観測したエレベータ内の画像を記録部112に保存することが好ましい。
ただし、危機を検出しないで監視を終了した場合には、記録部112に記録した音声、画像等のデータは、短時間のうちに消去することが好ましい。音声、画像等のデータには個人情報(プライバシー)が多く含まれているからである。もっとも、危機が観測され、ユーザが被害にあっている場合には、音声、画像等のデータは、所定期間保存しておくことが好ましい。データを保存しておくことによって、加害者を特定するために必要な情報を得ることができる。
図3は、状況データベース300の構成図である。
状況データベース300は、危機監視装置110の記録部112に記録されている。
日付301は、ユーザがこのシステムを利用した(すなわち、状態が観測された)日付である。起動時間302は、危機監視端末100からの観測依頼によってこのシステムが起動した時間である。終了時間303は、危機監視端末100の通信可能エリア外への移動等によりこのシステムの動作が終了した時間である。
起動場所304は、危機監視端末100からの観測依頼によりこのシステムが起動した場所である。終了場所305は、危機監視端末100の通信可能エリア外への移動等によりこのシステムが終了した場所である。図示の場合、このユーザは、1階でエレベータに乗り、3階でエレベータから降りて、監視エリア外に移動している。
観測結果306は、観測207の結果である。監視結果307は、観測結果306に基づいて判断される監視結果であり、異常の有無が記録される。
例えば、怒鳴り声や悲鳴が観測されるなど、ユーザが危機状態と判断される場合には、監視結果307は「異常あり」と記録される。一方、監視エリア内が平静であると判定される場合には、監視結果307は「異常なし」と記録される。なお、複数種類の観測(例えば、音声および画像による観測)を行う場合は、観測結果306には複数のデータが記録され、監視結果307はこれらのデータを総合的に判定した結果が記録される。
対象者308は、危機監視装置110を起動したユーザ(すなわち、監視対象者)である。
部屋番号309は、対象者308が居住する部屋番号である。なお、この危機監視システムが集合住宅等ではなく、公共スペースに設置される場合は、対象者の住所が設定される。緊急連絡先310は、ユーザが希望する緊急連絡先であり、対象者308の親族の住所等が記録される。
緊急時の対応311は、ユーザが希望する緊急時の対応である。緊急時の対応311は、管理センタへの通報など、初期値として設定されている対応をしてもよく、また、監視場所(例えば、エレベータ内と廊下)によって対応が異なる設定をしてもよい。また、個人情報管理テーブル900に記録されている方法に基づいて、個々のユーザによって異なる対応を設定するなど、多様な設定を行うことができる。
なお、部屋番号309、緊急連絡先310および緊急時の対応311は、予め設定しておく。
状況データベース300に記録される項目は、図示したものに限定されることなく、必要に応じて削除及び追加することができる。また、この状況データベース300は、現在の状況だけではなく、例えば、監視をする度にデータを上書きすることなく、記録部112に蓄積保存することが好ましい。蓄積保存されたデータは過去の状況を確認するための資料として活用することができる。
図4は、実施形態1の危機監視端末100による処理のフローチャートである。
通信可能エリアに進入した危機監視端末100は、危機監視装置110から送信された問い合わせ信号を受信するための待受状態となる(ステップ402)。
そして、危機監視装置110から送信された問い合わせ信号を受信した場合は(ステップ403)、通信部104から危機監視装置110へ応答信号を発信し、観測を依頼する(ステップ406)。
危機監視端末100は、応答信号を送信する際、記録部102に記録されているユーザの個人情報である個人情報管理テーブル900を、危機監視装置110へ送信することが好ましい。予め登録されたユーザの個人情報を危機監視装置110へ送信することによって、異常を発見した場合に、危機監視装置110が、個々のユーザの希望する緊急時の対応311を実行することができる。また、個人情報管理テーブル900を用いることにより、個人情報や希望監視時間の設定など、個々のユーザに対応する状態で監視を行うことができる。
危機監視装置110から送信された問い合わせ信号を受信しない場合は(ステップ403)、危機監視端末100は応答信号を発信せず、監視終了の操作がされたか否かを判定する(ステップ404)。
そして、監視終了の操作を検出すると、処理を終了する(ステップ405)。一方、監視終了の操作が検出されなければ、ステップ402に戻り、危機監視装置110からの問い合わせ信号を待ち受ける。
図5は、危機監視装置110が、観測結果からユーザの感情を判定する処理のフローチャートである。
危機監視装置110は、入力されたユーザの音声から感情を判定する(ステップ502)。この感情判定では、人の発話から感情判定を行なうために、まず音声を分析して、図6に示す感情判定処理を用いる。
危機は、感情の度合いから判定することも可能である。例えば、30秒以内に何回怒り発話を検出したかなど、単位時間当たりの特定の感情を含む発話の検出回数を測定することにより感情の度合いを求めることができる。この特定の感情を含む発話の回数が多いほど、感情度合いが高いということでき、感情の度合いが高いほど、危機の度合いが高いと判定することができる。
また、例えば、怒り度60パーセントなど、観測結果が数値(感情の度合い)に換算される場合には、予め定めた閾値を基準として危機を判定してもかまわない。
この特定の感情を含む発話の回数による感情度合いの求め方は一例であり、図6に示す感情判定処理で用いられる判別関数値によっても感情の度合いを求めることができる。
判定された感情は、観測結果として所定の記憶領域(例えば、レジスタ)に格納される(ステップ503)。これらの観測結果を、メインプログラムが所定の記憶領域から読み出し、最終的な異常判定を行う(ステップ208)。
そして、さらに別の音声が入力されると、当該音声データに基づき感情判定がなされ(ステップ502)、判定された感情が観測結果として格納される(ステップ503)。
図6は、実施形態1の危機監視端末100による感情判定処理のフローチャートである。
音声により人の感情を判定する方法は、通信可能エリア内の音声を観測し、日常生活では発することのない音声(例えば、怒鳴り声、悲鳴、叫び声など)が発生した場合に、その音声の特徴からユーザの感情を判定する。
まず、入力部111から入力された音声の特徴量を抽出する(ステップ602)。例えば、音の高さを表すピッチを特徴量とする場合には、1発話におけるピッチの最大値、ピッチの最大値を検出した位置、ピッチの最小値、ピッチの最小値を検出した位置、ピッチの平均値などを抽出する。また、音の大きさを表すエネルギを特徴量とする場合には、1発話におけるエネルギの最大値、エネルギの最大値を検出した位置、エネルギの最小値、エネルギの最小値を検出した位置、エネルギの平均値などを抽出する。これらの他に、公知の音声の特徴量を抽出してもよい。
また、1発話の中から、ピッチ、エネルギ、テンポなどを特徴量とすることのほか、ピッチ、エネルギ、テンポなどの単位時間における変化量を特徴量とすることもできる。
次に、抽出された特徴量から、判別関数を用いた分析によって感情を識別する(ステップ603)。予め学習を行ない、一般的な怒鳴り声や悲鳴などの音声の特徴量から判別関数値を求める。判別関数値は、例えば、怒りの最高値を1、通常の状態を−1となるように求める。
そして、この判別関数を用いて、抽出された音声の特徴量を数値化し、関数値が正の場合には怒り、負の場合には平静と判別する。また、正の数字が大きい場合は怒りの度合いが高く、負の数字が大きい場合は平静の度合いが高いと、感情の度合いを判別することもできる。
この手法は、感情を判別するための一例であり、ニューラルネットや多変量解析等の公知の手法を用いてもよい。
感情の識別(ステップ603)をする際には、感情データベース604(図7参照)を用いる。この感情データベース604には、典型的な音声の特徴量について予め学習を行い、判別関数を用いて抽出された値が記録されている。音声特徴抽出処理602で抽出された音声の特徴量を、感情データベース604に記録した特徴量と比較することで、入力された音声に基づき感情を特定することができる。
そして、ステップ603で感情を識別した結果によって、具体的に感情を判定する(ステップ605)。
感情判定の方法は、感情判定フローチャート600に限られず、例えば、「やめてください」などの特定の感情が含まれている可能性の高い単語を認識した場合には、特定の感情を検出したとすることもできる。
また、音声感情認識と共に、入力部111が有するタッチパネルへの接触、または、入力部111に設けられたキーボードの操作を検出すると、予め定められた特定の感情を検出したと判定することもできる。
観測対象となる情報は、ユーザの状況を表すものであれば音声以外でもよく、カメラでユーザの行動を観測して、特定の動作や、特定の表情を検出したときに、特定の感情を検出したと判定することもできる。
なお、感情判定には公知の音声感情認識技術を用いることもでき、当該技術を実行するためのプログラムは記録部112に予め記憶されている。
図7は、感情データベース604の説明図である。
感情データベース604は、音声の特徴量から様々な感情を識別するために、複数の感情データを格納しており、各々の感情データは変数と対応づけて記録されている。
701は怒鳴り声の特徴量の変数データ、702は悲鳴の特徴量の変数データである。703から707は怒鳴り声および悲鳴の各項目に対する変数の値である。怒鳴り声、悲鳴等の声の特徴は、これらの少なくとも一つ以上の変数の値によって特定されている。
検出する感情は怒鳴り声や悲鳴だけではなく、緊張、脅迫など、人間の心理状態を表す他の感情も用いるとよい。また、感情データベース604に記載する項目は、これらに限定されることなく、必要に応じて削除及び追加することができる。
図8は、危機音データベース800の説明図である。
人の危機を判定する音は、人の発する音声以外にも数多くあり、例えば、拳銃の発砲音、ガラスが割れる音など、ユーザに異常が発生したと思われる音を観測した場合でも、ユーザが危機状態である判断することができる。
危機音データベース800には、危機状態において生じる可能性がある音の特徴量が記録されている。
801は拳銃の発砲音の特徴量の変数データ、802はガラスの割れる音の特徴量の変数データである。803から807は拳銃の発砲音およびガラスの割れる音の各項目に対する変数の値である。これらの危機状態において生じる音の特徴量は、少なくとも一つ以上の変数の値によって特定される。
危機音データベース800に記載する項目は、これらに限定されることなく、必要に応じて削除及び追加することができるものとする。
図9は、個人情報管理テーブル900の説明図である。
危機判定には、ユーザ自身の個人情報や特徴を利用するとよい。
901はユーザの氏名である。902は個々のユーザを識別するために割り当てられたIDである。903はユーザが住んでいるマンションの部屋番号である。904は親族の住所等、緊急連絡先である。
905は、予め設定した任意のキーワードである。悲鳴など緊急時に発する音声以外に、この任意のキーワードを発することで危機状態であることを表すことができる。
906から910は個々のユーザの音声の特徴を変数で表したものであり、ユーザが緊急時に発する可能性のある声を予め測定して登録する。908から912のデータは、感情識別処理(603)を行う際に、基準となるデータベースとして用いられる。
個人情報管理テーブル900に記載する項目は、これらに限定されることなく、必要に応じて削除及び追加することができる。個人情報や特徴の項目を参照して危機判定をすることにより、判定の間違いを少なくすることができる。また、被害にあったユーザを特定するための情報として用いることができる。
このように、第1の実施形態では、例えば、エレベータなどの狭い公共空間において、ユーザの発話の感情を分析して、悲鳴や怒鳴り声などを検出することによって、危機状態を検出し、通報する。よって、ユーザに安全な空間を提供することができる。
また、危機は何時起こるかわからないため、ユーザが本システムを利用している間は、常時、危機監視装置110で監視することが好ましい。しかし、常時、監視を行う場合には、危機監視を希望しないユーザの音声や画像まで観測してしまい、プライバシー侵害の問題が生じる可能性がある。そこで、危機監視端末100が送信する信号を受信した場合にのみ、危機監視装置110による観測を開始することによって、監視を希望するユーザだけ本システムを利用することが可能となる。
また、騒音など危機監視には無関係なノイズを考慮すると、常時監視を行うシステムより、一定時間のみ監視するシステムの方が、音声を分析する時間も短いため、誤った危機判定の回数が減ることが期待できる。
(実施形態2)
図10は、本発明の実施形態2の危機監視システムのブロック図である。
本実施形態の危機監視システムは、実施形態1と比較して広域の公共空間(例えば、マンションの廊下など)の危機を監視する。
危機監視装置110は、監視エリア内に複数設置される。例えば、マンションのエントランスホールからエレベータの踊り場まで、または、エレベータの踊り場からユーザの部屋までなどに、所定の間隔で複数の危機監視装置110を設置する。各危機監視装置110は、実施形態1で説明した処理によって個々の通信可能エリア内の危機を監視する。
ユーザから観測を依頼された危機監視装置110は、記録部112に記録された現在の状況を、通信部114から所定のタイミングで管理装置1000へ送信する。管理装置1000に送信される記録内容として、状況データベース300の全部をそのまま用いても、一部だけ用いてもよい。
管理装置1000は、危機監視装置110から送信される現在の状況に基づいて、個々の危機監視装置110の監視エリア内の危機を判定する。このように、複数の危機監視装置110から送信される記録内容を、管理装置1000が管理することによって、監視エリア全体の危機を監視する。
図11は、管理装置1000のブロック図である。
管理装置1000は、複数の危機監視装置110を管理するための装置であって、監視エリア全体を管理する場所(例えば、管理人室)に設置される。
管理装置1000は、入力部1001、記録部1002、制御部1003、通信部1004および出力部1005によって構成されている。
入力部1001は、データを入力するタッチパネル、スイッチ、キーボードまたはマウス等の入力デバイスによって構成される。
記録部1002は、ハードディスクやメモリによって構成されており、入力された音声を分析する音声感情認識プログラム、管理状況データベース1300(図13参照)、音声データ、および、画像データが記憶されている。
制御部1003は、CPUを備え、異常が発生した場合に、記録部1002に格納された音声感情認識プログラムに基づき緊急処理を行う。
通信部1004は、有線(例えば、PSTNや、インターネット)によって、危機監視装置110の通信部112および管理センタ(図示省略)と通信する。通信部1004は、他の外部機器と通信可能であってもよい。
出力部1005は、危機監視に関する各種データを表示する液晶ディスプレイや、音声を出力するスピーカによって構成される。
図12は、実施形態2の管理装置1000による監視処理のフローチャートである。
管理装置1000は、各危機監視装置110に対し、現在の動作状態を所定のタイミングで(例えば、定期的に)確認する監視装置チェック処理を行う(ステップ1202)。これにより、ユーザからの観測依頼を受けていない危機監視装置110については、観測依頼を待ち受けている状態であることを確認することができる。
ユーザから観測依頼を受けた危機監視装置110からは、観測中である旨の情報を受信する。この場合、危機監視装置110は、現在の状況を送信するとともに、危機監視端末100から送信されたユーザの個人情報である個人情報管理テーブル900を管理装置1000へ送信することが好ましい。なお、ユーザの個人情報を送信する際には、外部から情報が解読されないように、公開鍵暗号等の公知の暗号処理を用いることが好ましい。
管理装置1000は、危機監視装置110から送信される現在の状況に基づき、ユーザに異常が生じているか否かを判定する(ステップ1203)。また、ユーザが移動した場合には、移動先の危機監視装置110から送信される現在の状況に基づき、ユーザに異常が生じているか否かを判定する(ステップ1203)。
ユーザに異常が発見されない場合は、管理装置1000は、個々の危機監視装置110の現在の状況を管理状況データベース1300に記録する(ステップ1204)。この記録内容は、通信部1004によって、管理センタに所定のタイミングで伝えられる。管理センタに伝えられる記録内容として、管理状況データベース1300の全部をそのまま用いても、一部だけを用いてもよい。
その後、管理装置1000は、終了判定処理によって、さらに危機監視装置110の動作状態をチェックするか否かを判定する(ステップ1205)。この終了判定処理は、管理装置1000が動作を停止する場合(例えば、観測中止の入力がされた場合)は、管理装置1000は監視装置のチェック処理を終了する(ステップ1206)。管理装置1000が動作を継続する場合は、ステップ1202に戻り、監視装置チェックを継続する。
一方、ユーザに異常が発見されると(ステップ1203)、管理装置1000は、状況データベース300に設定された緊急時の対応311に基づいて、管理センタへ通報するなどの緊急処理を行う(ステップ1207)。
緊急時には、制御部1003が、各部に対して所定の制御を行う。
具体的には、制御部1003は、通信部1004に対して、管理センタへ通報する制御を行う。このとき通信部1004は、記録部1002に記録されている現在の状況も、管理センタに送信することが好ましい。また、個人情報管理テーブル900に記録されているユーザの個人情報も管理センタに送信することが好ましい。さらに、危機状態を検出した危機監視装置110の記録部112に記録された音声や画像を、通信部1004によって受信するよう制御する。
また、制御部1003は、出力部1005に対して、管理センタへ通報中である旨を、音声または画像で表示する制御を行う。
また、これらは一例であり、ユーザの安全を確保するために、これ以外の制御方法でもかまわない。
緊急処理(ステップ1207)が完了すると、管理装置1000は、個々の危機監視装置110の現在の状況を管理状況データベース1300に記録する(ステップ1208)。その後、管理装置1000は、ステップ1202に戻り、再び監視装置チェックを行う。
図13は、管理状況データベース1300の構成図である。
危機監視装置番号1301は、個々の危機監視装置110に付与された番号である。設置階1302は、個々の危機監視装置110が設置された階数である。設置場所1303は、個々の危機監視装置110が設置された場所である。なお、設置階1302と設置場所1303とをまとめて一つの設置場所のデータとして記録してもよい。
動作状態1304は、各危機監視装置110の現在の動作状態である。観測を開始していない危機監視装置110については、「待ち中」と記録される。例えば、危機監視端末100を所持するユーザが通信可能エリア内にいない場合や、または、危機監視端末100を所持するユーザが通信可能エリア内にいる場合であっても、ユーザが観測を希望しない場合に、危機監視装置110は「待ち中」の状態になる。また、ユーザから観測依頼を受けた危機監視装置110については、動作状態1304に「観測中」と記録される。
監視結果1305は、危機監視装置110によって観測されたユーザの音声や画像に基づいて判定される監視結果であり、異常の有無が記録される。
なお、危機は、危機監視装置110によって観測されたユーザの音声や画像に基づいて、危機監視装置110において感情判定処理(図5参照)を行い、判定してもよい。具体的には、危機監視装置110は、観測結果306、および、これに基づいて判定される監視結果307を、管理装置1000に送信する。
また、危機監視装置110は、観測されたユーザの音声や画像を管理装置1000へ送信してもよい。具体的には、管理装置1000において、記録部1002に格納された音声感情認識プログラムによって感情判定処理(図5参照)を行い、危機を判定する。そして、その結果が監視結果1305に記録される。
なお、管理状況データベース1300に記録される項目は、図示したものに限定されることなく、必要に応じて削除及び追加することができる。
このように、第2の実施形態では、管理装置1000を用いて、複数の危機監視装置110を管理して危機監視を行うことによって、広域にわたる公共空間においても、怒鳴り声や悲鳴によって危機を検出し通報することができる。
つまり、ユーザが複数の危機監視装置110を跨って移動する場合にも、移動の前後にわたって連続した危機監視ができる。そして、危機を検出した場合には、複数の危機監視装置110によって、監視を継続することによって、監視エリアを通過するユーザを追跡監視できる。よって、ユーザに安全な空間を提供することができる。
また、本システムは、観測を希望するユーザが通過する場所だけを監視対象としているため、プライバシーの保持効果は高い。
(実施形態3)
図14は、本発明の実施形態3の危機監視システムのブロック図である。
本実施形態では、屋外の公共空間(例えば、薄暗い路地など)の危機を監視する。
携帯危機監視装置1400は、ユーザが監視エリア内に進入したことを判定し、監視エリア内の危機の発生を観測する装置であって、危機監視を希望するユーザが携帯する。また、携帯危機監視装置1400は、危機監視を希望するユーザの所持品(例えば、携帯電話やPHS、腕時計など)に内蔵されるとよい。
携帯危機監視装置1400は、入力部1401、記録部1402、制御部1403、通信部1404、出力部1405およびGPS受信機1406によって構成されている。
入力部1401は、ユーザの音声を入力するマイク、映像を入力するカメラ、データを入力するタッチパネル、スイッチ、キーボードまたはマウス等の入力デバイスによって構成される。
記録部1402は、ハードディスクやメモリによって構成されており、入力された音声を分析する音声感情認識プログラム、ユーザの個人情報である個人情報管理テーブル900、状況データベース300、音声データ、画像データ、および、監視エリアデータベース1900(図19参照)が記憶されている。
制御部1403は、CPUを備え、異常が発生した場合に、記録部1402に格納された音声感情認識プログラムに基づき緊急処理を行う。
通信部1404は、携帯電話網1420を経由して危機監視サーバ1410と通信する。また、通信部1404は、他の外部機器と通信可能であってもよい。
出力部1405は、危機監視に関する各種データ、監視エリア設定画面1700(図17参照)および個人データ設定画面1800(図18参照)を表示する液晶ディスプレイや、音声出力が可能なスピーカによって構成される。
GPS受信機1406は、アンテナを有し、GPS衛星が発する電波信号を受信して、携帯危機監視装置1400の位置を測定する。
危機監視サーバ1410は、携帯危機監視装置1400を所持するユーザの現在の状況を把握するためのコンピュータ装置であって、本システムを提供する会社が管理する。
危機監視サーバ1410は、入力部1411、記録部1412、制御部1413、通信部1414および出力部1415によって構成されている。
入力部1411は、データを入力するタッチパネル、スイッチ、キーボードまたはマウス等の入力デバイスによって構成される。
記録部1412は、ハードディスクやメモリによって構成されており、入力された音声を分析する音声感情認識プログラム、音声データ、および、画像データが記憶されている。
制御部1413は、CPUを備え、異常が発生した場合に、記録部1412に格納された音声感情認識プログラムに基づき緊急処理を行う。
通信部1414は、携帯電話網1420を経由して携帯危機監視装置1400と通信する。また、通信部114は、有線(例えば、PSTNや、インターネット)によって管理センタと通信する。通信部1414は、他の外部機器と通信可能であってもよい。
出力部1415は、危機監視に関する各種データ、および、管理状況データベース2000(図20参照)を表示する液晶ディスプレイや、音声を出力するスピーカによって構成される。
携帯電話網1420は、携帯危機監視装置1400から出力される情報を危機監視サーバ1410に集約するために用いられる。携帯電話網1420に限られず、情報を監視サーバ1410に集約できれば、例えば、無線LANを用いてもかまわない。
図15は、携帯危機監視装置1400による監視処理を説明するフローチャートである。
携帯危機監視装置1400は、GPS受信機1406が測定した現在のユーザの位置を所定のタイミングで確認する(ステップ1502)。携帯危機監視装置1400の位置の確認は、位置を特定することができれば、GPS機能に限られず公知の他の方法を用いることもできる。
次に、携帯危機監視装置1400から取得した位置情報に基づいて、携帯危機監視装置1400が監視エリア内に進入したか否かを判定する(ステップ1503)。このとき、記録部1402に格納された監視エリアデータベース1900に予め設定されている監視エリアが参照される。
そして、携帯危機監視装置1400が、設定された監視エリア内に進入したと判定すると、携帯危機監視装置1400はユーザの観測を開始する(ステップ1507)。
一方、携帯危機監視装置1400が、設定された監視エリア外にいると判定した場合、携帯危機監視装置1400は、現在の状況を記録部1402の状況データベース300に記録する(ステップ1504)。
通信部1404は、現在の状況を、携帯電話網1420を経由して、所定のタイミングで危機監視サーバ1410に送信する。危機監視サーバ1410に伝えられる記録内容として、状況データベース300の全部をそのまま用いても、一部だけを用いてもよい。
このとき、携帯危機監視装置1400は、ユーザの個人情報である個人情報管理テーブル900を危機監視サーバ1410へ送信することが好ましい。なお、ユーザの個人情報を送信する際には、外部から情報が解読されることがないように、公開鍵暗号等の公知の暗号処理を用いることが好ましい。
携帯危機監視装置1400は、さらに位置確認を行うか否かを判定する(ステップ1505)。そして、監視終了の操作を検出すると、処理を終了する(ステップ1506)。一方、携帯危機監視装置1400が動作を継続する場合は、ステップ1502に戻り位置確認を継続する。
携帯危機監視装置1400は、観測を開始すると(ステップ1507)、入力部1401から入力された音声情報に基づき、感情判定処理を行い(図5参照)、ユーザに異常が生じているか否かを判定する(ステップ1508)。
ユーザに異常が発見されない場合は、携帯危機監視装置1400は、現在の状況を状況データベース300に記録する(ステップ1509)。その後、ステップ1502に戻り、位置確認を行う。
一方、ユーザに異常が発見されると、携帯危機監視装置1400は、携帯電話網1420を経由して、危機監視サーバ1410に現在の状況を送信する。
緊急時には、制御部1403が各部に対して所定の制御を行う。
具体的には、制御部1403は、通信部1404に対して、危機監視サーバ1410へ現在の状況を送信する制御を行う。このとき、通信部1404は、記録部1402に記録されている現在の状況も、危機監視サーバ1410に送信することが好ましい。さらに、個人情報管理テーブル900に記録されているユーザの個人情報も危機監視サーバ1410に送信することが好ましい。なお、ユーザの個人情報を送信する際には、外部から情報が解読されないように、公開鍵暗号等の公知の暗号処理を用いる。
また、制御部1403は、出力部1405に対しては、管理センタへ通報中である旨を、音声または画像で表示する制御を行う。
ユーザが希望する場合には、前述した制御方法を個人情報管理テーブル900に記録することによって、ユーザ毎の希望によって緊急時の処理を変更できることが好ましい。
また、これらは一例であり、ユーザの安全を確保するために、これ以外の制御方法でもかまわない。
緊急処理(ステップ1510)が完了すると、携帯危機監視装置1400は、現在の状況を記録して、状況データベース300を更新する(ステップ1511)。その後、携帯危機監視装置1400は、ステップ1502に戻り位置確認を行う。
なお、入力部1401から入力された音声は、記録部1402に保存することが好ましい。保存された音声は、観測中にユーザが被害にあった場合に、犯人を特定する資料として用いることができる。また、カメラを用いて映像を観測することもできる。カメラを用いた場合には、カメラにより観測したエレベータ内の画像を記録部1402に保存することが好ましい。
ただし、危機を検出しないで監視を終了した場合には、記録部1402に記録した音声、画像等のデータは、短時間のうちに消去することが好ましい。音声、画像等のデータには個人情報(プライバシー)が多く含まれているからである。もっとも、危機が観測され、ユーザが被害にあっている場合には、音声、画像等のデータは、所定期間保存しておくことが好ましい。データを保存しておくことによって、加害者を特定するために必要な情報を得ることができる。
図16は、危機監視サーバ1410による処理のフローチャートである。
危機監視サーバ1410は、携帯電話網1420を経由して携帯危機監視装置1400に対して、監視エリア内に進入しているか否かを、所定のタイミングで問い合わせる装置サーチ処理を行う(ステップ1602)。これは、携帯危機監視装置1400から、危機監視サーバ1410へ、所定のタイミングで信号を送信する方法でもよい。
監視エリア内に進入した携帯危機監視装置1400は、危機監視サーバ1410からの問い合わせ信号を受信すると、監視エリア内に進入している場合には、観測依頼と共に現在の状況を危機監視サーバ1410に送信する。携帯危機監視装置1400の位置情報は、携帯危機監視装置1400が監視エリア外に移動するまで、繰り返し危機監視サーバ1410に送信される。
危機監視サーバ1410は、携帯危機監視装置1400から送信される現在の状況などの観測データに基づき、ユーザの位置、現在の状況を分析する(ステップ1603)。
そして、危機監視サーバ1410は、観測データの分析結果に基づき、ユーザに異常が生じているか否かを判定する(ステップ1604)。
ユーザに異常が発見されない場合は、危機監視サーバ1410は、携帯危機監視装置1400の現在の状況を現在状況データベース2100に記録する(ステップ1605)。この記録内容は、通信部1414によって、管理センタに所定のタイミングで送信される。管理センタに送信される記録内容として、現在状況データベース2100の全部をそのまま用いても、一部だけを用いてもよい。
その後、危機監視サーバ1410は、終了判定処理によって、さらに携帯危機監視装置1400をサーチするか否かを判定する(ステップ1606)。この終了判定は、危機監視サーバ1410が動作を停止する場合(例えば、観測中止の入力がされた場合)は、処理を終了する(ステップ1607)。危機監視サーバ1410が動作を継続する場合は、ステップ1602に戻り、装置サーチを継続する。
一方、ユーザに異常が発見されると(ステップ1603)、危機監視サーバ1410は、状況データベース300に設定された緊急時の対応311に基づいて、管理センタ、または、地域の警備会社やセキュリティを請け負っている会社へ通報するなどの緊急処理を行う(ステップ1607)。
また、通信部1414は、携帯危機監視装置1400から送信された状況データベース300に記録された内容を、携帯電話網1420を経由して、管理センタへ送信することが好ましい。
緊急時には、制御部1413が、各部に対して所定の制御を行う。
具体的には、制御部1413は、通信部1414に対して、管理センタへ通報する制御を行う。このとき通信部1414は、記録部1412に記録されている現在の状況も、管理センタに送信することが好ましい。また、個人情報管理テーブル900に記録されているユーザの個人情報も管理センタに送信することが好ましい。
また、制御部1413は、出力部1415に対して、管理センタへ通報中である旨を、音声または画像で表示する制御を行う。
また、これらは一例であり、ユーザの安全を確保するために、これ以外の制御方法でもかまわない。
緊急処理(ステップ1608)が完了すると、危機監視サーバ1410は、個々の危機監視装置110の現在の状況を現在状況データベース2100に記録する(ステップ1609)。その後、危機監視サーバ1410は、ステップ1602に戻り再び装置サーチを行う。
なお、危機は、携帯危機監視装置1400によって観測されたユーザの音声や画像に基づいて、携帯危機監視装置1400において感情判定処理(図5参照)を行い、判定してもよい。具体的には、携帯危機監視装置1400は、観測結果306、および、これに基づいて判定される監視結果307を、危機監視サーバ1410に送信する。
また、携帯危機監視装置1400は、観測されたユーザの音声や画像を危機監視サーバ1410へ送信してもよい。具体的には、危機監視サーバ1410において、記録部1412に格納された音声感情認識プログラムによって感情判定処理(図5参照)を行い、危機を判定する。
図17は、監視エリア設定画面1700の構成図である。
監視エリア設定画面1700は、監視エリアおよび監視時間の情報をGUI(graphical user interface)を用いて設定する画面であり、携帯危機監視装置1400の出力部1405に設けられた液晶ディスプレイに表示される。
監視エリア設定画面1700には、監視エリアを設定する地域の地図情報1701が表示される。地図を用いて監視エリアを設定することによって、監視を希望するエリアの地名がわからない場合でも、地図上で検索することによって監視エリアを設定できる。監視エリアとして設定した範囲は、特定の色で表示して、他のエリアと識別しやすくする。
また、監視エリア設定画面1700には、監視エリアとして設定する地域の地名、地図情報1701の記号の説明1702が表示される。
また、監視エリア設定画面1700には、設定する監視時間1703が表示される。監視時間1703が設定されると、携帯危機監視装置1400が、この監視時間内に監視エリアへ進入した場合に、監視が起動される。
また、監視エリア設定画面1700には、地図情報1701で表示される地域の、周辺のセキュリティ情報1704が表示される。周辺のセキュリティ情報1704に、過去に発生した事件(例えば、痴漢や強盗など)の情報を表示することによって、ユーザが監視エリアや監視時間を設定する際の参考にすることができる。
このような監視エリアおよび監視時間の設定は、携帯危機監視装置1400に限られず、例えば、パーソナルコンピュータ上でも行うことができる。携帯危機監視装置1400以外の端末によって監視エリアを設定した場合は、当該端末と、携帯危機監視装置1400を接続する機器、または、通信回線(例えば、インターネット)を用いて、設定した情報を携帯危機監視装置1400に転送する。
また、監視エリア設定画面1700は、監視エリアなどの情報を設定する手段の一例であり、監視エリアや監視時間の設定ができれば、他のインタフェース(例えば、CLI:command line interface)を用いることもできる。
携帯危機監視装置1400は、設定された情報を、記録部1402に記録する。複数の設定情報が記録される場合は、監視エリアデータベース1900(図19参照)を用いて保存することもできる。
図18は、個人データ設定画面1800の構成図である。
個人データ設定画面1800は、携帯危機監視装置1400を有するユーザの個人情報を、GUIを用いて設定する画面であり、携帯危機監視装置1400の出力部1405に設けられた液晶ディスプレイに表示される。
個人データ設定画面1800には、個人管理テーブル900(図9参照)に設定される警報言葉905の入力欄が設けられている。
また、個人データ設定画面1800には、携帯危機監視装置1400を有するユーザの、声の特徴量を分析するか否かの選択肢1802が設けられている。この選択肢1802で「はい」を選択した場合は、ユーザが危機状態に発する声(例えば、悲鳴)を入力部1401に設けられたマイクを用いて入力すると、その特徴量が分析される。分析された変数データは個人管理テーブル900に記録され(906〜910)、観測時の感情判定処理の際に用いられる。「いいえ」を選択した場合は、このようなユーザの声の分析を行わない。
このような個人情報の設定は、携帯危機監視装置1400に限られず、例えば、パーソナルコンピュータ上でも行うことができる。携帯危機監視装置1400以外の端末によって個人情報を設定した場合は、当該端末と、携帯危機監視装置1400を接続する機器、または、通信回線(例えば、インターネット)を用いて、設定した情報を携帯危機監視装置1400に転送する。
なお、設定できる項目は、図示したものに限られず、個人情報管理テーブル900に項目が追加された場合は、個人データ設定画面1800の項目も追加される。
また、個人データ設定画面1800は、個人情報を設定する手段の一例であり、言葉の設定やユーザの音声の入力ができるならば、他のインタフェース(例えば、CLI)を用いることもできる。
図19は、監視エリアデータベース1900の説明図である。
監視設定番号1901は、携帯危機監視装置1400を有するユーザが、複数の監視エリアまたは監視時間を設定した場合に、各設定に付与された番号である。
住所1902は、設定された監視エリアの住所である。緯度1903は、設定された監視エリアの緯度である。経度1904は、設定された監視エリアの経度である。
時間1905は、設定された監視時間であり、携帯危機監視装置1400を有するユーザが、1905に設定された時間に、1902から1904で設定された監視エリアに進入した場合に、携帯危機監視装置1400は観測を開始する。
このように、複数の監視エリアおよび監視時間を設定した場合、その設定した情報をデータベースとして管理するために、監視エリアデータベース1900を用いる。
図20は、監視状況の表示画面2000の構成図である。
監視状況の表示画面2000は、携帯危機監視装置1400を有するユーザの現在の状況をGUIを用いて表示する画面であり、危機監視サーバ1410の出力部1415に設けられた液晶ディスプレイに表示される。
表示画面2000には、監視エリアとして設定された地域の地図情報2001が表示される。この地図情報2001には、携帯危機監視装置1400を有するユーザの現在の状況(例えば、位置情報)が表示される。監視エリアとして設定した範囲は、特定の色で表示して、他のエリアと識別しやすくする。
また、表示画面2000には、監視エリアとして設定された地域の地名、地図情報2001の記号の説明2002が表示される。
また、表示画面2000には、携帯危機監視装置1400を有するユーザの個人情報、緊急時の処置、および、現在の状況など危機に関するデータ2003が文字で表示される。
このように監視状況をGUIを用いて表示することにより、危機監視サーバ1410において、ユーザの現在の状況をリアルタイムに把握することができる。
なお、監視状況の表示画面2000は、監視エリア内のユーザの情報を表示する手段の一例であり、ユーザの現在の状況が表示できれば、他のインタフェース(例えば、CLI)を用いることもできる。
図21は、現在状況データベース2100の構成図である。
利用ID2101は、個々の携帯危機監視装置1400に付与された番号である。利用者2102は、携帯危機監視装置1400を所持しているユーザ(すなわち、監視対象者)である。所在2103は、携帯危機監視装置1400の現在の所在地である。
動作状態2104は、各携帯危機監視装置1400の現在の動作状態である。観測を開始していない携帯危機監視装置1400については、「待ち中」と記録される。例えば、携帯危機監視装置1400を所持するユーザが監視エリアとして設定したエリア内にいない場合や、または、携帯危機監視装置1400を所持するユーザが監視エリアとして設定したエリア内にいる場合であっても、ユーザが観測を希望しない場合に、携帯危機監視装置1400は「待ち中」の状態になる。また、携帯危機監視装置1400を所持するユーザが監視エリア内に進入して、観測が開始した場合には、「観測中」と記録される。
監視結果2105は、携帯危機監視装置1400によって観測されたユーザの音声や画像に基づいて判定される監視結果であり、異常の有無が記録される。
なお、現在状況データベース2100に記録される項目は、図示したものに限定されることなく、必要に応じて削除及び追加することができる。
このように、第3の実施形態では、ユーザが所持する携帯電話等の携帯端末に危機監視装置110の機能を備えた携帯危機監視装置1400を内蔵することにより、ユーザが外出している場合においても、怒鳴り声や悲鳴により、危機を検出し、通報する。よって、ユーザに安全な空間を提供することができる。
また、危機は何時起こるかわからないため、犯罪が多発する可能性の多い公共空間では、常時、危機監視装置110で監視することが好ましい。しかし、常時、監視を行う場合には、危機監視を希望しないユーザの音声や画像まで観測してしまい、プライバシー侵害の問題が生じる可能性がある。
そこで、GPS機能を利用して、ユーザが予め監視エリアを指定し、その指定範囲内だけで危機監視することにより、監視を希望するユーザが監視を希望するエリアだけで本システムを利用することが可能となる。
さらに、騒音など危機監視には無関係なノイズを考慮すると、常時監視を行うシステムより、一定時間のみ監視するシステムの方が、音声を分析する時間も短いため、誤った危機判定の回数が減ることが期待できる。
本発明の実施形態1の危機監視システムのブロック図である。 本発明の実施形態1の危機監視装置による監視処理のフローチャートである。 本発明の実施形態1の状況データベースの構成図である。 本発明の実施形態1の危機監視端末による処理のフローチャートである。 本発明の実施形態1の感情判定処理のフローチャートである。 本発明の実施形態1の危機監視端末による感情判定処理のフローチャートである。 本発明の実施形態1の感情データベースの説明図である。 本発明の実施形態1の危機音データベースの説明図である。 本発明の実施形態1の個人情報管理テーブルの説明図である。 本発明の実施形態2の危機監視システムのブロック図である。 本発明の実施形態2の管理装置のブロック図である。 本発明の実施形態2の管理装置による監視処理のフローチャートである。 本発明の実施形態2の管理状況データベースの構成図である。 本発明の実施形態3の危機監視システムのブロック図である。 本発明の実施形態3の危機監視携帯端末による処理のフローチャートである。 本発明の実施形態3の危機監視サーバによる処理のフローチャートである。 本発明の実施形態3の監視エリア設定画面の構成図である。 本発明の実施形態3の個人データ設定画面の構成図である。 本発明の実施形態3の監視エリアデータベースの説明図である。 本発明の実施形態3の監視状況の表示画面の構成図である。 本発明の実施形態3の現在状況データベースの構成図である。
符号の説明
100 危機監視端末
110 危機監視装置
1000 管理装置
1400 危機監視携帯端末
1410 危機監視サーバ
1420 携帯電話網

Claims (16)

  1. 音声信号が入力される入力部と、
    危機状態を判定するために必要な情報を記録する記録部と、
    前記入力部および前記記録部の動作を制御する制御部と、を備える危機監視装置であって、
    前記記録部には、特定の感情の音声信号の特徴量である感情属性情報が記録されており、
    前記制御部が危機監視を開始すると、
    前記記録部は、前記入力部に入力された音声信号を記録し、
    前記制御部は、前記入力部に入力された音声信号と前記感情属性情報とを比較した結果に基づいて人間の感情を判定し、前記判定された感情が危機状態である場合には、予め定められた対応方法に従って緊急処理を行い、
    前記制御部は、前記危機監視を終了するか否かを判定し、前記危機監視装置の動作を停止する場合には前記危機監視を終了し、
    前記制御部は、前記判定された感情が危機状態でない場合には、前記危機監視を開始してから終了するまでに前記記録部に記録された音声信号を消去する一方、前記判定された感情が危機状態である場合には、前記危機監視を開始してから終了するまでに前記記録部に記録された音声信号を所定期間保存することを特徴とする危機監視装置。
  2. 外部装置と通信する通信部を備え、
    前記通信部が監視起動信号を受信すると、
    前記制御部は、危機監視を開始することを特徴とする請求項1に記載の危機監視装置。
  3. 前記危機監視装置の位置を検出する位置検出部を備え、
    前記位置検出部によって、前記危機監視装置が予め設定した位置であることが検出されると、
    前記制御部が、前記危機監視を開始することを特徴とする請求項1に記載の危機監視装置。
  4. 前記判定された感情が危機状態であることを外部に通知する出力部を備えることを特徴とする請求項1に記載の危機監視装置。
  5. 前記通信部は、移動体通信網を介して通信することを特徴とする請求項2に記載の危機監視装置。
  6. 音声信号が入力される入力部と、
    危機状態を判定するために必要な情報を記録する記録部と、
    前記入力部および前記記録部の動作を制御する制御部と、を備える危機監視装置を含む危機監視システムであって、
    前記記録部には、特定の感情の音声信号の特徴量である感情属性情報が記録されており、
    前記制御部が危機監視を開始すると、
    前記記録部は、前記入力部に入力された音声信号を記録し、
    前記制御部は、前記入力部に入力された音声信号と前記感情属性情報とを比較した結果に基づいて人間の感情を判定し、前記判定された感情が危機状態である場合には、予め定められた対応方法に従って緊急処理を行い、
    前記制御部は、前記危機監視を終了するか否かを判定し、前記危機監視装置の動作を停止する場合には前記危機監視を終了し、
    前記制御部は、前記判定された感情が危機状態でない場合には、前記危機監視を開始してから終了するまでに前記記録部に記録された音声信号を消去する一方、前記判定された感情が危機状態である場合には、前記危機監視を開始してから終了するまでに前記記録部に記録された音声信号を所定期間保存することを特徴とする危機監視システム。
  7. ユーザが所持する危機監視端末を備え、
    前記危機監視装置は、前記危機監視端末と通信する通信部を備え、
    前記通信部が前記危機監視端末から監視起動信号を受信すると、
    前記制御部は、危機監視を開始することを特徴とする請求項6に記載の危機監視システム。
  8. さらに、前記危機監視装置から情報を収集する管理装置を含む危機監視システムであって、
    前記制御部は、前記判定された感情が危機状態である場合には、その旨を前記管理装置に送信するように制御し、
    前記管理装置は、前記危機監視装置からの情報によって、危機状態を検出した場合には、予め定められた対応方法に従って緊急処理をすることを特徴とする請求項6に記載の危機監視システム。
  9. 前記危機監視装置は、前記危機監視装置の位置を検出する位置検出部を備え、
    前記位置検出部によって前記危機監視装置が予め設定した位置であることが検出されると、
    前記制御部が、前記危機監視を開始することを特徴とする請求項6に記載の危機監視システム。
  10. 前記危機監視装置は、前記判定された感情が危機状態であることを外部に通知する出力部を備えることを特徴とする請求項6に記載の危機監視システム。
  11. 音声信号が入力される入力部と、
    特定の感情の音声信号の特徴量である感情属性情報を記録する記録部と、
    前記入力部および前記記録部の動作を制御する制御部と、を備える危機監視装置を含む危機監視システムにおいて実行される危機監視方法であって、
    前記危機監視装置が危機監視を開始すると、
    前記入力部に入力された音声信号を前記記録部が記録し、
    前記入力部に入力された音声信号と前記感情属性情報とを比較した結果に基づいて人間の感情を判定し、前記判定された感情が危機状態である場合には、予め定められた対応方法に従って緊急処理を行い、
    前記危機監視を終了するか否かを判定し、前記危機監視装置の動作を停止する場合には前記危機監視を終了し、
    前記判定された感情が危機状態でない場合には、前記危機監視を開始してから終了するまでに前記記録部に記録された音声信号を消去する一方、前記判定された感情が危機状態である場合には、前記危機監視を開始してから終了するまでに前記記録部に記録された音声信号を所定期間保存することを特徴とする危機監視方法。
  12. さらに、ユーザが所持する危機監視端末を備える危機監視システムにおいて実行される危機監視方法であって、
    前記危機監視端末から監視起動信号を受信すると、前記危機監視を開始することを特徴とする請求項11に記載の危機監視方法。
  13. さらに、前記危機監視装置から情報を収集する管理装置を備える危機監視システムにおいて実行される危機監視方法であって、
    前記制御部は、前記判定された感情が危機状態である場合には、その旨を前記管理装置に送信するように制御し、
    前記管理装置は、前記危機監視装置からの情報によって、危機状態を検出した場合には、予め定められた対応方法に従って緊急処理をすることを特徴とする請求項11に記載の危機監視方法。
  14. さらに、前記危機監視装置から情報を収集する管理装置を備える危機監視システムにおいて実行される危機監視方法であって、
    前記制御部は、前記入力部に入力された音声情報を前記管理装置に送信するように制御し、
    前記管理装置は、
    前記危機監視装置から送信された音声情報と、特定の感情の音声信号の特徴量とを比較した結果に基づいて前記人間の感情を判定し、
    前記判定された感情が危機状態である場合には、予め定められた対応方法に従って緊急処理をすることを特徴とする請求項11に記載の危機監視方法。
  15. さらに、危機監視装置の位置を検出する位置検出部を備える危機監視システムにおいて実行される危機監視方法であって、
    前記位置検出部が予め設定した位置を検出すると、危機監視を開始することを特徴とする請求項11に記載の危機監視方法。
  16. 前記判定された感情が危機状態であることを外部に通知することを特徴とする請求項11に記載の危機監視方法。
JP2004163328A 2004-06-01 2004-06-01 危機監視システム Expired - Fee Related JP4627152B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004163328A JP4627152B2 (ja) 2004-06-01 2004-06-01 危機監視システム
US11/043,169 US7298256B2 (en) 2004-06-01 2005-01-27 Crisis monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004163328A JP4627152B2 (ja) 2004-06-01 2004-06-01 危機監視システム

Publications (3)

Publication Number Publication Date
JP2005346254A JP2005346254A (ja) 2005-12-15
JP2005346254A5 JP2005346254A5 (ja) 2006-12-07
JP4627152B2 true JP4627152B2 (ja) 2011-02-09

Family

ID=35424597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004163328A Expired - Fee Related JP4627152B2 (ja) 2004-06-01 2004-06-01 危機監視システム

Country Status (2)

Country Link
US (1) US7298256B2 (ja)
JP (1) JP4627152B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016090775A (ja) * 2014-11-04 2016-05-23 トヨタ自動車株式会社 応答生成装置、応答生成方法およびプログラム

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4643640B2 (ja) 2005-04-13 2011-03-02 株式会社日立製作所 雰囲気制御装置
US7912720B1 (en) * 2005-07-20 2011-03-22 At&T Intellectual Property Ii, L.P. System and method for building emotional machines
US8164461B2 (en) 2005-12-30 2012-04-24 Healthsense, Inc. Monitoring task performance
US8150692B2 (en) 2006-05-18 2012-04-03 Nuance Communications, Inc. Method and apparatus for recognizing a user personality trait based on a number of compound words used by the user
US8166109B2 (en) * 2007-06-21 2012-04-24 Cisco Technology, Inc. Linking recognized emotions to non-visual representations
EP2268565B1 (en) * 2008-04-08 2013-01-23 Otis Elevator Company Remotely observable analysis for an elevator system
TWI384423B (zh) * 2008-11-26 2013-02-01 Ind Tech Res Inst 以聲音事件為基礎之緊急通報方法與系統以及行為軌跡建立方法
JP5377167B2 (ja) * 2009-09-03 2013-12-25 株式会社レイトロン 悲鳴検出装置および悲鳴検出方法
JP5619529B2 (ja) * 2010-08-30 2014-11-05 セコム株式会社 悲鳴検知装置
US8364395B2 (en) 2010-12-14 2013-01-29 International Business Machines Corporation Human emotion metrics for navigation plans and maps
WO2012088403A2 (en) 2010-12-22 2012-06-28 Seyyer, Inc. Video transmission and sharing over ultra-low bitrate wireless communication channel
WO2012089906A1 (en) * 2010-12-30 2012-07-05 Nokia Corporation Method, apparatus and computer program product for emotion detection
US10853819B2 (en) 2011-04-14 2020-12-01 Elwha Llc Cost-effective resource apportionment technologies suitable for facilitating therapies
US10445846B2 (en) 2011-04-14 2019-10-15 Elwha Llc Cost-effective resource apportionment technologies suitable for facilitating therapies
WO2011137746A2 (zh) * 2011-05-05 2011-11-10 华为技术有限公司 用于触摸屏终端的用户行为跟踪方法、装置和系统
JP6019108B2 (ja) * 2011-05-06 2016-11-02 セイヤー インコーポレイテッド 文字に基づく映像生成
KR101840644B1 (ko) * 2011-05-31 2018-03-22 한국전자통신연구원 감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법
KR101110639B1 (ko) 2011-06-22 2012-06-12 팅크웨어(주) 세이프 서비스 시스템 및 그 방법
US9711137B2 (en) 2011-11-10 2017-07-18 At&T Intellectual Property I, Lp Network-based background expert
US8844050B1 (en) * 2013-03-15 2014-09-23 Athoc, Inc. Personnel crisis communications management and personnel status tracking system
WO2014200457A1 (en) * 2013-06-10 2014-12-18 Otis Elevator Company Elevator noise monitoring
WO2015107681A1 (ja) 2014-01-17 2015-07-23 任天堂株式会社 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
US20150269700A1 (en) 2014-03-24 2015-09-24 Athoc, Inc. Exchange of crisis-related information amongst multiple individuals and multiple organizations
US11974847B2 (en) 2014-08-07 2024-05-07 Nintendo Co., Ltd. Information processing system, information processing device, storage medium storing information processing program, and information processing method
US10457521B2 (en) 2014-12-03 2019-10-29 Inventio Ag System and method for alternatively interacting with elevators
US9852355B2 (en) * 2015-04-21 2017-12-26 Thales Avionics, Inc. Facial analysis for vehicle entertainment system metrics
US20180018985A1 (en) * 2016-07-16 2018-01-18 Ron Zass System and method for detecting repetitive speech
EP3544291B1 (en) * 2016-11-18 2021-09-08 JVCKENWOOD Corporation Recording device, recording method and program
JP6536603B2 (ja) * 2017-03-03 2019-07-03 株式会社Jvcケンウッド 記録装置、記録方法、及びプログラム
JP6451721B2 (ja) * 2016-11-18 2019-01-16 株式会社Jvcケンウッド 記録装置、再生方法、及びプログラム
CN106629282A (zh) * 2017-01-25 2017-05-10 唐山创通科技有限公司 利用手机监测升降设备升降运行状态的装置
US10547917B2 (en) 2017-05-12 2020-01-28 Otis Elevator Company Ride quality mobile terminal device application
JP2018198038A (ja) * 2017-05-25 2018-12-13 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP6767322B2 (ja) * 2017-08-18 2020-10-14 ヤフー株式会社 出力制御装置、出力制御方法及び出力制御プログラム
WO2019142304A1 (ja) * 2018-01-19 2019-07-25 三菱電機株式会社 エレベーター
JP2018106729A (ja) * 2018-01-30 2018-07-05 株式会社ニコン 電子機器
JP7206052B2 (ja) * 2018-03-22 2023-01-17 住友重機械工業株式会社 ショベル
CN109274819A (zh) * 2018-09-13 2019-01-25 广东小天才科技有限公司 通话时用户情绪调整方法、装置、移动终端及存储介质
GB2577717B (en) * 2018-10-03 2023-06-21 Cmr Surgical Ltd Monitoring performance during manipulation of user input control device of robotic system
JPWO2020136872A1 (ja) * 2018-12-28 2021-02-18 三菱電機株式会社 雰囲気清浄化装置、雰囲気清浄化方法及びエレベータ

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183856A (ja) * 2000-12-19 2002-06-28 Sanki System Product Kk ポータルポストステーションを核とする小規模地域における都市型情報ネットワークシステム
JP2003016549A (ja) * 2001-06-27 2003-01-17 Nisshin Seifun Group Inc 安全ガードシステム
JP2003508805A (ja) * 1999-08-31 2003-03-04 アクセンチュア リミテッド ライアビリティ パートナーシップ 複数の音声信号パラメータの分析を通して音声信号の感情を検出する装置、方法、及び、製造物品
JP2003141657A (ja) * 2001-11-01 2003-05-16 Takeshi Ikeda 防犯システム
JP2003248882A (ja) * 2002-02-22 2003-09-05 Toshiba Corp 乗降監視装置、及びエリア内監視装置
JP2003272065A (ja) * 2002-03-13 2003-09-26 Hitachi Kokusai Electric Inc 監視装置及び監視システム
JP2004062690A (ja) * 2002-07-31 2004-02-26 Tamaoka Sangyo Kk 監視用センサ装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0423198A (ja) * 1990-05-18 1992-01-27 Hitachi Building Syst Eng & Service Co Ltd エレベータの監視装置
JP2001080833A (ja) 1999-09-09 2001-03-27 Hitachi Ltd エレベータ監視装置
US7062443B2 (en) * 2000-08-22 2006-06-13 Silverman Stephen E Methods and apparatus for evaluating near-term suicidal risk using vocal parameters
JP2002133558A (ja) 2000-10-27 2002-05-10 Victor Co Of Japan Ltd 監視用信号の通信方法、及び監視用信号通信装置
JP2004048164A (ja) 2002-07-09 2004-02-12 Yamaha Corp 不法侵入通知システム
US20050258958A1 (en) * 2004-05-18 2005-11-24 Joseph Lai Personal emergency locator transmitter (ELT) apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003508805A (ja) * 1999-08-31 2003-03-04 アクセンチュア リミテッド ライアビリティ パートナーシップ 複数の音声信号パラメータの分析を通して音声信号の感情を検出する装置、方法、及び、製造物品
JP2002183856A (ja) * 2000-12-19 2002-06-28 Sanki System Product Kk ポータルポストステーションを核とする小規模地域における都市型情報ネットワークシステム
JP2003016549A (ja) * 2001-06-27 2003-01-17 Nisshin Seifun Group Inc 安全ガードシステム
JP2003141657A (ja) * 2001-11-01 2003-05-16 Takeshi Ikeda 防犯システム
JP2003248882A (ja) * 2002-02-22 2003-09-05 Toshiba Corp 乗降監視装置、及びエリア内監視装置
JP2003272065A (ja) * 2002-03-13 2003-09-26 Hitachi Kokusai Electric Inc 監視装置及び監視システム
JP2004062690A (ja) * 2002-07-31 2004-02-26 Tamaoka Sangyo Kk 監視用センサ装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016090775A (ja) * 2014-11-04 2016-05-23 トヨタ自動車株式会社 応答生成装置、応答生成方法およびプログラム

Also Published As

Publication number Publication date
US7298256B2 (en) 2007-11-20
US20050264425A1 (en) 2005-12-01
JP2005346254A (ja) 2005-12-15

Similar Documents

Publication Publication Date Title
JP4627152B2 (ja) 危機監視システム
US20210366267A1 (en) Gunshot Detection System with Building Management System Integration
US20170188216A1 (en) Personal emergency saver system and method
US11423764B2 (en) Emergency communications using client devices that are associated with audio/video recording and communication devices
US9779614B2 (en) System and method of alerting CMS and registered users about a potential duress situation using a mobile application
EP3879505A1 (en) Digital fingerprint tracking
KR101841882B1 (ko) 무인방범 시스템 및 방법
JP2020521227A (ja) 監視及びコンシェルジェサービスのためのスケーラブルなシステム及び方法
US11580843B2 (en) Intelligent emergency response for multi-tenant dwelling units
US11769392B2 (en) Method of and device for converting landline signals to Wi-Fi signals and user verified emergency assistant dispatch
US11589204B2 (en) Smart speakerphone emergency monitoring
JP4000596B2 (ja) 通知システム、電子機器および方法、並びにプログラム
KR102488741B1 (ko) 현장 상황 식별성이 향상된 비상벨 시스템
US10197983B2 (en) Fast replacement Z-wave device in home automation
KR20220138651A (ko) 건물 소방안전 관리 시스템 및 방법
KR20120057829A (ko) 씨씨디 카메라와 이동통신망을 이용한 주차장 모니터링 시스템 및 그 제어방법
KR101977263B1 (ko) 비콘을 이용한 지능형 호출 시스템
US9633533B2 (en) System and method for interacting with digital video recorders through networking applications
KR102579572B1 (ko) 음향 기반의 비상벨 관제 시스템 및 그 방법
KR102641750B1 (ko) 몰래 카메라 탐지 기능을 갖는 비상벨 시스템
JP3893373B2 (ja) 携帯端末管理装置
WO2020179058A1 (ja) 音声入出力装置、見守り支援システムおよび見守り支援方法
KR20040071976A (ko) 경보상황 통보방법 및 이를 실행하기 위한 프로그램을기록한 컴퓨터로 읽을 수 있는 기록매체
CN116324920A (zh) 发送指示接收者的建筑物中的位置的安全警报
JP2021092912A (ja) 監視装置、監視システム、プログラムおよび侵入者特定情報取得方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061023

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091211

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100715

AA92 Notification that decision to refuse application was cancelled

Free format text: JAPANESE INTERMEDIATE CODE: A971092

Effective date: 20100810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101104

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees