JP5185570B2 - 個人識別通信システム及び個人識別通信システムにおいて実行されるプログラム - Google Patents
個人識別通信システム及び個人識別通信システムにおいて実行されるプログラム Download PDFInfo
- Publication number
- JP5185570B2 JP5185570B2 JP2007151963A JP2007151963A JP5185570B2 JP 5185570 B2 JP5185570 B2 JP 5185570B2 JP 2007151963 A JP2007151963 A JP 2007151963A JP 2007151963 A JP2007151963 A JP 2007151963A JP 5185570 B2 JP5185570 B2 JP 5185570B2
- Authority
- JP
- Japan
- Prior art keywords
- information data
- face information
- data
- image
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Telephonic Communication Services (AREA)
- Image Processing (AREA)
- Mobile Radio Communication Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、個人識別通信システム及び個人識別通信システムにおいて実行されるプログラムに関する。
従来から、施設（例えば、遊技場やコンサート会場）の管理者が、施設内を監視カメラで撮像して得られる動画像をモニタを介して視認することにより、施設内に不審な人物がいないかどうかや、施設の従業員の現在位置等を把握するシステムが存在する。このようなシステムは、モニタに表示される人物の顔画像を、管理者が目視によって認識するものであった。そのため、画像が充分に鮮明でない場合や、画像が小さい場合には、目視によって画像中の人物を特定することが困難となることがあった。
このような問題を解決し得る技術として、歩行者等、移動している人物の顔を撮像し、得られた顔画像から当該人物が予め登録されている人物であるか否かを判定する顔認証システムが存在する（例えば、特許文献１参照）。また、画像中の複数の人物の顔のなかから、特定の人物の顔の特徴を抽出する技術が開示されている（例えば、特許文献２〜４参照）。上述したような顔認証システムを用いることにより、動画像中の人物が予め登録された従業員であるか否かや、登録された従業員のうちの誰であるかを、客観的に判断することができる。
しかしながら、管理者が動画像中の従業員と連絡を取りたいと考えた場合には、顔認証システムでその従業員が誰であるかを確認した上で、その従業員の携帯電話機の電話番号を調べて電話をかけなければならない。このため、従業員と連絡を取りたいと考えてから、実際にその従業員と連絡が取れるまでにかなりの時間のロスが生じてしまうという問題があった。特に、不審な人物を発見し、直ちに対応しなければならない場合等、緊急の連絡が必要である場合には、この時間のロスによって、例えば、発見した不審者を見失い、必要な対策を講じることできずにセキュリティ上の大きな問題を引き起こすこととなるおそれがあった。管理者が自ら全従業員の電話番号を記憶しておくという方法も考えられるが、従業員数が多くなると、全員分の電話番号を記憶するのは困難である。また、管理者が間違った電話番号を記憶してしまうおそれもある。
本発明は、上述した課題に鑑みてなされたものであり、その目的は、撮像して得られる動画像中の人物と迅速に連絡を取ることが可能な個人識別通信システム及び個人識別通信システムにおいて実行されるプログラムを提供することにある。
以上のような目的を達成するために、本発明は、以下のようなものを提供する。
（１） 複数の撮像手段と、
音声を入力するための音声入力手段と、
上記音声入力手段により入力された音声から、その音声に基づく照合用データを得る照合用データ取得手段と、
各人物に応じて異なる、人物の顔の特徴を示す複数の基準顔情報データと、当該各基準顔情報データに対応付けられ、携帯端末機への通信先を特定するための複数の識別情報データと、当該各基準顔情報データに対応付けられ、上記照合用データと照合するための各人物に応じて異なる複数の被照合用データとが記憶される記憶手段と、
上記照合用データ取得手段によって得られた照合用データと、上記記憶手段に記憶された複数の被照合用データとを照合し、該照合用データに対応する被照合用データを決定する照合手段と、
上記撮像手段により撮像されて得られる画像データから、人物の顔の特徴を示す取得顔情報データを取得する取得手段と、
上記取得手段によって取得された取得顔情報データと、上記照合手段によって決定された被照合用データに対応する基準顔情報データとに基づいて、該基準顔情報データに対応する取得顔情報データを決定する決定手段と、
複数の上記撮像手段のうちの、上記決定手段により決定された取得顔情報データを取得した画像データを得た撮像手段による画像を表示する特定表示手段と、
上記撮像手段により撮像されて得られる画像データに基づく画像を表示することが可能な表示手段と、
上記表示手段により表示された画像のうちの所定の領域を選択するための選択手段と、
上記選択手段により選択された領域の画像を示す選択領域画像データから上記取得手段により取得された取得顔情報データと、予め上記記憶手段に記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定する基準顔情報データ決定手段と、
上記基準顔情報データ決定手段により決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯端末機と通信する通信手段と
を備えたことを特徴とする個人識別通信システム。
（１） 複数の撮像手段と、
音声を入力するための音声入力手段と、
上記音声入力手段により入力された音声から、その音声に基づく照合用データを得る照合用データ取得手段と、
各人物に応じて異なる、人物の顔の特徴を示す複数の基準顔情報データと、当該各基準顔情報データに対応付けられ、携帯端末機への通信先を特定するための複数の識別情報データと、当該各基準顔情報データに対応付けられ、上記照合用データと照合するための各人物に応じて異なる複数の被照合用データとが記憶される記憶手段と、
上記照合用データ取得手段によって得られた照合用データと、上記記憶手段に記憶された複数の被照合用データとを照合し、該照合用データに対応する被照合用データを決定する照合手段と、
上記撮像手段により撮像されて得られる画像データから、人物の顔の特徴を示す取得顔情報データを取得する取得手段と、
上記取得手段によって取得された取得顔情報データと、上記照合手段によって決定された被照合用データに対応する基準顔情報データとに基づいて、該基準顔情報データに対応する取得顔情報データを決定する決定手段と、
複数の上記撮像手段のうちの、上記決定手段により決定された取得顔情報データを取得した画像データを得た撮像手段による画像を表示する特定表示手段と、
上記撮像手段により撮像されて得られる画像データに基づく画像を表示することが可能な表示手段と、
上記表示手段により表示された画像のうちの所定の領域を選択するための選択手段と、
上記選択手段により選択された領域の画像を示す選択領域画像データから上記取得手段により取得された取得顔情報データと、予め上記記憶手段に記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定する基準顔情報データ決定手段と、
上記基準顔情報データ決定手段により決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯端末機と通信する通信手段と
を備えたことを特徴とする個人識別通信システム。
（１）の発明によれば、音声入力手段（例えば、マイクロフォン）から入力された音声（例えば、特定の従業員の名前を呼ぶ声）から、照合用データ取得手段（例えば、音声認識ソフトウェア）によってその音声に基づく照合用データ（例えば、音声データ）を得る。
そして、得られた照合用データと、各人物に応じて異なる被照合用データ（例えば、その人物の氏名を発音した際の音声に基づく音声データ）とを照合して該照合用データに対応する被照合用データを決定し、決定された被照合用データに対応する基準顔情報データと、撮像されて得られた画像データから取得した取得顔情報データとに基づいて、該基準顔情報データに対応する取得顔情報データを決定する。基準顔情報データは、人物の顔の特徴を示すものであり、携帯端末機の識別情報データ（例えば、携帯電話機の電話番号データ）と、被照合用データとに夫々対応付けて記憶されている。そして、複数の撮像手段のうちの、決定された取得顔情報データを取得した画像データを得た撮像手段による画像を、特定表示手段（例えば、メインディスプレイ）に表示する。
表示された画像のうち所定の領域が選択手段によって選択されると、その領域の画像を示す選択領域画像データから人物の顔の特徴を示す取得顔情報データを取得する。そして、取得した取得顔情報データと、記憶手段に記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定する。取得顔情報データに対応する基準顔情報データが決定されると、決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯端末機との通信を開始する。
そして、得られた照合用データと、各人物に応じて異なる被照合用データ（例えば、その人物の氏名を発音した際の音声に基づく音声データ）とを照合して該照合用データに対応する被照合用データを決定し、決定された被照合用データに対応する基準顔情報データと、撮像されて得られた画像データから取得した取得顔情報データとに基づいて、該基準顔情報データに対応する取得顔情報データを決定する。基準顔情報データは、人物の顔の特徴を示すものであり、携帯端末機の識別情報データ（例えば、携帯電話機の電話番号データ）と、被照合用データとに夫々対応付けて記憶されている。そして、複数の撮像手段のうちの、決定された取得顔情報データを取得した画像データを得た撮像手段による画像を、特定表示手段（例えば、メインディスプレイ）に表示する。
表示された画像のうち所定の領域が選択手段によって選択されると、その領域の画像を示す選択領域画像データから人物の顔の特徴を示す取得顔情報データを取得する。そして、取得した取得顔情報データと、記憶手段に記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定する。取得顔情報データに対応する基準顔情報データが決定されると、決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯端末機との通信を開始する。
音声入力手段から音声を入力すると、その音声に基づく照合用データに対応する人物が映る画像が特定表示手段に表示されるため、人物の名前等を呼ぶことにより、その人物が今どこにいるかを、即座に知ることができる。
また、撮像されて得られた動画像中の領域を選択すると、その領域に映る人物が予め登録された人物である場合には、その人物が使用する携帯端末機と通信することができる。動画像中の、連絡を取りたい人物を含む領域を選択するだけで、その人物と通信することができるため、登録されている人物の名前や携帯端末機の番号を記憶したり、その都度調べたりする必要がなく、施設の管理者の手間を省くことができる。また、緊急に連絡を取る必要がある場合であっても、迅速に対応することが可能となる。
また、撮像されて得られた動画像中の領域を選択すると、その領域に映る人物が予め登録された人物である場合には、その人物が使用する携帯端末機と通信することができる。動画像中の、連絡を取りたい人物を含む領域を選択するだけで、その人物と通信することができるため、登録されている人物の名前や携帯端末機の番号を記憶したり、その都度調べたりする必要がなく、施設の管理者の手間を省くことができる。また、緊急に連絡を取る必要がある場合であっても、迅速に対応することが可能となる。
さらに、本発明は、以下のようなものを提供する。
（２） 上記（１）の個人識別通信システムであって、
上記選択手段は、ポインティングデバイスであることを特徴とする。
（２） 上記（１）の個人識別通信システムであって、
上記選択手段は、ポインティングデバイスであることを特徴とする。
（２）の発明によれば、ポインティングデバイス（例えば、コンピュータシステムにおけるマウス）によって、動画像中の領域の選択を行う。従って、画面上での現在位置を示す記号（例えば、カーソル）を移動させて、選択する領域を直感的に容易に指定することができる。
さらに、本発明は、以下のようなものを提供する。
（３） 上記（１）の個人識別通信システムであって、
上記選択手段は、上記表示手段の前面に設置されたタッチパネルであることを特徴とする。
（３） 上記（１）の個人識別通信システムであって、
上記選択手段は、上記表示手段の前面に設置されたタッチパネルであることを特徴とする。
（３）の発明によれば、タッチパネルによって、動画像中の領域の選択を行う。従って、動画像中の選択したい領域に対応するタッチパネル上の所定箇所に触れることで、選択する領域を直感的に容易に指定することができる。
さらに、本発明は、以下のようなものを提供する。
（４） 上記（１）〜（３）のいずれか１の個人識別通信システムであって、
上記携帯端末機は、携帯電話機であり、上記識別情報データは、上記携帯電話機の電話番号を示す電話番号データであることを特徴とする。
（４） 上記（１）〜（３）のいずれか１の個人識別通信システムであって、
上記携帯端末機は、携帯電話機であり、上記識別情報データは、上記携帯電話機の電話番号を示す電話番号データであることを特徴とする。
（４）の発明によれば、選択された動画像中の領域にある画像データから取得した取得顔情報データに対応する基準顔情報データが決定されると、決定された基準顔情報データに対応付けられた電話番号が割り当てられている携帯電話機との通信を開始する。従って、連絡を取りたい動画像中の人物と、携帯電話機によって通信することが可能となる。
さらに、本発明は、以下のようなものを提供する。
（５） 複数のカメラと、
音声を入力するための音声入力手段と、
前記カメラにより撮像されて得られる画像データに基づく画像を表示することが可能な表示装置と、
前記カメラによる画像を表示する特定表示手段と、
前記表示装置により表示された画像のうちの所定の領域を選択するための入力装置と、
各人物に応じて異なる、人物の顔の特徴を示す複数の基準顔情報データと、当該各基準顔情報データに対応付けられ、携帯端末機への通信先を特定するための複数の識別情報データと、当該各基準顔情報データに対応付けられ、前記音声に基づく照合用データと照合するための各人物に応じて異なる複数の被照合用データとが記憶されるメモリと、
前記携帯端末機と通信することが可能な通信装置と、
以下（ａ）〜（ｊ）の処理を実行するようにプログラムされたコントローラと
を備えたことを特徴とする個人識別通信システム。
（ａ）前記音声入力手段により入力された音声から、その音声に基づく照合用データを得る処理、
（ｂ）前記処理（ａ）において得られた照合用データと、前記メモリに記憶された複数の被照合用データとを照合し、該照合用データに対応する被照合用データを決定する処理、
（ｃ）前記カメラによって撮像する処理、
（ｄ）前記カメラにより撮像されて得られる画像データから、人物の顔の特徴を示す取得顔情報データを取得する処理、
（ｅ）前記処理（ｄ）において取得された取得顔情報データと、前記処理（ｂ）において決定された被照合用データに対応する基準顔情報データとに基づいて、該基準顔情報データに対応する取得顔情報データを決定する処理、
（ｆ）複数の前記カメラのうちの、前記処理（ｅ）において決定された取得顔情報データを取得した画像データを得たカメラによる画像を前記特定表示手段に表示する処理、
（ｇ）前記処理（ｃ）において得られた画像データに基づく画像を前記表示装置に表示する処理、
（ｈ）前記入力装置からの入力に基づいて、前記表示装置により表示された画像のうちの所定の領域を選択する処理、
（ｉ）前記処理（ｈ）において選択された領域の画像を示す選択領域画像データから取得された取得顔情報データと、予め前記メモリに記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定する処理、及び、
（ｊ）前記処理（ｉ）において決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯端末機と前記通信装置を介して通信する処理。
（５） 複数のカメラと、
音声を入力するための音声入力手段と、
前記カメラにより撮像されて得られる画像データに基づく画像を表示することが可能な表示装置と、
前記カメラによる画像を表示する特定表示手段と、
前記表示装置により表示された画像のうちの所定の領域を選択するための入力装置と、
各人物に応じて異なる、人物の顔の特徴を示す複数の基準顔情報データと、当該各基準顔情報データに対応付けられ、携帯端末機への通信先を特定するための複数の識別情報データと、当該各基準顔情報データに対応付けられ、前記音声に基づく照合用データと照合するための各人物に応じて異なる複数の被照合用データとが記憶されるメモリと、
前記携帯端末機と通信することが可能な通信装置と、
以下（ａ）〜（ｊ）の処理を実行するようにプログラムされたコントローラと
を備えたことを特徴とする個人識別通信システム。
（ａ）前記音声入力手段により入力された音声から、その音声に基づく照合用データを得る処理、
（ｂ）前記処理（ａ）において得られた照合用データと、前記メモリに記憶された複数の被照合用データとを照合し、該照合用データに対応する被照合用データを決定する処理、
（ｃ）前記カメラによって撮像する処理、
（ｄ）前記カメラにより撮像されて得られる画像データから、人物の顔の特徴を示す取得顔情報データを取得する処理、
（ｅ）前記処理（ｄ）において取得された取得顔情報データと、前記処理（ｂ）において決定された被照合用データに対応する基準顔情報データとに基づいて、該基準顔情報データに対応する取得顔情報データを決定する処理、
（ｆ）複数の前記カメラのうちの、前記処理（ｅ）において決定された取得顔情報データを取得した画像データを得たカメラによる画像を前記特定表示手段に表示する処理、
（ｇ）前記処理（ｃ）において得られた画像データに基づく画像を前記表示装置に表示する処理、
（ｈ）前記入力装置からの入力に基づいて、前記表示装置により表示された画像のうちの所定の領域を選択する処理、
（ｉ）前記処理（ｈ）において選択された領域の画像を示す選択領域画像データから取得された取得顔情報データと、予め前記メモリに記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定する処理、及び、
（ｊ）前記処理（ｉ）において決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯端末機と前記通信装置を介して通信する処理。
（５）の発明によれば、音声入力手段（例えば、マイクロフォン）から入力された音声（例えば、特定の従業員の名前を呼ぶ声）から、照合用データ取得手段（例えば、音声認識ソフトウェア）によってその音声に基づく照合用データ（例えば、音声データ）を得る。そして、得られた照合用データと、各人物に応じて異なる被照合用データ（例えば、その人物の氏名を発音した際の音声に基づく音声データ）とを照合して該照合用データに対応する被照合用データを決定し、決定された被照合用データに対応する基準顔情報データと、撮像されて得られた画像データから取得した取得顔情報データとに基づいて、該基準顔情報データに対応する取得顔情報データを決定する。基準顔情報データは、人物の顔の特徴を示すものであり、携帯端末機の識別情報データ（例えば、携帯電話機の電話番号データ）と、被照合用データとに夫々対応付けて記憶されている。そして、複数のカメラのうちの、決定された取得顔情報データを取得した画像データを得たカメラによる画像を、特定表示手段（例えば、メインディスプレイ）に表示する。
表示された画像のうち所定の領域が入力装置（例えば、コンピュータシステムにおけるマウス）によって選択されると、その領域の画像を示す選択領域画像データから取得された取得顔情報データと、予め上記メモリに記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定する。基準顔情報データは、人物の顔の特徴を示すものであり、その人物が使用する携帯端末機の識別情報データに対応付けて記憶されている。取得顔情報データに対応する基準顔情報データが決定されると、決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯端末機と通信装置を介して通信する。
表示された画像のうち所定の領域が入力装置（例えば、コンピュータシステムにおけるマウス）によって選択されると、その領域の画像を示す選択領域画像データから取得された取得顔情報データと、予め上記メモリに記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定する。基準顔情報データは、人物の顔の特徴を示すものであり、その人物が使用する携帯端末機の識別情報データに対応付けて記憶されている。取得顔情報データに対応する基準顔情報データが決定されると、決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯端末機と通信装置を介して通信する。
従って、音声入力手段から音声を入力すると、その音声に基づく照合用データに対応する人物が映る画像が特定表示手段に表示されるため、人物の名前等を呼ぶことにより、その人物が今どこにいるかを、即座に知ることができる。
また、撮像されて得られた動画像中の領域を選択すると、その領域に映る人物が予め登録された人物である場合には、その人物が使用する携帯端末機と通信することができる。動画像中の、連絡を取りたい人物を含む領域を選択するだけで、その人物と通信することができるため、登録されている人物の名前や携帯端末機の番号を記憶したり、その都度調べたりする必要がなく、施設の管理者の手間を省くことができる。また、緊急に連絡を取る必要がある場合であっても、迅速に対応することが可能となる。
また、撮像されて得られた動画像中の領域を選択すると、その領域に映る人物が予め登録された人物である場合には、その人物が使用する携帯端末機と通信することができる。動画像中の、連絡を取りたい人物を含む領域を選択するだけで、その人物と通信することができるため、登録されている人物の名前や携帯端末機の番号を記憶したり、その都度調べたりする必要がなく、施設の管理者の手間を省くことができる。また、緊急に連絡を取る必要がある場合であっても、迅速に対応することが可能となる。
さらに、本発明は、以下のようなものを提供する。
（６） 複数のカメラと、音声を入力するための音声入力手段と、前記カメラにより撮像されて得られる画像データに基づく画像を表示することが可能な表示装置と、前記カメラによる画像を表示する特定表示手段と、前記表示装置により表示された画像のうちの所定の領域を選択するための入力装置と、各人物に応じて異なる、人物の顔の特徴を示す複数の基準顔情報データと、当該各基準顔情報データに対応付けられ、携帯端末機への通信先を特定するための複数の識別情報データと、当該各基準顔情報データに対応付けられ、前記音声に基づく照合用データと照合するための各人物に応じて異なる複数の被照合用データとが記憶されるメモリと、前記携帯端末機と通信することが可能な通信装置とを備えた個人識別通信システムにおいて実行されるプログラムであって、
前記音声入力手段により入力された音声から、その音声に基づく照合用データを得るステップと、
得られた照合用データと、前記メモリに記憶された複数の被照合用データとを照合し、該照合用データに対応する被照合用データを決定するステップと、
前記カメラによって撮像する撮像ステップと、
前記カメラにより撮像されて得られる画像データから、人物の顔の特徴を示す取得顔情報データを取得する取得ステップと、
取得された取得顔情報データと、決定された被照合用データに対応する基準顔情報データとに基づいて、該基準顔情報データに対応する取得顔情報データを決定するステップと、複数の前記カメラのうちの、決定された取得顔情報データを取得した画像データを得たカメラによる画像を前記特定表示手段に表示するステップと、
前記カメラによって得られた画像データに基づく画像を前記表示装置に表示する表示ステップと、
前記入力装置からの入力に基づいて、前記表示装置により表示された画像のうちの所定の領域を選択する選択ステップと、
前記入力装置によって選択された領域の画像を示す選択領域画像データから取得された取得顔情報データと、予め前記メモリに記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定する決定ステップと、
前記決定ステップにおいて決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯端末機と前記通信装置を介して通信する通信ステップと
をコンピュータに実行させるためのプログラム。
（６） 複数のカメラと、音声を入力するための音声入力手段と、前記カメラにより撮像されて得られる画像データに基づく画像を表示することが可能な表示装置と、前記カメラによる画像を表示する特定表示手段と、前記表示装置により表示された画像のうちの所定の領域を選択するための入力装置と、各人物に応じて異なる、人物の顔の特徴を示す複数の基準顔情報データと、当該各基準顔情報データに対応付けられ、携帯端末機への通信先を特定するための複数の識別情報データと、当該各基準顔情報データに対応付けられ、前記音声に基づく照合用データと照合するための各人物に応じて異なる複数の被照合用データとが記憶されるメモリと、前記携帯端末機と通信することが可能な通信装置とを備えた個人識別通信システムにおいて実行されるプログラムであって、
前記音声入力手段により入力された音声から、その音声に基づく照合用データを得るステップと、
得られた照合用データと、前記メモリに記憶された複数の被照合用データとを照合し、該照合用データに対応する被照合用データを決定するステップと、
前記カメラによって撮像する撮像ステップと、
前記カメラにより撮像されて得られる画像データから、人物の顔の特徴を示す取得顔情報データを取得する取得ステップと、
取得された取得顔情報データと、決定された被照合用データに対応する基準顔情報データとに基づいて、該基準顔情報データに対応する取得顔情報データを決定するステップと、複数の前記カメラのうちの、決定された取得顔情報データを取得した画像データを得たカメラによる画像を前記特定表示手段に表示するステップと、
前記カメラによって得られた画像データに基づく画像を前記表示装置に表示する表示ステップと、
前記入力装置からの入力に基づいて、前記表示装置により表示された画像のうちの所定の領域を選択する選択ステップと、
前記入力装置によって選択された領域の画像を示す選択領域画像データから取得された取得顔情報データと、予め前記メモリに記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定する決定ステップと、
前記決定ステップにおいて決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯端末機と前記通信装置を介して通信する通信ステップと
をコンピュータに実行させるためのプログラム。
（６）の発明によれば、音声入力手段（例えば、マイクロフォン）から入力された音声（例えば、特定の従業員の名前を呼ぶ声）から、照合用データ取得手段（例えば、音声認識ソフトウェア）によってその音声に基づく照合用データ（例えば、音声データ）を得る。そして、得られた照合用データと、各人物に応じて異なる被照合用データ（例えば、その人物の氏名を発音した際の音声に基づく音声データ）とを照合して該照合用データに対応する被照合用データを決定し、決定された被照合用データに対応する基準顔情報データと、撮像されて得られた画像データから取得した取得顔情報データとに基づいて、該基準顔情報データに対応する取得顔情報データを決定する。基準顔情報データは、人物の顔の特徴を示すものであり、携帯端末機の識別情報データ（例えば、携帯電話機の電話番号データ）と、被照合用データとに夫々対応付けて記憶されている。そして、複数のカメラのうちの、決定された取得顔情報データを取得した画像データを得たカメラによる画像を、特定表示手段（例えば、メインディスプレイ）に表示する。
表示された画像のうち所定の領域が入力装置（例えば、コンピュータシステムにおけるマウス）によって選択されると、その領域の画像を示す選択領域画像データから取得された取得顔情報データと、予め上記メモリに記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定する。基準顔情報データは、人物の顔の特徴を示すものであり、その人物が使用する携帯端末機の識別情報データに対応付けて記憶されている。取得顔情報データに対応する基準顔情報データが決定されると、決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯端末機と通信装置を介して通信する。
表示された画像のうち所定の領域が入力装置（例えば、コンピュータシステムにおけるマウス）によって選択されると、その領域の画像を示す選択領域画像データから取得された取得顔情報データと、予め上記メモリに記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定する。基準顔情報データは、人物の顔の特徴を示すものであり、その人物が使用する携帯端末機の識別情報データに対応付けて記憶されている。取得顔情報データに対応する基準顔情報データが決定されると、決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯端末機と通信装置を介して通信する。
従って、音声入力手段から音声を入力すると、その音声に基づく照合用データに対応する人物が映る画像が特定表示手段に表示されるため、人物の名前等を呼ぶことにより、その人物が今どこにいるかを、即座に知ることができる。
また、撮像されて得られた動画像中の領域を選択すると、その領域に映る人物が予め登録された人物である場合には、その人物が使用する携帯端末機と通信することができる。動画像中の、連絡を取りたい人物を含む領域を選択するだけで、その人物と通信することができるため、登録されている人物の名前や携帯端末機の番号を記憶したり、その都度調べたりする必要がなく、施設の管理者の手間を省くことができる。また、緊急に連絡を取る必要がある場合であっても、迅速に対応することが可能となる。
また、撮像されて得られた動画像中の領域を選択すると、その領域に映る人物が予め登録された人物である場合には、その人物が使用する携帯端末機と通信することができる。動画像中の、連絡を取りたい人物を含む領域を選択するだけで、その人物と通信することができるため、登録されている人物の名前や携帯端末機の番号を記憶したり、その都度調べたりする必要がなく、施設の管理者の手間を省くことができる。また、緊急に連絡を取る必要がある場合であっても、迅速に対応することが可能となる。
本発明によれば、撮像して得られる動画像中の人物と迅速に連絡を取ることができる。
本発明の個人識別通信システムについて、図面に基づいて説明する。
図１は、本発明の一実施形態に係る個人識別通信システムの全体構成を示す概略図である。
図１は、本発明の一実施形態に係る個人識別通信システムの全体構成を示す概略図である。
図１に示すように、個人識別通信システム１は、コンピュータ１０と、コンピュータ１０とデータの送受信が可能なように接続された電話機２０と、施設内に設置されたカメラ４０と、人物６０が所持する携帯電話機５０とを備えている。
カメラ４０は、施設内の所定箇所に設置されており、施設内にいる人物等を撮像する。カメラ４０は、ズーム機能を備えるとともに、上下方向及び左右方向に夫々１００度の範囲で可動である。カメラ４０は、本発明における撮像手段に相当する。カメラ４０によって撮像されて得られた画像データは、カメラ４０が備える無線通信部４０５（図４参照）を介してコンピュータ１０に送信される。
なお、本実施形態では、カメラ４０によって得られる画像は、動画像である。
また、本発明において、撮像手段が設置される施設は特に限定されず、例えば、パチンコ店等の遊技施設であってもよく、コンサート会場であってもよく、デパートやオフィスビルであってもよい。
さらに、本実施形態では、カメラ４０を施設内に設置する場合について説明するが、本発明において、撮像手段を設置する場所は施設内に限定されない。例えば、市街地等の屋外に撮像手段を設置して、特定のエリアを監視するように構成してもよい。
なお、本実施形態では、カメラ４０によって得られる画像は、動画像である。
また、本発明において、撮像手段が設置される施設は特に限定されず、例えば、パチンコ店等の遊技施設であってもよく、コンサート会場であってもよく、デパートやオフィスビルであってもよい。
さらに、本実施形態では、カメラ４０を施設内に設置する場合について説明するが、本発明において、撮像手段を設置する場所は施設内に限定されない。例えば、市街地等の屋外に撮像手段を設置して、特定のエリアを監視するように構成してもよい。
コンピュータ１０は、カメラ４０から受信した画像データに基づく画像を、ディスプレイ１０７（図２参照）に表示する。得られた動画像のなかから、マウス１１０（図２参照）からの入力によって領域の選択が行われると、コンピュータ１０はカメラ４０に対してズームを指示する信号を送信する。カメラ４０は、選択された領域に対応する施設内の箇所を拡大して撮像する。コンピュータ１０は、ズームを行って得られた画像を静止画像として一時的に保存する。その静止画像から撮像された人物の顔画像を検出し、検出した顔画像について認証を行う。そして、当該人物が予め登録された施設の従業員であると判断した場合に、電話機２０に対して、当該従業員が所持する携帯電話機５０にダイヤルする指示を示す指示信号を送信する。
コンピュータ１０からの指示信号を受信すると、電話機２０は、当該従業員の携帯電話機５０にダイヤルし、通信を開始する。電話機２０は、本発明における通信手段に相当する。
コンピュータ１０のディスプレイ１０７に表示される画像を視認して監視している施設の管理者は、電話機２０の送受話部２０６（図３参照）を介して当該従業員と通話することができる。
コンピュータ１０のディスプレイ１０７に表示される画像を視認して監視している施設の管理者は、電話機２０の送受話部２０６（図３参照）を介して当該従業員と通話することができる。
図２は、図１に示したコンピュータの内部構成を示すブロック図である。
図２に示すように、コンピュータ１０は、ＣＰＵ１０１を備えており、ＣＰＵ１０１には、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ（ハードディスクドライブ）１０４、無線通信部１０５、画像処理回路１０６、入力信号回路１０８、及び、通信インターフェイス１１１が接続されている。
図２に示すように、コンピュータ１０は、ＣＰＵ１０１を備えており、ＣＰＵ１０１には、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ（ハードディスクドライブ）１０４、無線通信部１０５、画像処理回路１０６、入力信号回路１０８、及び、通信インターフェイス１１１が接続されている。
ＲＯＭ１０２には、コンピュータ１０の制御上必要な処理を行うための各種プログラムや、データテーブル等が格納されている。データテーブルには、顔認証の際に参照する基準顔情報データテーブルが含まれる。基準顔情報データテーブルについては、後で図６を用いて詳述する。ＲＯＭ１０２は、本発明における記憶手段に相当する。ＲＡＭ４２は、ＣＰＵ１０１で演算された各種データを一時的に記憶しておくメモリであり、ＨＤＤ１０４は、ＣＰＵ１０１で演算された各種データを永続的に保存しておくための補助記憶装置である。
無線通信部１０５は、カメラ４０とデータの送受信を行うためのものである。画像処理回路１０６には、ディスプレイ１０７が接続されており、無線通信部１０５を介してカメラ４０から受信した画像データに基づく画像を表示する。ディスプレイ１０７は、本発明における表示手段に相当する。また、入力信号回路１０８には、キーボード１０９及びマウス１１０が接続されている。キーボード１０９又はマウス１１０を操作することにより、各種指示を入力することができる。マウス１１０は、本発明における選択手段に相当する。
通信インターフェイス１１１には、電話機２０が接続されている。コンピュータ１０は、通信インターフェイス１１１を介して、電話機２０に指示信号を送信することができる。
図３は、図１に示した電話機の内部構成を示すブロック図である。
本実施形態に係る電話機２０は、コンピュータ１０と通信回線を介して接続することが可能であり、該通信回線を介してコンピュータ１０からダイヤルを指示する信号とダイヤル先の電話番号データとを受信すると、当該信号と電話番号データとに基づいてダイヤルを開始するように構成されている。
本実施形態に係る電話機２０は、コンピュータ１０と通信回線を介して接続することが可能であり、該通信回線を介してコンピュータ１０からダイヤルを指示する信号とダイヤル先の電話番号データとを受信すると、当該信号と電話番号データとに基づいてダイヤルを開始するように構成されている。
図３に示すように、電話機２０は、ＣＰＵ２０１を備えており、通信インターフェイス２０７を介してコンピュータ１０と接続されている。
また、ＣＰＵ２０１には、ＲＯＭ２０４、ＲＡＭ２０５、通話を行うための送受話部２０６、各種表示を行うための表示部２０２、及び、手動で電話番号等の入力を行う際に用いる入力部２０３が接続されている。
また、ＣＰＵ２０１には、ＲＯＭ２０４、ＲＡＭ２０５、通話を行うための送受話部２０６、各種表示を行うための表示部２０２、及び、手動で電話番号等の入力を行う際に用いる入力部２０３が接続されている。
図４は、図１に示したカメラの内部構成を示すブロック図である。
図４に示すように、カメラ４０が備えるＣＰＵ４０１には、ＲＯＭ４０２、ＲＡＭ４０３、撮像部４０４、及び、無線通信部４０５が接続されている。
図４に示すように、カメラ４０が備えるＣＰＵ４０１には、ＲＯＭ４０２、ＲＡＭ４０３、撮像部４０４、及び、無線通信部４０５が接続されている。
撮像部４０４は、レンズやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等を備えており、画像を生成する。
無線通信部４０５は、コンピュータ１０とデータの送受信を行うためのものであり、ＣＰＵ４０１は、撮像部４０４で生成された画像を示す画像データを、無線通信部４０５を介してコンピュータ１０に送信する。
無線通信部４０５は、コンピュータ１０とデータの送受信を行うためのものであり、ＣＰＵ４０１は、撮像部４０４で生成された画像を示す画像データを、無線通信部４０５を介してコンピュータ１０に送信する。
図５は、図１に示した携帯電話機の内部構成を示すブロック図である。
携帯電話機５０は、操作部３０４、液晶パネル３０６、無線部３１０、音声回路３１２、スピーカ３１４、マイク３１６、送受信アンテナ３１８、不揮発性メモリ３２０、マイクロコンピュータ３２２及び二次電池３２４を備えている。
携帯電話機５０は、操作部３０４、液晶パネル３０６、無線部３１０、音声回路３１２、スピーカ３１４、マイク３１６、送受信アンテナ３１８、不揮発性メモリ３２０、マイクロコンピュータ３２２及び二次電池３２４を備えている。
無線部３１０は、マイクロコンピュータ３２２により制御されて、送受信アンテナ３１８を通じて電波を媒体として基地局に対して送受信する。音声回路３１２は、無線部３１０からマイクロコンピュータ３２２を通じて出力された受信信号をスピーカ３１４に出力するとともに、マイク３１６から出力された音声信号を送信信号としてマイクロコンピュータ３２２を通じて無線部３１０に出力する。
スピーカ３１４は、音声回路３１２から出力された受信信号を受信音声に変換して出力し、マイク３１６は、操作者から発せられた送信音声を音声信号に変換して音声回路３１２に出力する。
不揮発性メモリ３２０は、例えば、待受画像用の画像データ、着メロ用の音楽データ等の各種データや各種プログラムを不揮発的に記憶する。
二次電池３２４は、各回路に電力を供給する。マイクロコンピュータ３２２は、ＣＰＵ、ＲＯＭ及びＲＡＭから構成されたもので、例えば、電話の発着信処理、電子メールの作成送受信処理、インターネット処理等を行う。
携帯電話機５０は、本発明における携帯端末機に相当する。
二次電池３２４は、各回路に電力を供給する。マイクロコンピュータ３２２は、ＣＰＵ、ＲＯＭ及びＲＡＭから構成されたもので、例えば、電話の発着信処理、電子メールの作成送受信処理、インターネット処理等を行う。
携帯電話機５０は、本発明における携帯端末機に相当する。
次に、個人識別通信システム１において撮像された人物の顔認証を行う際に参照される基準顔情報データテーブルについて説明する。基準顔情報データテーブルは、コンピュータ１０のＲＯＭ１０２に格納されているデータテーブルである。
図６は、基準顔情報データテーブルの一例を示す図である。
図６は、基準顔情報データテーブルの一例を示す図である。
基準顔情報データテーブルにおいては、登録されている複数の人物（施設の従業員）の名前と、各人物の基準顔情報データと、各人物が所持する携帯電話機５０の識別情報データ（電話番号データ）とが夫々対応付けられている。
例えば、図６に示す基準顔情報データテーブルでは、Ａという名前の人物の基準顔情報データはＡ′であり、携帯電話機５０の識別情報データはＡ′′である。
基準顔情報データは、登録されている人物の顔の特徴を示すデータであり、顔の特徴点（例えば、口の両端を示す点）に関するデータが含まれる。
例えば、図６に示す基準顔情報データテーブルでは、Ａという名前の人物の基準顔情報データはＡ′であり、携帯電話機５０の識別情報データはＡ′′である。
基準顔情報データは、登録されている人物の顔の特徴を示すデータであり、顔の特徴点（例えば、口の両端を示す点）に関するデータが含まれる。
次に、個人識別通信システム１において行われる顔認証の流れを、図７〜９に基づいて説明する。
図７〜９は、コンピュータが備えるディスプレイに表示される画像の一例を示す図である。
図７〜９は、コンピュータが備えるディスプレイに表示される画像の一例を示す図である。
図７は、画像中の人物の顔画像を含む領域が選択された場合にディスプレイ１０７に表示される画像の一例を示している。
図７に示すように、人物を示す画像６１のうちの、顔の略中心に相当する部分が、マウス１１０を用いてカーソル１５０によって選択されている。図中の破線円１６０は、マウス１１０によってクリックが行われた場合に、カーソル１５０の位置を中心として表示される半径８０ピクセルの円であり、この破線円１６０によって囲まれた部分が、選択された領域（以下、選択領域ともいう）を示している。選択領域を示す画像データは、本発明における選択領域画像データに相当する。
なお、本発明においては、例えば、選択を行う人物が、ドラッグ・アンド・ドロップによって選択範囲を任意に指定することができるように構成してもよい。
図７に示すように、人物を示す画像６１のうちの、顔の略中心に相当する部分が、マウス１１０を用いてカーソル１５０によって選択されている。図中の破線円１６０は、マウス１１０によってクリックが行われた場合に、カーソル１５０の位置を中心として表示される半径８０ピクセルの円であり、この破線円１６０によって囲まれた部分が、選択された領域（以下、選択領域ともいう）を示している。選択領域を示す画像データは、本発明における選択領域画像データに相当する。
なお、本発明においては、例えば、選択を行う人物が、ドラッグ・アンド・ドロップによって選択範囲を任意に指定することができるように構成してもよい。
図８は、顔認証時にディスプレイ１０７に表示される画像の一例を示している。
マウス１１０によって領域が選択されると、カメラ４０に対してズームを指示する信号を送信する。カメラ４０は、選択された領域に対応する施設内の箇所を拡大して撮像する。コンピュータ１０は、ズームを行って得られた画像を静止画像として一時的に保存する。そして保存された静止画像から、顔画像を検出する。顔画像の検出は、エッジ抽出により、顔の輪郭を検出することによって行う。
顔画像が検出されると、選択された領域の画像を示す選択領域画像データから、検出された顔画像を示す顔画像データを抽出し、当該顔画像データから、その人物の顔の特徴を示す取得顔情報データを取得する。取得顔情報データには、顔の特徴点（例えば、口の両端を示す点）に関するデータが含まれる。
そして、ＲＯＭ１０２に格納されている基準顔情報データテーブルを参照し、取得した取得顔情報データと予め定められた誤差範囲で一致する基準顔情報データを決定する。
上記の処理を実行するとき、図８に示すように、ディスプレイ１０７には、顔認証を行っていることを示す「認証しています」という認証時画像１７０が表示される。
マウス１１０によって領域が選択されると、カメラ４０に対してズームを指示する信号を送信する。カメラ４０は、選択された領域に対応する施設内の箇所を拡大して撮像する。コンピュータ１０は、ズームを行って得られた画像を静止画像として一時的に保存する。そして保存された静止画像から、顔画像を検出する。顔画像の検出は、エッジ抽出により、顔の輪郭を検出することによって行う。
顔画像が検出されると、選択された領域の画像を示す選択領域画像データから、検出された顔画像を示す顔画像データを抽出し、当該顔画像データから、その人物の顔の特徴を示す取得顔情報データを取得する。取得顔情報データには、顔の特徴点（例えば、口の両端を示す点）に関するデータが含まれる。
そして、ＲＯＭ１０２に格納されている基準顔情報データテーブルを参照し、取得した取得顔情報データと予め定められた誤差範囲で一致する基準顔情報データを決定する。
上記の処理を実行するとき、図８に示すように、ディスプレイ１０７には、顔認証を行っていることを示す「認証しています」という認証時画像１７０が表示される。
図９は、取得顔情報データに対応する基準顔情報データが決定された場合に、ディスプレイ１０７に表示される画像の一例を示している。
基準顔情報データが決定されると、コンピュータ１０は、基準顔情報データテーブルにおける対応関係に従って、決定された基準顔情報データに対応する識別情報データが割り当てられた携帯電話機５０にダイヤルする旨の指示を示す指示信号を、電話機２０に対して送信する。すなわち、決定された基準顔情報データに対応する人物が使用する携帯電話機５０にダイヤルする旨の指示を示す指示信号を、電話機２０に対して送信する。
図９は、取得顔情報データに対応する基準顔情報データがＡ′（図６参照）であると決定された場合にディスプレイ１０７に表示される画像を示している。図６に示すように、基準顔情報データＡ′に対応する人物はＡであり、ディスプレイ１０７には、図９に示すように、人物Ａにダイヤルする旨を示す認証結果画像１８０が表示される。
コンピュータ１０は、基準顔情報データＡ′に対応する携帯電話機５０の識別情報データはＡ′′であるから、識別情報データＡ′′に基づいて、人物Ａが使用する携帯電話機５０にダイヤルするように、電話機２０に対して指示信号を送信する。
ディスプレイ１０７を視認する人物は、電話機２０の送受話部２０６を介して、人物Ａと通話することが可能となる。
基準顔情報データが決定されると、コンピュータ１０は、基準顔情報データテーブルにおける対応関係に従って、決定された基準顔情報データに対応する識別情報データが割り当てられた携帯電話機５０にダイヤルする旨の指示を示す指示信号を、電話機２０に対して送信する。すなわち、決定された基準顔情報データに対応する人物が使用する携帯電話機５０にダイヤルする旨の指示を示す指示信号を、電話機２０に対して送信する。
図９は、取得顔情報データに対応する基準顔情報データがＡ′（図６参照）であると決定された場合にディスプレイ１０７に表示される画像を示している。図６に示すように、基準顔情報データＡ′に対応する人物はＡであり、ディスプレイ１０７には、図９に示すように、人物Ａにダイヤルする旨を示す認証結果画像１８０が表示される。
コンピュータ１０は、基準顔情報データＡ′に対応する携帯電話機５０の識別情報データはＡ′′であるから、識別情報データＡ′′に基づいて、人物Ａが使用する携帯電話機５０にダイヤルするように、電話機２０に対して指示信号を送信する。
ディスプレイ１０７を視認する人物は、電話機２０の送受話部２０６を介して、人物Ａと通話することが可能となる。
次に、コンピュータ１０において実行される処理について説明する。
図１０は、コンピュータにおいて実行される個人識別通信実行処理のサブルーチンを示すフローチャートである。
図１０は、コンピュータにおいて実行される個人識別通信実行処理のサブルーチンを示すフローチャートである。
まず、コンピュータ１０が備えるＣＰＵ１０１は、カメラ４０によって撮像されて得られた画像データを、無線通信部１０５を介して受信し、受信した画像データに基づく画像をディスプレイ１０７に表示する（ステップＳ１０１）。
次に、ステップＳ１０２において、ＣＰＵ１０１は、マウス１１０によって画像上の領域が選択された（クリックされた）ことを示す選択領域入力信号を、入力信号回路１０８から受信したか否かを判断する。
選択領域入力信号を受信していないと判断した場合、処理をステップＳ１０１に戻す。
選択領域入力信号を受信していないと判断した場合、処理をステップＳ１０１に戻す。
一方、選択領域入力信号を受信したと判断した場合、ＣＰＵ１０１は、ステップＳ１０３において、選択領域を示す破線円１６０を、ディスプレイ１０７に表示する（図７参照）。
次に、ステップＳ１０４において、ＣＰＵ１０１は、認証時画像１７０をディスプレイ１０７に表示する（図８参照）。
次に、ＣＰＵ１０１は、カメラ４０に対してズームを行うように指示する信号を送信する。
カメラ４０は、当該信号を受信すると、上述した可動範囲内で撮像する角度を調整した上で、選択領域（破線円１６０によって囲まれた部分）に対応する施設内の箇所を拡大して撮像する。
ＣＰＵ１０１は、ズームを行って得られた画像を静止画像としてＲＡＭ１０３に保存する。そして、保存した静止画像から、人物の顔を示す顔画像を検出する（ステップＳ１０５）。具体的には、ラプラシアンフィルタを用いてエッジ抽出を行い、顔の輪郭に相当する部分を検出する。そして、輪郭に囲まれた部分の画像を、顔画像として認識する。
カメラ４０は、当該信号を受信すると、上述した可動範囲内で撮像する角度を調整した上で、選択領域（破線円１６０によって囲まれた部分）に対応する施設内の箇所を拡大して撮像する。
ＣＰＵ１０１は、ズームを行って得られた画像を静止画像としてＲＡＭ１０３に保存する。そして、保存した静止画像から、人物の顔を示す顔画像を検出する（ステップＳ１０５）。具体的には、ラプラシアンフィルタを用いてエッジ抽出を行い、顔の輪郭に相当する部分を検出する。そして、輪郭に囲まれた部分の画像を、顔画像として認識する。
次に、ステップＳ１０６において、ＣＰＵ１０１は、ステップＳ１０５において検出した顔画像を示す顔画像データから、顔の特徴を示す取得顔情報データを取得する。ステップＳ１０６の処理を実行するとき、ＣＰＵ１０１は、本発明における取得手段として機能する。
次に、ステップＳ１０７において、ＣＰＵ１０１は、ステップＳ１０６において取得した取得顔情報データと、ＲＯＭ１０２に格納されている基準顔情報データテーブルに含まれる基準顔情報データとを比較する。具体的には、取得顔情報データを構成する各データ（顔の特徴点を示すデータ）が示す情報が、基準顔情報データを構成する各データが示す情報と予め定められた誤差範囲で一致するか否かを判断する。ステップＳ１０７の処理を実行するとき、ＣＰＵ１０１は、本発明における基準顔情報データ決定手段として機能する。
次に、ステップＳ１０８において、ＣＰＵ１０１は、取得顔情報データに対応する基準顔情報データが存在するか否かを判断する。すなわち、予め定められた誤差範囲で取得顔情報データと一致する基準顔情報データが存在するか否かを判断する。
取得顔情報データに対応する基準顔情報データが存在しないと判断した場合には、「指定された人物は、登録されている人物ではありません」というエラー画像を、ディスプレイ１０７に表示する（ステップＳ１１１）。
取得顔情報データに対応する基準顔情報データが存在しないと判断した場合には、「指定された人物は、登録されている人物ではありません」というエラー画像を、ディスプレイ１０７に表示する（ステップＳ１１１）。
一方、取得顔情報データに対応する基準顔情報データが存在すると判断した場合、ＣＰＵ１０１は、ステップＳ１０９において、認証結果画像１８０を、ディスプレイ１０７に表示する（図９参照）。
次に、ステップＳ１１０において、ＣＰＵ１０１は、取得顔情報データと予め定められた誤差範囲で一致すると判断された基準顔情報データに対応する識別情報データ（電話番号データ）と、該識別情報データが割り当てられた携帯電話機５０（該基準顔情報データに対応する人物が所持する携帯電話機５０）にダイヤルする旨の指示を示す指示信号とを、電話機２０に対して送信する。
電話機２０は、該電話番号データ及び指示信号を受信すると、該電話番号データに基づく電話番号を認識する。そして、受話器（送受話部２０６）が取られたこと又は入力部２０３からハンズフリー機能を選択する入力が行われたことを検出すると、認識した電話番号にダイヤルする。
電話機２０は、該電話番号データ及び指示信号を受信すると、該電話番号データに基づく電話番号を認識する。そして、受話器（送受話部２０６）が取られたこと又は入力部２０３からハンズフリー機能を選択する入力が行われたことを検出すると、認識した電話番号にダイヤルする。
ステップＳ１１０又はステップＳ１１１の処理を実行した後、本サブルーチンを終了する。
以上、本実施形態に係る個人識別通信システム１は、カメラ４０（撮像手段）と、上記カメラ４０により撮像されて得られる画像データに基づく画像を表示することが可能なディスプレイ１０７（表示手段）と、上記ディスプレイ１０７により表示された画像のうちの所定の領域を選択するためのマウス１１０（選択手段）と、各人物に応じて異なる、人物の顔の特徴を示す複数の基準顔情報データと、当該各基準顔情報データに対応付けられ、携帯電話機５０（携帯端末機）への通信先を特定するための複数の識別情報データとが記憶されるＲＯＭ１０２（記憶手段）と、上記カメラ４０により撮像されて得られる画像データから、人物の顔の特徴を示す取得顔情報データを取得し、上記マウス１１０により選択された領域の画像を示す選択領域画像データから取得された取得顔情報データと、予め上記ＲＯＭ１０２に記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定するＣＰＵ１０１（取得手段及び基準顔情報データ決定手段）と、決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯電話機５０と通信する電話機２０とを備える。
個人識別通信システム１によれば、カメラ４０によって得られた画像データに基づく画像をディスプレイ１０７に表示し、表示された画像のうち所定の領域がマウス１１０によって選択されると、その領域の画像を示す選択領域画像データから人物の顔の特徴を示す取得顔情報データを取得する。そして、取得した取得顔情報データと、ＲＯＭ１０２に記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定する。そして、決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯電話機５０との通信を開始する。
従って、撮像されて得られた動画像中の領域を選択すると、その領域に映る人物が予め登録された人物である場合には、その人物が使用する携帯電話機５０と通信することができる。動画像中の、連絡を取りたい人物を含む領域を選択するだけで、その人物と通信することができるため、登録されている人物の名前や携帯電話機５０の番号を記憶したり、その都度調べたりする必要がなく、施設の管理者の手間を省くことができる。また、緊急に連絡を取る必要がある場合であっても、迅速に対応することが可能となる。
本実施形態では、コンピュータ１０に電話機２０を通信回線で接続し、コンピュータ１０から指示信号を送信することによって電話をかける場合について説明した。すなわち、本発明における通信手段が電話機２０であり、通信手段が通信回線を介してコンピュータに接続されている場合について説明した。しかし本発明における通信手段はこの例に限定されない。例えば、ハンドセットやヘッドセットを備え、電話機能を有するコンピュータ（いわゆるパソコン電話）を用いることとしてもよい。この場合、顔認証の処理と、特定された人物に電話をかける処理とをともに一台のコンピュータで行うように構成することができる。
また、本実施形態では、ディスプレイ１０７に表示される画像の領域を、マウス１１０によって選択する場合について説明した。すなわち、本発明における選択手段が、マウス（ポインティングデバイス）である場合について説明した。しかし本発明における選択手段は、ポインティングデバイスに限定されない。例えば、ディスプレイ（表示手段）の前面に設置されたタッチパネルであってもよい。選択手段としてタッチパネルを用いる場合には、画像中の選択したい領域に対応するタッチパネル上の所定箇所に触れることで、選択する領域を直感的に容易に指定することができる。
また、本実施形態では、携帯端末機として携帯電話機５０を用いる場合について説明した。しかし本発明における携帯端末機は携帯電話機に限定されず、例えば、無線通信機であってもよい。携帯端末機として無線通信機を用いる場合には、無線通信機に固有の周波数を示すデータと、該無線通信機を使用する人物の基準顔情報データとを対応付けて記憶すればよい。
また、本発明においては、複数の撮像手段によって複数の領域が撮像されている場合に、連絡を取りたい人物の名前等が音声で入力されると、音声認識によって当該人物を特定し、当該人物が映っている画像を顔認識によって決定してその画像をメインディスプレイ等に表示するように構成することも可能である。具体的には、次のように構成すればよい。
すなわち、音声入力手段（例えば、マイクロフォン）から入力された音声（例えば、特定の従業員の名前を呼ぶ声）から、照合用データ取得手段（例えば、音声認識ソフトウェア）によってその音声に基づく照合用データ（例えば、音声データ）を得る。そして、得られた照合用データと、各人物に応じて異なる被照合用データ（例えば、その人物の氏名を発音した際の音声に基づく音声データ）とを照合して該照合用データに対応する被照合用データを決定し、決定された被照合用データに対応する基準顔情報データと、撮像されて得られた画像データから取得した取得顔情報データとに基づいて、該基準顔情報データに対応する取得顔情報データを決定する。そして、複数の撮像手段のうちの、決定された取得顔情報データを取得した画像データを得た撮像手段による画像を、特定表示手段（例えば、メインディスプレイ）に表示する。
特定表示手段に表示された画像から、上述した実施形態に示した手順で人物を指定して連絡を取ることができる。
上記のような構成によれば、音声入力手段から音声を入力すると、その音声に基づく照合用データに対応する人物が映る画像が特定表示手段に表示されるため、人物の名前等を呼ぶことにより、その人物が今どこにいるかを、即座に知ることができる。
なお、顔認証技術について、動いている人物を認証する技術が特開２００６−２３６２４４号公報等に開示されている。また、画像中の複数の人物の顔のなかから、特定の人物の顔の特徴を抽出する技術が特開２００６−３１８３５２号公報、特開２００５−１１５８４７号公報、特開２００５−２１０２９３号公報等に開示されている。さらに、顔の特徴点抽出技術については、特許第２９７３６７６号明細書、特開平１０−２８３４７２号公報等に開示されている。
以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、各手段等の具体的構成は、適宜設計変更可能である。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
１ 個人識別通信システム
１０ コンピュータ
２０ 電話機
４０ カメラ
５０ 携帯電話機
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０５ 無線通信部
１０７ ディスプレイ
１１０ マウス
１０ コンピュータ
２０ 電話機
４０ カメラ
５０ 携帯電話機
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０５ 無線通信部
１０７ ディスプレイ
１１０ マウス
Claims (6)
- 複数の撮像手段と、
音声を入力するための音声入力手段と、
前記音声入力手段により入力された音声から、その音声に基づく照合用データを得る照合用データ取得手段と、
各人物に応じて異なる、人物の顔の特徴を示す複数の基準顔情報データと、当該各基準顔情報データに対応付けられ、携帯端末機への通信先を特定するための複数の識別情報データと、当該各基準顔情報データに対応付けられ、前記照合用データと照合するための各人物に応じて異なる複数の被照合用データとが記憶される記憶手段と、
前記照合用データ取得手段によって得られた照合用データと、前記記憶手段に記憶された複数の被照合用データとを照合し、該照合用データに対応する被照合用データを決定する照合手段と、
前記撮像手段により撮像されて得られる画像データから、人物の顔の特徴を示す取得顔情報データを取得する取得手段と、
前記取得手段によって取得された取得顔情報データと、前記照合手段によって決定された被照合用データに対応する基準顔情報データとに基づいて、該基準顔情報データに対応する取得顔情報データを決定する決定手段と、
複数の前記撮像手段のうちの、前記決定手段により決定された取得顔情報データを取得した画像データを得た撮像手段による画像を表示する特定表示手段と、
前記撮像手段により撮像されて得られる画像データに基づく画像を表示することが可能な表示手段と、
前記表示手段により表示された画像のうちの所定の領域を選択するための選択手段と、
前記選択手段により選択された領域の画像を示す選択領域画像データから前記取得手段により取得された取得顔情報データと、予め前記記憶手段に記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定する基準顔情報データ決定手段と、
前記基準顔情報データ決定手段により決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯端末機と通信する通信手段と
を備えたことを特徴とする個人識別通信システム。 - 前記選択手段は、ポインティングデバイスであることを特徴とする請求項１に記載の個人識別通信システム。
- 前記選択手段は、前記表示手段の前面に設置されたタッチパネルであることを特徴とする請求項１に記載の個人識別通信システム。
- 前記携帯端末機は、携帯電話機であり、前記識別情報データは、前記携帯電話機の電話番号を示す電話番号データであることを特徴とする請求項１〜３のいずれか１に記載の個人識別通信システム。
- 複数のカメラと、
音声を入力するための音声入力手段と、
前記カメラにより撮像されて得られる画像データに基づく画像を表示することが可能な表示装置と、
前記カメラによる画像を表示する特定表示手段と、
前記表示装置により表示された画像のうちの所定の領域を選択するための入力装置と、
各人物に応じて異なる、人物の顔の特徴を示す複数の基準顔情報データと、当該各基準顔情報データに対応付けられ、携帯端末機への通信先を特定するための複数の識別情報データと、当該各基準顔情報データに対応付けられ、前記音声に基づく照合用データと照合するための各人物に応じて異なる複数の被照合用データとが記憶されるメモリと、
前記携帯端末機と通信することが可能な通信装置と、
以下（ａ）〜（ｉ）の処理を実行するようにプログラムされたコントローラと
を備えたことを特徴とする個人識別通信システム。
（ａ）前記音声入力手段により入力された音声から、その音声に基づく照合用データを得る処理、
（ｂ）前記処理（ａ）において得られた照合用データと、前記メモリに記憶された複数の被照合用データとを照合し、該照合用データに対応する被照合用データを決定する処理、（ｃ）前記カメラによって撮像する処理、
（ｄ）前記カメラにより撮像されて得られる画像データから、人物の顔の特徴を示す取得顔情報データを取得する処理、
（ｅ）前記処理（ｄ）において取得された取得顔情報データと、前記処理（ｂ）において決定された被照合用データに対応する基準顔情報データとに基づいて、該基準顔情報データに対応する取得顔情報データを決定する処理、
（ｆ）複数の前記カメラのうちの、前記処理（ｅ）において決定された取得顔情報データを取得した画像データを得たカメラによる画像を前記特定表示手段に表示する処理、
（ｇ）前記処理（ｃ）において得られた画像データに基づく画像を前記表示装置に表示する処理、
（ｈ）前記入力装置からの入力に基づいて、前記表示装置により表示された画像のうちの所定の領域を選択する処理、
（ｉ）前記処理（ｈ）において選択された領域の画像を示す選択領域画像データから取得された取得顔情報データと、予め前記メモリに記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定する処理、及び、
（ｊ）前記処理（ｉ）において決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯端末機と前記通信装置を介して通信する処理。 - 複数のカメラと、音声を入力するための音声入力手段と、前記カメラにより撮像されて得られる画像データに基づく画像を表示することが可能な表示装置と、前記カメラによる画像を表示する特定表示手段と、前記表示装置により表示された画像のうちの所定の領域を選択するための入力装置と、各人物に応じて異なる、人物の顔の特徴を示す複数の基準顔情報データと、当該各基準顔情報データに対応付けられ、携帯端末機への通信先を特定するための複数の識別情報データと、当該各基準顔情報データに対応付けられ、前記音声に基づく照合用データと照合するための各人物に応じて異なる複数の被照合用データとが記憶されるメモリと、前記携帯端末機と通信することが可能な通信装置とを備えた個人識別通信システムにおいて実行されるプログラムであって、
前記音声入力手段により入力された音声から、その音声に基づく照合用データを得るステップと、
得られた照合用データと、前記メモリに記憶された複数の被照合用データとを照合し、該照合用データに対応する被照合用データを決定するステップと、
前記カメラによって撮像する撮像ステップと、
前記カメラにより撮像されて得られる画像データから、人物の顔の特徴を示す取得顔情報データを取得する取得ステップと、
取得された取得顔情報データと、決定された被照合用データに対応する基準顔情報データとに基づいて、該基準顔情報データに対応する取得顔情報データを決定するステップと、複数の前記カメラのうちの、決定された取得顔情報データを取得した画像データを得たカメラによる画像を前記特定表示手段に表示するステップと、
前記カメラによって得られた画像データに基づく画像を前記表示装置に表示する表示ステップと、
前記入力装置からの入力に基づいて、前記表示装置により表示された画像のうちの所定の領域を選択する選択ステップと、
前記入力装置によって選択された領域の画像を示す選択領域画像データから取得された取得顔情報データと、予め前記メモリに記憶された複数の基準顔情報データとに基づいて、当該取得顔情報データに対応する基準顔情報データを決定する決定ステップと、
前記決定ステップにおいて決定された基準顔情報データに対応付けられた識別情報データが割り当てられている携帯端末機と前記通信装置を介して通信する通信ステップと
をコンピュータに実行させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007151963A JP5185570B2 (ja) | 2007-06-07 | 2007-06-07 | 個人識別通信システム及び個人識別通信システムにおいて実行されるプログラム |
| US12/115,093 US20080304715A1 (en) | 2007-06-07 | 2008-05-05 | Individual-identifying communication system and program executed in individual-identifying communication system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007151963A JP5185570B2 (ja) | 2007-06-07 | 2007-06-07 | 個人識別通信システム及び個人識別通信システムにおいて実行されるプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008306487A JP2008306487A (ja) | 2008-12-18 |
| JP5185570B2 true JP5185570B2 (ja) | 2013-04-17 |
Family
ID=40095920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007151963A Expired - Fee Related JP5185570B2 (ja) | 2007-06-07 | 2007-06-07 | 個人識別通信システム及び個人識別通信システムにおいて実行されるプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20080304715A1 (ja) |
| JP (1) | JP5185570B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101672215B1 (ko) * | 2010-04-26 | 2016-11-04 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 방법 |
| US20140125456A1 (en) * | 2012-11-08 | 2014-05-08 | Honeywell International Inc. | Providing an identity |
| WO2014142880A1 (en) * | 2013-03-14 | 2014-09-18 | Intel Corporation | Dynamically implementing an image protection policy |
| JP6270325B2 (ja) * | 2013-03-15 | 2018-01-31 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
| US9406136B2 (en) * | 2013-07-05 | 2016-08-02 | Canon Kabushiki Kaisha | Information processing device, information processing method and storage medium for identifying communication counterpart based on image including person |
| US9367939B2 (en) * | 2013-10-22 | 2016-06-14 | Nokia Technologies Oy | Relevance based visual media item modification |
| CN105592261A (zh) * | 2014-11-04 | 2016-05-18 | 深圳富泰宏精密工业有限公司 | 辅助拍照系统及方法 |
| US10708152B2 (en) * | 2017-03-23 | 2020-07-07 | Cisco Technology, Inc. | Predicting application and network performance |
| US20210051228A1 (en) * | 2018-02-08 | 2021-02-18 | Nec Corporation | Telephone control system, telephone control method, and program |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5199044A (en) * | 1990-05-22 | 1993-03-30 | Tokimec Inc. | System for detecting position of object having data carrier |
| JPH08279841A (ja) * | 1995-04-05 | 1996-10-22 | Citizen Watch Co Ltd | 携帯電子装置およびその駆動方法 |
| FR2761181B1 (fr) * | 1997-03-19 | 1999-06-11 | Alcea | Systeme et procede de mise en surveillance de locaux |
| TWI282941B (en) * | 2001-03-15 | 2007-06-21 | Toshiba Corp | Entrance management apparatus and entrance management method by using face features identification |
| US6967947B1 (en) * | 2001-03-29 | 2005-11-22 | At&T Corp. | Method and system for providing controllable enhanced call service features at mobile locations |
| JP4150621B2 (ja) * | 2002-09-20 | 2008-09-17 | 富士通株式会社 | 折り畳み式携帯型無線機および当該無線機のシャーシ |
| JP2004139440A (ja) * | 2002-10-18 | 2004-05-13 | Matsushita Electric Ind Co Ltd | サービス提供システム及び、それに関する、装置または方法または記録媒体またはプログラム |
| WO2005045461A1 (en) * | 2003-10-16 | 2005-05-19 | Hill-Rom Services, Inc. | Universal communications, monitoring, tracking, and control system for a healthcare facility |
| US7471929B2 (en) * | 2004-01-20 | 2008-12-30 | Omron Corporation | Device and method for telephone countermeasure in using telephone during driving |
| JP4552632B2 (ja) * | 2004-12-03 | 2010-09-29 | 株式会社ニコン | 携帯機器 |
| BRPI0600472B1 (pt) * | 2006-02-06 | 2019-04-02 | Samara Nehmi Nagy | Sistema de rastreamento humano, animal ou de objetos |
| JP4555237B2 (ja) * | 2006-02-06 | 2010-09-29 | Ｎｅｃインフロンティア株式会社 | ボタン電話装置 |
| US20070268121A1 (en) * | 2006-05-18 | 2007-11-22 | Daryush Vasefi | On-line portal system and method for management of devices and services |
| JP4823135B2 (ja) * | 2006-05-22 | 2011-11-24 | ソニー・エリクソン・モバイルコミュニケーションズ株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、及び携帯端末装置 |
| EP2123008A4 (en) * | 2007-03-05 | 2011-03-16 | Tessera Tech Ireland Ltd | FACIAL CATEGORIZATION AND NOTE SYSTEM FOR A MOBILE PHONE CONTACT LIST |
-
2007
- 2007-06-07 JP JP2007151963A patent/JP5185570B2/ja not_active Expired - Fee Related
-
2008
- 2008-05-05 US US12/115,093 patent/US20080304715A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008306487A (ja) | 2008-12-18 |
| US20080304715A1 (en) | 2008-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5185570B2 (ja) | 個人識別通信システム及び個人識別通信システムにおいて実行されるプログラム | |
| KR100961286B1 (ko) | 휴대 정보 단말 장치 | |
| JP5522976B2 (ja) | 携帯端末機の画像情報活用方法 | |
| KR101203516B1 (ko) | 휴대용 단말기 및 그의 영상이미지 파일 관리방법 | |
| CN102902472A (zh) | 指令触发方法和系统以及用户推荐方法和系统 | |
| JP2005267146A (ja) | 画像認識機能を利用した電子メール作成方法および装置 | |
| JP4555237B2 (ja) | ボタン電話装置 | |
| KR101606134B1 (ko) | 휴대용 단말기에서 이미지 인식을 통하여 디바이스 연결을 수행하기 위한 장치 및 방법 | |
| CN106331293A (zh) | 来电信息处理方法及装置 | |
| JP6667628B2 (ja) | 生体認証装置、携帯端末装置、制御プログラム | |
| WO2017154136A1 (ja) | 携帯情報端末及びそれに用いる情報処理方法 | |
| KR100705164B1 (ko) | 휴대 단말기를 이용한 사용자 등록 시스템 및 방법 | |
| JP4856585B2 (ja) | 個人識別通信システム及び個人識別通信システムにおいて実行されるプログラム | |
| JP2007037088A (ja) | ドアホン装置 | |
| CN109040410A (zh) | 信息显示方法及装置 | |
| JP2007104382A (ja) | インターホン装置 | |
| JP2005123817A (ja) | 携帯通信端末 | |
| JP2010212787A (ja) | ドアホン装置、ドアホン装置における各手段として機能させるためのプログラム、ドアホンシステム及びドアホン装置の情報処理方法 | |
| KR101264797B1 (ko) | 휴대 단말기에서 얼굴인식을 통한 사진 검색 방법 | |
| CN111246016A (zh) | 处理来电请求的方法、终端及计算机存储介质 | |
| JP3834468B2 (ja) | 携帯電話機 | |
| KR102238939B1 (ko) | 무선단말을 이용한 초상권 보호 방법 | |
| JP7139839B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN109492365B (zh) | 指纹信息的标识方法及装置 | |
| JP2007096831A (ja) | インターホン装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100520 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100520 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20101001 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20101001 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20101015 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120710 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120823 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130118 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160125 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |