JP6733276B2 - インターホンシステム、このインターホンシステム用のインターホン及び携帯通信端末 - Google Patents

インターホンシステム、このインターホンシステム用のインターホン及び携帯通信端末 Download PDF

Info

Publication number
JP6733276B2
JP6733276B2 JP2016080535A JP2016080535A JP6733276B2 JP 6733276 B2 JP6733276 B2 JP 6733276B2 JP 2016080535 A JP2016080535 A JP 2016080535A JP 2016080535 A JP2016080535 A JP 2016080535A JP 6733276 B2 JP6733276 B2 JP 6733276B2
Authority
JP
Japan
Prior art keywords
unit
response
intercom
call
authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016080535A
Other languages
English (en)
Other versions
JP2017192035A (ja
Inventor
志帆 赤澤
志帆 赤澤
大石 浩
浩 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Inc filed Critical Toppan Inc
Priority to JP2016080535A priority Critical patent/JP6733276B2/ja
Publication of JP2017192035A publication Critical patent/JP2017192035A/ja
Application granted granted Critical
Publication of JP6733276B2 publication Critical patent/JP6733276B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、電気錠を備えるインターホンシステムに関する。
従来、携帯通信端末をインターホン親機の代わりに使用するインターホンシステムとして、例えば、特許文献1に記載の技術がある。この技術では、宅外に設置されたインターホン子機からの呼び出しに基づいて、ワイドエリアネットワーク(WAN)等の通信回線を介してインターホン子機を特定の携帯通信端末(例えば、居住者の携帯通信端末)との間で通話可能に接続する。このとき、携帯通信端末のスピーカ部から呼出音を鳴動させるとともに、インターホン子機のカメラ部で撮像された映像信号に基づく映像を携帯通信端末の表示部に表示させる。また、この接続状態で携帯通信端末の操作釦を押操作することで、インターホン親機の制御部を介して、電気錠からなる接続機器に玄関ドアを開錠させる。
特開2012−29242号公報
ところで、電気錠は、スマートホン等の携帯通信端末を持たない対象(例えば、小学生の子供)には使いにくい。また、子供に鍵や携帯通信端末を持たせた場合にこれらを紛失するリスクが生じる。そのため、子供には鍵や携帯通信端末を持たせずに、留守宅に子供が帰宅時は、例えば、外出先の親の携帯通信端末をインターホン親機の代わりとして用い子供の映像を見ながら子供との通話を行い、本人確認がとれたときに遠隔で玄関ドアの開錠を行う利用形態が望まれる。
しかしながら、上記利用形態を適用した場合に、例えば、外出先の同居者の両親等が電車やバスに乗っていたり会議中であったりするなど声を出しにくい環境下にいて、代替呼出に対して応答しにくいといった状況が発生する可能性がある。
本発明は、このような課題を解決するためになされたものであり、携帯通信端末をインターホン親機の代わりに使用して遠隔で開錠を行うことが可能なインターホンシステムにおいて、携帯通信端末の利用者が発話しにくい環境下で応答を行うのに好適なインターホンシステム、このインターホンシステム用のインターホン及び携帯通信端末を提供することを目的としている。
上記目的を達成するために、本発明の第1の形態に係るインターホンシステムは、インターホンと、サーバ装置と、代替呼出先として予め登録された携帯通信端末とを通信回線を介してそれぞれ互いにデータ通信可能に備える。
そして、前記インターホンは、来訪者の来訪を通知する呼出部を有するインターホン子機と、前記インターホン子機との間で通話を可能とするインターホン親機と、前記呼出部の呼出動作に応じて前記来訪者の動画像である第1の動画像を撮像する第1のカメラと、施錠信号及び開錠信号を受信したことに応じて玄関ドアの施錠及び開錠を行う電気錠装置と、前記呼出部の呼出動作に応じて、当該インターホンの識別情報を含む通知情報を、前記サーバ装置に送信する通知情報送信部と、前記第1のカメラで撮像して得られた前記第1の動画像を含む第1の動画像情報を、前記サーバ装置に送信する第1動画像情報送信部と、前記識別情報に対応する代替呼出先の前記携帯通信端末からの開錠許可情報を受信したことに応じて、前記電気錠装置に前記開錠信号を送信する電気錠制御部と、を備える。
さらに、前記サーバ装置は、前記通知情報を受信したことに応じて、該通知情報に含まれる前記識別情報に対応する代替呼出先の携帯通信端末に対して呼出通知を送信する呼出通知送信部と、前記携帯通信端末からの応答要求を受信したことに応じて、受信した前記第1の動画像情報に含まれている前記第1の動画像を含む第2の動画像情報を、前記応答要求の送信元の携帯通信端末に送信する第2動画像情報送信部と、前記応答要求を受信したことに応じて、該応答要求の送信元の携帯通信端末と前記インターホンとを、前記インターホン子機と前記送信元の携帯通信端末との間で通話可能に接続する通話接続部と、を備える。
さらに、前記携帯通信端末は、操作部と、画像を表示する第1表示部と、前記操作部を介した操作入力に基づき前記サーバ装置からの前記呼出通知に対して応答を行うか否かを指示する応答指示部と、前記応答指示部で応答を行う指示がされたことに応じて、応答要求を前記サーバ装置に送信する応答要求送信部と、受信した前記第2の動画像情報に含まれる前記第1の動画像を前記第1表示部に表示する第1動画像表示部と、前記サーバ装置を介して通話可能に接続された前記インターホン子機との間で発話した音声の入力による通話を可能とする音声通話部と、前記インターホン子機との間の通話時において、当該携帯通信端末に予め登録された定型文の音声メッセージによる応答を可能とする定型文応答部と、前記操作部を介した操作入力に基づき前記第1表示部に表示された前記第1の動画像の示す来訪者に対して開錠を許可するか否かを指示する開錠指示部と、前記開錠指示部で開錠を許可する指示がされたことに応じて、開錠許可情報を前記インターホンに送信する開錠許可情報送信部と、を備える。
一方、上記目的を達成するために、本発明の第2の形態に係るインターホンシステムは、インターホンと、代替呼出先として予め登録された携帯通信端末とを通信回線を介してそれぞれ互いにデータ通信可能に備える。
そして、前記インターホンは、来訪者の来訪を通知する呼出部を有するインターホン子機と、前記インターホン子機との間で通話を可能とするインターホン親機と、前記呼出部の呼出動作に応じて前記来訪者の動画像である第1の動画像を撮像する第1のカメラと、施錠信号及び開錠信号を受信したことに応じて玄関ドアの施錠及び開錠を行う電気錠装置と、前記呼出部の呼出動作に応じて、当該インターホンの識別情報を含む通知情報を、前記携帯通信端末に送信する通知情報送信部と、前記携帯通信端末からの応答要求を受信したことに応じて、前記第1のカメラで撮像して得られた前記第1の動画像を含む第1の動画像情報を、前記応答要求の送信元の前記携帯通信端末に送信する第1動画像情報送信部と、前記インターホン子機を、前記応答要求の送信元の携帯通信端末との間で通話可能に接続する第1通話接続部と、前記識別情報に対応する代替呼出先の前記携帯通信端末からの開錠許可情報を受信したことに応じて、前記電気錠装置に前記開錠信号を送信する電気錠制御部と、を備える。
さらに、前記携帯通信端末は、操作部と、画像を表示する第1表示部と、前記操作部を介した操作入力に基づき前記インターホンからの前記通知情報に対して応答を行うか否かを指示する応答指示部と、前記応答指示部で応答を行う指示がされたことに応じて、応答要求を前記インターホンに送信する応答要求送信部と、受信した前記第1の動画像情報に含まれる前記第1の動画像を前記第1表示部に表示する第1動画像表示部と、当該携帯通信端末を、前記通知情報の送信元のインターホンの備える前記インターホン子機との間で通話可能に接続する第2通話接続部と、前記第2通話接続部で通話可能に接続された前記インターホン子機との間で発話した音声の入力による通話を可能とする音声通話部と、前記インターホン子機との間の通話時において、当該携帯通信端末に予め登録された定型文の音声メッセージによる応答を可能とする定型文応答部と、前記操作部を介した操作入力に基づき前記第1表示部に表示された前記第1の動画像の示す来訪者に対して開錠を許可するか否かを指示する開錠指示部と、前記開錠指示部で開錠を許可する指示がされたことに応じて、開錠許可情報を前記インターホンに送信する開錠許可情報送信部と、を備える。
本発明によれば、インターホン子機を利用する来訪者と携帯通信端末を利用する登録者との間で、登録者は、予め登録された定型文の音声メッセージを用いた間接的な応答による通話を行うことが可能となる。これにより、例えば電車やバスに乗っているときなどの発話しにくい環境下において、発話することなく音声応答を行うことが可能となる。その結果、かかる環境下において代替呼出に対して気軽に応答を行うことが可能となる。
第1実施形態に係るインターホンシステムの全体構成を示すブロック図である。 第1実施形態に係るインターホンの具体的な構成を示すブロック図である。 第1実施形態に係るIP親機及びIP子機の具体的な構成を示すブロック図である。 (a)及び(b)は、第1実施形態に係る外部カメラ及び内部カメラの具体的な構成を示すブロック図である。 第1実施形態に係る第1制御装置の具体的な機能構成を示すブロック図である。 第1実施形態に係る認証サーバの具体的な構成を示すブロック図である。 第1実施形態に係る第2制御装置の具体的な機能構成を示すブロック図である。 第1実施形態に係る生体認証処理部の具体的な機能構成を示すブロック図である。 第1実施形態に係る携帯通信端末の具体的な構成を示すブロック図である。 第1実施形態に係る第3制御装置の具体的な機能構成を示すブロック図である。 第1実施形態に係るインターホンシステム1の全体の処理の流れの一例を示すシーケンス図である。 第1実施形態に係る通知情報送信処理の処理手順の一例を示すフローチャートである。 第1実施形態に係る声紋情報取得処理の処理手順の一例を示すフローチャートである。 第1実施形態に係る第2の動画通話処理の処理手順の一例を示すフローチャートである。 第1実施形態に係る遠隔開錠制御処理の処理手順の一例を示すフローチャートである。 第1実施形態に係る認証処理の処理手順の一例を示すフローチャートである。 第1実施形態に係る生体認証処理の処理手順の一例を示すフローチャートである。 第1実施形態に係る動画通話制御処理の処理手順の一例を示すフローチャートである。 第1実施形態に係る応答制御処理及び第4の動画通話処理の処理手順の一例を示すフローチャートである。 第1実施形態に係る定型文動画通話処理の処理手順の一例を示すフローチャートである。 第1実施形態に係る開錠許可データ送信処理の処理手順の一例を示すフローチャートである。 (a)及び(b)は、第1実施形態に係るインターホンシステムの動作を説明するための模式図である。 (a)及び(b)は、第1実施形態に係る定型文応答モードの動作を説明するための模式図である。 第1実施形態に係るインターホンシステムの動作を説明するための模式図である。 第2実施形態に係るインターホンシステムの全体構成を示すブロック図である。 第2実施形態に係る第1制御装置の具体的な機能構成を示すブロック図である。 第2実施形態に係る第3制御装置の具体的な機能構成を示すブロック図である。 第2実施形態に係る応答制御処理及び第4の動画通話処理の処理手順の一例を示すフローチャートである。
次に、図面に基づき、本発明の第1〜第2実施形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであり、寸法の関係や比率等は現実のものとは異なることに留意すべきである。
また、以下に示す第1〜第2実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
(第1実施形態)
(構成)
本発明の第1実施形態に係るインターホンシステム1は、図1に示すように、インターホン10_1〜10_n(nは1以上の自然数)と、認証サーバ20と、携帯通信端末30_1〜30_m(mは2以上の自然数)とを備える。
インターホン10_1〜10_nと、認証サーバ20と、携帯通信端末30_1〜30_mとは、基地局40_1〜40_p(pは1以上の自然数)とインターネット50とを介して、それぞれ相互にデータ通信可能に接続されている。
以下、区別する必要が無い場合に、インターホン10_1〜10_nを、単に「インターホン10」と記載する場合があり、携帯通信端末30_1〜30_mを、単に「携帯通信端末30」と記載する場合があり、基地局40_1〜40_pを、単に「基地局40」と記載する場合がある。
(インターホン10の具体的な構成)
インターホン10は、図2に示すように、インターホン親機11(以下、「IP親機11」と記載する場合がある)と、インターホン子機12(以下、「IP子機12」と記載する場合がある)とを備える。
インターホン10は、さらに、外部カメラ13と、電気錠装置14と、第1通信機15と、内部カメラ16とを備える。
ここで、第1実施形態では、IP親機11と、IP子機12、外部カメラ13、第1通信機15及び内部カメラ16とは相互にデータ送受信可能に有線で接続され、IP親機11と、電気錠装置14とは相互にデータ送受信可能に無線で接続されている。
IP親機11は、住宅500の宅内に設けられ、IP子機12との間で来訪者の動画像を見ながらの通話が可能に構成されている。さらに、IP親機11は、第1BT(Bluetooth(登録商標))通信機113(詳細は後述)を備え、電気錠装置14に対して施錠信号及び開錠信号を無線送信することによって、玄関ドア(図示略)の施錠及び開錠を行うことが可能に構成されている。
IP子機12は、住宅500の宅外における例えば玄関ドアの側部に設けられ、IP親機11との間で音声通話が可能に構成されている。
外部カメラ13は、住宅500の宅外における例えばIP子機12の上部に設けられ、来訪者の顔を含む動画像である第1の動画像を撮像する。なお、外部カメラ13は、玄関ドアやIP子機12に設ける構成としてもよい。また、外部カメラ13は、後述する顔認証を行うことと、顔認証の主な適用対象とを考慮して、例えば、背の低い子供の顔を正確に撮影するための子供用の低い位置に設けたカメラを別に設けるようにしてもよい。または、比較的広角を撮像できるカメラを、子供から大人まで対応できる位置に設けるようにしてもよい。
電気錠装置14は、住宅500の宅内における玄関ドアの例えばサムターン部に設けられ、携帯通信端末30やIP親機11から無線で送信される施錠信号及び開錠信号に基づき、モータ等のアクチュエータを備える機械機構部(不図示)にて玄関ドアの施錠及び開錠(サムターンの回動)を自動で行う。
第1通信機15は、住宅500の宅内に設けられ、例えば、光通信用のルータ及びモデムを備える。そして、これらルータ及びモデムによって、インターホン10と、認証サーバ20及び携帯通信端末30との間でインターネット50を介したデータの送受信を行う。
内部カメラ16は、住宅500の宅内における例えば玄関ドアやその上部に設けられ、玄関ドアを通過して宅内に入った来訪者の動画像である第2の動画像を撮像する。
(IP親機11及びIP子機12の具体的な構成)
IP親機11は、図3に示すように、送受話器110と、第1表示装置111と、第1制御装置112と、第1BT(Bluetooth)通信機113と、施開錠ボタン114と、第2スピーカ115とを備える。
また、IP子機12は、呼出ボタン120と、第3スピーカ121と、第2マイク122と、第2表示装置123とを備える。
送受話器110は、公知の電話機の受話器の構成を有し、第1スピーカ110aと、第1マイク110bとを備える。送受話器110は、非使用時(不通話状態時)に、不図示のフックボタンを押下した状態(オンフック状態)で保持される。そして、使用時に、宅内の利用者が送受話器110を持ち上げてフックボタンを開放した状態(オフフック状態)とすることで、通話可能な状態となるように構成されている。
この送受話器110は、オフフック状態において、宅内の通話者(以下、「宅内話者」と記載する場合がある)の音声を、第1マイク110bを介して電気信号に変換し、該電気信号からなる宅内話者の第1音声信号iVdを第1制御装置112に入力する。
さらに、送受話器110は、第1制御装置112からの宅外の来訪者(以下、「来訪話者」と記載する場合がある)の音声信号である第2音声信号oVdに基づき、第1スピーカ110aから来訪話者の音声である第2音声を出力する。
第1表示装置111は、例えば液晶ディスプレイから構成され、第1制御装置112からの動画像信号に基づき、外部カメラ13で撮像された来訪者の顔を含む第1の動画像や認証サーバ20から送られてきた動画像等の画像を表示する。
第1制御装置112は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、入出力回路、タイマ回路等を含むマイクロコントローラから構成される。
第1制御装置112は、各種入力信号に基づき、インターホン10を構成する各構成部の動作を制御する。なお、詳細な構成は後述する。
第1BT通信機113は、第1BTアンテナ113aを備え、Bluetoothの通信規格に準拠した無線送受信機である。
第1BT通信機113は、第1実施形態では、電気錠装置14や宅内の携帯通信端末30との間の無線通信を行うものである。
施開錠ボタン114は、施錠ボタン114aと開錠ボタン114bとを備える。施錠ボタン114a及び開錠ボタン114bは、それぞれ宅内の利用者に押下されることで、施錠指示信号Lki及び開錠指示信号ULkiを第1制御装置112に入力する。
第2スピーカ115は、第1制御装置112からのチャイム音信号Chmに基づき、チャイム音を出力する。
一方、IP子機12の呼出ボタン120は、来訪者が押下することで呼出信号BtnをIP親機11に送信する。
第3スピーカ121は、IP親機11から入力される宅内話者の音声信号である第1音声信号iVdに基づき宅内話者の第1音声を出力する。さらに、IP親機11から入力される、代替呼出先として予め設定された複数の登録者の利用する携帯通信端末30及びインターホン10のマイクに入力された登録者の音声信号である第3音声信号tVdに基づき登録者の第3音声を出力する。なおさらに、IP親機11から入力される、代替呼出先の携帯通信端末30から送信されてきた定型文音声信号fVdに基づき定型文音声を出力する。さらにまた、IP親機11から入力される予め登録された第5音声データpVdに基づき声紋情報取得用の音声案内メッセージを出力する。第5音声データpVdは、例えば、居住者の子供の保護者の音声を録音したデータから構成されていてもよいし、他人の音声や機械音声から構成されていてもよい。
ここで、上記複数の登録者は、代替呼出先としての役割から、インターホン10を利用している居住者の家族(携帯通信端末30を所持している者)と、この家族の親類(インターホン10及び携帯通信端末30の少なくとも一方を所持している者)など居住者の家族を見知っている者が望ましい。
すなわち、上記居住者の家族のうち、玄関ドアの鍵や携帯通信端末30を持たせたくない子供や老人などについて、これらの人物の顔を知っていてかつ居住者にとって信頼のおける人物が望ましい。なお、信頼のおける人物であれば親類に限らず登録者として設定してもよい。また、登録者は、居住者全員の顔を見知っている方が望ましい。
第2マイク122は、入力される来訪話者の音声を電気信号に変換し、該電気信号からなる来訪話者の音声信号である第2音声信号oVdをIP親機11に送信する。
第2表示装置123は、例えば液晶ディスプレイから構成され、予めROMなどに登録された居住者の親の画像など来訪者に対して応答をする際に使用する画像、声紋情報を取得する際に使用する画像、定型文の文字画像などを表示する。
(外部カメラ13及び内部カメラ16の具体的な構成)
外部カメラ13は、図4(a)に示すように、撮像部130と、画像コントローラ131と、通信回路132とを備える。
撮像部130は、図示省略するが、撮像レンズ、センサセルアレイ及びA/D変換器を備えたイメージセンサから構成され、被写体からの光を撮像レンズでセンサセルアレイに集光し、その集光量に応じた電荷をセンサセルアレイの各画素に蓄積させる。そして、各画素に蓄積された電荷群を電圧群に順次変換し、変換した電圧群からなるアナログの電圧信号をA/D変換器で順次デジタルの電圧信号に変換して、デジタルの画素信号として画像コントローラ131に入力する。
画像コントローラ131は、画像処理用のマイクロコントローラから構成され、CPU、RAM、ROM、入出力回路、タイマ回路等の他に、画像生成用のフレームメモリや、画像出力タイミングを制御するタイミング制御器等を備えている。
第1実施形態において、外部カメラ13は、IP子機12からの呼出信号Btnの入力に応じて撮像部130による撮像を開始し、IP親機11からの停止指令に応じて撮像を停止する。
撮像が開始されると、画像コントローラ131は、撮像部130からのデジタルの画素信号に基づき、来訪者の顔を撮像範囲に含む動画像データである第1の動画像データoMvを生成し、この第1の動画像データoMvを通信回路132に入力する。加えて、第1の動画像データoMvを形成する画像データに基づき来訪者の顔の予め設定された特徴点のデータである顔特徴点データChfを抽出し、抽出した顔特徴点データChfを通信回路132に入力する。
通信回路132は、画像コントローラ131から入力される第1の動画像データoMv及び顔特徴点データChfを、IP親機11に送信する。
一方、内部カメラ16は、図4(b)に示すように、撮像部160と、画像コントローラ161と、通信回路162とを備える。
ここで、撮像部160、画像コントローラ161及び通信回路162は、上記外部カメラ13の撮像部130、画像コントローラ131及び通信回路132と同様の構成を有する。
内部カメラ16は、IP親機11からの開錠通知データULknの入力に応じて撮像部160による撮像を開始し、IP親機11からの停止指令に応じて撮像を停止する。
撮像が開始されると、画像コントローラ161は、撮像部160からのデジタルの画素信号に基づき、玄関ドアを通過した来訪者を撮像範囲に含む動画像データである第2の動画像データiMvを生成し、この第2の動画像データiMvを、通信回路162を介してIP親機11に送信する。
(第1制御装置112の具体的な機能構成)
第1制御装置112は、機能構成部として、図5に示すように、施開錠制御部112aと、通知情報送信部112bと、開錠状況情報送信部112cと、第1動画通話処理部112dと、第1データ通信制御部112eと、第1開錠状況情報表示部112fと、声紋情報取得部112gとを備える。
また、第1制御装置112には、図5に示すように、呼出ボタン120からの呼出信号Btnと、第3スピーカ121からの第2音声信号oVdと、外部カメラ13からの第1の動画像データoMv及び顔特徴点データChfと、内部カメラ16からの第2の動画像データiMvとが入力される。
さらに、第1制御装置112には、第1スピーカ110aからの第1音声信号iVdと、施開錠ボタン114からの施錠指示信号Lki及び開錠指示信号ULkiと、認証サーバ20からの登録者の音声信号である第3音声信号tVdと、定型文の音声信号である定型文音声信号fVdと、定型文のテキストデータである定型文テキストデータfTdとが入力される。
なおさらに、第1制御装置112には、認証サーバ20からの、他の家に来訪した来訪者の動画像データである第3の動画像データaMv及びこの来訪者の音声信号である第4音声信号aVdと、携帯通信端末30又は他のインターホン10からの開錠許可信号ULkpが入力される。
なお、各種アナログの信号は、第1制御装置112の備える不図示のA/D変換器によってデジタルのデータ信号に変換される。
また、上記各信号の示すデータを、呼出データBtn、施錠指示データLki、開錠指示データULki、第1音声データiVd、第2音声データoVd、第3音声データtVd、第4音声データaVd、定型文音声データfVd及び開錠許可データULkpと記載する場合がある。
また、以下、第1の動画像データoMv及び第2音声データoVdの組を、「第1の動画音声データoMV」と記載する場合があり、第3の動画像データaMv及び第4音声データaVdの組を、「第2の動画音声データaMV」と記載する場合がある。
施開錠制御部112aは、施開錠ボタン114からの施錠指示データLkiの入力に応じて、施錠信号Lkを第1BT通信機113を介して電気錠装置14に送信する。さらに、施開錠ボタン114からの開錠指示データULkiの入力に応じて、開錠信号ULkを第1BT通信機113を介して電気錠装置14に送信する。なおさらに、第1データ通信制御部112eからの、他のインターホン10や携帯通信端末30から受信した開錠許可データULkpの入力に応じて、開錠信号ULkを第1BT通信機113を介して電気錠装置14に送信する。
さらにまた、施開錠制御部112aは、開錠許可データULkpの入力に対して、開錠信号ULkを第1BT通信機113を介して電気錠装置14に送信したことに応じて、開錠通知データULknを不図示の入出力回路を介して内部カメラ16に送信する。
通知情報送信部112bは、代替呼出モードが設定されている場合に、呼出データBtnの入力に応じて通知データNFを認証サーバ20に送信する処理を行う。ここで、代替呼出モードは、IP親機11によって設定されるモードである。第1実施形態では、不図示の代替呼出ボタンの押下等に応じて設定可能となっている。代替呼出モードは、居住者が家を留守にする際や、IP親機11による応答ができない状態のときに設定するものであり、後述する第2の動画通話処理の実行条件にもなっている。
具体的に、通知情報送信部112bには、呼出データBtnと、顔特徴点データChfとが入力される。通知情報送信部112bは、呼出データBtnの入力に応じて、予め設定されたインターホン10の識別情報ID1(後述)と、顔特徴点データChfとを含む通知データNFを生成する。
通知情報送信部112bは、生成した通知データNFを暗号化するとともに暗号化した通知データNFに電子署名を付与する。そして、暗号化後かつ電子署名を付与後の通知データNFを、第1データ通信制御部112eを介して、認証サーバ20に送信する。
ここで、上記暗号化には、例えば、公開鍵暗号方式、共通鍵暗号方式、またはこれら2つの方式を組み合わせた方式(SSL:Secure Sockets Layer)を用いる。
開錠状況情報送信部112cは、施開錠制御部112aからの開錠許可データULkpの入力に応じて、開錠許可データULkpに含まれる識別情報ID2(後述)に対応する登録者の情報と、開錠が行われたことを示す情報とを含む開錠状況データULiを生成する。そして、生成した開錠状況データULiを、第1データ通信制御部112e及び認証サーバ20を介して、開錠許可データULkpの送信元の他のインターホン10又は携帯通信端末30以外の、代替呼出先の他のインターホン10及び携帯通信端末30に対して送信する。
第1動画通話処理部112dは、各種入力データに基づき、各種動画通話処理を制御する機能と、呼出ボタン120の押下又は他家のインターホン10からの代替呼出の要請に応じてチャイム音を鳴らす機能とを有している。
第1動画通話処理部112dは、来訪者の呼出ボタン120の押下による呼出データBtnの入力に応じて、予めROM等のメモリに記憶されたチャイム音データに基づきチャイム音信号Chmを第2スピーカ115に出力する。さらに、第1動画通話処理部112dは、認証サーバ20からの呼出通知CR(後述)の受信に応じて、メモリに記憶されたチャイム音データに基づきチャイム音信号Chmを第2スピーカ115に出力する。これにより、第2スピーカ115からはチャイム音が出力される。
また、第1動画通話処理部112dは、IP親機11とIP子機12との間で、宅内の利用者が来訪者の動画を見ながらこの来訪者と通話を行うことを可能とする制御処理である第1の動画通話処理を行う。すなわち、第1の動画通話処理は、来訪者の呼出ボタン120の押下による呼び出しに対して、宅内の利用者が送受話器110による応答が可能なときの通話処理となる。
具体的に、第1の動画通話処理は、チャイム音による呼び出しに対して、宅内の利用者が送受話器110による応答(オフフック)を行うことで開始される。第1動画通話処理部112dは、第1の動画像データoMvに基づき、第1表示装置111に来訪者の動画像を表示し、第2音声信号oVdに基づき送受話器110の第1スピーカ110aから来訪者の第2音声を出力する。さらに、第1音声信号iVdをIP子機12に送信して第3スピーカ121から第1音声を出力する。これにより、宅内の居住者はIP親機11の送受話器110を用いて、第1表示装置111に表示された来訪者の動画像を見ながら来訪者との通話を行い、一方、来訪者はIP子機12の第3スピーカ121及び第2マイク122を用いて宅内の利用者との通話を行う。
さらに、第1動画通話処理部112dは、上記代替呼出モードが設定時に、IP子機12と予め設定された他家のインターホン10又は携帯通信端末30との間で、他家のインターホン10又は携帯通信端末30の利用者が来訪者の動画を見ながらこの来訪者と通話を行うことを可能とする制御処理である第2の動画通話処理を行う。すなわち、第2の動画通話処理は、来訪者の呼出ボタン120の押下による呼び出しに対して、例えば居住者が留守にしていて応答できないときの通話処理となる。ここで、第1実施形態では、携帯通信端末30だけでなく、他家のインターホン10によっても代わりに来訪者との動画通話を行うことが可能となっている。
具体的に、第2の動画通話処理は、インターホン10からの代替呼出の要請に応じて、代替呼出先の他家のインターホン10又は携帯通信端末30の利用者が応答操作を行うことに応じて開始される。第1動画通話処理部112dは、認証サーバ20からの通話接続情報TC(例えば、セッション確立用のデータ)に基づき、要請元のインターホン10と、代替呼出先のインターホン10又は携帯通信端末30とを、認証サーバ20を介して、要請元のインターホン10のIP子機12と代替呼出先のインターホン10のIP親機11又は携帯通信端末30との間で動画通話可能に接続する処理を行う。接続後は、外部カメラ13からの第1の動画像データoMvと、第2マイク122からの第2音声データoVdとを、認証サーバ20を介して接続先の他家のインターホン10又は携帯通信端末30に送信する。加えて、認証サーバ20からの第3音声データtVd又は定型文音声データfVdをIP子機12に送信して第3スピーカ121から第3音声又は定型文音声を出力する。また、認証サーバ20からの定型文テキストデータfTdに基づき第2表示装置123に定型文の文字画像を表示する。
これにより、代替呼出先のインターホン10又は携帯通信端末30の利用者は、その表示装置に表示された来訪者の動画像を見ながら来訪者との通話を行い、一方、来訪者は要請元のインターホン10のIP子機12の第3スピーカ121、第2マイク122及び第2表示装置123を用いて他家のインターホン10又は携帯通信端末30の利用者との通話を行うことが可能となる。また、後述する定型文応答モードにおいて、定型文テキストデータが送られて来た場合に、来訪者は、第2表示装置123に表示された定型文の文字画像を見ながら通話を行うことが可能となる。
さらに、第1動画通話処理部112dは、第2の動画通話処理において、施開錠制御部112aから開錠通知データULknが入力されると、これに応じて、内部カメラ16を作動し、内部カメラ16から送られてくる第2の動画像データiMvを、認証サーバ20を介して接続先の他家のインターホン10又は携帯通信端末30に送信する。
これにより、他家のインターホン10又は携帯通信端末30の表示部に、玄関ドアを通過した来訪者の動画像が表示され、他家のインターホン10又は携帯通信端末30の利用者は、開錠後に来訪者が無事に宅内に入ったことなどを確認することが可能となる。
なお、第1実施形態において、IP親機11は、第2の動画通話処理において、通話相手との通話が終了時に、停止指令を外部カメラ13及び内部カメラ16に送信する。
なおさらに、第1動画通話処理部112dは、IP親機11と予め設定された他のインターホン10のIP子機12との間で、宅内の利用者が他の家に来訪した来訪者(以下、「他家来訪者」と記載する場合がある)の動画を見ながらこの他家来訪者と通話を行うことを可能とする制御処理である第3の動画通話処理を行う。すなわち、第3の動画通話処理は、自己のインターホン10が他家の代替呼出先として登録されており、他家が留守のときに、他家のインターホン10から認証サーバ20を介して代替呼出を要請されて、その要請に応答した場合の通話処理となる。
具体的に、他家のインターホン10からの要請に応じたチャイム音による呼び出しに応じて、宅内の利用者がインターホン10の送受話器110による応答(オフフック)を行うことで開始される。
ここで、第1実施形態の第1動画通話処理部112dは、宅内の利用者(特に居住者)に代替呼出であることが解るように、例えば、チャイム音の種類を変えたり、第1表示装置111に、代替呼出であることを示す情報を表示したりする。
第1動画通話処理部112dは、認証サーバ20からの通話接続情報TCに基づき、要請元のインターホン10と代替呼出先の他家のインターホン10とを、認証サーバ20を介して、要請元のインターホン10のIP親機11と代替呼出先のインターホン10のIP子機12との間で通話が可能に接続する処理を行う。接続後は、認証サーバ20からの第2の動画音声データaMVに基づき、第1表示装置111に他家来訪者の動画像を表示し、送受話器110の第1スピーカ110aから他家来訪者の第4音声を出力する。加えて、送受話器110の第1マイク110bに入力された第1音声信号iVdを、認証サーバ20を介して接続先の他家のインターホン10に送信する。
ここで、第1実施形態の認証サーバ20は、この第1音声信号iVdを、登録者の音声信号である第3音声信号tVdとして取り扱い、第3音声信号tVdとして、接続先の他家のインターホン10に送信する。他家のインターホン10は、第3音声データtVdをIP子機12に送信して第3スピーカ121から第3音声を出力する。
さらに、第1動画通話処理部112dは、第3の動画通話処理において、他家来訪者に対して開錠を許可するか否かの選択を要請するメッセージを、要請元のインターホン10の第1表示装置111に表示する。第1動画通話処理部112dは、このメッセージの表示中に、宅内の利用者が開錠ボタン114bを押下することで、開錠許可データULkpを、認証サーバ20を介して他家のインターホン10に送信する。これにより、開錠許可データULkpが、認証サーバ20を介して接続先の他家のインターホン10に送信され、他家の玄関ドアを遠隔で開錠することが可能である。
第1データ通信制御部112eは、IP親機11の各構成部からの送信要求に基づき、第1通信機15を制御して、各構成部からのデータを指定された送信先へと送信する。さらに、第1通信機15を介して受信した、他のインターホン10、認証サーバ20及び携帯通信端末30からの各種データを、対応する各構成部へと入力する処理を行う。
第1開錠状況情報表示部112fは、代替呼出の要請元の他家のインターホン10からの開錠状況データULiに基づき、開錠を行った登録者の情報と、開錠が行われたことを示す情報とを含む開錠状況情報を第1表示装置111に表示する。
声紋情報取得部112gは、第1データ通信制御部112eから入力される、認証サーバ20からの声紋取得要求Vrに応じて、声紋認証用の声紋情報の取得処理(以下、「声紋情報取得処理」と記載する場合がある)を実行する。
具体的に、声紋情報取得処理は、声紋認証を行うための来訪者の声紋情報を取得するために、第2表示装置123に居住者の親の画像や、声紋情報の取得を行う案内メッセージなどを表示する。さらに、声紋情報取得部112gは、予めROMに登録された第5音声データpVdに基づき声紋情報取得用の音声案内メッセージを第3スピーカ121から出力する。この音声案内に対して、来訪者が発話をすると、第2マイク122を介して来訪者の声紋認証用の音声データを取得する。
声紋情報取得部112gは、取得した音声データから声紋の特徴点のデータである声紋特徴点データChvを抽出し、抽出した声紋特徴点データChvとインターホン10の識別情報とを含む認証用音声データVcを生成する。そして、生成した認証用音声データVcを、第1データ通信制御部112eを介して、認証サーバ20に送信する。
(認証サーバ20の具体的な構成)
認証サーバ20は、図6に示すように、第2通信機21と、第2制御装置22と、記憶装置23とを備える。
記憶装置23は、HDD(Hard Disk Drive)などの大容量の記憶装置から構成される。記憶装置23は、その記憶領域に、顧客情報データベース24と、生体情報データベース25とが構築されている。
以下、顧客情報データベース24は、「顧客情報DB24」と記載する場合があり、生体情報データベース25は、「生体情報DB25」と記載する場合がある。
第2通信機21は、例えば、上記第1通信機15と同様に、光通信用のルータ及びモデムを備える。そして、これらルータ及びモデムによって、認証サーバ20と、インターホン10及び携帯通信端末30との間でインターネット50を介したデータの送受信を行う。
第2制御装置22は、後述する各機能構成部の機能を、ソフトウェアを用いて実現するためのコンピュータシステムを備えている。かかるコンピュータシステムは、図示省略するが、CPUと、RAMと、ROMと、入出力回路と、タイマ回路と、各種内外バスとを含んで構成される。CPU、RAM、ROM、入出力回路およびタイマ回路は、各種内外バスを介して接続されており、これら接続デバイス間のデータの送受信を可能としている。
さらに、このコンピュータシステムは、入出力回路を介して、第2通信機21と、記憶装置23とが接続されている他、図示省略するが、液晶モニター等の出力装置、マウスやキーボード等の入力装置などが接続されている。
そして、電源を投入すると、ROMなどに記憶されたBIOSなどのシステムプログラムが、ROMに予め記憶された各種専用のコンピュータプログラム、あるいは、記憶装置23にインストールされた各種専用のコンピュータプログラムをRAMにロードする。そして、RAMにロードされたプログラムに記述された命令に従ってCPUが各種リソースを駆使して各種演算処理を行うことで後述する機能構成部の機能をソフトウェア上で実現できるようになっている。
顧客情報DB24は、インターホンシステム1を利用する利用者(顧客)の情報を記憶したデータベースである。具体的に、インターホン10の利用者の情報と、インターホン10の識別情報ID1と、この識別情報ID1と対応付けられた、代替呼出先の複数の登録者の情報と、これら複数の登録者の利用するインターホン10及び携帯通信端末30の識別情報ID2とを含む顧客情報を記憶している。ここで、識別情報ID1及びID2は、例えば、MACアドレスや、固定のIPアドレス、SIP(Session Initiation Protocol)アドレス、IMEI(International Mobile Equipment Identifier)などから構成される。
生体情報DB25は、同じ家や施設に居住するシステム利用者の顔特徴点データと、声紋特徴点データとを記憶したデータベースである。具体的に、居住者全員の顔特徴点データ及び声紋特徴点データ、居住者のうち鍵や携帯通信端末30を持たせたくない子供や老人等の被保護者の顔特徴点データ及び声紋特徴点データなどを記憶している。なお、顔特徴点データとしては、様々な顔の向きや表情の変化に対応した顔特徴点のデータが登録されている。
(第2制御装置22の具体的な機能構成)
第2制御装置22は、図7に示すように、データ復号部210と、ID認証部211と、生体認証処理部212と、呼出通知送信部213と、動画通話制御部214と、第2データ通信制御部215と、顧客情報設定部216とを備える。
データ復号部210は、第2データ通信制御部215を介して入力されるインターホン10及び携帯通信端末30からの暗号化された各種データのうち必要なデータについて元のデータへと復号化する。
さらに、復号化したデータからハッシュ関数を用いてメッセージダイジェストを生成し、また、受信したデータに付与されている電子署名を復号化する。
そして、上記復号化したデータから生成したメッセージダイジェストと、上記復号化した電子署名に含まれるメッセージダイジェストとが一致するか否かを判定することで、これらのデータの送信元の正当性を判定する。すなわち、一致する場合に、受信した情報が正当な送信者から送信されたデータであると判定し、一致しない場合に、不当な送信者から送信されたデータであると判定する。
データ復号部210は、復号化したデータが正当な送信者から送信されたデータであると判定した場合に、復号化したデータをID認証部211に出力する。
ID認証部211は、入力されたデータに含まれる識別情報ID1又はID2を、顧客情報DB24の登録データ(識別情報ID1_1〜n又は識別情報ID2_1〜q(qは2以上の自然数))と照合する。これにより、識別情報ID1又はID2が顧客情報DB24に登録された正規顧客又は正規登録者の識別情報であるか否かを判定する。そして、識別情報が認証されたデータを後段の対応する各機能構成部に入力する。
生体認証処理部212は、代替呼出先のインターホン10及び携帯通信端末30に対して予め設定されている認証レベルに基づき、設定された認証レベルに対応する認証処理を実施する。
具体的に、生体認証処理部212は、図8に示すように、顔認証処理部212aと、声紋取得要求送信部212bと、声紋認証処理部212cとを備える。
顔認証処理部212aは、ID認証部211から入力された通知データNFに含まれる来訪者の顔特徴点データChfに基づき顔認証処理を実施する。
具体的に、顔認証処理部212aは、顔特徴点データChfと、生体情報DB25に登録された、入力された通知データNFに含まれる識別情報ID1に対応する登録データ(顔特徴点データ)とを照合することで、来訪者の顔認証を行う。より具体的には、来訪者の顔特徴点データChfと、登録データとの一致度(%)が予め設定した一致度閾値以上(例えば、80%以上)となる場合に、来訪者が登録データの該当する人物として認証されたと判定する。一方、80%以上となる登録データが無かった場合に、来訪者は登録データの人物のいずれにも該当せず認証されなかったと判定する。
そして、生体認証処理部212は、顔認証処理の認証結果である顔認証結果FCRを、声紋取得要求送信部212bと呼出通知送信部213とに出力し、通知データNFを呼出通知送信部213に出力する。
声紋取得要求送信部212bは、顔認証結果が顔認証された結果であると判定した場合に、顧客情報DB24に予め登録された、通知データNFに含まれる識別情報ID1に対応する代替呼出先の携帯通信端末30それぞれの認証レベルの設定情報を参照する。
ここで、認証レベルは、生体認証処理部212で行う認証処理のセキュリティレベルを示すものである。第1実施形態では、認証レベル1及び2の2つのレベルが設定可能となっており、生体認証処理部212は、認証レベル1で顔認証処理を行い、認証レベル2で顔認証処理に加えて声紋認証処理を行うように構成されている。
なお、第1実施形態において、代替呼出先として登録されているインターホン10は、全てデフォルトの認証レベルである認証レベル1が設定されており、認証レベル2には設定できないようになっている。
声紋取得要求送信部212bは、認証レベルが2に設定されている携帯通信端末30が1つでもある場合、来訪者の声紋認証を行うために、声紋認証用の声紋特徴点データChvの取得要求である声紋取得要求Vrを、第2データ通信制御部215を介して識別情報ID1に対応する代替呼出の要請元のインターホン10に送信する処理を行う。
これにより、生体認証処理部212には、ID認証部211から、送信した声紋取得要求Vrに応じてインターホン10から送信されてきた来訪者の認証用音声データVc(ID認証済み)が入力される。
なお、声紋取得要求送信部212bは、認証レベルが2に設定されている携帯通信端末30が1つも無い場合は、声紋取得要求Vrの送信処理を実施せずに、その旨を呼出通知送信部213に通知する。
声紋認証処理部212cは、入力された認証用音声データVcに含まれる来訪者の声紋特徴点データChvと、生体情報DB25に登録された、入力された認証用音声データVcに含まれる識別情報ID1に対応する登録データ(声紋特徴点データ)とを照合する。これにより、来訪者の声紋認証を行う。具体的に、来訪者の声紋特徴点データChvと、登録データとの一致度(%)が予め設定した一致度閾値以上(例えば、80%以上)となる場合に、来訪者が登録データの該当する人物として認証されたと判定する。一方、80%以上となる登録データが無かった場合に、来訪者は登録データの人物のいずれにも該当せず認証されなかったと判定する。
声紋認証処理部212cは、声紋認証処理の認証結果である声紋認証結果VCRを、呼出通知送信部213に出力する。
図7に戻って、呼出通知送信部213は、認証結果と識別情報ID1とを含む呼出通知CRを、この識別情報ID1に対応する予め設定された代替呼出先の複数の登録者の複数のインターホン10及び携帯通信端末30に送信する処理を行う。
具体的に、第1実施形態の呼出通知送信部213は、顧客情報DB24に予め登録された、識別情報ID1に対応する代替呼出先のインターホン10及び携帯通信端末30それぞれの呼出通知CRの送信モードに基づき、呼出通知CRの送信処理を行う。送信モードの設定は、例えば、インターホン10や携帯通信端末30等の認証サーバ20とデータ通信可能に接続された端末から行う。
第1実施形態では、認証結果の内容にかかわらず呼出通知CRを送信する第1の送信モードと、認証レベルに応じた認証結果が、全て認証された結果である場合のみに呼出通知CRを送信する第2の送信モードとが用意されている。
以下、顔認証結果が、来訪者が顔認証された結果を示す場合に「顔認証OK」と記載する場合があり、来訪者が顔認証されなかった結果を示す場合に「顔認証NG」と記載する場合がある。さらに、声紋認証結果が、来訪者が声紋認証された結果を示す場合に「声紋認証OK」と記載する場合があり、来訪者が声紋認証されなかった結果を示す場合に「声紋認証NG」と記載する場合がある。
呼出通知送信部213は、認証レベルが1に設定され、かつ第1の送信モードが設定されている場合に、顔認証結果FCRの内容にかかわらず、入力された顔認証結果FCRと、入力された通知データNFに含まれる識別情報ID1とを含む呼出通知CRを生成する。さらに、生成した呼出通知CRに電子署名を付与し、電子署名を付与後の呼出通知CRを、第2データ通信制御部215を介して、識別情報ID1に対応する代替呼出先の複数のインターホン10及び携帯通信端末30のうち認証レベルが1及び第1の送信モードが設定されたインターホン10及び携帯通信端末30に向けて送信する。
また、呼出通知送信部213は、認証レベルが2に設定され、かつ第1の送信モードが設定されている場合に、顔認証結果FCR及び声紋認証結果VCRの内容にかかわらず、入力された顔認証結果FCR及び声紋認証結果VCRと、入力された通知データNFに含まれる識別情報ID1とを含む呼出通知CRを生成する。さらに、生成した呼出通知CRに電子署名を付与し、電子署名を付与後の呼出通知CRを、第2データ通信制御部215を介して、識別情報ID1に対応する代替呼出先の複数の携帯通信端末30のうち認証レベル2及び第1の送信モードが設定された携帯通信端末30に向けて送信する。
一方、呼出通知送信部213は、認証レベルが1に設定され、かつ第2の送信モードが設定されている場合に、顔認証結果FCRを確認して顔認証OKのときのみに、入力された顔認証結果FCRと、入力された通知データNFに含まれる識別情報ID1とを含む呼出通知CRを生成する。さらに、生成した呼出通知CRに電子署名を付与し、電子署名を付与後の呼出通知CRを、第2データ通信制御部215を介して、識別情報ID1に対応する代替呼出先の複数のインターホン10及び携帯通信端末30のうち認証レベル1及び第2の送信モードが設定されたインターホン10及び携帯通信端末30に向けて送信する。
また、呼出通知送信部213は、認証レベルが2に設定され、かつ第2の送信モードが設定されている場合に、顔認証結果FCR及び声紋認証結果VCRを確認して顔認証OKでかつ声紋認証OKのときのみに、入力された顔認証結果FCR及び声紋認証結果VCRと、入力された通知データNFに含まれる識別情報ID1とを含む呼出通知CRを生成する。さらに、生成した呼出通知CRに電子署名を付与し、電子署名を付与後の呼出通知CRを、第2データ通信制御部215を介して、識別情報ID1に対応する代替呼出先の複数の携帯通信端末30のうち認証レベル2及び第2の送信モードが設定された携帯通信端末30に向けて送信する。
すなわち、呼出通知CRによって、例えば居住者が留守のときなどの応答できない状態のときに来訪者が来訪したことを、代替呼出先として登録された複数のインターホン10及び携帯通信端末30に向けて通知する。
動画通話制御部214は、呼出通知CRの送信先のインターホン10又は携帯通信端末30からの応答要求Req(後述)の受信に応じて、通話接続制御処理を実行する。
具体的に、まず、呼出通知CRに含まれる識別情報ID1に対応するインターホン10に対して、応答要求Reqの送信元のインターホン10又は携帯通信端末30の識別情報ID2を含む応答通知Riを送信する。これにより、応答があったことを通知し、引き続き、応答要求Reqの送信元のインターホン10又は携帯通信端末30と、呼出通知CRに含まれる識別情報ID1に対応するインターホン10とを、両者の間で動画通話可能に接続する制御を行う。動画通話制御部214は、例えば、セッション制御プロトコルの1つであるSIPを用いて、両者の間で動画通話可能にセッションを確立する制御を行う。この場合、認証サーバ20は、SIPプロキシサーバとしての機能を有する。
動画通話制御部214は、動画通話可能に接続後は、識別情報ID1に対応する代替呼出の要請元のインターホン10からの第1の動画音声データoMV、第2の動画像データiMvを、第2データ通信制御部215を介して、接続先のインターホン10又は携帯通信端末30へと転送する。
さらに、動画通話制御部214は、動画通話可能に接続された代替呼出先のインターホン10又は携帯通信端末30からの第3音声データtVd、第2の動画音声データaMV、定型文音声データfVd、定型文テキストデータfTdを、第2データ通信制御部215を介して、要請元のインターホン10に転送する。
第2データ通信制御部215は、第2制御装置22の各構成部からの送信要求に基づき、第2通信機21を制御して、各構成部からの各種データを指定された送信先へと送信する。さらに、第2通信機21を介して受信した、インターホン10及び携帯通信端末30からの各種データを、データ復号部210に入力する処理を行う。
顧客情報設定部216は、インターネット50を介して、インターホン10や携帯通信端末30から送信されてきた設定指示データの設定指示に基づき、顧客情報DB24に登録されている各種設定情報の変更や新規登録等を行う。
第1実施形態では、携帯通信端末30の応答モードの設定、及び定型文応答モードを設定した場合の認証レベル、定型文音声モード及び定型文テキストモードの設定、呼出通知CRの送信モードの設定等を行う。具体的に、インターホン10及び携帯通信端末30から、インターネット50を介して送信されてきた各種設定情報の設定指示データに基づき登録されている各種設定情報の変更等を行う。
具体的に、携帯通信端末30の応答モードとしては、通常応答モードと、定型文応答モードとがあり、定型文応答モードを設定した場合に、定型文音声で応答する定型文音声モードと、定型文テキストで応答する定型文テキストモードとが設定可能となっている。さらに、定型文応答モードを設定した場合に、生体認証処理の認証レベルをデフォルトの1から2へと設定することが可能となっている。
ここで、通常応答モードは、携帯通信端末30の利用者が発話によるマイクへの音声入力によって、代替呼出の要請元のインターホン10のIP子機12との間で音声による直接的な応答が可能なモードである。
一方、定型文応答モードは、代替呼出の要請元のインターホン10のIP子機12との間で通話を行っているときに、携帯通信端末30の利用者が、携帯通信端末30に予め登録された定型文の定型文音声データfVdによる間接的な応答又は定型文テキストデータfTdによる間接的な応答が可能なモードである。
ここで、定型文応答モードは、例えば、携帯通信端末30の利用者が、電車やバスなどに乗車しており、代替呼出に対して応答したときに、来訪者との通話で、発話をせずに応答したい場合に切り替えて設定するモードである。また、認証レベルは、携帯通信端末30の利用者のおかれている状況に応じて、例えば余裕が無く応答を手早く済ませたい場合などに、誤った開錠を防ぐことを目的に通常よりもセキュリティレベルの高いレベル2に切り替えて設定できるようにしている。
(携帯通信端末30の具体的な構成)
携帯通信端末30は、図9に示すように、第3通信機31と、第3制御装置32と、第3マイク33と、第4スピーカ34と、タッチパネル式表示装置35と、第2BT通信機36とを備える。なお、携帯通信端末30は、携帯電話(フューチャーホン、スマートホン等)、タブレット端末、ノートPC等の利用者が携帯可能な通信機器から構成される。
第3通信機31は、図示省略するが、電波を受発信するアンテナと、変調処理を行う送信機と、復調処理を行う受信機とを備え、第3制御装置32から送られてきた送信用データを送信機で電波に乗せて(変調して)アンテナから発信する。アンテナから発信された電波は、基地局40で受信され、基地局40を介してインターネット50に送られ、インターネット50を介してインターホン10、認証サーバ20及び他の携帯通信端末30へと送信される。一方、インターホン10、認証サーバ20及び他の携帯通信端末30から送信されたデータは、インターネット50を介して基地局40に受信され、基地局40から電波に乗せられて発信される。この電波は、アンテナで受信され、受信された電波信号を復調器で復調してデータを取り出し、取り出したデータを第3制御装置32に入力する。
第3制御装置32は、CPU、RAM、ROM、入出力回路、タイマ回路等を含むマイクロコントローラから構成される。
第3制御装置32は、各種入力信号に基づき、携帯通信端末30を構成する各構成部の動作を制御する。なお、詳細な構成は後述する。
第3マイク33は、入力される利用者の音声を電気信号に変換し、該電気信号からなる利用者の音声信号である第3音声信号tVdを第3制御装置32に入力する。
第4スピーカ34は、第3制御装置32から入力される音声データに基づき、音声データに対応した音声を出力する。例えば、第2音声データoVdに基づき、来訪者の第2音声を出力する。
タッチパネル式表示装置35は、液晶ディスプレイの表示パネル部に、タッチ位置を検出するタッチパネルを組み込んだ表示装置である。
タッチパネル式表示装置35は、第3制御装置32からの指令に応じて各種画像の表示を行うとともに、利用者が表示パネル部の表示面(タッチ面)をタッチすることによってタッチパネルを介して検出されたタッチ位置情報を第3制御装置32に入力する。
これにより、利用者は、例えば、タッチパネル式表示装置35の表示パネル部に表示されたボタンや文字等の画像の表示位置をタッチすることで各種指示入力を行うことが可能となる。
第2BT通信機36は、第2BTアンテナ36aを備え、第1BT通信機113と同様に、Bluetoothの通信規格に準拠した無線送受信機である。
第2BT通信機36は、第1実施形態において、玄関ドアの施錠及び開錠を行うために、電気錠装置14との間の無線通信に用いられる。
(第3制御装置32の具体的な機能構成)
第3制御装置32は、その機能構成部として、図10に示すように、第3データ通信制御部320と、認証結果検証部321と、第2動画通話処理部322と、開錠許可情報送信部323と、第2開錠状況情報表示部324とを備える。第1実施形態において、これらの機能構成部の機能は、認証サーバ20からの呼出通知CRに応じて、第3制御装置32のCPUにて起動されるアプリケーションプログラムの実行によって実現される。
具体的に、第1実施形態の第3制御装置32は、認証サーバ20からの呼出通知CRを受信すると、例えば、代替呼出に係るアプリケーションプログラムを起動したり、バックグラウンドで待機状態にあるアプリケーションプログラムをアクティブ状態にしたりする。このとき、例えば、呼出音を鳴らしたり、バイブレーション機能によって振動を発生したりすることで、呼出通知CRを受信したことを利用者に報知する。
第3データ通信制御部320は、第3通信機31を介したデータの送受信を制御する機能を有する。さらに、暗号化されたデータついては復号化を行い、復号化したデータを対応する各構成部に入力する。
認証結果検証部321は、入力された呼出通知CRに付与された電子署名の正当性を判定する。そして、電子署名の正当性が認められると、認証レベルが1に設定されている場合は、入力された呼出通知CRに含まれる顔認証結果FCRに基づき、顔認証OKかNGかを判定する。さらに、この判定結果に基づき、顔認証OKの場合は、生体認証OKを第2動画通話処理部322に通知する。また、認証結果検証部321は、電子署名の正当性が認められなかった場合、又は顔認証NGだった場合に処理を終了する。
一方、認証結果検証部321は、認証レベルが2に設定されている場合、入力された呼出通知CRに含まれる顔認証結果FCR及び声紋認証結果VCRに基づき、顔認証OKかNGか、及び声紋認証OKかNGかを判定する。さらに、この判定結果に基づき、顔認証OKかつ声紋認証OKの場合は、生体認証OKを第2動画通話処理部322に通知する。また、認証結果検証部321は、電子署名の正当性が認められなかった場合、顔認証NG又は声紋認証NGの場合に処理を終了する。
なお、第1送信モードが設定されている場合に、日時と対応付けて顔認証結果FCR及び声紋認証結果VCRのログをとるようにしてもよい。これにより、顔認証NG又は声紋認証NGの来訪者があったことを後で確認することが可能となる。また、顔認証NG又は声紋認証NGのときに処理を終了する構成としたが、この構成に限らず、別途応答方法の設定によって、顔認証NG又は声紋認証NGの来訪者に対しても応答を行うことが可能な構成としてもよい。
第2動画通話処理部322は、生体認証OKの通知を受けると、タッチパネル式表示装置35に、呼出通知CR(代替呼出)に対して応答をするか否かを選択する応答選択画像を表示する。
ここで、第1実施形態では、タッチパネル式表示装置35のタッチパネルを介したタッチ入力によって、応答をするか否かを選択することが可能となっている。
第2動画通話処理部322は、応答すると選択された場合に、動画通話処理を行うべく応答要求Reqを、第3データ通信制御部320を介して、認証サーバ20に送信する。一方、応答しないと選択された場合に、応答要求Reqを送信せずに処理を終了する。
また、第2動画通話処理部322は、応答すると選択された場合に、その旨を示す応答選択通知を開錠許可情報送信部323に出力する。
第2動画通話処理部322は、応答要求Reqの送信に応じて認証サーバ20から送られてくる通話接続情報に基づき、認証サーバ20を介して、当該携帯通信端末30と、呼出通知CRに含まれる識別情報ID1に対応するインターホン10とを、両者の間で動画通話可能に接続する制御を行う。
具体的に、認証サーバ20を介して、インターホン10との間で例えばSIPメッセージ等の通話接続情報TCの送受信を行って、両者を動画通話可能に接続する制御を行う。
第2動画通話処理部322は、動画通話可能に接続後は、認証サーバ20を介して受信される接続先のインターホン10からの第1の動画音声データoMVに基づき、来訪者の第1の動画像をタッチパネル式表示装置35に表示するとともに、来訪者の第2音声を第4スピーカ34から出力する処理を行う。
さらに、第2動画通話処理部322は、通常応答モードが設定されているときに、第3マイク33を介した音声入力による直接的な応答を行う処理を実施する。具体的に、第3マイク33から入力される当該携帯通信端末30の利用者の音声信号である第3音声信号tVdに基づき、第3音声データtVdを、第3データ通信制御部320を介して認証サーバ20に送信する。これにより、認証サーバ20を介して、第3音声データtVdが接続先のインターホン10に送信される。以下、この動画通話処理を「通常動画通話処理」と記載する場合がある。
一方、第2動画通話処理部322は、定型文応答モードが設定されているときに、定型文音声データfVd又は定型文テキストデータfTdによる間接的な応答を行う処理を実施する。具体的に、定型文音声モードが設定されている場合に、タッチパネル式表示装置35に、第3制御装置32の備えるメモリ32aに予め記憶された複数種類の定型文音声メッセージの中から応答に用いる音声メッセージを選択する選択画面を表示する。
そして、第2動画通話処理部322は、携帯通信端末30の利用者が、タッチパネルを介したタッチ入力によって、所望の音声メッセージを選択することで、選択された音声メッセージに対応する定型文音声データfVdを、第3データ通信制御部320を介して認証サーバ20に送信する。これにより、認証サーバ20を介して、定型文音声データfVdが接続先のインターホン10に送信され、そのIP子機12の第3スピーカ121から定型文音声データfVdに対応した定型文音声が出力される。
これにより、携帯通信端末30の利用者は、タッチパネル式表示装置35に表示された来訪者の動画像を見ながら、発話することなく来訪者に対して音声による応答を行うことが可能となる。
一方、定型文テキストモードが設定されている場合に、タッチパネル式表示装置35に、第3制御装置32の備えるメモリ32aに予め記憶された定型文の音声テキストの中から応答に用いる音声テキストを選択する選択画面を表示する。第1実施形態では、定型文音声モードが設定されている場合と同じ選択画面を表示する。
そして、第2動画通話処理部322は、携帯通信端末30の利用者が、タッチパネルを介したタッチ入力によって、所望の音声テキストを選択することで、選択された音声テキストに対応する定型文テキストデータfTdを、第3データ通信制御部320を介して認証サーバ20に送信する。これにより、認証サーバ20を介して、定型文テキストデータfTdが接続先のインターホン10に送信され、そのIP子機12の第2表示装置123に、定型文テキストデータfTdに対応する定型文の文字画像が表示される。
これにより、携帯通信端末30の利用者は、タッチパネル式表示装置35に表示された来訪者の動画像を見ながら、発話することなく来訪者に対して定型文の文字表示による応答を行うことが可能となる。
また、第1実施形態ではミュートの設定が可能となっており、ミュートが設定されている場合は、携帯通信端末30の第4スピーカ34から来訪者の第2音声の出力を行わないようになっている。
以下、この動画通話処理を「定型文動画通話処理」と記載する場合がある。また、通常動画通話処理及び定型文動画通話処理を設定モードに応じて選択的に行う処理を「第4の動画通話処理」と記載する場合がある。
なおさらに、第2動画通話処理部322は、認証サーバ20を介して受信される接続先のインターホン10からの第3の動画音声データiMVに基づき、玄関ドアを通過後の来訪者の第2の動画像をタッチパネル式表示装置35に表示する処理を行う。
なお、第2動画通話処理部322は、通話接続中は、タッチパネル式表示装置35に、切断ボタン画像を常時表示し、切断ボタン画像がタッチされたことに応じて、インターホン10との接続を切断する処理を行う。
開錠許可情報送信部323は、第2動画通話処理部322からの応答選択通知に応じて、タッチパネル式表示装置35に、開錠を許可するか否かを選択する開錠選択画像を表示する。
すなわち、第1実施形態では、タッチパネル式表示装置35のタッチパネルを介したタッチ入力によって、開錠を許可するか否かを選択することが可能となっている。
なお、第1実施形態の第2動画通話処理部322は、開錠許可情報送信部323からの開錠不許可通知に応じて、インターホン10との通話接続状態を切断する処理を行う。
開錠許可情報送信部323は、開錠を許可すると選択された場合に、電子署名を付与した開錠許可データULkpを、第3データ通信制御部320を介して、認証サーバ20に送信する。一方、開錠を許可しないと選択された場合に、その旨を示す開錠不許可通知を第2動画通話処理部322に通知する。
第2開錠状況情報表示部324は、インターホン10からの開錠状況データULiに基づき、開錠を行った登録者の情報と、開錠が行われたことを示す情報とを含む開錠状況情報をタッチパネル式表示装置35に表示する。
登録情報設定部325は、タッチパネルを介したタッチ操作入力に基づき、認証サーバ20の顧客情報DB24に対して、各種設定情報の設定指示を行う。
第1実施形態では、応答モードの設定指示、及び定型文応答モードを設定した場合の認証レベル、定型文音声モード及び定型文テキストモードの設定指示、呼出通知の送信モードの設定指示等を行うことが可能となっている。
具体的に、登録情報設定部325は、例えば、専用のアプリケーションプログラムを起動して、タッチパネルを介したタッチ操作によりタッチパネル式表示装置35に、登録情報の設定画面を表示する。これにより、携帯通信端末30の利用者は、タッチパネルを介したタッチ操作によって各種設定指示の入力を行うことが可能となる。
利用者は、応答モードとして通常応答モードと定型文応答モードとを任意に切り替えて設定することが可能となっており、定型文応答モードを設定指示した場合に、認証レベルを1か2に任意に切り替えて設定指示することが可能となっている。さらに、定型文応答モードを設定指示した場合に、定型文音声モードと定型文テキストモードとを任意に切り替えて設定指示することが可能となっている。
そして、設定指示の入力後は、例えば、設定画面に表示された決定ボタンを押下(タッチ)することで、入力された各種設定指示データが、第3データ通信制御部320を介して認証サーバ20に送信される。なお、設定指示した内容は、メモリ32aにも記憶される。また、この構成に限らず、専用のWebページにアクセスして、設定指示を行う構成としてもよい。
(インターホンシステム1の全体の処理の流れ)
次に、図11に基づき、第1の送信モード及び定型文応答モード(認証レベル2)が設定された携帯通信端末30との間で第2の動画通話処理及び定型文動画通話処理を行う場合のインターホンシステム1の全体の処理の大まかな流れを説明する。
図11に示すように、まず、来訪者がIP子機12の呼出ボタン120を押下すると呼出データBtnがIP親機11及び外部カメラ13に送信される(S1000)。外部カメラ13は、呼出データBtnの入力に応じて、来訪者の動画像である第1動画像の撮像を開始する。さらに、外部カメラ13は、第1動画像に含まれる来訪者の顔を含む画像データから顔特徴点を抽出し、抽出した顔特徴点データChfと、撮像した第1の動画像データoMvとを、IP親機11に送信する(S1002)。
IP親機11は、呼出データBtnを受信したことに応じて、外部カメラ13からの顔特徴点データChfを取得し、取得した顔特徴点データChfと、インターホン10の識別情報とを含む通知データNFを生成する(S1004)。そして、IP親機11は、生成した通知データNFを認証サーバ20に送信する(S1006)。
認証サーバ20は、通知データNFを受信すると、データの復号化処理、電子署名の検証処理及び識別情報ID1の認証処理を行う。そして、通知データNFに問題がない場合は、顔特徴点データChfに基づき、顔認証処理を行う。顔認証結果が顔認証OKの場合、認証サーバ20は、通知データNFに含まれる識別情報ID1に対応する代替呼出先の携帯通信端末30の認証レベルの設定レベルの確認を行う。そして、設定レベルが2となっている携帯通信端末30がある場合に、声紋取得要求Vrをインターホン10に送信する(S1007)。すなわち、認証レベルが2に設定されている場合、定型文応答モードが設定されていることになる。
インターホン10は、声紋取得要求Vrを受信すると、声紋情報取得処理を実行して来訪者の声紋特徴点データChvを取得し、声紋特徴点データChvと自己の識別情報ID1とを含む認証用音声データVcを認証サーバ20に送信する(S1008)。
認証サーバ20は、認証用音声データVcを受信すると、データの復号化処理、電子署名の検証処理及び識別情報ID1の認証処理を行う。そして、認証用音声データVcに問題がない場合は、声紋特徴点データChvに基づき、声紋認証処理を行う。そして、認証サーバ20は、顔認証結果FCR及び声紋認証結果VCRを含む呼出通知CRを、通知データNFに含まれる識別情報ID1に対応する代替呼出先の複数の携帯通信端末30のうち認証レベルが2に設定されている携帯通信端末30に送信する(S1010)。例えば、インターホンシステム1を利用する居住者が家を留守にして発話しにくい環境下に行く予定があり、予め定型文応答モードに設定しかつ認証レベルを2に設定しているような場合に、この居住者の携帯通信端末30には、声紋認証結果VCRを含む呼出通知CRが送信される。
認証レベルが2に設定された携帯通信端末30は、認証サーバ20からの呼出通知CRを受信すると、専用のアプリケーションプログラムを起動し、呼出通知CRに含まれる顔認証結果FCR及び声紋認証結果VCRに基づきこれらの検証処理を行う。この検証結果が顔認証OKかつ声紋認証OKの場合に、応答を行うか否かを選択する応答選択画像を表示装置に表示する(S1011)。そして、利用者のタッチ操作によって応答が選択されたことに応じて、応答要求Reqを認証サーバ20に送信する(S1012)。
認証サーバ20は、応答要求Reqの受信に応じて、代替呼出の要請元のインターホン10と、応答要求の送信元のインターホン10又は携帯通信端末30との間の通話接続処理を制御し、両者を動画通話可能に接続する。これにより、要請元のインターホン10と、接続先の携帯通信端末30とは、認証サーバ20を介して、動画通話が可能な状態となる(S1014)。
その後、認証サーバ20の動画通話制御処理を介して、インターホン10は第2の動画通話処理を実行し、携帯通信端末30は定型文動画通話処理を実行する。これにより、IP子機12の第2マイク122を介して来訪者の第2音声がIP親機11に入力され第2音声データoVdが携帯通信端末30に送信される。一方、定型文応答モードが設定されているため、携帯通信端末30からは、定型文音声データfVd又は定型文テキストデータfTdがインターホン10に送信される。
一方、接続先の携帯通信端末30では、応答選択がなされたことに応じて、動画通話処理中に、開錠選択画像が表示装置に表示される(S1016)。そして、利用者のタッチ操作によって開錠許可が選択されたことに応じて、開錠許可データULkpが認証サーバ20を介して、要請元のインターホン10に送信される(S1018〜S1020)。
要請元のインターホン10は、接続先の携帯通信端末30からの開錠許可データULkpを受信すると、このデータに付与された電子署名を検証し、検証OKの場合に電気錠装置14に開錠信号ULkを送信して、玄関ドアを開錠する(S1022)。要請元のインターホン10は、さらに、開錠許可データULkpに含まれる識別情報ID2に対応する登録者の情報及び開錠されたことを示す情報を含む開錠状況データULiを、認証サーバ20を介して、開錠許可データULkpの送信元以外の代替呼出先として登録された複数の登録者の複数のインターホン10及び携帯通信端末30に送信する(S1024)。これにより、開錠状況データULiを受信したインターホン10及び携帯通信端末30は、受信した開錠状況データULiに基づき開錠状況情報を表示装置に表示する。
さらに、要請元のインターホン10は、玄関ドアの開錠が行われたことに応じて、内部カメラ16による玄関ドアを通過した後の来訪者の撮像を開始する。そして、この撮像によって得られた来訪者の第2の動画像データiMvを、認証サーバ20を介して接続先の携帯通信端末30に送信する(S1026〜S1028)。
(通知情報送信処理)
次に、図12に基づき、上記ステップS1004の通知情報送信処理の処理手順を説明する。
インターホン10の第1制御装置112において制御プログラムが実行され、通知情報送信処理が開始されると、図12に示すように、まず、ステップS100に移行する。
ステップS100では、通知情報送信部112bにおいて、呼出データBtnが入力されたか否かを判定し、入力されたと判定した場合(Yes)は、ステップS102に移行し、そうでないと判定した場合(No)は、呼出データBtnが入力されるまで判定処理を繰り返す。
ステップS102に移行した場合は、通知情報送信部112bにおいて、外部カメラ13から入力される顔特徴点データChfを取得して、ステップS104に移行する。
ステップS104では、通知情報送信部112bにおいて、顔特徴点データChfと、予めROM等のメモリに記憶されたインターホン10の識別情報ID1とを含む通知データNFを生成する。そして、生成した通知データNFを暗号化するとともに暗号化した通知データNFに電子署名を付与して、ステップS106に移行する。
ステップS106では、通知情報送信部112bにおいて、第1データ通信制御部112eを介して、暗号化後かつ電子署名を付与後の通知データNFを、認証サーバ20に送信し、一連の処理を終了する。
(声紋情報取得処理)
次に、図13に基づき、上記ステップS1008において、インターホン10で行われる声紋情報取得処理の処理手順を説明する。
インターホン10の第1制御装置112において制御プログラムが実行され、声紋情報取得処理が開始されると、図13に示すように、まず、ステップS130に移行する。
ステップS130では、声紋情報取得部112gにおいて、認証サーバ20からの声紋取得要求Vrを受信したか否かを判定し、受信したと判定した場合(Yes)は、ステップS132に移行し、そうでないと判定した場合(No)は、受信するまで判定処理を繰り返す。
ステップS132に移行した場合は、声紋情報取得部112gにおいて、声紋情報取得処理を実行して、来訪者の声紋情報を取得する。その後、ステップS134に移行する。
ここで、声紋情報取得処理は、来訪者の声紋情報を取得する処理である。例えば、第2表示装置123に、居住者の動画像又は静止画像、声紋情報取得用のメッセージ等を表示し、第3スピーカ121から予め登録しておいた声紋情報取得用の音声メッセージを再生出力することで行われる処理となる。例えば、「どちらさまですか?」といった音声メッセージなど、相手に発声をうながす音声メッセージを再生する。
ステップS134では、声紋情報取得部112gにおいて、第2マイク122を介して入力される来訪者の音声データを取得する。そして、必要な時間長の音声データを取得したか否かを判定し、取得したと判定した場合(Yes)は、ステップS136に移行し、そうでないと判定した場合(No)は、ステップS134に移行する。
例えば、予め設定した録音時間が経過した場合に、音声情報を取得したと判定する。この構成に限らず、IP子機12に操作ボタンを設けたり、第2表示装置123をタッチパネル式の表示装置として構成したりして、来訪者が発声後に音声入力を終了したことをボタン操作又はタッチ操作によって入力することで音声データを取得したと判定してもよい。
ステップS135に移行した場合は、声紋情報取得部112gにおいて、取得した音声データから声紋特徴点データChvを抽出して、ステップS136に移行する。
ステップS136では、声紋情報取得部112gにおいて、抽出した声紋特徴点データChv及びインターホン10の識別情報ID1を含む認証用音声データVcを生成する。さらに、生成した認証用音声データを暗号化し、かつ電子署名を付与する。その後、ステップS138に移行する。
ステップS138では、声紋情報取得部112gにおいて、第1データ通信制御部112eを介して、暗号化後かつ電子署名付与後の認証用音声データVcを、認証サーバ20に送信して、一連の処理を終了する。
(第2動画通話処理)
次に、図14に基づき、上記ステップS1014において、インターホン10で行われる第2の動画通話処理の処理手順を説明する。
インターホン10の第1制御装置112において制御プログラムが実行され、第2の動画通話処理が開始されると、図14に示すように、まず、ステップS150に移行する。
ステップS150では、第1動画通話処理部112dにおいて、認証サーバ20からの応答通知Riを受信したか否かを判定し、受信したと判定した場合(Yes)は、ステップS152に移行し、そうでないと判定した場合(No)は、処理を終了する。
ステップS152に移行した場合は、第1動画通話処理部112dにおいて、受信した応答通知Riに基づき通話接続処理を実行する。これにより、インターホン10と、応答通知Riに含まれる識別情報ID2に対応するインターホン10又は携帯通信端末30とを認証サーバ20を介して動画通話可能に接続する。その後、ステップS154に移行する。
ステップS154では、第1動画通話処理部112dにおいて、IP子機12と、接続先のインターホン10又は携帯通信端末30との間で動画通話を行う第2の動画通話処理を開始して、ステップS156に移行する。
具体的に、第1動画通話処理部112dは、IP子機12の第2マイク122を介して得られる来訪者の第2音声データoVdと、外部カメラ13で撮像して得られる来訪者の第1の動画像データoMvとを、認証サーバ20を介して、接続先のインターホン10又は携帯通信端末30に送信する処理を行う。加えて、認証サーバ20を介して送られてくる接続先のインターホン10又は携帯通信端末30の利用者の第3音声データtVd又は定型文音声データfVdに基づき、利用者が実際に話した第3音声又は定型文として用意された定型文音声をIP子機12の第3スピーカ121から出力する処理を行う。また、認証サーバ20を介して送られてくる接続先の携帯通信端末30からの定型文テキストデータに基づき、定型文の文字画像を第2表示装置123に表示する処理を行う。
ステップS156では、第1動画通話処理部112dにおいて、施開錠制御部112aから開錠通知データULknが入力されたか否かを判定し、入力されたと判定した場合(Yes)は、ステップS158に移行し、そうでないと判定した場合(No)は、ステップS154に移行する。
ステップS158に移行した場合は、第1動画通話処理部112dにおいて、内部カメラ16から送信されてくる第2の動画像データiMvを、認証サーバ20を介して、接続先のインターホン10又は携帯通信端末30に送信する処理を行う。その後、ステップS160に移行する。
ステップS160では、第1動画通話処理部112dにおいて、接続先のインターホン10又は携帯通信端末30からの切断要求によって、通話が終了したか否かを判定する。そして、終了したと判定した場合(Yes)は、停止指令を内部カメラ16に送信して、一連の処理を終了し、そうでないと判定した場合(No)は、ステップS158に移行する。
すなわち、接続先との通話が切断されるまで、接続先のインターホン10又は携帯通信端末30に第2の動画像データiMvを送信する。
(遠隔開錠制御処理)
次に、図15に基づき、上記ステップS1022において、インターホン10で行われる遠隔開錠制御処理の処理手順を説明する。遠隔開錠制御処理は、動画通話処理中に割り込みで行われる処理となる。
インターホン10の第1制御装置112において制御プログラムが実行され、遠隔開錠制御処理が開始されると、図15に示すように、まず、ステップS170に移行する。
ステップS170では、施開錠制御部112aにおいて、認証サーバ20を介して、接続先のインターホン10又は携帯通信端末30からの開錠許可データULkpを受信したか否かを判定する。そして、受信したと判定した場合(Yes)は、ステップS172に移行し、そうでないと判定した場合(No)は、元の処理に復帰する。
ステップS172に移行した場合は、施開錠制御部112aにおいて、開錠許可データULkpに付与された電子署名を検証して、ステップS174に移行する。
具体的に、開錠許可データULkpが暗号化されている場合は復号化し、復号化したデータからハッシュ関数を用いてメッセージダイジェストを生成し、このメッセージダイジェストと復号化した電子署名に含まれるメッセージダイジェストとを比較する。
ステップS174に移行した場合は、施開錠制御部112aにおいて、ステップS172の検証結果に基づき、電子署名が正当なものか否かを判定し、正当なものであると判定した場合(Yes)は、ステップS176に移行し、そうでないと判定した場合(No)は、一連の処理を終了し、元の処理に復帰する。
すなわち、メッセージダイジェストの比較結果が、両者が一致している結果の場合に、開錠許可データULkpが正当な送信者からのデータであると判定し、一致していない場合に不当な送信者からのデータであると判定する。
ステップS176に移行した場合は、施開錠制御部112aにおいて、開錠信号ULkを電気錠装置14に送信して、ステップS178に移行する。これにより、電気錠装置14に玄関ドアを開錠させる。
ステップS178では、施開錠制御部112aにおいて、開錠許可データULkpに含まれる識別情報ID2に基づき、この識別情報ID2に対応する登録者の情報と、玄関ドアを開錠したことを示す情報とを含む開錠状況データULiを生成する。そして、生成した開錠状況データULiを、認証サーバ20を介して、代替呼出先として登録された識別情報ID2の(遠隔開錠を行った)登録者以外の他の登録者のインターホン10及び携帯通信端末30に送信する。その後、ステップS180に移行する。
ステップS180では、施開錠制御部112aにおいて、開錠通知データULknを、第1動画通話処理部112dに出力するとともに、内部カメラ16に送信して、一連の処理を終了し元の処理に復帰する。
(認証処理)
次に、図16に基づき、上記ステップS1008において、認証サーバ20で行われる認証処理の処理手順を説明する。
認証サーバ20の第2制御装置22において制御プログラムが実行され、認証処理が開始されると、図16に示すように、まず、ステップS200に移行する。
ステップS200では、データ復号部210において、第2データ通信制御部215を介して、通知データNFを受信したか否かを判定し、受信したと判定した場合(Yes)は、ステップS202に移行し、そうでないと判定した場合(No)は、処理を終了する。
ステップS202に移行した場合は、データ復号部210において、暗号化された通知データNFを復号化する。加えて、通知データNFに付与された電子署名を復号化して、電子署名の検証を行う。その後、ステップS203に移行する。
ステップS203では、データ復号部210において、電子署名が正当な送信者からのものか否かを判定する。そして、正当な送信者からのものである(署名OK)と判定された場合(Yes)は、復号化した通知データNFをID認証部211に入力して、ステップS204に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。
ステップS204では、ID認証部211において、入力された通知データNFに含まれる識別情報ID1の認証処理を行う。その後、ステップS206に移行する。
具体的に、通知データNFに含まれる識別情報ID1を、顧客情報DB24に登録された識別情報と照合して、該当するものがあるか否かを判定することで、識別情報ID1の認証処理を行う。
ステップS206では、ID認証部211において、ステップS204の認証処理結果に基づき、識別情報ID1が認証されたか否かを判定する。そして、認証されたと判定した場合(Yes)は、通知データNFを生体認証処理部212に入力して、ステップS208に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。
ステップS208に移行した場合は、設定された認証レベルに応じた生体認証処理を実行する。そして、生体認証結果を呼出通知送信部213に入力して、ステップS210に移行する。
ステップS210では、呼出通知CRの送信モードが第1送信モードに設定されているか否かを判定し、設定されていると判定した場合(Yes)は、ステップS212に移行し、そうでないと判定した場合(No)は、ステップS216に移行する。
ステップS212に移行した場合は、呼出通知送信部213において、入力された通知データNFに含まれる識別情報ID1と、入力された生体認証結果とを含む呼出通知CRを生成して、ステップS218に移行する。
具体的に、認証レベルが1に設定されているインターホン10及び携帯通信端末30に対しては顔認証結果FCRを含む呼出通知CRを生成し、認証レベルが2に設定されている携帯通信端末30に対しては、顔認証結果FCR及び声紋認証結果VCRを含む呼出通知CRを生成する。
一方、ステップS210において、第2送信モードが設定されていてステップS214に移行した場合は、呼出通知送信部213において、認証レベル1に設定されている場合は顔認証OKか否かを、認証レベルが2に設定されている場合は顔認証及び声紋認証OKか否かを判定することで生体認証OKか否かを判定する。そして、生体認証OKであると判定した場合(Yes)は、ステップS216に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。
ステップS216に移行した場合は、顔認証OKの顔認証結果FCR、又は顔認証OK及び声紋認証OKの顔認証結果FCR及び声紋認証結果VCRと、入力された通知データNFに含まれる識別情報ID1とを含む呼出通知CRを生成して、ステップS218に移行する。
具体的に、認証レベルが1に設定されているインターホン10及び携帯通信端末30に対しては顔認証結果FCRを含む呼出通知CRを生成し、認証レベルが2に設定されている携帯通信端末30に対しては、顔認証結果FCR及び声紋認証結果VCRを含む呼出通知CRを生成する。
ステップS218では、呼出通知送信部213において、ステップS212又はS216で生成した呼出通知CRに電子署名を付与する。そして、電子署名を付与後の呼出通知CRを、設定された認証レベルに基づき、その識別情報ID1に対応する複数の登録者の複数のインターホン10及び携帯通信端末30に送信する。その後、一連の処理を終了する。
(生体認証処理)
次に、図17に基づき、上記ステップS208において、認証サーバ20で行われる生体認証処理の処理手順を説明する。
上記ステップS208において、生体認証処理が開始されると、図17に示すように、まず、ステップS230に移行する。
ステップS230では、生体認証処理部212において、通知データNFに含まれる顔特徴点データChfと、通知データNFに含まれる識別情報ID1に対応付けて生体情報DB25に登録された顔特徴点データとに基づき、顔認証処理を実行する。その後、ステップS232に移行する。
具体的に、生体認証処理部212は、顔特徴点データChfと、生体情報DB25に登録された顔特徴点データとの一致度を求め、一致度が予め設定した一致度閾値以上であるか否かを判定する。そして、一致度閾値以上と判定したときは、顔認証OKと判定し、一致閾値未満と判定したときは、顔認証NGと判定する。
ステップS232では、生体認証処理部212において、ステップS230の顔認証処理結果に基づき、顔認証OKか否かを判定する。そして、顔認証OKの場合(Yes)は、ステップS234に移行し、そうでないと判定した場合(No)は、顔認証結果FCRを呼出通知送信部213に入力して、一連の処理を終了し元の処理に復帰する。
ステップS234に移行した場合は、生体認証処理部212において、通知データNFに含まれる識別情報ID1に対応する代替呼出先の携帯通信端末30の中に、認証レベルが2に設定されているものがあるか否かを判定する。そして、設定されているものがあると判定した場合(Yes)は、ステップS236に移行し、そうでないと判定した場合(No)は、顔認証結果FCRを呼出通知送信部213に入力して、一連の処理を終了し元の処理に復帰する。
ステップS236に移行した場合は、生体認証処理部212において、声紋取得要求Vrを、第2データ通信制御部215を介して、通知データNFに含まれる識別情報ID1に対応するインターホン10に送信して、ステップS238に移行する。
ステップS238では、生体認証処理部212において、インターホン10からの認証用音声データVcが、ID認証部211を介して入力されたか否かを判定し、入力されたと判定した場合(Yes)は、ステップS240に移行し、そうでないと判定した場合(No)は、入力されるまで判定処理を繰り返す。
ステップS240では、生体認証処理部212において、認証用音声データVcに含まれる声紋特徴点データChvと、認証用音声データVcに含まれる識別情報ID1に対応付けて生体情報DB25に登録された声紋特徴点データとに基づき、声紋認証処理を実行する。そして、その声紋認証結果VCRを、呼出通知送信部213に入力して、一連の処理を終了し元の処理に復帰する。
具体的に、生体認証処理部212は、声紋特徴点データChvと、生体情報DB25に登録された声紋特徴点データとの一致度を求め、一致度が予め設定した一致度閾値以上であるか否かを判定する。そして、一致度閾値以上と判定したときは、声紋認証OKと判定し、一致閾値未満と判定したときは、声紋認証NGと判定する。
(動画通話制御処理)
次に、図18に基づき、上記ステップS1014において、認証サーバ20で行われる動画通話制御処理の処理手順を説明する。
認証サーバ20の第2制御装置22において制御プログラムが実行され、動画通話制御処理が開始されると、図18に示すように、まず、ステップS250に移行する。
ステップS250では、データ復号部210において、第2データ通信制御部215を介して、応答要求Reqを受信したか否かを判定し、受信したと判定した場合(Yes)は、ステップS252に移行し、そうでないと判定した場合(No)は、処理を終了する。
ステップS252に移行した場合は、データ復号部210において、暗号化された応答要求Reqを復号化する。加えて、応答要求Reqに付与された電子署名を復号化して、電子署名の検証を行う。その後、ステップS253に移行する。
ステップS253では、データ復号部210において、電子署名が正当な送信者からのものか否かを判定する。そして、正当な送信者からのものである(署名OK)と判定された場合(Yes)は、復号化した応答要求ReqをID認証部211に入力して、ステップS254に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。
ステップS254では、ID認証部211において、入力された応答要求Reqに含まれる識別情報ID2の認証処理を行う。その後、ステップS256に移行する。
具体的に、応答要求Reqに含まれる識別情報ID2を、顧客情報DB24に登録された識別情報と照合して、該当するものがあるか否かを判定することで、識別情報ID2の認証処理を行う。
ステップS256では、ID認証部211において、ステップS254のID認証処理結果に基づき、識別情報ID2が認証されたか否かを判定する。そして、認証されたと判定した場合(Yes)は、応答要求Reqを動画通話制御部214に入力して、ステップS258に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。
ステップS258に移行した場合は、動画通話制御部214において、通話接続制御処理を実行して、代替呼出の要請元のインターホン10と、応答要求Reqの送信元のインターホン10又は携帯通信端末30とを、両者の間で動画通話可能に接続する。その後、ステップS260に移行する。
ここで、第1実施形態の通話接続制御処理は、例えばSIP等のセッション制御プロトコルを用いて、要請元のインターホン10と、相手側のインターホン10又は携帯通信端末30との間のセッションを確立する処理となる。
ステップS260では、動画通話制御部214において、接続が成功したか否かを判定し、成功したと判定した場合(Yes)は、ステップS262に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。なお、接続が失敗した場合、ステップS258の処理を何度かリトライして、全て失敗した場合に終了としてもよい。
ステップS262に移行した場合は、動画通話制御部214において、動画通話制御処理を実行して、要請元のインターホン10と、接続先のインターホン10又は携帯通信端末30との間の音声データ、テキストデータ及び動画像データの送受信を制御する。その後、ステップS264に移行する。
具体的に、動画通話制御部214は、要請元のインターホン10からの第1の動画音声データoMV及び第2の動画像データiMVを接続先のインターホン10又は携帯通信端末30に転送する制御を行う。さらに、通常応答モードが設定されている場合は、接続先のインターホン10又は携帯通信端末30からの第3音声データtVdを要請元のインターホン10に転送する制御を行う。なおさらに、定型文応答モードが設定されている場合に、定型文音声モードでは接続先の携帯通信端末30からの定型文音声データfVdを、定型文テキストモードでは接続先の携帯通信端末30からの定型文テキストデータfTdを要請元のインターホン10に転送する制御を行う。
ステップS264では、動画通話制御部214において、要請元のインターホン10と、接続先のインターホン10又は携帯通信端末30との間の通話が終了したか否かを判定し、終了したと判定した場合(Yes)は、一連の処理を終了し、そうでないと判定した場合(No)は、ステップS262に移行する。
(応答制御処理及び第4の動画通話処理)
次に、図19に基づき、上記ステップS1011〜S1014において、携帯通信端末30で行われる応答制御処理及び第4の動画通話処理の処理手順を説明する。
携帯通信端末30の第3制御装置32において、応答制御処理が開始されると、図19に示すように、まず、ステップS300に移行する。
ステップS300では、第3データ通信制御部320において、呼出通知CRを受信したか否かを判定する。そして、受信したと判定した場合(Yes)は、受信した呼出通知CRを認証結果検証部321に入力して、ステップS302に移行し、そうでないと判定した場合(No)は、処理を終了する。
ここで、第1実施形態では、呼出通知CRを受信したことに応じて、バックグラウンドで待機状態にあったアプリケーションプログラムがアクティブ状態となる。
ステップS302に移行した場合は、認証結果検証部321において、入力された呼出通知CRに含まれる生体認証結果が生体認証OKかNGかを検証する。その後、ステップS304に移行する。
ここで、認証結果検証部321は、入力された呼出通知CRに付与された電子署名を検証し、検証OKの場合に、引き続き生体認証結果の検証処理を実施する。
具体的に、電子署名の検証がOKの場合に、認証結果検証部321は、認証レベルが1に設定されている場合は、呼出通知CRに含まれる顔認証結果FCRに基づき、生体認証結果を検証する。一方、認証レベルが2に設定されている場合は、呼出通知CRに含まれる顔認証結果FCR及び声紋認証結果VCRに基づき、生体認証結果を検証する。
ステップS304では、認証結果検証部321において、ステップS302の検証結果に基づき、生体認証OKか否かを判定し、生体認証OKであると判定した場合(Yea)は、ステップS306に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。ここで、電子署名の検証結果がNGの場合及び生体認証NGの場合に処理を終了する。
具体的に、認証結果検証部321は、認証レベルが1に設定されている場合は、顔認証OKの場合に生体認証OKと判定し、認証レベルが2に設定されている場合は、顔認証OK及び声紋認証OKの場合に生体認証OKと判定する。そして、これらの判定結果以外の場合に、生体認証NGと判定する。
ステップS306に移行した場合は、第2動画通話処理部322において、タッチパネル式表示装置35に、応答選択画像を表示して、ステップS308に移行する。
ステップS308では、第2動画通話処理部322において、タッチパネルを介した利用者からのタッチ入力に基づき、応答が選択されたか否かを判定する。そして、応答が選択されたと判定した場合(Yes)は、ステップS309に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。
具体的に、第1実施形態の第2動画通話処理部322は、応答の文字が描かれた応答ボタン画像及び拒否の文字が描かれた拒否ボタン画像をタッチパネル式表示装置35の表示画面に表示する。そして、携帯通信端末30の利用者は、画面に表示された応答ボタン画像及び拒否ボタン画像のいずれかの画像位置をタッチすることで応答するか否かを選択することが可能となっている。
ステップS309では、第2動画通話処理部322において、応答要求Reqを、認証サーバ20を介して、代替呼出の要請元のインターホン10に送信して、ステップS310に移行する。
ステップS310に移行した場合は、第2動画通話処理部322において、認証サーバ20から送られてくる通話接続情報TCに基づき通話接続処理を実行して、携帯通信端末30と、代替呼出の要請元のインターホン10のIP子機12とを両者の間で動画通話可能に接続する処理を行う。その後、ステップS312に移行する。
ステップS312では、第2動画通話処理部322において、第4の動画通話処理が開始され、まず、定型文応答モードが設定されているか否かを判定する。そして、設定されていないと判定した場合(No)は、ステップS314に移行し、設定されていると判定した場合(Yes)は、ステップS316に移行する。
ステップS314に移行した場合は、第2動画通話処理部322において、通常動画通話処理を実行して、接続先のインターホン10のIP子機12との間の動画通話を制御する。その後、ステップS318に移行する。
具体的に、第2動画通話処理部322は、接続先のインターホン10からの第1の動画音声データoMV及び第2の動画像データiMvに基づき、第1の動画像及び第2の動画像をタッチパネル式表示装置35に表示し、第4スピーカから来訪者の第2の音声を出力する。また、第3マイク33を介して入力される利用者の第3音声データtVdを、認証サーバ20を介して接続先(要請元)のインターホン10に送信する。
一方、ステップS316に移行した場合は、第2動画通話処理部322において、定型文動画通話処理を実行して、接続先のインターホン10のIP子機12との間の動画通話を制御する。その後、ステップS318に移行する。
ステップS318に移行した場合は、接続先のインターホン10との通話が終了したか否かを判定し、終了したと判定した場合(Yes)は、一連の処理を終了し、そうでないと判定した場合(No)は、ステップS312に移行する。
(定型文動画通話処理)
次に、図20に基づき、上記ステップS316において、携帯通信端末30で行われる定型文動画通話処理の処理手順を説明する。
上記ステップS316において、定型文動画通話処理が開始されると、図20に示すように、まず、ステップS330に移行する。
ステップS330では、第2動画通話処理部322において、タッチパネル式表示装置35に、定型文選択ボタン画像を表示して、ステップS332に移行する。
ステップS332では、第2動画通話処理部322において、定型文選択ボタン画像がタッチされたか否かを判定し、タッチされたと判定した場合(Yes)は、ステップS334に移行し、そうでないと判定した場合(No)は、一連の処理を終了して元の処理に復帰する。
ステップS334に移行した場合は、第2動画通話処理部322において、タッチパネル式表示装置35に、定型文選択画像を表示して、ステップS336に移行する。
ここで、第2動画通話処理部322は、携帯通信端末30のメモリ32aに予め記憶された定型文音声メッセージの候補の画像である定型文の文字画像を含む定型文選択画像をタッチパネル式表示装置35に表示する。
ステップS336では、第2動画通話処理部322において、定型文が選択されたか否かを判定し、選択されたと判定した場合(Yes)は、ステップS338に移行し、そうでないと判定した場合(No)は、定型文が選択されるまで判定処理を繰り返す。
ここで、第2動画通話処理部322は、タッチパネルを介したタッチ入力に基づきタッチ入力内容に対応する定型文を選択する。
また、定型文が選択されない間は、接続先のインターホン10からの第1の動画音声データoMV及び第2の動画像データiMvに基づき、第4スピーカから来訪者の第2の音声を出力する。但し、ミュートが設定されている場合は音声出力を行わない。また、このとき、第1実施形態では、定型文選択画像が表示されているため第1の動画像が表示されない状態となる。一方、定型文が選択された場合は、定型文選択画像の表示を終了して第1の動画像を表する。
ステップS338に移行した場合は、第2動画通話処理部322において、定型文音声モードが設定されているか否かを判定する。そして、設定されていると判定した場合(Yes)は、ステップS340に移行し、そうでないと判定した場合(No)は、ステップS342に移行する。
ステップS340に移行した場合は、第2動画通話処理部322において、選択された定型文メッセージに対応する定型文音声データfVdを、認証サーバ20を介して接続先のインターホン10に送信する。その後、一連の処理を終了して元の処理に復帰する。
一方、ステップS342に移行した場合は、第2動画通話処理部322において、選択された定型文メッセージに対応する定型文テキストデータfTdを、認証サーバ20を介して接続先のインターホン10に送信する。その後、一連の処理を終了して元の処理に復帰する。
(開錠許可データ送信処理)
次に、図21に基づき、上記ステップS1016において、携帯通信端末30で行われる開錠許可データ送信処理の処理手順を説明する。ここで、開錠許可データ送信処理は、動画通話処理中に行われる処理となる。
携帯通信端末30の第3制御装置32において、開錠許可データ送信処理が開始されると、図21に示すように、まず、ステップS350に移行する。
ステップS350では、開錠許可情報送信部323において、第2動画通話処理部322から応答選択通知が入力されたか否かを判定する。そして、入力されたと判定した場合(Yes)は、ステップS352に移行し、そうでないと判定した場合(No)は、処理を終了する。
ステップS352に移行した場合は、開錠許可情報送信部323において、開錠選択画像をタッチパネル式表示装置35に表示する。その後、ステップS354に移行する。
具体的に、第1実施形態の開錠許可情報送信部323は、開錠許可の文字が描かれた開錠許可ボタン画像及び不許可の文字が描かれた不許可ボタン画像をタッチパネル式表示装置35の表示画面に表示する。そして、携帯通信端末30の利用者は、画面に表示された開錠許可ボタン画像及び不許可ボタン画像のいずれかの画像位置をタッチすることで開錠を許可するか否かを選択することが可能となっている。
ステップS354では、開錠許可情報送信部323において、タッチパネルを介したタッチ入力に基づき、開錠許可が選択されたか否かを判定し、開錠許可が選択されたと判定した場合(Yes)は、ステップS356に移行し、そうでないと判定した場合(No)は、ステップS358に移行する。
ステップS356に移行した場合は、開錠許可情報送信部323において、開錠許可データULkpを、認証サーバ20を介して、接続先のインターホン10に送信する処理を行う。その後、一連の処理を終了する。
一方、ステップS358に移行した場合は、開錠許可情報送信部323において、第2動画通話処理部322からの通知に基づき、接続先のインターホン10との通話が終了(切断)したか否かを判定し、終了したと判定した場合(Yes)は、一連の処理を終了し、そうでないと判定した場合(No)は、ステップS354に移行する。
(動作)
次に、図22〜図24に基づき、第1実施形態のインターホンシステム1の動作を説明する。
ここで、住宅500にてインターホン10_1が利用されており、居住者は、両親と子供の3人家族であるとする。そして、インターホン10_1の識別情報ID1_1が認証サーバ20の顧客情報DB24に登録されているとする。さらに、代替呼出先として父親及び母親の携帯通信端末30_1及び30_2の識別情報ID2_1及び2と、祖母の携帯通信端末30_3の識別情報ID2_3と、住宅600にて祖母及び祖母親が利用するインターホン10_2の識別情報ID2_4とが認証サーバ20の顧客情報DB24に登録されているとする。
さらに、母親の携帯通信端末30_2は、第2の送信モード及び定型文応答モードが設定されており、定型文応答モードの下位設定として、認証レベルが2に設定され、かつ定型文音声モードが設定されているとする。他のインターホン10_2、携帯通信端末30_1及び30_3は、第2の送信モード及び通常応答モードが設定されており、認証レベルはデフォルトの1が設定されているとする。
いま、図18(a)に示すように、両親が留守にしている住宅500に子供が帰宅してきて、呼出ボタン120を押下したとする。これにより、呼出データBtnがIP親機11及び外部カメラ13に送信される。これにより、外部カメラ13が撮像を開始して、呼出ボタン120を押下した子供(来訪者)の動画像(第1の動画像)を撮像する。さらに、撮像により得られる第1の動画像データoMvに基づき、子供の顔を含む画像データから顔特徴点データChfを抽出する。そして、第1の動画像データoMv及び顔特徴点データChfを、宅内のIP親機11に送信する。
IP親機11は、呼出データBtnを受信したことに応じて(S100のYes)、外部カメラ13から送られてくる顔特徴点データChfを取得し(S102)、取得した顔特徴点データChfと、識別情報ID1_1とを含む通知データNFを生成する。さらに、この通知データNFを暗号化しかつ暗号化後のデータに電子署名を付与する(S104)。そして、暗号化後かつ電子署名付与後の通知データNFを、インターネット50を介して認証サーバ20に送信する(S106)。
一方、認証サーバ20は、インターホン10_1から送られてきた通知データNFを受信すると(S200のYes)、受信した通知データNFを復号化するとともに付与されている電子署名を検証する。この検証により正当な送信者から送信されたものであると判定すると(S202)、次に、通知データNFに含まれる識別情報ID_1の認証処理を行う(S204)。そして、この識別情報ID_1が認証されると(S206のYes)、次に、受信した通知データNFに含まれる子供の顔特徴点データChfに基づき、生体認証処理を実行する(S208)。
ここで、この子供の顔特徴点データChfは、事前に取得したものが、認証サーバ20の生体情報DB25に識別情報ID_1に対応付けて登録されている。
認証サーバ20は、生体認証処理が実行されると、まず、顔認証処理を実行する(S230)。具体的に、呼出ボタン120を押下した子供の顔特徴点データChfと生体情報DB25に登録されている顔特徴点データとの一致度を判定する。
ここで、子供が顔を隠す等変なことをしていなければ、登録データとの一致度は高い確率で一致度閾値以上となる。ここでは、顔認証OKの顔認証結果が得られたとする(S232のYes)。なお、この顔認証結果FCRは、呼出通知送信部213に入力される。
認証サーバ20は、引き続き、顧客情報DB24の登録データに基づき、通知データNFに含まれる識別情報ID_1に対応する代替呼出先の携帯通信端末30の中に、認証レベルが2に設定されているものがあるか否かを判定する。ここでは、母親の携帯通信端末30_2が認証レベル2に設定されているので(S234のYes)、認証サーバ20は、声紋取得要求Vrを、インターネット50を介してインターホン10_1に送信する(S236)。
インターホン10_1は、認証サーバ20から送られてきた声紋取得要求Vrを受信すると(S130のYes)、声紋情報取得処理を実施して(S132)、来訪者である子供の音声データを取得する(S134のYes)。例えば、「どちらさまですか?」という予め登録された定型文音声をIP子機12の第3スピーカ121から出力し、これに対して、子供が「XX子だよ!」といった応答を返すことで第2マイク122を介して子供の音声データを取得する。
インターホン10_1は、取得した子供の音声データから声紋特徴点データChvを抽出し、抽出した声紋特徴点データChvと、識別情報ID_1とを含む認証用音声データVcを生成する。そして、生成した認証用音声データVcを暗号化し、暗号化したデータに電子署名を付与し(S136)、暗号化後及び電子署名付与後の認証用音声データVcを、インターネット50を介して認証サーバ20に送信する(S138)。
認証サーバ20は、インターホン10_1から送られてきた認証用音声データVcを受信すると(S238のYes)、声紋認証処理を実行する(S240)。
ここで、この子供の声紋特徴点データChvは、事前に取得したものが、認証サーバ20の生体情報DB25に識別情報ID_1に対応付けて登録されている。
認証サーバ20は、子供の声紋特徴点データChvと生体情報DB25に登録されている声紋特徴点データとの一致度を判定する(S240)。なお、この声紋認証結果VCRは、呼出通知送信部213に入力される。
認証サーバ20は、代替呼出先のいずれも第2の送信モードが設定されていると判定し(S210のNo)、また、顔認証OKかつ声紋認証OKとなっているので生体認証OKと判定する(S214のYes)。
引き続き、認証サーバ20は、認証レベルが1のインターホン10_2、携帯通信端末30_1及び30_3に対して、顔認証結果FCRと、識別情報ID1_1とを含む呼出通知CR(以下、「第1の呼出通知CR」と記載する場合がある)を生成する。さらに、認証レベル2の携帯通信端末30_2に対して、顔認証結果FCR及び声紋認証結果VCRと、識別情報ID1_1とを含む呼出通知CR(以下、「第2の呼出通知CR」と記載する場合がある)を生成する。そして、生成した第1及び第2の呼出通知CRを暗号化しかつ暗号化後のデータに電子署名を付与する(S216)。
さらに、識別情報ID2_1、2_3、2_4に対応するインターホン10_2、携帯通信端末30_1及び30_3に対して、暗号化後かつ電子署名付与後の第1の呼出通知CRを送信する。なおさらに、識別情報ID2_2に対応する携帯通信端末30_2に対して、暗号化後かつ電子署名付与後の第2の呼出通知CRを送信する(S214)。
すなわち、図18(b)に示す、母の持つ携帯通信端末30_1、祖母の持つ携帯通信端末30_3、祖母親の居る住宅600のインターホン10_2に、第1の呼出通知CRが送信される。加えて、電車に乗っている母親の持つ携帯通信端末30_2に、第2の呼出通知CRが送信される。
これによって、インターホン10_2では、IP親機11が第1の呼出通知CRを受信したことに応じて、第1の呼出通知CRに含まれる顔認証結果FCRを検証する。そして、顔認証OKと判定すると、第1スピーカ110aを介してチャイム音を鳴らすとともに第1表示装置111に代替呼出であることを示すメッセージが表示される。
一方、携帯通信端末30_1及び30_3では、第1の呼出通知CRを受信したことに応じて(S300のYes)、専用のアプリケーションプログラムが起動し(アクティブ状態となり)、呼出通知CRに含まれる顔認証結果FCRを検証する処理が実行される(S302)。これによって、顔認証OKが確認されると(S304のYes)、携帯通信端末30_1及び30_3は、タッチパネル式表示装置35に応答選択画像を表示する(S306)。
また、携帯通信端末30_2では、第2の呼出通知CRを受信したことに応じて(S300のYes)、専用のアプリケーションプログラムが起動し(アクティブ状態となり)、呼出通知CRに含まれる顔認証結果FCR及び声紋認証結果VCRを検証する処理が実行される(S302)。これによって、顔認証OK及び声紋認証OKが確認されると(S304のYes)、携帯通信端末30_2は、タッチパネル式表示装置35に応答選択画像を表示する(S306)。
このとき、携帯通信端末30_1〜30_3は、各端末の設定状態に応じて、呼出音を出力したり、バイブレーション機能で振動を発生したりする。
ここでは、最初に、母親が応答ボタン画像をタッチして、携帯通信端末30_2で応答が選択されたとする(S308のYes)。なお、インターホン10_2では、祖母親が送受話器110を持ち上げてオフフック状態にすることで応答が選択されることになる。
引き続き、携帯通信端末30_2は、応答が選択されたことに応じて、識別情報ID2_2を含む応答要求Reqを、認証サーバ20に送信する(S309)。
認証サーバ20は、応答要求Reqを受信すると(S250のYes)、受信した応答要求Reqのデータ復号化及び電子署名の検証を行い(S252〜S253)、電子署名の検証がOKの場合に、続いてID認証処理を行う(S254)。そして、最初に受信した応答要求Reqに含まれる識別情報ID2_2が認証されたとする(S256のYes)。
これにより、認証サーバ20は、識別情報ID2_2に対応する母親の携帯通信端末30_2を代替呼出先と認定し、インターホン10_2及び携帯通信端末30_1及び30_3に対して、例えば、他の登録者が応答をした旨を通知する。インターホン10_2及び携帯通信端末30_1及び30_3は、この通知を受けると、「他の登録者(母親)が応答しました」といったメッセージを各表示装置に表示する。すなわち、第1実施形態では、代替呼出に対する応答は早い者順となっている。
認証サーバ20は、引き続き、インターホン10_1と携帯通信端末30_2とを両者の間で動画通話可能に接続するための通話接続制御を行う(S258)。ここでは、SIPを利用して、通話接続制御を行う。認証サーバ20は、まず、識別情報ID2_2を含む応答通知Riを、インターホン10_1に送信する。
インターホン10_1は、認証サーバ20からの応答通知Riを受信すると(S150のYes)、認証サーバ20を介して、受信した応答通知Riに含まれる識別情報ID2_2に基づき携帯通信端末30_2と動画通話可能に接続する処理を実行する(S152)。
具体的に、SIPメッセージのINVITEメッセージを、認証サーバ20を介して携帯通信端末30_2に送信する。
携帯通信端末30_2は、インターホン10_1からのINVITEメッセージを受信すると、インターホン10_1との通話接続処理を実行する。
具体的に、インターホン10_1からのINVITEメッセージに対して、認証サーバ20を介して200OKメッセージをインターホン10_1に送信する。
一方、インターホン10_1は、携帯通信端末30_2からの200OKメッセージに対して認証サーバ20を介してACKメッセージを携帯通信端末30_2に送信する。これにより、インターホン10_1と携帯通信端末30_2との間でセッションが確立し、両者が動画通話可能に接続される。
このとき、認証サーバ20は、両者の間のSIPメッセージを中継して転送する役割を果たす。
インターホン10_1と携帯通信端末30_2とが動画通話可能に接続されると、インターホン10_1は、第2の動画通話処理を実行して、外部カメラ13で撮像して得られる子供の第1の動画像データoMvと、IP子機12の第2マイク122を介して入力される子供の第2音声データoVdとを、認証サーバ20を介して携帯通信端末30_1に送信する(S154)。
一方、携帯通信端末30_2は、インターホン10_1と動画通話可能に接続すると、ここでは、定型文応答モードが設定されているため(S312のYes)、定型文動画通話処理を実行する(S316)。
携帯通信端末30_2は、定型文動画通話処理を開始すると、タッチパネル式表示装置35に、定型文選択画像を表示する。
これにより、例えば、図23(a)に示すように、携帯通信端末30_2の表示画面に、定型文音声メッセージの候補(定型文の文字画像)が表示される。
このとき、携帯通信端末30_2は、インターホン10_1からリアルタイムに送られてくる、第1の動画像データoMvに基づき、子供の動画像をタッチパネル式表示装置35に表示し、第2音声データoVdに基づき、子供の音声を第4スピーカ34から出力する。なお、ミュート設定やマナーモードが設定されている場合は、第4スピーカ34からの音声は出力されない。ここでは、イヤホンを用いて音声を聞ける状態になっているとする。
これにより、携帯通信端末30_2の利用者である母親は、子供の動画像を見ながら、かつ子供の音声を聞きながら、表示された定型文の選択肢の中から所望の定型文を、タッチパネルを介したタッチ入力によって選択することが可能となる。
ここでは、図23(a)に示すように、「おかえりなさい。手洗い、うがい忘れないようにね。」のメッセージを選択し、同図中の「はい」ボタンをタッチしたとする。
これにより、上記定型文が選択され(S332のYes)、また、定型文音声モードが設定されているため(S334のYes)、予めメモリ32aに登録されている選択された定型文に対応する定型文音声データfVdを、インターホン10_1に送信する。
インターホン10_1では、携帯通信端末30_2からの定型文音声データfVdを受信すると、図23(b)に示すように、IP子機12の第3スピーカ121から、例えば母親の声で上記選択された定型文の音声が出力される。このとき、インターホン10_1は、第2表示装置123に、例えば、母親の動画像又は静止画像を表示する。
この定型文音声の出力に対して、子供は「ただいま!了解だよ。」といった応答を返すと、この音声データである第2音声データoVdが携帯通信端末30_2に送信される。
このようにして、母親は、電車内で発話せずに子供の声を聞きながら、定型文音声による応答を行って子供との通話を行うことが可能である。
一方、携帯通信端末30_2では、応答選択画像を介して応答が選択されたことに応じて(S350のYes)、タッチパネル式表示装置35に開錠選択画像を表示する(S352)。これにより、母親は子供と通話中にいつでも開錠許可又は開錠不許可を選択することが可能となる。
母親は、子供との定型文音声による動画通話によって、目視と通話による本人確認を行い、本人だと断定すると、画面に表示された開錠許可ボタン画像の表示位置をタッチする。これにより、携帯通信端末30_2は、開錠許可が選択されたと判定する(S354のYes)。携帯通信端末30_2は、開錠許可が選択されると、開錠許可データULkpを、認証サーバ20を介してインターホン10_1に送信する(S356)。
インターホン10_1は、携帯通信端末30_2からの開錠許可データULkpを受信すると(S170のYes)、開錠許可データULkpに付与された電子署名の検証を行う(S172)。ここでは、検証OKとして(S174のYes)、インターホン10_1は、開錠信号ULkを、電気錠装置14に送信する(S176)。これにより、図24に示すように、子供は玄関ドアを開けて、宅内に入ることができる。
引き続き、インターホン10_1は、識別情報ID2_2に対応する母親の情報(例えば実名やハンドル名)と、開錠が行われたことを示す情報とを含む開錠状況データULiを生成し、生成した開錠状況データULiを、認証サーバ20を介して携帯通信端末30_2以外の登録された他の端末に送信する(S178)。すなわち、開錠状況データULiを、インターホン10_2、携帯通信端末30_1及び30_3に送信する。これにより、開錠状況データULiを受信したインターホン10_2、携帯通信端末30_1及び30_3は、受信した開錠状況データULiに基づき開錠状況情報を表示装置に表示する。これにより、これらの端末の利用者は、子供の母親が開錠を行ったことを知ることが可能である。
続いて、インターホン10_1は、開錠通知データULknを、内部カメラ16及び第1動画通話処理部112dに出力する。これにより、インターホン10_1は、内部カメラ16による撮像を開始する。このとき、外部カメラ13による撮像を停止してもよい。そして、内部カメラ16で撮像して得られる、玄関ドアを通過して宅内に入った子供の第2の動画像データiMvを、認証サーバ20を介して、携帯通信端末30_2に送信する(S158)。
携帯通信端末30_2は、インターホン10_1からの第2の動画像データiMvに基づき、宅内に入った子供の動画像をタッチパネル式表示装置35に表示する。母親は、この動画像により、子供が無事に宅内に入ったことを見届けると、インターホン10_1との通話を切断する。
具体的に、タッチパネル式表示装置35には、動画通話処理中に、切断ボタン画像が常時表示されており、母親が切断ボタン画像をタッチすることで、インターホン10_1に対してBYEメッセージが認証サーバ20を介して送信される。これにより、インターホン10_1との通話接続状態が切断される(S358のYes)。
ここで、上記第1実施形態において、認証サーバ20がサーバ装置に対応し、呼出ボタン120が呼出部に対応し、外部カメラ13が第1のカメラに対応する。
また、上記第1実施形態において、施開錠制御部112aが開錠制御部に対応し、第1動画通話処理部112dが第1動画像情報送信部に対応し、動画通話制御部214が第2動画像情報送信部に対応する。
また、上記第1実施形態において、タッチパネル式表示装置35が操作部及び表示部に対応し、第2動画通話処理部322が応答指示部及び応答要求送信部に対応し、開錠許可情報送信部323が開錠指示部及び開錠許可情報送信部に対応する。
また、上記第1実施形態において、第2動画通話処理部322が第1動画像表示部、第2動画像表示部及び定型文応答部に対応し、通常応答モードが第1応答モードに対応し、定型文応答モードが第2応答モードに対応する。
また、上記第1実施形態において、動画通話制御部214が通話接続部に対応し、第3マイク33、第4スピーカ34及び第2動画通話処理部322が音声通話部に対応し、外部カメラ13及び声紋情報取得部112gが生体情報取得部に対応し、顔特徴点データChf及び声紋特徴点データChvが生体情報に対応する。
また、上記第1実施形態において、内部カメラ16が第2のカメラに対応し、第1動画通話処理部122dが第3動画像情報送信部に対応し、第2表示装置123が第2動画表示部に対応する。
(第1実施形態の効果)
(1)第1実施形態に係るインターホンシステム1は、インターホン10_1〜nと、認証サーバ20と、代替呼出先として予め登録されたインターホン10_1〜n及び携帯通信端末30_1〜mとをインターネット50を介してそれぞれ互いにデータ通信可能に備える。
インターホン10は、宅外に設けられたインターホン子機12が、来訪者の来訪を通知する呼出ボタン120を有し、宅内に設けられたインターホン親機11がインターホン子機12との間で通話を可能とする。さらに、外部カメラ13が、呼出ボタン120からの呼出データBtnの入力に応じて来訪者の動画像である第1の動画像を撮像し、電気錠装置14が、施錠信号Lk及び開錠信号ULkを受信したことに応じて玄関ドアの施錠及び開錠を行う。なおさらに、通知情報送信部112bが、呼出ボタン120からの呼出データBtnの入力に応じて、当該インターホン10の識別情報ID1を含む通知データNFを、認証サーバ20に送信する。第1動画通話処理部112dが、外部カメラ13で撮像して得られた第1の動画像を含む第1の動画像データoMvを、認証サーバ20に送信する。施開錠制御部112aが、識別情報ID1に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数のインターホン10及び携帯通信端末30のうちいずれか1からの開錠許可データULkpを受信したことに応じて、電気錠装置14に開錠信号ULkを送信する。
認証サーバ20は、呼出通知送信部213が、インターホン10からの通知データNFを受信したことに応じて、該通知データNFに含まれる識別情報ID1に対応する代替呼出先の複数の携帯通信端末に対して呼出通知CRを送信する。動画通話制御部214が、携帯通信端末からの応答要求Reqを受信したことに応じて、受信した第1の動画像データoMvを、応答要求Reqの送信元の携帯通信端末に送信する。動画通話制御部214が、携帯通信端末からの応答要求Reqを受信したことに応じて、該応答要求の送信元の携帯通信端末とインターホン10とを、インターホン子機12と送信元の携帯通信端末との間で通話可能に接続する。
携帯通信端末30は、タッチパネル式表示装置35を備え、第2動画通話処理部322が、タッチパネル式表示装置35を介した操作入力に基づき呼出通知CRに対して応答を行うか否かを指示するとともに、応答を行う指示がされたことに応じて、応答要求Reqを認証サーバ20に送信する。第2動画通話処理部322が、受信した第1の動画像データoMvに基づき第1の動画像をタッチパネル式表示装置35に表示する。第4スピーカ34及び第2動画通話処理部322が、認証サーバ20を介して通話可能に接続されたインターホン子機12との間で音声入力による直接的な通話を可能とする。第2動画通話処理部322が、インターホン子機12との間の通話時において、当該携帯通信端末に予め登録された定型文の音声メッセージによる間接的な応答を可能とする。開錠許可情報送信部323が、タッチパネル式表示装置35を介した操作入力に基づき表示された第1の動画像の示す来訪者に対して開錠を許可するか否かを指示するとともに、開錠を許可する指示がされたことに応じて、開錠許可データULkpをインターホン10に送信する。
上記構成によれば、インターホン子機12を利用する来訪者と携帯通信端末30を利用する登録者との間で、登録者は、予め登録された定型文の音声メッセージを用いた間接的な応答による通話を行うことが可能となる。これにより、例えば電車やバスに乗っているときなどの発話しにくい環境下において、発話することなく音声応答を行うことが可能となる。その結果、かかる環境下において代替呼出に対して気軽に応答を行うことが可能となる。
また、発話しにくい環境下で、動画だけを見て無言で開錠を行うような場合と比較して、来訪者が、開錠が行われたことを認識しやすく、また小さな子供などは、例えば保護者の音声を録音してなる定型文音声メッセージを聞かせることで安心感を与えることが可能となる。
(2)携帯通信端末30は、さらに、第2動画通話処理部322が、当該携帯通信端末30に予め登録された定型文のテキストデータによる間接的な応答を可能とする。
インターホン10は、さらに、来訪者に対して視認可能に画像を表示する第2表示装置123を備え、第1動画通話処理部112dが、携帯通信端末30からの定型文テキストデータfTdを受信したことに応じて、該定型文テキストデータfTdに基づき定型文の文字画像を第2表示装置123に表示する。
この構成であれば、携帯通信端末30は、定型文音声データfVdを用意することなく、定型文テキストデータfTdをインターホン10に送信して、定型文の文字画像を、インターホン10の第2表示装置123に表示する形で、定型文のメッセージによる応答を行うことが可能となる。これにより、携帯通信端末30の利用者が音声データを用意する手間を省くことが可能になるとともに、音声データと比較してデータの登録に必要なメモリ容量を低減することが可能となる。
(3)インターホン10は、さらに、外部カメラ13が、来訪者の顔特徴点データChfを取得する。通知情報送信部112bが、外部カメラ13から取得した顔特徴点データChfと、当該インターホンの識別情報ID1とを含む通知データNFを認証サーバ20に送信する。声紋情報取得部112gが、来訪者の声紋特徴点データChvと、当該インターホンの識別情報ID1とを含む認証用音声データVcを認証サーバ20に送信する。
携帯通信端末30は、さらに、登録情報設定部325が、認証サーバ20に対して、音声入力による直接的な応答を行う第1応答モードと定型文による間接的な応答を行う第2応答モードとを切り替えて設定可能とする。登録情報設定部325が、第2応答モードが設定されているときに、認証サーバ20に対して、生体認証処理の認証レベルをセキュリティレベルの高低に応じて予め設定された複数段階(第1実施形態では2段階)のレベルのうちのいずれか1のレベルに切り替えて設定可能とする。
認証サーバ20は、さらに、生体認証処理部212が、受信した通知データNFに含まれる顔特徴点データChfと、該通知データNFに含まれる識別情報ID1に対応付けて予め生体情報DB25に登録された居住者の顔特徴点データとに基づき来訪者の顔認証処理を行う。加えて、定型文応答モードが設定されかつ認証レベルが2に設定されている場合に、受信した認証用音声データVcに含まれる声紋特徴点データChvと、該認証用音声データVcに含まれる識別情報ID1に対応付けて予め生体情報DB25に登録された居住者の声紋特徴点データとに基づき来訪者の声紋認証処理を行う。呼出通知送信部213が、認証レベルが1に設定されかつ第1の送信モードが設定されている場合に、生体認証処理部212の顔認証結果FCRを含む呼出通知CRを、通知データNFに含まれる識別情報ID1に対応する代替呼出先の複数の登録者の複数の携帯通信端末30に対して送信する。一方、認証レベルが2に設定されかつ第1の送信モードが設定されている場合に、生体認証処理部212の顔認証結果FCR及び声紋認証結果VCRを含む呼出通知CRを、通知データNFに含まれる識別情報ID1に対応する代替呼出先の複数の登録者の複数の携帯通信端末30に対して送信する。
携帯通信端末30は、さらに、認証結果検証部321が、認証レベルが1に設定されている場合に、認証サーバ20からの呼出通知CRに含まれる顔認証結果FCRを検証し、第2動画通話処理部322が、検証結果に基づき来訪者が顔認証されたと判定すると応答選択画像の表示処理を実施し、応答が選択された場合に、応答要求Reqの送信処理を実施する。一方、顔認証されなかったと判定すると応答選択画像の表示処理及び応答要求Reqの送信処理を実施しない。また、認証レベルが2に設定されている場合に、顔認証結果FCR及び声紋認証結果VCRに基づき来訪者が顔認証及び声紋認証されたと判定すると応答選択画像の表示処理及び応答が選択された場合の応答要求Reqの送信処理を実施する。一方、顔認証及び声紋認証の少なくとも一方が認証されなかったと判定すると応答選択画像の表示処理及び応答要求Reqの送信処理を実施しない。
この構成であれば、認証サーバ20にて生体認証の1つである顔認証を実施することが可能である。さらに、来訪者が顔認証されなかった場合に、携帯通信端末30で応答要求Reqを送信しないようにして、顔認証されない来訪者に対する代替呼出を終了することが可能となる。加えて、定型文音声モードに設定したときに、認証レベルを2に設定することが可能となり、これにより、顔認証処理に加えて声紋認証処理を実施することが可能となる。この場合に、来訪者が顔認証及び声紋認証の一方でも認証されなかった場合に、携帯通信端末30で応答要求Reqを送信しないようにして、顔認証及び声紋認証の一方でも認証されない来訪者に対する代替呼出を終了することが可能となる。
これによって、生体認証されない来訪者(居住者以外の人間)に対して登録者が応答しなくて済むので、見知らぬ来訪者に対して応答するといった煩わしい作業が登録者に生じるのを低減することが可能となる。加えて、登録者が誤って居住者以外の人間に対して開錠を行うといった不祥事の発生を低減することが可能となる。
特に、定型文応答モードを設定する場合は、代替呼出に対する対応を手短に済ませたいという場合もある。このようなときに、認証レベルを通常よりも高いレベルに設定しておくことで、代替応答の対象者以外からの呼出を比較的高確率で遮断することが可能となる。これによって、手短な対応をした場合に、誤って居住者以外の人間に対して開錠を行うといった不祥事の発生を低減することが可能となる。
(4)認証サーバ20は、さらに、呼出通知送信部213が、認証レベルが1に設定されかつ第2の送信モードが設定されている場合に、生体認証処理部212で顔認証されたときのみに呼出通知CRを送信する処理を実施する。一方、認証レベルが2に設定されかつ第2の送信モードが設定されている場合に、生体認証処理部212で顔認証されかつ声紋認証されたときのみに呼出通知CRを送信する処理を実施する。
この構成であれば、認証サーバ20にて来訪者が生体認証されなかった場合に、この来訪者について、呼出通知CR自体を携帯通信端末30に送信せずに代替呼出を終了することが可能となる。これにより、生体認証されない来訪者に対して登録者が応答しなくて済むので、見知らぬ来訪者に対して応答するといった煩わしい作業が登録者に生じるのを低減することが可能となる。加えて、登録者が誤って居住者以外の人間に対して開錠を行うといった不祥事の発生を低減することが可能となる。
特に、定型文応答モードを設定している場合は、できるだけ応答を行いたくない状況にある可能性が高い。このようなときに、認証レベルを通常よりも高いレベルに設定しておくことで、代替応答の対象者以外からの呼出を比較的高確率で遮断することが可能となる。
(第2実施形態)
(構成)
本発明の第2実施形態に係るインターホンシステム2は、図25に示すように、上記第1実施形態のインターホンシステム1から認証サーバ20を除いた構成を有している。
具体的に、第2実施形態のインターホンシステム2は、上記第1実施形態の認証サーバ20で行っていた生体認証処理(顔認証処理及び声紋認証処理)を携帯通信端末30が行う点が上記第1実施形態と異なる。加えて、認証サーバ20を経由して行っていたインターホン10と携帯通信端末30との間の通話接続処理、動画通話処理及び各種データの送受信処理を、認証サーバ20を経由せずにインターネット50を介して直接行う点が上記第1実施形態と異なる。
以下、上記第1実施形態と同様の構成については、同様の符号を付して適宜説明を省略し、異なる点を詳細に説明する。なお、第2実施形態では、他家のインターホン10を代替呼出先とする構成を有していないこととする。
第2実施形態の第1制御装置112は、図26に示すように、上記第1実施形態の第1制御装置112に対して、新たに登録者情報データベース116(以下、「登録者情報DB116」と記載する場合がある)を備えた構成となる。
登録者情報DB116は、インターホン10の識別情報ID1と、この識別情報ID1に対応付けられた代替呼出先の複数の登録者の情報と、これら複数の登録者の利用する複数の携帯通信端末30の識別情報ID2とが登録されたデータベースとなる。
そして、第2実施形態の通知情報送信部112bは、生成した通知データNFを、登録者情報DB116に予め登録された代替呼出先の複数の登録者の複数の携帯通信端末30に向けて送信する。第2実施形態では、この通知データNFが、上記第1実施形態の呼出通知CRの役割も果たす。
第2実施形態の開錠状況情報送信部112cは、開錠状況データULiを、第1データ通信制御部112eを介して、開錠許可データULkpの送信元の携帯通信端末30を除く、他の代替呼出先の携帯通信端末30に対して送信する。
第2実施形態の第1動画通話処理部112dは、上記第1実施形態の応答通知Riに代えて携帯通信端末30からの応答要求Reqに応じて通話接続処理及び動画通話処理を行う点と、上記第1実施形態の第3の動画通話処理を行わない点とが上記第1実施形態と異なる。
なお、これら以外の構成は、携帯通信端末30との間のデータ送受信を、認証サーバ20を介さずに行うだけで、上記第1実施形態と同様の構成となるので詳細な説明を省略する。
また、第2実施形態の第1データ通信制御部112eは、開錠許可データULkpの送信処理を行わない点が上記第1実施形態と異なる。これ以外は、携帯通信端末30との間のデータ送受信を、認証サーバ20を介さずに行うだけで、上記第1実施形態と同様の構成となるので詳細な説明を省略する。
第2実施形態の第3制御装置32は、図27に示すように、上記第1実施形態の第3制御装置32に対して、新たに生体情報データベース37(以下、「生体情報DB37」と記載する場合がある)を備えた構成となる。
生体情報DB37は、上記第1実施形態の生体情報DB25と同様に、インターホン10の設置された住宅や施設に居住するシステム利用者の顔特徴点データ及び声紋特徴点データを記憶したデータベースである。具体的に、インターホン10の識別情報ID1に対応付けて居住者全員の顔特徴点データ及び声紋特徴点データや、居住者のうち鍵や携帯通信端末30を持たせたくない子供や老人等の被保護者の顔特徴点データ及び声紋特徴点データなどを記憶している。
さらに、第2実施形態の第3制御装置32の機能構成部は、上記第1実施形態の機能構成部に対して、認証結果検証部321に代えて、生体認証処理部326を備えた構成となる。
第2実施形態の第3データ通信制御部320は、受信した通知データNFを、生体認証処理部326に入力する点で上記第1実施形態と異なる。それ以外はインターホン10との間のデータ送受信を、認証サーバ20を介さずに行うだけで、上記第1実施形態と同様の構成となるので詳細な説明を省略する。
生体認証処理部326は、上記第1実施形態の生体認証処理部212と同様の構成を有し、入力された通知データNFに含まれる来訪者の顔特徴点データChfと、生体情報DB37に登録された、入力された通知データNFに含まれる識別情報ID1に対応する登録データ(顔特徴点データ)とを照合することで、来訪者の顔認証処理を行う。なお、具体的な顔認証方法は、上記第1実施形態の生体認証処理部212と同様となるので説明を省略する。
生体認証処理部326は、さらに、認証レベルが2に設定されている場合は、顔認証結果FCRが顔認証OKのときに、声紋取得要求Vrを、入力された通知データNFに含まれる識別情報ID1に対応するインターホン10に送信する。そして、インターホン10からの認証用音声データVcが入力されると、入力された認証用音声データVcに含まれる来訪者の声紋特徴点データChvと、生体情報DB37に登録された、入力された認証用音声データVcに含まれる識別情報ID1に対応する登録データ(声紋特徴点データ)とを照合することで、来訪者の声紋認証処理を行う。なお、具体的な声紋認証方法は、上記第1実施形態の生体認証処理部212と同様となるので説明を省略する。
生体認証処理部326は、生体認証処理の認証結果を第2動画通話処理部322に出力する。
第2実施形態の第2動画通話処理部322は、入力された生体認証結果に基づき、生体認証OKかNGかを判定し、生体認証OKの場合にのみタッチパネル式表示装置35に、入力された通知データNF(呼出通知に相当)に対して応答をするか否かを選択する応答選択画像を表示する。
第2実施形態の第2動画通話処理部322は、応答すると選択された場合に、動画通話処理を行うべく応答要求Reqを、第3データ通信制御部320を介して、通知データNFの送信元のインターホン10に送信する。一方、応答しないと選択された場合に、応答要求Reqを送信せずに処理を終了する。
第2実施形態の第2動画通話処理部322は、応答要求Reqの送信に応じてインターホン10から送られてくる通話接続情報TCに基づき、当該携帯通信端末30と、通知データNFに含まれる識別情報ID1に対応するインターホン10とを、両者の間で動画通話可能に接続する制御を行う。具体的に、インターホン10との間で例えばSIPメッセージ等の通話接続情報TCの送受信を行って、両者を動画通話可能に接続する制御を行う。
なお、動画通話可能に接続後の処理は、認証サーバ20を介さずにデータの送受信を行う点が異なるだけで、上記第1実施形態の第2動画通話処理部322と同様の処理となるので説明を省略する。
第2実施形態の開錠許可情報送信部323は、タッチパネルを介して開錠を許可すると選択された場合に、開錠許可データULkpを、第3データ通信制御部320を介して、接続先のインターホン10に送信する。一方、開錠を許可しないと選択された場合に、その旨を示す開錠不許可通知を第2動画通話処理部322に通知する。
(第2実施形態の応答制御処理及び第4の動画通話処理)
次に、図23に基づき、第2実施形態の携帯通信端末30で行われる応答制御処理及び第4の動画通話処理の処理手順を説明する。
携帯通信端末30の第3制御装置32において、通知データNFを受信したことに応じて、アプリケーションプログラムが起動し、応答制御処理が開始されると、図28に示すように、まず、ステップS400に移行する。
ステップS400では、第3データ通信制御部320において、通知データNFを受信したか否かを判定する。そして、受信したと判定した場合(Yes)は、受信した通知データNFを生体認証処理部326に入力して、ステップS402に移行し、そうでないと判定した場合(No)は、処理を終了する。
ここで、第3データ通信制御部320は、暗号化された通知データNFを復号化する。加えて、通知データNFに付与された電子署名を復号化して、電子署名の検証を行う。そして、検証OKの場合に、通知データNFに含まれる識別情報ID1の認証処理を行う。これにより、認証OKの場合に、この通知データNFを生体認証処理部326に入力する。一方、認証がNGの場合は処理を終了する。
ステップS402に移行した場合は、生体認証処理部326において、設定された認証レベルに応じた生体認証処理を実行する。そして、生体認証結果を第2動画通話処理部322に入力して、ステップS404に移行する。ここで、生体認証処理の具体的な処理内容は、上記第1実施形態の図17のステップS230〜S240の処理と同様となる。
ステップS404では、第2動画通話処理部322において、生体認証結果が生体認証OKか否かを判定し、生体認証OKであると判定した場合(Yea)は、ステップS406に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。
ここで、以降のステップS406〜S420までの処理は、データの送受信に認証サーバ20を介さない以外は、上記第1実施形態のステップS306〜S320の処理と同様となるので説明を省略する。
(動作)
以下、第2実施形態のインターホンシステム2の動作を説明する。
ここで、携帯通信端末30_1〜30_3に設定された各種モード及び認証レベルの設定内容は、上記第1実施形態と同様とする。また、通知データNFを生成するまでの動作は上記第1実施形態と同様となるので説明を省略する。
インターホン10は、通知データNFを生成すると、生成した通知データNFを、登録者情報DB116に登録された代替呼出先の複数の携帯通信端末30に送信する。
携帯通信端末30は、インターホン10からの通知データNFを受信すると(S400のYes)、専用のアプリケーションプログラムを起動(アクティブ状態に)する。そして、データの復号化、電子署名の検証及びID認証処理を行って、認証OKの場合に、通知データNFに含まれる顔特徴点データChfに基づき、生体認証処理を行う(S402)。
ここで、生体認証処理の処理内容については、上記第1実施形態で認証サーバ20が行っていた内容とほぼ同様となる。異なる点は、携帯通信端末30が、生体認証処理を行う点と、顔認証OKのときに声紋取得要求Vrをインターホン10に送信する点と、インターホン10が、生成した認証用音声データVcを携帯通信端末30に送信する点となる。
そして、携帯通信端末30は、生体認証結果が生体認証OKの場合に(S404のYes)、応答を行うか否かを選択する応答選択画像をタッチパネル式表示装置35に表示する(S406)。そして、利用者のタッチパネルの操作によって応答が選択されたことに応じて(S408のYes)、応答要求Reqを通知データNFの送信元のインターホン10に送信する(S410)。
ここでも、早いもの順となり、上記第1実施形態と同様に、母親の携帯通信端末30_2が最初に応答要求Reqを送信したとする。
インターホン10は、応答要求Reqの受信に応じて、応答要求Reqの送信元の携帯通信端末30_2との間で通話接続処理を実行し、この携帯通信端末30_2と動画通話可能に接続する。これにより、要請元のインターホン10と、接続先の携帯通信端末30_2とは、動画通話が可能な状態となる(S412)。
以降の携帯通信端末30_2との間の定型文応答モードに基づく動作は、各種データの送受信を、認証サーバ20を経由しないで行う点以外は、上記第1実施形態と同様の動作となるので説明を省略する。
ここで、第2実施形態において、呼出ボタン120が呼出部に対応し、外部カメラ13が第1のカメラに対応する。
また、上記第2実施形態において、施開錠制御部112aが開錠制御部に対応し、第1動画通話処理部112dが動画像情報送信部に対応する。
また、上記第2実施形態において、タッチパネル式表示装置35が操作部及び表示部に対応し、第2動画通話処理部322が応答指示部及び応答要求送信部に対応し、開錠許可情報送信部323が開錠指示部及び開錠許可情報送信部に対応する。
また、上記第2実施形態において、第1動画通話処理部112dが第1通話接続部に対応し、第2動画通話処理部322が第2通話接続部に対応する。
また、上記第2実施形態において、第3マイク33、第4スピーカ34及び第2動画通話処理部322が音声通話部に対応し、外部カメラ13及び声紋情報取得部112gが生体情報取得部に対応し、顔特徴点データChf及び声紋特徴点データChvが生体情報に対応する。
また、上記第2実施形態において、内部カメラ16が第2のカメラに対応し、第1動画通話処理部122dが第3動画像情報送信部に対応し、第2動画通話処理部322が動画像表示部、第2動画像表示部及び定型文応答部に対応する。
また、上記第2実施形態において、通常応答モードが第1応答モードに対応し、定型文応答モードが第2応答モードに対応する。
(第2実施形態の効果)
(1)第2実施形態に係るインターホンシステム2は、インターホン10_1〜nと、代替呼出先として予め登録された複数の携帯通信端末30_1〜mとをインターネット50及び基地局40_1〜pを介してそれぞれ互いにデータ通信可能に備える。
インターホン10は、宅外に設けられたインターホン子機12が、来訪者の来訪を通知する呼出ボタン120を有し、宅内に設けられたインターホン親機11がインターホン子機12との間で通話を可能とする。さらに、外部カメラ13が、呼出ボタン120からの呼出データBtnの入力に応じて来訪者の動画像である第1の動画像を撮像し、電気錠装置14が、施錠信号Lk及び開錠信号ULkを受信したことに応じて玄関ドアの施錠及び開錠を行う。なおさらに、通知情報送信部112bが、呼出ボタン120からの呼出データBtnの入力に応じて、当該インターホン10の識別情報ID1に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の携帯通信端末30に対して通知データNFを送信する。第1動画通話処理部112dが、携帯通信端末30からの応答要求Reqを受信したことに応じて、外部カメラ13で撮像して得られる第1の動画像データoMvを、応答要求Reqの送信元の携帯通信端末30に送信する。第1動画通話処理部112dが、インターホン子機12を、応答要求Reqの送信元の携帯通信端末30との間で通話可能に接続する。施開錠制御部112aが、識別情報ID1に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の携帯通信端末30のうちいずれか1からの開錠許可データULkpを受信したことに応じて、電気錠装置14に開錠信号ULkを送信する。
携帯通信端末30は、タッチパネル式表示装置35を備え、第2動画通話処理部322が、タッチパネル式表示装置35を介した操作入力に基づき受信した通知データNFに対して応答を行うか否かを指示するとともに、応答を行う指示がされたことに応じて、応答要求Reqを通知データNFの送信元のインターホン10に送信する。第2動画通話処理部322が、受信した第1の動画像データoMvをタッチパネル式表示装置35に表示する。第2動画通話処理部322が、携帯通信端末30を、通知データNFの送信元のインターホン10の備えるインターホン子機12との間で通話可能に接続する。第2動画通話処理部322が、通話可能に接続されたインターホン子機12との間で音声入力による直接的な通話を可能とする一方、インターホン子機との間の通話時において、当該携帯通信端末に予め登録された定型文の音声メッセージによる間接的な応答を可能とする。開錠許可情報送信部323が、タッチパネル式表示装置35を介した操作入力に基づき、タッチパネル式表示装置35に表示された第1の動画像の示す来訪者に対して開錠を許可するか否かを指示するとともに、開錠を許可する指示がされたことに応じて、開錠許可データULkpをインターホン10に送信する。
上記構成によれば、上記第1実施形態の効果の欄の(1)に記載された作用及び効果と同等の作用及び効果に加えて、認証サーバ20を設ける必要が無くなるので認証サーバ20の運用費分のコストを削減することが可能となる。
(2)携帯通信端末30は、さらに、第2動画通話処理部322が、当該携帯通信端末30に予め登録された定型文のテキストデータによる間接的な応答を可能とする。
インターホン10は、さらに、来訪者に対して視認可能に画像を表示する第2表示装置123を備え、第1動画通話処理部112dが、携帯通信端末30からの定型文テキストデータfTdを受信したことに応じて、該定型文テキストデータfTdに基づき定型文の文字画像を第2表示装置123に表示する。
この構成であれば、上記第1実施形態の効果の欄の(2)に記載した作用及び効果と同等の作用及び効果が得られる。
(3)インターホン10は、さらに、外部カメラ13が、来訪者の顔特徴点データChfを取得する。声紋情報取得部112gが、携帯通信端末30からの声紋取得要求Vrを受信したことに応じて、来訪者の声紋特徴点データChvを取得する。通知情報送信部112bが、外部カメラ13から取得した顔特徴点データChfを含む通知データNFを、当該インターホンの識別情報ID1に対応する代替呼出先の複数の登録者の複数の携帯通信端末に対して送信する。声紋情報取得部112gが、声紋特徴点データを含む認証用音声データVcを、声紋取得要求Vrの送信元の携帯通信端末30に送信する。
携帯通信端末30は、さらに、登録情報設定部325が、音声入力による直接的な応答を行う第1応答モードと定型文による間接的な応答を行う第2応答モードとを切り替えて設定可能とする。登録情報設定部325が、第2応答モードが設定されているときに、生体認証処理の認証レベルをセキュリティレベルの高低に応じて予め設定された複数段階(第2実施形態では2段階)のレベルのうちのいずれか1のレベルに切り替えて設定可能とする。生体認証処理部326が、受信した通知データNFに含まれる顔特徴点データChfと、該通知データNFに含まれる識別情報ID1に対応付けて予め生体情報DB25に登録された居住者の顔特徴点データとに基づき来訪者の顔認証処理を行う。加えて、定型文応答モードが設定されかつ認証レベルが2に設定されている場合に、受信した認証用音声データVcに含まれる声紋特徴点データChvと、該認証用音声データVcに含まれる識別情報ID1に対応付けて予め生体情報DB25に登録された居住者の声紋特徴点データとに基づき来訪者の声紋認証処理を行う。第2動画通話処理部322が、認証レベルが1に設定されている場合に、顔認証結果FCRに基づき来訪者が顔認証されたと判定すると、応答選択画像の表示処理を実施し、応答が選択された場合に応答要求Reqの送信処理を実施する。一方、顔認証されなかったと判定すると応答選択画像の表示処理及び応答要求Reqの送信処理を実施しない。また、認証レベルが2に設定されている場合に、顔認証結果FCR及び声紋認証結果VCRに基づき来訪者が顔認証及び声紋認証されたと判定すると応答選択画像の表示処理及び応答要求Reqの送信処理を実施する。一方、顔認証及び声紋認証の少なくとも一方が認証されなかったと判定すると応答選択画像の表示処理及び応答要求Reqの送信処理を実施しない。
この構成であれば、上記第1実施形態の効果の欄の(3)に記載した作用及び効果と同等の作用及び効果が得られる。
(変形例)
(1)上記第1実施形態では、顔認証処理及び声紋認証処理の双方を認証サーバ20で行う構成としたが、この構成に限らない。例えば、顔認証処理を認証サーバ20で行い、声紋認証処理を携帯通信端末で行う構成とするなど、生体認証処理の一部を携帯通信端末30で行う構成としてもよい。
(2)上記各実施形態では、認証レベルが2に設定されている携帯通信端末が1つも無い場合に、声紋情報取得処理を実施しない構成としたが、この構成に限らない。例えば、認証レベルに関係なく、声紋情報取得処理を必ず実施して、IP子機12の第3スピーカ121に入力される来訪者の音声を録音する構成としてもよい。この場合、例えば、認証レベルが2の携帯通信端末が1つも無い場合は、録音した音声データからの声紋特徴点データの抽出処理及び声紋認証処理を実施せず、IP親機11において、録音した音声を後から聞ける構成とする。具体的に、定型文応答モードでの応答時は相手の声を聞けない場合があるため、例えば子供の声を録音しておき親が後で確認できるようにする。
(3)上記各実施形態において、生体認証の種類を増やすことでセキュリティレベルを上げる構成としたが、この構成に限らず、例えば、生体認証の種類は同じで、認証閾値(例えば一致度閾値)を認証レベルの段階数に応じて多段階に設定する構成としてもよい。この構成とした場合、生体認証の種類を増やす場合と比較して低コストで実施することが可能となる。
(4)上記各実施形態では、定型文テキストモードが設定されている場合に、IP子機12側の第2表示装置123に定型文の文字画像を表示する構成としたが、この構成に限らない。インターホン10側に音声合成機能を設け、受信した定型文テキストデータfTdに基づき、音声合成処理を行って定型文の合成音声を第3スピーカ121から出力する構成としてもよい。
(5)上記各実施形態では、外部カメラ13にて顔特徴点データChfの抽出処理を行う構成としたが、この構成に限らず、IP親機11側で行う構成とするなど他の構成としてもよい。
(6)上記各実施形態では、生体認証の認証レベルの段階を2段階とした場合を例に挙げて説明したが、この構成に限らず、3段階以上としてもよい。
(7)上記各実施形態では、IP子機12側は、通話相手の動画像を見ずに音声のみを聞いて通話を行う構成としたが、この構成に限らない。例えば、代替呼出先のIP親機11や携帯通信端末30側に通話時に利用者を撮影するカメラを設け、その動画像を第2表示装置123に表示して、IP子機12側も通話相手の動画像を見ながら通話できる構成としてもよい。
(8)上記各実施形態では、電気錠装置14が、Bluetoothを用いて無線通信する構成としたが、この構成に限らず、例えば、無線LAN規格(IEEE802.11シリーズ)などの他の無線規格のものを用いる構成としてもよい。また、電気錠装置14と、IP親機11との間もBluetoothを用いて無線通信する構成としたが、この構成に限らず、他の無線規格のもの又は有線を用いる構成としてもよい。
(9)上記各実施形態では、送受話器110を、公知の受話器の構成としたが、この構成に限らない。例えば、IP親機11の正面側の面にマイクとスピーカと通話ボタンと切断ボタンとを設け、使用時に通話ボタンを押下することで受話器を持つことなく通話を行うことが可能な構成とするなど他の構成としてもよい。
(10)上記第1実施形態では呼出通知CRの受信に応じて、また上記第2実施形態では通知データNFの受信に応じてアプリケーションプログラムを自動で起動又はアクティブ化する構成としたが、この構成に限らない。呼出通知CR又は通知データNFを受信した時点ではメッセージを表示するだけとし、このメッセージを見た利用者が手動でアプリケーションプログラムを起動又はアクティブ化する構成としてもよい。また、この手動による起動又はアクティブ化を応答選択がなされたとする構成としてもよい。
(11)上記各実施形態では、生体認証として、顔認証及び声紋認証を行う構成としたが、この構成に限らず、顔認証及び声紋認証に加えて又は顔認証及び声紋認証の代わりに、指紋認証等の他の生体認証を行う構成としてもよい。または、生体認証を行わない構成としてもよい。
(12)上記各実施形態では、SIPを用いてインターホン10同士又はインターホン10と携帯通信端末30とを動画通話可能に接続する構成としたが、この構成に限らない。例えば、ピアツーピア接続や、他の動画通話可能な通信プロトコルを用いて接続する構成としてもよい。
(13)上記第1実施形態では認証サーバ20が、上記第2実施形態では携帯通信端末30が生体認証処理部を備える構成としたが、この構成に限らない。例えば、インターホン10が生体認証処理部を備え、認証サーバ20又は携帯通信端末30に対して、生体認証結果を含む通知データNFを送信する構成としてもよい。
(14)上記第1実施形態では、呼出通知CRを、生体認証された来訪者の人物に関係なく、代替呼出先として登録されているインターホン10及び携帯通信端末30に送信する構成としたが、この構成に限らない。例えば、代替呼出先の各登録者が、住居者のうち顔を見知っている人物を設定しておき、その人物の生体認証がOKになったときにのみ、呼出通知CRを送信する構成としてもよい。
(15)上記各実施形態では、定型文音声モードが設定されている場合に、定型文音声データfVdを送信して第2スピーカ122から定型文音声を出力する。加えて、定型文テキストモードが設定されている場合に、定型文テキストデータfTdを送信して定型文の文字画像を第2表示装置123に表示するといったようにどちらか一方を設定する構成とした。この構成に限らず、例えば、インターホン10が来訪者用の表示装置を備えている場合に、両方のモードを設定する又はモード設定を設けずに、定型文音声データfVd及び定型文テキストデータfTdの双方を送信し、音声出力及び定型文の文字画像の表示の双方を行う構成としてもよい。
1,2…インターホンシステム、10_1〜n…インターホン、20…認証サーバ、30_1〜m…携帯通信端末、11…IP親機、12…IP子機、13…外部カメラ、14…電気錠装置、15…第1通信機、16…内部カメラ、21…第2通信機、22…第2制御装置、23…記憶装置、24…顧客情報DB、25,37…生体情報DB、31…第3通信機、32…第3制御装置、33…第3マイク、34…第4スピーカ、35…タッチパネル式表示装置、36…第2BT通信機、110…送受話器、112…第1制御装置、112a…施開錠制御部、112b…通知情報送信部、112c…開錠状況情報送信部、112d…第1動画通話処理部、112e…第1データ通信制御部、112f…第1開錠状況情報表示部、112g…声紋情報取得部、113…第1BT通信機、114…施開錠ボタン、116…登録者情報DB、120…呼出ボタン、121…第3スピーカ、122…第2マイク、123…第2表示装置、210…データ復号部、211…ID認証部、212,326…生体認証処理部、212a…顔認証処理部、212b…声紋取得要求送信部、212c…声紋認証処理部、213…呼出通知送信部、214…動画通話制御部、215…第2データ通信制御部、216…顧客情報設定部、320…第3データ通信制御部、321…認証結果検証部、322…第2動画通話処理部、323…開錠許可情報送信部、324…第2開錠状況情報表示部、325…登録情報設定部

Claims (11)

  1. インターホンと、サーバ装置と、代替呼出先として予め登録された携帯通信端末とを通信回線を介してそれぞれ互いにデータ通信可能に備え、
    前記インターホンは、
    来訪者の来訪を通知する呼出部を有するインターホン子機と、
    前記インターホン子機との間で通話を可能とするインターホン親機と、
    前記呼出部の呼出動作に応じて前記来訪者の動画像である第1の動画像を撮像する第1のカメラと、
    施錠信号及び開錠信号を受信したことに応じて玄関ドアの施錠及び開錠を行う電気錠装置と、
    前記呼出部の呼出動作に応じて、当該インターホンの識別情報を含む通知情報を、前記サーバ装置に送信する通知情報送信部と、
    前記第1のカメラで撮像して得られた前記第1の動画像を含む第1の動画像情報を、前記サーバ装置に送信する第1動画像情報送信部と、
    前記識別情報に対応する代替呼出先の前記携帯通信端末からの開錠許可情報を受信したことに応じて、前記電気錠装置に前記開錠信号を送信する電気錠制御部と、を備え、
    前記サーバ装置は、
    前記通知情報を受信したことに応じて、該通知情報に含まれる前記識別情報に対応する代替呼出先の前記携帯通信端末に対して呼出通知を送信する呼出通知送信部と、
    前記携帯通信端末からの応答要求を受信したことに応じて、受信した前記第1の動画像情報に含まれている前記第1の動画像を含む第2の動画像情報を、前記応答要求の送信元の携帯通信端末に送信する第2動画像情報送信部と、
    前記応答要求を受信したことに応じて、該応答要求の送信元の携帯通信端末と前記インターホンとを、前記インターホン子機と前記送信元の携帯通信端末との間で通話可能に接続する通話接続部と、を備え、
    前記携帯通信端末は、
    操作部と、
    画像を表示する第1表示部と、
    前記操作部を介した操作入力に基づき前記サーバ装置からの前記呼出通知に対して応答を行うか否かを指示する応答指示部と、
    前記応答指示部で応答を行う指示がされたことに応じて、応答要求を前記サーバ装置に送信する応答要求送信部と、
    受信した前記第2の動画像情報に含まれる前記第1の動画像を前記第1表示部に表示する第1動画像表示部と、
    前記サーバ装置を介して通話可能に接続された前記インターホン子機との間で発話した音声の入力による通話を可能とする音声通話部と、
    前記インターホン子機との間の通話時において、当該携帯通信端末に予め登録された定型文の音声メッセージによる応答を可能とする定型文応答部と、
    前記操作部を介した操作入力に基づき前記第1表示部に表示された前記第1の動画像の示す来訪者に対して開錠を許可するか否かを指示する開錠指示部と、
    前記開錠指示部で開錠を許可する指示がされたことに応じて、開錠許可情報を前記インターホンに送信する開錠許可情報送信部と、を備えることを特徴とするインターホンシステム。
  2. 前記定型文応答部は、前記インターホン子機との間の通話時において、前記定型文の音声メッセージによる応答を行う機能に加えて、当該携帯通信端末に予め登録された定型文のテキストデータによる応答を行う機能を備え、
    前記インターホンは、
    前記来訪者に対して視認可能に画像を表示する第2表示部と、
    前記携帯通信端末からの前記定型文のテキストデータを受信したことに応じて、該テキストデータに基づき定型文の文字画像を前記第2表示部に表示する定型文表示部と、を備える請求項1に記載のインターホンシステム。
  3. 前記インターホンは、
    来訪者の生体情報を取得する生体情報取得部を備え、
    前記通知情報送信部は、前記生体情報取得部で取得した前記生体情報と、当該インターホンの識別情報とを含む通知情報を前記サーバ装置に送信し、
    前記携帯通信端末は、
    前記サーバ装置に対して、前記音声通話部による応答を行う第1応答モードと前記定型文応答部による応答を行う第2応答モードとを切り替えて設定可能な応答モード設定部と、
    前記第2応答モードが設定されているときに、前記サーバ装置に対して、生体認証処理の認証レベルをセキュリティレベルの高低に応じて予め設定された複数段階のレベルのうちのいずれか1のレベルに切り替えて設定可能な認証レベル設定部と、を備え、
    前記サーバ装置は、
    受信した前記通知情報に含まれる前記生体情報と、該通知情報に含まれる前記識別情報に対応付けて予め登録された居住者の生体情報とに基づき前記来訪者の生体認証を行う生体認証部を備え、
    前記生体認証部は、前記第2応答モードが設定されているときに、予め設定された前記認証レベルに応じてセキュリティレベルの異なる複数の生体認証処理のうち、前記認証レベル設定部で設定された認証レベルに対応する生体認証処理を実施し、
    前記呼出通知送信部は、前記生体認証部の認証結果を含む呼出通知を、前記通知情報に含まれる前記識別情報に対応する代替呼出先の携帯通信端末に対して送信し、
    前記携帯通信端末の少なくとも一部は、
    受信した前記呼出通知に含まれる前記認証結果に基づき、来訪者が認証されたと判定すると前記応答要求送信部の処理を実施し、認証されなかったと判定すると前記応答要求送信部の処理を実施しない請求項1又は2に記載のインターホンシステム。
  4. 前記インターホンは、
    来訪者の生体情報を取得する生体情報取得部を備え、
    前記通知情報送信部は、前記生体情報取得部で取得した前記生体情報と、当該インターホンの識別情報とを含む通知情報を前記サーバ装置に送信し、
    前記携帯通信端末は、
    前記サーバ装置に対して、前記音声通話部による応答を行う第1応答モードと前記定型文応答部による応答を行う第2応答モードとのいずれか一方を設定可能な応答モード設定部と、
    前記第2応答モードが設定されているときに、前記サーバ装置に対して、生体認証処理の認証レベルをセキュリティレベルの高低に応じて予め設定された複数段階のレベルのうちのいずれか1のレベルに設定可能な認証レベル設定部と、を備え、
    前記サーバ装置は、
    受信した前記通知情報に含まれる前記生体情報と、該通知情報に含まれる前記識別情報に対応付けて予め登録された居住者の生体情報とに基づき前記来訪者の生体認証を行う生体認証部を備え、
    前記生体認証部は、前記第2応答モードが設定されているときに、予め設定された前記認証レベルに応じてセキュリティレベルの異なる複数の生体認証処理のうち、前記認証レベル設定部で設定された認証レベルに対応する生体認証処理を実施し、
    前記呼出通知送信部は、前記生体認証部で来訪者が認証されたときにのみ前記呼出通知を送信する処理を実施する請求項1又は2に記載のインターホンシステム。
  5. 前記生体情報取得部は、前記認証レベルの段階数に対応した複数種類の生体情報を取得するように構成されており、
    前記生体認証部は、前記第2応答モードが設定されているときに、前記複数種類の生体情報のうち認証レベルの段階に対応した種類の生体情報に基づき認証処理を実施する請求項3又は4に記載のインターホンシステム。
  6. インターホンと、代替呼出先として予め登録された携帯通信端末とを通信回線を介してそれぞれ互いにデータ通信可能に備え、
    前記インターホンは、
    来訪者の来訪を通知する呼出部を有するインターホン子機と、
    前記インターホン子機との間で通話を可能とするインターホン親機と、
    前記呼出部の呼出動作に応じて前記来訪者の動画像である第1の動画像を撮像する第1のカメラと、
    施錠信号及び開錠信号を受信したことに応じて玄関ドアの施錠及び開錠を行う電気錠装置と、
    前記呼出部の呼出動作に応じて、当該インターホンの識別情報を含む通知情報を、前記携帯通信端末に送信する通知情報送信部と、
    前記携帯通信端末からの応答要求を受信したことに応じて、前記第1のカメラで撮像して得られた前記第1の動画像を含む第1の動画像情報を、前記応答要求の送信元の前記携帯通信端末に送信する第1動画像情報送信部と、
    前記インターホン子機を、前記応答要求の送信元の携帯通信端末との間で通話可能に接続する第1通話接続部と、
    前記識別情報に対応する代替呼出先の前記携帯通信端末からの開錠許可情報を受信したことに応じて、前記電気錠装置に前記開錠信号を送信する電気錠制御部と、を備え、
    前記携帯通信端末は、
    操作部と、
    画像を表示する第1表示部と、
    前記操作部を介した操作入力に基づき前記インターホンからの前記通知情報に対して応答を行うか否かを指示する応答指示部と、
    前記応答指示部で応答を行う指示がされたことに応じて、応答要求を前記インターホンに送信する応答要求送信部と、
    受信した前記第1の動画像情報に含まれる前記第1の動画像を前記第1表示部に表示する第1動画像表示部と、
    当該携帯通信端末を、前記通知情報の送信元のインターホンの備える前記インターホン子機との間で通話可能に接続する第2通話接続部と、
    前記第2通話接続部で通話可能に接続された前記インターホン子機との間で発話した音声の入力による通話を可能とする音声通話部と、
    前記インターホン子機との間の通話時において、当該携帯通信端末に予め登録された定型文の音声メッセージによる応答を可能とする定型文応答部と、
    前記操作部を介した操作入力に基づき前記第1表示部に表示された前記第1の動画像の示す来訪者に対して開錠を許可するか否かを指示する開錠指示部と、
    前記開錠指示部で開錠を許可する指示がされたことに応じて、開錠許可情報を前記インターホンに送信する開錠許可情報送信部と、を備えることを特徴とするインターホンシステム。
  7. 前記定型文応答部は、前記インターホン子機との間の通話時において、前記定型文の音声メッセージによる応答に代えて、当該携帯通信端末に予め登録された定型文のテキストデータによる応答を行う機能を備え、
    前記インターホンは、
    前記玄関ドアを通過する前の来訪者に対して視認可能に画像を表示する第2表示部と、
    前記携帯通信端末からの前記定型文のテキストデータを受信したことに応じて、該テキストデータに基づき定型文の文字画像を前記第2表示部に表示する定型文表示部と、を備える請求項6に記載のインターホンシステム。
  8. 前記インターホンは、
    来訪者の生体情報を取得する生体情報取得部を備え、
    前記通知情報送信部は、前記生体情報取得部で取得した前記生体情報と、当該インターホンの識別情報とを含む通知情報を前記携帯通信端末に送信し、
    前記携帯通信端末は、
    前記音声通話部による応答を行う第1応答モードと前記定型文応答部による応答を行う第2応答モードとを切り替えて設定可能な応答モード設定部と、
    前記第2応答モードが設定されているときに、認証処理の認証レベルをセキュリティレベルの高低に応じて予め設定された複数段階のレベルのうちのいずれか1のレベルに切り替えて設定可能な認証レベル設定部と、
    受信した前記通知情報に含まれる前記生体情報と、該通知情報に含まれる前記識別情報に対応付けて予め登録された居住者の生体情報とに基づき前記来訪者の生体認証を行う生体認証部と、を備え、
    前記生体認証部は、前記第2応答モードが設定されているときに、予め設定された前記認証レベルに応じてセキュリティレベルの異なる複数の生体認証処理のうち、前記認証レベル設定部で設定された認証レベルに対応する生体認証処理を実施し、
    前記携帯通信端末の少なくとも一部は、
    前記生体認証部の認証結果に基づき、来訪者が認証されたと判定すると前記応答要求送信部の処理を実施し、認証されなかったと判定すると前記応答要求送信部の処理を実施しない請求項6又は7に記載のインターホンシステム。
  9. 請求項1に記載のインターホンシステム用の携帯通信端末であって、
    操作部と、
    画像を表示する第1表示部と、
    前記操作部を介した操作入力に基づき前記サーバ装置からの前記呼出通知に対して応答を行うか否かを指示する応答指示部と、
    前記応答指示部で応答を行う指示がされたことに応じて、応答要求を前記サーバ装置に送信する応答要求送信部と、
    受信した前記第2の動画像情報に含まれる前記第1の動画像を前記第1表示部に表示する第1動画像表示部と、
    前記サーバ装置を介して通話可能に接続された前記インターホン子機との間で発話した音声の入力による通話を可能とする音声通話部と、
    前記インターホン子機との間の通話時において、当該携帯通信端末に予め登録された定型文の音声メッセージによる応答を行う定型文応答部と、
    前記操作部を介した操作入力に基づき前記第1表示部に表示された前記第1の動画像の示す来訪者に対して開錠を許可するか否かを指示する開錠指示部と、
    前記開錠指示部で開錠を許可する指示がされたことに応じて、開錠許可情報を前記インターホンに送信する開錠許可情報送信部と、を備えることを特徴とするインターホンシステム用の携帯通信端末。
  10. 請求項8に記載のインターホンシステム用のインターホンであって、
    来訪者の来訪を通知する呼出部を有するインターホン子機と、
    前記インターホン子機との間で通話を可能とするインターホン親機と、
    前記呼出部の呼出動作に応じて前記来訪者の動画像である第1の動画像を撮像する第1のカメラと、
    施錠信号及び開錠信号を受信したことに応じて玄関ドアの施錠及び開錠を行う電気錠装置と、
    来訪者の生体情報を取得する生体情報取得部と、
    前記呼出部の呼出動作に応じて、当該インターホンの識別情報と前記生体情報取得部で取得した前記生体情報とを含む通知情報を、前記携帯通信端末に送信する通知情報送信部と、
    前記携帯通信端末からの応答要求を受信したことに応じて、前記第1のカメラで撮像して得られた前記第1の動画像を含む第1の動画像情報を、前記応答要求の送信元の前記携帯通信端末に送信する第1動画像情報送信部と、
    前記インターホン子機を、前記応答要求の送信元の携帯通信端末との間で通話可能に接続する第1通話接続部と、
    前記識別情報に対応する代替呼出先の前記携帯通信端末からの開錠許可情報を受信したことに応じて、前記電気錠装置に前記開錠信号を送信する電気錠制御部と、を備えることを特徴とするインターホンシステム用のインターホン。
  11. 請求項8に記載のインターホンシステム用の携帯通信端末であって、
    操作部と、
    画像を表示する第1表示部と、
    前記操作部を介した操作入力に基づき前記インターホンからの前記通知情報に対して応答を行うか否かを指示する応答指示部と、
    前記応答指示部で応答を行う指示がされたことに応じて、応答要求を前記インターホンに送信する応答要求送信部と、
    受信した前記第1の動画像情報に含まれる前記第1の動画像を前記第1表示部に表示する第1動画像表示部と、
    当該携帯通信端末を、前記通知情報の送信元のインターホンの備える前記インターホン子機との間で通話可能に接続する第2通話接続部と、
    前記第2通話接続部で通話可能に接続された前記インターホン子機との間で発話した音声の入力による通話を可能とする音声通話部と、
    前記インターホン子機との間の通話時において、当該携帯通信端末に予め登録された定型文の音声メッセージによる応答を行う定型文応答部と、
    前記操作部を介した操作入力に基づき前記第1表示部に表示された前記第1の動画像の示す来訪者に対して開錠を許可するか否かを指示する開錠指示部と、
    前記開錠指示部で開錠を許可する指示がされたことに応じて、開錠許可情報を前記インターホンに送信する開錠許可情報送信部と、
    前記音声通話部による応答を行う第1応答モードと前記定型文応答部による応答を行う第2応答モードとのいずれか一方を設定可能な応答モード設定部と、
    前記第2応答モードが設定されているときに、認証処理の認証レベルをセキュリティレベルの高低に応じて予め設定された複数段階のレベルのうちのいずれか1のレベルに設定可能な認証レベル設定部と、
    受信した前記通知情報に含まれる前記生体情報と、該通知情報に含まれる前記識別情報に対応付けて予め登録された居住者の生体情報とに基づき前記来訪者の生体認証を行う生体認証部と、を備え、
    前記生体認証部は、前記第2応答モードが設定されているときに、予め設定された前記認証レベルに応じてセキュリティレベルの異なる複数の生体認証処理のうち、前記認証レベル設定部で設定された認証レベルに対応する生体認証処理を実施することを特徴とするインターホンシステム用の携帯通信端末。
JP2016080535A 2016-04-13 2016-04-13 インターホンシステム、このインターホンシステム用のインターホン及び携帯通信端末 Active JP6733276B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016080535A JP6733276B2 (ja) 2016-04-13 2016-04-13 インターホンシステム、このインターホンシステム用のインターホン及び携帯通信端末

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016080535A JP6733276B2 (ja) 2016-04-13 2016-04-13 インターホンシステム、このインターホンシステム用のインターホン及び携帯通信端末

Publications (2)

Publication Number Publication Date
JP2017192035A JP2017192035A (ja) 2017-10-19
JP6733276B2 true JP6733276B2 (ja) 2020-07-29

Family

ID=60086512

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016080535A Active JP6733276B2 (ja) 2016-04-13 2016-04-13 インターホンシステム、このインターホンシステム用のインターホン及び携帯通信端末

Country Status (1)

Country Link
JP (1) JP6733276B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019148110A (ja) * 2018-02-27 2019-09-05 アイホン株式会社 鍵管理システム
CN113507543A (zh) * 2018-02-27 2021-10-15 爱峰株式会社 门铃、钥匙管理系统以及对讲系统
JP6942353B2 (ja) * 2018-06-22 2021-09-29 株式会社テンフィートライト インターホンシステム
JP2020005149A (ja) * 2018-06-28 2020-01-09 パナソニックIpマネジメント株式会社 インターホンシステム、情報端末、情報表示方法およびプログラム
JP7244105B2 (ja) * 2019-12-05 2023-03-22 米沢電気工事株式会社 情報処理装置、情報処理方法、及びプログラム
JP7496513B2 (ja) * 2020-02-14 2024-06-07 パナソニックIpマネジメント株式会社 制御システム、情報処理方法、及び、情報端末
CN113744431B (zh) * 2020-05-14 2024-04-09 大富科技(安徽)股份有限公司 一种共享单车车锁控制装置、方法、设备及介质
JP7483161B2 (ja) 2021-12-27 2024-05-14 三菱電機ビルソリューションズ株式会社 入室管理システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001251672A (ja) * 2000-03-03 2001-09-14 Fujitsu I-Network Systems Ltd 携帯電話装置および携帯電話装置の通話方式
JP2003018305A (ja) * 2001-07-03 2003-01-17 Sharp Corp ドアフォンシステム
JP2003087395A (ja) * 2001-09-13 2003-03-20 Sharp Corp 文字メッセージ送信機能付き移動体通信装置
JP2004236083A (ja) * 2003-01-31 2004-08-19 Aiphone Co Ltd テレビドアホンシステム
JP2009100334A (ja) * 2007-10-18 2009-05-07 Hitachi Software Eng Co Ltd 訪問者応対装置、訪問者応対携帯端末、及びそのシステム
JP2009157782A (ja) * 2007-12-27 2009-07-16 Alpha Corp 生体認証装置及び生体認証方法
JP2010079609A (ja) * 2008-09-26 2010-04-08 Brother Ind Ltd 個人認証装置、個人認証プログラム、および個人認証装置を備えたインターホンシステム
JP2012029242A (ja) * 2010-07-27 2012-02-09 Panasonic Electric Works Co Ltd インターホンシステム
JP5775999B2 (ja) * 2011-02-28 2015-09-09 パナソニックIpマネジメント株式会社 ネットワーク対応型の集合住宅用インターホンシステム
GB2489509A (en) * 2011-03-31 2012-10-03 Lifealike Ltd Wireless device for door entry

Also Published As

Publication number Publication date
JP2017192035A (ja) 2017-10-19

Similar Documents

Publication Publication Date Title
JP6733276B2 (ja) インターホンシステム、このインターホンシステム用のインターホン及び携帯通信端末
JP3552648B2 (ja) アドホック無線通信用データ送受システム及びアドホック無線通信用データ送受方法
US6990444B2 (en) Methods, systems, and computer program products for securely transforming an audio stream to encoded text
JP5385941B2 (ja) 無線ネットワークへのエンロールのためのオーディブルな認証
US9843583B2 (en) System and method for authentication across devices
JP2007523551A (ja) 無線マルチホップアドホックネットワークにおける機器登録
US20110217950A1 (en) Apparatus & method to improve pairing security in Bluetooth™ headsets & earbuds
US20070155366A1 (en) Method, apparatus, and system for biometric authentication of user identity
JP6724514B2 (ja) インターホンシステム、このインターホンシステム用のインターホン及びサーバ装置
US20080195867A1 (en) Authenticating security parameters
CN106211156B (zh) WiFi网络连接方法、装置、终端设备和WiFi接入点
EP3139564A1 (en) Encryption coding module
JP6790430B2 (ja) 電気錠制御システム、この電気錠制御システム用の電気錠制御装置、サーバ装置及び通信端末
JP4945356B2 (ja) 電気錠システム
CN108391323A (zh) 设备互联方法、装置及电子设备
WO2011065217A1 (ja) 通信装置
KR100587100B1 (ko) 멀티모달 방식의 보안인증 방법, 보안인증 시스템 그리고암호화/복호화 방법
KR100499664B1 (ko) 보안 핸드프리키트와 공개키 기반구조를 이용한 보안 통신시스템 및 방법
JP2004096204A (ja) 遠隔音声制御装置、および遠隔音声制御装置による本人認証方法ならびにデータ登録方法、自動音声通知方法、遠隔音声制御プログラム
JP2010109995A (ja) 通話重要度機能付き音声チャットシステム
JP3975156B2 (ja) 認証システム及び認証方法
JP2005218054A (ja) ドアホンシステム
JP2007173951A (ja) 緊急メッセージ送信システム
JP4959428B2 (ja) 出入管理システム
WO2023149510A1 (ja) 認証装置、認証支援方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200622

R150 Certificate of patent or registration of utility model

Ref document number: 6733276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250