JP6724514B2 - インターホンシステム、このインターホンシステム用のインターホン及びサーバ装置 - Google Patents

インターホンシステム、このインターホンシステム用のインターホン及びサーバ装置 Download PDF

Info

Publication number
JP6724514B2
JP6724514B2 JP2016080534A JP2016080534A JP6724514B2 JP 6724514 B2 JP6724514 B2 JP 6724514B2 JP 2016080534 A JP2016080534 A JP 2016080534A JP 2016080534 A JP2016080534 A JP 2016080534A JP 6724514 B2 JP6724514 B2 JP 6724514B2
Authority
JP
Japan
Prior art keywords
unit
intercom
moving image
response
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016080534A
Other languages
English (en)
Other versions
JP2017192034A (ja
Inventor
大石 浩
浩 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Inc filed Critical Toppan Inc
Priority to JP2016080534A priority Critical patent/JP6724514B2/ja
Publication of JP2017192034A publication Critical patent/JP2017192034A/ja
Application granted granted Critical
Publication of JP6724514B2 publication Critical patent/JP6724514B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)

Description

本発明は、電気錠を備えるインターホンシステムに関する。
従来、携帯端末をインターホン親機の代わりに使用するインターホンシステムとして、例えば、特許文献1に記載の技術がある。この技術では、宅外に設置されたインターホン子機からの呼び出しに基づいて、ワイドエリアネットワーク(WAN)等の通信回線を介してインターホン子機を特定の携帯端末(例えば、居住者の携帯端末)との間で通話可能に接続する。このとき、携帯端末のスピーカ部から呼出音を鳴動させるとともに、インターホン子機のカメラ部で撮像された映像信号に基づく映像を携帯端末の表示部に表示させる。また、この接続状態で携帯端末の操作釦を押操作することで、インターホン親機の制御部を介して、電気錠からなる接続機器に玄関ドアを開錠させる。
特開2012−29242号公報
ところで、電気錠は、スマートホン等の携帯端末を持たない対象(例えば、小学生の子供)には使いにくい。また、子供に鍵や携帯端末を持たせた場合にこれらを紛失するリスクが生じる。そのため、子供には鍵や携帯端末を持たせずに、留守宅に子供が帰宅時は、例えば、外出先の親の携帯端末をインターホンの親機の代わりとして用い子供の映像を見ながら子供との通話を行い、本人確認がとれたときに遠隔で玄関ドアの開錠を行う利用形態が望まれる。
しかしながら、上記利用形態を適用した場合に、外出先の同居者の両親等が携帯端末を操作できない状況にある場合に、その間は鍵を開けてあげられず、子供が家に入れないといった状況が発生する可能性がある。
本発明は、このような課題を解決するためになされたものであり、携帯端末をインターホン親機の代わりに使用して遠隔で開錠を行うことが可能なインターホンシステムにおいて、鍵を開けられない状況の発生を低減するのに好適なインターホンシステム、このインターホンシステム用のインターホン及びサーバ装置を提供することを目的としている。
上記目的を達成するために、本発明の第1の形態に係るインターホンシステムは、インターホンと、サーバ装置と、代替呼出先として予め登録された複数の通信端末とを通信回線を介してそれぞれ互いにデータ通信可能に備える。
そして、前記インターホンは、来訪者の来訪を通知する呼出部を有するインターホン子機と、前記インターホン子機との間で通話を可能とするインターホン親機と、前記呼出部の呼出動作に応じて前記来訪者の動画像である第1の動画像を撮像する第1のカメラと、施錠信号及び開錠信号を受信したことに応じて玄関ドアの施錠及び開錠を行う電気錠装置と、前記呼出部の呼出動作に応じて、当該インターホンの識別情報を含む通知情報を、前記サーバ装置に送信する通知情報送信部と、前記第1のカメラで撮像して得られた前記第1の動画像を含む第1の動画像情報を、前記サーバ装置に送信する第1動画像情報送信部と、前記識別情報に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の通信端末のうちいずれか1からの開錠許可情報を受信したことに応じて、前記電気錠装置に前記開錠信号を送信する電気錠制御部と、を備える。
さらに、前記サーバ装置は、前記通知情報を受信したことに応じて、該通知情報に含まれる前記識別情報に対応する代替呼出先の複数の通信端末に対して呼出通知を送信する呼出通知送信部と、前記通信端末からの応答要求を受信したことに応じて、受信した前記第1の動画像情報に含まれている前記第1の動画像を含む第2の動画像情報を、前記応答要求の送信元の通信端末に送信する第2動画像情報送信部と、を備える。
さらに、前記通信端末は、操作部と、画像を表示する表示部と、前記操作部を介した操作入力に基づき前記サーバ装置からの前記呼出通知に対して応答を行うか否かを指示する応答指示部と、前記応答指示部で応答を行う指示がされたことに応じて、応答要求を前記サーバ装置に送信する応答要求送信部と、受信した前記第2の動画像情報に含まれる前記第1の動画像を前記表示部に表示する第1動画像表示部と、前記操作部を介した操作入力に基づき前記表示部に表示された前記第1の動画像の示す来訪者に対して開錠を許可するか否かを指示する開錠指示部と、前記開錠指示部で開錠を許可する指示がされたことに応じて、開錠許可情報を前記インターホンに送信する開錠許可情報送信部と、を備える。
一方、上記目的を達成するために、本発明の第2の形態に係るインターホンシステムは、インターホンと、代替呼出先として予め登録された複数の通信端末とを通信回線を介してそれぞれ互いにデータ通信可能に備える。
そして、前記インターホンは、来訪者の来訪を通知する呼出部を有するインターホン子機と、前記インターホン子機との間で通話を可能とするインターホン親機と、前記呼出部の呼出動作に応じて前記来訪者の動画像である第1の動画像を撮像する第1のカメラと、施錠信号及び開錠信号を受信したことに応じて玄関ドアの施錠及び開錠を行う電気錠装置と、前記呼出部の呼出動作に応じて、当該インターホンの識別情報を含む通知情報を、該識別情報に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の通信端末に対して送信する通知情報送信部と、前記通信端末からの応答要求を受信したことに応じて、前記第1のカメラで撮像して得られた前記第1の動画像を含む第1の動画像情報を、前記応答要求の送信元の通信端末に送信する動画像情報送信部と、前記識別情報に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の通信端末のうちいずれか1からの開錠許可情報を受信したことに応じて、前記電気錠装置に前記開錠信号を送信する電気錠制御部と、を備える。
さらに、前記通信端末は、操作部と、画像を表示する表示部と、前記操作部を介した操作入力に基づき前記インターホンからの前記通知情報に対して応答を行うか否かを指示する応答指示部と、前記応答指示部で応答を行う指示がされたことに応じて、応答要求を前記インターホンに送信する応答要求送信部と、受信した前記第1の動画像情報に含まれる前記第1の動画像を前記表示部に表示する動画像表示部と、前記操作部を介した操作入力に基づき前記表示部に表示された前記第1の動画像の示す来訪者に対して開錠を許可するか否かを指示する開錠指示部と、前記開錠指示部で開錠を許可する指示がされたことに応じて、開錠許可情報を前記インターホンに送信する開錠許可情報送信部と、を備える。
本発明によれば、代替呼出先として複数の登録者の利用する複数の通信端末を予め登録しておき、呼出部の呼出動作に応じて代替呼出先の複数の通信端末に呼出通知を送信する。さらに、この呼出通知に対して応答のあった通信端末に対して来訪者の動画像を含む動画像情報を送信し、インターホンは、代替呼出先の通信端末のうち1つからでも開錠許可情報を受信した場合に玄関ドアを開錠するようにした。これにより、複数の登録者に対して呼出通知を送信するので、複数の登録者が応答する権利を得ることが可能となり、代替呼出先の通信端末の利用者が応答できずに、居住者である鍵や通信端末を持たない子供等の来訪者が家に入れないといった状況が発生するのを低減することが可能となる。
第1実施形態に係るインターホンシステムの全体構成を示すブロック図である。 第1実施形態に係るインターホンの具体的な構成を示すブロック図である。 第1実施形態に係るIP親機及びIP子機の具体的な構成を示すブロック図である。 (a)及び(b)は、第1実施形態に係る外部カメラ及び内部カメラの具体的な構成を示すブロック図である。 第1実施形態に係る第1制御装置の具体的な機能構成を示すブロック図である。 第1実施形態に係る認証サーバの具体的な構成を示すブロック図である。 第1実施形態に係る第2制御装置の具体的な機能構成を示すブロック図である。 第1実施形態に係る携帯通信端末の具体的な構成を示すブロック図である。 第1実施形態に係る第3制御装置の具体的な機能構成を示すブロック図である。 第1実施形態に係るインターホンシステム1の全体の処理の流れの一例を示すシーケンス図である。 第1実施形態に係る通知情報送信処理の処理手順の一例を示すフローチャートである。 第1実施形態に係る第2の動画通話処理の処理手順の一例を示すフローチャートである。 第1実施形態に係る遠隔開錠制御処理の処理手順の一例を示すフローチャートである。 第1実施形態に係る認証処理の処理手順の一例を示すフローチャートである。 第1実施形態に係る動画通話制御処理の処理手順の一例を示すフローチャートである。 第1実施形態に係る代替応答制御処理の処理手順の一例を示すフローチャートである。 第1実施形態に係る開錠許可データ送信処理の処理手順の一例を示すフローチャートである。 (a)及び(b)は、第1実施形態に係るインターホンシステムの動作を説明するための模式図である。 (a)及び(b)は、第1実施形態に係るインターホンシステムの動作を説明するための模式図である。 第2実施形態に係るインターホンシステムの全体構成を示すブロック図である。 第2実施形態に係る第1制御装置の具体的な機能構成を示すブロック図である。 第2実施形態に係る第3制御装置の具体的な機能構成を示すブロック図である。 第2実施形態に係る代替応答制御処理の処理手順の一例を示すフローチャートである。
次に、図面に基づき、本発明の第1〜第2実施形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであり、寸法の関係や比率等は現実のものとは異なることに留意すべきである。
また、以下に示す第1〜第2実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
(第1実施形態)
(構成)
本発明の第1実施形態に係るインターホンシステム1は、図1に示すように、インターホン10_1〜10_n(nは1以上の自然数)と、認証サーバ20と、携帯通信端末30_1〜30_m(mは2以上の自然数)とを備える。
インターホン10_1〜10_nと、認証サーバ20と、携帯通信端末30_1〜30_mとは、基地局40_1〜40_p(pは1以上の自然数)とインターネット50とを介して、それぞれ相互にデータ通信可能に接続されている。
以下、区別する必要が無い場合に、インターホン10_1〜10_nを、単に「インターホン10」と記載する場合があり、携帯通信端末30_1〜30_mを、単に「携帯通信端末30」と記載する場合があり、基地局40_1〜40_pを、単に「基地局40」と記載する場合がある。
(インターホン10の具体的な構成)
インターホン10は、図2に示すように、インターホン親機11(以下、「IP親機11」と記載する場合がある)と、インターホン子機12(以下、「IP子機12」と記載する場合がある)とを備える。
インターホン10は、さらに、外部カメラ13と、電気錠装置14と、第1通信機15と、内部カメラ16とを備える。
ここで、第1実施形態では、IP親機11と、IP子機12、外部カメラ13、第1通信機15及び内部カメラ16とは相互にデータ送受信可能に有線で接続され、IP親機11と、電気錠装置14とは相互にデータ送受信可能に無線で接続されている。
IP親機11は、住宅500の宅内に設けられ、IP子機12との間で来訪者の動画像を見ながらの通話が可能に構成されている。さらに、IP親機11は、第1BT(Bluetooth(登録商標))通信機113(詳細は後述)を備え、電気錠装置14に対して施錠信号及び開錠信号を無線送信することによって、玄関ドア(図示略)の施錠及び開錠を行うことが可能に構成されている。
IP子機12は、住宅500の宅外における例えば玄関ドアの側部に設けられ、IP親機11との間で音声通話が可能に構成されている。
外部カメラ13は、住宅500の宅外における例えばIP子機12の上部に設けられ、来訪者の顔を含む動画像である第1の動画像を撮像する。なお、外部カメラ13は、玄関ドアやIP子機12に設ける構成としてもよい。また、外部カメラ13は、後述する顔認証を行うことと、顔認証の主な適用対象とを考慮して、例えば、背の低い子供の顔を正確に撮影するための子供用の低い位置に設けたカメラを別に設けるようにしてもよい。または、比較的広角を撮像できるカメラを、子供から大人まで対応できる位置に設けるようにしてもよい。
電気錠装置14は、住宅500の宅内における玄関ドアの例えばサムターン部に設けられ、携帯通信端末30やIP親機11から無線で送信される施錠信号及び開錠信号に基づき、モータ等のアクチュエータを備える機械機構部(不図示)にて玄関ドアの施錠及び開錠(サムターンの回動)を自動で行う。
第1通信機15は、住宅500の宅内に設けられ、例えば、光通信用のルータ及びモデムを備える。そして、これらルータ及びモデムによって、インターホン10と、認証サーバ20及び携帯通信端末30との間でインターネット50を介したデータの送受信を行う。
内部カメラ16は、住宅500の宅内における例えば玄関ドアやその上部に設けられ、玄関ドアを通過して宅内に入った来訪者の動画像である第2の動画像を撮像する。
(IP親機11及びIP子機12の具体的な構成)
IP親機11は、図3に示すように、送受話器110と、表示装置111と、第1制御装置112と、第1BT(Bluetooth)通信機113と、施開錠ボタン114と、第2スピーカ115とを備える。
また、IP子機12は、呼出ボタン120と、第3スピーカ121と、第2マイク122とを備える。
送受話器110は、公知の電話機の受話器の構成を有し、第1スピーカ110aと、第1マイク110bとを備える。送受話器110は、非使用時(不通話状態時)に、不図示のフックボタンを押下した状態(オンフック状態)で保持される。そして、使用時に、宅内の利用者が送受話器110を持ち上げてフックボタンを開放した状態(オフフック状態)とすることで、通話可能な状態となるように構成されている。
この送受話器110は、オフフック状態において、宅内の通話者(以下、「宅内話者」と記載する場合がある)の音声を、第1マイク110bを介して電気信号に変換し、該電気信号からなる宅内話者の第1音声信号iVdを第1制御装置112に入力する。
さらに、送受話器110は、第1制御装置112からの宅外の来訪者(以下、「来訪話者」と記載する場合がある)の音声信号である第2音声信号oVdに基づき、第1スピーカ110aから来訪話者の音声である第2音声を出力する。
表示装置111は、例えば液晶ディスプレイから構成され、第1制御装置112からの動画像信号に基づき、外部カメラ13で撮像された来訪者の顔を含む第1の動画像や認証サーバ20から送られてきた動画像等の画像を表示する。
第1制御装置112は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、入出力回路、タイマ回路等を含むマイクロコントローラから構成される。
第1制御装置112は、各種入力信号に基づき、インターホン10を構成する各構成部の動作を制御する。なお、詳細な構成は後述する。
第1BT通信機113は、第1BTアンテナ113aを備え、Bluetoothの通信規格に準拠した無線送受信機である。
第1BT通信機113は、第1実施形態では、電気錠装置14や宅内の携帯通信端末30との間の無線通信を行うものである。
施開錠ボタン114は、施錠ボタン114aと開錠ボタン114bとを備える。施錠ボタン114a及び開錠ボタン114bは、それぞれ宅内の利用者に押下されることで、施錠指示信号Lki及び開錠指示信号ULkiを第1制御装置112に入力する。
第2スピーカ115は、第1制御装置112からのチャイム音信号Chmに基づき、チャイム音を出力する。
一方、IP子機12の呼出ボタン120は、来訪者が押下することで呼出信号BtnをIP親機11に送信する。
第3スピーカ121は、IP親機11からの宅内話者の音声信号である第1音声信号iVdに基づき宅内話者の第1音声を出力する。さらに、IP親機11から入力される、代替呼出先として予め設定された複数の登録者の利用する携帯通信端末30及びインターホン10のマイクに入力された登録者の音声信号である第3音声信号tVdに基づき登録者の第3音声を出力する。
ここで、上記複数の登録者は、代替呼出先としての役割から、インターホン10を利用している居住者の家族(但し携帯通信端末30を所持している者)と、この家族の親類(但しインターホン10及び携帯通信端末30の少なくとも一方を所持している者)など居住者の家族を見知っている者が望ましい。
すなわち、上記居住者の家族のうち、玄関ドアの鍵や携帯通信端末30を持たせたくない子供や老人などについて、これらの人物の顔を知っていてかつ居住者にとって信頼のおける人物が望ましい。なお、信頼のおける人物であれば親類に限らず登録者として設定してもよい。なお、登録者は、居住者全員の顔を見知っている方が望ましい。
第2マイク122は、入力される来訪話者の音声を電気信号に変換し、該電気信号からなる来訪話者の音声信号である第2音声信号oVdをIP親機11に送信する。
(外部カメラ13及び内部カメラ16の具体的な構成)
外部カメラ13は、図4(a)に示すように、撮像部130と、画像コントローラ131と、通信回路132とを備える。
撮像部130は、図示省略するが、撮像レンズ、センサセルアレイ及びA/D変換器を備えたイメージセンサから構成され、被写体からの光を撮像レンズでセンサセルアレイに集光し、その集光量に応じた電荷をセンサセルアレイの各画素に蓄積させる。そして、各画素に蓄積された電荷群を電圧群に順次変換し、変換した電圧群からなるアナログの電圧信号をA/D変換器で順次デジタルの電圧信号に変換して、デジタルの画素信号として画像コントローラ131に入力する。
画像コントローラ131は、画像処理用のマイクロコントローラから構成され、CPU、RAM、ROM、入出力回路、タイマ回路等の他に、画像生成用のフレームメモリや、画像出力タイミングを制御するタイミング制御器等を備えている。
第1実施形態において、外部カメラ13は、IP子機12からの呼出信号Btnの入力に応じて撮像部130による撮像を開始し、IP親機11からの停止指令に応じて撮像を停止する。
撮像が開始されると、画像コントローラ131は、撮像部130からのデジタルの画素信号に基づき、来訪者の顔を撮像範囲に含む動画像データである第1の動画像データoMvを生成し、この第1の動画像データoMvを通信回路132に入力する。加えて、第1の動画像データoMvを形成する画像データに基づき来訪者の顔の予め設定された特徴点のデータである顔特徴点データChfを抽出し、抽出した顔特徴点データChfを通信回路132に入力する。
通信回路132は、画像コントローラ131から入力される第1の動画像データoMv及び顔特徴点データChfを、IP親機11に送信する。
一方、内部カメラ16は、図4(b)に示すように、撮像部160と、画像コントローラ161と、通信回路162とを備える。
ここで、撮像部160、画像コントローラ161及び通信回路162は、上記外部カメラ13の撮像部130、画像コントローラ131及び通信回路132と同様の構成を有する。
内部カメラ16は、IP親機11からの開錠通知データULknの入力に応じて撮像部160による撮像を開始し、IP親機11からの停止指令に応じて撮像を停止する。
撮像が開始されると、画像コントローラ161は、撮像部160からのデジタルの画素信号に基づき、玄関ドアを通過した来訪者を撮像範囲に含む動画像データである第2の動画像データiMvを生成し、この第2の動画像データiMvを通信回路162に入力する。
通信回路162は、画像コントローラ161から入力される第2の動画像データiMvを、IP親機11に送信する。
(第1制御装置112の具体的な機能構成)
第1制御装置112は、機能構成部として、図5に示すように、施開錠制御部112aと、通知情報送信部112bと、開錠状況情報送信部112cと、第1動画通話処理部112dと、第1データ通信制御部112eと、第1開錠状況情報表示部112fとを備える。
また、第1制御装置112には、図5に示すように、呼出ボタン120からの呼出信号Btnと、第3スピーカ121からの第2音声信号oVdと、外部カメラ13からの第1の動画像データoMv及び顔特徴点データChfと、内部カメラ16からの第2の動画像データiMvとが入力される。
さらに、第1制御装置112には、第1スピーカ110aからの第1音声信号iVdと、施開錠ボタン114からの施錠指示信号Lki及び開錠指示信号ULkiと、認証サーバ20からの登録者の音声信号である第3音声信号tVdと、定型文の音声信号である第5音声信号fVdとが入力される。
なおさらに、第1制御装置112には、認証サーバ20からの、他の家に来訪した来訪者の動画像データである第3の動画像データaMv及びこの来訪者の音声信号である第4音声信号aVdと、携帯通信端末30又は他のインターホン10からの開錠許可データULkpが入力される。
なお、各種アナログの信号は、第1制御装置112の備える不図示のA/D変換器によってデジタルのデータ信号に変換される。
また、上記各信号の示すデータを、呼出データBtn、施錠指示データLki、開錠指示データULki、第1音声データiVd、第2音声データoVd、第3音声データtVd、第4音声データaVd、第5音声データfVd、及び開錠許可データULkpと記載する場合がある。
また、以下、第1の動画像データoMv及び第2音声データoVdの組を、「第1の動画音声データoMV」と記載する場合があり、第3の動画像データaMv及び第4音声データaVdの組を、「第2の動画音声データaMV」と記載する場合がある。
施開錠制御部112aは、施開錠ボタン114からの施錠指示データLkiの入力に応じて、施錠信号Lkを第1BT通信機113を介して電気錠装置14に送信する。さらに、施開錠ボタン114からの開錠指示データULkiの入力に応じて、開錠信号ULkを第1BT通信機113を介して電気錠装置14に送信する。なおさらに、第1データ通信制御部112eからの、他のインターホン10や携帯通信端末30から受信した開錠許可データULkpの入力に応じて、開錠信号ULkを第1BT通信機113を介して電気錠装置14に送信する。
さらにまた、施開錠制御部112aは、開錠許可データULkpの入力に対して、開錠信号ULkを第1BT通信機113を介して電気錠装置14に送信したことに応じて、開錠通知データULknを不図示の入出力回路を介して内部カメラ16に送信する。
通知情報送信部112bは、代替呼出モードが設定されている場合に、呼出データBtnの入力に応じて通知データNFを認証サーバ20に送信する処理を行う。ここで、代替呼出モードは、IP親機11によって設定されるモードである。第1実施形態では、不図示の代替呼出ボタンの押下等に応じて設定可能となっている。代替呼出モードは、居住者が家を留守にする際や、IP親機11による応答ができない状態のときに設定するものであり、後述する第2の動画通話処理の実行条件にもなっている。
具体的に、通知情報送信部112bには、呼出データBtnと、顔特徴点データChfとが入力される。通知情報送信部112bは、呼出データBtnの入力に応じて、予め設定されたインターホン10の識別情報ID1(後述)と、顔特徴点データChfとを含む通知データNFを生成する。
通知情報送信部112bは、生成した通知データNFを暗号化するとともに暗号化した通知データNFに電子署名を付与する。そして、暗号化後かつ電子署名を付与後の通知データNFを、第1データ通信制御部112eを介して、認証サーバ20に送信する。
ここで、上記暗号化には、例えば、公開鍵暗号方式、共通鍵暗号方式、またはこれら2つの方式を組み合わせた方式(SSL:Secure Sockets Layer)を用いる。
開錠状況情報送信部112cは、施開錠制御部112aからの開錠許可データULkpの入力に応じて、開錠許可データULkpに含まれる識別情報ID2(後述)に対応する登録者の情報と、開錠が行われたことを示す情報とを含む開錠状況データULiを生成する。そして、生成した開錠状況データULiを、第1データ通信制御部112e及び認証サーバ20を介して、開錠許可データULkpの送信元の他のインターホン10又は携帯通信端末30を除く、代替呼出先の他のインターホン10及び携帯通信端末30に対して送信する。
第1動画通話処理部112dは、各種入力データに基づき、各種動画通話処理を制御する機能と、呼出ボタン120の押下又は他家のインターホン10からの代替呼出の要請に応じてチャイム音を鳴らす機能とを有している。
第1動画通話処理部112dは、来訪者の呼出ボタン120の押下による呼出データBtnの入力に応じて、予めROM等のメモリに記憶されたチャイム音データに基づきチャイム音信号Chmを第2スピーカ115に出力する。さらに、第1動画通話処理部112dは、認証サーバ20からの呼出通知CR(後述)の受信に応じて、メモリに記憶されたチャイム音データに基づきチャイム音信号Chmを第2スピーカ115に出力する。これにより、第2スピーカ115からはチャイム音が出力される。
また、第1動画通話処理部112dは、IP親機11とIP子機12との間で、宅内の利用者が来訪者の動画を見ながらこの来訪者と通話を行うことを可能とする制御処理である第1の動画通話処理を行う。すなわち、第1の動画通話処理は、来訪者の呼出ボタン120の押下による呼び出しに対して、宅内の利用者が送受話器110による応答が可能なときの通話処理となる。
具体的に、第1の動画通話処理は、チャイム音による呼び出しに対して、宅内の利用者が送受話器110による応答(オフフック)を行うことで開始される。第1動画通話処理部112dは、第1の動画像データoMvに基づき、表示装置111に来訪者の動画像を表示し、第2音声信号oVdに基づき送受話器110の第1スピーカ110aから来訪者の第2音声を出力する。さらに、第1音声信号iVdをIP子機12に送信して第3スピーカ121から第1音声を出力する。これにより、宅内の居住者はIP親機11の送受話器110を用いて、表示装置111に表示された来訪者の動画像を見ながら来訪者との通話を行い、一方、来訪者はIP子機12の第3スピーカ121から出力される居住者の音声を聞きながら第2マイク122を介して宅内の利用者との通話を行う。
さらに、第1動画通話処理部112dは、上記代替呼出モードが設定時に、IP子機12と予め設定された他家のインターホン10又は携帯通信端末30との間で、他家のインターホン10又は携帯通信端末30の利用者が来訪者の動画を見ながらこの来訪者と通話を行うことを可能とする制御処理である第2の動画通話処理を行う。すなわち、第2の動画通話処理は、来訪者の呼出ボタン120の押下による呼び出しに対して、例えば居住者が留守にしていて応答できないときの通話処理となる。ここで、第1実施形態では、携帯通信端末30だけでなく、他家のインターホン10によっても代わりに来訪者との動画通話を行うことが可能となっている。
具体的に、第2の動画通話処理は、インターホン10からの代替呼出の要請に応じて、代替呼出先の他家のインターホン10又は携帯通信端末30の利用者が応答操作を行うことに応じて開始される。第1動画通話処理部112dは、認証サーバ20からの通話接続情報TC(例えば、セッション確立用のデータ)に基づき、要請元のインターホン10と、代替呼出先のインターホン10又は携帯通信端末30とを、認証サーバ20を介して、要請元のインターホン10のIP子機12と代替呼出先のインターホン10のIP親機11又は携帯通信端末30との間で動画通話可能に接続する処理を行う。接続後は、外部カメラ13からの第1の動画像データoMvと、第2マイク122からの第2音声データoVdとを、認証サーバ20を介して接続先の他家のインターホン10又は携帯通信端末30に送信する。加えて、認証サーバ20からの第3音声データtVdをIP子機12に送信して第3スピーカ121から第3音声を出力する。
これにより、代替呼出先のインターホン10又は携帯通信端末30の利用者は、その表示装置に表示された来訪者の動画像を見ながら来訪者との通話を行い、一方、来訪者は要請元のインターホン10のIP子機12の第3スピーカ121及び第2マイク122を用いて他家のインターホン10又は携帯通信端末30の利用者との通話を行うことが可能となる。
さらに、第1動画通話処理部112dは、第2の動画通話処理において、施開錠制御部112aから開錠通知データULknが入力されると、これに応じて、内部カメラ16を作動し、内部カメラ16から送られてくる第2の動画像データiMvを、認証サーバ20を介して接続先の他家のインターホン10又は携帯通信端末30に送信する。
これにより、他家のインターホン10又は携帯通信端末30の表示部に、玄関ドアを通過した来訪者の動画像が表示され、他家のインターホン10又は携帯通信端末30の利用者は、開錠後に来訪者が無事に宅内に入ったことなどを確認することが可能となる。
なお、第1実施形態において、IP親機11は、第2の動画通話処理において、通話相手との通話が終了時に、停止指令を外部カメラ13及び内部カメラ16に送信する。
なおさらに、第1動画通話処理部112dは、IP親機11と予め設定された他のインターホン10のIP子機12との間で、宅内の利用者が他の家に来訪した来訪者(以下、「他家来訪者」と記載する場合がある)の動画を見ながらこの他家来訪者と通話を行うことを可能とする制御処理である第3の動画通話処理を行う。すなわち、第3の動画通話処理は、自己のインターホン10が他家の代替呼出先として登録されており、他家が留守のときに、他家のインターホン10から認証サーバ20を介して代替呼出を要請されて、その要請に応答した場合の通話処理となる。
具体的に、他家のインターホン10からの要請に応じたチャイム音による呼び出しに応じて、宅内の利用者がインターホン10の送受話器110による応答(オフフック)を行うことで開始される。
ここで、第1実施形態の第1動画通話処理部112dは、宅内の利用者(特に居住者)に代替呼出であることが解るように、例えば、チャイム音の種類を変えたり、表示装置111に、代替呼出であることを示す情報を表示したりする。
第1動画通話処理部112dは、認証サーバ20からの通話接続情報TCに基づき、要請元のインターホン10と代替呼出先の他家のインターホン10とを、認証サーバ20を介して、要請元のインターホン10のIP親機11と代替呼出先のインターホン10のIP子機12との間で通話が可能に接続する処理を行う。接続後は、認証サーバ20からの第2の動画音声データaMVに基づき、表示装置111に他家来訪者の動画像を表示し、送受話器110の第1スピーカ110aから他家来訪者の第4音声を出力する。加えて、送受話器110の第1マイク110bに入力された第1音声信号iVdを、認証サーバ20を介して接続先の他家のインターホン10に送信する。
ここで、第1実施形態の認証サーバ20は、この第1音声信号iVdを、登録者の音声信号である第3音声信号tVdとして取り扱い、第3音声信号tVdとして、接続先の他家のインターホン10に送信する。他家のインターホン10は、第3音声データtVdをIP子機12に送信して第3スピーカ121から第3音声を出力する。
さらに、第1動画通話処理部112dは、第3の動画通話処理において、他家来訪者に対して開錠を許可するか否かの選択を要請するメッセージを、要請元のインターホン10の表示装置111に表示する。第1動画通話処理部112dは、このメッセージの表示中に、宅内の利用者が開錠ボタン114bを押下することで、開錠許可データULkpを、認証サーバ20を介して他家のインターホン10に送信する。これにより、開錠許可データULkpが、認証サーバ20を介して接続先の他家のインターホン10に送信され、他家の玄関ドアを遠隔で開錠することが可能である。
第1データ通信制御部112eは、IP親機11の各構成部からの送信要求に基づき、第1通信機15を制御して、各構成部からのデータを指定された送信先へと送信する。さらに、第1通信機15を介して受信した、他のインターホン10、認証サーバ20及び携帯通信端末30からの各種データを、対応する各構成部へと入力する処理を行う。
第1開錠状況情報表示部112fは、代替呼出の要請元の他家のインターホン10からの開錠状況データULiに基づき、開錠を行った登録者の情報と、開錠が行われたことを示す情報とを含む開錠状況情報を表示装置111に表示する。
(認証サーバ20の具体的な構成)
認証サーバ20は、図6に示すように、第2通信機21と、第2制御装置22と、記憶装置23とを備える。
記憶装置23は、HDD(Hard Disk Drive)などの大容量の記憶装置から構成される。記憶装置23は、その記憶領域に、顧客情報データベース24と、顔特徴データベース25とが構築されている。
以下、顧客情報データベース24を「顧客情報DB24」と記載する場合があり、顔特徴データベース25を「顔特徴DB25」と記載する場合がある。
第2通信機21は、例えば、上記第1通信機15と同様に、光通信用のルータ及びモデムを備える。そして、これらルータ及びモデムによって、認証サーバ20と、インターホン10及び携帯通信端末30との間でインターネット50を介したデータの送受信を行う。
第2制御装置22は、後述する各機能構成部の機能を、ソフトウェアを用いて実現するためのコンピュータシステムを備えている。かかるコンピュータシステムは、図示省略するが、CPUと、RAMと、ROMと、入出力回路と、タイマ回路と、各種内外バスとを含んで構成される。CPU、RAM、ROM、入出力回路およびタイマ回路は、各種内外バスを介して接続されており、これら接続デバイス間のデータの送受信を可能としている。
さらに、このコンピュータシステムは、入出力回路を介して、第2通信機21と、記憶装置23とが接続されている他、図示省略するが、液晶モニター等の出力装置、マウスやキーボード等の入力装置などが接続されている。
そして、電源を投入すると、ROMなどに記憶されたBIOSなどのシステムプログラムが、ROMに予め記憶された各種専用のコンピュータプログラム、あるいは、記憶装置23にインストールされた各種専用のコンピュータプログラムをRAMにロードする。そして、RAMにロードされたプログラムに記述された命令に従ってCPUが各種リソースを駆使して各種演算処理を行うことで後述する機能構成部の機能をソフトウェア上で実現できるようになっている。
顧客情報DB24は、インターホンシステム1を利用する利用者(顧客)の情報を記憶したデータベースである。具体的に、インターホン10の利用者の情報と、インターホン10の識別情報ID1と、この識別情報ID1と対応付けられた、代替呼出先の複数の登録者の情報と、これら複数の登録者の利用するインターホン10及び携帯通信端末30の識別情報ID2とを含む顧客情報を記憶している。ここで、識別情報ID1及びID2は、例えば、MACアドレスや、固定のIPアドレス、SIP(Session Initiation Protocol)アドレス、IMEI(International Mobile Equipment Identifier)などから構成される。
顔特徴DB25は、同じ家や施設に居住するシステム利用者の顔の特徴点の情報を記憶したデータベースである。具体的に、居住者全員の顔の特徴点の情報や、居住者のうち鍵や携帯通信端末30を持たせたくない子供や老人等の被保護者の顔の特徴点の情報などを記憶している。なお、顔特徴点の情報としては、様々な顔の向きや表情の変化に対応した情報が登録されている。
(第2制御装置22の具体的な機能構成)
第2制御装置22は、図7に示すように、データ復号部210と、ID認証部211と、顔認証処理部212と、呼出通知送信部213と、動画通話制御部214と、第2データ通信制御部215とを備える。
データ復号部210は、第2データ通信制御部215を介して入力されるインターホン10及び携帯通信端末30からの暗号化された各種データのうち必要なデータについて元のデータへと復号化する。
さらに、復号化したデータからハッシュ関数を用いてメッセージダイジェストを生成し、また、受信したデータに付与されている電子署名を復号化する。
そして、上記復号化したデータから生成したメッセージダイジェストと、上記復号化した電子署名に含まれるメッセージダイジェストとが一致するか否かを判定することで、これらのデータの送信元の正当性を判定する。すなわち、一致する場合に、受信した情報が正当な送信者から送信されたデータであると判定し、一致しない場合に、不当な送信者から送信されたデータであると判定する。
データ復号部210は、復号化したデータが正当な送信者から送信されたデータであると判定した場合に、復号化したデータをID認証部211に出力する。
ID認証部211は、入力されたデータに含まれる識別情報ID1又はID2を、顧客情報DB24の登録データ(識別情報ID1_1〜n又は識別情報ID2_1〜q(qは2以上の自然数))と照合する。これにより、識別情報ID1又はID2が顧客情報DB24に登録された正規顧客又は正規登録者の識別情報であるか否かを判定する。そして、識別情報が認証されたデータを後段の対応する各機能構成部に入力する。
具体的に、ID認証部211は、通知データNFに含まれる識別情報ID1が正規顧客の識別情報であると判定した場合に、復号化された通知データNFを顔認証処理部212に入力する。
顔認証処理部212は、入力された通知データNFに含まれる来訪者の顔特徴点データChfと、顔特徴DB25に登録された、入力された通知データNFに含まれる識別情報ID1に対応する登録データ(顔特徴点データ)とを照合することで、来訪者の顔認証を行う。具体的に、来訪者の顔特徴点データChfと、登録データとの一致度(%)が予め設定した一致度閾値以上(例えば、80%以上)となる場合に、来訪者が登録データの該当する人物として認証されたと判定する。一方、一致度閾値以上となる登録データが無かった場合に、来訪者は登録データの人物のいずれにも該当せず認証されなかったと判定する。
顔認証処理部212は、顔認証処理の認証結果である顔認証結果と通知データNFとを呼出通知送信部213に出力する。
呼出通知送信部213は、顔認証結果と識別情報ID1とを含む呼出通知CRを、この識別情報ID1に対応する予め設定された代替呼出先の複数の登録者の複数のインターホン10及び携帯通信端末30に送信する処理を行う。
具体的に、第1実施形態の呼出通知送信部213は、顧客情報DB24に予め登録された、識別情報ID1に対応する代替呼出先のインターホン10及び携帯通信端末30それぞれの呼出通知CRの送信モードに基づき、呼出通知CRの送信処理を行う。送信モードの設定は、例えば、インターホン10や携帯通信端末30等の認証サーバ20とデータ通信可能に接続された端末から行う。
第1実施形態では、顔認証結果の内容にかかわらず呼出通知CRを送信する第1の送信モードと、顔認証結果が、顔認証された結果である場合のみに呼出通知CRを送信する第2の送信モードとが用意されている。
以下、顔認証結果が、来訪者が顔認証された結果を示す場合に「顔認証OK」と記載する場合があり、来訪者が顔認証されなかった結果を示す場合に「顔認証NG」と記載する場合がある。
呼出通知送信部213は、第1の送信モードが設定されている場合に、顔認証結果の内容にかかわらず、入力された顔認証結果と、入力された通知データNFに含まれる識別情報ID1とを含む呼出通知CRを生成する。
そして、呼出通知送信部213は、生成した呼出通知CRに電子署名を付与し、電子署名を付与後の呼出通知CRを、第2データ通信制御部215を介して、識別情報ID1に対応する代替呼出先の複数のインターホン10及び携帯通信端末30のうち第1の送信モードが設定されたインターホン10及び携帯通信端末30に向けて送信する。
一方、呼出通知送信部213は、第2の送信モードが設定されている場合に、顔認証結果を確認して、顔認証結果が顔認証OKのときのみに、入力された顔認証結果と、入力された通知データNFに含まれる識別情報ID1とを含む呼出通知CRを生成する。
そして、呼出通知送信部213は、生成した呼出通知CRに電子署名を付与し、電子署名を付与後の呼出通知CRを、第2データ通信制御部215を介して、識別情報ID1に対応する複数のインターホン10及び携帯通信端末30のうち第2の送信モードが設定されたインターホン10及び携帯通信端末30に向けて送信する。
すなわち、例えば居住者が留守のときなどの応答できない状態のときに来訪者が来訪したことを、代替呼出先として登録された複数のインターホン10及び携帯通信端末30に向けて通知する。
動画通話制御部214は、呼出通知CRの送信先のインターホン10又は携帯通信端末30からの応答要求Req(後述)の受信に応じて、通話接続制御処理を実行する。
具体的に、まず、呼出通知CRに含まれる識別情報ID1に対応するインターホン10に対して、応答要求Reqの送信元のインターホン10又は携帯通信端末30の識別情報ID2を含む応答通知Riを送信する。これにより、応答があったことを通知し、引き続き、応答要求Reqの送信元のインターホン10又は携帯通信端末30と、呼出通知CRに含まれる識別情報ID1に対応するインターホン10とを、両者の間で動画通話可能に接続する制御を行う。動画通話制御部214は、例えば、セッション制御プロトコルの1つであるSIPを用いて、両者の間で動画通話可能にセッションを確立する制御を行う。この場合、認証サーバ20は、SIPプロキシサーバとしての機能を有する。
動画通話制御部214は、動画通話可能に接続後は、識別情報ID1に対応する代替呼出の要請元のインターホン10からの第1の動画音声データoMV、第2の動画像データiMvを、第2データ通信制御部215を介して、接続先のインターホン10又は携帯通信端末30へと転送する。
さらに、動画通話制御部214は、動画通話可能に接続された代替呼出先のインターホン10又は携帯通信端末30からの第3音声データtVd、第2の動画音声データaMV、第5音声データfVdを、第2データ通信制御部215を介して、要請元のインターホン10に転送する。
第2データ通信制御部215は、第2制御装置22の各構成部からの送信要求に基づき、第2通信機21を制御して、各構成部からの各種データを指定された送信先へと送信する。さらに、第2通信機21を介して受信した、インターホン10及び携帯通信端末30からの各種データを、データ復号部210に入力する処理を行う。
(携帯通信端末30の具体的な構成)
携帯通信端末30は、図8に示すように、第3通信機31と、第3制御装置32と、第3マイク33と、第4スピーカ34と、タッチパネル式表示装置35と、第2BT通信機36とを備える。なお、携帯通信端末30は、携帯電話(フューチャーホン、スマートホン等)、タブレット端末、ノートPC等の利用者が携帯可能な通信機器から構成される。
第3通信機31は、図示省略するが、電波を受発信するアンテナと、変調処理を行う送信機と、復調処理を行う受信機とを備え、第3制御装置32から送られてきた送信用データを送信機で電波に乗せて(変調して)アンテナから発信する。アンテナから発信された電波は、基地局40で受信され、基地局40を介してインターネット50に送られ、インターネット50を介してインターホン10、認証サーバ20及び他の携帯通信端末30へと送信される。一方、インターホン10、認証サーバ20及び他の携帯通信端末30から送信されたデータは、インターネット50を介して基地局40に受信され、基地局40から電波に乗せられて発信される。この電波は、アンテナで受信され、受信された電波信号を復調器で復調してデータを取り出し、取り出したデータを第3制御装置32に入力する。
第3制御装置32は、CPU、RAM、ROM、入出力回路、タイマ回路等を含むマイクロコントローラから構成される。
第3制御装置32は、各種入力信号に基づき、携帯通信端末30を構成する各構成部の動作を制御する。なお、詳細な構成は後述する。
第3マイク33は、入力される利用者の音声を電気信号に変換し、該電気信号からなる利用者の音声信号である第3音声信号tVdを第3制御装置32に入力する。
第4スピーカ34は、第3制御装置32から入力される音声データに基づき、音声データに対応した音声を出力する。例えば、第2音声データoVdに基づき、来訪者の第2音声を出力する。
タッチパネル式表示装置35は、液晶ディスプレイの表示パネル部に、タッチ位置を検出するタッチパネルを組み込んだ表示装置である。
タッチパネル式表示装置35は、第3制御装置32からの指令に応じて各種画像の表示を行うとともに、利用者が表示パネル部の表示面(タッチ面)をタッチすることによってタッチパネルを介して検出されたタッチ位置情報を第3制御装置32に入力する。
これにより、利用者は、例えば、タッチパネル式表示装置35の表示パネル部に表示されたボタンや文字等の画像の表示位置をタッチすることで各種指示入力を行うことが可能となる。
第2BT通信機36は、第2BTアンテナ36aを備え、第1BT通信機113と同様に、Bluetoothの通信規格に準拠した無線送受信機である。
第2BT通信機36は、第1実施形態において、玄関ドアの施錠及び開錠を行うために、電気錠装置14との間の無線通信に用いられる。
(第3制御装置32の具体的な機能構成)
第3制御装置32は、その機能構成部として、図9に示すように、第3データ通信制御部320と、顔認証結果検証部321と、第2動画通話処理部322と、開錠許可情報送信部323と、第2開錠状況情報表示部324とを備える。第1実施形態において、これらの機能構成部の機能は、認証サーバ20からの呼出通知CRに応じて、第3制御装置32のCPUにて起動されるアプリケーションプログラムの実行によって実現される。
具体的に、第1実施形態の第3制御装置32は、認証サーバ20からの呼出通知CRを受信すると、例えば、代替呼出に係るアプリケーションプログラムを起動したり、バックグラウンドで待機状態にあるアプリケーションプログラムをアクティブ状態にしたりする。このとき、例えば、呼出音を鳴らしたり、バイブレーション機能によって振動を発生したりすることで、呼出通知CRを受信したことを利用者に報知する。
第3データ通信制御部320は、第3通信機31を介したデータの送受信を制御する機能を有する。さらに、暗号化されたデータついては復号化を行い、復号化したデータを対応する各構成部に入力する。
顔認証結果検証部321は、入力された呼出通知CRに付与された電子署名の正当性を判定する。そして、電子署名の正当性が認められた場合に、入力された呼出通知CRに含まれる顔認証結果に基づき、顔認証OKかNGかを判定する。さらに、この判定結果に基づき、顔認証OKの場合は、その旨を第2動画通話処理部322に通知する。
一方、顔認証結果検証部321は、電子署名の正当性が認められなかった場合、又は顔認証NGだった場合に処理を終了する。なお、日時と対応付けて顔認証結果のログをとるようにしてもよい。これにより、顔認証NGの来訪者があったことを後で確認することが可能となる。また、応答方法の設定によって、顔認証NGの来訪者に対しても応答を行う構成としてもよい。
第2動画通話処理部322は、顔認証OKの通知を受けると、タッチパネル式表示装置35に、呼出通知CR(代替呼出)に対して応答をするか否かを選択する応答選択画像を表示する。
ここで、第1実施形態では、タッチパネル式表示装置35のタッチパネルを介したタッチ入力によって、応答をするか否かを選択することが可能となっている。
第2動画通話処理部322は、応答すると選択された場合に、動画通話処理を行うべく応答要求Reqを、第3データ通信制御部320を介して、認証サーバ20に送信する。一方、応答しないと選択された場合に、応答要求Reqを送信せずに処理を終了する。
また、第2動画通話処理部322は、応答すると選択された場合に、その旨を示す応答選択通知を開錠許可情報送信部323に出力する。
第2動画通話処理部322は、応答要求Reqの送信に応じて認証サーバ20から送られてくる通話接続情報に基づき、認証サーバ20を介して、当該携帯通信端末30と、呼出通知CRに含まれる識別情報ID1に対応するインターホン10とを、両者の間で動画通話可能に接続する制御を行う。
具体的に、認証サーバ20を介して、インターホン10との間で例えばSIPメッセージ等の通話接続情報TCの送受信を行って、両者を動画通話可能に接続する制御を行う。
第2動画通話処理部322は、動画通話可能に接続後は、認証サーバ20を介して受信される接続先のインターホン10からの第1の動画音声データoMVに基づき、来訪者の第1の動画像をタッチパネル式表示装置35に表示するとともに、来訪者の第2音声を第4スピーカ34から出力する処理を行う。
さらに、第2動画通話処理部322は、第3マイク33から入力される当該携帯通信端末30の利用者の音声信号である第3音声信号tVdに基づき、第3音声データtVdを、第3データ通信制御部320を介して認証サーバ20に送信する。これにより、認証サーバ20を介して、第3音声データtVdが接続先のインターホン10に送信される。以下、この動画通話処理を「通常動画通話処理」と記載する場合がある。
一方、第1実施形態では、携帯通信端末30の利用者が、音声通話を行えない環境下にあるときに、定型文応答モードを設定することで、定型文の音声データである第5音声データfVdによる通話応答が可能となっている。この定型文応答モードは予め設定しておいてもよいし、応答するか否かを選択時に毎回設定を選択できるようにしてもよい。また、ミュートの設定が可能となっており、ミュートが設定されている場合は、来訪者の第2音声の出力を行わないようになっている。以下、この動画通話処理を「定型文動画通話処理」と記載する場合がある。また、通常動画通話処理及び定型文動画通話処理とを選択的に行う処理を「第4の動画通話処理」と記載する場合がある。
第2動画通話処理部322は、定型文応答モードが設定されている場合、タッチパネル式表示装置35に、第3制御装置32の備えるメモリ32aに予め記憶された定型文の音声メッセージの中から応答用の音声メッセージを選択する選択画面を表示する。
そして、第2動画通話処理部322は、携帯通信端末30の利用者が、タッチパネルを介したタッチ入力によって、所望の音声メッセージを選択することで、選択された音声メッセージの第5音声データfVdを、第3データ通信制御部320を介して認証サーバ20に送信する。これにより、認証サーバ20を介して、第5音声データfVdが接続先のインターホン10に送信される。
これにより、携帯通信端末30の利用者は、タッチパネル式表示装置35に表示された来訪者の動画像を見ながら来訪者との通話を行うことが可能となる。
なおさらに、第2動画通話処理部322は、認証サーバ20を介して受信される接続先のインターホン10からの第3の動画音声データiMVに基づき、玄関ドアを通過後の来訪者の第2の動画像をタッチパネル式表示装置35に表示する処理を行う。
なお、第2動画通話処理部322は、通話接続中は、タッチパネル式表示装置35に、切断ボタン画像を常時表示し、切断ボタン画像がタッチされたことに応じて、インターホン10との接続を切断する処理を行う。
開錠許可情報送信部323は、第2動画通話処理部322からの応答選択通知に応じて、タッチパネル式表示装置35に、開錠を許可するか否かを選択する開錠選択画像を表示する。
すなわち、第1実施形態では、タッチパネル式表示装置35のタッチパネルを介したタッチ入力によって、開錠を許可するか否かを選択することが可能となっている。
なお、第1実施形態の第2動画通話処理部322は、開錠許可情報送信部323からの開錠不許可通知に応じて、インターホン10との通話接続状態を切断する処理を行う。
開錠許可情報送信部323は、開錠を許可すると選択された場合に、電子署名を付与した開錠許可データULkpを、第3データ通信制御部320を介して、認証サーバ20に送信する。一方、開錠を許可しないと選択された場合に、その旨を示す開錠不許可通知を第2動画通話処理部322に通知する。
第2開錠状況情報表示部324は、インターホン10からの開錠状況データULiに基づき、開錠を行った登録者の情報と、開錠が行われたことを示す情報とを含む開錠状況情報をタッチパネル式表示装置35に表示する。
(インターホンシステム1の全体の処理の流れ)
次に、図10に基づき、第2の動画通話処理を行う場合のインターホンシステム1の全体の処理の流れを説明する。
図10に示すように、まず、来訪者がIP子機12の呼出ボタン120を押下すると呼出データBtnがIP親機11及び外部カメラ13に送信される(S1000)。外部カメラ13は、呼出データBtnの入力に応じて、来訪者の動画像である第1動画像の撮像を開始する。さらに、外部カメラ13は、第1動画像に含まれる来訪者の顔を含む画像データから顔特徴点を抽出し、抽出した顔特徴点データChfと、撮像した第1の動画像データoMvとを、IP親機11に送信する(S1002)。
IP親機11は、呼出データBtnを受信したことに応じて、外部カメラ13からの顔特徴点データChfを取得し、取得した顔特徴点データChfと、インターホン10の識別情報とを含む通知データNFを生成する(S1004)。そして、IP親機11は、生成した通知データNFを認証サーバ20に送信する(S1006)。
認証サーバ20は、通知データNFを受信すると、データの復号化処理、電子署名の検証処理及び識別情報ID1の認証処理を行う。そして、通知データNFに問題がない場合は、顔特徴点データChfに基づき、顔認証処理を行う(S1008)。そして、認証サーバ20は、顔認証結果を含む呼出通知CRを、通知データNFに含まれる識別情報ID1に対応する代替呼出先の複数のインターホン10及び携帯通信端末30に送信する(S1010)。すなわち、例えば、居住者の子供を対象とした場合に、代替呼出先として予め登録されている子供の両親や、祖父、祖母などの親類の利用する複数のインターホン10及び携帯通信端末30に呼出通知CRが送信される。
インターホン10及び携帯通信端末30は、認証サーバ20からの呼出通知CRを受信すると、専用のアプリケーションプログラムを起動し、呼出通知CRに含まれる顔認証結果に基づき顔認証の検証処理を行う。この検証結果が顔認証OKの場合に、応答を行うか否かを選択する応答選択画像を表示装置に表示する(S1011)。そして、利用者の操作部の操作によって応答が選択されたことに応じて、応答要求Reqを認証サーバ20に送信する(S1012)。
認証サーバ20は、応答要求Reqの受信に応じて、代替呼出の要請元のインターホン10と、応答要求の送信元のインターホン10又は携帯通信端末30との間の通話接続処理を制御し、両者を動画通話可能に接続する。これにより、要請元のインターホン10と、接続先のインターホン10又は携帯通信端末30とは、認証サーバ20を介して、動画通話が可能な状態となる(S1014)。
接続先のインターホン10又は携帯通信端末30では、応答選択がなされたことに応じて、動画通話処理中に、開錠選択画像が表示装置に表示される(S1016)。そして、利用者の操作部の操作によって開錠許可が選択されたことに応じて、開錠許可データULkpが認証サーバ20を介して、要請元のインターホン10に送信される(S1018〜S1020)。
要請元のインターホン10は、接続先のインターホン10又は携帯通信端末30からの開錠許可データULkpを受信すると、このデータに付与された電子署名を検証し、検証OKの場合に電気錠装置14に開錠信号ULkを送信して、玄関ドアを開錠する(S1022)。要請元のインターホン10は、さらに、開錠許可データULkpに含まれる識別情報ID2に対応する登録者の情報及び開錠されたことを示す情報を含む開錠状況データULiを、認証サーバ20を介して、開錠許可データULkpの送信元以外の代替呼出先として登録された複数の登録者の複数のインターホン10及び携帯通信端末30に送信する(S1024)。開錠状況データULiを受信したインターホン10及び携帯通信端末30は、受信した開錠状況データULiに基づき開錠状況情報を表示装置に表示する。
さらに、要請元のインターホン10は、玄関ドアの開錠が行われたことに応じて、内部カメラ16による玄関ドアを通過した来訪者の撮像を開始する。そして、この撮像によって得られた来訪者の第2の動画像データiMvを、認証サーバ20を介して接続先のインターホン10又は携帯通信端末30に送信する(S1026〜S1028)。
(通知情報送信処理)
次に、図11に基づき、上記ステップS1004の通知情報送信処理の処理手順を説明する。
インターホン10の第1制御装置112において制御プログラムが実行され、通知情報送信処理が開始されると、図11に示すように、まず、ステップS100に移行する。
ステップS100では、通知情報送信部112bにおいて、呼出データBtnが入力されたか否かを判定し、入力されたと判定した場合(Yes)は、ステップS102に移行し、そうでないと判定した場合(No)は、呼出データBtnが入力されるまで判定処理を繰り返す。
ステップS102に移行した場合は、通知情報送信部112bにおいて、外部カメラ13から入力される顔特徴点データChfを取得して、ステップS104に移行する。
ステップS104では、通知情報送信部112bにおいて、顔特徴点データChfと、予めROM等のメモリに記憶されたインターホン10の識別情報とを含む通知データNFを生成する。そして、生成した通知データNFを暗号化するとともに暗号化した通知データNFに電子署名を付与して、ステップS106に移行する。
ステップS106では、通知情報送信部112bにおいて、第1データ通信制御部112eを介して、暗号化後かつ電子署名を付与後の通知データNFを、認証サーバ20に送信し、一連の処理を終了する。
(第2動画通話処理)
次に、図12に基づき、上記ステップS1014において、インターホン10で行われる第2の動画通話処理の処理手順を説明する。
インターホン10の第1制御装置112において制御プログラムが実行され、第2の動画通話処理が開始されると、図12に示すように、まず、ステップS150に移行する。
ステップS150では、第1動画通話処理部112dにおいて、認証サーバ20からの応答通知Riを受信したか否かを判定し、受信したと判定した場合(Yes)は、ステップS152に移行し、そうでないと判定した場合(No)は、処理を終了する。
ステップS152に移行した場合は、第1動画通話処理部112dにおいて、受信した応答通知Riに基づき通話接続処理を実行する。これにより、インターホン10と、応答通知Riに含まれる識別情報ID2に対応するインターホン10又は携帯通信端末30とを認証サーバ20を介して動画通話可能に接続する。その後、ステップS154に移行する。
ステップS154では、第1動画通話処理部112dにおいて、IP子機12と、接続先のインターホン10又は携帯通信端末30との間で動画通話を行う第2の動画通話処理を開始して、ステップS156に移行する。
具体的に、第1動画通話処理部112dは、IP子機12の第2マイク122を介して得られる来訪者の第2音声データoVdと、外部カメラ13で撮像して得られる来訪者の第1の動画像データoMvとを、認証サーバ20を介して、接続先のインターホン10又は携帯通信端末30に送信する処理を行う。加えて、認証サーバ20を介して送られてくる接続先のインターホン10又は携帯通信端末30の利用者の第3音声データtVd又は第5音声データfVdに基づき、利用者が実際に話した第3音声又は定型文として用意された第5音声をIP子機12の第3スピーカ121から出力する処理を行う。
ステップS156では、第1動画通話処理部112dにおいて、施開錠制御部112aから開錠通知データULknが入力されたか否かを判定し、入力されたと判定した場合(Yes)は、ステップS158に移行し、そうでないと判定した場合(No)は、ステップS154に移行する。
ステップS158に移行した場合は、第1動画通話処理部112dにおいて、内部カメラ16から送信されてくる第2の動画像データiMvを、認証サーバ20を介して、接続先のインターホン10又は携帯通信端末30に送信する処理を行う。その後、ステップS160に移行する。
ステップS160では、第1動画通話処理部112dにおいて、接続先のインターホン10又は携帯通信端末30からの切断要求によって、通話が終了したか否かを判定する。そして、終了したと判定した場合(Yes)は、停止指令を内部カメラ16に送信し、一連の処理を終了し、そうでないと判定した場合(No)は、ステップS158に移行する。
すなわち、接続先との通話が切断されるまで、接続先のインターホン10又は携帯通信端末30に第2の動画像データiMvを送信する。
(遠隔開錠制御処理)
次に、図13に基づき、上記ステップS1022において、インターホン10で行われる遠隔開錠制御処理の処理手順を説明する。遠隔開錠制御処理は、動画通話処理中に割り込みで行われる処理となる。
インターホン10の第1制御装置112において制御プログラムが実行され、遠隔開錠制御処理が開始されると、図13に示すように、まず、ステップS170に移行する。
ステップS170では、施開錠制御部112aにおいて、認証サーバ20を介して、接続先のインターホン10又は携帯通信端末30からの開錠許可データULkpを受信したか否かを判定する。そして、受信したと判定した場合(Yes)は、ステップS172に移行し、そうでないと判定した場合(No)は、元の処理に復帰する。
ステップS172に移行した場合は、施開錠制御部112aにおいて、開錠許可データULkpに付与された電子署名を検証して、ステップS174に移行する。
具体的に、開錠許可データULkpが暗号化されている場合は復号化し、復号化したデータからハッシュ関数を用いてメッセージダイジェストを生成し、このメッセージダイジェストと復号化した電子署名に含まれるメッセージダイジェストとを比較する。
ステップS174に移行した場合は、施開錠制御部112aにおいて、ステップS172の検証結果に基づき、電子署名が正当なものか否かを判定し、正当なものであると判定した場合(Yes)は、ステップS176に移行し、そうでないと判定した場合(No)は、一連の処理を終了し、元の処理に復帰する。
すなわち、メッセージダイジェストの比較結果が、両者が一致している結果の場合に、開錠許可データULkpが正当な送信者からのデータであると判定し、一致していない場合に不当な送信者からのデータであると判定する。
ステップS176に移行した場合は、施開錠制御部112aにおいて、開錠信号ULkを電気錠装置14に送信して、ステップS178に移行する。これにより、電気錠装置14に玄関ドアを開錠させる。
ステップS178では、施開錠制御部112aにおいて、開錠許可データULkpに含まれる識別情報ID2に基づき、この識別情報ID2に対応する登録者の情報と、玄関ドアを開錠したことを示す情報とを含む開錠状況データULiを生成する。そして、生成した開錠状況データULiを、認証サーバ20を介して、代替呼出先として登録された識別情報ID2の登録者以外の他の登録者のインターホン10及び携帯通信端末30に送信する。その後、ステップS180に移行する。
ステップS180では、施開錠制御部112aにおいて、開錠通知データULknを、第1動画通話処理部112dに出力するとともに、内部カメラ16に送信して、一連の処理を終了し元の処理に復帰する。
(認証処理)
次に、図14に基づき、上記ステップS1008において、認証サーバ20で行われる認証処理の処理手順を説明する。
認証サーバ20の第2制御装置22において制御プログラムが実行され、認証処理が開始されると、図14に示すように、まず、ステップS200に移行する。
ステップS200では、データ復号部210において、第2データ通信制御部215を介して、通知データNFを受信したか否かを判定し、受信したと判定した場合(Yes)は、ステップS202に移行し、そうでないと判定した場合(No)は、処理を終了する。
ステップS202に移行した場合は、データ復号部210において、暗号化された通知データNFを復号化する。加えて、通知データNFに付与された電子署名を復号化して、電子署名の検証を行う。その後、ステップS203に移行する。
ステップS203では、データ復号部210において、電子署名が正当な送信者からのものか否かを判定する。そして、正当な送信者からのものである(署名OK)と判定された場合(Yes)は、復号化した通知データNFをID認証部211に入力して、ステップS204に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。
ステップS204では、ID認証部211において、入力された通知データNFに含まれる識別情報ID1の認証処理を行う。その後、ステップS206に移行する。
具体的に、通知データNFに含まれる識別情報ID1を、顧客情報DB24に登録された識別情報と照合して、該当するものがあるか否かを判定することで、識別情報ID1の認証処理を行う。
ステップS206では、ID認証部211において、ステップS204の認証処理結果に基づき、識別情報ID1が認証されたか否かを判定する。そして、認証されたと判定した場合(Yes)は、通知データNFを顔認証処理部212に入力して、ステップS208に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。
ステップS208に移行した場合は、顔認証処理部212において、入力された通知データNFに含まれる顔特徴点データChfに基づき、来訪者の顔認証処理を実行して、顔認証結果を呼出通知送信部213に入力して、ステップS210に移行する。
具体的に、通知データNFに含まれる顔特徴点データChfと、通知データNFに含まれる識別情報ID1に対応付けて顔特徴DB25に登録された顔特徴点データとの一致度を求め、一致度が予め設定した一致度閾値以上であるか否かを判定する。そして、一致度閾値以上と判定したときは、顔認証OKの顔認証結果を呼出通知送信部213に入力し、一致閾値未満と判定したときは顔認証NGの顔認証結果を呼出通知送信部213に入力する。
ステップS210では、呼出通知の送信モードが第1送信モードに設定されているか否かを判定し、設定されていると判定した場合(Yes)は、ステップS212に移行し、そうでないと判定した場合(No)は、ステップS216に移行する。
ステップS212に移行した場合は、呼出通知送信部213において、入力された通知データNFに含まれる識別情報ID1と、入力された顔認証結果とを含む呼出通知CRを生成して、ステップS218に移行する。
一方、ステップS210において、第2送信モードが設定されていてステップS214に移行した場合は、呼出通知送信部213において、顔認証結果が顔認証OKか否かを判定する。そして、顔認証OKであると判定した場合(Yes)は、ステップS216に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。
ステップS216に移行した場合は、顔認証OKの顔認証結果と、入力された通知データNFに含まれる識別情報ID1とを含む呼出通知CRを生成して、ステップS218に移行する。
ステップS218では、呼出通知送信部213において、ステップS212又はS216で生成した呼出通知CRに電子署名を付与する。そして、電子署名を付与後の呼出通知CRを、通知データNFに含まれる識別情報ID1に対応付けて顧客情報DB24に登録された代替呼出先の複数の登録者の複数のインターホン10及び携帯通信端末30に送信する。その後、一連の処理を終了する。
(動画通話制御処理)
次に、図15に基づき、上記ステップS1014において、認証サーバ20で行われる動画通話制御処理の処理手順を説明する。
認証サーバ20の第2制御装置22において制御プログラムが実行され、動画通話制御処理が開始されると、図15に示すように、まず、ステップS250に移行する。
ステップS250では、データ復号部210において、第2データ通信制御部215を介して、応答要求Reqを受信したか否かを判定し、受信したと判定した場合(Yes)は、ステップS252に移行し、そうでないと判定した場合(No)は、処理を終了する。
ステップS252に移行した場合は、データ復号部210において、暗号化された応答要求Reqを復号化する。加えて、応答要求Reqに付与された電子署名を復号化して、電子署名の検証を行う。その後、ステップS253に移行する。
ステップS253では、データ復号部210において、電子署名が正当な送信者からのものか否かを判定する。そして、正当な送信者からのものである(署名OK)と判定された場合(Yes)は、復号化した応答要求ReqをID認証部211に入力して、ステップS254に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。
ステップS254では、ID認証部211において、入力された応答要求Reqに含まれる識別情報ID2の認証処理を行う。その後、ステップS256に移行する。
具体的に、応答要求Reqに含まれる識別情報ID2を、顧客情報DB24に登録された識別情報と照合して、該当するものがあるか否かを判定することで、識別情報ID2の認証処理を行う。
ステップS256では、ID認証部211において、ステップS254の認証処理結果に基づき、識別情報ID2が認証されたか否かを判定する。そして、認証されたと判定した場合(Yes)は、応答要求Reqを動画通話制御部214に入力して、ステップS258に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。
ステップS258に移行した場合は、動画通話制御部214において、通話接続制御処理を実行して、代替呼出の要請元のインターホン10と、応答要求Reqの送信元のインターホン10又は携帯通信端末30とを、両者の間で動画通話可能に接続する。その後、ステップS260に移行する。
ここで、第1実施形態の通話接続制御処理は、例えばSIP等のセッション制御プロトコルを用いて、要請元のインターホン10と、相手側のインターホン10又は携帯通信端末30との間のセッションを確立する処理となる。
ステップS260では、動画通話制御部214において、接続が成功したか否かを判定し、成功したと判定した場合(Yes)は、ステップS262に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。なお、接続が失敗した場合、ステップS258の処理を何度かリトライして、全て失敗した場合に終了としてもよい。
ステップS262に移行した場合は、動画通話制御部214において、動画通話制御処理を実行して、要請元のインターホン10と、接続先のインターホン10又は携帯通信端末30との間の音声データ及び動画像データの送受信を制御する。その後、ステップS264に移行する。
具体的に、動画通話制御部214は、要請元のインターホン10からの第1の動画音声データoMV及び第2の動画像データiMVを接続先のインターホン10又は携帯通信端末30に転送する制御を行う。さらに、接続先のインターホン10又は携帯通信端末30からの第3音声データtVd又は第5音声データfVdを要請元のインターホン10に転送する制御を行う。
ステップS264では、動画通話制御部214において、要請元のインターホン10と、接続先のインターホン10又は携帯通信端末30との間の通話が終了したか否かを判定し、終了したと判定した場合(Yes)は、一連の処理を終了し、そうでないと判定した場合(No)は、ステップS262に移行する。
(第4の動画通話処理)
次に、図16に基づき、上記ステップS1014において、携帯通信端末30で行われる代替応答制御処理の処理手順を説明する。
携帯通信端末30の第3制御装置32において、呼出通知CRを受信したことに応じて、アプリケーションプログラムが起動し、代替応答制御処理が開始されると、図16に示すように、まず、ステップS300に移行する。
ステップS300では、第3データ通信制御部320において、呼出通知CRを受信したか否かを判定する。そして、受信したと判定した場合(Yes)は、受信した呼出通知CRを顔認証結果検証部321に入力して、ステップS302に移行し、そうでないと判定した場合(No)は、処理を終了する。
ステップS302に移行した場合は、顔認証結果検証部321において、入力された呼出通知CRに含まれる顔認証結果が顔認証OKかNGかを検証する。その後、ステップS304に移行する。
ここで、顔認証結果検証部321は、入力された呼出通知CRに付与された電子署名を検証し、検証OKの場合に、引き続き顔認証処理を実施する。
ステップS304では、顔認証結果検証部321において、ステップS302の検証結果に基づき、顔認証OKか否かを判定し、顔認証OKであると判定した場合(Yea)は、ステップS306に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。すなわち、電子署名の検証結果がNGの場合及び顔認証NGの場合に処理を終了する。
ステップS306に移行した場合は、第2動画通話処理部322において、タッチパネル式表示装置35に、応答選択画像を表示して、ステップS308に移行する。
ステップS308では、第2動画通話処理部322において、タッチパネルを介した利用者からのタッチ入力に基づき、応答が選択されたか否かを判定する。そして、応答が選択されたと判定した場合(Yes)は、ステップS309に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。
具体的に、第1実施形態の第2動画通話処理部322は、応答の文字が描かれた応答ボタン画像及び拒否の文字が描かれた拒否ボタン画像をタッチパネル式表示装置35の表示画面に表示する。そして、携帯通信端末30の利用者は、画面に表示された応答ボタン画像及び拒否ボタン画像のいずれかの画像位置をタッチすることで応答するか否かを選択することが可能となっている。
ステップS309では、第2動画通話処理部322において、応答要求Reqを、認証サーバ20を介して、代替呼出の要請元のインターホン10に送信して、ステップS310に移行する。
ステップS310に移行した場合は、第2動画通話処理部322において、認証サーバ20から送られてくる通話接続情報TCに基づき通話接続処理を実行して、携帯通信端末30と、代替呼出の要請元のインターホン10のIP子機12とを両者の間で動画通話可能に接続する処理を行う。その後、ステップS312に移行する。
ステップS312では、第2動画通話処理部322において、定型文応答モードが設定されているか否かを判定し、設定されていないと判定した場合(No)は、ステップS314に移行し、設定されていると判定した場合(Yes)は、ステップS316に移行する。
ステップS314に移行した場合は、第2動画通話処理部322において、通常動画通話処理を実行して、接続先のインターホン10のIP子機12との間の動画通話を制御する。その後、ステップS318に移行する。
具体的に、第2動画通話処理部322は、接続先のインターホン10からの第1の動画音声データoMV及び第2の動画像データiMvに基づき、第1の動画像及び第2の動画像をタッチパネル式表示装置35に表示し、第4スピーカから来訪者の第2の音声を出力する。また、第3マイク33を介して入力される利用者の第3音声データtVdを、認証サーバ20を介して接続先(要請元)のインターホン10に送信する。
一方、ステップS316に移行した場合は、第2動画通話処理部322において、定型文動画通話処理を実行して、定型文の音声メッセージを用いて、接続先のインターホン10のIP子機12との間の動画通話を制御する。その後、ステップS318に移行する。
具体的に、第2動画通話処理部322は、接続先のインターホン10からの第1の動画音声データoMV及び第2の動画像データiMvに基づき、第1の動画像及び第2の動画像をタッチパネル式表示装置35に表示し、第4スピーカから来訪者の第2の音声を出力する。但し、ミュートが設定されている場合は音声出力を行わない。また、第2動画通話処理部322は、予め登録された定型文音声メッセージの候補をタッチパネル式表示装置35に表示する。そして、タッチパネルを介したタッチ入力に基づき、指定された定型文音声メッセージの第5音声データfVdを、認証サーバ20を介して接続先のインターホン10に送信する。
ステップS318に移行した場合は、接続先のインターホン10との通話が終了したか否かを判定し、終了したと判定した場合(Yes)は、一連の処理を終了し、そうでないと判定した場合(No)は、ステップS312に移行する。
(開錠許可データ送信処理)
次に、図17に基づき、上記ステップS1016において、携帯通信端末30で行われる開錠許可データ送信処理の処理手順を説明する。
携帯通信端末30の第3制御装置32において、呼出通知CRを受信したことに応じて、アプリケーションプログラムが起動し、開錠許可データ送信処理が開始されると、図17に示すように、まず、ステップS350に移行する。
ステップS350では、開錠許可情報送信部323において、第2動画通話処理部322から応答選択通知が入力されたか否かを判定する。そして、入力されたと判定した場合(Yes)は、ステップS352に移行し、そうでないと判定した場合(No)は、処理を終了する。
ステップS352に移行した場合は、開錠許可情報送信部323において、開錠選択画像をタッチパネル式表示装置35に表示する。その後、ステップS354に移行する。
具体的に、第1実施形態の開錠許可情報送信部323は、開錠許可の文字が描かれた開錠許可ボタン画像及び不許可の文字が描かれた不許可ボタン画像をタッチパネル式表示装置35の表示画面に表示する。そして、携帯通信端末30の利用者は、画面に表示された開錠許可ボタン画像及び不許可ボタン画像のいずれかの画像位置をタッチすることで開錠を許可するか否かを選択することが可能となっている。
ステップS354では、開錠許可情報送信部323において、タッチパネルを介したタッチ入力に基づき、開錠許可が選択されたか否かを判定し、開錠許可が選択されたと判定した場合(Yes)は、ステップS356に移行し、そうでないと判定した場合(No)は、ステップS358に移行する。
ステップS356に移行した場合は、開錠許可情報送信部323において、開錠許可データULkpを、認証サーバ20を介して、接続先のインターホン10に送信する処理を行う。その後、一連の処理を終了する。
一方、ステップS358に移行した場合は、開錠許可情報送信部323において、第2動画通話処理部322からの通知に基づき、接続先のインターホン10との通話が終了(切断)したか否かを判定し、終了したと判定した場合(Yes)は、一連の処理を終了し、そうでないと判定した場合(No)は、ステップS354に移行する。
(動作)
次に、図18及び図19に基づき、第1実施形態のインターホンシステム1の動作を説明する。
ここで、住宅500にてインターホン10_1が利用されており、居住者は、両親と子供の3人家族であるとする。そして、インターホン10_1の識別情報ID1_1が認証サーバ20の顧客情報DB24に登録されているとする。さらに、代替呼出先として母親及び父親の携帯通信端末30_1及び30_2の識別情報ID2_1及び2と、祖母の携帯通信端末30_3の識別情報ID2_3と、住居600にて祖母及び祖父が利用するインターホン10_2の識別情報ID2_4とが認証サーバ20の顧客情報DB24に登録されているとする。
いま、図18(a)に示すように、両親が留守にしている住宅500に子供が帰宅してきて、呼出ボタン120を押下したとする。これにより、呼出データBtnがIP親機11及び外部カメラ13に送信される。これにより、外部カメラ13が撮像を開始して、呼出ボタン120を押下した子供(来訪者)の動画像(第1の動画像)を撮像する。さらに、撮像により得られる第1の動画像データoMvに基づき、子供の顔を含む画像データから顔特徴点データChfを抽出する。そして、第1の動画像データoMv及び顔特徴点データChfを、宅内のIP親機11に送信する。
IP親機11は、呼出データBtnを受信したことに応じて(S100のYes)、外部カメラ13から送られてくる顔特徴点データChfを取得し(S102)、取得した顔特徴点データChfと、識別情報ID1_1とを含む通知データNFを生成する。さらに、この通知データNFを暗号化しかつ暗号化後のデータに電子署名を付与する(S104)。そして、暗号化後かつ電子署名付与後の通知データNFを、インターネット50を介して認証サーバ20に送信する(S106)。
一方、認証サーバ20は、インターホン10_1から送られてきた通知データNFを受信すると(S200のYes)、受信した通知データNFを復号化するとともに付与されている電子署名を検証する。この検証により正当な送信者から送信されたものであると判定すると(S202)、次に、通知データNFに含まれる識別情報ID_1の認証処理を行う(S204)。そして、この識別情報ID_1が認証されると(S206のYes)、次に、受信した通知データNFに含まれる子供の顔特徴点データChfに基づき、顔認証処理を実行する(S208)。
ここで、この子供の顔特徴点データChfは、事前に取得したものが、認証サーバ20の顔特徴DB25に識別情報ID_1に対応付けて登録されている。従って、認証サーバ20は、呼出ボタン120を押下した子供の顔特徴点データChfと顔特徴DB25に登録されている顔特徴点データとの一致度を判定する。ここで、子供が顔を隠す等変なことをしていなければ、登録データとの一致度は高い確率で一致度閾値以上となる。ここでは、顔認証OKの顔認証結果が得られたとする。
なお、ここでは、呼出通知CRの送信モードとして第2送信モードが設定されているとする(S210のNo)。すなわち、顔認証結果が顔認証OKのときのみ呼出通知CRを送信するモードが設定されている。
従って、認証サーバ20は、顔認証OKであることを確認すると(S216のYes)、この顔認証結果と、識別情報ID1_1とを含む呼出通知CRを生成する(S218)。そして、この呼出通知CRを暗号化しかつ暗号化後のデータに電子署名を付与する。さらに、顧客情報DB24から、識別情報ID1に対応する登録者の識別情報ID2_1〜4を取得し、これらの識別情報に対応するインターホン10_2及び携帯通信端末30_1〜3に対して、暗号化後かつ電子署名付与後の通知データNFを送信する(S214)。
すなわち、図18(b)に示す、母の持つ携帯通信端末30_1、祖母の持つ携帯通信端末30_3、電車に乗っている父の持つ携帯通信端末30_2、祖父の居る住居600のインターホン10_2に、呼出通知CRが送信される。
これによって、インターホン10_2では、IP親機11が呼出通知CRを受信したことに応じて、第1スピーカ110aを介してチャイム音を鳴らすとともに表示装置111に代替呼出であることを示すメッセージが表示される。
一方、携帯通信端末30_1〜3では、呼出通知CRを受信したことに応じて(S300のYes)、専用のアプリケーションプログラムが起動し、呼出通知CRに含まれる顔認証結果に基づき顔認証結果を検証する処理が実行される(S302)。これによって、顔認証OKが確認されると(S304のYes)、携帯通信端末30_1〜3は、タッチパネル式表示装置35に応答選択画像を表示する(S306)。このとき、携帯通信端末30_1〜3は、各端末の設定状態に応じて、呼出音を出力したり、バイブレーション機能で振動を発生したりする。
ここでは、一番最初に、母が応答ボタン画像をタッチして、携帯通信端末30_1で応答が選択されたとする(S308のYes)。なお、インターホン10_2では、祖父が送受話器110を持ち上げてオフフック状態にすることで応答が選択されることになる。
引き続き、携帯通信端末30_1は、応答が選択されたことに応じて、識別情報ID2_1を含む応答要求Reqを、認証サーバ20に送信する(S309)。
認証サーバ20は、応答要求Reqを受信すると(S250のYes)、受信した応答要求Reqのデータ復号化及び電子署名の検証を行い(S252〜S253)、電子署名の検証がOKの場合に、続いてID認証処理を行う(S254)。そして、一番最初に受信した応答要求Reqに含まれる識別情報ID2_1が認証されたとする(S256のYes)。
これにより、認証サーバ20は、一番最初に受信した応答要求Reqの送信元の母の携帯通信端末30_1を代替呼出先と認定し、インターホン10_2及び携帯通信端末30_2〜3に対して、例えば、他の登録者が応答をした旨を通知する。インターホン10_2及び携帯通信端末30_2〜3は、この通知を受けると、「他の登録者(母)が応答しました」といったメッセージを表示装置に表示する。すなわち、第1実施形態では、代替呼出に対する応答は早い者順となっている。
認証サーバ20は、引き続き、インターホン10_1と携帯通信端末30_1とを両者の間で動画通話可能に接続するための通話接続制御を行う(S258)。ここでは、SIPを利用して、通話接続制御を行う。認証サーバ20は、まず、識別情報ID2_1を含む応答通知Riを、インターホン10_1に送信する。
インターホン10_1は、認証サーバ20からの応答通知Riを受信すると(S150のYes)、認証サーバ20を介して、受信した応答通知Riに含まれる識別情報ID2_1に基づき携帯通信端末30_1と動画通話可能に接続する処理を実行する(S152)。
具体的に、SIPメッセージのINVITEメッセージを、認証サーバ20を介して携帯通信端末30_1に送信する。
携帯通信端末30_1は、インターホン10_1からのINVITEメッセージを受信すると、インターホン10_1との通話接続処理を実行する。
具体的に、インターホン10_1からのINVITEメッセージに対して、認証サーバ20を介して200OKメッセージをインターホン10_1に送信する。
一方、インターホン10_1は、携帯通信端末30_1からの200OKメッセージに対して認証サーバ20を介してACKメッセージを携帯通信端末30_1を送信する。これにより、インターホン10_1と携帯通信端末30_1との間でセッションが確立し、両者が動画通話可能に接続される。
このとき、認証サーバ20は、両者の間のSIPメッセージを中継して転送する役割を果たす。
インターホン10_1と携帯通信端末30_1とが動画通話可能に接続されると、インターホン10_1は、第2の動画通話処理を実行して、外部カメラ13で撮像して得られる子供の第1の動画像データoMvと、IP子機12の第2マイク122を介して入力される子供の第2音声データoVdとを、認証サーバ20を介して携帯通信端末30_1に送信する(S154)。
一方、携帯通信端末30_1は、インターホン10_1と動画通話可能に接続すると、ここでは、定型文応答モードが設定されていないとして(S312のNo)、通常動画通話処理を実行する。これにより、インターホン10_1からの、第1の動画像データoMvに基づき、子供の動画像をタッチパネル式表示装置35に表示し、第2音声データoVdに基づき、子供の音声を第4スピーカ34から出力する。
また、携帯通信端末30_1は、第3マイク33を介して入力される母の第3音声データtVdを、認証サーバ20を介してインターホン10_1に送信する。
インターホン10_1は、携帯通信端末30_1からの第3音声データtVdに基づき、IP子機12の第3スピーカ121から母親の音声を出力する。
このようにして、子供はインターホン10_1のIP子機12を用いて母と通話し、母は携帯通信端末30_1のタッチパネル式表示装置35に表示された子供の動画像を見ながら、第3マイク33及び第4スピーカ34を用いて子供と通話する。
また、携帯通信端末30_1では、応答選択画像を介して応答が選択されたことに応じて(S350のYes)、タッチパネル式表示装置35に開錠選択画像を表示する(S352)。これにより、母親は子供と通話中にいつでも開錠許可又は開錠不許可を選択することが可能となる。
母親は、子供との動画通話によって、目視と通話による本人確認を行い、本人だと断定すると、画面に表示された開錠許可ボタン画像の画像位置をタッチすることで開錠許可を選択する(S354のYes)。携帯通信端末30_1は、開錠許可が選択されると、開錠許可データULkpを、認証サーバ20を介してインターホン10_1に送信する(S356)。
インターホン10_1は、携帯通信端末30_1からの開錠許可データULkpを受信すると(S170のYes)、開錠許可データULkpに付与された電子署名の検証を行う(S172)。ここでは、検証OKとして(S174のYes)、インターホン10_1は、開錠信号ULkを、電気錠装置14に送信する(S176)。これにより、図19(a)に示すように、子供は玄関ドアを開けて、宅内に入ることができる。
引き続き、インターホン10_1は、識別情報ID2_1に対応する母の情報(例えば実名やハンドル名)と、開錠が行われたことを示す情報とを含む開錠状況データULiを生成し、生成した開錠状況データULiを、認証サーバ20を介して携帯通信端末30_1以外の登録された他の端末に送信する(S178)。すなわち、開錠状況データULiを、インターホン10_2及び携帯通信端末30_2〜3に送信する。これにより、開錠状況データULiを受信したインターホン10_2及び携帯通信端末30_2〜3は、受信した開錠状況データULiに基づき開錠状況情報を表示装置に表示する。これにより、これらの端末の利用者は、母が開錠を行ったことを知ることが可能である。
続いて、インターホン10_1は、開錠通知データULknを、内部カメラ16及び第1動画通話処理部112dに出力する。これにより、インターホン10_1は、内部カメラ16による撮像を開始する。このとき、外部カメラ13による撮像を停止してもよい。そして、内部カメラ16で撮像して得られる、玄関ドアを通過して宅内に入った子供の第2の動画像データiMvを、認証サーバ20を介して、携帯通信端末30_1に送信する(S158)。
携帯通信端末30_1は、インターホン10_1からの第2の動画像データiMvに基づき、宅内に入った子供の動画像をタッチパネル式表示装置35に表示する。母親は、この動画像により、子供が無事に宅内に入ったことを見届けると、インターホン10_1との通話を切断する。
具体的に、タッチパネル式表示装置35には、動画通話処理中に、切断ボタン画像が常時表示されており、母親が切断ボタン画像をタッチすることで、インターホン10_1に対してBYEメッセージが認証サーバ20を介して送信される。これにより、インターホン10_1との通話接続状態が切断される(S358のYes)。
一方、別の動作例として、定型文応答モードが設定されている場合の動作を説明する。
ここでは、図18(b)に示す、電車700に乗車していて、車内で声を出して通話したくない状態の父親の携帯通信端末30_2が、代替呼出先として認証サーバ20に認定されたとする。
これにより、認証サーバ20の通話接続制御処理が実行され、インターホン10_1と携帯通信端末30_2とが動画通話可能に接続される。
携帯通信端末30_2は、動画通話可能に接続されると、定型文応答モードが設定されているため(S312のYes)、インターホン10_1との間で定型文動画通話処理を行う(S316)。
具体的に、定型文動画通話処理が実行されると、第3マイク33を介して入力される第3音声データtVdの代わりに、予めメモリ32aに登録されている例えば父親の音声による定型文音声メッセージに対応する第5音声データfVdを、インターホン10_1に送信する。
例えば、図19(b)に示すように、携帯通信端末30_2の表示画面に、定型文音声メッセージの候補(定型文のテキスト)が表示され、父は、タッチパネルを介して所望のメッセージを選択する。図19(b)では、「おかえりなさい。手洗い、うがい忘れないようにね。」のメッセージが選択された状態となっている。
この状態で、図19(b)中の「はい」ボタンをタッチすることで、選択された定型文音声メッセージに対応する第5音声データfVdが、インターホン10_1に送信される。インターホン10_1では、IP子機12の第3スピーカ121から父親の声で上記選択された定型文音声が出力される。
一方、携帯通信端末30_2でマナーモードやミュート設定がされていると、携帯通信端末30_2では、子供の音声が出力されない。そのため、音声については一方通行な状態となるが、イヤホン等を用いることで、車内で音を出さずに子供の声を聞きながら、定型文音声による応答を行って子供との通話が可能である。
ここで、上記第1実施形態において、認証サーバ20がサーバ装置に対応し、インターホン10及び携帯通信端末30が通信端末に対応し、呼出ボタン120が呼出部に対応し、外部カメラ13が第1のカメラに対応する。
また、上記第1実施形態において、施開錠制御部112aが開錠制御部に対応し、第1動画通話処理部112dが第1動画像情報送信部に対応し、動画通話制御部214が第2動画像情報送信部に対応する。
また、上記第1実施形態において、タッチパネル式表示装置35が操作部及び表示部に対応し、第2動画通話処理部322が応答指示部及び応答要求送信部に対応し、開錠許可情報送信部323が開錠指示部及び開錠許可情報送信部に対応する。
また、上記第1実施形態において、動画通話制御部214が通話接続部に対応し、第3マイク33、第4スピーカ34及び第2動画通話処理部322が通話部に対応し、外部カメラ13が生体情報取得部に対応し、顔特徴点データChfが生体情報に対応する。
また、上記第1実施形態において、内部カメラ16が第2のカメラに対応し、第1動画通話処理部122dが第3動画像情報送信部に対応し、第2動画通話処理部322が第1動画像表示部、第2動画像表示部及び定型文応答部に対応する。
(第1実施形態の効果)
(1)第1実施形態に係るインターホンシステム1は、インターホン10_1〜nと、認証サーバ20と、代替呼出先として予め登録されたインターホン10_1〜n及び携帯通信端末30_1〜mとをインターネット50を介してそれぞれ互いにデータ通信可能に備える。
インターホン10は、屋外に設けられたインターホン子機12が、来訪者の来訪を通知する呼出ボタン120を有し、宅内に設けられたインターホン親機11がインターホン子機12との間で通話を可能とする。さらに、外部カメラ13が、呼出ボタン120からの呼出データBtnの入力に応じて来訪者の動画像である第1の動画像を撮像し、電気錠装置14が、施錠信号Lk及び開錠信号ULkを受信したことに応じて玄関ドアの施錠及び開錠を行う。なおさらに、通知情報送信部112bが、呼出ボタン120からの呼出データBtnの入力に応じて、当該インターホン10の識別情報ID1を含む通知データNFを、認証サーバ20に送信する。第1動画通話処理部112dが、外部カメラ13で撮像して得られた第1の動画像を含む第1の動画像データoMvを、認証サーバ20に送信する。施開錠制御部112aが、識別情報ID1に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数のインターホン10及び携帯通信端末30(以下、単に「通信端末」と称す)のうちいずれか1からの開錠許可データULkpを受信したことに応じて、電気錠装置14に開錠信号ULkを送信する。
認証サーバ20は、呼出通知送信部213が、インターホン10からの通知データNFを受信したことに応じて、該通知データNFに含まれる識別情報ID1に対応する代替呼出先の複数の通信端末に対して呼出通知CRを送信する。動画通話制御部214が、通信端末からの応答要求Reqを受信したことに応じて、受信した第1の動画像データoMvを、応答要求Reqの送信元の通信端末に送信する。
代替呼出先のインターホン10(携帯通信端末30)は、表示装置111及び施開錠ボタン114(タッチパネル式表示装置35)を備える。第1動画通話処理部112d(第2動画通話処理部322)が、施開錠ボタン114(タッチパネル式表示装置35)を介した操作入力に基づき呼出通知CRに対して応答を行うか否かを指示するとともに、応答を行う指示がされたことに応じて、応答要求Reqを認証サーバ20に送信する。第1動画通話処理部112d(第2動画通話処理部322)が、受信した第3の動画像データaMv(第1の動画像データoMv)に基づき第3の動画像(第1の動画像)を表示装置111(タッチパネル式表示装置35)に表示する。第1動画通話処理部112d(開錠許可情報送信部323)が、施開錠ボタン114(タッチパネル式表示装置35)を介した操作入力に基づき表示された第3の動画像(第1の動画像)の示す来訪者に対して開錠を許可するか否かを指示するとともに、開錠を許可する指示がされたことに応じて、開錠許可データULkpを代替呼出の要請元のインターホン10に送信する。
上記構成によれば、代替呼出先として複数の登録者の利用する複数のインターホン10及び携帯通信端末30を予め登録しておき、呼出ボタン120の呼出データBtnの入力に応じて代替呼出先の複数のインターホン10及び携帯通信端末30に呼出通知CRを送信することが可能となる。さらに、この呼出通知CRに対して応答のあったインターホン10及び携帯通信端末30に対して来訪者の第1の動画像データoMvを送信することが可能となる。そして、インターホン10は、第1の動画像データoMvの送信先の通信端末のうち1つからでも開錠許可データULkpを受信した場合に玄関ドアを開錠することが可能となる。
これにより、代替呼出先の複数の登録者の複数のインターホン10及び携帯通信端末30に対して呼出通知CRを送信するので、複数の登録者が応答する権利を得ることが可能となる。その結果、代替呼出先の通信端末の利用者が応答できずに、居住者である鍵や通信端末を持たない子供等の宅内に入る資格のある来訪者が家に入れないといった状況が発生するのを低減することが可能となる。
(2)インターホン10は、さらに、外部カメラ13が、来訪者の顔特徴点データChfを取得する。通知情報送信部112bが、外部カメラ13から取得した顔特徴点データChfと、当該インターホンの識別情報ID1とを含む通知データNFを認証サーバ20に送信する。
認証サーバ20は、さらに、顔認証処理部212が、通知データNFに含まれる顔特徴点データChfと、該通知データNFに含まれる識別情報ID1に対応付けて予め顔特徴DB25に登録された居住者の顔特徴点データとに基づき来訪者の顔認証処理を行う。呼出通知送信部213が、第1の送信モードが設定されている場合に、顔認証処理部212の認証結果を含む呼出通知CRを、通知データNFに含まれる識別情報ID1に対応する代替呼出先の複数の登録者の複数の通信端末に対して送信する。
代替呼出先の携帯通信端末30は、さらに、顔認証結果検証部321が、認証サーバ20からの呼出通知CRに含まれる顔認証結果を検証し、第2動画通話処理部322が、検証結果に基づき来訪者が顔認証されたと判定すると応答要求Reqの送信処理を実施し、顔認証されなかったと判定すると応答要求Reqの送信処理を実施しない。
この構成であれば、認証サーバ20にて生体認証の1つである顔認証を実施することが可能である。さらに、来訪者が顔認証されなかった場合に、携帯通信端末で応答要求Reqを送信しないようにして、顔認証されない来訪者に対する代替呼出を終了することが可能となる。これにより、顔認証されない来訪者(居住者以外の人間)に対して登録者が応答しなくて済むので、見知らぬ来訪者に対して応答するといった煩わしい作業が登録者に生じるのを低減することが可能となる。加えて、登録者が誤って居住者以外の人間に対して開錠を行うといった不祥事の発生を低減することが可能となる。
(3)認証サーバ20は、さらに、第2の送信モードが設定されている場合に、呼出通知送信部213が、顔認証処理部212で来訪者が顔認証されたときにのみ呼出通知CRを送信する処理を実施する。
この構成であれば、認証サーバ20にて来訪者が顔認証されなかった場合に、この来訪者について、呼出通知自体を通信端末に送信せずに代替呼出を終了することが可能となる。これにより、顔認証されない来訪者に対して登録者が応答しなくて済むので、見知らぬ来訪者に対して応答するといった煩わしい作業が登録者に生じるのを低減することが可能となる。
(4)インターホン10は、さらに、宅内に設けられた内部カメラ16が、玄関ドアを通過した後の来訪者の動画像である第2の動画像を撮像する。第1動画通話処理部112dが、内部カメラ16で撮像して得られる第2の動画像データiMvを、開錠許可データULkpの送信元の通信端末に対して送信する。
代替呼出先のインターホン10(携帯通信端末30)は、さらに、第1動画通話処理部112d(第2動画通話処理部322)が、要請元のインターホン10からの第2の動画像データiMvを受信したことに応じて、該第2の動画像データiMvに基づき来訪者の第2の動画像を表示装置111(タッチパネル式表示装置35)に表示する。
この構成であれば、玄関ドアを開錠後に、玄関ドアを通って宅内に入った来訪者を確認することが可能となる。これにより、例えば、開錠後に居住者の子供等の来訪者がきちんと宅内に入ったかを確認することが可能となる。
(5)インターホン10は、さらに、開錠状況情報送信部112cが、開錠許可データULkpの受信に応じて電気錠装置14によって玄関ドアが開錠されると、開錠許可データULkpに含まれる送信元の通信端末の識別情報ID2に対応する登録者の情報と、開錠が行われたことを示す情報とを含む開錠状況データULiを、当該インターホン10の識別情報ID1に対応する代替呼出先の複数の通信端末のうち開錠許可データULkpの送信元の通信端末以外の他の通信端末に対して送信する。
代替呼出先のインターホン10(携帯通信端末30)は、さらに、第1開錠状況情報表示部112f(第2開錠状況情報表示部324)が、要請元のインターホン10からの開錠状況データULiに基づき、開錠を行った登録者の情報を含む開錠状況情報を表示装置111(タッチパネル式表示装置35)に表示する。
この構成であれば、代替呼出に対して応答を行えなかった登録者は、他の登録者の誰が開錠を行ったのかを把握することが可能となる。これにより、居住者を含む登録された通信端末の利用者は、開錠がきちんと行われたのか及び誰が開錠を行ったのかを確認することが可能である。
(6)認証サーバ20は、さらに、動画通話制御部214が、通信端末からの応答要求Reqを受信したことに応じて、該応答要求の送信元の通信端末とインターホン10とを、インターホン子機12と送信元の通信端末との間で通話可能に接続する。また、通信端末は、さらに、インターホン親機11又は第4スピーカ34及び第2動画通話処理部322が、認証サーバ20を介して通話可能に接続されたインターホン子機12との間で通話を可能とする。
この構成であれば、代替呼出先の通信端末の利用者は、来訪者の動画像を見ながら来訪者と通話を行うことが可能となり、動画像の目視と来訪者との通話との双方に基づいて本人確認を行うことが可能となる。これにより、誤って許可すべきじゃない人間に対して玄関ドアを開錠するといった不祥事の発生を低減することが可能となる。特に、同じ住宅に居住していない祖父や祖母などの親類を代替呼出先として登録している場合などに、これら登録者が動画の目視だけでは本人の判別が難しいと感じた場合でも来訪者との通話によって本人しか知らない情報のやりとりにより本人確認を行うことが可能となる。
また、同居していない祖母や祖父の携帯通信端末30やインターホン10を代替呼出先として登録することで、居住者の家族(孫等)とのコミュニケーションツールとしての役割も持たせることが可能となる。
(7)携帯通信端末30は、さらに、第2動画通話処理部322が、インターホン子機12との間の通話時において、当該携帯通信端末30に予め登録された定型文の音声メッセージによる応答を行う。
この構成であれば、例えば、電車に乗っているときなどの声を出したくない環境下において、代替呼出に応答したときに、予め携帯通信端末30に登録しておいた定型文の音声メッセージをインターホン子機12の第3スピーカ121から出力することが可能となる。これにより、来訪者の音声はイヤホンなどを介して聞くことで、応答した登録者側は声を発することなく、定型文の音声メッセージを用いた通話が可能となる。その結果、声を発したくない環境下でも気軽に応答することが可能となり、宅内に入る資格のある来訪者が家に入れないといった状況が発生するのをより低減することが可能となる。
(第2実施形態)
(構成)
本発明の第2実施形態に係るインターホンシステム2は、図20に示すように、上記第1実施形態のインターホンシステム1から認証サーバ20を除いた構成を有している。
具体的に、第2実施形態のインターホンシステム2は、上記第1実施形態の認証サーバ20で行っていた認証処理(顔認証処理等)を携帯通信端末30が行う点が上記第1実施形態と異なる。加えて、認証サーバ20を経由して行っていたインターホン10と携帯通信端末30との間の通話接続処理、動画通話処理及び各種データの送受信処理を、認証サーバ20を経由せずに直接行う点が上記第1実施形態と異なる。
以下、上記第1実施形態と同様の構成については、同様の符号を付して適宜説明を省略し、異なる点を詳細に説明する。なお、第2実施形態では、他家のインターホン10を代替呼出先とする構成を有していないこととする。
第2実施形態の第1制御装置112は、図21に示すように、上記第1実施形態の第1制御装置112に対して、新たに登録者情報データベース116(以下、「登録者情報DB116」と記載する場合がある)を備えた構成となる。
登録者情報DB116は、インターホン10の識別情報ID1と、この識別情報ID1に対応付けられた代替呼出先の複数の登録者の利用する複数の携帯通信端末30の識別情報ID2とが登録されたデータベースとなる。
そして、第2実施形態の通知情報送信部112bは、生成した通知データNFを、登録者情報DB116に予め登録された代替呼出先の複数の登録者の複数の携帯通信端末30に向けて送信する。第2実施形態では、この通信情報NFが、上記第1実施形態の呼出通知CRの役割も果たす。
第2実施形態の開錠状況情報送信部112cは、開錠状況データULiを、第1データ通信制御部112eを介して、開錠許可データULkpの送信元の携帯通信端末30を除く、他の代替呼出先の携帯通信端末30に対して送信する。
第2実施形態の第1動画通話処理部112dは、上記第1実施形態の応答通知Riに代えて携帯通信端末30からの応答要求Reqに応じて通話接続処理及び動画通話処理を行う点と、上記第1実施形態の第3の動画通話処理を行わない点とが上記第1実施形態と異なる。
なお、これら以外の構成は、携帯通信端末30との間のデータ送受信を、認証サーバ20を介さずに行うだけで、上記第1実施形態と同様の構成となるので詳細な説明を省略する。
また、第2実施形態の第1データ通信制御部112eは、開錠許可データULkpの送信処理を行わない点が上記第1実施形態と異なる。これ以外は、携帯通信端末30との間のデータ送受信を、認証サーバ20を介さずに行うだけで、上記第1実施形態と同様の構成となるので詳細な説明を省略する。
第2実施形態の第3制御装置32は、図22に示すように、上記第1実施形態の第3制御装置32に対して、新たに顔特徴データベース37(以下、「顔特徴DB37」と記載する場合がある)を備えた構成となる。
顔特徴DB37は、インターホン10の設置された住宅や施設に居住するシステム利用者の顔の特徴点の情報を記憶したデータベースである。具体的に、インターホン10の識別情報ID1に対応付けて居住者全員の顔の特徴点の情報や、居住者のうち鍵や携帯通信端末30を持たせたくない子供や老人等の被保護者の顔の特徴点の情報などを記憶している。
さらに、第2実施形態の第3制御装置32の機能構成部は、上記第1実施形態の機能構成部に対して、顔認証結果検証部321に代えて、顔認証処理部325を備えた構成となる。
第2実施形態の第3データ通信制御部320は、受信した通知データNFを、顔認証処理部325に入力する点で上記第1実施形態と異なる。それ以外はインターホン10との間のデータ送受信を、認証サーバ20を介さずに行うだけで、上記第1実施形態と同様の構成となるので詳細な説明を省略する。
顔認証処理部325は、入力された通知データNFに含まれる来訪者の顔特徴点データChfと、顔特徴DB37に登録された、入力された通知データNFに含まれる識別情報ID1に対応する登録データ(顔特徴点データ)とを照合することで、来訪者の顔認証処理を行う。具体的な顔認証方法は、上記第1実施形態の顔認証処理部212と同様となる。
顔認証処理部325は、顔認証処理の認証結果である顔認証結果を第2動画通話処理部322に出力する。
第2実施形態の第2動画通話処理部322は、入力された顔認証結果に基づき、顔認証OKかNGかを判定し、顔認証OKの場合にのみタッチパネル式表示装置35に、通知データNF(呼出通知に相当)に対して応答をするか否かを選択する応答選択画像を表示する。
第2実施形態の第2動画通話処理部322は、応答すると選択された場合に、動画通話処理を行うべく応答要求Reqを、第3データ通信制御部320を介して、通知データNFの送信元のインターホン10に送信する。一方、応答しないと選択された場合に、応答要求Reqを送信せずに処理を終了する。
第2実施形態の第2動画通話処理部322は、応答要求Reqの送信に応じてインターホン10から送られてくる通話接続情報TCに基づき、当該携帯通信端末30と、通知データNFに含まれる識別情報ID1に対応するインターホン10とを、両者の間で動画通話可能に接続する制御を行う。具体的に、インターホン10との間で例えばSIPメッセージ等の通話接続情報TCの送受信を行って、両者を動画通話可能に接続する制御を行う。
なお、動画通話可能に接続後の処理は、認証サーバ20を介さずにデータの送受信を行う点が異なるだけで、上記第1実施形態の第2動画通話処理部322と同様の処理となるので説明を省略する。
第2実施形態の開錠許可情報送信部323は、タッチパネルを介して開錠を許可すると選択された場合に、開錠許可データULkpを、第3データ通信制御部320を介して、接続先のインターホン10に送信する。一方、開錠を許可しないと選択された場合に、その旨を示す開錠不許可通知を第2動画通話処理部322に通知する。
(第2実施形態の代替応答制御処理)
次に、図23に基づき、第2実施形態の携帯通信端末30で行われる代替応答制御処理の処理手順を説明する。
携帯通信端末30の第3制御装置32において、通知データNFを受信したことに応じて、アプリケーションプログラムが起動し、代替応答制御処理が開始されると、図23に示すように、まず、ステップS400に移行する。
ステップS400では、第3データ通信制御部320において、通知データNFを受信したか否かを判定する。そして、受信したと判定した場合(Yes)は、受信した通知データNFを顔認証処理部325に入力して、ステップS402に移行し、そうでないと判定した場合(No)は、処理を終了する。
ここで、第3データ通信制御部320は、暗号化された通知データNFを復号化する。加えて、通知データNFに付与された電子署名を復号化して、電子署名の検証を行う。そして、検証OKの場合に、通知データNFに含まれる識別情報ID1の認証処理を行う。これにより、認証OKの場合に、この通知データNFを顔認証処理部325に入力する。一方、認証がNGの場合は処理を終了する。
ステップS402に移行した場合は、顔認証処理部325において、入力された通知データNFに含まれる顔特徴点データChfに基づき、来訪者の顔認証処理を実行して、顔認証結果を第2動画通話処理部322に入力して、ステップS404に移行する。
ステップS404では、第2動画通話処理部322において、顔認証結果が顔認証OKか否かを判定し、顔認証OKであると判定した場合(Yea)は、ステップS406に移行し、そうでないと判定した場合(No)は、一連の処理を終了する。
ここで、以降のステップS406〜S420までの処理は、データの送受信に認証サーバ20を介さない以外は、上記第1実施形態のステップS306〜S320の処理と同様となるので説明を省略する。
(動作)
以下、第2実施形態のインターホンシステム2の動作を説明する。
ここで、通知データNFを生成するまでの動作は上記第1実施形態と同様となるので説明を省略する。
インターホン10は、通知データNFを生成すると、生成した通知データNFを、登録者情報DB116に登録された代替呼出先の複数の携帯通信端末30に送信する。
携帯通信端末30は、インターホン10からの通知データNFを受信すると(S400のYes)、専用のアプリケーションプログラムを起動する。そして、データの復号化、電子署名の検証及びID認証処理を行って、認証OKの場合に、通知データNFに含まれる顔特徴点データChfに基づき、顔認証処理を行う(S402)。そして、この顔認証結果が顔認証OKの場合に(S404のYes)、応答を行うか否かを選択する応答選択画像をタッチパネル式表示装置35に表示する(S406)。そして、利用者のタッチパネルの操作によって応答が選択されたことに応じて(S408のYes)、応答要求Reqを通知データNFの送信元のインターホン10に送信する(S410)。
インターホン10は、応答要求Reqの受信に応じて、応答要求の送信元の携帯通信端末30との間で通話接続処理を実行し、この携帯通信端末30と動画通話可能に接続する。これにより、要請元のインターホン10と、接続先の携帯通信端末30とは、動画通話が可能な状態となる(S412)。
以降の動作は、認証サーバ20を経由しないで行う点以外は、上記第1実施形態と同様の動作となるので説明を省略する。
ここで、第2実施形態において、携帯通信端末30が通信端末に対応し、呼出ボタン120が呼出部に対応し、外部カメラ13が第1のカメラに対応する。
また、上記第2実施形態において、通知情報送信部112bが、呼出通知送信部に対応し、施開錠制御部112aが開錠制御部に対応し、第1動画通話処理部112dが動画像情報送信部に対応する。
また、上記第2実施形態において、タッチパネル式表示装置35が操作部及び表示部に対応し、第2動画通話処理部322が応答指示部及び応答要求送信部に対応し、開錠許可情報送信部323が開錠指示部及び開錠許可情報送信部に対応する。
また、上記第2実施形態において、第3マイク33、第4スピーカ34及び第2動画通話処理部322が通話部に対応し、外部カメラ13が生体情報取得部に対応し、顔特徴点データChfが生体情報に対応する。
また、上記第2実施形態において、内部カメラ16が第2のカメラに対応し、第1動画通話処理部122dが第3動画像情報送信部に対応し、第2動画通話処理部322が動画像表示部、第2動画像表示部及び定型文応答部に対応する。
(第2実施形態の効果)
(1)第2実施形態に係るインターホンシステム2は、インターホン10_1〜nと、代替呼出先として予め登録された複数の携帯通信端末30_1〜mとをインターネット50及び基地局40_1〜pを介してそれぞれ互いにデータ通信可能に備える。
インターホン10は、宅外に設けられたインターホン子機12が、来訪者の来訪を通知する呼出ボタン120を有し、宅内に設けられたインターホン親機11がインターホン子機12との間で通話を可能とする。さらに、外部カメラ13が、呼出ボタン120からの呼出データBtnの入力に応じて来訪者の動画像である第1の動画像を撮像し、電気錠装置14が、施錠信号Lk及び開錠信号ULkを受信したことに応じて玄関ドアの施錠及び開錠を行う。なおさらに、通知情報送信部112bが、呼出ボタン120からの呼出データBtnの入力に応じて、当該インターホン10の識別情報ID1に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の携帯通信端末30に対して呼出通知を送信する。第1動画通話処理部112dが、携帯通信端末30からの応答要求Reqを受信したことに応じて、外部カメラ13で撮像して得られる第1の動画像データoMvを、応答要求Reqの送信元の携帯通信端末30に送信する。施開錠制御部112aが、識別情報ID1に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の携帯通信端末30のうちいずれか1からの開錠許可データULkpを受信したことに応じて、電気錠装置14に開錠信号ULkを送信する。
携帯通信端末30は、タッチパネル式表示装置35を備え、第2動画通話処理部322が、タッチパネル式表示装置35を介した操作入力に基づき受信した通知データNFに対して応答を行うか否かを指示するとともに、応答を行う指示がされたことに応じて、応答要求Reqを通知データNFの送信元のインターホン10に送信する。第2動画通話処理部322が、受信した第1の動画像データoMvをタッチパネル式表示装置35に表示する。開錠許可情報送信部323が、タッチパネル式表示装置35を介した操作入力に基づき、タッチパネル式表示装置35に表示された第1の動画像の示す来訪者に対して開錠を許可するか否かを指示するとともに、開錠を許可する指示がされたことに応じて、開錠許可データULkpをインターホン10に送信する。
上記構成によれば、代替呼出先として複数の登録者の利用する複数の携帯通信端末30を予め登録しておき、呼出ボタン120の呼出データBtnの入力に応じて代替呼出先の複数の携帯通信端末30に通知データNFを送信することが可能である。さらに、この通知データNFに対して応答のあった携帯通信端末30に対して来訪者の第1の動画像データoMvを送信することが可能である。そして、インターホン10は、第1の動画像データoMvの送信先の複数の携帯通信端末30のうち1つからでも開錠許可データULkpを受信した場合に玄関ドアを開錠することが可能である。
これにより、代替呼出先の複数の登録者の複数の携帯通信端末30に対して通知データNFを送信するので、複数の登録者が応答する権利を得ることが可能となる。その結果、代替呼出先の通信端末の利用者が応答できずに、居住者である鍵や通信端末を持たない子供等の宅内に入る資格のある来訪者が家に入れないといった状況が発生するのを低減することが可能となる。また、上記第1実施形態と比較して、認証サーバ20を設ける必要が無くなるので認証サーバ20の運用費分のコストを削減することが可能となる。
(2)インターホン10は、さらに、外部カメラ13が、来訪者の顔特徴点データChfを取得する。通知情報送信部112bが、外部カメラ13から取得した顔特徴点データChfを含む通知データNFを、当該インターホンの識別情報ID1に対応する代替呼出先の複数の登録者の複数の通信端末に対して送信する。
携帯通信端末30は、さらに、顔認証処理部325が、インターホン10からの通知データNFに含まれる顔特徴点データChfと、該通知データNFに含まれる識別情報ID1に対応付けて予め顔特徴DB25に登録された居住者の顔特徴点データとに基づき来訪者の顔認証処理を行う。第2動画通話処理部322が、顔認証結果に基づき来訪者が顔認証されたと判定すると応答要求Reqの送信処理を実施し、顔認証されなかったと判定すると応答要求Reqの送信処理を実施しない。
この構成であれば、携帯通信端末30にて生体認証の1つである顔認証を実施して来訪者が顔認証されなかった場合に、応答要求Reqを送信しないようにして、顔認証されない来訪者に対する代替呼出を終了することが可能となる。これにより、顔認証されない来訪者に対して登録者が応答しなくて済むので、見知らぬ来訪者に対して応答するといった煩わしい作業が登録者に生じるのを低減することが可能となる。加えて、登録者が誤って居住者以外の人間に対して開錠を行うといった不祥事の発生を低減することが可能となる。
(変形例)
(1)上記各実施形態では、外部カメラ13にて顔特徴点データChfの抽出処理を行う構成としたが、この構成に限らず、IP親機11側で行う構成とするなど他の構成としてもよい。
(2)上記各実施形態では、外部カメラ13をIP子機12とは別体にする構成としたが、この構成に限らず、IP子機12に内蔵する構成としてもよい。
(3)上記各実施形態では、IP子機12側は、通話相手の動画像を見ずに音声のみを聞いて通話を行う構成としたが、この構成に限らない。例えば、代替呼出先のIP親機11や携帯通信端末30側に通話時に利用者を撮影するカメラを設け、かつIP子機12側にも外部表示装置を設けて、IP子機12側も通話相手の動画像を見ながら通話できる構成としてもよい。
(4)上記各実施形態では、電気錠装置14が、Bluetoothを用いて無線通信する構成としたが、この構成に限らず、他の無線規格を用いる構成としてもよい。また、電気錠装置14と、IP親機11との間もBluetoothを用いて無線通信する構成としたが、この構成に限らず、他の無線規格又は有線を用いる構成としてもよい。
(5)上記各実施形態では、送受話器110を、公知の受話器の構成としたが、この構成に限らない。例えば、IP親機11の正面側の面にマイクとスピーカと通話ボタンと切断ボタンとを設け、使用時に通話ボタンを押下することで受話器を持つことなく通話を行うことが可能な構成とするなど他の構成としてもよい。
(6)上記第1実施形態では呼出通知CRの受信に応じて、また上記第2実施形態では通知データNFの受信に応じてアプリケーションプログラムを自動で起動する構成としたが、この構成に限らない。呼出通知CR又は通知データNFを受信した時点ではメッセージを表示するだけとし、このメッセージを見た利用者が手動でアプリケーションプログラムを起動する構成としてもよい。また、この手動による起動を応答選択がなされたとする構成としてもよい。
(7)上記各実施形態では、生体認証として、顔認証を行う構成としたが、この構成に限らず、顔認証に加えて又は顔認証の代わりに、指紋認証、声紋認証等の他の生体認証を行う構成としてもよい。または、生体認証を行わない構成としてもよい。
(8)上記各実施形態では、SIPを用いてインターホン10同士又はインターホン10と携帯通信端末30とを動画通話可能に接続する構成としたが、この構成に限らない。例えば、ピアツーピア接続や、他の動画通話可能な通信プロトコルを用いて接続する構成としてもよい。
(9)上記第1実施形態では認証サーバ20が、上記第2実施形態では携帯通信端末30が顔認証処理部を備える構成としたが、この構成に限らない。例えば、インターホン10が顔認証処理部を備え、認証サーバ20又は携帯通信端末30に対して、顔認証結果を含む通知データNFを送信する構成としてもよい。
(10)上記各実施形態では、定型文応答モードが設定されている場合に、来訪者の音声情報をそのまま携帯通信端末30に送信する構成としたが、この構成に限らない。例えば、携帯通信端末30又はインターホン10に音声認識エンジンを搭載し、音声認識によって来訪者の音声情報をテキストデータ化して携帯通信端末30に送信し、携帯通信端末30の表示部にテキストデータを表示する構成としてもよい。
(11)上記第1実施形態では、呼出通知CRを、生体認証された来訪者の人物に関係なく、代替呼出先として登録されているインターホン10及び携帯通信端末30に送信する構成としたが、この構成に限らない。例えば、代替呼出先の各登録者が、住居者のうち顔を見知っている人物を設定しておき、その人物の生体認証がOKになったときにのみ、呼出通知CRを送信する構成としてもよい。
1,2…インターホンシステム、10_1〜n…インターホン、20…認証サーバ、30_1〜m…携帯通信端末、11…IP親機、12…IP子機、13…外部カメラ、14…電気錠装置、15…第1通信機、16…内部カメラ、21…第2通信機、22…第2制御装置、23…記憶装置、24…顧客情報DB、25,37…顔特徴DB、31…第3通信機、32…第3制御装置、33…第3マイク、34…第4スピーカ、35…タッチパネル式表示装置、36…第2BT通信機、110…送受話器、112…第1制御装置、112a…施開錠制御部、112b…通知情報送信部、112c…開錠状況情報送信部、112d…第1動画通話処理部、112e…第1データ通信制御部、112f…第1開錠状況情報表示部、113…第1BT通信機、114…施開錠ボタン、116…登録者情報DB、120…呼出ボタン、121…第3スピーカ、122…第2マイク、210…データ復号部、211…ID認証部、212,325…顔認証処理部、213…呼出通知送信部、214…動画通話制御部、215…第2データ通信制御部、320…第3データ通信制御部、321…顔認証結果検証部、322…第2動画通話処理部、323…開錠許可情報送信部、324…第2開錠状況情報表示部

Claims (12)

  1. インターホンと、サーバ装置と、代替呼出先として予め登録された複数の通信端末とを通信回線を介してそれぞれ互いにデータ通信可能に備え、
    前記インターホンは、
    来訪者の来訪を通知する呼出部を有するインターホン子機と、
    前記インターホン子機との間で通話を可能とするインターホン親機と、
    前記呼出部の呼出動作に応じて前記来訪者の動画像である第1の動画像を撮像する第1のカメラと、
    施錠信号及び開錠信号を受信したことに応じて玄関ドアの施錠及び開錠を行う電気錠装置と、
    前記呼出部の呼出動作に応じて、当該インターホンの識別情報を含む通知情報を、前記サーバ装置に送信する通知情報送信部と、
    前記第1のカメラで撮像して得られた前記第1の動画像を含む第1の動画像情報を、前記サーバ装置に送信する第1動画像情報送信部と、
    前記識別情報に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の通信端末のうちいずれか1からの開錠許可情報を受信したことに応じて、前記電気錠装置に前記開錠信号を送信する電気錠制御部と、を備え、
    前記サーバ装置は、
    前記通知情報を受信したことに応じて、該通知情報に含まれる前記識別情報に対応する代替呼出先の複数の通信端末に対して呼出通知を送信する呼出通知送信部と、
    前記通信端末からの応答要求を受信したことに応じて、受信した前記第1の動画像情報に含まれている前記第1の動画像を含む第2の動画像情報を、前記応答要求の送信元の通信端末に送信する第2動画像情報送信部と、を備え、
    前記通信端末は、
    操作部と、
    画像を表示する表示部と、
    前記操作部を介した操作入力に基づき前記サーバ装置からの前記呼出通知に対して応答を行うか否かを指示する応答指示部と、
    前記応答指示部で応答を行う指示がされたことに応じて、応答要求を前記サーバ装置に送信する応答要求送信部と、
    受信した前記第2の動画像情報に含まれる前記第1の動画像を前記表示部に表示する第1動画像表示部と、
    前記操作部を介した操作入力に基づき前記表示部に表示された前記第1の動画像の示す来訪者に対して開錠を許可するか否かを指示する開錠指示部と、
    前記開錠指示部で開錠を許可する指示がされたことに応じて、開錠許可情報を前記インターホンに送信する開錠許可情報送信部と、を備え、
    前記インターホンは、
    前記玄関ドアを通過した後の来訪者の動画像である第2の動画像を撮像する第2のカメラを備え、
    前記第2のカメラは、宅内に設けられていることを特徴とするインターホンシステム。
  2. インターホンと、サーバ装置と、代替呼出先として予め登録された複数の通信端末とを通信回線を介してそれぞれ互いにデータ通信可能に備え、
    前記インターホンは、
    来訪者の来訪を通知する呼出部を有するインターホン子機と、
    前記インターホン子機との間で通話を可能とするインターホン親機と、
    前記呼出部の呼出動作に応じて前記来訪者の動画像である第1の動画像を撮像する第1のカメラと、
    施錠信号及び開錠信号を受信したことに応じて玄関ドアの施錠及び開錠を行う電気錠装置と、
    前記呼出部の呼出動作に応じて、当該インターホンの識別情報を含む通知情報を、前記サーバ装置に送信する通知情報送信部と、
    前記第1のカメラで撮像して得られた前記第1の動画像を含む第1の動画像情報を、前記サーバ装置に送信する第1動画像情報送信部と、
    前記識別情報に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の通信端末のうちいずれか1からの開錠許可情報を受信したことに応じて、前記電気錠装置に前記開錠信号を送信する電気錠制御部と、を備え、
    前記サーバ装置は、
    前記通知情報を受信したことに応じて、該通知情報に含まれる前記識別情報に対応する代替呼出先の複数の通信端末に対して呼出通知を送信する呼出通知送信部と、
    前記通信端末からの応答要求を受信したことに応じて、受信した前記第1の動画像情報に含まれている前記第1の動画像を含む第2の動画像情報を、前記応答要求の送信元の通信端末に送信する第2動画像情報送信部と、を備え、
    前記通信端末は、
    操作部と、
    画像を表示する表示部と、
    前記操作部を介した操作入力に基づき前記サーバ装置からの前記呼出通知に対して応答を行うか否かを指示する応答指示部と、
    前記応答指示部で応答を行う指示がされたことに応じて、応答要求を前記サーバ装置に送信する応答要求送信部と、
    受信した前記第2の動画像情報に含まれる前記第1の動画像を前記表示部に表示する第1動画像表示部と、
    前記操作部を介した操作入力に基づき前記表示部に表示された前記第1の動画像の示す来訪者に対して開錠を許可するか否かを指示する開錠指示部と、
    前記開錠指示部で開錠を許可する指示がされたことに応じて、開錠許可情報を前記インターホンに送信する開錠許可情報送信部と、を備え、
    前記インターホンは、
    来訪者の生体情報を取得する生体情報取得部を備え、
    前記通知情報送信部は、前記生体情報取得部で取得した前記生体情報と、当該インターホンの識別情報とを含む通知情報を前記サーバ装置に送信し、
    前記サーバ装置は、
    前記通知情報に含まれる前記生体情報と、該通知情報に含まれる前記識別情報に対応付けて予め登録された居住者の生体情報とに基づき前記来訪者の生体認証を行う生体認証部を備え、
    前記呼出通知送信部は、前記生体認証部の認証結果を含む呼出通知を、前記通知情報に含まれる前記識別情報に対応する代替呼出先の複数の通信端末に対して送信し、
    前記通信端末の少なくとも一部は、
    受信した前記呼出通知に含まれる前記認証結果に基づき、来訪者が認証されたと判定すると前記応答要求送信部の処理を実施し、認証されなかったと判定すると前記応答要求送信部の処理を実施しないインターホンシステム。
  3. インターホンと、サーバ装置と、代替呼出先として予め登録された複数の通信端末とを通信回線を介してそれぞれ互いにデータ通信可能に備え、
    前記インターホンは、
    来訪者の来訪を通知する呼出部を有するインターホン子機と、
    前記インターホン子機との間で通話を可能とするインターホン親機と、
    前記呼出部の呼出動作に応じて前記来訪者の動画像である第1の動画像を撮像する第1のカメラと、
    施錠信号及び開錠信号を受信したことに応じて玄関ドアの施錠及び開錠を行う電気錠装置と、
    前記呼出部の呼出動作に応じて、当該インターホンの識別情報を含む通知情報を、前記サーバ装置に送信する通知情報送信部と、
    前記第1のカメラで撮像して得られた前記第1の動画像を含む第1の動画像情報を、前記サーバ装置に送信する第1動画像情報送信部と、
    前記識別情報に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の通信端末のうちいずれか1からの開錠許可情報を受信したことに応じて、前記電気錠装置に前記開錠信号を送信する電気錠制御部と、を備え、
    前記サーバ装置は、
    前記通知情報を受信したことに応じて、該通知情報に含まれる前記識別情報に対応する代替呼出先の複数の通信端末に対して呼出通知を送信する呼出通知送信部と、
    前記通信端末からの応答要求を受信したことに応じて、受信した前記第1の動画像情報に含まれている前記第1の動画像を含む第2の動画像情報を、前記応答要求の送信元の通信端末に送信する第2動画像情報送信部と、を備え、
    前記通信端末は、
    操作部と、
    画像を表示する表示部と、
    前記操作部を介した操作入力に基づき前記サーバ装置からの前記呼出通知に対して応答を行うか否かを指示する応答指示部と、
    前記応答指示部で応答を行う指示がされたことに応じて、応答要求を前記サーバ装置に送信する応答要求送信部と、
    受信した前記第2の動画像情報に含まれる前記第1の動画像を前記表示部に表示する第1動画像表示部と、
    前記操作部を介した操作入力に基づき前記表示部に表示された前記第1の動画像の示す来訪者に対して開錠を許可するか否かを指示する開錠指示部と、
    前記開錠指示部で開錠を許可する指示がされたことに応じて、開錠許可情報を前記インターホンに送信する開錠許可情報送信部と、を備え、
    前記インターホンは、
    前記玄関ドアの外側に設けられ来訪者の生体情報を取得する生体情報取得部を備え、
    前記通知情報送信部は、前記生体情報取得部で取得した前記生体情報と、当該インターホンの識別情報とを含む通知情報を前記サーバ装置に送信し、
    前記サーバ装置は、
    前記通知情報に含まれる前記生体情報と、該通知情報に含まれる前記識別情報に対応付けて予め登録された居住者の生体情報とに基づき前記来訪者の生体認証を行う生体認証部を備え、
    前記呼出通知送信部は、前記生体認証部で来訪者が認証されたときにのみ前記呼出通知を送信する処理を実施するインターホンシステム。
  4. 前記インターホンは、
    前記第2のカメラで撮像した前記第2の動画像を含む第3の動画像情報を、前記開錠許可情報の送信元の通信端末に対して送信する第3動画像情報送信部を備え、
    前記通信端末は、
    前記インターホンからの前記第3の動画像情報を受信したことに応じて、該第3の動画像情報に含まれる前記第2の動画像を前記表示部に表示する第2動画像表示部を備える請求項1に記載のインターホンシステム。
  5. 前記開錠許可情報は、送信元の通信端末の識別情報を含み、
    前記インターホンは、
    前記開錠許可情報の受信に応じて前記電気錠装置によって玄関ドアが開錠されると、前記開錠許可情報に含まれる前記送信元の識別情報に対応する登録者の情報と、開錠が行われたことを示す情報とを含む開錠状況情報を、少なくとも該開錠許可情報の送信元以外の前記通信端末に対して送信する開錠状況情報送信部を備え、
    前記通信端末は、
    前記インターホンからの前記開錠状況情報に基づき、開錠を行った登録者の情報を含む開錠状況情報を前記表示部に表示する開錠状況情報表示部を備える請求項1から4のいずれか1項に記載のインターホンシステム。
  6. 前記サーバ装置は、
    前記応答要求を受信したことに応じて、該応答要求の送信元の通信端末と前記インターホンとを、前記インターホン子機と前記送信元の通信端末との間で通話可能に接続する通話接続部を備え、
    前記通信端末は、
    前記サーバ装置を介して通話可能に接続された前記インターホン子機との間で通話を可能とする通話部を備える請求項1から5のいずれか1項に記載のインターホンシステム。
  7. 前記通信端末は、
    前記インターホン子機との間の通話時において、当該通信端末に予め登録された定型文の音声メッセージによる応答を行う定型文応答部を備える請求項6に記載のインターホンシステム。
  8. インターホンと、代替呼出先として予め登録された複数の通信端末とを通信回線を介してそれぞれ互いにデータ通信可能に備え、
    前記インターホンは、
    来訪者の来訪を通知する呼出部を有するインターホン子機と、
    前記インターホン子機との間で通話を可能とするインターホン親機と、
    前記呼出部の呼出動作に応じて前記来訪者の動画像である第1の動画像を撮像する第1のカメラと、
    施錠信号及び開錠信号を受信したことに応じて玄関ドアの施錠及び開錠を行う電気錠装置と、
    前記呼出部の呼出動作に応じて、当該インターホンの識別情報を含む通知情報を、該識別情報に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の通信端末に対して送信する通知情報送信部と、
    前記通信端末からの応答要求を受信したことに応じて、前記第1のカメラで撮像して得られた前記第1の動画像を含む第1の動画像情報を、前記応答要求の送信元の通信端末に送信する動画像情報送信部と、
    前記識別情報に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の通信端末のうちいずれか1からの開錠許可情報を受信したことに応じて、前記電気錠装置に前記開錠信号を送信する電気錠制御部と、を備え、
    前記通信端末は、
    操作部と、
    画像を表示する表示部と、
    前記操作部を介した操作入力に基づき前記インターホンからの前記通知情報に対して応答を行うか否かを指示する応答指示部と、
    前記応答指示部で応答を行う指示がされたことに応じて、応答要求を前記インターホンに送信する応答要求送信部と、
    受信した前記第1の動画像情報に含まれる前記第1の動画像を前記表示部に表示する動画像表示部と、
    前記操作部を介した操作入力に基づき前記表示部に表示された前記第1の動画像の示す来訪者に対して開錠を許可するか否かを指示する開錠指示部と、
    前記開錠指示部で開錠を許可する指示がされたことに応じて、開錠許可情報を前記インターホンに送信する開錠許可情報送信部と、を備え、
    前記インターホンは、
    前記玄関ドアを通過した後の来訪者の動画像である第2の動画像を撮像する第2のカメラを備え、
    前記第2のカメラは、宅内に設けられていることを特徴とするインターホンシステム。
  9. インターホンと、代替呼出先として予め登録された複数の通信端末とを通信回線を介してそれぞれ互いにデータ通信可能に備え、
    前記インターホンは、
    来訪者の来訪を通知する呼出部を有するインターホン子機と、
    前記インターホン子機との間で通話を可能とするインターホン親機と、
    前記呼出部の呼出動作に応じて前記来訪者の動画像である第1の動画像を撮像する第1のカメラと、
    施錠信号及び開錠信号を受信したことに応じて玄関ドアの施錠及び開錠を行う電気錠装置と、
    前記呼出部の呼出動作に応じて、当該インターホンの識別情報を含む通知情報を、該識別情報に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の通信端末に対して送信する通知情報送信部と、
    前記通信端末からの応答要求を受信したことに応じて、前記第1のカメラで撮像して得られた前記第1の動画像を含む第1の動画像情報を、前記応答要求の送信元の通信端末に送信する動画像情報送信部と、
    前記識別情報に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の通信端末のうちいずれか1からの開錠許可情報を受信したことに応じて、前記電気錠装置に前記開錠信号を送信する電気錠制御部と、を備え、
    前記通信端末は、
    操作部と、
    画像を表示する表示部と、
    前記操作部を介した操作入力に基づき前記インターホンからの前記通知情報に対して応答を行うか否かを指示する応答指示部と、
    前記応答指示部で応答を行う指示がされたことに応じて、応答要求を前記インターホンに送信する応答要求送信部と、
    受信した前記第1の動画像情報に含まれる前記第1の動画像を前記表示部に表示する動画像表示部と、
    前記操作部を介した操作入力に基づき前記表示部に表示された前記第1の動画像の示す来訪者に対して開錠を許可するか否かを指示する開錠指示部と、
    前記開錠指示部で開錠を許可する指示がされたことに応じて、開錠許可情報を前記インターホンに送信する開錠許可情報送信部と、を備え、
    前記インターホンは、
    来訪者の生体情報を取得する生体情報取得部を備え、
    前記通知情報送信部は、前記生体情報取得部で取得した前記生体情報を含む通知情報を、当該インターホンの識別情報に対応する代替呼出先の複数の通信端末に対して送信し、
    前記通信端末は、
    受信した前記通知情報に含まれる前記生体情報と、該通知情報に含まれる前記識別情報に対応付けて予め登録された居住者の生体情報とに基づき前記来訪者の生体認証を行う生体認証部を備え、
    前記通信端末の少なくとも一部は、
    前記生体認証部の認証結果に基づき、来訪者が認証されたと判定すると前記応答要求送信部の処理を実施し、認証されなかったと判定すると前記応答要求送信部の処理を実施しないインターホンシステム。
  10. 請求項1に記載のインターホンシステム用のインターホンであって、
    来訪者の来訪を通知する呼出部を有するインターホン子機と、
    前記インターホン子機との間で通話を可能とするインターホン親機と、
    前記呼出部の呼出動作に応じて前記来訪者の動画像である第1の動画像を撮像する第1施錠信号及び開錠信号を受信したことに応じて玄関ドアの施錠及び開錠を行う電気錠装置と、
    前記呼出部の呼出動作に応じて、当該インターホンの識別情報を含む通知情報を、前記サーバ装置に送信する通知情報送信部と、
    前記第1のカメラで撮像して得られた前記第1の動画像を含む第1の動画像情報を、前記サーバ装置に送信する第1動画像情報送信部と、
    前記識別情報に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の通信端末のうちいずれか1からの開錠許可情報を受信したことに応じて、前記電気錠装置に前記開錠信号を送信する電気錠制御部と、を備えることを特徴とするインターホンシステム用のインターホン。
  11. 請求項1に記載のインターホンシステム用のサーバ装置であって、
    前記インターホンからの通知情報を受信したことに応じて、該通知情報に含まれる前記識別情報に対応する代替呼出先の複数の通信端末に対して呼出通知を送信する呼出通知送信部と、
    前記通信端末からの応答要求を受信したことに応じて、受信した前記第1の動画像情報に含まれている前記第1の動画像を含む第2の動画像情報を、前記応答要求の送信元の通信端末に送信する第2動画像情報送信部と、を備えることを特徴とするインターホンシステム用のサーバ装置。
  12. 請求項8に記載のインターホンシステム用のインターホンであって、
    来訪者の来訪を通知する呼出部を有するインターホン子機と、
    前記インターホン子機との間で通話を可能とするインターホン親機と、
    前記呼出部の呼出動作に応じて前記来訪者の動画像である第1の動画像を撮像する第1のカメラと、
    施錠信号及び開錠信号を受信したことに応じて玄関ドアの施錠及び開錠を行う電気錠装置と、
    前記呼出部の呼出動作に応じて、当該インターホンの識別情報を含む通知情報を、該識別情報に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の通信端末に対して送信する通知情報送信部と、
    前記通信端末からの応答要求を受信したことに応じて、前記第1のカメラで撮像して得られた前記第1の動画像を含む第1の動画像情報を、前記応答要求の送信元の通信端末に送信する動画像情報送信部と、
    前記識別情報に対応付けて予め登録された複数の登録者の利用する代替呼出先の複数の通信端末のうちいずれか1からの開錠許可情報を受信したことに応じて、前記電気錠装置に前記開錠信号を送信する電気錠制御部と、を備えることを特徴とするインターホンシステム用のインターホン。
JP2016080534A 2016-04-13 2016-04-13 インターホンシステム、このインターホンシステム用のインターホン及びサーバ装置 Active JP6724514B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016080534A JP6724514B2 (ja) 2016-04-13 2016-04-13 インターホンシステム、このインターホンシステム用のインターホン及びサーバ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016080534A JP6724514B2 (ja) 2016-04-13 2016-04-13 インターホンシステム、このインターホンシステム用のインターホン及びサーバ装置

Publications (2)

Publication Number Publication Date
JP2017192034A JP2017192034A (ja) 2017-10-19
JP6724514B2 true JP6724514B2 (ja) 2020-07-15

Family

ID=60086462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016080534A Active JP6724514B2 (ja) 2016-04-13 2016-04-13 インターホンシステム、このインターホンシステム用のインターホン及びサーバ装置

Country Status (1)

Country Link
JP (1) JP6724514B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6936741B2 (ja) * 2018-01-09 2021-09-22 アイホン株式会社 インターホンシステム及び集合住宅インターホンシステム
JP6929235B2 (ja) * 2018-01-09 2021-09-01 アイホン株式会社 インターホンシステム
JP2019193095A (ja) * 2018-04-24 2019-10-31 パナソニックIpマネジメント株式会社 インターホンシステム
JP7143170B2 (ja) * 2018-09-27 2022-09-28 アイホン株式会社 集合住宅用インターホンシステム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004236083A (ja) * 2003-01-31 2004-08-19 Aiphone Co Ltd テレビドアホンシステム
JP3104477U (ja) * 2004-04-07 2004-09-16 伸彦 佐々木 呼び鈴システム
JP2009100334A (ja) * 2007-10-18 2009-05-07 Hitachi Software Eng Co Ltd 訪問者応対装置、訪問者応対携帯端末、及びそのシステム
JP2011135220A (ja) * 2009-12-22 2011-07-07 Panasonic Electric Works Co Ltd インターホンシステム
JP2011184977A (ja) * 2010-03-10 2011-09-22 Nec Corp 錠管理装置、錠管理システム、錠管理方法および錠管理プログラム

Also Published As

Publication number Publication date
JP2017192034A (ja) 2017-10-19

Similar Documents

Publication Publication Date Title
JP6733276B2 (ja) インターホンシステム、このインターホンシステム用のインターホン及び携帯通信端末
US9717106B2 (en) System for utilizing identity based on pairing of wireless devices
JP4739342B2 (ja) 有線又は無線通信装置の高信頼性ペアリング
US6990444B2 (en) Methods, systems, and computer program products for securely transforming an audio stream to encoded text
JP6724514B2 (ja) インターホンシステム、このインターホンシステム用のインターホン及びサーバ装置
US20110217950A1 (en) Apparatus & method to improve pairing security in Bluetooth™ headsets & earbuds
US20070155366A1 (en) Method, apparatus, and system for biometric authentication of user identity
CN109391634A (zh) 建立通信的方法、终端和计算机可读存储介质
US20020095601A1 (en) Technique for establishing provable chain of evidence
JPWO2009060863A1 (ja) ペアリングシステム、ペアリング管理装置、ペアリング方法およびプログラム
JP2007523551A (ja) 無線マルチホップアドホックネットワークにおける機器登録
JP2002026899A (ja) アドホック無線通信用検証システム
CN101809955A (zh) 蓝牙设备之间的迅速配对
CN108282768B (zh) 蓝牙设备分享控制和请求方法及设备、计算机存储介质
JP3927142B2 (ja) 遠隔制御システム及び中継装置
CN1829155A (zh) 通信系统和切换通信服务的方法
JP4850179B2 (ja) グループネットワーク形成方法及びグループネットワークシステム
JP7016043B2 (ja) インターホンシステム、処理方法及びプログラム
EP3139564A1 (en) Encryption coding module
JP6790430B2 (ja) 電気錠制御システム、この電気錠制御システム用の電気錠制御装置、サーバ装置及び通信端末
JP5369920B2 (ja) 無線通信装置および無線通信方法
JP5332928B2 (ja) 無線通信装置および無線通信方法
JP2009024426A (ja) 電気錠システム
CN108391323A (zh) 设备互联方法、装置及电子设备
JP2003338785A (ja) 端末間通信システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200608

R150 Certificate of patent or registration of utility model

Ref document number: 6724514

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250