本発明の実施形態について、図面に基づいて説明すると以下の通りである。
以下で説明する実施形態では、一例として、本発明のインターフォンシステムを一般家庭宅に敷設し、本発明のインターフォン装置を宅内に設置される親機に適用した場合について説明する。
≪実施形態1≫
〔インターフォンシステムの概要〕
図2は、本発明のインターフォンシステム100の全体構成の模式図である。
本実施形態に係るインターフォンシステム100は、図2に示すとおり、玄関や門などの宅外に設置される子機3と、宅内に設置される親機(1、2A、2B、2C・・・)とを含む構成となっている。
図2に示すインターフォンシステム100において、親機は複数台設置されてもよい。この場合、そのうちの1台が、すべての親機を統括するメイン親機(インターフォン装置)1として機能する。そして、その配下にいくつかの増設親機2(2A、2B、2C・・・)が設置される。メイン親機1は、例えば、リビングなどの共有スペースに設置され、増設親機は、例えば、利用者各人の部屋ごとに設置される。子機3と各親機とは、専用回線または通信網(家庭内LANなど)を介して、有線または無線接続されており、音声データ、映像データなどをやりとして通話することが出来るようになっている。
子機3は、来訪者を撮影するカメラ部19と、在宅者(利用者)の音声を子機3の外部に出力するためのスピーカなどとしての音声出力部13と、来訪者の音声を子機3の内部に入力するためのマイクなどとしての音声入力部14と、在宅の利用者を呼び出すための呼出ボタンとしての操作部12と、子機3が保持する各種情報を来訪者に提示するための表示部15とを備えている。カメラ部19で撮影された映像データ(動画)は、リアルタイムで、メイン親機1およびメイン親機1を介して増設親機2に送信される。ここで、メイン親機1は、上記動画から来訪者の顔認証用の画像データを得てもよいし、別途、子機3のカメラ部19が撮影した来訪者の顔の静止画を子機3から顔認証用に受信してもよい。表示部15は、各親機が利用者の顔を撮影する場合には、親機の映像データ、すなわち、利用者の映像を表示してもよい。
子機3の各部は、図示しない子機制御部によって統括的に制御されている。子機制御部は、メイン親機1との通信も制御している。
メイン親機1は、本実施形態において、各増設親機を統括するものであり、自らも子機3と通信するとともに、子機3と各増設親機2と間の通信を中継する役割を果たす。さらに、本実施形態では、メイン親機1は、子機3から得られた来訪者の情報に応じて、来訪者の来訪の報知を、複数の増設親機2に対して選択的に行うことができる。
メイン親機1は、来訪者の子機3からの呼び出しに応答するための応答ボタンとしての操作部12と、来訪者と通話するための、音声出力部13(スピーカなど)、音声入力部14(マイクなど)、および、表示部15(液晶表示パネルなど)を備えている。さらに、本発明のインターフォン装置としてのメイン親機1は、本実施形態では、近距離無線通信部16またはインタフェース部17を備え、これらを介して、外部から画像データなどの各種データを取得することが可能である。画像データの供給元(画像供給源)としては、例えば、赤外線などの近距離無線通信にて画像データを送信する携帯電話4、ケーブルを介して画像データを送信するデジタルカメラ5、メイン親機1において着脱可能なSDカード、USBメモリなどの外部記録媒体6、および、インターネット、携帯電話回線網などの広域通信網7または家庭内LANなどの図示しない構内通信網を介してメイン親機1と通信する携帯電話8などが想定される。しかし、画像供給源の装置および供給経路は、上述の例に限定されない。画像データをメイン親機1に供給するための通信機能、または、インタフェースを備えてさえいれば、携帯ゲーム機、電子辞書、PDA(Personal Digital Assistant)などの各種装置を画像供給源とすることもできる。
メイン親機1は、上述の各部を統括制御する制御部10(図1参照)を備えており、さらに、画像データを処理して認証用の顔情報を自動で登録する機能(顔情報自動登録機能)を有する。メイン親機1のさらに詳細な構成および機能については、後に詳述する。
増設親機2A、増設親機2B、増設親機2Cは、本実施形態において、宅内の部屋ごとに設置されており、メイン親機1を介して、子機3と通信可能となっている。各増設親機を特に区別する必要がない場合は、総じて増設親機2と称する。また、来訪者が子機3によって利用者を呼び出すのに対して、それに応答するメイン親機1および増設親機2を、特に区別する必要がない場合は、子機3に対して単に親機と称する。
増設親機2は、メイン親機1と同様に、応答ボタンとしての操作部12と、来訪者と通話するための、音声出力部13、音声入力部14、および、表示部15を備えている。増設親機2の図示しない増設親機制御部は、増設親機2の各部を制御し、メイン親機1との通信も制御している。
〔メイン親機の構成〕
図1は、本発明のメイン親機1の要部構成を示す機能ブロック図である。
図1に示すとおり、メイン親機1は、制御部10、記憶部30、構内通信部11、操作部12、音声出力部13、音声入力部14、表示部15および近距離無線通信部16を備える構成となっている。なお、説明の便宜上、上述の図2に基づいて説明した、同じ機能を有する部材については、図1においても同じ符号を付記し、その説明を省略する。
構内通信部11は、構内に敷設された専用回線または家庭内LANなどの構内通信網を介して、増設親機2および子機3と通信を行い、データの送受信を行うものである。なお、構内通信部11が、家庭内LANを介して、宅内のテレビ、録画再生装置、ホームサーバ、デスクトップパソコン、ノートパソコンなどと接続されている場合には、メイン親機1は、これらの機器との間でもデータの送受信を行ってよい。
近距離無線通信部16は、近距離無線通信手段を用いて外部機器から画像データを受信するものである。近距離無線通信手段としては、特に限定されないが、IrSimple(登録商標)のような高速赤外線通信、または、Bluetooth(登録商標)、WiFi(登録商標)のような近距離用無線通信などの各種無線通信技術が採用される。具体的には、本実施形態では、携帯電話4は、画像データをメイン親機1に対して高速赤外線通信によって送信することができる。よって本実施形態では、近距離無線通信部16は、携帯電話4が出力する赤外線信号を受光する赤外線受光部として実現される。
さらに、メイン親機1は、インタフェース部17、広域通信部18、および、カメラ部19を備えていてもよい。
インタフェース部17は、外部記録媒体6に記憶されている画像データをメイン親機1に取り込むためのインタフェースである。例えば、SDメモリカード、SDHCメモリカードなど各種のメモリカードを挿入するスロット、USB(Universal Serial Bus)メモリを挿入するためのUSB端子、デジタルカメラなどの外部機器とメイン親機1とをケーブルで接続するためのケーブル端子などの各種スロット、端子で実現される。
広域通信部18は、インターネットなどの広域通信網7を介して、外部機器との間でデータの送受信を行うものである。例えば、外出中の利用者の一人が自身の所有する携帯電話8から、電子メールに画像データを添付して、メイン親機1に画像データを送信することなどが想定される。
カメラ部19は、応答ボタンとしての操作部12を操作して来訪者からの呼び出しに応答した利用者の顔を撮影するものである。
記憶部30は、制御部10が実行する制御プログラムおよびOSプログラム、ならびに、制御部10が、メイン親機1が有する各種機能を実行するときに読み出す各種データを記憶するものである。特に、記憶部30は、メイン親機1が実行する顔情報自動登録機能、顔認証機能を実行する際に読み出す各種プログラム、データを記憶する。具体的には、記憶部30には、利用者情報記憶部31および認証情報記憶部32が含まれる。
制御部10は、メイン親機1の動作を統括して制御するものであり、例えばCPU(Central Processing Unit)等で構成することができる。制御部10は、例えばRAM(Random Access Memory)等で構成される一時記憶部(図示しない)を作業領域として動作する。制御部10は、機能ブロックとしての、画像取得部20、識別情報取得部21、利用者特定部22、顔情報生成部23、認証情報登録部24、顔認証部25および報知部27を備えている。これらの機能ブロックは、CPU(central processing unit)が、ROM(read only memory)等で実現された記憶装置(記憶部30)に記憶されているプログラムを不図示のRAM(random access memory)等に読み出して実行することで実現できる。
顔情報自動登録機能において、制御部10の画像取得部20は、各種画像供給源より様々な経路を介して当該メイン親機1に入力された画像データを取得するものである。画像供給源としては、携帯電話4、デジタルカメラ5などの外部機器、USBメモリ、SDカードなどの外部記録媒体6などが考えられる。本実施形態では、一例として、携帯電話4が赤外線通信にて出力した画像データの赤外線信号が近距離無線通信部16を介してメイン親機1に入力される。画像取得部20は、赤外線信号として入力された画像データを近距離無線通信部16から取得する。しかし、画像取得部20の画像データ取得方法は、上記に限定されない。
識別情報取得部21は、画像取得部20が外部から取得した画像データに付属するまたは含まれる識別情報を取得するものである。
本実施形態では、一例として、識別情報取得部21は、画像取得部20が取得した画像データに含まれる機種情報を取得する。機種情報とは、当該画像データを撮影したカメラの機種を特定する情報である。
より詳細には、画像データに含まれる識別情報とは、以下のようなものが想定されている。すなわち、画像データは、そのデータ形式に応じて、当該画像のメタ情報を格納する領域を有するデータ構造となっている。
例えば、JPEG形式の画像データには、表示するべき画像情報を圧縮して格納する画像領域と、該画像情報に関するメタ情報を格納するEXIF領域とが含まれている。このEXIF領域には、カメラ機能付携帯電話、デジタルカメラなどの製造メーカが仕様を自由に定めて利用することができるメーカノート領域などが含まれており、本実施形態では、識別情報取得部21は、このメーカノート領域に埋め込まれている機種情報を抽出する。
このように、画像データにヘッダやフッタが付属していない状態で画像データがメイン親機1に入力される場合であっても、識別情報取得部21は、画像データに埋め込まれている識別情報を抽出して得ることができる。インタフェース部17を介して外部記録媒体から画像データが入力されたり、赤外線通信によって外部機器から近距離無線通信部16を介して画像データが入力されたり、家庭内LANを介してパソコンやホームサーバから複数の利用者の画像データが大量にメイン親機1に投入されたりする場合には、識別情報取得部21は、画像データごとに埋め込まれている識別情報を取得するのが好ましい。
しかし、識別情報取得部21が取得する識別情報、および、その取得方法は、上記に限定されない。
例えば、画像データに付属する識別情報とは、以下のようなものが想定されている。すなわち、構内通信部11、近距離無線通信部16、または、広域通信部18などを介して、外部機器との間でデータが送受信される場合、採用される通信プロトコルによっては、データにヘッダおよびフッタが付与される。ヘッダまたはフッタには、当該データの送信元情報が含まれている。送信元情報とは、外部機器が通信網を介してデータを送信する際に、該データに付属する、送信元である外部機器の連絡先を特定する情報である。具体的には、送信元のメールアドレス、IPアドレス、MACアドレス、電話番号などが想定される。識別情報取得部21は、上述の各通信部を介して画像データが受信されたとき、該画像データにヘッダまたはフッタが付属している場合は、そこから送信元の識別情報を取得する。
利用者が個人で所有する外部機器が従来の通信機能を備えていれば、外部機器側に特殊な機能を付加せずとも、画像データをメイン親機1に送信することができ、それだけで識別情報取得部21は、当該画像データの送信主の識別情報を取得することが可能である。
複数で共有されない個人の持ち物である外部機器から常に同一の利用者の画像データを、メイン親機1に投入する場合には、画像データに付属する(ヘッダやフッタ内の)識別情報を取得するのが好ましい。
いずれにしても、識別情報は、従来の撮影方法、従来の通信方法によって、画像データに付属するあるいは含まれるものである。したがって、利用者は、メイン親機1に認証用の顔画像を登録したい場合に、従来の使用方法にて携帯電話やカメラなどで撮影を行い、それによって得た画像データを従来の操作方法にてメイン親機1に送信するだけよい。
利用者特定部22は、識別情報取得部21が取得した識別情報に基づいて、画像取得部20が取得した画像データの登録依頼主としての利用者を特定するものである。本実施形態では、利用者特定部22は、利用者情報記憶部31に記憶されている利用者情報テーブルを参照して、上記識別情報に基づいて利用者を特定する。こうして、上記画像データ(正確には、そこに写っている顔画像)を、どの利用者の来訪者として管理すべきかを特定することが可能となる。利用者情報テーブルの詳細は、具体例を用いて後述する。
顔情報生成部23は、顔情報自動登録機能において、画像取得部20が取得した画像データを画像処理して、認証情報記憶部32に登録する顔情報を生成するものである。また、来訪者来訪時の顔認証機能において、来訪者の映像データが子機3から送信されたときに、該映像データから来訪者の顔情報を生成するものである。
本実施形態では、顔情報生成部23は、画像データから顔の有無の検知、および、複数の顔の検出を行い、検出した顔ごとに、その顔画像から特徴量を導出する。顔情報生成部23が顔画像から導出した特徴量は、顔ごとに顔情報として認証情報記憶部32にて管理される。本実施形態では、顔情報とは、顔画像から得られる様々な特徴情報を数値として保持するものである。例えば、顔の縦横比、目、鼻、口端部の座標情報、色情報などが考えられる。顔情報生成部23が行う、顔検出機能、特徴量導出機能などは従来公知の技術を適宜採用すればよい。このように、顔情報を、数値として保持することで、多数の顔情報を小さいデータサイズで記憶、管理しておくことが可能となる。
なお、記憶部30の記憶容量や、顔のマッチングのための画像処理の性能に特に制約がなければ、顔情報生成部23は、顔画像そのものを顔情報として画像データから抽出するだけでもよい。
認証情報登録部24は、顔情報生成部23によって画像データから1以上の顔が検出され、顔情報が生成された場合に、生成された顔情報ごとに、利用者特定部22が特定した利用者を関連付けて、それを認証情報として認証情報記憶部32に登録するものである。これにより、顔情報の各々に、いずれかの利用者が関連付けられているので、来訪者が登録された顔情報から特定された場合に、該来訪者がどの利用者の客であるのかをメイン親機1が判別することが可能となる。認証情報テーブルの詳細は、具体例を用いて後述する。
顔認証部25は、来訪時に撮像された来訪者の映像データから得られた顔情報を、認証情報記憶部32に登録されている顔情報と比較、照合することにより、来訪者を認証するものである。顔認証部25は、認証結果(すなわち、認証情報記憶部32に記憶されているどの顔情報と一致したか、あるいは、一致する顔情報が無かったなどを示す情報)を判別部26または報知部27に伝達する。
判別部26は、顔認証部25が出力した認証結果に応じて、認証された来訪者が、複数の利用者のうち、どの利用者宛ての来訪者であるのかを判別するものである。判別部26は、後述の認証情報テーブルを参照し、来訪者の顔情報に対応付けられた利用者を特定することで、誰の来客かを判別する。
報知部27は、顔認証部25が出力した認証結果に応じて、または、判別部26の判別結果に応じて必要な報知措置を講じるものである。本実施形態では、報知部27は、判別部26が判別した、来訪者の顔情報に対応する利用者に応じて、報知の動作を動的に変更する。具体的には、報知部27は、利用者情報記憶部31の利用者情報テーブルを参照し、判別された利用者の部屋の増設親機2のみを鳴動させたり、判別された利用者が所有する外部機器に対して来訪者の存在を報知したりする。
上記構成によれば、利用者が従来の使用方法で撮影した画像データを、従来の操作でメイン親機1に入力するだけで、自動で画像データの顔と利用者との関連付けが行われ、認証用の認証情報としてメイン親機1に登録することができる。利用者はメイン親機1に対して特別な操作を行うことなく、しかも、自身が所有する携帯電話、デジタルカメラなどの外部機器で従来の使用方法で撮像した画像データを顔認証用に登用することができる。このように、顔画像と利用者との関連付けがメイン親機1において自動で行われるために、利用者にとっての利便性が向上する。結果として、顔認証を行うメイン親機1における、利用者(在宅者)の設定登録作業の手間を大幅に軽減することが可能となる。
また、このようにして得られた、顔情報と利用者とを関連付けた認証情報は、メイン親機1が、来訪者認証時に顔認証機能を実行するときに利用することが可能である。例えば、上記認証情報を利用すれば、メイン親機1は、どの利用者の来訪者かを判別することができるので、判別結果に応じた報知措置をとることができる。
特に、図2に示す、携帯電話4やデジタルカメラ5などの、各利用者個人の外部機器を用いて撮影された画像データには、該利用者の知人(来訪者となり得る人物)が多く写っているはずである。そのような画像データを、上記外部機器から従来の操作で送信するだけで、利用者は簡単に、自身の知人の顔情報をメイン親機1に登録することができる。
〔利用者情報について〕
図3は、メイン親機1の利用者情報記憶部31に記憶されている利用者情報テーブルのデータ構造の一例を示す図である。図3に示す利用者情報テーブルには、具体例として、図2に示すインターフォンシステム100の宅の利用者について情報が登録されている。
利用者情報テーブルには、少なくとも、利用者を識別するための情報(図3の例では利用者名)と、該利用者が所有している外部機器の識別情報(図3の例では外部機器の機種情報)とが対応付けて記憶されている。さらに、利用者ごとに報知先情報を対応付けて記憶しておいてもよい。本実施形態では、宅の利用者がよく使用する部屋ごとに増設親機2が設定されているので、どの利用者の来訪者が来たのかに応じて、鳴動させる増設親機2(あるいは、メイン親機1自身)を変えることができる。そこで、図3に示す例では、宅の利用者ごとに、鳴動させる親機の情報を対応付けて記憶している。
利用者特定部22は、図3に示す利用者情報テーブルを参照することにより、画像取得部20が取得した画像データの機種情報に基づいて、画像データの登録依頼主である利用者を特定することができる。
なお、図3に示す例では、利用者と外部機器と報知先情報とが1対1対1で対応付けられている場合について説明したが、利用者情報テーブルはこれに限定されない。機種情報から利用者が一意に特定される状態であれば、利用者情報テーブルはどのようなデータ構造であってもよい。例えば、一人の利用者につき、複数台の外部機器の機種情報を登録してもよいし、一人の利用者に、複数箇所の報知先(親機)を対応付けておいてもよい。例えば、父の来客については、リビングのメイン親機1と、父の部屋の増設親機2Aと、父が所有するパソコンおよびPDA(Personal Digital Assistant)とに報知するように各機器のアドレスを報知先情報として、利用者父に対応付けて記憶しておいてもよい。報知先情報に格納される外部機器は、機種情報に登録されている外部機器と一致していなくてもよい。また、報知先として、各部屋の親機の代わりに、各利用者が携帯する外部機器のアドレス(携帯電話の電話番号、メールアドレスなど)を指定しておいてもよい。
〔認証情報について〕
図4は、メイン親機1の認証情報記憶部32に記憶されている認証情報テーブルのデータ構造の一例を示す図である。図4に示す認証情報テーブルにおいて、1つの顔ごとに1つのレコードが確保され、顔情報IDに対応付けて、顔画像の特徴量である顔情報と、当該顔の来訪者が誰の客であるのかを示す利用者名とが記憶されている。例えば、ID「f0001」の顔情報と一致度の高い特徴量を持つ顔の来訪者が訪れたと顔認証部25が認証した場合、報知部27は、認証情報テーブルを参照して、その来訪者は父の客であるということを特定して、これに応じた報知措置をとることが可能となる。
〔顔情報登録フロー〕
図5は、メイン親機1における顔情報登録処理の流れを示すフローチャートである。
まず、携帯電話4が赤外線通信を用いて画像データをメイン親機1に送信する。このとき、携帯電話4は、1枚の写真に顔が複数写っている画像データを送ってもよいし、複数の画像データをまとめて送ってもよい。画像取得部20は、近距離無線通信部16を介して入力された画像データを取得する(S101)。
識別情報取得部21は、画像取得部20が取得した画像データに付属するまたは含まれる識別情報を取得する。ここでは、識別情報取得部21は、画像データがJPEG形式であるとして、EXIF領域から機種情報を取得する(S102)。
利用者特定部22は、利用者情報記憶部31の利用者情報テーブル(図3)を参照し、識別情報取得部21が取得した機種情報に対応する利用者情報があるか否かを判断する(S103)。S102で取得された機種情報が、図3に示す利用者情報テーブルに登録されていなかった場合には(S103においてNO)、メイン親機1は、当該画像データの認証情報を登録不可能(不要)であるとして、この顔情報登録処理を終了する。
反対に、上記機種情報が、上記利用者情報テーブルに登録されている場合(S103においてYES)、例えば、機種情報「PDA−SL−C3200」が取得された場合には、利用者特定部22は、利用者として「父」を特定する(S104)。
利用者が特定されている一方、顔情報生成部23は、画像取得部20が取得した画像データを解析して(S105)、顔画像が含まれているか否かを判断する(S106)。ここで、画像データ内に顔画像が一つも検出できなかった場合には(S106においてNO)、識別情報取得部21は、受信した画像データで未処理のものがあるか否かを判定して、未処理の画像データがあれば(S110においてYES)、S102以降の処理を繰り返す。未処理の画像データがなければ(S110においてNO)、この顔情報登録処理を終了する。
反対に画像データ内に1以上の顔画像が検出された場合には(S106においてYES)、続いて、顔情報生成部23は、検出した顔画像ごとに特徴量を抽出して顔情報を生成する(S107)。
認証情報登録部24は、顔情報生成部23によって生成された顔情報に、S104にて利用者特定部22が特定した利用者の利用者名(ここでは、「父」)を関連付けて、認証情報として認証情報テーブルに登録する(S108)。顔情報生成部23が複数の顔画像を検出した場合には、未登録の顔画像があれば(S109においてYES)、未登録の顔画像がなくなるまで、顔情報生成部23は、各顔画像から顔情報を生成し、認証情報登録部24は、その顔情報を利用者名とともに登録する処理を繰り返す。
一つの画像データについて、1以上の顔画像について登録処理が完了したら(S109においてNO)、識別情報取得部21は、未処理の画像データの有無を確認し(S110)、未処理の画像があれば(S110においてYES)、S102以降の処理を繰り返し、なければ当該顔情報登録処理を終了する。
なお、図5に示す例では、S103において、利用者特定部22が、機種情報が登録されていないと判定した場合、すなわち、登録されていない機種の外部機器で撮影された画像データについては、顔検出、登録を行わない処理の流れになっているが、メイン親機1の動作フローは上記に限定されない。
例えば、宅の利用者が友人から提供された画像データを自身の外部機器で受信して、それをメイン親機1の認証用の顔画像に使いたい場合も想定される。そこで、登録されていない機種情報が画像データに含まれている場合に限り、画像データに利用者名を対応付ける設定操作を利用者に行わせてもよい。
上述の説明では、携帯電話4が赤外線通信を介して画像データを供給する場合について説明したが、例えば、メイン親機1は、USBメモリ、SDカードなどの外部記録媒体6からインタフェース部17を介して画像データを読み込んでもよい。あるいは、通信ケーブルを介して接続可能なデジタルカメラ5からインタフェース部17を介して画像データを読み込んでもよい。その他、利用者がノートパソコンなどに蓄積している画像データを家庭内LANを介してメイン親機1に送信した場合に、メイン親機1は、構内通信部11を介してそれらの画像データを受信してもよい。
≪実施形態2≫
上述の実施形態では、画像データに含まれる機種情報によって、画像データ(の顔情報)と利用者の紐付けを行う例について説明した。しかし、本発明のインターフォン装置(メイン親機1)はこれに限定されない。
メイン親機1は、外部機器から画像データを特定の通信プロトコルを用いて通信網を介して受信することが可能である。そして、この場合に、画像データに付属するヘッダ内の、外部機器のアドレス情報を、外部機器の識別情報として取得することができる。さらには、メイン親機1は、上記識別情報を報知先情報としても利用することができる。
以下では、外部機器のアドレス情報(電話番号やIPアドレスなど)を、外部機器の識別情報および報知先情報の両方に利用するメイン親機1の構成および動作について説明する。なお、説明の便宜上、上述の実施形態1にて説明した図面と同じ機能を有する部材については、その説明を省略する。
本実施形態におけるメイン親機1は、図1に示すとおり、携帯電話4や携帯電話8などから、携帯電話通信網またはインターネットなどの広域通信網7を介して画像データを受信する広域通信部18を備えている。あるいは、家庭内LANなどの構内通信網を介してノートパソコン、ホームサーバ、デジタルテレビなどから画像データを受信する構内通信部11を備えている。
広域通信部18または構内通信部11によって受信された画像データには、ヘッダ、フッタが付属している。この画像データは、識別情報取得部21と画像取得部20との両方に伝達される。
本実施形態では、識別情報取得部21は、画像データに付属するヘッダより、当該画像データの送信元である携帯電話の送信元情報(電話番号、メールアドレスなど)を抽出する。その一方、画像取得部20は、画像データ本体を取得する。識別情報取得部21が抽出したアドレス情報(以下では、電話番号であるとして説明する)は、利用者特定部22が、上記画像データの登録依頼主を特定するのに利用する。
上記構成によれば、広域通信部18が広域通信網7を介して携帯電話4から送信された画像データを受信すると、識別情報取得部21は、上記画像データに付属する送信ヘッダに含まれる携帯電話4の電話番号を取得する。利用者特定部22は、図6に示す利用者情報テーブルを参照し、取得された電話番号に基づいて利用者を特定する。特定された利用者は、つまり、当該画像データ(に写る顔画像)を、メイン親機1に登録することを依頼する依頼主を意味する。認証情報登録部24は、利用者特定部22が特定した利用者と、上記画像データから得られた顔画像の顔情報とを対応付けて認証情報記憶部32に登録する(例えば、図4)。
これにより、利用者は、メイン親機1を操作して、自身が来訪者として登録したい顔画像の登録、設定作業を行う必要なく、普段使用する携帯電話4を従来どおりの方法で操作して、メイン親機1に画像データを送るだけで、自分の来訪者として顔画像をメイン親機1に登録することが可能となる。
〔利用者情報について〕
図6は、メイン親機1の利用者情報記憶部31に記憶されている利用者情報テーブルのデータ構造の他の例を示す図である。
図6に示すとおり、利用者情報テーブルには、利用者を識別するための情報(利用者名)に対応付けて、各利用者が所有している外部機器(携帯電話)の識別情報として、電話番号が記憶されている。
本実施形態では、利用者特定部22は、図6に示す利用者情報テーブルを参照することにより、識別情報取得部21が取得した電話番号に基づいて、上記画像データの登録依頼主である利用者を特定する。
さらに、本実施形態では、識別情報としての電話番号は、報知先情報としても利用される。報知部27は、顔認証部25の顔認証結果に応じて、判別部26がどの利用者の来訪者かを判別できた場合には、図6の利用者情報テーブルを参照して、その利用者の携帯電話の電話番号宛てに来訪者の存在を報知する。これにより、識別情報と報知先情報とを別々で管理する必要がなくなるので、メイン親機1にて管理する各種情報のデータ構造を簡素化し、メイン親機1の処理効率を高めることができる。
〔変形例〕
本発明のメイン親機1において、上述の各実施形態を適宜組み合わせて、顔情報自動登録機能を実現してもよい。すなわち、識別情報取得部21を、画像データに埋め込まれているメタ情報および付属のヘッダの両方から識別情報を取得できる構成とし、利用者特定部22を、いずれかの識別情報を選択的に採用して、あるいは、組み合わせて、当該画像データの登録依頼主である利用者を特定できる構成としてもよい。
例えば、デスクトップパソコン、ホームサーバなどの家族で共用する装置からメイン親機1が画像データを受信した場合や、所定枚数以上の大量の画像データを受信したとメイン親機1が判定した場合には、ヘッダの送信元情報(電話番号、メールアドレスなど)を採用せずに、画像データに埋め込まれている機種情報を識別情報として優先的に採用してもよい。
別の実施形態では、画像データのメタ情報の優先的に採用して、メタ情報が埋め込まれていなかったり、利用者情報テーブルに未登録の機種情報であったりした場合にのみヘッダの送信元情報を識別情報として採用してもよい。
あるいは、さらに別の実施形態では、携帯電話やデジカメなどからメイン親機1に画像データを送信する場合は、ヘッダの送信元アドレスを優先的に採用し、それらの送信元アドレスが利用者情報テーブルに予め登録されていない場合だけ、画像データに埋め込まれたメタ情報から利用者を特定してもよい。
このとき、利用者情報テーブルは、利用者特定部22が、機種情報および電話番号の両方を参照できるように、少なくとも、機種情報(識別情報)および電話番号(識別情報兼報知先情報)の2つを利用者名に対応付けて、記憶しておけばよい。すなわち、図3および図6に記載の利用者情報テーブルを組み合わせたものを利用者情報記憶部31に記憶しておいてもよいし、図3および図6の利用者情報テーブルを両方記憶しておいてもよい。
以下では、まずヘッダの電話番号を優先的に採用し、次に、画像データに埋め込まれている機種情報を採用して利用者を特定するメイン親機1の動作フローについて説明する。
〔顔情報登録フロー〕
図7は、メイン親機1における顔情報登録処理の流れの他の例を示すフローチャートである。
まず、携帯電話8が、広域通信網7を介して電子メール(以下、通信データ)で画像データをメイン親機1に送信する。携帯電話8は、複数の画像データを添付して電子メールを送信してもよい。広域通信部18は、上記通信データを受信する(S201)。
画像取得部20は、上記通信データから画像データを取得する(S202)。一方、識別情報取得部21は、画像取得部20が取得した画像データに付属する識別情報を取得する(S203)。ここでは、識別情報取得部21は、上記通信データのヘッダから送信元の携帯電話8の識別情報として電話番号を取得する(S203)。
利用者特定部22は、利用者情報記憶部31の利用者情報テーブル(図6)を参照し、識別情報取得部21が取得した電話番号に対応する利用者情報があるか否かを判断する(S204)。S204で取得された電話番号が、図6に示す利用者情報テーブルに登録されていなかった場合には(S204においてNO)、図5のS102に移行して、画像データに埋め込まれているメタ情報に基づいて利用者と顔画像との紐付けを行う処理を進める。図5に示す上記処理の流れは説明済みであるので、ここでは説明は繰り返さない。
反対に、上記電話番号が、上記利用者情報テーブルに登録されている場合(S204においてYES)、例えば、電話番号「090−1234−0000」が取得された場合には、利用者特定部22は、利用者として「母」を特定する(S205)。
利用者が特定されている一方、顔情報生成部23は、画像取得部20が取得した画像データを解析して、顔画像を検出する(S206)。ここで、画像データ内に顔画像が一つも検出できなかった場合には(S207においてNO)、識別情報取得部21は、受信した画像データで未処理のものがあるか否かを判定して、未処理の画像データがあれば(S211においてYES)、S206に戻り、顔画像の検出を繰り返す。未処理の画像データがなければ(S211においてNO)、この顔情報登録処理を終了する。
反対に画像データ内に1以上の顔画像が検出された場合には(S207においてYES)、続いて、顔情報生成部23は、検出した顔画像ごとに特徴量を抽出して顔情報を生成する(S208)。
認証情報登録部24は、顔情報生成部23によって生成された顔情報に、S205にて利用者特定部22が特定した利用者の利用者名(ここでは、「母」)を関連付けて、認証情報として認証情報テーブルに登録する(S209)。顔情報生成部23が複数の顔画像を検出した場合には、未登録の顔画像があれば(S210においてYES)、未登録の顔画像がなくなるまで、顔情報生成部23は、各顔画像から顔情報を生成し、認証情報登録部24は、その顔情報を利用者名とともに登録する処理を繰り返す。
一つの画像データについて、1以上の顔画像について登録処理が完了したら(S210においてNO)、識別情報取得部21は、未処理の画像データの有無を確認し(S211)、未処理の画像があれば(S211においてYES)、S206以降の処理を繰り返し、なければ当該顔情報登録処理を終了する。
〔顔認証〜報知フロー〕
図6に示す利用者情報テーブルを用いることにより、メイン親機1は、来訪者がどの利用者の来訪者であるのかに応じて、来訪者の来訪時に実行すべき動作を動的に変更することが可能となる。このときのメイン親機1の動作の流れを具体例を用いて説明する。
来訪者が図2に示す子機3の呼出ボタンとしての操作部12を押下すると、子機3のカメラ部19が撮像した来訪者の映像データが、メイン親機1に送信される。
メイン親機1の構内通信部11が、子機3から送信された来訪者の映像データを受信する。画像取得部20は、映像データから適宜の方法で取得した来訪者の顔が映っている画像データを顔情報生成部23に供給する。顔情報生成部23は、来訪者の画像データを解析し、来訪者の顔情報を生成する。
顔認証部25は、顔情報生成部23が生成した来訪者の顔情報と、認証情報記憶部32に記憶されている認証情報テーブルの各顔情報とのマッチングを行って、顔認証を行う。来訪者の顔情報と一致度が高い顔情報が、認証情報テーブルに含まれていると、その認証情報に基づき来訪者を認証して、その顔情報IDを判別部26に伝達する。
判別部26は、伝達された顔情報IDに基づいて、上記の認証された来訪者が、どの利用者の客であるのかを判別する。判別部26は、判別結果の利用者名を報知部27に伝達する。
報知部27は、図6に示す利用者情報テーブルを参照し、判別部26から伝達された利用者名に基づいて、当該利用者の携帯電話の電話番号を報知先情報として特定し、来客を報知する。
上記構成および方法によれば、利用者ごとに登録している識別情報を、顔情報自動登録処理時には、登録依頼主の利用者を特定するために利用するとともに、顔認証処理時には、どの利用者の客であるのかに応じて、来客時の動作を動的に変更するために利用することができる。これらを実現するためには、従来は、顔画像の登録作業と、該顔画像と利用者との紐付け設定作業とを、メイン親機1を操作して利用者が行わなければならなかった。
しかし、本願発明によれば、利用者は普段使用する中で得た画像データを、従来ある使用方法でメイン親機1に投入するだけでよく、メイン親機1は、利用者情報テーブルを参照することにより、顔情報の登録作業と、該顔情報と利用者との紐付け設定作業とを自動で行う(認証情報を生成する)ことが可能となる。
さらに、メイン親機1は、顔認証時にも、上記各作業で用いた利用者情報テーブルを参照することができる。メイン親機1は、認証された来訪者が、どの利用者の客であるのかに応じて、利用者が所有する外部機器の識別情報を特定し、当該外部機器に来訪者の存在を報知することが可能となる。
結果として、利用者が普段通りに使用するだけで、顔画像の設定登録作業を自動で行うことが可能で、かつ、来訪者の来訪時には、訪問先の利用者に応じた動作を行うことが可能なインターフォン装置を実現することが可能となる。
なお、メイン親機1の顔情報生成部23は、自動で、1の画像データから複数の顔画像を検出し、検出した顔画像ごとに顔情報を生成することが可能であり、認証情報登録部24は、自動で、上記複数の顔情報ごとに、利用者を関連付けて登録することが可能であることが好ましい。
これにより、メイン親機1は、画像データに写っている人物が複数であってもそれらの顔情報を利用者と対応付けて自動で登録することができるため、利用者の登録設定作業の手間をさらに大幅に削減することができ、特に効果が大きい。
また、画像取得部20が複数の画像データを取得した場合には、顔情報生成部23および認証情報登録部24は、その複数の画像データについて、顔情報を生成する処理と顔情報を利用者と対応付けて登録する処理とを一連の流れで自動的に実行することが好ましい。
これにより、利用者が一度に大量の画像データをメイン親機1に投入するような場合であっても、顔情報を利用者と対応付けて自動で登録することができるため、利用者の登録設定作業の手間をさらに大幅に削減することができ、特に効果が大きい。
上述のような大量の顔情報と利用者とを本願発明によって自動登録するユースシーンとしては、例えば、一般家庭よりも規模の大きい会社や団体などの施設において、その施設の各従業員を訪ねてくる来訪者の顔画像を一気に登録することなどが想定される。
なお、上述の各実施形態では、本発明のメイン親機1が自動で登録した認証情報は、報知部27が、報知先を動的に変更するために用いているが、認証情報の用途は、これに限定されない。報知部27が行う報知動作以外にも、判別部26が判別した結果(どの利用者の来訪者か)に応じて、動的にタイプ分けできる動作であれば、様々な動作を実行してもよい。例えば、判別された利用者に応じて、親機の報知音を変更したり、訪問履歴を残すか否かを変更したり、訪問履歴として保存する情報項目を変更したり、様々な動作が想定される。図3の利用者情報テーブルにおいて、利用者名に対応付けて、来訪者が来訪した時に実行すべき動作を利用者ごとに登録しておけばよい。
反対に、来訪者が来たときの動作が、報知部27による報知動作のみであるならば、利用者情報記憶部31が、図6の利用者情報テーブルの代わりに、利用者の電話番号だけのリストを記憶し、図4の認証情報テーブルにおいて、利用者名ではなく、報知先情報としての電話番号を直接対応付けてもよい。これにより、記憶部30におけるデータの構造を簡素化して、メイン親機1の処理効率を高めることが可能となる。
また、報知部27が参照する利用者情報テーブルが、図3および図6に記載の利用者情報テーブルを組み合わせたものである場合、あるいは、図3および図6の利用者情報テーブルの両方が利用者情報記憶部31に記憶されている場合、報知部27は、判別された利用者に応じて、報知先情報として、対応する携帯電話の電話番号と、対応する親機とを特定することができる。したがって、報知部27は、利用者の親機に来客を報知するとともに、利用者の携帯電話に来客を報知してもよい。
なお、メイン親機1は、図2に示す子機3が来訪者来訪時に撮像することによって得た映像データを用いて、顔情報の自動登録を行ってもよい。具体的には、まず、映像データに写っている来訪者が、顔認証部25によっていずれの登録済みの顔情報とも一致しないと判定する。この場合、報知部27は、来訪者がどの利用者の客であるのかが分からないので、宅に設置されているすべての増設親機2と自機、メイン親機1とを鳴動させる。各親機の表示部15には来訪者の映像が表示されるので、利用者は自分の客であるか否かを確認してから、自室の親機にて上記呼出に応答することができる。ここで、メイン親機1の構内通信部11は、増設親機2が応答したことを認識することができる。
識別情報取得部21は、応答した増設親機2から送信された信号によって、増設親機2の識別情報を取得する。利用者特定部22は、増設親機2の識別情報に基づいて応答した利用者を特定する。一方、画像取得部20は、子機3から送られてきた映像データから適宜来訪者の画像データを抽出する。あるいは、顔情報生成部23が、先の顔認証時に生成した顔情報を認証情報登録部24に伝達してもよい。
認証情報登録部24は、上記来訪者の顔情報と、特定された利用者とを関連付けて認証情報として登録する。
上記構成によれば、認証情報が未登録の来訪者であって、利用者のいずれかが応答した場合には、メイン親機1が、利用者の別途の操作を必要とせずに、自動で、上記訪問者の認証情報の登録を行うことができる。これにより、今後、判別部26が、上記来訪者が上記応答した利用者の客であると判別することができる。
このように、画像データと識別情報とが、子機3と増設親機2との別々の装置からメイン親機1に供給される場合であっても、それらの紐付けが可能な状況において供給される場合には、メイン親機1は、認証情報を自動で登録することができる。
なお、上述の各実施形態においては、顔情報自動登録機能をメイン親機1が有するものとして説明したが、インターフォンシステム100(図2)を構成する各インターフォン装置のいずれが当該機能を有していてもよい。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、メイン親機1等インターフォン装置の各ブロック、特に、画像取得部20、識別情報取得部21、利用者特定部22、顔情報生成部23および認証情報登録部24は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、インターフォン装置は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるインターフォン装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記インターフォン装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、インターフォン装置を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。