JP6767924B2 - システム、方法及びプログラム - Google Patents

Description

本実施形態は、システム、方法及びプログラムに関する。

従来、トランシーバ、インターフォーン、携帯端末などの各種の通話システムが開発されている。従来は、通話を開始する呼び出し機器は、応答（或いは相手）機器をきめるために、ダイアル番号、アドレスなどを何らかの手段で入力しているのが一般的である。

これに対して、最近は、インターフォーンシステムにおいて、複数台の相手機器が設置されている場合、相手機器の優先順位を決めておき、呼び出し時には、相手機器を順次優先度の高い順に呼び出すシステムも開発されている。これは、個別呼び出しを行うと、通話の相手が、どの部屋に居るか不明な場合があり、正確に相手機器を指定できないので、このような問題を解決するためである。

国際公開第２０１５／１２５４５１号 特開２０１１−２３７７９号公報

近年は、通信機能とスピーカー及びマイクを一体的に有し、前記通信機能により周囲の電子装置も制御できる機器が開発されている。この機器によると、スピーカーにより音声でメッセージを伝えることができ、またマイクにより音声をピックアップして送信することができる。

そこで本実施形態は、相手の居場所や、相手が利用可能な相手機器を判定し、相手機器との間の通信ルートや相手機器を任意に切換え選択できるシステム、方法及びプログラムを提供することを目的とする。

実施形態によれば、システムは、受信部と、判定部と、通信部と、を備える。受信部は、第１ユーザとの通信の要求を受信する。判定部は、複数の機器の中から、いずれの機器の近辺に前記第１ユーザが存在するかを判定する。通信部は、第１機器の近辺に前記第１ユーザが存在すると判定された場合に、前記要求に応じた通信をするための前記第１機器との通信ルートを確立する。通信部は、前記第１機器の近辺に前記第１ユーザが存在すると判定される場合であって、かつ前記第１ユーザが所有する携帯端末が前記第１ユーザにより携帯されている場合には、前記第１ユーザが所有する携帯端末との通信ルートを形成する。

図１は、一実施形態が適用されたあるファミリーの通信システムの一例を示す説明図である。 図２は、通話デバイス１１Ａの構成例を代表して示す図である。 図３は、本通信システムが備える構成の一部を取り出して示す図である。 図４は、図３に示す構成が、図１に示したファミリーに対して適用された様子を例示する図である。 図５は、図１３のデータが更新されるときの動作フローの一例を示す図である。 図６は、図１のサーバが図１２、図１３、図１４のデータを認識できることを前提とし、前記サーバが、いずれのデバイスと通信を行ったかに応じて、当該デバイスの登録者ＩＤを特定する方法を説明するフローチャートである。 図７は、本実施形態の通信システムが通話の相手の居場所を特定し、そして通信ルートを形成する場合の例を示すフローチャートである。 図８は、本通信システムの動作のさらに他の例を示すフローチャートである。 図９は、通話デバイス或いは特殊な携帯端末の他の例を示す図である。 図１０は、特殊な携帯端末の変形例を示す図である。 図１１は、本通信システムが具体的にデパートや工場、等に導入された場合の使用例を示す説明図である。 図１２は、本通信システムに登録されている登録者、通話デバイス、および携帯端末の登録情報テーブルを示す図である。 図１３は、本通信システムに登録されている登録者、通話デバイス、および携帯端末などの現在位置を把握するために利用される状況テーブルを示す図である。 図１４は、本通信ルートが確立される場合に利用される接続先判定テーブルを示す図である。

以下、実施の形態について図面を参照して説明する。

＜ファミリーにおける通信系統の例＞
図１は一実施形態が適用されたあるファミリーの通信システム（域内（家庭内）の情報伝達環境）の一例を示している。

ファミリーは、例えば息子１２、娘１３、母親１４、祖父１５、父親１６で構成されているものとする。このファミリーの家は、少なくとも息子の部屋、娘の寝室、台所、図示していないが夫婦の寝室、居間、があり、庭があるものとする。ファミリーのそれぞれは、１対１で紐づけられた携帯可能な電子機器、例えばスマートフォンや携帯電話装置、タブレットＰＣあるいはウェアラブル端末装置、等、を所有している。

現時点で、息子１２は息子の部屋に居る、娘１３は娘の寝室に居る、母親１４は台所に居る、祖父１５は庭に居る、父親１６は出張で海外に居るものと想定する。

息子１２の部屋には、電子装置（通信デバイス（Internet on Things（ＩｏＴ）機器またはＩｏＴ（機器）と称する場合もある））１１Ａが配置されている。娘の寝室にも通話デバイス（電子機器）１１Ｂが配置され、台所にも通話デバイス（電子機器）１１Ｃが配置されているものとする。個々の通信デバイス１１（Ａ，Ｂ，Ｃ（特に識別を必要としない場合は、添え字を省略する場合もある）は、対話用電子装置、ＴＨＩＮＧ（シング（多機能装置））、監視用電子装置などと称されることもある。個々の通信デバイス１１（Ａ，Ｂ，Ｃ）の構成は、図２を参照して説明する。

個々の通話デバイス１１Ａ、１１Ｂ、１１Ｃは、それぞれルータ４０との間で、近距離通信を行うことがでる。この通信は、例えばＷｉ−Ｆｉ（登録商標）を経由する通信である。ルータ４０は、Ｗｉ−Ｆｉにより携帯端末と通信を行うことができる。さらにまた、ルータ４０は、インターネット５１を介してサーバ５０との間でも通信を行うことができる。

個々の通話デバイス１１Ａ、１１Ｂ、１１Ｃはまた、近距離にある（近辺に位置する）携帯端末とも通信を行うことができる。この通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）による通信である。

図１の例であると、ルータ４０と、通話デバイス１１Ａ、１１Ｂ、１１Ｃ、携帯端末２３が、それぞれＷｉ−Ｆｉによる通信を行うことができる。また、通話デバイス１１Ｂ、１１Ｃは、それぞれ、携帯端末２１、２２と通信を行うことができる。

さらに息子１２、娘１３、母親１４は、それぞれの通話デバイス１１Ａ、１１Ｂ、１１Ｃ、または携帯端末を介して、父親１６の携帯端末２４を呼び出すことができる。このときの通信ルートは、ルータ４０、インターネット５１、サーバ５０、アクセスポイント５２、父親の携帯端末２４により形成される。逆に父親１６は、自身の携帯端末２４から、息子１２、娘１３、母親１４の通話デバイス１１Ａ、１１Ｂ、１１Ｃに回線を接続することもできる。

図２は、通話デバイス１１（Ａ，Ｂ，Ｃ（特に識別を必要とする場合は、添え字を添付する）の構成の一例を示している。

通話デバイス１１は、制御部１００を有する。制御部１００は、音声データを出力することができ、音声データは音声出力部１１０で、Ｄ−Ａ（ディジタル−アナログ）変換され、音量などの制御がなされ、スピーカー１１１に供給される。

カメラ１２１が撮像した映像信号は、映像キャプチャ１２２にてデジタル化、符号化され制御部１００に入力する。制御部１００は、照明電源１２３を制御して照明器１２４を制御することができる。さらに制御部１００は、マイク１３１、音声取得部１３２を介して近くの音声を取得することができる。照明器１２４は、カメラ１２１による撮影が行われるとき、周囲が暗い場合、撮影領域を照明するために利用される。

制御部１００は、送受信機１４１を介して、近辺に位置する携帯端末や通話デバイスとＷｉ−Ｆｉ（域内通信機能（Local Area Network（ＬＡＮ））による通信を行うことができる。また制御部１００は、送受信機１４２を介して、近辺にある携帯端末と近距離無線通信（Ｂｌｕｅｔｏｏｔｈ）による通信を行うことができる。

さらに制御部１００には、各種センサ１４３からの検知信号が入力されてもよいし、制御部１００が各種センサ１４３の動作制御（例えばオンオフ、特性切換えなど）を行ってもよい。なお、カメラ、マイク、スピーカーは、ユーザの操作により、それぞれをオフ又はオンすることが可能である。また、個々のデバイス１１において、カメラ、スピーカー、マイクロフォンの少なくとも１つは、既に設けられているものからのデータを利用するものであってもよい。なお、通信デバイス１１は、例えばカメラ付きのＰＣ（パーソナルコンピュータ）、等であってもよい。また、近距離無線通信機能としては、例えばzigbee（登録商標）、Z-Wave（登録商標）、等の利用も可能である。

図３は、上記通信システムが備える構成の一部を取り出して示している。受信部３０１は、外部から入力する呼び出し信号を受け取り、第１ユーザとの通信を要求する。第１ユーザとは、例えば機器３１１を有する又は機器３１１の近くに居るユーザである。

特定部３０２は、受信部３０１が受信した呼び出し信号に応じて、複数の機器の中から、前記第１ユーザが近辺に存在する、或は第１ユーザが所有する第１機器３１１を特定することができる。そして通信部３０３は、特定部３０２が特定した結果に応じて、第１機器３１１が前記要求に応じた通信ができるように通信ルートを確立する。

図３に示した構成は、単独である１つの通信デバイス内に構築されてもよいし、サーバ５０内に構築されて、各デバイスと連携してもよい。さらには、図１に示す複数のデバスで分担して構成されてもよい。すなわち、上述したように、例えばスピーカーやカメラのように既に用意されている要素からの出力（データ）を用いることが可能である。

図４は、上記した構成が、図１に示したファミリーに対して適用された様子を例示している。以下、会話（通信）を開始する発話人（息子１２、妹１３、母１４、祖父１５、父１６の何れか）と、発話人が通話したい相手（（息子１２、妹１３、母１４、祖父１５、父１６の何れか）と、の間で通信ルートが形成される例を各種説明する。通信ルートは受信部３０１、特定部３０２、通信部３０３を介して実行される。

（例１）
本システムは、会話を開始する人（発話側）が、自身の近くに位置する通話デバイスに対して、通話したい相手（通話の相手（第１ユーザ））の名を呼ぶ（例えばママ、パパと呼びかける）と、自動的に通話の相手の居場所の近くにある通話デバイス（第１機器）に音声出力（呼びかけ音声）もしくは呼び出し音が出力される。なお、通話したい相手を特定（指定）するための手法（ＵＩ（User Interface））としては、音声による指示や映像認識結果の認証に加えて、例えば発話者が保持している端末装置のスクリーンが表示するＧＵＩ（Graphical User Interface）や、スクリーンが表示するボタンもしくはリモコン装置、等において広く用いられるボタン（ハードウエアボタン）であってもよい。また、例えば音声による指示を受け付ける場合には、さまざまな読み替え、例えば人名、兄弟姉妹や祖父母（父、母）のように年齢的な情報から個人を特定できる呼称（お兄ちゃん／おばあちゃん）、ニックネーム、等のそれぞれに対して同一人物を特定できるよう、読み替え辞書が用意される。音声による指示を受け付ける場合にはまた、音声認識により発話者を特定して、発話者に対して年齢的な特徴を持つ人物を特定することができる。例えば、娘１３が「お父さん」と発話した場合には、父１６を特定し、父１６が「お父さん」と発話した場合には、祖父１５を特定する。

例えば、図１に示す息子１２が、息子の部屋で「ママと通話したい」と発話すると、母親１４が居る台所の通話デバイス１１Ｃと子供部屋の通話デバイス１１Ａとの間の通信ルートが形成され、通話デバイス１１Ｃから「ママと通話したい」と言う音声が出力される。他の寝室や居間の通話デバイスとは接続されない。

（例２）
この場合、通話の相手（例えばママ）が通話デバイス１１Ｃの近くに居るかどうかは、通話デバイス１１Ｃに付属しているカメラ、あるいは通話デバイス１１Ｃと連携しママが居る部屋や台所に設置された別のカメラデバイスによる人物認識（顔認識）機能により、判定している。

（例３）
例えば、息子１２が、子供部屋で「パパと通話したい」と発話したが、ルータ４０を中心としたホーム内の通話デバイスや携帯端末のＷｉ−Ｆｉでは検知できない（パパは家の中には居ないと判定される）場合がある。この場合はパパの携帯端末２４に自動的に回線がつながる。図１に示すように、パパ１６が家の中には居ないと判定された場合は、ルータ４０、インターネット５１、サーバ５０、アクセスポイント５２、携帯端末２４の通信ルートが確立される。この場合、パパ（父親）１６が、例えば勤務として海外に居るような場合であっても、インターネット５１を経由して、パパ１６が保有する携帯端末との間に通信ルートが確立される。なお、パパ１６が、例えば勤務として海外に居るような場合については、例えば「パパは、外国で仕事しているよ」、等のメッセージあるいは音声を出力して、不用意にインターネット５１を経由する通信ルートが確立されることを抑止することもできる。

別の例として、例えば母親１４が通話デバイス１１Ｃに「おじいちゃん」と呼びかけたとする。図１の例では、祖父１５は庭に居て、祖父１５が所有する携帯端末２３はルータ４０により検知されている。この場合は、通話デバイス１１Ｃとルータ４０と、携帯端末２３との通信ルートが形成され、携帯端末２３への着信が行われる。

（例４）
通話の相手が、家庭内に設置されている通話デバイスの近くに居るかどうかは、前記通話の相手が携帯する携帯端末（デバイス）と前記通話デバイスとが近距離無線通信を行うことで、前記通話デバイスが判定することもできる。すなわち、部屋のデバイスが近距離無線通信で通話の相手のスマートフォンを検知した場合は、その部屋のデバイスに接続する。

そして、通話デバイスが近距離無線通信で通話の相手の携帯端末を検知している場合は、発話側の通話デバイスはその通話デバイスに接続される。例えば、図１に示すように、娘１３の部屋においては、娘１３の部屋の通話デバイス１１Ｂが近くにある娘の携帯端末２１を検知している。このような場合、例えば、母親１４が、「わかめ」（娘の名前）を通話デバイス１１Ｃに呼びかけると、通話デバイス１１Ｃと通話デバイス１１Ｂ間の通信ルートが形成される。

また通話の相手が、通話デバイスの近くに居て、携帯端末が携帯（携行）もしくは把持されているかどうかの判定は、例えば当該携帯端末の加速度センサ情報の出力があるか否かにより判定する。つまり、図１の例であると、娘１３が携帯端末２１に触れて、例えばゲームなど楽しんでいる場合、通話デバイス１１Ｂは、Ｂｌｕｅｔｏｏｔｈを介する通信により携帯端末２１が近くにあることを検知する。

なお、通話（会話）したい相手や特定の人物が近傍にいること（もしくは来客の有無）を検出する方法としては、通信デバイス１１による相手（ユーザ）が保持する携帯端末装置の検出に限らす、例えばカメラ装置による人物の認識、マイクロフォン（スピーカーを非使用時にマイクロフォンとして利用することを含む）による音声の取得、取得した音声の特徴量に基づく個人特定、人感（感熱）センサによる誰かの存在の検出と音声や映像による個人特定、等、人物を検知できる方法であればどのようなものであってもよい。但し、ペット、等については、予め検出除外対象として登録できることが好ましい。

（例５）
上記例４のように、通話デバイスとその近くの携帯端末は、関連づけられているが、もし、携帯端末が携帯（把持）されていないと判定した場合は、発話側のデバイスは当該携帯端末に接続されることはない（携帯端末が把持（携帯）されていないと判定した場合、その部屋の通信デバイス１１には接続しない）。

例えば、図１の例の場合、母親１４が「かつお」（息子１２の名前）を通話デバイス１１Ｃに呼びかけると息子１２は、携帯端末を所有していないので、通話デバイス１１Ｃと通話デバイス１１Ａの通信ルートが形成されるだけである。

（例６）
上記例５のように携帯端末が携帯されていないと判定した場合であっても、当該携帯端末或いは部屋が特別に登録されている場合は、発話側の通話デバイスは当該携帯端末に接続される。

例えば、寝室に居る時、携帯端末をベットサイドに置いているので、特定のデバイス（身につけていなくてもその部屋に居ると見なす）として登録しておくことで、寝室の携帯端末と呼び出し側の通話デバイス間の接続ルートが形成可能となる。例えば、部屋を自由にかつ身軽に動けない人（病人や要介護者）の場合は、携帯端末をベッドサイドに長時間置くことが多いので、特別のデバイスとして、当該携帯端末を登録することが好ましい。なお、登録しておく条件としては、例えば食事時間帯や入浴時間帯、等の部屋に居ない、とみなすことのできる時間帯は除外することが好ましい。

（例７）
例えば例１において、接続先が不明の場合（相手の通話可能な接続先が見つからない場合）は、その旨、（音声などで）通話デバイスからユーザに知らしめる。

例えば、図１において息子１２が「山田さんと通話したい」と発話したが、山田さんの情報がシステムに登録されていない場合「山田さんは登録されておりません」と通話デバイス１１Ａが返答する。

（例８）
上記の例は、通話デバイスから携帯端末に接続される通信ルートを主に説明した。しかし、外部から直接、携帯端末に電話がかかってくること［通話要求（着呼）］がある。この場合、携帯端末から近くの通話デバイスに接続され、さらにこの通話デバイスから、当該携帯端末の所有者が近くに居る他の通話デバイスに接続されるという通信ルートを構築することもできる。

図１において、娘１３が例えば台所に移動し、母親１４が行う料理の手伝いをしているものとする。このとき、娘２１の寝室の携帯端末２１（娘が所有する携帯端末）に外部から電話がかかってきたとする。この場合、本電子システムは娘１３の居場所を把握しているので、携帯端末２１から通話デバイス１１Ｂ、ルータ４０、通話デバイス１１Ｃへの通信ルートが形成される。また別の例としては、寝室にて充電中の携帯端末にかかってくる場合もある、しかし、携帯端末の持ち主は、寝室とは異なるリビングに居る場合がある。この場合、寝室の携帯端末にかかってきた電話が、近距離無線通信により自動接続された寝室の通話デバイスを経由して、持ち主が居るリビングの通話デバイスに自動的に接続され、その通話デバイスを通して相手と会話することができる。

なお、個々の人物が携帯端末を保持（携行）しているか否かに拘わらず、例えば家族からの域外からの通信回線を介した通信が着信し、いずれの通信デバイスによっても携帯端末と紐付けられた相手の居場所が特定できない場合、等においては、その（通信対象の）相手が保有している携帯端末に、通信が着信していることを、例えば公衆通信網を通じて報知（通知）する。一方で、発信者が不明の通信、等については、例えば通話ができないことを報知するメッセージ、あるいはデータを返信する。なお、通信が着信していることをその相手の携帯端末に報知する優先度を、予め設定することができる。例えば、家族や友人からの通信は、深夜であっても報知することが好ましい。反面、仕事関係であることが明らかな発信元からの報知については、勤務時間帯（通常考え得る業務対応時間）に、かけなおしてもらうことを、返信してもよい。また、上述の（例６）のように、予め登録された場所にある携帯端末に通信が着信していることを報知する場合、家族からの通信であることが明らかであるような場合に制限をかけることも可能である。

＜参照テーブル及びデータ＞
次に、上記した各通信ルートをダイナミックに構築するために使用される参照テーブルやデータについて説明する。
図１２は、上記した通信システムに登録されている登録者、通話デバイス、および携帯端末の登録情報テーブルを示している。
図１３は、上記した通信システムに登録されている登録者、通話デバイス、および携帯端末などの現在位置を把握するために利用される状況テーブルを示している。
図１４は、上記したように通信ルートが確立される場合に利用される接続先判定テーブルを示している。
図１２乃至図１４が示すそれぞれのデータは、図１に示したサーバ５０が有してもよいし、図１に示した通信デバイスのいずれかが有してもよい。

まず上記の通信システムが正確に動作するために、図１２（登録情報テーブル）に示すように本システムを利用する人の登録と、使用する通話デバイスの登録と、使用する携帯端末などの登録が必要である。その他、通信システムに組み込まれる監視カメラ、インターフォーン、温度、湿度、光、音などの特殊センサなどが追加されてもよい。

図１２に示す登録情報テーブルには、ファミリー構成員である父、母、息子、娘、祖父の識別データ（ＩＤ）が登録される。また各登録者の呼び名（お父さん、お母さん、かつお（息子）、わかめ（娘）、おじいちゃん）が登録される。さらに各人が所有する携帯端末の電話番号、携帯端末のＢｌｕｅｔｏｏｔｈ ＩＤ、携帯端末のＭＡＣアドレス、顔データ、携帯端末を身に着けていなくても連絡することが決められている通話デバイス（Internet on Things（ＩｏＴ）機器またはＩｏＴと称する場合もある）のアドレスなどが登録される。

図１３が示す状況テーブルには、まずファミリー構成員である父、母、息子（かつお）、娘（わかめ）、祖父の識別データ（ＩＤ）が、記述される。そして各構成員が、現在、通信デバイスや携帯端末とどのようにかかわっているかを示す状況データが更新して記述される。この状況データの更新時点は、定期的であってもよいし、或は通話の相手の呼び出しがなされた場合であってもよい。

図１４が示す接続先判定テーブルは、話者が通話の相手を呼び出したときに、通話の相手の居場所と通信ルート（接続ルート）を決定するために必要な、要件データの組み合わせを示している。

ケース１は、ある通話デバイスを介して通話の相手の顔が認識されている場合である。なおケース１は、いずれの通話デバイスも近距離無線で通話の相手の携帯端末を検知していない、ルータがＷｉ−Ｆｉで通話の相手の携帯端末を検知していない、通話の相手の携帯端末の加速度センサ情報もない、状況である。この場合は、顔を認識した通話デバイスが設置されている部屋に通話の相手が居ることが判定される。この結果、ケース１において呼び出された通話の相手に対しては、顔認識した通話デバイスに対する通信ルートが確立される。

ケース２は、顔認識がない、通話の相手に関連つけられている通話デバイスが近距離無線で通話の相手の携帯端末を検知していること、通話の相手が携帯端末を身に着けていること、が分かっている例である。この場合は、通話の相手は、当該通話デバイスが設置されている部屋に居ると判定される。そして、このケース２では、話者側のデバイスが家庭内で当該部屋に設置されている通話デバイスに接続される、通信ルートが確立される。

ケース３は、顔認識がない、通話の相手に関連つけられている特定の部屋の通話デバイスが近距離無線で通話の相手の携帯端末を検知していること、通話の相手が携帯端末を身に着けていないこと、が分かっている例である。この例は、先の（例６）で説明した環境である。この場合は、通話の相手が特定の部屋に居ると判定される。そしてこのケース３では、話者側のデバイスが家庭内で当該特定の部屋に設置されている通話デバイスに接続される通信ルート、が確立される。

ケース４は、顔認識がない、通話の相手に関連つけられている特定の部屋の通話デバイスが近距離無線で通話の相手の携帯端末を検知している、通話の相手が携帯端末を身に着けていないこと、が分かっている例である。この場合は、通話の相手は、居場所不明と判定される。このケース４の例外が先のケース３である。このケース４では、先の（例７）で説明したように相手の通話可能な接続先が見つからない旨、（音声などで）通話デバイスからユーザに知らしめる。

ケース５は、顔認識がない、通話の相手に関連つけられている特定の部屋の通話デバイスが近距離無線で通話の相手の携帯端末を検知していない、しかしルータがＷｉ−Ｆｉ通信により通話の相手が携帯端末を身に着けていること、が分かっている例である。この場合は、通話の相手が、家の近くに居るが通話デバイスがそばに無いところに居ると判定する。

このケース５では、先の（例３）で説明したように、母親１４が通話デバイス１１Ｃに「おじいちゃん」と呼びかけた場合に相当する。この場合は、話者のデバイスが、携帯端末にＷｉ−Ｆｉ通信より接続される。

ケース６は、顔認識がない、通話の相手に関連つけられている特定の部屋の通話デバイスが近距離無線で通話の相手の携帯端末を検知していない、しかしルータがＷｉ−Ｆｉ通信により通話の相手の携帯端末を検知している、しかし当該携帯端末を身に着けていない場合の例である。このケース６では、先の（例７）で説明したように相手の通話可能な接続先が見つからない旨、（音声などで）通話デバイスからユーザに知らしめる。

ケース７は、顔認識がない、通話の相手に関連つけられている特定の部屋の通話デバイスが近距離無線で通話の相手の携帯端末を検知していない、ルータがＷｉ−Ｆｉ通信により通話の相手の携帯端末を検知していない、場合の例である。この時は、本通信システムは、通話の相手は外出中であることが判定される。そして、通話の相手の携帯端末に対して、携帯端末番号による電話接続を行う。

上記したように本通信システムは、通話の相手の状況に応じて、通信ルートを確定することができる。そのために、本通信システムは、図１２に示した登録情報テーブル、図１３に示した状況テーブル、図１４に示した接続先判定テーブルを活用する。

図１２が示す登録情報テーブルは、通信デバイスが各部屋に設置された場合に登録情報テーブルに共通データとして登録される。

例えば、ある１つの通信デバイスと、ユーザの携帯端末とを接続する。接続方法は、例えば通信デバイスを登録モードに設定し、ユーザの携帯端末を例えばＢｌｕｅｔｏｏｔｈを介する動作モードに設定し、携帯端末に通信デバイスのＩＤを入力する。これにより、通信デバイスと携帯端末が通信状態となる。そして、携帯端末の画面には、「登録者ＩＤを入力してください」と表示される。登録者ＩＤは、任意でよい。この場合家族の登録者ＩＤが重複しない方がよい。登録者ＩＤの次に「呼び名である、かつお、わかめ、パパ、ママ、おじいちゃん等」を入力することができる。

このとき、自動的に携帯端末の電話番号、Ｂｌｕｅｔｏｏｔｈ ＩＤ、ＭＡＣアドレスなどが通信デバイスへ送られて登録される。また、「顔画像データを入力しますか？」というメッセージが、携帯端末の画面に表示される。ユーザは顔画像データを入力する場合は、例えば通信デバイスのカメラの正面に顔を向けて、「ハイ」、「どうぞ」と言えば、ユーザの顔画像が通信デバイスにより取得される。逆にユーザが「いいえ」と言えば、顔画像の取得はなされない。

さらにまた、通信デバイスが登録モードにあるときは、通話の相手が、携帯端末を身につけていないと判定されたとしても、通信ルートを形成して連絡する通信デバイスを登録することができる（特定の部屋の通信デバイスである）。この登録受付は、先のケース３で説明した通信ルートを確立するためのものである。登録モードのメニューにおいて、例えば「特定の部屋の通信デバイスを登録しますか？」と言うようなメッセージが用意されている。ユーザは、このメッセージを選択して、携帯端末に特定の部屋の通信デバイスのＩＤを入力して確定を操作すればよい。

上記した通信システムでは、話者により呼び出しがあった場合、あるいは、定期的に、図１３が示す状況テーブルのデータを更新する。しかし、携帯端末の揺れ（持ち運びがされたと判定できる揺れ）の情報を受けた場合には、その都度、図１３が示すデータを更新することが好ましい。

図５は、図１３が示す状況テーブルのデータが更新されるときの動作フローの一例を示す図である。携帯端末端末をその所有者が持って移動するときは、携帯端末の加速度センサ情報に変化がある（Ｓａ１）。

この変化は、例えば通信デバイスと携帯端末間のＢｌｕｅｔｏｏｔｈを介した通信、或はルータ４０と携帯端末間のＷｉ−Ｆｉ通信により検出される。Ｂｌｕｅｔｏｏｔｈを介する通信の実行や、Ｗｉ−Ｆｉ経由の通信の実行は、通信デバイス内の制御部、ルータ内の制御部により起動される。取得された携帯端末の加速度センサ情報の変化の有無は、先の図１３において、加速度センサ情報の欄の更新に用いられる。加速度センサ情報は、「携帯端末を身に着けている」或いは「携帯端末を身に着けていない」を示すことになる。またこの時、加速度センサ情報がＢｌｕｅｔｏｏｔｈ通信で検出されたのか、Ｗｉ−Ｆｉ通信で検出されたのか、両方で検出されたのかを示す情報も図１３において更新される。

つまり、上記の通信の工程においては、加速度センサ情報の変化の有無、携帯端末と通信した通信デバイスのＩＤ、または通信したルータのＩＰアドレスが分かるので、該携帯端末がどの部屋にあるのか、或は部屋に無いのかが判明する。これにより、登録者の居場所、状況などが更新可能となる（Ｓａ５）。

また、顔画像データを図１２に登録しているユーザは、カメラをオンしている各部屋の通信デバイスにより、顔認識されることが可能である。通信デバイスは、カメラを介して移動体を検知したときに、顔画像データを取得することができる（Ｓａ２）。この通信システムは、取得した顔画像データと図１２に登録されている顔画像データとを比較し、どの部屋で誰の顔画像データが取得されたかを把握することができる。

取得した顔画像データがある登録者の登録顔画像データと一致した場合、取得した通信デバイスの部屋に該登録者が居ることが判明する。この判明結果に応じて、該登録者の「居場所及び状況などを更新することができる（Ｓａ６）。

さらに、通信デバイスはマイクを備えるので、音声認識機能を利用してもよい。登録者の音声データが、顔画像データと同様に、例えば図１２に登録される。そして、通信デバイスが、ユーザの音声をピックアップしたとき、ユーザの音声を認識し、部屋に居ることを特定する。

図６は、例えば図１のサーバ４０が図１２、図１３、図１４のデータを認識できることを前提とし、前記サーバ４０が、いずれのデバイスと通信を行ったかに応じて、当該デバイスの登録者ＩＤを特定する方法を示している（Ｓｂ１）。

図６に示す（Ｓｂ２）のケースを説明する。サーバ５０が、ルータ４０と何れかの通信デバスを経由する通信に基づいて、顔画像データを取得することがある。この場合、この顔画像データに対応する登録顔画像データを検出する。この場合、図１２が示す登録情報を参照して検出した登録顔画像データに対応する登録者ＩＤを決定する。

図６に示す（Ｓｂ３）のケースを説明する。サーバ５０が、ルータ４０、いずれかの通信デバイスそしていずれかの携帯端末を経由する通信に基づいて、携帯端末の動きを示す加速度センサ情報を検出する場合がある。この場合は、図１２を参照して該携帯端末と通信デバイスとの通信に利用されたＢｌｕｅｔｏｏｔｈ ＩＤを特定し、このＢｌｕｅｔｏｏｔｈ ＩＤに対応する登録者ＩＤを決定する。

図６に示す（Ｓｂ４）のケースを説明する。サーバ５０が、ルータ４０又はアクセスポイント５２を経由して携帯端末と通信し、その携帯端末の加速度センサ情報を検出する場合がある。この場合は、図１２を参照し、ルータ４０経由の場合は、携帯端末のＭＡＣアドレスに対応する登録者ＩＤを決定し、アクセスポイント５２経由の場合は、携帯端末の電話番号に対応する登録者ＩＤを決定する。

図７は、本実施形態の通信システムが通話の相手の居場所を特定し、そして通信ルートを形成する場合の例を示している。ユーザがある部屋の通信デバイスに呼びかけたとする。つまり通信デバイスが呼び出し音（発話）をピックアップしたとする。すると、通信システムは、呼び出し音（例えばママと話したい等）の音声認識を行い、通話の相手であり、図１２が示す登録情報に登録されている登録者ＩＤ（母親のＩＤ）をサーチする（Ｓｃ１）。もし図１２に登録者ＩＤが無い場合は、呼びかけられた通信デバイス（呼び出し元のデバイス）が、「登録者ではありません」と音声で返事する（Ｓｃ４）。

登録者ＩＤが検出された場合は、呼び出し先（通話の相手）の登録者ＩＤに基づいて、図１３を参照し、通話の相手の状況（自分の部屋に居る？／別の部屋に居る？／外出している？、など）を判定する。そして図１３が示す状況に基づいて、話者から通話の相手までの通信ルートを特定する（Ｓｃ３）。

通信ルートの特定のための処理は、各種の状況に応じて実施される。図１３を参照した結果、通話の相手（登録者ＩＤ）のデバイスが通信デバイスであることが決まった場合は、呼び出し元の通信デバイスと通話の相手の通信デバイスとの間の通信ルートを形成する（Ｓｃ５）。

図１３を参照した結果、通話の相手（登録者ＩＤ）のデバイスがＷｉ−Ｆｉ通信を介して通話する携帯端末であることが決まった場合は、呼び出し元の通信デバイスと通話の相手の携帯端末との間の通信ルートを、ＩＰアドレスを用いて形成する（Ｓｃ６）。

図１３を参照した結果、通話の相手（登録者ＩＤ）のデバイスが携帯端末の電話番号を介して通話する携帯端末であることが決まった場合は、呼び出し元の通信デバイスと通話の相手の携帯端末との間の通信ルートを携帯端末の電話番号を用いて形成する（Ｓｃ７）。

図１３を参照した結果、通話の相手の居場所を特定できなかった場合は、呼び出し元の通信デバイスを制御し、「居場所がわかりません」と音声応答を実行させる。

図８は、本通信システムの動作のさらに他の例を示すフローチャートである。今までの説明は、通話デバイスから他の通話デバイス、外部の携帯端末、などに向かって通信ルートが形成される例を主に説明した。

さらに本通信システムは、受信者（通話の相手）の状況に応じて、音声を通話デバイスから出力することも可能であるし、携帯端末から出力することも可能である。

まず通信デバイスは、近距離無線通信より、携帯端末への着信を検知することができる（Ｓｄ１）。このとき通信デバイスは、携帯端末のＢｌｕｅｔｏｏｔｈ ＩＤを取得する（Ｓｄ２）。次に図１２が示す登録情報を参照して、取得したＢｌｕｅｔｏｏｔｈ ＩＤから、携帯端末の持ち主の登録者ＩＤを取得する（Ｓｄ３）。

次に、通信システムは、図１３が示す状況データを参照し、取得した登録者ＩＤに基づいて携帯端末の持ち主の居場所を特定する（Ｓｄ４）。次に特定した居場所には、先の着信を検知した通信デバイスが設置されているか否かを判定する（Ｓｄ５）。もし、携帯端末の持ち主が、先の着信を検知した通信デバイスの近く（部屋）に居ることが判明した場合（Ｓｄ６）、当該通信デバイスに携帯端末を、Ｂｌｕｅｔｏｏｔｈを介する通信で接続し、携帯端末に着信した呼び出し音及び音声を、前記着信を検知した通信デバイスから出力することができる（Ｓｄ７）。

ステップＳｄ６において、着信を検知した通信デバイスとは、異なる通信デバイスの近くに前記携帯端末の持ち主が居る場合は、本通信システムは、着信を検知した通信デバイスと前記異なる通信デバイスとの間の通信ルートを形成する。そして、本通信システムは、前記異なる通信デバイスから、携帯端末に着信した呼び出し音及び音声を出力する（Ｓｄ８、Ｓｄ９）。

上記した通信ルートが形成されると、着信が切れたかどうかの判定がなされ（Ｓｄ１０）、通信ルートが維持されていれば、発話が開始されているかどうかを判定し（Ｓｄ１１）、開始されていれば通話中と判定する（Ｓｄ１２）。着信が切れたことの判定がなされた場合（Ｓｄ１０）、通信は終了する。

先のＳｄ５において、携帯端末の持ち主が、通信デバイスの配置されている部屋に居ないことが判定された場合、図７のＳｃ１に移る。図７の処理では、再度登録者ＩＤのチェックから始まり、相手の状況（居場所、不明）を判定して、通信ルートを確保するか、相手が登録されていない場合は、呼び出しものとデバイスから「登録者ではありません」、等の音声による返信を行う。

図９は、他の実施形態の通話デバイス或いは携帯端末２７を示している。この通話デバイス又は携帯端末２７は、相手からの映像データを受信し、またこちらから映像データを送信する対話アプリケーションを所有している。そのために、少なくともディスプレイ２７ａ、カメラ２７ｂおよびスピーカー２７ｃを備える。

通話デバイスがこのような機能を備えることにより、話者と相手とは、手話などで対話することが可能となる。

図１０は、報知デバイス２８の一例を示している。例えば、図９に示したような通話デバイスを使用する使用者が、騒音のある環境の中で働く場合、着信に気づかない場合がある。そこで、この報知デバイス２８は、通話デバイス或いは携帯端末２７に着信があった場合、連動して動作し、（振動子による）振動、（発光部による）ライトフラッシュ、或は（温度上昇機構による）熱、或はこれらの組み合わせにより、利用者に着信を知らせることができる。

図１１は、本電子システム及び電子システム制御方法を、デパート（大規模商業施設）或いは工場、等で利用する場合の概念図を示している。本電子システムであると、通信デバイス１１Ａが、ピンポイントで、任意のフロアＦ３，Ｆ４，Ｆ５或いはＦ６に位置する任意の携帯端末（或いはインターフォーンもしくは主として閉じた域内で利用されるＩＰ電話）２７１ａ乃至２７１ｋ、２７１ｎ、２７１ｍ、のいずれかを指定して、外部と接続することができる。

このために全館に放送される館内放送でなく、特定のエリアを指定して音声を流すことができる。デパートでは、従業員への連絡、各店の特有のＢＧＭを流すことができる。工場では、エリアごとに独立して従業員に作業指示などのメッセージを送ることができる。

なお、図１１が示す例は、例えば駅やショッピングモール、地下街、等においても適用可能であることはいうまでもない。また、特定の携帯端末を検出するために、個々のフロアの通信デバイス１１Ａのカメラが特定した映像あるいは音声から、館内放送すべきフロアやフロア内の特定のブロックを検出することができる。なお、通信は、上述した館内放送のように、一方向の通信であってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１Ａ，１１Ｂ，１１Ｃ…通信デバイス、１２…息子（子供（男））、１３…娘（子供（女））、１４…母親、１５…祖父、１６…父親、２１，２２，２３，２４…携帯端末、４０…ルータ、５０…サーバ、５２…アクセスポイント、３０１…受信部、３０２…相手機器特定部、３０３…通信部、３１１，３１２，３１３…機器。

Claims (14)

1. 第１ユーザとの通信の要求を受信する受信部と、
   複数の機器の中から、いずれの機器の近辺に前記第１ユーザが存在するかを判定する判定部と、
   第１機器の近辺に前記第１ユーザが存在すると判定された場合に、前記要求に応じた通信をするための前記第１機器との通信ルートを確立する通信部と、を備え、
   前記第１機器の近辺に前記第１ユーザが存在すると判定される場合であって、かつ前記第１ユーザが所有する携帯端末が前記第１ユーザにより携帯されている場合には、前記通信部は、前記第１ユーザが所有する携帯端末との通信ルートを形成する、システム。
2. 第１ユーザとの通信の要求を受信する受信部と、
   複数の機器の中から、いずれの機器の近辺に前記第１ユーザが存在するかを判定する判定部と、
   第１機器の近辺に前記第１ユーザが存在すると判定された場合に、前記要求に応じた通信をするための前記第１機器との通信ルートを確立する通信部と、を備え、
   前記第１機器の近辺に前記第１ユーザが存在すると判定される場合であって、かつ前記第１ユーザが所有する携帯端末が前記第１ユーザにより携帯されていない場合であっても、前記第１ユーザが所有する携帯端末が登録された場所に位置する場合は、前記通信部は、前記第１ユーザが所有する携帯端末との通信ルートを形成する、システム。
3. 前記複数の機器のいずれの近辺にも前記第１ユーザが存在しないと判定される場合は、前記通信部は、前記第１ユーザが所有する携帯端末に対して通信ルートを確立する、請求項１または請求項２記載のシステム。
4. 前記判定部は、前記第１機器が備えるカメラから取得された映像データに基づいて、前記第１機器の近辺に前記第１ユーザが存在するか否かを判定する、請求項１または請求項２に記載のシステム。
5. 前記判定部は、前記第１ユーザが所有する携帯端末と前記第１機器との近距離無線通信が成立するか否かに基づいて、前記第１機器の近辺に前記第１ユーザが存在するか否かを判定する、請求項１または請求項２に記載のシステム。
6. 前記第１ユーザとの通信のために接続する機器が特定できないと判定される場合は、接続先が不明であることに関する出力が生成される、請求項１または請求項２記載のシステム。
7. 前記第１ユーザの携帯端末に着信がある場合に、前記通信部は、前記第１ユーザの携帯端末と前記第１機器との間の通信ルートを生成する、請求項１または請求項２記載のシステム。
8. 前記受信部は、前記第１ユーザの携帯端末への着信に応じ、前記第１ユーザとの通信の要求を受信する請求項１または請求項２記載のシステム。
9. 第１ユーザとの通信の要求を受信し、
   複数の機器の中から、いずれの機器の近辺に前記第１ユーザが存在するかを判定し、
   第１機器の近辺に前記第１ユーザが存在すると判定された場合に、受信した要求に応じた通信をするための前記第１機器との通信ルートを確立し、
   前記第１機器の近辺に前記第１ユーザが存在すると判定される場合であって、かつ前記第１ユーザが所有する携帯端末が前記第１ユーザにより携帯されている場合には、前記第１ユーザが所有する携帯端末との通信ルートを形成する、方法。
10. 第１ユーザとの通信の要求を受信し、
    複数の機器の中から、いずれの機器の近辺に第１ユーザが存在するかを判定し、
    第１機器の近辺に前記第１ユーザが存在すると判定された場合に、受信した要求に応じた通信をするための前記第１機器との通信ルートを確立し、
    前記第１機器の近辺に前記第１ユーザが存在すると判定される場合であって、かつ前記第１ユーザが所有する携帯端末が前記第１ユーザにより携帯されていない場合であっても、前記第１ユーザが所有する携帯端末が登録された場所に位置する場合は、前記第１ユーザが所有する携帯端末との通信ルートを形成する、方法。
11. 複数の機器のいずれの近辺にも前記第１ユーザが存在しないと判定される場合は、第１ユーザが所有する携帯端末に対して通信ルートを確立する、請求項９または請求項１０記載の方法。
12. コンピュータに、
    第１ユーザとの通信の要求を受信させ、
    複数の機器の中から、いずれの機器の近辺に第１ユーザが存在するかを判定させ、
    第１機器の近辺に前記第１ユーザが存在すると判定された場合に、受信させた要求に応じた通信をするための第１機器との通信ルートを確立させ、
    前記第１機器の近辺に前記第１ユーザが存在すると判定される場合であって、かつ前記第１ユーザが所有する携帯端末が前記第１ユーザにより携帯されている場合には、前記第１ユーザが所有する携帯端末との通信ルートを形成させる、プログラム。
13. コンピュータに、
    第１ユーザとの通信の要求を受信させ、
    複数の機器の中から、いずれの機器の近辺に前記第１ユーザが存在するかを判定させ、
    第１機器の近辺に前記第１ユーザが存在すると判定された場合に、受信させた要求に応じた通信をするための前記第１機器との通信ルートを確立させ、
    前記第１機器の近辺に前記第１ユーザが存在すると判定される場合であって、かつ前記第１ユーザが所有する携帯端末が前記第１ユーザにより携帯されていない場合であっても、前記第１ユーザが所有する携帯端末が登録された場所に位置する場合は、前記第１ユーザが所有する携帯端末との通信ルートを形成させる、プログラム。
14. 前記プログラムは、
    複数の機器のいずれの近辺にも前記第１ユーザが存在しないと判定される場合は、前記第１ユーザが所有する携帯端末に対して通信ルートを確立させる、請求項１２または請求項１３記載のプログラム。

Images