JP6657025B2 - 操作者推定システム - Google Patents

操作者推定システム Download PDF

Info

Publication number
JP6657025B2
JP6657025B2 JP2016121182A JP2016121182A JP6657025B2 JP 6657025 B2 JP6657025 B2 JP 6657025B2 JP 2016121182 A JP2016121182 A JP 2016121182A JP 2016121182 A JP2016121182 A JP 2016121182A JP 6657025 B2 JP6657025 B2 JP 6657025B2
Authority
JP
Japan
Prior art keywords
communication terminal
operator
terminal device
user
house
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016121182A
Other languages
English (en)
Other versions
JP2017223918A (ja
Inventor
裕之 岸田
裕之 岸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2016121182A priority Critical patent/JP6657025B2/ja
Priority to PCT/JP2017/006289 priority patent/WO2017217014A1/ja
Priority to CN201780036106.9A priority patent/CN109313613A/zh
Priority to US16/309,707 priority patent/US10796701B2/en
Publication of JP2017223918A publication Critical patent/JP2017223918A/ja
Application granted granted Critical
Publication of JP6657025B2 publication Critical patent/JP6657025B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/285—Generic home appliances, e.g. refrigerators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60—Context-dependent security
    • H04W12/69—Identity-dependent
    • H04W12/79—Radio fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Description

本発明は、家屋内に設置された電気機器を家屋内で操作した操作者を推定する操作者推定システムに関する。
家屋内に設置される冷蔵庫や加熱調理機等のいわゆる家電と称される電気機器では、モノのインターネット（ＩｏＴ（Internet of Things））化がすすんでいる。例えば、遠隔操作にて冷蔵庫内の食材情報を外出先から確認することができたり、外出先から伝言を冷蔵庫経由で家族に伝えたりすることが可能となっている。また、冷蔵庫や加熱調理機に音声操作にてメニューを相談して、サーバからレシピ情報の提案を受けることも可能となっている。
さらに、音声出力機能を備え、家電のドアの開閉やボタンの押下、あるいは家電への音声操作などの何らかのイベントが発生すると、そのイベントに応じて音声を出力する家電もある。このような家電もサーバと接続されることで、サーバから幅広い様々な音声情報を取得することができる。
本願出願人も、特許文献１において、外出先から伝言を家屋内の家族により確実に伝えることができる冷蔵庫等の電気機器を提案している。
一方、従来、家屋内における個人の位置を特定して電気機器を自動制御する技術がある。例えば、特許文献２には、人感センサを家屋内の各部屋に設置し、人感センサと個人認識用カードとで、個人の位置を特定して電気機器を自動制御する構成が記載されている。
特開２０１５−２２５２５８号公報 特開２００６−６７４１７号公報
しかしながら、上記特許文献１の電気機器を含め従来の家電においては、家電のドアやボタンを操作した操作者や、音声操作で献立を相談した操作者を推定するようにはなっていない。
そのため、ドアやボタンの操作を受けて家電が音声出力する内容は、世代や性別に関係のない、当たり障りのない内容となってしまい、個々のユーザに適したサービスを行うことができない。また、ドアやボタンの操作を受けて家電が伝言を再生する場合、伝言を伝えたい家族（例えば、子供）以外の家族（例えば父親）が操作したときに再生することを回避できず、ちぐはぐなことが起こる。
冷蔵庫や加熱調理機に献立相談する場合においても、お父さんが相談してもお母さんが相談しても同じメニューが提案されてしまい、「休日のお父さんが作るスペシャルメニュー」などの面白みのある提案ができない。
なお、特許文献２に開示された家屋内における個人の位置を特定する技術を適用して、家電のドアやボタンを操作したユーザや、メニューを相談したユーザを特定することは可能である。しかしながら、その場合、各部屋に人感センサを配置し、各個人に個人認識用カードを持たせる必要があり、コストが掛かる。
本発明は、上記課題に鑑みなされたものであって、その目的は、極力コストを掛けることなく、電気機器を操作した操作者を推定することができる操作者推定システムを提供することにある。
上記の課題を解決するために、本発明の一態様に係る操作者推定システムは、家屋内に設置された電気機器の操作者を推定する操作者推定システムであって、前記電気機器を操作する各ユーザが個々に所持し外出時に持参する通信端末装置の固有情報を前記各ユーザに対応付けて格納した記憶部と、前記電気機器が操作されると、前記電気機器に搭載された通信部を用いて、前記記憶部に固有情報が格納されている前記通信端末装置のうち、前記家屋内に存在する前記通信端末装置を探索し、検出された前記通信端末装置に対応付けられているユーザの中から、当該操作を行った操作者を推定する操作者推定部と、を備えることを特徴としている。
本発明の一態様に係る操作者推定システムによると、極力コストを掛けることなく、電気機器を操作した操作者を推定することができるので、ＩｏＴ化された電気機器等に用いることで、極力コストを掛けることなく、操作を行った個々のユーザに適したサービスを行うことが可能になるという効果を奏する。
本発明の実施の一形態に係る操作者推定システムの概略構成を示すイメージ図である。 上記操作者推定システムにおける家電の概略構成を示すブロック図である。 上記操作者推定システムにおける家電の記憶部に格納され、操作者の推定に用いられる情報が登録された情報テーブルの一例を示す図である。 上記操作者推定システムにおける家電が実施する操作者推定処理のフローチャートである。 図４のフローチャートにおけるＳ６の音声認識結果を用いた絞り込み処理のフローチャートである。 本発明の他の実施の形態に係る操作者推定システムの概略構成を示すイメージ図である。 図６の操作者推定システムにおける家電の概略構成を示すブロック図である。 図６の操作者推定システムにおける家電の記憶部に格納され、操作者の推定に用いられる情報が登録された情報テーブルの一例を示す図である。 図６の操作者推定システムにおける家電が実施する操作者推定処理のフローチャートである。 本発明の他の実施の形態に係る操作者推定システムの概略構成を示すイメージ図である。 図１０の操作者推定システムにおける家電の記憶部に格納され、操作者の推定に用いられる情報が登録された情報テーブルの一例を示す図である。 図１０の操作者推定システムにおける家電が実施する操作者推定処理のフローチャートである。
〔実施の形態１〕
以下、本発明の一実施形態について図１〜図５に基づいて説明すれば以下の通りである。
図１は、本実施の形態に係る操作者推定システム１００の概略構成を示すイメージ図である。図１に示すように、操作者推定システム１００には、家屋４０内に設置された家電（電気機器）１０である冷蔵庫１０−１，加熱調理機１０−２と、これら冷蔵庫１０−１，加熱調理機１０−２を操作する各ユーザの通信端末装置２０−１〜２０−４とが含まれる。図１の例では、通信端末装置２０−３，２０−４の各ユーザは外出しており、通信端末装置２０−３，２０−４は家屋４０内には存在しない。
なお、家電１０は、冷蔵庫１０−１，加熱調理機１０−２以外に、例えば、空気調和機、洗濯機、各種ＡＶ（Audio-Visual）機器、調理装置（電子レンジや炊飯器、電気ポット等）、照明装置、給湯機器、撮影機器、各種家庭用ロボット（例えば、掃除ロボット、家事支援ロボット、動物型ロボット等）等である。なお、以下においては、個々を特定する必要が無い場合、総称として、「家電１０」、「通信端末装置２０」を用いる。
家屋４０内には、局所通信ネットワークである例えば無線ＬＡＮ（Wireless Local Area Network）が整備（配備）されており、家電１０および家屋４０内に居るユーザが所持する通信端末装置２０−１，２０−２は、無線ＬＡＮの中継局３０に接続されている。中継局３０は、例えばＷｉＦｉ（登録商標）ルータやＷｉＦｉ（登録商標）アクセスポイントなどの通信機器である。局所通信ネットワークの通信範囲は、前記家屋内などの局所的な範囲に限定される。
家電１０は、中継局３０を介して広域通信ネットワーク６０に接続されたいわゆるネットワーク家電である。なお、家電１０の通信機能部分は、家電アダプタ（不図示）として家電１０に後付けされる構成であってもよい。
広域通信ネットワーク６０には、サーバ５０が接続されており、サーバ５０に通信端末装置２０と家電１０との対応付けが登録されている。サーバ５０に組み合わせが登録されることで、通信端末装置２０の各ユーザは、通信端末装置２０からサーバ５０を介して家電１０を遠隔操作することができる。
また、家電１０は、ユーザの音声による操作（音声操作）を受け付ける機能を有している。例えば、音声操作にてユーザよりメニューの相談を受けると、サーバ５０からレシピ情報を取得して、ユーザに提供したりすることもできる。
さらに、家電１０は、家電１０のドアを開けたりボタンを押下したり、あるいは音声操作が成されるなどの何らかのイベントが発生すると音声を出力する機能も有する。出力する音声には、ユーザが通信端末装置２０からサーバ５０経由で登録した伝言も含まれる。
家電１０は、サーバ５０から音声や楽曲の情報、レシピ情報など、様々な情報を取得することができる。また、家電１０は、サーバ５０と接続されることで、音声操作に必要な音声認識機能等を自身で備えることなく、サーバ５０が備える機能を利用して音声認識を実施することができる。
通信端末装置２０は、家電１０の操作者となるユーザが個々に所持し外出時に持参する通信端末装置であり、スマートフォンや携帯電話など、無線ＬＡＮ機能を有する通信端末装置である。
通信端末装置２０と広域通信ネットワーク６０のインターネットとの間は、３Ｇ（3rd Generation）、ＬＴＥ（Long Term Evolution）や、宅内あるいは公衆のＷｉＦｉ（登録商標）アクセスポイントなどを利用して接続される。なお、広域通信ネットワーク６０は、インターネットを含む構成以外に、電話回線網、移動体通信網、ＣＡＴＶ（CAble TeleVision）通信網、衛星通信網などを利用する構成であってもよい。
操作者推定システム１００においては、家電１０を操作する各ユーザの通信端末装置２０の固有情報を各ユーザに対応付けて登録しておき、家電１０は、操作を受けると、家電１０が搭載している後述する通信部１５（図２参照）を用いて、固有情報が登録されている通信端末装置２０のうち、中継局３０に接続されている通信端末装置２０を探索し、検出された通信端末装置２０に対応付けられているユーザを操作者と推定する。以下、固有情報が登録されている通信端末装置２０を登録通信端末装置２０と称する。
今日、家族一人一人がスマートフォンや携帯電話等の通信端末装置２０を持ち、家屋４０内では、インターネット環境をＬＴＥ等からＷｉＦｉ（登録商標）アクセスポイント接続に切り換えて使用するケースが一般的になってきている。
本願出願人は、この点に着目して、家電１０は、家電１０が操作されてイベントが発生すると、家屋４０内に存在する登録通信端末装置２０、つまり中継局３０に接続されている登録通信端末装置２０を探索し、検出された登録通信端末装置２０のユーザの中から当該操作を行った操作者を推定する。
家屋４０内に存在する登録通信端末装置２０が１台のみの場合、操作者を一人に絞り込む（特定する）ことができるが、家屋４０内に存在する登録通信端末装置２０が複数台ある場合は、一人に絞り込むことはできず、複数台の登録通信端末装置２０に対応するユーザの中に操作者が含まれるといった推定に止まる。
そこで、家屋４０内に存在する登録通信端末装置２０が複数台ある場合は、複数台の登録通信端末装置２０に対応する複数のユーザの中から操作者であるユーザの絞り込みを行うことが好ましい。
本実施の形態では、家屋４０内に存在する複数台の登録通信端末装置２０に対し、各登録通信端末装置２０に対応付けられているユーザの識別に用いることができる識別情報に基づいて、操作者であるユーザの絞り込みを行う。ここでは、識別情報として、操作者の音声より音声認識することで得られる、「性別認識」及び／又は「世代認識」の結果を用いる。
図２は、操作者推定システム１００における家電１０の概略構成を示すブロック図である。図２に示すように、家電１０は、制御部１１、記憶部１２、音声出力部１３、音声入力部１４および通信部１５を備えている。なお、図２において、家電本来の機能のブロックは省略している。例えば、家電１０が冷蔵庫１０−１であれば冷却機能のブロックを備え、また、家電１０が加熱調理機１０−２であれば調理機能のブロックを備えている。
制御部１１は、例えば、ＣＰＵ（Central Processing Unit）や専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置からなり、家電１０の各部の動作を制御する。制御部１１には、後述する、音声出力制御部１１１、音声入力制御部１１２、通信制御部１１３および操作者推定部１１４が構築される。
記憶部１２は、家電１０で用いられる各種情報を記憶する。記憶部１２には、サーバ５０から取得した音声や楽曲の情報やレシピ情報などのデータも記憶される。また、後述する家電１０の操作者を推定するために必要な、家電１０を操作する各ユーザの通信端末装置２０の固有情報やユーザの「性別」「年齢」等の情報も記憶される。記憶部に固有情報が記憶されている通信端末装置２０が登録通信端末装置２０である。
音声出力部１３は、スピーカなどの音声出力装置である。音声入力部１４は、マイクなどの音声入力装置である。
通信部１５は、局所通信ネットワークの中継局３０および広域通信ネットワーク６０を介してサーバ５０と通信する。また、通信部１５は、中継局３０を介して広域通信ネットワークを経ることなく通信端末装置２０と通信できる（登録通信端末装置２０とは限らず、中継局３０に接続できる通信端末装置２０であれば通信可能）。
音声出力制御部１１１は、音声出力部１３を制御する。家電１０のドアを開けたりボタンを押下したりするなどの操作がなされ、制御部１１が、イベントの発生を検知すると、音声出力制御部１１１は、音声出力部１３に指示して音声を出力させる。出力される音声の元となる音声データは、記憶部１２に格納されている。
音声入力制御部１１２は、音声入力部１４を制御する。本実施の形態では、音声入力制御部１１２は、音声入力部１４より入力された音声の音声データを通信部１５に送り、通信部１５がサーバ５０へ送信する。
サーバ５０では、家電１０より受信した音声データについて音声認識を行う。サーバ５０は、音声認識した結果、操作を命じる内容が含まれていた場合は、該操作を命じるコマンドを家電１０へと送信し、家電１０の通信部１５がこれを受信する。また、サーバ５０は、音声認識において、「性別認識」および「世代認識」も実施し、認識結果を家電１０へと送信し、家電１０の通信部１５がこれを受信する。
通信制御部１１３は、通信部１５を制御する。通信制御部１１３は、通信部１５がサーバ５０よりコマンドを受信すると、受信したコマンドを制御部１１に送る。サーバ５０から受信するコマンドには、音声操作によるものや、中継局３０および広域通信ネットワーク６０を介して通信端末装置２０からの遠隔操作によるものなどが含まれる。
また、通信制御部１１３は、通信部１５がサーバ５０より受信した「性別認識」および「世代認識」の認識結果を操作者推定部１１４に送る。さらに、通信制御部１１３は、通信部１５がサーバ５０より音声データを受信すると、受信した音声データを記憶部１２に格納する。
操作者推定部１１４は、家電１０のドアを開けたりボタンを押下したり、あるいは家電１０への音声操作などの操作を行ってイベントが発生すると、通信部１５を用いて、家屋４０内に存在すると推定し得る登録通信端末装置２０を探索し、検出された登録通信端末装置２０のユーザの中から当該操作を行った操作者を推定する。操作者推定部１１４は、局所通信ネットワークの中継局３０に接続されている登録通信端末装置２０を、家屋４０内に存在すると推定する。なお、ここで、「家屋４０内に存在すると推定し得る登録通信端末装置２０」との表現を用いているのは、登録通信端末装置２０が家屋４０外（庭など）に位置していても、無線ＬＡＮに接続されている場合には家屋４０内に存在すると判定するためである。但し、説明の便宜上、これ以降は、「家屋４０内に存在すると推定し得る登録通信端末装置２０」を「家屋４０内に存在する登録通信端末装置２０」と表現する。
記憶部１２には、予め、家電１０の操作者となり得るユーザ一人一人の通信端末装置２０を特定できる固有情報として、例えば無線ＬＡＮに割り当てられたＭＡＣアドレスが登録されている。図３は、記憶部１２に格納され、操作者の推定に用いられる情報が登録された情報テーブルの一例を示す図である。図３の例では、操作者となるユーザが、両親と兄および妹の家族４人である場合を例示している。
図３に示すように、「お父さん」「お母さん」「お兄さん」「妹」の各ユーザに対応付けて、各ユーザの通信端末装置２０−１〜２０−４のＭＡＣアドレス（XX:XX:XX:XX:XX:A1，XX:XX:XX:XX:XX:A2，XX:XX:XX:XX:XX:A3，XX:XX:XX:XX:XX:A4）が、通信端末装置２０を特定する固有情報として登録されている。また、本実施の形態では、音声認識にて得られる「性別認識」および「世代認識」の結果を用いた登録通信端末装置２０の絞り込みを実施するため、ユーザの識別に用いることができるユーザ情報として、各ユーザの「性別」および「年齢」の情報も登録されている。
操作者推定部１１４は、イベントが発生すると、家屋４０内に存在する登録通信端末装置２０として、中継局３０に接続されている登録通信端末装置２０を探索する。具体的には、家族の情報テーブルに含まれる全てのユーザについて、ａｒｐ−ａなどを用いてＭＡＣアドレスからＩＰアドレスを探し、Ｐｉｎｇなどで、登録通信端末装置２０の存在を確認する作業を繰り返し行う。そして、操作者推定部１１４は、存在を確認できた登録通信端末装置２０を、家屋４０内に存在する登録通信端末装置２０として絞り込む。
操作者推定部１１４は、家屋４０内に存在する登録通信端末装置２０が１台の場合は、その登録通信端末装置２０のユーザを家電１０の操作者と特定する。一方、家屋４０内に存在する登録通信端末装置２０が複数台の場合は、音声認識機能の結果を用いてさらなる絞り込みを行う。具体的には、情報テーブルを参照し、サーバ５０から受信した音声認識結果である「性別認識」および「世代認識」の識別情報を、検出された複数台の各登録通信端末装置２０に対応付けられている各ユーザの「性別」および「年齢」のユーザ情報に照らし合わせ、適合する登録通信端末装置２０のユーザを家電１０の操作者と推定する。適合する登録通信端末装置２０が複数台の場合は、それら複数台の登録通信端末装置２０に対応するユーザの何れかが家電１０を操作した操作者と推定し、１台に絞り込めた場合は、その登録通信端末装置２０のユーザを家電１０の操作者と特定する。
さらに、本実施の形態では、操作者推定部１１４は、イベントを発生させた操作が音声操作以外のドアの開閉やボタンの押下である場合には、音声認識結果を用いた絞り込みを行うために、音声出力制御部１１１に指示して、操作者の発話を促す呼び掛け音声を出力させる。呼び掛け音声の例としては、例えば「今、ドアを開けた？」、「ボタン押したよね？」といった、操作者が返事を行いたくなるような疑問文型の内容が考えられる。
操作者推定部１１４は、音声入力制御部１１２、通信部１５に指示して、音声入力制御部１１２の呼び掛けに対する回答として得た操作者の音声データをサーバ５０に送信し、サーバ５０から「性別認識」および「世代認識」の結果を受信し、これを用いて、音声認識結果を用いた絞り込みを行う。
図４は、家電１０における操作者推定処理のフローチャートである。家電１０の制御部１１は、イベントが発生したかどうかを常時検出している（Ｓ１）。イベントが発生し、Ｓ１でＹＥＳと判断すると、制御部１１は、中継局３０に接続されている登録通信端末装置２０を探索する（Ｓ２）。次に、制御部１１は、中継局３０に接続されている登録通信端末装置２０を検出できたかどうかを判断し（Ｓ３）、検出できずＮＯと判断すると処理を終了する。
一方、接続されている登録通信端末装置２０を検出でき、Ｓ３でＹＥＳと判断すると、続いて制御部１１は検出された登録通信端末装置２０が１台のみかどうかを判断する（Ｓ４）。ここで、ＹＥＳと判断すると、制御部１１は検出された登録通信端末装置２０のユーザを操作者として特定する（Ｓ５）。一方、制御部１１は検出された登録通信端末装置２０が複数台あり、Ｓ４でＮＯと判断すると、音声認識結果を用いた絞り込みを実施し（Ｓ６）、Ｓ６の絞り込みで残ったユーザを操作者として推定し、一人に絞り込めた場合は操作者として特定する（Ｓ７）。
なお、Ｓ６に進んだ場合、検出された複数台の登録通信端末装置２０のユーザの性別および年齢層が同じであると、１名にまで絞り込むことはできない。しかしながら、性別および年齢層が同じであるユーザに対して提供するサービス（発話内容や楽曲等）は基本的に共通であるため、特に問題はない。
図５は、図４のフローチャートにおけるＳ６の音声認識結果を用いた絞り込み処理のフローチャートである。家電１０の制御部１１は、図４のフローチャートのＳ１において発生と判断したイベントが音声操作であるかどうかを判断する（Ｓ６−１）。イベントが音声操作であり、Ｓ６−１でＹＥＳと判断すると、制御部１１は、サーバ５０より音声認識結果として受信した「性別認識」および「世代認識」の結果の情報に基づいて、図４のフローチャートにおけるＳ２で検出された複数台の登録通信端末装置２０の中から適合する登録通信端末装置２０を抽出する（Ｓ６−２）。その後、図４のフローチャートのＳ７に進む。
一方、イベントが音声操作以外の操作であり、Ｓ６−１でＮＯと判断すると、制御部１１は、操作者の発話を促す呼び掛け音声を出力する（Ｓ６−３）。そして、呼び掛け音声に対する操作者の回答の音声データをサーバ５０に送信し（Ｓ６−４）、サーバ５０より音声認識結果として「性別認識」および「世代認識」の結果を受信する（Ｓ６−５）。その後、Ｓ６−２に進み、図４のフローチャートにおけるＳ２で検出された複数台の登録通信端末装置２０の中から適合する登録通信端末装置２０を抽出する。
図１に示すように、登録通信端末装置２０−１，２０−２の各ユーザである「お父さん」と「お母さん」が家屋４０内に居る場合、中継局３０の接続による判定では、家電１０の操作者が「お父さん」と「お母さん」のどちらであるかまでは判別できない。しかしながら、操作者として「お兄さん」と「妹」の二人については除外できるので、「お兄さん」あるいは「妹」宛の伝言を、「お父さん」あるいは「お母さん」に対して再生する事態を回避できる。また、「お父さん」あるいは「お母さん」を対象とした内容の音声出力が行える。
そして、中継局３０の接続による判定に加えて、音声認識結果を用いた絞り込み（性別による絞り込み）を行うことで、家屋４０内に居る「お父さん」と「お母さん」のうちのどちらが操作者であるかまで判別することができる。同様に、家屋４０内に「お父さん」と「お兄さん」が居る場合であっても、中継局３０の接続による判定に加えて、音声認識結果を用いた絞り込み（年齢による絞り込み）を行うことで、家屋４０内に居る「お父さん」と「お兄さん」のうちのどちらが操作者であるかまで判別することができる。
以上のように、本実施の形態に係る操作者推定システム１００においては、家電１０の操作者となるユーザが個々に所持し、外出時には持ち出し、家屋４０内では局所通信ネットワークの中継局３０に接続して用いるスマートフォンや携帯電話等の通信端末装置２０に着目し、家電１０の操作者となるユーザの通信端末装置２０を予め登録しておき（登録通信端末装置２０）、イベント発生時に、中継局３０に接続されている登録通信端末装置２０のユーザを、家屋４０内に居て家電１０の操作者の可能性があると推定する。そして、中継局３０に接続されている登録通信端末装置２０が１台の場合は、そのユーザを操作者として特定し、複数台ある場合は、ユーザ情報と識別情報とを用いてさらなる絞り込みを行い、１台に絞り込めた場合は、同様にその登録通信端末装置２０のユーザを家電１０の操作者と特定する。
これにより、極力コストを掛けることなく、家電１０のドアやボタンを操作したり、音声操作したりした操作者を推定することができる。その結果、ＩｏＴ化された家電等において、極力コストを掛けることなく、操作を行った個々のユーザに適したサービスを行うことが可能となる。
〔実施の形態２〕
以下、本発明のその他の実施形態について図６〜図９に基づいて説明すれば以下の通りである。なお、説明の便宜上、実施の形態１と同じ機能を有する部材には同一の参照符号を付して説明を省略する。
本実施の形態に係る操作者推定システムにおいては、家電を操作するユーザが個々に所持し外出時に持参する通信端末装置として、ＢＬＥ（Bluetooth（登録商標） Low Energy）機能を搭載した通信端末装置を用いる。ＢＬＥ機能を搭載した通信端末装置としては、ＢＬＥ機能を有するスマートフォンや、衣服状や腕時計状で身につけたまま使用できるＢＬＥ機能が搭載されたウェアラブル端末などがある。
図６は、本実施の形態に係る操作者推定システム１００Ａの概略構成を示すイメージ図である。図６に示すように、操作者推定システム１００Ａには、家屋４０Ａ内に設置された家電である冷蔵庫１０Ａ−１，加熱調理機１０Ａ−２と、これら冷蔵庫１０Ａ−１，加熱調理機１０Ａ−２を操作する各ユーザのＢＬＥ機能を搭載した通信端末装置２０Ａ−１〜２０Ａ−４とが含まれる。図６の例では、通信端末装置２０Ａ−３，２０Ａ−４の各ユーザは外出しており、通信端末装置２０Ａ−３，２０Ａ−４は家屋４０Ａ内には存在しない。なお、以下においても、個々を特定する必要が無い場合、総称として、「家電１０Ａ」、「通信端末装置２０Ａ」を用いる。
家電１０Ａは、中継局３０を介して広域通信ネットワーク６０に接続されたいわゆるネットワーク家電である。家電１０と異なる点は、さらにＢＬＥ通信機を備える点である。ＢＬＥ通信機は、家電アダプタ（不図示）として家電１０Ａに後付けされる構成であってもよい。
ＢＬＥ通信は、通信機が小型で電池消費量が極少で、ペアリングを行わなくても他の通信端末装置２０Ａの存在と通信の電波強度を検知でき、また、通信の電波強度からＢＬＥ通信機間の距離を判断することができる。
家電１０Ａは、イベントが発生すると、ＢＬＥ通信機を用いて、家電１０Ａと通信可能な距離にある通信端末装置２０Ａの存在を探索する。具体的には、家電１０Ａの周辺の例えば５ｍ以内（第１所定距離）に存在する（通信の電波強度に基づいて距離を判断する）通信端末装置２０Ａを探索する。ここで、第１所定距離を例えば５ｍ以内とするのは、家電１０Ａの周辺の５ｍ以内であれば、家屋４０Ａ内と推定し得るからである。第１所定距離は５ｍに何ら限定されるのではない。また、「家屋４０Ａ内と推定し得る通信端末装置２０Ａ」とするのは、家電１０Ａから通信端末装置２０Ａまでの距離が例えば５ｍ以内であれば、たとえ家屋４０Ａ外に位置していても家屋４０Ａ内に存在すると判定するためである。ここでも説明の便宜上、これ以降は、「家屋４０Ａ内と推定し得る通信端末装置２０Ａ」を「家屋４０内に存在する通信端末装置２０Ａ」と表現する。
家電１０Ａを操作する各ユーザの所持する通信端末装置２０Ａは、実施の形態１と同様に、ユーザに対応付けて固有情報が予め登録されている。以下、固有情報が登録されている通信端末装置２０Ａを登録通信端末装置２０Ａと称する。
家電１０Ａは、ＢＬＥ通信機能にて、登録通信端末装置２０Ａが家電１０Ａから第１所定距離以内に存在することが検知された場合に、家屋４０内に存在すると判定し、家屋４０内に存在する登録通信端末装置２０Ａのユーザの中から当該操作を行った操作者を推定する。
家電１０Ａの周辺の第１所定距離内に存在する登録通信端末装置２０Ａが１台のみの場合、操作者を一人に絞り込んで特定できるが、家屋４０内に存在する登録通信端末装置２０Ａが複数台ある場合は、通信の電波強度で絞り込みを行い、電波強度が最も強い登録通信端末装置２０Ａが１台のみ場合は、そのユーザを操作者であると特定する。また、電波強度が共に強い登録通信端末装置２０Ａが複数台ある場合は、実施の形態１と同様に、「性別認識」及び／又は「世代認識」の結果を用いてさらなる絞り込みを行う。
図７は、操作者推定システム１００Ａにおける家電１０Ａの概略構成を示すブロック図である。図７に示すように、家電１０Ａは、制御部１１Ａ、記憶部１２Ａ、音声出力部１３、音声入力部１４、通信部１５およびＢＬＥ通信機であるＢＬＥ通信部１６を備えている。制御部１１Ａには、操作者推定部１１４に代えて操作者推定部１１４Ａが構築される。また、記憶部１２Ａには、図３に示した情報テーブルに代えて、図８に示すような情報テーブルが格納される。
操作者推定部１１４Ａは、家電１０Ａのドアを開けたりボタンを押下したり、あるいは家電１０Ａへの音声操作などの操作を行ってイベントが発生すると、ＢＬＥ通信部１６を用いて、家電１０Ａの周囲の第１所定距離以内（例えば５ｍ以内）に存在する通信端末装置２０Ａを探索する。この探索では、固有情報が記憶部１２Ａに格納されている登録通信端末装置２０Ａ以外の通信端末装置２０Ａも検出される。
操作者推定部１１４Ａは、記憶部１２Ａを参照し、登録通信端末装置２０Ａの固有情報（ここでは、ＭＡＣアドレス）を用いて検出された通信端末装置２０Ａの中から登録通信端末装置２０Ａを抽出し、抽出された登録通信端末装置２０Ａのユーザの中から操作者を推定する。詳細には、操作者推定部１１４Ａは、含まれる登録通信端末装置２０Ａが１台の場合は、その登録通信端末装置２０Ａのユーザを家電１０Ａの操作者と特定する。一方、含まれる登録通信端末装置２０Ａが複数台ある場合は、絞り込みを行い、電波強度の最も強い登録通信端末装置２０Ａが１台のみ場合は、のユーザを家電１０Ａの操作者と特定する。また、電波強度が共に強い登録通信端末装置２０Ａが複数台ある場合は、前述した音声認識機能の結果を用いてさらなる絞り込みを行い、１台に絞り込めた場合はその１台のユーザを操作者として特定する。電波強度が共に強いとは、電波強度が同じであったり、電波強度がある閾値の範囲内に共に入り、同レベルと判断できたりする場合である。
記憶部１２Ａには、予め、家電１０Ａの操作者となり得るユーザ個々の通信端末装置２０Ａを特定できる固有情報として、ＢＬＥ通信に割り当てられた例えばＭＡＣアドレスが登録されている。図８は、記憶部１２Ａに格納され、操作者の推定に用いられる情報が登録された情報テーブルの一例を示す図である。図８の例では、操作者となるユーザが、両親と兄および妹の家族４人である場合を例示している。
図８に示すように、「お父さん」「お母さん」「お兄さん」「妹」の各ユーザに対応付けて、各ユーザの通信端末装置２０Ａ−１〜２０Ａ−４のＭＡＣアドレス（XX:XX:XX:XX:XX:B1，XX:XX:XX:XX:XX:B2，XX:XX:XX:XX:XX:B3，XX:XX:XX:XX:XX:B4）が、通信端末装置２０Ａを特定する固有情報として登録されている。なお、実施の形態１と同様に、ユーザの識別に用いることができるユーザ情報として、各ユーザの「性別」および「年齢」の情報も登録されている。
図９は、家電１０Ａにおける操作者推定処理のフローチャートである。家電１０Ａの制御部１１Ａは、イベントが発生したかどうかを常時検出している（Ｓ１）。イベントが発生し、Ｓ１でＹＥＳと判断すると、制御部１１Ａは、家電１０Ａから第１所定距離以内にある通信端末装置２０Ａの存在を探索する（Ｓ１１）。次に、制御部１１は、存在を検出した通信端末装置２０Ａの中に、登録通信端末装置２０Ａが含まれているかどうかを判断し（Ｓ１２）、含まれておらずＮＯと判断すると処理を終了する。
一方、登録通信端末装置２０Ａが含まれており、Ｓ１２でＹＥＳと判断すると、続いて制御部１１Ａは、含まれている登録通信端末装置２０Ａが１台のみかどうかを判断する（Ｓ１３）。ここで、ＹＥＳと判断すると、制御部１１Ａは含まれている登録通信端末装置２０Ａのユーザを操作者として特定する（Ｓ１４）。
一方、制御部１１Ａは、検出された登録通信端末装置２０Ａが複数台あり、Ｓ１３でＮＯと判断すると、Ｓ１５に進み、含まれている複数台の登録通信端末装置２０ＡについてＢＬＥ通信部１６との間の電波強度を比較する。続いて、制御部１１Ａは、複数台の登録通信端末装置２０Ａの電波強度が同じかどうか判断し（Ｓ１６）、同じでなくＮＯと判断すると、電波強度の最も強い一台の登録通信端末装置２０Ａを検出し、Ｓ１４に進む。一方、電波強度が同じでＳ１６でＹＥＳと判断すると、Ｓ６に進み、音声認識結果を用いた絞り込みを行う。なお、Ｓ６、Ｓ７の処理は、図４のフローチャートにおけるＳ６、Ｓ７の処理と同じである。
以上のように、本実施の形態に係る操作者推定システム１００Ａにおいては、操作者となるユーザが個々に所持し外出時に持参する通信端末装置として、ＢＬＥ通信機能を搭載した通信端末装置２０Ａに着目し、イベント発生時に、家電１０ＡがＢＬＥ通信を行って、家電１０Ａの周囲の第１所定距離以内に存在する登録通信端末装置２０Ａの存在を探索し、検出された登録通信端末装置２０Ａのユーザの中から家電１０Ａの操作者の可能性があると推定する。そして、第１所定距離以内に存在する登録通信端末装置２０Ａが１台の場合は、そのユーザを操作者として特定する。第１所定距離以内に存在する登録通信端末装置２０Ａが複数台ある場合は、電波強度を用いて絞り込みを行い、電波強度が同じ場合は、ユーザ情報と識別情報を用いてさらなる絞り込みを行い、１台に絞り込めた場合に、そのユーザを家電１０Ａの操作者と特定する。
これにより、極力コストを掛けることなく、家電１０Ａのドアやボタンを操作したり、音声操作したりした操作者を推定することができる。その結果、ＩｏＴ化された家電等において、極力コストを掛けることなく、操作を行った個々のユーザに適したサービスを行うことが可能となる。
〔実施の形態３〕
以下、本発明のその他の実施形態について図１０〜図１２に基づいて説明すれば以下の通りである。なお、説明の便宜上、実施の形態１、２と同じ機能を有する部材には同一の参照符号を付して説明を省略する。
本実施の形態に係る操作者推定システムにおいては、家電の操作者となるユーザが個々に所持し外出時に持参する通信端末装置として、無線ＬＡＮの機能とＢＬＥ機能との両方を搭載した通信端末装置、無線ＬＡＮの機能のみ有する通信端末装置、およびＢＬＥ機能のみを有する通信端末装置を用いる。そして、家電はこれらの通信端末装置に対し、無線ＬＡＮの中継局３０に接続中であるどうかの判定と、ＢＬＥ通信による判定との両方を行う。
図１０は、本実施の形態に係る操作者推定システム１００Ｂの概略構成を示すイメージ図である。図１０に示すように、操作者推定システム１００Ｂには、家屋４０Ｂ内に設置された家電である冷蔵庫１０Ｂ−１，加熱調理機１０Ｂ−２と、これら冷蔵庫１０Ｂ−１，加熱調理機１０Ｂ−２を操作する各ユーザの、無線ＬＡＮ機能とＢＬＥ機能との両方を搭載した通信端末装置２０Ｂ−１，２０Ｂ−２と、無線ＬＡＮの機能のみ有する通信端末装置２０Ｂ−３，２０Ｂ−４と、ＢＬＥ機能のみを有する通信端末装置２０Ｂ−５とが含まれる。家電１０Ｂは、通信部１５に加えてＢＬＥ通信部１６を備えた家電１０Ａと同様の構成を有する（図７参照）。
図１０の例では、通信端末装置２０Ｂ−１，２０Ｂ−２，２０Ｂ−３，２０Ｂ−４，２０Ｂ−５の全ユーザが家屋４０Ｂ内に存在している。そして、このうちの通信端末装置２０Ｂ−１のユーザは、通信端末装置２０Ｂ−１における無線ＬＡＮの中継局３０との接続機能をＯＦＦしていて、中継局３０とは接続されていない状態である。なお、以下においても、個々を特定する必要が無い場合、総称として、「家電１０Ｂ」「通信端末装置２０Ｂ」を用いる。
家電１０Ｂの記憶部には、予め、家電１０Ｂの操作者となり得るユーザ一人一人の通信端末装置２０Ｂを特定できる固有情報として、例えば無線ＬＡＮのＭＡＣアドレス、あるいはＢＬＥのＭＡＣアドレス、あるいはその両方が登録されている。図１１は、家電１０Ｂの記憶部に格納され、操作者の推定に用いられる情報が登録された情報テーブルの一例を示す図である。図１１の例では、操作者となるユーザが、両親と兄、姉および妹の家族５人である場合を例示している。
図１１に示すように、両方の機能を搭載した通信端末装置２０Ｂ−１，２０Ｂ−２のユーザである「お父さん」「お母さん」には、無線ＬＡＮのＭＡＣアドレス（XX:XX:XX:XX:XX:C1，XX:XX:XX:XX:XX:C2）と、ＢＬＥのＭＡＣアドレス（XX:XX:XX:XX:XX:D1，XX:XX:XX:XX:XX:D2）が、通信端末装置２０Ｂ−１，２０Ｂ−２を特定する固有情報として登録されている。また、無線ＬＡＮ機能のみを搭載した通信端末装置２０Ｂ−３，２０Ｂ−４のユーザである「お兄さん」「お姉さん」には、無線ＬＡＮのＭＡＣアドレス（XX:XX:XX:XX:XX:C3，XX:XX:XX:XX:XX:C4）が、通信端末装置２０Ｂ−３，２０Ｂ−４を特定する固有情報として登録されている。さらに、ＢＬＥ機能のみを搭載した通信端末装置２０Ｂ−５のユーザである「妹」には、ＢＬＥのＭＡＣアドレス（XX:XX:XX:XX:XX:D3）が、通信端末装置２０Ｂ−５を特定する固有情報として登録されている。なお、実施の形態１と同様に、ユーザの識別に用いることができるユーザ情報として、各ユーザの「性別」および「年齢」の情報も登録されている。以下、固有情報が登録されている通信端末装置２０Ｂを登録通信端末装置２０Ｂと称する。
無線ＬＡＮの中継局３０に接続中であるどうかの判定と、ＢＬＥ通信による判定との両方を用いる構成においては、家電１０Ｂの制御部（操作者推定部）は、無線ＬＡＮの中継局３０に接続中であるどうかの判定と、ＢＬＥ通信による判定とを順に行って、その結果から家屋４０Ｂ内に存在する登録信端末装置２０Ｂを推定する。そして、家屋４０Ｂ内に存在する登録通信端末装置２０Ｂが１台のみの場合は、その１台のユーザを操作者として特定する。一方、家屋４０Ｂ内に存在する登録通信端末装置２０Ｂが複数台ある場合は、以下に記載するように、「性別認識」及び／又は「世代認識」の結果、あるいはＢＬＥ通信の電波強度からわかる家電１０Ｂとの距離を用いてさらなる絞り込みを行う。
図１２は、本実施の形態に係る操作者推定システム１００Ｂにおける家電１０Ｂが実施する操作者推定処理のフローチャートである。家電１０Ｂの制御部は、イベントが発生したかどうかを常時検出している（Ｓ１）。イベントが発生し、Ｓ１でＹＥＳと判断すると、制御部は、中継局３０に接続されている登録通信端末装置２０Ｂを探索し（Ｓ２１）、続けて、家電１０Ｂから第１所定距離以内にある登録通信端末装置２０Ｂの存在を探索する（Ｓ２２）
次に、Ｓ２１、Ｓ２２の探索の結果に基づいて、家屋４０Ｂ内に存在する登録通信端末装置２０Ｂを推定する（Ｓ２３）。
次に、Ｓ２３で推定された屋内４０Ｂ内に存在する登録通信端末装置２０Ｂが１台のみかどうかを判断する（Ｓ２４）。ここで、ＹＥＳと判断すると、制御部は検出された登録通信端末装置２０Ｂのユーザを操作者として特定する（Ｓ５）。一方、家屋４０Ｂ内に存在する（存在すると推定される）登録通信端末装置２０Ｂが複数台あり、Ｓ２４でＮＯと判断すると、Ｓ２５に進み、それら複数台の登録通信端末装置２０Ｂの中に、中継器３０に接続されているのみの登録通信端末装置２０Ｂが含まれているかどうかを判断する。ここで、ＹＥＳと判断すると、Ｓ６に進んで、音声認識結果を用いた絞り込みを実施し、Ｓ６の絞り込みで残ったユーザを操作者として推定し、一人に絞り込めた場合は操作者として特定する（Ｓ７）。
一方、中継器３０に接続されているのみの登録通信端末装置２０Ｂが含まれておらず、Ｓ２５でＮＯと判断すると、Ｓ２６に進み、家電１０Ｂから第２所定距離以内にある登録通信端末装置２０Ｂは１台のみかどうかを判断する。第２所定距離は、第１所定距離よりも短い例えば５０ｃｍである。Ｓ２６でＹＥＳと判断すると、制御部は検出された登録通信端末装置２０Ｂのユーザを操作者として特定する（Ｓ５）。
一方、家電１０Ｂから第２所定距離以内にある登録通信端末装置２０Ｂが複数台あり、Ｓ２６でＮＯと判断すると、Ｓ６に進んで、音声認識結果を用いた絞り込みを実施し、Ｓ６の絞り込みで残ったユーザを操作者として推定し、一人に絞り込めた場合は操作者として特定する（Ｓ７）。
なお、図１２のフローチャートには記載していないが、Ｓ２２では、登録通信端末装置２０ＢではないＢＬＥ機能を有する通信端末装置も検知されており、ＢＬＥのＭＡＣアドレスを用いて登録通信端末装置２０Ｂを抽出している。また、Ｓ２４において、屋内４０Ｂ内に存在する登録通信端末装置２０Ｂが１台も存在しない場合は処理を終了する。
また、第２所定距離は、５０ｃｍに限定されるものではなく、１００ｃｍであってもよい。要は、第１所定距離以内に位置することで家屋４０Ｂ内に存在すると推定したＢＬＥ機能を有する登録通信端末装置２０Ｂを、ＢＬＥ通信の電波強度よりわかる家電１０Ｂとの距離を用いて、より家電１０Ｂ近い登録通信端末装置２０Ｂに絞り込むことができればよい。
以上のように、本実施の形態に係る操作者推定システム１００Ｂにおいては、家電１０Ｂが無線ＬＡＮの中継局３０に接続中であるかどうかの判定と、ＢＬＥ通信による判定との両方を行う。したがって、図１０に示す登録通信端末装置２０Ｂ−１のように、無線ＬＡＮの中継局３０への接続がオフされていても、また、無線ＬＡＮの機能のみ有する登録通信端末装置２０Ｂ−３，２０Ｂ−４や、ＢＬＥ機能のみを有する登録通信端末装置２０Ｂ−５であっても、これら登録通信端末装置の存在に基づいて、家電１０Ｂの操作者を特定あるいは推定することができる。
なお、図１２のフローチャートでは、中継局３０との接続を先に確認するようになっているが、ＢＬＥ通信による所定距離以内の通信端末装置２０Ｂの存在確認を先に行う構成としてもよい。
また、上述した各実施の形態では、家電１０，１０Ａ，１０Ｂの制御部１１，１１Ａに操作者推定部１１４，１１４Ａが備えられていたが、サーバ５０に設ける構成であってもよい。記憶部の情報（図１１のような）をサーバ５０に設ける構成であっても良い。また、サーバ５０にある音声認識機能を家電１０，１０Ａ，１０Ｂが用いる構成としていたが、家電自身に備えさせる構成であってもよい。
〔実施の形態４〕
家電１０，１０Ａ，１０Ｂの制御ブロック（特に操作者推定部１１４，１１４Ａ）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
後者の場合、家電１０，１０Ａ，１０Ｂは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様１に係る操作者推定システム１００，１００Ａ，１００Ｂは、家屋内に設置された電気機器（家電１０，１０Ａ，１０Ｂ）の操作者を推定する操作者推定システムであって、前記電気機器を操作する各ユーザが個々に所持し外出時に持参する通信端末装置２０，２０Ａ，２０Ｂの固有情報を前記各ユーザに対応付けて格納した記憶部１２，１２Ａと、前記電気機器が操作されると、前記電気機器に搭載された通信部１５（ＢＬＥ通信部１６）を用いて、前記記憶部１２，１２Ａに固有情報が格納されている前記通信端末装置２０，２０Ａ，２０Ｂのうち、前記家屋内に存在すると推定し得る前記通信端末装置２０，２０Ａ，２０Ｂを探索し、検出された前記通信端末装置２０，２０Ａ，２０Ｂに対応付けられているユーザの中から、当該操作を行った操作者を推定する操作者推定部１１４，１１４Ａと、を備えることを特徴とする。
上記構成によれば、記憶部には、電気機器を操作する各ユーザが個々に所持し外出時に持参する通信端末装置２０，２０Ａ，２０Ｂの固有情報が電気機器の操作者となる各ユーザに対応付けて格納されている。電気機器が操作されると、操作者推定部１１４，１１４Ａは、電気機器に搭載された通信部を用いて、記憶部１２，１２Ａに固有情報が格納されて登録されている通信端末装置２０，２０Ａ，２０Ｂのうち、家屋内に存在すると推定し得る通信端末装置２０，２０Ａ，２０Ｂを探索し、検出された通信端末装置２０，２０Ａ，２０Ｂに対応付けられているユーザの中から、当該操作を行った操作者を推定する。
これにより、極力コストを掛けることなく、電気機器のドアやボタンを操作したり、音声操作したりした操作者を推定することができる。その結果、ＩｏＴ化された電気機器等において、極力コストを掛けることなく、操作を行った個々のユーザに適したサービスを行うことが可能となる。
本発明の態様２に係る操作者推定システム１００，１００Ｂは、さらに、前記操作者推定部１１４は、前記通信端末装置２０，２０Ｂが前記家屋に配備された局所通信ネットワーク（無線ＬＡＮ）に接続されている場合に、前記家屋内に存在すると推定する構成である。
スマートフォンや携帯電話等の通信端末装置は、家屋内では、インターネット環境をＬＴＥ等からＷｉＦｉ（登録商標）等の無線ＬＡＮ接続に切り換えて使用するケースが一般的になってきている。したがって、登録された通信端末装置２０，２０Ｂが局所通信ネットワークに接続されている場合に、家屋内に存在すると推定することができる。
本発明の態様３に係る操作者推定システム１００Ａ，１００Ｂは、さらに、前記通信端末装置２０Ａ，２０Ｂおよび前記電気機器に搭載された通信部（ＢＬＥ通信部１６）は、ＢＬＥ通信機能を有し、前記操作者推定部１１４Ａは、ＢＬＥ通信機能にて、前記通信端末装置２０Ａ，２０Ｂが検出された場合に、前記家屋内に存在すると推定する構成である。
ＢＬＥ通信は、小型で電池消費量が極少で、ペアリングを行わなくても他の通信端末装置の存在と通信の電波強度を検知でき、また、通信の電波強度からＢＬＥ通信機間の距離を判断することができる。したがって、電気機器との間でＢＬＥ通信が可能な、登録された通信端末装置２０Ａ，２０Ｂが検出された場合に、家屋内に存在すると推定することができる。
本発明の態様４に係る操作者推定システム１００，１００Ａ，１００Ｂは、さらに、前記操作者推定部１１４，１１４Ａは、前記家屋内に存在する前記通信端末装置２０，２０Ａ，２０Ｂが複数台検出された場合、検出された複数台の前記通信端末装置２０，２０Ａ，２０Ｂに対応する複数のユーザの中から、前記操作者であるユーザの絞り込みを行う構成とすることもできる。
接続されている複数台の通信端末装置２０，２０Ａ，２０Ｂに対応する複数のユーザの中から操作者であるユーザの絞り込みを行うことで、推定の精度を上げることができる。
本発明の態様５に係る操作者推定システム１００，１００Ａ，１００Ｂは、さらに、前記記憶部１２，１２Ａには、前記各ユーザの音声より認識でき、ユーザの識別に用いることができるユーザ情報が格納されており、前記操作者推定部１１４，１１４Ａは、前記電気機器に搭載された音声入力部より入力された音声を認識して得られる識別情報と前記記憶部１２，１２Ａに格納されたユーザ情報とに基づいてユーザを絞り込む構成である。
操作者の音声を音声認識することで、性別や世代を認識することができる。したがって、操作者となる各ユーザの性別や年齢をユーザ情報として登録しておくことで、音声認識結果を用いてユーザの絞り込みが可能となる。
本発明の態様６に係る操作者推定システム１００，１００Ａ，１００Ｂは、さらに、前記操作者推定部１１４，１１４Ａは、前記電気機器への操作が音声操作以外の場合に、前記電気機器に搭載された音声出力部１３を用いて、操作者に対して発話を促す呼び掛けを行う構成である。
電気機器に対する操作が音声操作でない場合、音声認識結果を用いた絞り込みが実施できないため、このように電気機器から操作者に呼び掛けて発話を促すことで、音声認識結果を用いた絞り込みが実施可能となる。
本発明の態様７に係る操作者推定システム１００Ａ，１００Ｂは、さらに、前記操作者推定部１１４Ａは、前記家屋内に存在すると推定し得る前記通信端末装置２０Ａ，２０Ｂが複数台検出された場合、ＢＬＥ通信の電波強度に基づいて、検出された複数台の前記通信端末装置２０Ａ，２０Ｂに対応する複数のユーザの中から操作者であるユーザの絞り込みを行う構成とできる。
ＢＬＥ通信は、上述したように、通信の電波強度を検知でき、電波強度が最も強い通信端末装置２０Ａ，２０Ｂが電気機器に最も近くにあると判断できる。したがって、電波強度に基づいて、ユーザの絞り込みが可能となる。
本発明の態様８に係る操作者推定システム１００，１００Ａ，１００Ｂは、さらに、前記電気機器は広域通信ネットワーク６０を介してサーバ５０と接続されている構成である。
サーバ５０と接続されることで、操作者推定に必要な電気機器の機能をサーバに持たせたることが可能となる。
本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。さらに、各実施の形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
１０，１０Ａ，１０Ｂ 家電（電気機器）
１１，１１Ａ 制御部
１２，１２Ａ 記憶部
１３ 音声出力部
１４ 音声入力部
１５ 通信部
１６ ＢＬＥ通信部
２０，２０Ａ，２０Ｂ 通信端末装置
３０ 中継局（局所通信ネットワーク）
５０ サーバ
６０ 広域通信ネットワーク
１００，１００Ａ，１００Ｂ 操作者推定システム
１１１ 音声出力制御部
１１２ 音声入力制御部
１１３ 通信制御部
１１４，１１４Ａ 操作者推定部

Claims (8)

  1. 家屋内に設置された電気機器の操作者を推定する操作者推定システムであって、
    前記電気機器を操作する各ユーザが個々に所持し外出時に持参する通信端末装置の固有情報を前記各ユーザに対応付けて格納した記憶部と、
    前記電気機器が操作されると、前記電気機器に搭載された通信部を用いて、前記記憶部に固有情報が格納されている前記通信端末装置のうち、前記家屋内に存在すると推定し得る通信端末装置を探索し、検出された前記通信端末装置に対応付けられているユーザの中から、当該操作を行った操作者を推定する操作者推定部と、を備え、
    前記操作者推定部は、前記通信端末装置が前記家屋に配備された局所通信ネットワークに接続されている場合に、前記家屋内に存在すると推定することを特徴とする操作者推定システム。
  2. 家屋内に設置された電気機器の操作者を推定する操作者推定システムであって、
    前記電気機器を操作する各ユーザが個々に所持し外出時に持参する通信端末装置の固有情報を前記各ユーザに対応付けて格納した記憶部と、
    前記電気機器が操作されると、前記電気機器に搭載された通信部を用いて、前記記憶部に固有情報が格納されている前記通信端末装置のうち、前記家屋内に存在すると推定し得る通信端末装置を探索し、検出された前記通信端末装置に対応付けられているユーザの中から、当該操作を行った操作者を推定する操作者推定部と、を備え、
    前記操作者推定部は、前記家屋内に存在すると推定し得る前記通信端末装置が複数台検出された場合、検出された複数台の前記通信端末装置に対応する複数のユーザの中から、前記操作者であるユーザの絞り込みを行うことを特徴とする操作者推定システム。
  3. 家屋内に設置された電気機器の操作者を推定する操作者推定システムであって、
    前記電気機器を操作する各ユーザが個々に所持し外出時に持参する通信端末装置の固有情報を前記各ユーザに対応付けて格納した記憶部と、
    前記電気機器が操作されると、前記電気機器に搭載された通信部を用いて、前記記憶部に固有情報が格納されている前記通信端末装置のうち、前記家屋内に存在すると推定し得る通信端末装置を探索し、検出された前記通信端末装置に対応付けられているユーザの中から、当該操作を行った操作者を推定する操作者推定部と、を備え、
    前記通信端末装置および前記電気機器に搭載された通信部は、ＢＬＥ（Bluetooth（登録商標）Low Energy）通信機能を有し、
    前記操作者推定部は、ＢＬＥ通信機能にて、前記通信端末装置が検出された場合に、前記家屋内に存在すると推定し、
    前記操作者推定部は、前記家屋内に存在すると推定し得る前記通信端末装置が複数台検出された場合、ＢＬＥ通信の電波強度に基づいて、検出された複数台の前記通信端末装置に対応する複数のユーザの中から操作者であるユーザの絞り込みを行うことを特徴とする操作者推定システム。
  4. 前記操作者推定部は、前記家屋内に存在すると推定し得る前記通信端末装置が複数台検出された場合、検出された複数台の前記通信端末装置に対応する複数のユーザの中から、前記操作者であるユーザの絞り込みを行うことを特徴とする請求項１に記載の操作者推定システム。
  5. 前記通信端末装置および前記電気機器に搭載された通信部は、ＢＬＥ（Bluetooth（登録商標）Low Energy）通信機能を有し、
    前記操作者推定部は、ＢＬＥ通信機能にて、前記通信端末装置が検出された場合に、前記家屋内に存在すると推定することを特徴とする請求項２に記載の操作者推定システム。
  6. 前記記憶部には、前記各ユーザの音声より認識でき、ユーザの識別に用いることができるユーザ情報が格納されており、
    前記操作者推定部は、前記電気機器に搭載された音声入力部より入力された音声を認識して得られる識別情報と前記記憶部に格納されたユーザ情報とに基づいて、ユーザを絞り込むことを特徴とする請求項２に記載の操作者推定システム。
  7. 前記操作者推定部は、前記電気機器への操作が音声操作以外の場合に、前記電気機器に搭載された音声出力部を用いて、操作者に対して発話を促す呼び掛けを行うことを特徴とする請求項６に記載の操作者推定システム。
  8. 前記電気機器は広域通信ネットワークを介してサーバと接続されていることを特徴とする請求項１から７の何れか１項に記載の操作者推定システム。
JP2016121182A 2016-06-17 2016-06-17 操作者推定システム Expired - Fee Related JP6657025B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016121182A JP6657025B2 (ja) 2016-06-17 2016-06-17 操作者推定システム
PCT/JP2017/006289 WO2017217014A1 (ja) 2016-06-17 2017-02-21 操作者推定システム
CN201780036106.9A CN109313613A (zh) 2016-06-17 2017-02-21 操作者推断系统
US16/309,707 US10796701B2 (en) 2016-06-17 2017-02-21 Operator assessment system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016121182A JP6657025B2 (ja) 2016-06-17 2016-06-17 操作者推定システム

Publications (2)

Publication Number Publication Date
JP2017223918A JP2017223918A (ja) 2017-12-21
JP6657025B2 true JP6657025B2 (ja) 2020-03-04

Family

ID=60663167

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016121182A Expired - Fee Related JP6657025B2 (ja) 2016-06-17 2016-06-17 操作者推定システム

Country Status (4)

Country Link
US (1) US10796701B2 (ja)
JP (1) JP6657025B2 (ja)
CN (1) CN109313613A (ja)
WO (1) WO2017217014A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6928842B2 (ja) * 2018-02-14 2021-09-01 パナソニックＩｐマネジメント株式会社 制御情報取得システム、及び、制御情報取得方法
JP2024044741A (ja) * 2022-09-21 2024-04-02 日立グローバルライフソリューションズ株式会社 家事支援システムおよびプログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060117901A (ko) * 2003-07-30 2006-11-17 소프트뱅크비비 가부시키가이샤 통신시스템, 호 접속 서버, 단말장치 및 통신방법
JP4470650B2 (ja) 2004-08-30 2010-06-02 パナソニック株式会社 ネットワーク制御端末機器
US10333731B2 (en) * 2005-06-09 2019-06-25 Whirlpool Corporation Methods and apparatus for communicatively coupling internal components within appliances, and appliances with external components and accessories
EP2247067B1 (en) * 2005-06-09 2016-05-11 Whirlpool Corporation Appliance with embedded virtual router
JP2007266730A (ja) * 2006-03-27 2007-10-11 Sanyo Electric Co Ltd 制御方法およびそれを用いた制御装置
ES2370740T3 (es) * 2008-07-21 2011-12-22 Somfy Sas Método para controlar un grupo de aparatos controlados de forma inalámbrica.
CN104270547B (zh) * 2009-11-30 2018-02-02 松下电器（美国）知识产权公司 通信方法、通信装置及位置检测方法
CN102301353A (zh) * 2009-11-30 2011-12-28 松下电器产业株式会社 便携型通信装置、通信方法、集成电路、程序
JP2012164056A (ja) * 2011-02-04 2012-08-30 Panasonic Corp 情報配信システム、情報配信装置、情報配信方法及びプログラム
JP5989505B2 (ja) * 2012-10-29 2016-09-07 シャープ株式会社 メッセージ管理装置、メッセージ提示装置、メッセージ提示システム、メッセージ管理装置およびメッセージ提示装置の制御方法、制御プログラム、および記録媒体
WO2014103308A1 (ja) * 2012-12-28 2014-07-03 パナソニック株式会社 制御方法
CN103916298A (zh) * 2013-01-09 2014-07-09 海尔集团公司 智能家居系统及其网关、数据通信系统和方法
JP2015050752A (ja) * 2013-09-04 2015-03-16 シャープ株式会社 遠隔操作システムにおける登録支援システム
CN105684404B (zh) * 2013-11-07 2018-12-14 艾可慕株式会社 中继装置、声音通信系统、存储介质以及中继方法
KR102218295B1 (ko) * 2014-02-06 2021-02-22 삼성전자주식회사 가전 기기, 가전 기기의 네트워크 연결 시스템 및 가전 기기의 네트워크 연결 방법
JP6400337B2 (ja) 2014-05-28 2018-10-03 シャープ株式会社 電子機器および伝言システム
US10410630B2 (en) * 2014-06-19 2019-09-10 Robert Bosch Gmbh System and method for speech-enabled personalized operation of devices and services in multiple operating environments
JP6555858B2 (ja) * 2014-08-01 2019-08-07 シャープ株式会社 機器、音声出力方法、音声出力プログラム、ネットワークシステム、サーバ、および通信機器
US10119714B2 (en) * 2014-09-10 2018-11-06 Cielo WiGle Inc. System and method for remotely controlling IR-enabled appliances via networked device
CN205179369U (zh) * 2014-11-26 2016-04-20 三星电子株式会社 用于与智能设备配对的可穿戴设备
US10521189B1 (en) * 2015-05-11 2019-12-31 Alan AI, Inc. Voice assistant with user data context
US10178530B2 (en) * 2015-12-14 2019-01-08 Afero, Inc. System and method for performing asset and crowd tracking in an IoT system
US10719711B2 (en) * 2016-01-06 2020-07-21 Orcam Technologies Ltd. Methods and systems for controlling external devices using a wearable apparatus
JP6711635B2 (ja) * 2016-02-17 2020-06-17 シャープ株式会社 ネットワークシステム、電気機器、通信端末、および通信端末のためのプログラム
US10455362B1 (en) * 2016-12-30 2019-10-22 Amazon Technologies, Inc. Contextual presence
US10957326B2 (en) * 2016-12-30 2021-03-23 Google Llc Device identifier dependent operation processing of packet based data communication
US10349224B2 (en) * 2017-01-24 2019-07-09 Essential Products, Inc. Media and communications in a connected environment
KR102398390B1 (ko) * 2017-03-22 2022-05-16 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
EP3712528B1 (en) * 2017-11-14 2022-09-28 Mitsubishi Electric Corporation Control system, installation equipment, remote controller, control method, and program
US10680845B2 (en) * 2017-12-01 2020-06-09 Sap Se Internet of things device interface
KR102513297B1 (ko) * 2018-02-09 2023-03-24 삼성전자주식회사 전자 장치 및 전자 장치의 기능 실행 방법
US11195122B2 (en) * 2018-04-27 2021-12-07 International Business Machines Corporation Intelligent user notification during an event in an internet of things (IoT) computing environment
JP7119558B2 (ja) * 2018-05-16 2022-08-17 コニカミノルタ株式会社 画像処理装置、画像形成装置、機密情報管理方法及びプログラム
JP7326731B2 (ja) * 2018-11-30 2023-08-16 株式会社リコー 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
KR102628102B1 (ko) * 2019-08-16 2024-01-23 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
CN109313613A (zh) 2019-02-05
US10796701B2 (en) 2020-10-06
US20190139553A1 (en) 2019-05-09
WO2017217014A1 (ja) 2017-12-21
JP2017223918A (ja) 2017-12-21

Similar Documents

Publication Publication Date Title
US11176922B2 (en) System and method for integrating a home media system and other home systems
EP3173888B1 (en) Method for managing household devices
US20240121133A1 (en) Wireless internet of things, climate control and smart home system
CN105182777A (zh) 设备控制方法及装置
CN105578569A (zh) 网络调整方法及装置
JP6239465B2 (ja) 情報機器および制御機器
KR20150016060A (ko) 가전기기 및 그 제어방법
CN104460329A (zh) 智能设备连接方法及装置
EP3836582B1 (en) Relay device for voice commands to be processed by a voice assistant, voice assistant and wireless network
CN105467846A (zh) 智能家电设备控制方法和系统
CN108605377A (zh) 电子设备、显示装置及其控制方法
CN105493451A (zh) 声音系统
JP6657025B2 (ja) 操作者推定システム
CN105791454A (zh) 一种智能终端的绑定方法及装置
US11749249B2 (en) System and method for integrating a home media system and other home systems
CN107770009B (zh) 一种控制装置、方法、存储介质及设备
JP2012129916A (ja) 通信装置
CN203930459U (zh) 一种可声控和远程控制的智能家居系统
US20230379393A1 (en) System and method for selecting and providing zone-specific media
US9438727B2 (en) System and method to track and log mobile communication device call status when the device is not in possession
CN115129368A (zh) 智能终端的控制方法、装置和智能音箱
JP2017022556A (ja) 通信装置および通信方法
JP2021040176A (ja) 家電システム及び家電機器
US20240048523A1 (en) Information processing method, non-transitory computer readable recording medium storing information processing program, and information processing device
JP2019139156A (ja) 制御情報取得システム、及び、制御情報取得方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200205

R150 Certificate of patent or registration of utility model

Ref document number: 6657025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees