JPWO2015011867A1 - 情報管理方法 - Google Patents

情報管理方法 Download PDF

Info

Publication number
JPWO2015011867A1
JPWO2015011867A1 JP2015528121A JP2015528121A JPWO2015011867A1 JP WO2015011867 A1 JPWO2015011867 A1 JP WO2015011867A1 JP 2015528121 A JP2015528121 A JP 2015528121A JP 2015528121 A JP2015528121 A JP 2015528121A JP WO2015011867 A1 JPWO2015011867 A1 JP WO2015011867A1
Authority
JP
Japan
Prior art keywords
information
user
management
registered
target device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015528121A
Other languages
English (en)
Other versions
JP6128500B2 (ja
Inventor
摩里子 山田
摩里子 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2015011867A1 publication Critical patent/JPWO2015011867A1/ja
Application granted granted Critical
Publication of JP6128500B2 publication Critical patent/JP6128500B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/01Customer relationship services
    • G06Q30/015Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016After-sales
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/02Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction

Abstract

情報管理方法は、一以上の対象機器の中の未登録の対象機器の機器識別子、ホームゲートウェイのゲートウェイ識別子及び未登録の対象機器のユーザの生体情報を受信し、ゲートウェイ識別子と関連付けられた登録機器の中で、生体情報のユーザと関連付けられた少なくとも一つの対象機器の管理情報がデータベースに登録されているか否かを判断し、生体情報のユーザと関連付けられた少なくとも一つの対象機器の管理情報がデータベースに登録されていると判断された場合、登録されていた少なくとも一つの対象機器の管理情報を未登録の対象機器の管理情報として生体情報のユーザに関連づけてデータベースに登録し、登録されていた少なくとも一つの対象機器の管理情報を未登録の対象機器の管理情報として生体情報のユーザに関連付けて登録したことを示した表示情報を、ユーザの情報端末に送信する。

Description

本開示は、ユーザの登録機器のログ情報を収集して管理する情報管理システムにおける情報管理方法に関する。より具体的には、本開示は、ログ情報が収集される機器を登録するための情報管理方法に関する。
近年、家事などの一般の生活で使用する家電機器(household appliance)又はAV機器(Audio Visual appliance)などの家庭用電化製品(home appliance)をネットワークに接続することが検討されている。ネットワークへ接続する機能を有する家庭用電化製品を、ネットワーク接続家電(network−connected home appliance)、またはスマート家電(smart home appliance)と呼ぶことがある。スマート家電は、たとえばインターネットへ接続する機能を有し、インターネットを介して情報の送受信を行うことが可能である。
今後は、一の家庭内に複数のスマート家電が存在し、各々が家庭内ネットワーク(家庭内LAN)に接続されることが予想される。スマート家電がネットワークに接続されることにより、そのネットワークを介して、ユーザは、メーカやサービスプロバイダから所望のサービスを受けることが期待されている。
そのようなサービスを受けるための前提として、ユーザはユーザ自らが所有するスマート家電の情報とともに、自らの情報を、サービス提供者であるメーカやサービスプロバイダの情報管理システムのサーバに登録しておく必要がある。特許文献1は、ユーザの入力作業を簡略化する技術に関する。
特開2012−53698号公報
上述の各スマート家電からログ情報を収集して管理する情報管理システムにおいては、実用化に向けてさらなる改善が必要であった。
上記課題を解決するための、情報管理方法の一態様は、ホームゲートウェイを介して、一以上の対象機器から、前記一以上の対象機器のログ情報を収集して管理する情報管理システムにおける情報管理方法であって、一以上の対象機器の中の未登録の対象機器の機器識別子、前記ホームゲートウェイのゲートウェイ識別子及び前記未登録の対象機器のユーザの生体情報を受信すること、前記ゲートウェイ識別子と関連付けられた登録機器の中で、前記生体情報のユーザと関連付けられた少なくとも一つの対象機器の管理情報がデータベースに登録されているか否かを判断すること、前記生体情報のユーザと関連付けられた少なくとも一つの対象機器の管理情報が前記データベースに登録されていると判断された場合、登録されていた前記少なくとも一つの対象機器の管理情報を前記未登録の対象機器の管理情報として前記生体情報のユーザに関連づけて前記データベースに登録すること、および登録されていた前記少なくとも一つの対象機器の管理情報を前記未登録の対象機器の管理情報として前記生体情報のユーザに関連付けて登録したことを示した表示情報を、前記ユーザの情報端末に送信することを含む。
上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
上記態様により、さらなる改善を実現できた。
例示的な実施の形態による情報管理システム1の構成の概要を示す図である。 例示的な実施の形態による情報管理システム1のより具体的な構成を示す図である。 ユーザ管理DB22の具体例を示す図である。 機器管理DB24の具体例を示す図である。 家電100の機器登録に関連するハードウェア構成を示す図である。 家電100の機器登録に関連する機能ブロックの構成を示す図である。 ゲートウェイ102のハードウェア構成を示す図である。 管理サーバ20のハードウェア構成を示す図である。 管理サーバ20の機能ブロックの構成を示す図である。 表示端末104とゲートウェイ102との通信処理のシーケンスを示す図である。 ユーザがユーザの情報(たとえば個人情報)を初めて登録する際の通信処理のシーケンスを示す図である。 表示端末104のディスプレイに表示された初期登録画面の例を示す図である。 学習データから話者モデルを生成する処理の手順を示すフローチャートである。 話者の特定処理の手順を示すフローチャートである。 特徴量抽出処理の手順を示すフローチャートである。 音声取得部180によって取得され、音声検出部182によって検出された音声の波形例を示す図である。 音声区間切り出し部184によって生成された音声検出フラグを示す図である。 音声区間切り出し部184が特定した、音声区間を示す図である。 算出されたMFCCの例を示す図である。 ユーザの照合処理の手順を示すフローチャートである。 入力音声の特徴量を各ユーザの話者モデルに適用することによって尤度を算出する処理の概念を示す図である。 ユーザID登録処理の手順を示すフローチャートである。 ユーザ管理DB22に新規ユーザを追加したときのデータの変遷を示す図である。 ユーザIDの登録が既に完了している状態で、未登録の機器を登録する際の通信処理のシーケンスを示す図である。 ユーザの音声に基づいて既登録のユーザであると判定された後に表示端末104に表示される、決定された話者、および次の処理を行うかどうかの確認を求める表示例を示す図である。 管理サーバ20による、ユーザ管理DB22の更新処理の手順を示すフローチャートである。 表示端末104上の表示の遷移例を示す図である。 新規ユーザが未登録機器(デジタルカメラ)の管理者として機器管理DB24に登録される例を示す図である。 管理者として、ユーザIDが「U03」のユーザ(息子(図23))が追加された機器管理DB24を示す図である。 デジタルカメラのログ情報の開示ポリシーおよびログ提供先に関する管理情報として、既存のテレビの管理情報が適用された機器管理DB24を示す図である。 ユーザがユーザ情報とともに機器を初めて登録し、かつ登録された情報の確定を承認し、または修正を行う際の通信処理のシーケンスを示す図である。 機器管理DB24の更新処理の手順を示すフローチャートである。 図32のステップS1110の処理の詳細を示すフローチャートである。 既存の登録機器のログ開示ポリシーを用いて新たに登録した機器のログ開示ポリシーを設定したときの、ログ開示ポリシーの修正処理の手順を示すフローチャートである。 ログ開示ポリシーの修正指示の要否を問い合わせる表示例を示す図である。 ゲートウェイを有しない情報管理システムにおいて、ユーザがユーザ情報とともに機器を初めて登録する際の通信処理のシーケンスを示す図である。 ゲートウェイを有しない情報管理システムにおいて、ユーザがユーザ情報とともに機器を初めて登録する際の通信処理のシーケンスを示す図である。 例示的な実施の形態による情報管理システム200が提供するサービスの全体像を示す図である。 機器メーカがデータセンタ運営会社に該当する例を示す図である。 機器メーカ及び管理会社の両者又はいずれか一方がデータセンタ運営会社に該当する例を示す図である。 サービスの類型1(自社データセンタ型クラウドサービス)を利用した情報管理システムが提供するサービスの全体像を示す図である。 サービスの類型2(IaaS利用型クラウドサービス)を利用した情報管理システムが提供するサービスの全体像を示す図である。 サービスの類型3(PaaS利用型クラウドサービス)を利用した情報管理システムが提供するサービスの全体像を示す図である。 サービスの類型4(SaaS利用型クラウドサービス)を利用した情報管理システムが提供するサービスの全体像を示す図である。
本願発明者らが想定する情報管理システムでは、サービスの提供者(以下「サービスプロバイダ」と記述する。)がユーザのスマート家電からネットワークを介してログ情報を収集し、管理し、収集したログ情報に基づいてそのユーザにサービスを提供する。
なお、以下では記載の便宜のため、スマート家電を、単に「家電」または「機器」と呼ぶことがある。
ネットワークを介して、ユーザの家電に関して適切にサービスを提供するためには、サービスプロバイダは、ユーザに関する種々の情報を管理しておく必要がある。ここでいう「情報」とは、たとえばユーザの情報、ユーザが所有する家電の情報、設定情報である。このような情報を管理しておくことにより、サービスプロバイダは、サービスの享受を希望するユーザ及び該ユーザが所有する各家電を適切に指定して、サービスを提供することができる。そのため、サービスプロバイダはユーザに各家電を情報管理システムに登録することを求める。
しかしながら、複数の家電の各々について、ユーザが種々の情報を入力することはユーザにとって非常に煩雑であると考えられる。
たとえば特許文献1は、ユーザの入力作業を簡略化する技術を開示する。特許文献1では、入力画面(ウインドウ)毎にこれまで入力された値の組み合せを記憶し、ユーザに入力画面を提示する場合、これまで入力された回数が最も多い入力値が初期値として予め入力された状態で入力画面を提示する。
より具体的には、特許文献1では、操作端末は入力支援装置にユーザIDを送信する。一方、入力支援装置はユーザIDに対応する複数の優先度テーブルを読み出し、各優先度テーブルから抽出された入力項目の組み合わせを入力した複数の候補画面データを操作端末に送信し表示させる。操作端末では複数の候補画面の中から一の候補画面を確定して入力支援装置に送信する。入力支援装置は操作端末から受信した項目毎の入力値を格納し、既存の格納内容と比較して優先度を更新する。
しかし、特許文献1に開示されている技術は、入力値が予め入力された状態でユーザ側の表示端末に入力画面を提示するものである。そのため、ユーザが入力値を確認して承認する操作が必要となり、ユーザ側の操作端末とネットワークシステムとの通信回数を減少させること、または、ユーザ側の操作端末とネットワークシステムとの間における処理回数を減少させることについては考慮されていない。
また、特許文献1では、操作端末として、入力項目の入力値を入力できる入力インターフェースを備えたパソコンから、ルータ又はスイッチ等の複数のネットワーク装置に各項目の入力値を設定するシステムである。従って、新規のネットワーク装置が追加される毎に、操作端末から新規のネットワーク装置に対する入力設定が要求される。そのため、操作端末から新規のネットワーク装置に対する入力設定を省略することは出来ない。その結果、新規のネットワーク装置が追加される毎に、操作端末から入力支援装置を介して新規のネットワーク装置に対して設定入力するために、同様の処理が繰り返される。ネットワークシステムにおける処理回数が増加し、前記システムの処理負荷を増加する。
また、入力支援装置の支援があるにせよ、同様の内容を操作端末から新規のネットワーク装置に対して入力しなければならず、操作端末のユーザの入力操作が煩雑である。
また、操作端末は、入力項目の入力値を入力できる入力インターフェースを備えたPCである。そのため、この操作端末は、例えば、冷蔵庫又は洗濯器などのディスプレイを備えていない機器又はディスプレイを備えていても情報の入力には不十分な機能しか備えていない機器とは異なる。従って、ディスプレイを備えていない機器、または情報の入力には不十分な機能しか備えていない機器で情報を入力することを想定すると、上記特許文献1の技術では対応できない。
そこで、本願発明者らは、情報管理システムの機能向上のため、以下の改善策を検討した。
情報管理システムの情報管理方法の一態様は、ホームゲートウェイを介して、一以上の対象機器から、前記一以上の対象機器のログ情報を収集して管理する情報管理システムにおける情報管理方法であって、一以上の対象機器の中の未登録の対象機器の機器識別子、前記ホームゲートウェイのゲートウェイ識別子及び前記未登録の対象機器のユーザの生体情報を受信し、前記ゲートウェイ識別子と関連付けられた登録機器の中で、前記生体情報のユーザと関連付けられた少なくとも一つの対象機器の管理情報がデータベースに登録されているか否かを判断し、前記生体情報のユーザと関連付けられた少なくとも一つの対象機器の管理情報が前記データベースに登録されていると判断された場合、登録されていた前記少なくとも一つの対象機器の管理情報を前記未登録の対象機器の管理情報として前記生体情報のユーザに関連づけて前記データベースに登録し、登録されていた前記少なくとも一つの対象機器の管理情報を前記未登録の対象機器の管理情報として前記生体情報のユーザに関連付けて登録したことを示した表示情報を、前記ユーザの情報端末に送信する。
これによって、例えば、情報管理システムへ新規の対象機器を追加するための初期登録を行うに際して、例えば、ユーザの名前又は住所、その他入力する項目がある場合、ユーザの生体情報と初期登録を行う対象機器の機器IDとを情報管理システムへ送信するだけで、既に情報管理システムに登録されている他の対象機器の管理情報を、初期登録を行う対象機器の管理情報へ反映できる。
そのため、新規の対象機器が追加される場合にその初期登録時に情報管理システムから、例えば、ユーザの情報端末に対して管理情報の入力を要求することなく、情報管理システムにおいて対象機器の管理情報を設定でき、情報管理システムにおけるサーバの処理回数を減少させるとともにサーバの処理負荷を低減できる。
また、ユーザが情報管理システムに対して異なる対象機器毎に何度も同様の項目を対象機器から情報管理システムへ送信する必要がなく、ユーザの生体情報と対象機器のIDとを情報管理システムに送信するだけで、対象機器の登録を完了できる。そのため、ユーザによる入力の手間を省くことができ、例えば、ユーザの入力のミスによって対象機器毎に異なる管理情報が設定されることも無くなる。加えて、ユーザ側の対象機器と情報管理システムとの通信回数を減少させ、または、ユーザ側の対象機器と情報管理システムとの間における処理回数を減少させることができる。
また、対象機器がディスプレイを備えていない場合又は対象機器がディスプレイを備えていても前記管理情報を入力するには不十分な機能しか備えていない場合のように、入力のインターフェースを備えていない対象機器についても、情報管理システムへの管理情報の設定が可能となる。
さらに、上記情報管理方法は、前記生体情報のユーザと関連付けられた少なくとも一つの対象機器の管理情報が前記データベースに登録されていないと判断された場合、前記未登録の対象機器の管理情報の入力を促すメッセージを、前記情報端末に送信する。
さらに、上記情報管理方法は、前記生体情報のユーザと関連付けられた少なくとも一つの対象機器が前記データベースに登録されていないと判断された場合、前記ゲートウェイ識別子と関連付けられた登録機器の中で、前記未登録の対象機器と同一種別の少なくとも一つの対象機器の管理情報が前記データベースに登録されているか否かを判断し、前記未登録の対象機器と同一種別の少なくとも一つの対象機器の管理情報が前記データベースに登録されていると判断された場合、登録されていた、前記未登録の対象機器と同一種別の少なくとも一つの対象機器の管理情報を前記未登録の対象機器の管理情報として前記生体情報のユーザに関連づけて前記データベースに登録し、登録されていた前記同一種別の少なくとも一つの対象機器の管理情報を前記未登録の対象機器の管理情報として前記生体情報のユーザに関連付けて登録したことを示した表示情報を、前記ユーザの情報端末に送信する。
本態様によると、前記生体情報のユーザと関連付けられた少なくとも一つの対象機器が前記データベースに登録されていないと判断された場合であっても、同じホームゲートウェイに接続されている対象機器の中で、同一種別の既登録の対象機器に関する管理情報を、新規登録の対象機器のために利用する。同じホームゲートウェイに接続された対象機器であれば、例えば、同一家族のいずれかが管理者となっている対象機器であると考えられ、登録されている対象機器の管理情報を、新規の対象機器のために利用しても、その管理情報をそのまま利用できる可能性が高い。例えば、息子と関連付けられた既登録の対象機器が存在しなくても、その息子が息子用のテレビを新規に登録する場合に、既登録のリビングに設置されたテレビの管理情報(たとえばログ情報の開示ポリシー)を利用することができる。
これによって、新規の対象機器が追加される場合にその初期登録時に情報管理システムから、例えば、ユーザの情報端末に対して管理情報の入力を要求することなく、情報管理システムにおいて対象機器の管理情報を設定でき、情報管理システムにおけるサーバの処理回数を減少させるとともにサーバの処理負荷を低減できる。
また、ユーザが情報管理システムに対して異なる対象機器毎に何度も同様の項目を対象機器から情報管理システムへ送信する必要がなく、ユーザの生体情報と対象機器のIDとを情報管理システムに送信するだけで、対象機器の登録を完了できる。そのため、ユーザによる入力の手間を省くことができる。
さらに、上記情報管理方法は、前記未登録の対象機器と同一種別の少なくとも一つの対象機器が前記データベースに登録されていないと判断された場合、前記未登録の対象機器の管理情報の入力を促すメッセージを、前記情報端末に送信する。
さらに、上記情報管理方法は、前記表示情報の送信後に、前記未登録の対象機器の管理情報として登録された登録情報の修正を指示する指示情報を受信し、前記指示情報に基づいて、前記未登録の対象機器の管理情報として前記データベースに登録された登録情報を修正する。
上記情報管理方法は、前記情報端末から前記情報管理システムへのアクセスに応じて、前記表示情報を前記情報端末に送信する。
上記情報管理方法では、前記生体情報は、たとえば前記ユーザの音声を表す情報である。
本態様によると、前記生体情報として、前記ユーザの音声を表す情報を用いる。音声情報は、同一の家族の構成員においても、その音声の特徴量が異なるため、同一の家族内のどの構成員の音声かの判別が可能である。そのため、ホームゲートウェイを介して接続された一以上の対象機器の中において、例えば、同一家屋内の居住する家族構成員の各々と関連づけて、例えば2台目のテレビを父の書斎に設置する場合には前記2台目のテレビを家族構成員としての父と関連づけて、新規の対象機器の管理情報を管理できる。
上記情報管理方法では、前記生体情報は、前記ユーザの指紋を表す情報である。
上記情報管理方法では、前記生体情報は、前記ユーザの網膜における毛細血管の形状パターンを表す情報である。
上記情報管理方法では、前記生体情報は、前記ユーザの虹彩の特徴量を表す情報である。
上記情報管理方法では、前記生体情報は、前記ユーザの静脈の形状パターンを表す情報である。
上記情報管理方法では、前記生体情報は、前記ユーザの掌形、顔、耳形、筆記時の軌跡・速度・筆圧の少なくとも一つの変化、リップムーブメントに関するいずれかの情報を含む。
上記情報管理方法では、前記管理情報は、前記ユーザを表すユーザIDである。
上記情報管理方法では、前記管理情報は、前記一以上の対象機器の各々から収集するログ情報の種別である。
上記情報管理方法では、前記ログ情報の種別は、前記一以上の対象機器の各々に関するオン/オフの状態を示す情報である。
上記情報管理方法では、前記管理情報は、前記一以上の対象機器の各々から収集されたログ情報を提供する事業者を示す情報である。
情報管理システムの情報管理方法の他の一態様は、ネットワークを介して、一以上の対象機器から、前記一以上の対象機器のログ情報を収集して管理する情報管理システムにおける情報管理方法であって、一以上の対象機器の中の未登録の対象機器の機器識別子、前記ネットワークにおける一以上のユーザの所属範囲を特定するネットワーク識別子及び前記未登録の対象機器のユーザの生体情報を受信し、前記ゲートウェイ識別子と関連付けられた登録機器の中で、前記生体情報のユーザと関連付けられた少なくとも一つの対象機器の管理情報がデータベースに登録されているか否かを判断し、前記生体情報のユーザと関連付けられた少なくとも一つの対象機器の管理情報が前記データベースに登録されていると判断された場合、登録されていた前記少なくとも一つの対象機器の管理情報を前記未登録の対象機器の管理情報として前記生体情報のユーザに関連づけて前記データベースに登録し、登録されていた前記少なくとも一つの対象機器の管理情報を前記未登録の対象機器の管理情報として前記生体情報のユーザに関連付けて登録したことを示した表示情報を、前記ユーザの情報端末に送信する。
上記情報管理方法では、前記生体情報は、前記ユーザの音声を表す情報である。
以下、添付の図面を参照しながら、本開示による、サービス提供システムにおけるデータ提供方法の実施形態を説明する。
以下で説明する実施の形態は、いずれも本開示の一具体例である。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、たとえば出願時における独立形式の請求項に記載されていない構成要素に関しては、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることも出来る。
1.提供するサービスの全体像
まず、本実施の形態における情報管理システムが提供するサービスの全体像を説明する。
図38Aは、本実施の形態における情報管理システム200が提供するサービスの全体像を示す図である。情報管理システム200は、ユーザグループ1000、データセンタ運営会社1100及びサービスプロバイダ1200を備える。
ユーザグループ1000は、例えば企業、団体又は家庭等であり、その規模を問わない。ユーザグループ1000は、第1の機器及び第2の機器を含む複数の機器1010およびホームゲートウェイ1020を備える。複数の機器1010は、いずれも通信機能を有しており、他の機器との間でデータの送信および/または受信が可能である。複数の機器1010は、インターネットに直接接続するための構成および機能を有する機器、およびそのような構成および機能を有しない機器を含む。前者に該当する機器は、たとえばスマートフォン、タブレット、または専用表示端末、パーソナルコンピュータ(PC)又はテレビである。後者に該当する機器は、たとえば照明、洗濯機又は冷蔵庫である。後者に該当する機器には、ホームゲートウェイ1020を介することによってインターネットに接続可能な機器が含まれ得る。1以上のユーザ2110は、ユーザグループ1000内の複数の機器1010を使用する。なお、ユーザ2110は説明の便宜のために記載されており、サービス提供システム200に含まれない。
ホームゲートウェイ1020は、複数の機器1010の各々から機器の動作に関するログ情報を受信し、そのログ情報をクラウドサーバ1110に送信する。ホームゲートウェイ1020はログ情報を蓄積し、蓄積したログ情報を、たとえば1日に1回、クラウドサーバ1110に提供する。なお、図38Aでは1つのホームゲートウェイ1020が記載されているが、これは一例である。ホームゲートウェイは複数存在してもよい。複数のホームゲートウェイが存在する場合には、たとえば外部のネットワークと接続されるホームゲートウェイ(親ホームゲートウェイ)に、他のホームゲートウェイ(子ホームゲートウェイ)が接続されていればよい。子ホームゲートウェイは、たとえば複数の機器1010のうちの一つまたは複数からログ情報を受信して蓄積し、親ホームゲートウェイを通してサーバにログ情報をアップロードする。または子ホームゲートウェイは、親ホームゲートウェイを介して複数の機器1010のうちの一つまたは複数を操作する信号を出力してもよい。
データセンタ運営会社1100は、クラウドサーバ1110を備える。クラウドサーバ1110は、たとえばインターネットを介して様々な機器と連携する仮想化サーバである。クラウドサーバ1110は、主に通常のデータベース管理ツール等の、既存の一般的な技術で取り扱うことが困難な大量のデータ群(いわゆる「ビッグデータ」)等を管理する。データセンタ運営会社1100は、データの管理、クラウドサーバ1110の管理、及びそれらを行うデータセンタの運営等を行っている。データセンタ運営会社1100が行っている役務の詳細については後述する。
データセンタ運営会社1100は、データの管理又はクラウドサーバ1110の管理のみを行っている会社に限らない。図38Bおよび図38Cは、データセンタ運営会社1100の変形例を示す。図38Bは、データセンタ運営会社1100として機能する機器メーカを示す。複数の機器1010に含まれる機器を開発又は製造している機器メーカが、データの管理又はクラウドサーバ1110の管理等を行っている場合は、その機器メーカがデータセンタ運営会社1100に該当する。また、図38Cは、協働して1つのクラウドサーバ1110を管理する複数の会社を示す。このように、データセンタ運営会社1100は一つの会社に限らない。機器メーカ及び管理会社が共同又は分担してデータの管理又はクラウドサーバ1110の管理を行っている場合は、両者又はいずれか一方がデータセンタ運営会社1100に該当する。なお、共同又は分担してデータの管理又はクラウドサーバ1110の管理を行っているとしても、機器メーカおよび管理会社の一方のみがデータセンタ運営会社1100として機能していてもよい。また、データセンタ運営会社1100がサービスプロバイダの機能を有してもよい。
上述したクラウドサーバ1110は、ハードウェアのコンピュータのみならず、クラウドサーバ1110に必要とされる機能がプログラムされたソフトウェアとしても実現される。
サービスプロバイダ1200は、サーバ1210を備える。ここで言う「サーバ1210」に関しては、データまたはそのデータに基づくサービスを提供する機能を有するコンピュータや記録媒体を意味する限り、その規模は問わない。例えば、個人用PCを用いてデータの提供が行われ得るという点からすると、個人用PCそれ自体、または個人用PC内のメモリ等もまた「サーバ」に含まれる。また、サービスプロバイダ1200がサーバ1210を備えていない場合もある。
なお、上記の情報管理システム200において、ホームゲートウェイ1020は必須ではない。例えば、クラウドサーバ1110が全てのデータ管理を行っている場合は、ホームゲートウェイ1020は省略されてもよい。また、家庭内の全ての機器がインターネットに接続するための構成および機能を有しており、それ自身ではインターネットと接続不可能な機器が存在しない場合にも、ホームゲートウェイ1020は省略されてもよい。ログ情報は、インターネットを介して複数の機器1010から直接クラウドサーバ1110に提供されてもよい。
次に、上記の情報管理システム200における情報の流れを説明する。
まず、ユーザグループ1000の第1の機器および/または第2の機器は、各々のログ情報をデータセンタ運営会社1100のクラウドサーバ1110に送信する。クラウドサーバ1110は、機器から送信されてきたログ情報を受信して蓄積する(図38Aの矢印1310)。
ここで、ログ情報とは、たとえば複数の機器1010の運転状況又は動作日時等を示す情報である。より具体的には、ログ情報は、テレビの視聴履歴、レコーダーの録画予約情報、洗濯機の運転日時、洗濯物の量、冷蔵庫の開閉日時、又は冷蔵庫の開閉回数などを含むが、これらの情報に限られない。ログ情報は、種々の機器から取得することが可能な種々の情報を含んでもよい。なお、ログ情報は、インターネットを介して複数の機器1010自体から直接クラウドサーバ1110に提供されてもよい。また、ログ情報は、複数の機器1010から一旦ホームゲートウェイ1020に集積され、ホームゲートウェイ1020からクラウドサーバ1110に提供されてもよい。
次に、データセンタ運営会社1100のクラウドサーバ1110は、集積したログ情報を一定の単位でサービスプロバイダ1200に提供する。ここで、「一定の単位」とは、データセンタ運営会社1100が集積した情報を整理してサービスプロバイダ1200に提供することの出来る単位でもよいし、サービスプロバイダ1200が要求する単位でもよい。なおログ情報の提供は一定の単位でなくてもよい。状況に応じて提供するログ情報の情報量が変化してもよい。ログ情報は、必要に応じてサービスプロバイダ1200が保有するサーバ1210に保存される(図38Aの矢印1320)。
そして、サービスプロバイダ1200は、ログ情報をユーザに提供するサービスに適合する情報に整理し、ユーザに提供する。情報が提供されるユーザは、複数の機器101を使用するユーザ2110でもよいし、外部のユーザ2111でもよい。ユーザ2110、2111への情報提供方法としては、例えば、サービスプロバイダ1200から直接ユーザ2110、2111へ情報が提供されてもよい(図38Aの矢印1330,1340)。また、ユーザ2110への情報提供方法としては、例えば、データセンタ運営会社1100のクラウドサーバ1110を再度経由して、ユーザ2110に情報が提供されてもよい(図38Aの矢印1350,1360)。なお、サービスプロバイダ1200に代えて、データセンタ運営会社1100のクラウドサーバ1110が、ログ情報をユーザに提供するサービスに適合する情報に整理してもよい。クラウドサーバ1110は、整理した情報をサービスプロバイダ1200に送信してもよい。
なお、ユーザ2110とユーザ2111とは異なってもよいし、同一であってもよい。また、複数の機器1010の各々、クラウドサーバ1110、および/またはサーバ1210が同一の国に設置されている必要はない。たとえば複数の機器1010の各々は日本に設置され、一方のクラウドサーバ1110、および/またはサーバ1210は米国に設置されていてもよい。またはその逆でもよい。ユーザ2110の操作(制御)によってクラウドサーバ1110および/またはサーバ1210が分析結果等を提供し、ユーザがPC等を利用してその分析結果を確認できる場合には、ユーザはその国においてそのシステム200の恩恵を受けていると言える。そのシステム200は実質的には1つの国に設置されていることと何ら変わりはない。
なお、ログ情報の収集(図38Aの矢印1310、1320)、および情報の提供(図38Aの矢印1330、1340、1350、1360)には、個々のユ―ザ2110を特定する情報が含まれていると、情報が悪用される可能性がある。そのため、氏名等の、個々のユ―ザ2110を特定する情報を含めないという運用も考えられる。個々のユーザ2110を特定する情報を含める場合には、送信元の機器は、その情報を暗号化して送信してもよい。また、データセンタ運営会社1100のクラウドサーバ1110は、ログ情報をユーザに提供するサービスに適合する情報に整理し、サービスプロバイダ1200に提供してもよい。
2.情報管理システム1の構成
次に、図1以降の図面を参照しながら、本実施形態によるサービス提供システムをより具体的に説明する。
図1は、本実施形態による情報管理システム1の構成の概要を示す。
情報管理システム1は、ホームゲートウェイ102(以下「ゲートウェイ102」と記述する。)を介して、一以上の対象機器から、一以上の対象機器のログ情報を収集して管理する。本実施形態において「対象機器」とは、ログ情報を外部に出力する機能を有する機器をいうとする。本実施形態においては、ログ情報の収集および管理が許可される機器は、ユーザ登録が完了した機器(登録機器)であるとする。そして情報管理システム1は、収集したログ情報に基づいてそのユーザに、登録機器の消費電力の履歴、登録機器の使用履歴、それらに基づく寿命予測などのサービスを提供する。
ログ情報を収集するに先だって、管理サーバ20は、ユーザに、そのユーザに関する情報や、ログ情報を収集する機器の情報の登録を求める。ユーザによって登録処理が行われると、管理サーバ20は、登録された機器(たとえば洗濯機100a)とユーザとを関連付けてデータベースに格納する。
例示的な情報管理システム1では、生体情報の一例である音声情報を利用して、家の中の機器を一度登録するとそのユーザの音声特徴量を保持し続ける。ユーザが、ユーザ登録が完了していない機器(未登録機器、たとえばビデオカメラ100b)を起動して登録する際、そのユーザは未登録機器に音声を入力する。すると管理サーバ20は、ゲートウェイIDとともに受け取った音声特徴量から、同じゲートウェイIDと関連付けられた複数の登録機器の中で、その音声特徴量のユーザと関連付けられ、かつ管理情報がデータベースに登録されている登録機器が存在するか否かを判断する。図1の例では、洗濯機100aがそのような登録機器に該当する。そのような登録機器が存在すると判断された場合、管理サーバ20は、その特定の登録機器の管理情報を未登録機器の管理情報としてその音声特徴量を有するユーザに関連づけてさらにデータベースに登録する。ユーザは、特定の登録機器の管理情報を未登録機器(ビデオカメラ100b)の管理情報としてそのユーザに関連付けて登録したことを示した表示情報を、そのユーザの情報端末104(たとえば携帯電話)に送信する。
つまり情報管理システム1では、一度、音声を利用して機器の登録を完了しておけば、以後、ユーザは上述した管理情報を再び入力することなく、新たな機器の初期登録を完了することができる。
図2は、本実施の形態による情報管理システム1のより具体的な構成を示す。図2に示されるように、管理サーバ20は、情報通信ネットワーク30(以下「ネットワーク30」と記述する。)を介してユーザA宅10およびユーザB宅11と接続されている。各宅内に存在する機器が相違し得る以外は、ユーザA宅10およびユーザB宅11は実質的には同じ構成である。以下では、ユーザA宅10を例に挙げて説明する。
情報管理システム1の管理サーバ20は、ネットワーク30、およびユーザA宅10に設置されたゲートウェイ102を介して、各家庭の電化製品(たとえば洗濯機100a)と通信が可能である。ゲートウェイ102には、一意に識別可能な識別子(ゲートウェイID、「GW−ID」と記述することもある。)が割り当てられている。
管理サーバ20は、ユーザに関する情報をユーザ管理データベース(DB)22に保持している。本実施形態では、ホームゲートウェイのゲートウェイIDごとにユーザに関する情報が分類されている。
3.管理サーバ20に保持されるデータベースの例
図3は、ユーザ管理DB22の具体例を示す。ユーザ管理DB22には、たとえばゲートウェイID、ユーザの識別子(ユーザID)、ユーザの個人情報(たとえばユーザの氏名、年齢、住所)、そのユーザの話者モデルの類型、およびそのユーザの音声特徴量が互いに関連付けられて保持されている。話者モデルおよび音声特徴量の詳細は後述する。
また管理サーバ20は、登録された機器(洗濯機100a)に関する情報を機器管理データベース(DB)24に保持している。機器管理DB24もまた、ホームゲートウェイのゲートウェイIDごとにユーザに関する情報が分類されている。
図4は、機器管理DB24の具体例を示す。機器管理DB24には、たとえばゲートウェイID、機器ID、機器種別、ユーザ、その機器のログ情報の開示ポリシー、ログ情報の提供先、ログデータが互いに関連付けられて保持されている。
図4では、ユーザが「管理者」と「非管理者」とに分かれている。たとえばその機器の購入者が「管理者」として登録され、その機器の購入者ではないが使用する者が「非管理者」として登録される。「管理者」と「非管理者」との他の相違点は、管理者として登録されたユーザが、ログ情報の開示ポリシーやログ提供先を決定できる点である。
図4では、ログ情報の開示ポリシーとして、開示レベル(開示Lv.)が示されている。本明細書では、開示レベルの数値が大きいほど、開示量が増えるとする。図4の例では、機器であるテレビ、掃除機、デジタルカメラの中では、テレビの開示レベルが最も大きい。よって、提供されるログ情報の中では、テレビのログ情報の情報量が最も多いと言える。なお図4に示されるように、機器管理DB24においては、他のデータがさらに関連付けられてもよい。
ユーザ管理DB22および機器管理DB24を利用することにより、あるユーザに関連する、これまでの登録機器を特定することができ、さらに、そのユーザの音声特徴量も特定することができる。その結果、未登録機器を新たに登録しようとする際に、ユーザがその未登録機器を介して音声を入力すると、管理サーバ20はその音声から抽出される音声特徴量と、ユーザ管理DB22に登録された音声特徴量とを利用して、そのユーザの既登録機器が存在しているか否かを判断できる。そのユーザの既登録機器が存在している場合には、機器管理DB24に保持された登録機器の開示ポリシーを未登録機器の開示ポリシーとして適用し、その未登録機器の登録を完了できる。一方、そのユーザの既登録機器が存在していない場合には、たとえば同じゲートウェイIDの機器管理DB24に保持された登録機器の開示ポリシーを未登録機器の開示ポリシーとして適用し、その未登録機器の登録を完了できる。
これから登録しようとする機器のユーザと関連付けられた登録機器が存在しない場合には、管理サーバ20は機器管理DB24を参照して、同じゲートウェイIDを有する他のユーザ(一般的には同居の家族)の登録機器の開示ポリシーを未登録機器の開示ポリシーとして適用し、その未登録機器の登録を完了できる。
管理サーバ20は、ユーザAが所有する表示端末であるモバイル情報端末(たとえば携帯電話104)を用いたアクセスに応答して、ユーザAが契約者であることを確認してアクセスを認証し、認証されたユーザの表示端末にそのユーザの表示データを提供する。この表示データは、管理サーバ20によって生成される。
4.家電100の構成
以下、図5から図9を参照しながら、家電の構成、ゲートウェイ102の構成、および管理サーバ20の構成を説明する。
まず、本実施形態に関連する家電100の構成を説明する。洗濯機100aやビデオカメラ100bは家電100の一例である。
図5は、機器の一例である家電100の、機器登録に関連するハードウェア構成を示す。家電100は、マイク110と、操作ボタン120と、通信回路150と、処理回路170とを有している。これらはバス160で相互に接続されており、データや命令の授受を行うことが可能である。
マイク110は、ユーザの音声を収集してアナログ音声信号を生成するとともに、そのアナログ音声信号をデジタルデータに変換して出力する。
操作ボタン120は、たとえば家電100の電源ボタン、および/または機器の登録処理を開始するために利用されるボタンである。
処理回路170は、CPU130と、機器ID142aおよびコンピュータプログラム142bを格納したメモリ140との組み合わせによって実現され得る。あるいは、以下に説明する動作を実現するように構成された専用のハードウェアによって実現されていてもよい。家電100は、図示される構成要素以外にも、その機器に要求される機能を実現するための構成要素も含み得る。
なお、機器ID142aは、機器に一意に付与された識別子である。機器ID142aは、メーカによって独自に付与されてもよいし、あるいは、原則としてネットワーク上で一意に割り当てられる物理アドレス(いわゆるMAC(Media Access Control)アドレス)であってもよい。
通信回路150は、ネットワークを介して他の機器(例えばゲートウェイ102)と通信を行う回路である。通信回路150は、例えばイーサネット(登録商標)規格に準拠した通信を行う。通信回路150は、処理回路170によって生成されたログ情報やID情報をゲートウェイ102に送信する。
図6は、家電100の、機器登録に関連する機能ブロックの構成を示す。図6には、マイク110、処理回路170および通信回路150によって実現される、5つの機能ブロックが記載されている。具体的には家電100は、機器登録に関連する機能として、音声取得部180、音声検出部182、音声区間切り出し部184、特徴量算出部186、および通信部188を有している。
音声取得部180はマイク110に対応する。また、通信部188は通信回路150に対応する。
一方、音声検出部182、音声区間切り出し部184、および特徴量算出部186は、処理回路170によって実現される。コンピュータプログラム142bを実行したCPU130は、ある時点では、たとえば音声検出部182として機能し、異なる他の一時点では音声区間切り出し部184として機能し、さらに異なる他の一時点では特徴量算出部186として機能する。なお、これら3つの構成要素のうち、少なくとも1つが、DSPなどの専用の処理を行うハードウェアによって実現されてもよい。
なお、音声検出部182、音声区間切り出し部184、および特徴量算出部186の具体的な処理は、図13から図21を参照しながら後に詳述する。
5.ゲートウェイ102の構成
図7は、ゲートウェイ102のハードウェア構成を示す。
ゲートウェイ102は、通信回路350と、処理回路370とを有している。これらはバス360に相互に接続されており、データや命令の授受を行うことが可能である。
処理回路370は、CPU330と、一意に識別可能なゲートウェイID342aおよびコンピュータプログラム342bを格納したメモリ340との組み合わせによって実現され得る。あるいは、以下に説明する動作を実現するように構成された専用のハードウェアによって実現されていてもよい。ゲートウェイ102は、図示される構成要素以外にも、その機器に要求される機能を実現するための構成要素も含み得る。
なお図7では、コンピュータプログラム342bが格納されているメモリ340にゲートウェイID342aが格納されているとした。しかしながらこれは一例である。コンピュータプログラム342bがRAMまたはROMに格納され、ゲートウェイID342aがフラッシュメモリに格納されてもよい。
6.管理サーバ20の構成
図8は、管理サーバ20のハードウェア構成を示す。管理サーバ20は、通信回路250と、処理回路270と、ユーザ管理DB22と、機器管理DB24とを備えている。
処理回路270は、CPU230と、プログラム242を格納したメモリ240とを有している。これらの構成要素は、バス260で接続されており、相互にデータを授受することが可能である。
処理回路270は、ユーザ管理DB22および機器管理DB24に接続されており、それらに格納された管理情報の取得や編集を行うことができる。なお、本実施形態では、ユーザ管理DB22および機器管理DB24は、サーバ装置20の内部の要素であるが、サーバ装置20の外部に設けられていてもよい。その場合には、バス260に加えて、インターネット回線が含まれ得る。
通信回路250は、ネットワークを介して他の通信機器(例えばゲートウェイ102)と通信を行う回路である。通信回路250は、例えばイーサネット(登録商標)規格に準拠した通信を行う。
CPU230は、サーバ装置20の動作を制御する。CPU230は、メモリ240に展開されたコンピュータプログラム242に記述された命令群を実行する。これにより、CPU230は種々の機能を実現することができる。コンピュータプログラム242には、サーバ装置20が後述する動作を実現するための命令群が記述されている。
上述のコンピュータプログラム242は、CD−ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送され得る。図8に示すハードウェアを備えた機器(例えばPC)は、当該コンピュータプログラム242を読み込むことにより、本実施形態によるサーバ装置20として機能し得る。
なお、CPU230、コンピュータプログラム242を格納したメモリ240は、1つの半導体回路にコンピュータプログラムを組み込んだDSP(Digital Signal Processor)等のハードウェアとして実現されてもよい。そのようなDSPは、1つの集積回路で上述のコンピュータプログラム242を実行するCPU230によって行われる全ての処理を実現することができる。図8に示すCPU230およびメモリ240に代えて、そのようなDSPを処理回路270として用いてもよい。
図9は、管理サーバ20の機能ブロックの構成を示す。図9には、処理回路270および通信回路250によって実現される、管理サーバ20の5つの機能ブロックが記載されている。具体的には管理サーバ20は、機器登録に関連する機能として、通信部280と、尤度算出部282と、ユ―ザ特定部284と、ユーザデータ更新部286と、ユーザデータ管理部288とを有している。
通信部280は、通信回路250に対応する。
一方、尤度算出部282と、ユ―ザ特定部284と、ユーザデータ更新部286と、ユーザデータ管理部288は、処理回路270によって実現される。コンピュータプログラム242を実行したCPU270は、ある時点では、たとえば尤度算出部282として機能し、異なる他の一時点ではユ―ザ特定部284として機能し、さらに異なる他の一時点ではユーザデータ更新部286やユーザデータ管理部288として機能する。なお、これら4つの構成要素のうち、少なくとも1つが、DSPなどの専用の処理を行うハードウェアによって実現されてもよい。
なお、尤度算出部282と、ユ―ザ特定部284と、ユーザデータ更新部286と、ユーザデータ管理部288の具体的な処理は、後に詳細に説明する。
7.表示端末104とゲートウェイ102との事前通信
図10は、表示端末104とゲートウェイ102との通信処理のシーケンスを示す。この処理は、後述する機器の登録に先立って行われている。
まずステップS100において、表示端末104はゲートウェイ102に接続要求を送信すると、ステップS102において、ゲートウェイ102はその要求を受信する。ゲートウェイ102は、ステップS104において所定の通信プロトコルにしたがって接続に必要な処理を行い、ステップS106において表示端末104との接続を確立する。接続の確立に当たって、たとえばゲートウェイ102は、表示端末104のネットワークアドレスを示す情報(アドレス情報)や機器IDを取得し、取得した情報を自らのメモリ340(図7)に格納する。なお、アドレス情報とは、表示端末104に固定的、または動的に割り当てられた、ネットワークの一意のアドレスを示す情報である。また機器IDは、上述したように、メーカによって独自に付与された値、あるいは、原則としてネットワーク上で一意に割り当てられる物理アドレス(いわゆるMAC(Media Access Control)アドレス)であってもよい。
その後、ゲートウェイ102は表示端末104に、表示端末104のアドレス情報を登録したことを示す通知を送信する。その通知を受けて、表示端末104はディスプレイに、たとえば「この端末の登録が完了しました。」というメッセージを表示する。これによりユーザは当該表示端末104がゲートウェイ102に登録されたことを確認できる。
上述の処理により、ユーザはたとえばゲートウェイ102を介して提供される、家電のログ情報を利用したサービスを、表示端末104を用いて受けることが可能になる。
8.ユーザの初回登録時の機器登録処理
図11は、ユーザがユーザの情報(たとえば個人情報)を初めて登録する際の通信処理のシーケンスを示す。なお、このシーケンスは、操作ボタン120の押下によって家電100の電源が初めて投入されたとき、またはユーザが登録処理の開始を指示したときに開始される。
ステップS200において、家電100は特徴量抽出処理を行って音声特徴量を取得する。特徴量抽出処理の詳細は図15から図19に示されており、それらは後に詳述する。家電100の通信回路150は、取得した音声特徴量と、メモリ140に格納されている機器ID142aをゲートウェイ102に送信する。ゲートウェイ102はそれらを受信する。
ステップS202において、ゲートウェイ102は、家電100から受信した音声特徴量、および機器IDとともに、自らのメモリ340に保持するゲートウェイID342aを管理サーバ20に送信する。
管理サーバ20は、ステップS204において、音声特徴量、機器IDおよびゲートウェイIDを受信し、ステップS206において、照合処理を行う。照合処理とは、家電100のユーザが管理サーバ20のユーザ管理DB22に登録されているかを照合する処理である。本実施形態においては、管理サーバ20は、ユーザ管理DB22に登録されたユーザの音声特徴量の情報を保持している。新たな機器(未登録機器)を登録するために、ユーザが音声を未登録機器に入力すると、その機器によってユーザの音声から特徴量が抽出される。管理サーバ20のCPU230は、その音声特徴量のデータを受け取り、ユーザ管理DB22に保持されているユーザの音声特徴量に最も近いかを照合することにより、話者を識別する。照合処理の詳細は図20に示されており、それらは後に詳述する。
本例は、ユーザがユーザ個人情報を初めて登録し、かつ未登録機器を初めて登録することを想定しているため、ユーザの情報はまだユーザ管理DB22に登録されていない。そのため、管理サーバ20のCPU230は、通信回路250を介して初期登録のための画面(ウインドウ)を表示する命令をゲートウェイ102に送信する。
ステップS208において、ゲートウェイ102の通信回路350は画面表示命令を受信する。ゲートウェイ102のCPU330は、図4に示すシーケンスによって登録した表示端末104のアドレスに表示命令を出力する。
表示端末104は、ステップS210において表示命令に基づいて初期登録画面を表示する。たとえば図12は、表示端末104のディスプレイに表示された初期登録画面の例を示す。
ステップS212において、ユーザに関する情報の入力を受け付ける。この情報は、たとえばユーザの氏名、性別、年齢、住所、メールアドレスである。本実施形態では、同じゲートウェイIDの下で同じ家族の複数のユーザを管理するため、家族における属性の情報(父、母、息子など)もユーザに関する情報として入力される。表示端末104はユーザの情報をゲートウェイ102に送信する。
ステップS214において、ゲートウェイ102はユーザ個人情報を受信し、管理サーバ20に転送する。
ステップS216において、管理サーバ20の通信回路250がユーザ個人情報を受信すると、CPU230はユーザIDを発行し、ユーザIDとユーザ個人情報とを関連付けてユ―ザ管理DB22に登録する。登録が完了すると、その旨を示す通知画面の表示命令をゲートウェイ102に送信する。この命令はゲートウェイ102から表示端末104に転送される。
ステップS218において、表示端末104は登録通知の画面を表示する。この表示により、ユーザは自己の音声特徴量、およびユーザ個人情報が登録されたことを認識できる。その結果、図3に示すユーザ管理DB22が更新される。
9.話者識別処理の概念
ここで、本実施形態において話者を識別するために用いられる音声特徴量に関する処理の概念を、図13および図14を参照しながら説明する。理解の便宜のため、各ステップの右側に、関連する波形等の例を示している。なお、以下で説明する話者識別方法は一例である。他の方法によって話者を識別してもよい。
図13は、学習データから話者モデルを生成する処理の手順を示すフローチャートである。本実施形態では、ステップS300およびS302の処理は家電100によって実行され、ステップS304の処理は管理サーバ20のCPU230によって実行される。
ステップS300において、CPU130はマイク110によって生成されたユーザの音声データを取得する。なお、ここでいうCPU130は、図6に示される特徴量算出部186として機能している。
次にステップS302において、CPU130は特徴量を算出する。話者を識別するために用いられる特徴量としては、音声認識技術で一般的に用いられるメルケプストラム周波数(MFCC)を使用する。具体的には、CPU130は音声データを周波数変換して振幅スペクトルを求め、前記振幅スペクトルに対してヒトの周波数知覚特性を考慮してメルフィルタバンクをかける。その後、CPU130はケプストラム分析を行い、音声の調音フィルタ成分を抽出する。
ステップS304において、管理サーバ20のCPU230は、得られた前記特徴量から識別用のモデルを作成する。話者識別用のモデル学習には様々な方式が考えられる。本実施形態では混合正規分布(GMM)を用いて識別用モデルを構築している。具体的には、ある話者の特徴量(MFCC)データ群を入力パラメータとし、EMアルゴリズムによって学習させることでその話者の音声性をガウス分布の線形重ね合わせで表現する。この線形重ね合わせで表現されたデータが識別用モデルとして利用される。このようにして得られたモデルは、図3に示すユーザ管理DB22に話者モデルとして保存される。
図14は、話者の特定処理の手順を示すフローチャートである。この処理は、あるユ―ザの音声特徴量を識別対象の複数の話者モデルに通し適用し、尤度(確からしさを表す尺度)を算出する処理である。尤度(対数尤度)は、入力xが与えられたときのデータφの確率として表され、次式の通りである。
L(φ)=log p(x|φ)、φ=[θ・・・θ]
本実施形態では、この処理は管理サーバ20のCPU230によって実行される。図14の処理を行う前提として、1以上のユーザの音声特徴量からそれぞれ生成された話者モデルを保持している。本実施形態では、たとえば図3に示すユーザ管理DB22の「話者モデル」がそのモデルに該当する。また図3において「特徴量」が、話者モデルの学習に利用された音声特徴量に該当する。図3の記載は、たとえば実体となるデータに付与されたデータファイル名である。
ステップS400において、CPU230はユーザの音声特徴量(MFCC)を取得する。ステップS402において、CPU230は、取得した音声特徴量を、複数の話者モデルに通し、尤度を算出する。
ステップS404において、CPU230は、尤度が最も高いモデルの話者を、入力音声の話者であると特定する。
10.家電100による特徴量抽出処理
図15は、特徴量抽出処理の手順を示すフローチャートである。この処理は、図11のステップS200の処理の詳細である。つまり、この処理は家電100によって実行される。処理の説明に際し、図16から図19も適宜参照する。
ステップS500において、音声取得部180(図6)は、音声の検出動作を開始する。ステップS502において、音声検出部182は音声を検出したかどうかを判定する。たとえば検出した音声のレベルが所定値以下の場合には、音声検出部182は音声を検出していないと判断してステップS504に進む。検出した音声のレベルが所定値より大きい場合には、音声検出部182は、音声を検出したとして処理はステップS506に進む。図16は音声取得部180によって取得され、音声検出部182によって検出された音声の波形例を示している。
ステップS504において、音声検出部182は音声取得部180に指示して、再度音声の入力を受付させる。音声が検出されるまで、ステップS500からS504の処理が継続される。
ステップS506において、音声区間切り出し部184は、取得した音声信号の中からが存在する区間を検出する。たとえば図17は、音声区間切り出し部184によって生成された音声検出フラグを示す。音声波形の振幅が所定の閾値を超えた時刻には「1」の音声検出フラグが設定され、音声波形の振幅が所定の閾値以下となった時刻には「0」の音声検出フラグが設定される。これにより、音声区間切り出し部184は、発話区間を明確に弁別できる。図18は、音声区間切り出し部184が特定した、音声区間を示す。図18では、音声検出開始後0.3秒後から、4.4秒までの区間が音声区間として特定される。なお本実施形態では、発話区間よりも前後に余裕を持たせて音声区間を特定している。音声区間切り出し部184は、特定した音声区間から音声信号を切り出す。
ステップS508において、特徴量算出部186は、切り出された音声信号に基づいて、メル周波数ケプストラム係数(MFCC)を算出する。図19は算出されたMFCCの例を示す。縦軸がケプストラム値、横軸がケフレンシー(ms)である。
以上の処理により、家電100によって、入力された音声からMFCCが算出される。
11.管理サーバ20によるユーザ照合処理
図20は、ユーザの照合処理の手順を示すフローチャートである。この処理は、図11のステップS206の処理の詳細である。つまり、この処理は管理サーバ20によって実行される。
ステップS600において、CPU230は、ユーザ管理DB22を読み込む。続くステップS602において、CPU230は、受信したゲートウェイIDと同じゲートウェイIDがユーザ管理DB22に存在するかどうかを判断する。存在する場合には処理はステップS604に進み、存在しない場合にはそのユーザが過去に登録されていないと判断できる。そこで処理はステップS612に進む。
ステップS604において、CPU230は、受信した特徴量と、同じ家族内(同じゲートウェイIDの範囲内)に存在する全話者モデルの各々との尤度を算出する。ステップS606において、CPU230は得られた尤度の中で最大の尤度を持つユーザを検出する。同じゲートウェイIDの範囲内で、たとえば1つしか話者モデルが存在しない場合には、その尤度を最大の尤度として取り扱えばよい。
ステップS604およびS606の処理は、図21により模式的に示されている。図21は、入力音声の特徴量を各ユーザの話者モデルに適用することによって尤度を算出する処理の概念を示す。たとえば今、ユーザ管理DB22に同じゲートウェイIDで関連付けられたN人ユーザが存在するとする。音声を入力したユーザの音声特徴量を、ユーザIDとしてUxkを有するユーザの話者モデルSP0Kに適用することにより、尤度sp0Kが得られる(k:1〜Nの整数)。CPU230は、得られた尤度を比較して、その中から最大の尤度を選択すればよい。
再び図20を参照する。ステップS608において、CPU230は、最大の尤度が規定の閾値よりも大きいか否かを判断する。最大の尤度が規定の閾値よりも大きい場合には処理はステップS610に進み、最大の尤度が規定の閾値以下の場合には処理はステップS612に進む。
ステップS610において、CPU230は、発声した話者が、当該最大の尤度を与えたモデルの話者であると決定し、それを照合結果として140に表示させる。その後、処理に必要な手続きを確認するメッセージや、命令を表示端末104に送り、表示させる。
ステップS612において、CPU230は、初期登録画面表示命令を、ゲートウェイ102を介して表示端末104に送信する。これによりステップS206(図11)の処理が完了する。
12.管理サーバ20によるユーザID登録処理
図22は、ユーザID登録処理の手順を示すフローチャートである。この処理は、図11のステップS216の処理の詳細である。つまり、この処理は管理サーバ20によって実行される。
ステップS700において、管理サーバ20のCPU230は、ゲートウェイ102を介してユーザからのユーザ個人情報を取得する。
ステップS702において、CPU230はそのユーザにユ―ザIDを新規に付与する。ユーザIDはCPU230が任意の規則に従って付与しもよいし、ユーザから指定されたユーザIDであってもよい。いずれの場合であっても、ユーザIDは重複して付与されない。
ステップS704において、CPU230は、新規に発行したユーザIDとユーザ個人情報とを紐付け(関連付け)し、ユーザ管理DB22に登録する。さらにステップS706において、CPU230は、新たに発行したユーザIDと、既に取得していたそのユーザの音声特徴量とを紐付し、ユーザ管理DB22に登録する。
ステップS708において、CPU230は、取得した音声特徴量から、ユーザの識別用話者モデル作成し、新たに発行したユーザIDと識別用話者モデルとをさらに紐付し、ユーザ管理DB22に登録する。
以上の処理により、ユーザIDが、そのユーザの個人情報のみならず、音声特徴量および識別用話者モデルと関連付けてユーザ管理DB22に保持されることになる。
図23は、ユーザ管理DB22に新規ユーザを追加したときのデータの変遷を示す。
図23上段に示すように、機器管理DB24には当初、GW−IDが「G001」である家族が登録されている。そこへ、同じGW−IDを有する家庭から家電100を利用したアクセスが息子からあったとする。
図23下段に示すように、上述した処理により、初めて登録される息子には新たなユーザIDが「U03」が付与されるとともに、そのユーザIDに、ユーザの個人情報、家電100を利用した音声の入力によって取得された音声特徴量および構築された話者モデルが関連付けされている。
13.管理サーバ20による家電登録処理(ユーザID登録済み)
図24は、ユーザIDの登録が既に完了している状態で、未登録の機器を登録する際の通信処理のシーケンスを示す。この処理は、たとえばユーザID登録処理(図11)が完了した後に、さらに実行される。または、既にユーザID登録処理(図11)を完了させているユーザが、新たに購入した家電100の操作ボタン120を操作することによって開始される。
管理サーバ20のCPU230(図8)はゲートウェイから受信したゲートウェイIDを利用してユーザ管理DB22を参照し、そのゲートウェイIDに関連付けられたユーザが存在するか否かを判定する。
まず、ステップS800からステップS806までは図11のステップS200からS206までとそれぞれ同じである。よって説明は省略する。
なお、ステップS806の処理の具体的な内容は、図11のステップS206の内容とは異なっていることに留意されたい。すなわち、図11の例では、CPU230は、ステップS612(図20)を経て初期登録画面表示命令を発行した。一方、図24の例ではステップS610(図20)において、話者が既登録のユーザであることが確認され、その後の手続き確認、命令を表示端末に問い合わせが行われることになる。
図25は、ユーザの音声に基づいて既登録のユーザであると判定された後に表示端末104に表示される、決定された話者、および次の処理を行うかどうかの確認を求める表示例である。このような画面が表示され、ユーザは「YES」を選択することにより、次の処理を行うことを確認する。
再び図24を参照する。
ステップS808において、表示端末104は管理サーバ20からの命令に従ってディスプレイに紐付け登録するための確認画面を表示する。ユーザの確認が完了すると、それが管理サーバ20に通知される。
ステップS810において、管理サーバ20のCPU230はユーザ管理DB22の更新処理を行う。この処理の詳細は、後に図26を参照しながら後述する。この処理の結果、CPU230は、登録された内容を示す登録情報をゲートウェイ102に送信する。
ステップS812において、ゲートウェイ102は登録情報を受信し、表示端末104に転送する。ステップS814において、表示端末104は登録結果をディスプレイに表示する。
上述のステップS800およびS802の処理は省略することもできる。たとえばユーザがユーザID登録処理(図11)の完了後に、引き続き図24に示す処理を実行する場合には、既に管理サーバ20には音声特徴量、機器IDおよびゲートウェイIDの情報を保持している。そのため、保持している情報を用いてステップS804から処理を開始してもよい。
14.管理サーバ20によるユーザ管理DB22の更新処理(1)
図26は、管理サーバ20による、ユーザ管理DB22の更新処理の手順を示すフローチャートである。この処理は、図24におけるステップS808の処理の詳細である。つまり、この処理は管理サーバ20によって実行される。
ステップS900において、管理サーバ20のCPU230は機器管理DB24を読み込む。ステップS902において、CPU230は、登録されているゲートウェイIDに対応させて、新たな機器の機器IDのエントリを機器管理DB24に追加する。
ステップS904において、CPU230はユーザから、そのユ―ザを管理者として登録するか否かの指示を受け取る。管理者として登録する場合には処理はステップS906に進み、非管理者として登録する場合には処理はステップS908に進む。
ステップS906において、CPU230は、特定したユーザIDを管理者として機器管理DB24を更新する。一方、ステップS908では、CPU230は、特定したユーザIDを非管理者として機器管理DB24を更新する。
続くステップS910以降は、新たに登録した家電100のログ情報の開示ポリシーを登録する処理である。
ステップS910において、CPU230は機器管理DB24を参照して、同一ユーザの登録機器台数aを特定する。
登録機器が存在しない場合(a=0)はステップS912に進み、CPU230はユーザからの指示を受けて、または予め指定されたログ開示ポリシーを新規に登録する。
登録機器台数が1台の場合(a=1)はステップS914に進み、CPU230は他の登録機器からログ開示ポリシーをコピーして登録する。
登録機器台数が複数の場合(a≧2)はステップS914に進み、CPU230は他の登録機器からログ開示ポリシーを1つ選択して登録する。
ここで、図27を参照しながら、特にステップS916の処理を具体的に説明する。
図27は、表示端末104上の表示の遷移例を示す。図27において、(a)から(h)に表示が遷移していく。表示端末104を用いた例を説明するが、たとえば家電100にディスプレイが装備されている場合には、そのディスプレイに表示されてもよい。以下では全て「YES」が選択されたとして説明する。
ユーザが発話することによってユーザが特定されると、表示端末104には機器登録を行うか否かを確認するメッセージが表示される(図27(a))。その後、表示端末104には機器に関する情報を含むメッセージが表示される(図27(b))。次に、表示端末104には、発話者を管理者として登録するか否かを確認するメッセージが表示され(図27(c))、機器管理DB24への登録完了後に、登録完了を示すメッセージが表示される(図27(d))。
次に、ログ収集ポリシーの設定へと遷移する(図27(e))。CPU230は機器管理DB24を参照して、そのユーザが既に他の家電を登録しているか否かを判断する。他の家電を登録している場合には、CPU230は、他に使用中の機器が検出されたこと、および既登録の機器のログ収集ポリシーを利用して登録しようとする家電100のログ収集ポリシーを設定するかどうかを確認するメッセージを出力する(図27(f))。
ユーザが既登録の機器のログ収集ポリシーを利用して登録しようとする家電100のログ収集ポリシーを設定することを選択した場合、CPU230は機器管理DB24に登録されている複数台の機器の情報を同時に表示する。この表示には、開示ポリシー、ログ提供先の情報が含まれているとする(図27(g))。
ユーザがいずれかの機器を選択することにより、CPU230は、選択された特定の機器のログ収集ポリシーを、登録しようとする家電100のログ収集ポリシーとして、そのユ―ザのユーザIDに関連付けて機器管理DB24に登録する。その結果、CPU230は、表示端末104に登録内容を示す情報を送信し、表示端末104はその情報を表示する。具体的には、選択された特定の機器のログ収集ポリシーを、登録しようとする家電100のログ収集ポリシーとして、そのユ―ザのユーザIDに関連付けて機器管理DB24に登録したことを示す情報が表示される(図27(h))。
なお、既登録の機器が1台の場合には、図27(g)においてその機器の情報のみが表示され、そのログ収集ポリシーが選択されることになる(図26のステップS914)。
15.管理サーバ20による機器管理DB24の更新処理
図28から図30は、図26および図27に関連した処理による、機器管理DB24の更新例を示す。
図28は、新規ユーザが未登録機器(デジタルカメラ)の管理者として機器管理DB24に登録される例を示している。図28に示されるように、機器管理DB24には、新たな機器ID「K03」のデジタルカメラのエントリが追加されていることが理解される。まず、機器ID、種別および購入年月日を含む基本情報が機器管理DB24に登録される。図29は、管理者として、ユーザIDが「U03」のユーザ(息子(図23))が追加された機器管理DB24を示す。
さらに図30は、デジタルカメラのログ情報の開示ポリシーおよびログ提供先に関する管理情報として、既存のテレビの管理情報が適用された機器管理DB24を示す。この例は、ユーザが、テレビの開示ポリシーを選択した例を示している。テレビの開示ポリシーおよびログ提供先の設定値が、デジタルカメラの設定値としてコピーされていることが理解される。
上述のように、ユーザは単に既登録の機器を選択するだけで、その設定内容を新たな家電100の設定値として利用できる。ユーザが全ての内容を都度入力する必要がないため、ユーザの利便性を非常に高めることが可能である。
16.ユーザの初回登録時の機器登録処理(ユーザ管理DB22の追加更新)
図31は、ユーザがユーザ情報とともに機器を初めて登録し、かつ登録された情報の確定を承認し、または修正を行う際の通信処理のシーケンスを示す。図31のシーケンスが図11のシーケンスと相違する点は、ユーザのID登録のみならず、機器登録までも同時に行われることにある。以下ではその相違点、すなわちステップS1018〜S1022を説明する。ステップS1000からS1016までは、図11と同じであるため、説明は省略する。
ステップS1018において、管理サーバ20によって送信された、ユーザIDと機器IDとを紐付けて登録してもよいか否かの確認メッセージが表示端末104に表示される。ユーザがその確認を行うと、ステップS1020において、CPU230は、機器管理DB24を更新する。その結果、ユーザIDと機器IDとが紐付けて登録される。CPU230は、その登録結果を示す表示情報を表示端末104に送信する。なお、ステップS1020の処理の詳細は、図32および図33に示されており、後に詳述する。
ステップS1022において、表示端末104はその表示情報により、登録結果を表示する。これにより、ユーザは家電100の登録を確認することができる。
17.管理サーバ20によるユーザ管理DB22の更新処理(2)
図32および図33は、機器管理DB24の更新処理の手順を示すフローチャートである。これらの処理は、図31のステップS1020の処理の詳細である。つまり、この処理は管理サーバ20によって実行される。
図32のステップS1100からステップS1108までは、図26のステップS900からステップS908とそれぞれ同じである。よって説明は省略する。
ステップS1110において、CPU230は、他ユーザの登録機器の情報からログ開示ポリシーをコピーして登録する処理を実行する。「他ユーザの登録機器の情報」とした理由は、上述のように、図31は、ユーザのユーザIDを初めて登録する処理であり、そのユーザの既登録機器は存在していないからである。
図33は、図32のステップS1110の処理の詳細を示すフローチャートである。
ステップS1200において、管理サーバ20のCPU230は、機器管理DB24から、同じゲートウェイIDに関連付けられた機器の種別一覧を抽出する。
ステップS1202において、CPU230は、登録しようとする家電100の種別と同じ種別の登録機器が既に存在するか否かを判断する。同じ種別の登録機器が存在する場合には処理はステップS1204に進み、存在しない場合には処理はステップS1206に進む。
ステップS1204において、CPU230は、発見された同じ種別の登録機器のログ開示ポリシーを提示し、その後、当該ポリシーのコピーについてユーザの承諾が得られたか否かを判断する。ユーザの承諾が得られた場合には処理はステップS1208に進み、得られない場合には処理はステップS1206に進む。
ステップS1206において、CPU230は、ユーザからの指示を受けて、または予め指定されたログ開示ポリシーを、登録しようとする家電100のログ開示ポリシーとして登録する。
ステップS1208において、CPU230は、ユーザから承諾を得られた、既存の登録機器に設定されていたログ開示ポリシーを、登録しようとする家電100のログ開示ポリシーとしてコピーして登録する。
ステップS1210において、CPU230は、既存の登録機器のログ開示ポリシーを、そのユーザのユーザIDおよび機器IDに関連付けて機器管理DB24に登録したことを示す表示情報を出力する。その結果、表示端末104においてその内容が表示され、ユーザが登録結果を知ることができる。
18.設定されたログ開示ポリシーの修正処理
図34は、既存の登録機器のログ開示ポリシーを用いて新たに登録した機器のログ開示ポリシーを設定したときの、ログ開示ポリシーの修正処理の手順を示すフローチャートである。この処理は管理サーバ20によって実行される。なおログ提供先の修正処理を含めてもよい。
ステップS1500において、管理サーバ20のCPU230は、既存機器のログ開示ポリシーとユーザとを関連付けて登録したことを示す表示情報を表示端末104に送信する。ユーザは表示端末104に表示された登録内容を確認することができる。
ステップS1502において、CPU230は、ユーザからの、ログ開示ポリシーの修正指示があるか否かを判断する。図35は、ログ開示ポリシーの修正指示の要否を問い合わせる表示例である。ユーザが「YES」を選択した場合には、修正指示があったとして処理はステップS1504に進み、ユーザが「NO」を選択した場合には、修正指示がなかったとして処理は終了する。
ステップS1504において、CPU230は、指示に従ってログ開示ポリシーを修正する。たとえば図30に示す、登録済みの機器管理DB24の内容を表示し、ユーザに編集を行わせてもよい。設定の誤りを防止するため、たとえば変更対象の機器のログ開示ポリシー、ログ提供先の欄の選択可能なポリシーをプルダウンメニューでユーザに選択させてもよい。編集の方法は任意である。
19.変形例
19.1.ゲートウェイ102を有しない情報管理システム1の変形例
上述の実施形態では、情報管理システム1にはゲートウェイ102が設けられているとして説明した。しかしながら、ゲートウェイ102を設けることは必須ではない。
図36および図37は、ゲートウェイを有しない情報管理システムにおいて、ユーザがユーザ情報とともに機器を初めて登録する際の通信処理のシーケンスを示す。図36および図37のシーケンスが、ゲートウェイを有する上述の情報管理システム1におけるシーケンスと相違する点は、家電が音声特徴量および機器IDとともに、さらにネットワーク識別子(ネットワークID)を送信する点である。上述の実施形態では、ゲートウェイ102の識別子(ゲートウェイID)が、ある家族の範囲を特定する情報として用いられていた。そのゲートウェイIDと同じ目的で、ある家族の範囲(対象となるユーザの所属範囲)を特定するネットワークIDを設けている。上述の実施形態におけるゲートウェイIDを、ネットワークIDに変更することで、上述の説明を適用することができる。たとえばユーザ管理DB22および機器管理DB24においてゲートウェイIDに代えて、ネットワークIDを格納すればよい。ネットワークIDとして、たとえば家庭内LANにおいて、IEEE802.11規格に基づく無線通信環境が構築されている場合には、そのSSID(Service Set Identifier)を採用することができる。
なお、図36および図37の各処理に関する説明は、それぞれ図11および図24から、ゲートウェイ102に関する処理を取り除いたに過ぎない。したがって、各ステップの説明は省略する。
19.2.生体情報に関する他の例
上述の実施形態では、ユーザの生体情報として音声を利用する例を説明した。しかしながら、これは一例である。他の例として、たとえばユーザの指紋、網膜、虹彩、静脈パターン、筆跡、リップムーブメントなどを生体情報として利用することができる。
ユーザの指紋は、たとえば近年、PC等に設けられている指紋センサーを家電100に装備することにより、ユーザの指紋の情報を生体情報として取得することができる。
ユーザの網膜に関しては、目の網膜の毛細血管の形状パターンを認識する方法が考えられる。またユーザの虹彩に関しては、虹彩パターンの濃淡値のヒストグラムを用いて認識する方法が考えられる。いずれも、専用の読み取り装置を家電100に装備することにより、ユーザの網膜や虹彩の情報を生体情報として取得することができる。
ユーザの静脈パターンに関しては、近赤外光を手のひら、手の甲、指に透過させて得られる静脈パターンをユーザの特徴量として利用する。たとえば家電100に近赤外光の光源、およびカメラを装備することにより、ユーザの静脈の形状パターンの情報を生体情報として取得することができる。
筆跡に関しては、筆記時の軌跡・速度・筆圧の変化などの癖をユーザの特徴量として利用する。たとえば家電100にタッチパネル型の表示装置が設けられている場合には、そのユーザの筆跡の情報を取得することができる。これにより、ユーザの筆跡の情報を生体情報として取得することができる。
リップムーブメントに関しては、ユーザの発話時の唇の動きの癖(リップムーブメント)をユーザの特徴量として利用する。たとえば家電100にカメラが設けられている場合には、そのユーザのリップムーブメントを取得することができる。これにより、ユーザのリップムーブメントを生体情報として取得することができる。
上述の説明では、たとえばユーザ管理DB22や機器管理DB24の確認を求める情報を、表示端末104のディスプレイに文字等によって表示する例を説明した。しかしながら、これは一例である。音声によって情報を提示してもよい。本実施形態では家電100にはマイク110(図5)が設けられるとしているため、別途スピーカを設けることにより、音声のみによるユーザID登録、機器ID登録、ログ収集ポリシーを利用する機器の選択が可能となる。
20.情報管理システムを実現するクラウドサービスの類型
上記態様において説明された技術は、例えば、以下のクラウドサービスの類型において実現されうる。ただし、クラウドサービスの類型はこれらに限られるものでない。なお、図38に示す構成要素と同じ構成要素には同じ参照符号を付している。
20.1.サービスの類型1:自社データセンタ型クラウドサービス
図39は、サービスの類型1(自社データセンタ型クラウドサービス)を利用した情報管理システムが提供するサービスの全体像を示す。本類型では、サービスプロバイダ1200がユーザグループ1000から情報を取得し、ユーザにサービスを提供する。本類型では、サービスプロバイダ1200が、データセンタ運営会社の機能を有している。すなわち、サービスプロバイダ1200が、ビッグデータを管理するクラウドサーバ1110を保有している。したがって、データセンタ運営会社は存在しない。
本類型では、サービスプロバイダ1200は、データセンタ(クラウドサーバ)2030を運営及び管理している。また、サービスプロバイダ1200は、オペレーティングシステム(OS)2020及びアプリケーション2010を管理する。サービスプロバイダ1200は、サービスプロバイダ1200が管理するOS2020及びアプリケーション2010を用いてサービスを提供する(矢印2040)。
20.2.サービスの類型2:IaaS利用型クラウドサービス
図40は、サービスの類型2(IaaS利用型クラウドサービス)における情報管理システムが提供するサービスの全体像を示す。ここで、IaaSとは、インフラストラクチャー・アズ・ア・サービス(Infrastructure as a Service)の略であり、コンピュータシステムを構築および稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社1100が、データセンタ(クラウドサーバ)2030を運営及び管理している。また、サービスプロバイダ1200は、OS2020及びアプリケーション2010を管理する。サービスプロバイダ1200は、サービスプロバイダ1200が管理するOS2020及びアプリケーション2010を用いてサービスを提供する(矢印2040)。
20.3.サービスの類型3:PaaS利用型クラウドサービス
図41は、サービスの類型3(PaaS利用型クラウドサービス)を利用した情報管理システムが提供するサービスの全体像を示す。ここで、PaaSとは、プラットフォーム・アズ・ア・サービス(Platform as a Service)の略であり、ソフトウェアを構築および稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社1100は、OS2020を管理し、データセンタ(クラウドサーバ)2030を運営及び管理している。また、サービスプロバイダ1200は、アプリケーション2010を管理する。サービスプロバイダ1200は、データセンタ運営会社1100が管理するOS2020及びサービスプロバイダ1200が管理するアプリケーション2010を用いてサービスを提供する(矢印2040)。
20.4.サービスの類型4:SaaS利用型クラウドサービス
図42は、サービスの類型4(SaaS利用型クラウドサービス)を利用した情報管理システムが提供するサービスの全体像を示す。ここで、SaaSとは、ソフトウェア・アズ・ア・サービス(Software as a Service)の略である。SaaS利用型クラウドサービスは、例えば、データセンタ(クラウドサーバ)を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ(クラウドサーバ)を保有していない会社又は個人などの利用者がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社1100は、アプリケーション2010を管理し、OS2020を管理し、データセンタ(クラウドサーバ)2030を運営及び管理している。また、サービスプロバイダ1200は、データセンタ運営会社1100が管理するOS2020及びアプリケーション2010を用いてサービスを提供する(矢印2040)。
以上、いずれのクラウドサービスの類型においても、サービスプロバイダ1200がサービスを提供する。また、例えば、サービスプロバイダ又はデータセンタ運営会社は、OS、アプリケーション又はビックデータのデータベース等を自ら開発してもよいし、第三者に外注させてもよい。
本開示は、電化製品のログ情報を用いたクラウドサービスを提供する情報管理システムとして実現される際に有用である。また、本開示は、当該情報管理システムにユーザと機器とを関連付けて登録する際に有用である。
1 情報管理システム
20 管理サーバ
22 ユーザ管理データベース(DB)
24 機器管理DBデータベース(DB)
30 情報通信ネットワーク
100 家電(スマート家電)
102 ホームゲートウェイ
104 表示端末
130 家電100のCPU
230 管理サーバ20のCPU
330 ゲートウェイ102のCPU

Claims (18)

  1. ホームゲートウェイを介して、一以上の対象機器から、前記一以上の対象機器のログ情報を収集して管理する情報管理システムにおける情報管理方法であって、
    一以上の対象機器の中の未登録の対象機器の機器識別子、前記ホームゲートウェイのゲートウェイ識別子及び前記未登録の対象機器のユーザの生体情報を受信し、
    前記ゲートウェイ識別子と関連付けられた登録機器の中で、前記生体情報のユーザと関連付けられた少なくとも一つの対象機器の管理情報がデータベースに登録されているか否かを判断し、
    前記生体情報のユーザと関連付けられた少なくとも一つの対象機器の管理情報が前記データベースに登録されていると判断された場合、登録されていた前記少なくとも一つの対象機器の管理情報を前記未登録の対象機器の管理情報として前記生体情報のユーザに関連づけて前記データベースに登録し、
    登録されていた前記少なくとも一つの対象機器の管理情報を前記未登録の対象機器の管理情報として前記生体情報のユーザに関連付けて登録したことを示した表示情報を、前記ユーザの情報端末に送信する、
    情報管理方法。
  2. 前記生体情報のユーザと関連付けられた少なくとも一つの対象機器の管理情報が前記データベースに登録されていないと判断された場合、前記未登録の対象機器の管理情報の入力を促すメッセージを、前記情報端末に送信する、
    請求項1に記載の情報管理方法。
  3. 前記生体情報のユーザと関連付けられた少なくとも一つの対象機器が前記データベースに登録されていないと判断された場合、前記ゲートウェイ識別子と関連付けられた登録機器の中で、前記未登録の対象機器と同一種別の少なくとも一つの対象機器の管理情報が前記データベースに登録されているか否かを判断し、
    前記未登録の対象機器と同一種別の少なくとも一つの対象機器の管理情報が前記データベースに登録されていると判断された場合、登録されていた、前記未登録の対象機器と同一種別の少なくとも一つの対象機器の管理情報を前記未登録の対象機器の管理情報として前記生体情報のユーザに関連づけて前記データベースに登録し、
    登録されていた前記同一種別の少なくとも一つの対象機器の管理情報を前記未登録の対象機器の管理情報として前記生体情報のユーザに関連付けて登録したことを示した表示情報を、前記ユーザの情報端末に送信する、
    請求項1に記載の情報管理方法。
  4. 前記未登録の対象機器と同一種別の少なくとも一つの対象機器が前記データベースに登録されていないと判断された場合、前記未登録の対象機器の管理情報の入力を促すメッセージを、前記情報端末に送信する、
    請求項3に記載の情報管理方法。
  5. 前記表示情報の送信後に、前記未登録の対象機器の管理情報として登録された登録情報の修正を指示する指示情報を受信し、
    前記指示情報に基づいて、前記未登録の対象機器の管理情報として前記データベースに登録された登録情報を修正する、
    請求項1または3のいずれか一に記載の情報管理方法。
  6. 前記情報端末から前記情報管理システムへのアクセスに応じて、前記表示情報を前記情報端末に送信する、請求項1から5のいずれか一に記載の情報管理方法。
  7. 前記生体情報は、前記ユーザの音声を表す情報である、請求項1から6のいずれか一に記載の情報管理方法。
  8. 前記生体情報は、前記ユーザの指紋を表す情報である、請求項1から6のいずれか一に記載の情報管理方法。
  9. 前記生体情報は、前記ユーザの網膜における毛細血管の形状パターンを表す情報である、請求項1から6のいずれか一に記載の情報管理方法。
  10. 前記生体情報は、前記ユーザの虹彩の特徴量を表す情報である、請求項1から6のいずれか一に記載の情報管理方法。
  11. 前記生体情報は、前記ユーザの静脈の形状パターンを表す情報である、請求項1から6のいずれか一に記載の情報管理方法。
  12. 前記生体情報は、前記ユーザの掌形、顔、耳形、筆記時の軌跡・速度・筆圧の少なくとも一つの変化、リップムーブメントに関するいずれかの情報を含む、請求項1から11のいずれかに記載の情報管理方法。
  13. 前記管理情報は、前記ユーザを表すユーザIDである、
    請求項1から請求項12のいずれか一に記載の情報管理方法。
  14. 前記管理情報は、前記一以上の対象機器の各々から収集するログ情報の種別である、請求項1から請求項12のいずれか一に記載の情報管理方法。
  15. 前記ログ情報の種別は、前記一以上の対象機器の各々に関するオン/オフの状態を示す情報である、請求項14に記載の情報管理方法。
  16. 前記管理情報は、前記一以上の対象機器の各々から収集されたログ情報を提供する事業者を示す情報である、請求項1から請求項11のいずれか一に記載の情報管理方法。
  17. ネットワークを介して、一以上の対象機器から、前記一以上の対象機器のログ情報を収集して管理する情報管理システムにおける情報管理方法であって、
    一以上の対象機器の中の未登録の対象機器の機器識別子、前記ネットワークにおける一以上のユーザの所属範囲を特定するネットワーク識別子及び前記未登録の対象機器のユーザの生体情報を受信し、
    前記ゲートウェイ識別子と関連付けられた登録機器の中で、前記生体情報のユーザと関連付けられた少なくとも一つの対象機器の管理情報がデータベースに登録されているか否かを判断し、
    前記生体情報のユーザと関連付けられた少なくとも一つの対象機器の管理情報が前記データベースに登録されていると判断された場合、登録されていた前記少なくとも一つの対象機器の管理情報を前記未登録の対象機器の管理情報として前記生体情報のユーザに関連づけて前記データベースに登録し、
    登録されていた前記少なくとも一つの対象機器の管理情報を前記未登録の対象機器の管理情報として前記生体情報のユーザに関連付けて登録したことを示した表示情報を、前記ユーザの情報端末に送信する、
    情報管理方法。
  18. 前記生体情報は、前記ユーザの音声を表す情報である、請求項1から6のいずれか一に記載の情報管理方法。
JP2015528121A 2013-07-26 2014-05-28 情報管理方法 Active JP6128500B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013155837 2013-07-26
JP2013155837 2013-07-26
PCT/JP2014/002828 WO2015011867A1 (ja) 2013-07-26 2014-05-28 情報管理方法

Publications (2)

Publication Number Publication Date
JPWO2015011867A1 true JPWO2015011867A1 (ja) 2017-03-02
JP6128500B2 JP6128500B2 (ja) 2017-05-17

Family

ID=52392935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015528121A Active JP6128500B2 (ja) 2013-07-26 2014-05-28 情報管理方法

Country Status (3)

Country Link
US (1) US10129352B2 (ja)
JP (1) JP6128500B2 (ja)
WO (1) WO2015011867A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015044992A1 (ja) 2013-09-27 2015-04-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報提供方法、情報管理システム及び情報端末機器
WO2015095170A1 (en) * 2013-12-19 2015-06-25 Electrolux Home Products, Inc. System, method, apparatus, and computer program product for configuring a network connected appliance to use online services
US20160014078A1 (en) * 2014-07-10 2016-01-14 Sven Schrecker Communications gateway security management
CN105045114B (zh) * 2015-05-29 2019-11-19 四川长虹电器股份有限公司 一种信息处理方法、云服务平台及信息处理系统
JP6519342B2 (ja) * 2015-06-23 2019-05-29 コニカミノルタ株式会社 通信システム、通信中継装置およびプログラム
US10523635B2 (en) * 2016-06-17 2019-12-31 Assured Information Security, Inc. Filtering outbound network traffic
JP6474377B2 (ja) * 2016-11-29 2019-02-27 フロンティアビジョン株式会社 登録システム及び、登録方法
JP6789784B2 (ja) * 2016-12-08 2020-11-25 シャープ株式会社 通信ネットワーク、サーバ装置、制御システム、制御方法、およびプログラム
CN106847292B (zh) * 2017-02-16 2018-06-19 平安科技(深圳)有限公司 声纹识别方法及装置
JP6445118B2 (ja) * 2017-12-05 2018-12-26 株式会社東芝 ウェアラブル端末、方法及びシステム
JP7407423B2 (ja) 2018-03-02 2024-01-04 パナソニックIpマネジメント株式会社 機器管理システム、及び、機器管理方法
KR101980039B1 (ko) * 2018-03-26 2019-05-17 엘지전자 주식회사 가전기기 자동 등록 시스템 및 방법
JP6651162B1 (ja) * 2018-06-21 2020-02-19 Tradfit株式会社 プログラムおよび情報処理方法
US10679481B2 (en) * 2018-11-14 2020-06-09 Chaoyang Semiconductor Jiangyin Technology, CO. LTD. Method and apparatus for processor-based mini-sensor assembly
CN110298953B (zh) * 2019-07-25 2021-07-16 青岛海尔科技有限公司 智能家居操作系统中设备控制的方法及装置
JP7369967B2 (ja) 2019-12-20 2023-10-27 パナソニックIpマネジメント株式会社 制御装置、クラウドコンピュータ、情報処理システム、及び、情報処理方法
CN111669304B (zh) * 2020-05-19 2022-03-15 广东好太太智能家居有限公司 基于边缘网关的智能家居场景控制方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128532A (ja) * 2002-09-30 2004-04-22 Fujitsu Ltd 機器選択方法及び機器選択装置
JP2005242877A (ja) * 2004-02-27 2005-09-08 Toshiba Corp ネットワーク家電システム
JP2005346523A (ja) * 2004-06-04 2005-12-15 Sony Corp 著作権保護方法、著作権保護システム
US20100321151A1 (en) * 2007-04-04 2010-12-23 Control4 Corporation Home automation security system and method
JP2012239111A (ja) * 2011-05-13 2012-12-06 Sony Corp 電力供給制御装置及びその制御方法、並びに電力供給制御システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9614964B2 (en) * 2005-08-19 2017-04-04 Nextstep, Inc. Consumer electronic registration, control and support concierge device and method
TWI367495B (en) * 2007-08-13 2012-07-01 Transcend Information Inc Write-protection module and method for storage device
WO2009025054A1 (ja) * 2007-08-23 2009-02-26 Fujitsu Limited 生体認証システムおよび生体認証プログラム
JP5358353B2 (ja) * 2009-08-27 2013-12-04 京セラ株式会社 通信機器
JP5528955B2 (ja) 2010-09-01 2014-06-25 株式会社日立製作所 入力支援装置、入力支援方法、およびプログラム
US8417851B2 (en) * 2011-06-27 2013-04-09 International Business Machines Corporation Polling of a target register within a peripheral device
JP5708445B2 (ja) * 2011-10-31 2015-04-30 富士通株式会社 登録方法、登録プログラムおよび登録装置
US9095285B2 (en) * 2013-04-11 2015-08-04 Yaroslav Ryabov Portable biometric identification device using a dorsal hand vein pattern

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128532A (ja) * 2002-09-30 2004-04-22 Fujitsu Ltd 機器選択方法及び機器選択装置
JP2005242877A (ja) * 2004-02-27 2005-09-08 Toshiba Corp ネットワーク家電システム
JP2005346523A (ja) * 2004-06-04 2005-12-15 Sony Corp 著作権保護方法、著作権保護システム
US20100321151A1 (en) * 2007-04-04 2010-12-23 Control4 Corporation Home automation security system and method
JP2012239111A (ja) * 2011-05-13 2012-12-06 Sony Corp 電力供給制御装置及びその制御方法、並びに電力供給制御システム

Also Published As

Publication number Publication date
US10129352B2 (en) 2018-11-13
JP6128500B2 (ja) 2017-05-17
US20150180993A1 (en) 2015-06-25
WO2015011867A1 (ja) 2015-01-29

Similar Documents

Publication Publication Date Title
JP6128500B2 (ja) 情報管理方法
JP6690031B2 (ja) システムの制御方法、システム、及びプログラム
KR102213637B1 (ko) 디바이스들 간의 상태 상호작용의 캡슐화 및 동기화
CN106773742B (zh) 语音控制方法及语音控制系统
JP2019062281A (ja) 音声情報による入力を受け付ける情報処理端末、方法、その情報処理端末を含むシステム
JPWO2014199596A1 (ja) 話者識別方法、話者識別装置及び話者識別システム
US10957305B2 (en) Method and device for information processing
JP7130929B2 (ja) 情報処理装置、プログラム及び制御方法
US11096112B2 (en) Electronic device for setting up network of external device and method for operating same
CN104636453A (zh) 非法用户资料识别方法及装置
CN110209385A (zh) 项目创建方法及装置
CN109388699A (zh) 输入方法、装置、设备及存储介质
CN105187154B (zh) 响应包接收延时的方法及装置
US8935408B2 (en) Personal area network of devices and applications
CN111338971B (zh) 应用测试方法、装置、电子设备及存储介质
US20180182393A1 (en) Security enhanced speech recognition method and device
CN112242909B (zh) 一种管理模板的生成方法、装置、电子设备及存储介质
CN106357520A (zh) 即时通讯方法及装置
CN109427332B (zh) 使用语音命令执行操作的电子设备及其操作方法
US10524128B2 (en) Terminal device, connection method, connection program, and authentication assist system
JP7182842B1 (ja) プログラム、情報処理装置、情報処理システム及び情報処理方法
JP6829606B2 (ja) カラオケシステム、サーバ装置
US20220174433A1 (en) Method for supporting a hearing aid user, hearing aid and computer program product
CN112272162A (zh) 登录方法、装置及系统
JP2022015268A (ja) 通信端末装置、制御装置、通信制御方法、および制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170403

R150 Certificate of patent or registration of utility model

Ref document number: 6128500

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150