JP6681940B2 - ユーザの位置及び空間に適した情報を能動的に提供する方法及び装置 - Google Patents

ユーザの位置及び空間に適した情報を能動的に提供する方法及び装置 Download PDF

Info

Publication number
JP6681940B2
JP6681940B2 JP2018104651A JP2018104651A JP6681940B2 JP 6681940 B2 JP6681940 B2 JP 6681940B2 JP 2018104651 A JP2018104651 A JP 2018104651A JP 2018104651 A JP2018104651 A JP 2018104651A JP 6681940 B2 JP6681940 B2 JP 6681940B2
Authority
JP
Japan
Prior art keywords
user
information
space
electronic device
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018104651A
Other languages
English (en)
Other versions
JP2018206385A (ja
Inventor
ミョンス シン
ミョンス シン
セジン チャ
セジン チャ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Corp
Original Assignee
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Corp filed Critical Naver Corp
Publication of JP2018206385A publication Critical patent/JP2018206385A/ja
Application granted granted Critical
Publication of JP6681940B2 publication Critical patent/JP6681940B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Otolaryngology (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

以下の説明は、ユーザの位置及び空間に適した情報を能動的に提供する方法及び装置、並びにコンピュータと結合して本発明の実施形態に係る情報提供方法をコンピュータに実行させるコンピュータプログラムとそのコンピュータプログラムを格納する記録媒体に関する。
ホームネットワークサービスの人工知能スピーカのように音声を基盤として動作するインタフェースは、マイク(microphone)でユーザの音声要請を受信し、音声要請に対応する応答情報を提供するために返答音声を合成してスピーカから提供し、あるいは応答情報として音楽コンテンツのようなオーディオコンテンツを提供することができる。例えば特許文献1は、ホームメディアデバイス及びこれを利用したホームネットワークシステムと方法に関する技術であって、移動通信網の他にWi-Fiのような第2通信網を利用してホームネットワークサービスを提供することが可能であり、ホーム内の複数のマルチメディア機器を、ユーザがボタン操作しなくても、音声命令に基づいてマルチコントロールすることができる技術について開示している。
このようなホームネットワークサービスでは、ユーザの音声要請の応答として最適な情報を提供するために、室内の構造と人工知能スピーカのような機器が位置する空間に関する情報、ユーザが位置する空間に関する情報などを把握する必要がある。しかし、従来技術では、カメラで撮影したイメージを分析して室内の構造を把握したり、機器の位置する空間に関する情報及び位置をユーザが直接手動で入力したりしなければならなかった。さらに、カメラで撮影したイメージを活用して空間を自動で把握したとしても、カメラからは機器が配置された周辺空間のイメージしか得ることができず、このような空間の種類(一例として、リビング、キッチン、寝室、玄関など)のような情報はユーザが指定しなければならないという煩わしさがあった。これだけでなく、機器が位置変更した場合には、設定された空間や位置に関する情報をユーザが手動で再設定しなければならないという問題も抱えていた。
韓国公開特許第10−2011−0139797号公報
室内の区画された空間の中からユーザが位置する空間を決定することができ、ユーザの位置する空間に適した情報を提供することができる情報提供方法及び装置、並びにコンピュータと結合して本発明の実施形態に係る情報提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムとその記録媒体を提供する。
ユーザからの設定入力がなくても、室内の区画された空間を測位し、空間それぞれの種類を決定することができ、空間の種類とユーザの状況、及び/又は行動パターンに基づいて空間別にユーザコンテキストと関連性の高い情報/コンテンツを提供することにより、情報提供の有用性を向上させることができる情報提供方法及び装置、並びにコンピュータと結合して本発明の実施形態に係る情報提供方法をコンピュータに実行させるコンピュータプログラムとそのコンピュータプログラムを格納する記録媒体を提供する。
本発明の一態様では、音声基盤の入力/出力インタフェース、及びコンピュータで読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサを含み、少なくとも1つのプロセッサは、複数の空間の中からユーザが位置する空間を決定し、決定された空間に基づいて音声基盤の入力/出力インタフェースで受信されるユーザの音声要請を解釈するか、又は決定された空間に基づいて少なくとも1つのプロセッサで能動的に決定される情報を、音声基盤の入力/出力インタフェースを通じてユーザに提供することを特徴とする、情報提供装置を提供する。
本発明の別の態様では、情報提供装置の情報提供方法であって、複数の空間の中からユーザが位置する空間を決定する段階、及び情報提供装置に含まれる音声基盤の入力/出力インタフェースで受信されるユーザの音声要請を解釈するか、又は決定された空間に基づいて能動的に決定される情報を、音声基盤の入力/出力インタフェースを通じてユーザに提供する段階を含むことを特徴とする、情報提供方法を提供する。
本発明の別の態様では、情報提供方法をコンピュータに実行させるためのコンピュータプログラムが記録されていることを特徴とする、コンピュータで読み取り可能な記録媒体を提供する。
本発明の別の態様では、コンピュータと結合して情報提供方法をコンピュータに実行させる、コンピュータプログラムを提供する。
本発明によれば、室内の区画された空間の中からユーザが位置する空間を決定することができ、ユーザが位置する空間に適した情報を提供することができる。
本発明によれば、ユーザから設定入力がなくても、室内の区画された空間を測位し、空間それぞれの種類を決定することができ、空間の種類とユーザの状況、及び/又は行動パターンに基づいて空間別にユーザコンテキストと関連性の高い情報/コンテンツを提供することにより、情報提供の有用性を向上させることができる。
本発明の一実施形態における、音声基盤のインタフェースを活用したサービス環境の例を示した図である。 本発明の一実施形態における、音声基盤のインタフェースを活用したサービス環境の他の例を示した図である。 本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。 本発明の一実施形態における、電子機器及びサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、室内の区画された空間と位置に関する情報の例を示した図である。 本発明の一実施形態における、単一機器で物理的空間を把握する例を示した図である。 本発明の一実施形態における、複数のサブ機器を活用して物理的空間を把握する例を示した図である。 本発明の一実施形態における、複数の出力メディアから情報を提供する例を示した図である。 本発明の一実施形態における、出力メディアに関する情報の例を示した図である。 本発明の一実施形態における、電子機器の情報提供方法の例を示したフローチャートである。 本発明の一実施形態における、ユーザが位置する空間を決定する方法の例を示したフローチャートである。 本発明の一実施形態における、ユーザが位置する空間を決定する方法の他の例を示したフローチャートである。 本発明の一実施形態における、ユーザの状況及び/又は行動を予測し、予測した状況及び/又は行動に基づいて情報を提供する方法の例を示したフローチャートである。
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
本発明の実施形態に係る情報提供装置は、音声を基盤として動作するインタフェースを提供する電子機器によって実現されてよい。このような電子機器は、音声要請を直接に処理して応答情報を生成するか、別途のインタフェースコネクトを介して連結する外部プラットフォームによって音声要請を認識及び分析して処理してよい。例えば外部プラットフォームは、電子機器からユーザの音声要請を受信し、受信した音声要請を分析してユーザの意図に適したクエリ又は該当のクエリに対応する応答情報を生成するクラウド人工知能プラットフォームを含んでよい。このとき、電子機器は、室内に区画された複数の空間の中からユーザが位置する空間を決定してよく、このようなユーザの位置する空間に応じてユーザに能動的に情報を提供してよい。例えば電子機器は、ユーザの音声要請とは関係なくユーザが位置する空間に適した情報を提供し、ユーザの音声要請に対する返答を提供する過程において、ユーザが位置する空間に適した情報を追加でさらに提供してよい。他の例として、電子機器は、ユーザの位置する空間に応じて、ユーザの同じ音声要請を異なるように解釈してもよく、ユーザの音声要請に対する認識エラーを訂正してもよい。
本発明の実施形態に係る情報提供方法は、上述した電子機器によって実行されてよい。このとき、電子機器には、本発明の一実施形態に係るコンピュータプログラムがインストール及び駆動されてよく、電子機器は、駆動するコンピュータプログラムの制御に従って本発明の一実施形態に係る情報提供方法を実行してよい。上述したコンピュータプログラムは、コンピュータで実現される電子機器と結合して情報提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されてよい。
図1は、本発明の一実施形態における、音声基盤のインタフェースを活用したサービス環境の例を示した図である。図1の実施形態では、スマートホーム(smart home)やホームネットワークサービスのように宅内の機器を連結して制御する技術において、音声基盤のインタフェース(一例として、マイクとスピーカ)を含む電子機器100が、ユーザ110の発話「電気を消して」121をマイクで受信することによって音声要請を認識及び分析し、「リビングの電気を消しましょうか?」122のような応答情報をスピーカから出力する例を示している。さらに、図1の実施形態では、応答情報に対応するユーザ110の発話「うん」123に従って受信される音声要請を認識及び分析し、電子機器100と内部ネットワークを介して連動する宅内照明機器130のライト電源を制御する例を示している。
ここで、宅内の機器は、上述した宅内照明機器130の他にも、IPTV、PC(Personal Computer)、周辺機器、エアコン、冷蔵庫、ロボット清掃機などのような家電製品はもちろん、水道、電気、冷暖房機器などのようなエネルギー消費装置、ドアロックや監視カメラなどのような保安機器など、オンライン上で連結して制御可能な多様な機器を含んでよい。また、内部ネットワークは、イーサネット(Ethernet)(登録商標)、HomePNA、IEEE 1394のような有線ネットワーク技術、ブルートゥース(Bluetooth)(登録商標)、UWB(ultra Wide Band)、ジグビー(ZigBee)(登録商標)、Wireless 1394、Home RFのような無線ネットワーク技術などが活用されてよい。
電子機器100は、宅内の機器のうちの1つであってよい。例えば電子機器100は、宅内に備えられた人工知能スピーカやロボット清掃機などのような機器のうちの1つであってよい。また、電子機器100は、スマートフォン(smart phone)、携帯電話、ノート型パンコン、デジタル放送用端末、PDA(Personal Digital Assistants)、PMP(Portable Multimedia Player)、タブレットなどのようなユーザ110のモバイル機器であってもよい。このように、電子機器100は、ユーザ110の音声要請を受信して宅内の機器を制御するために宅内の機器と連結可能な機能を含む機器であれば、特に制限されることはない。また、実施形態によっては、上述したユーザ110のモバイル機器が宅内の機器として含まれてもよい。
応答情報は、図1の実施形態のように、基本的に音声基盤インタフェースに対応するメインメディア(一例として、電子機器100が含むスピーカ)から出力されてよいが、上述したように、本発明の実施形態において、応答情報は、さらに多様なメディアから出力されてもよく、電子機器100は、音声要請及び/又は応答情報に応じて応答情報が出力されるメディアを決定してよい。例えば図1は、IPTV140とユーザ110のモバイル機器150をさらに示している。この場合、応答情報は、IPTV140やモバイル機器150のディスプレイから視覚的にユーザ110に出力されてよい。このとき、電子機器100は、応答情報を出力するためのメディアの決定はもちろん、聴覚的出力と視覚的出力の効率性に基づいて応答情報を出力するためのメディアを決定してよい。
図2は、本発明の一実施形態における、音声基盤のインタフェースを活用したサービス環境の他の例を示した図である。図2は、音声基盤インタフェースを含む電子機器100がユーザ110の発話「今日の天気」210を認識及び分析し、外部ネットワークを介して外部サーバ220から今日の天気に関する情報を取得し、取得した情報を「今日の天気は・・・」230のように音声で合成して出力する例を示している。例えば外部ネットワークは、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなど、ネットワークのうちの1つ以上の任意のネットワークを含んでよい。
図2の実施形態でも、電子機器100は、宅内の機器のうちの1つであるか、ユーザ110のモバイル機器のうちの1つであってよく、ユーザ110の音声要請を受信して処理するための機能と、外部ネットワークを介して外部サーバ220と通信して外部サーバ220が提供するサービスやコンテンツをユーザ110に提供するための機能を含む機器であれば、特に制限されることはない。このように、本発明の実施形態に係る電子機器100は、ユーザ110の発話に従って受信される音声要請を音声基盤のインタフェースによって処理することのできる機器であれば、特に制限されることはない。例えば電子機器100は、ユーザの音声要請を直接に認識及び分析して音声要請を処理してもよいが、実施形態によっては、電子機器100と連係する外部のプラットフォーム(一例として、上述したクラウド人工知能プラットフォーム)によって音声要請を処理してもよい。
このとき、電子機器100は、ユーザの音声要請に対応する応答情報を出力するためのメディアを音声要請及び/又は応答情報に基づいて自動で決定してよい。図2では、電子機器100が応答情報を「今日の天気は・・・」230のように聴覚的に出力すると同時に、IPTV140のディスプレイから視覚的にも出力する例を示している。このために、電子機器100は、応答情報の出力が可能な複数のメディアに関する情報を管理してよく、音声要請及び/又は応答情報に基づいて複数のメディアの中から応答情報を出力するための少なくとも1つのメディアを選択し、応答情報を伝達してよい。
図3は、本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。図3は、電子機器310とクラウド人工知能プラットフォーム320、及びコンテンツ・サービス330を示している。
一例として、電子機器310は、宅内に備えられる機器を意味してよく、少なくとも上述した電子機器100を含んでよい。このような電子機器310や電子機器310にインストール及び駆動されるアプリケーション(以下、アプリとする)は、インタフェースコネクト340を介してクラウド人工知能プラットフォーム320と連係してよい。ここで、インタフェースコネクト340は、電子機器310や電子機器310にインストール及び駆動されるアプリの開発のためのソフトウェア開発キット(SDK:Software Development Kit)及び/又は開発文書を開発者に提供してよい。また、インタフェースコネクト340は、電子機器310や電子機器310にインストール及び駆動されるアプリが、クラウド人工知能プラットフォーム320によって提供される機能を活用することを可能にするAPI(Application Program Interface)を提供してよい。具体的な例として、開発者がインタフェースコネクト340によって提供されるSDK及び/又は開発文書を利用して開発した機器やアプリは、インタフェースコネクト340によって提供されるAPIを利用してクラウド人工知能プラットフォーム320によって提供される機能を活用することを可能にする。
ここで、クラウド人工知能プラットフォーム320は、音声基盤のサービスを提供するための機能を提供してよい。例えばクラウド人工知能プラットフォーム320は、受信された音声を認識し、出力される音声を合成するための音声処理モジュール321、受信された映像や動画を分析して処理するためのビジョン処理モジュール322、受信された音声に従って適した音声を出力するために適切な対話を決定するための対話処理モジュール323、受信された音声に適した機能を推薦するための推薦モジュール324、人工知能がデータ学習によって文章単位で言語を翻訳するように支援するニューラル機械翻訳(Neural Machine Translation:NMT)325などのように、音声基盤サービスを提供するための多様なモジュールを含んでよい。
例えば図1及び図2の実施形態において、電子機器100が、ユーザ110の音声要請を、インタフェースコネクト340で提供するAPIを利用してクラウド人工知能プラットフォーム320に送信したとする。この場合、クラウド人工知能プラットフォーム320は、受信された音声要請を上述したモジュール321〜325を活用して認識及び分析してよく、受信された音声要請に従って適切な返答音声を合成して提供するか、適切な動作を推薦してよい。
また、拡張キット350は、第三者コンテンツ開発者又は会社が、クラウド人工知能プラットフォーム320に基づいて新たな音声基盤機能を実現することができる開発キットを提供してよい。例えば図2の実施形態において、電子機器100は、受信したユーザ110の音声要請を外部サーバ220に送信してよく、外部サーバ220は、拡張キット350によって提供されるAPIを利用してクラウド人工知能プラットフォーム320に音声要請を送信してよい。この場合、上述と同じように、クラウド人工知能プラットフォーム320は、受信される音声要請を認識及び分析して適切な返答音声を合成して提供するか、音声要請によって処理されるべき機能に関する推薦情報を外部サーバ220に提供してよい。一例として、図2において、外部サーバ220が、音声要請「今日の天気」をクラウド人工知能プラットフォーム320に送信すると、クラウド人工知能プラットフォーム320から、音声要請「今日の天気」の認識によって抽出されるキーワード「今日の」及び「天気」を受信したとする。この場合、外部サーバ220は、キーワード「今日の」及び「天気」に基づいて「今日の天気は・・・」のようなテキスト情報を生成し、生成されたテキスト情報をクラウド人工知能プラットフォーム320に再び送信してよい。このとき、クラウド人工知能プラットフォーム320は、テキスト情報を音声で合成して外部サーバ220に提供してよい。外部サーバ220は、合成された音声を電子機器100に送信してよく、電子機器100が合成された音声「今日の天気は・・・」をスピーカから出力することにより、ユーザ110から受信した音声要請「今日の天気」が処理されてよい。
図4は、本発明の一実施形態における、電子機器及びサーバの内部構成を説明するためのブロック図である。図4の電子機器410は、上述した電子機器100に対応してよく、本発明の実施形態に係る情報提供装置に対応してよい。また、サーバ420は、上述した外部サーバ220やクラウド人工知能プラットフォーム320を実現する1つのコンピュータ装置に対応してよい。
電子機器410及びサーバ420は、それぞれ、メモリ411、421、プロセッサ412、422、通信インタフェース413、423、及び入力/出力インタフェース414、424を含んでよい。メモリ411、421は、コンピュータで読み取り可能な記録媒体であって、RAM(random access memory)、ROM(read only memory)、及びディスクドライブのような永久大容量記憶装置(permanent mass storage device)を含んでよい。ここで、ROMとディスクドライブのような永久大容量記憶装置は、メモリ411、421とは区別される別の永久記憶装置として電子機器410やサーバ420に含まれてもよい。また、メモリ411、421には、オペレーティングシステムと、少なくとも1つのプログラムコード(一例として、電子機器410にインストールされ、特定のサービスを提供するために電子機器410で駆動するアプリケーションなどのためのコード)が格納されてよい。このようなソフトウェア構成要素は、メモリ411、421とは別のコンピュータで読み取り可能な記録媒体からロードされてよい。このような別のコンピュータで読み取り可能な記録媒体は、フロッピー(登録商標)ドライブ、ディスク、テープ、DVD/CD−ROMドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではない通信インタフェース413、423を通じてメモリ411、421にロードされてもよい。例えば少なくとも1つのプログラムは、開発者又はアプリケーションのインストールファイルを配布するファイル配布システムがネットワーク430を介して提供するファイルによってインストールされるコンピュータプログラム(一例として、上述したアプリケーション)に基づいて電子機器410のメモリ411にロードされてよい。
プロセッサ412、422は、基本的な算術、ロジック及び入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ411、421又は通信インタフェース413、423によって、プロセッサ412、422に提供されてよい。例えばプロセッサ412、422は、メモリ411、421のような記録装置に格納されたプログラムコードに従って受信される命令を実行するように構成されてよい。
通信インタフェース413、423は、ネットワーク430を介して電子機器410とサーバ420とが互いに通信するための機能を提供してもよいし、電子機器410及び/又はサーバ420が他の電子機器又は他のサーバと通信するための機能を提供してもよい。一例として、電子機器410のプロセッサ412がメモリ411のような記録装置に格納されたプログラムコードに従って生成した要求が、通信インタフェース413の制御に従ってネットワーク430を介してサーバ420に伝達されてよい。これとは逆に、サーバ420のプロセッサ422の制御に従って提供される制御信号や命令、コンテンツ、ファイルなどが、通信インタフェース423とネットワーク430を経て電子機器410の通信インタフェース413を通じて電子機器410に受信されてもよい。例えば通信インタフェース413を通じて受信したサーバ420の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ412やメモリ411に伝達されてよく、コンテンツやファイルなどは、電子機器410がさらに含むことのできる格納媒体(上述した永久記憶装置)に格納されてよい。
入力/出力インタフェース414は、入力/出力装置415とのインタフェースのための手段であってよい。例えば入力装置は、マイク、キーボード、又はマウスなどの装置を含んでよく、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力/出力インタフェース414は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。入力/出力装置415は、電子機器410と1つの装置で構成されてもよい。また、サーバ420の入力/出力インタフェース424は、サーバ420と連結するか、サーバ420が含むことのできる入力又は出力のための装置(図示せず)とのインタフェースのための手段であってもよい。
また、他の実施形態において、電子機器410及びサーバ420は、図4の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば電子機器410は、上述した入力/出力装置415のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、GPS(Global Positioning System)モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器410がスマートフォンである場合、一般的にスマートフォンに含まれる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力/出力ポート、振動のための振動器などのような多様な構成要素が電子機器410にさらに含まれるように実現されてよい。
本実施形態において、電子機器410は、ユーザの音声要請を受信するためのマイク(一例として、図4のマルチチャンネルマイク417)及び/又は応答情報を聴覚的に出力するためのスピーカ(一例として、図4のスピーカ416)を入力/出力装置415として含んでよい。
このとき、本発明の実施形態は、室内の区画された空間をさらに考慮してよい。
図5は、本発明の一実施形態における、室内の区画された空間と位置に関する情報の例を示した図である。図5の平面図500は、室内の区画された空間の種類(リビング、キッチン、玄関、トイレ、寝室など)、室内での電子機器410の位置及びユーザの位置510、520、530の例を示している。例えばユーザの第1位置510による空間は「リビング」であり、第2位置520による空間は「キッチン」であり、第3位置530による空間は「玄関」であってよい。
電子機器410は、室内の区画された空間の中からユーザが位置する空間を決定してよく、決定された空間に基づいて、電子機器410に含まれる音声基盤の入力/出力インタフェース(一例として、図4の入力/出力インタフェース414)で受信されるユーザの音声要請の解釈を動的に調整するか、あるいは決定された空間に基づいて、電子機器410によって能動的に決定された情報を、音声基盤の入力/出力インタフェースを通じてユーザに提供してよい。例えばユーザが第1位置510である「リビング」に位置する場合と第2位置520である「キッチン」に位置する場合に対し、電子機器410は、それぞれ異なる情報をユーザに提供してよい。他の例として、ユーザが第1位置510である「リビング」に位置する場合と第2位置520である「キッチン」に位置する場合に対し、電子機器410は、ユーザの発話が同じであっても、それぞれ異なるように解釈してもよい。
より具体的な例として、第1位置510である「リビング」に位置するユーザの発話「たまねぎ」に対し、電子機器410は、「歌手たまねぎの歌」又は「たまねぎに関するTV番組」を出力してよく、第2位置520である「キッチン」に位置するユーザの発話「たまねぎ」に対し、電子機器410は、「たまねぎ購入」又は「たまねぎを使ったレシピ」に関する情報をユーザに提供してよい。
このように、空間に応じて適した情報を提供するために、電子機器410は、室内に区画された複数の物理的空間を把握してよく、このような物理的空間の把握及び/又はユーザの位置(電子機器410からの相対的な方向と距離)の把握は、ユーザが機器を使用中でないときでも周期的に実行されてよい。
図6は、本発明の一実施形態における、単一機器で物理的空間を把握する例を示した図である。電子機器410は、音声基盤の入力/出力インタフェースに含まれるスピーカから音信号を出力してよい。このような音信号は、ユーザが認識することのできる音帯域であっても、ユーザが認識することのできない音帯域であってもよい。また、電子機器410は、出力された音信号が室内で反射することによって受信される反射信号の入力を、マルチチャンネルマイクでチャンネル別に受信してよい。1つのスピーカから出力された音信号は電子機器410の周囲に広がり、室内の区画された境界の壁面などで反射した後、電子機器410に再び伝達されるようになる。このような反射信号は、電子機器410のマルチチャンネルマイクのチャンネル別にそれぞれ入力されてよい。このとき、マルチチャンネルマイクに入力される反射信号の電子機器410を基準とする相対的な方向は、マルチチャンネルマイクのチャンネル別に入力される特定の反射信号の位相変位(phase shift)に基づいて決定されてよい。複数のマイクに入力される同一の音信号の位相変位を利用して音信号の発生位置を測定する技術は、ビームフォーミング(beam forming)技術のように周知の技術であるため、当業者であれば容易に理解することができるであろう。本実施形態において、電子機器410は、特定の反射信号がマルチチャンネルマイクのチャンネル別に入力され、このようなチャンネル別に入力された特定の反射信号の位相変位に基づいて該当の反射信号の方向を決定してよい。また、電子機器410は、音信号の出力時刻と該当の反射信号のチャンネル別の入力時刻に基づき、電子機器410と区画された空間の境界に関する情報(一例として、距離)を計算してよい。言い換えれば、電子機器410は、特定の反射信号に対する方向と距離を求めることが可能であるが、これは、電子機器410を基準として区画された空間の境界を測定することが可能であることを意味してよい。例えば電子機器410は、一定の距離内で空間的に閉鎖された場所の方向と開放された場所の方向を区分することが可能である。
再び図5を参照すると、電子機器410は、第1位置510である「リビング」に位置するユーザの発話の方向が空間的に閉鎖された場所への方向であるため、ユーザが電子機器410と同じ空間に存在することを認識するようになる。この場合、ユーザの発話の方向も、上述したビームフォーミング技術によって決定されてよい。
一方、電子機器410は、第2位置520である「キッチン」又は第3位置530である「玄関」に位置するユーザの発話の方向が空間的に開放されている方向であるため、ユーザが電子機器410とは異なる空間に存在することを認識してよい。
図7は、本発明の一実施形態における、複数のサブ機器を活用して物理的空間を把握する例を示した図である。図7の平面図700は、図5の平面図500と類似する、室内の区画された空間の種類(居間、キッチン、玄関、トイレ、寝室など)、室内での電子機器410の位置及びユーザの位置510、520、530の例を示しており、複数のサブ機器710、720、730が追加された例を示している。複数のサブ機器710、720、730は、一例として、電子機器410と通信可能な複数のサブスピーカであってよく、ユーザの接近を感知するセンサ(一例として、近接センサ、IRセンサなど)を含んでよい。この場合、電子機器410は、複数のサブ機器710、720、730それぞれが位置する空間に関する情報を管理してよく、このような空間に関する情報と複数のサブ機器710、720、730のセンサ情報に基づいてユーザが位置する空間を決定してよい。例えば電子機器410は、複数のサブスピーカそれぞれから出力されてマルチチャンネルマイクに入力されるチャンネル別の音信号に基づいて複数のサブスピーカそれぞれとの距離及び方向を決定してよく、決定された距離及び方向に基づき、複数のサブ機器それぞれが位置する空間に関する情報を生成してよい。
より具体的な例として、第1サブ機器710から出力される音信号が電子機器410のマルチチャンネルマイクに入力されることにより、電子機器410は、第1サブ機器710が位置する方向と相対的な距離を決定してよい。このとき、電子機器410において、第1サブ機器710の方向は閉鎖されている場所への方向であり、第1サブ機器710が位置する方向との相対的な距離は空間の境界までの相対的な距離よりも遠いため、電子機器410は、一例として、第1サブ機器710が「時計の1時方向」の「電子機器410が位置する空間とは異なる空間」に位置していることを把握してよい。第1サブ機器710がセンサによってユーザの接近を知らせてきた場合、電子機器410は、ユーザが「時計の1時方向」の「電子機器410が位置する空間とは異なる空間」に位置していると決定してよい。
以下では、電子機器410が把握した「電子機器410が位置する空間とは異なる空間」の種類を決定するための実施形態について説明する。例えば上述した図7の実施形態において、電子機器410は、第1サブ機器710の位置する空間にユーザが位置することは把握したが、このような空間の種類も把握する必要がある。このために、電子機器410は、ユーザが位置する空間別に、ユーザの発話内容と発話内容に関連するユーザの活動うちの少なくとも一方についてのユーザ情報を時間帯別にパターン化してよい。例えば電子機器410は、ユーザ情報を空間別さらには時間帯別にデータベースに格納及び累積してよく、累積情報を空間別にさらには時間帯別に分析してよい。ユーザが「時計の1時方向」の「異なる空間」で「レシピ」、「カロリー」、「料理の材料」などに関する内容の発話を頻繁に要請する場合、電子機器410は、「時計の1時方向」の「異なる空間」を「キッチン」と認識してよい。他の例として、「時計の4時方向」の「異なる空間」でユーザが室内の外部に出ていくか外部から入ってくる活動が感知される場合、電子機器410は、「時計の4時方向」の「異なる空間」を「玄関」と認識してよい。このようなユーザの活動は、ユーザの外出を意味するユーザの発話、ユーザの位置に対する感知の有無及び/又はユーザのスケジュールのような外部情報に基づいて決定されてよい。例えば電子機器410は、ユーザのスケジュールにおいて「午後7時」に約束があり、「午後6時半」に「時計の4時方向」の「異なる空間」でユーザの発話「全体消灯」が認識された後、ユーザの位置がそれ以上感知されなければ、ユーザが「時計の4時方向」の「異なる空間」から室内の外部に出ていったことを把握してよい。このようなユーザの行動により、電子機器410は、「時計の4時方向」の「異なる空間」が「玄関」であることを把握することが可能となる。他にも、電子機器410が、各空間が有する特殊性に基づいて該当する空間の種類を把握することが可能であることは、当業者であれば、上述した例を参照することによって理解できるであろう。
また、電子機器410は、現在の時間帯及び現在ユーザが位置する空間でのユーザの予測状況又は予測行動を決定してよい。電子機器410は、このような予測に基づき、ユーザに適したコンテンツを能動的に提供してよい。このような予測状況又は予測行動は、現在ユーザが位置する空間の種類と、空間別及び時間帯別にパターン化されたユーザ情報を基盤としてよい。例えば図5及び/又は図7の実施形態において、第2位置520である「キッチン」に位置するユーザのパターン化されたユーザ情報に基づき、電子機器410は、該当のユーザは、主に、午後4時頃に夕食の準備のためのレシピを要請することを把握してよい。午後4時頃に現在のユーザの位置が「キッチン」と判断された場合、電子機器410は、ユーザの音声要請とは関係なく、夕食の準備ためのレシピの種類を自動でユーザに勧めてよい。他の例として、電子機器410は、「玄関」に位置するユーザが外出しようとしていると判断された場合(例えばユーザが登録した情報(一例として、ユーザのスケジュール情報)を活用するか、ユーザの移動方向などを利用して判断可能)、自動車の鍵や傘などを持っていくように助言してよい。さらに、ユーザが玄関から外出しようとしている状況で室内に電気が点いている場合、「電気を消しましょうか?」のように能動的に質問した後、ユーザの応答に応じて機器制御などの追加機能を実行させてもよい。
このために、電子機器410は、スケジュール情報や天気情報のような外部情報をさらに活用してもよい。スケジュール情報は、ユーザと関連する別途の外部サービスから取得してもよいし、電子機器410がユーザから直接にスケジュール登録を受信して管理してもよい。他の例として、電子機器410は、「バルコニー」に位置するユーザに「植木に水をあげる時間」になったことを知らせたり、「キッチン」に位置するユーザに「卵」の残りの個数と共に「卵購入」と関連する情報を知らせたりすることも可能である。
また他の例として、電子機器410は、決定されたユーザの予測状況又は予測行動に基づき、ユーザの発話内容を特定の単語に解釈する確率を動的に調整してもよい。例えば「犬と(韓国語の発音でケラン)」と「計量(韓国語の発音でケリャン)」のように類似する発音の発話に対し、「キッチン」では「犬と」という単語よりも「計量」という単語を発話する確率が相対的に高いことが予想される。これにより、「ケラン」と類似する発音の発話が受信された場合、「キッチン」に位置するユーザの場合には「計量」と認識するようにする反面、「リビング」に位置するユーザの場合には「犬と」と認識するように、ユーザの音声要請に対する解釈を調整することが可能である。このように、本実施形態に係る電子機器410は、ユーザからの設定入力がなくても、室内の区画された空間を測位し、空間それぞれの種類を決定してよく、空間の種類とユーザの状況及び/又は行動パターンに基づいて空間別にユーザコンテキストと関連性の高い情報/コンテンツを提供することにより、情報提供の有用性を向上させることができる。また、ユーザから明確な要請がなくても、ユーザが位置する空間とユーザの状況及び/又は行動パターンに基づいて電子機器410が能動的に特定の情報を決定し、ユーザに提供してもよい。
また、電子機器410は、ユーザの位置に基づいて情報の出力メディアを決定してもよい。例えば電子機器410は、室内に位置する複数の出力メディアと通信する通信インタフェースを含んでよく、このような複数の出力メディアの位置とユーザの位置に基づき、複数の出力メディアの中から少なくとも1つの出力メディアを決定してよい。この場合、電子機器410は、ユーザに提供するための情報が決定された少なくとも1つの出力メディアから出力されるように、ユーザに提供するための情報を、通信インタフェースを通じて決定された少なくとも1つの出力メディアに送信してよい。
図8は、本発明の一実施形態における、複数の出力メディアから情報を提供する例を示した図である。電子機器410は、複数の出力メディアと通信してよい。複数の出力メディアは、上述した宅内の機器(ユーザのモバイル機器を含む)のうち、視覚的及び/又は聴覚的に情報の出力が可能な機器であってよい。また、複数の出力メディアは、視覚的及び/又は聴覚的に情報の出力が可能な機器にインストールされたアプリケーションであってもよい。例えば電子機器410は、第2位置520である「キッチン」に位置するユーザに、「キッチン」に位置する第1サブ機器710を通じて情報を提供してよい。このような情報は、ユーザの音声要請に対する返答であっても、電子機器410が能動的にユーザに提供しようとする情報であってもよい。他の例として、電子機器410は、第1位置510である「リビング」に位置するユーザに、IPTV810を通じて情報を提供してもよい。このように、電子機器410は、ユーザが位置する空間に位置する出力メディアを選択してよく、選択された出力メディアからユーザに提供するための情報を出力してよい。
他の実施形態として、電子機器410は、ユーザのモバイル機器に情報を提供してもよい。例えば現在、ユーザがモバイル機器を操作中である場合、電子機器410は、操作中であることに関する情報をモバイル機器から受信してよく、出力メディアをユーザが操作中のモバイル機器として決定してよい。
情報を提供している途中にユーザが位置する空間の変更が認識された場合、出力メディアも変更されてよい。例えば電子機器410は、ユーザが位置する空間が「キッチン」から「寝室1」に変更された場合、出力メディアを第1サブ機器710から第2サブ機器720に変更してよい。
また、電子機器410は、上述した宅内の機器(ユーザのモバイル機器を含む)を出力メディアとして活用するために、このような機器に関する情報を管理してもよい。
図9は、本発明の一実施形態における、出力メディアに関する情報の例を示した図である。図9の表900は、電子機器410と連動して通信可能な電子機器を識別するための機器項目910、他の電子機器の宅内位置を識別するための位置項目920、他の電子機器が含む出力メディアを識別するための出力メディア項目930、出力メディアに関する情報を含む詳細項目940及び出力メディアがどのような情報類型との連係が可能であるかを識別するための情報類型項目950を含む例を示している。電子機器410は、表900のように、宅内で連動する他の電子機器に関する情報と共に、該当する他の電子機器の出力メディアに関する情報を管理してよい。また、このような情報は、音声要請及び/又は音声要請に対する応答情報の情報類型と予め連結されてよい。例えばユーザの音声要請や対応する応答情報が「外部の特定場所」と関連する情報類型として分析される場合、電子機器410は、表900に基づき、電子機器Aの地図アプリケーションを応答情報の出力メディアとして決定してよい。この場合、応答情報は、電子機器Aに伝達されてよく、電子機器Aは、電子機器Aの地図アプリケーションを通じて応答情報に対応する地図サービスをユーザに提供してよい。他の例として、応答情報は、地図アプリケーションを通じて地図サービスを提供するサービスサーバに伝達されてよい。この場合、サービスサーバは、電子機器Aにインストールされた地図アプリケーションを通じて地図サービスを提供してよい。このために、電子機器410は、サービスサーバにアクセスするための情報、及びサービスサーバがユーザの電子機器Aを識別できるようにするためのユーザのアカウントなどのような情報をさらに管理してもよい。例えば電子機器410は、表900が地図アプリケーションと関連してさらに格納しているURLを利用してサービスサーバにアクセスしてよく、ユーザのアカウントと共に応答情報を伝達することにより、サービスサーバがユーザのアカウントを参照した上で、電子機器Aにインストールされた地図アプリケーションを通じて応答情報と連係するサービスを提供するようにしてよい。
また、電子機器410は、表900に基づき、ユーザが「キッチン」に位置する場合、電子機器Dのディスプレイ4から情報が視覚的に出力されるように、該当の情報を電子機器Dに送信してよい。他の例として、電子機器410は、1つの空間に複数の出力メディアが存在する場合、出力しようとする情報の類型に適した機器やユーザからより近くにある機器の出力メディアを選択してよい。このとき、1つの空間でユーザからより近くにある機器の出力メディアを選択するために、より具体的な機器の位置が表900で管理されてよい。このような機器の位置は、ユーザの位置と同じように、電子機器410を基準とする相対的な位置であってよい。
図10は、本発明の一実施形態における、電子機器の情報提供方法の例を示したフローチャートである。本実施形態に係る情報提供方法は、上述した電子機器410のようなコンピュータ装置によって実行されてよい。このとき、電子機器410のプロセッサ412は、メモリ411が含むオペレーティングシステムのコードや、少なくとも1つのプログラムのコードによる制御命令(instruction)を実行するように実現されてよい。ここで、プロセッサ412は、電子機器410に格納されたコードにより提供される制御命令に従って電子機器410が図10の情報提供方法に含まれる段階1010及び段階1020を実行するように電子機器410を制御してよい。
段階1010において、電子機器410は、複数の空間の中からユーザが位置する空間を決定してよい。一例として、複数の空間は、ホームネットワークサービスが適用されたホームのような、室内の区画された空間を含んでよい。
段階1020において、電子機器410は、決定された空間に基づいて、電子機器410に含まれる音声基盤の入力/出力インタフェースで受信されるユーザの音声要請を解釈するか、あるいは決定された空間に基づいて能動的に決定された情報を、音声基盤の入力/出力インタフェースを通じてユーザに提供してよい。例えば電子機器410は、同じユーザの音声要請を、決定された空間に応じて動的に調整して解釈するか、又はユーザからの要請がなくても能動的に空間と関連する情報をユーザに提供してよい。
このように、本実施形態では、既に決定されている情報を提供するためにユーザの位置や空間を活用するのではなく、ユーザの位置や空間に応じて能動的にユーザからの要請を調整して解釈するか、又は電子機器410が優先的に空間別のユーザコンテキストと関連性の高い情報を能動的に提供することにより、情報提供の有用性を向上させることができる。
図11は、本発明の一実施形態における、ユーザが位置する空間を決定する方法の例を示したフローチャートである。図11に示された段階1110及び段階1120は、図10の段階1010に含まれ、電子機器410によって実行されてよい。
段階1110において、電子機器410は、スピーカから出力される音信号及び出力された音信号が室内で反射することによってマルチチャンネルマイクにチャンネル別に入力される反射信号に基づき、区画された空間に関する情報を取得してよい。このために、電子機器410は、上述したように、マルチチャンネルマイクにチャンネル別に入力される特定の反射信号の位相変位に基づいて特定の反射信号の方向を決定し、音信号の出力時刻と、特定の反射信号が前記マルチチャンネルマイクに入力されるチャンネル別の入力時刻に基づいて、特定の反射信号の方向への空間の境界との相対的な距離を決定し、音信号に対応する反射信号それぞれに対して決定される方向と相対的な距離に基づいて区画された空間を認識してよい。
段階1120において、電子機器410は、取得した空間に関する情報と、ユーザの発話に基づいて測定されるユーザの位置により、ユーザの位置と特定の空間をマッチングしてよい。ユーザの位置も、電子機器410でユーザの発話による音信号をマルチチャンネルマイクでチャンネル別に受信することにより、ユーザとの相対的な方向及び/又は距離を測定することによって得られてよい。
このように、本実施形態によると、ユーザが空間に関する情報(空間の種類や構造、位置など)を設定しなくても、電子機器410が自動的に室内の区画された空間に関する情報を取得し、ユーザがどの種類の空間に位置しているかを把握することが可能となる。
図12は、本発明の一実施形態における、ユーザが位置する空間を決定する方法の他の例を示したフローチャートである。図12に示された段階1210及び段階1220は、図10の段階1010に含まれ、電子機器410によって実行されてよい。
段階1210において、電子機器410は、複数のサブ機器それぞれが位置する空間に関する情報を管理してよい。ここで、複数のサブ機器は、ユーザの接近を感知するセンサを含んでよく、電子機器410に含まれる通信インタフェース413を介して、電子機器410と通信してよい。
段階1220において、電子機器410は、通信インタフェース413により、複数のサブ機器から受信されるセンサ情報と複数のサブ機器それぞれが位置する空間に関する情報に基づいてユーザが位置する空間を決定してよい。一例として、複数のサブ機器は、複数のサブスピーカを含んでよい。この場合、電子機器410は、複数のサブスピーカそれぞれから出力されてマルチチャンネルマイクに入力されるチャンネル別の音信号に基づいて、複数のサブスピーカそれぞれとの距離及び方向を決定し、決定された距離及び方向に基づいて、複数のサブ機器それぞれが位置する空間に関する情報を生成してよい。実施形態によっては、図9を参照しながら説明したように、複数のサブ機器を含む多様な宅内の機器に関する位置情報がさらに活用されてもよい。
本実施形態によると、ユーザが空間に関する情報(空間の種類や構造、位置など)を設定しなくても、電子機器410が、複数のサブ機器から提供されるセンサ情報と複数のサブ機器が位置する空間に関する情報に基づき、室内の区画された空間に関する情報を取得することができる。図12の実施形態は、図11の実施形態と組み合わせてより正確な空間に関する情報を取得するのに利用されてよく、これにより、ユーザが位置する空間に関する情報もより正確になる。
図13は、本発明の一実施形態における、ユーザの状況及び/又は行動を予測し、予測された状況及び/又は行動に基づいて情報を提供する方法の例を示したフローチャートである。
段階1310において、電子機器410は、ユーザが位置する空間別のユーザの発話内容及びユーザの活動のうちの少なくとも一方のユーザ情報を時間帯別にパターン化してよい。
段階1320において、電子機器410は、空間別及び時間帯別にパターン化されたユーザ情報に基づき、区画された空間それぞれの種類を決定してよい。
段階1330において、電子機器410は、現在の時間帯及び現在ユーザが位置する空間でのユーザの予測状況又は予測行動を、空間別及び時間帯別にパターン化されたユーザ情報及び現在ユーザが位置する空間の種類に基づいて決定してよい。
段階1340において、電子機器410は、決定されたユーザの予測状況又は予測行動に基づき、ユーザの発話内容を特定の単語に解釈する確率を動的に調整するか、ユーザの発話内容に応じて提供する情報を決定するか、又はユーザの発話とは関係なくユーザに提供する情報を能動的に決定してよい。
このように、本実施形態によると、現在ユーザが位置している空間の種類と空間別及び/又は時間帯別にパターン化されたユーザ情報を活用することにより、ユーザの状況又は行動を予測することができ、空間別/時間帯別に予測された状況や行動に応じて電子機器410が能動的にユーザの発話の解釈を調節したり、又はユーザの音声要請とは関係なく能動的に情報をユーザに提供したりすることが可能となる。
上述したシステム又は装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば実施形態で説明された装置及び構成要素は、例えばプロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、又は命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)及び前記OS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理及び生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素及び/又は複数種類の処理要素を含んでもよいことが理解できるであろう。例えば処理装置は、複数個のプロセッサ又は1つのプロセッサ及び1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令又はこれらのうちの1つ以上の組み合わせを含んでもよく、所望のとおりに動作するように処理装置を構成したり、独立的又は集合的に処理装置に命令したりしてよい。ソフトウェア及び/又はデータは、処理装置に基づいて解釈されたり、処理装置に命令又はデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ格納媒体又は装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散されてよく、分散された状態で格納されても実行されてもよい。ソフトウェア及びデータは、1つ以上のコンピュータで読み取り可能な記録媒体に格納されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータで読み取り可能な媒体に記録されてよい。コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含んでよい。媒体は、コンピュータによって実行可能なプログラムを継続して格納するものであっても、実行又はダウンロードのために一時的に格納するものであってもよい。また、媒体は、単一又は複数個のハードウェアが結合した形態の多様な記録手段又は格納手段であってよいが、あるコンピュータシステムに直接接続する媒体に限定されてはならず、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM及びDVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、及びROM、RAM、フラッシュメモリなどを含んでプログラム命令語が格納されるように構成されたものであってよい。また、他の媒体の例として、アプリケーションを流通するアプリストアや他の多様なソフトウェアを供給ないし流通するサイト、サーバなどで管理する記録媒体ないし格納媒体が挙げられてもよい。プログラム命令の例には、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを利用してコンピュータによって実行されることが可能な高級言語が含まれる。
以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正及び変形が可能であろう。例えば説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたり又は組み合わされたり、他の構成要素又は均等物によって代替されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
100:電子機器
110:ユーザ
140:IPTV
150:モバイル機器
220:外部サーバ

Claims (17)

  1. 音声基盤の入力/出力インタフェース、及び
    コンピュータで読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサ
    を含み、
    前記少なくとも1つのプロセッサは、
    室内の区画された複数の空間の中からユーザが位置する空間の種類を決定し、
    記音声基盤の入力/出力インタフェース受信されるユーザの音声要請を、前記決定された空間の種類に応じた意味に解釈して、前記ユーザに提供する情報を決定し、該決定された情報を、前記音声基盤の入力/出力インタフェースを通じてユーザに提供すること
    を特徴とする、情報提供装置。
  2. 前記音声基盤の入力/出力インタフェースは、
    音信号を出力するスピーカ、及び
    マルチチャンネルマイク
    を含み、
    前記少なくとも1つのプロセッサは、
    前記スピーカから出力される音信号と、前記出力された音信号が空間で反射することによって前記マルチチャンネルマイクにチャンネル別に入力される反射信号に基づき、前記複数の空間に関する情報を取得し、
    前記取得した複数の空間に関する情報と、ユーザの発話に基づいて測定されるユーザの位置により、ユーザの位置と特定の空間をマッチングすること
    を特徴とする、請求項1に記載の情報提供装置。
  3. ユーザの接近を感知するセンサを含む複数のサブ機器と通信する通信インタフェース
    をさらに含み、
    前記少なくとも1つのプロセッサは、
    前記複数のサブ機器それぞれが位置する空間に関する情報を管理し、
    前記通信インタフェースにより、前記複数のサブ機器から受信されるセンサ情報と、前記複数のサブ機器それぞれが位置する空間に関する情報に基づいてユーザが位置する空間を決定すること
    を特徴とする、請求項1に記載の情報提供装置。
  4. 前記少なくとも1つのプロセッサは、
    前記ユーザが位置する空間別のユーザの発話内容と前記発話内容と関連するユーザの活動のうちの少なくとも一方のユーザ情報を時間帯別にパターン化し、
    前記空間別及び時間帯別にパターン化されたユーザ情報に基づいて前記複数の空間それぞれの種類を決定すること
    を特徴とする、請求項1に記載の情報提供装置。
  5. 前記少なくとも1つのプロセッサは、
    現在の時間帯及び現在ユーザが位置する空間でのユーザの予測状況又は予測行動を、前記空間別及び時間帯別にパターン化されたユーザ情報及び現在ユーザが位置する空間の種類に基づいて決定すること
    を特徴とする、請求項4に記載の情報提供装置。
  6. 前記少なくとも1つのプロセッサは、
    前記決定されたユーザの予測状況又は予測行動に基づき、前記ユーザの発話内容を特定の単語の意味に解釈する確率を動的に調整するか、又は前記ユーザの発話内容に応じて前記ユーザに提供する情報を決定すること
    を特徴とする、請求項5に記載の情報提供装置。
  7. 前記少なくとも1つのプロセッサは、
    前記決定されたユーザの予測状況又は予測行動に基づき、前記ユーザからの音声要請がなくても前記ユーザに提供する情報を能動的に決定すること
    を特徴とする、請求項5に記載の情報提供装置。
  8. 複数の出力メディアと通信する通信インタフェース
    をさらに含み、
    前記少なくとも1つのプロセッサは、
    前記複数の出力メディアの位置とユーザの位置に基づいて前記複数の出力メディアの中から少なくとも1つの出力メディアを決定し、
    ユーザに提供するための情報が前記決定された少なくとも1つの出力メディアから出力されるように、前記通信インタフェースによって前記ユーザに提供するための情報を前記決定された少なくとも1つの出力メディアに送信すること
    を特徴とする、請求項1に記載の情報提供装置。
  9. 前記少なくとも1つのプロセッサは、
    ユーザの位置が変更される場合、前記変更されたユーザの位置に応じて出力メディアを変更し、
    前記ユーザに提供するための情報が前記変更された出力メディアから連続的に出力されるように、前記通信インタフェースを通じて前記ユーザに提供するための情報を前記変更された出力メディアに送信すること
    を特徴とする、請求項8に記載の情報提供装置。
  10. 情報提供装置の情報提供方法であって、
    室内の区画された複数の空間の中からユーザが位置する空間の種類を決定する段階、及び
    前記情報提供装置に含まれる音声基盤の入力/出力インタフェースで受信されるユーザの音声要請を、前記決定された空間の種類に応じた意味に解釈して、前記ユーザに提供する情報を決定し、該決定された情報を、前記音声基盤の入力/出力インタフェースを通じてユーザに提供する段階
    を含むことを特徴とする、情報提供方法。
  11. 前記ユーザが位置する空間を決定する段階は、
    前記音声基盤の入力/出力インタフェースが含むスピーカから出力される音信号と、前記出力された音信号が空間で反射することによって前記音声基盤の入力/出力インタフェースが含むマルチチャンネルマイクにチャンネル別に入力される反射信号に基づき、前記複数の空間に関する情報を取得する段階、及び
    前記取得した複数の空間に関する情報と、ユーザの発話に基づいて測定されるユーザの位置により、ユーザの位置と空間をマッチングする段階
    を含むことを特徴とする、請求項10に記載の情報提供方法。
  12. 前記ユーザが位置する空間を決定する段階は、
    ユーザの接近を感知するセンサを含む複数のサブ機器それぞれが位置する空間に関する情報を管理する段階、及び
    前記情報提供装置の通信インタフェースにより、前記複数のサブ機器から受信されるセンサ情報と、前記複数のサブ機器それぞれが位置する空間に関する情報に基づいてユーザが位置する空間を決定すること
    を特徴とする、請求項10に記載の情報提供方法。
  13. 前記ユーザが位置する空間別のユーザの発話内容及び前記発話内容と関連するユーザの活動のうちの少なくとも一方のユーザ情報を時間帯別にパターン化する段階、及び
    前記空間別及び時間帯別にパターン化されたユーザ情報に基づいて前記複数の空間それぞれの種類を決定する段階
    をさらに含むことを特徴とする、請求項10に記載の情報提供方法。
  14. 現在の時間帯及び現在ユーザが位置する空間でのユーザの予測状況又は予測行動を、前記空間別及び時間帯別にパターン化されたユーザ情報及び現在ユーザが位置する空間の種類に基づいて決定する段階
    をさらに含むことを特徴とする、請求項13に記載の情報提供方法。
  15. 前記決定されたユーザの予測状況又は予測行動に基づき、前記ユーザの発話内容を特定の単語の意味に解釈する確率を動的に調整するか、前記ユーザの発話内容に応じて前記ユーザに提供する情報を決定するか、又は前記ユーザからの音声要請がなくても前記ユーザに提供する情報を能動的に決定する段階
    をさらに含むことを特徴とする、請求項14に記載の情報提供方法。
  16. コンピュータと結合し、請求項10〜15のうちのいずれか一項に記載の方法をコンピュータに実行させる、コンピュータプログラム。
  17. 請求項10〜15のうちのいずれか一項に記載の方法をコンピュータに実行させるためのプログラムが記録されていることを特徴とする、コンピュータ読み取り可能な記録媒体。
JP2018104651A 2017-06-02 2018-05-31 ユーザの位置及び空間に適した情報を能動的に提供する方法及び装置 Active JP6681940B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0068963 2017-06-02
KR1020170068963A KR101975423B1 (ko) 2017-06-02 2017-06-02 사용자의 위치 및 공간에 알맞은 정보를 능동적으로 제공하는 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2018206385A JP2018206385A (ja) 2018-12-27
JP6681940B2 true JP6681940B2 (ja) 2020-04-15

Family

ID=64670151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018104651A Active JP6681940B2 (ja) 2017-06-02 2018-05-31 ユーザの位置及び空間に適した情報を能動的に提供する方法及び装置

Country Status (2)

Country Link
JP (1) JP6681940B2 (ja)
KR (1) KR101975423B1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102650488B1 (ko) 2019-11-29 2024-03-25 삼성전자주식회사 전자장치와 그의 제어방법
KR20210083059A (ko) * 2019-12-26 2021-07-06 삼성전자주식회사 오디오 데이터의 출력 방법 및 이를 지원하는 전자 장치
KR102434127B1 (ko) * 2019-12-31 2022-08-19 주식회사 스캐터랩 인공지능에서 선제 메시지 전송 방법 및 그 장치
KR102223294B1 (ko) * 2020-02-20 2021-03-05 한국과학기술원 복수 사용자의 움직임 추적을 통한 인공지능 스피커와의 대화 상호작용 흐름 관리 기술

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319045A (ja) * 2000-05-11 2001-11-16 Matsushita Electric Works Ltd 音声マンマシンインタフェースを用いたホームエージェントシステム、及びプログラム記録媒体
JP4581290B2 (ja) * 2001-05-16 2010-11-17 パナソニック株式会社 音声認識装置および音声認識方法
US20090251996A1 (en) * 2004-03-09 2009-10-08 Koninklijke Philips Electronics, N.V. Object position estimation
KR100809659B1 (ko) * 2006-07-14 2008-03-05 세종대학교산학협력단 지능형 홈 서비스 제공 시스템 및 방법
KR101064948B1 (ko) * 2008-12-10 2011-09-16 한국전자통신연구원 유비쿼터스 지능형 로봇을 이용한 홈 네트워크 서비스 방법
WO2011145030A1 (en) * 2010-05-20 2011-11-24 Koninklijke Philips Electronics N.V. Distance estimation using sound signals
JP2011257950A (ja) * 2010-06-08 2011-12-22 Sony Corp 情報処理装置、情報処理ユニットおよび情報処理方法
US8340975B1 (en) * 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
KR101641448B1 (ko) * 2012-03-16 2016-07-20 뉘앙스 커뮤니케이션즈, 인코포레이티드 사용자 전용 자동 음성 인식
KR20130107555A (ko) * 2012-03-22 2013-10-02 한국전자통신연구원 홈 네트워크 시스템에서 사용자를 추적하여 컨텐츠를 제공하는 장치 및 방법
US9219460B2 (en) * 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
JP6326743B2 (ja) * 2013-08-30 2018-05-23 ヤマハ株式会社 情報処理装置、avレシーバ、およびプログラム
GB2544543B (en) * 2015-11-20 2020-10-07 Zuma Array Ltd Lighting and sound system

Also Published As

Publication number Publication date
KR101975423B1 (ko) 2019-05-07
KR20180132276A (ko) 2018-12-12
JP2018206385A (ja) 2018-12-27

Similar Documents

Publication Publication Date Title
KR102025391B1 (ko) 사용자의 발화 위치에 따른 디바이스 제어
KR101949497B1 (ko) 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템
JP6567727B2 (ja) 受信した音声入力の入力音量に基づいて出力される音の出力音量を調節するユーザ命令処理方法およびシステム
JP6681940B2 (ja) ユーザの位置及び空間に適した情報を能動的に提供する方法及び装置
JP6607999B2 (ja) 音声要請に対応する情報提供のためのメディア選択
US10984790B2 (en) Method of providing service based on location of sound source and speech recognition device therefor
JP6752870B2 (ja) 複数のウェイクワードを利用して人工知能機器を制御する方法およびシステム
JP6716630B2 (ja) 情報を提供する装置、方法、コンピュータプログラムおよび記録媒体
JP6947687B2 (ja) 情報提供方法、電子機器、コンピュータプログラム及び記録媒体
JP6573696B2 (ja) ネットワークに連結した音響機器とのマルチモーダルインタラクション方法およびシステム
JP6920398B2 (ja) 人工知能機器における連続会話機能
JP6728319B2 (ja) 人工知能機器で複数のウェイクワードを利用したサービス提供方法およびそのシステム
KR20190084202A (ko) 복수의 호출 용어를 이용하여 인공지능 기기를 제어하는 방법 및 시스템
JP6775563B2 (ja) 人工知能機器の自動不良検出のための方法およびシステム
JP2019012506A (ja) 機械の自動活性のための方法及びシステム
KR102255844B1 (ko) 사용자의 위치 및 공간에 알맞은 정보를 능동적으로 제공하는 방법 및 장치
KR102023161B1 (ko) 무빙 디바이스를 이용하여 사용자의 위치 및 공간에 알맞은 정보를 제공하는 방법 및 장치
KR102309509B1 (ko) 인공지능 기기 상호간의 호출을 활용한 IoT 디바이스를 제어하는 방법 및 시스템
KR20180129729A (ko) 네트워크에 연결된 음향기기와의 멀티모달 인터렉션 방법 및 시스템
KR20200038904A (ko) 인공지능 기기에서의 연속 대화 기능

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200324

R150 Certificate of patent or registration of utility model

Ref document number: 6681940

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250