JP6713034B2 - スマートテレビの音声インタラクティブフィードバック方法、システム及びコンピュータプログラム - Google Patents

スマートテレビの音声インタラクティブフィードバック方法、システム及びコンピュータプログラム Download PDF

Info

Publication number
JP6713034B2
JP6713034B2 JP2018219135A JP2018219135A JP6713034B2 JP 6713034 B2 JP6713034 B2 JP 6713034B2 JP 2018219135 A JP2018219135 A JP 2018219135A JP 2018219135 A JP2018219135 A JP 2018219135A JP 6713034 B2 JP6713034 B2 JP 6713034B2
Authority
JP
Japan
Prior art keywords
information
current interface
smart
audio stream
target element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018219135A
Other languages
English (en)
Other versions
JP2019161636A (ja
Inventor
ルオ，ジュンナン
リ，ジン
チェン，チーシー
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド
バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド, バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド
Publication of JP2019161636A publication Critical patent/JP2019161636A/ja
Application granted granted Critical
Publication of JP6713034B2 publication Critical patent/JP6713034B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、コンピュータ応用技術分野に関するものであり、特にスマートテレビの音声インタラクティブフィードバック方法、システム及びコンピュータ読み取り可能な媒体に関するものである。
音声技術の発展に従って、テレビシーンにおいて音声を利用してユーザのインタラクティブ体験を向上するものが多くなってくる。ユーザが制御類の音声指令を発してから該指令を実行するまでは、ウェイクアップ、自動音声識別（Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ；ＡＳＲ）、自然言語理解（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ；ＮＬＵ）、スマートテレビ（Ｔｅｌｅｖｉｓｉｏｎ；ＴＶ）が指令を受信して実行するという複数の過程を経由する。好ましいフィードバックメカニズムは、ユーザに対してリアルタイムに音声指令の実行状態を通知することができ、体験を向上する効果を達成することができる。例えば、現在、ウェイクアップ、ＡＳＲ、ＮＬＵという複数のステップが実行される過程にあることに関して、スマートテレビは相応にフィードバックする。
例えば、既存の、スマートテレビの音声インタラクティブフィードバック過程は、具体的に、以下のような手順を含むことができる。即ち、ユーザは制御類の音声指令Ｑｕｅｒｙを発し、スマートテレビはユーザからのＱｕｅｒｙに関するオーディオストリームを採集し、クラウドエンドサーバに送信し、クラウドエンドサーバによってＡＳＲを行ってＱｕｅｒｙを識別し、ＮＬＵによってＱｕｅｒｙ意図を理解し、該Ｑｕｅｒｙのスロット情報を判断し、対応した意図及びスロット情報をスマートテレビに送信し、最後にスマートテレビによって直接にＱｕｅｒｙ意図及びスロット情報に対応する制御指令を実行する。
しかし、従来技術において、スマートテレビが音声指令Ｑｕｅｒｙに対応する意図及びスロット情報を受信してから対応する制御指令を実行する過程までは、どのフィードバック情報もなく、このような場合、スマートテレビが制御指令を実行していなければ、クラウドエンドサーバが該音声指令Ｑｕｅｒｙを識別していないか、スマートテレビの制御指令を実行することに何か障害があったかを確定できない、即ち制御指令を実行していない原因を正確に判定することができない。
本発明は、ユーザの音声指令に対して相応的なフィードバックを行って、スマートテレビが制御指令を実行していない時、実行していない原因を正確に判定するためのスマートテレビの音声インタラクティブフィードバック方法、システム及びコンピュータ読み取り可能な媒体を提供する
本発明に係るスマートテレビの音声インタラクティブフィードバック方法は、
ユーザが音声指令を発したオーディオストリーム及びスマートテレビの現在インタフェースにおける要素の情報を採集すること、
クラウドエンドサーバが上記オーディオストリーム及び上記現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成するように、上記クラウドエンドサーバへ上記オーディオストリーム及び上記現在インタフェースにおける要素の情報を送信すること、
上記クラウドエンドサーバによって返送された上記応答メッセージを受信すること、
上記応答メッセージに含まれた上記目標要素の情報に基づいて、上記現在インタフェースにおいて対応する上記目標要素に関して予め設定された効果展示を実行し、上記音声指令のインタラクティブフィードバックとすること、を含み、
ただし、上記目標要素は、上記オーディオストリームに対応する上記音声指令の意図がヒットした上記現在インタフェースにおける要素である。
更に好ましくは、上記方法において、ユーザが音声指令を発したオーディオストリーム及びスマートテレビの現在インタフェースにおける要素の情報を採集した後、上記現在インタフェースにおける要素の情報をキャッシュに記憶すること、を更に含み、
上記応答メッセージに含まれた上記目標要素の情報に基づいて、上記現在インタフェースにおいて対応する上記目標要素に関して予め設定された効果展示を実行することは、具体的に、
上記応答メッセージに含まれた上記目標要素の情報に基づいて、上記キャッシュに記憶された上記現在インタフェースにおける要素の情報から対応する上記目標要素を捜索すること、
上記現在インタフェースにおいて対応する上記目標要素に関して予め設定された効果展示を実行すること、を含む。
更に好ましくは、上記方法において、上記現在インタフェースにおける要素の情報は、上記現在インタフェースにおける上記要素の位置、表示された文字及び階層結構情報を含む。
本発明に係るスマートテレビの音声インタラクティブフィードバック方法は、
スマートテレビによって送信された、ユーザの音声指令に対応するオーディオストリーム及び上記スマートテレビの現在インタフェースにおける要素の情報を受信すること、
上記オーディオストリーム及び上記現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成すること、
上記スマートテレビが上記応答メッセージに含まれた上記目標要素の情報に基づいて、上記現在インタフェースにおいて対応する上記目標要素に関して予め設定された効果展示を実行し、上記音声指令のインタラクティブフィードバックとするように、上記スマートテレビへ上記応答メッセージを返送すること、を含み、
ただし、上記目標要素は、上記オーディオストリームに対応する上記音声指令の意図がヒットした上記現在インタフェースにおける要素である。
更に好ましくは、上記方法において、上記オーディオストリーム及び上記現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成することは、具体的に
上記オーディオストリーム及び上記現在インタフェースにおける要素の情報に基づいて、上記オーディオストリームに対応する上記音声指令の意図がヒットした上記現在インタフェースにおける目標要素を識別すること、
上記目標要素の情報に基づいて応答メッセージを生成すること、を含む。
更に好ましくは、上記方法において、上記オーディオストリーム及び上記現在インタフェースにおける要素の情報に基づいて、上記オーディオストリームに対応する上記音声指令の意図がヒットした上記現在インタフェースにおける目標要素を識別することは、具体的に
上記オーディオストリームに対して音声識別を行い、上記オーディオストリームに対応する上記音声指令に対応する文字指令を取得すること、
上記文字指令に対して自然言語理解処理を行い、上記音声指令の意図を識別すること、
上記音声指令の意図と上記現在インタフェースにおける要素の情報とを比較して、上記音声指令の意図がヒットした上記現在インタフェースにおける目標要素を識別すること、を含む。
更に好ましくは、上記方法において、上記現在インタフェースにおける要素の情報は、上記現在インタフェースにおける上記要素の位置、表示された文字及び階層結構情報を含む。
本発明に係るスマートテレビ装置は、
ユーザが音声指令を発したオーディオストリーム及びスマートテレビの現在インタフェースにおける要素の情報を採集するための採集モジュールと、
クラウドエンドサーバが上記オーディオストリーム及び上記現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成するように、上記クラウドエンドサーバへ上記オーディオストリーム及び上記現在インタフェースにおける要素の情報を送信し、且つ、上記クラウドエンドサーバによって返送された上記応答メッセージも受信するための送受信モジュールと、
上記応答メッセージに含まれた上記目標要素の情報に基づいて、上記現在インタフェースにおいて対応する上記目標要素に関して予め設定された効果展示を実行し、上記音声指令のインタラクティブフィードバックとするための実行モジュールと、を含み、
ただし、上記目標要素は、上記オーディオストリームに対応する上記音声指令の意図がヒットした上記現在インタフェースにおける要素である。
更に好ましくは、上記装置において、
キャッシュには上記現在インタフェースにおける要素の情報を記憶するための記憶モジュールを更に含み、
上記実行モジュールは、具体的に
上記応答メッセージに含まれた上記目標要素の情報に基づいて、上記キャッシュに記憶された上記現在インタフェースにおける要素の情報から対応する上記目標要素を捜索すること、
上記現在インタフェースにおいて対応する上記目標要素に関して予め設定された効果展示を実行するために用いられる。
更に好ましくは、上記装置において、上記現在インタフェースにおける要素の情報は、上記現在インタフェースにおける上記要素の位置、表示された文字及び階層結構情報を含む。
本発明に係るクラウドエンドサーバは、
スマートテレビによって送信された、ユーザの音声指令に対応するオーディオストリーム及び上記スマートテレビの現在インタフェースにおける要素の情報を受信するための送受信モジュールと、
上記オーディオストリーム及び上記現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成するための生成モジュールと、を含み、
上記送受信モジュールは、上記スマートテレビが上記応答メッセージに含まれた上記目標要素の情報に基づいて、上記現在インタフェースにおいて対応する上記目標要素に関して予め設定された効果展示を実行し、上記音声指令のインタラクティブフィードバックとするように、上記スマートテレビへ上記応答メッセージを返送することにも用いられ、
ただし、上記目標要素は、上記オーディオストリームに対応する上記音声指令の意図がヒットした上記現在インタフェースにおける要素である。
更に好ましくは、上記サーバにおいて、上記生成モジュールは、
上記オーディオストリーム及び上記現在インタフェースにおける要素の情報に基づいて、上記オーディオストリームに対応する上記音声指令の意図がヒットした上記現在インタフェースにおける目標要素を識別するための識別手段と、
上記目標要素の情報に基づいて応答メッセージを生成するための生成手段と、を含む。
更に好ましくは、上記サーバにおいて、上記識別手段は、具体的に
上記オーディオストリームに対して音声識別を行い、上記オーディオストリームに対応する上記音声指令に対応する文字指令を取得し、
上記文字指令に対して自然言語理解処理を行い、上記音声指令の意図を識別し、
上記音声指令の意図と上記現在インタフェースにおける要素の情報とを比較して、上記音声指令の意図がヒットした上記現在インタフェースにおける目標要素を識別することに用いられる。
更に好ましくは、上記サーバにおいて、上記現在インタフェースにおける要素の情報は、上記現在インタフェースにおける上記要素の位置、表示された文字及び階層結構情報を含む。
本発明に係るスマートテレビの音声インタラクティブシステムは、スマートテレビ装置とクラウドエンドサーバとを含み、上記スマートテレビ装置と上記クラウドエンドサーバとを通信可能に接続し、上記スマートテレビ装置に上記スマートテレビ装置を採用し、上記クラウドエンドサーバに上記クラウドエンドサーバを採用する。
本発明に係るコンピュータ設備は、
１つ或いは複数のプロセッサと、
１つ或いは複数のプログラムを記憶するためのメモリと、を含み、
上記１つ或いは複数のプログラムが上記１つ或いは複数のプロセッサによって実行される時、上記１つ或いは複数のプロセッサに上記スマートテレビの音声インタラクティブフィードバック方法を実現させる。
本発明に関するコンピュータプログラムが記憶されているコンピュータ読取り可能な記憶媒体であって、当該プログラムがプロセッサによって実行される時、上記スマートテレビの音声インタラクティブフィードバック方法を実現する。
本発明に係るスマートテレビの音声インタラクティブフィードバック方法、システム及びコンピュータ読み取り可能な媒体は、上記技術案を採用することで、スマートテレビでユーザの音声指令に対してフィードバックすることができ、このようにして、スマートテレビが制御指令を実行していなければ、クラウドエンドサーバが該音声指令を識別していないか、スマートテレビが制御指令を実行することに何か障害があったかを正確に判定することができる。更に、本発明は、予め設定された効果によってユーザの音声指令に対してフィードバックすることで、効率的にユーザの体験を向上することもできる。
本発明に係るスマートテレビの音声インタラクティブフィードバック方法の実施例１のフローチャートである。 本発明に係るスマートテレビの音声インタラクティブフィードバック方法の実施例２のフローチャートである。 本発明に係るスマートテレビ装置の実施例１の構成図である。 本発明に係るスマートテレビ装置の実施例２の構成図である。 本発明に係るクラウドエンドサーバの実施例１の構成図である。 本発明に係るクラウドエンドサーバの実施例２の構成図である。 本発明に係るスマートテレビの音声インタラクティブシステムの実施例の構成図である。 本発明に係るコンピュータ設備の実施例の構成図である。 本発明に係るコンピュータ設備の例の図。
本発明の実施例の目的、技術案及び利点をより明確で簡潔させるために、以下、図面及び具体的な実施例を結合して、本発明を詳細に説明する。
図１は、本発明に係るスマートテレビの音声インタラクティブフィードバック方法の実施例１のフローチャートである。図１に示すように、本実施例のスマートテレビの音声インタラクティブフィードバック方法は、具体的に以下のようなステップを含むことができる。
１００、ユーザからの音声指令を発したオーディオストリーム及びスマートテレビの現在インタフェースの要素情報を採集する。
本実施例に係るスマートテレビの音声インタラクティブフィードバック方法は、スマートテレビ側に本発明の技術案を記述する。本実施例のスマートテレビは、スマートテレビのクライアントだけでなく、スマートテレビ本体も含む。例えば、具体的に、スマートテレビのクライアントとスマートテレビ本体との連携によって、スマートテレビの音声インタラクティブフィードバックを実現する。
例えば、本実施例において、スマートテレビのクライアントは、スマートテレビ本体の内蔵或いは外装のマイク設備を使用して、ユーザが発した声音のオーディオストリームを採集することができる。ユーザが音声指令を発した時、スマートテレビは、音声指令に対応するオーディオストリームを採集することができる。また、ユーザの音声指令がいずれも現在インタフェースに表示された内容に対するものであるので、本実施例において、スマートテレビは、スマートテレビの現在インタフェースにおける要素の情報を採集する必要もあり、例えば具体的に、スマートテレビのクライアントによって、現在スマートテレビ本体のパネルに表示した、現在インタフェースにおける要素の情報を採集する必要がある。
好ましいことは、本実施例の現在インタフェースにおける要素の情報は、現在インタフェースにおける要素の位置、表示された文字及び階層結構等の情報を含むことができ、現在インタフェースにおける各々要素の情報は、いずれも唯一に現在インタフェースにおける該要素を標識することができる。本実施例において、要素の位置は、現在インタフェースにおける要素の座標を利用して示すことができる。
１０１、クラウドエンドサーバがオーディオストリーム及び現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成するように、クラウドエンドサーバへオーディオストリーム及び現在インタフェースにおける要素の情報を送信する。ただし、目標要素は、オーディオストリームに対応する音声指令の意図がヒットした現在インタフェースにおける要素である。
具体的に、スマートテレビクライアントによってｈｔｔｐプロトコルでクラウドエンドサーバへオーディオストリーム及び現在インタフェースにおける要素の情報を送信することができる。例えば、当前のスマートテレビは、大体がＡｎｄｒｏｉｄシステムに基づくものであり、Ａｎｄｒｏｉｄシステムに提供されたインタフェースによって、現在インタフェースにおける全ての要素の位置、表示された文字及び階層結構を採集し取得することができる。取得された情報に対して分析を行うことで、最終的に現在インタフェースにおける、音声指令に応答することができる全ての要素を確定できる。全ての要素情報が確定された後、スマートテレビクライアントは、バックエンドのクラウドエンドサーバと約定したプロトコル及びインタフェースによって、プロトコルに規定されたフォーマットに従って全ての要素の情報をクラウドエンドサーバへ送信することができる。
スマートテレビがクラウドエンドサーバへオーディオストリーム及び現在インタフェースにおける要素の情報を送信した後、クラウドエンドサーバは、ＡＳＲ、ＮＬＵ等の手順によって、ユーザからのオーディオストリームにおける音声指令に対応する意図を理解することができる。ユーザがテレビを視聴している過程にあるので、発した音声指令は、いずれも現在インタフェースに表示した情報に対して発した、例えば現在インタフェースには再生ボタンや一時停止ボタン等があり、ユーザが音声で再生指令或いは一時停止指令を発することができる。この場合、クラウドエンドサーバは、ＡＳＲ及びＮＬＵによってユーザの意図を理解した後、ユーザの音声指令に対応する制御指令を確定した時に、再生或いは一時停止をすることができる。同時に、クラウドエンドサーバが既に現在インタフェースにおける要素の情報を取得したので、オーディオストリームにおける音声指令の意図及び現在インタフェースにおける要素の情報に基づいて、オーディオストリームに対応する音声指令の意図がヒットした現在インタフェースにおける目標要素を識別し、更に目標要素を含む情報応答メッセージを生成することができる。例えば、目標要素は、現在インタフェースにおける表示された文字が一時停止或いは再生である要素である。
１０２、クラウドエンドサーバによって返送された応答メッセージを受信する。
１０３、応答メッセージに含まれた目標要素の情報に基づいて、現在インタフェースにおいて対応する目標要素に関して予め設定された効果展示を実行して、音声指令のインタラクティブフィードバックとする。
本実施例において、スマートテレビが受信したクラウドエンドサーバに返送された応答メッセージには目標要素の情報、例えば目標要素の位置、目標要素に表示した文字及び目標要素の現在インタフェースの階層結構を含む。スマートテレビがサーバからの応答を受信した後、スマートテレビのクライアントは、約定したプロトコルに基づいて応答メッセージを解析し、解析して応答メッセージには現在インタフェースの目標要素にヒットした相関内容を含むことを発見したら、該目標要素の情報をスマートテレビのクライアントにおけるユーザインタフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ；ＵＩ）モジュールに転送して処理を行わせる。相応に、ＵＩモジュールは目標要素の情報を受信した後、現在インタフェースにおける全ての要素情報を取得し、ヒットの目標要素の位置、表示された文字及び階層結構等に基づいて、現在インタフェースにおける全ての要素情報から対応した目標要素を取得し、対応した目標要素に関して予め設定された効果展示を実行し、現在インタフェースにおける該目標要素をスマートテレビの本体の表示パネルに予め設定された効果に従って展示させ、音声指令のインタラクティブフィードバックとする。本実施例において、予め設定された効果展示は、拡大、明滅、フォーカスの捕り、或いはボタンの押下を模擬することなどの動画な効果展示である。
更に、本実施例において、スマートテレビの現在インタフェースにおける要素の情報を採集した後、続きに速やかに捜索することができるように、現在インタフェースにおける要素の情報をクライアントのキャッシュに記憶することもできる。例えば、クラウドエンドサーバ側に、ＵＩモジュールが目標要素の情報を受信した後、ヒットした目標要素の位置、表示された文字及び階層結構等に基づいて、スマートテレビのクライアントのキャッシュに記憶された現在インタフェースにおける全ての要素情報から捜索して、対応する目標要素を探し、そして、該目標要素に関して予め設定された効果展示を実行し、スマートテレビ本体の表示パネルに表示する。上記技術案と比べて、現在インタフェースにおける要素の情報を更に取得する必要がなく、直接にキャッシュに記憶された現在インタフェースにおける要素の情報に基づいて目標要素を速やかに捜索して、捜索時間を短縮して捜索效率を提高することができる。
例えば、１つの典型的なシーンにおいて、ユーザがスマートテレビの映画詳細ページに対して音声指令Ｑｕｅｒｙ「再生」を発し、スマートテレビが音声指令を受信した後、音声指令のオーディオストリーム及び現在インタフェースにおける要素の情報を取得してクラウドエンドサーバに送信し、クラウドエンドサーバがＡＳＲ及びＮＬＵ処理を行った後、ユーザの意図が再生であると理解し、ユーザの意図が現在インタフェース即ち映画詳細ページにおける再生ボタンにヒットしたことを確定し、スマートテレビへ再生ボタンの要素情報を含む応答メッセージをフィードバックする。スマートテレビは、応答メッセージに含まれた該再生ボタンの要素情報に基づいて、現在インタフェースにおける該再生ボタンに対して拡大、明滅、フォーカスの捕り、或いはボタンの押下を模擬する等の予め設定された効果展示を実行し、ユーザの音声指令に応答することができる。このようにして、再生操作が行われなくても、ユーザは、音声指令が既に理解されたが、実行過程において何か障害があったことを分かることができる。もし、スマートテレビが予め設定された効果展示を実行していなければ、音声指令が理解されていないことを示す。本実施例の技術案によれば、スマートテレビがユーザの音声指令を実行していない時、実行していない原因を正確に判定することができる。さらに、予め設定された効果によってユーザの音声指令に対してフィードバックすることで、効率的にユーザの体験を向上することもできる。
本実施例のスマートテレビの音声インタラクティブフィードバック方法は、ユーザが音声指令を発したオーディオストリーム及びスマートテレビの現在インタフェースにおける要素の情報を採集すること、クラウドエンドサーバがオーディオストリーム及び現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成するように、クラウドエンドサーバへオーディオストリーム及び現在インタフェースにおける要素の情報を送信すること、クラウドエンドサーバに返送された応答メッセージを受信すること、応答メッセージに含まれた目標要素の情報に基づいて、現在インタフェースにおいて対応する目標要素に関して予め設定された効果展示を実行し、音声指令のインタラクティブフィードバックとすること、を含み、ただし、目標要素は、オーディオストリームに対応する音声指令の意図がヒットした現在インタフェースにおける要素である。本実施例の技術案を採用することで、スマートテレビでユーザの音声指令に対してフィードバックすることができ、このようにして、スマートテレビが制御指令を実行していない時、クラウドエンドサーバが該音声指令を識別していないか、スマートテレビが制御指令を実行することに何か障害があったかを正確に判定することができる。更に、本実施例は、予め設定された効果によってユーザの音声指令に対してフィードバックすることで、効率的にユーザの体験を向上することもできる。
図２は、本発明に係るスマートテレビの音声インタラクティブフィードバック方法の実施例２のフローチャートである。図２に示すように、本実施例に係るスマートテレビの音声インタラクティブフィードバック方法は、具体的に以下のようなステップを含む。
２００、スマートテレビによって送信された、ユーザの音声指令に対応するオーディオストリーム及びスマートテレビの現在インタフェースにおける要素の情報を受信する。
２０１、オーディオストリーム及び現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成し、目標要素は、オーディオストリームに対応する音声指令の意図がヒットした現在インタフェースにおける要素である。
２０２、スマートテレビが応答メッセージに含まれた目標要素の情報に基づいて、現在インタフェースにおいて対応する目標要素に関して予め設定された効果展示を実行し、音声指令のインタラクティブフィードバックとするように、スマートテレビへ応答メッセージを返送する。
例えば、本実施例において、現在インタフェースにおける要素の情報は、現在インタフェースにおける要素の位置、表示された文字及び階層結構情報等を含む。
更に好ましくは、本実施例におけるステップ２０１の「オーディオストリーム及び現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成する」ことは、具体的に以下のようなステップを含むことができる。
（ａ１）オーディオストリーム及び現在インタフェースにおける要素の情報に基づいて、オーディオストリームに対応する音声指令の意図がヒットした現在インタフェースにおける目標要素を識別する。
更に好ましくは、該ステップ（ａ１）は、具体的に以下のようなステップを含むこともできる。
（ａ１１）オーディオストリームに対してＡＳＲ識別を行って、オーディオストリームに対応する音声指令に対応する文字指令を取得する。
（ａ１２）文字指令に対してＮＬＵ処理を行って、音声指令の意図を識別する。
（ａ１３）音声指令の意図と現在インタフェースにおける要素の情報とを比較して、音声指令の意図がヒットした現在インタフェースにおける目標要素を識別する。
（ｂ１）目標要素の情報に基づいて応答メッセージを生成する。
具体的に、本実施例において、クラウドエンドサーバがスマートテレビから送信したオーディオストリームを受信した後、オーディオストリームをＡＳＲエンジンに送信し、ＡＳＲは、ユーザが発した声音を文字に転換し、即ちオーディオストリームにおける音声指令を文字に転換する。注意すべきことは、ＡＳＲエンジンがユーザの発言の停止を識別した時、クラウドエンドサーバは、スマートテレビへ録音停止指令を送信して、スマートテレビのクライアントにオーディオストリームの送信を停止させる必要もある。クラウドエンドサーバにおけるＡＳＲは、オーディオストリームにおける全ての音声指令を文字に転換した後、生成された文字情報をＮＬＵモジュールに転送して処理する。
ＮＬＵモジュールは、文字情報を分析して、ユーザの音声指令に対応する意図を識別し、同時にスマートテレビによって送信された現在インタフェースにおける要素の情報と比較する。ユーザの音声指令に対応する意図が現在インタフェースにおけるある目標要素に完全にヒットしたら、該目標要素に対応する全ての情報、例えば位置、表示された文字及び階層結構等を応答メッセージに添加することができる。もちろん、実際の応用で、クラウドエンドサーバは、さらに幾つかの他の処理に介して完全な応答メッセージを生成し、ｈｔｔｐのリンクによってスマートテレビのクライアントに送信し、スマートテレビが応答メッセージに含まれた目標要素の情報に基づいて、現在インタフェースにおいて対応する目標要素に関して予め設定された効果展示を実行し、音声指令のインタラクティブフィードバックとしてもよい。
本実施例に係るスマートテレビの音声インタラクティブフィードバック方法は上記図１に示す実施例と比べて、その区別が、上記図１に示す実施例がスマートテレビ側において本発明の技術案を記述するが、本実施例がクラウドエンドサーバ側において本発明の技術案を記述することにあり、その具体的な実現過程は、上記図１に示す実施例の記載を参照することができ、ここで贅言しない。
本実施例に係るスマートテレビの音声インタラクティブフィードバック方法において、スマートテレビに送信された、ユーザの音声指令に対応するオーディオストリーム及びスマートテレビの現在インタフェースにおける要素の情報を受信し、オーディオストリーム及び現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成し、スマートテレビが応答メッセージに含まれた目標要素の情報に基づいて、現在インタフェースにおいて対応する目標要素に関して予め設定された効果展示を実行し、音声指令のインタラクティブフィードバックとするように、スマートテレビへ応答メッセージを返送し、ただし、上記目標要素は、オーディオストリームに対応する音声指令の意図がヒットした現在インタフェースにおける要素である。本実施例の技術案を採用することで、スマートテレビでユーザの音声指令に対してフィードバックすることができ、このようにして、スマートテレビが制御指令を実行していなければ、クラウドエンドサーバが該音声指令を識別していないか、スマートテレビが制御指令を実行することに何か障害があったかを正確に判定することができる。更に、本実施例において、予め設定された効果によってユーザの音声指令に対してフィードバックすることで、効率的にユーザの体験を向上することもできる。
図３は、本発明に係るスマートテレビ装置の実施例１の構成図である。図３に示すように、本実施例のスマートテレビ装置は、具体的に、ユーザが音声指令を発したオーディオストリーム及びスマートテレビの現在インタフェースにおける要素の情報を採集するための採集モジュール１０と、クラウドエンドサーバがオーディオストリーム及び現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成するように、クラウドエンドサーバへ採集モジュール１０によって採集されたオーディオストリーム及び現在インタフェースにおける要素の情報を送信するためのものであって、クラウドエンドサーバによって返送された応答メッセージも受信するための送受信モジュール１１と、送受信モジュール１１によって受信された応答メッセージに含まれた目標要素の情報に基づいて、現在インタフェースにおいて対応する目標要素に関して予め設定された効果展示を実行し、音声指令のインタラクティブフィードバックとするための実行モジュール１２と、を含み、ただし、上記目標要素は、オーディオストリームに対応する音声指令の意図がヒットした現在インタフェースにおける要素である。
本実施例のスマートテレビ装置において、上記モジュールを採用することでスマートテレビの音声インタラクティブフィードバックを実現する実現原理及び技術効果は、上記相関方法の実施例の実現と同じであり、詳細は上記相関方法の実施例の記載を参照することができ、ここで贅言しない。
図４は、本発明に係るスマートテレビ装置の実施例２の構成図である。図４に示すように、本実施例に係るスマートテレビ装置に関して、上記図３に示す実施例の技術案を基礎として、更に詳細に本発明の技術案を紹介する。
図４に示すように、本実施例に係るスマートテレビ装置は、採集モジュール１０がスマートテレビの現在インタフェースにおける要素の情報を採集した後に、キャッシュに採集モジュール１０によって採集された現在インタフェースにおける要素の情報を記憶するための記憶モジュール１３を更に含み、
この場合、相応的に、実行モジュール１２は、具体的に、送受信モジュール１１によって受信された応答メッセージに含まれた目標要素の情報に基づいて、記憶モジュール１３によってキャッシュに記憶された現在インタフェースにおける要素の情報から対応する目標要素を捜索すること、現在インタフェースにおいて対応する目標要素に関して予め設定された効果展示を実行することに用いられる。
更に好ましくは、本実施例に係るスマートテレビ装置において、現在インタフェースにおける要素の情報は、現在インタフェースにおける要素の位置、表示された文字及び階層結構情報を含む。
本実施例に係るスマートテレビ装置において、上記モジュールを採用することでスマートテレビの音声インタラクティブフィードバックを実現する実現原理及び技術効果は、上記相関方法の実施例の実現と同じであり、詳細は上記相関方法の実施例の記載を参照することができ、ここで贅言しない。
図５は、本発明に係るクラウドエンドサーバの実施例１の構成図である。図５に示すように、本実施例のクラウドエンドサーバは、具体的に、スマートテレビによって送信された、ユーザの音声指令に対応するオーディオストリーム及びスマートテレビの現在インタフェースにおける要素の情報を受信するための送受信モジュール２０と、送受信モジュール２０によって受信されたオーディオストリーム及び現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成するための生成モジュール２１とを含み、ただし、目標要素は、オーディオストリームに対応する音声指令の意図がヒットした現在インタフェースにおける要素であり、送受信モジュール２０は、スマートテレビが応答メッセージに含まれた目標要素の情報に基づいて、現在インタフェースにおいて対応する目標要素に関して予め設定された効果展示を実行し、音声指令のインタラクティブフィードバックとするように、スマートテレビへ生成モジュール２１に生成された応答メッセージを返送することにも用いられる。
本実施例に係るクラウドエンドサーバにおいて、上記モジュールを採用することでスマートテレビの音声インタラクティブフィードバックを実現する実現原理及び技術効果は、上記相関方法の実施例の実現と同じであり、詳細は上記相関方法の実施例の記載を参照することができ、ここで贅言しない。
図６は、本発明に係るクラウドエンドサーバの実施例２の構成図である。図６に示すように、本実施例に係るクラウドエンドサーバに関して、上記図５に示す実施例の技術案を基礎として、更に詳細に本発明の技術案を紹介する。
図６に示すように、本実施例に係るクラウドエンドサーバにおいて、生成モジュール２１は、送受信モジュール２０によって受信されたオーディオストリーム及び現在インタフェースにおける要素の情報に基づいて、オーディオストリームに対応する音声指令の意図がヒットした現在インタフェースにおける目標要素を識別するための識別手段２１１と、識別手段２１１によって識別された目標要素の情報に基づいて応答メッセージを生成するための生成手段２１２と、を含む。
更に好ましくは、本実施例のクラウドエンドサーバにおいて、識別手段２１１は、具体的に、送受信モジュール２０によって受信されたオーディオストリームを音声識別して、オーディオストリームに対応する音声指令に対応する文字指令を取得すること、文字指令に対して自然言語理解処理を行って、音声指令の意図を識別すること、音声指令の意図と現在インタフェースにおける要素の情報とを比較して、音声指令の意図がヒットした現在インタフェースにおける目標要素を識別するために用いられる。
更に好ましくは、本実施例に係るクラウドエンドサーバにおいて、現在インタフェースにおける要素の情報は、現在インタフェースにおける要素の位置、表示された文字及び階層結構情報を含む。
本実施例に係るクラウドエンドサーバにおいて、上記モジュールを採用することでスマートテレビの音声インタラクティブフィードバックを実現する実現原理及び技術効果は、上記相関方法の実施例の実現と同じであり、詳細は上記相関方法の実施例の記載を参照することができ、ここで贅言しない。
図７は、本発明に係るスマートテレビの音声インタラクティブシステムの実施例の構成図である。図７に示すように、本実施例に係るスマートテレビの音声インタラクティブシステムは、スマートテレビ装置３０とクラウドエンドサーバ４０とを含み、スマートテレビ装置３０とクラウドエンドサーバ４０とを通信可能に接続し、スマートテレビ装置３０は、上記図３或いは図４に記載のスマートテレビ装置を採用し、クラウドエンドサーバ４０は、上記図５或いは図６に記載のクラウドエンドサーバを採用し、具体的に、上記図１或いは図２に示す実施例のスマートテレビの音声インタラクティブフィードバック方法を採用して音声インタラクティブを実現することができ、詳細は上記相関実施例の記載を参照することができ、ここで贅言しない。
図８は、本発明に係るコンピュータ設備の実施例の構成図である。図８に示すように、本実施例のコンピュータ設備は、メモリ６０及び１つ或いは複数のプロセッサ５０を含み、メモリ６０は、１つ或いは複数のプログラムを記憶するためのものであり、メモリ６０に記憶された１つ或いは複数のプログラムが１つ或いは複数のプロセッサ５０によって実行される時、１つ或いは複数のプロセッサ５０に上記図１或いは図２に示す実施例のスマートテレビの音声インタラクティブフィードバック方法を実現させる。図８に示す実施例において複数のプロセッサ５０を含むことを例とする。
例えば、図９は、本発明に関するコンピュータ設備の例の図である。図９は、本発明の実施形態を実現するために適応する例示的なコンピュータ設備１２ａのブロック図を示す。図９に示すコンピュータ設備１２ａは、１つの例だけであり、本発明の実施例の機能及び使用範囲を制限していない。
図９に示すように、コンピュータ設備１２ａは、汎用演算設備の形態で表現される。コンピュータ設備１２ａの構成要素は、１つ又は複数のプロセッサ１６ａと、システムメモリ２８ａと、異なるシステム構成要素（システムメモリ２８ａとプロセッサ１６ａとを含む）を接続するためのバス１８ａを含んでいるが、これに限定されない。
バス１８ａは、複数種類のバス構成の中の１つ又は複数の種類を示し、メモリバス又はメモリコントローラ、周辺バス、グラフィック加速ポート、プロセッサ又は複数種類のバス構成の中のいずれかのバス構成を使用したローカルバスを含む。例えば、それらの架構は、工業標準架構（ＩＳＡ）バス、マイクロチャンネル架構（ＭＡＣ）バス、増強型ＩＳＡバス、ビデオ電子規格協会（ＶＥＳＡ）ローカルバス及び周辺コンポーネント接続（ＰＣＩ）バスを含んでいるが、これに限定されない。
コンピュータ設備１２ａは、典型的には複数のコンピュータシステム読取り可能な媒体を含む。それらの媒体は、コンピュータ設備１２ａにアクセスされて使用可能な任意な媒体であり、揮発性の媒体と不揮発性の媒体や移動可能な媒体と移動不可な媒体を含む。
システムメモリ２８ａは、揮発性メモリ形態のコンピュータシステム読取り可能な媒体、例えばランダムアクセスメモリ（ＲＡＭ）３０ａ及び／又はキャッシュメモリ３２ａを含むことができる。コンピュータ設備１２ａは、更に他の移動可能／移動不可なコンピュータシステム記憶媒体や揮発性／不揮発性のコンピュータシステム記憶媒体を含むことができる。例だけとして、ストレジ３４ａは、移動不可能な不揮発性磁媒体を読み書くために用いられる（図９に示していないが、常に「ハードディスクドライブ」とも呼ばれる）。図９に示していないが、移動可能な不揮発性磁気ディスク（例えば「フレキシブルディスク」）に対して読み書きを行うための磁気ディスクドライブ、及び移動可能な不揮発性光ディスク（例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ又は他の光媒体）に対して読み書きを行うための光ディスクドライブを提供できる。このような場合、ドライブは、それぞれ１つ又は複数のデータ媒体インタフェースによってバス１８ａに接続される。システムメモリ２８ａは少なくとも１つのプログラム製品を含み、該プログラム製品は１組の（例えば少なくとも１つの）プログラムモジュールを含み、それらのプログラムモジュールは、本発明の図１、図３及び図４の各実施例の機能を実行する、或いは、本発明の図２、図５及び図６の各実施例の機能を実行するように配置される。
１組の（少なくとも１つの）プログラムモジュール４２ａを含むプログラム／実用ツール４０ａは、例えばシステムメモリ２８ａに記憶され、このようなプログラムモジュール４２ａは、オペレーティングシステム、１つの又は複数のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含んでいるが、これに限定しておらず、それらの例示での１つ又はある組み合にはネットワーク環境の実現を含む可能性がある。プログラムモジュール４２ａは、常に本発明に記載されている上記図１、図３と図４の各実施例における功能及び／或いは方法、或いは本発明に記載されている上記図２、図５と図６の各実施例における功能及び／或いは方法を実行する。
コンピュータ設備１２ａは、１つ又は複数の周辺設備１４ａ（例えばキーボード、ポインティングデバイス、ディスプレイ２４ａ等）と通信を行ってもよく、１つ又は複数のユーザと該コンピュータ設備１２ａとのインタラクティブを実現することができる設備と通信を行ってもよく、及び／又は該コンピュータ設備１２ａと１つ又は複数の他の演算設備との通信を実現することができるいずれかの設備（例えばネットワークカード、モデム等）と通信を行っても良い。このような通信は入力／出力（Ｉ／Ｏ）インタフェース２２ａによって行うことができる。そして、コンピュータ設備１２ａは、ネットワークアダプタ２０ａによって、１つ又は複数のネットワーク（例えばローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）及び／又は公衆回線網、例えばインターネット）と通信を行っても良い。図に示すように、ネットワークアダプタ２０ａは、バス１８ａによってコンピュータ設備１２ａの他のモジュールと通信を行う。当然のことながら、図に示していないが、コンピュータ設備１２ａと連携して他のハードウェア及び／又はソフトウェアモジュールを使用することができ、マイクロコード、設備ドライブ、冗長処理手段、外部磁気ディスクドライブアレイ、ＲＡＩＤシステム、磁気テープドライブ及びデータバックアップストレジ等を含むが、これに限定されない。
プロセッサ１６ａは、メモリ２８ａに記憶されているプログラムを実行することで、様々な機能応用及びデータ処理、例えば上記実施例に記載されたスマートテレビの音声インタラクティブフィードバック方法を実現する。
本発明は、コンピュータプログラムが記憶されているコンピュータ読取り可能なものであって、当該プログラムがプロセッサによって実行される時、上記実施例に記載されたスマートテレビの音声インタラクティブフィードバック方法を実現するコンピュータ読取り可能な記憶媒体を提供する。
本実施例のコンピュータ読み取り可能な媒体は、上記図９に示す実施例に示したシステムメモリ２８ａにおけるＲＡＭ３０ａ、及び／或いはキャッシュメモリ３２ａ、及び／或いは記憶システム３４ａを含むことができる。
時間及び技術の発達に伴い、コンピュータプログラムの伝送方式も、有形媒体に限らず、ネットワーク等から直接ダウンロードすることもでき、或いは他の方式を採用して取得することもできる。従って、本実施例におけるコンピュータ読み取り可能な媒体は、有形媒体だけでなく、無形媒体を含んでもよい。
本実施例のコンピュータ読み取り可能な媒体は、１つ又は複数のコンピュータ読取り可能な媒体の任意な組合を採用しても良い。コンピュータ読取り可能な媒体は、コンピュータ読取り可能な信号媒体又はコンピュータ読取り可能な記憶媒体である。コンピュータ読取り可能な記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、或いは上記ものの任意な組合であるが、これに限定されない。コンピュータ読取り可能な記憶媒体の更なる具体的な例（網羅していないリスト）は、１つ又は複数のワイヤを具備する電気的な接続、携帯式コンピュータ磁気ディスク、ハードディクス、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュ）、光ファイバー、携帯式コンパクト磁気ディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、光メモリ部材、磁気メモリ部材、又は上記ものの任意で適当な組合を含む。本願において、コンピュータ読取り可能な記憶媒体は、プログラムを含む又は記憶する任意な有形媒体であってもよく、該プログラムは、命令実行システム、装置又はデバイスに使用される又はそれらと連携して使用されることができる。
コンピュータ読取り可能な信号媒体は、ベースバンドにおいて伝搬されるデータ信号或いはキャリアの一部として伝搬されるデータ信号を含み、それにコンピュータ読取り可能なプログラムコードが載っている。このような伝搬されるデータ信号について、複数種類の形態を採用でき、電磁気信号、光信号又はそれらの任意で適当な組合を含んでいるが、これに限定されない。コンピュータ読取り可能な信号媒体は、コンピュータ読取り可能な記憶媒体以外の任意なコンピュータ読取り可能な媒体であってもよく、該コンピュータ読取り可能な媒体は、命令実行システム、装置又はデバイスによって使用される又はそれと連携して使用されるプログラムを送信、伝搬又は転送できる。
コンピュータ読取り可能な媒体に記憶されたプログラムコードは、任意で適正な媒体によって転送されてもよく、無線、電線、光ケーブル、ＲＦ等、又は上記ものの任意で適当な組合が含まれているが、これらに限定されない。
１つ又は複数のプログラミング言語又はそれらの組合によって、本発明の操作を実行するためのコンピュータプログラムコードを編集することができ、上記プログラミング言語には、オブジェクト向けのプログラミング言語、例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋が含まれ、通常のプロシージャ向けのプログラミング言語、例えば「Ｃ」言語又は類似しているプログラミング言語も含まれる。プログラムコードは、完全的にユーザコンピュータに実行されてもよく、部分的にユーザコンピュータに実行されてもよく、１つの独立のソフトウェアパッケージとして実行されてもよく、部分的にユーザコンピュータに実行され且つ部分的に遠隔コンピュータに実行されてもよく、又は完全的に遠隔コンピュータ又はサーバに実行されてもよい。遠隔コンピュータに係る場合に、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザコンピュータ、又は、外部コンピュータに接続できる（例えば、インターネットサービス事業者を利用してインターネットを介して接続できる）。
本発明に開示されたいくつの実施例で開示されたシステム、装置および方法などが、他の形態によって実現できることを理解すべきだ。例えば、上述装置に関する実施形態は例示だけであり、例えば、上記手段の区分がロジック機能上の区分だけであり、実際に実現する時、他の区分方式であってもよい。
上記分離部品として説明された手段が、物理的に分離されてもよく、物理的に分離されなくてもよく、手段として表現された部品が、物理手段でもよく、物理手段でなくてもよく、１つの箇所に位置してもよく、又は複数のネットワークセルに分布されても良い。実際の必要に基づいて、その中の一部又は全部を選択して、本実施例の態様の目的を実現することができる。
また、本発明の各実施例における各機能手段が１つの処理手段に集積されてもよく、各手段が物理的に独立に存在してもよく、２つ又は２つ以上の手段が１つの手段に集積されても良い。上記集積された手段は、ハードウェアの形態で実現してもよく、ハードウェア＋ソフトウェア機能手段の形態で実現しても良い。
上記ソフトウェア機能手段の形態で実現する集積された手段は、１つのコンピュータ読取り可能な記憶媒体に記憶されることができる。上記ソフトウェア機能手段は１つの記憶媒体に記憶されており、１台のコンピュータ設備（パソコン、サーバ、又はネットワーク設備等）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本発明の各実施例に記載された方法の一部の手順を実行させるための若干の命令を含む。上記記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、リードオンリーメモリ（ＲＯＭ，Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ，Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等の、プログラムコードを記憶できる媒体を含む。
以上の説明は、本発明の好ましい例示だけであり、本発明を限定するものではなく、本発明の主旨及び原則の範囲で行われたいずれの修正、等価置換、改良なども、すべて本発明の保護範囲に属すべきである。

Claims (17)

  1. スマートテレビの音声インタラクティブフィードバック方法であって、
    ユーザが音声指令を発したオーディオストリーム及びスマートテレビの現在インタフェースにおける要素の情報を採集すること、
    クラウドエンドサーバが前記オーディオストリーム及び前記現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成するように、前記クラウドエンドサーバへ前記オーディオストリーム及び前記現在インタフェースにおける要素の情報を送信すること、
    前記クラウドエンドサーバによって返送された前記応答メッセージを受信すること、
    前記応答メッセージに含まれた前記目標要素の情報に基づいて、前記現在インタフェースにおいて対応する前記目標要素に関して予め設定された効果展示を実行し、前記音声指令のインタラクティブフィードバックとすること、を含み、
    ただし、前記目標要素は、前記オーディオストリームに対応する前記音声指令の意図がヒットした前記現在インタフェースにおける要素である
    スマートテレビの音声インタラクティブフィードバック方法。
  2. ユーザが音声指令を発したオーディオストリーム及びスマートテレビの現在インタフェースにおける要素の情報を採集した後、前記現在インタフェースにおける要素の情報をキャッシュに記憶すること、を更に含み、
    前記応答メッセージに含まれた前記目標要素の情報に基づいて、前記現在インタフェースにおいて対応する前記目標要素に関して予め設定された効果展示を実行することは、具体的に、
    前記応答メッセージに含まれた前記目標要素の情報に基づいて、前記キャッシュに記憶された前記現在インタフェースにおける要素の情報から対応する前記目標要素を捜索すること、
    前記現在インタフェースにおいて対応する前記目標要素に関して予め設定された効果展示を実行すること、を含む
    請求項１に記載されたスマートテレビの音声インタラクティブフィードバック方法。
  3. 前記現在インタフェースにおける要素の情報は、前記現在インタフェースにおける前記要素の位置、表示された文字及び階層結構情報を含む
    請求項１または２に記載されたスマートテレビの音声インタラクティブフィードバック方法。
  4. スマートテレビの音声インタラクティブフィードバック方法であって、
    スマートテレビによって送信された、ユーザの音声指令に対応するオーディオストリーム及び前記スマートテレビの現在インタフェースにおける要素の情報を受信すること、
    前記オーディオストリーム及び前記現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成すること、
    前記スマートテレビが前記応答メッセージに含まれた前記目標要素の情報に基づいて、前記現在インタフェースにおいて対応する前記目標要素に関して予め設定された効果展示を実行し、前記音声指令のインタラクティブフィードバックとするように、前記スマートテレビへ前記応答メッセージを返送すること、を含み、
    ただし、前記目標要素は、前記オーディオストリームに対応する前記音声指令の意図がヒットした前記現在インタフェースにおける要素である
    スマートテレビの音声インタラクティブフィードバック方法。
  5. 前記オーディオストリーム及び前記現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成することは、具体的に
    前記オーディオストリーム及び前記現在インタフェースにおける要素の情報に基づいて、前記オーディオストリームに対応する前記音声指令の意図がヒットした前記現在インタフェースにおける目標要素を識別すること、
    前記目標要素の情報に基づいて応答メッセージを生成すること、を含む
    請求項４に記載されたスマートテレビの音声インタラクティブフィードバック方法。
  6. 前記オーディオストリーム及び前記現在インタフェースにおける要素の情報に基づいて、前記オーディオストリームに対応する前記音声指令の意図がヒットした前記現在インタフェースにおける目標要素を識別することは、具体的に
    前記オーディオストリームに対して音声識別を行い、前記オーディオストリームに対応する前記音声指令に対応する文字指令を取得すること、
    前記文字指令に対して自然言語理解処理を行い、前記音声指令の意図を識別すること、
    前記音声指令の意図と前記現在インタフェースにおける要素の情報とを比較して、前記音声指令の意図がヒットした前記現在インタフェースにおける目標要素を識別すること、を含む
    請求項５に記載されたスマートテレビの音声インタラクティブフィードバック方法。
  7. 前記現在インタフェースにおける要素の情報は、前記現在インタフェースにおける前記要素の位置、表示された文字及び階層結構情報を含む
    請求項４〜６のいずれか1項に記載されたスマートテレビの音声インタラクティブフィードバック方法。
  8. スマートテレビ装置であって、
    ユーザが音声指令を発したオーディオストリーム及びスマートテレビの現在インタフェースにおける要素の情報を採集するための採集モジュールと、
    クラウドエンドサーバが前記オーディオストリーム及び前記現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成するように、前記クラウドエンドサーバへ前記オーディオストリーム及び前記現在インタフェースにおける要素の情報を送信し、且つ、前記クラウドエンドサーバによって返送された前記応答メッセージも受信するための送受信モジュールと、
    前記応答メッセージに含まれた前記目標要素の情報に基づいて、前記現在インタフェースにおいて対応する前記目標要素に関して予め設定された効果展示を実行し、前記音声指令のインタラクティブフィードバックとするための実行モジュールと、を含み、
    ただし、前記目標要素は、前記オーディオストリームに対応する前記音声指令の意図がヒットした前記現在インタフェースにおける要素である
    スマートテレビ装置。
  9. スマートテレビ装置のキャッシュには前記現在インタフェースにおける要素の情報を記憶するための記憶モジュールを更に含み、
    前記実行モジュールは、具体的に
    前記応答メッセージに含まれた前記目標要素の情報に基づいて、前記キャッシュに記された前記現在インタフェースにおける要素の情報から対応する前記目標要素を捜索すること、
    前記現在インタフェースにおいて対応する前記目標要素に関して予め設定された効果展示を実行するために用いられる
    請求項８に記載されたスマートテレビ装置。
  10. 前記現在インタフェースにおける要素の情報は、前記現在インタフェースにおける前記要素の位置、表示された文字及び階層結構情報を含む
    請求項８または９に記載されたスマートテレビ装置。
  11. クラウドエンドサーバであって、
    スマートテレビによって送信された、ユーザの音声指令に対応するオーディオストリーム及び前記スマートテレビの現在インタフェースにおける要素の情報を受信するための送受信モジュールと、
    前記オーディオストリーム及び前記現在インタフェースにおける要素の情報に基づいて、目標要素を含む情報応答メッセージを生成するための生成モジュールと、を含み、
    前記送受信モジュールは、前記スマートテレビが前記応答メッセージに含まれた前記目標要素の情報に基づいて、前記現在インタフェースにおいて対応する前記目標要素に関して予め設定された効果展示を実行し、前記音声指令のインタラクティブフィードバックとするように、前記スマートテレビへ前記応答メッセージを返送することにも用いられ、
    ただし、前記目標要素は、前記オーディオストリームに対応する前記音声指令の意図がヒットした前記現在インタフェースにおける要素である
    クラウドエンドサーバ。
  12. 前記生成モジュールは、
    前記オーディオストリーム及び前記現在インタフェースにおける要素の情報に基づいて、前記オーディオストリームに対応する前記音声指令の意図がヒットした前記現在インタフェースにおける目標要素を識別するための識別手段と、
    前記目標要素の情報に基づいて応答メッセージを生成するための生成手段と、を含む
    請求項１１に記載されたクラウドエンドサーバ。
  13. 前記識別手段は、具体的に
    前記オーディオストリームに対して音声識別を行い、前記オーディオストリームに対応する前記音声指令に対応する文字指令を取得し、
    前記文字指令に対して自然言語理解処理を行い、前記音声指令の意図を識別し、
    前記音声指令の意図と前記現在インタフェースにおける要素の情報とを比較して、前記音声指令の意図がヒットした前記現在インタフェースにおける目標要素を識別することに用いられる
    請求項１２に記載されたクラウドエンドサーバ。
  14. 前記現在インタフェースにおける要素の情報は、前記現在インタフェースにおける前記要素の位置、表示された文字及び階層結構情報を含む
    請求項１１〜１３のいずれか１項に記載されたクラウドエンドサーバ。
  15. スマートテレビの音声インタラクティブシステムであって、
    スマートテレビ装置とクラウドエンドサーバとを含み、
    前記スマートテレビ装置と前記クラウドエンドサーバとを通信可能に接続し、
    前記スマートテレビ装置に請求項８〜１０のいずれか１項に記載されたスマートテレビ装置を採用し、
    前記クラウドエンドサーバに請求項１１〜１４のいずれか1項に記載されたクラウドエンドサーバを採用する
    スマートテレビの音声インタラクティブシステム。
  16. コンピュータ設備であって、
    １つ或いは複数のプロセッサと、
    １つ或いは複数のプログラムを記憶するためのメモリと、を含み、
    前記１つ或いは複数のプログラムが前記１つ或いは複数のプロセッサによって実行される時、前記１つ或いは複数のプロセッサに請求項１〜３のいずれか1項に記載された方法、或いは請求項４〜７のいずれか1項に記載された方法を実現させる
    コンピュータ設備。
  17. プロセッサによって実行される時、請求項１〜３のいずれか1項に記載された方法、或いは請求項４〜７のいずれか1項に記載された方法を実現する
    コンピュータプログラム。
JP2018219135A 2018-03-09 2018-11-22 スマートテレビの音声インタラクティブフィードバック方法、システム及びコンピュータプログラム Active JP6713034B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810195553.5 2018-03-09
CN201810195553.5A CN108683937B (zh) 2018-03-09 2018-03-09 智能电视的语音交互反馈方法、系统及计算机可读介质

Publications (2)

Publication Number Publication Date
JP2019161636A JP2019161636A (ja) 2019-09-19
JP6713034B2 true JP6713034B2 (ja) 2020-06-24

Family

ID=63799410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018219135A Active JP6713034B2 (ja) 2018-03-09 2018-11-22 スマートテレビの音声インタラクティブフィードバック方法、システム及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US10971145B2 (ja)
JP (1) JP6713034B2 (ja)
CN (1) CN108683937B (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584870A (zh) * 2018-12-04 2019-04-05 安徽精英智能科技有限公司 一种智能语音交互服务方法及系统
CN111696534B (zh) * 2019-03-15 2023-05-23 阿里巴巴集团控股有限公司 语音交互设备和系统、设备控制方法、计算设备以及介质
CN110085224B (zh) * 2019-04-10 2021-06-01 深圳康佳电子科技有限公司 智能终端全程语音操控处理方法、智能终端及存储介质
CN112201230A (zh) * 2019-07-08 2021-01-08 安徽华米信息科技有限公司 语音响应方法、装置、设备以及存储介质
CN115145529B (zh) * 2019-08-09 2023-05-09 华为技术有限公司 语音控制设备的方法及电子设备
US11782976B2 (en) * 2019-09-27 2023-10-10 Boe Technology Group Co., Ltd. Method for querying information and display device
CN110660391A (zh) * 2019-09-29 2020-01-07 苏州思必驰信息科技有限公司 基于rpa接口实现大屏终端语音控制的定制方法及系统
CN111263236B (zh) * 2020-02-21 2022-04-12 广州欢网科技有限责任公司 电视机应用的语音适配方法和装置及语音控制方法
CN112309388A (zh) * 2020-03-02 2021-02-02 北京字节跳动网络技术有限公司 用于处理信息的方法和装置
CN113497980A (zh) * 2020-03-20 2021-10-12 佛山市云米电器科技有限公司 界面模式显示方法、云服务器、电视机、系统和存储介质
CN112051748A (zh) * 2020-09-15 2020-12-08 北京百度网讯科技有限公司 智能家居车载控制方法、装置、设备以及存储介质
CN112351097A (zh) * 2020-11-05 2021-02-09 深圳Tcl新技术有限公司 设备控制方法、装置、发送端以及存储介质
CN112581941A (zh) * 2020-11-17 2021-03-30 北京百度网讯科技有限公司 音频识别方法、装置、电子设备及存储介质
CN114679614B (zh) * 2020-12-25 2024-02-06 深圳Tcl新技术有限公司 一种语音查询方法、智能电视及计算机可读存储介质
CN112869676B (zh) * 2021-01-11 2022-04-26 佛山市顺德区美的洗涤电器制造有限公司 用于洗碗机的控制方法、控制装置、显示装置及洗碗机
CN112885354B (zh) * 2021-01-25 2022-09-23 海信视像科技股份有限公司 一种显示设备、服务器及基于语音的显示控制方法
CN113889108B (zh) * 2021-10-19 2024-06-25 清华大学 一种语音操作的纠错方法及系统
CN114286183A (zh) * 2021-12-24 2022-04-05 深圳创维－Rgb电子有限公司 智能电视人机交互方法、智能电视及计算机可读存储介质
CN114415875B (zh) * 2022-01-20 2024-08-13 京东方科技集团股份有限公司 智慧交互平板及其功能设置方法、外接pc设备
CN114898746A (zh) * 2022-04-12 2022-08-12 青岛海尔科技有限公司 交互方法和装置、存储介质及电子装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6499015B2 (en) * 1999-08-12 2002-12-24 International Business Machines Corporation Voice interaction method for a computer graphical user interface
FR2820872B1 (fr) * 2001-02-13 2003-05-16 Thomson Multimedia Sa Procede, module, dispositif et serveur de reconnaissance vocale
US20060206339A1 (en) * 2005-03-11 2006-09-14 Silvera Marja M System and method for voice-enabled media content selection on mobile devices
JP2006330576A (ja) * 2005-05-30 2006-12-07 Sharp Corp 機器操作システム、音声認識装置、電子機器、情報処理装置、プログラム、及び記録媒体
US7940338B2 (en) * 2006-10-31 2011-05-10 Inventec Corporation Voice-controlled TV set
CA2717992C (en) * 2008-03-12 2018-01-16 E-Lane Systems Inc. Speech understanding method and system
US10540976B2 (en) * 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
JP4811507B2 (ja) * 2009-08-25 2011-11-09 コニカミノルタビジネステクノロジーズ株式会社 画像処理システム、画像処理装置及び情報処理装置
US10013976B2 (en) * 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
WO2013022218A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Electronic apparatus and method for providing user interface thereof
US8793136B2 (en) * 2012-02-17 2014-07-29 Lg Electronics Inc. Method and apparatus for smart voice recognition
KR102056461B1 (ko) * 2012-06-15 2019-12-16 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
US9575720B2 (en) * 2013-07-31 2017-02-21 Google Inc. Visual confirmation for a recognized voice-initiated action
JP6440513B2 (ja) * 2014-05-13 2018-12-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 音声認識機能を用いた情報提供方法および機器の制御方法
JP2016014967A (ja) * 2014-07-01 2016-01-28 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報管理方法
KR102298767B1 (ko) * 2014-11-17 2021-09-06 삼성전자주식회사 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법
US20170047063A1 (en) * 2015-03-31 2017-02-16 Sony Corporation Information processing apparatus, control method, and program
CN105988915A (zh) * 2015-06-03 2016-10-05 乐卡汽车智能科技（北京）有限公司 一种应用程序运行状态的展示方法及装置
CN105681829A (zh) * 2016-01-12 2016-06-15 深圳市茁壮网络股份有限公司 一种面向电视终端的消息处理方法及装置
CN107369446A (zh) * 2017-06-28 2017-11-21 北京小米移动软件有限公司 处理状态提示方法、装置以及计算机可读存储介质
CN107608652B (zh) * 2017-08-28 2020-05-22 三星电子（中国）研发中心 一种语音控制图形界面的方法和装置

Also Published As

Publication number Publication date
US10971145B2 (en) 2021-04-06
CN108683937B (zh) 2020-01-21
JP2019161636A (ja) 2019-09-19
CN108683937A (zh) 2018-10-19
US20190279628A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
JP6713034B2 (ja) スマートテレビの音声インタラクティブフィードバック方法、システム及びコンピュータプログラム
JP6999594B2 (ja) 映像再生方法及び装置
US10249301B2 (en) Method and system for speech recognition processing
CN109658932B (zh) 一种设备控制方法、装置、设备及介质
CN108012173B (zh) 一种内容识别方法、装置、设备和计算机存储介质
JP2019046468A (ja) インターフェイススマートインタラクティブ制御方法、装置、システム及びプログラム
WO2020078300A1 (zh) 一种终端投屏的控制方法和终端
JP2020527753A (ja) ビューに基づく音声インタラクション方法、装置、サーバ、端末及び媒体
CN111327910A (zh) 应用程序的操作控制方法、装置、设备及存储介质
CN111539217B (zh) 一种用于自然语言内容标题消歧的方法、设备和系统
WO2019184498A1 (zh) 视频交互方法、计算机设备及存储介质
CN113157241A (zh) 交互设备、交互装置及交互系统
JP6944920B2 (ja) スマートインタラクティブの処理方法、装置、設備及びコンピュータ記憶媒体
JP6715307B2 (ja) 設備の発見方法、装置、設備及びプログラム
WO2020007083A1 (zh) 视频关联信息的处理方法、装置、电子设备及存储介质
US20210193144A1 (en) Electronic apparatus and control method thereof
CN117615172A (zh) 视频流识别方法、装置、计算机设备及存储介质
CN112450116A (zh) 一种宠物管理方法、装置、系统、设备及存储介质
KR20190115839A (ko) 영상 콘텐츠 연동형 서비스 제공 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200602

R150 Certificate of patent or registration of utility model

Ref document number: 6713034

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250