JP6867441B2 - 音声要求を処理するための方法および装置 - Google Patents

音声要求を処理するための方法および装置 Download PDF

Info

Publication number
JP6867441B2
JP6867441B2 JP2019122910A JP2019122910A JP6867441B2 JP 6867441 B2 JP6867441 B2 JP 6867441B2 JP 2019122910 A JP2019122910 A JP 2019122910A JP 2019122910 A JP2019122910 A JP 2019122910A JP 6867441 B2 JP6867441 B2 JP 6867441B2
Authority
JP
Japan
Prior art keywords
multimedia resource
target multimedia
playback
web page
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019122910A
Other languages
English (en)
Other versions
JP2020008854A (ja
Inventor
シーチェン・イエ
ジュエ・ファン
ホン・スー
シン・ルオ
シャジュン・ルオ
ディー・ペン
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド, バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
Publication of JP2020008854A publication Critical patent/JP2020008854A/ja
Application granted granted Critical
Publication of JP6867441B2 publication Critical patent/JP6867441B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/433Query formulation using audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/438Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9558Details of hyperlinks; Management of linked annotations
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本願は、コンピュータ技術分野に関し、具体的には音声技術分野に関し、特に音声要求を処理するための方法及び装置に関する。
インテリジェント音声サービスは、音声認識や音声合成などの技術に基づく音声サービス技術である。人工知能技術の発展に伴い、インテリジェント音声サービスは様々なシーンにますます広く応用されている。
インテリジェント音声サービス技術において、一般的にそのバックグラウンドサーバによりメンテナンスされるリソースプールへのアクセスをサポートすることができ、例えばインテリジェントスピーカボックスによる音声サーバの音楽リソースプールにおける音楽の再生をサポートすることができる。ところで、音声サーバのリソースプールにおけるリソース数が限られるため、音声サーバはユーザのニーズに合致するリソースを提供することが困難である可能性がある。
本願の実施例には、音声要求を処理するための方法および装置が提案されている。
第1の態様では、本願の実施例は、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、マルチメディアリソースプール以外のリソースプール内で対象マルチメディアリソースを検索することと、インテリジェント音声デバイスに検索された対象マルチメディアリソースのリンクアドレスと対象マルチメディアリソースを再生する命令とを送信することとを含む音声要求を処理するための方法を提供する。
いくつかの実施例において、上記マルチメディアリソースプール以外のリソースプール内で対象マルチメディアリソースを検索することは、ウェブページを介して前記マルチメディアリソースプール以外のリソースプール内で前記対象マルチメディアリソースを検索することを含み、上記インテリジェント音声デバイスに検索された対象マルチメディアリソースのリンクアドレス及び対象マルチメディアリソースを再生する命令を送信することは、インテリジェント音声デバイスに、検索された対象マルチメディアリソースのリンクアドレスと、ウェブページを介して前記対象マルチメディアリソースを再生する命令とを送信することを含む。
いくつかの実施例において、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、マルチメディアリソースプール以外のリソースプール内で前記対象マルチメディアリソースを検索する前に、上記方法は、取得された音声要求の意図を解析して、音声要求で再生が要求される対象マルチメディアリソースを決定することをさらに含む。
いくつかの実施例において、上記方法は、インテリジェント音声デバイスから送信された、ウェブページで対象マルチメディアリソースの再生が完了した通知メッセージを受信したことに応答して、対象マルチメディアリソースと類似するマルチメディアリソースを検索することと、インテリジェント音声デバイスに対象マルチメディアリソースと類似するマルチメディアリソースを再生する命令を送信することとをさらに含む。
いくつかの実施例において、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、ウェブページで対象マルチメディアリソースを検索した後に、上記方法は、予め設定された再生方式のパラメータ値を、再生方式がウェブページ再生であることを示すためのパラメータ値に設定することをさらに含み、インテリジェント音声デバイスから送信された、ウェブページで対象マルチメディアリソースの再生が完了した通知メッセージを受信したことに応答して、対象マルチメディアリソースと類似するマルチメディアリソースを検索することは、インテリジェント音声デバイスから送信された、ウェブページで対象マルチメディアリソースの再生が完了した通知メッセージを受信したことに応答して、再生方式のパラメータ値を、再生方式が非ウェブページ再生であることを示すためのパラメータ値に設定することと、再生方式のパラメータ値により現在の再生方式が非ウェブページ再生であることが指示されると判定したことに応答して、予め設定されたマルチメディアリソースプール内で対象マルチメディアリソースと類似するマルチメディアリソースを検索することを含む。
いくつかの実施例において、上記方法は、対象マルチメディアリソースの再生状態を変更するための音声要求を受信したことに応答して、インテリジェント音声デバイスにウェブページで対象マルチメディアリソースの再生状態を変更する命令を送信することを更に含む。
第2の態様では、本願の実施例は、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、マルチメディアリソースプール以外のリソースプール内で対象マルチメディアリソースを検索するように構成される検索手段と、インテリジェント音声デバイスに検索された対象マルチメディアリソースのリンクアドレス及び対象マルチメディアリソースを再生する命令を送信するように構成される送信手段と、を備える音声要求を処理するための装置を提供する。
いくつかの実施例において、上記検索手段は、さらに、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、ウェブページを介してマルチメディアリソースプール以外のリソースプール内で対象マルチメディアリソースを検索するように構成され、上記送信手段は、さらに、インテリジェント音声デバイスに検索された対象マルチメディアリソースのリンクアドレス及びウェブページを介して対象マルチメディアリソースを再生する命令を送信するように構成される。
いくつかの実施例において、上記装置は、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、マルチメディアリソースプール以外のリソースプール内で対象マルチメディアリソースを検索する前に、取得された音声要求の意図を解析して、音声要求で再生が要求される対象マルチメディアリソースを決定するように構成される解析手段をさらに備える。
いくつかの実施例において、上記装置は、インテリジェント音声デバイスから送信された、ウェブページで対象マルチメディアリソースの再生が完了した通知メッセージを受信したことに応答して、対象マルチメディアリソースと類似するマルチメディアリソースを検索することと、インテリジェント音声デバイスに対象マルチメディアリソースと類似するマルチメディアリソースを再生する命令を送信するように構成される推薦手段をさらに備える。
いくつかの実施例において、上記装置は、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、ウェブページで対象マルチメディアリソースを検索した後に、予め設定された再生方式のパラメータ値を、再生方式がウェブページ再生であることを示すためのパラメータ値に設定するように構成される設定手段をさらに備え、上記推薦手段は、インテリジェント音声デバイスから送信された、ウェブページで対象マルチメディアリソースの再生が完了した通知メッセージを受信したことに応答して、再生方式のパラメータ値を、再生方式が非ウェブページ再生であることを示すためのパラメータ値に設定して、再生方式のパラメータ値により現在の再生方式が非ウェブページ再生であることが指示されると判定したことに応答して、予め設定されたマルチメディアリソースプール内で対象マルチメディアリソースと類似するマルチメディアリソースを検索するように構成される。
いくつかの実施例において、上記装置は、対象マルチメディアリソースの再生状態を変更するための音声要求を受信したことに応答して、インテリジェント音声デバイスにウェブページで対象マルチメディアリソースの再生状態を変更する命令を送信することように構成される変更手段を更に備える。
第3の態様では、本願の実施例は、1つまたは複数のプロセッサと、1つまたは複数のプログラムを記憶する記憶装置と、を備える電子デバイスであって、1つまたは複数のプログラムを1つまたは複数のプロセッサに実行させることにより、音声要求を処理するための方法を1つまたは複数のプロセッサに実現させる電子デバイスを提供する。
第4の態様では、本願の実施例は、コンピュータプログラムが記憶されているコンピュータ可読媒体であって、コンピュータプログラムが実行される場合、第1態様で提供される音声要求を処理するための方法を実現させる。
本願の上記実施例にかかる音声要求を処理するための方法及び装置は、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、ウェブページ内で対象マルチメディアリソースを検索して、インテリジェント音声デバイスに検索された対象マルチメディアリソースのリンクアドレス及びウェブページを介して対象マルチメディアリソースを再生する命令を送信することにより、音声サービスコンテンツのカバレッジを拡張して、音声サービスの効率を向上させることができる。
本願の他の特徴、目的および利点は、以下の図面を参照して説明される非限定的な実施例を読むことによって、より明らかになる。
本願の実施例を適用可能なシステム構成の一例を示す図である。 本願の音声要求を処理するための方法による1つの実施例を示すフローチャートである。 本願の音声要求を処理するための方法による別の実施例を示すフローチャートである。 本願の音声要求を処理するための方法による更なる別の実施例を示すフローチャートである。 本願の音声要求を処理するための装置の構成概略図である。 本願の実施例の電子デバイスを実現するのに適したコンピュータシステムの構成概略図である。
以下、図面及び実施例を参照しながら本願をさらに詳細に説明する。本明細書に記載された具体的な実施例は、単に本発明を説明するためのものであり、本発明を限定するものではないことが理解されるべきである。なお、説明の便宜上、図面には、かかる発明に関連する部分のみが示されている。
なお、矛盾しない場合に、本願における実施例及び実施例における特徴は互いに組み合わせることができる。以下、図面及び実施例を参照しながら本願を詳細に説明する。
図1は、本願の音声要求を処理するための方法または音声要求を処理するための装置を適用することができる例示的なシステム構成100を示す。
図1に示すように、システム構成100は、インテリジェント音声デバイス101、102、103と、ネットワーク104と、サーバ105とを含むことができる。ネットワーク104は、インテリジェント音声デバイス101、102、103とサーバ105との間で通信リンクの媒体を提供するために使用される。ネットワーク104は、例えば、有線や無線通信リンク、または光ファイバケーブルなどの様々な接続タイプを含むことができる。
ユーザ110は、インテリジェント音声デバイス101、102、103を使用して、ネットワーク104を介してサーバ105と対話して、メッセージなどを送受信することができる。インテリジェント音声デバイス101、102、103は、マイクロフォンおよびスピーカを有し、ユーザおよびサーバ105との直接対話をサポートする様々な電子デバイスとすることができ、例えば、インテリジェントロボット、スマートスピーカボックス、スマートテレビ、スマート冷蔵庫などである。インテリジェント音声デバイス101、102、103は、さらに表示パネルを有することができる。
サーバ105は、音声サービスを提供する音声サーバであってもよく、音声サーバ105は、インテリジェント音声デバイス101、102、103から発行された音声要求を解析して、解析結果に基づいてデータを検索して音声応答情報を生成することができるとともに、音声応答情報をネットワーク104を介してインテリジェント音声デバイス101、102、103にフィードバックすることができる。
なお、本願の実施例が提供する音声要求を処理するための方法は、サーバ105によって実行されてもよく、それに応じて、音声要求を処理するための装置は、サーバ105に設置されてもよい。
なお、サーバは、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバはハードウェアである場合、複数のサーバから構成される分散型サーバクラスタとして実現されてもよく、単一のサーバとして実現されてもよい。サーバはソフトウェアである場合、複数のソフトウェアまたはソフトウェアモジュール(例えば分散型サービスを提供するために使用される複数のソフトウェアモジュール)として実現されてもよく、単一のソフトウェアまたはソフトウェアモジュールとして実現されてもよい。ここでは具体的に限定されるものではない。
図1の端末デバイス、ネットワークおよびサーバの数は、単に例示的なものであることが理解されるべきである。必要に応じて、任意の数の端末デバイス、ネットワークおよびサーバを有することができる。
次に、図2を参照すると、本願の音声要求を処理するための方法による1つの実施例のフロー200が示されている。この音声要求を処理するための方法は、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、マルチメディアリソースプール以外のリソースプール内で対象マルチメディアリソースを検索するステップ201を含む。
本実施例において、音声要求を処理するための方法の実行主体(例えば図1に示すサーバ)は、音声要求を受信して、音声要求において再生が要求される対象マルチメディアリソースを示すための関連情報を抽出することができ、例えば対象マルチメディアリソースのリソース識別子、タイプ識別子、作者識別子などの情報を抽出して、その後抽出された関連情報に基づいて予め設定されたマルチメディアリソースプール内で対象マルチメディアリソースを検索することができる。ここで、予め設定されたマルチメディアリソースプールは、上記実行主体によりメンテナンスされるマルチメディアリソースプールであってもよく、複数種類のデータフォーマットのマルチメディアリソースプールを含むことができ、例えば画像リソースプールやビデオリソースプール、オーディオリソースプールなどを含む。
前記実行主体は、抽出された音声要求において再生が要求される対象マルチメディアリソースを示すための関連情報に基づいて、予め設定されたマルチメディアリソースプール内で対象マルチメディアリソースが存在するかどうかを検索することができる。具体的には、対象マルチメディアリソースの関連情報と予め設定されたマルチメディアリソースプールにおける予め設定された各マルチメディアリソースの関連情報とをマッチングして、マッチングされた、予め設定されたマルチメディアリソースを対象マルチメディアリソースの検索結果とすることができる。予め設定されたマルチメディアリソースプールにおいて、関連情報と音声要求で抽出された再生が要求される対象マルチメディアリソースの関連情報とがマッチングしたマルチメディアリソースを検索しなかった場合、予め設定されたマルチメディアリソースプール内に対象マルチメディアリソースが存在しないと判定することができる。
予め設定されたマルチメディアリソースプール内に対象マルチメディアリソースが存在しないと判定された場合、上記予め設定されたマルチメディアリソースプール以外の他のリソースプール内で対象マルチメディアリソースを検索することができる。ここで、予め設定されたマルチメディアリソースプール以外の他のリソースプールは、マルチメディア再生プラットフォームのサーバによりメンテナンスされるマルチメディアリソースプールであってもよく、例えば種々のビデオ再生ソフトウェア又は種々の音楽再生ソフトウェアよりメンテナンスされるマルチメディアリソースプールである。
いくつかの実施例において、上記マルチメディアリソースプール以外のリソースプール内で対象マルチメディアリソースを検索するステップは、ウェブページを介してマルチメディアリソースプール以外のリソースプール内で前記対象マルチメディアリソースを検索することを含むことができる。上記実行主体は、ウェブページブラウザを介してウェブページ内で対象マルチメディアリソースを検索することができる。具体的には、音声要求から抽出された対象マルチメディアリソースの関連情報に基づいて検索条件を生成して、ウェブページ内で検索を開始し、検索エンジンを利用してこの関連情報を満たすマルチメディアリソースを検索することができる。ウェブページ内で検索された、音声要求から抽出された対象マルチメディアリソースを示す関連情報を満たすマルチメディアリソースを検索された対象マルチメディアリソースとすることができる。
実際のシーンにおいて、ユーザはインテリジェント音声デバイス(例えばスマートスピーカボックス)にマルチメディアリソースを再生する要求を送信することができ、例えばユーザが「中国語ロック調な楽曲を再生する」又は「タイタニックのテーマ曲を聞きたい」という要求を送信することができる。スマートスピーカボックスはこの要求を音声サーバに転送することができ、音声サーバは再生が要求される音楽トラックのジャンル情報を示す「中国語ロック」又は所属のアルバムの名称情報である「タイタニック」を抽出して、その後音声サーバのミュージックライブラリ内で対応する音楽トラックが存在するか否かを検索することができる。音声サーバのミュージックライブラリ内で対応する音楽トラックが検索されなかった場合には、ウェブページで「中国語ロック調な楽曲」又は「タイタニックのテーマ曲」を検索することにより対応する音楽トラックを検索することができる。
本実施例のいくつかの選択可能な実施形態において、ステップ201の前に、上記音声要求を処理するための方法は、取得された音声要求の意図を解析して、音声要求で再生が要求される対象マルチメディアリソースを決定することを更に含むことができる。具体的には、インテリジェント音声デバイスを介してユーザが発行した音声要求を取得して、音声認識技術を利用して音声要求を対応するテキストに変換することができる。そして、音声要求に対応するテキストに対して、自然言語処理技術を利用して言語解析を行い、例えばキーワード辞書に基づくキーワード抽出方法でキーワードを抽出して、キーワードに対応する意味を検索することにより、又は音声要求に対応するテキストを訓練された言語解析機械学習モデルに入力して、言語解析結果を取得することにより、音声要求を発行するユーザの意図を取得することができる。選択的に、マルチメディアリソースの属性情報を含むマルチメディアリソース属性情報ベースに基づいて音声要求に対応するテキストとマッチングを行い、マルチメディアリソース属性情報とマッチングしたキーワードを抽出するとともに、音声要求に対応するテキストにおけるキーワードとマッチングしたマルチメディアリソース属性情報に対応するマルチメディアリソースを対象マルチメディアリソースとすることができる。ここで、マルチメディアリソース属性情報ベースは、大量のマルチメディアリソースの属性情報の統計に基づいて取得することができ、複数の作成者の名称、複数のアルバムの名称、複数種類のジャンルタイプラベル、複数の再生人気値などを含むことができる。
上記音声要求を処理するための方法は、インテリジェント音声デバイスに、検索された対象マルチメディアリソースのリンクアドレスと、対象マルチメディアリソースを再生する命令とを送信するステップ202を含む。
ウェブページ内で対象マルチメディアリソースを検索した後に、対象マルチメディアリソースのリンクアドレスを上記実行主体に音声要求を送信するインテリジェント音声デバイスに送信すると同時に、上記実行主体はインテリジェント音声デバイスに対象マルチメディアリソースを再生する命令を送信することができる。対象マルチメディアリソースを再生する命令に再生操作をトリガーする命令が含まれてもよく、この命令が実行された時に、受信された対象マルチメディアリソースのリンクアドレスを呼び出す。
いくつかの実施例において、ステップ201におけるマルチメディアリソースプール以外のリソースプール内で対象マルチメディアリソースを検索するステップが実行される際に、ウェブページを介してマルチメディアリソースプール以外のリソースプール内で対象マルチメディアリソースを検索する方式が採用されると、ステップ202において、インテリジェント音声デバイスに検索された対象マルチメディアリソースのリンクアドレスと、ウェブページを介して対象マルチメディアリソースを再生する命令と、を送信することができる。
上記ウェブページを介して対象マルチメディアを再生する命令は、対象マルチメディアを再生するJava Script(登録商標)命令を含むことができる。インテリジェント音声デバイスは、この対象マルチメディアを再生するJava Script命令を受信した後にこのコマンドを解析し、ウェブページブラウザを起動して、上記実行主体が送信したJava Script命令コードを注入し、「<audio>」タグにより対象マルチメディアコンテンツのリンクアドレスをロードして、即ち「<audio>」タグに対象マルチメディアコンテンツのURL(Uniform Resource Locator)をロードすることにより、対象マルチメディアのコンテンツを再生することができる。
本実施例のいくつかの選択可能な実施形態において、上記インテリジェント音声デバイスは、ウェブページマルチメディアリソース再生を実現するためのモジュールを予め配置することができ、このモジュールにウェブページマルチメディアリソース再生を実現するためのロジックコードが含まれる。インテリジェント音声デバイスは、ウェブページを介して対象マルチメディアリソースを再生する命令を受信すると、ウェブページマルチメディアリソース再生を実現するためのモジュールにおける対応するロジックコードを実行することにより、インテリジェント音声デバイス側でウェブページマルチメディアリソースを再生することを実現することができる。
本実施例の別の選択可能な実施形態において、上記実行主体がインテリジェント音声デバイスに送信するウェブページを介して対象マルチメディアリソースを再生する命令は、HTML5(Hyper Text Markup Language)ウェブページ再生を制御するロジックを実現するためのJava Scriptコードを含むことができる。インテリジェント音声デバイスは、ウェブページを介して対象マルチメディアリソースを再生する命令を受信すると、HTML5ページを開いて、受信したHTML5ページ再生を制御するロジックを実現するためのJava Scriptコードを注入することにより、HTML5ページにおける「<audio>」タグを制御して、マルチメディアリソースの再生を実現することができる。
本願の上記実施例にかかる音声要求を処理するための方法は、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、マルチメディアリソースプール以外のリソースプール内で対象マルチメディアリソースを検索して、インテリジェント音声デバイスに検索された対象マルチメディアリソースのリンクアドレス及び対象マルチメディアリソースを再生する命令を送信することにより、音声サービスコンテンツのカバレッジを拡張して、音声サービスの効率を向上させることができる。
そして、上記実施例のいくつかの選択可能な実現形態において、ウェブページ内で対象マルチメディアのリンクを検索することにより、インテリジェント音声デバイスにウェブページを介して対象マルチメディアリソースを再生する命令を送信することにより、音声によるウェブページマルチメディアリソースの再生制御を実現することができ、音声サービスにおけるリッチメディアのリソースアクセスを実現する。ウェブページマルチメディアリソースを利用して音声サービスコンテンツのカバレッジと音声サービスの方式を有効に拡張することができ、ひいては音声サービスの効率を向上させることができる。
本実施例のいくつかの選択可能な実施形態において、さらに検索された対象マルチメディアリソースの属性情報に基づいて音声応答情報を生成することができる。マルチメディアリソースの属性情報は、マルチメディアリソースの作成者やマルチメディアリソースアルバムの名称、マルチメディアリソースの発行者などを含むことができる。予め設定された音声テンプレートに基づいて、マルチメディア属性情報を音声テンプレートにおける対応するスロットに追加して、音声合成により対応する音声応答情報に変換することができる。例えば、ユーザの音声要求が「タイタニックのテーマ曲を聞きたい」である場合には、「「XX音楽」で「タイタニックのテーマ曲」を検索しました。再生させていただきます」という音声応答情報を生成することができる。ここで、「XX音楽」及び「タイタニックのテーマ曲」は、音声テンプレートにおける対応するスロットに追加されたコンテンツである。
次に、図3を参照すると、本願の音声要求を処理するための方法による別の実施例のフローチャートが示されている。図3に示すように、本実施例の音声要求を処理するための方法のフロー300は、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、ウェブページ内で対象マルチメディアリソースを検索するステップ301を含む。
本実施例において、音声要求を処理するための方法の実行主体(例えば図1に示すサーバ)は、音声要求を受信して、音声要求において再生が要求される対象マルチメディアリソースを示すための関連情報を抽出して、この関連情報を検索条件として、予め設定されたマルチメディアリソースプール内で対象マルチメディアリソースが存在するか否かを検索する。ここで、予め設定されたマルチメディアリソースプールは、上記実行主体によりメンテナンスされるマルチメディアリソースプールであってもよい。予め設定されたマルチメディアリソースプール内で対象マルチメディアリソースを検索しないと、ウェブページを開いて、音声要求において再生が要求される対象マルチメディアリソースを示すための関連情報を検索条件として、ウェブページを介して対象マルチメディアリソースを検索することができる。
本実施例のいくつかの選択可能な実施形態において、ステップ301の前に、取得された音声要求の意図を解析して、音声要求で再生が要求される対象マルチメディアリソースを決定することができる。具体的には、インテリジェント音声デバイスから送信された音声要求を取得した後に、音声認識技術を利用して音声をテキストに変換し、その後テキストに対してキーワード又は意図識別モデルに基づく意図識別を行い、音声要求により再生が請求される対象マルチメディアリソースの識別子、ジャンルタイプ、作成者などの関連情報を決定することができる。
上記音声要求を処理するための方法は、インテリジェント音声デバイスに検索された対象マルチメディアリソースのリンクアドレス及びウェブページを介して対象マルチメディアリソースを再生する命令を送信するステップ302を含む。
ウェブページ内で対象マルチメディアリソースを検索した後に、対象マルチメディアリソースのリンクアドレスを上記実行主体に音声要求を送信するインテリジェント音声デバイスに送信すると同時に、上記実行主体はインテリジェント音声デバイスにウェブページを介して対象マルチメディアリソースを再生する命令を送信することができる。このウェブページを介して対象マルチメディアを再生する命令は、対象マルチメディアを再生するJava Script命令を含むことができる。インテリジェント音声デバイスは、この対象マルチメディアを再生するJava Script命令を受信した後にこの命令を解析し、ウェブページブラウザを起動して、上記実行主体が送信したJava Script命令コードを注入し、「<audio>」タグにより対象マルチメディアコンテンツのリンクアドレスをロードすることにより、対象マルチメディアのコンテンツを再生することができる。
本実施例におけるステップ301、ステップ302は、それぞれ前記実施例のステップ201、ステップ202と一致し、ステップ301、ステップ302の具体的な実施形態は、前記ステップ201、ステップ202の関連説明を参照することができる。
上記音声要求を処理するための方法は、インテリジェント音声デバイスから送信された、ウェブページで対象マルチメディアリソースの再生が完了した通知メッセージを受信したことに応答して、対象マルチメディアリソースと類似するマルチメディアリソースを検索するステップ303を含む。
本実施例において、インテリジェント音声デバイスはウェブページを介して検索された対象マルチメディアリソースを再生した後に、上記実行主体に再生完了の通知メッセージを報知することができる。上記実行主体は、インテリジェント音声デバイスから報知された、ウェブページ内で対象マルチメディアリソースの再生が完了した通知メッセージを受信した後に、対象マルチメディアのコンテンツと類似するコンテンツを検索することができる。
具体的には、マルチメディアリソースに、マルチメディアリソースの属性特徴を示すコンテンツタグが予め構成されることができ、コンテンツタグは、作成者タグ、ジャンルタグ以下を含むが、これらに限定されない。マルチメディアリソースの集合名称タグ、作成時間タグ、タイトルタグなどである。上記実行主体は、対象マルチメディアリソースと類似するマルチメディアリソースを検索する際に、対象マルチメディアリソースと同一又は類似のコンテンツタグを有するマルチメディアリソースを検索することができる。上記実行主体は、マルチメディアリソースのコンテンツの特徴を抽出して、マルチメディアリソースの特徴を取得した後、マルチメディアリソースの特徴同士の類似度に基づいて対象マルチメディアリソースと類似するマルチメディアリソースを検索することができる。
本実施例のいくつかの選択可能な実施形態において、上記実行主体は、インテリジェント音声デバイスが送信された、ウェブページ内で対象マルチメディアリソースの再生が完了した通知メッセージを受信したことに応答して、予め設定されたマルチメディアリソースプール内で対象マルチメディアリソースと類似するマルチメディアリソースを検索することができる。本実施例の他の選択可能な実現形態において、上記実行主体は、インテリジェント音声デバイスから送信された、ウェブページ内で対象マルチメディアリソースの再生が完了した通知メッセージを受信したことに応答し、ウェブページを介して対象マルチメディアリソースと類似するマルチメディアリソースを検索することができる。
本実施例のいくつかの選択可能な実施形態において、上記実行主体に予め設定された再生方式のパラメータが記憶されてもよい。予め設定された再生方式のパラメータは、現在の再生方式がウェブページ再生又は非ウェブページ再生であることを示すために用いられる。ステップ301の後に、音声要求を処理するための方法フロー300は、予め設定された再生方式のパラメータ値を、再生方式がウェブページ再生であることを示すためのパラメータ値に設定することをさらに含むことができる。ステップ303において、上記実行主体はインテリジェント音声デバイスから送信された、ウェブページで対象マルチメディアリソースを再生する通知メッセージを受信したことに応答して、再生方式のパラメータ値を再生方式が非ウェブページ再生であることを示すためのパラメータ値に設定して、再生方式のパラメータ値により現在の再生方式が非ウェブページ再生であることが示されると決定したことに応答して、予め設定されたマルチメディアリソースプール内で対象マルチメディアリソースと類似するマルチメディアリソースを検索することができる。すなわち、対象マルチメディアリソースと類似するマルチメディアリソースを検索する前に、予め設定された再生方式のパラメータ値に基づいて再生方式のパラメータにより現在の再生方式が非ウェブページ再生であることが示されるかどうかを判断することができ、そうであれば、予め設定されたマルチメディアリソースプール内で類似するマルチメディアリソースの検索を行うことができる。
1つの例示的なシーンにおいて、インテリジェント音声デバイスがウェブページ再生を介した音楽の再生が終了した後、音声サーバに対して通知メッセージを送信して現在の音楽の再生が完了したことを通知することができる。この場合、音声サービスは、再生方式のパラメータにより現在の再生方式が非ウェブページ再生であることが示されるように、再生方式のパラメータ値を変更することができる。音声サーバは、自身がメンテナンスする音楽リソースプール内でウェブページを介して再生された音楽と類似する音楽を検索することができる。
上記音声要求を処理するための方法は、インテリジェント音声デバイスに対象マルチメディアリソースと類似するマルチメディアリソースを再生する命令を送信するステップ304を含む。
対象マルチメディアリソースと類似するマルチメディアリソースを検索した後、インテリジェント音声デバイスに対象マルチメディアリソースと類似するマルチメディアリソースを再生する命令を送信することができるとともに、検索された対象マルチメディアリソースと類似するマルチメディアリソースをインテリジェント音声デバイスに送信して、インテリジェント音声デバイスに再生させることができる。
本実施例のいくつかの選択可能な実施形態において、上記実行主体は、さらに、予め設定された音楽推薦音声テンプレートに基づいて、インテリジェント音声デバイスに対象マルチメディアリソースと類似するマルチメディアリソースを再生しようとすることをユーザに通知するための音声情報を送信することができる。例えば、上記実行主体は、インテリジェント音声デバイスに「以下の良好な音楽を推薦させていただきます」という音声情報を送信することができ、インテリジェント音声デバイスはこの音声情報を出力することができる。
図3から分かるように、本実施例においてウェブページでのマルチメディアリソースの再生が終了した後に、類似するマルチメディアリソースを検索して、インテリジェント音声デバイスに応答としての再生命令を送信することにより、ユーザに興味を持つ可能性があるマルチメディアリソースを推薦して、さらに音声サービスの効率を向上させる。
次に、図4を参照すると、本願の音声要求を処理するための方法による別の実施例のフローチャートが示されている。図4に示すように、本実施例の音声要求を処理するための方法のフロー400は、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、ウェブページ内で対象マルチメディアリソースを検索するステップ401を含む。
本実施例において、音声要求を処理するための方法の実行主体(例えば図1に示すサーバ)は、音声要求を受信して、音声要求において再生が要求される対象マルチメディアリソースを示すための関連情報を抽出して、この関連情報を検索条件として、予め設定されたマルチメディアリソースプール内で対象マルチメディアリソースが存在するか否かを検索する。ここで、予め設定されたマルチメディアリソースプールは、上記実行主体によりメンテナンスされるマルチメディアリソースプールであってもよい。予め設定されたマルチメディアリソースプール内で対象マルチメディアリソースを検索しないと、ウェブページを開いて、音声要求において再生が要求される対象マルチメディアリソースを示すための関連情報を検索条件として、ウェブページを介して対象マルチメディアリソースを検索することができる。
本実施例のいくつかの選択可能な実施形態において、ステップ401の前に、取得された音声要求の意図を解析して、音声要求で再生が要求される対象マルチメディアリソースを決定することができる。具体的には、インテリジェント音声デバイスから送信された音声要求を取得した後に、音声認識技術を利用して音声をテキストに変換し、その後テキストに対してキーワード又は意図識別モデルに基づく意図識別を行い、音声要求により再生が請求される対象マルチメディアリソースの識別子、ジャンルタイプ、作成者などの関連情報を決定することができる。
上記音声要求を処理するための方法は、インテリジェント音声デバイスに検索された対象マルチメディアリソースのリンクアドレス及びウェブページを介して対象マルチメディアリソースを再生する命令を送信するステップ402を含む。
ウェブページ内で対象マルチメディアリソースを検索した後に、対象マルチメディアリソースのリンクアドレスを上記実行主体に音声要求を送信するインテリジェント音声デバイスに送信すると同時に、上記実行主体はインテリジェント音声デバイスにウェブページを介して対象マルチメディアリソースを再生する命令を送信することができる。このウェブページを介して対象マルチメディアを再生する命令は、対象マルチメディアを再生するJava Script命令を含むことができる。インテリジェント音声デバイスは、この対象マルチメディアを再生するJava Script命令を受信した後にこの命令を解析し、ウェブページブラウザを起動して、上記実行主体が送信したJava Script命令コードを注入し、「<audio>」タグにより対象マルチメディアコンテンツのリンクアドレスをロードすることにより、対象マルチメディアのコンテンツを再生することができる。
本実施例におけるステップ401、ステップ402は、それぞれ前記実施例のステップ201、ステップ202と一致し、ステップ401、ステップ402の具体的な実施形態は、前記ステップ201、ステップ202の関連説明を参照することができる。
上記音声要求を処理するための方法は、対象マルチメディアリソースの再生状態を変更するための音声要求を受信したことに応答して、インテリジェント音声デバイスにウェブページで対象マルチメディアリソースの再生状態を変更する命令を送信するステップ403を含む。
本実施例では、ウェブページを介した対象マルチメディアリソースの再生を制御することができる。具体的には、ウェブページを介して対象マルチメディアリソースを再生する際に、ユーザがインテリジェント音声デバイスを介して送信した再生状態を変更するための音声要求を受信し、その後、この要求に基づいてウェブページで対象マルチメディアリソースの再生状態を変更するための対応する命令を生成してインテリジェント音声デバイスに送信することができる。ここで、再生状態を変更するための音声要求は、現在の再生状態を他の再生状態に切り替えるための要求である。再生状態の変更には、再生の一時停止、再生の継続、再生の終了、次曲再生、前曲再生などを含むが、これに限定されない。
上記実行主体は、ウェブページを介して対象マルチメディアリソースを再生する過程において受信された音声要求を解析することにより、音声要求を送信したユーザが再生状態を変更する意図を有するかどうかを判断する。例えば、音声要求をテキストメッセージに変換した後に、自然言語処理技術により解析してユーザ意図を取得することができる。ユーザの意図が現在の再生状態に対する変更であると解析した場合に、ユーザの意図に基づいてウェブページで再生状態の変更操作を実行するための対応する命令を生成することができ、例えば再生状態を変更するためのJava Script命令を生成してインテリジェント音声デバイスに送信する。インテリジェント音声デバイスは、ウェブページで受信された命令をロードすることにより、再生状態の変更操作を実行することができる。
選択的に、対象マルチメディアリソースの再生状態を変更する音声要求は、次曲再生が要求される音声要求であってもよく、この場合、上記実行主体は、ユーザの意図が次曲に切り替えて再生することと認識することができ、対象マルチメディアリソースと類似するマルチメディアリソースを検索して、インテリジェント音声デバイスにプッシュして再生されることができる。選択的に、上記実行主体は、さらに、予め設定された再生方式のパラメータ値を再生方式が非ウェブページ再生であることを示すパラメータ値に設定して、その後上記予め設定されたマルチメディアリソースプール内で対象マルチメディアリソースと類似するマルチメディアリソースを検索することができる。
選択的に、対象マルチメディアリソースの再生状態を変更する音声要求は、再生の一時停止/継続を要求する音声要求であってもよい。上記実行主体は、音声要求に基づいてユーザの意図が再生の一時停止又は再生の継続であると認識した場合、現在の再生状態がウェブページ再生状態であるか否かを検出して、そうであれば、インテリジェント音声デバイスにウェブページを介して対象マルチメディアリソースの再生を一時停止/継続するための命令を送信することができ、この命令は、例えばJava Script命令であってもよく、インテリジェント音声デバイスがこのJava Script命令を受信した後に、ウェブページでJava Script命令にレンダリングを注入して、「<audio>タグ」を制御することにより、再生の一時停止又は再生の継続の操作を実行することができる。
選択的に、対象マルチメディアリソースの再生状態を変更する音声要求は、マルチメディアリソースの再生を終了する音声要求であってもよい。上記実行主体は、音声要求に基づいてユーザの意図がマルチメディアリソースの再生を終了することであると識別した場合、現在の再生状態がウェブページ再生であるか否かを検出して、そうであれば、インテリジェント音声デバイスに終了命令を送信することができ、この終了命令は、インテリジェント音声デバイスが開いたウェブページを閉じるように示すことができる。インテリジェント音声デバイスは、終了命令を受信した後にウェブページを閉じてウェブページブラウザを終了することができる。
本実施例のいくつかの選択可能な実施形態において、インテリジェント音声デバイスによる対象マルチメディアリソースの再生が完了した後に、通知メッセージを報知することができ、そうすれば、上記実行主体は、インテリジェントデバイスから送信された、ウェブページ内で対象マルチメディアリソースの再生が完了した通知メッセージを受信したことに応答して、予め設定されたマルチメディアリソースプール又はウェブページ内で対象マルチメディアと類似するマルチメディアリソースを検索して、インテリジェント音声デバイスに対象マルチメディアリソースと類似するマルチメディアリソースを再生する命令を送信することができる。
さらに、上記ステップ401の後に、上記実行主体は、さらに、予め設定された再生方式のパラメータ値を再生方式がウェブページ再生であることを示すためのパラメータ値に設定することができる。この場合、上記実行主体はインテリジェント音声デバイスから送信された、ウェブページで対象マルチメディアリソースを再生する通知メッセージを受信したことに応答して、再生方式のパラメータ値を再生方式が非ウェブページ再生であることを示すためのパラメータ値に設定して、再生方式のパラメータ値により現在の再生方式が非ウェブページ再生であることが示されると決定したことに応答して、予め設定されたマルチメディアリソースプール内で対象マルチメディアリソースと類似するマルチメディアリソースを検索することができる。即ち、対象マルチメディアリソースの再生が完了した通知メッセージを受信した後、上記実行本体は、再生方式のパラメータ値を再生方式が非ウェブページ再生であることを示すためのパラメータ値に設定することができ、この場合、上記予め設定されたマルチメディアリソースプール内で対象マルチメディアリソースと類似するマルチメディアリソースを検索して推薦再生を行うことができる。このように、予め設定されたマルチメディアリソースプールを利用してユーザが興味を持つマルチメディアリソースを迅速に提供することができ、音声サービスの効率を向上させることができる。
図4から分かるように、本実施例の音声要求を処理するための方法は、対象マルチメディアリソースの再生状態を変更する音声要求を受信すると、インテリジェント音声デバイスにウェブページで対象マルチメディアリソースの再生状態を変更する命令を送信することにより、音声要求に基づいてウェブページを介したマルチメディアリソースの再生を制御することを実現して、マルチメディアリソース再生の制御方式の柔軟性を向上させる。
更に図5を参照すると、上記各図に示される方法の実施として、本願は音声要求を処理するための装置の一実施例を提供して、この装置の実施例は図2、図3、図4に示される方法の実施例に対応して、この装置は具体的に様々な電子デバイスに適用されることができる。
図5に示すように、本実施例の音声要求を処理するための装置500は、検索手段501及び送信手段502を含むことができる。ここで、検索手段501は、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、マルチメディアリソースプール以外のリソースプール内で対象マルチメディアリソースを検索するように構成されることができ、送信手段502は、インテリジェント音声デバイスに検索された対象マルチメディアリソースのリンクアドレス及び対象マルチメディアリソースを再生する命令を送信するように構成されることができる。
いくつかの実施例において、検索手段501は、さらに、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、ウェブページを介して前記マルチメディアリソースプール以外のリソースプール内で対象マルチメディアリソースを検索するように構成されることができ、送信手段502は、さらに、インテリジェント音声デバイスに検索された対象マルチメディアリソースのリンクアドレス及びウェブページを介して前記対象マルチメディアリソースを再生する命令を送信するように構成されることができる。
いくつかの実施例おいて、上記デバイス500は、解析手段をさらに含むことができる。解析手段は、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、マルチメディアリソースプール以外のリソースプール内で対象マルチメディアリソースを検索する前に、取得された音声要求の意図を解析して、音声要求で再生が要求される対象マルチメディアリソースを決定するように構成される。
いくつかの実施例おいて、上記装置500は、推薦手段をさらに含むことができる。推薦手段は、インテリジェント音声デバイスから送信された、ウェブページで対象マルチメディアリソースの再生が完了した通知メッセージを受信したことに応答して、対象マルチメディアリソースと類似するマルチメディアリソースを検索することと、インテリジェント音声デバイスに対象マルチメディアリソースと類似するマルチメディアリソースを再生する命令を送信するように構成される。
いくつかの実施例おいて、上記デバイス500は、設定手段をさらに含むことができる。設定手段は、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、ウェブページで対象マルチメディアリソースを検索した後に、予め設定された再生モードのパラメータ値を再生方式がウェブページ再生であることを示すためのパラメータ値に設定するように構成される。この場合、上記推薦手段は、さらに、インテリジェント音声デバイスから送信された、ウェブページで対象マルチメディアリソースを再生する通知メッセージを受信したことに応答して、再生方式のパラメータ値を再生方式が非ウェブページ再生であることを示すためのパラメータ値に設定して、再生方式のパラメータ値により現在の再生方式が非ウェブページ再生であることが示されると決定したことに応答して、予め設定されたマルチメディアリソースプール内で対象マルチメディアリソースと類似するマルチメディアリソースを検索することができる。
いくつかの実施例おいて、上記デバイス500は、変更手段をさらに含むことができる。変更手段は、対象マルチメディアリソースの再生状態を変更するための音声要求を受信したことに応答して、インテリジェント音声デバイスにウェブページで対象マルチメディアリソースの再生状態を変更する命令を送信するように構成される。
装置500に記載された各手段は、図2、図3及び図4を参照して説明された方法の各ステップに対応することが理解されるべきである。したがって、方法について説明された操作および特徴は、同様に装置500およびそれに含まれる手段に適用可能であるので、ここでは説明を省略する。
本願の上記実施例にかかる音声要求を処理するための装置500は、検索手段により予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、マルチメディアリソースプール以外のリソースプール内で対象マルチメディアリソースを検索して、送信手段によりインテリジェント音声デバイスに検索された対象マルチメディアリソースのリンクアドレス及び対象マルチメディアリソースを再生する命令を送信することにより、音声サービスのコンテンツのカバレッジを拡張して、音声サービスの効率を向上させる。
以下、図6を参照すると、本願の実施例の電子デバイスを実現するのに適したコンピュータシステム600の構成概略図が示されている。図6に示す電子デバイスは一例であり、本願の実施例の機能及び使用範囲を限定するものではない。
図6に示すように、コンピュータシステム600は、ROM(Read Only Memory)602に格納されているプログラム、または記憶部608からRAM(Random Access Memory)603にロードされたプログラムに従って各種の適切な動作および処理を実行するCPU(Central Processing Unit)601を備える。RAM603には、システム600が操作するために必要な各種プログラムやデータも格納されている。CPU601、ROM602及びRAM603は、バス604を介して相互に接続されている。また、バス604には、入出力(I/O)インタフェース605も接続されている。
I/Oインタフェース605には、キーボードやマウス、マイクロホンなどを含む入力部606と、CRT(Cathode Ray Tube)や液晶ディスプレイ(LCD)など及びスピーカなどを含む出力部607と、ハードディスクなどを含む記憶部608と、LANカードやモデムなどのネットワークインタフェースカードを含む通信部609が接続されていることができる。通信部609は、インターネットのようなネットワークを介して通信処理を行う。ドライブ610も、必要に応じてI/Oインタフェース605に接続される。磁気ディスクや光ディスク、光磁気ディスク、半導体メモリなどのリムーバブルメディア611は、必要に応じてドライブ610にインストールされることにより、リムーバブルメディア611から読み出されたコンピュータプログラムが必要に応じて記憶部608にインストールされる。
特に、本開示の実施形態によれば、上記したフローチャートを参照して説明された手順がコンピュータソフトウェアプログラムとして実施されることができる。例えば、本開示の実施例は、フローチャートに示される方法を実行するためのプログラムコードを含むコンピュータ可読媒体に担持されたコンピュータプログラムを含むコンピュータプログラム製品を含む。そのような実施例では、コンピュータプログラムは、通信部609を介してネットワークからダウンロードしてインストールされ、および/またはリムーバブルメディア611からインストールされることができる。このコンピュータプログラムが中央処理ユニット(CPU)601によって実行されると、本願の方法で限定された上記機能が実行される。なお、本願のコンピュータ可読媒体は、コンピュータ可読信号媒体やコンピュータ可読記憶媒体、又は上記両方の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、特に限定されないが、例えば、電気や磁気、光、電磁気、赤外線または半導体のシステム、装置またはデバイスであってもよく、またはこれらの任意の組み合わせであってもよい。コンピュータ可読記憶媒体のより具体的な例には、1つまたは複数のリードを有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブルリードオンリーメモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD−ROM)、光記憶デバイス、磁気記憶デバイス、または上述の任意の適切な組合せが含まれるが、これらに限定されない。本願において、コンピュータ可読記憶媒体は、プログラムを含みかまたは格納する任意の有形媒体であってもよく、そのプログラムは、命令を実行するシステム、装置またはデバイスによって使用されてもよく、またはそれらとともに使用されてもよい。本願において、コンピュータ可読信号媒体は、ベースバンドでまたはキャリアの一部として伝搬される、コンピュータ読み取り可能なプログラムコードを担持するデータ信号を含むことができる。このように伝搬されるデータ信号は、電磁信号、光信号、または上述の任意の適切な組み合わせを含む様々な形態とすることができるが、これらに限定されない。コンピュータ可読信号媒体は、さらに、命令を実行するシステム、装置またはデバイスによって使用され、またはそれらとともに使用されるプログラムを送信、伝播または伝搬することが可能なコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体とすることができる。コンピュータ可読媒体に含まれるプログラムコードは、無線や電線、光ケーブル、RFなど、またはそれらの任意の適切な組合せを含む任意の適切な媒体を介して伝送されることができるが、これらに限定されない。
本願の操作を実行するためのコンピュータプログラムコードは、Java(登録商標)、Smalltalk、C++などのオブジェクト指向のプログラミング言語、並びに「C」言語または同様のプログラミング言語などの一般的な手続き型プログラミング言語を含む、1つまたは複数のプログラミング言語またはそれらの組合せにより記述されることができる。プログラムコードは、全部がパーソナルコンピュータ上で実行されてもよく、一部がパーソナルコンピュータ上で実行されてもよく、別個のソフトウェアパッケージとして実行されてもよく、一部がパーソナルコンピュータ上で実行され残りの一部がリモートコンピュータ上で実行されてもよく、または全部がリモートコンピュータまたはサーバ上で実行されてもよい。リモートコンピュータに関連する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意の種類のネットワークを介してパーソナルコンピュータに接続されてもよく、または外部のコンピュータに接続されてもよい(例えば、インターネットサービスプロバイダによりインターネットを介して接続される)。
図面におけるフローチャートおよびブロック図は、本願の様々な実施例によるシステム、方法およびコンピュータプログラム製品の実施可能な構成、機能および操作を示す。この点に関して、フローチャートまたはブロック図の各ブロックは、所定の論理機能を実施するための1つまたは複数の実行可能な命令を含むモジュール、ブロックまたはコードの一部を示すことができる。なお、いくつかの置換例としての実施例では、ブロックに示す機能は、図面に示す順序とは異なる順序で実行されてもよい。例えば、接続して示される2つのブロックは、実際に、実質的に並行して実行されてもよく、かかる機能によっては、相互に逆の順序で実行されてもよい。なお、ブロック図および/またはフローチャートにおける各ブロック、ならびにブロック図および/またはフローチャートにおけるブロックの組合せは、所定の機能または操作を実行する専用のハードウェアによるシステムによって実施されてもよく、または専用ハードウェアとコンピュータ命令との組合せによって実施されてもよい。
本願の実施例にかかる手段は、ソフトウェアによって実現されてもよく、ハードウェアによって実現されてもよい。説明された手段は、プロセッサに配置されてもよく、例えば、プロセッサは検索手段と、送信手段とを含むようにとして記載されてもよい。ここで、これら手段の名称は、この手段自体を限定するように構成されない場合があり、例えば、取得手段は、さらに「予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、ウェブページ内で対象マルチメディアリソースを検索する手段」として説明されることができる。
別の態様として、本願は、上述の実施例で説明された装置に含まれてよく、または、この装置に組み込まれなく、別個に存在してもよいコンピュータ可読媒体をさらに提供する。上記コンピュータ可読媒体には、1つまたは複数のプログラムが担持され、上記1つまたは複数のプログラムが装置により実行される場合、この装置に上記実施例にかかる音声要求を処理するための方法を実行させ、具体的には、予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、マルチメディアリソースプール以外のリソースプール内で対象マルチメディアリソースを検索することと、インテリジェント音声デバイスに検索された対象マルチメディアリソースのリンクアドレス及び対象マルチメディアリソースを再生する命令を送信することを、この装置に実行させる。
以上の説明は、本出願の好適な実施例及び適用される技術原理の説明に過ぎない。当業者であれば、本願に係る発明の範囲は、上記技術的特徴の特定の組み合わせからなる技術的手段に限定されるものではなく、同時に上記発明の主旨から逸脱しない範囲で上記技術的特徴又はその等価な特徴によって任意に組み合わせて形成される他の技術的手段を含むことが理解されるべきである。例えば、上記特徴が本願に開示された(これに限定されない)同様な機能を有する技術的特徴と相互に置換されて形成される技術的手段である。

Claims (15)

  1. 音声要求を処理するための方法であって、
    予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、ウェブページを介して前記マルチメディアリソースプール以外のリソースプール内で前記対象マルチメディアリソースを検索し、予め設定された再生方式のパラメータ値を、再生方式がウェブページ再生であることを示すためのパラメータ値に設定することと、
    インテリジェント音声デバイスに、検索された対象マルチメディアリソースのリンクアドレスと前記対象マルチメディアリソースを再生する命令とを送信することと、
    前記インテリジェント音声デバイスから送信された、ウェブページで前記対象マルチメディアリソースの再生が完了した通知メッセージを受信したことに応答して、前記再生方式のパラメータ値を、再生方式が非ウェブページ再生であることを示すためのパラメータ値に設定することと、を含む方法。
  2. 記インテリジェント音声デバイスに、検索された対象マルチメディアリソースのリンクアドレスと前記対象マルチメディアリソースを再生する命令を送信することは、
    インテリジェント音声デバイスに、検索された対象マルチメディアリソースのリンクアドレスと、ウェブページを介して前記対象マルチメディアリソースを再生する命令とを送信することを含む、請求項1に記載の方法。
  3. 予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、前記マルチメディアリソースプール以外のリソースプール内で前記対象マルチメディアリソースを検索する前に、
    取得された音声要求の意図を解析して、前記音声要求で再生が要求される対象マルチメディアリソースを決定することをさらに含む、請求項1に記載の方法。
  4. 前記インテリジェント音声デバイスから送信された、ウェブページで前記対象マルチメディアリソースの再生が完了した通知メッセージを受信したことに応答して、前記対象マルチメディアリソースと類似するマルチメディアリソースを検索することと、
    前記インテリジェント音声デバイスに前記対象マルチメディアリソースと類似するマルチメディアリソースを再生する命令を送信することを含む、請求項2に記載の方法。
  5. 記インテリジェント音声デバイスから送信された、ウェブページで前記対象マルチメディアリソースの再生が完了した通知メッセージを受信したことに応答して、前記対象マルチメディアリソースと類似するマルチメディアリソースを検索することとは、
    生方式のパラメータ値により現在の再生方式が非ウェブページ再生であることが指示されると判定したことに応答して、前記予め設定されたマルチメディアリソースプール内で前記対象マルチメディアリソースと類似するマルチメディアリソースを検索することとを含む、請求項4に記載の方法。
  6. 前記対象マルチメディアリソースの再生状態を変更するための音声要求を受信したことに応答して、前記インテリジェント音声デバイスにウェブページで前記対象マルチメディアリソースの再生状態を変更する命令を送信することを更に含む、請求項2〜5のいずれか1項に記載の方法。
  7. 音声要求を処理するための装置であって、
    予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、ウェブページを介して前記マルチメディアリソースプール以外のリソースプール内で前記対象マルチメディアリソースを検索するように構成される検索手段と、
    予め設定された再生方式のパラメータ値を、再生方式がウェブページ再生であることを示すためのパラメータ値に設定するように構成される設定手段と、
    インテリジェント音声デバイスに、検索された対象マルチメディアリソースのリンクアドレスと前記対象マルチメディアリソースを再生する命令とを送信するように構成される送信手段と、
    前記インテリジェント音声デバイスから送信された、ウェブページで前記対象マルチメディアリソースの再生が完了した通知メッセージを受信したことに応答して、前記再生方式のパラメータ値を、再生方式が非ウェブページ再生であることを示すためのパラメータ値に設定するように構成される推薦手段と、を備える装置。
  8. 記送信手段は、さらに、
    インテリジェント音声デバイスに検索された対象マルチメディアリソースのリンクアドレスと、ウェブページを介して前記対象マルチメディアリソースを再生する命令とを送信するように構成される、請求項7に記載の装置。
  9. 予め設定されたマルチメディアリソースプール内に音声要求で再生が請求される対象マルチメディアリソースが存在しないと判定したことに応答して、前記マルチメディアリソースプール以外のリソースプール内で前記対象マルチメディアリソースを検索する前に、取得された音声要求の意図を解析して、前記音声要求で再生が要求される対象マルチメディアリソースを決定するように構成される解析手段をさらに備える、請求項7に記載の装置。
  10. 前記インテリジェント音声デバイスから送信された、ウェブページで前記対象マルチメディアリソースの再生が完了した通知メッセージを受信したことに応答して、前記対象マルチメディアリソースと類似するマルチメディアリソースを検索して、
    前記インテリジェント音声デバイスに前記対象マルチメディアリソースと類似するマルチメディアリソースを再生する命令を送信するように構成される、推薦手段をさらに備える請求項8に記載の装置。
  11. 記推薦手段は、さらに、
    生方式のパラメータ値により現在の再生方式が非ウェブページ再生であることが指示されると判定したことに応答して、前記予め設定されたマルチメディアリソースプール内で前記対象マルチメディアリソースと類似するマルチメディアリソースを検索するように構成される、請求項10に記載の装置。
  12. 前記対象マルチメディアリソースの再生状態を変更するための音声要求を受信したことに応答して、前記インテリジェント音声デバイスにウェブページで前記対象マルチメディアリソースの再生状態を変更する命令を送信するように構成される変更手段をさらに備える、請求項8〜11のいずれか1項に記載の装置。
  13. 1つ又は複数のプロセッサと、
    1つまたは複数のプログラムを記憶する記憶装置と、を備える電子デバイスであって、
    前記1つまたは複数のプログラムを前記1つまたは複数のプロセッサに実行させることにより、請求項1〜6のいずれか1項に記載の方法を1つまたは複数のプロセッサに実現させる、電子デバイス。
  14. コンピュータプログラムが記憶されているコンピュータ可読媒体であって、前記コンピュータプログラムが実行される場合、請求項1〜6のいずれか1項に記載の方法を実現させる、コンピュータ可読媒体。
  15. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項1〜6のいずれか一項に記載の方法を実現させるコンピュータプログラム。
JP2019122910A 2018-07-03 2019-07-01 音声要求を処理するための方法および装置 Active JP6867441B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810720401.2 2018-07-03
CN201810720401.2A CN109036417B (zh) 2018-07-03 2018-07-03 用于处理语音请求的方法和装置

Publications (2)

Publication Number Publication Date
JP2020008854A JP2020008854A (ja) 2020-01-16
JP6867441B2 true JP6867441B2 (ja) 2021-04-28

Family

ID=65521601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019122910A Active JP6867441B2 (ja) 2018-07-03 2019-07-01 音声要求を処理するための方法および装置

Country Status (3)

Country Link
US (1) US20200012675A1 (ja)
JP (1) JP6867441B2 (ja)
CN (1) CN109036417B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111385633B (zh) * 2018-12-27 2022-04-01 Tcl科技集团股份有限公司 一种基于语音的资源搜索方法、智能终端及存储介质
CN110175012B (zh) * 2019-04-17 2022-07-08 百度在线网络技术(北京)有限公司 技能推荐方法、装置、设备及计算机可读存储介质
CN110246494A (zh) * 2019-05-20 2019-09-17 深圳壹账通智能科技有限公司 基于语音识别的服务请求方法、装置及计算机设备
CN112182046B (zh) * 2019-07-05 2023-12-08 北京猎户星空科技有限公司 一种信息推荐方法、装置、设备及介质
US11373633B2 (en) * 2019-09-27 2022-06-28 Amazon Technologies, Inc. Text-to-speech processing using input voice characteristic data
CN111274819A (zh) * 2020-02-13 2020-06-12 北京声智科技有限公司 资源获取方法及装置
CN113703711A (zh) * 2020-05-20 2021-11-26 阿里巴巴集团控股有限公司 播放音效控制方法、装置、电子设备和计算机存储介质
CN112492371B (zh) * 2020-11-18 2023-02-17 海信视像科技股份有限公司 一种显示设备
CN112565813B (zh) * 2020-12-10 2022-09-06 阿波罗智联(北京)科技有限公司 多媒体资源加载的方法、装置、电子设备及存储介质
CN114679614B (zh) * 2020-12-25 2024-02-06 深圳Tcl新技术有限公司 一种语音查询方法、智能电视及计算机可读存储介质
CN114697713B (zh) * 2020-12-29 2024-02-06 深圳Tcl新技术有限公司 语音助手控制方法、装置、存储介质及智能电视
CN114880499A (zh) * 2022-04-21 2022-08-09 北京商询科技有限公司 一种三维幻灯片的播放及生成方法、装置及设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09222985A (ja) * 1996-02-20 1997-08-26 Fujitsu Ltd 音声操作装置
US7957356B2 (en) * 2002-05-13 2011-06-07 Misomino Chi Acquisitions L.L.C. Scalable media access control for multi-hop high bandwidth communications
JP2004062814A (ja) * 2002-07-31 2004-02-26 Sony Corp コンテンツ参照装置及びコンテンツ参照方法、並びにコンピュータ・プログラム
US9600832B2 (en) * 2002-10-01 2017-03-21 Dylan T X Zhou Systems and methods for digital multimedia capture using haptic control, cloud voice changer, protecting digital multimedia privacy, and advertising and sell products or services via cloud gaming environments
JP4528964B2 (ja) * 2004-11-22 2010-08-25 独立行政法人産業技術総合研究所 コンテンツ検索表示装置及び方法並びにプログラム
US8200196B2 (en) * 2008-01-28 2012-06-12 Comverse Ltd. Method and a system for enabling multimedia ring-back-within the context of a voice-call
US8966394B2 (en) * 2008-09-08 2015-02-24 Apple Inc. System and method for playlist generation based on similarity data
US20100121641A1 (en) * 2008-11-11 2010-05-13 Aibelive Co., Ltd External voice identification system and identification process thereof
EP2518722A3 (en) * 2011-04-28 2013-08-28 Samsung Electronics Co., Ltd. Method for providing link list and display apparatus applying the same
KR101309794B1 (ko) * 2012-06-27 2013-09-23 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 대화형 시스템
KR20140089876A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 대화형 인터페이스 장치 및 그의 제어 방법
CN103473361A (zh) * 2013-09-26 2013-12-25 乐视致新电子科技(天津)有限公司 一种搜索方法和装置
CN103648052A (zh) * 2013-12-23 2014-03-19 乐视致新电子科技(天津)有限公司 基于播放列表的智能电视媒体播放方法和装置、智能电视
US20150278358A1 (en) * 2014-04-01 2015-10-01 Microsoft Corporation Adjusting serp presentation based on query intent
US10452247B2 (en) * 2015-03-03 2019-10-22 DStephens & Associates Partnership Integrated agent player-client management system and method with automated event trigger initiated communications
CN106528766A (zh) * 2016-11-04 2017-03-22 北京云知声信息技术有限公司 相似歌曲推荐方法及装置
CN106817407A (zh) * 2016-12-23 2017-06-09 四川九鼎瑞信软件开发有限公司 一种教学信息资源推送方法及系统
CN107222757A (zh) * 2017-07-05 2017-09-29 深圳创维数字技术有限公司 一种语音搜索方法、机顶盒、存储介质、服务器和系统
CN107832434B (zh) * 2017-11-15 2022-05-06 百度在线网络技术(北京)有限公司 基于语音交互生成多媒体播放列表的方法和装置

Also Published As

Publication number Publication date
JP2020008854A (ja) 2020-01-16
CN109036417A (zh) 2018-12-18
CN109036417B (zh) 2020-06-23
US20200012675A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
JP6867441B2 (ja) 音声要求を処理するための方法および装置
CN107832434B (zh) 基于语音交互生成多媒体播放列表的方法和装置
CN107844586B (zh) 新闻推荐方法和装置
CN107871500B (zh) 一种播放多媒体的方法和装置
JP2019091417A (ja) 音声サービス提供方法および装置
CN109165302B (zh) 多媒体文件推荐方法及装置
US20110219386A1 (en) Method and apparatus for generating bookmark information
US20140052770A1 (en) System and method for managing media content using a dynamic playlist
CN107895016B (zh) 一种播放多媒体的方法和装置
CN110717337A (zh) 信息处理方法、装置、计算设备和存储介质
CN109474843A (zh) 语音操控终端的方法、客户端、服务器
KR20060002868A (ko) 정보 처리 장치, 및 정보 처리 방법, 및 컴퓨터 프로그램
US20190147059A1 (en) Method and apparatus for generating to-be-played multimedia content
WO2019128829A1 (zh) 动作执行方法、装置、存储介质及电子装置
JP6866336B2 (ja) 人工知能アプリケーションを構築する方法及び装置
JP6706300B2 (ja) マルチメディア再生リストを更新する方法及び装置
CN113573161B (zh) 多媒体数据处理方法、装置、设备及存储介质
JP2020174339A (ja) 段落と映像を整列させるための方法、装置、サーバー、コンピュータ可読記憶媒体およびコンピュータプログラム
JP2019091416A5 (ja)
CN109889921B (zh) 一种具备交互功能的音视频创建、播放方法及装置
JP2020173776A (ja) 映像を生成するための方法および装置
CN112328152B (zh) 媒体文件的播放控制方法、装置、电子设备及存储介质
CN116800988A (zh) 视频生成方法、装置、设备、存储介质和程序产品
KR102297362B1 (ko) 콘텐츠 재생 장치를 이용한 사용자 특성 기반의 광고 제공 장치 및 방법
CN114584802B (zh) 多媒体处理方法、装置、介质以及电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190904

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210408

R150 Certificate of patent or registration of utility model

Ref document number: 6867441

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250