JP7288885B2 - 音声対話方法、装置、機器および記憶媒体 - Google Patents

音声対話方法、装置、機器および記憶媒体 Download PDF

Info

Publication number
JP7288885B2
JP7288885B2 JP2020125373A JP2020125373A JP7288885B2 JP 7288885 B2 JP7288885 B2 JP 7288885B2 JP 2020125373 A JP2020125373 A JP 2020125373A JP 2020125373 A JP2020125373 A JP 2020125373A JP 7288885 B2 JP7288885 B2 JP 7288885B2
Authority
JP
Japan
Prior art keywords
task
information
voice
user terminal
next task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020125373A
Other languages
English (en)
Other versions
JP2021110921A (ja
Inventor
ルユ ガオ
ティアンウェイ スン
バイミン マ
Original Assignee
ペキン シャオミ パインコーン エレクトロニクス カンパニー, リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ペキン シャオミ パインコーン エレクトロニクス カンパニー, リミテッド filed Critical ペキン シャオミ パインコーン エレクトロニクス カンパニー, リミテッド
Publication of JP2021110921A publication Critical patent/JP2021110921A/ja
Application granted granted Critical
Publication of JP7288885B2 publication Critical patent/JP7288885B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/453Help systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2452Query translation
    • G06F16/24522Translation of natural language queries to structured queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G06F9/4887Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues involving deadlines, e.g. rate based, periodic
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Display Devices Of Pinball Game Machines (AREA)

Description

本願は、2020年1月8日に中国特許局に提出された、出願番号がCN202010017436.7である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。
本出願は、音声対話技術分野に関し、特に、音声対話方法、装置、機器および記憶媒体に関する。
人工知能技術の継続的な進歩に伴い、人間とコンピュータの音声対話も発展を遂げ、様々な音声アシスタントおよび人間とコンピュータの音声対話機器はますます多くのユーザの好評を得た。音声対話は、音声を情報キャリアとして使用して機械と対話することである。人間とコンピュータの相互作用、疎通、情報交換を通じて、一連の入力および出力が生成され、その後、1つのタスクを完了するか1つの目的を達成する。従来の人間とコンピュータの対話方式と比較して、音声対話はより速くて簡単である。
既存の音声対話プロセスでは、ユーザは機械に音声を入力した後、音声が質疑応答タスクに対応すると、機械は、コーパスから前記音声とマッチングする結果を探し、そして、ユーザに前記結果をフィードバックする。音声が制御タスクに対応すると、機械は、対応する制御タスクを実行する。スマートスピーカを例として、スマートスピーカは、ネットワークに接続し、ユーザの入力音声を取得した後、入力音声に対応するタスクを実行することができる。
関連技術では、音声対話は一般的に一問一答の形式である。例えば、ユーザが、「愛ちゃん(ウェイクワード)、今日の天気はどう?」と言うと、愛ちゃんスピーカは、「今日の天気は晴れのち曇り、北風は3級、気温は19度から26度で、空気の質は良好です。」と答える。しかし、このような対話方式で、音声アシスタントは単一の返答しかできないため、複数の返答を必要とする複雑なシナリオのニーズを満たすことができない。
関連技術に存在する課題を克服するために、本開示は、音声対話方法、装置、機器および記憶媒体を提供する。
本開示の実施例の第1の態様によれば、音声対話方法を提供し、前記方法は、
ユーザの音声情報を取得することと、
前記音声情報に対応するタスクリストを決定することであって、前記タスクリストは、少なくとも2つの順序付けられたタスクを含むことと、
前記少なくとも2つの順序付けられたタスクの各タスクに対して、現在のタスクの次のタスクが質疑応答タスクであることに応答して、前記次のタスクの実行時間に達する前に、前記次のタスクの応答情報を照会してユーザ端末に送信して、前記ユーザ端末が、前記次のタスクの実行時間に達した時に、前記応答情報を出力するようにすることとを含む。
一代替実施例において、前記次のタスクは、リアルタイム要件を有する質疑応答タスクである。
一代替実施例において、前記次のタスクの応答情報を照会してユーザ端末に送信する前に、
ユーザ端末によって送信された、次のタスクのタスク情報が搬送されたタスク要求を受信することをさらに含む。
一代替実施例において、ユーザ端末に前記次のタスクの応答情報を送信する時に、
前記次のタスクに隣接する未処理タスクのタスク情報をユーザ端末に送信すること、または、
前記次のタスクに隣接する未処理タスクがリアルタイム要件を有する質疑応答タスクであることに応答して、前記次のタスクに隣接する未処理タスクのタスク情報をユーザ端末に送信することであって、ユーザ端末にはタスクリストが記憶されたことをさらに含む。
一代替実施例において、前記次のタスクのタスク情報は、少なくとも次のタスクの識別情報を含み、前記次のタスクのタスク情報は、次のタスクの問題のインデックス情報、次のタスクの問題のカテゴリ、次のタスクの実行時間のうちの少なくとも1つをさらに含む。
一代替実施例において、前記次のタスクの応答情報を照会してユーザ端末に送信する前に、
タスクリストの最初のタスクを実行するプロセスで、タスクリスト内のリアルタイム要件を有しない質疑応答タスクを決定し、リアルタイム要件を有しない質疑応答タスクの応答情報のすべてをユーザ端末に送信して、ユーザ端末がタスクリストのタスクの順序に従って、ローカルエンドから前記応答情報を取得して出力するようにすることをさらに含む。
一代替実施例において、前記方法は、
前記タスクリストのタスクに対する実行が未完了である時、新しいユーザ音声を受信すると、前記タスクリストの未完了タスクに対するユーザ端末の実行を中断することをさらに含む。
本開示の実施例の第2の態様によれば、音声対話方法を提供し、前記方法は、
取得した音声情報を音声対話システムに送信することと、
現在のタスクの実行時間に達する前に、音声対話システムによって送信された現在のタスクの応答情報を受信して、前記現在のタスクの実行時間に達した時に、前記現在のタスクの応答情報を出力するようにすることとを含む。
一代替実施例において、前記現在のタスクの応答情報は、次のタスクのタスク情報をさらに搬送し、前記方法は、
前記次のタスクの実行時間に達する前に、前記次のタスクのタスク情報が搬送されたタスク要求を前記音声対話システムに送信して、音声対話システムが、前記次のタスクの実行時間に達する前に、対応する応答情報をフィードバックするようにすることとをさらに含む。
一代替実施例において、前記音声情報に対応するタスクリストが事前に記憶され、前記方法は、
前記タスクリストから次のタスクのタスク情報を決定することと、
前記次のタスクの実行時間に達する前に、前記次のタスクのタスク情報が搬送されたタスク要求を前記音声対話システムに送信して、音声対話システムが、前記次のタスクの実行時間に達する前に、対応する応答情報をフィードバックするようにすることとをさらに含む。
一代替実施例において、前記次のタスクは、リアルタイム要件を有する質疑応答タスクである。
一代替実施例において、前記方法は、
前記タスク情報に従って、前記次のタスクがリアルタイム要件を有しない質疑応答タスクであることを決定し、次のタスクの実行時間に達した時に、ローカルエンドから次のタスクの応答情報を取得して出力することをさらに含む。
本開示の実施例の第3の態様によれば、音声対話装置を提供し、前記装置は、
ユーザの音声情報を取得するように構成される情報取得モジュールと、
前記音声情報に対応するタスクリストを決定するように構成されるリスト決定モジュールであって、前記タスクリストは、少なくとも2つの順序付けられたタスクを含むリスト決定モジュールと、
前記少なくとも2つの順序付けられたタスクの各タスクに対して、現在のタスクの次のタスクが質疑応答タスクであることに応答して、前記次のタスクの実行時間に達する前に、前記次のタスクの応答情報を照会してユーザ端末に送信して、前記ユーザ端末が、前記次のタスクの実行時間に達した時に、前記応答情報を出力するように構成される情報フィードバックモジュールとを含む。
一代替実施例において、前記次のタスクは、リアルタイム要件を有する質疑応答タスクである。
一代替実施例において、前記情報フィードバックモジュールは、前記次のタスクの応答情報を照会してユーザ端末に送信する前に、ユーザ端末によって送信された、次のタスクのタスク情報が搬送されたタスク要求を受信するように構成される。
一代替実施例において、前記情報フィードバックモジュールは、ユーザ端末に前記次のタスクの応答情報を送信する時、ユーザ端末に、前記次のタスクに隣接する未処理タスクのタスク情報を送信し、または、前記次のタスクに隣接する未処理タスクがリアルタイム要件を有する質疑応答タスクであることに応答して、前記次のタスクに隣接する未処理タスクのタスク情報をユーザ端末に送信するように構成され、ここで、ユーザ端末はタスクリストを記憶する。
一代替実施例において、前記次のタスクのタスク情報は、少なくとも次のタスクの識別情報を含み、前記次のタスクのタスク情報は、次のタスクの問題のインデックス情報、次のタスクの問題のカテゴリ、次のタスクの実行時間のうちの少なくとも1つをさらに含む。
一代替実施例において、前記情報フィードバックモジュールは、さらに、前記次のタスクの応答情報を照会してユーザ端末に送信する前に、タスクリストの最初のタスクを実行するプロセスで、タスクリスト内のリアルタイム要件を有しない質疑応答タスクを決定し、リアルタイム要件を有しない質疑応答タスクの応答情報のすべてをユーザ端末に送信して、ユーザ端末がタスクリストのタスクの順序に従って、ローカルエンドから前記応答情報を取得して出力するように構成される。
一代替実施例において、前記装置は、タスク中断モジュールをさらに含み、
前記タスクリストのタスクに対する実行が未完了である時に、新しいユーザ音声を受信すると、前記タスクリストの未完了タスクに対するユーザ端末の実行を中断するように構成される。
本開示の実施例の第の4態様によれば、音声対話装置を提供し、前記装置は、
取得した音声情報を音声対話システムに送信するように構成される音声送信モジュールと、
現在のタスクの実行時間に達する前に、音声対話システムによって送信された現在のタスクの応答情報を受信して、前記現在のタスクの実行時間に達した時に、前記現在のタスクの応答情報を出力するようにするように構成される情報受信モジュールとを含む。
一代替実施例において、前記現在のタスクの応答情報は、次のタスクのタスク情報をさらに搬送し、前記装置は第1の要求送信モジュールをさらに含み、
前記次のタスクの実行時間に達する前に、前記次のタスクのタスク情報が搬送されたタスク要求を前記音声対話システムに送信して、音声対話システムが、前記次のタスクの実行時間に達する前に、対応する応答情報をフィードバックするように構成される。
一代替実施例において、前記音声情報に対応するタスクリストが事前に記憶され、前記装置は、
前記タスクリストから次のタスクのタスク情報を決定するように構成されるタスク情報決定モジュールと、
前記次のタスクの実行時間に達する前に、前記次のタスクのタスク情報が搬送されたタスク要求を前記音声対話システムに送信して、音声対話システムが、前記次のタスクの実行時間に達する前に、対応する応答情報をフィードバックするように構成される第2の要求送信モジュールとをさらに含む。
一代替実施例において、前記次のタスクは、リアルタイム要件を有する質疑応答タスクである。
一代替実施例において、前記装置はタスク実行モジュールをさらに含み、
前記タスク情報に従って、前記次のタスクがリアルタイム要件を有しない質疑応答タスクであることを決定し、次のタスクの実行時間に達した時に、ローカルエンドから次のタスクの応答情報を取得して出力するように構成される。
本開示の実施例の第5の態様によれば、電子機器を提供し、プロセッサと、プロセッサによって実行可能な命令を記憶するように構成されるメモリを含み、ここで、前記プロセッサは、前記実行可能な命令を実行する時に、前記いずれか一項に記載の方法を実現する。
本開示の実施例の第6の態様によれば、コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を提供し、前記プログラムがプロセッサによって実行される時に、前記いずれか一項に記載の方法のステップを実行する。
例えば、本願は以下の項目を提供する。
(項目1)
音声対話方法であって、
ユーザの音声情報を取得することと、
上記音声情報に対応するタスクリストを決定することであって、上記タスクリストは、少なくとも2つの順序付けられたタスクを含むことと、
上記少なくとも2つの順序付けられたタスクの各タスクに対して、現在のタスクの次のタスクが質疑応答タスクであることに応答して、上記次のタスクの実行時間に達する前に、上記次のタスクの応答情報を照会してユーザ端末に送信して、上記ユーザ端末が、上記次のタスクの実行時間に達した時に、上記応答情報を出力するようにすることとを含むことを特徴とする、上記音声対話方法。
(項目2)
上記次のタスクは、リアルタイム要件を有する質疑応答タスクであることを特徴とする、
上記項目に記載の音声対話方法。
(項目3)
上記次のタスクの応答情報を照会してユーザ端末に送信する前に、
ユーザ端末によって送信された、次のタスクのタスク情報が搬送されたタスク要求を受信することをさらに含むことを特徴とする、
上記項目のいずれか一項に記載の音声対話方法。
(項目4)
ユーザ端末に上記次のタスクの応答情報を送信する時に、
上記次のタスクに隣接する未処理タスクのタスク情報をユーザ端末に送信すること、または、
上記次のタスクに隣接する未処理タスクがリアルタイム要件を有する質疑応答タスクであることに応答して、上記次のタスクに隣接する未処理タスクのタスク情報をユーザ端末に送信することであって、ユーザ端末にはタスクリストが記憶されたことをさらに含むことを特徴とする、
上記項目のいずれか一項に記載の音声対話方法。
(項目5)
上記次のタスクのタスク情報は、少なくとも次のタスクの識別情報を含み、上記次のタスクのタスク情報は、次のタスクの問題のインデックス情報、次のタスクの問題のカテゴリ、次のタスクの実行時間のうちの少なくとも1つをさらに含むことを特徴とする、
上記項目のいずれか一項に記載の音声対話方法。
(項目6)
上記次のタスクの応答情報を照会してユーザ端末に送信する前に、
タスクリストの最初のタスクを実行するプロセスで、タスクリスト内のリアルタイム要件を有しない質疑応答タスクを決定し、リアルタイム要件を有しない問答質疑応答タスクの応答情報のすべてをユーザ端末に送信して、ユーザ端末がタスクリストのタスクの順序に従って、ローカルエンドから上記応答情報を取得して出力するようにすることをさらに含むことを特徴とする、
上記項目のいずれか一項に記載の音声対話方法。
(項目7)
上記方法は、
上記タスクリストのタスクに対する実行が完了してない時、新しいユーザ音声を受信すると、上記タスクリストの未完了タスクに対するユーザ端末の実行を中断することをさらに含む、
上記項目のいずれか一項に記載の音声対話方法。
(項目8)
音声対話方法であって、
上記音声対話方法は、
取得した音声情報を音声対話システムに送信することと、
現在のタスクの実行時間に達する前に、音声対話システムによって送信された現在のタスクの応答情報を受信して、上記現在のタスクの実行時間に達した時に、上記現在のタスクの応答情報を出力するようにすることとを含むことを特徴とする、上記音声対話方法。
(項目9)
上記現在のタスクの応答情報は、次のタスクのタスク情報をさらに搬送し、上記方法は、
上記次のタスクの実行時間に達する前に、上記次のタスクのタスク情報が搬送されたタスク要求を上記音声対話システムに送信して、音声対話システムが、上記次のタスクの実行時間に達する前に、対応する応答情報をフィードバックするようにすることをさらに含むことを特徴とする、
上記項目に記載の音声対話方法。
(項目10)
上記音声情報に対応するタスクリストが事前に記憶され、上記方法は、
上記タスクリストから次のタスクのタスク情報を決定することと、
上記次のタスクの実行時間に達する前に、上記次のタスクのタスク情報が搬送されたタスク要求を上記音声対話システムに送信して、音声対話システムが、上記次のタスクの実行時間に達する前に、対応する応答情報をフィードバックするようにすることとをさらに含むことを特徴とする、
上記項目のいずれか一項に記載の音声対話方法。
(項目11)
上記次のタスクは、リアルタイム要件を有する質疑応答タスクであることを特徴とする、
上記項目のいずれか一項に記載の音声対話方法。
(項目12)
上記方法は、
上記タスク情報に従って、上記次のタスクがリアルタイム要件を有しない質疑応答タスクであることを決定し、次のタスクの実行時間に達した時に、ローカルエンドから次のタスクの応答情報を取得して出力することをさらに含むことを特徴とする、
上記項目のいずれか一項に記載の音声対話方法。
(項目13)
音声対話装置であって、
ユーザの音声情報を取得するように構成される情報取得モジュールと、
上記音声情報に対応するタスクリストを決定するように構成されるリスト決定モジュールであって、上記タスクリストは、少なくとも2つの順序付けられたタスクを含むリスト決定モジュールと、
上記少なくとも2つの順序付けられたタスクの各タスクに対して、現在のタスクの次のタスクが質疑応答タスクであることに応答して、上記次のタスクの実行時間に達する前に、上記次のタスクの応答情報を照会してユーザ端末に送信して、上記ユーザ端末が、上記次のタスクの実行時間に達した時に、上記応答情報を出力するように構成される情報フィードバックモジュールとを含むことを特徴とする、上記音声対話装置。
(項目14)
上記次のタスクは、リアルタイム要件を有する質疑応答タスクであることを特徴とする、
上記項目に記載の音声対話装置。
(項目15)
上記情報フィードバックモジュールは、上記次のタスクの応答情報を照会してユーザ端末に送信する前に、ユーザ端末によって送信された、次のタスクのタスク情報が搬送されたタスク要求を受信するように構成されることを特徴とする、
上記項目のいずれか一項に記載の音声対話装置。
(項目16)
上記情報フィードバックモジュールは、
ユーザ端末に上記次のタスクの応答情報を送信する時、ユーザ端末に、上記次のタスクに隣接する未処理タスクのタスク情報を送信し、または、上記次のタスクに隣接する未処理タスクがリアルタイム要件を有する質疑応答タスクであることに応答して、上記次のタスクに隣接する未処理タスクのタスク情報をユーザ端末に送信するように構成され、ユーザ端末はタスクリストを記憶することを特徴とする、
上記項目のいずれか一項に記載の音声対話装置。
(項目17)
上記次のタスクのタスク情報は、少なくとも次のタスクの識別情報を含み、上記次のタスクのタスク情報は、次のタスクの問題のインデックス情報、次のタスクの問題のカテゴリ、次のタスクの実行時間のうちの少なくとも1つをさらに含むことを特徴とする、
上記項目のいずれか一項に記載の音声対話装置。
(項目18)
上記情報フィードバックモジュールは、さらに、上記次のタスクの応答情報を照会してユーザ端末に送信する前に、タスクリストの最初のタスクを実行するプロセスで、タスクリスト内のリアルタイム要件を有しない質疑応答タスクを決定し、リアルタイム要件を有しない質疑応答タスクの応答情報のすべてをユーザ端末に送信して、ユーザ端末がタスクリストのタスクの順序に従って、ローカルエンドから上記応答情報を取得して出力するように構成されることを特徴とする、
上記項目のいずれか一項に記載の音声対話装置。
(項目19)
上記装置は、タスク中断モジュールをさらに含み、
上記タスクリストのタスクに対する実行が完了してない時に、新しいユーザ音声を受信すると、上記タスクリストの未完了タスクに対するユーザ端末の実行を中断するように構成されることを特徴とする、
上記項目のいずれか一項に記載の音声対話装置。
(項目20)
音声対話装置であって、
取得した音声情報を音声対話システムに送信するように構成される音声送信モジュールと、
現在のタスクの実行時間に達する前に、音声対話システムによって送信された現在のタスクの応答情報を受信して、上記現在のタスクの実行時間に達した時に、上記現在のタスクの応答情報を出力するようにするように構成される情報受信モジュールとを含むことを特徴とする、上記音声対話装置。
(項目21)
上記現在のタスクの応答情報は、次のタスクのタスク情報をさらに搬送し、上記装置は第1の要求送信モジュールをさらに含み、
上記次のタスクの実行時間に達する前に、上記次のタスクのタスク情報が搬送されたタスク要求を上記音声対話システムに送信して、音声対話システムが、上記次のタスクの実行時間に達する前に、対応する応答情報をフィードバックするように構成されることを特徴とする、
上記項目に記載の音声対話装置。
(項目22)
上記音声情報に対応するタスクリストが事前に記憶され、上記装置は、
上記タスクリストから次のタスクのタスク情報を決定するように構成されるタスク情報決定モジュールと、
上記次のタスクの実行時間に達する前に、上記次のタスクのタスク情報が搬送されたタスク要求を上記音声対話システムに送信して、音声対話システムが、上記次のタスクの実行時間に達する前に、対応する応答情報をフィードバックするように構成される第2の要求送信モジュールとをさらに含むことを特徴とする、
上記項目のいずれか一項0に記載の音声対話装置。
(項目23)
上記次のタスクは、リアルタイム要件を有する質疑応答タスクであることを特徴とする、
上記項目のいずれか一項に記載の音声対話装置。
(項目24)
上記装置はタスク実行モジュールをさらに含み、
上記タスク情報に従って、上記次のタスクがリアルタイム要件を有しない質疑応答タスクであることを決定し、次のタスクの実行時間に達した時に、ローカルエンドから次のタスクの応答情報を取得して出力するように構成されることを特徴とする、
上記項目のいずれか一項に記載の音声対話装置。
(項目25)
電子機器であって、
プロセッサと、
プロセッサによって実行可能な命令を記憶するように構成されるメモリを含み、
上記プロセッサは、上記実行可能な命令を実行する時に、上記項目のいずれか一項に記載の方法を実現することを特徴とする、上記電子機器。
(項目26)
コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、
上記プログラムがプロセッサによって実行される時に、上記項目のいずれか一項に記載の方法のステップを実行することを特徴とする、上記コンピュータ読み取り可能な記憶媒体。
(摘要)
本開示は、音声対話方法、装置、機器および記憶媒体を提供し、本開示の実施例は、音声情報とタスクリストとのマッピング関係を事前に構成することができ、タスクリストは、複数の順序付けられたタスクを含むことができ、したがって、ユーザの音声情報を取得した後、音声情報に対応するタスクリストを決定することができ、それにより、ユーザが音声を複数回入力する必要がなくて、1つの音声が複数のタスクに対応することを実現し、音声対話の応答が豊かになり、対人の相互作用の効率が向上し、複数回の音声対話による音声認識が低下する問題を回避する。さらに、少なくとも2つの順序付けられたタスクの各タスクに対して、現在のタスクの次のタスクが質疑応答タスクであることに応答して、前記次のタスクの実行時間に達する前に、前記次のタスクの応答情報を照会してユーザ端末に送信して、ユーザ端末が、次のタスクの実行時間に達した時に、前記応答情報を出力するようにし、それにより、タスク応答情報の優れた適時性および精度を保証する。
本開示の実施例によって提供される技術的解決策は、以下の有益な効果を含み得る。
本開示の実施例は、音声情報とタスクリストとのマッピング関係を事前に構成することができ、タスクリストは、複数の順序付けられたタスクを含むことができ、したがって、ユーザの音声情報を取得した後、音声情報に対応するタスクリストを決定することができ、それにより、ユーザが音声を複数回入力する必要がなくて、1つの音声が複数のタスクに対応することを実現し、音声対話の応答が豊かになり、対人の相互作用の効率が向上し、複数回の音声対話による音声認識が低下する問題を回避する。さらに、少なくとも2つの順序付けられたタスクの各タスクに対して、現在のタスクの次のタスクが質疑応答タスクであることに応答して、前記次のタスクの実行時間に達する前に、前記次のタスクの応答情報を照会してユーザ端末に送信して、ユーザ端末が、次のタスクの実行時間に達した時に、前記応答情報を出力するようにし、それにより、タスク応答情報の優れた適時性および精度を保証する。
ここでの図面は、本明細書に組み込まれてその一部を構成し、本開示と一致する実施例を示し、明細書とともに本開示の実施例の原理を説明するために使用される。
本開示の一例示的な実施例によって示された音声対話方法の適用シナリオ図である。 本開示の一例示的な実施例によって示された音声対話方法のフローチャートである。 本開示の一例示的な実施例によって示された別の音声対話方法のフローチャートである。 本開示の一例示的な実施例によって示された音声対話方法のタイミングチャートである。 本開示の一例示的な実施例によって示された別の音声対話方法のタイミングチャートである。 本開示の一例示的な実施例によって示された音声対話装置のブロック図である。 本開示の一例示的な実施例によって示された別の音声対話装置のブロック図である。 本開示の一例示的な実施例によって示された音声対話するための装置の概略構造図である。
ここで、例示的な実施例を詳細に説明し、その例は添付の図面に示す。別の指示がない限り、以下の説明が図面に関する場合、異なる図面の同じ数字は同じまたは類似な要素を表す。以下の例示的な実施例で説明される実施例は、本開示と一致するすべての実施例を表すものではない。むしろ、それらは、添付された特許請求の範囲に詳述されるように、本開示の特定の態様と一致する装置および方法の例である。
本開示で使用された用語は特定の実施例のみを説明するためのものであり、本開示を限定するものではない。本開示および添付の特許請求の範囲で使用された単数形の「1つの」、「前記」および「当該」は、文脈が他の意味を明確に示さない限り、複数形も含むものとする。本明細書で使用された「および/または」という用語は、1つまたは複数の関連する列挙されたプロジェクトのいずれかまたはすべての可能な組み合わせを指し、それらを含むことを理解されたい。
本開示では、「第1の」、「第2の」、「第3の」などの用語を使用して様々な情報を説明するが、これらの情報はこれらの用語に限定されないことを理解されたい。これらの用語は、同じタイプの情報を相互に区別するためにのみ使用される。例えば、本開示の範囲から逸脱することなく、第1の情報は第2の情報とも称し得、同様に、第2の情報は第1の情報とも称し得る。別の例では、文脈に応じて、本明細書で使用される「…ば」という語は、「…であるときに」または「…である場合」または「…に応答して決定する」と解釈することができる。
人工知能の時代の到来に伴い、インテリジェント音声アシスタントはますます日常生活に適用される。スマートフォン、スマート家電から車載シナリオおよびスマート養老まで、その対象範囲はますます広がる。異なる適用シナリオおよび様々な複雑なニーズに従って、人々と音声アシスタントとの対話方式も豊かになる。人間とコンピュータの相互作用、疎通、情報交換を通じて、一連の入力および出力が生成され、その後、1つのタスクを完了し、または1つの目的を達成する。音声対話は、音声を情報キャリアとして使用して機械と対話することである。従来の人間とコンピュータの対話方式と比較して、音声対話はより速くて簡単であり、従来のグラフィカルユーザインターフェース(GUI:Graphic user interface)で、特定の歌を再生するには、入力、照会、再生を完了するのに数分間かかるかもしれないが、音声対話では、必要な時間はより短くなる。両手を解放し、APPを煩わしく操作する必要なく、運転しながら、端末に音声タスクを与えることができる。音声タスクは、ユーザが質問すると、端末が答えることを実現するために、質疑応答タスクであってもよい。音声タスクは、ユーザが音声を介して他の機器、特に、スマートホーム機器などを制御することを実現するために、制御タスクであってもよい。音声対話の継続的な発発展に伴い、インテリジェントな音声アシスタントに対するますます複雑になる人々のニーズを満たすために、複数回の会話をする方式が生まれた。例えば、
ユーザ:愛ちゃん、アラームを設定してください。
愛ちゃん:アラームを何時に設定しますか?
ユーザ:アラームを朝7時に設定してください。
愛ちゃん:はい、アラームを朝7時に設定しました。
複数回の会話をする方式は、ユーザの不完全な質問によって意図が不明確である場合を満たすために提供された対話方式である。インテリジェントな音声アシスタントは、ユーザの完全なニーズをさらに取得するために、積極的に会話を持続し、このニーズに対して単一の返答をする必要があり、毎回の会話も一問一答であり、依然として複数の返答をすることはできない。
一問一答の方式であれ、複数回の会話をする方式であれ、音声アシスタントは、毎回単一の返答しかできないため、複数の返答を必要とする複雑なシナリオのニーズを満たすことができないことが分かる。
これを鑑みて、本開示の実施例は音声対話の技術案を提供し、音声情報とタスクリストとのマッピング関係を事前に構成することができ、タスクリストは、複数のタスクを含むことができ、したがって、ユーザの音声情報を取得した後、音声情報に対応するタスクリストを決定することができ、それにより、1つの音声は複数のタスクに対応することを実現し、ユーザが音声を複数回入力する必要がなく、音声対話の回答が豊かになり、対人の相互作用の効率が向上し、複数回の音声対話による音声認識が低下する問題を回避する。さらに、少なくとも2つの順序付けられたタスクの各タスクに対して、現在のタスクの次のタスクが質疑応答タスクであることに応答して、前記次のタスクの実行時間に達する前に、前記次のタスクの応答情報を照会してユーザ端末に送信して、ユーザ端末が、次のタスクの実行時間に達した時に、前記応答情報を出力するようにし、それにより、タスク応答情報の優れた適時性および精度を保証する。
以下、本開示の実施例を図面を参照して例示的に説明する。
理解を容易にするために、本開示の実施例の適用シナリオを例示して説明する。本開示の実施例の音声対話の技術案は、ユーザ端末および音声対話システムを含むアーキテクチャに適用されることができる。ユーザ端末およびサーバは同じ電子機器で構成されてもよく、異なる電子機器で構成されてもよい。ユーザ端末およびサーバが同じ電子機器で構成された場合、同じ機器で、オーディオの入力、オーディオの処理、タスクの実行などを実現することができる。ユーザ端末およびサーバが異なる電子機器で構成された場合、ユーザ端末の処理圧力を軽減することができる。ユーザ端末は、集音機能がある端末であってもよい。例えば、スマートフォン、タブレット、携帯情報端末(PDA:Personal Digital Assistant)、ウェアラブル機器、スマートスピーカなどであってもよい。音声対話システムは、音声処理機能があるサーバであってもよい。例として、スマートスピーカを使用してユーザ端末を表し、サーバを使用して音声対話システムを表し、図1に示されたように、本開示の一例示的な実施例によって示された音声対話方法の適用シナリオ図である。前記適用シナリオにおいて、ユーザはユーザ端末に話しかけることができ、ユーザ端末は音声情報を収集し、収集した音声情報を音声対話システムに送信し、音声対話システムは音声処理を行うことができる。例示的に、音声対話システムは、音声認識モジュール、自然言語処理モジュール、タスクスケジューリングモジュールおよび音声合成モジュールを含むことができる。音声認識モジュール(ASR:Automatic Speech Recognition)は音声を文字に変換し、自然言語処理モジュール(NLP:Natural Language Processing)は文字の意味を解釈し、フィードバックを送信する。タスクスケジューリングモジュールはタスクをスケジューリングする。音声合成モジュール(TTS:Text to Speech)は、出力情報を音声に変換する。音声対話システムは、関連技術の他のアーキテクチャであってもよく、ここでは再び説明しないことを理解されたい。
次に、一方的な観点から音声対話方法を例示して説明する。
図2に示されたように、本開示の一例示的な実施例によって示された音声対話方法のフローチャートであり、前記方法は次のステップを含み得る。
ステップ202において、ユーザの音声情報を取得する。
ステップ204において、前記音声情報に対応するタスクリストを決定し、前記タスクリストは、少なくとも2つの順序付けられたタスクを含む。
ステップ206において、前記少なくとも2つの順序付けられたタスクの各タスクに対して、現在のタスクの次のタスクが質疑応答タスクであることに応答して、前記次のタスクの実行時間に達する前に、前記次のタスクの応答情報を照会してユーザ端末に送信して、前記ユーザ端末が、前記次のタスクの実行時間に達した時に、前記応答情報を出力するようにする。
本実施例によって提供された音声対話方法はソフトウェアによって実行されることができ、さらに、ソフトウェアおよびハードウェアの組み合わせまたはハードウェアによって実行される方式を介して実現することができ、関連するハードウェアは、2つまたは複数の物理エンティティで構成されてもよく、1つの物理エンティティで構成されてもよい。例示的に、本実施例の方法は音声対話システムに適用されることができ、音声対話システムは、音声処理機能を備える電子機器で構成されてもよく、または、音声処理機能を備える電子機器で形成されてもよい。端末機器は、ニーズに従って構成されることができ、端末機器であってもよく、サーバ機器であってもよい。以下では、ローカルエンドの実行側が音声対話システムである場合を例として例示的に説明する。
ユーザの音声情報は、ユーザ端末によって収集された音声情報であってもよく、ユーザ端末から音声対話システムに送信する。音声対話システムにおいて、音声情報とタスクリストとのマッピング関係を事前に構成することができる。音声情報に対応するタスクリストはユーザによって構成されてもよく、例えば、構成インターフェースを提供し、ユーザによって出力された構成命令に応答することによって、音声情報に対応するタスクリストを取得する。音声情報に対応するタスクリストはシステムによって推薦されることができ、ニーズに従って構成されることができる。
前記実施例において、音声情報に対応するタスクリストを構成することは、1つの音声が複数のタスクに対応すること実現し得るようにするためである。タスクリストは少なくとも2つの順序付けされたタスクを含み、例えば、タスクリストには複数のタイプのタスクが含まれることができ、各タスクには実行順序の要件があることができる。例えば、タスクリストのタスクは、質疑応答タスク、制御タスクなどを含むが、これらに限定されない。質疑応答タスクは、音声対話システムによってタスクを照会して応答する必要があるタスクであり得る。制御タスクは、機器制御するために音声対話システムを必要とするタスクであり得る。例えば、スマートライトのスイッチの制御、スマート炊飯器の開閉の制御などのスマートホーム機器の制御である。入力された音声に対する認識と語義の理解は、1つのシナリオの認識と見なすことができる。例えば、音声情報が“おはよう”である場合、起床シナリオと見なすことができ、対応するタスクリストのタスクは、心地よい音楽を再生し(20分間)、同時にベッドルームのカーテンを開き、次に、朝のニュースを再生し(20分間)、続いて、天気予報を再生し、最後に、通勤路のロードブロック状況を再生するなどを含むことができる。
発明者は、タスクリストに、通勤路のロードブロック状況など、結果をリアルタイム照会する要件を有する特定のタスクがあるかもしれないことを発見した。「おはよう」の音声を受信した場合、各質疑応答タスクに対応する応答情報をすぐに照会し、例えば、通勤路のロードブロック状況を照会し、ユーザ端末に均一に与えてキャッシュする。ロードブロック状況情報を再生する場合、キャッシュされたロードブロック状況は、少なくとも40分前のロードブロック状況であり、ユーザが取得したロードブロック情報が正確でなくなる可能性がある。
したがって、本開示の実施例は一技術案を提供し、ユーザ端末が複数の複雑な返答をするようにする同時に、返答内容が優れた適時性および正確度を有することを保証することもできる。一実施形態において、少なくとも2つの順序付けられたタスクの各タスクに対して、現在のタスクの次のタスクが質疑応答タスクであることに応答して、前記次のタスクの実行時間に達する前に、前記次のタスクの応答情報を照会してユーザ端末に送信して、ユーザ端末は次のタスクの実行時間に達した時に、前記応答情報を出力するようにする。
前記実施例は、次のタスクがもうすぐ実行される時にのみ、次のタスクの応答情報を照会し、それにより、ユーザ端末によって取得された応答情報が適時性および正確度を有することを保証することが分かる。
「前記次のタスクの実行時間に達する前」という現在の時間状態をどうやって決定するかについて、一例では、タスクリストには各タスクの実行時間が表記されると、次のタスクの実行時間に達する前を決定することができ、例えば、実行時間に達する前のプリセット時間に照会する。別の例では、ユーザ端末によって送信された次のタスクを実行するタスク要求を受信することであってもよく、現在の時間状態が、次のタスクの実行時間に達する前であると判定する。例示的に、前記次のタスクの応答情報を照会してユーザ端末に送信する前には、ユーザ端末によって送信された次のタスクのタスク情報が搬送されたタスク要求を受信することをさらに含む。ユーザ端末がタスク要求を送信するタイミングは、次のタスクの実行時間に達する前であってもよい。例えば、ユーザ端末は現在のタスクの完了時間を決定することができ、したがって、次のタスクが現在のタスクの直後に実行されると、ユーザ端末は現在のタスクが完了された時、または完了する前のプリセット時間に、音声対話システムに次のタスクを実行するタスク要求を送信することができ、音声対話システムがタスク要件を受信した時に、現在の時間状態が、次のタスクの実行時間に達する前であると判定し、それにより、次のタスクに対応する応答情報の照会を始めることができるようにする。さらに例えば、ユーザ端末が次のタスクの実行時間を知ると、ユーザ端末は、次のタスクの実行時間に達する前のプリセット時間に、音声対話システムにタスク要求を送信するなどである。ユーザ端末が次のタスクの実行時間をどうやって取得するかについて、音声対話システムによって送信されたタスクリストによって決定されることができ、タスクリストはタスクの実行時間を記録し、音声対話システムによって送信された次のタスクのタスク情報によって決定されることもでき、タスク情報は次のタスクの実行時間を含む。
ユーザ端末が次のタスクをどうやって決定するかについて、一例では、ユーザ端末にはタスクリストが記憶されることができる。タスクリストは履歴的に記憶されてたものでもよく、音声対話システムに音声情報を送信した後、音声対話システムによってフィードバックされたものであってもよい。別の例では、音声対話システムがユーザ端末に現在のタスクを送信する時、次のタスクのタスク情報をさらに送信することができる。ユーザ端末は、タスク情報のタスク識別に従って次のタスクを決定する。一例では、タスク要件は、さらに、次のタスクのタスク情報を搬送することができる。タスク情報は、次のタスクのタスク情報は、少なくとも次のタスクの識別情報を含むなど、少なくとも、次のタスクを一意に識別するために使用されることができ、それにより、タスク情報を使用して次のタスクを決定することを実現する。タスク要件のタスク情報は、ユーザ端末がタスクリストに従って決定されたものであってもよく、音性対話システムが現在のタスクの応答情報を送信する時に、搬送された次のタスクのタスク情報であってもよい。
特定のシナリオにおいて、要求の数を増加すると、音声対話システムの要求を処理する負担が増えることができ、音声対話システムの性能(高並行性、実行時間の複雑さなど)がテストされる。一方では、音声対話システムの性能を改善することによって当該問題を解決することができる。もう一方では、提供されたタスク情報によって照会時間を短縮することができる。例えば、次のタスクのタスク情報には、次のタスクを一意に識別することができる識別情報が含まれることに加えて、次のタスクの問題のインデックス情報、次のタスクの問題のカテゴリ、次のタスクの実行時間の1つまたは複数を含み得るが、これらに限定されない。インデックス情報は、次のタスクの問題の答えをインデックスするために使用される情報であり、インデックス情報が次のタスクの問題に対応する答えを迅速に照会することができることによって、照会時間を改善する。様々な問題を分類し、異なるカテゴリの問題に対応する答えを異なるデータベースに記憶し、問題が属するカテゴリ介して、そのカテゴリのデータベースからデータを直接に照会することができ、さらに、照会効率を向上させる。
タスク情報は、照会効率を向上させることができる他のフィールドをさらに含むことができ、ここでは再び説明しないことを理解されたい。さらに、現在の時間状態は、他の手段を使用して決定されることができる。プリセット時間は、事前に設定された応答情報にほとんど影響を与えない時間であってもよく、プリセット時間と次のタスクの実行時間の間で、応答情報の照会、フィードバックなどを完了することができる。さらに、特定のシナリオでは、照会速度が速いため、プリセット時間は0であってもよく、即ち、次のタスクの実行時間に達した時に、次のタスクの応答情報を照会してユーザ端末に送信する。
どのようなタスクがリアルタイム照会操作を実行する必要があるかに対して、一例では、次のタスクがどのタイプのタスクであっても、ユーザ端末は、音声対話システムに、次のタスクのタスク情報が搬送されたタスク要求を送信することができる。前記次のタスクは、リアルタイム要件を有する質疑応答タスクおよびリアルタイム要件を有しない質疑応答タスクのうちのいずれか1つのタスクを含む。言い換えると、リアルタイム要件を有する質疑応答タスクであっても、リアルタイム要件を有しない質疑応答タスクであっても、両者は、前記タスクの実行時間に達する前に、照会作業を行い、応答情報をユーザ端末にフィードバックする。
さらに、ユーザ端末に現在のタスクの応答情報を送信する時に、ユーザ端末に次のタスクのタスク情報を送信することもでき、対応的に、ユーザ端末に次のタスクの応答情報を送信する時、ユーザ端末に次のタスクに隣接する未処理タスク(第3ラウンドのタスクと略称する)のタスク情報を送信することで、タスクの応答情報を送信するたびに、隣接するタスクのタスク情報も一緒に送信することを実現する。ユーザ端末が次のタスクの応答情報を完了した時に、次に実行する必要があるタスクを明確に指定することを容易にするために、次のタスクに隣接する未処理タスクの実行時間に達する前であっても、音声対話システムに前記タスク情報が搬送されたタスク要求を送信し、第3ラウンドのタスクの実行を要求する。
前記実施例では、現在の応答情報および次のタスクのタスク情報を送信するたびに、現在のタスクの応答情報を再生し、次のタスクの実行時間に達する前に、タスク情報を使用して次のタスクの応答情報を要求することができ、それにより、応答情報の適時性を保証することができる。
特定のシナリオにおいて、リアルタイム照会は音声対話システムに大きな処理圧力をかける可能性があり、したがって、タスク要求の数を減らすことによって、音声対話システムの照会数を減らすことができる。例示的に、質疑応答タスクを、リアルタイム要件を有する質疑応答タスクとリアルタイム要件を有しない質疑応答タスクに分ける。リアルタイム要件を有する質疑応答タスクとは、リアルタイムのロードブロック状況を再生するなど、応答情報に適時性要件がある質疑応答タスクである。リアルタイム要件を有しない質疑応答タスクとは、20分間軽音楽を再生するなどのタスクなど、応答情報に対して適時性を有しなくまたは適時性に対する要件が強くない質疑応答タスクであってもよい。質疑応答タスクのタイプをどうやって分割するかに対して、一方ではユーザが設定するしてもよく、もう一方ではシステムがビッグデータ解析を介して取得してもよい。
したがって、別の実施例において、前記次のタスクは、リアルタイム要件を有する質疑応答タスクである。言い換えると、次のタスクがリアルタイム要件を有する質疑応答タスクである場合、次のタスクの実行時間に達する前に、前記次のタスクの応答情報を照会してユーザ端末に送信し、それにより、音声対話システムの処理圧力を軽減する。タスク情報を送信する必要がある場合に対して、一実施例では、ユーザ端末に前記次のタスクの応答情報を送信する時に、前記次のタスクに隣接する未処理タスクのタスク情報をユーザ端末に送信することをさらに含む。ユーザ端末では、タスク情報に従って次のタスクがリアルタイム要件を有する質疑応答タスクまたはリアルタイム要件を有しない質疑応答タスクであるかを判断することができ、前記タスク情報に従って、前記次のタスクがリアルタイム要件を有する質疑応答タスクであると決定した場合、次のタスクの実行時間に達する前に、音声対話システムにタスク情報が搬送されたタスク要求を送信する。
前記実施例は、タスクがリアルタイム要件を有するかどうかに限らず、タスク情報を送信することを実現することができ、ユーザ端末によってタスク要求を送信するかどうかを判断することができる。
別の実施例において、ユーザ端末に次のタスクの応答情報を送信する時には、前記次のタスクに隣接する未処理タスクがリアルタイム要件を有する質疑応答タスクであることに応答して、前記次のタスクに隣接する未処理タスクのタスク情報をユーザ端末に送信し、ここで、ユーザ端末はタスクリストを記憶することをさらに含む。
前記実施例において、リアルタイム要件を有するタスクのみのタスク情報が送信され、リアルタイム要件を有しないタスクのタスク情報も送信されることを回避し、伝送情報によるリソースの浪費を回避し、ユーザ端末の判断プロセスを低減する。ユーザ端末は、前記次のタスクに隣接する未処理タスクのタスク情報を受信していない場合、直接に、タスクリストに従って次のタスクを決定し、ローカルエンドから前記次のタスクに隣接する未処理タスクの応答情報を取得して出力することができる。
リアルタイム要件を有しない質疑応答タスクに対して、指定時間に当該質疑応答タスクの応答情報をユーザ端末にフィードバックすることができる。例示的に、タスクリストの最初のタスクを実行するプロセスで、タスクリストのリアルタイム要件を有しない質疑応答タスクを決定し、リアルタイム要件を有しない質疑応答タスクの応答情報のすべてをユーザ端末に送信して、ユーザ端末がタスクリストのタスクの順序に従って、ローカルエンドから前記応答情報を取得して出力するようにすることができる。
前記実施例において、リアルタイム要件を有しない質疑応答タスクに対して一回に統一して送信することができ、タスク要求の数を減らし、サーバの圧力を減らすことができる。
前記次のタスクの応答情報を照会してユーザ端末に送信することに関して、次のタスクに対応する応答情報を照会し、照会して取得した応答情報をユーザ端末に送信し得る。応答情報は、オーディオ情報、文字情報、画像情報などであってもよい。対応的に、応答情報を出力することは、オーディオ情報を再生すること、文字情報、画像情報などを表示することなどであり得る。例示的に、音声対話プロセスにおいて、対話にオーディオがしばしば使用され、応答情報はオーディオ情報であってもよく、応答情報を出力することはオーディオ情報を再生することであってもよい。
タスクリストのタスクは質疑応答タスクに加えて、機器を制御するために使用される制御タスクであってもよい。したがって、一実施例では、前記方法は、次のタスクがスマートホーム機器を制御するための制御タスクであると、制御タスクに対応する制御命令を物事のインターネットシステム(IOT)に送信し、物事のインターネットシステムを介して対応するスマートフォーム機器を制御することをさらに含む。
前記実施例において、質疑応答を実現するだけでなく、スマートホーム機器の制御も実現することができ、音声対話の適用シナリオを広げることができる。
特定のシナリオにおいて、タスクリストのタスクに対する実行が完了せず、新しいユーザの音声が受信される場合がある。この場合に対して、一例では、タスクリストの未完了のタスクを延期して実行することができ、別の例では、ユーザ端末が前記タスクリストの未完了タスクを実行し続けることを直接に防止し、未完了タスクをクリアすることができる。例示的に、前記タスクリストのタスクに対する実行が未完了である時に、新しいユーザ音声が受信されると、前記タスクリストの未完了タスクに対するユーザ端末の実行を中断する。さらに、リマインダ情報を出力することができ、ユーザ命令でタスクリストの未完了タスクを実行し続けるかを決定し、タスクの制御性を高めることができる。
以上の実施例における様々な技術的特徴は、特徴の組み合わせに競合や矛盾がない限り、任意に組み合わせることができるが、紙幅に限りがあり、詳細に説明しないため、上記実施例における様々な技術的特徴の任意の組み合わせも本明細書で開示される範囲に属する。
さらに、ユーザ端末側から音声対話方法を例示して説明する。
図3に示されたように、本開示の一例示的な実施例によって示された別の音声対話方法のフローチャートであり、前記方法は次のステップを含み得る。
ステップ302において、取得した音声情報を音声対話システムに送信する。
ステップ304において、現在のタスクの実行時間に達する前に、音声対話システムによって送信された現在のタスクの応答情報を受信して、前記現在のタスクの実行時間に達した時に、前記現在のタスクの応答情報を出力するようにする。
本実施例の方法は、ユーザ端末に適用されることができ、ユーザ端末ソフトウェアであってもよく、ハードウェアであってもよい。例えば、ユーザ端末は、スマートフォン、タブレットパソコン、携帯情報端末(PDA:Personal Digital Assistant)、ウェアラブル機器、スマートスピーカなど音声収集機能がある機器であってもよい。
現在のタスクの実行時間に達する前に、音声対話システムによって送信された現在のタスクの応答情報を受信して、現在のタスクの実行時間に達した時に、現在のタスクの応答情報を出力するようにすることができる。現在のタスクは、リアルタイム要件を有する質疑応答タスクであってもよく、リアルタイム要件を有しない質疑応答タスクであってもよく、制御タスクなどであってもよい。一例では、現在のタスクが質疑応答タスク、特に、リアルタイム要件を有する質疑応答タスクである場合、現在のタスクの応答情報は、現在のタスクの実行時間に達した時の少し前(現在のタスクの実行時間に達する前のプリセット時間など)に、音声対話システムで照会することによって取得されたものであってもよく、それにより、タスク応答情報の優れた適時性および精度を保証する。プリセット時間は、ニーズに従って設定された短い時間であってもよい。
ユーザ端末において、様々な場合が存在することができ、タスクリストの方面から見ると、1つの場合は、音声情報に対応するタスクリストが事前に記憶されず、ユーザ端末は、音声対話システムによって送信されたタスク情報を介してタスクを決定する場合である。別の場合は、音声情報に対応するタスクリストが事前に記憶されて、ユーザ端末は、タスクリストからタスクを決定することができる場合である。タスク要求を送信する方面から見ると、1つの場合は、次のタスクがどのタイプのタスクであっても、次のタスクのタスク情報が搬送されたタスク要求を送信し、あらゆるタイプの質疑応答タスクを適時に照会することを実現する場合であり、別の場合は、リアルタイム要件を有する質疑応答タスクまたは制御タスクに対してのみタスク要求を送信する場合(特定の例では、制御タスクに対してもタスク要求を送信する必要がない)である。ユーザ端末は、リアルタイム要件を有しない質疑応答タスクの応答情報を事前に記憶して、次のタスクがリアルタイム要件を有しない質疑応答タスクであることを決定し、次のタスクの実行時間に達した時に、ローカルエンドから次のタスクの応答情報を取得して出力することを実現することができる。音声対話システムにおいて、現在のタスクの応答情報を送信する時、次のタスクがどのタイプのタスクであっても、次のタスクのタスク情報を送信し、タスクリストの最初以外の各タスクのタスク情報を送信することを実現してもよく、現在のタスクの応答情報を送信する時、次のタスクがリアルタイム要件を有する質疑応答タスクまたは制御タスクである場合に、次のタスクのタスク情報などを送信してもよい。現在のタスクの応答情報を送信するかどうかをどうやって決定することは、例示的に、タスク要求を受信したかどうかによって決定することができる。前記ユーザ端末側の実施例は、音声対話システム側の実施例と組み合わせることができ、以下では、いくつかの組み合わせを例示して説明する。
音声対話システムがタスクリストの最初以外の各タスクのタスク情報を送信する場合、一実施例では、ユーザ端末において、前記現在のタスクの応答情報は次のタスクのタスク情報をさらに搬送し、前記方法は、前記次のタスクの実行時間に達する前に、前記音声対話システムに前記次のタスクのタスク情報が搬送されたタスク要求を送信して、音声対話システムが、前記次のタスクの実行時間に達する前に、対応する応答情報をフィードバックすることをさらに含む。それにより、各質疑応答タスクが応答情報をリアルタイムで照会して取得することを実現することができる。
別の例では、リアルタイム要件を有しない質疑応答タスクの応答情報のすべてを事前に取得した場合、例示的に、ユーザ端末において、前記方法は、現在のタスクが前記音声情報に対応するタスクリストの最初のタスクである場合、音声システムによって送信された、前記タスクリストのすべてのリアルタイム要件を有しない質疑応答タスクの応答情報を受信することをさらに含む。音声対話システムによって送信された、次のタスクのタスク情報に従って次のタスクがリアルタイム要件を有する質疑応答タスクまたは制御タスクであるかどうかを決定し、前記タスク情報に従って前記次のタスクがリアルタイム要件を有する質疑応答タスク、またはスマートホーム機器を制御するための制御タスクを決定し、次のタスクの実行時間に達する前に、音声対話システムに前記タスク情報が搬送されたタスク要求を送信し、前記タスク情報に従って、前記次のタスクがリアルタイム要件を有しない質疑応答タスクであることを決定し、次のタスクの実行時間に達した時に、ローカルエンドから次のタスクの応答情報を取得して出力する。
前記実施例は、ユーザ端末がタスク情報に従って次のタスクのタイプを判断し、それにより、タスク要求を送信するかどうかを決定することで、タスク要求を送信する数を減らし、それにより、音声対話システムの処理圧力を軽減することができる。
音声対話システムがタスクリストのリアルタイム要件を有するタスク情報、または制御タスクのタスク情報を送信する実施例において、ユーザ端末が次のタスクのタスク情報を受信した場合、即ち次のタスクがリアルタイムを有する質疑応答タスクまたは制御タスクであることを表す場合、次のタスクの実行時間に達する前のプリセット時間に、音声対話システムは、タスク情報が搬送されたタスク要求を送信する。例示的に、ユーザ端末に前記音声情報に対応するタスクリストが事前に記憶され、前記方法は、前記タスクリストから次のタスクのタスク情報を決定し、前記次のタスクの実行時間に達する前に、前記次のタスクのタスク情報が搬送されたタスク要求を前記音声対話システムに送信して、音声対話システムが、前記次のタスクの実行時間に達する前に、対応する応答情報をフィードバックするようにする。
さらに、音声対話システムによって送信された現在のタスクの応答情報のみがを受信された場合、次のタスクがすでに応答情報を有するタスクであることを表し、したがって、音声対話システムによって送信された現在のタスクの応答情報のみを受信し、前記応答情報を出力する場合、前記タスクリストに従って次のタスクを決定し、次のタスクの実行時間に達する時に、ローカルエンドから次のタスクの応答情報を取得して出力する。
前記実施例は、タスクがリアルタイム要件を有する質疑応答タスクである場合、または制御タスクである場合、音声対話システムに要求を送信し、要求送信の数を減らすことを実現することができる。
以上の実施例における様々な技術的特徴は、特徴の間の組み合わせに競合や矛盾がない限り、任意に組み合わせることができるが、紙幅に限りがあり、詳細に説明しないため、上記実施例における様々な技術的特徴の任意の組み合わせも本明細書で開示される範囲に属する。ユーザ端末ではタスクリストが記憶されてもよく、タスクリストが記憶されなくてもよい。例えば、音声対話システムが、毎回のタスクのタスク情報を送信する場合、ユーザ端末はタスクリストを記憶する必要がない。音声対話システムは、各タスクに対して照会タスクを実行することができ、リアルタイム要件を有するタスクに対して、前記タスクの実行時間に達する前に、前記次のタスクの応答情報を照会してユーザ端末に送信することもできる。タスクがリアルタイム要件を有する質疑応答タスクであるかどうかは、ユーザ端末で判断することができ、音声対話システムで判断することもできる。
理解を容易にするために、ユーザ端末および音声対話システム対話の観点から音声対話方法を例示し説明する。図4に示されたように、本開示の一例示的な実施例によって示された音声対話方法のタイミングチャートである。前記方法は、すべての最初以外のタスクに対してタスク要求を送信し、ユーザ端末はタスクリストを記憶する必要がない観点から例示し説明し、前記方法は次のステップを含む。
ステップ401において、ユーザ端末は収集した音声情報を音声対話システムに送信する。
ステップ402において、音声対話システムは、前記音声情報に対応するタスクリストを決定し、前記タスクリストは、少なくとも2つの順序付けられたタスクを含む。
ステップ403において、音声対話システムは、ユーザ端末に現在のタスクの応答情報および次のタスクのタスク情報を送信する。
ステップ404において、ユーザ端末は、音声対話システムによって送信された現在のタスクの応答情報に応答して、前記応答情報を出力し、次のタスクの実行時間に達する前に、前記タスク情報が搬送されたタスク要求を音声対話システムに送信する。
ステップ405において、音声対話システムは、タスク要求を受信し、且つタスク情報に従って次のタスクが質疑応答タスクであると決定した時、次のタスクの応答情報を照会する。
ステップ406において、音声対話システムは、前記次のタスクの応答情報および次のタスクの後に配列されたタスクのタスク情報をユーザ端末に送信する。
これによって類推して、タスクリストのすべてのタスクが完了するまで続ける。
さらに、音声対話システムは、タスク要求を受信し、且つタスク情報に従って次のタスクが制御タスクであると決定した場合、前記制御タスクに対応する制御命令を物事のインターネットシステムに送信し、物事のインターネットシステムを介して対応するスマートフォーム機器を制御することができる。
ここで、図4の関連技術は、図2および図3のと同じであり、ここでは再び紹介しない。
前記実施例では、現在の応答情報および次のタスクのタスク情報を送信するたびに、毎回の応答情報の再生が完了した後、タスク情報を使用して次の応答情報を要求することができ、それにより、応答情報の適時性を保証することができる。
図5に示されたように、本開示の一例示的な実施例によって示された別の音声対話方法のタイミングチャートである。前記方法は、制御タスクおよびリアルタイム要件を有する質疑応答タスクに対してタスク要求を送信し、ユーザ端末にタスクリストが記憶された観点から例示して説明し、前記方法は次のステップを含む。
ステップ501において、ユーザ端末は、収集した音声情報を音声対話システムに送信する。
ステップ502において、音声対話システムは、前記音声情報に対応するタスクリストを決定し、前記タスクリストは、少なくとも2つの順序付けられたタスクを含む。
ステップ503において、音声対話システムは、ユーザ端末に現在のタスクの応答情報を送信し、次のタスクがリアルタイム要件を有する質疑応答タスクまたは制御タスクである場合、次のタスクのタスク情報をユーザ端末に送信し、そうでない場合、タスク情報を送信しない。
ステップ504において、ユーザ端末は、音声対話システムによって送信された現在のタスクの応答情報および次のタスクのタスク情報に応答して、前記応答情報を出力し、次のタスクの実行時間に達する前のプリセット時間に、前記タスク情報が搬送されたタスク要求を音声対話システムに送信する。音声対話システムによって送信された現在のタスクの応答情報を受信したことに応答して(次のタスクのタスク情報が受信されていないことは、次のタスクがリアルタイム要件を有する質疑応答タスクまたは制御タスクではないことを表す)、前記応答情報を出力し、前記タスクリストに従って次のタスクを決定し、次のタスクの実行時間に達した時に、ローカルエンドから次のタスクの応答情報を取得して出力する。
ステップ505において、音声対話システムは、タスク要求を受信し、且つタスク情報に従って次のタスクが質疑応答タスクであると決定した時、次のタスクの応答情報を照会する。
ステップ506において、ユーザ端末に前記次のタスクの応答情報を送信し、次のタスクに隣接する未処理タスクがリアルタイム要件を有する質疑応答タスクまたは制御タスクである場合、前記タスクのタスク情報をユーザ端末に送信し、そうでない場合、タスク情報を送信しない。
これによって類推して、タスクリストのタスクが完了するまで続ける。
さらに、音声対話システムがタスクリストの最初のタスクを実行するプロセスで、タスクリスト内のリアルタイム要件を有しない質疑応答タスクを決定し、リアルタイム要件を有しない質疑応答タスクの応答情報のすべてをユーザ端末に送信する。
ここで、図5の関連技術は、図2および図3の関連技術と同じであり、ここで再び紹介しない。
前記実施例において、制御タスクまたはリアルタイム要件を有するタスクに対してのみタスク情報を送信し、リアルタイム要件を有しないタスクのタスク情報も送信されることを回避し、それにより、要求の数を減らし、音声対話システムの処理圧力を軽減する。
前述した音声対話方法の実施例に対応して、本開示は、音声対話装置、装置に適用される機器および記憶媒体の実施例をさらに提供する。
図6に示されたように、図6は、本開示の一例示的な実施例によって示された音声対話装置のブロック図であり、前記装置は、
ユーザの音声情報を取得するように構成される情報取得モジュール62と、
前記音声情報に対応するタスクリストを決定するように構成されるリスト決定モジュール64であって、前記タスクリストは、少なくとも2つの順序付けられたタスクを含むリスト決定モジュール64と、
前記少なくとも2つの順序付けられたタスクの各タスクに対して、現在のタスクの次のタスクが質疑応答タスクであることに応答して、前記次のタスクの実行時間に達する前に、前記次のタスクの応答情報を照会してユーザ端末に送信して、前記ユーザ端末が、前記次のタスクの実行時間に達した時に、前記応答情報を出力するように構成される情報フィードバックモジュール66とを含む。
一代替実施例において、前記次のタスクは、リアルタイム要件を有する質疑応答タスクである。
一代替実施例において、前記情報フィードバックモジュール66は、前記次のタスクの応答情報を照会してユーザ端末に送信する前に、ユーザ端末によって送信された、次のタスクのタスク情報が搬送されたタスク要求を受信するように構成される。
一代替実施例において、前記情報フィードバックモジュール66は、ユーザ端末に前記次のタスクの応答情報を送信する時、ユーザ端末に、前記次のタスクに隣接する未処理タスクのタスク情報を送信するユーザ端末に、前記次のタスクに隣接する未処理タスクがリアルタイム要件を有する質疑応答タスクであることに応答して、ユーザ端末に、前記次のタスクに隣接する未処理タスクのタスク情報を送信するように構成され、ここで、ユーザ端末はタスクリストを記憶する。
一代替実施例において、前記次のタスクのタスク情報は、少なくとも次のタスクの識別情報を含み、前記次のタスクのタスク情報は、次のタスクの問題のインデックス情報、次のタスクの問題のカテゴリ、次のタスクの実行時間のうちの少なくとも1つをさらに含む。
一代替実施例において、前記情報フィードバックモジュール66は、さらに、前記次のタスクの応答情報を照会してユーザ端末に送信する前に、タスクリストの最初のタスクを実行するプロセスで、タスクリスト内のリアルタイム要件を有しない質疑応答タスクを決定し、リアルタイム要件を有しない質疑応答タスクの応答情報のすべてをユーザ端末に送信して、ユーザ端末がタスクリストのタスクの順序に従って、ローカルエンドから前記応答情報を取得して出力するように構成される。
一代替実施例において、前記装置は、タスク中断モジュール(図6に未図示)をさらに含み、
前記タスクリストのタスクに対する実行が未完了である時に、新しいユーザ音声が受信されると、前記タスクリストの未完了タスクに対するユーザ端末の実行を中断するように構成される。
図7に示されたように、図7は、本開示の一例示的な実施例によって示された別の音声対話装置のブロック図であり、前記装置は、
取得した音声情報を音声対話システムに送信するように構成される音声送信モジュール72と、
現在のタスクの実行時間に達する前に、音声対話システムによって送信された現在のタスクの応答情報を受信して、前記現在のタスクの実行時間に達した時に、前記現在のタスクの応答情報を出力するようにするように構成される情報受信モジュール74とを含む。
一代替実施例において、前記現在のタスクの情報は次のタスクのタスク情報をさらに搬送し、前記装置は、第1の要求送信モジュール(図7に未図示)をさらに含み、
前記次のタスクの実行時間に達する前に、前記次のタスクのタスク情報が搬送されたタスク要求を前記音声対話システムに送信して、音声対話システムが、前記次のタスクの実行時間に達する前に、対応する応答情報をフィードバックするように構成される。
一代替実施例において、前記音声情報に対応するタスクリストが事前に記憶され、前記装置(図7に未図示)は、
前記タスクリストから次のタスクのタスク情報を決定するように構成されるタスク情報決定モジュールと、
前記次のタスクの実行時間に達する前に、前記次のタスクのタスク情報が搬送されたタスク要求を前記音声対話システムに送信して、音声対話システムが、前記次のタスクの実行時間に達する前に、対応する応答情報をフィードバックするように構成される第2の要求送信モジュールとをさらに含む。
一代替実施例において、前記次のタスクは、リアルタイム要件を有する質疑応答タスクである。
一代替実施例において、前記装置はタスク実行モジュール(図7に未図示)をさらに含み、
前記タスク情報に従って、前記次のタスクがリアルタイム要件を有しない質疑応答タスクであることを決定し、次のタスクの実行時間に達した時に、ローカルエンドから次のタスクの応答情報を取得して出力するように構成される。
前記装置におけるモジュールの機能および作用の実現プロセスは前記方法の対応するステップの実現プロセスを参照し、ここでは再び説明しない。
装置の実施例において、それらは基本的に方法の実施例に対応するため、関連する部分は方法の実施例の説明の一部を参照することができる。上記で説明された装置の実施例は例示的なものに過ぎず、ここで、前記分離部材として説明されたモジュールは、物理的に分離されている場合とされていない場合があり、モジュールとして表示された部材は、物理モジュールである場合もそうでない場合もあり、1箇所に配置される場合もあれば、複数のネットワークモジュールに分散される場合もある。実際の必要に応じて、その中の一部または全部モジュールを選択して本開示の技術案の目的を実現することができる。当業者は、創造的な努力なしに、理解して実施することができる。
対応的に、本開示は、コンピュータ命令が記憶されたコンピュータ読み取り可能な記憶媒体をさらに提供し、前記命令がプロセッサによって実行される時に、前記いずれか一項に記載の方法のステップを実行する。
本開示は、プログラムコードを含む1つまたは複数の記憶媒体(ディスクメモリ、CD-ROM、光学メモリなどを含むが、これらに限定されない)で実施されるコンピュータプログラム製品の形を採用することができる。コンピュータ使用可能な記憶媒体には永久的および非永久的、リムーバブルおよび非リムーバブル媒体が含まれ、任意の方法または技術で情報の記憶を実現することができる。情報は、コンピュータ読み取り可能な命令、データ構造、プログラムのモジュールまたは他のデータであり得る。コンピュータの記憶媒体の例は、相変化メモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、他のタイプのランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、フラッシュメモリまたは他のメモリ技術、リードオンリーメモリ(CD-ROM)、デジタル多用途ディスクDVD)またはその他の光学式ストレージ、磁気テープカセット、磁気テープ、磁気ディスクメモリまたは他の磁気記憶機器または他の任意の非伝送媒体を含むが、これらに限定されず、コンピュータ機器によってアクセスされることができる情報を記憶するために使用されることができる。
対応的に、本開示の実施例は電子機器を提供し、前記機器は、プロセッサと、プロセッサによって実行可能な命令を記憶するように構成されるメモリを含み、ここで、前記プロセッサが前記実行可能な指令を実行する時に、前記いずれか1つの音声対話方法を実現する。
図8に示されたように、図8は、一例示的な実施例によって示された音声対話するための装置800の概略構造図である。例えば、装置800は、ユーザ端末または音声対話システムとして提供されることができる。図8を参照すると、装置800は、処理コンポーネント822を含み、さらに1つまたは複数のプロセッサ、およびメモリ832で代表されるメモリリソースを含み、処理コンポーネント822によって実行される命令を記憶するように構成され、例えば、アプリケーションプログラムである。メモリ832に記憶されたアプリケーションプログラムは、1つまたは1つ以上の1セットの命令に対応する各モジュールを含み得る。さらに、処理コンポーネント822は命令を実行するように構成され、前記音声対話方法を実行する。
装置800は、装置800の電源管理を実行するように構成される1つの電力コンポーネント826、装置800をネットワークに接続するように構成される1つの有線または無線ネットワークインターフェース850、および1つの入力/出力(I/O)インターフェース858をさらに含み得る。装置800は、メモリ832に記憶されたAndroid、iOS、Windows(登録商標) ServerTM、Mac OS XTM、Unix(登録商標)、Linux(登録商標)、FreeBSDTMまたは類似なものなどの操作システムに基づいて操作されることができる。
例示的な実施例において、命令を含むメモリ832などの、命令を含む非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、前記命令は、装置800の処理コンポーネント822によって実行されて前記方法を完了することができる。例えば、前記非一時的なコンピュータ読み取り可能な記憶媒体は、ROM、ランダムアクセスメモリ(RAM)、CD-ROM、磁気テープ、フロッピー(登録商標)ディスクおよび光学データ記憶装置等であってもよい。
ここで、前記メモリ832の命令が前記処理コンポーネント822によって実行される時、装置800がいずれか1つの音声対話方法を実行することができる。
当業者は、明細書を考慮して、本明細書に開示された発明を実施した後に、本開示の他の実施形態を容易に想到し得るであろう。本出願は、本開示のあらゆる変形、応用または適応性変化を網羅することを意図し、これらの変形、応用または適応性変化は、本開示の普通の原理に準拠し、本開示によって開示されない本技術分野における公知知識または従来の技術的手段を含む。明細書と実施例は、例示としてのみ考慮され、本開示の真の範囲および思想は添付の特許請求の範囲によって示される。
本開示は、前述した既に説明し、図面に示した正確な構造に限定されるものではなく、その範囲から逸脱することなく様々な修正および変更を行うことができることを理解されたい。本開示の範囲は、添付の特許請求の範囲によってのみ制限される。

Claims (26)

  1. 音声対話方法であって、
    ユーザの音声情報を取得することと、
    前記音声情報に対応するタスクリストを決定することであって、前記タスクリストは、少なくとも2つの順序付けられたタスクを含む、ことと、
    前記少なくとも2つの順序付けられたタスクの各タスクに対して、現在のタスクの次のタスクが質疑応答タスクであることに応答して、前記次のタスクの実行時間に達する前に、前記次のタスクの応答情報を照会してユーザ端末に送信して、前記ユーザ端末が、前記次のタスクの実行時間に達した時に、前記応答情報を出力するようにすることとを含むことを特徴とする、音声対話方法。
  2. 前記次のタスクは、リアルタイム要件を有する質疑応答タスクであることを特徴とする、
    請求項1に記載の音声対話方法。
  3. 前記次のタスクの応答情報を照会してユーザ端末に送信する前に、
    ユーザ端末によって送信された、次のタスクのタスク情報が搬送されたタスク要求を受信することをさらに含むことを特徴とする、
    請求項1に記載の音声対話方法。
  4. ユーザ端末に前記次のタスクの応答情報を送信する時に、
    前記次のタスクに隣接する未処理タスクのタスク情報をユーザ端末に送信すること、または、
    前記次のタスクに隣接する未処理タスクがリアルタイム要件を有する質疑応答タスクであることに応答して、前記次のタスクに隣接する未処理タスクのタスク情報をユーザ端末に送信することであって、ユーザ端末にはタスクリストが記憶されたことをさらに含むことを特徴とする、
    請求項1に記載の音声対話方法。
  5. 前記次のタスクのタスク情報は、少なくとも次のタスクの識別情報を含み、前記次のタスクのタスク情報は、次のタスクの問題のインデックス情報、次のタスクの問題のカテゴリ、次のタスクの実行時間のうちの少なくとも1つをさらに含むことを特徴とする、
    請求項3または4に記載の音声対話方法。
  6. 前記次のタスクの応答情報を照会してユーザ端末に送信する前に、
    タスクリストの最初のタスクを実行するプロセスで、タスクリスト内のリアルタイム要件を有しない質疑応答タスクを決定し、リアルタイム要件を有しない問答質疑応答タスクの応答情報のすべてをユーザ端末に送信して、ユーザ端末がタスクリストのタスクの順序に従って、ローカルエンドから前記応答情報を取得して出力するようにすることをさらに含むことを特徴とする、
    請求項1に記載の音声対話方法。
  7. 前記方法は、
    前記タスクリストのタスクに対する実行が完了してない時、新しいユーザ音声を受信すると、前記タスクリストの未完了タスクに対するユーザ端末の実行を中断することをさらに含む、
    請求項1に記載の音声対話方法。
  8. 音声対話方法であって、
    前記音声対話方法は、
    取得した音声情報を音声対話システムに送信して、前記音声対話システムが、前記音声情報に対応するタスクリストを決定するようにすることであって、前記タスクリストは、少なくとも2つの順序付けられたタスクを含む、ことと、
    現在のタスクの実行時間に達する前に、音声対話システムによって送信された現在のタスクの応答情報を受信して、前記現在のタスクの実行時間に達した時に、前記現在のタスクの応答情報を出力するようにすることとを含むことを特徴とする、音声対話方法。
  9. 前記現在のタスクの応答情報は、次のタスクのタスク情報をさらに搬送し、前記方法は、
    前記次のタスクの実行時間に達する前に、前記次のタスクのタスク情報が搬送されたタスク要求を前記音声対話システムに送信して、音声対話システムが、前記次のタスクの実行時間に達する前に、対応する応答情報をフィードバックするようにすることをさらに含むことを特徴とする、
    請求項8に記載の音声対話方法。
  10. 前記音声情報に対応するタスクリストが事前に記憶され、前記方法は、
    前記タスクリストから次のタスクのタスク情報を決定することと、
    前記次のタスクの実行時間に達する前に、前記次のタスクのタスク情報が搬送されたタスク要求を前記音声対話システムに送信して、音声対話システムが、前記次のタスクの実行時間に達する前に、対応する応答情報をフィードバックするようにすることとをさらに含むことを特徴とする、
    請求項8に記載の音声対話方法。
  11. 前記次のタスクは、リアルタイム要件を有する質疑応答タスクであることを特徴とする、
    請求項9または10に記載の音声対話方法。
  12. 前記方法は、
    前記タスク情報に従って、前記次のタスクがリアルタイム要件を有しない質疑応答タスクであることを決定し、次のタスクの実行時間に達した時に、ローカルエンドから次のタスクの応答情報を取得して出力することをさらに含むことを特徴とする、
    請求項9または10に記載の音声対話方法。
  13. 音声対話装置であって、
    ユーザの音声情報を取得するように構成される情報取得モジュールと、
    前記音声情報に対応するタスクリストを決定するように構成されるリスト決定モジュールであって、前記タスクリストは、少なくとも2つの順序付けられたタスクを含む、リスト決定モジュールと、
    前記少なくとも2つの順序付けられたタスクの各タスクに対して、現在のタスクの次のタスクが質疑応答タスクであることに応答して、前記次のタスクの実行時間に達する前に、前記次のタスクの応答情報を照会してユーザ端末に送信して、前記ユーザ端末が、前記次のタスクの実行時間に達した時に、前記応答情報を出力するように構成される情報フィードバックモジュールとを含むことを特徴とする、音声対話装置。
  14. 前記次のタスクは、リアルタイム要件を有する質疑応答タスクであることを特徴とする、
    請求項13に記載の音声対話装置。
  15. 前記情報フィードバックモジュールは、前記次のタスクの応答情報を照会してユーザ端末に送信する前に、ユーザ端末によって送信された、次のタスクのタスク情報が搬送されたタスク要求を受信するように構成されることを特徴とする、
    請求項13に記載の音声対話装置。
  16. 前記情報フィードバックモジュールは、
    ユーザ端末に前記次のタスクの応答情報を送信する時、ユーザ端末に、前記次のタスクに隣接する未処理タスクのタスク情報を送信し、または、前記次のタスクに隣接する未処理タスクがリアルタイム要件を有する質疑応答タスクであることに応答して、前記次のタスクに隣接する未処理タスクのタスク情報をユーザ端末に送信するように構成され、ユーザ端末はタスクリストを記憶することを特徴とする、
    請求項13に記載の音声対話装置。
  17. 前記次のタスクのタスク情報は、少なくとも次のタスクの識別情報を含み、前記次のタスクのタスク情報は、次のタスクの問題のインデックス情報、次のタスクの問題のカテゴリ、次のタスクの実行時間のうちの少なくとも1つをさらに含むことを特徴とする、
    請求項15または16に記載の音声対話装置。
  18. 前記情報フィードバックモジュールは、さらに、前記次のタスクの応答情報を照会してユーザ端末に送信する前に、タスクリストの最初のタスクを実行するプロセスで、タスクリスト内のリアルタイム要件を有しない質疑応答タスクを決定し、リアルタイム要件を有しない質疑応答タスクの応答情報のすべてをユーザ端末に送信して、ユーザ端末がタスクリストのタスクの順序に従って、ローカルエンドから前記応答情報を取得して出力するように構成されることを特徴とする、
    請求項13に記載の音声対話装置。
  19. 前記装置は、タスク中断モジュールをさらに含み、
    前記タスクリストのタスクに対する実行が完了してない時に、新しいユーザ音声を受信すると、前記タスクリストの未完了タスクに対するユーザ端末の実行を中断するように構成されることを特徴とする、
    請求項13に記載の音声対話装置。
  20. 音声対話装置であって、
    音声情報に対応するタスクリストを構成するように構成される構成モジュールであって、1つの前記音声情報に対応するタスクリストが少なくとも2つの順序付けられたタスクを含み、前記タスクリストが前記タスクリスト内の各タスクの実行時間を有する、構成モジュールと、
    取得した前記音声情報を音声対話システムに送信し、それによって、前記音声対話システムに、前記音声情報に対応するタスクリストを決定して、前記タスクリスト内の各タスクの実行時間に従って、前記タスクリスト内の各タスクの応答情報を照会して送信することを行わせるように構成される音声送信モジュール
    現在のタスクの実行時間に達する前に、音声対話システムによって送信された現在のタスクの応答情報を受信して、前記現在のタスクの実行時間に達した時に、前記現在のタスクの応答情報を出力するうに構成される情報受信モジュールとを含むことを特徴とする、音声対話装置。
  21. 前記現在のタスクの応答情報は、次のタスクのタスク情報をさらに搬送し、前記装置は第1の要求送信モジュールをさらに含み、
    前記次のタスクの実行時間に達する前に、前記次のタスクのタスク情報が搬送されたタスク要求を前記音声対話システムに送信し、それによって、音声対話システムに、前記次のタスクの実行時間に達する前に、対応する応答情報をフィードバックさせるように構成されることを特徴とする、
    請求項20に記載の音声対話装置。
  22. 前記音声情報に対応するタスクリストが事前に記憶され、前記装置は、
    前記タスクリストから次のタスクのタスク情報を決定するように構成されるタスク情報決定モジュールと、
    前記次のタスクの実行時間に達する前に、前記次のタスクのタスク情報が搬送されたタスク要求を前記音声対話システムに送信し、それによって、音声対話システムに、前記次のタスクの実行時間に達する前に、対応する応答情報をフィードバックさせるように構成される第2の要求送信モジュールとをさらに含むことを特徴とする、
    請求項20に記載の音声対話装置。
  23. 前記次のタスクは、リアルタイム要件を有する質疑応答タスクであることを特徴とする、
    請求項21または22に記載の音声対話装置。
  24. 前記装置はタスク実行モジュールをさらに含み、
    前記タスク情報に従って、前記次のタスクがリアルタイム要件を有しない質疑応答タスクであることを決定し、次のタスクの実行時間に達した時に、ローカルエンドから次のタスクの応答情報を取得して出力するように構成されることを特徴とする、
    請求項21または22に記載の音声対話装置。
  25. 電子機器であって、
    プロセッサと、
    プロセッサによって実行可能な命令を記憶するように構成されるメモリを含み、
    前記プロセッサは、前記実行可能な命令を実行する時に、請求項1ないし12のいずれか一項に記載の方法を実現することを特徴とする、電子機器。
  26. コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、
    前記プログラムがプロセッサによって実行される時に、請求項1ないし12のいずれか一項に記載の方法のステップを実行することを特徴とする、コンピュータ読み取り可能な記憶媒体。
JP2020125373A 2020-01-08 2020-07-22 音声対話方法、装置、機器および記憶媒体 Active JP7288885B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010017436.7A CN111243587A (zh) 2020-01-08 2020-01-08 语音交互方法、装置、设备及存储介质
CN202010017436.7 2020-01-08

Publications (2)

Publication Number Publication Date
JP2021110921A JP2021110921A (ja) 2021-08-02
JP7288885B2 true JP7288885B2 (ja) 2023-06-08

Family

ID=70872405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020125373A Active JP7288885B2 (ja) 2020-01-08 2020-07-22 音声対話方法、装置、機器および記憶媒体

Country Status (6)

Country Link
US (1) US11798545B2 (ja)
EP (1) EP3848801B1 (ja)
JP (1) JP7288885B2 (ja)
KR (1) KR102389034B1 (ja)
CN (1) CN111243587A (ja)
ES (1) ES2952381T3 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017659A (zh) * 2020-09-01 2020-12-01 北京百度网讯科技有限公司 多音区语音信号的处理方法、装置、设备以及存储介质
CN115390467A (zh) * 2022-07-29 2022-11-25 青岛海尔科技有限公司 语音交互的方法和装置、存储介质及电子装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019188393A1 (ja) 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、送信装置、及び送信方法

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002315069A (ja) 2001-04-17 2002-10-25 Misawa Homes Co Ltd 遠隔制御装置
JP4015898B2 (ja) * 2002-07-26 2007-11-28 松下電器産業株式会社 プログラム実行装置
US7707140B2 (en) * 2002-10-09 2010-04-27 Yahoo! Inc. Information retrieval system and method employing spatially selective features
US9794348B2 (en) * 2007-06-04 2017-10-17 Todd R. Smith Using voice commands from a mobile device to remotely access and control a computer
WO2009113034A1 (en) * 2008-03-12 2009-09-17 Nxp B.V. Look-ahead task management
JP5829000B2 (ja) * 2008-08-20 2015-12-09 株式会社ユニバーサルエンターテインメント 会話シナリオ編集装置
KR101667702B1 (ko) 2009-08-31 2016-10-19 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9043319B1 (en) * 2009-12-07 2015-05-26 Google Inc. Generating real-time search results
RU2530268C2 (ru) * 2012-11-28 2014-10-10 Общество с ограниченной ответственностью "Спиктуит" Способ обучения информационной диалоговой системы пользователем
US9271111B2 (en) * 2012-12-14 2016-02-23 Amazon Technologies, Inc. Response endpoint selection
US9767794B2 (en) * 2014-08-11 2017-09-19 Nuance Communications, Inc. Dialog flow management in hierarchical task dialogs
US20160308811A1 (en) * 2015-04-17 2016-10-20 Microsoft Technology Licensing, Llc Communication System Invite Mechanism
US10521189B1 (en) * 2015-05-11 2019-12-31 Alan AI, Inc. Voice assistant with user data context
US10424293B1 (en) * 2015-07-21 2019-09-24 Amazon Technologies, Inc. Using audio input and output to interact with text-based interactive content
CN107452383B (zh) * 2016-05-31 2021-10-26 华为终端有限公司 一种信息处理方法、服务器、终端及信息处理系统
US10110272B2 (en) * 2016-08-24 2018-10-23 Centurylink Intellectual Property Llc Wearable gesture control device and method
EP3506256A4 (en) * 2016-08-26 2019-08-21 Sony Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
US11138894B1 (en) * 2016-09-21 2021-10-05 Workday, Inc. Educational learning importation
CN106910500B (zh) * 2016-12-23 2020-04-17 北京小鸟听听科技有限公司 对带麦克风阵列的设备进行语音控制的方法及设备
WO2018169380A1 (ko) * 2017-03-17 2018-09-20 엘지전자(주) 블루투스 기술을 이용하여 오디오 신호를 처리하기 위한 방법 및 장치
KR102298947B1 (ko) * 2017-04-28 2021-09-08 삼성전자주식회사 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
DE112018003014T5 (de) * 2017-06-16 2020-03-05 Honda Motor Co., Ltd. Erfahrung-bereitstellungssystem, erfahrung-bereitstellungsverfahren und erfahrung-bereitstellungsprogramm
CN109102802B (zh) * 2017-06-21 2023-10-17 三星电子株式会社 用于处理用户话语的系统
US11367449B2 (en) * 2017-08-09 2022-06-21 Lg Electronics Inc. Method and apparatus for calling voice recognition service by using Bluetooth low energy technology
US11322141B2 (en) * 2017-08-17 2022-05-03 Sony Corporation Information processing device and information processing method
KR102374910B1 (ko) * 2017-08-22 2022-03-16 삼성전자주식회사 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
US11450314B2 (en) 2017-10-03 2022-09-20 Google Llc Voice user interface shortcuts for an assistant application
EP3698359A1 (en) * 2017-10-18 2020-08-26 Soapbox Labs Ltd. Methods and systems for speech detection
US20190272590A1 (en) * 2018-02-09 2019-09-05 Deutsche Ag Stress testing and entity planning model execution apparatus, method, and computer readable media
US10679620B2 (en) * 2018-03-06 2020-06-09 GM Global Technology Operations LLC Speech recognition arbitration logic
KR102446961B1 (ko) * 2018-03-08 2022-09-23 구글 엘엘씨 원격으로 생성된 자동화된 어시스턴트 콘텐츠를 렌더링할 때 클라이언트 디바이스 지연 완화
KR102617265B1 (ko) 2018-03-13 2023-12-26 삼성전자주식회사 사용자 음성 입력을 처리하는 장치
CN118200349A (zh) * 2018-03-14 2024-06-14 谷歌有限责任公司 生成基于IoT的通知并提供命令的方法和系统
CN109739462B (zh) * 2018-03-15 2020-07-03 北京字节跳动网络技术有限公司 一种内容输入的方法及装置
US20210200597A1 (en) * 2018-03-16 2021-07-01 Sony Corporation Information processing device, information processing method, and program
KR102281882B1 (ko) * 2018-03-23 2021-07-27 엔이디엘.콤 잉크. 실-시간 오디오 스트림 검색 및 제시 시스템
US10984799B2 (en) * 2018-03-23 2021-04-20 Amazon Technologies, Inc. Hybrid speech interface device
EP3779965A4 (en) * 2018-04-12 2021-06-09 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING PROCESS AND PROGRAM
US11010436B1 (en) * 2018-04-20 2021-05-18 Facebook, Inc. Engaging users by personalized composing-content recommendation
US10868711B2 (en) * 2018-04-30 2020-12-15 Splunk Inc. Actionable alert messaging network for automated incident resolution
US20210174791A1 (en) * 2018-05-02 2021-06-10 Melo Inc. Systems and methods for processing meeting information obtained from multiple sources
JP7471279B2 (ja) * 2018-05-04 2024-04-19 グーグル エルエルシー 検出された口運動および/または注視に基づく自動化アシスタントの適応
CN110459211B (zh) * 2018-05-07 2023-06-23 阿里巴巴集团控股有限公司 人机对话方法、客户端、电子设备及存储介质
US10991373B1 (en) * 2018-05-29 2021-04-27 Amazon Technologies, Inc. Voice command processing for locked devices
US20190370413A1 (en) * 2018-06-03 2019-12-05 Apple Inc. Accessing multiple domains across multiple devices for candidate responses
US10963492B2 (en) * 2018-06-14 2021-03-30 Google Llc Generation of domain-specific models in networked system
JP2021156907A (ja) * 2018-06-15 2021-10-07 ソニーグループ株式会社 情報処理装置および情報処理方法
US10678571B2 (en) * 2018-07-13 2020-06-09 Microsoft Technology Licensing, Llc Image-based skill triggering
KR102572701B1 (ko) * 2018-08-17 2023-08-31 삼성전자주식회사 사용자의 상태 정보에 기초하여 응답 메시지를 제공하는 전자 장치 및 그 동작 방법
US11249992B2 (en) * 2018-09-21 2022-02-15 Servicenow, Inc. Parsing of user queries in a remote network management platform using extended context-free grammar rules
US20200111487A1 (en) * 2018-10-04 2020-04-09 Ca, Inc. Voice capable api gateway
US11120791B2 (en) * 2018-11-15 2021-09-14 International Business Machines Corporation Collaborative artificial intelligence (AI) voice response system control for authorizing a command associated with a calendar event
US11468071B2 (en) * 2018-11-30 2022-10-11 Rovi Guides, Inc. Voice query refinement to embed context in a voice query
US11211061B2 (en) * 2019-01-07 2021-12-28 2236008 Ontario Inc. Voice control in a multi-talker and multimedia environment
US11593447B2 (en) * 2019-01-25 2023-02-28 Ford Global Technologies, Llc Pre-fetch and lazy load results of in-vehicle digital assistant voice searches
JP2020141235A (ja) 2019-02-27 2020-09-03 パナソニックIpマネジメント株式会社 機器制御システム、機器制御方法及びプログラム
CN118351843A (zh) * 2019-03-01 2024-07-16 谷歌有限责任公司 动态地适配助理响应
US11360969B2 (en) * 2019-03-20 2022-06-14 Promethium, Inc. Natural language based processing of data stored across heterogeneous data sources
US11462216B2 (en) * 2019-03-28 2022-10-04 Cerence Operating Company Hybrid arbitration system
US11364364B2 (en) * 2019-05-03 2022-06-21 Pacesetter, Inc. Biostimulator transport system having valve bypass tool
DK180129B1 (en) * 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
CN110209791B (zh) 2019-06-12 2021-03-26 百融云创科技股份有限公司 一种多轮对话智能语音交互系统及装置
US11050977B2 (en) * 2019-06-18 2021-06-29 Tmrw Foundation Ip & Holding Sarl Immersive interactive remote participation in live entertainment
US11216415B2 (en) * 2019-06-19 2022-01-04 Citrix Systems, Inc. Identification and recommendation of file content segments
CN110390935B (zh) * 2019-07-15 2021-12-31 百度在线网络技术(北京)有限公司 语音交互方法和装置
US11138975B2 (en) * 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) * 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11710480B2 (en) * 2019-08-07 2023-07-25 International Business Machines Corporation Phonetic comparison for virtual assistants
US12020696B2 (en) * 2019-10-21 2024-06-25 Soundhound Ai Ip, Llc Automatic synchronization for an offline virtual assistant
US11218565B2 (en) * 2019-10-23 2022-01-04 Microsoft Technology Licensing, Llc Personalized updates upon invocation of a service
US11449496B2 (en) * 2019-10-25 2022-09-20 Servicenow, Inc. Enhanced natural language processing with semantic shortcuts
US10917524B1 (en) * 2019-10-30 2021-02-09 American Tel-A-Systems, Inc. Methods for auditing communication sessions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019188393A1 (ja) 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、送信装置、及び送信方法

Also Published As

Publication number Publication date
CN111243587A (zh) 2020-06-05
ES2952381T3 (es) 2023-10-31
US11798545B2 (en) 2023-10-24
EP3848801A1 (en) 2021-07-14
KR20210090081A (ko) 2021-07-19
KR102389034B1 (ko) 2022-04-21
US20210210088A1 (en) 2021-07-08
EP3848801B1 (en) 2023-05-10
JP2021110921A (ja) 2021-08-02

Similar Documents

Publication Publication Date Title
US11688402B2 (en) Dialog management with multiple modalities
KR102373905B1 (ko) 어시스턴트 애플리케이션을 위한 음성 사용자 인터페이스 단축
US10489112B1 (en) Method for user training of information dialogue system
US11720635B2 (en) Providing command bundle suggestions for an automated assistant
US20210407522A1 (en) Managing dialog data providers
EP3389044B1 (en) Management layer for multiple intelligent personal assistant services
CN112291203B (zh) 将用于具有选择性离线能力的话音动作的数据本地保存
US11874904B2 (en) Electronic device including mode for using an artificial intelligence assistant function of another electronic device
JP7288885B2 (ja) 音声対話方法、装置、機器および記憶媒体
US20220245489A1 (en) Automatic intent generation within a virtual agent platform
JP7571199B2 (ja) アシスタントアプリケーションのための音声ユーザインタフェースショートカット
US20210049215A1 (en) Shared Context Manager for Cohabitating Agents

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211111

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220518

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220518

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220526

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220527

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220708

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220712

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220802

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220928

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20221205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230222

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230529

R150 Certificate of patent or registration of utility model

Ref document number: 7288885

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150