WO2007013521A1

WO2007013521A1 - ユーザと機械とのインタラクションを実施するための装置、方法、およびプログラム

Info

Publication number: WO2007013521A1
Application number: PCT/JP2006/314786
Authority: WO
Inventors: Mikio Nakano
Original assignee: Honda Motor Co., Ltd.
Priority date: 2005-07-26
Filing date: 2006-07-26
Publication date: 2007-02-01
Also published as: JPWO2007013521A1; JP4901736B2; US20100131277A1; US8352273B2

Abstract

　本発明は、ユーザと機械とのインタラクションを実施する装置を提供する。この装置は、インタラクションにおける複数の段階に対応する複数のドメインを有し、各ドメインは、ユーザの音声の内容を理解して音声理解結果を出力する音声理解手段を備えている。この装置は、ユーザの音声を認識する手段と、最良の音声理解結果をとるドメインを当該ドメインとして選択する手段と、当該ドメインのタスク知識を参照して音声理解結果に関連付けられたタスクを抽出する手段と、抽出されたタスクに関連付けられたサブタスク系列を求める手段と、サブタスク系列の先頭のサブタスクを当該サブタスクとし、当該サブタスクの属するドメインを当該ドメインとして更新する手段と、当該ドメインの行動知識を参照して、音声理解結果およびサブタスクに関連付けられた行動またはサブタスク終了フラグを抽出する手段と、抽出された行動を機械に実行させる手段と、を備える。

Description

明細書

ユーザと機械とのインタラクションを実施するための装置、方法、およびプログラム

技術分野

[0001] 本発明は、ユーザと機械とのインタラクションを実施するための装置、方法、およびプログラムに関する。背景技術

[0002] 従来、ロボットまたは力一'ナビゲーシヨンなどのような機械と、人間とのインターフエースとして、音声対話インターフェースが開発されている。対話インターフェースを有する機械は、ユーザとの対話や、対話で得られた情報に基づいて実行される自身の行動などによって、ユーザとのインタラクションを実施する。

[0003] 例えば、特開 2003-316385号公報には、ユーザと機械が自由に対話するために、ユーザの発話を音声認識した結果に対応したタスク (ドメイン)を複数のタスクより選んで対話シークェンスを自動生成し、さらにユーザが発話した場合は必要に応じて対応したタスクの対話シークェンスに遷移し、もとの対話シークェンスに復帰する技術が開示されている。

発明の開示

発明が解決しょうとする課題

[0004] し力しながら、従来技術では、ユーザ発話の音声認識結果に応じてタスク（ドメイン）を選択するので、車内の雑音などによって誤った認識が行われたときなどに、想定外のタスク (ドメイン）に遷移して対話の文脈が齟齬をきたし、ユーザが戸惑う事態が考えられる。

[0005] 本発明の目的は、対話の文脈を保って複数のドメインを遷移するようにユーザと機械とのインタラクションを実施することが可能な手法を提供することである。

課題を解決するための手段

[0006] 本発明は、ユーザと機械とのインタラクションを実施する装置を提供する。この装置は、インタラクションにおける複数の段階に対応する複数のドメインを有し、該複数のドメインのそれぞれは、ユーザの音声の内容を理解して音声理解結果を出力する音声理解手段を備えている。この装置は、マイクロフォンで検出された信号カゝらユーザの音声を認識する手段と、音声理解手段のそれぞれにユーザの音声を送り、音声理解手段のそれぞれから音声理解結果を受け取り、最良の音声理解結果をとる音声理解手段が含まれるドメインを当該ドメインとして選択する手段と、複数のドメインのそれぞれに含まれるタスク知識のうち当該ドメインのタスク知識を参照して、音声理解結果に関連付けられたタスクを抽出する手段と、タスクの種類に関連付けられる複数のサブタスクを含むサブタスク知識を参照して、前記抽出されたタスクに関連付けられたサブタスク系列を求める手段と、サブタスク系列の先頭のサブタスクを当該サブタスクとし、当該サブタスクの属するドメインを当該ドメインとして更新する手段と、複数のドメインのそれぞれに含まれる行動知識のうち当該ドメインの行動知識を参照して、音声理解結果および前記サブタスクに関連付けられた行動またはサブタスク終了フラグを抽出する手段と、抽出された行動を機械に実行させる手段と、を備える。

[0007] この発明により、複数のドメインに跨る人と機械のインタラクションを滑らかに実行できる。

[0008] 本発明の一実施形態によると、サブタスク知識は、タスクに関連付けられる 1つ以上のサブタスクに関する知識と、サブタスクに関連付けられるドメインに関する知識と、を含む。これにより、タスクを達成する間、ドメインの文脈を保持することができる。

[0009] 本発明の一実施形態によると、音声理解手段のそれぞれは、対応するドメインに関連性の高!、複数の文パターンを含む音声知識を参照して、音声と複数の文パターンのそれぞれとの適合度を算出し、適合度が最も高い文パターンを選択し、選択された文パターンおよび該文パターンの適合度を音声理解結果として出力する。これにより、ドメインの文脈を保つことができる。

[0010] 本発明の一実施形態によると、選択する手段は、適合度に複数のドメインごとに設定された重みを乗じて信頼度を算出し、最大の信頼度をとるドメインを当該ドメインとして選択する。これにより、ドメインの文脈を保つことができる。

[0011] 本発明の一実施形態によると、更新する手段は、行動またはサブタスク終了フラグを抽出する手段がサブタスク終了フラグを抽出すると、サブタスク系列における当該サブタスクの次のサブタスクを新たな当該サブタスクとして更新し、新たな当該サブタスクの属するドメインを当該ドメインとして更新する。これによりタスクを円滑に達成することがでさる。

[0012] さらに、本発明は、ユーザと機械とのインタラクションを実施するための方法を提供する。この方法は、マイクロフォンで検出された信号力もユーザの音声を認識するステツプと、インタラクションにおける複数の段階に対応する複数のドメインのそれぞれにユーザの音声を送るステップと、複数のドメインのそれぞれにおいて、音声の内容を理解して音声理解結果を出力するステップと、複数のドメインのそれぞれから音声理解結果を受け取るステップと、複数の音声理解結果のうち最良の音声理解結果をとるドメインを、当該ドメインとして選択するステップと、複数のドメインのそれぞれに含まれるタスク知識のうち当該ドメインのタスク知識を参照して、音声理解結果に関連付けられたタスクを抽出するステップと、タスクの種類に関連付けられた複数のサブタスクを含むサブタスク知識を参照して、抽出されたタスクに関連付けられたサブタスク系列を求めるステップと、サブタスク系列の先頭のサブタスクを当該サブタスクとし、当該サブタスクの属するドメインを当該ドメインとして更新するステップと、複数のドメインのそれぞれに含まれる行動知識のうち当該ドメインの行動知識を参照して、音声理解結果およびサブタスクに関連付けられた行動またはサブタスク終了フラグを抽出するステップと、抽出された行動を機械に実行させるステップと、を含む。

[0013] さらに、本発明は、ユーザと機械とのインタラクションを実施するためのプログラムを提供する。このプログラムは、マイクロフォンで検出された信号力もユーザの音声を認識する機能と、ユーザとのインタラクションにおける複数の段階に対応する複数のドメインのそれぞれにユーザの音声を送る機能と、複数のドメインのそれぞれにお、て、音声の内容を理解して音声理解結果を出力する機能と、複数のドメインのそれぞれから、音声理解結果を受け取る機能と、複数の音声理解結果のうち最良の音声理解結果をとるドメインを、当該ドメインとして選択する機能と、複数のドメインのそれぞれに含まれるタスク知識のうち当該ドメインのタスク知識を参照して、音声理解結果に関連付けられたタスクを抽出する機能と、タスクの種類に関連付けられる複数のサブタスクを含むサブタスク知識を参照して、抽出されたタスクに関連付けられたサブタスク系列を求める機能と、サブタスク系列の先頭のサブタスクを当該サブタスクとし、当該サブタスクの属するドメインを当該ドメインとして更新する機能と、複数のドメインのそれぞれに含まれる行動知識のうち当該ドメインの行動知識を参照して、音声理解結果およびサブタスクに関連付けられた行動またはサブタスク終了フラグを抽出する機能と、抽出された行動を機械に実行させる機能と、をコンピュータに実現させる。このプログラムは、コンピュータ読取り可能な記録媒体に記録される。図面の簡単な説明

[0014] [図 1]音声インタラクティブ装置の機能ブロック図である。

[図 2]発話理解処理のフローチャートである。

[図 3]行動選択処理のフローチャートである。

[図 4]ステップ S209の行動実行'タスク抽出処理のフローチャートである。

符号の説明

[0015] 10 音声インタラクティブ装置

11 音声認識部

13 ドメイン選択部

17 行動選択部

19 行動実行部

23 タスク計画部

25 サブタスク知識

31a〜31n 音声理解部

37a〜37n 行動抽出部

41a〜41n タスク抽出部

43a〜43n タスク知識

発明を実施するための最良の形態

[0016] 1.概略

次に図面を参照して、この発明の実施の形態を説明する。図 1は、本発明の一実施形態による音声インタラクティブ装置 10の機能ブロック図である。

[0017] 音声インタラクティブ装置 10は、例えば、種々の演算を実行する CPU、演算結果を一時記憶するためのメモリ、学習結果等を記憶する ROM、データの入出力を行うィンターフェース等を備えるマイクロコンピュータにより実現される。図 1に示された音声インタラクティブ装置 10の各機能ブロックの一部または全部は、ソフトウェア、ファームウェア、あるいはハードウェアの何れでも実現することができる。

[0018] 音声インタラクティブ装置 10は、人間と機械とのインタラクションを実施するための装置である。音声インタラクティブ装置 10は、機械に備えられたマイクロフォンなどの音声検知手段（図示せず)から人間の音声を受け取り、機械の発声手段または移動手段など（図示せず)へ動作指令を送信する。

[0019] ここで、本発明における「機械」とは、ロボット、カー'ナビゲーシヨン、電化製品など、インターフェースに音声を用いるもののことをいう。

[0020] 音声インタラクティブ装置 10は、機械の内部に組み込む形式でも、機械の外部から有線または無線で機械と通信する形式でも良ヽ。

[0021] 音声インタラクティブ装置 10は、複数のドメイン a〜nを備える。

[0022] ここで、本発明における「ドメイン」とは、人間と機械との間のインタラクションを構成する複数の段階 (フェーズ)のことを!、う。

[0023] 本実施形態では、ドメイン a〜nは、人間の要求の種類を理解するために対話を行う「要求理解ドメイン」と、人間の要求に応えるために行動を実行する「非要求理解ドメイン」とに大別される。

[0024] 「要求理解ドメイン」は、人間の発話内容を推定したり、不明な点を質問するなどの対話を通して、例えば「人を呼びに行く」というような人間からの要求を理解する。要求理解ドメインは、「人を呼びに行く」の他にも、要求の内容に応じて別々なドメインが用意されており、これら複数の要求理解ドメインの中力ユーザの発話内容に最適な 1つが選択される。ドメインの選択は、後述する発話理解処理によって行われる。 1つの要求理解ドメインを選択することにより、ユーザの要求の内容が理解されたことになる。

[0025] 「非要求理解ドメイン」は、例えば「目標位置の情報を得る」、「目標位置へ移動する」「メッセージを伝える」というような行動の内容に応じて別々なドメインが用意されている。 [0026] 複数のドメイン a〜nは、それぞれ、音声理解部 31a〜n、音声知識 33a〜n、状態格納部 35a〜n、行動抽出部 37a〜n、行動知識 39a〜n、タスク抽出部 41a〜n、タスク知識 43a〜nを備える。音声知識、行動知識、およびタスク知識は、ドメインの種類に応じて関連性の高い文パターン、行動、およびタスクがそれぞれ記憶されている

[0027] 本実施形態では、階層的に「タスク」、「サブタスク」、および「行動」という言葉を使い分ける。はじめに、ドメイン選択部 13が、ユーザの発話内容に最適な要求理解ドメインを選択して、選択されたドメイン (a〜nのヽずれか）（以下「当該ドメイン」 t 、う）のタスク抽出部（41a〜41nのいずれ力）力ユーザの要求内容を満足するためにロボットが行うべき「タスク」を抽出する。次に、タスク計画部 23が、抽出された「タスク」を行うための「サブタスク」の系列を決定する。そして、行動選択部 17が、「サブタスク」系列にしたがって、「サブタスク」を行うための「行動」を選択する。つまり、「タスク」、「サブタスク」、「行動」の内容は、タスク→サブタスク→行動の順で細分ィ匕される。

[0028] 音声インタラクティブ装置 10で行われる処理は、「発話理解処理」および「行動選択処理」に分けられる。「発話理解処理」は、主に、音声認識部 11, ドメイン選択部 13, 各ドメインの音声理解部 31a〜n、当該ドメイン格納部 15によって実施される。「行動選択処理」は、主に、行動選択部 17,行動実行部 19、行動履歴格納部 21, 当該ドメイン格納部 15,当該ドメインの行動抽出部（37a〜37nのいずれか）、タスク抽出部（ 41a〜41nのいずれか）、タスク計画部 23によって実施される。以下に、「発話理解処理」および「行動選択処理」の詳細にっ、て説明する。

[0029] 2.発話理解処理.

次に、図 2を参照して音声インタラクティブ装置 10の発話理解処理について説明する。図 2は、発話理解処理のフローチャートである。

[0030] ステップ S101において、マイクロフォンなどの検知手段（図示せず）からユーザの発話が入力されると、音声認識部 11が音声を認識する。音声認識部 11は、隠れマルコフモデルなど公知の手法を用いて、単語列および各単語の認識結果の信頼度の形で音声認識結果を出力する。信頼度は、一般に 0〜1の値をとる。単語列に含まれる単語のそれぞれは、複数の候補を有していても良い。雑音のある環境にいる場合は、ビームフォーミングなどの公知の手法を用いて、マイクロフォン力もの入力信号カゝら音声を抽出して、抽出された音声を認識しても良い。

[0031] ステップ S103において、ドメイン選択部 13が、音声認識結果を各ドメイン a〜nの音声理解部 31a〜31nへ送信する。また、ドメイン選択部 13は、音声認識結果を音声認識部 11から受け取った時刻から所定の期間 (たとえば 3秒間）、当該ドメイン選択部 15に発話終了フラグを立てる。

[0032] ステップ S 105において、各ドメインの音声理解部 3 la〜3 In力ドメイン選択部 13 より入力された音声認識結果に含まれる単語列と、ドメインに応じて用意された音声知識 33a〜33nにある文パターンとの「適合度」を算出する。

[0033] 音声知識 33a〜33nは、音声認識結果を理解するためにドメインに応じて用意された複数の「文パターン」から構成される。「文パターン」は、例えば、

「く日にち〉のく場所〉のく情報種別 >を教えて」

というものある。この例示した文パターンでは、く日にち〉、く場所〉、く情報種別 > t 、う 3つのカテゴリを含んで、る。各カテゴリは対応したキーワードリストを持つ。

[0034] 音声認識結果に含まれる単語のそれぞれは、文パターンのカテゴリ別に用意されたキーワードと一致すると、そのカテゴリに適合される。「適合度」は、例えばある文パターンが含むカテゴリのうち、単語を適合されたカテゴリの数や割合である。

[0035] 例えば、「明日の天気を教えて」という音声認識結果を、

「く日にち〉のく場所〉のく情報種別 >を教えて」

t 、う文パターンに適合させると、

<日にち > =明日、 <場所 >= "空白"、 <情報種別 > =天気という結果となる。このとき、 3つのカテゴリのうち 2つのカテゴリが音声認識結果と適合して、るので、適合度は「2」または「2Z3」と表される。

[0036] ステップ S107において、音声理解部 31a〜31nが、最も適合度の高い文パターンを選択する。そして、選択した文パターンの各カテゴリに適合する単語を当てはめた文（以下「適合済み文パターン」という）と、この文パターンの適合度とを、「音声理解結果」として状態格納部 35a〜35nに格納する。

[0037] 「適合済み文パターン」は、上記の例に従うと、「く日にち =明日〉のく場所 ="空白"〉の

<情報種別 =天気 >を教えて」

のように表される。また、「適合済み文パターン」に各単語の信頼度を加えても良い。例えば、「明日」という単語の音声認識の信頼度を 0.9、「天気」という単語の音声認識の信頼度を 0.7とすると、適合済み文パターンは、

「く日にち =明日 (0.9) >のく場所 = "空白" (0.0) >の

<情報種別 =天気 (0.7) >を教えて」

のように表される。

[0038] ステップ S 109において、音声理解部 31a〜31nは、選択した文パターンの適合度をドメイン選択部 13に送る。

[0039] ステップ S111において、ドメイン選択部 13が、各ドメインの音声理解部 3 la〜3 In 力も受け取った適合度から「選択信頼度」を算出する。

[0040] 「選択信頼度」は、ドメイン別に設定された「重み」を適合度に乗じて算出される。

[0041] 「重み」は、当該ドメイン格納部 15に格納されている当該ドメインに対して 1より大きい値が設定され、他のドメインに対しては 1が設定される。これは、当該ドメインの対話や行動は連続して行われる可能性が高、と仮定して、るためである。当該ドメインとは、直前のユーザ発話またはサブタスクの属するドメインである。

[0042] 当該ドメインのない場合は、全ての重みが等しい値 (たとえば 1)に設定される。

[0043] 当該ドメインの重みは、要求理解ドメインであれば他ドメインより少し大きい値、非要求理解ドメインであれば大きな値としても良い。このように重み付けると、要求選択ドメインは固定されにくぐそれ以外のドメインは固定されやすくなる。これは、ユーザの要求を理解するには対話の試行錯誤が求められることが多いが、ひとたび要求を理解すると、その後の対話や行動の文脈は固定されやすい、と仮定しているためである

[0044] ステップ S113にお、て、ドメイン選択部 13は、選択信頼度が最も大き!、ドメインを当該ドメインとして選択し、この選択したドメインの情報を当該ドメイン格納部 15に格納する。複数のドメイン選択信頼度が同じだった場合は、当該ドメインを選択する。このようにドメインを推定すると、当該ドメインが選ばれやすくなる。選択信頼度を算出せずに、適合度が最も大きヽドメインを当該ドメインとしても良、。

[0045] 以上に、音声インタラクティブ装置 10の音声理解処理について説明した。

[0046] 入力されたユーザ発話に対して以上の発話理解処理を行った後、当該ドメイン格納部 15には、現在のシステムが行って、る対話 ·行動のドメインを表す「当該ドメイン

」と、ユーザの発話の理解が終了したことを示す「発話終了フラグ」が格納される。

[0047] また、各ドメインの状態格納部 35a〜35nには、最も適合度の高力つた文パターンの適合済み文パターンおよび適合度を含む「音声理解結果」が格納される。

[0048] 3.行動選択処理.

次に、図 3および図 4を参照して音声インタラクティブ装置 10の行動選択処理について説明する。図 3は、行動選択処理のフローチャートである。

[0049] 図 3に示す行動選択処理は、行動選択部 17によって、所定の周期（たとえば 100ミリ秒)で実行される。

[0050] ステップ S201において、行動選択部 17は、行動履歴格納部 21を参照して、ロボットが行動を実行しているかどうかを確認する。行動履歴格納部 21は、「直前に実行された行動」、「その行動の開始時刻」、「行動の終了時刻」を記録している。行動が実行中の場合終了時刻は記録されていないので、行動選択部 17は、行動履歴格納部 21の「行動の終了時刻」の有無を確認することにより、行動が実行中かどうかを把握する。行動が実行中でない場合、ステップ S203に進む。行動が実行中の場合、今回の周期の処理は終了し、次の周期まで待機する。

[0051] ステップ S203において、行動選択部 17は、ロボットが行動を終了した直後かどうかを確認する。この処理は、たとえば、行動履歴格納部 21の「行動の終了時刻」を参照して、現在の時刻が「行動の終了時刻」から所定時間経過しているかを確認する。行動が終了した直後ではない場合、ステップ S205に進む。行動が終了した直後だつた場合、ステップ S207に進む。

[0052] ステップ S205において、行動選択部 17は、当該ドメイン格納部 15の発話終了フラグを参照して、ユーザの発話が終了しているかどうかを確認する。発話が終了している場合、ステップ S209〖こ進み、「行動選択'タスク抽出」処理を行う。発話が終了していない場合、今回の周期の処理は終了し、次の周期まで待機する。 [0053] ステップ S207において、行動選択部 17は、行動履歴格納部 21の「直前に実行された行動」を参照して、直前の行動が「ユーザへの質問」かどうかを確認する。直前の行動が「ユーザへの質問」ではない場合、ステップ S209に進み、「行動選択'タスク抽出」処理を行う。直前の行動が「ユーザへの質問」だった場合、今回の周期の処理は終了し、次の周期まで待機する。

[0054] 図 4は、ステップ S209の行動実行'タスク抽出処理のフローチャートである。

[0055] なお、説明の便宜上、以下の処理では当該ドメインとしてドメイン aが選択されてヽる場合を扱っている。実際の処理では、当該ドメインは、ドメイン a〜nの中カゝら適宜選択される。

[0056] 行動実行 ·タスク抽出処理では以下のステップが実行される。

[0057] (1)行動選択部 17が、当該ドメイン格納部 15を参照して当該ドメイン aを調べ、当該ドメインの行動抽出部 37aに行動選択を要求する (ステップ S301)。

[0058] (2)行動選択部 17より行動選択が要求されると、当該ドメイン aの行動抽出部 37aが以下の処理を行う。

[0059] (2- 1)当該ドメイン aが理解要求ドメインの場合 (ステップ S 303の YES)、

a)行動知識 39aの中の行動選択規則を参照して、状態格納部 35aの音声理解結果に対応した行動またはサブタスク終了フラグを選択する (ステップ S305)。

[0060] ここで、行動選択規則とは、状態格納部 35a〜nに格納されてヽる音声理解結果、当該サブタスク、及び行動履歴のいずれか又は全てと、行動またはサブタスク終了フラグとの関係を表したものであり、音声対話の研究分野においてアクションセレクションを行うために一般的に用いられる規則である。

[0061] 行動選択規則は、例えば、「音声理解結果で文パターンに"空白"のある場合に、空白を問う行動を生成する」、「音声理解結果が良い場合 (適合状態が良く適合度が高い)、サブタスク終了フラグを選択する」、「音声理解結果が良くなぐ行動履歴にある直前の行動がユーザに対する質問の場合は、繰り返し要求発話生成をする」、「音声理解結果が良くなぐ行動履歴にある直前の行動がユーザへの了解発話の場合は、再び発話を問う依頼発話生成」などである。

[0062] また、行動知識には、「言語生成の知識」も含まれる。選択された行動が上記の「空白を問う行動を生成する」のような発話に関するものである場合、行動と発話内容の文章とを対応付ける。

[0063] b)行動が選択された場合、行動選択部 17に行動を出力する (ステップ S315)。

[0064] c)サブタスク終了フラグが選択された場合、行動抽出部 37aからタスク抽出部 41a へタスク選択が要求される (ステップ S 309)。

[0065] d)タスク抽出部 41aが、タスク知識 43aの中のタスク抽出規則を参照して音声理解結果に対応したタスクを、タスク計画部 23に出力する (ステップ S311)。

[0066] ここで、タスク抽出規則とは、状態格納部 35a〜nに格納されて、る音声理解結果と、タスク計画部に出力すべきタスクとの関係を表す規則である。例えば、「人を呼ぶ要求理解のドメイン a」には、「く人〉を呼んできて」 t 、う文パターンのく人〉カテゴリに単語が適合されて、る適合済み文パターンを含む音声理解結果に対して、 <タスク =人を呼びに行く、人 = <人 > >という出力タスクが関連付けられて、る。

[0067] e)タスク計画部 23は、サブタスク知識 25を利用してタスクをサブタスク系列に変換し、タスク計画格納部 27に格納する（ステップ S313)。

[0068] ここで、サブタスク知識 25は、タスクをサブタスクに分解するための知識 (規則)を持ち、サブタスクはそれぞれドメインと関連付けられて、る。

[0069] タスクのサブタスクへの分解は、例えば以下のように行われる。

くタスク =呼ぶ、人 = <X> >

というタスクは、

(0 くサブタスク =人の位置を知る、人 =X>

(ii) <サブタスク =人に近づぐ人 =X>

(iii) <サブタスク =呼ばれて、ることを伝える、人 =X>

というサブタスクの系列に分解される。

[0070] また、各サブタスクは、ドメインと対応付けられており、例えばサブタスク (0が「人の位置を知る情報取得ドメイン」と対応し、サブタスク GOが「移動するドメイン」と対応し、サブタスク (iii)が「呼ばれてヽるとヽぅ情報提供ドメイン」と対応するよう設定されてヽる

[0071] (2- 2)当該ドメインが非理解要求ドメインの場合 (ステップ S303の NO)、行動知識 39aの中の行動選択規則（上記 (2-1)の a)に詳述)を参照して、状態格納部 35aの音声理解結果、当該サブタスク及び行動履歴に対応した行動またはサブタスク終了フラグを選択し、行動選択部 17に出力する (ステップ S317)。

[0072] (3)行動抽出部 37aより行動またはサブタスク終了フラグが入力されると (ステップ S3 19)、行動選択部 17が、

(3- 1)行動が入力された場合は、その行動を行動実行部 19に出力する（S329)。行動実行部 19は、行動選択部 17より行動が入力されるとそれを実行し、実行開始時間を行動履歴格納部 21に格納する。実行を終了すると、当該行動と実行終了時間を行動履歴格納部 21に格納する。

[0073] (3- 2)サブタスク終了フラグが入力された場合は、当該ドメイン格納部 15の当該ドメインをクリアし、タスク計画部 23にサブタスクを要求する (ステップ S321)。

[0074] a)タスク計画部 23が、タスク計画格納部 27を参照して、サブタスク系列がある場合は先頭のサブタスクを行動選択部 17に出力し、サブタスク系列がない場合はタスク無しフラグを行動選択部 17に出力する (ステップ S323)。

[0075] b)サブタスクが入力された場合は、そのサブタスクのドメイン（a〜nの!、ずれか）を当該ドメインとして当該ドメイン格納部 15に格納し、当該ドメインの行動抽出部（37a 〜37nのいずれ力）にそのサブタスクを出力する。当該ドメインの行動抽出部（37a〜 37ηのいずれ力）は、当該サブタスクを状態格納部（35a〜35nのいずれ力）に格納する（ステップ S327)。

[0076] c)タスク無しフラグが送られてきた場合は、全ての格納部のデータをクリアする (ステップ S331)。

[0077] 以上に図 3および図 4を参照して、行動選択処理について説明した。

[0078] 行動選択処理が行われると、各ドメインの状態格納部 35a〜35nには、最も適合度の高力つた文パターンの適合済み文パターンおよび適合度を含む「音声理解結果」に加えて「サブタスク」が格納される。

[0079] タスク計画格納部 27には、サブタスク系列が格納される。

[0080] 行動履歴格納部 21には、「直前の行動」、「行動の実行終了時間」が格納される。

[0081] また、当該ドメイン格納部 15の当該ドメインが更新される場合がある。 [0082] 4.実施例

4. 1 概略

次に、 4つのドメイン a〜dを持つロボットとユーザ (アンリさん)との対話を通じたインタラタシヨンの実施例を示す。

[0083] この実施例でロボットが備える 4つのドメイン a〜dは、「人を呼びに行く要求理解ドメイン a」、「人の位置を知る情報取得ドメイン b」、「移動するドメイン c」、「呼ばれている t 、う情報提供ドメイン d」である。

[0084] ロボットとユーザが次のような対話を行う場合を考える。

アンリさん「ジダンさんを呼んできて」

ロッ卜「ジダンさんはどこに!/、ます力

アンリさん「ドレッシングルーム」

ロッ卜「ジダンさんはどこに!/、ます力

アンリさん「ドレッシングルーム」

ロッ卜「わかりました」

(ジダンさんのとこ -ろに移動を始める）

ロッ卜「アンリさんが呼んでいます」

[0086] このような対話の間に音声インタラクティブ装置 10で行われる処理について以下に説明する。

[0087] 4. 2 発話理解処理

初期状態では、全ての格納部の中身は空である。

[0088] マイクロフォンよりアンリさんの発話「ジダンさんを呼んできて」が入力されると、音声認識部 11は、 "ジダン"、 "さん"、 "を"、 "呼んで"、 "きて"という単語列と認識し、各単語の信頼度 (0〜： L)と合わせてドメイン選択部に出力する。ここでは良好な音声認識が行われ、各単語はそれぞれ高い信頼度で認識された。

[0089] ドメイン選択部 13は、単語列を各ドメイン a〜dの音声理解部 3 la〜3 Idへ送信し、当該ドメイン格納部 15に所定の期間、発話終了フラグを立てる。

[0090] 音声理解部 31a〜31dのそれぞれは、音声知識 33a〜33dにある文パターンにこの単語列を適合させる。 [0091] 例えば「人を呼びに行く要求理解ドメイン a」には、「く人 >を<呼んで〉きて」という文パターンがあるので、この文パターンに適合させてみる。すると、 <人>カテゴリが有するキーワードリストど，ジダン"、 "さん"が適合するため、「人 =ジダンさん」が入力され、また、 <呼んで >が一致する。

[0092] この場合、文パターンが含む全て (2つ)のカテゴリに単語が適合しており、また"ジダン"、 "さん"、 "呼んで"の信頼度が高力つたので、高い適合度が算出される。

[0093] 「人を呼びに行く要求理解ドメイン a」の他の文パターンに適合させた結果、この文パターンの適合度が最も高かったので、適合済み文パターン「 <人 =ジダンさん >を <呼んで >きて」と適合度とを音声認識結果として状態格納部 35aに格納し、適合度をドメイン選択部 13に出力する。

[0094] 他の 3つのドメイン b〜dも同様に処理する。

[0095] ドメイン選択部 13は、各ドメイン a〜dの音声理解部 31a〜31dより入力された適合度よりドメイン選択信頼度を算出して比較し、最も大きいドメイン選択信頼度を有するドメインを当該ドメインとして当該ドメイン格納部 15に格納する。

[0096] この発話では、当該ドメイン格納部 15に当該ドメインが記録されておらず、「人を呼びに行く要求理解ドメイン a」の適合度が最大だったので、これを当該ドメインとする。

[0097] 4. 3 タスク柚出処理

行動選択部 17は、 100ミリ秒間隔で行動履歴格納部 21を参照する。

[0098] この時、行動履歴格納部 21には何も格納されて、な、ため、ロボットは行動実行中ではなぐまた行動終了直後ではないと判断する。

[0099] そして、当該ドメイン格納部 15の発話終了フラグを検出して発話終了と判断する。

そこで行動選択部 17は行動選択処理を行う。

[0100] 行動選択処理では、行動選択部 17が当該ドメイン格納部 15を参照し、当該ドメインである「人を呼びに行く要求理解ドメイン a」の行動抽出部 37aに行動選択を要求する。

[0101] 当該ドメインは要求理解ドメインなので、行動抽出部 37aは、状態格納部 35aにある音声認識結果と、行動知識 39aにある行動抽出規則を照らし合わせる。

[0102] ここでは音声理解結果が良好なので、サブタスク終了フラグが選択される。 [0103] そこでタスク知識 43aのタスク抽出規則と照らし合わせ、くタスク =呼ぶ、人 = < 人〉 >という規則を選択し、くタスク =呼ぶ、人 =ジダンさん〉というタスクを得て、これをタスク計画部 23に出力する。

[0104] タスク計画部 23は、上記タスクを受け、サブタスク知識 25を参照して以下のサブタスク系列に分解してタスク計画格納部 27に格納し、先頭のサブタスク (0を行動選択部 17に出力する。

[0105] (0 くサブタスク =人の位置を知る、人 =ジダンさん〉ドメイン b

(ii) <サブタスク =人に近づぐ人 =ジダンさん > ドメイン c

(iii)くサブタスク =呼ばれていることを伝える、人 =ジダンさん〉 · ·ドメイン d 行動選択部 17は、サブタスク (0のドメインである「人の位置を知る情報取得ドメイン b

」を当該ドメイン格納部 15に格納し、当該ドメインの行動抽出部 37bにサブタスク (0を出力する。

[0106] 当該ドメインの行動抽出部 37bは、入力されたサブタスク (0を状態格納部 37bに格納する。

[0107] 4. 4 行動選択処理 1

行動選択部 17は、再度（100ミリ秒後）、行動履歴格納部 21と当該ドメイン格納部 1 5を参照してユーザ発話終了フラグを検出し、行動選択処理を行う。

[0108] 行動選択部 17は、当該ドメイン格納部 15を参照して当該ドメイン「人の位置を知る情報取得ドメイン b」を得、当該ドメインの行動抽出部 37bに行動選択を要求する。

[0109] 当該ドメインの行動抽出部 37bは、行動知識 39bにある行動選択規則を参照して音声理解結果とサブタスク (0に対応する行動を選択する。

[0110] 当該ドメインの状態格納部 35bには

「く人 =ジダンさん >はくどこ = "空白" >」

という音声理解結果が格納されており、サブタスクが

(0くサブタスク =人の位置を知る、人 =ジダンさん〉

なので、

<行動 =位置を尋ねる、人 = <人 > >

という規則を選択し、く行動 =位置を尋ねる、人 =ジダンさん〉

という行動を得る。

[0111] この行動を、行動知識 39bにある言語生成の知識を用いて

「ジダンさんはどこに!/、ますか？」

という文に変換し、行動選択部 17に出力する。

[0112] 行動選択部 17はこの行動 (文)を行動実行部 19に出力する。

[0113] 行動実行部 19は、「ジダンさんはどこにいますか?」と発話し、ユーザへの質問という当該行動と実行終了時間を行動履歴格納部 21に格納する。

[0114] ユーザが「ドレッシングルーム」と応答発話をすると、音声認識部 11は "ジダンさん"と低!ゝ評価値で認識する。

[0115] ドメイン選択部 13はこの認識結果を各ドメインの音声理解部 31a〜31dに送信し、当該ドメイン格納部 15に発話終了フラグを立てる。

[0116] この発話は評価値が低いため、全ドメインで低い適合度が算出される。

[0117] 適合度が低いため、全ドメインの音声理解部は誤認識を検出し、適合度と合わせて状態格納部 35a〜35dに格納し、適合度をドメイン選択部 13に出力する。

[0118] ドメイン選択部 13は、当該ドメイン格納部 15に格納されてヽる当該ドメインを参照し

、「人の位置を知る情報取得ドメイン b」であることを知り、このドメインに高い重みをつけて、ドメイン選択信頼度を計算する。その結果、再び「人の位置を知る情報取得ドメインが選択されたため、当該ドメイン格納部 15の当該ドメインを更新しな!、。

[0119] 行動選択部 17は、行動終了直後でユーザ発話終了であることを知り、行動選択処理を行う。

[0120] 行動選択部 17は当該ドメイン格納部 15を参照し、当該ドメインを「人の位置を知る情報取得ドメイン b」と知り、当該ドメインの行動抽出部 37bに行動選択を要求する。

[0121] 当該ドメインの行動抽出部 37bは、状態格納部 35bに格納されている「誤認識」と低い適合度という音声理解結果と、行動選択規則を参照し、

<行動 =繰り返し要求発話生成、相手 =ユーザ >

という行動を得る。

[0122] さらに、行動抽出部 37bは、行動知識 39bにある言語生成の知識を参照して、この行動を、

「ジダンさんはどこに!/、ますか？」

という文に変換して行動選択部 17に出力する。

[0123] 行動選択部 17はこれを行動実行部 19に出力する。

[0124] 行動実行部 19は、「もう一度お願いします」と発話し、ユーザへのお願い (再質問)と V、う当該行動と実行終了時間を行動履歴格納部 21に格納する。

[0125] ユーザが再度、

「ドレッシングルーム」

と発話すると、今度は高い評価値で認識される。

[0126] 同様の処理が行われ、当該ドメイン格納部 15に発話終了フラグが立ち、状態格納咅 35bに

「〈人 =ジダンさん >は〈どこ =ドレッシングルーム >」

t 、う適合済み文パターンが、高、適合度で音声理解結果として格納される。

[0127] 当該ドメイン bの適合度が最も高いので、ドメイン選択部 13は当該ドメイン格納部 15 の当該ドメインを更新しな、。

[0128] 行動選択部 17は、当該ドメイン格納部 15の発話終了フラグを検出して発話終了と判断し、行動選択処理を行う。

[0129] 行動選択部 17は、当該ドメインが「人の位置を知る情報取得ドメイン b」であることを知り、当該ドメインの行動抽出部 37bに行動選択を要求する。

[0130] 行動抽出部 37bは、

「〈人 =ジダンさん >は〈どこ =ドレッシングルーム >」

と、う良好な音声理解結果と、

(0くサブタスク =人の位置を知る、人 =ジダンさん〉

t 、うサブタスクを行動選択規則と参照し、文パターンの全カテゴリに単語が適合しかつ適合度が高いことから、サブタスク終了フラグを行動選択部 17に出力する。

[0131] サブタスク終了フラグを受け、行動選択部 17は当該ドメイン格納部 15の当該ドメイン「人の位置を知る情報取得ドメイン b」をクリアし、タスク計画部 23にサブタスクを要求する。 [0132] タスク計画部 23は、タスク計画格納部 27を参照して

GOくサブタスク =人に近づぐ人 =ジダンさん > 「移動するドメイン c」 t 、うサブタスクを行動選択部 17に出力する。

[0133] 行動選択部 17は、「移動するドメイン c」を当該ドメインとして当該ドメイン格納部 15 に格納し、当該ドメインの行動抽出部 37cにサブタスク GOを出力する。

[0134] 当該ドメインの行動抽出部 37cは、状態格納部 35cにサブタスク GOを格納する。

[0135] 4. 5 行動選択処理 2

行動選択部 17は再度（100ミリ秒後）、行動履歴格納部 21と当該ドメイン格納部 15 を参照してまだ立っている発話終了フラグを検出し、行動選択処理を行う。

[0136] 行動選択部 17は、当該ドメインである「移動するドメイン c」の行動抽出部 37cに行動選択を要求する。

[0137] 当該ドメインの行動抽出部 37cは、状態格納部 35cにある、

「〈人 =ジダンさん >は〈どこ =ドレッシングルーム >」

という音声理解結果と、

(ii)<サブタスク =人に近づぐ人 =ジダンさん >

t ヽぅサブタスクを行動選択規則と参照し、

<行動 =了解発話生成後移動、位置 = <どこ > >

という規則を選択して、

<行動 =了解発話生成後移動、位置 =ドレッシングルーム > という行動を得、行動選択部 17に出力する。

[0138] 行動選択部 17は行動実行部 19にこれを出力する。

[0139] 行動実行部 19は、

「分力、りました」

と発話して力ロボットをドレッシングルームに移動させ、到着したら移動と、う当該行動と実行終了時間を行動履歴格納部 21に格納する。

[0140] 4. 6 行動選択処理 3

数分の後、行動選択部 17は行動終了を検出し、行動選択処理を行う。

[0141] 行動選択部 17は、当該ドメインである「移動するドメイン c」の行動抽出部 37cに行動選択を要求する。

[0142] 当該ドメインの行動抽出部 37cは、状態格納部 35cにある、

(ii) <サブタスク =人に近づぐ人 =ジダンさん >

と行動履歴格納部 21の行動履歴を行動選択規則と参照してサブタスク終了フラグを選択し、行動選択部 17に出力する。

[0143] 行動選択部 17は当該ドメイン格納部 15にある「移動するドメイン c」をクリアし、タスク計画部 23にサブタスクを要求する。

[0144] タスク計画部 23は、タスク計画格納部 27を参照して

(iii) <サブタスク =呼ばれて、ることを伝える、人 =ジダンさん >

「呼ばれて、ると!/、う情報の提供ドメイン d」

t 、うサブタスク (iii)を行動選択部 17に出力する。

[0145] 行動選択部 17は「呼ばれて、ると、う情報提供ドメイン d」を当該ドメイン格納部 15 に格納し、当該ドメインの行動抽出部 37dに上記 (iii)のサブタスクを出力する。

[0146] 行動抽出部 37dは状態格納部 35dにサブタスク (iii)を格納する。

[0147] 行動選択部 17は、行動履歴格納部 21を参照して行動実行直後であることを知り、行動選択処理を行う。

[0148] 行動選択部 17は、当該ドメインである「呼ばれて、ると、う情報の提供ドメイン d」の行動抽出部 37dに行動選択を要求する。

[0149] 当該ドメインの行動抽出部 37dは、状態格納部 35dにある、

(iii) <サブタスク =呼ばれて、ることを伝える、人 =ジダンさん > を行動選択規則と照らし合わせ、

<行動 =人へ情報を伝える発話生成、人 =ジダンさん >

という行動を得る。

[0150] さらに、行動抽出部 37dは、行動知識 39dにある言語生成の知識を参照して、この行動を、

「アンリさんが呼んで！/、ます」

、う発話文に変換して行動選択部 17に出力する。

[0151] 行動選択部 17はこれを行動実行部 19に出力する。 [0152] 行動実行部 19は、「アンリさんが呼んでいます」と発話し、情報を伝えるという当該行動と実行終了時間を行動履歴格納部 21に格納する。

[0153] 4. 7 行動選択処理 4

行動選択部 17は、行動履歴格納部 21を参照して行動終了を知り、行動選択処理を行う。

[0154] 行動選択部 17は、当該ドメインである「呼ばれて、ると、う情報の提供ドメイン d」の行動抽出部 37dに行動選択を要求する。

[0155] 当該ドメインの行動抽出部 37dは、状態格納部 35dにある、

(iii) <サブタスク =呼ばれて、ることを伝える、人 =ジダンさん > と、行動履歴を行動選択規則と照らし合わせ、サブタスク終了フラグを選択し、行動選択部 17に出力する。

[0156] 行動選択部 17は当該ドメイン格納部 15にある「呼ばれているという情報の提供ドメイン d」をクリアし、タスク計画部 23にサブタスクを要求する。

[0157] タスク計画部 23はタスク計画格納部 27を参照し、サブタスクがないのでタスク無しフラグを行動選択部 17に出力する。

[0158] 行動選択部 17はタスク無しフラグを受け、全格納部のデータをクリアする。

[0159] 以上にこの発明を特定の実施形態によって説明した力この発明はこのような実施形態に限定されるものではな、。

Claims

請求の範囲

[1] ユーザと機械とのインタラクションを実施する装置であって、

前記装置は、前記インタラクションにおける複数の段階に対応する複数のドメインを有し、該複数のドメインのそれぞれは、前記ユーザの音声の内容を理解して音声理解結果を出力する音声理解手段を備えており、

マイクロフォンで検出された信号から前記ユーザの音声を認識する手段と、前記音声理解手段のそれぞれに前記ユーザの音声を送り、前記音声理解手段のそれぞれから前記音声理解結果を受け取り、最良の音声理解結果をとる音声理解手段が含まれるドメインを当該ドメインとして選択する手段と、

前記複数のドメインのそれぞれに含まれるタスク知識のうち前記当該ドメインのタスク知識を参照して、前記音声理解結果に関連付けられたタスクを抽出する手段と、タスクの種類に関連付けられる複数のサブタスクを含むサブタスク知識を参照して、前記抽出されたタスクに関連付けられたサブタスク系列を求める手段と、

前記サブタスク系列の先頭のサブタスクを当該サブタスクとし、当該サブタスクの属するドメインを当該ドメインとして更新する手段と、

前記複数のドメインのそれぞれに含まれる行動知識のうち当該ドメインの行動知識を参照して、前記音声理解結果および前記サブタスクに関連付けられた行動またはサブタスク終了フラグを抽出する手段と、

前記抽出された行動を前記機械に実行させる手段と、

を備える装置。

[2] 前記サブタスク知識は、前記タスクに関連付けられる 1つ以上のサブタスクに関する知識と、前記サブタスクに関連付けられるドメインに関する知識と、を含む、請求項 1 に記載の装置。

[3] 前記音声理解手段のそれぞれは、対応するドメインに関連性の高い複数の文バターンを含む音声知識を参照して、前記音声と前記複数の文パターンのそれぞれとの適合度を算出し、適合度が最も高い文パターンを選択し、前記選択された文パターンおよび該文パターンの適合度を音声理解結果として出力する、請求項 1に記載の装置。

[4] 前記選択する手段は、前記適合度に前記複数のドメインごとに設定された重みを乗じて信頼度を算出し、最大の信頼度をとるドメインを当該ドメインとして選択する、請求項 3に記載の装置。

[5] 前記更新する手段は、前記行動またはサブタスク終了フラグを抽出する手段がサブタスク終了フラグを抽出すると、前記サブタスク系列における当該サブタスクの次のサブタスクを新たな当該サブタスクとして更新し、新たな当該サブタスクの属するドメインを当該ドメインとして更新する、請求項 1に記載の装置。

[6] ユーザと機械とのインタラクションを実施するための方法であって、

マイクロフォンで検出された信号力ユーザの音声を認識するステップと、前記インタラクションにおける複数の段階に対応する複数のドメインのそれぞれに前記ユーザの音声を送るステップと、

前記複数のドメインのそれぞれにおいて、前記音声の内容を理解して音声理解結果を出力するステップと、

前記複数のドメインのそれぞれから前記音声理解結果を受け取るステップと、前記複数の音声理解結果のうち最良の音声理解結果をとるドメインを、当該ドメインとして選択するステップと、

前記複数のドメインのそれぞれに含まれるタスク知識のうち前記当該ドメインのタスク知識を参照して、前記音声理解結果に関連付けられたタスクを抽出するステップとタスクの種類に関連付けられた複数のサブタスクを含むサブタスク知識を参照して、前記抽出されたタスクに関連付けられたサブタスク系列を求めるステップと、前記サブタスク系列の先頭のサブタスクを当該サブタスクとし、当該サブタスクの属するドメインを当該ドメインとして更新するステップと、

前記複数のドメインのそれぞれに含まれる行動知識のうち当該ドメインの行動知識を参照して、前記音声理解結果および前記サブタスクに関連付けられた行動またはサブタスク終了フラグを抽出するステップと、

前記抽出された行動を前記機械に実行させるステップと、

を含む方法。

[7] 前記サブタスク知識は、前記タスクに関連付けられる 1つ以上のサブタスクに関する知識と、前記サブタスクに関連付けられるドメインに関する知識と、を含む、請求項 6 に記載の方法。

[8] 前記出力するステップは、

対応するドメインに関連性の高い複数の文パターンを含む音声知識を参照して、前記音声と前記複数の文パターンのそれぞれとの適合度を算出するステップと、前記適合度が最も高ヽ文パターンを選択し、選択された文パターンおよび該文パターンの適合度を音声理解結果として出力するステップと、

を含む、請求項 6に記載の方法。

[9] 前記選択するステップは、前記適合度に前記複数のドメインごとに設定された重みを乗じて信頼度を算出し、最大の信頼度をとるドメインを当該ドメインとして選択するステップを含む、請求項 8に記載の方法。

[10] 前記更新するステップは、前記行動またはサブタスク終了フラグを抽出するステツプにおいてサブタスク終了フラグが抽出されると、前記サブタスク系列における当該サブタスクの次のサブタスクを新たな当該サブタスクとして更新し、新たな当該サブタスクの属するドメインを当該ドメインとして更新するステップを含む、請求項 6に記載の方法。

[11] ユーザと機械とのインタラクションを実施するためのプログラムであって、

マイクロフォンで検出された信号カゝらユーザの音声を認識する機能と、ユーザとのインタラクションにおける複数の段階に対応する複数のドメインのそれぞれに前記ユーザの音声を送る機能と、

前記複数のドメインのそれぞれにおいて、前記音声の内容を理解して音声理解結果を出力する機能と、

前記複数のドメインのそれぞれから、前記音声理解結果を受け取る機能と、前記複数の音声理解結果のうち最良の音声理解結果をとるドメインを、当該ドメインとして選択する機能と、

前記複数のドメインのそれぞれに含まれるタスク知識のうち前記当該ドメインのタスク知識を参照して、前記音声理解結果に関連付けられたタスクを抽出する機能と、タスクの種類に関連付けられる複数のサブタスクを含むサブタスク知識を参照して、前記抽出されたタスクに関連付けられたサブタスク系列を求める機能と、

前記サブタスク系列の先頭のサブタスクを当該サブタスクとし、当該サブタスクの属するドメインを当該ドメインとして更新する機能と、

前記複数のドメインのそれぞれに含まれる行動知識のうち当該ドメインの行動知識を参照して、前記音声理解結果および前記サブタスクに関連付けられた行動またはサブタスク終了フラグを抽出する機能と、

前記抽出された行動を前記機械に実行させる機能と、

をコンピュータに実現させる、コンピュータ読取り可能な記録媒体に記録されたプログラム。

[12] 前記サブタスク知識は、前記タスクに関連付けられる 1つ以上のサブタスクに関する知識と、前記サブタスクに関連付けられるドメインに関する知識と、を含む、請求項 11 に記載のプログラム。

[13] 前記出力する機能は、

対応するドメインに関連性の高い複数の文パターンを含む音声知識を参照して、前記音声と前記複数の文パターンのそれぞれとの適合度を算出する機能と、

前記適合度が最も高ヽ文パターンを選択し、選択された文パターンおよび該文パターンの適合度を音声理解結果として出力する機能と、

を含む、請求項 11に記載のプログラム。

[14] 前記選択する機能は、前記適合度に前記複数のドメインごとに設定された重みを乗じて信頼度を算出し、最大の信頼度をとるドメインを当該ドメインとして選択する機能を含む、請求項 13に記載のプログラム。

[15] 前記更新する機能は、前記行動またはサブタスク終了フラグを抽出する機能においてサブタスク終了フラグが抽出されると、前記サブタスク系列における当該サブタスクの次のサブタスクを新たな当該サブタスクとして更新し、新たな当該サブタスクの属するドメインを当該ドメインとして更新する機能を含む、請求項 11に記載のプログラム