JP7092708B2 - 情報処理プログラム、情報処理装置及び情報処理方法 - Google Patents

情報処理プログラム、情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP7092708B2
JP7092708B2 JP2019094410A JP2019094410A JP7092708B2 JP 7092708 B2 JP7092708 B2 JP 7092708B2 JP 2019094410 A JP2019094410 A JP 2019094410A JP 2019094410 A JP2019094410 A JP 2019094410A JP 7092708 B2 JP7092708 B2 JP 7092708B2
Authority
JP
Japan
Prior art keywords
information
utterance
model
complementary
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019094410A
Other languages
English (en)
Other versions
JP2020190589A (ja
Inventor
伸裕 鍜治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2019094410A priority Critical patent/JP7092708B2/ja
Publication of JP2020190589A publication Critical patent/JP2020190589A/ja
Application granted granted Critical
Publication of JP7092708B2 publication Critical patent/JP7092708B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)

Description

本発明は、情報処理プログラム、情報処理装置及び情報処理方法に関する。
従来、ユーザによる発話を音声入力するシステムに関する技術が知られている。例えば、音声入力を受け付けた場合に音声を音声データに変換し、変換した音声データを文字データに変換する技術が知られている。
特開２００１－２８５４１３号公報
しかしながら、上記の従来技術では、音声入力に関するユーザビリティが良いとは言えない場合がある。例えば、上記の従来技術では、音声入力を受け付けた場合に音声を音声データに変換し、変換した音声データを文字データに変換するにすぎないため、入力を受け付けた音声そのものに欠損がある場合には、音声データを適切な文字データに変換することは困難である。
本願発明は、上記に鑑みてなされたものであって、音声入力に関するユーザビリティを向上させることができる情報処理プログラム、情報処理装置及び情報処理方法を提供することを目的とする。
本願発明に係る情報処理プログラムは、ユーザによる発話を検知すると、前記ユーザによる発話に関する発話情報と、発話の欠損の有無の判定に用いる判定モデルとを取得し、前記発話情報に欠損部分があると判定された場合に、前記発話情報と、発話の欠損の補完に用いる補完モデルとを取得する取得手順と、前記取得手順により取得された前記発話情報と前記判定モデルとに基づいて、前記発話情報の欠損部分の有無を判定する判定手順と、前記取得手順により取得された前記発話情報と前記補完モデルとに基づいて、前記発話情報の欠損部分を補完する補完情報を生成する生成手順と、前記発話情報に基づいて、前記判定モデルと、前記補完モデルとを学習する学習手順と、をコンピュータに実行させ、前記取得手順は、発話の先頭の子音や末尾の子音が欠損した場合であっても、発話の欠損の有無を判定し、発話の欠損を補完できるようにするため、発話がローマ字変換された文字情報を前記発話情報として取得し、前記学習手順は、ローマ字情報である前記発話情報に基づいて、ローマ字情報である発話の欠損の有無を判定する前記判定モデルと、ローマ字情報である発話の欠損を補完する前記補完モデルとを学習することを特徴とする。
実施形態の一態様によれば、音声入力に関するユーザビリティを向上させることができるといった効果を奏する。
図１は、実施形態に係る情報処理の一例を示す図である。 図２は、実施形態に係る端末装置の構成例を示す図である。 図３は、実施形態に係るユーザ情報記憶部の一例を示す図である。 図４は、実施形態に係る発話情報記憶部の一例を示す図である。 図５は、実施形態に係るモデル情報記憶部の一例を示す図である。 図６は、実施形態に係る判定学習データ記憶部の一例を示す図である。 図７は、実施形態に係る補完学習データ記憶部の一例を示す図である。 図８は、実施形態に係る補完モデルの一例を示す図である。 図９は、実施形態に係る判定処理手順を示すフローチャートである。 図１０は、実施形態に係る生成処理手順を示すフローチャートである。 図１１は、端末装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本願に係る情報処理プログラム、情報処理装置及び情報処理方法を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理プログラム、情報処理装置及び情報処理方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
〔１．情報処理の一例〕
まず、図１を用いて、実施形態に係る情報処理の一例について説明する。図１は、実施形態に係る情報処理の一例を示す図である。図１に例示するように、情報処理システム１には、端末装置１００が含まれる。なお、後述するように、情報処理システム１には、他の装置が含まれてもよい。これらの各種装置は、例えば、インターネットを介して、有線又は無線により通信可能に接続される。なお、図１に示した情報処理システム１には、任意の数の端末装置１００が含まれていてもよい。
端末装置１０は、ユーザと雑談や他愛のない会話といった非タスク志向型の対話を行うシステムである非タスク志向型対話システム(non-task-oriented dialogue systems)である。なお、タスク志向型対話システムは、ユーザの要求に応じて、検索やニュース読み上げや予約代行などのタスクを行うシステムを指す。端末装置１００は、テキストや音声を通じてユーザとの対話を自動的に行うプログラムであるチャットボット（chatbot）の一種である。
また、端末装置１００は、周囲の音を取得するマイク等の入力装置と、任意の音を出力可能なスピーカー等の出力装置とを有する入出力装置であり、例えば、スマートスピーカーと呼ばれるデバイスである。また、端末装置１００は、音楽の出力や音声による情報提供を実現可能な装置である。また、端末装置１００は、音の入力を受付ける受付機能を有しユーザが発した音声を取得すると、取得した音声の内容に応じた音を出力する出力機能を有する。なお、端末装置１００は、スマートスピーカー以外にも、スマートフォンやタブレット等といった各種の情報処理装置であってもよい。図１では、端末装置１００がスマートフォンである例を示す。また、端末装置１００は、必ずしもスピーカー等の端末装置を有する必要はない。例えば、端末装置１００は、音声に代えて、文字列等の情報を表示することで各種の情報をユーザに対して出力してもよい。
図１に示す例では、端末装置１００は、ユーザによる発話に関する発話情報と、発話の欠損の有無の判定に用いる判定モデルとに基づいて、発話情報の欠損部分の有無を判定する。また、端末装置１００は、ユーザによる発話に関する発話情報と、発話の欠損の補完に用いる補完モデルとに基づいて、発話情報の欠損部分を補完する補完情報を生成する。
一般的に、対話システムでは、ユーザによる発話の先頭や末尾の音声認識に失敗することがよくある。具体的には、ユーザが発話を開始すると同時に対話システムのアプリケーションを起動する操作を行う場合、アプリケーションが起動するタイミングが発話の開始より少し遅れると、ユーザによる発話の先頭の音声認識に失敗することがある。また、一般的に、人間の発話の音量は、発話の開始時と終了時に小さくなる傾向があるため、ユーザの発話の先頭の音（例えば、子音）や発話の末尾の音が欠損して音声認識に失敗することがある。また、ユーザが言葉に詰まってしまい、長い間（数秒間）無言となってしまうと、そこで発話が終了したと誤認識されることがある。
例えば、ユーザが「東京の天気（toukyounotenki）」と発話したつもりであっても、「の天気（notenki）」のように先頭の「東京（toukyou）」が欠損した発話が音声認識される場合がある。また、ユーザが「連想ゲーム（rensougeemu）」と発話したつもりであっても、「演奏ゲーム（ensougeemu）」のように先頭の子音（r）が欠損した発話が音声認識される場合がある。また、ユーザが「しりとりしよう（shiritorishiyou）」と発話したつもりであっても、「とりしよう（torishiyou）」のように先頭の「しり（shiri）」が欠損した発話が音声認識される場合がある。また、ユーザが「肩パッド（katapaddo）」と発話したつもりであっても、「かたぱ（katapa）」のように末尾の「っど（ddo）」が欠損した発話が音声認識される場合がある。
そこで、本願発明に係る端末装置１００は、発話情報の先頭または末尾の少なくとも一方の欠損部分を補完する補完情報を生成する。また、本願発明に係る端末装置１００は、発話の先頭の子音や末尾の子音が欠損した場合であっても、発話の欠損の有無を判定し、発話の欠損を補完できるようにするため、発話がローマ字変換された文字情報を発話情報として取得する。以下では、発話がローマ字変換された文字情報のことを、適宜「ローマ字情報」と記載する。また、本願発明に係る端末装置１００は、ローマ字情報である発話の欠損の有無を判定する判定モデルを学習する。これにより、本願発明に係る端末装置１００は、発話の先頭の子音や末尾の子音が欠損した場合であっても、発話の欠損の有無を判定することができる。また、本願発明に係る端末装置１００は、ローマ字情報である発話の欠損を補完する補完モデルを学習する。これにより、本願発明に係る端末装置１００は、発話の先頭の子音や末尾の子音が欠損した場合であっても、発話の欠損を補完することができる。
また、以下では、日本語による理解を助けるため、発話が漢字仮名交じり文字（漢字とかな文字を併用した文字）に変換された文字情報（以下、適宜「漢字仮名交じり文字情報」と記載する）とローマ字情報とを併記する場合がある。例えば、ローマ字情報が「torishiyou」である場合には、漢字仮名交じり文字情報は「とりしよう」なので、「torishiyou」（とりしよう）のようにローマ字情報と漢字仮名交じり文字情報とを併記する場合がある。
以下に、図１を用いて、情報処理の流れについて説明する。図１は、実施形態に係る情報処理の一例を示す図である。図１に示す例では、端末装置１００は、ユーザＩＤ「Ｕ１」で識別されるユーザ（ユーザＵ１）による発話ＰＡ１を検知する（ステップＳ１）。
端末装置１００は、発話ＰＡ１を検知すると、ユーザＵ１による発話ＰＡ１に関する発話情報ＩＮ１を取得する。具体的には、端末装置１００は、発話ＰＡ１を検知すると、発話ＰＡ１がローマ字変換された文字情報「torishiyou」を発話情報ＩＮ１として取得する。
また、端末装置１００は、発話ＰＡ１を検知すると、発話の欠損の有無の判定に用いる判定モデルＭ１１を取得する。具体的には、端末装置１００は、発話情報を入力とし、入力された発話情報に欠損部分がある可能性を示すスコアを出力する判定モデルＭ１１を取得する。端末装置１００は、発話情報ＩＮ１と判定モデルＭ１１とを取得すると、発話情報ＩＮ１「torishiyou」を判定モデルＭ１１に入力する（ステップＳ２）。なお、図１では、日本語による理解を助けるため、ローマ字情報「torishiyou」と漢字仮名交じり文字情報「とりしよう」とを併記する。なお、併記する漢字仮名交じり文字情報「とりしよう」を判定モデルＭ１１の入力情報として用いてもよいが、この点については後述する。
端末装置１００は、発話情報ＩＮ１「torishiyou」を判定モデルＭ１１に入力することにより、入力された発話情報ＩＮ１「torishiyou」に欠損部分がある可能性を示すスコアＳＣ１「０．８」を判定モデルＭ１１から出力する（ステップＳ３）。
端末装置１００は、スコアＳＣ１「０．８」を判定モデルＭ１１から出力すると、判定モデルＭ１１が出力したスコアＳＣ１「０．８」と所定の閾値ＴＨ１「０．７５」との比較に基づいて、発話情報ＩＮ１「torishiyou」に欠損部分が有るか無いかを判定する。具体的には、端末装置１００は、判定モデルＭ１１が出力したスコアＳＣ１「０．８」が所定の閾値ＴＨ１「０．７５」を超えるので、判定モデルＭ１１に入力された発話情報ＩＮ１「torishiyou」（とりしよう）に欠損ＤＣ１が有ると判定する（ステップＳ４）。
続いて、端末装置１００は、発話情報ＩＮ１「torishiyou」（とりしよう）に欠損ＤＣ１が有ると判定すると、発話情報ＩＮ１と発話の欠損の補完に用いる補完モデルＭ２１とを取得する。具体的には、端末装置１００は、発話情報を入力とし、入力された発話情報に欠損部分がある場合、発話情報の欠損部分を補完する補完情報と発話情報とからなる補完後発話情報を出力する補完モデルＭ２１を取得する。端末装置１００は、発話情報ＩＮ１と補完モデルＭ２１とを取得すると、発話情報ＩＮ１「torishiyou」を補完モデルＭ２１に入力する（ステップＳ５）。なお、図１では、日本語による理解を助けるため、ローマ字情報「torishiyou」と漢字仮名交じり文字情報「とりしよう」とを併記する。
端末装置１００は、発話情報ＩＮ１「torishiyou」を補完モデルＭ２１に入力することにより、補完情報「shiri」と発話情報ＩＮ１「torishiyou」とからなる補完後発話情報ＣＴ１「shiritorishiyou」を補完モデルＭ２１から出力する（ステップＳ６）。なお、図１では、日本語による理解を助けるため、ローマ字情報「shiritorishiyou」と漢字仮名交じり文字情報「しりとりしよう」とを併記する。
端末装置１００は、補完後発話情報ＣＴ１「shiritorishiyou」を補完モデルＭ２１から出力すると、出力した補完後発話情報ＣＴ１「shiritorishiyou」に基づいて発話ＰＡ１に対する応答コンテンツを生成する。例えば、端末装置１００は、補完後発話情報ＣＴ１「shiritorishiyou」（しりとりしよう）に基づいて、ユーザＵ１からしりとりの開始要求を受け付けたと判定する。端末装置１００は、ユーザＵ１から受け付けたしりとりの開始要求に応じて、しりとりの開始要求に対する応答に対応する音声情報を生成する。例えば、端末装置１００は、「それでは、まずは「スイカ」。」という日本語に対応する音声情報を生成する。例えば、端末装置１００は、応答に対応する音声情報を生成すると、生成した音声情報を音声出力する（ステップＳ７）。
上述したように、端末装置１００は、ユーザによる発話に関する発話情報と、発話の欠損の補完に用いる補完モデルとを取得する。そして、端末装置１００は、取得した発話情報と補完モデルとに基づいて、発話情報の欠損部分を補完する補完情報を生成する。これにより、端末装置１００は、ユーザによる発話の音声認識に失敗した場合であっても、欠損部分を補完した発話に関する発話情報を取得可能とする。すなわち、端末装置１００は、ユーザによる発話の音声認識に失敗した場合であっても、ユーザに対して正しい発話の再入力を要求することなく、適切な応答を出力可能とする。また、端末装置１００は、ユーザによる発話の音声認識に失敗した場合であっても、欠損した発話に基づいてユーザに対して的外れな応答を出力することなく、適切な応答を出力可能とする。したがって、端末装置１００は、音声入力に関するユーザビリティを向上させることができる。
〔２．学習処理の一例〕
ここで、図１に示す判定モデルＭ１１と補完モデルＭ２１の学習処理の一例についてそれぞれ説明する。まず、実施形態に係る判定モデルＭ１１の学習処理の一例について説明する。具体的には、端末装置１００は、複数の発話情報の各々と、複数の発話情報の各々の欠損部分の有無を示す正解ラベル（欠損部分が無い場合は「０」、欠損部分が有る場合は「１」）の各々との組合せである学習データ（以下、適宜「判定学習データ」と記載する）に基づいて、判定モデルＭ１１を学習する。例えば、端末装置１００は、先頭の子音「r」の欠損が有る発話情報「ensougeemu」（演奏ゲーム）と正解ラベル「１」との組合せである判定学習データに基づいて、入力情報として発話情報「ensougeemu」（演奏ゲーム）が入力された場合には、出力情報として正解ラベル「１」を出力するよう判定モデルＭ１１を学習する。また、端末装置１００は、欠損部分が無い発話情報「toukyounotenki」（東京の天気）と正解ラベル「０」との組合せである判定学習データに基づいて、入力情報として発話情報「toukyounotenki」（東京の天気）が入力された場合には、出力情報として正解ラベル「０」を出力するよう判定モデルＭ１１を学習する。
そして、端末装置１００は、発話情報を入力とし、入力された発話情報に欠損部分がある可能性を示すスコアを出力する判定モデルＭ１１を生成する。例えば、端末装置１００は、発話情報「torishiyou」（とりしよう）を入力とし、入力された発話情報「torishiyou」（とりしよう）に欠損部分がある可能性を示すスコア「０．８」を出力する判定モデルＭ１１を生成する。
なお、端末装置１００は、いかなる学習アルゴリズムを用いて判定モデルＭ１１を生成してもよい。例えば、端末装置１００は、ニューラルネットワーク（neural network）、サポートベクターマシン（support vector machine）、クラスタリング、強化学習等の学習アルゴリズムを用いて判定モデルＭ１１を生成する。一例として、端末装置１００がニューラルネットワークを用いて判定モデルＭ１１を生成する場合、判定モデルＭ１１は、一以上のニューロンを含む入力層と、一以上のニューロンを含む中間層と、一以上のニューロンを含む出力層とを有する。
判定モデルＭ１１は、発話情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された発話情報に応じて、発話情報に欠損部分がある可能性を示すスコアを出力層から出力するよう、コンピュータを機能させる。
判定モデルＭ１１は、発話情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された発話情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、発話情報に欠損部分がある可能性を示すスコアを出力層から出力するよう、コンピュータを機能させる。
ここで、判定モデルＭ１１が「y=1/(1+exp(-t))、t=a0+a1*x1+a2*x2+・・・+ai*xi」で示すロジスティック回帰モデルで実現されるとする。この場合、判定モデルＭ１１が含む第１要素は、x1やx2等といった入力データ（xi）に対応する。ここで、入力データ（xi）は発話情報である。また、yは発話情報に欠損部分がある可能性を示すスコアである予測確率（0～1の値）である。また、第１要素の重みは、xiに対応する係数aiに対応する。ここで、ロジスティック回帰モデルは、標準シグモイド関数σを用いると「y=σ(t)=σ(a1*x1+a2*x2+・・・+ai*xi)」のように表せる。したがって、ロジスティック回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードと見做すことができる。なお、ロジスティック回帰では、最尤法によりパラメータ（係数ai）を推定する。具体的には、最尤法では、モデルのパラメータ（係数ai）を推定する尤度関数を導出する。そして、負の対数尤度関数が最小になるように反復解法を繰り返すことにより、パラメータ（係数ai）を推定する。
端末装置１００は、上述したロジスティック回帰モデル等、発生確率を予測するために用いられるモデルであって、任意の構造を有する判定モデルＭ１１を用いて、発話情報に欠損部分がある可能性を示すスコアの算出を行う。具体的には、判定モデルＭ１１は、発話情報に対応する数値（例えば、ベクトル）が入力された場合に、発話情報に欠損部分がある可能性を示すスコアを出力するように係数が設定される。端末装置１００は、このような判定モデルＭ１１を用いて、発話情報に欠損部分がある可能性を示すスコアを算出する。
次に、実施形態に係る補完モデルＭ２１の学習処理の一例について説明する。具体的には、端末装置１００は、欠損部分がある欠損発話情報と、欠損発話情報に対応する欠損部分がない正解発話情報との組合せを含む学習データ（以下、適宜「補完学習データ」と記載する）に基づいて補完モデルＭ２１を学習する。例えば、端末装置１００は、先頭の子音「r」の欠損が有る欠損発話情報「ensougeemu」（演奏ゲーム）と欠損発話情報に対応する欠損部分がない正解発話情報「rensougeemu」（連想ゲーム）との組合せである補完学習データに基づいて、入力情報として欠損発話情報「ensougeemu」（演奏ゲーム）が入力された場合には、出力情報として正解発話情報「rensougeemu」（連想ゲーム）を出力するよう補完モデルＭ２１を学習する。また、端末装置１００は、欠損部分がある欠損発話情報「notenki」（の天気）と欠損発話情報に対応する欠損部分がない正解発話情報「toukyounotenki」（東京の天気）との組合せである補完学習データに基づいて、入力情報として欠損発話情報「notenki」（の天気）が入力された場合には、出力情報として正解発話情報「toukyounotenki」（東京の天気）を出力するよう補完モデルＭ２１を学習する。
そして、端末装置１００は、発話情報を入力とし、入力された発話情報に欠損部分がある場合、発話情報と補完情報とからなる補完後発話情報を出力する補完モデルＭ２１を生成する。例えば、端末装置１００は、発話情報「torishiyou」（とりしよう）を入力とし、入力された発話情報に欠損部分がある場合、補完情報「shiri」（しり）と発話情報「torishiyou」（とりしよう）とからなる補完後発話情報「shiritorishiyou」（しりとりしよう）を出力する補完モデルＭ２１を生成する。
例えば、端末装置１００は、Ｓｅｑ２Ｓｅｑ（Sequence to Sequence Model）である補完モデルＭ２１を生成する。Ｓｅｑ２Ｓｅｑは、語句の並び（文字列）を入力して、別の語句の並び（文字列）を出力するルールを学習するモデルである。具体的には、Ｓｅｑ２Ｓｅｑは、ＲＮＮ（Recurrent Neural Network）の一種であるＬＳＴＭ（Long Short Term Memory）を構成要素とするEncoder-Decoderモデルである。
例えば、Ｓｅｑ２Ｓｅｑである補完モデルＭ２１は、「ＡＢＣ」という文字列を入力して、「ＷＸＹＺ」という文字列を出力する。図１に示す例に当てはめると、「ＡＢＣ」は、欠損部分がある発話情報ＩＮ１「torishiyou」（とりしよう）である。また、「ＷＸＹＺ」は、欠損部分がない補完後発話情報ＣＴ１「shiritorishiyou」（しりとりしよう）である。このような「ＡＢＣ」（欠損部分がある発話情報）と「ＷＸＹＺ」（欠損部分がない発話情報）の組があった場合、Ｓｅｑ２Ｓｅｑである補完モデルＭ２１は、「ＡＢＣ」が入力されているEncoder側で「ＡＢＣ」をベクトル化し、「ＷＸＹＺ」が出力されているDecoder側で「ＷＸＹＺ」を生成するようにＲＮＮの学習を行う。
なお、端末装置１００は、いかなる学習アルゴリズムを用いて補完モデルＭ２１を生成してもよい。例えば、端末装置１００は、ニューラルネットワーク（neural network）、サポートベクターマシン（support vector machine）、クラスタリング、強化学習等の学習アルゴリズムを用いて補完モデルＭ２１を生成する。一例として、端末装置１００がニューラルネットワークを用いて補完モデルＭ２１を生成する場合、補完モデルＭ２１は、一以上のニューロンを含む入力層と、一以上のニューロンを含む中間層と、一以上のニューロンを含む出力層とを有する。
補完モデルＭ２１は、発話情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された発話情報に応じて、補完後発話情報を出力層から出力するよう、コンピュータを機能させる。
補完モデルＭ２１は、発話情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された発話情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、補完後発話情報を出力層から出力するよう、コンピュータを機能させる。
ここで、補完モデルＭ２１が「y=a1*x1+a2*x2+・・・+ai*xi」で示す回帰モデルで実現されるとする。この場合、補完モデルＭ２１が含む第１要素は、x1やx2等といった入力データ（xi）に対応する。また、第１要素の重みは、xiに対応する係数aiに対応する。ここで、回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードと見做すことができる。
また、補完モデルＭ２１がＤＮＮ（Deep Neural Network）等、１つまたは複数の中間層を有するニューラルネットワークで実現されるとする。この場合、補完モデルＭ２１が含む第１要素は、入力層または中間層が有するいずれかのノードに対応する。また、第２要素は、第１要素と対応するノードから値が伝達されるノードである次段のノードに対応する。また、第１要素の重みは、第１要素と対応するノードから第２要素と対応するノードに伝達される値に対して考慮される重みである接続係数に対応する。
端末装置１００は、上述した回帰モデルやニューラルネットワーク等、任意の構造を有する補完モデルＭ２１を用いて、補完後発話情報に対応する数値（例えば、ベクトル）の算出を行う。具体的には、補完モデルＭ２１は、発話情報に対応する数値（例えば、ベクトル）が入力された場合に、補完後発話情報に対応する数値（例えば、ベクトル）を出力するように係数が設定される。端末装置１００は、このような補完モデルＭ２１を用いて、補完後発話情報に対応する数値（例えば、ベクトル）を算出する。
また、端末装置１００がＧＡＮ（Generative Adversarial Networks）を用いた算出処理を行う場合、補完モデルＭ２１は、ＧＡＮの一部を構成するモデルであってもよい。
なお、上述した例では、端末装置１００が判定モデルＭ１１及び補完モデルＭ２１を学習する例について説明したが、他の装置が判定モデルＭ１１及び補完モデルＭ２１を学習してもよい。具体的には、他の装置は、複数の発話情報の各々と、複数の発話情報の各々の欠損部分の有無を示す正解ラベルの各々との組合せである学習データに基づいて、判定モデルＭ１１を学習する。そして、他の装置は、発話情報を入力とし、入力された発話情報に欠損部分がある可能性を示すスコアを出力する判定モデルＭ１１を生成する。他の装置は、判定モデルＭ１１を生成すると、生成した判定モデルＭ１１を記憶部に格納する。
また、他の装置は、欠損部分がある欠損発話情報と、欠損発話情報に対応する欠損部分がない正解発話情報との組合せを含む学習データに基づいて補完モデルＭ２１を学習する。そして、他の装置は、発話情報を入力とし、入力された発話情報に欠損部分がある場合、発話情報と補完情報とからなる補完後発話情報を出力する補完モデルＭ２１を生成する。他の装置は、補完モデルＭ２１を生成すると、生成した補完モデルＭ２１を記憶部に格納する。
端末装置１００は、通信部１１０を介して、判定モデルＭ１１のモデルデータと補完モデルＭ２１のモデルデータの配信要求を他の装置に送信する。他の装置は、判定モデルＭ１１のモデルデータと補完モデルＭ２１のモデルデータの配信要求を端末装置１００から取得する。他の装置は、配信要求を取得すると、配信要求に応じて、判定モデルＭ１１のモデルデータと補完モデルＭ２１のモデルデータを端末装置１００に送信する。端末装置１００は、通信部１１０を介して、判定モデルＭ１１のモデルデータと補完モデルＭ２１のモデルデータを取得する。
〔３．端末装置の構成〕
次に、図２を用いて、実施形態に係る端末装置１００の構成について説明する。図２は、実施形態に係る端末装置１００の構成例を示す図である。図２に示すように、端末装置１００は、通信部１１０と、記憶部１２０と、入力部１３０と、出力部１４０と、検知部１５０と、制御部１６０とを有する。
（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、例えば、インターネットなどのネットワークと有線または無線で接続され、他の装置との間で情報の送受信を行う。例えば、通信部１１０は、判定モデルＭ１１や補完モデルＭ２１を生成する他の装置との間で判定モデルＭ１１や補完モデルＭ２１の送受信を行う。
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、例えば、判定プログラムや生成プログラム等を記憶する。また、記憶部１２０は、図２に示すように、ユーザ情報記憶部１２１と発話情報記憶部１２２とモデル情報記憶部１２３と判定学習データ記憶部１２４と補完学習データ記憶部１２５とを有する。
（ユーザ情報記憶部１２１）
ユーザ情報記憶部１２１は、ユーザに関する各種情報を記憶する。図３を用いて、実施形態に係るユーザ情報記憶部の一例について説明する。図３は、実施形態に係るユーザ情報記憶部の一例を示す図である。図３に示す例では、ユーザ情報記憶部１２１は、「ユーザＩＤ」、「属性情報」、「傾向情報」といった項目を有する。
「ユーザＩＤ」は、ユーザを識別するための識別情報を示す。「属性情報」は、ユーザの属性に関する情報を示す。具体的には、「属性情報」には、ユーザの年齢、性別、居住地、ライフサイクル、所得、職業といったユーザのデモグラフィック属性に関する情報が含まれる。また、「属性情報」には、ユーザの価値観、ライフスタイル、性格、好みなどのサイコグラフィック属性に関する情報が含まれてもよい。「傾向情報」は、ユーザの傾向に関する情報を示す。具体的には、「傾向情報」には、ユーザによる発話に関する傾向を示す情報が含まれる。より具体的には、「傾向情報」には、ユーザが頻繁に入力する発話に関する発話情報が含まれる。例えば、ユーザＵ１が「東京の天気」という発話を頻繁に入力する場合、ユーザＵ１の傾向情報＃１として「東京の天気」という発話に関する発話情報を記憶する。また、「傾向情報」には、ユーザが興味や関心を抱いているジャンルやトピック、趣味や嗜好に関するキーワードに関する情報が含まれてもよい。
図３の１レコード目に示す例では、ユーザＩＤ「Ｕ１」で識別されるユーザ（ユーザＵ１）は、図１に示すユーザＵ１に対応する。また、属性情報「属性情報＃１」は、ユーザＵ１の属性情報を示す。また、傾向情報「傾向情報＃１」は、ユーザＵ１の傾向情報を示す。
（発話情報記憶部１２２）
発話情報記憶部１２２は、ユーザによる発話に関する各種情報を記憶する。図４を用いて、実施形態に係る発話情報記憶部の一例について説明する。図４は、実施形態に係る発話情報記憶部の一例を示す図である。図４に示す例では、発話情報記憶部１２２は、「発話ＩＤ」、「音声情報」、「発話情報」といった項目を有する。
「発話ＩＤ」は、ユーザによる発話を識別するための識別情報を示す。「音声情報」は、ユーザによる発話の音声に関する情報を示す。具体的には、「音声情報」には、マイクロフォン等の集音手段である検知部１５０によって検知されたユーザによる発話の音声に関する情報が格納される。「発話情報」は、ユーザによる発話に関する情報を示す。また、「発話情報」は、さらに「文字情報」、「ローマ字表記」といった小項目を有する。「文字情報」は、ユーザによる発話が漢字仮名交じり表記に変換された文字情報（漢字仮名交じり文字情報）を示す。また、「ローマ字表記」は、ユーザによる発話がローマ字変換された文字情報（ローマ字情報）を示す。
図４の１レコード目に示す例では、発話ＩＤ「ＰＡ１」で識別される発話（発話ＰＡ１）は、図１に示す発話ＰＡ１に対応する。また、音声情報「音声情報＃１」は、発話ＰＡ１の音声に関する情報を示す。また、文字情報「とりしよう」は、発話ＰＡ１が漢字仮名交じり表記に変換された文字情報（漢字仮名交じり文字情報）を示す。また、ローマ字表記「torishiyou」は、発話ＰＡ１がローマ字変換された文字情報（ローマ字情報）を示す。
（モデル情報記憶部１２３）
モデル情報記憶部１２３は、モデルに関する各種情報を記憶する。図５を用いて、実施形態に係るモデル情報記憶部の一例について説明する。図５は、実施形態に係るモデル情報記憶部の一例を示す図である。図５に示す例では、モデル情報記憶部１２３は、「モデルＩＤ」、「モデルデータ」、「種別」といった項目を有する。
「モデルＩＤ」は、モデルを識別するための識別情報を示す。「モデルデータ」は、モデルのモデルデータを示す。例えば、「モデルデータ」には、入力された発話情報に欠損部分がある可能性を示すスコアを出力するためのデータが格納される。また、「モデルデータ」には、入力された発話情報に欠損部分がある場合、発話情報の欠損部分を補完する補完情報と発話情報とからなる補完後発話情報を出力するためのデータが格納される。「種別」は、モデルの種別を示す。具体的には、種別「判定」は、モデルの種別が判定モデルであることを示す。また、種別「補完」は、モデルの種別が補完モデルであることを示す。
図５の１レコード目に示す例では、モデルＩＤ「Ｍ１１」で識別されるモデル（判定モデルＭ１１）は、図１に示す判定モデルＭ１１に対応する。モデルデータ「ＭＤＴ１１」は、判定モデルＭ１１のモデルデータを示す。
図５の２レコード目に示す例では、モデルＩＤ「Ｍ２１」で識別されるモデル（補完モデルＭ２１）は、図１に示す補完モデルＭ２１に対応する。モデルデータ「ＭＤＴ２１」は、補完モデルＭ２１のモデルデータを示す。
（判定学習データ記憶部１２４）
判定学習データ記憶部１２４は、判定モデルの学習データに関する各種情報を記憶する。図６を用いて、実施形態に係る判定学習データ記憶部の一例について説明する。図６は、実施形態に係る判定学習データ記憶部の一例を示す図である。図６に示す例では、判定学習データ記憶部１２４は、「判定学習データＩＤ」、「発話情報」、「正解ラベル（欠損有：１、欠損無：０）」といった項目を有する。
「判定学習データＩＤ」は、判定モデルの学習データを識別するための識別情報を示す。判定モデルの学習データは、複数の発話情報の各々と、複数の発話情報の各々の欠損部分の有無を示す正解ラベルの各々との組合せである。「発話情報」は、ユーザによる発話に関する情報を示す。「発話情報」は、さらに「文字情報」、「ローマ字表記」といった小項目を有する。「文字情報」は、発話情報が漢字仮名交じり表記に変換された文字情報（漢字仮名交じり文字情報）を示す。また、「ローマ字表記」は、発話情報がローマ字変換された文字情報（ローマ字情報）を示す。「正解ラベル（欠損有：１、欠損無：０）」は、発話情報の欠損部分の有無を示す。正解ラベル「１」は、発話情報に欠損部分が有ることを示す。正解ラベル「０」は、発話情報に欠損部分が無いことを示す。
なお、図６では、発話情報として漢字仮名交じり文字情報とローマ字情報の２種類の文字情報が記憶される例を示すが、判定モデルＭ１１の学習にはローマ字情報のみが用いられる。
（補完学習データ記憶部１２５）
補完学習データ記憶部１２５は、補完モデルの学習データに関する各種情報を記憶する。図７を用いて、実施形態に係る補完学習データ記憶部の一例について説明する。図７は、実施形態に係る補完学習データ記憶部の一例を示す図である。図７に示す例では、補完学習データ記憶部１２５は、「補完学習データＩＤ」、「欠損発話情報」、「正解発話情報」といった項目を有する。
「補完学習データＩＤ」は、補完モデルの学習データを識別するための識別情報を示す。補完モデルの学習データは、欠損部分がある欠損発話情報と、欠損発話情報に対応する欠損部分がない正解発話情報との組合せから成る。「欠損発話情報」は、欠損部分がある発話情報を示す。「欠損発話情報」は、さらに「文字情報」、「ローマ字表記」といった小項目を有する。「文字情報」は、欠損発話情報が漢字仮名交じり表記に変換された文字情報（漢字仮名交じり文字情報）を示す。また、「ローマ字表記」は、欠損発話情報がローマ字変換された文字情報（ローマ字情報）を示す。「正解発話情報」は、欠損発話情報に対応する欠損部分がない発話情報を示す。「正解発話情報」は、さらに「文字情報」、「ローマ字表記」といった小項目を有する。「文字情報」は、正解発話情報が漢字仮名交じり表記に変換された文字情報（漢字仮名交じり文字情報）を示す。また、「ローマ字表記」は、正解発話情報がローマ字変換された文字情報（ローマ字情報）を示す。
なお、図７では、欠損発話情報として漢字仮名交じり文字情報とローマ字情報の２種類の文字情報が記憶される例を示すが、補完モデルＭ２１の学習にはローマ字情報のみが用いられる。また、正解発話情報として漢字仮名交じり文字情報とローマ字情報の２種類の文字情報が記憶される例を示すが、補完モデルＭ２１の学習にはローマ字情報のみが用いられる。
（入力部１３０）
入力部１３０は、ユーザから各種操作を受け付ける入力装置である。例えば、入力部１３０は、キーボードやマウスや操作キー等によって実現される。また、入力部１３０は、音声入力を行う装置（例えばマイク）であってもよい。
（出力部１４０）
出力部１４０は、各種情報を表示するための表示装置である。例えば、出力部１４０は、液晶ディスプレイ等によって実現される。なお、端末装置１００にタッチパネルが採用される場合には、入力部１３０と出力部１４０とは一体化される。また、以下の説明では、出力部１４０を画面と記載する場合がある。また、出力部１４０は、音声出力を行う装置（例えばスピーカー）であってもよい。例えば、出力部１４０は、出力制御部１６４から発話に対する応答に対応する音声情報を取得する。続いて、出力部１４０は、応答に対応する音声情報を取得すると、取得した音声情報を音声により出力する。
（検知部１５０）
検知部１５０は、端末装置１００に関する各種情報を検知する。具体的には、検知部１５０は、ユーザが発する音声や、端末装置１００の周囲の環境音を検知する。例えば、検知部１５０は、マイクロフォン等の集音手段であり、音が入力された場合に、その音を音情報として取得する。
（制御部１６０）
制御部１６０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、端末装置１００内部の記憶装置に記憶されている各種プログラム（生成プログラム又は判定プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムは、ウェブブラウザと呼ばれるアプリケーションプログラムに該当する。また、制御部１６０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
図２に示すように、制御部１６０は、取得部１６１と、判定部１６２と、生成部１６３と、出力制御部１６４と、学習部１６５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１６０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
（取得部１６１）
取得部１６１は、ユーザによる発話に関する発話情報と、発話の欠損の有無の判定に用いる判定モデルとを取得する。取得部１６１は、発話がローマ字変換された文字情報を発話情報として取得する。具体的には、取得部１６１は、検知部１５０によってユーザの発話が検知されると、検知部１５０によって検知されたユーザの発話に関する音声を取得する。続いて、取得部１６１は、音声を取得すると、取得した音声を音波に変換する。続いて、取得部１６１は、音声を音波に変換すると、音波から音素を特定する。続いて、取得部１６１は、音波から音素を特定すると、特定した音素の並びをローマ字に変換する。続いて、取得部１６１は、音素の並びをローマ字に変換すると、変換されたローマ字情報を発話情報として取得する。なお、取得部１６１は、発話情報を取得すると、取得した発話情報を音声情報と対応付けて発話情報記憶部１２２に格納する。
図１に示す例では、取得部１６１は、検知部１５０によってユーザＵ１の発話ＰＡ１が検知されると、検知部１５０によって検知されたユーザＵ１の発話ＰＡ１に関する音声（音声情報＃１）を取得する。続いて、取得部１６１は、音声（音声情報＃１）を取得すると、取得した音声（音声情報＃１）を音波に変換する。続いて、取得部１６１は、音声を音波に変換すると、音波から音素を特定する。続いて、取得部１６１は、音波から音素を特定すると、特定した音素の並びをローマ字に変換する。続いて、取得部１６１は、音素の並びをローマ字に変換すると、変換されたローマ字情報「torishiyou」を発話情報ＩＮ１として取得する。
また、取得部１６１は、音波から音素を特定すると、予め登録された日本語の辞書を参照して、特定した音素の並びを漢字仮名交じり文字に変換する。続いて、取得部１６１は、音素の並びを漢字仮名交じり文字に変換すると、変換された漢字仮名交じり文字情報を発話情報として取得する。続いて、取得部１６１は、発話情報を取得すると、取得した発話情報を音声情報と対応付けて発話情報記憶部１２２に格納する。
図１に示す例では、取得部１６１は、検知部１５０によってユーザＵ１の発話ＰＡ１が検知されると、検知部１５０によって検知されたユーザＵ１の発話ＰＡ１に関する音声（音声情報＃１）を取得する。続いて、取得部１６１は、音声（音声情報＃１）を取得すると、取得した音声（音声情報＃１）を音波に変換する。続いて、取得部１６１は、音声を音波に変換すると、音波から音素を特定する。続いて、取得部１６１は、音波から音素を特定すると、特定した音素の並びを漢字仮名交じり文字に変換する。続いて、取得部１６１は、音素の並びを漢字仮名交じり文字に変換すると、変換された漢字仮名交じり文字情報「とりしよう」を発話情報ＩＮ１として取得する。
また、取得部１６１は、発話情報を入力とし、入力された発話情報に欠損部分がある可能性を示すスコアを出力する判定モデルを取得する。取得部１６１は、複数の発話情報の各々と、複数の発話情報の各々の欠損部分の有無を示す正解ラベルの各々との組合せに基づいて、学習された判定モデルを取得する。取得部１６１は、学習部１６５により学習された判定モデルを取得する。具体的には、取得部１６１は、検知部１５０によってユーザの発話が検知されると、モデル情報記憶部１２３の「種別」の項目を参照して、判定モデル（のモデルデータ）を取得する。
図１に示す例では、取得部１６１は、検知部１５０によってユーザＵ１の発話ＰＡ１が検知されると、モデル情報記憶部１２３の「種別」の項目を参照して、判定モデルＭ１１（のモデルデータＭＤＴ１１）を取得する。
また、取得部１６１は、ユーザによる発話に関する発話情報と、発話の欠損の補完に用いる補完モデルとを取得する。取得部１６１は、発話がローマ字変換された文字情報を発話情報として取得する。具体的には、取得部１６１は、判定部１６２によって発話情報に欠損部分が有ると判定されると、発話情報を取得する。例えば、取得部１６１は、発話情報記憶部１２２を参照して、判定部１６２によって欠損部分が有ると判定された発話の発話ＩＤに対応する発話情報のローマ字情報を取得する。
図１に示す例では、取得部１６１は、判定部１６２によって発話情報ＩＮ１「torishiyou」（とりしよう）に欠損ＤＣ１が有ると判定されると、発話情報記憶部１２２を参照して、判定部１６２によって欠損ＤＣ１が有ると判定された発話ＰＡ１の発話ＩＤ「ＰＡ１」に対応する発話情報のローマ字情報「torishiyou」を取得する。
また、取得部１６１は、発話情報を入力とし、入力された発話情報に欠損部分がある場合、発話情報と補完情報とからなる補完後発話情報を出力する補完モデルを取得する。また、取得部１６１は、欠損部分がある欠損発話情報と、欠損発話情報に対応する欠損部分がない正解発話情報との組合せに基づいて、学習された補完モデルを取得する。取得部１６１は、学習部１６５により学習された補完モデルを取得する。具体的には、取得部１６１は、判定部１６２によって発話情報に欠損部分が有ると判定されると、モデル情報記憶部１２３の「種別」の項目を参照して、補完モデル（のモデルデータ）を取得する。
図１に示す例では、取得部１６１は、判定部１６２によって発話情報ＩＮ１「torishiyou」（とりしよう）に欠損ＤＣ１が有ると判定されると、モデル情報記憶部１２３の「種別」の項目を参照して、補完モデルＭ２１（のモデルデータＭＤＴ２１）を取得する。
（判定部１６２）
判定部１６２は、取得部１６１により取得された発話情報と判定モデルとに基づいて、発話情報の欠損部分の有無を判定する。判定部１６２は、発話情報の先頭または末尾の少なくとも一方の欠損部分の有無を判定する。具体的には、判定部１６２は、発話情報を判定モデルに入力することにより判定モデルが出力するスコアに基づいて、欠損部分の有無を判定する。より具体的には、判定部１６２は、判定モデルが出力するスコアと所定の閾値との比較に基づいて、欠損部分の有無を判定する。
判定部１６２は、上述したロジスティック回帰モデル等、発生確率を予測するために用いられるモデルであって、任意の構造を有する判定モデルを用いて、発話情報に欠損部分がある可能性を示すスコアの算出を行う。具体的には、判定モデルは、発話情報に対応する数値（例えば、ベクトル）が入力された場合に、発話情報に欠損部分がある可能性を示すスコアを出力するように係数が設定される。判定部１６２は、このような判定モデルを用いて、発話情報に欠損部分がある可能性を示すスコアを算出する。
図１に示す例では、判定部１６２は、取得部１６１によって発話情報ＩＮ１と判定モデルＭ１１とが取得されると、取得部１６１によって取得された発話情報ＩＮ１「torishiyou」を取得部１６１によって取得された判定モデルＭ１１に入力する。続いて、判定部１６２は、発話情報ＩＮ１「torishiyou」を判定モデルＭ１１に入力することにより、入力された発話情報ＩＮ１「torishiyou」に欠損部分がある可能性を示すスコアＳＣ１「０．８」を判定モデルＭ１１から出力する。続いて、判定部１６２は、スコアＳＣ１「０．８」を判定モデルＭ１１から出力すると、判定モデルＭ１１が出力したスコアＳＣ１「０．８」と所定の閾値ＴＨ１「０．７５」との比較に基づいて、発話情報ＩＮ１「torishiyou」に欠損部分が有るか無いかを判定する。図１では、判定部１６２は、判定モデルＭ１１が出力したスコアＳＣ１「０．８」が所定の閾値ＴＨ１「０．７５」を超えるので、判定モデルＭ１１に入力された発話情報ＩＮ１「torishiyou」（とりしよう）に欠損ＤＣ１が有ると判定する。
（生成部１６３）
生成部１６３は、取得部１６１により取得された発話情報と補完モデルとに基づいて、発話情報の欠損部分を補完する補完情報を生成する。具体的には、生成部１６３は、発話情報の先頭または末尾の少なくとも一方の欠損部分を補完する補完情報を生成する。より具体的には、生成部１６３は、発話情報を補完モデルに入力することにより発話情報と補完情報とからなる補完後発話情報を生成する。
生成部１６３は、上述した回帰モデルやニューラルネットワーク等、任意の構造を有する補完モデルを用いて、補完後発話情報に対応する数値（例えば、ベクトル）の算出を行う。具体的には、補完モデルＭ２１は、発話情報に対応する数値（例えば、ベクトル）が入力された場合に、補完後発話情報に対応する数値（例えば、ベクトル）を出力するように係数が設定される。生成部１６３は、このような補完モデルＭ２１を用いて、補完後発話情報に対応する数値（例えば、ベクトル）を算出する。
図１に示す例では、生成部１６３は、取得部１６１によって発話情報ＩＮ１と補完モデルＭ２１とが取得されると、取得部１６１によって取得された発話情報ＩＮ１「torishiyou」を取得部１６１によって取得された補完モデルＭ２１に入力する。続いて、生成部１６３は、発話情報ＩＮ１「torishiyou」を補完モデルＭ２１に入力することにより、欠損部分に対応する補完情報「shiri」と発話情報ＩＮ１「torishiyou」とからなる補完後発話情報ＣＴ１「shiritorishiyou」を補完モデルＭ２１から出力する。生成部１６３は、補完後発話情報ＣＴ１「shiritorishiyou」を補完モデルＭ２１から出力することにより、補完後発話情報ＣＴ１「shiritorishiyou」を生成する。
（出力制御部１６４）
出力制御部１６４は、端末装置１００が有する出力機能を用いて、入力部１３０により入力を受け付けられたユーザによる発話に関する発話情報に応じた応答に対応する音を端末装置１００から出力させる。また、出力制御部１６４は、生成部１６３によって補完後発話情報が生成された場合は、生成部１６３によって生成された補完後発話情報に応じた応答に対応する音を端末装置１００から出力させる。
図１に示す例では、出力制御部１６４は、生成部１６３によって補完後発話情報ＣＴ１「shiritorishiyou」が生成されると、生成部１６３によって生成された補完後発話情報ＣＴ１「shiritorishiyou」に基づいて発話ＰＡ１に対する応答コンテンツを生成する。例えば、出力制御部１６４は、補完後発話情報ＣＴ１「shiritorishiyou」（しりとりしよう）に基づいて、ユーザＵ１からしりとりの開始要求を受け付けたと判定する。出力制御部１６４は、ユーザＵ１から受け付けたしりとりの開始要求に応じて、しりとりの開始要求に対する応答に対応する音声情報を生成する。例えば、出力制御部１６４は、「それでは、まずは「スイカ」。」という日本語に対応する音声情報を生成する。例えば、出力制御部１６４は、応答に対応する音声情報を生成すると、生成した音声情報を出力部１４０に出力する。
（学習部１６５）
学習部１６５は、複数の発話情報の各々と正解ラベルの各々との組合せである学習データに基づいて、判定モデルを学習する。具体的には、学習部１６５は、過去の発話履歴の複数の発話情報の各々と、正解ラベルの各々との組合せである学習データに基づいて、判定モデルを学習する。より具体的には、学習部１６５は、複数の発話情報の各々と、複数の発話情報の各々の欠損部分の有無を示す正解ラベル（欠損部分が無い場合は「０」、欠損部分が有る場合は「１」）の各々との組合せである判定学習データに基づいて、判定モデルを学習する。
例えば、学習部１６５は、判定学習データ記憶部１２４を参照して、先頭の子音「r」の欠損が有る発話情報「ensougeemu」（演奏ゲーム）と正解ラベル「１」との組合せである判定学習データＳＤＴ１１を取得する。続いて、学習部１６５は、取得した判定学習データＳＤＴ１１に基づいて、入力情報として発話情報「ensougeemu」（演奏ゲーム）が入力された場合には、出力情報として正解ラベル「１」を出力するよう判定モデルＭ１１を学習する。
また、学習部１６５は、判定学習データ記憶部１２４を参照して、末尾に「ddo」の欠損が有る発話情報「katapa」（かたぱ）と正解ラベル「１」との組合せである判定学習データＳＤＴ１２を取得する。続いて、学習部１６５は、取得した判定学習データＳＤＴ１２に基づいて、入力情報として発話情報「katapa」（かたぱ）が入力された場合には、出力情報として正解ラベル「１」を出力するよう判定モデルＭ１１を学習する。
また、学習部１６５は、判定学習データ記憶部１２４を参照して、欠損部分が無い発話情報「toukyounotenki」（東京の天気）と正解ラベル「０」との組合せである判定学習データＳＤＴ１３を取得する。続いて、学習部１６５は、取得した判定学習データＳＤＴ１３に基づいて、入力情報として発話情報「toukyounotenki」（東京の天気）が入力された場合には、出力情報として正解ラベル「０」を出力するよう判定モデルＭ１１を学習する。
そして、学習部１６５は、発話情報を入力とし、入力された発話情報に欠損部分がある可能性を示すスコアを出力する判定モデルＭ１１を生成する。例えば、学習部１６５は、発話情報「torishiyou」（とりしよう）を入力とし、入力された発話情報「torishiyou」（とりしよう）に欠損部分がある可能性を示すスコア「０．８」を出力する判定モデルＭ１１を生成する。学習部１６５は、判定モデルＭ１１を生成すると、生成した判定モデルＭ１１をモデル情報記憶部１２３に格納する。
なお、学習部１６５は、いかなる学習アルゴリズムを用いて判定モデルＭ１１を生成してもよい。例えば、学習部１６５は、ニューラルネットワーク（neural network）、サポートベクターマシン（support vector machine）、クラスタリング、強化学習等の学習アルゴリズムを用いて判定モデルＭ１１を生成する。一例として、学習部１６５がニューラルネットワークを用いて判定モデルＭ１１を生成する場合、判定モデルＭ１１は、一以上のニューロンを含む入力層と、一以上のニューロンを含む中間層と、一以上のニューロンを含む出力層とを有する。
判定モデルＭ１１は、発話情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された発話情報に応じて、発話情報に欠損部分がある可能性を示すスコアを出力層から出力するよう、コンピュータを機能させる。
判定モデルＭ１１は、発話情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された発話情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、発話情報に欠損部分がある可能性を示すスコアを出力層から出力するよう、コンピュータを機能させる。
ここで、判定モデルＭ１１が「y=1/(1+exp(-t))、t=a0+a1*x1+a2*x2+・・・+ai*xi」で示すロジスティック回帰モデルで実現されるとする。この場合、判定モデルＭ１１が含む第１要素は、x1やx2等といった入力データ（xi）に対応する。ここで、入力データ（xi）は発話情報である。また、yは発話情報に欠損部分がある可能性を示すスコアである予測確率（0～1の値）である。また、第１要素の重みは、xiに対応する係数aiに対応する。ここで、ロジスティック回帰モデルは、標準シグモイド関数σを用いると「y=σ(t)=σ(a1*x1+a2*x2+・・・+ai*xi)」のように表せる。したがって、ロジスティック回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードと見做すことができる。なお、ロジスティック回帰では、最尤法によりパラメータ（係数ai）を推定する。具体的には、最尤法では、モデルのパラメータ（係数ai）を推定する尤度関数を導出する。そして、負の対数尤度関数が最小になるように反復解法を繰り返すことにより、パラメータ（係数ai）を推定する。
学習部１６５は、欠損発話情報と正解発話情報との組合せを含む学習データに基づいて補完モデルを学習する。具体的には、学習部１６５は、過去の発話履歴の欠損発話情報と正解発話情報との組合せを含む学習データに基づいて、補完モデルを学習する。より具体的には、学習部１６５は、欠損部分がある欠損発話情報と、欠損発話情報に対応する欠損部分がない正解発話情報との組合せを含む補完学習データに基づいて補完モデルを学習する。
例えば、学習部１６５は、補完学習データ記憶部１２５を参照して、先頭の子音「r」の欠損が有る欠損発話情報「ensougeemu」（演奏ゲーム）と欠損発話情報に対応する欠損部分がない正解発話情報「rensougeemu」（連想ゲーム）との組合せである補完学習データＳＤＴ２１を取得する。続いて、学習部１６５は、取得した補完学習データＳＤＴ２１に基づいて、入力情報として欠損発話情報「ensougeemu」（演奏ゲーム）が入力された場合には、出力情報として正解発話情報「rensougeemu」（連想ゲーム）を出力するよう補完モデルＭ２１を学習する。
また、学習部１６５は、補完学習データ記憶部１２５を参照して、末尾に「ddo」の欠損が有る欠損発話情報「katapa」（かたぱ）と欠損発話情報に対応する欠損部分がない正解発話情報「katapaddo」（肩パッド）との組合せである補完学習データＳＤＴ２２を取得する。続いて、学習部１６５は、取得した補完学習データＳＤＴ２２に基づいて、入力情報として欠損発話情報「katapa」（かたぱ）が入力された場合には、出力情報として正解発話情報「katapaddo」（肩パッド）を出力するよう補完モデルＭ２１を学習する。
また、学習部１６５は、補完学習データ記憶部１２５を参照して、欠損部分がある欠損発話情報「notenki」（の天気）と欠損発話情報に対応する欠損部分がない正解発話情報「toukyounotenki」（東京の天気）との組合せである補完学習データＳＤＴ２３を取得する。続いて、学習部１６５は、取得した補完学習データＳＤＴ２３に基づいて、入力情報として欠損発話情報「notenki」（の天気）が入力された場合には、出力情報として正解発話情報「toukyounotenki」（東京の天気）を出力するよう補完モデルＭ２１を学習する。
そして、学習部１６５は、発話情報を入力とし、入力された発話情報に欠損部分がある場合、発話情報と補完情報とからなる補完後発話情報を出力する補完モデルＭ２１を生成する。例えば、学習部１６５は、発話情報「torishiyou」（とりしよう）を入力とし、入力された発話情報に欠損部分がある場合、補完情報「shiri」（しり）と発話情報「torishiyou」（とりしよう）とからなる補完後発話情報「shiritorishiyou」（しりとりしよう）を出力する補完モデルＭ２１を生成する。学習部１６５は、補完モデルＭ２１を生成すると、生成した補完モデルＭ２１をモデル情報記憶部１２３に格納する。
次に、図８を用いて、実施形態に係る補完モデルＭ２１の一例について説明する。図８に、実施形態に係る補完モデルの一例を示す。図８では、補完モデルＭ２１がＳｅｑ２Ｓｅｑ（Sequence to Sequence Model）である例について説明する。Ｓｅｑ２Ｓｅｑは、語句の並び（文字列）を入力して、別の語句の並び（文字列）を出力するルールを学習するモデルである。具体的には、Ｓｅｑ２Ｓｅｑは、ＲＮＮ（Recurrent Neural Network）の一種であるＬＳＴＭ（Long Short Term Memory）を構成要素とするEncoder-Decoderモデルである。
図８に示す例では、「ＡＢＣ」という文字列を入力して、「ＷＸＹＺ」という文字列を出力する例を示す。図１に示す例に当てはめると、「ＡＢＣ」は、欠損部分がある発話情報ＩＮ１「torishiyou」（とりしよう）である。また、「ＷＸＹＺ」は、欠損部分がない補完後発話情報ＣＴ１「shiritorishiyou」（しりとりしよう）である。このような「ＡＢＣ」（欠損部分がある発話情報）と「ＷＸＹＺ」（欠損部分がない発話情報）の組があった場合、Ｓｅｑ２Ｓｅｑである補完モデルＭ２１は、図８の「ＡＢＣ」が入力されているEncoder側で「ＡＢＣ」をベクトル化し、図８の「ＷＸＹＺ」が出力されているDecoder側で「ＷＸＹＺ」を生成するようにＲＮＮの学習を行う。
なお、学習部１６５は、いかなる学習アルゴリズムを用いて補完モデルＭ２１を生成してもよい。例えば、学習部１６５は、ニューラルネットワーク（neural network）、サポートベクターマシン（support vector machine）、クラスタリング、強化学習等の学習アルゴリズムを用いて補完モデルＭ２１を生成する。一例として、学習部１６５がニューラルネットワークを用いて補完モデルＭ２１を生成する場合、補完モデルＭ２１は、一以上のニューロンを含む入力層と、一以上のニューロンを含む中間層と、一以上のニューロンを含む出力層とを有する。
補完モデルＭ２１は、発話情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された発話情報に応じて、補完後発話情報を出力層から出力するよう、コンピュータを機能させる。
補完モデルＭ２１は、発話情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された発話情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、補完後発話情報を出力層から出力するよう、コンピュータを機能させる。
ここで、補完モデルＭ２１が「y=a1*x1+a2*x2+・・・+ai*xi」で示す回帰モデルで実現されるとする。この場合、補完モデルＭ２１が含む第１要素は、x1やx2等といった入力データ（xi）に対応する。また、第１要素の重みは、xiに対応する係数aiに対応する。ここで、回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードと見做すことができる。
また、補完モデルＭ２１がＤＮＮ（Deep Neural Network）等、１つまたは複数の中間層を有するニューラルネットワークで実現されるとする。この場合、補完モデルＭ２１が含む第１要素は、入力層または中間層が有するいずれかのノードに対応する。また、第２要素は、第１要素と対応するノードから値が伝達されるノードである次段のノードに対応する。また、第１要素の重みは、第１要素と対応するノードから第２要素と対応するノードに伝達される値に対して考慮される重みである接続係数に対応する。
また、学習部１６５がＧＡＮを用いた算出処理を行う場合、補完モデルＭ２１は、ＧＡＮの一部を構成するモデルであってもよい。
〔４．判定処理のフロー〕
次に、図９を用いて、実施形態に係る判定処理の手順について説明する。図９は、実施形態に係る判定処理手順を示すフローチャートである。図９に示す例では、端末装置１００は、ユーザによる発話を検知したか否かを判定する（ステップＳ１０１）。端末装置１００は、ユーザによる発話を検知していないと判定した場合（ステップＳ１０１；Ｎｏ）、処理を終了する。
一方、端末装置１００は、ユーザによる発話を検知したと判定した場合（ステップＳ１０１；Ｙｅｓ）、ユーザによる発話に関する発話情報と、発話の欠損の有無の判定に用いる判定モデルとを取得する（ステップＳ１０２）。端末装置１００は、発話情報と判定モデルとを取得すると、判定モデルを用いて、発話情報に欠損部分がある可能性を示すスコアを出力する（ステップＳ１０３）。
続いて、端末装置１００は、スコアを出力すると、スコアが所定の閾値を超えるか否かを判定する（ステップＳ１０４）。端末装置１００は、スコアが所定の閾値を超えると判定した場合（ステップＳ１０４；Ｙｅｓ）、発話情報に欠損部分が有ると判定する（ステップＳ１０５）。一方、端末装置１００は、スコアが所定の閾値を超えないと判定した場合（ステップＳ１０４；Ｎｏ）、発話情報に欠損部分が無いと判定する（ステップＳ１０６）。
〔５．生成処理のフロー〕
次に、図１０を用いて、実施形態に係る生成処理の手順について説明する。図１０は、実施形態に係る生成処理手順を示すフローチャートである。図１０に示す例では、端末装置１００は、ユーザによる発話に関する発話情報と、発話の欠損の補完に用いる補完モデルとを取得する（ステップＳ２０１）。端末装置１００は、発話情報と補完モデルとを取得すると、補完モデルを用いて、発話情報の欠損部分を補完する補完情報を生成する（ステップＳ２０２）。
〔６．変形例〕
上述した実施形態に係る情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム１の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。
〔６－１．その他の発話情報〕
図１では、発話情報がローマ字情報である例について説明したが、発話情報はローマ字情報に限られない。ここでは、その他の発話情報の例について説明する。
〔６－１－１．音声記号〕
取得部１６１は、発話が音声文字変換された所定の音声記号である文字情報を発話情報として取得する。具体的には、取得部１６１は、発話が音声文字変換された国際音声記号(International Phonetic Alphabet）である文字情報を発話情報として取得する。より具体的には、取得部１６１は、検知部１５０によってユーザの発話が検知されると、検知部１５０によって検知されたユーザの発話に関する音声を取得する。続いて、取得部１６１は、音声を取得すると、取得した音声を音波に変換する。続いて、取得部１６１は、音声を音波に変換すると、音波から音素を特定する。続いて、取得部１６１は、音波から音素を特定すると、特定した音素の並びを国際音声記号に変換する。続いて、取得部１６１は、音素の並びを国際音声記号に変換すると、変換された国際音声記号を発話情報として取得する。
また、図６に示す判定学習データ記憶部１２４の「発話情報」の項目には、発話情報として各発話が音声文字変換された国際音声記号が格納される。また、学習部１６５は、国際音声記号である発話情報に基づいて判定モデルを学習する。
また、図７に示す補完学習データ記憶部１２５の「欠損発話情報」の項目には、欠損発話情報が音声文字変換された国際音声記号が格納される。また、図７に示す補完学習データ記憶部１２５の「正解発話情報」の項目には、正解発話情報が音声文字変換された国際音声記号が格納される。また、学習部１６５は、国際音声記号である発話情報に基づいて補完モデルを学習する。
〔６－１－２．漢字仮名交じり文字情報〕
取得部１６１は、発話が変換された文字情報を発話情報として取得する。具体的には、取得部１６１は、発話情報記憶部１２２の「文字情報」の項目を参照して、発話が漢字仮名交じり文字に変換された漢字仮名交じり文字情報を発話情報として取得する。
また、学習部１６５は、漢字仮名交じり文字情報である発話情報に基づいて判定モデルを学習する。また、学習部１６５は、漢字仮名交じり文字情報である発話情報に基づいて補完モデルを学習する。
〔６－２．先頭欠損判定モデルと末尾欠損判定モデル〕
図１では、先頭欠損であるか末尾欠損であるか否かに関わらず、発話情報を入力とし、入力された発話情報に欠損部分がある可能性を示すスコアを出力する判定モデルＭ１１の例について説明したが、先頭欠損判定用の判定モデルと末尾欠損判定用の判定モデルとを分けてもよい。具体的には、学習部１６５は、先頭欠損の有無を判定する判定モデルＭ１２（先頭欠損判定モデル）と末尾欠損の有無を判定する判定モデルＭ１３（末尾欠損判定モデル）とをそれぞれ学習してもよい。
例えば、学習部１６５は、発話情報を入力とし、入力された発話情報に先頭部分の欠損である先頭欠損がある可能性を示すスコアを出力する判定モデルＭ１２を生成する。判定部１６２は、発話情報を判定モデルに入力することにより判定モデルＭ１２が出力するスコアに基づいて、先頭欠損部分の有無を判定する。より具体的には、判定部１６２は、判定モデルＭ１２が出力するスコアと所定の閾値との比較に基づいて、先頭欠損部分の有無を判定する。
また、学習部１６５は、発話情報を入力とし、入力された発話情報に末尾部分の欠損である末尾欠損がある可能性を示すスコアを出力する判定モデルＭ１３を生成する。判定部１６２は、発話情報を判定モデルに入力することにより判定モデルＭ１３が出力するスコアに基づいて、末尾欠損部分の有無を判定する。より具体的には、判定部１６２は、判定モデルＭ１３が出力するスコアと所定の閾値との比較に基づいて、末尾欠損部分の有無を判定する。
なお、学習部１６５は、発話情報を入力とし、入力された発話情報に先頭欠損がある可能性を示す第１スコアと、入力された発話情報に末尾欠損がある可能性を示す第２スコアと、入力された発話情報に先頭欠損と末尾欠損の両方の欠損がある可能性を示す第３スコアとを出力する判定モデルＭ１４を生成してもよい。判定部１６２は、発話情報を判定モデルに入力することにより判定モデルＭ１４が出力する第１スコアに基づいて、先頭欠損部分の有無を判定する。より具体的には、判定部１６２は、判定モデルＭ１４が出力する第１スコアと所定の閾値（第１閾値）との比較に基づいて、先頭欠損部分の有無を判定する。また、判定部１６２は、発話情報を判定モデルに入力することにより判定モデルＭ１４が出力する第２スコアに基づいて、末尾欠損部分の有無を判定する。より具体的には、判定部１６２は、判定モデルＭ１４が出力する第２スコアと所定の閾値（第２閾値）との比較に基づいて、末尾欠損部分の有無を判定する。また、判定部１６２は、発話情報を判定モデルに入力することにより判定モデルＭ１４が出力する第３スコアに基づいて、先頭と末尾の両方の欠損部分の有無を判定する。より具体的には、判定部１６２は、判定モデルＭ１４が出力する第３スコアと所定の閾値（第３閾値）との比較に基づいて、先頭と末尾の両方の欠損部分の有無を判定する。
〔６－３．その他の補完モデル〕
図１では、発話情報を入力とし、入力された発話情報に欠損部分がある場合、発話情報と補完情報とからなる補完後発話情報を出力する補完モデルＭ２１について説明したが、補完モデルは補完モデルＭ２１に限られない。ここでは、その他の補完モデルの例について説明する。
〔６－３－１．補完情報を出力する補完モデル〕
学習部１６５は、発話情報を入力とし、入力された発話情報に欠損部分がある場合、補完情報を出力する補完モデルＭ２２を生成する。具体的には、学習部１６５は、入力情報として欠損発話情報が入力された場合には、出力情報として、欠損発話情報の欠損位置を示す所定の記号（例えば、「，」（カンマ））を欠損発話情報と補完情報との間に配置した情報を出力するよう補完モデルＭ２２を学習する。以下では、発話の先頭が欠損している欠損発話情報の欠損部分に対応する補完情報のことを「先頭補完情報」と記載する。また、発話の末尾が欠損している欠損発話情報の欠損部分に対応する補完情報のことを「末尾補完情報」と記載する。また、欠損発話情報の欠損位置を示す所定の記号は、どのような記号であってもよい。例えば、欠損発話情報の欠損位置を示す所定の記号は、デリミタ（区切り文字）として一般的に使用される記号（「，」（カンマ）、タブ、「 」（スペース）等））であってもよい。以下では、欠損発話情報の欠損位置を示す所定の記号が「，」（カンマ）である例について説明する。
例えば、学習部１６５は、補完学習データ記憶部１２５を参照して、先頭の子音「r」の欠損が有る欠損発話情報「ensougeemu」（演奏ゲーム）と欠損発話情報に対応する欠損部分がない正解発話情報「rensougeemu」（連想ゲーム）との組合せである補完学習データＳＤＴ２１を取得する。続いて、学習部１６５は、取得した補完学習データに基づいて、入力情報として欠損発話情報「ensougeemu」（演奏ゲーム）が入力された場合には、出力情報として、欠損発話情報の欠損位置を示す所定の記号（例えば、「，」（カンマ））を先頭補完情報「r」と欠損発話情報「ensougeemu」との間に配置した「ｒ，ensougeemu」を出力するよう補完モデルＭ２２を学習する。
また、学習部１６５は、補完学習データ記憶部１２５を参照して、末尾に「ddo」の欠損が有る欠損発話情報「katapa」（かたぱ）と欠損発話情報に対応する欠損部分がない正解発話情報「katapaddo」（肩パッド）との組合せである補完学習データＳＤＴ２２を取得する。続いて、学習部１６５は、取得した補完学習データに基づいて、入力情報として欠損発話情報「katapa」（かたぱ）が入力された場合には、出力情報として、欠損発話情報の欠損位置を示す所定の記号（例えば、「，」（カンマ））を欠損発話情報「katapa」と末尾補完情報「ddo」との間に配置した「katapa，ddo」を出力するよう補完モデルＭ２２を学習する。
そして、学習部１６５は、発話情報を入力とし、入力された発話情報に欠損部分がある場合、補完情報を出力する補完モデルＭ２２を生成する。例えば、学習部１６５は、先頭に欠損がある欠損発話情報「torishiyou」（とりしよう）を入力とし、欠損発話情報の欠損位置を示す所定の記号（例えば、「，」（カンマ））を先頭補完情報「shiri」と欠損発話情報「torishiyou」との間に配置した「shiri，torishiyou」を出力する補完モデルＭ２２を生成する。学習部１６５は、補完モデルＭ２２を生成すると、生成した補完モデルＭ２２をモデル情報記憶部１２３に格納する。このように、補完モデルＭ２２は、欠損発話情報の欠損位置を示す所定の記号（例えば、「，」（カンマ））を欠損発話情報と補完情報との間に配置した情報を出力する。続いて、学習部１６５は、補完モデルＭ２２が出力した情報を所定の記号（例えば、「，」（カンマ））の前後で分離することにより、先頭補完情報又は末尾補完情報を取得することができる。具体的には、学習部１６５は、補完モデルＭ２２に入力された欠損発話情報と、補完モデルＭ２２から出力された情報とを比較することにより、先頭補完情報又は末尾補完情報として取得する。例えば、学習部１６５は、所定の記号（例えば、「，」（カンマ））で分離された情報のうち、補完モデルＭ２２に入力された欠損発話情報と一致しない方の情報を、先頭補完情報又は末尾補完情報として取得する。図１に示す例では、学習部１６５は、補完モデルＭ２２に入力された欠損発話情報「torishiyou」と、補完モデルＭ２２から出力された情報「shiri，torishiyou」とを比較することにより、先頭補完情報「shiri」を取得する。例えば、学習部１６５は、所定の記号（例えば、「，」（カンマ））で分離された情報「shiri，torishiyou」のうち、補完モデルＭ２２に入力された欠損発話情報「torishiyou」と一致しない方の情報「shiri」を、先頭補完情報として取得する。
〔６－３－２．完全発話情報を入出力する補完モデル〕
学習部１６５は、欠損部分が無い発話情報である完全発話情報が入力された場合は、完全発話情報を補完後発話情報として出力する補完モデルＭ２３を生成する。具体的には、学習部１６５は、欠損部分が無い完全発話情報と、完全発話情報である正解発話情報との組合せを含む学習データに基づいて、補完モデルＭ２３を学習する。例えば、学習部１６５は、欠損部分が無い完全発話情報「toukyounotenki」（東京の天気）と完全発話情報である正解発話情報「toukyounotenki」（東京の天気）との組合せである補完学習データを取得する。続いて、学習部１６５は、取得した補完学習データに基づいて、入力情報として完全発話情報「toukyounotenki」（東京の天気）が入力された場合には、出力情報として完全発話情報「toukyounotenki」（東京の天気）を出力するよう補完モデルＭ２３を学習する。
そして、学習部１６５は、完全発話情報を入力とし、完全発話情報を出力する補完モデルＭ２３を生成する。例えば、学習部１６５は、完全発話情報「shiritorishiyou」（しりとりしよう）を入力とし、完全発話情報「shiritorishiyou」（しりとりしよう）を出力する補完モデルＭ２３を生成する。
また、学習部１６５は、欠損部分が無い発話情報である完全発話情報が入力された場合は、入力された発話情報に欠損部分が無いことを示す記号（例えば、「＃」）を出力する補完モデルＭ２４を生成する。具体的には、学習部１６５は、欠損部分が無い完全発話情報と、入力された発話情報に欠損部分が無いことを示す記号（例えば、「＃」）との組合せを含む学習データに基づいて、補完モデルＭ２４を学習する。例えば、学習部１６５は、欠損部分が無い完全発話情報「toukyounotenki」（東京の天気）と入力された発話情報に欠損部分が無いことを示す記号（例えば、「＃」）との組合せである補完学習データを取得する。続いて、学習部１６５は、取得した補完学習データに基づいて、入力情報として完全発話情報「toukyounotenki」（東京の天気）が入力された場合には、出力情報として入力された発話情報に欠損部分が無いことを示す記号（例えば、「＃」）を出力するよう補完モデルＭ２４を学習する。
そして、学習部１６５は、完全発話情報を入力とし、完全発話情報を出力する補完モデルＭ２４を生成する。例えば、学習部１６５は、完全発話情報「shiritorishiyou」（しりとりしよう）を入力とし、入力された発話情報に欠損部分が無いことを示す記号（例えば、「＃」）を出力する補完モデルＭ２４を生成する。
なお、学習部１６５は、欠損部分が無い発話情報である完全発話情報が入力された場合は、入力された発話情報に欠損部分が無いことを示す文字（例えば、「ＮＵＬＬ」、「Ｃ」等）の文字情報を出力する補完モデルＭ２５を生成してもよい。
〔６－３－３．先頭欠損補完モデルと末尾欠損補完モデル〕
図１では、先頭欠損であるか末尾欠損であるか否かに関わらず、発話情報を入力とし、入力された発話情報に欠損部分がある場合、発話情報と補完情報とからなる補完後発話情報を出力する補完モデルＭ２１の例について説明したが、先頭欠損補完用の補完モデルと末尾欠損補完用の補完モデルとを分けてもよい。具体的には、学習部１６５は、先頭欠損を補完する補完モデルＭ２６（先頭欠損補完モデル）と末尾欠損を補完する補完モデルＭ２７（末尾欠損補完モデル）とをそれぞれ学習してもよい。
例えば、学習部１６５は、入力された発話情報の先頭に欠損部分がある場合、発話情報と先頭の欠損部分を補完する先頭補完情報とからなる先頭補完後発話情報を出力する補完モデルＭ２６を生成する。生成部１６３は、発話情報を補完モデルに入力することにより先頭補完後発話情報を生成する。
例えば、学習部１６５は、入力された発話情報の末尾に欠損部分がある場合、発話情報と末尾の欠損部分を補完する末尾補完情報とからなる末尾補完後発話情報を出力する補完モデルＭ２７を生成する。生成部１６３は、発話情報を補完モデルに入力することにより末尾補完後発話情報を生成する。
〔７．効果〕
上述してきたように、実施形態に係る端末装置１００は、取得部１６１と生成部１６３を備える。取得部１６１は、ユーザによる発話に関する発話情報と、発話の欠損の補完に用いる補完モデルとを取得する。生成部１６３は、取得部１６１により取得された発話情報と補完モデルとに基づいて、発話情報の欠損部分を補完する補完情報を生成する。
これにより、端末装置１００は、ユーザによる発話の音声認識に失敗した場合であっても、欠損部分を補完した発話に関する発話情報を取得可能とする。すなわち、端末装置１００は、ユーザによる発話の音声認識に失敗した場合であっても、ユーザに対して正しい発話の再入力を要求することなく、適切な応答を出力可能とする。また、端末装置１００は、ユーザによる発話の音声認識に失敗した場合であっても、欠損した発話に基づいてユーザに対して的外れな応答を出力することなく、適切な応答を出力可能とする。したがって、端末装置１００は、音声入力に関するユーザビリティを向上させることができる。
また、生成部１６３は、発話情報の先頭または末尾の少なくとも一方の欠損部分を補完する補完情報を生成する。
これにより、端末装置１００は、発話の欠損が発生しやすい発話の先頭または末尾の音声認識に失敗した場合であっても、適切な応答を出力可能とする。
また、取得部１６１は、発話が変換された文字情報を発話情報として取得する。
これにより、端末装置１００は、漢字仮名交じり文字情報である発話の音声認識に失敗した場合であっても、適切な応答を出力可能とする。
また、取得部１６１は、発話がローマ字変換された文字情報を発話情報として取得する。
これにより、端末装置１００は、ローマ字情報である発話の音声認識に失敗した場合であっても、適切な応答を出力可能とする。また、端末装置１００は、発話の先頭の音素（例えば、子音）が欠損した場合であっても、適切な応答を出力可能とする。
また、取得部１６１は、発話が音声文字変換された所定の音声記号である文字情報を発話情報として取得する。
これにより、端末装置１００は、所定の音声記号である発話の音声認識に失敗した場合であっても、適切な応答を出力可能とする。また、端末装置１００は、発話の先頭の音素や発話の末尾の音素が欠損した場合であっても、適切な応答を出力可能とする。
また、取得部１６１は、発話情報を入力とし、入力された発話情報に欠損部分がある場合、補完情報を出力する補完モデルを取得する。生成部１６３は、発話情報を補完モデルに入力することにより補完情報を生成する。また、取得部１６１は、発話情報を入力とし、入力された発話情報に欠損部分がある場合、発話情報と補完情報とからなる補完後発話情報を出力する補完モデルを取得する。生成部１６３は、発話情報を補完モデルに入力することにより補完後発話情報を生成する。また、取得部１６１は、欠損部分がある欠損発話情報と、欠損発話情報に対応する欠損部分がない正解発話情報との組合せに基づいて、学習された補完モデルを取得する。
これにより、端末装置１００は、学習データにない未知の欠損がある発話に対しても、適切な応答を出力可能とする。
また、実施形態に係る端末装置１００は、学習部１６５をさらに備える。学習部１６５は、欠損発話情報と正解発話情報との組合せを含む学習データに基づいて補完モデルを学習する。取得部１６１は、学習部１６５により学習された補完モデルを取得する。また、学習部１６５は、過去の発話履歴の欠損発話情報と正解発話情報との組合せを含む学習データに基づいて、補完モデルを学習する。また、学習部１６５は、欠損部分が無い完全発話情報と、完全発話情報である正解発話情報との組合せを含む学習データに基づいて、補完モデルを学習する。
これにより、端末装置１００は、学習データにない未知の欠損がある発話に対しても、適切な応答を出力可能とするモデルを学習することができる。
また、実施形態に係る端末装置１００は、判定部１６２をさらに備える。取得部１６１は、ユーザによる発話に関する発話情報と、発話の欠損の有無の判定に用いる判定モデルとを取得する。判定部１６２は、取得部１６１により取得された発話情報と判定モデルとに基づいて、発話情報の欠損部分の有無を判定する。
これにより、端末装置１００は、発話情報の欠損部分の有無の判定結果に応じて、適切に補完情報を生成することができる。例えば、端末装置１００は、ユーザによる発話に欠損が有ると判定した場合のみ、発話情報を補完モデルに入力して補完情報を生成することができる。すなわち、端末装置１００は、ユーザによる発話に欠損が無いと判定した場合には、発話情報を補完モデルに入力することなく、取得した発話情報に基づいて応答することができる。このように、端末装置１００は、欠損の有無の判定結果に応じて適切に補完情報を生成することができる。したがって、端末装置１００は、音声入力に関するユーザビリティを向上させることができる。
また、判定部１６２は、発話情報の先頭または末尾の少なくとも一方の欠損部分の有無を判定する。
これにより、端末装置１００は、欠損が発生しやすい発話の先頭または末尾の欠損の有無を判定可能にする。したがって、端末装置１００は、発話の欠損の有無を判定する判定の精度を高めることができる。
また、取得部１６１は、発話が変換された文字情報を発話情報として取得する。
これにより、端末装置１００は、漢字仮名交じり文字情報である発話の欠損の有無を判定可能にする。
また、取得部１６１は、発話がローマ字変換された文字情報を発話情報として取得する。
これにより、端末装置１００は、発話の先頭の子音や末尾の子音が欠損した場合であっても、発話の欠損の有無を判定することができる。
また、取得部１６１は、発話が音声文字変換された所定の音声記号である文字情報を発話情報として取得する。
これにより、端末装置１００は、端末装置１００は、発話の先頭や末尾が欠損した場合であっても、発話の欠損の有無を判定することができる。
また、取得部１６１は、発話情報を入力とし、入力された発話情報に欠損部分がある可能性を示すスコアを出力する判定モデルを取得する。判定部１６２は、発話情報を判定モデルに入力することにより判定モデルが出力するスコアに基づいて、欠損部分の有無を判定する。また、取得部１６１は、判定モデルが出力するスコアと所定の閾値との比較に基づいて、欠損部分の有無を判定する。また、取得部１６１は、複数の発話情報の各々と、複数の発話情報の各々の欠損部分の有無を示す正解ラベルの各々との組合せに基づいて、学習された判定モデルを取得する。
これにより、端末装置１００は、学習データにない未知の欠損がある発話に対しても、発話の欠損の有無を適切に判定可能とする。
また、学習部１６５は、複数の発話情報の各々と正解ラベルの各々との組合せである学習データに基づいて、判定モデルを学習する。取得部１６１は、学習部１６５により学習された判定モデルを取得する。また、学習部１６５は、過去の発話履歴の複数の発話情報の各々と、正解ラベルの各々との組合せである学習データに基づいて、判定モデルを学習する。
これにより、端末装置１００は、学習データにない未知の欠損がある発話に対しても、発話の欠損の有無を適切に判定可能とするモデルを学習することができる。
〔８．ハードウェア構成〕
また、上述してきた実施形態に係る端末装置１００は、例えば図１１に示すような構成のコンピュータ１０００によって実現される。図１１は、端末装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の端末装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して端末装置へ出力する。
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ１０００が端末装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムまたはデータ（例えば、判定モデルＭ１１や補完モデルＭ２１）を実行することにより、制御部１６０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムまたはデータ（例えば、判定モデルＭ１１や補完モデルＭ２１）を記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムまたはデータ（例えば、判定モデルＭ１１や補完モデルＭ２１）を取得してもよい。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
〔９．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、生成部は、生成手段や生成回路に読み替えることができる。
１ 情報処理システム
１００ 端末装置
１１０ 通信部
１２０ 記憶部
１２１ ユーザ情報記憶部
１２２ 発話情報記憶部
１２３ モデル情報記憶部
１２４ 判定学習データ記憶部
１２５ 補完学習データ記憶部
１３０ 入力部
１４０ 出力部
１５０ 検知部
１６０ 制御部
１６１ 取得部
１６２ 判定部
１６３ 生成部
１６４ 出力制御部
１６５ 学習部

Claims (25)

  1. ユーザによる発話を検知すると、前記ユーザによる発話に関する発話情報と、発話の欠損の有無の判定に用いる判定モデルとを取得し、前記発話情報に欠損部分があると判定された場合に、前記発話情報と、発話の欠損の補完に用いる補完モデルとを取得する取得手順と、
    前記取得手順により取得された前記発話情報と前記判定モデルとに基づいて、前記発話情報の欠損部分の有無を判定する判定手順と、
    前記取得手順により取得された前記発話情報と前記補完モデルとに基づいて、前記発話情報の欠損部分を補完する補完情報を生成する生成手順と、
    前記発話情報に基づいて、前記判定モデルと、前記補完モデルとを学習する学習手順と、
    をコンピュータに実行させ、
    前記取得手順は、
    発話の先頭の子音や末尾の子音が欠損した場合であっても、発話の欠損の有無を判定し、発話の欠損を補完できるようにするため、発話がローマ字変換された文字情報を前記発話情報として取得し、
    前記学習手順は、
    ローマ字情報である前記発話情報に基づいて、ローマ字情報である発話の欠損の有無を判定する前記判定モデルと、ローマ字情報である発話の欠損を補完する前記補完モデルとを学習する
    ことを特徴とする情報処理プログラム。
  2. 前記判定手順は、
    ローマ字情報である発話の欠損の有無を判定する前記判定モデルに基づいて、発話の先頭の子音や末尾の子音が欠損した場合であっても、発話の欠損の有無を判定する
    ことを特徴とする請求項１に記載の情報処理プログラム。
  3. 前記生成手順は、
    ローマ字情報である発話の欠損を補完する前記補完モデルに基づいて、発話の先頭の子音や末尾の子音が欠損した場合であっても、発話の欠損を補完する前記補完情報を生成する
    ことを特徴とする請求項１または請求項２に記載の情報処理プログラム。
  4. 前記取得手順は、
    前記発話が音声文字変換された所定の音声記号である前記発話情報を取得し、
    前記学習手順は、
    音声記号である前記発話情報に基づいて、音声記号である発話の欠損の有無を判定する前記判定モデルと、音声記号である発話の欠損を補完する前記補完モデルとを学習する
    ことを特徴とする請求項１～３のいずれか１項に記載の情報処理プログラム。
  5. 前記取得手順は、
    前記発話が漢字仮名交じり文字に変換された漢字仮名交じり文字情報である前記発話情報を取得し、
    前記学習手順は、
    漢字仮名交じり文字情報である前記発話情報に基づいて、漢字仮名交じり文字情報である発話の欠損の有無を判定する前記判定モデルと、漢字仮名交じり文字情報である発話の欠損を補完する前記補完モデルとを学習する
    ことを特徴とする請求項１～４のいずれか１項に記載の情報処理プログラム。
  6. 前記取得手順は、
    前記発話情報を入力とし、入力された前記発話情報に前記欠損部分がある場合、前記補完情報を出力する前記補完モデルを取得し、
    前記生成手順は、
    前記発話情報を前記補完モデルに入力することにより前記補完情報を生成する
    ことを特徴とする請求項１～５のいずれか１項に記載の情報処理プログラム。
  7. 前記取得手順は、
    前記発話情報を入力とし、入力された前記発話情報に前記欠損部分がある場合、前記発話情報と前記補完情報とからなる補完後発話情報を出力する前記補完モデルを取得し、
    前記生成手順は、
    前記発話情報を前記補完モデルに入力することにより前記補完後発話情報を生成する
    ことを特徴とする請求項１～５のいずれか１項に記載の情報処理プログラム。
  8. 前記取得手順は、
    前記欠損部分がある欠損発話情報と、前記欠損発話情報に対応する前記欠損部分がない正解発話情報との組合せに基づいて、学習された前記補完モデルを取得する
    ことを特徴とする請求項６または請求項７に記載の情報処理プログラム。
  9. 前記学習手順は、
    前記欠損発話情報と前記正解発話情報との前記組合せを含む学習データに基づいて前記補完モデルを学習し、
    前記取得手順は、
    前記学習手順により学習された前記補完モデルを取得する
    ことを特徴とする請求項８に記載の情報処理プログラム。
  10. 前記学習手順は、
    過去の発話履歴の前記欠損発話情報と前記正解発話情報との前記組合せを含む前記学習データに基づいて、前記補完モデルを学習する
    ことを特徴とする請求項９に記載の情報処理プログラム。
  11. 前記学習手順は、
    前記欠損部分が無い完全発話情報と、当該完全発話情報である前記正解発話情報との組合せを含む前記学習データに基づいて、前記補完モデルを学習する
    ことを特徴とする請求項９または請求項１０に記載の情報処理プログラム。
  12. 前記取得手順は、
    前記発話情報を入力とし、入力された前記発話情報に前記欠損部分がある可能性を示すスコアを出力する前記判定モデルを取得し、
    前記判定手順は、
    前記発話情報を前記判定モデルに入力することにより前記判定モデルが出力するスコアに基づいて、前記欠損部分の有無を判定する
    ことを特徴とする請求項１～１１のいずれか１項に記載の情報処理プログラム。
  13. 前記判定手順は、
    前記判定モデルが出力する前記スコアと所定の閾値との比較に基づいて、前記欠損部分の有無を判定する
    ことを特徴とする請求項１２に記載の情報処理プログラム。
  14. 前記取得手順は、
    複数の発話情報の各々と、前記複数の発話情報の各々の欠損部分の有無を示す正解ラベルの各々との組合せに基づいて、学習された前記判定モデルを取得する
    ことを特徴とする請求項１２または請求項１３に記載の情報処理プログラム。
  15. 前記複数の発話情報の各々と前記正解ラベルの各々との前記組合せである学習データに基づいて、前記判定モデルを学習する学習手順、
    をさらに実行し、
    前記取得手順は、前記学習手順により学習された前記判定モデルを取得する
    ことを特徴とする請求項１４に記載の情報処理プログラム。
  16. 前記学習手順は、
    過去の発話履歴の前記複数の発話情報の各々と、前記正解ラベルの各々との前記組合せである前記学習データに基づいて、前記判定モデルを学習する
    ことを特徴とする請求項１５に記載の情報処理プログラム。
  17. 前記学習手順は、
    前記発話情報と、前記発話情報の欠損部分の有無を示す正解ラベルとの組合せである学習データに基づいて前記判定モデルを学習して、前記発話情報を入力とし、入力された前記発話情報に欠損部分がある可能性を示すスコアを出力する前記判定モデルを生成する
    ことを特徴とする請求項１～１６のいずれか１項に記載の情報処理プログラム。
  18. 前記判定モデルは、前記発話情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された前記発話情報に応じて、前記発話情報に欠損部分がある可能性を示すスコアを出力層から出力する
    ことを特徴とする請求項１７に記載の情報処理プログラム。
  19. 前記判定モデルは、前記発話情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された前記発話情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、前記発話情報に欠損部分がある可能性を示すスコアを出力層から出力する
    ことを特徴とする請求項１７に記載の情報処理プログラム。
  20. 前記学習手順は、
    前記発話情報に関して、欠損部分がある欠損発話情報と、前記欠損発話情報に対応する欠損部分がない正解発話情報との組合せを含む学習データに基づいて前記補完モデルを学習して、前記発話情報を入力とし、入力された前記発話情報に欠損部分がある場合、前記発話情報と前記補完情報とからなる補完後発話情報を出力する前記補完モデルを生成する
    ことを特徴とする請求項１７～１９のいずれか１項に記載の情報処理プログラム。
  21. 前記補完モデルは、前記発話情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された前記発話情報に応じて、補完後前記発話情報を出力層から出力する
    ことを特徴とする請求項２０に記載の情報処理プログラム。
  22. 前記補完モデルは、前記発話情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された前記発話情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、補完後前記発話情報を出力層から出力する
    ことを特徴とする請求項２０に記載の情報処理プログラム。
  23. 前記判定モデル及び前記補完モデルは、回帰モデルで実現される
    ことを特徴とする請求項１～２２のいずれか１項に記載の情報処理プログラム。
  24. ユーザによる発話を検知すると、ユーザによる発話に関する発話情報と、発話の欠損の有無の判定に用いる判定モデルとを取得し、前記発話情報に欠損部分があると判定された場合に、前記発話情報と、発話の欠損の補完に用いる補完モデルとを取得する取得部と、
    前記取得部により取得された前記発話情報と前記判定モデルとに基づいて、前記発話情報の欠損部分の有無を判定する判定部と、
    前記取得部により取得された前記発話情報と前記補完モデルとに基づいて、前記発話情報の欠損部分を補完する補完情報を生成する生成部と、
    前記発話情報に基づいて、前記判定モデルと、前記補完モデルとを学習する学習部と、
    を備え、
    前記取得部は、
    発話の先頭の子音や末尾の子音が欠損した場合であっても、発話の欠損の有無を判定し、発話の欠損を補完できるようにするため、発話がローマ字変換された文字情報を前記発話情報として取得し、
    前記学習部は、
    ローマ字情報である前記発話情報に基づいて、ローマ字情報である発話の欠損の有無を判定する前記判定モデルと、ローマ字情報である発話の欠損を補完する前記補完モデルとを学習する
    ことを特徴とする情報処理装置。
  25. コンピュータが実行する判定方法であって、
    ユーザによる発話を検知すると、ユーザによる発話に関する発話情報と、発話の欠損の有無の判定に用いる判定モデルとを取得し、前記発話情報に欠損部分があると判定された場合に、前記発話情報と、発話の欠損の補完に用いる補完モデルとを取得する取得工程と、
    前記取得工程により取得された前記発話情報と前記判定モデルとに基づいて、前記発話情報の欠損部分の有無を判定する判定工程と、
    前記取得工程により取得された前記発話情報と前記補完モデルとに基づいて、前記発話情報の欠損部分を補完する補完情報を生成する生成工程と、
    前記発話情報に基づいて、前記判定モデルと、前記補完モデルとを学習する学習工程と、
    を含み、
    前記取得工程は、
    発話の先頭の子音や末尾の子音が欠損した場合であっても、発話の欠損の有無を判定し、発話の欠損を補完できるようにするため、発話がローマ字変換された文字情報を前記発話情報として取得し、
    前記学習工程は、
    ローマ字情報である前記発話情報に基づいて、ローマ字情報である発話の欠損の有無を判定する前記判定モデルと、ローマ字情報である発話の欠損を補完する前記補完モデルとを学習する
    ことを特徴とする情報処理方法。
JP2019094410A 2019-05-20 2019-05-20 情報処理プログラム、情報処理装置及び情報処理方法 Active JP7092708B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019094410A JP7092708B2 (ja) 2019-05-20 2019-05-20 情報処理プログラム、情報処理装置及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019094410A JP7092708B2 (ja) 2019-05-20 2019-05-20 情報処理プログラム、情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2020190589A JP2020190589A (ja) 2020-11-26
JP7092708B2 true JP7092708B2 (ja) 2022-06-28

Family

ID=73454476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019094410A Active JP7092708B2 (ja) 2019-05-20 2019-05-20 情報処理プログラム、情報処理装置及び情報処理方法

Country Status (1)

Country Link
JP (1) JP7092708B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251147A (ja) 2005-03-09 2006-09-21 Canon Inc 音声認識方法
JP2009109585A (ja) 2007-10-26 2009-05-21 Panasonic Electric Works Co Ltd 音声認識制御装置
JP2010128766A (ja) 2008-11-27 2010-06-10 Canon Inc 情報処理装置、情報処理方法、プログラム及び記憶媒体
JP2010256498A (ja) 2009-04-22 2010-11-11 Nec Corp 変換モデル生成装置、音声認識結果変換システム、方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02183300A (ja) * 1989-01-10 1990-07-17 Hitachi Ltd 音声認識装置
JP3126945B2 (ja) * 1997-10-30 2001-01-22 株式会社エイ・ティ・アール音声翻訳通信研究所 文字誤り校正装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251147A (ja) 2005-03-09 2006-09-21 Canon Inc 音声認識方法
JP2009109585A (ja) 2007-10-26 2009-05-21 Panasonic Electric Works Co Ltd 音声認識制御装置
JP2010128766A (ja) 2008-11-27 2010-06-10 Canon Inc 情報処理装置、情報処理方法、プログラム及び記憶媒体
JP2010256498A (ja) 2009-04-22 2010-11-11 Nec Corp 変換モデル生成装置、音声認識結果変換システム、方法およびプログラム

Also Published As

Publication number Publication date
JP2020190589A (ja) 2020-11-26

Similar Documents

Publication Publication Date Title
EP3770905B1 (en) Speech recognition method, apparatus and device, and storage medium
AU2019200746B2 (en) Method to generate summaries tuned to topics of interest of readers
US11423883B2 (en) Contextual biasing for speech recognition
US10534854B2 (en) Generating a targeted summary of textual content tuned to a target audience vocabulary
US11189273B2 (en) Hands free always on near field wakeword solution
US8930187B2 (en) Methods, apparatuses and computer program products for implementing automatic speech recognition and sentiment detection on a device
EP3605537A1 (en) Speech emotion detection method and apparatus, computer device, and storage medium
US20230089285A1 (en) Natural language understanding
US11574637B1 (en) Spoken language understanding models
CN112005299B (zh) 理解自然语言短语的多模型
US9595261B2 (en) Pattern recognition device, pattern recognition method, and computer program product
JP6370962B1 (ja) 生成装置、生成方法および生成プログラム
US11756549B2 (en) Systems and methods for enabling topic-based verbal interaction with a virtual assistant
US11984126B2 (en) Device for recognizing speech input of user and operating method thereof
JP2012113542A (ja) 感情推定装置、その方法、プログラム及びその記録媒体
JP2020077159A (ja) 対話システム、対話装置、対話方法、及びプログラム
US10366442B1 (en) Systems and methods to update shopping cart
JP6392950B1 (ja) 検出装置、検出方法、および検出プログラム
JP2018156418A (ja) 修正装置、修正方法および修正プログラム
JP2018005122A (ja) 検出装置、検出方法及び検出プログラム
KR20220089537A (ko) 전자 장치 및 이의 제어 방법
US11741945B1 (en) Adaptive virtual assistant attributes
JP6605997B2 (ja) 学習装置、学習方法及びプログラム
JP7092708B2 (ja) 情報処理プログラム、情報処理装置及び情報処理方法
JP6546070B2 (ja) 音響モデル学習装置、音声認識装置、音響モデル学習方法、音声認識方法、およびプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191101

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220616

R150 Certificate of patent or registration of utility model

Ref document number: 7092708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350