JP4156639B2 - 音声インターフェースの設計を支援するための装置、方法、プログラム - Google Patents

音声インターフェースの設計を支援するための装置、方法、プログラム Download PDF

Info

Publication number
JP4156639B2
JP4156639B2 JP2006221322A JP2006221322A JP4156639B2 JP 4156639 B2 JP4156639 B2 JP 4156639B2 JP 2006221322 A JP2006221322 A JP 2006221322A JP 2006221322 A JP2006221322 A JP 2006221322A JP 4156639 B2 JP4156639 B2 JP 4156639B2
Authority
JP
Japan
Prior art keywords
sets
similarity
perplexity
voice control
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006221322A
Other languages
English (en)
Other versions
JP2008046318A (ja
Inventor
岳人 倉田
雅史 西村
治 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2006221322A priority Critical patent/JP4156639B2/ja
Priority to US11/773,256 priority patent/US7747443B2/en
Publication of JP2008046318A publication Critical patent/JP2008046318A/ja
Priority to US12/184,182 priority patent/US7729921B2/en
Application granted granted Critical
Publication of JP4156639B2 publication Critical patent/JP4156639B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/183Speech classification or search using natural language modelling using context dependencies, e.g. language models

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)

Description

本発明は、一般的には、音声認識技術に関する。より詳細には、本発明は、音声インターフェースを設計するためのシステム、方法、プログラムに関する。
音声認識技術を利用した音声インターフェースによるシステム制御が広く普及している。例えば、最近では、運転中のドライバーによるハンズフリー操作を可能とするために、ナビゲーション・システム、車載エアコン、車載オーディオのような車載システムは音声インターフェースを備えていることが多い。そこで、より優れた音声インターフェースによるシステム制御を実現するために様々な音声認識技術が各方面で研究されている。
特開2001−312297号公報は、認識された音声コマンドに基づいて機器のコントローラへ指示を与える制御部と、制御部からの指示に基づき音声出力部から各種情報に関する音声を出力する音声合成部を備え、特別コマンドが認識された場合に機器の操作方法を説明するための対話的にガイダンス処理を行う音声認識装置を開示する。
特開2000−267694号公報は、階層構造を有する音声コマンド群であって、各階層に最終的な機器動作指令のための最終音声コマンドと、機器動作のためには下層に存在する最終的音声コマンドを選択することが必要な中間指令のための中間音声コマンドとを含む音声コマンド群とを有し、該音声コマンド群の各階層には、入力された音声コマンドを取り消す音声コマンド又は音声認識処理を終了させる音声コマンドを備える音声認識装置を開示する。
特開2001−63489号公報は、操作指示をキャンセルする戻り指示がなされた時、キャンセルされた操作指示により画面切り替えを行ったか調べ、行っている場合には、それ以前に画面切り替えをした最新の操作指示を求め、画面を表示するよう指示し、画面遷移履歴を参照し、キャンセルされた操作指示が実行される前の画面を表示する車載用機器の集中管理システムを開示する。
特開平11−311522号公報は、上下左方向に選択領域が位置し、右方向に合成領域が位置するときに、右方向が操作指示されると、機能「その他」、「VICS」、「FM多重」の3つの分離領域を生成しかつ近傍に分散表示し、選択領域を一定距離だけ移動して表示する車載機器の操作装置を開示する。
特開平11−334483号公報は、運転上必要な機能を有する前座席搭乗者用フロント制御ユニットと、エンターテインメント的な機能を有する後座席搭乗者用リア制御ユニットを設けることによって機能分散をした車載機器制御システムを開示する。
特開平11−119792号公報は、類似タイプコマンドが認識されたとき、現在の走行条件を基に、コマンド実行の許可または禁止が決定され、禁止の場合、言換コマンドを使った再発声を促すトークバックが行われ、許可の場合、次の機会から言換コマンドを使うことを促すトークバックが行われる、類似タイプコマンドが入力されたときに好適な対応ができる音声認識機能付きの機器制御装置を開示する。
特開2001−312297号公報 特開2000−267694号公報 特開2001−63489号公報 特開平11−311522号公報 特開平11−334483号公報 特開平11−119792号公報 「確率的言語モデル」、北研二、東京大学出版会、1999年11月25日、p.34−37、60−62 Stephen C. North、"Drawing graphs with NEATO"、 April 10, 2002、[online]、「平成18年8月8日検索」、インターネット<URL:http://www.graphviz.org/Documentation/neatoguide.pdf>
様々なシステムの音声インターフェースが広く普及するのに伴って、より利便性の高い音声インターフェースに対する要求が高まっている。例えば、ユーザのより自由な発話に対して音声認識を行った上で、ユーザの意図を判断してシステム制御を行う要求が高まっている。
しかし、ある音声制御に関してより自由な音声入力が許された場合、その音声入力自体の音声認識やユーザ意図の把握が困難となる場合があり得る。また、音声ユーザインターフェースを備えるシステムは複数の種類の音声制御を扱うことが多いので、システムの使用者による発話が、複数の種類の音声制御のいずれに対するものなのかを区別することが困難となることもあり得る。
かかる困難を回避する音声インターフェースの設計を行う必要が理解される。しかし、現在の音声インターフェースの設計における考慮は、長年の経験に基づいて、試行錯誤によってなされており、高度な専門知識を有する設計者の多大な時間を必要としている。
本発明の1つの目的は、複数の種類の音声制御を受ける音声インターフェースの設計を支援するための装置、プログラム、および方法を提供することである。
本発明の他の目的は、別々の属性に関連付けられた発話サンプルの集合の間の類似度を提示するための装置、プログラム、および方法を提供することである。
上記の目的を達成するために、複数の種類の音声制御を受ける音声インターフェースの設計を支援するための装置が提供される。装置は、複数の種類の音声制御のうちのいずれかと関連付けられた発話サンプルを記録するデータベースと、第1の音声制御に関連付けられた発話サンプルの第1の集合と、第2の音声制御に関連付けられた発話サンプルの第2の集合の間の類似度を計算する類似度計算部と、第1の集合と第2の集合の間の類似度を表示する表示部を備える。表示部は、類似度が表現されるように複数の種類の音声制御のそれぞれに対応する点をプロットしたグラフを表示することが好ましい。
また、所定の複数の属性のうちのいずれかと関連付けられた発話サンプルを記録するデータベースと、第1の属性に関連付けられた発話サンプルの第1の集合と、第2の属性に関連付けられた発話サンプルの第2の集合の間の類似度を計算する類似度計算部と、第1の集合と第2の集合の間の類似度を表示する表示部を備える装置が提供される。
複数の種類の音声制御を受ける音声インターフェースの設計を支援するための装置として本発明の概要を説明したが、本発明は、プログラム、プログラム製品、方法として把握することもできる。プログラム製品は、例えば、前述のソフトウェアを格納した記憶媒体を含め、あるいはソフトウェアを伝送する媒体を含めることができる。
さらに、顧客のシステムの音声インターフェースの設計を支援するための方法が提供される。方法は、顧客が設計するシステムに対する複数の種類の音声制御のうちのいずれかと関連付けられた発話サンプルを記録するデータベースにアクセス可能なコンピュータにおいて実施される。方法は、第1の音声制御に関連付けられた発話サンプルの第1集合と、第2の音声制御のうちのに関連付けられた発話サンプルの第2の集合の間の類似度を計算するステップと、第1の集合と第2の集合の間の類似度を表示するステップと、表示された類似度の分析結果の入力を受け、分析結果の電子的レポートを生成するステップを含む。
上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの構成要素のコンビネーションまたはサブコンビネーションもまた、発明となり得ることに留意すべきである。
以下、本発明を実施するための最良の形態を図面に基づいて詳細に説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
また、本発明は多くの異なる態様で実施することが可能であり、実施の形態の記載内容に限定して解釈されるべきものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らないことに留意されたい。実施の形態の説明の全体を通じて同じ要素には同じ番号を付している。
本発明の実施形態においては、音声インターフェースを備えるシステム、具体的には、車載エアコンの製造販売を業とする企業の製品設計担当者(以下、「顧客」という)が、音声インターフェースの設計について十分な専門知識を有する技術コンサルタント(以下、「コンサルタント」という)に開発中の車載エアコンの音声インターフェースについて専門的な助言を受けるというシナリオを用いて説明を行うものとする。
図1は、本発明の実施形態における車載エアコンの設計を行うためのネットワーク・システム100のハイレベルの概要図である。
ネットワーク・システム100は、車載エアコンを設計する顧客が操作する設計装置130(以下、単に「設計装置130」という)、およびコンサルタントが操作する顧客の音声インターフェースの設計を支援するための装置110(以下、単に「支援装置110」という)を含む。
本発明の実施形態においては、設計装置130および支援装置110は、ネットワーク120を介して、相互に通信をすることができる。一例として、ネットワーク120は、よく知られたインターネットとして実現することができる。インターネットは、TCP/IPを用いてコンピュータの間を接続する。
図2は、本発明の実施の形態の支援装置110の機能ブロック図である。なお、図2の機能ブロック図に示す各要素は、図8に例示したハードウェア構成を有する情報処理装置において、ハードディスク装置13などに格納されたオペレーティング・システムや音声認識アプリケーションなどのコンピュータ・プログラムをメインメモリ4にロードした上でCPU1に読み込ませ、ハードウェア資源とソフトウェアを協働させることによって実現することができる。
支援装置110は、音声入力部205および発話サンプル・データベース210を備える。音声入力部205は、マイクロフォンによって採取されたアナログ音声を発話サンプルに変換する機能を有する。本発明の実施形態においては、発話サンプルは、音声認識技術を使用してアナログ音声をテキスト化したテキスト・データであるものとする。また、音声入力部205は、発話サンプルを、所定の複数の属性、より具体的には、顧客が設計する車載エアコンの複数の種類の音声制御(以下、単に「複数の種類の音声制御」という)のうちのいずれかと関連付けて発話サンプル・データベース210に記憶する機能を有する。よって、本発明の実施形態の発話サンプル・データベース210には、複数の種類の音声制御のうちのいずれかと関連付けられた発話サンプルが記憶されることとなる。
支援装置110は、単語ベクトル計算部215および類似度計算部220をさらに備える。単語ベクトル計算部215は、複数の種類の音声制御それぞれに関して、その音声制御に関連付けられた発話サンプルの集合(以下、単に「集合」という)における単語の出現頻度に基づいて単語ベクトルを生成することができる。かかる単語ベクトルの生成の詳細については、後述する。
類似度計算部220は、単語ベクトル計算部215が生成した単語ベクトルに基づいて、具体的には任意の2つの音声制御の単語ベクトルの余弦を計算することによって、その任意の2つの音声制御に対応する集合の間の類似度を計算する機能を有する。
支援装置110は、サンプル分割部225、言語モデル作成部230、およびパープレキシティ計算部235をさらに備える。サンプル分割部220は、言語モデルを作成するための学習データおよびパープレキシティを計算するためのテスト・データを決定するために、それぞれの音声制御に対する発話サンプルの集合を所定の割合で分割する。本発明の実施形態では、言語モデルを生成しパープレキシティを計算するにあたって、学習データとテスト・データの比を9:1として交差検定が実行されるものとする。そこで、サンプル分割部220は、音声制御ごとの発話サンプルの集合に含まれるサンプルを10分割するものとする。
言語モデル生成部240は、学習データである発話サンプルから言語モデルを生成する。パープレキシティ計算部235は、言語モデル生成部240によって生成された言語モデルを使用して、テスト・データである発話サンプルから、言語的な側面からの音声認識の困難の程度を表現する指標であるパープレキシティ(perplexity)を計算する機能を有する。
なお、パープレキシティは、具体的には、情報理論的な意味での単語の平均分岐数を表現するものであり、パープレキシティの値が大きい(すなわち、単語の平均分岐数が多い)ほど、単語を特定が困難であり、言語として複雑であることから、音声認識も困難となるという分析をすることができる。言語モデル生成部240およびパープレキシティ計算部235が実施する言語モデルおよびパープレキシティの計算の詳細については、後述する。
支援装置110は、グラフ生成部240、グラフ記憶部245、およびグラフ表示部250をさらに備える。グラフ生成部240は、類似度計算部220およびパープレキシティ計算部235によって計算された車載エアコンの複数の種類の音声制御についての類似度およびパープレキシティを表現するグラフを生成する機能を有する。かかるグラフの生成の詳細については、後述する。
グラフ記憶部245は、グラフ生成部240によって生成されたグラフのデータを記憶する機能を有する。グラフ表示部250は、グラフ記憶部245に記憶されたグラフ・データを表示することによって、支援装置110を操作するコンサルタントに音声インターフェースを設計するのに有用な情報を提示することができる。
支援装置110は、レポート作成部255、および送受信部260をさらに備える。レポート作成部255は、グラフ表示部250に表示されたグラフを参照して音声入力インターフェースに関する分析を行ったコンサルタントからの入力に従って、分析結果のレポートを電子的に生成する機能を有する。本発明の実施形態においては、レポート作成部255は、グラフ記憶部245に記憶されたグラフ・データにアクセスし、電子的レポートにグラフを含めることができるものとする。送受信部260は、作成された電子的レポートを、ネットワーク120を通じて顧客が操作する設計装置130に送信する機能を有する。
図3および図4は、本発明の実施形態におけるネットワーク・システム100の動作を表現するフローチャート300、400である。処理は、ステップ305でスタートし、ステップ310において、コンサルタントは、顧客が設計している車載エアコンの音声インターフェース等の仕様を受領する。本発明の実施形態においては、コンサルタントは、車載エアコンの音声インターフェースは、以下の12種類の音声制御に関して音声入力を受けることができるように設計されるという仕様を受領したものとする。
1.PowerOn:電源を入れる
2.PowerOff:電源を切る
3.Auto:オートエアコンにする
4.TempUp:室内温度を上げる
5.TempDown:室内温度を下げる
6.TempValue:特定の室内温度を設定する
7.Floor:風向きを足元方向にする
8.Dash:風向きを上方向にする
9.FloorWindow:風向きを足元方向および窓方向にする
10.DashFloor:風向きを足元方向および上方向にする
11.FanSpeedUp:風量を上げる
12.FanSpeedDown:風量を下げる
次に、ステップ315において、コンサルタントは、ステップ310において受領した仕様に応じて、複数の種類の音声制御それぞれについて多数の発話サンプルを収集するサービスを実行する。具体的には、例えば、コンサルタントは、多数の人々に協力を要請し、上記の12種類の音声制御を操作するための発話を自由にさせ、その音声を支援装置110の音声入力部205に音声認識をさせることによって、かかるサービスを実現することができる。また、本発明の実施形態においては、コンサルタントは、支援装置110のキーボードを操作してテキストを直接入力すること、またはアナログ音声を耳で聞いてテキスト化することによって、テキスト・データである発話サンプルを生成することもできる。かかるサービス実行の結果、それぞれの音声制御に関する数多くの発話サンプルが収集される。
処理はステップ320へ進み、コンサルタントは、ステップ315において収集した多数の発話サンプルを対応する音声制御と関連付けて発話サンプル・データベース210に格納する。
処理はステップ325に進み、サンプル分割部225は、発話サンプル・データベース210に記憶された数多くの発話サンプルの音声制御ごとの集合を所定の割合で分割する。既に述べたように、本発明の実施形態では、パープレキシティを計算するにあたって、学習データとテスト・データの比を9:1として、交差検定が実行される。そこで、本発明の実施形態のステップ325では、サンプル分割部225は、音声制御ごとの発話サンプルの集合に含まれるサンプルを10分割するものとする。
処理ステップ330へ進み、言語モデル生成部340は、ステップ325で10分割された発話サンプルのうち9つを学習データとし、当該学習データに含まれる発話サンプルから言語モデルを生成する。
本発明の実施形態では、言語モデルは、よく知られた単語N−gramモデルであるものとする。単語N−gramモデルは、[数1]を用いて、生起確率Pを求めることによって計算することができる。なお、[数1]においては、nは学習データに含まれる単語の種類の数を、w は学習データにおける単語列w‥wを、C(w )は単語列w が、学習データに出現する回数をそれぞれ意味するものとする。
Figure 0004156639
ここで、単語N−gramモデルは、N=1の場合は「ユニグラム(unigram)」と、N=2の場合は「バイグラム(bigram)」と、N=3の場合は「トライグラム(trigram)」と称される。本発明を実施するためには、「バイグラム」および「トライグラム」を含むいずれの言語モデルをも採用することができるが、本発明の実施形態では、「ユニグラム」を採用するものとする。なお、本発明の実施形態においては、生起確率の値は、[数1]におけるPの対数、すなわち(log P)として計算されることに留意されたい。
さらに処理はステップ335へ進み、パープレキシティ計算部235は、ステップ330において学習データとされなかった発話サンプルをテスト・データとして、ステップ330において言語モデル生成部240によって生成された言語モデルを使用して、テスト・データに含まれる発話サンプルからパープレキシティを計算する。
具体的には、本発明の実施形態においては、かかるパープレキシティの計算に、[数2]が使用される。なお、[数2]においては、Lはテスト・データを、nはテスト・データLに含まれる単語の種類の数を、w は、テスト・データLにおける単語列w‥wを、PPはパープレキシティをそれぞれ意味する。
Figure 0004156639
処理はステップ340に進み、ステップ325において分割した発話サンプルについて交差検定が完了したかどうかが判定される。ステップ340において交差検定が完了していないと判定された場合、処理はステップ340からNOの矢印を介してステップ330に戻り、交差検定が完了するまでステップ330、335が繰り返されることとなる。
ステップ340において交差検定が完了したと判定された場合、処理はステップ340からYESの矢印を介してステップ345に進む。ステップ345においては、繰り返されたステップ335のそれぞれの繰り返しにおいて計算されたパープレキシティの平均値を求め、その値をその音声制御のパープレキシティとする。ステップ345においてその音声制御のパープレキシティを計算した後、処理はステップ350に進む。
ステップ350において、複数の種類の音声制御のすべてについてパープレキシティの計算が完了したかどうかが判定される。ステップ350において、複数の種類の音声制御のすべてについてパープレキシティの計算が完了していないと判定された場合、処理はステップ350からNOの矢印を介してステップ325に戻り、複数の種類の音声制御のすべてについてパープレキシティの計算が完了するまでステップ325〜345が繰り返される。
ステップ350において複数の種類の音声制御のすべてについてパープレキシティの計算が完了したと判定された場合、パープレキシティの計算を終了し、次に類似度を求めるために処理はステップ350からYESの矢印方向に進み、(A)経由で図4に示すフローチャート400のステップ405に進む。なお、図5は、本発明の実施形態における車載エアコンの12種類の音声制御それぞれのパープレキシティの一例である。
処理はステップ405に進み、単語ベクトル生成部215は、音声制御と関連付けられた発話サンプルの集合に出現する単語の出現頻度に基づいて、長さを1とする正規化された当該集合の単語ベクトルを計算する。具体的には、かかる単語ベクトルは、集合に含まれる単語の種類をn、単語wの出現頻度をC(w)とした場合に、集合に含まれるすべての単語wに対応する単語ベクトルの要素vを[数3]を用いて計算することによって生成することができる。なお、例えば、[数3]においては、それぞれの単語に対して重要度に従って重み付けを行うことも可能であり、かかるバリエーションを当業者は適宜なし得ることに留意されたい。
Figure 0004156639
ステップ405において単語ベクトルを生成した後、処理はステップ410に進み、複数の種類の音声制御すべてについて単語ベクトルの生成が完了しているかどうかが判定される。ステップ410において単語ベクトルの生成が完了していないと判定された場合、処理はステップ410からNOの矢印を介してステップ405に戻り、複数の種類の音声制御のすべてについて単語ベクトルの生成が完了するまでステップ405が繰り返すものとする。
ステップ410において、単語ベクトルの生成が完了したと判定された場合、処理はステップ410からYESの矢印を介してステップ415に進む。
ステップ415においては、類似度計算部220は、複数の種類の音声制御から2つの音声制御の組合せを選択し、当該2つの音声制御それぞれに関連付けられた発話サンプルの集合の間の類似度を計算することをすべての組合せについて行う。かかる類似度は、組合せを構成する2つの音声制御に対応する単語ベクトルの余弦を計算することによって求めることができる。
図6は、本発明の実施形態における車載エアコンの12種類の音声制御のうち風向きの音声制御(“Floor”、“Dash”、“FloorWindow”、“DashFloor”)について、類似度計算部220が生成した類似度の一例である。なお、図6の類似度の一例は、12種類の音声制御の組合せすべてについて記載をすると組合せ数が非常に大きくなるので、説明の簡単のため、4種類の風向きの音声制御の組合せについてのみ記載したものであることに留意されたい。
処理はステップ420に進み、グラフ生成部240は、ステップ350において計算した音声制御のパープレキシティとステップ415で計算した類似度が表現されるようにグラフを生成する。ステップ420においては、グラフ記憶部245は、グラフ生成部240より生成されたグラフ・データを記憶し、グラフ表示部250は、当該グラフ・データに基づいてグラフを表示する。
具体的には、本発明の実施形態においては、グラフ生成部240は、ある音声制御に対応する集合と他の音声制御に対応する集合の類似度をばね係数とし、よく知られたばねモデルを使用することによって、複数の種類の音声制御それぞれに対応する点を2次元平面状にプロットし、さらにそれぞれのプロットされた点にパープレキシティを半径とする円を描画することによって、グラフを生成するものとする。図7は、本発明の実施形態における車載エアコンの12種類の音声制御について、グラフ生成部240が生成したグラフの一例である。
ステップ425においては、コンサルタントは、ステップ460において表示したグラフを分析する。かかる分析としては、例えば、ある音声制御に対応するグラフ上の点を中心とする円の半径が大きいことが観測された場合、その音声制御に対する発話のばらつきが大きいということが言える。そのようなグラフを観測したコンサルタントは、その音声制御について、正確な音声認識が不可能あるいは大量の計算資源を消費する可能性が高いと分析することができる。したがって、このよう場合、例えば、(1)より正確な単語予測が可能となるように、その音声制御に関するサンプルをさらに収集すること、あるいは(2)その音声制御に対する発話を統一できるように、発話すべき単語や番号などを車載エアコンに付することなどを提案することができる。
ステップ425においては、例えば、以下のような分析を行うことも考えられる。すなわち、複数の種類の音声制御を表す円同士の重なりが大きい場合、それらの音声制御に対する発話の傾向が相互に類似し、これらの音声制御は音声により明確に区別して操作することが難しく、ユーザの意図どおりの音声制御が起動されない可能性があると分析することができる。このような場合、コンサルタントは、これらの音声制御に対してユーザの意図をより正確に抽出するために対話などの適切な音声制御を追加することを提案することができる。また、例えば、一部の使用頻度の低い音声制御を、能動的に音声認識の対象から外すことによって重なりを少なくすることができるかということを検討することもできる。
以上を踏まえ、例えば、図7のグラフを観測したコンサルタントは、例えば以下のような対応を取ることができる。すなわち、図7のグラフによれば、4種類の風向きの音声制御(“Floor”、“Dash”、“FloorWindow”、“DashFloor”)については、それぞれの音声制御に対応するグラフ上の円の半径が大きく、かつ円同士の重なりも大きい。コンサルタントは、これらの音声制御に対するユーザの表現が多岐にわたり、また、それらが相互に類似していると解釈することができ、顧客に対して、例えば(1)〜(5)のような助言、提案をすることができる。
(1)現在の4種類の風向きの音声制御については、ユーザが正しく区別して音声表現することが困難であるので、風向きの音声制御を再定義することが好ましい。
(2)現在の4種類の風向きの音声制御のそれぞれは、ユーザによる発話の表現が多岐にわたると予想されるので、音声認識の精度を十分なものとするためにはより多くのサンプルの収集が必要である。
(3)現在の4種類の風向き制御の採用を一部やめれば、他の風向きの音声制御を生かすことができる。例えば、”FloorWindow”と”DashFloor”をやめれば、“Floor”、“Dash”を生かすことができる。
(4)現在の4種類の風向きの音声制御を、例えば、「風向きの制御」という1種類に集約すると良好な音声制御を実現することができる。
(5)そして、「風向きの制御」モードに入ったあとに、どのように変更するか対話を通じて決定するようにするとよい。
処理はステップ430に進み、レポート作成部255は、ステップ425において分析を行ったコンサルタントの分析結果に入力に基づいて、電子的な分析結果のレポートを生成する。ステップ430においては、レポート生成部255は、グラフ記憶部245に記憶されたグラフ・データを電子的レポートに含めることが好ましい。処理はステップ435に進み、送受信部360は、ネットワーク130を介して、ステップ430で生成した電子的レポートを顧客のコンピュータ120へ送信したあと、処理はステップ440へ進み、終了する。
以上、本発明の実施形態によれば、複数の種類の音声制御を備える音声インターフェースを備えるシステム、例えば、車載エアコンの設計を実現する装置、ソフトウェア、および方法を提供することが実現される。従って、設計装置を操作して音声インターフェースを備えるシステムを設計する設計者の生産性や設計の品質を高めることができることが容易に理解できる。
図8は、本発明の実施の形態による支援装置110を実現するのに好適な情報処理装置のハードウェア構成の一例を示した図である。情報処理装置は、バス2に接続されたCPU(中央処理装置)1とメインメモリ4を含んでいる。ハードディスク装置13、30、およびCD−ROM装置26、29、フレキシブル・ディスク装置20、MO装置28、DVD装置31のようなリムーバブル・ストレージ(記録メディアを交換可能な外部記憶システム)がフロッピーディスクコントローラ19、IDEコントローラ25、SCSIコントローラ27などを経由してバス2へ接続されている。
フレキシブル・ディスク、MO、CD−ROM、DVD−ROMのような記憶メディアが、リムーバブル・ストレージに挿入される。これらの記憶メディアやハードディスク装置13、30、ROM14には、オペレーティング・システムと協働してCPU等に命令を与え、本発明を実施するためのコンピュータ・プログラムのコードを記録することができる。メインメモリ4にロードされることによってコンピュータ・プログラムは実行される。コンピュータ・プログラムは圧縮し、また複数に分割して複数の媒体に記録することもできる。
情報処理装置は、キーボード/マウス・コントローラ5を経由して、キーボード6やマウス7のような入力デバイスからの入力を受ける。情報処理装置は、視覚データをユーザに提示するための表示装置11にDAC/LCDC10を経由して接続される。
情報処理装置は、ネットワーク・アダプタ18(イーサネット(R)・カードやトークンリング・カード)等を介してネットワークに接続し、他のコンピュータ等と通信を行うことが可能である。図示はされていないが、パラレルポートを介してプリンタと接続することや、シリアルポートを介してモデムを接続することも可能である。
以上の説明により、本発明の実施の形態による支援装置110を実現するのに好適な情報処理装置は、通常のパーソナルコンピュータ、ワークステーション、メインフレームなどの情報処理装置、または、これらの組み合わせによって実現されることが容易に理解されるであろう。ただし、これらの構成要素は例示であり、そのすべての構成要素が本発明の必須構成要素となるわけではない。
本発明の実施の形態において使用される情報処理装置の各ハードウェア構成要素を、複数のマシンを組み合わせ、それらに機能を配分し実施する等の種々の変更は当業者によって容易に想定され得ることは勿論である。それらの変更は、当然に本発明の思想に包含される概念である。
本発明の実施の形態の支援装置110は、マイクロソフト・コーポレーションが提供するWindows(R)オペレーティング・システム、アップル・コンピュータ・インコーポレイテッドが提供するMacOS(R)、X Window Systemを備えるUNIX(R)系システム(たとえば、インターナショナル・ビジネス・マシーンズ・コーポレーションが提供するAIX(R))のような、GUI(グラフィカル・ユーザー・インターフェース)マルチウインドウ環境をサポートするオペレーティング・システムを採用する。
以上から、本発明の実施の形態において使用される支援装置110は、特定のマルチウインドウ・オペレーティング・システム環境に限定されるものではないことを理解することができる。
また、本発明は、ハードウェア、ソフトウェア、またはハードウェア及びソフトウェアの組み合わせとして実現可能である。ハードウェアとソフトウェアの組み合わせによる実行において、所定のプログラムを有するデータ処理システムにおける実行が典型的な例として挙げられる。かかる場合、該所定プログラムが該データ処理システムにロードされ実行されることにより、該プログラムは、データ処理システムを制御し、本発明にかかる処理を実行させる。このプログラムは、任意の言語・コード・表記によって表現可能な命令群から構成される。そのような命令群は、システムが特定の機能を直接、または1.他の言語・コード・表記への変換、2.他の媒体への複製、のいずれか一方もしくは双方が行われた後に、実行することを可能にするものである。
もちろん、本発明は、そのようなプログラム自体のみならず、プログラムを記録した媒体もその範囲に含むものである。本発明の機能を実行するためのプログラムは、フレキシブル・ディスク、MO、CD−ROM、DVD、ハードディスク装置、ROM、MRAM、RAM等の任意のコンピュータ読み取り可能な記録媒体に格納することができる。かかるプログラムは、記録媒体への格納のために、通信回線で接続する他のデータ処理システムからダウンロードしたり、他の記録媒体から複製したりすることができる。また、かかるプログラムは、圧縮し、または複数に分割して、単一または複数の記録媒体に格納することもできる。また、様々な形態で、本発明を実施するプログラム製品を提供することも勿論可能であることにも留意されたい。
上記の実施の形態に、種々の変更または改良を加えることが可能であることが当業者に明らかである。そのような変更または改良を加えた形態も当然に本発明の技術的範囲に含まれる。
また、本発明の実施形態では、車載エアコンの音声インターフェースの設計を例として説明をした。しかし、本発明は、例えば、エアコン以外の車載機器、情報家電、コールセンターの音声による電話振り分けシステム、音声入力による情報検索システム、携帯電話や音声認識対応ブラウザなど、複数の種類の音声制御を受けるいかなるシステムの音声インターフェースの設計に適用することができることに留意されたい。
また、本発明の実施の形態では、車載エアコンの12種類の音声制御に関してグラフを生成し、その分析を行うのは、車載エアコンを製造販売する企業の外部のコンサルタントとして説明をしたが、かかる分析を行うのは、その企業の内部の者であってもよいし、あるいは車載エアコンの設計者自身が行ってもよい。すなわち、本発明は、実施の主体に関して限定はないことに留意されたい。
本発明の実施形態おけるネットワーク・システムの概要の一例を示した図である。 本発明の実施形態における支援装置の機能ブロック図である。 本発明の実施形態におけるネットワーク・システムの動作を表現するフローチャートである。 本発明の実施形態におけるネットワーク・システムの動作を表現するフローチャートである。 本発明の実施形態における複数の種類の音声制御のパープレキシティの一例である。 本発明の実施形態における類似度の一例である。 本発明の実施形態におけるグラフのイメージの一例である。 本発明の実施形態おける設計支援装置を実現するのに好適な情報処理装置のハードウェア構成の一例を示した図である。

Claims (16)

  1. 複数の種類の音声制御を受ける音声インターフェースの設計を支援するための装置であって、
    前記複数の種類の音声制御のうちのいずれかと関連付けられたテキスト・データの発話サンプルを記録するデータベースと、
    第1の音声制御に関連付けられた前記発話サンプルの第1の集合と、第2の音声制御に関連付けられた前記発話サンプルの第2の集合との単語ベクトルを、当該第1および第2の集合のそれぞれに含まれる前記発話サンプルにおける単語の出現頻度に基づいて生成する単語ベクトル生成部と、
    前記第1および第2の集合の単語ベクトルに基づいて、前記第1および第2の集合の間の類似度を計算する類似度計算部と、
    前記第1および第2の集合に含まれる前記発話サンプルに基づいて、当該第1および第2の集合に関する言語モデルを生成する言語モデル生成部と、
    前記第1および第2の集合に関する言語モデルを使用して、前記第1および第2の集合に関するパープレキシティを計算するパープレキシティ計算部と、
    前記第1および第2の集合の間の類似度と前記第1および第2の集合に関するパープレキシティとを表示する表示部と、
    を備える、前記装置。
  2. 前記類似度計算部は、前記第1および第2の集合の単語ベクトル間の余弦を計算することによって、前記類似度を計算する、請求項に記載の装置。
  3. 前記パープレキシティ計算部は、前記第1および第2の集合に含まれる前記発話サンプルに基づいて、前記パープレキシティを計算する、請求項に記載の装置。
  4. 前記パープレキシティ計算部は、前記第1および第2の集合に関する言語モデルの生成において使用されなかった前記第1および第2の集合に含まれる前記発話サンプルに基づいて、前記パープレキシティを計算する、請求項に記載の装置。
  5. 前記表示部は、前記類似度が表現されるように前記複数の種類の音声制御のそれぞれに対応する点をプロットしたグラフを表示する、請求項1に記載の装置。
  6. 前記表示部は、ばねモデルを使用して、前記グラフ上に前記複数の種類の音声制御のそれぞれに対応する点をプロットする、請求項に記載の装置。
  7. 前記表示部は、前記点を中心とし、当該点に対応する前記音声制御のパープレキシティの大きさを半径とする円を描画する、請求項に記載の装置。
  8. アナログ音声を受け、受けたアナログ音声から前記発話サンプルを生成する音声入力部をさらに備える、請求項1に記載の装置。
  9. 所定の複数の属性のうちのいずれかと関連付けられたテキスト・データの発話サンプルを記録するデータベースと、
    第1の属性に関連付けられた前記発話サンプルの第1の集合と、第2の属性に関連付けられた前記発話サンプルの第2の集合との単語ベクトルを、当該第1および第2の集合のそれぞれに含まれる前記発話サンプルにおける単語の出現頻度に基づいて生成する単語ベクトル生成部と、
    前記第1および第2の集合の単語ベクトルに基づいて、前記第1および第2の集合の間の類似度を計算する類似度計算部と、
    前記第1および第2の集合に含まれる前記発話サンプルに基づいて、当該第1および第2の集合に関する言語モデルを生成する言語モデル生成部と、
    前記第1および第2の集合に関する言語モデルを使用して、前記第1および第2の集合に関するパープレキシティを計算するパープレキシティ計算部と、
    前記第1および第2の集合の間の類似度と前記第1および第2の集合に関するパープレキシティとを表示する表示部と、
    を備える、前記装置。
  10. 所定の複数の属性のうちのいずれかと関連付けられたテキスト・データの発話サンプルを記録するデータベースにアクセス可能なコンピュータに、
    第1の属性に関連付けられた前記発話サンプルの第1の集合と、第2の属性に関連付けられた前記発話サンプルの第2の集合との単語ベクトルを、当該第1および第2の集合のそれぞれに含まれる前記発話サンプルにおける単語の出現頻度に基づいて生成するステップと、
    前記第1および第2の集合の単語ベクトルに基づいて、前記第1および第2の集合の間の類似度を計算するステップと、
    前記第1および第2の集合に含まれる前記発話サンプルに基づいて、当該第1および第2の集合に関する言語モデルを生成するステップと、
    前記第1および第2の集合に関する言語モデルを使用して、前記第1および第2の集合に関するパープレキシティを計算するステップと、
    前記第1および第2の集合の間の類似度と前記第1および第2の集合に関するパープレキシティとを表示するステップと、
    を実行させる、プログラム。
  11. 所定の複数の属性のうちのいずれかと関連付けられたテキスト・データの発話サンプルを記録するデータベースにアクセス可能なコンピュータにおける方法であって、
    第1の属性に関連付けられた前記発話サンプルの第1の集合と、第2の属性に関連付けられた前記発話サンプルの第2の集合との単語ベクトルを、当該第1および第2の集合のそれぞれに含まれる前記発話サンプルにおける単語の出現頻度に基づいて生成するステップと、
    前記第1および第2の集合の単語ベクトルに基づいて、前記第1および第2の集合の間の類似度を計算するステップと、
    前記第1および第2の集合に含まれる前記発話サンプルに基づいて、当該第1および第2の集合に関する言語モデルを生成するステップと、
    前記第1および第2の集合に関する言語モデルを使用して、前記第1および第2の集合に関するパープレキシティを計算するステップと、
    前記第1および第2の集合の間の類似度と前記第1および第2の集合に関するパープレキシティとを表示するステップと、
    を含む、方法。
  12. 顧客が設計するシステムに対する複数の種類の音声制御のうちのいずれかと関連付けられたテキスト・データの発話サンプルを記録するデータベースにアクセス可能なコンピュータにおいて、顧客の前記システムの音声インターフェースの設計を支援するための方法であって、
    第1の音声制御に関連付けられた前記発話サンプルの第1集合と、第2の音声制御に関連付けられた前記発話サンプルの第2の集合との単語ベクトルを、当該第1および第2の集合のそれぞれに含まれる前記発話サンプルにおける単語の出現頻度に基づいて生成するステップと、
    前記第1および第2の集合の単語ベクトルに基づいて、前記第1および第2の集合の間の類似度を計算するステップと、
    前記第1および第2の集合に含まれる前記発話サンプルに基づいて、当該第1および第2の集合に関する言語モデルを生成するステップと、
    前記第1および第2の集合に関する言語モデルを使用して、前記第1および第2の集合に関するパープレキシティを計算するステップと、
    前記第1および第2の集合の間の類似度と前記第1および第2の集合に関するパープレキシティとを表示するステップと、
    前記表示された類似度およびパープレキシティの分析結果の入力を受け、分析結果の電子的レポートを生成するステップと、
    を含む、前記方法。
  13. 前記コンピュータが接続されたネットワークを通じて、前記分析結果の電子的レポートを顧客のコンピュータに送信するステップをさらに含む、請求項1に記載の方法。
  14. 前記類似度を表示するステップは、前記類似度が表現されるように前記複数の種類の音声制御のそれぞれに対応する点がプロットされ、前記点を中心とし、当該点に対応する前記音声制御のパープレキシティの大きさを半径とする円が描画されたグラフを表示するステップを含む、請求項1に記載の方法。
  15. 前記電子的レポートを生成するステップは、前記電子的レポートに前記グラフのイメージを含めるステップを含む、請求項1に記載の方法。
  16. 前記複数の種類の音声制御に関する前記発話サンプルを採取するステップと、
    採取された前記発話サンプルを前記複数の種類の音声制御のうちの1つと関連付けて前記データベースに記録するステップと、
    をさらに含む、請求項1に記載の方法。
JP2006221322A 2006-08-14 2006-08-14 音声インターフェースの設計を支援するための装置、方法、プログラム Expired - Fee Related JP4156639B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006221322A JP4156639B2 (ja) 2006-08-14 2006-08-14 音声インターフェースの設計を支援するための装置、方法、プログラム
US11/773,256 US7747443B2 (en) 2006-08-14 2007-07-03 Apparatus, method, and program for supporting speech interface design
US12/184,182 US7729921B2 (en) 2006-08-14 2008-07-31 Apparatus, method, and program for supporting speech interface design

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006221322A JP4156639B2 (ja) 2006-08-14 2006-08-14 音声インターフェースの設計を支援するための装置、方法、プログラム

Publications (2)

Publication Number Publication Date
JP2008046318A JP2008046318A (ja) 2008-02-28
JP4156639B2 true JP4156639B2 (ja) 2008-09-24

Family

ID=39051924

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006221322A Expired - Fee Related JP4156639B2 (ja) 2006-08-14 2006-08-14 音声インターフェースの設計を支援するための装置、方法、プログラム

Country Status (2)

Country Link
US (2) US7747443B2 (ja)
JP (1) JP4156639B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008114811A1 (ja) * 2007-03-19 2008-09-25 Nec Corporation 情報検索システム、情報検索方法及び情報検索用プログラム
JP5440177B2 (ja) * 2007-12-21 2014-03-12 日本電気株式会社 単語カテゴリ推定装置、単語カテゴリ推定方法、音声認識装置、音声認識方法、プログラム、および記録媒体
CN103322652A (zh) * 2013-07-05 2013-09-25 无锡商业职业技术学院 一种空调控制器
GB2544070B (en) 2015-11-04 2021-12-29 The Chancellor Masters And Scholars Of The Univ Of Cambridge Speech processing system and method
KR102441067B1 (ko) * 2017-10-12 2022-09-06 현대자동차주식회사 차량의 사용자 입력 처리 장치 및 사용자 입력 처리 방법
US11170774B2 (en) * 2019-05-21 2021-11-09 Qualcomm Incorproated Virtual assistant device
KR102271068B1 (ko) 2019-05-29 2021-06-30 주식회사 카카오 입력 발화의 의도를 추정하는 모델의 학습을 제어하는 방법 및 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59154500A (ja) 1983-02-21 1984-09-03 松下電器産業株式会社 音声認識装置
JPS62206595A (ja) 1986-03-07 1987-09-11 沖電気工業株式会社 音声標準パタン作成方法
US5619709A (en) * 1993-09-20 1997-04-08 Hnc, Inc. System and method of context vector generation and retrieval
JP3114468B2 (ja) 1993-11-25 2000-12-04 松下電器産業株式会社 音声認識方法
JPH11119792A (ja) 1997-10-20 1999-04-30 Toyota Motor Corp 音声認識機能付き機器制御装置および音声認識装置
JP3460575B2 (ja) 1998-04-27 2003-10-27 トヨタ自動車株式会社 車載機器の操作装置
JP3889510B2 (ja) 1998-05-21 2007-03-07 アルパイン株式会社 車載機器制御システム
US6374217B1 (en) * 1999-03-12 2002-04-16 Apple Computer, Inc. Fast update implementation for efficient latent semantic language modeling
JP2000267694A (ja) 1999-03-18 2000-09-29 Kojima Press Co Ltd 音声認識装置
US20020032564A1 (en) * 2000-04-19 2002-03-14 Farzad Ehsani Phrase-based dialogue modeling with particular application to creating a recognition grammar for a voice-controlled user interface
US6904405B2 (en) * 1999-07-17 2005-06-07 Edwin A. Suominen Message recognition using shared language model
JP3839623B2 (ja) 1999-08-30 2006-11-01 アルパイン株式会社 車載機器の集中管理システム
US7275029B1 (en) * 1999-11-05 2007-09-25 Microsoft Corporation System and method for joint optimization of language model performance and size
JP3779519B2 (ja) 2000-03-07 2006-05-31 株式会社山武 データ領域の解析方法及び表現方法
US7219056B2 (en) * 2000-04-20 2007-05-15 International Business Machines Corporation Determining and using acoustic confusability, acoustic perplexity and synthetic acoustic word error rate
JP2001312297A (ja) 2000-04-28 2001-11-09 Nippon Seiki Co Ltd 音声認識装置
US7774196B2 (en) * 2003-10-01 2010-08-10 Dictaphone Corporation System and method for modifying a language model and post-processor information
JP2005234236A (ja) 2004-02-19 2005-09-02 Canon Inc 音声認識装置、音声認識方法、記憶媒体およびプログラム
CN100530171C (zh) * 2005-01-31 2009-08-19 日电(中国)有限公司 字典学习方法和字典学习装置

Also Published As

Publication number Publication date
JP2008046318A (ja) 2008-02-28
US7729921B2 (en) 2010-06-01
US20080306742A1 (en) 2008-12-11
US7747443B2 (en) 2010-06-29
US20080040119A1 (en) 2008-02-14

Similar Documents

Publication Publication Date Title
JP4156639B2 (ja) 音声インターフェースの設計を支援するための装置、方法、プログラム
CN105283914B (zh) 用于识别语音的系统和方法
EP2956931B1 (en) Facilitating development of a spoken natural language interface
EP3091535B1 (en) Multi-modal input on an electronic device
JP4412504B2 (ja) 音声認識装置、音声認識方法、及び音声認識用プログラム
US9263037B2 (en) Interactive manual, system and method for vehicles and other complex equipment
JP2011503638A (ja) カーナビゲーションシステムのための自由会話命令分類の改良
US20080177541A1 (en) Voice recognition device, voice recognition method, and voice recognition program
JP7213943B2 (ja) 車載機器の音声処理方法、装置、機器及び記憶媒体
US20130253929A1 (en) Mobile systems and methods of supporting natural language human-machine interactions
CN104704556A (zh) 使用分类器将音频话语映射至动作
WO2008113063A1 (en) Speech-centric multimodal user interface design in mobile technology
CN106782607A (zh) 确定热词适合度
JP2004310748A (ja) ユーザ入力に基づくデータの提示
Neustein Advances in speech recognition: mobile environments, call centers and clinics
US20200219487A1 (en) Information processing apparatus and information processing method
JP6391887B2 (ja) 応答生成装置、対話制御システムおよび応答生成方法
JP2005321730A (ja) 対話システム、対話システム実行方法、及びコンピュータプログラム
CN110503947B (zh) 对话系统、包括其的车辆和对话处理方法
KR20200098079A (ko) 대화 시스템 및 대화 처리 방법
US20190295532A1 (en) Remote Generation of Executable Code for a Client Application Based on Natural Language Commands Captured at a Client Device
CN115689603A (zh) 用户反馈信息收集方法、装置及用户反馈系统
Seltzer et al. In-car media search
Pittermann et al. Design and implementation of adaptive dialogue strategies for speech-based interfaces
Porta et al. New business to business interaction: Shake your iphone and speak to it

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080125

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20080131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080304

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20080225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080701

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080709

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4156639

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

S202 Request for registration of non-exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R315201

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees