JP5638210B2

JP5638210B2 - 携帯電子機器

Info

Publication number: JP5638210B2
Application number: JP2009197272A
Authority: JP
Inventors: 水野　慎也; 慎也水野
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2009-08-27
Filing date: 2009-08-27
Publication date: 2014-12-10
Anticipated expiration: 2029-08-27
Also published as: JP2011049885A

Description

本発明は、音声認識機能を有する携帯電子機器に関する。

従来、音声認識機能を有する携帯電子機器では、音声認識辞書が予め用意されている。音声認識辞書には、例えば、機能名、電話番号、アドレス帳の人名、メールフォルダ名等のカテゴリ毎に読み仮名データが格納されている。ここで、例えば、機能名称とユーザ名称とが重複している場合には、カテゴリが決定されていなければ音声認識の結果がいずれの名称を示しているのかを判別することができない。したがって、このカテゴリが決定された状態で、音声認識結果である読み仮名に対応する処理が実行されることとなる。

このカテゴリを決定する方法としては、例えば、音声認識を開始する操作（ボタン）を区別することが考えられる。また、予めカテゴリを音声認識させた上で用語を認識させる方法も行われている。これらの方法では、カテゴリ内の各処理を実行させるために２工程を要するため、１文での音声入力に対応して、自動的にカテゴリを決定し各処理が実行されることが望まれている。

そこで、例えば、自然言語解析の技術を用いて、文中の単語の概念を導出する方法が提案されている（例えば、特許文献１）。

特開平８−６９４７０号公報

しかしながら、特許文献１のように処理負荷の大きい方法では、処理精度は向上するものの、携帯電子機器のメモリ容量や処理時間が増大し、音声認識機能における利用者の利便性を損ねる場合があった。

本発明は、音声認識された用語に基づく処理を、正確かつ容易に実行することができる携帯電子機器を提供することを目的とする。

本発明に係る携帯電子機器は、音声が入力される音声入力部と、複数のアプリケーションを選択的に起動し、指示入力に基づく処理を行う制御部と、前記音声入力部に音声が入力されると、当該音声を認識し、認識結果に含まれる第１の単語に対応する処理の実行を前記制御部に指示する音声認識処理部と、を備え、前記音声認識処理部は、前記第１の単語の前後の少なくともいずれかに位置する第２の単語のカテゴリを判別して、当該カテゴリにより前記複数のアプリケーションの中から起動するべきアプリケーションを特定するアプリケーション特定処理を行い、当該特定されたアプリケーションに対して、前記第１の単語に対応する処理の実行を指示することを特徴とする。

また、本発明に係る携帯電子機器は、前記第１の単語のカテゴリと前記第２の単語のカテゴリとの組合せのルールを記憶する記憶部を備え、前記音声認識処理部は、前記アプリケーション特定処理において、入力音声の認識結果と前記ルールとを比較し、当該ルールにおける前記第２の単語のカテゴリに対応するアプリケーションを特定することが好ましい。

また、前記記憶部は、前記音声認識処理部による音声認識に基づくアプリケーションの起動履歴データをさらに記憶し、前記音声認識処理部は、前記第２の単語に基づいて前記アプリケーション特定処理を行えなかった場合に、前記起動履歴データに基づいて前記起動すべきアプリケーションを特定することが好ましい。

また、前記記憶部は、少なくとも、通信相手のアドレスと当該通信相手の登録名とが対応付けられたアドレス帳と、アプリケーションと当該アプリケーションの名称とが対応付けられたアプリケーション辞書と、をカテゴリにより区別して記憶し、前記音声認識処理部は、前記第１の単語のカテゴリを決定することにより、当該第１の単語に対応する処理が、前記アドレス帳における通信相手の選択または前記アプリケーションの起動のいずれであるかを判定することが好ましい。

また、本発明に係る携帯電子機器は、前記音声認識処理部の前記アプリケーション特定処理にて特定されたアプリケーションを起動候補として表示し、起動すべきアプリケーションの決定入力を受け付ける受付部をさらに備えることが好ましい。

また、前記音声認識処理部は、前記複数のアプリケーションが起動されていない状態で音声入力が生じた場合には、前記アプリケーション特定処理を行い、前記複数のアプリケーションのいずれかが起動されている状態で音声入力が生じた場合には、当該起動されているアプリケーションに対して、前記第１の単語に対応する処理の実行を指示することが好ましい。

また、前記音声認識処理部は、前記起動されているアプリケーションが画面表示のスクロールを伴うアプリケーションであって、かつ前記第１の単語が当該スクロールの方向指示である場合、所定回数または連続した方向指示入力として前記制御部に指示することが好ましい。

本発明によれば、音声認識された用語に基づく処理を、正確かつ容易に実行することができる。

本発明の実施形態に係る携帯電話機の外観斜視図である。本発明の実施形態に係る携帯電話機の機能を示すブロック図である。本発明の実施形態に係るカテゴリ抽出処理の流れを示すフローチャートである。本発明の実施形態に係る音声認識辞書の例を示す図である。本発明の実施形態に係るカテゴリ選定処理の流れを示すフローチャートである。本発明の実施形態に係る抽出ルールの例を示す図である。本発明の実施形態に係る調整処理の流れを示すフローチャートである。

以下、本発明の好適な実施形態の一例について説明する。なお、本実施形態では、携帯電子機器の一例として、携帯電話機１を説明する。なお、本発明の携帯電子機器はこれには限られず、例えば、ＰＨＳ、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、ゲーム機、ナビゲーション装置やパーソナルコンピュータ等、様々な携帯電子機器に適用可能である。

図１は、本実施形態に係る携帯電話機１（携帯電子機器）の外観斜視図である。なお、図１は、いわゆる折り畳み型の携帯電話機の形態を示しているが、本発明に係る携帯電話機の形態はこれに限られない。例えば、両筐体を重ね合わせた状態から一方の筐体を一方向にスライドさせるようにしたスライド式や、重ね合せ方向に沿う軸線を中心に一方の筐体を回転させるようにした回転式（ターンタイプ）や、操作部と表示部とが１つの筐体に配置され、連結部を有さない形式（ストレートタイプ）でもよい。

携帯電話機１は、操作部側筐体２と、表示部側筐体３と、を備えて構成される。操作部側筐体２は、表面部１０に、操作部１１と、携帯電話機１の使用者が通話時や音声認識アプリケーションを利用時に発した音声が入力されるマイク１２と、を備えて構成される。操作部１１は、各種設定機能や電話帳機能やメール機能等の各種機能を作動させるための機能設定操作ボタン１３と、電話番号の数字やメールの文字等を入力するための入力操作ボタン１４と、各種操作における決定やスクロール等を行う決定操作ボタン１５と、から構成されている。

また、表示部側筐体３は、表面部２０に、各種情報を表示するための表示部２１と、通話の相手側の音声を出力するレシーバ２２と、を備えて構成されている。

また、操作部側筐体２の上端部と表示部側筐体３の下端部とは、ヒンジ機構４を介して連結されている。また、携帯電話機１は、ヒンジ機構４を介して連結された操作部側筐体２と表示部側筐体３とを相対的に回転することにより、操作部側筐体２と表示部側筐体３とが互いに開いた状態（開放状態）にしたり、操作部側筐体２と表示部側筐体３とを折り畳んだ状態（折畳み状態）にしたりできる。

図２は、本実施形態に係る携帯電話機１の機能を示すブロック図である。携帯電話機１は、操作部１１と、表示部２１と、制御部３０（受付部）と、音声認識処理部４０と、記憶部５０と、通信部６０と、音声部７０（音声入力部）と、を備える。さらに、音声認識処理部４０は、カテゴリ抽出部４１と、カテゴリ選定部４２と、調整部４３と、を備える。また、記憶部５０は、認識履歴ＤＢ（データベース）５１と、認識辞書ＤＢ５２と、抽出ルールＤＢ５３と、調整値ＤＢ５４と、を備える。

制御部３０は、携帯電話機１の全体を制御しており、携帯電話機１が有する複数のアプリケーションを選択的に起動し、指示入力に基づく処理を行う。制御部３０は、例えば、表示部２１、音声認識処理部４０、通信部６０等に対して所定の制御を行う。また、制御部３０は、操作部１１や音声部７０等から入力を受け付けて、各種処理を実行する。そして、制御部３０は、処理実行の際には、記憶部５０を制御し、各種プログラムおよびデータの読み出し、およびデータの書き込みを行う。

より具体的には、制御部３０は、記憶部５０に記憶されている音声認識に関連するデータにアクセスし、必要なデータを音声認識処理部４０へ提供する。また、制御部３０は、音声認識処理部４０による音声認識結果の履歴を更新すると共に、この音声認識結果に応じて、アプリケーションの起動を含む各種処理を実行する。

音声認識処理部４０は、制御部３０からの指令に基づいて、入力音声に対する音声認識処理を実行し、この音声認識結果に応じた処理の実行を制御部３０に指示する。この音声認識処理部４０は、カテゴリ抽出部４１と、カテゴリ選定部４２と、調整部４３と、を備える。

カテゴリ抽出部４１は、音声認識結果に含まれる第１の単語と、この第１の単語の前後に位置する単語（第２の単語）のそれぞれについて、後述の認識辞書ＤＢ５２を参照してカテゴリ（例えば、機能名、電話番号、アドレス帳の人名、メールフォルダ名等）を抽出する。

カテゴリ選定部４２は、カテゴリ抽出部４１により抽出されたカテゴリの組合せを、後述の抽出ルールＤＢ５３と照合し、抽出ルールに適合する第１の単語のカテゴリを選定する。すなわち、カテゴリ選定部４２は、第１の単語のカテゴリが複数抽出された場合に、第２の単語のカテゴリとの組合せに基づいて、抽出ルールに適合したカテゴリに絞り込む。これにより、音声認識処理部４０は、起動するべきアプリケーションを特定し、特定されたアプリケーションにおいて、第１の単語に対応する処理の実行を制御部３０に指示することができる。

調整部４３は、音声認識結果と、起動しているアプリケーションとの関係から、後述の調整値ＤＢ５４を参照して、動作の調整を行う。具体的には、例えば、メールやブラウザ等の表示スクロール動作の場合、調整部４３は、画面サイズやフォントサイズに関連して予め設定されている連続動作回数を調整値ＤＢ５４から取得し、１回の音声入力を所定回数のキー操作と同等の動作に調整する。

記憶部５０は、本実施形態に係る各種プログラムを記憶し、制御部３０または音声認識処理部４０による演算処理に利用される。さらに、記憶部５０は、認識履歴ＤＢ５１と、認識辞書ＤＢ５２と、抽出ルールＤＢ５３と、調整値ＤＢ５４と、を備える。

認識履歴ＤＢ５１は、音声認識処理部４０により音声認識された結果の履歴データを記憶する。具体的には、入力音声に対して音声認識された単語と共に、カテゴリ選定部４２により選定されたカテゴリや、このカテゴリに対応して起動されたアプリケーションの履歴を記憶する。

このことにより、音声認識処理部４０は、起動すべきアプリケーションが１つに特定できなかった場合に、この認識履歴ＤＢ５１を参照し、アプリケーションの起動履歴データに基づいて、起動すべきアプリケーションを特定することができる。

認識辞書ＤＢ５２は、入力音声の認識結果と照合される単語をカテゴリと共に記憶する。具体的には、例えば、通話やメールの通信相手のアドレスとこの通信相手の登録名およびその読み仮名とが対応付けられたアドレス帳や、アプリケーションとこのアプリケーションの名称（機能名）およびその読み仮名とが対応付けられたアプリケーション辞書等をカテゴリ（アドレス帳の人名、機能名等）により区別して記憶する。

抽出ルールＤＢ５３は、音声認識により抽出された第１の単語と、この第１の単語の前後に位置する第２の単語と、のそれぞれのカテゴリの組合せルールを記憶する。すなわち、カテゴリ選定部４２により、この組合せルールに適合するカテゴリが第１の単語のカテゴリとして選定される。

調整値ＤＢ５４は、音声認識された単語に対して実行されるアプリケーションの動作に関する調整値を記憶する。具体的には、例えば、メールやブラウザ等の表示スクロール動作の場合、画面サイズやフォントサイズに関連して予め設定されている連続動作回数を記憶する。

通信部６０は、所定の使用周波数帯（例えば、２ＧＨｚ帯や８００ＭＨｚ帯等）で外部装置（基地局）と通信を行う。通信部６０は、アンテナより受信した信号を復調処理し、処理後の信号を制御部３０に供給する。また、制御部３０から供給された信号を変調処理し、アンテナを介して外部装置に送信する。

音声部７０は、制御部３０の制御に従って、通信部６０から供給された信号に対して所定の音声処理を行い、処理後の信号をレシーバ２２に出力する。レシーバ２２は、音声部７０から供給された信号を外部に出力する。なお、この信号は、レシーバ２２に代えて、または、レシーバ２２と共に、スピーカ（図示せず）から出力されるとしてもよい。また、音声部７０は、制御部３０の制御に従って、マイク１２から入力された信号を処理し、処理後の信号を通信部６０に出力する。通信部６０は、音声部７０から供給された信号に所定の処理を行い、処理後の信号をアンテナから出力する。

さらに、本実施形態に係る音声認識処理では、音声部７０は、マイク１２から入力されて信号処理した入力音声データを制御部３０に供給する。そして、制御部３０は、この入力音声データに基づく音声認識処理を音声認識処理部４０へ指示する。

図３は、起動すべきアプリケーションを特定するアプリケーション特定処理における、特に本実施形態に係る音声認識処理部４０により実行されるカテゴリ抽出処理の流れを示すフローチャートである。具体的には、「メールさんにメールを書く」という音声が入力された場合を例として説明する。

ステップＳ１では、音声認識処理部４０は、重複用語があるか否か、すなわち音声認識の結果に含まれる第１の単語に複数のカテゴリが対応付けられているか否かを判定する。音声認識処理部４０は、この判定がＹＥＳの場合は処理をステップＳ２に移し、判定がＮＯの場合は処理を終了する。具体的には、上記の例では、「メール」が２つの意味で用いられており、カテゴリが重複している。

ここで、認識辞書ＤＢ５２に記憶されている音声認識辞書の例を図４に示す。
この例では、カテゴリ１「アドレス帳」、カテゴリ２「メールフォルダ」、カテゴリ３「機能」、カテゴリ４「敬称」の区分と関連付けて、複数の単語の読み仮名が１つの音声認識辞書に登録されている。カテゴリが重複していない単語の場合は、この１つのカテゴリに対応するアプリケーションが特定されて処理が行われる。一方、カテゴリが重複する場合には、この認識辞書からはアプリケーションが特定されない。

ステップＳ２では、カテゴリ抽出部４１は、ステップＳ１で発見された重複用語のカテゴリを抽出する。具体的には、「メール」に対して、アドレス帳の登録名のうちの特に「人名」と、アプリケーション辞書の「機能」とが抽出される。

ステップＳ３では、音声認識処理部は、重複用語の前後に位置する単語を抽出する。具体的には、最初の「メール」に対しては「さんに」を、次の「メール」に対しては「を書く」を抽出する。

ステップＳ４では、カテゴリ抽出部４１は、ステップＳ３で抽出された前後の単語のカテゴリを抽出する。この例では、「さんに」は敬称カテゴリ、「を書く」は動作カテゴリとなる。

ステップＳ５では、カテゴリ選定部４２は、後述（図４）のカテゴリ選定処理を実行し、重複するカテゴリから所定の組合せルールに適合するカテゴリを選定する。

図５は、本実施形態に係る音声認識処理部４０により実行されるカテゴリ選定処理の流れを示すフローチャートである。本処理は、カテゴリ抽出処理（図３）のステップＳ５に相当する。

ステップＳ１１では、カテゴリ選定部４２は、カテゴリ抽出処理（図３）において抽出されたカテゴリに関する抽出ルールを、抽出ルールＤＢ５３から読み出す。

ここで、抽出ルールＤＢ５３に記憶されている抽出ルールの例を図６に示す。
この例では、発話内容（単語）とそのカテゴリ、および後に続く単語のカテゴリ（後カテゴリ）の組合せとして許可された組合せが登録されている。例えば、アドレス帳の人名カテゴリに敬称カテゴリは続くが、機能カテゴリに敬称カテゴリは続かない。また、人名カテゴリに動作カテゴリは続かないが、機能カテゴリに動作カテゴリは続く。

なお、図６では、説明のため許可されていない組合せについても示したが、抽出ルールの記憶方式はこれには限られない。例えば、許可されている組合せのみを記憶し、記憶されていない組合せは許可されていないとみなしてもよい。

ステップＳ１２では、カテゴリ選定部４２は、カテゴリ抽出処理（図３）により抽出されたカテゴリの組合せが、ステップＳ１１で抽出された抽出ルールに適合しているか否かを判定する。カテゴリ選定部４２は、この判定がＹＥＳの場合は処理をステップＳ１３に移し、判定がＮＯの場合は処理を終了する。

ステップＳ１３では、カテゴリ選定部４２は、抽出されたカテゴリが抽出ルールに適合しているので、この適合するカテゴリを、音声認識の結果として決定する。

なお、制御部３０は、音声認識処理部４０により決定されたカテゴリ、または、このカテゴリに対応するアプリケーションを起動候補として表示し、起動すべきアプリケーションの決定入力を操作部１１または音声部７０を介して受け付けることとしてよい。また、カテゴリが決定されなかった場合にも同様に、重複していた複数のカテゴリ、または、このカテゴリに対応するアプリケーションを起動候補として表示し、決定入力を受け付けることとしてもよい。

図７は、本実施形態に係る音声認識処理部４０により実行される調整処理の流れを示すフローチャートである。本処理は、所定のアプリケーションが既に起動されており、このアプリケーションの動作を指示する音声が入力された場合の処理である。

ステップＳ２１では、調整部４３は、起動中のアプリケーションの情報を取得する。これにより、調整部４３は、入力音声が本調整処理の対象となっているアプリケーションに対する入力であるのか否かを判定することができる。

ステップＳ２２では、調整部４３は、音声認識された単語別の調整データを抽出する。調整データは、例えば、ブラウザが起動されている場合、スクロール動作を指示する「上」や「下」等の音声入力に対して、操作部１１によるスクロール指示の複数回分や連続指示を対応付けている。調整量（例えば、動作回数）は、適宜設定可能であり、スクロール動作の例では、画面サイズやフォントサイズ等に応じた調整量がそれぞれ設定される。

ステップＳ２３では、調整部４３は、ステップＳ２２で抽出された調整データに基づいて、アプリケーションにおける動作の調整処理を行う。すなわち、制御部に対して調整量の指示を行い、制御部３０は、この指示に基づいてアプリケーションの動作を制御する。

以上のように、本実施形態によれば、抽出ルールに適合するカテゴリを自動的に選定するので、複数のカテゴリに重複した同一の用語を区別し、起動すべきアプリケーションを容易に特定することができる。

なお、音声認識処理部４０は、音声認識処理が実行される際に、待受け画面を表示するためのアプリケーションを除き、音声認識に関わるアプリケーションや、その他のアプリケーションが起動されていない場合（待受け画面の場合）には、本実施形態のアプリケーション特定処理により起動するべきアプリケーションを特定する。一方、音声認識に関わるアプリケーションが起動されている場合には、音声認識処理部４０は、この起動されているアプリケーションにおいて、認識された第１の単語に対応する処理の実行を指示する。

本実施形態によれば、カテゴリの組合せからなる抽出ルールを設けたことにより、自然言語の意味解析等の複雑な処理を実施することなく、文や文節の入力音声に対する音声認識処理を実現できる。これにより、処理時間やメモリ使用量を低減することができるので、処理能力が低く抑えられた携帯電子機器に有用である。さらに、携帯電子機器に特化した抽出ルールのみを作成しておくことにより、対象パターン数を低減し、より処理効率を向上させることができる。

また、アプリケーションの起動の有無により、アプリケーションの特定の要否を判断できるので、音声認識処理の複雑さを軽減することができる。さらに、アプリケーションの情報を取得することにより適宜動作を調整できるので、ユーザの発話回数を削減し、利便性を向上させることができる。

１携帯電話機（携帯電子機器）
１１操作部
３０制御部
４０音声認識処理部
４１カテゴリ抽出部
４２カテゴリ選定部
４３調整部
５０記憶部
５１認識履歴ＤＢ
５２認識辞書ＤＢ
５３抽出ルールＤＢ
５４調整値ＤＢ
６０通信部
７０音声部（音声入力部）

Claims

音声が入力される音声入力部と、
複数のアプリケーションを選択的に起動し、指示入力に基づく処理を行う制御部と、
前記音声入力部に音声が入力されると、当該音声を認識する音声認識処理部と、
少なくとも、通信相手のアドレスと当該通信相手の登録名とが対応付けられたアドレス帳と、アプリケーションと当該アプリケーションの名称とが対応付けられたアプリケーション辞書と、をカテゴリにより区別して記憶する辞書記憶部と、を備え、
前記音声認識処理部の認識結果には、第１の単語と、当該第１の単語の前後の少なくともいずれかに位置する第２の単語とが含まれ、
前記音声認識処理部は、前記第１の単語のカテゴリを決定することにより、当該第１の単語に対応する処理が、前記アドレス帳における通信相手の選択または前記アプリケーションの起動のいずれであるかを判定し、
前記音声認識処理部は、前記複数のアプリケーションの中から前記第２の単語のカテゴリに対応するアプリケーションを特定するアプリケーション特定処理を行い、当該特定されたアプリケーションに対して、前記第１の単語に対応する処理の実行を指示することを特徴とする携帯電子機器。
前記第１の単語のカテゴリは、前記第２の単語のカテゴリと異なる、請求項１に記載の携帯電子機器。
前記第１の単語のカテゴリと前記第２の単語のカテゴリとの組合せのルールを記憶するルール記憶部を備え、
前記音声認識処理部は、前記アプリケーション特定処理において、入力音声の認識結果と前記ルールとを比較し、当該ルールにおける前記第２の単語のカテゴリに対応するアプリケーションを特定することを特徴とする請求項１または２に記載の携帯電子機器。
前記音声認識処理部による音声認識に基づくアプリケーションの起動履歴データを記憶する履歴記憶部を備え、
前記音声認識処理部は、前記第２の単語に基づいて前記アプリケーション特定処理を行えなかった場合に、前記起動履歴データに基づいて前記起動すべきアプリケーションを特定することを特徴とする請求項１から３のいずれか１項に記載の携帯電子機器。
前記音声認識処理部の前記アプリケーション特定処理にて特定されたアプリケーションを起動候補として表示し、起動すべきアプリケーションの決定入力を受け付ける受付部をさらに備える請求項１から４のいずれか１項に記載の携帯電子機器。
前記音声認識処理部は、前記複数のアプリケーションが起動されていない状態で音声入力が生じた場合には、前記アプリケーション特定処理を行い、前記複数のアプリケーションのいずれかが起動されている状態で音声入力が生じた場合には、当該起動されているアプリケーションに対して、前記第１の単語に対応する処理の実行を指示することを特徴とする請求項１から５のいずれか１項に記載の携帯電子機器。
前記音声認識処理部は、前記起動されているアプリケーションが画面表示のスクロールを伴うアプリケーションであって、かつ前記第１の単語が当該スクロールの方向指示である場合、所定回数または連続した方向指示入力として前記制御部に指示することを特徴とする請求項６に記載の携帯電子機器。