JP6064736B2 - 情報記憶装置および情報記憶プログラム - Google Patents

Description

本発明は、ユーザが発声した文字データを記憶可能な情報記憶装置および情報記憶プログラムに関する。

ユーザの頭部に装着され、ユーザが視認可能に画像を表示できる画像表示装置において、ユーザが発する音声に基づいて、装置を制御することができる画像表示装置が知られている（例えば特許文献１参照）。特許文献１の画像表示装置は、ユーザがマイクロフォン（以下、「マイク」と略す。）を介して入力した音声を認識し、認識結果が事前に登録されたキーワードに一致するとき、画像表示部に表示する画像の切り換え等を指示する指示信号を出力する。特許文献１の画像表示装置はプレゼンテーションでの使用を意図したものであるが、ユーザの発声内容に基づく文字データを議事録として保存したいという要望がある。

ユーザの発声した音声を認識し、文字データに変換して保存することができる情報記憶装置が知られている。ユーザは、特許文献１の画像表示装置を使用しながら情報記憶装置を用いて文字データを保存すれば、ユーザの発声内容に基づく文字データを議事録として保存することが可能である。

特開２００２−１６５１５６号公報

しかしながら、情報記憶装置は、ユーザのすべての発声内容に基づく文字データを保存すると、ユーザが画像表示装置を操作するため、例えば表示画像の切り換え等を指示するキーワードとして発声する音声の文字データも含めて議事録に保存してしまうという問題があった。

本発明は、上記の問題点を解決するためになされたものであり、ユーザの発声内容に基づく文字データで、装置の制御に係る指示データが含まれない文字データを記憶することができる情報記憶装置および情報記憶プログラムを提供することを目的とする。

本発明の第１態様によれば、ユーザの頭部に装着可能に構成し、前記ユーザの発声内容に基づく文字のデータである文字データを記憶部に記憶可能な情報記憶装置であって、前記ユーザの発声する音声を取得する取得手段と、前記取得手段によって取得された音声のデータである音声データに基づいて前記情報記憶装置を制御可能な制御手段とを備え、前記制御手段は、前記音声データを解析し、前記文字データを生成する生成部と、前記情報記憶装置の制御を指示する指示データと、前記情報記憶装置に実行させる動作の制御信号とが対応付けられた対応データを参照し、前記生成部において生成された前記文字データに前記指示データが含まれるか否か判断する第一判断部と、前記第一判断部において前記文字データに前記指示データが含まれると判断された場合、前記指示データに対応する制御信号を出力する信号出力部と、前記第一判断部において前記文字データに前記指示データが含まれないと判断された場合、前記文字データを前記記憶部に記憶する処理を行う一方、前記文字データに前記指示データが含まれる場合には前記文字データを前記記憶部に記憶しない記憶制御部と、前記取得手段によって取得された音声に含まれる無声状態を検出する検出部と、前記検出部において検出された連続する２回の無声状態の間に、前記取得手段によって取得され、前記生成部において生成された前記文字データが示す文字の文字数が、所定数より多いか否か判断する第二判断部と、を含み、前記記憶制御部は、前記第二判断部において前記文字数が所定数よりも多いと判断された場合、前記第一判断部における前記文字データに対する判断処理は行わずに、前記文字データを前記記憶部に記憶する処理を行うことを特徴とする情報記憶装置が提供される。

第１態様の情報記憶装置は、情報記憶装置の制御をユーザが発声する音声データに基づいて行いながらも、ユーザが制御のために発声した指示データを含まず、ユーザが制御目的ではなく発声した文字データのみを保存することができる。ユーザの音声に基づく文字データが指示データを含んだ状態で保存された場合、保存した文字データを議事録として用いるには、不要な指示データが含まれているため好ましくないが、第１態様の情報記憶装置を用いれば指示データを除いた文字データを保存できるので、保存した文字データを議事録として利用することができる。

第１態様の情報記憶装置は、文字データが示す文字の文字数が所定数よりも多いか否か、文字数を比較するという単純な判断処理を行うだけで、多い場合には第一判断部における判断処理を回避できるので、処理の単純化および高速化を図ることができる。所定数としては、例えば、指示データが示す文字の文字数を挙げることができる。この場合、文字データの文字数が指示データの文字数よりも多ければ、文字データに指示データが含まれないとみなすことができるので、第一判断部が文字データと指示データとを比較照合しなくとも済む。

第１態様において、前記対応データは、複数の前記指示データと前記制御信号との組を含んでもよい。前記指示データは、所定の文字列で示されるデータであってもよい。前記第二判断部が判断対象とする前記所定数は、前記対応データに含まれる複数の前記指示データのうち、文字数が最多である指示データの文字数以上の数であってもよい。所定数が、文字数が最多の指示データの文字数以上であれば、文字データの文字数が所定数よりも多い場合に、文字データに指示データが含まれることはない。

第１態様の情報記憶装置は、前記ユーザが視認可能な画像を表示する表示手段を備えてもよい。前記制御手段は、前記生成部において生成された前記文字データが示す文字を前記表示手段に表示する表示制御部をさらに含んでもよい。表示手段に文字データが示す文字を表示することで、情報記憶装置は、ユーザの発声内容を正しく認識できたか、ユーザに目視で確認させることができる。

第１態様において、前記表示制御部は、前記第一判断部において前記指示データが含まれると判断された前記文字データが示す文字を前記表示手段に表示せず、前記指示データが含まれない前記文字データが示す文字を前記表示手段に表示する処理を行ってもよい。第１態様の情報記憶装置は、指示データが示す文字を表示手段に表示しないことで、ユーザに煩わしさを感じさせない。

第１態様の情報記憶装置は、前記ユーザの周囲の様子を撮影可能な撮影手段を備えてもよい。この場合に、前記記憶制御部は、前記撮影手段によって撮影された撮影画像のデータである撮影データに、前記撮影画像が撮影された後、少なくとも最初に前記生成部によって生成された前記文字データを対応付けて、前記撮影データと前記文字データとを前記記憶部に記憶する処理を行ってもよい。撮影画像と、撮影後に生成した文字データとを対応付けて記憶することで、文字データが示す文字を読む者は、撮影画像を参照することができ、内容を把握しやすい。

本発明の第２態様によれば、ユーザの頭部に装着可能に構成し、前記ユーザの発声する音声を取得する取得手段を備え、前記ユーザの発声内容に基づく文字のデータである文字データを記憶部に記憶可能な情報記憶装置のコンピュータが実行可能なプログラムであって、前記コンピュータに、前記取得手段によって取得された音声のデータである音声データを解析し、前記文字データを生成する生成ステップと、前記情報記憶装置の制御を指示する指示データと、前記情報記憶装置に実行させる動作の制御信号とが対応付けられた対応データを参照し、前記生成ステップにおいて生成された前記文字データに前記指示データが含まれるか否か判断する第一判断ステップと、前記第一判断ステップにおいて前記文字データに前記指示データが含まれると判断された場合、前記指示データに対応する制御信号を出力する信号出力ステップと、前記第一判断ステップにおいて前記文字データに前記指示データが含まれないと判断された場合、前記文字データを前記記憶部に記憶する処理を行う一方、前記文字データに前記指示データが含まれる場合には前記文字データを前記記憶部に記憶しない記憶制御ステップと、前記取得手段によって取得された音声に含まれる無声状態を検出する検出ステップと、前記検出ステップにおいて検出された連続する２回の無声状態の間に、前記取得手段によって取得され、前記生成ステップにおいて生成された前記文字データが示す文字の文字数が、所定数より多いか否か判断する第二判断ステップと、を実行させ、前記記憶制御ステップでは、前記第二判断ステップにおいて前記文字数が所定数よりも多いと判断された場合、前記第一判断ステップにおける前記文字データに対する判断処理は行われずに、前記文字データを前記記憶部に記憶する処理が行われることを特徴とする情報記憶プログラムが提供される。情報記憶装置のコンピュータが第２態様の情報記憶プログラムを実行することで、第１態様と同様の効果を得ることができる。

ＨＭＤ１の外観を示す斜視図である。 ＨＭＤ１の電気的構成を示すブロック図である。 第一実施形態における情報記憶プログラムを示すフローチャートである。 第二実施形態における情報記憶プログラムを示すフローチャートである。 第二実施形態の情報記憶プログラムに従う処理の流れを説明するための図である。

以下、本発明を具体化した情報記憶装置の第一実施形態について、図面を参照して説明する。なお、参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものである。図示された装置の構成等は、その形態のみに限定する趣旨ではなく、単なる説明例である。

図１に示すように、本発明に係る情報記憶装置（以下、「ヘッドマウントディスプレイ」または「ＨＭＤ」という。）１は、投影装置（以下、「ヘッドディスプレイ」または「ＨＤ」という。）１０と制御装置（以下、「コントロールボックス」または「ＣＢ」という。）５０を備える。ＨＭＤ１が使用される場合、ＨＤ１０は、装着対象物（例えばユーザの頭部）に装着される。また、ＣＢ５０は、装着対象物のＨＤ１０とは異なる位置（例えば、ユーザの腰ベルトや腕等）に装着される。以下の説明において、図１の上方、下方、右斜め下方、左斜め上方、右斜め上方および左斜め下方がそれぞれ、ＨＭＤ１の上方、下方、前方、後方、右方および左方である。

ＨＤ１０は専用の装着具である眼鏡５に装着される。ＨＤ１０は、ユーザが日常的に使用する眼鏡、ヘルメット、ヘッドホンなど、他の装着具に取り付けてもよい。ＨＤ１０は、受光対象物（例えばユーザの眼）に画像光を照射する。ＨＤ１０はハーネス７を介してＣＢ５０と着脱可能に接続する。ＣＢ５０は、ＨＤ１０を制御する。

ＨＤ１０の構成について説明する。ＨＤ１０は筐体２を備える。筐体２は、ユーザ側から見て右端側（図１における左側）にハーフミラー３を備える。ハーフミラー３は、ユーザがＨＤ１０を頭部に装着したとき、ユーザの眼（例えば左眼）の前方に配置される。ＨＤ１０は、筐体２の内部に、画像表示部１４（図２参照）と接眼光学系（図示略）を備える。画像表示部１４は、ＣＢ５０からハーネス７を介して送信される映像信号に基づいて画像を表示する。画像表示部１４は、例えば、液晶素子等の空間変調素子および光源である。画像表示部１４は、画像信号に応じた強度のレーザ光を２次元走査して画像表示を行う網膜走査型表示部や、有機ＥＬ（Organic Electro-luminescence）素子等であってもよい。

接眼光学系は、画像表示部１４に表示された画像を示す画像光を、ユーザの眼に導くために集光する。接眼光学系から射出された画像光は、筐体２の左側に設けられたハーフミラー３によって少なくとも一部（例えば半分）が反射され、ユーザの一方（例えば左）の眼球（図示略）に入射する。ハーフミラー３は外界の実像からの光の少なくとも一部を透過するので、ユーザの視野において実像（外界の風景）に重畳させた画像をユーザに見せることができる。

眼鏡５は、ＨＤ１０をユーザの頭部に保持するための構成である。眼鏡５は、フレーム６において、左眼用レンズを支えるリム部の上面右端（ユーザから見て上面左端）に、支持部４を備える。支持部４は、ＨＤ１０の筐体２を保持し、眼鏡５に取り付ける。支持部４は、筐体２の保持位置を上下方向および左右方向に調整することができる。ＨＤ１０は、ユーザにハーフミラー３の位置を調整させ、ユーザの眼球の位置に合わせた位置に配置させることができる。

眼鏡５は、フレーム６において、左右のリム部を接続するブリッジ部の上面に、カメラ２１を備える。カメラ２１は、ユーザの視野前方の外界の風景を撮影する。カメラ２１の撮影方向および画角は、予め、ユーザの視野に合わせて設定されている。より詳細には、カメラ２１の撮影方向および画角は、カメラ２１による外界の風景の撮影範囲が、ハーフミラー３を透過する実像に重ねることのできる画像表示部１４（図２参照）からの画像光の表示範囲とほぼ一致するように設定されている。なお、カメラ２１の撮影範囲はこれに限定されず、画像光の表示範囲よりも大きくてもよく、小さくてもよい。

眼鏡５は、フレーム６において、右耳に掛けるテンプル部に、マイク１７およびイヤホン１８を内蔵するヘッドセット１６を備える。詳細は後述するが、ＨＭＤ１は、ＨＭＤ１の各種操作等の実行命令（コマンド）としてあらかじめ登録された登録コマンドに対応する操作ワードに対応する音声を、ヘッドセット１６のマイク１７を介して取得することによって、使用時における各種操作等を行うことが可能である。ヘッドセット１６には骨伝導型のものを用いてもよい。なお、眼鏡５自体の形状は通常の眼鏡に類似のため、詳細な説明は省略する。

ＣＢ５０の構成について説明する。ＣＢ５０は、略直方体状で縁部を丸めた箱型の筐体を有する。ＣＢ５０は電源ランプ６３を内蔵する電源スイッチ６２を含む操作部６１を備える。電源スイッチ６２が操作されることで、ＨＭＤ１の電源はオンまたはオフされる。ＨＤ１０における各種設定や、使用時における各種操作等は、操作部６１に対して入力される。

図２を参照し、ＨＭＤ１の電気的構成について説明する。ＨＤ１０は、ＨＤ１０全体の制御を司るＣＰＵ１１を備える。ＣＰＵ１１は、ＲＡＭ１２、プログラムＲＯＭ１３、画像表示部１４、インターフェイス１５、接続コントローラ１９およびカメラ２１と電気的に接続する。ＣＰＵ１１は、インターフェイス１５を介してヘッドセット１６と電気的に接続する。ＲＡＭ１２は、各種データを一時的に記憶する。プログラムＲＯＭ１３は、ＣＰＵ１１が実行する各種プログラム等を記憶する。各種プログラムは、ＨＤ１０の出荷時にプログラムＲＯＭ１３に記憶される。なおＣＰＵ１１は、後述するＣＢ５０のフラッシュＲＯＭ５４に記憶されたプログラムも実行することができる。

画像表示部１４は前述の通り、映像信号に基づいて画像を表示する。インターフェイス１５はヘッドセット１６に接続し、信号の入出力を制御する。接続コントローラ１９は、ハーネス７を介してＣＢ５０の接続コントローラ５８に接続し、有線通信を行う。ヘッドセット１６はマイク１７およびイヤホン１８を備える。ヘッドセット１６はマイク１７が受け取るアナログの音をデジタルの音データに変換し、ハーネス７を介してＣＢ５０に送信する。ヘッドセット１６はハーネス７を介してＣＢ５０から受信するデジタルの音データをアナログの音に変換し、イヤホン１８から出力する。なお、ＨＤ１０は、ヘッドセット１６の代わりに、筐体２にマイクとスピーカを内蔵してもよい。カメラ２１は前述の通り、映像を撮影する。

ＣＢ５０の電気的構成について説明する。ＣＢ５０は、ＣＢ５０全体の制御を司るＣＰＵ５１を備える。ＣＰＵ５１は、ＲＡＭ５２、プログラムＲＯＭ５３、フラッシュＲＯＭ５４、インターフェイス５５、ビデオＲＡＭ５６、画像処理部５７、接続コントローラ５８、およびメディアインターフェイス５９と電気的に接続する。

ＲＡＭ５２は、各種フラグ、各種データ等を一時的に記憶する。後述する情報記憶プログラムの実行において、ＣＰＵ５１は、ＲＡＭ５２に、ヘッドセット１６から受信する音データを保存する記憶領域を確保する。なお、第一実施形態では、音をデータ化したものを「音データ」といい、ヒトの発声する音声をデータ化したものを「音声データ」という。音声データは音データに含まれる。

プログラムＲＯＭ５３は、後述する情報記憶プログラムを含み、ＣＰＵ５１が実行する各種プログラム、各種プログラムが使用するフラグやデータの初期値等を記憶する。情報記憶プログラムを含む各種プログラムは、ＨＭＤ１の出荷時にプログラムＲＯＭ５３に記憶される。なおＣＰＵ５１は、フラッシュＲＯＭ５４に記憶されたプログラムも実行可能である。

フラッシュＲＯＭ５４は、ＣＢ５０の出荷後にインストールされた各種プログラム、各種プログラムが使用するフラグやデータの設定値等を記憶する。インターフェイス５５は電源スイッチ６２および電源ランプ６３を含む操作部６１に接続し、ユーザによる操作の入力信号やランプの点灯信号等の入出力を行う。画像処理部５７は、ＨＤ１０の画像表示部１４に表示する画像を形成する処理を行う。ビデオＲＡＭ５６は、画像処理部５７が形成した画像を画像表示部１４に表示するための映像信号を生成するため、画像を仮想的に表示した仮想画面を記憶領域内に形成する。接続コントローラ５８は、ハーネス７を介してＨＤ１０の接続コントローラ１９に接続し、有線通信を行う。メディアインターフェイス５９は、ＣＰＵ５１がメディアカード６５の記憶領域にアクセスできるように接続するインターフェイスである。メディアカード６５は、例えば、ハードディスク、メモリーカード、コンパクトフラッシュ（登録商標）カード（ＣＦカード）、セキュアデジタル（登録商標）カード（ＳＤカード）、ユニバーサルシリアルバスメモリ（ＵＳＢメモリ）等であり、メディアインターフェイス５９に挿抜可能である。

図３を参照し、情報記憶プログラムについて説明する。ＨＭＤ１は、上記したように、あらかじめプログラムＲＯＭ５３に情報記憶プログラムを記憶した状態で出荷される。情報記憶プログラムは、ＨＭＤ１のＣＢ５０のＣＰＵ５１が実行するプログラムである。情報記憶プログラムを実行するＣＰＵ５１は、概略、ユーザの発声した音声をテキストデータに変換し、議事録として、メディアカード６５に保存する処理を行う。

ユーザがＨＭＤ１のＣＢ５０に設けられた電源スイッチ６２を操作すると、ＣＰＵ５１は起動時における所定の動作をメインプログラム（図示略）の実行に従って行う。ＣＰＵ５１は、情報記憶プログラムを含む各種プログラムを実行する。

情報記憶プログラムにおいて、ＣＰＵ５１は、起動時に行う初期設定処理（図示略）を行う。ＣＰＵ５１は、情報記憶プログラムにおいて使用するフラグやデータの記憶領域をＲＡＭ５２に確保する。ＣＰＵ５１は、確保した記憶領域に、プログラムＲＯＭ５３に記憶されているフラグやデータの初期値と、フラッシュＲＯＭ５４に記憶されているフラグやデータの設定値をＲＡＭ５２に書き込む。ＣＰＵ５１はＲＡＭ５２に作業用の記憶領域（ワークエリア）と、音データの記憶領域を確保する。ＣＰＵ５１は、マイク１７が収音してデジタル変換された音データをヘッドセット１６から受信し、ＦＩＦＯ処理で、ＲＡＭ５２に保存する処理を開始する。

ＣＰＵ５１は情報記憶プログラムの初回実行時にフラッシュＲＯＭ５４にコマンド辞書を構築する。「コマンド辞書」は、登録コマンドを記憶するデータベースである。「登録コマンド」は、ＨＭＤ１の各種操作等を実行する制御信号を表す制御コードに対応付けられた実行命令（コマンド）であり、あらかじめ登録されたコマンドである。ＨＭＤ１の各種操作等の例として、画像表示部１４に表示する画像の切り換え（ファイルオープン、ページめくり等）、拡大、縮小、スクロール、回転、輝度変更などが挙げられる。登録コマンドは、例えば上記例にそれぞれ対応付けられたコマンドである。第一実施形態において、登録コマンドはテキスト形式のデータで示される単語として提供される。ＣＰＵ５１は、情報記憶プログラムの実行中に、情報記憶プログラムの動作をカスタマイズする各種設定を受け付ける設定画面（図示略）を表示することができる。ＣＰＵ５１は、例えば、ユーザが制御コードに対応付けた任意のコマンドを、コマンド辞書に登録することができる。

ＣＰＵ５１は上記の初期設定処理が終了すると、ＣＰＵ５１は、ＲＡＭ５２に保存された音データの分析を行う。ＣＰＵ５１は、音データに対し、ヒトの発声する音声の周波数帯でフィルタリングを行う公知のフィルタリング処理を行い、音データが表す音の周波数を検出する（Ｓ１１）。ＣＰＵ５１は、検出した周波数に、ヒトの発声する音声の周波数帯が含まれない場合、マイク１７へのユーザの音声入力はないと判断し（Ｓ１１：ＮＯ）、Ｓ３１に処理を進める。ＣＰＵ５１は、ユーザが電源スイッチ６２を操作していなければ（Ｓ３１：ＮＯ）、Ｓ１１に処理を戻し、ＲＡＭ５２に保存された新たな音データの分析を行う。

Ｓ１１における周波数検出の結果、音データが表す音の周波数に音声の周波数帯が含まれる場合、ＣＰＵ５１は、マイク１７へのユーザの音声入力があると判断し（Ｓ１１：ＹＥＳ）、Ｓ１３に処理を進める。ＣＰＵ５１は、音データの記憶領域からユーザの発声する音声として認識した音声データを取得し、ワークエリアに保存する（Ｓ１３）。ＣＰＵ５１は、ＲＡＭ５２に新たに保存された音データに対して上記のフィルタリング処理を行い、音データが表す音の周波数を検出する（Ｓ１５）。ＣＰＵ５１は、検出した周波数に、ヒトの音声の周波数帯が含まれる場合、ユーザが発声中であって無声状態（発声していない状態）ではないと判断し（Ｓ１５：ＮＯ）、Ｓ１３に処理を戻す。ＣＰＵ５１は、ＲＡＭ５２に新たに保存された音声データをワークエリアに保存し、ユーザの音声データを蓄積する。ＣＰＵ５１は、ユーザが発声している間、Ｓ１３、Ｓ１５の処理を繰り返して実行し、無声状態になるのを待つ。

音データが表す音の周波数にヒトの音声の周波数帯が含まれない場合、ＣＰＵ５１は、ユーザが発声を終了して無声状態になったと判断し（Ｓ１５：ＹＥＳ）、Ｓ１７に処理を進める。ＣＰＵ５１は、Ｓ１３、Ｓ１５の処理を繰り返して行うたびに分割状態で取得した音声データをワークエリアに蓄積する。よって、ワークエリアには、２回の連続する無音状態の間にユーザが発声した音声に基づく音声データが構築されて保存されている。ＣＰＵ５１は、公知の音声認識処理（図示略）を実行し、ワークエリアに保存されたユーザの音声データに対する音声認識を行う（Ｓ１７）。ＣＰＵ５１は、音声認識処理を行って認識したユーザの音声データをテキストデータ（以下では便宜上、「ユーザテキストデータ」という。）に変換し（Ｓ１９）、ワークエリアに保存する。

ＣＰＵ５１は、ユーザテキストデータの文字数を、コマンド辞書にテキスト形式のデータとして登録されている登録コマンドのうち、文字数が最多の登録コマンドの文字数と比較する（Ｓ２１）。ユーザテキストデータの文字数が登録コマンドの文字数よりも多い場合（Ｓ２１：ＹＥＳ）、ＣＰＵ５１は、ユーザは操作ワードを発声していないと判断し、Ｓ２７に処理を進める。画像処理部５７は、ユーザテキストデータに基づくテキスト画像を形成し、ビデオＲＡＭ５６に仮想的に表示して、映像信号を生成する。ＣＰＵ５１は映像信号をＨＤ１０に送信し、画像表示部１４に、ユーザの発声内容をテキスト化したテキスト画像を表示する（Ｓ２７）。

ＣＰＵ５１は、ユーザテキストデータをメディアカード６５に転送し、議事録として保存する（Ｓ２９）。ＣＰＵ５１は、処理をＳ３１に進め、上記同様であれば処理をＳ１１に戻し、ＲＡＭ５２に保存された新たな音データの分析を行う。

ＣＰＵ５１は、新たにユーザが発声した音声データを取得し、ユーザテキストデータに変換した結果、文字数が登録コマンドの文字数以下である場合（Ｓ２１：ＮＯ）、Ｓ２３に処理を進める。ＣＰＵ５１は、コマンド辞書を参照し、ユーザテキストデータを登録コマンドと比較して、一致する登録コマンドがあるか否か判断する（Ｓ２３）。ユーザテキストデータが登録コマンドでない場合（Ｓ２３：ＮＯ）、ＣＰＵ５１は処理をＳ２７に進め、上記同様、画像表示部１４にテキスト画像を表示し（Ｓ２７）、メディアカード６５にユーザテキストデータを保存する（Ｓ２９）。

Ｓ２３において、ユーザテキストデータが登録コマンドである場合（Ｓ２３：ＹＥＳ）、ＣＰＵ５１は、登録コマンドを実行する（Ｓ２５）。ＣＰＵ５１は、ユーザが発声した操作ワードに対応し、ＨＭＤ１の操作を実行する制御信号を出力し、ユーザの所望する動作を行う。ＣＰＵ５１は、登録コマンドとして判断したユーザテキストデータについてはメディアカード６５に保存せず、処理をＳ３１に進める。ユーザが電源スイッチ６２を操作した場合（Ｓ３１：ＹＥＳ）、ＣＰＵ５１は、情報記憶プログラムの実行を終了する。

次に、情報記憶装置の第二実施形態について、図４、図５を参照して説明する。本発明の第二実施形態は、第一実施形態におけるＨＭＤ１のＣＰＵ５１が実行する情報記憶プログラムが別形態の例である。よって、第二実施形態の情報記憶装置であるＨＭＤ１の構成は、第一実施形態と同様であるので、説明を省略する。また、第二実施形態の情報記憶プログラムに沿ってＣＰＵ５１が行う処理についても、第一実施形態と同様の部分は、説明を省略または簡略化して行う。

第二実施形態の情報記憶プログラムを実行するＣＰＵ５１は、概略、第一実施形態と同様に、ユーザテキストデータを議事録としてメディアカード６５に保存する処理を行う。さらに、ＣＰＵ５１は、カメラ２１を用いて撮影を行った場合に、撮影後にユーザが発声した発声内容に基づくユーザテキストデータを、撮影画像に対応付ける。ＣＰＵ５１は、撮影画像とユーザテキストデータとを見ることができる１つのファイルを「報告書」として作成する処理を行う。

なお、第二実施形態の情報記憶プログラムにおいて、ＣＰＵ５１は、記録フラグの状態に基づく判断処理を行う。「記録フラグ」は、カメラ２１による撮影がなされた場合に成立し、オンとなるフラグである。記録フラグは、ＣＰＵ５１が上記の報告書を作成するにあたって、カメラ２１で撮影した撮影画像に対応付けるユーザテキストデータが、撮影後に最初に生成されたテキストデータであるか否かの判断条件として使用される。

以下、第二実施形態の情報記憶プログラムの実行に伴いＣＰＵ５１が行う処理について説明する。ユーザがＨＭＤ１の電源スイッチ６２を操作してＨＭＤ１を起動すると、ＣＰＵ５１は、情報記憶プログラムを含む各種プログラムを実行する。情報記憶プログラムにおいて、ＣＰＵ５１は、第一実施形態と同様に、起動時の初期設定処理（図示略）を行った後、ＲＡＭ５２に保存された音データを分析し、音データが表す音の周波数を検出する（Ｓ４１）。音データにヒトの音声の周波数帯が含まれなければ（Ｓ４１：ＮＯ）、ＣＰＵ５１はＳ７９に処理を進める。ユーザが電源スイッチ６２を操作していなければ（Ｓ７９：ＮＯ）、ＣＰＵ５１はＳ４１に処理を戻し、ＲＡＭ５２に保存された新たな音データの分析を行う。

Ｓ４１において、音データにヒトの音声の周波数帯が含まれる場合（Ｓ４１：ＹＥＳ）、ＣＰＵ５１はＳ４３に処理を進めて音声データを取得し、ワークエリアに保存する（Ｓ４３）。ＣＰＵ５１は、ＲＡＭ５２に新たに保存された音データを分析し、新たな音データにヒトの音声の周波数帯が含まれなければ（Ｓ４５：ＮＯ）、Ｓ４３に処理を戻す。ＣＰＵ５１は、Ｓ４３、Ｓ４５を繰り返して実行し、ユーザの音声データをワークエリアに蓄積する。

ＣＰＵ５１は、無声状態を検出したら（Ｓ４５：ＹＥＳ）、公知の音声認識処理（図示略）を実行して、ユーザの音声データに対する音声認識を行う（Ｓ４７）。ＣＰＵ５１は、音声認識処理を行って認識したユーザの音声データをユーザテキストデータに変換し（Ｓ４９）、ワークエリアに保存する。

ＣＰＵ５１は、コマンド辞書を参照し、ユーザテキストデータを登録コマンドと比較して、一致する登録コマンドがあるか否か判断する（Ｓ５１）。ユーザテキストデータが登録コマンドでない場合（Ｓ５１：ＮＯ）、ＣＰＵ５１は処理をＳ７１に進め、記録フラグがオンであるか否か判断する（Ｓ７１）。カメラ２１による撮影が行われておらず、記録フラグがオフである場合（Ｓ７１：ＮＯ）、ＣＰＵ５１は処理をＳ７５に進める。ＣＰＵ５１は、第一実施形態と同様、画像表示部１４に、ユーザテキストデータに基づくテキスト画像を表示する（Ｓ７５）。

具体的に、例えば図５に示す第１期に、ユーザが、登録コマンドではない、「このネジが悪かったんだ」という言葉を発声した場合、ＣＰＵ５１は、ユーザテキストデータに変換後、登録コマンドではないと判断する（Ｓ５１：ＮＯ）。ＣＰＵ５１は、画像表示部１４に、「このネジが悪かったんだ」というユーザテキストデータに基づくテキスト画像を表示する（Ｓ７５）。

図４に示すように、ＣＰＵ５１は、メディアカード６５にユーザテキストデータを議事録として保存する（Ｓ７７）。ＣＰＵ５１は、処理をＳ７９に進め、上記同様であれば処理をＳ４１に戻し、ＲＡＭ５２に保存された新たな音データの分析を行う。

Ｓ５１において、ユーザテキストデータが登録コマンドである場合（Ｓ５１：ＹＥＳ）、ＣＰＵ５１は、登録コマンドが、カメラ２１による撮影を指示する撮影コマンドであるか否か判断する（Ｓ５３）。撮影コマンドでなければ（Ｓ５３：ＮＯ）、ＣＰＵ５１は、登録コマンドが、報告書作成作業の終了を指示する終了コマンドであるか否か判断する（Ｓ６１）。終了コマンドでなければ（Ｓ６１：ＮＯ）、ＣＰＵ５１は登録コマンドを実行する（Ｓ６３）。ＣＰＵ５１は、ユーザが発声した操作ワードに対応し、撮影および報告書作成作業終了を除く、ＨＭＤ１の操作を実行する制御信号を出力し、ユーザの所望する動作を行う。ＣＰＵ５１は、登録コマンドとして判断したユーザテキストデータについてはメディアカード６５に保存せず、また、画像表示部１４へのテキスト画像の表示も行わない。ＣＰＵ５１は、処理をＳ７９に進め、上記同様であれば処理をＳ４１に戻し、ＲＡＭ５２に保存された新たな音データの分析を行う。

ユーザテキストデータが撮影コマンドであった場合（Ｓ５１：ＹＥＳ、Ｓ５３：ＹＥＳ）、ＣＰＵ５１は、カメラ２１に、撮影を指示する制御信号を送信する（Ｓ５５）。カメラ２１はユーザの視野前方の外界の風景を撮影し、ハーネス７を介し、撮影画像のデータ（以下、「撮影データ」という。）をＣＰＵ５１に送信する。ＣＰＵ５１は、受信した撮影データをＲＡＭ５２に保存し、画像表示部１４に撮影画像を表示する（Ｓ５７）。

具体的に、例えば図５に示す第２期に、ユーザが、登録コマンドである、「撮影」という言葉を発声した場合、ＣＰＵ５１は、ユーザテキストデータに変換後、登録コマンドであり（Ｓ５１：ＹＥＳ）、且つ撮影コマンドであると判断する（Ｓ５３：ＹＥＳ）。ＣＰＵ５１は、カメラ２１が撮影した撮影画像（例えば自動車のナンバープレートを撮影した画像）を画像表示部１４に表示する（Ｓ５７）。

図４に示すように、ＣＰＵ５１は、カメラ２１による撮影がなされたことを報せる記録フラグをオンにして（Ｓ５９）、処理をＳ７９に進め、上記同様であれば処理をＳ４１に戻し、ＲＡＭ５２に保存された新たな音データの分析を行う。

撮影後、ユーザが新たに発声し、発声内容に基づく今回のユーザテキストデータが登録コマンドでなかった場合（Ｓ５１：ＮＯ）、ＣＰＵ５１は、記録フラグがオンであるのでＳ７３に処理を進める（Ｓ７１：ＹＥＳ）。ＣＰＵ５１は、ＲＡＭ５２に保存した撮影データと、今回のユーザテキストデータとの対応付けを行う（Ｓ７３）。ＣＰＵ５１は、画像表示部１４に、今回のユーザテキストデータに基づくテキスト画像を表示する（Ｓ７５）。

具体的に、例えば図５に示す第３期に、ユーザが、登録コマンドではない、「この２本のネジがゆるんでいた」という言葉を発声した場合、ＣＰＵ５１は、ユーザテキストデータに変換後、登録コマンドではないと判断する（Ｓ５１：ＮＯ）。記録フラグがオンであるので撮影画像に対応付けた後（Ｓ７３）、ＣＰＵ５１は、画像表示部１４に、「この２本のネジがゆるんでいた」というユーザテキストデータに基づくテキスト画像を表示する（Ｓ７５）。

図４に示すように、ＣＰＵ５１は、メディアカード６５に、撮影画像と対応付けたユーザテキストデータを議事録として保存する（Ｓ７７）。ＣＰＵ５１は、処理をＳ７９に進め、上記同様であれば処理をＳ４１に戻し、ＲＡＭ５２に保存された新たな音データの分析を行う。以降同様に、ユーザの発声内容に基づく新たなユーザテキストデータが登録コマンドでない場合、記録フラグはオンのままであるので、ＣＰＵ５１は、ユーザテキストデータを撮影データに対応付けて保存する。

ユーザテキストデータが報告書作成作業の終了コマンドであった場合（Ｓ５１：ＹＥＳ、Ｓ５３：ＮＯ、Ｓ６１：ＹＥＳ）、ＣＰＵ５１は、撮影画像と、撮影画像に対応付けたユーザテキストデータに基づくテキスト画像とを、画像表示部１４に表示する（Ｓ６５）。すなわち、ＣＰＵ５１は、ユーザの指示に基づき撮影した撮影画像と、その撮影画像に関連してユーザが発声した内容に基づくユーザテキストデータとを組み合わせ、報告書として作成し、報告書の画面を画像表示部１４に表示する。

具体的に、例えば図５に示す第４期に、ユーザが、登録コマンドである、「作業終了」という言葉を発声した場合、ＣＰＵ５１は、ユーザテキストデータに変換後、登録コマンドであり（Ｓ５１：ＹＥＳ）、且つ終了コマンドであると判断する（Ｓ６１：ＹＥＳ）。ＣＰＵ５１は、画像表示部１４に、カメラ２１が撮影した撮影画像と、第３期において撮影画像に対応付けられた「この２本のネジがゆるんでいた」というユーザテキストデータに基づくテキスト画像を、報告書画面として表示する（Ｓ６５）。

図４に示すように、ＣＰＵ５１は、メディアカード６５に、撮影画像と、撮影画像に対応付けたユーザテキストデータとを組み合わせたファイルを、報告書として保存する（Ｓ６７）。ＣＰＵ５１は、記録フラグをオフにし（Ｓ６９）、処理をＳ７９に進め、上記同様であれば処理をＳ４１に戻し、ＲＡＭ５２に保存された新たな音データの分析を行う。そして、ユーザが電源スイッチ６２を操作した場合（Ｓ７９：ＹＥＳ）、ＣＰＵ５１は、情報記憶プログラムの実行を終了する。

以上説明したように、ＣＰＵ５１は、ＨＭＤ１の制御をユーザが発声する音声データに基づいて行いながらも、ユーザが制御のために発声した登録コマンドを含まず、ユーザが制御目的ではなく発声したユーザテキストデータのみを保存することができる。ユーザの音声に基づくユーザテキストデータが登録コマンドを含んだ状態で保存された場合、保存したユーザテキストデータを議事録として用いるには、不要な登録コマンドが含まれているため好ましくないが、本実施形態のＨＭＤ１であれば、登録コマンドを除いたユーザテキストデータを保存できるので、保存したユーザテキストデータを議事録として利用することができる。

第一実施形態のＳ２１において、ＣＰＵ５１は、ユーザテキストデータが示す文字の文字数が所定数よりも多いか否か、文字数を比較するという単純な判断処理を行うだけで、多い場合にはＳ２３においてコマンド辞書を参照して登録コマンドであるか否か判断する処理を回避できるので、情報記憶プログラムの処理の単純化および高速化を図ることができる。所定数としては、例えば、複数種類の登録コマンドがそれぞれ示す文字の文字数のうち、最多の文字数を挙げることができる。この場合、ユーザテキストデータの文字数が登録コマンドの文字数よりも多ければ、ユーザテキストデータに登録コマンドが含まれないとみなすことができるので、コマンド辞書を参照してユーザテキストデータと登録コマンドとを比較照合しなくとも済む。そして、所定数が、文字数が最多の登録コマンドの文字数以上であれば、ユーザテキストデータの文字数が所定数よりも多い場合に、ユーザテキストデータに登録コマンドが含まれることはない。

画像表示部１４にユーザテキストデータが示すテキスト画像を表示することで、ＣＰＵ５１は、ユーザの発声内容を正しく認識できたか、ユーザに目視で確認させることができる。一方で、ＣＰＵ５１は、登録コマンドが示すテキスト画像を画像表示部１４に表示しないことで、ユーザに煩わしさを感じさせない。また第二実施形態において、撮影画像と、撮影後に生成したユーザテキストデータとを対応付けて記憶することで、報告書としてユーザテキストデータが示す文字を読む者は、撮影画像を参照することができ、内容を把握しやすい。

なお、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々変更を加え得ることが可能である。ＣＰＵ５１は、ユーザテキストデータをメディアカード６５に保存したが、例えばネットワークを介して接続可能なストレージデバイス等に保存してもよい。この場合、ＣＢ５０は、有線または無線通信部を備え、ネットワークと接続できるようにするとよい。

ＣＢ５０は、ＨＤ１０を制御する専用コントローラの例として説明したが、ＨＤ１０に接続する機器は専用コントローラに限るものではない。例えば、スマートフォン、タブレット型端末、ノート型パーソナルコンピュータなど汎用のコンピュータ機器に、情報記憶プログラムに相当する専用のプログラムをインストールしてＨＤ１０と接続し、本発明に係る情報記憶装置を構成してもよい。

本実施形態では、情報記憶プログラムを含む各種プログラムは、ＨＭＤ１の出荷時にプログラムＲＯＭ５３に記憶されるものとしたが、必ずしもプログラムＲＯＭ５３に記憶された状態で出荷されなくともよい。例えば、ＣＰＵ５１が、情報記憶プログラムを含む各種プログラムを記憶したメディアカード６５から、各種プログラムを読み出してフラッシュＲＯＭ５４にインストールしてもよい。または、ＣＢ５０が有線通信あるいは無線通信を行う通信部を備え、ＣＰＵ５１は、通信部を介して、ダウンロードサーバのＨＤＤなど外部のストレージデバイスに保存された情報記憶プログラムを含む各種プログラムをダウンロードして、フラッシュＲＯＭ５４にインストールしてもよい。なお、情報記憶プログラムも含めて各種プログラムをフラッシュＲＯＭ５４にインストールしてＨＭＤ１の駆動を行えば、プログラムＲＯＭ５３はなくともよい。

登録コマンドは、テキスト形式のデータとしたが、音声データであってもよい。この場合、ユーザが発声した音声データを、ユーザテキストデータに変換する前に、登録コマンドと比較する処理を行えばよい。また、第一実施形態において、Ｓ２１でユーザテキストデータの文字数を登録コマンドの文字数と比較する処理は、なくてもよい。また、ユーザテキストデータに基づくテキスト画像を画像表示部１４に表示する処理（Ｓ２７、Ｓ７５等）はなくともよく、ＣＰＵ５１は、ユーザテキストデータをメディアカード６５に保存する処理だけを行ってもよい。また、ヘッドセット１６は、公知のノイズキャンセリング機能を搭載したものであってもよい。

また、第二実施形態において、撮影後、報告書作成作業の終了コマンドを検出するまで、ＣＰＵ５１は、ユーザテキストデータを撮影画像と対応付けたが、撮影後に最初に取得したユーザテキストデータだけを撮影画像と対応付け、そのときに記録フラグをオフにしてもよい。この場合、ＣＰＵ５１は、ユーザに終了コマンドを発声させなくとも報告書作成作業を終了することができるので、ユーザに手間をかけさせない。

なお、本実施の形態においては、ＨＭＤ１が本発明の「情報記憶装置」に相当する。メディアカード６５が、「記憶部」に相当する。ユーザテキストデータが、「文字データ」に相当する。登録コマンドが、「指示データ」に相当する。コマンド辞書が、「対応データ」に相当する。ＣＰＵ５１が、「制御手段」に相当する。Ｓ１７またはＳ４７で、音声データを解析し、Ｓ１９またはＳ４９で、テキストデータに変換するＣＰＵ５１が、「生成部」に相当する。Ｓ２３またはＳ５１で、ユーザテキストデータが登録コマンドであるか否か判断するＣＰＵ５１が、「第一判断部」に相当する。Ｓ２３またはＳ５１でユーザテキストデータが登録コマンドである場合にＳ２５またはＳ６３でコマンドを実行するＣＰＵ５１が、「信号出力部」に相当する。Ｓ２３またはＳ５１でユーザテキストデータが登録コマンドである場合にユーザテキストデータの保存は行わず、Ｓ２３またはＳ５１でユーザテキストデータが登録コマンドでない場合にＳ２９またはＳ７７でユーザテキストデータの保存を行うＣＰＵ５１が、「記憶制御部」に相当する。

Ｓ１５で、無声状態であるか否か判断するＣＰＵ５１が、「検出部」に相当する。Ｓ２１で、ユーザテキストデータの文字数を登録コマンドの文字数と比較するＣＰＵ５１が、「第二判断部」に相当する。画像表示部１４が、「表示手段」に相当する。Ｓ２７またはＳ７５で、画像表示部１４にユーザテキストデータに基づくテキスト画像を表示するＣＰＵ５１が、「表示制御部」に相当する。カメラ２１が、「撮影手段」に相当する。

１ ヘッドマウントディスプレイ（ＨＭＤ）
１０ ヘッドディスプレイ（ＨＤ）
１４ 画像表示部
１７ マイク
２１ カメラ
５０ コントロールボックス（ＣＢ）
５１ ＣＰＵ
５２ ＲＡＭ
５９ メディアインターフェイス
６５ メディアカード

Claims (6)

1. ユーザの頭部に装着可能に構成し、前記ユーザの発声内容に基づく文字のデータである文字データを記憶部に記憶可能な情報記憶装置であって、
   前記ユーザの発声する音声を取得する取得手段と、
   前記取得手段によって取得された音声のデータである音声データに基づいて前記情報記憶装置を制御可能な制御手段と
   を備え、
   前記制御手段は、
   前記音声データを解析し、前記文字データを生成する生成部と、
   前記情報記憶装置の制御を指示する指示データと、前記情報記憶装置に実行させる動作の制御信号とが対応付けられた対応データを参照し、前記生成部において生成された前記文字データに前記指示データが含まれるか否か判断する第一判断部と、
   前記第一判断部において前記文字データに前記指示データが含まれると判断された場合、前記指示データに対応する制御信号を出力する信号出力部と、
   前記第一判断部において前記文字データに前記指示データが含まれないと判断された場合、前記文字データを前記記憶部に記憶する処理を行う一方、前記文字データに前記指示データが含まれる場合には前記文字データを前記記憶部に記憶しない記憶制御部と、
   前記取得手段によって取得された音声に含まれる無声状態を検出する検出部と、
   前記検出部において検出された連続する２回の無声状態の間に、前記取得手段によって取得され、前記生成部において生成された前記文字データが示す文字の文字数が、所定数より多いか否か判断する第二判断部と、
   を含み、
   前記記憶制御部は、前記第二判断部において前記文字数が所定数よりも多いと判断された場合、前記第一判断部における前記文字データに対する判断処理は行わずに、前記文字データを前記記憶部に記憶する処理を行うことを特徴とする情報記憶装置。
2. 前記対応データは、複数の前記指示データと前記制御信号との組を含み、
   前記指示データは、所定の文字列で示されるデータであり、
   前記第二判断部が判断対象とする前記所定数は、前記対応データに含まれる複数の前記指示データのうち、文字数が最多である指示データの文字数以上の数であることを特徴とする請求項１に記載の情報記憶装置。
3. 前記ユーザが視認可能な画像を表示する表示手段を備え、
   前記制御手段は、前記生成部において生成された前記文字データが示す文字を前記表示手段に表示する表示制御部をさらに含むことを特徴とする請求項１または２に記載の情報記憶装置。
4. 前記表示制御部は、前記第一判断部において前記指示データが含まれると判断された前記文字データが示す文字を前記表示手段に表示せず、前記指示データが含まれない前記文字データが示す文字を前記表示手段に表示する処理を行うことを特徴とする請求項３に記載の情報記憶装置。
5. 前記ユーザの周囲の様子を撮影可能な撮影手段を備え、
   前記記憶制御部は、前記撮影手段によって撮影された撮影画像のデータである撮影データに、前記撮影画像が撮影された後、少なくとも最初に前記生成部によって生成された前記文字データを対応付けて、前記撮影データと前記文字データとを前記記憶部に記憶する処理を行うことを特徴とする請求項１から４のいずれかに記載の情報記憶装置。
6. ユーザの頭部に装着可能に構成し、前記ユーザの発声する音声を取得する取得手段を備え、前記ユーザの発声内容に基づく文字のデータである文字データを記憶部に記憶可能な情報記憶装置のコンピュータが実行可能なプログラムであって、
   前記コンピュータに、
   前記取得手段によって取得された音声のデータである音声データを解析し、前記文字データを生成する生成ステップと、
   前記情報記憶装置の制御を指示する指示データと、前記情報記憶装置に実行させる動作の制御信号とが対応付けられた対応データを参照し、前記生成ステップにおいて生成された前記文字データに前記指示データが含まれるか否か判断する第一判断ステップと、
   前記第一判断ステップにおいて前記文字データに前記指示データが含まれると判断された場合、前記指示データに対応する制御信号を出力する信号出力ステップと、
   前記第一判断ステップにおいて前記文字データに前記指示データが含まれないと判断された場合、前記文字データを前記記憶部に記憶する処理を行う一方、前記文字データに前記指示データが含まれる場合には前記文字データを前記記憶部に記憶しない記憶制御ステップと、
   前記取得手段によって取得された音声に含まれる無声状態を検出する検出ステップと、
   前記検出ステップにおいて検出された連続する２回の無声状態の間に、前記取得手段によって取得され、前記生成ステップにおいて生成された前記文字データが示す文字の文字数が、所定数より多いか否か判断する第二判断ステップと、
   を実行させ、
   前記記憶制御ステップでは、前記第二判断ステップにおいて前記文字数が所定数よりも多いと判断された場合、前記第一判断ステップにおける前記文字データに対する判断処理は行われずに、前記文字データを前記記憶部に記憶する処理が行われることを特徴とする情報記憶プログラム。

Images