JP6511380B2 - 記録システムのための制御装置、記録システム、記録システムのための制御方法及び記録システムのための制御プログラム - Google Patents

Description

本発明は、記録システムのための制御装置、記録システム、記録システムのための制御方法及び記録システムのための制御プログラムに関する。

一般に、複数の情報が関連付けられて記録されることが有益であることがある。例えば特許文献１には、画像に、音声タグが付加されることに係る技術が開示されている。この技術では、音声認識に係る技術によって作成された言語情報と画像とが関連付けられる。また、特許文献１には、このような関連付けの際に、音声タグが記録されたデータベースが利用されることについて開示されている。

また、特許文献２には、コンクリートの欠陥を発見するために行われる打音試験において、打撃音を解析する技術が開示されている。特許文献２には、例えば、健全部に係る打撃音と比較して欠陥部の打撃音は周波数が低いことを利用して、打撃音を解析することで欠陥を検出することに係る技術が開示されている。

また、道路のトンネルの点検方法について、以下のような方法が知られている。点検員は試験体に対してハンマーを用いて打撃し、打撃音が清音か濁音かを記録する。さらに、点検員は、反発感が有るか無いかも記録する。また、点検員は、近接目視、打音及び触診によって接着系ボルトの良・不良を判定し、写真を撮影する。試験結果及び写真類は、記録表として取りまとめられる。

特開２０１３−５２１５６７号公報 特開２００２−３４０８７０号公報

キーボードなどで入力されるテキストデータ以外のデータは、様々なノイズ成分を含みやすく、正しい判定は困難な状況が多い。

そこで本発明は、記入すべき項目に対して適切なデータの判定を行い、判定結果を適切に提示させる記録システムのための制御装置、記録システム、記録システムのための制御方法及び記録システムのための制御プログラムを提供することを目的とする。

本発明の一態様によれば、記録システムのための制御装置は、収音装置から音データを取得するための音取得部と、前記音データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する記録情報として記録する記録制御部と、前記複数の項目のうち、未だに前記記録情報が記録されていない項目を未入力項目として抽出する項目管理部と、前記未入力項目を提示させる提示制御部と、前記音データに基づいて、テキスト情報を作成するテキスト化部と、前記テキスト情報の候補を含む用語データベースとを備え、前記記録制御部は、前記テキスト化部によって作成された前記テキスト情報を前記記録情報として記録し、前記テキスト化部は、前記用語データベースを利用して前記テキスト情報を作成し、前記提示制御部は、前記未入力項目が明示される表示を表示装置に行わせる表示制御部を含み、前記テキスト化部が前記用語データベースに含まれる複数の候補を発見した場合、前記表示制御部は、前記複数の候補を前記表示装置に表示させ、前記テキスト化部は、前記複数の候補のうちから選択された前記候補に基づいて前記テキスト情報を作成する。
本発明の一態様によれば、記録システムのための制御装置は、収音装置から音データを取得するための音取得部と、前記音データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する記録情報として記録する記録制御部と、前記複数の項目のうち、未だに前記記録情報が記録されていない項目を未入力項目として抽出する項目管理部と、前記未入力項目を提示させる提示制御部と、前記音データに基づいて、テキスト情報を作成するテキスト化部とを備え、前記記録制御部は、前記テキスト化部によって作成された前記テキスト情報を前記記録情報として記録し、前記記録制御部は、前記テキスト化部によって作成された前記テキスト情報を前記記録情報として記録した後にも前記未入力項目がある場合、前記テキスト化部以外から前記音データに基づかない方法で取得されたテキスト情報を前記記録情報として記録する。
本発明の一態様によれば、記録システムのための制御装置は、収音装置から音データを取得するための音取得部と、前記音データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する記録情報として記録する第１の記録制御部と、前記複数の項目のうち、未だに前記記録情報が記録されていない項目を未入力項目として抽出する項目管理部と、前記未入力項目を提示させる提示制御部と、前記音データに基づいて、テキスト情報を作成するテキスト化部とを備え、前記第１の記録制御部は、前記テキスト化部によって作成された前記テキスト情報を前記記録情報として記録し、前記音データに含まれる有意な音である有意音部分を抽出する成分抽出部と、前記有意音部分に係る情報と前記テキスト情報とを関連付けて記録する第２の記録制御部とをさらに備える。
本発明の一態様によれば、記録システムのための制御装置は、収音装置から音データを取得するための音取得部と、前記音データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する記録情報として記録する第１の記録制御部と、前記複数の項目のうち、未だに前記記録情報が記録されていない項目を未入力項目として抽出する項目管理部と、前記未入力項目を提示させる提示制御部と、前記音データに基づいて、テキスト情報を作成するテキスト化部とを備え、前記第１の記録制御部は、前記テキスト化部によって作成された前記テキスト情報を前記記録情報として記録し、前記音データに含まれる有意な音である有意音部分を抽出する成分抽出部と、前記有意音部分に係る情報と前記テキスト情報とを関連付けて記録する第２の記録制御部とをさらに備え、前記第２の記録制御部は、前記有意音部分に係る情報と前記テキスト情報とを、１つのファイルに記録する。

本発明の一態様によれば、記録システムは、上述の制御装置と、前記収音装置と、前記表示装置とを備える。
本発明の一態様によれば、記録システムのための制御方法は、収音装置から音データを取得することと、前記音データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する記録情報として記録することと、前記複数の項目のうち、未だに前記記録情報が記録されていない項目を未入力項目として抽出することと、前記未入力項目を提示させることと、テキスト化部によって前記音データに基づいて、テキスト情報を作成することとを備え、前記音データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する記録情報として記録するときに、前記作成された前記テキスト情報を前記記録情報として記録し、前記作成された前記テキスト情報を前記記録情報として記録した後にも前記未入力項目がある場合、前記テキスト化部以外から前記音データに基づかない方法で取得されたテキスト情報を前記記録情報として記録する。
本発明の一態様によれば、記録システムのための制御プログラムは、収音装置から音データを取得することと、前記音データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する記録情報として記録することと、前記複数の項目のうち、未だに前記記録情報が記録されていない項目を未入力項目として抽出することと、前記未入力項目を提示させることと、テキスト化部によって前記音データに基づいて、テキスト情報を作成することとをコンピュータに実行させるための記録システムのための制御プログラムであって、前記音データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する記録情報として記録するときに、前記作成された前記テキスト情報を前記記録情報として記録させることと、前記作成された前記テキスト情報を前記記録情報として記録した後にも前記未入力項目がある場合、前記テキスト化部以外から前記音データに基づかない方法で取得されたテキスト情報を前記記録情報として記録させることとを前記コンピュータに実行させる。

本発明によれば、記入すべき項目に対して適切なデータの判定を行い、判定結果を適切に提示させる記録システムのための制御装置、記録システム、記録システムのための制御方法及び記録システムのための制御プログラムを提供できる。

図１は、一実施形態に係る記録システムの構成例の概略を示すブロック図である。 図２は、一実施形態に係る成分抽出部の構成例の概略を示すブロック図である。 図３は、一実施形態に係る記録システムの構成の一例と記録システムの使用状況の一例を説明するための図である。 図４は、打音試験において取得される音データの一例を模式的に示す図であり、音データの処理について説明するための図である。 図５は、一実施形態に係る検査結果ファイルの構成例の概略を示す図である。 図６は、一実施形態に係るメイン制御処理の一例を示すフローチャートである。 図７は、一実施形態に係る検査モード処理の一例を示すフローチャートである。 図８は、一実施形態に係る表示装置に表示される映像の一例を示す図であり、検査項目が未入力の場合を示す図である。 図９は、一実施形態に係る音声記録処理の一例を示すフローチャートである。 図１０は、一実施形態に係る表示装置に表示される映像の一例を示す図であり、検査対象、判定結果、検査音が入力された状態を示す図である。 図１１は、一実施形態に係る警告処理の一例を示すフローチャートである。 図１２は、一実施形態に係る画像記録処理の一例を示すフローチャートである。 図１３は、一実施形態に係る表示装置に表示される映像の一例を示す図であり、検査対象、判定結果、検査音、検査対象画像が入力された状態を示す図である。 図１４は、一実施形態に係る検査終了判定処理の一例を示すフローチャートである。 図１５は、一実施形態に係る表示装置に表示される映像の一例を示す図であり、入力項目が全て入力された状態を示す図である。 図１６は、一実施形態に係る表示装置に表示される映像の一例を示す図であり、検索モードにおける表示例を示す図である。 図１７は、一実施形態に係る検索モード処理の一例を示すフローチャートである。

本発明の一実施形態に係る記録システムについて図面を参照して説明する。本実施形態に係る記録システムは、例えば特定用途の記録を効率的に行うためのシステムである。この記録システムによれば、テキスト情報及び音情報が精度よく抽出され整理されて記録される。また、必要に応じて画像情報も併せて記録される。

〈システム構成〉
本実施形態に係る記録システム１０の構成例の概略を図１に示す。図１に示すように、記録システム１０は、制御装置１００と、収音装置２００と、撮像装置３００と、表示装置４００とを備える。制御装置１００は、記録システム１０の全体の動作を制御する制御装置である。

収音装置２００は、マイクロフォンを含む。収音装置２００は、音波を電気信号に変換し、音データを作成する。収音装置２００は、作成した音データを制御装置１００に送信する。収音装置２００による音データの作成は、制御装置１００によって制御されてもよい。なお、ユーザは両手を自由に使えることが好ましく、記録システム１０の操作でユーザの手はふさがらないことが好ましい。このため、収音装置２００のマイクロフォンは、ユーザの体に対して固定されていることが好ましい。

撮像装置３００は、撮像光学系及び撮像素子を含む撮像部を有する。撮像装置３００は、被写体像を電気信号に変換し、画像データを作成する。撮像装置３００は、作成した画像データを制御装置１００に送信する。撮像装置３００による画像データの作成は、制御装置１００によって制御されてもよい。なお、本実施形態ではユーザの両手は記録システム１０の動作に対して自由であることが好ましいので、撮像装置３００の撮像部は、ユーザの体に対して固定されていることが好ましい。

表示装置４００は、表示素子を含む。表示装置４００は、制御装置１００の制御下で映像を表示する。なお、本実施形態ではユーザの両手は記録システム１０の動作に対して自由であることが好ましいので、表示装置４００の表示素子は、ユーザの体に対して固定されていることが好ましい。すなわち、表示装置４００は、例えばヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ；ＨＭＤ）等であることが好ましい。

制御装置１００は、制御回路１１０と、音声処理回路１３０と、画像処理回路１４０と、記憶装置１６０と、通信装置１７０と、入力装置１８０とを備える。制御回路１１０と、音声処理回路１３０と、画像処理回路１４０と、記憶装置１６０と、通信装置１７０と、入力装置１８０とは、それぞれバスライン１９０を介して接続されている。

制御回路１１０は、制御装置１００の全体の動作を制御する。音声処理回路１３０は、収音装置２００で作成された音データの処理を行う。音声処理回路１３０は、音取得部１３１と、成分抽出部１３２と、テキスト化部１３３と、検査音抽出部１３４とを含む。

音取得部１３１は、収音装置２００で作成された音データを取得し、当該音データを成分抽出部１３２へと伝達する。

成分抽出部１３２は、音データのうち、言語として有意な部分である言語部分と、言語部分以外の部分であって音として有意な部分である有意音部分とを抽出する。言語音の周波数分布は雑音の周波数分布と異なる。すなわち、雑音では、周波数分布は時間経過とともにそれほど変化せずに、振幅が変動する。一方で、言語音では、周波数分布は、単語、音節、感情表現、言い回し等の変化に従って時間経過とともに大きく変化するが、振幅はそれほど変動しない。また、例えば打撃音のような特定の音では、周波数分布と振幅の変化が特定の態様を示す。成分抽出部１３２は、例えばこれらの違いに基づいて、まずは雑音を除去し、その後、言語音と打撃音とを分離する。

成分抽出部１３２の構成例について図２に示すブロック図を参照して説明する。図２に示すように、成分抽出部１３２は、入力部１３２１と、雑音周波数判定部１３２２と、振幅変動予測部１３２３と、減算部１３２４と、分離部１３２５とを含む。

入力部１３２１は、音取得部１３１から音データが入力される部分である。入力部１３２１に入力された音データは、雑音周波数判定部１３２２及び減算部１３２４へと伝達される。音データを取得した雑音周波数判定部１３２２は、音データに含まれる雑音の周波数分布を抽出する。雑音周波数判定部１３２２は、抽出した雑音の周波数分布を振幅変動予測部１３２３へと伝達する。振幅変動予測部１３２３は、雑音の周波数分布について、過去の振幅の大きさの変動に基づいて、振幅の変動を予測する。振幅変動予測部１３２３は、予測された雑音の周波数分布に係る振幅の変動を減算部１３２４へと出力する。

減算部１３２４は、入力部１３２１から取得した音データから振幅変動予測部１３２３から取得した雑音の予測値を減じて雑音を除去した音データを作成する。減算部１３２４は、雑音を除去した音データを分離部１３２５へと伝達する。分離部１３２５は、雑音を除去した音データの周波数分布及び振幅変動等に基づいて、言語音と検査音とを分離する。分離部１３２５は、分離した言語音の音データをテキスト化部１３３へと伝達し、検査音の音データを検査音抽出部１３４へと伝達する。

図１に戻って説明を続ける。テキスト化部１３３は、成分抽出部１３２から言語部分の音データ、すなわち、言語音の音データを受け取り、当該音データに基づいて、音声認識技術を用いてテキスト情報を作成する。テキスト化部１３３は、記憶装置１６０に保存されている音声認識データベース（ＤＢ）１６３を利用して、テキスト情報を作成してもよい。音声認識ＤＢ１６３は、例えば音データと検査に用いられる単語のテキスト情報との関係を示す情報を含む。テキスト化部１３３は、取得した音データを音声認識ＤＢ１６３と照合することで、検査に用いられる単語を決定する。テキスト化部１３３による音声認識方法には、どのような技術が用いられてもよい。テキスト化部１３３は、作成したテキスト情報を制御回路１１０へと出力する。

なお、音声認識ＤＢ１６３に記録されている情報は、例えば国又は地域によって異なり得る。また、音声認識ＤＢ１６３に記録されている情報は、記録システム１０が使用される状況に依存する認識されるべき単語の違いによっても異なり得る。音声認識ＤＢ１６３には、認識されるべき単語を読み上げた音声、又は当該単語を音声合成した結果が含まれていてもよい。

検査音抽出部１３４は、成分抽出部１３２から有意音部分の音データ、すなわち、検査音を含む音データを受け取り、当該音データから、検査音の部分を抽出する。検査音抽出部１３４は、抽出した検査音の音データを制御回路１１０へと出力する。

画像処理回路１４０は、撮像装置３００で作成された画像データに対する画像処理を行う。画像処理回路１４０は、画像取得部１４１と画像処理部１４２とを含む。画像取得部１４１は、撮像装置３００で作成された画像データを取得し、当該画像データを画像処理部１４２へと伝達する。画像処理部１４２は、画像取得部１４１から取得した画像データに対して、必要な種々の画像処理を施す。画像処理部１４２は、画像処理後の画像データを制御回路１１０へと出力する。

記憶装置１６０は、例えば、半導体メモリ、ハードディスク、光ディスク等を含む。記憶装置１６０には、記録システム１０が記録すべき情報や、制御装置１００の動作に必要な各種情報が記録されている。例えば、記録システム１０がある種の検査に用いられる場合、記憶装置１６０には、検査結果ファイル群１６１が保存される。検査結果ファイル群１６１には、検査結果の情報を含む１つ以上の検査結果ファイル６００が含まれる。記憶装置１６０には、検査結果に限らず、記録システム１０が記録すべき種々のデータが記録され得る。また、記憶装置１６０には、制御回路１１０で用いられるプログラムや各種パラメータ等を含む制御情報１６２が記録されている。また、記憶装置１６０には、前述の音声認識ＤＢ１６３が記録されている。また、記憶装置１６０には、検査用語がリスト化された検査用語ＤＢ１６４が記録されている。検査用語ＤＢ１６４は、後述するように、テキスト化部１３３によって作成されたテキスト情報を、検査対象又は検査の結果を表す評価結果を記録する際に利用される。

通信装置１７０は、制御回路１１０の制御下で、収音装置２００、撮像装置３００及び表示装置４００等との通信を行う。制御装置１００は、通信装置１７０を介して、外部機器から情報を取得したり、外部機器の動作を制御したりする。また、制御装置１００は、通信装置１７０を介して、例えばインターネット等のネットワークに接続し、ネットワーク上に存在するデータベース等に情報をアップロードしたり、データベース等から情報をダウンロードしたりすることができる。通信装置１７０による通信には、無線通信が用いられても、有線通信が用いられてもよい。無線通信としては、例えば、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が用いられ得る。撮像装置３００又は表示装置４００との通信のように、画像データのような比較的大きなデータを送受信する場合、Ｗｉ−Ｆｉのような比較的高速な通信手法が用いられることが好ましい。収音装置２００との通信のように、音データのような比較的小さなデータを送受信する場合、Ｂｌｕｅｔｏｏｔｈのような比較的低速な通信手法が用いられてもよい。

入力装置１８０は、例えばボタンスイッチ、キーボード、タッチパネル等を含む。入力装置１８０は、ユーザからの入力を取得する。入力装置１８０に入力された情報は、制御回路１１０で処理される。

制御回路１１０は、記録制御部１１１と、項目管理部１１２と、通信制御部１１３と、検索制御部１１４と、収音制御部１１６と、撮像制御部１１７と、表示制御部１１８とを含む。

記録制御部１１１は、例えば音声処理回路１３０のテキスト化部１３３から取得したテキスト情報、検査音抽出部１３４から取得した検査音情報等を、記録情報として記憶装置１６０に適切に記録することを制御する。このとき記録されるファイルが検査結果ファイル６００となる。なお、記録先は、制御装置１００内の記憶装置１６０に限らない。例えば、ネットワークを介して制御装置１００の外部の記憶装置に各種情報が記録されてもよい。

項目管理部１１２は、検査結果ファイルに記録されるべき項目について管理する。例えば、項目管理部１１２は、記録制御部１１１によって記録された項目と未だに記録されていない未入力項目とを特定する。項目管理部１１２は、記録されるべき項目の一覧や未入力項目等の現在の状況を、表示制御部１１８を介して表示装置４００に表示させる。

通信制御部１１３は、制御装置１００の外部と行う通信について制御する。この通信には、収音装置２００、撮像装置３００、表示装置４００等との通信が含まれる。また、通信には、例えばインターネット等との接続も含まれる。

検索制御部１１４は、記憶装置１６０又は外部のデータベースに含まれる複数の検査結果ファイル６００の中からユーザが所望する検査結果ファイル６００を検索することに係る処理の制御を行う。

収音制御部１１６は、収音装置２００の動作を制御する。例えば収音制御部１１６は、収音装置２００による音データの作成の開始や終了を制御する。このとき、収音制御部１１６は、テキスト化部１３３から取得したテキスト情報に基づいて収音装置２００に音データの作製の開始や終了を行わせてもよい。

撮像制御部１１７は、撮像装置３００の動作を制御する。例えば撮像制御部１１７は、撮像装置３００による撮像のタイミングを制御する。このとき、撮像制御部１１７は、テキスト化部１３３から取得したテキスト情報に基づいて撮像装置３００に撮像を行わせてもよい。

表示制御部１１８は、表示装置４００の動作を制御する。表示制御部１１８は、項目管理部１１２の指示の下、表示装置４００に、項目一覧を表示させたり、記録システム１０の状態を表示させたりする。また、表示制御部１１８は、検索制御部１１４による検索結果等について、表示装置４００に表示させる。

制御回路１１０、音声処理回路１３０及び画像処理回路１４０は、例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＡＳＩＣ）、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）等の集積回路を含む。制御回路１１０、音声処理回路１３０及び画像処理回路１４０は、それぞれ１つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、制御回路１１０、音声処理回路１３０及び画像処理回路１４０の何れか２つ以上が１つの集積回路等で構成されてもよい。制御回路１１０、音声処理回路１３０及び画像処理回路１４０の動作は、例えば記憶装置１６０に記録された制御情報１６２に含まれるプログラムや各回路内の記録領域に記録されたプログラム等に従って行われる。

〈記録システムの動作の概要〉
本実施形態に係る記録システム１０の１つの使用例を説明する。ここでは、記録システム１０が、土木構造物の打音試験の結果の記録に用いられる場合について説明する。打音試験では、検査対象の名称と、検査対象を打撃したときに発生する打撃音と、打撃音が清音であるか濁音であるかの判定結果と、検査対象の写真とが１つのファイルに関連付けて記録されるものとする。

図３は、ユーザ９００が打音試験を行っている場面を示す模式図である。図３に示すように、ユーザ９００は、制御装置１００と、収音装置２００と、撮像装置３００と、表示装置４００とを身体に装着する。これらの装置を身体に装着することで、ユーザ９００は、両手を自由に使える。

ユーザ９００は、記録を開始するにあたって、例えば「記録」と発声する。この音声を収音装置２００が取得し、その内容を制御装置１００が特定することで、録音が開始される。続いて、ユーザ９００は検査対象９５０を例えばハンマー９１０で打撃する。収音装置２００は発生した打撃音を取得し、制御装置１００はこの音が打撃音であると識別する。制御装置１００は、打撃音の音データを検査結果ファイル６００に記録する。続いて、ユーザ９００は検査対象を述べる。例えばユーザ９００は「ボルト１」と発声する。この音声を収音装置２００が取得し、制御装置１００が音声認識を行う。この音声認識結果に基づいて、検査結果ファイル６００に検査対象項目として「ボルト１」というテキスト情報が記録される。続いて、ユーザ９００は、打撃音が清音であるか濁音であるかを判断し、例えば「清音」と発声する。この音声を収音装置２００が取得し、制御装置１００が音声認識を行う。この音声認識結果に基づいて、検査結果ファイル６００に評価結果項目として「清音」というテキスト情報が記録される。さらに、ユーザ９００は、検査対象を撮影するために、例えば「撮影」と発声する。この音声を収音装置２００が取得し、制御装置１００が検出する。制御装置１００は、検出結果に基づいて、撮像装置３００に撮像を行わせる。制御装置１００は、このようにして得られた画像データを検査結果ファイル６００に画像情報として記録する。以上によって１つの打音試験が終了する。

打音試験において取得される音について、音データを模式的に示す図４を参照して説明する。図４は、横軸に示した時間に対する音データである信号の振幅を示す図である。図４の上段（ａ）は、収音装置２００で取得された元の音データを示す。図４に示す例では、「カンカン」という打撃音の後に、ユーザが検査対象を述べる「ボルト１」という声が続き、最後にユーザが判定結果を述べる「清音」という声が続く。

まず、図４の上段（ａ）に示す元の音データから雑音が除去される。さらに、雑音が除去された音について、言語音と検査音とが分離される。図４の中段（ｂ）は、分離された言語音の音データを示す。図４の下段（ｃ）は、分離された検査音の音データを示す。すなわち、図４に示すように、音データの開始時Ｔｓｔから終了時Ｔｅｎのうち、打撃音は、検査音開始時Ｔｒｅｃｓから検査音終了時Ｔｒｅｃｅまでの間に含まれる。また、ユーザが検査対象を述べる声は、第１の言語開始時Ｔｔｘ１ｓから第１の言語終了時Ｔｔｘ１ｅまでの間に含まれる。また、ユーザが判定結果を述べる声は、第２の言語開始時Ｔｔｘ２ｓから第２の言語終了時Ｔｔｘ２ｅまでの間に含まれる。

本実施形態では、図４の中段（ｂ）に示すような雑音が除去された言語音のデータに基づいて、音声認識技術が適用される。その結果、第１の言語開始時Ｔｔｘ１ｓから第１の言語終了時Ｔｔｘ１ｅまでの音データに基づいて、テキスト情報が作成される。同様に、第２の言語開始時Ｔｔｘ２ｓから第２の言語終了時Ｔｔｘ２ｅまでの音データに基づいて、テキスト情報が作成される。これらのテキスト情報は、検査結果ファイル６００に記録される。また、図４の下段（ｃ）に示すような雑音が除去された検査音のデータは、打撃音として検査結果ファイル６００に記録される。

ここでは、検査音、検査対象、判定結果、画像の順に情報が検査結果ファイルに記録される例を示したがこれに限らない。例えば画像はいつ記録されてもよいし、ユーザが検査対象を述べた後に打撃を行うことで、検査対象の後に打撃音が記録されてもよいし、その他の順番で情報が記録されてもよい。

〈検査結果ファイルの構成〉
検査結果ファイル６００の構成例の概要について図５を参照して説明する。検査結果ファイル６００は、音データ６１０と、検査対象情報６２０と、評価結果情報６３０と、検査音情報６４０と、画像情報６５０と、検査情報６６０とを含む。

音データ６１０は、収音装置２００を用いて収録された音のデータである。音データ６１０は、例えば図４に示した開始時Ｔｓｔから終了時Ｔｅｎまでのデータである。すなわち、音データ６１０は、例えばユーザが検査対象と評価結果とを述べた言語音と、検査音とを含む。

検査対象情報６２０は、テキスト情報（音声認識）６２１と、テキスト情報（その他入力）６２２と、音データ有効区間情報６２３とを含む。テキスト情報（音声認識）６２１は、音データ６１０に基づいて、音声認識によって取得されたテキスト情報を含む。テキスト情報（音声認識）６２１には、例えば図４に示す例では、第１の言語開始時Ｔｔｘ１ｓから第１の言語終了時Ｔｔｘ１ｅまでの音データに基づいて作成された「ボルト１」というテキスト情報が含まれることになる。テキスト情報（その他入力）６２２は、音声認識以外の方法によって入力されたテキスト情報を含む。音声認識以外の入力方法は、例えばキーボードやタッチパネル等による入力を含む。音データ有効区間情報６２３は、音データ６１０のうち、テキスト情報（音声認識）６２１を取得するにあたって利用した区間を示す情報を含む。例えば図４に示す例では、音データ有効区間情報６２３は、開始が第１の言語開始時Ｔｔｘ１ｓであり、終了が第１の言語終了時Ｔｔｘ１ｅであるという情報を含む。

なお、テキスト情報（その他入力）６２２は、音声認識が適切に行われず、例えばキーボードなどからテキスト情報が入力された場合のみ検査対象情報６２０に含まれるように構成されてもよい。また、例えばキーボードなどからテキスト情報が入力された場合、テキスト情報（音声認識）６２１が含まれなくてもよい。また、音声認識によるテキスト情報（音声認識）６２１と、その他の入力によるテキスト情報（その他入力）６２２とが別々に設けられずに、１つのテキスト情報として検査対象情報６２０に含まれ、当該テキスト情報が音声認識によるものであるのかその他の入力によるものであるのかを示す情報が、当該テキスト情報に付加されるのみでもよい。

評価結果情報６３０は、テキスト情報（音声認識）６３１と、テキスト情報（その他入力）６３２と、音データ有効区間情報６３３とを含む。テキスト情報（音声認識）６３１は、音データ６１０に基づいて、音声認識によって取得されたテキスト情報を含む。テキスト情報（音声認識）６３１には、例えば図４に示す例では、第２の言語開始時Ｔｔｘ２ｓから第２の言語終了時Ｔｔｘ２ｅまでの音データに基づいて作成された「清音」というテキスト情報が含まれることになる。テキスト情報（その他入力）６３２は、音声認識以外の方法によって入力されたテキスト情報を含む。音声認識以外の入力方法は、例えばキーボードやタッチパネル等による入力を含む。音データ有効区間情報６３３は、音データ６１０のうち、テキスト情報（音声認識）６３１を取得するにあたって利用した区間を示す情報を含む。例えば図４に示す例では、音データ有効区間情報６３３は、開始が第２の言語開始時Ｔｔｘ２ｓであり、終了が第２の言語終了時Ｔｔｘ２ｅであるという情報を含む。

なお、テキスト情報（その他入力）６３２は、音声認識が適切に行われず、例えばキーボードなどからテキスト情報が入力された場合のみ評価結果情報６３０に含まれるように構成されてもよい。また、例えばキーボードなどからテキスト情報が入力された場合、テキスト情報（音声認識）６３１が含まれなくてもよい。また、音声認識によるテキスト情報（音声認識）６３１と、その他の入力によるテキスト情報（その他入力）６３２とが別々に設けられずに、１つのテキスト情報として評価結果情報６３０に含まれ、当該テキスト情報が音声認識によるものであるのかその他の入力によるものであるのかを示す情報が、当該テキスト情報に付加されるのみでもよい。

検査音情報６４０は、音データ有効区間情報６４２を含む。音データ有効区間情報６４２は、音データ６１０のうち、検査音が含まれる区間を示す情報を含む。例えば図４に示す例では、音データ有効区間情報６４２は、開始が検査音開始時Ｔｒｅｃｓであり、終了が検査音終了時Ｔｒｅｃｅであるという情報を含む。また、検査音情報６４０は、音データ６１０のうち検査音開始時Ｔｒｅｃｓから検査音終了時Ｔｒｅｃｅまでに相当する音データ６４１を含んでいてもよい。

画像情報６５０は、画像データ６５１と、撮影日時情報６５２とを含む。画像データ６５１は、撮像装置３００によって取得され、画像処理部１４２で画像処理されたデータを含む。例えば、図３に示す例では、画像データ６５１は、検査対象であるボルトの写真を示すデータである。撮影日時情報６５２は、撮像装置３００によって撮像された日時情報を含む。画像情報６５０は、撮影日時情報６５２に加えて、画像データ６５１に係る情報を含んでいてもよい。例えば、画像情報６５０は、当該画像の撮影に用いられた撮像装置３００の情報や、撮影条件等の情報を含んでいてもよい。また、撮影日時情報６５２は、省略されてもよい。

検査情報６６０は、任意の項目である。検査情報６６０は、例えば検査者情報６６１と、検査日時情報６６２と、検査場所情報６６３とを含む。検査者情報６６１は、検査結果ファイル６００に記録される検査を行った検査者に係る情報を含む。検査日時情報は当該検査を行った日時を示す情報であり、検査場所情報は当該検査を行った場所を示す情報である。

記録制御部１１１は、上述のように、音データ６１０、検査対象情報６２０、評価結果情報６３０、検査音情報６４０、画像情報６５０、検査情報６６０等を、記録すべき項目として管理し、各種情報をこれらの項目に対応する記録情報として記録する制御を行う。このようにして、各項目は関連付けられて記録される。

また、環境によっては、レポート的に環境音情報を記録した方がよい場合があるが、このような用途においては、別の領域に環境音やそこから得られる情報（音圧やリズム、周波数、音によるシーン判定結果など）を分離して記録できるようにしてもよい。例えば、同じ環境下で得られた音声を検索する場合に、このような情報を用いた検索が有効になることがありえる。

ここに示した検査結果ファイル６００の構成は一例であって、このような構成に限らず、他の構成であってもよい。また、検査結果ファイル６００には、音データ６１０と、検査対象情報６２０と、評価結果情報６３０と、検査音情報６４０と、画像情報６５０と、検査情報６６０とのうち一部しか含まれていなくてもよいし、他の情報が含まれていてもよい。また、ここでは、「検査結果ファイル」と書いているが、特別なファイルには限定されない。音声を主とした「音声ファイル」や画像を主とした「画像ファイル」も、上述のような構成のファイルに拡張され得る。すなわち、本発明は、検査結果をタグ情報化した音声ファイルに関わる技術にも応用は可能な発明であり、さらには、検査結果を関連づけた画像ファイルに関わる技術や、それらの関連技術にも応用可能な発明であるということを強調しておく。

〈記録システムの動作〉
本実施形態に係る記録システム１０の動作について、図面を参照して説明する。本実施形態に係るメイン制御について、図６に示すフローチャートを参照して説明する。

ステップＳ１０１において、制御装置１００は、記録システム１０に入力されている情報を取得する。ここで取得される情報には、後述する検査モードと検索モードとのうち何が選択されているかを表す情報や検査を開始する旨の指示等が含まれる。これらの情報は、例えばスイッチ又はタッチパネル等によって入力されてもよい。すなわち、例えば入力装置１８０を用いて入力された情報を、制御回路１１０が取得してもよい。また、ユーザが発する声を音声認識することで用いる音声入力によってもよい。すなわち、例えば収音装置２００によって収音され、音声処理回路１３０で音声認識された情報を、制御回路１１０が取得してもよい。

ステップＳ１０２において、制御装置１００の制御回路１１０は、現在選択されているモードが、検査モードであるか検索モードであるかを判定する。検査モードであるとき、処理はステップＳ１０３に進む。ステップＳ１０３において、制御装置１００の制御回路１１０は、検査を開始するか否かを判定する。検査を開始しないとき、処理はステップＳ１０１に戻る。一方、検査を開始するとき、処理はステップＳ１０４に進む。

ステップＳ１０４において、制御装置１００は、検査モード処理を行う。検査モード処理は、打音、ユーザが述べる検査対象、及び評価結果等が録音され、それらに基づいて検査結果が記録された検査結果ファイル６００が作成される処理である。また、検査モード処理では、撮像が行われ、得られた画像が検査結果ファイル６００に記録されてもよい。
検査モード処理については、後に詳述する。検査モード処理の後、処理はステップＳ１０６に進む。

ステップＳ１０２において、現在選択されているモードが検索モードであると判定されたとき、処理はステップＳ１０５に進む。ステップＳ１０５において、制御装置１００は、検索モード処理を実行する。検索モード処理は、検査モード処理で取得された検査結果の中から、ユーザが関心を有するデータを選択する処理である。検索モード処理については、後に詳述する。検索モード処理の後、処理はステップＳ１０６に進む。

ステップＳ１０６において、制御装置１００の制御回路１１０は、当該メイン制御を終了するか否かを判定する。メイン制御を終了しないとき、処理はステップＳ１０１に戻る。一方、メイン制御を終了するとき、本処理は終了する。

次に、ステップＳ１０４で行われる検査モード処理について、図７に示すフローチャートを参照して説明する。

ステップＳ２０１において、制御装置１００は、検査結果が記録される検査結果ファイル６００の読み出し又は作成を行う。すなわち、制御回路１１０の記録制御部１１１は、記憶装置１６０に記録された検査結果ファイル群１６１に含まれる既に存在する検査結果ファイル６００に追加的に情報を記録する場合は、当該検査結果ファイル６００を記憶装置１６０から読み出す。また、記録制御部１１１は、情報を記録する検査結果ファイル６００が検査結果ファイル群１６１に存在しないときは、検査結果ファイル６００を新規に作成する。

ステップＳ２０２において、制御装置１００は、表示装置４００に検査モード用の映像を表示させる。すなわち、制御回路１１０の表示制御部１１８は、表示装置４００の表示動作を制御する。検査モード用の初期表示の一例を図８に示す。この図に示すように、表示装置４００に表示される映像７０１には、例えば検査結果ファイルに記録されるべき項目が含まれる。記録されるべき項目としては、検査対象、判定結果、打撃音、検査対象の画像等が含まれ得る。そこで、表示装置４００に表示される映像には、例えば、検査対象を示す欄７１０と、判定結果を示す欄７２０と、打撃音の録音の有無を示す欄７３０と、検査対象の画像の撮像の有無を示す欄７４０とが含まれ得る。図８に示す映像７０１の例は、検査対象、判定結果、打撃音、検査対象が未入力である場合を示している。

ステップＳ２０３において、制御装置１００は、記録システム１０に入力される情報を取得する。ここで取得される情報には、例えば記録すべき情報が音データであるのか画像データであるのかを示す情報が含まれる。これらの情報は、例えばスイッチ又はタッチパネル等によって入力されてもよいし、ユーザが発する声を音声認識することで用いる音声入力によってもよい。

ステップＳ２０４において、制御装置１００の制御回路１１０は、記録する情報が音声等の音データであるか画像データであるかを判定する。例えば、収音装置２００によって有意な音声が検出されたとき、音声記録であると判定される。例えば、図３に示す例では、ユーザによって「記録」と発声されたとき、音声記録であると判定される。あるいは、音声記録を開始すべき旨の操作が制御装置１００の入力装置１８０に入力されたとき、音声記録であると判定される。また、例えば、撮像装置３００による撮像が行われるための操作が行われたとき、画像記録であると判定される。また、例えば図３に示す例では、ユーザによって「撮影」と発声されたとき、画像記録であると判定される。音声記録であるとき、処理はステップＳ２０５に進む。

ステップＳ２０５において、制御装置１００は、音声記録処理を行う。音声記録処理では、収音装置２００で生成された音データに基づいて、必要な情報が抽出されて、当該情報がステップＳ２０１で開かれた検査結果ファイル６００に記録される。音声記録処理については、後に詳述する。音声記録処理の後、処理はステップＳ２０７に進む。

ステップＳ２０４において、記録する情報が画像であると判定されたとき、処理はステップＳ２０６に進む。ステップＳ２０６において、制御装置１００は、画像記録処理を行う。画像記録処理では、撮像装置３００で生成された画像データに基づく必要な画像情報が、ステップＳ２０１で開かれた検査結果ファイル６００に記録される。画像記録処理については、後に詳述する。画像記録処理の後、処理はステップＳ２０７に進む。

ステップＳ２０７において、制御装置１００は、検査終了判定処理を行う。検査終了判定処理は、規定の検査項目の全てについて情報が入力されたか否かを判定し、検査を終了させるか否かを決定する処理である。また、検査終了判定処理では、入力が必要な項目について、入力が促されたり、収音装置２００又は撮像装置３００以外の装置による情報入力のための処理が行われたりする。検査終了判定処理については、後に詳述する。検査終了判定処理の後、処理はステップＳ２０８に進む。

ステップＳ２０８において、制御装置１００の制御回路１１０は、検査終了判定処理の結果に基づいて、検査を終了するか否かを判定する。検査を終了しないとき、処理はステップＳ２０２に戻る。一方、検査を終了するとき、処理はステップＳ２０９に進む。ステップＳ２０９において、制御回路１１０の記録制御部１１１は、現在開いている検査結果ファイル６００を閉じる。以上によって、検査モード処理は終了し、処理はメイン制御に戻る。

次に、ステップＳ２０５で行われる音声記録処理について、図９を参照して説明する。

ステップＳ３０１において、制御装置１００の音声処理回路１３０は、収音装置２００から、音データを取得する。ステップＳ３０２において、音声処理回路１３０の成分抽出部１３２は、現在取得している音データが声に係るデータであるか否かを判定する。音データが声に係るデータであるとき、処理はステップＳ３０３に進む。

ステップＳ３０３において、音声処理回路１３０のテキスト化部１３３は、取得した声の情報を音素に分解して当該声が表す情報をテキスト化し、テキスト情報を取得する。

ステップＳ３０４において、制御装置１００の制御回路１１０は、ステップＳ３０３で得られたテキスト情報が記憶装置１６０の検査用語ＤＢ１６４に記録された検査に用いられる用語のうちの１つと一致しているか否かを判定する。テキスト情報と用語の１つとが一致しているとき、処理はステップＳ３０５に進む。

ステップＳ３０５において、制御装置１００の制御回路１１０は、一致していると判定された用語が、検査対象に係るものであるか判定結果に係るものであるかを判定する。用語が検査対象に係るものであるとき、処理はステップＳ３０６に進む。ステップＳ３０６において、制御回路１１０の記録制御部１１１は、ステップＳ３０３で得られたテキスト情報を、検査結果ファイル６００に検査対象を示すテキスト情報（音声認識）６２１として記録する。その後、処理はステップＳ３１２に進む。

ステップＳ３０５において、用語が判定結果に係るものであると判定されたとき、処理はステップＳ３０７に進む。ステップＳ３０７において、制御回路１１０の記録制御部１１１は、ステップＳ３０３で得られたテキスト情報を、検査結果ファイル６００に判定結果を示すテキスト情報（音声認識）６３１として記録する。その後、処理はステップＳ３１２に進む。

ステップＳ３０４において、テキスト情報と検査用語ＤＢに含まれる用語の１つとが一致していないと判定されたとき、処理はステップＳ３０８に進む。ステップＳ３０８において、制御装置１００は、警告処理を行う。ここで行われる警告処理は、テキスト情報と検査用語とが一致していないことを警告する処理、及び音声以外の方法での情報の入力を促す処理等を含む。警告処理については、後に詳述する。警告処理の後、処理は、ステップＳ３１２に進む。

ステップＳ３０２において、音データが声に係るデータでないと判定されたとき、処理はステップＳ３０９に進む。ステップＳ３０９において、音声処理回路１３０の検査音抽出部１３４は、音の特徴が検査音に係る特徴と一致しているか否かを判定する。一致しているとき、処理はステップＳ３１０に進む。

ここでは、例えば言語部分を手がかりとして、その他の音の部分の意味を判定するという考え方を背景とすることもできる。この手がかりとして、言語から得られた情報をもとに、次に来る音を検査音（有意音）とするといった簡単な考え方が適用されてもよい。もちろん、言語に応じて検査音に必要なフィルタリングが行われたり、マイクの切換や取得する音声の方向が決定されるといった工夫が行われたりしてもよい。例えば、鳥に関する言語の後では、風の音よりも鳥の声のパターンや周波数を有する音や、鳴き始めから鳴き終わりまでの音が優先して収音されたり記録されたりしてもよい。もちろん、風の音を環境音として収音するニーズに対応してもよい。

ステップＳ３１０において、制御装置１００は、検査音と特徴が一致している音のデータとその前後の音のデータとに係る情報を、検査結果ファイル６００に検査音情報６４０として記録する。すなわち、検査音抽出部１３４は、検査音と特徴が一致している音のデータとその前後の音のデータとに係る情報を抽出し、抽出した情報を制御回路１１０へと伝達する。制御回路１１０の記録制御部１１１は、受け取った当該情報を検査音情報６４０として記憶装置１６０に記録する。その後、処理はステップＳ３１２に進む。

ステップＳ３０９において、音の特徴が検査音に係る特徴と一致していないとき、処理はステップＳ３１１に進む。ステップＳ３１１において、制御装置１００は、一致していない旨の警告を出力しつつ、当該音データについて、検査結果ファイルに記録する。すなわち、例えば制御回路１１０の表示制御部１１８は、表示装置４００に音の特徴が検査音に係る特徴と一致していない旨を表示させる。あるいは、制御装置１００は、音又は振動等によって音の特徴が検査音に係る特徴と一致していない旨をユーザに提示してもよい。また、このとき、音声処理回路１３０の検査音抽出部１３４は、取得した声でない音全体のデータを制御回路１１０へと伝達する。制御回路の記録制御部１１１は、受け取った当該情報を検査音情報６４０として記憶装置１６０に記録する。その後、処理はステップＳ３１２に進む。

ステップＳ３１２において、制御装置１００の制御回路１１０は、表示装置４００に表示させている映像を更新させる。例えば検査対象、判定結果、及び検査音が記録されたとき、入力された内容又は入力された事実を示す映像が表示装置４００に表示される。例えば、図１０に示すような映像７０２が表示される。すなわち、検査対象の項目に「ボルト１」というテキスト情報が記録されたとき、検査対象を示す欄７１０には、「ボルト１」というテキスト７１１が表示される。また、判定結果の項目に「清音」というテキスト情報が記録されたとき、判定結果を示す欄７２０には、「清音」というテキスト７２１が表示される。また、打撃音の音データが記録されたとき、打撃音の録音の有無を示す欄７３０に、打撃音の録音が済んでいる旨を示すアイコン７３１が表示される。このように、表示装置４００に表示される映像７０２には、検査結果ファイルに情報が記録される都度に、例えば「ボルト１」等のようなテキスト７１１、「清音」等のようなテキスト７２１、及び打撃音の録音が済んでいる旨を示すアイコン７３１等が含まれるようになる。ユーザは、表示装置４００に表示される映像によって、検査項目のうち、どの項目について記録されているかを知ることができる。また、ユーザは、テキストが表示されることで、どの項目にどのようなテキスト情報が記録されているかを知ることができる。ユーザは、このような表示によって、自分が発言した内容と記録された内容とが一致しているか否かを確認することもできる。

ステップＳ３１２における表示映像の更新に続いて、処理はステップＳ３１３に進む。ステップＳ３１３において、制御装置１００の制御回路１１０は、ステップＳ３０１で取得した音データは、終了したか否かを判定する。終了していないとき、処理はステップＳ３０１に戻る。一方、音データが終了したとき、音声記録処理は終了し、処理は図７を参照して説明しいている検査モード処理に戻る。

人の発する言葉などは、過去から現在へと時間軸に沿った方向に、順次、声を変えて発せられる。コミュニケーションでは、このような音声等を順次聞き進んで意味が取得される。そのため、ここでは、時間に沿って変化する音声ならではの特徴に従って、過去のタイミングから順次、そのタイミングの音が弁別、解析されるような単純化された処理について説明した。しかしながらこれに限らない。同時に発生、収音された音声に関して、ステレオ音声のように音源の方向情報で音が得られた方向による弁別、解析が行われたり、周波数によるフィルタリングによる弁別、解析が行われたり、これらが併用されたりしてもよい。また、ここでは、言語部分（テキスト化できる部分とも表現可能である）を手がかりとして、その他の音の部分の意味が判定されているという側面もある。したがって、音データを取得する音取得部と、前記音データのうち言語として有意な部分である言語部分と、前記言語部分以外の部分を優先的に解析して有意な音の部分である有意音部分とを抽出する成分抽出部と、この有意音部分を記録する記録制御部とを備える記録システムや、それに関する制御装置、技術等の発明も抽出され得る。有意義な音の部分は、成分でもよく、ノイズ除去して加工されたものでもよい。本技術は、例えば、「コオロギだ」という人の声に続いて、コオロギの声が環境音又は背景音から分離されて抽出されたり、記録されたりする用途にも活用され得る。テキスト化可能な言語部分の活用は、音声による機器への命令などの技術に利用され得るし、検索技術などを活用した、機器制御切換や音声処理の条件設定などを容易にできる。このようなテキスト情報を元にすれば、音声のみならず、画像など抽象的な情報を、意味をもって優先取得したり解析したりすることなどが可能となる。つまり音声情報から得られたテキスト情報によって、画像データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する情報として分類する分類制御部を備えるシステムのための制御装置を提供可能である。例えば、「コオロギだ」という人の声に続いて、コオロギが背景から強調された画像を背景から分離して表示する用途にも活用が可能である。このとき、テキスト化のために、特定項目をあらかじめ設け、複数の項目のうち未だ入力されていない項目を未入力項目として抽出する項目管理部が設けられれば、テキスト化時の信頼性も高まる。「コオロギ」の例で言えば、「自然観察」というカテゴリーなどが設定されることによって誤判定が防がれ得る。

次に、ステップＳ３０８で行われる警告処理について、図１１に示すフローチャートを参照して説明する。

ステップＳ４０１において、制御装置１００の制御回路１１０は、ステップＳ３０３で取得されたテキスト情報が複数の検査用語と一致しているか否かを判定する。複数の検査用語と一致していないとき、処理はステップＳ４０２に進む。

ステップＳ４０２において、制御装置１００の制御回路１１０は、ステップＳ３０３でテキスト化した言語音が所定の長さよりも短いか否かを判定する。言語音が短いとき、処理はステップＳ４０３に進む。ステップＳ４０３において、制御回路１１０の表示制御部１１８は、例えば「ゆっくり発音して下さい」とゆっくりとした発音を促すようなメッセージを、表示装置４００に表示させる。その後、警告処理は終了し、処理は図９を参照して説明している音声記録処理に戻る。

ステップＳ４０２において、言語音が短くないと判定されたとき、処理はステップＳ４０４に進む。ステップＳ４０４において、制御装置１００の制御回路１１０は、ステップＳ３０３で取得されたテキスト情報と一致する用語を、検査用語ＤＢ１６４以外の別の辞書で検索する。ここで、別の辞書は、記憶装置１６０に記録されているものでもよいし、制御装置１００の外部に記録されているものでもよい。制御装置１００の外部に記録されている情報の送受信は、例えば通信装置１７０を介して行われる。

ステップＳ４０５において、制御装置１００の制御回路１１０は、ステップＳ４０４で行われる検索によって一致する用語が見つかったか否かを判定する。一致する用語が見つかったとき、処理はステップＳ４０９に進む。一方、一致する用語が見つからなかったとき、処理はステップＳ４０６に進む。ステップＳ４０６において、制御回路１１０の表示制御部１１８は、音声認識によって適当な単語が見つからなかった旨のエラー情報を、表示装置４００に表示させる。その後、警告処理は終了し、処理は音声記録処理に戻る。

ステップＳ４０１において、テキスト情報が複数の用語と一致していると判定されたとき、処理はステップＳ４０７に進む。ステップＳ４０７において、制御装置１００の制御回路１１０は、一致した複数の用語を候補として、表示装置４００に一覧表示させる。ステップＳ４０８において、制御装置１００の制御回路１１０は、一覧表示させた候補から１つが選択されたか否かを判定する。選択されていないとき、処理はステップＳ４０８に戻る。すなわち、選択されるまで処理は待機する。一方、選択されたとき、処理はステップＳ４０９に進む。

ステップＳ４０９において、制御装置１００の制御回路１１０は、選択された用語が、検査対象に係るものであるか判定結果に係るものであるかを判定する。用語が検査対象に係るものであるとき、処理はステップＳ４１０に進む。ステップＳ４１０において、制御回路１１０の記録制御部１１１は、検査対象について選択されたテキスト情報を検査結果ファイル６００に記録する。その後、処理は音声記録処理に戻る。

ステップＳ４０９において、用語が判定結果に係るものであると判定されたとき、処理はステップＳ４１１に進む。ステップＳ４１１において、制御回路１１０の記録制御部１１１は、判定結果について選択されたテキスト情報を検査結果ファイル６００に記録する。その後、処理は音声記録処理に戻る。

次に、検査モード処理のステップＳ２０６で行われる画像記録処理について、図１２に示すフローチャートを参照して説明する。

ステップＳ５０１において、制御装置１００は、撮像装置３００で取得された画像データを取得する。すなわち、制御回路１１０の通信制御部１１３は、通信装置１７０を介した撮像装置３００との通信によって撮像装置３００に画像データを出力させる。撮像装置３００から出力された画像データは、通信装置１７０を介して画像処理回路１４０の画像取得部１４１によって取得される。ステップＳ５０２において、制御装置１００の制御回路１１０は、画像データの取得に成功したか否かを判定する。画像データの取得に成功したとき、処理はステップＳ５０３に進む。

ステップＳ５０３において、制御装置１００は、取得した画像を検査結果ファイル６００に記録する。すなわち、画像取得部１４１は、取得した画像データを画像処理部１４２へと伝達する。画像処理部１４２は、取得した画像データに対して画像処理を施す。画像処理部１４２は、画像処理後の画像データを制御回路１１０へと伝達する。制御回路１１０の記録制御部１１１は、取得した画像を検査結果ファイル６００に記録する。

ステップＳ５０４において、制御装置１００の制御回路１１０は、表示装置４００に表示させる映像を更新させる。例えば、図１３に示すような映像７０３が表示される。すなわち、検査結果ファイル６００に画像データが記録される場合、検査対象の画像の撮像の有無を示す欄７４０に、画像の記録が済んでいる旨を示すアイコン７４１が表示される。なお、図１３に示す例では、検査対象、判定結果、検査音も既に検査結果ファイルに記録されている場合を示している。

ステップＳ５０４の処理の後、画像記録処理は終了し、処理は図７を参照して説明しいている検査モード処理に戻る。

ステップＳ５０２において、画像データの取得に成功していないと判定されたとき、処理はステップＳ５０５に進む。ステップＳ５０５において、制御装置１００は、画像の取得に失敗した旨の警告を行う。すなわち、例えば制御回路１１０の表示制御部１１８は、表示装置４００に画像データの取得に失敗した旨の警告情報を表示させる。警告は、表示装置４００への表示で行われるに限らず、例えば音又は振動によって行われてもよい。その後、画像記録処理は終了し、処理は検査モード処理に戻る。

次に、検査モード処理のステップＳ２０７において行われる検査終了判定処理について、図１４に示すフローチャートを参照して説明する。

ステップＳ６０１において、制御回路１１０の項目管理部１１２は、開いている検査結果ファイル６００について、規定項目が全て入力済みであるか否かを判定する。入力済みであるとき、処理はステップＳ６０２に進む。

ステップＳ６０２において、制御回路１１０の表示制御部１１８は、表示装置４００に表示させる映像を更新させる。例えば、図１５に示すような映像７０４が表示される。すなわち、検査結果ファイルに全ての項目が記録されているので、図１３に示した映像７０３のものと同様に、映像７０４に、検査対象、判定結果、検査音、画像が既に記録されている旨の表示が含まれている。さらに図１５に示すように、映像７０４には、全ての項目が入力済みであることを示す「ＯＫ」の表示７５０が含まれている。

ステップＳ６０３において、制御装置１００の制御回路１１０は、修正が必要であるか否かを判定する。例えば、制御回路１１０の表示制御部１１８は、表示装置４００に修正が必要であるか否かをユーザに問い合わせる表示を行わせる。このとき、制御回路１１０は、例えば収音装置２００で取得される音声による入力に基づいて、入力情報を取得し、当該情報に基づいて修正が必要であるか否かを判定する。修正が必要であるとき、処理はステップＳ６０４に進む。

ステップＳ６０４において、制御回路１１０の記録制御部１１１は、修正が必要であるとされた項目について、入力されている情報を消去する。その後、処理はステップＳ６０１に戻る。この場合、少なくとも１つの入力が消去されているので、ステップＳ６０１においては、入力済みでないと判定されることになる。

ステップＳ６０３で修正が無いと判定されたとき、処理はステップＳ６０５に進む。ステップＳ６０５において、制御装置１００の制御回路１１０は、検査終了である旨を確定する。その後、検査終了判定処理は終了し、処理は図７を参照して説明しいている検査モード処理に戻る。

ステップＳ６０１において、規定項目が入力済みでないと判定されたとき、処理はステップＳ６０６に進む。ステップＳ６０６において、制御装置１００の制御回路１１０は、未入力項目を示すガイド表示を行わせる。例えば、制御回路１１０の項目管理部１１２は、検査対象を示す欄７１０と、判定結果を示す欄７２０と、打撃音の録音の有無を示す欄７３０と、検査対象の画像の撮像の有無を示す欄７４０とのうち検査結果ファイルに記録されていない項目を抽出する。表示制御部１１８は、項目管理部１１２によって抽出された未入力の項目について、図８に示すような、未入力である旨を表す表示を表示装置４００に行わせる。図８に示す映像７０１は一例であり、未入力である項目を強調するような表示であってもよい。

ステップＳ６０７において、制御装置１００の制御回路１１０は、別機器を使用して未入力項目を入力することを提案するガイド表示を、表示装置４００に表示させる。例えば、キーボードやタッチパネルを用いて、未入力の項目にテキストを入力することが案内される。

ステップＳ６０８において、制御装置１００の制御回路１１０は、別機器による入力がユーザによって選択されたか否かを判定する。別機器による入力が選択されていないとき、処理はステップＳ６０９に進む。ステップＳ６０９において、制御装置１００の制御回路１１０は、検査モード処理を強制終了するか否かをユーザに問い合わせる。すなわち、例えば、制御回路１１０の表示制御部１１８は、表示装置４００に強制終了するか否かを問う表示を行わせる。さらに、例えば、制御回路１１０は、音声入力や入力装置１８０への入力を取得する。強制終了するとき、処理はステップＳ６０５に進む。一方、強制終了しないとき、処理はステップＳ６１０に進む。ステップＳ６１０において、制御装置１００の制御回路１１０は、検査終了でない旨を確定する。その後、検査終了判定処理は終了し、処理は図７を参照して説明しいている検査モード処理に戻る。

ステップＳ６０８において、別機器による入力が選択されたと判定されたとき、処理はステップＳ６１１に進む。ステップＳ６１１において、制御装置１００の制御回路１１０は、入力に用いられることが選択された別機器との通信を確立させる。ステップＳ６１２において、制御装置１００の制御回路１１０は、例えば表示装置４００への表示によってユーザに別機器による入力を促し、入力された内容を取得する。ステップＳ６１３において、制御回路１１０の記録制御部１１１は、入力された内容をファイルに記録する。その後、処理はステップＳ６０１に戻る。なお、別機器による入力に限らず、例えば、制御装置１００の入力装置１８０を用いて入力が行われてもよい。

次に、メイン制御のステップＳ１０５で行われる検索モード処理について説明する。検索モードは、記憶装置１６０の検査結果ファイル群１６１に含まれる複数の検査結果ファイル６００の中から、ユーザが興味を有している検査結果ファイル６００に含まれる情報をユーザに提示する処理である。記憶装置１６０に記録されている検査結果ファイル６００に限らず、例えばインターネットを介して接続したデータベースに含まれる検査結果ファイルの中からユーザが興味を有している検査結果ファイル６００が選択されてもよい。

例えば検査対象がボルト３である検査結果の情報をユーザが所望しているとき、ユーザは「ボルト３」と発声する。このとき、検査結果ファイル群１６１から検査対象がボルト３である検査結果ファイルが読み出される。そして、表示装置４００には、例えば図１６のような映像７０５が表示される。図１６に示すように、この映像７０５には、検索モードであることを示す表示７６０が含まれている。

検索モード処理について、図１７に示すフローチャートを参照して説明する。

ステップＳ７０１において、制御装置１００の制御回路１１０は、検索の対象が検査対象であるか否かを判定する。検査対象であるとき、処理はステップＳ７０２に進む。ステップＳ７０２において、制御装置１００の制御回路１１０は、ユーザからの入力に基づいて検査対象に係る検索を行う。その後、処理はステップＳ７０８に進む。

ステップＳ７０１において、検索対象が検査対象でないと判定されたとき、処理はステップＳ７０３に進む。ステップＳ７０３において、制御装置１００の制御回路１１０は、検索の対象は検査音であるか否かを判定する。検査音であるとき、処理はステップＳ７０４に進む。ステップＳ７０４において、制御装置１００の制御回路１１０は、ユーザからの入力に基づいて検査音に係る検索を行う。例えば、打撃音を収音装置２００によって収音することで、検査音が入力される。検査音による検索では、例えば清音である、濁音である、高い音である、低い音であるといった音の特徴等がテキストとして入力されてもよい。これらの入力に対応する検査音が検索される。その後、処理はステップＳ７０８に進む。

ステップＳ７０３において、検索対象が検査音でないと判定されたとき、処理はステップＳ７０５に進む。ステップＳ７０５において、制御装置１００の制御回路１１０は、検索対象は判定結果であるか否かを判定する。判定結果でないとき、処理はステップＳ７０６に進む。ステップＳ７０６において、制御装置１００の制御回路１１０は、表示装置４００に例えば検索対象が特定できなかったことを示すエラー表示を行わせる。その後、検索モード処理は終了し、処理はメイン制御に戻る。

ステップＳ７０５の判定において、判定結果であると判定されたとき、処理はステップＳ７０７に進む。ステップＳ７０７において、制御装置１００の制御回路１１０は、ユーザからの入力に基づいて判定結果に係る検索を行う。その後、処理はステップＳ７０８に進む。

ステップＳ７０８において、制御装置１００の制御回路１１０は、例えば図１６に示すような検索結果を示す映像７０５を表示装置４００に表示させる。ユーザは、このような映像７０５を見ることで、ボルト３について判定結果が濁音であった旨を知ることができる。また、ボルト３について、検査音と検査対象の画像とのデータが記録されていることを知ることができる。本実施形態では、次に示す処理によって、ユーザが求める場合、検査音又は画像が再生され得る。

すなわち、ステップＳ７０９において、制御装置１００の制御回路１１０は、検査音又は画像の再生が指示されたか否かを判定する。検査音又は画像の再生が指示されていないとき、処理はステップＳ７１１に進む。一方、再生が指示されたとき、処理はステップＳ７１０に進む。ステップＳ７１０において、制御装置１００の制御回路１１０は、検査音を再生させる、又は画像を表示装置４００に表示させる。

ステップＳ７１１において、制御装置１００の制御回路１１０は、表示装置４００への表示や検査音の再生を終了させるか否かを判定する。終了させないとき、処理はステップＳ７１１を繰り返し待機する。一方、終了させるとき、検索モード処理は終了し、処理はメイン制御に戻る。

このような検索モード処理により、ユーザは過去に記録された検査結果を知ることができる。過去の検査結果を参照することにより、検査効率が向上し得る。また、このような過去に記録された検査結果を容易に読み出すことで、過去の記録と現在の状況とを容易に比較することができる。

なお、ここでは、検査対象、検査音、検査結果に基づいて検査結果ファイルを検索する例を示したが、これに限らない。例えば、「昨年と違う」と入力することによって、今年取得された検査結果と昨年取得された検査結果とを比較して、相違がある検査結果が表示されてもよい。

〈本記録システムの利点〉
本実施形態に係る記録システム１０によれば、収音装置２００により取得された音データから、音声認識等の技術を利用して、必要な情報が記録される。特に、言語として優位な言語部分と、音として優位な有意音部分とがそれぞれ抽出されるので、音そのものに係る情報と言語に係る情報とを共に記録する必要がある場合に、効果を発揮する。

また、言語音に基づいてテキスト情報が作成され、当該テキスト情報が記録される。すなわち、入力に際して、ユーザは手を使う必要がない。さらに、このような入力とヘッドマウントディスプレイである表示装置４００による表示とを組み合わせであることで、ユーザは両手を自由に使うことができる。すなわち、ハンズフリーでの音及びテキストの入力が実現され得る。したがって、検査等における入力効率が向上し、検査等全体の作業効率も向上する。このように、本実施形態に係る記録システム１０によれば、音による入力のみに基づいて、テキスト情報と音情報とが適切に記録され得る。

さらに、本実施形態にように、撮像装置３００による撮像の指示も音声入力によって制御され得る。したがって、音データ及びテキストデータに加えて画像データも、ハンズフリーでの入力が実現され得る。

また、例えば図５に示すような、検査項目に応じて定められたフォーマットに対して、入力された情報が仕分けされるので、必要な情報が適切に整理され得る。必要な情報が整理されて記録されるので、報告書等の作成においても、容易に定められた形式の文書が作成され得る。

また、本実施形態に係る記録システム１０によれば、表示装置４００によって、複数の検査項目のうち未入力である項目が明示される。このように未入力の項目が明示されることで、検査において必要な項目が記録されない事態が防止され得る。

特に本実施形態に係る記録システム１０のように、音声入力が用いられる場合、未入力の項目が明示されることは、特に効果を奏する。すなわち、手を使って、テキスト等を書き込んだり、チェックボックスを選択したりする場合と異なり、音声入力では、入力に際して表示を視覚的に確認することが必須ではない。したがって、音声入力時には、ユーザは、表示を注視することなく、むしろ検査対象などに注目する。そのため、必要項目の入力がなされないことが生じやすい。これに対して本実施形態に係る記録システム１０によれば、表示装置４００にわかりやすく整理して表示することによってユーザは視覚的に未入力項目を認識することができる。

また、本実施形態のように、必要情報が１つのファイルにまとめて記録されることで、例えば検査結果のように、ひとまとまりとして意味がある情報の取り扱いが容易となる。これは、ネット上などで拡散して想定される環境下以外で利用するような場合に重要である。検査ファイルをネット上に公開して、不特定多数の有識者に意見を求めるような場合、また、不特定多数の検査者からビッグデータとなる情報を集めるには、非常に重要な技術である。このファイルに改竄防止システムが併用されてもよい。

〈変形例〉
上述の実施形態では、１つのファイルに記録されるひとまとまりの情報として、音データとテキストデータと画像データとが含まれる例を示した。しかしながらこれに限らない。これらのデータのうち１つ以上がなくてもよい。例えば画像データが含まれずに、音データ及びテキストデータのみが記録されてもよい。この場合、記録システム１０には、撮像装置３００や、画像処理回路１４０が含まれていなくてもよい。

また、上述の実施形態では、ユーザに未入力項目を提示するに際して、表示装置４００に未入力項目が表示される場合を例に示した。しかしながらこれに限らない。例えば、未入力項目があること又は未入力の項目は、例えば音声によってユーザに提示されてもよいし、例えば振動によってユーザに提示されてもよい。このように、ユーザに対する提示は、どのような手法によって行われてもよい。このようなユーザに対する提示は、表示制御部１１８に相当する提示制御部によって行われる。

また、上述の実施形態では、収音装置２００で取得された音データをリアルタイムに処理する例を示したが、これに限らない。例えば予め記録された音データに基づいて、音声認識等の処理が行われ、結果が検査結果ファイル６００に入力されてもよい。すなわち、制御装置１００の一部が単体としても機能し得る。例えば、音データは、予め別途に録音されることで例えば記録媒体に記録されているものとする。このとき、音声処理回路１３０の音取得部１３１が、記録媒体に記録された音データを取得し、音声処理回路１３０がこの音データに基づいて検査音及びテキスト情報等を抽出する。制御回路１１０は、抽出された検査音及びテキスト情報等を、例えば記憶装置１６０に記録する。

また、上述の実施形態では、記録システム１０は、必要な項目の記録を行うための装置として説明したが、記録システム１０は、さらに、記録した項目を所定の書式に整えた文書を作成する機能を有していてもよい。

また、上述の実施形態では、土木構造物の打音試験を例に挙げて説明をしたが、記録システム１０の用途は、打音試験に限らない。記録システム１０は、工業製品等の各種検査に用いられ得る。また、記録システム１０は、各種監視用等に用いられ得る。また、記録システム１０は、例えば医療分野の診断にも用いられ得る。例えば検査音としては、心拍、呼吸、打診等の音でもよいし、テキスト情報としては、医師の診断結果、患者の発言等でもよい。また、記録システム１０は、一般の趣味、嗜好で使う携帯機器などに活用され、例えば鳥の鳴き声と、当該鳥の種類とが記録される場合等にも利用され得る。また、記録は必須ではなく、言語部分を手がかりとして、その他の音声部分の意味を判定して、重点的な収音をしたり、音声分析をしたりするような技術にも上述の技術は適用され得る。

また、上述の実施形態では、記録システム１０の、制御装置１００、収音装置２００、撮像装置３００、表示装置４００等の各構成要素が分離している場合を示したが、これらの一部又は全部は一体として形成されていてもよい。

また、上述の実施形態で説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムを用いて実現され得るが、これらの機能が専用回路に置き換えられてもよい。例えば、特定の音声パターンを抽出してテキスト化したり、他の情報に置き換えたりする部分などは電子回路で構成され得る。また、多様な言語にまたがる部分は、携帯機器などがスタンドアローンで処理する必要はなく、ネットなどと連携することで処理が行われてもよい。このプログラムは、記憶装置１６０の他、各種記録媒体等に収められ得る。この記憶装置１６０や記録媒体等への記録の方法は様々であり、製品出荷時に記録されてもよく、配布された記録媒体が利用されてもよく、インターネットを介したダウンロードが利用されて記録されてもよい。

また、上述の実施形態で示したフローチャートは一例であって、各種変形が加えられ得る。すなわち、例えば、各フローチャートで示した各処理の順序は適宜に入れ替えられ得るし、各処理のうち一部が削除され得るし、他の処理が追加され得る。

１０…記録システム、１００…制御装置、１１０…制御回路、１１１…記録制御部、１１２…項目管理部、１１３…通信制御部、１１４…検索制御部、１１６…収音制御部、１１７…撮像制御部、１１８…表示制御部、１３０…音声処理回路、１３１…音取得部、１３２…成分抽出部、１３２１…入力部、１３２２…雑音周波数判定部、１３２３…振幅変動予測部、１３２４…減算部、１３２５…分離部、１３３…テキスト化部、１３４…検査音抽出部、１４０…画像処理回路、１４１…画像取得部、１４２…画像処理部、１６０…記憶装置、１６１…検査結果ファイル群、１６２…制御情報、１７０…通信装置、１８０…入力装置、１９０…バスライン、２００…収音装置、３００…撮像装置、４００…表示装置、６００…検査結果ファイル、６１０…音データ、６２０…検査対象情報、６２１…テキスト情報（音声認識）、６２２…テキスト情報（その他入力）、６２３…音データ有効区間情報、６３０…評価結果情報、６３１…テキスト情報（音声認識）、６３２…テキスト情報（その他入力）、６３３…音データ有効区間情報、６４０…検査音情報、６４１…音データ、６４２…音データ有効区間情報、６５０…画像情報、６５１…画像データ、６５２…撮影日時情報、６６０…検査情報、６６１…検査者情報、６６２…検査日時情報、６６３…検査場所情報。

Claims (9)

1. 収音装置から音データを取得するための音取得部と、
   前記音データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する記録情報として記録する記録制御部と、
   前記複数の項目のうち、未だに前記記録情報が記録されていない項目を未入力項目として抽出する項目管理部と、
   前記未入力項目を提示させる提示制御部と、
   前記音データに基づいて、テキスト情報を作成するテキスト化部と、
   前記テキスト情報の候補を含む用語データベースと
   を備え、
   前記記録制御部は、前記テキスト化部によって作成された前記テキスト情報を前記記録情報として記録し、
   前記テキスト化部は、前記用語データベースを利用して前記テキスト情報を作成し、
   前記提示制御部は、前記未入力項目が明示される表示を表示装置に行わせる表示制御部を含み、
   前記テキスト化部が前記用語データベースに含まれる複数の候補を発見した場合、前記表示制御部は、前記複数の候補を前記表示装置に表示させ、
   前記テキスト化部は、前記複数の候補のうちから選択された前記候補に基づいて前記テキスト情報を作成する、
   記録システムのための制御装置。
2. 収音装置から音データを取得するための音取得部と、
   前記音データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する記録情報として記録する記録制御部と、
   前記複数の項目のうち、未だに前記記録情報が記録されていない項目を未入力項目として抽出する項目管理部と、
   前記未入力項目を提示させる提示制御部と、
   前記音データに基づいて、テキスト情報を作成するテキスト化部と
   を備え、
   前記記録制御部は、前記テキスト化部によって作成された前記テキスト情報を前記記録情報として記録し、
   前記記録制御部は、前記テキスト化部によって作成された前記テキスト情報を前記記録情報として記録した後にも前記未入力項目がある場合、前記テキスト化部以外から前記音データに基づかない方法で取得されたテキスト情報を前記記録情報として記録する、
   記録システムのための制御装置。
3. 前記提示制御部は、前記未入力項目が明示される表示を表示装置に行わせる表示制御部を含む、請求項２に記載の制御装置。
4. 収音装置から音データを取得するための音取得部と、
   前記音データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する記録情報として記録する第１の記録制御部と、
   前記複数の項目のうち、未だに前記記録情報が記録されていない項目を未入力項目として抽出する項目管理部と、
   前記未入力項目を提示させる提示制御部と、
   前記音データに基づいて、テキスト情報を作成するテキスト化部と
   を備え、
   前記第１の記録制御部は、前記テキスト化部によって作成された前記テキスト情報を前記記録情報として記録し、
   前記音データに含まれる有意な音である有意音部分を抽出する成分抽出部と、
   前記有意音部分に係る情報と前記テキスト情報とを関連付けて記録する第２の記録制御部と
   をさらに備える記録システムのための制御装置。
5. 収音装置から音データを取得するための音取得部と、
   前記音データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する記録情報として記録する第１の記録制御部と、
   前記複数の項目のうち、未だに前記記録情報が記録されていない項目を未入力項目として抽出する項目管理部と、
   前記未入力項目を提示させる提示制御部と、
   前記音データに基づいて、テキスト情報を作成するテキスト化部と
   を備え、
   前記第１の記録制御部は、前記テキスト化部によって作成された前記テキスト情報を前記記録情報として記録し、
   前記音データに含まれる有意な音である有意音部分を抽出する成分抽出部と、
   前記有意音部分に係る情報と前記テキスト情報とを関連付けて記録する第２の記録制御部と
   をさらに備え、
   前記第２の記録制御部は、前記有意音部分に係る情報と前記テキスト情報とを、１つのファイルに記録する、記録システムのための制御装置。
6. 請求項３に記載の制御装置と、
   前記収音装置と、
   前記表示装置と
   を備える記録システム。
7. 前記表示装置は、ヘッドマウントディスプレイである、請求項６に記載の記録システム。
8. 収音装置から音データを取得することと、
   前記音データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する記録情報として記録することと、
   前記複数の項目のうち、未だに前記記録情報が記録されていない項目を未入力項目として抽出することと、
   前記未入力項目を提示させることと、
   テキスト化部によって前記音データに基づいて、テキスト情報を作成することと
   を備え、
   前記音データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する記録情報として記録するときに、前記作成された前記テキスト情報を前記記録情報として記録し、
   前記作成された前記テキスト情報を前記記録情報として記録した後にも前記未入力項目がある場合、前記テキスト化部以外から前記音データに基づかない方法で取得されたテキスト情報を前記記録情報として記録する、
   記録システムのための制御方法。
9. 収音装置から音データを取得することと、
   前記音データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する記録情報として記録することと、
   前記複数の項目のうち、未だに前記記録情報が記録されていない項目を未入力項目として抽出することと、
   前記未入力項目を提示させることと、
   テキスト化部によって前記音データに基づいて、テキスト情報を作成することと
   をコンピュータに実行させるための記録システムのための制御プログラムであって、
   前記音データに基づく情報を、予め定められた複数の項目のうちの何れかに対応する記録情報として記録するときに、前記作成された前記テキスト情報を前記記録情報として記録させることと、
   前記作成された前記テキスト情報を前記記録情報として記録した後にも前記未入力項目がある場合、前記テキスト化部以外から前記音データに基づかない方法で取得されたテキスト情報を前記記録情報として記録させることと、
   を前記コンピュータに実行させるための記録システムのための制御プログラム。