JP6883471B2 - 収音装置、収音方法、収音プログラム、ディクテーション方法及び情報処理装置 - Google Patents

収音装置、収音方法、収音プログラム、ディクテーション方法及び情報処理装置 Download PDF

Info

Publication number
JP6883471B2
JP6883471B2 JP2017094467A JP2017094467A JP6883471B2 JP 6883471 B2 JP6883471 B2 JP 6883471B2 JP 2017094467 A JP2017094467 A JP 2017094467A JP 2017094467 A JP2017094467 A JP 2017094467A JP 6883471 B2 JP6883471 B2 JP 6883471B2
Authority
JP
Japan
Prior art keywords
unit
sound collecting
information processing
sound
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017094467A
Other languages
English (en)
Other versions
JP2018189904A (ja
Inventor
恒仁 関
恒仁 関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2017094467A priority Critical patent/JP6883471B2/ja
Priority to US15/969,004 priority patent/US10777187B2/en
Publication of JP2018189904A publication Critical patent/JP2018189904A/ja
Application granted granted Critical
Publication of JP6883471B2 publication Critical patent/JP6883471B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065Adaptation
    • G10L15/07Adaptation to the speaker
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/183Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G10L15/193Formal grammars, e.g. finite state automata, context free grammars or word networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • G10L2015/0635Training updating or merging of old and new templates; Mean values; Weighting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • G10L2015/0638Interactive procedures

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Machine Translation (AREA)

Description

本発明は、ディクテーションに有効な収音装置、収音方法、収音プログラム、ディクテーション方法及び情報処理装置に関する。
近年、音声認識技術の進歩に伴い、音声入力によってテキストを生成するディクテーションシステムが利用されている。ディクテーションシステムでは、従来キーボード等を利用して入力していたテキストを音声によって入力する。
ディクテーションシステムは、パーソナルコンピュータ上での口述筆記の自動化や携帯端末におけるメール文章の入力等、様々な分野で利用される。例えば、医療分野においては、カルテ作成等の利用方法も考えられる。医師にとっては、様々な医療器具や情報端末の取り扱いや、患者への接触のために必要な時間を確保する必要があり、カルテを短時間に作成できるディクテーションシステムは極めて有用である。
ところで、音声認識処理は、マイクロホンによって入力音声を取込み、取込んだ入力音声から音響特徴量を抽出し、抽出した特徴量と音響モデルとのマッチング結果に基づいて単語辞書により構築される言語モデルを参照することでテキストを求めるものである。
ディクテーションシステムでは、予めシステムに用意されている音響モデル、単語辞書及び言語モデルを利用する。しかし、汎用の言語モデル等だけでは、各ユーザの発話の特徴によっては認識精度が低くなることもある。そこで、ディクテーションシステムでは、音素誤り、単語誤り、文誤り等の誤認識を最小化するように、ユーザ毎に学習を行って学習結果を個人辞書に記憶させることで、次回の音声認識における認識精度を向上させるようになっている。近年、パーソナルコンピュータの普及に伴い、ディクテーションを自分専用のパーソナルコンピュータ(以下、専有PCという)を用いて実施する場合もあり、専有PCの内蔵記録媒体上に個人辞書を記録しておくことで、認識性能の向上が図られる。
なお、特許文献1においては、話者を認識して音声認識を行うシステムにおいて、話者認識機能をオフにした場合でも、ユーザの嗜好を特定する技術が開示されている。
特開2017−3608号公報
しかしながら、外出先でディクテーションを行う場合のように、個人辞書が記録されていない例えば他人のパーソナルコンピュータ(以下、パソコンという)や共用パソコンを用いてディクテーションを行う場合があり、十分な認識精度を得ることができないことがある。
本発明は、個人辞書を登録した記録部を備えて、ディクテーション装置に個人辞書を転送可能にすることにより、専有パーソナルコンピュータ以外のコンピュータを用いる場合でも、音声認識性能を向上させることができる収音装置、収音方法、収音プログラム、ディクテーション方法及び情報処理装置を提供することを目的とする。
本発明の一態様による収音装置は、音を収音するマイクロホンにより構成された収音部と、前記収音部において収音された音声に対するディクテーション時の音声認識処理に用いる個人辞書を記録する記録部と、前記収音部において収音された音声に対するディクテーションを実行する情報処理装置への前記個人辞書の提供を制御する制御部と、前記収音部において収音された音声を前記情報処理装置に送信すると共に、前記制御部に制御されて前記個人辞書を前記情報処理装置に送信する通信部と、を具備し、前記制御部は、前記情報処理装置のユーザ情報に基づいて、前記情報処理装置への前記個人辞書の提供の可否を決定する。
本発明の一態様による収音方法は、マイクロホンにより構成された収音部によって音を収音する手順と、前記収音部において収音された音声に対するディクテーションを実行する情報処理装置の前記ディクテーションにおいて採用される音声認識処理に用いる個人辞書の前記情報処理装置への提供の可否を判定する手順と、前記収音部において収音された音声を前記情報処理装置に送信すると共に、前記提供の可否の判定結果に基づいて、前記個人辞書を前記情報処理装置に送信する通信手順とを具備し、前記提供の判定する手順は、前記情報処理装置のユーザ情報に基づいて、前記個人辞書の前記情報処理装置への提供の可否を判定する。
本発明の一態様による収音プログラムは、コンピュータに、マイクロホンにより構成された収音部によって音を収音する手順と、前記収音部において収音された音声に対するディクテーションを実行する情報処理装置の前記ディクテーションにおいて採用される音声認識処理に用いる個人辞書の前記情報処理装置への提供の可否を判定する手順と、前記収音部において収音された音声を前記情報処理装置に送信すると共に、前記提供の可否の判定結果に基づいて、前記個人辞書を前記情報処理装置に送信する通信手順とを実行させる。
本発明の一態様によるディクテーション方法は、収音部を有する収音装置から送信された音声を受信する手順と、前記収音装置から前記音声に対するディクテーションにおいて採用する音声認識処理に用いる個人辞書を受信する手順と、受信した音声に対するディクテーション処理によってドキュメントを生成する手順と、生成されたドキュメントに対する学習処理の結果更新した個人辞書の更新データを前記収音装置に送信する手順と、を具備し、前記個人辞書を受信する手順は、前記収音装置のユーザ情報に基づいて、前記個人辞書の受信の可否を決定する。
本発明の一態様による情報処理装置は、音を収音するマイクロホンにより構成された収音装置と通信する通信部と、前記収音装置において収音された音声に対するディクテーションを実行するために前記ディクテーションにおいて採用される音声認識処理に用いる個人辞書を上記通信部を介して取得する制御部と、を具備し、前記制御部は、前記収音装置のユーザ情報に基づいて、前記個人辞書の取得の可否を決定する。
本発明によれば、個人辞書を登録した記録部を備えて、ディクテーション装置に個人辞書を転送可能にすることにより、専有パーソナルコンピュータ以外のコンピュータを用いる場合でも、音声認識性能を向上させるという効果を有する。
本発明の第1の実施の形態に係る収音装置及び情報処理装置によって構成されるディクテーションシステムを示すブロック図。 図1の収音装置10の各部を収納する筐体10aを切断して側方から見て模式的に示す説明図。 ドキュメント化部21cによって生成されるドキュメントの一例を説明するための説明図。 収音装置の動作を説明するためのフローチャート。 情報処理装置20の動作を説明するためのフローチャート。 本発明の第2の実施の形態に係る収音装置を示すブロック図。 第2の実施の形態における収音装置の動作を説明するためのフローチャート。 変形例における収音装置の動作を示すフローチャート。 変形例におけるディクテーション処理を示すフローチャート。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る収音装置及び情報処理装置によって構成されるディクテーションシステムを示すブロック図である。
本実施の形態における収音装置は、例えば携帯可能なマイクロホン装置によって構成することができ、情報処理装置は例えばパーソナルコンピュータによって構成することができる。これらの収音装置及び情報処理装置は、それぞれ各使用者が専有できる場合があり、以下の説明では、所定の使用者が専有する収音装置を専有収音装置又は専有マイクロホンといい、所定の使用者が専有する情報処理装置を専有情報処理装置又は専有PC(パーソナルコンピュータ)というものとする。ディクテーションに際して、常に専有PCを利用することができる場合には特には問題は無い。しかし、他人が専有するPCや共用のPCを利用してディクテーションを行う場合も考えられる。
そこで、本実施の形態は、専有マイクロホン装置にディクテーションに必要な個人の情報である個人辞書を登録可能にすることにより、所定の使用者が自分専用の専有マイクロホン装置を所持していれば、共用PC或いは他人の専有PCを用いてディクテーションを行う場合でも、自分の専有PCを用いてディクテーションを行う場合と同様に高精度の音声認識処理によるディクテーション処理を可能にするものである。この場合において、本実施の形態においては、情報処理装置であるパーソナルコンピュータから各種情報が収音装置内の記録媒体に読み出されて持ち出されることを防止することを可能にする。
図1において、収音装置10には制御部1が設けられている。制御部1は、CPU等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。収音装置10には収音部2が設けられており、収音部2は、複数のマイクロホンを有するマイク部2aを有している。
図2は図1の収音装置10の各部を収納する筐体10aを切断して側方から見て模式的に示す説明図であり、収音装置10の内蔵物の配置、特にマイクロホン(以下、マイクという)2a1,2a2によって構成されるマイク部2aの配置の一例を示している。なお、図2はユーザが筐体10aの正面と背面を右手の親指53Rと人差し指54Rとによって把持している状態を示している。
図2の例ではマイク部2aは、正面マイク2a1と背面マイク2a2の2つのマイクロホンによって構成される。マイク部2aは、周囲の音を収音して収音音声を音声信号に変換して出力する。筐体10aの正面の上端には筐体10aの長手方向に対して斜めに傾斜して配置されるフィルタ部42が構成されている。フィルタ部42は筐体10aの正面側上端に設けた開口部を閉塞するものであり、筐体10aの外部側から内部側に向かって、比較的荒いメッシュ状の金属部42a、不織布42b及び比較的細かいメッシュ状の金属部42cの3層構造を有する。フィルタ部42は、口52から発せられる音声のうちポップノイズを除去する。
筐体10a内部の背面側には、フィルタ部42に対向する位置に正面マイク2a1が配設されている。また、筐体10a内部の背面側には、正面マイク2a1の下方に、背面マイク2a2を配置する収納部44が設けられている。この収納部44の上面と正面マイク2a1の底面との間にはゴム等の弾性部材43bが配設され、正面マイク2a1の上面と筐体10aの上面との間にはゴム等の弾性部材43aが配設されている。弾性部材43a,43bによって、正面マイク2a1が筐体10a内に保持されると共に、筐体10aに生じる振動のマイク2a1への影響が緩和される。特に、弾性部材43a,43bによって指53R,54Rからの振動の影響を緩和することができる。
収納部44は筐体10aの背面に設けられた凹部により構成され、この凹部は多数の小孔を有する閉塞部材46によって閉塞されている。収納部44の凹部内に背面マイク2a2が配置される。マイク2a2の上面と凹部の上面との間にはウレタン等の弾性部材45aが配設され、マイク2a2の底面と凹部の底面との間にはウレタン等の弾性部材45bが配設される。弾性部材45a,45bによって、マイク2a2が凹部内に保持される。
また、筐体10a内部の下方側には、図1の収音装置10の各回路用の部品等が搭載された基板47が配置される。
正面マイク2a1は、図2の破線の収音範囲D1で収音可能な指向特性を有し、背面マイク2a2は、図2の破線の収音範囲D2で収音可能な指向特性を有する。本実施の形態においては、後述するように、電気的な制御によって、正面マイク2a1及び背面マイク2a2によるマイク部2aの全体的な指向特性を制御することができるようになっている。
なお、筐体10aの厚みをZmとし、正面マイク2a1とフィルタ部42との水平方向の距離(マイク深さ)をZdとする。装置の薄型化を考慮すると、厚みZmはなるべく小さい方が良い。また、マイク深さZdは、収音時に気流の影響を受けて音声に歪が生じない程度の十分な距離に設定する。また、弾性部材45a,45bとして用いるクッション材と弾性部材43a,43bとして用いるクッション材とを異なる材料にすることにより、筐体10a上面から収納部44底面までの高さYmが大きくなり過ぎることを防止している。
収音部2は指向性制御部2bを有しており、指向性制御部2bは、制御部1に制御されて、マイク部2aの収音の指向性を制御する。即ち、指向性制御部2bは、マイク部2aの収音に際して、最も感度が高くなる方向(以下、ビーム方向という)及び収音の範囲を制御することができるようになっている。
また、収音部2にはノイズリダクション(NR)部2cが設けられている。NR部2cは、指向性制御部2bからの各音声信号が与えられて、ノイズ成分を除去して出力する。声の音声パターンは、単語や音節の感情表現や言い回しに従って、周囲のノイズと異なり、周波数特性が大きく変化する。一方、ノイズは、周波数特性の差異よりも音の大きさ(振幅)の変化が大きく、音の大きさがあまり変わらない人の声とは明らかに特徴が異なる。そこで、NR部2cは、例えば、周波数特性があまり変化しない特定周波数をノイズの周波数であるものと判定し、周波数特性が変化する成分を音声成分であると判定して、入力された音声信号からノイズ成分を除去するようになっていてもよい。
また、収音部2にはノイズ判定部2dが設けられている。ノイズ判定部2dは、収音した音声のうち環境ノイズを求める。例えば、ノイズ判定部2dは、マイク2a1,2a2によって得られた音声信号の合成信号に基づいて環境ノイズを求めてよく、また、マイク2a1,2a2のいずれか一方、例えば背面マイク2a2によって得られた音声信号に基づいて環境ノイズを求めてよい。例えば、ノイズ判定部2dは、マイク2a1,2a2によって得られた音声信号の合成信号の二乗平均を求め、求めた二乗平均の値を環境ノイズとして求めて出力してもよい。また、ノイズ判定部2dは、例えば背面マイク2a2によって得られた音声信号の二乗平均を求め、求めた二乗平均の値を環境ノイズとして求めて出力してもよい。
こうして、収音部2は、マイク部2aが収音した音声信号に対して指向性制御を施した後、ノイズを除去して制御部1に出力する。また、収音部2は、ノイズ判定部2dによる環境ノイズの判定結果を制御部1に出力するようになっている。
収音装置10には操作部3が設けられている。操作部3は、各種キーやボタン等によって構成されており、ユーザ操作に基づく操作信号を制御部1に出力するようになっている。制御部1は、操作部3のユーザ操作に基づく操作信号が与えられ、この操作信号に基づいて各部を制御するようになっている。例えば、操作部3によってユーザはマイク部2aの指向特性を制御する操作を行うこともでき、制御部1は、ユーザ操作に応じた指向特性をマイク部2aに設定することができるようになっている。
また、収音装置10には、姿勢判定部4も設けられている。姿勢判定部4は、例えば、加速度センサやジャイロセンサ等によって構成することができ、収音装置10の筐体10aの姿勢を判定して判定結果を制御部1に出力するようになっている。また、収音装置10には音質調整部7も設けられている。音質調整部7は、制御部1に制御されて、収音部2によって収音された音声の周波数特性を調整することができる。例えば、音質調整部7は、フィルタ部42のフィルタ特性を補正する調整を行うようになっていてもよい。収音装置10には、時計部9も設けられている。時計部9は、時刻情報を発生して制御部1に出力する
収音装置10には通信部5が設けられている。通信部5は、制御部1に制御されて、外部機器との間で有線又は無線によるデータの送信及び受信が可能である。例えば、通信部5としては、Wifi等の無線LANやブルートゥース(登録商標)等による無線通信が可能に構成されている。制御部1は、通信部5を介して、収音部2によって取得した音声信号を外部機器に送信することができるようになっている。
この通信部5は、音声などリアルタイム性が要求されるリアルタイム通信(アイソクロナス転送)や機器の制御コマンドをやり取りするコントロール通信、ファイル化された情報をやり取りするファイル転送(バルク転送)などに対応しており、これらを時系列で行っても、並列で行ってもよい。これらは通信方式に応じてどのように行うかは取捨選択可能となっている。
本実施の形態においては、収音装置10は記録部6を有している。記録部6は、例えば半導体メモリ等の所定の記録媒体により構成されており、書込み及び読み出しが制御部1によって制御されるようになっている。制御部1にはユーザ登録部1aが構成されている。ユーザ登録部1aは、操作部3のユーザ操作に基づいて、ユーザに関する情報(ユーザ情報)を記録部6のユーザ情報部6aに記録することができるようになっている。なお、以下、ユーザ情報部6aに登録されている使用者を専有者というものとする。
記録部6には個人辞書部6bも構成されている。個人辞書部6bは、ディクテーションに際して用いる専有者の個人辞書が記録されている。制御部1には、提供部1cが構成されている。提供部1cは、ディクテーション作業が開始された場合には、後述する情報処理装置20との間で情報の授受を行うことで、ディクテーションに必要であるとして提供が指示された場合には、個人辞書部6bから読み出した専有者の個人辞書を通信部5を介して情報処理装置20に送信することができるようになっている。なお、提供部1cは、ユーザ情報部6aに登録されたユーザ(専有者)以外の他人が専用する情報処理装置20又は共用の情報処理装置20に対してのみ、個人辞書を送信させるようになっていてもよい。また、提供部1cは、情報処理装置20からの個人辞書の提供の指示に拘わらず、収音装置10の専有者と情報処理装置20の専有者とが同一ユーザであると判定した場合には、通信部22を介して収音装置10の制御部1に対して個人辞書の提供するようになっていてもよい。
このように、収音装置10は、個人辞書を登録した記録部6を備えており、情報処理装置20に個人辞書を転送可能にすることにより、収音装置10のユーザ(専有者)が、他人の専有する情報処理装置20或いは共用の情報処理装置20を用いてディクテーションを実施する場合でも、音声認識性能を向上させることができるようになっている。
しかしながら、このような記録媒体を搭載した収音装置10は、情報処理装置20であるパーソナルコンピュータが保持している情報を持ち出す記録媒体としても利用することが可能となる。このようなパーソナルコンピュータからの情報の流出を防止するために、本実施の形態における記録部6は読み取り専用の設定で用いられる。
本実施の形態においては、制御部1には、記録部6の書込み及び読み出しの許可・禁止を制御する書込み許可制御部1dが構成されている。書込み許可制御部1dは、収音装置10の電源投入直後において、記録部6を読み取り専用(リードオンリー)に設定するようになっている。
しかしながら、ディクテーションにおいては、ディクテーション結果に対する学習処理によって、音声認識性能を向上させることができることが知られている。即ち、学習によって個人辞書を更新することで、音声認識性能を向上させ、より正確なディクテーションを可能にすることができる。
そこで、本実施の形態においては、このような学習結果を記録部6に記録させるために、書込み許可制御部1dは、判定部1bに制御されて、記録部6を書込み許可に設定することができるようになっている。判定部1bは、記録部6を読み取り専用から書き込み可能に設定する期間を判定し、判定結果を書込み許可制御部1dに与える。書込み許可制御部1dは、判定部1bの判定結果に従って、記録部6の書込み及び読み出しの設定を制御する。例えば、判定部1bは、ユーザ情報部6aに登録されているユーザ(専有者)が専有する情報処理装置20から、学習結果の更新情報である個人辞書の更新データが通信部5を介して入力される場合にのみ、記録部6を書込み可能にする書込み許可期間に設定するようになっていてもよい。なお、書込み許可制御部1dは、個人辞書の更新が終了すると、記録部6を書き込み可能から読み取り専用に設定を戻すようになっている。
パーソナルコンピュータ等によって構成された情報処理装置20には、制御部21が設けられている。制御部21は、CPU等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。
情報処理装置20は通信部22を有している。通信部22は、制御部21に制御されて、収音装置10の通信部5との間で所定の伝送路を介して通信可能である。通信部22は、収音装置10から送信された音声信号やコマンド等を制御部21に出力することができる。
つまり通信部22は、音声などリアルタイム性が要求されるリアルタイム通信(アイソクロナス転送)や機器の制御コマンドをやり取りするコントロール通信、ファイル化された情報をやり取りするファイル転送(バルク転送)などに対応しており、これらを時系列で行っても、並列で行ってもよい。これらは通信方式に応じてどのように行うかは取捨選択可能となっている。
情報処理装置20には操作入力部25が設けられている。操作入力部25は、図示しないキーボード等によって構成されており、ユーザ操作に基づく操作信号を制御部21に出力するようになっている。制御部1は、操作入力部25のユーザ操作に基づく操作信号が与えられ、この操作信号に基づいて各部を制御するようになっている。
情報処理装置20には記録部24が設けられている。記録部24は、例えばハードディスク、半導体メモリ等の記録媒体によって構成されている。制御部21に構成された記録制御部21bは、記録部24の記録及び再生を制御するようになっている。
制御部21にはユーザ登録部12aが構成されている。ユーザ登録部21aは、操作入力部25のユーザ操作に基づいて、ユーザに関する情報(ユーザ情報)を記録部24のユーザ情報部24dに記録することができるようになっている。なお、以下、ユーザ情報部24dに登録されている使用者を専有者というものとする。なお、このユーザ情報は、手動入力可能であったり、システム管理者が設定できたり、あるいは接続される機器から取得できるようにしてもよい。
情報処理装置20にはテキスト化部23が設けられている。テキスト化部23は、制御部21に制御されて、公知の音声認識処理により、入力された音声信号に基づくテキストを生成する。記録部24は、このテキスト化に用いる音声テキスト化辞書部24bを有する。テキスト化部23は、音声信号の特徴量を求め、求めた特徴量と音響モデルとのマッチング演算を行い、音声テキスト化辞書部24bの音声テキストを参照して、音声信号に含まれる人の声の情報をテキスト化する。
記録部24には、個人辞書部24aが設けられており、個人辞書部24aは、音声認識に用いる専有者の個人辞書を記憶している。個人辞書は、音声認識処理に際して個人の発声の特徴に対応した情報を含むものであり、個人辞書を用いることで、個人辞書に発声特徴が登録されている人物については、音声認識精度を向上させることが可能である。テキスト化部23は、テキスト化に際して、個人辞書部24aに記録されている個人辞書を参照することで、音声認識精度を向上させるようになっている。
制御部21は、通信部22を介して受信される音声信号に対するディクテーション処理に際して、登録されているユーザ情報を参照することで、個人辞書の利用方法を決定する。例えば、制御部21は、通信部22,5による通信によって、ユーザ情報の照合を行いユーザ情報部24dに登録されている専有者のユーザ情報と収音装置10に登録されている専有者のユーザ情報とが一致しているか否かを判定する。制御部21はユーザ情報同士の照合の結果、収音装置10の専有者と情報処理装置20の専有者とが同一ユーザであるものと判定した場合には、ディクテーションに際して個人辞書部24aに記録されている登録ユーザの個人辞書を用いるように制御を行う。一方、制御部21は、収音装置10の使用者(専有者)と情報処理装置20の専有者とが同一ユーザでないと判定した場合には、ディクテーションの開始前に、通信部22を介して収音装置10の制御部1に対して個人辞書の提供を指示する。
このユーザ情報は、システム全体の管理者が設定可能でもよく、収音装置の専有者、所持者、管理者、情報処理装置の所持者、管理者が設定可能でもよい。これはセキュリティレベルに応じて選択可能で、ユーザ情報を一方の機器から要求して、もう一方の機器が送信して取得するようなやり取りを行っても良い。つまり、ディクテーションを実行する情報処理装置のユーザ要求に基づいて音声認識処理に用いる個人辞書の提供の可否を判定してもよいし、厳密にユーザの照合などをもとに可否を判定してもよい。
収音装置10の提供部1cから個人辞書が提供されると、制御部21の記録制御部21bは、この個人辞書をテキスト化に用いるために、例えば一時的に、個人辞書部24aの空き領域に格納する。
記録部24にはフォーマット情報部24cも記録されている。フォーマット情報部24cは、テキスト化された音声情報から所定のドキュメントを生成するためのフォーマットが記述されたフォーマット情報が記録されている。制御部21のドキュメント化部21cは、フォーマット情報部24cのフォーマット情報を参照することで、テキスト化された音声情報からドキュメントを生成する。記録制御部21bは、生成されたドキュメントを記録部24に与えて記録させる。
図3はドキュメント化部21cによって生成されるドキュメントの一例を説明するための説明図である。図3はドキュメントとしてカルテを生成する例を示している。ドキュメント化部21cは、フォーマット情報によってカルテのフォーマットを取得してカルテのドキュメントを生成する。図3のカルテは、「患者」、「年齢」、「性別」、「部位」、「所見」及び「日付」の項目を有する。
例えば、医師が図3のカルテの各項目順に発話するものとする。この場合には、テキスト化部23は、この項目順に発話された音声をテキスト化することで、各項目に設定すべきテキストを順次生成する。ドキュメント化部21cは、順次取得されたテキストを、各項目の欄に配置することで、カルテを生成する。
また、例えば、ドキュメント化部21cは、人の名前がテキスト化された場合には、「患者」の欄にテキスト化された名前を配置し、「x歳」と発話された音声がテキスト化された場合には、「年齢」の欄にテキスト化された年齢を配置する等のように、テキスト化された情報の内容を判定して、カルテの各欄にテキスト化された情報を配置するようにしてもよい。また、例えば、ドキュメント化部21cは、テキスト化された文字列が各項目の文字列に一致することによって、各項目に対する入力操作であるものと判定してもよい。例えば、「患者」の発音に続けて入力された音声のテキストを「患者」の欄に配置するようにしてもよい。こうして、ドキュメント化部21cにより、自動的にカルテが生成される。
情報処理装置20には、表示部26が設けられている。表示部26は例えばLCD(液晶ディスプレイ)等によって構成することができ、制御部21から供給される画像を表示画面に表示することができる。例えば、表示部26は、制御部21に制御されて、ディクテーション作業に必要な各種メニュー画面や、ディクテーション結果の表示等のディクテーション処理を進めるための画面表示を行うことができる。
テキスト化部23は、テキスト化に際して、ユーザによる学習操作を受け付けるようになっている。ユーザは表示部26に表示されたテキスト化された音声認識結果を参照して、音声認識結果に誤りがある場合には、操作入力部25を操作して、音声認識結果として正しい音声をテキスト入力することができるようになっている。テキスト化部23は、ユーザの入力操作に基づいて、個人の発声の特徴を記述した個人辞書を修正する学習処理を実行する。記録制御部21bは、この学習処理の結果によって、記録部24の個人辞書部24aの個人辞書を更新するようになっている。
制御部21は、収音装置10の専有者と情報処理装置20の専有者とが同一であると判定した場合には、個人辞書部24aに記録されている個人辞書を収音装置10に転送するために、通信部22を介して個人辞書の転送要求を行う。上述したように、収音装置10の記録部6は、初期設定ではリードオンリーに設定されているが、書込み許可制御部1dは、情報処理装置20からの転送要求によって、記録部6を書き込み許可に設定するようになっている。こうして、制御部21は、個人辞書部24aの個人辞書を通信部22,5を介して収音装置10に転送し、転送された個人辞書は制御部1によって記録部6の個人辞書部6bに書き込まれるようになっている。
制御部21は、収音装置10の専有者と情報処理装置20の専有者とが同一でないと判定した場合には、個人辞書の転送を行わないようになっていてもよい。ただし、この個人辞書の書き込みはこれに限らず、システム全体の管理者が設定可能でもよく、収音装置の専有者、所持者、管理者、情報処理装置の所持者、管理者が禁止、許可、その他の設定が可能でもよい。これはシステムが要求するセキュリティレベルに応じて選択可能で、ユーザ情報を収音装置10が送信要求して、情報処理装置20が受信して取得するようなやり取りを行っても良い。
情報処理装置20には通信部27も設けられている。通信部27は、所定の伝送路を介して外部の機器との間で情報の授受が可能である。例えば、通信部27は、図示しないクラウド上のコンピュータと接続可能であり、制御部21は、クラウド上のコンピュータを利用してディクテーション処理を行うこともできるようになっている。
なお、収音装置10について、ユーザ登録部1aは、実際の使用者についても登録可能である。しかし、本実施の形態は、収音装置10については、専有者と実際の使用者とが同一の場合を想定したものであり、両者が異なる場合については説明を省略する。なお、収音装置10における専有者は、個人辞書部6bに個人辞書が記録されている使用者を意味し、情報処理装置20における専有者は、個人辞書部24aに個人辞書が記録されている使用者を意味していることにしてもよく、それぞれ複数の専有者が登録されている場合でも適用可能である。
次に、このように構成された実施の形態の動作について図4及び図5を参照して説明する。図4は収音装置の動作を説明するためのフローチャートであり、図5は情報処理装置20の動作を説明するためのフローチャートである。
収音装置10に電源が投入されると、図4のステップS1において、収音装置10の制御部1の書込み許可制御部1dは、記録部6を読み取り専用に設定した後、ステップS2に移行する。収音及びディクテーションに際して、収音装置10の制御部21と情報処理装置20の制御部21とは、図4のステップS2及び図5のステップS21において、互いに専有者の確認を行う。即ち、制御部1は記録部6のユーザ情報部6aからユーザ情報を読み出し、制御部21は記録部24のユーザ情報部24dからユーザ情報を読み出し、制御部1,21は、通信部5,22を介して相互に通信を行い、自機及び接続相手の機器のユーザ情報を照合して、収音装置10と情報処理装置20の専有者が同一であるか否かを確認する。
次に、制御部1はステップS3において収音開始の待機状態となり、制御部21はステップS22において音声受信の待機状態となる。ここで、ユーザがディクテーションのための発話を開始するものとする。例えば、ユーザは、図2に示すように、筐体10aを右手の指53R,54Rによって把持し、マイク部2aに口52を近づけた状態で発話する。収音装置10において収音が開始されると、制御部1は、ステップS3からステップS4に移行して、専有者同一であるか否かを判定する。
(専有者不一致)
いま、収音装置10と情報処理装置20の専有者が同一(以下、単に専有者同一ともいう)ではない(専有者不一致)ものとする。この場合には、制御部1は、処理をステップS5に移行して、ユーザの発話による音声入力を行い、収音した音声を送信する。即ち、制御部1は、指向性制御部2bを制御して、例えば、ユーザ操作に基づく指向性を設定した状態で、マイク部2aにより発話を収音させる。例えば、制御部1は、収音範囲を狭くして、所定のビーム方向に設定した状態で音声記録を開始する。例えば、ビーム方向としては、図2の角度θの方向をビーム方向としてもよい。
NR部2cは指向性制御部2bによる指向性制御後の音声データに対してノイズキャンセル処理行い、ノイズキャンセル後の音声データを制御部1に出力する。制御部1は、収音部2からの音声データ、又はこの音声データを音質調整部7によって音質調整した後の音声データを、通信部5を介して情報処理装置20に送信する。
次に、制御部1は、ステップS6において、記録部6の個人辞書部6bの個人辞書を読み出して、通信部5を介して情報処理装置20に送信する。制御部1は、ステップS7において、ディクテーションのための収音処理が終了したか否かを判定し、収音処理が終了するまで、ステップS5〜S7を繰り返す。
情報処理装置20の制御部21は、ステップS22において音声の受信を開始すると、ステップS23において専有者同一か否かを判定する。専有者同一でない場合には、制御部21は、ステップS24において通信部22を介して音声信号を受信する。更に、制御部21は、ステップS25において、収音装置10からの個人辞書を取得する。制御部21は通信部22を介して収音装置10の提供部1cが提供した個人辞書を受信し、記録制御部21bは、受信した個人辞書を個人辞書部24aの空き領域に記録する。
次のステップS27において、テキスト化部23は、記録部24の音声テキスト化辞書部24bから音声テキスト化辞書を読み出すと共に、ステップS25において個人辞書部24aに記録した個人辞書を読み出して、テキスト化を行う。ドキュメント化部21cは、記録部24のフォーマット情報部24cのフォーマット情報を読み出して、テキスト化された音声に基づくドキュメントを生成する。テキスト化部23は、生成されたドキュメントを表示部26に与えて表示させる(ステップS28)。
ユーザは表示部26に表示されたドキュメントを参照して、ディクテーションの正誤を判定し(ステップS29)、正しければ処理をステップS32に移行して、ディクテーションが終了したか否かを判定する。制御部21は、ディクテーション処理が終了していなければ処理をステップS23に戻し、終了すると処理をステップS33に移行する。テキスト化部23は、ステップS29において、ユーザにより誤りが指摘された場合には、当該指摘に基づいてテキスト化を修正する。なお、ドキュメント化部21cは、テキスト化部の修正結果に基づいてドキュメントを修正し、この修正結果は表示部26に表示される。テキスト化部23は、ステップS31において、修正結果に基づいて個人辞書部6bの個人辞書を更新する学習処理を実行する。
収音装置10の制御部1は、ステップS7においてディクテーション処理が終了したものと判定すると、次のステップS8において、個人辞書の消去コマンドを送信する。このコマンドは通信部5,22を介して情報処理装置20の制御部21に受信される。
制御部21は、ステップS32においてディクテーション処理が終了したものと判定すると、次のステップS33において、専有者同一であるか否かを判定する。専有者同一でない場合には、制御部21は、ステップS34において、コマンドに従って制御を行う。即ち、この場合には、制御部21の記録制御部21bは、ステップS25において個人辞書部24aに記録した個人辞書を消去する。
このように、専有者が不一致の場合には、収音装置10は、記録部6に記録されている個人辞書を他人が専有する情報処理装置や共有の情報処理装置に転送してディクテーション処理に利用させることができる。これにより、専有マイクロホン装置である収音装置10の専有者は、専有PC以外の情報処理装置を用いる場合でも、専有PCを用いる場合と同様の音声認識性能によってディクテーションが可能である。
(専有者一致)
次に、収音装置10と情報処理装置20の専有者が同一であるものとする。この場合には、制御部1は、ステップS4からステップS11に移行して、ユーザの発話による音声入力を行い、収音した音声を送信した後、ステップS12において個人辞書の更新処理が発生しているか否かを判定する。なお、ステップS11の音声入力及び送信処理はステップS5と同様の処理である。この場合には、専有者同一であるので、収音装置10の記録部6に記録されている個人辞書と同一の情報が情報処理装置20の記録部24に記録されていると考えられるので、個人辞書の提供処理は省略される。
一方、情報処理装置20の制御部21は、ステップS23において専有者同一であるものと判定すると、ステップS26において通信部22を介して音声信号を受信する。なお、ステップS26の処理はステップS24の処理と同様の処理である。次に、情報処理装置20では、ステップS27〜S32において、テキスト化、ドキュメント化及び学習処理が行われる。
制御部21は、ステップS32においてディクテーション処理が終了したものと判定すると、次のステップS33において、専有者同一であるか否かを判定する。この場合には専有者同一であるので、制御部21は、ステップS35において、学習結果の更新要求を行って、学習結果を送信して処理を終了する。例えば、制御部21は、個人辞書部24aに記録された個人辞書をそのまま読み出して通信部22を介して送信してもよく、また、個人辞書の変更分である差分データのみを通信部22を介して送信してもよい。
収音装置10の判定部1bは、ステップS12において学習結果の更新要求が発生したか否かを判定しており、更新要求を受信すると、学習結果の更新期間には記録部6を書込み許可に設定するように書込み許可制御部1dに指示を与える。書込み許可制御部1dは、ステップS13において記録部6を書込み許可に設定する。制御部1は、情報処理装置20から送信された学習結果の更新データを受信して、更新データで個人辞書部6bを更新する(ステップS14)。なお、判定部1bはステップS12において更新要求が発生していないと判定した場合には処理をステップS16に移行する。
個人辞書部6bの更新が終了すると、書込み許可制御部1dは、記録部6を再度読み取り専用に設定する(ステップS15)。制御部1は、次のステップS16において、ディクテーションのための収音処理の終了操作が発生したか否かを判定し、終了操作がない場合には処理をステップS11に戻し、終了操作があった場合には処理を終了する。
このように、専有者が同一の場合には、収音装置10は、情報処理装置20からの学習結果によって個人辞書部6bを更新することで、次回以降のディクテーションにおいて専有PC以外の情報処理装置を用いる場合でも、専有PCを用いる場合と同様の音声認識性能によるディクテーションを可能にすることができる。また、制御部1は、学習結果の更新期間にのみ記録部6を書込み許可にし、他の期間には読み取り専用に設定しているので、情報処理装置20からの情報が収音装置10により流出することを防止することができる。
このように本実施の形態においては、ディクテーションに必要な個人辞書を登録する記録部を備え、必要に応じて個人辞書を情報処理装置に転送する機能を有しているので、他人が専用するパーソナルコンピュータや共用パーソナルコンピュータを用いてディクテーションを行う場合でも、高精度の音声認識処理によるディクテーション処理を可能にすることができる。しかも、この場合において、情報処理装置であるパーソナルコンピュータから各種情報が収音装置内のメモリに読み出されて持ち出されることを防止することが可能である。
つまり、マイクロホンと通信する通信部と、前記収音部において収音された音声に対するディクテーションを実行するために音声認識処理に用いる個人辞書を、上記通信部を介して取得する制御部とを具備したことを特徴とする情報処理装置を提供して、専有マイクロホン装置を所持するユーザが、どのPCを使っても、正確な音声認識処理を実行可能にしている。
(第2の実施の形態)
図6は本発明の第2の実施の形態に係る収音装置を示すブロック図である。図6において図1と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は、図1の通信部5としてUSB規格のコントローラであるUSB通信部5aを採用した例を示している。USB通信部5aは、図示しないUSBケーブルを介して図1の情報処理装置20の通信部22に接続される。
なお、情報処理装置20の通信部22は、USB接続が行われると、制御部21に制御されて、USBのマスタ(USBホスト)として動作するようになっている。一方、収音装置60のUSB通信部5aは、USBケーブルを介して通信部22に接続されると、USBのスレーブとして機能するようになっている。
本実施の形態においては、制御部61は、書込み許可制御部1dに代えてUSB接続に対応した書込み許可制御部1eを採用した点が、図1の制御部1と異なる。制御部61と記録部6とは信号線62a,62bによって接続されており、書込み許可制御部1eは信号線62aを介して各種コマンドを伝送して記録部6を制御することができる。また、制御部61は、信号線62bを介して記録部6に記録されているデータを読出すことができるようになっている。
本実施の形態においても、判定部1b及び書込み許可制御部1eは、収音装置60の電源投入時以降、記録部6を読み取り専用に設定し、情報処理装置20からの学習結果によって個人辞書部6bを更新する期間にのみ、記録部6を書込み許可に設定するようになっている。
しかし、USB通信部5aが通信部22との間でUSB接続されると、情報処理装置20の制御部21は、OSの機能によって、収音装置60の記録部6をマウントする。このマウント処理後には、制御部21において動作しているOSやOS上で動作するアプリケーションプログラムによって、収音装置60の記録部6に記録されているファイルにアクセス可能である。なお、記録部6は読み取り専用に設定されていることから、情報処理装置20によって記録部6への書込みを行うことはできない。
一方、収音装置60は、USB接続によって記録部6がマウントされた状態では、制御部61が独自に記録部6に対する書込み、読み出し及びその制御を行うことはできず、記録部6については情報処理装置20の制御部21によって動作が制御されるUSB接続モードに設定される。従って、記録部6のマウント時には、制御部21による読出し制御等に従って、記録部6から転送データの読出し及び転送等が行われるのみである。
そこで、本実施の形態においては、記録部6のマウントを収音装置60側で解除(アンマウント)するために、収音装置10にはスイッチ63が設けられている。スイッチ63は、書込み許可制御部1eにオン,オフ制御されるようになっている。スイッチ63がオフとなることによって、信号線62bが遮断されて、情報処理装置20の制御部21が制御部1を介して記録部6にアクセスすることができなくなるようになっている。
書込み許可制御部1eは、学習結果によって個人辞書を更新する期間が判定部1bによって指定されると、スイッチ63をオフにして情報処理装置20の制御部21から記録部6へのアクセスを遮断するようになっている。これにより、記録部6のマウントは解除される。書込み許可制御部1eは、記録部6のマウント解除後に、記録部6を書込み許可に設定した後スイッチ63をオンにして記録部をマウントさせて、個人辞書の更新を可能にする。また、書込み許可制御部1eは、個人辞書の更新が終了すると、スイッチ63をオフにして記録部6のマウントを解除して記録部6を読み取り専用に再設定した後、スイッチ63をオンにして記録部6をマウントさせるようになっている。
即ち、本実施の形態においては、情報処理装置20に対するユーザ操作によって直接記録部6を書込み許可に設定することはできない。また、記録部6を書込み許可にするために、USB通信部5aと通信部22との間のUSBケーブルの接続を切断して記録部6をアンマウントする必要はなく、判定部1bが個人辞書の更新期間を判定することで、自動的にアンマウント処理及びマウント処理が行われるようになっている。これにより、ユーザが記録部6の書込み許可期間を把握することは困難であり、記録部6を介した情報の流出が防止される。
次に、このように構成された実施の形態の動作について図7のフローチャートを参照して説明する。図7は収音装置の動作を説明するためのフローチャートである。図7において図4と同一の手順には同一符号を付して説明を省略する。
本実施の形態においては、図7に示すように、図4のフローにステップS41〜S44の処理を付加した点が第1の実施の形態と異なる。専有者が不一致の場合の動作は第1の実施の形態と同様である。専有者同一の場合には、学習結果の更新が行われることから、記録部6の読み取り専用設定と書込み許可設定とを切換えるために、アンマウント処理及びマウント処理が行われる。
即ち、書込み許可制御部1eは、ステップS12において、学習結果に基づく個人辞書部6bの更新要求が発生した場合には、ステップS41に処理を移行して、スイッチ63をオフにして記録部6のアンマウント処理を実行する。書込み許可制御部1eは、記録部6のアンマウント後に、記録部6を書込み許可に設定し(ステップS13)、次いでスイッチ63をオンにして記録部6を再度マウントさせる(ステップS42)。これにより、情報処理装置20の制御部21は、記録部6へのアクセスが可能となり、学習結果に基づく個人辞書の更新データを通信部22、USB通信部5a及び制御部61を介して記録部6に与えて、個人辞書部6bを更新する(ステップS14)。
個人辞書の更新が終了すると、書込み許可制御部1eは、記録部6を再度読み取り専用に設定するために、ステップS43おいてスイッチ63をオフにして記録部6のアンマウント処理を実行する。書込み許可制御部1eは、記録部6のアンマウント後に、記録部6を読み取り専用に設定し(ステップS15)、次いでスイッチ63をオンにして記録部6を再度マウントさせる(ステップS44)。これにより、情報処理装置20の制御部21は、記録部6に対して読み取り専用でアクセス可能となる。
なお、このような更新処理を行う場合でも、USBケーブルの接続を切断する必要がないことから、収音装置60は継続して収音及び音声信号の送信処理を行うことが可能である。
他の作用は第1の実施の形態と同様である。
このように本実施の形態においては、収音装置の記録部が情報処理装置のスレーブとして動作する場合でも、学習結果に基づく個人辞書の更新データの書込みに際して、記録部に対してアンマウント処理及びマウント処理を行うことで、記録部の読み取り設定と書込み許可設定とを切換えることを可能にしている。これにより、本実施の形態においても、第1の実施の形態と同様の効果を得ることができる。また、USBケーブルの接続を切断することなく、記録部の設定変更が可能であり、収音及び音声信号の送信機能を継続させることができると共に、ユーザに書込み許可期間を把握させることがないので、情報の流出を抑制しやすいという利点がある。
なお、本実施の形態においては、スイッチ63によって制御部21から記録部6に対するアクセスを遮断することによりアンマウント処理を行ったが、制御部1において、USB通信を一時的に遮断することで、アンマウント処理を行うようにしてもよい。
(変形例)
図8及び図9は変形例を示すフローチャートである。図8は収音装置の動作を示し、図9はディクテーション処理を図示しないクラウド上のコンピュータにおいて実施する場合のディクテーション動作を示している。図8及び図9において夫々図4及び5と同一の手順には同一符号を付して説明を省略する。
図8では図4のステップS2の専有者確認処理に代えてステップS41におけるユーザ情報照合処理が設けられている。また、図9では図5のステップS21の専有者確認処理に代えてステップS51におけるユーザ情報照合処理が設けられている。一般的に、クラウド上のコンピュータシステムを利用してディクテーションを行う場合には、各ユーザ毎に専用の記録領域が確保されているものと考えられる。従って、収音装置10の使用者と専有者とが一致している場合には、第1の実施の形態における専有者同一の場合と同様の動作が行われる。
ユーザ専用の記録領域を利用するために、収音装置10の制御部1はステップS41においてユーザ情報の照合処理を行い、クラウド上のコンピュータはステップS51においてユーザ情報の照合処理を行う。この照合処理によって、クラウド上のコンピュータは、収音装置10の専有者用の記録領域を利用してディクテーションを行う。
即ち、収音装置10においては、図8に示すように、図4のステップS4〜S8は省略されて、ステップS11〜S16の処理のみが行われる。また、クラウド上のコンピュータにおいては、図9に示すように、図5のステップS23−S25,S33,S34は省略されて、ステップS26〜S32,S35の処理のみが行われる。
他の作用は第1の実施の形態と同様である。
このようにクラウド上のコンピュータシステムを用いてディクテーションを行う場合でも、学習結果を収音装置10に記録することができ、次回のディクテーション時に他人のパーソナルコンピュータや共有パーソナルコンピュータを使用する場合でも、音声認識性能を向上させて確実なディクテーションを行うことができる。
なお、USB接続を行う収音装置60を情報処理装置20を介してクラウド上のコンピュータに接続し、クラウド上のコンピュータを利用してディクテーションを実行することも可能である。この場合には、収音装置60は、図7のフローチャートのステップS2の専有者確認処理に代えてユーザ情報照合処理を実施すると共に、専有者同一の場合の処理のみを採用すればよいことは明らかである。
また、上記各実施の形態においては、収音装置は、収音した音声にノイズキャンセル処理や所定の音質調整した後の音声データを、情報処理装置にそのまま出力する例について説明したが、個人辞書を有していることから、個人辞書を用いて専有者の発声の特徴を補正した後、情報処理装置20に出力するようになっていてもよい。この場合には、情報処理装置において、個人辞書を用いることなく、高精度の音声認識処理が可能となる可能性がある。
また、上記各実施の形態の形態においては、収音装置と情報処理装置の専有者が不一致の場合に個人辞書を収音装置から情報処理装置に転送し、専有者同一の場合に個人辞書の更新データを情報処理装置から収音装置に転送する例について説明したが、収音装置は、情報処理装置に接続されたことによって個人辞書を情報処理装置に転送するようになっていてもよく、ユーザ情報に拘わらず情報処理装置からの要求に従って個人辞書を情報処理装置に転送するようになっていてもよい。また、情報処理装置は、収音装置に接続されたことによって個人辞書の更新データを収音装置に転送するようになっていてもよく、ユーザ情報に拘わらず収音装置からの要求に従って個人辞書の更新データを収音装置に転送するようになっていてもよい。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。例えば、ディクテーションに限らず、音声による機器の操作などにも使える。また、翻訳機などを併用したり音声出力装置と組み合わせたりして、コミュニケーションや、検索機能の補助、ロボットとの会話も行うことが可能となる。つまり、収音部と、前記収音部において収音された音声に対する音声認識処理に用いる個人辞書を記録する記録部とを具備して、音声認識による機器操作やコミュニケーション補助を円滑に行うことが出来る。
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、半導体やその他の記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。また、外部の機器が必要に応じて連携し、いくつかの機能や判断の代役を果たしてもよい。
1制御部、1a,21a…ユーザ登録部、1b…判定部、1c…提供部、1d…書込み許可制御部、2…収音部、2a…マイク部、2b…指向性制御部、2c…NR部、2d…ノイズ判定部、3…操作部、4…姿勢判定部、5,22…通信部、6…記録部、6a,24d…ユーザ情報部、6b,24a…個人辞書部、7…音質調整部、9…時計部、10…収音装置、20…情報処理装置、21…制御部、21b…記録制御部、21c…ドキュメント化部、23…テキスト化部、24…記録部、24b…テキスト化辞書部、24c…フォーマット情報部、26…表示部。

Claims (11)

  1. 音を収音するマイクロホンにより構成された収音部と、
    前記収音部において収音された音声に対するディクテーション時の音声認識処理に用いる個人辞書を記録する記録部と、
    前記収音部において収音された音声に対するディクテーションを実行する情報処理装置への前記個人辞書の提供を制御する制御部と、
    前記収音部において収音された音声を前記情報処理装置に送信すると共に、前記制御部に制御されて前記個人辞書を前記情報処理装置に送信する通信部と、を具備し、
    前記制御部は、前記情報処理装置のユーザ情報に基づいて、前記情報処理装置への前記個人辞書の提供の可否を決定することを特徴とする収音装置。
  2. 前記制御部は、前記情報処理装置の要求に基づいて、前記情報処理装置への前記個人辞書の提供の可否を決定することを特徴とする請求項に記載の収音装置。
  3. 前記情報処理装置の音声認識処理における学習の結果更新された個人辞書の更新データの記録の可否を判定する判定部と、
    前記記録部を読み取り専用に設定すると共に、前記判定部によって前記更新データの記録可が判定された期間にのみ前記記録部を書き込み許可に設定する書込み許可制御部とを具備したことを特徴とする請求項1又は2に記載の収音装置。
  4. 前記判定部は、前記情報処理装置のユーザ情報に基づいて、前記更新データの記録の可否を判定することを特徴とする請求項に記載の収音装置。
  5. 前記判定部は、前記情報処理装置の要求に基づいて、前記更新データの記録の可否を判定することを特徴とする請求項に記載の収音装置。
  6. 前記記録部は、前記情報処理装置によってマウントされ、
    前記書込み許可制御部は、読み取り専用の設定と前記書き込み許可の設定との切換えに際して、前記記録部のマウントを一時的に解除することを特徴とする請求項に記載の収音装置。
  7. マイクロホンにより構成された収音部によって音を収音する手順と、
    前記収音部において収音された音声に対するディクテーションを実行する情報処理装置の前記ディクテーションにおいて採用される音声認識処理に用いる個人辞書の前記情報処理装置への提供の可否を判定する手順と、
    前記収音部において収音された音声を前記情報処理装置に送信すると共に、前記提供の可否の判定結果に基づいて、前記個人辞書を前記情報処理装置に送信する通信手順とを具備し、
    前記提供の判定する手順は、前記情報処理装置のユーザ情報に基づいて、前記個人辞書の前記情報処理装置への提供の可否を判定することを特徴とする収音方法。
  8. コンピュータに、
    マイクロホンにより構成された収音部によって音を収音する手順と、
    前記収音部において収音された音声に対するディクテーションを実行する情報処理装置の前記ディクテーションにおいて採用される音声認識処理に用いる個人辞書の前記情報処理装置への提供の可否を判定する手順と、
    前記収音部において収音された音声を前記情報処理装置に送信すると共に、前記提供の可否の判定結果に基づいて、前記個人辞書を前記情報処理装置に送信する通信手順とを実行させるための収音プログラム。
  9. 収音部を有する収音装置から送信された音声を受信する手順と、
    前記収音装置から前記音声に対するディクテーションにおいて採用する音声認識処理に用いる個人辞書を受信する手順と、
    受信した音声に対するディクテーション処理によってドキュメントを生成する手順と、
    生成されたドキュメントに対する学習処理の結果更新した個人辞書の更新データを前記収音装置に送信する手順と、を具備し、
    前記個人辞書を受信する手順は、前記収音装置のユーザ情報に基づいて、前記個人辞書の受信の可否を決定することを特徴とするディクテーション方法。
  10. 前記送信する手順は、前記収音装置のユーザ情報に基づいて、前記更新データの前記収音装置への送信の可否を決定することを特徴とする請求項に記載のディクテーション方法。
  11. 音を収音するマイクロホンにより構成された収音装置と通信する通信部と、
    前記収音装置において収音された音声に対するディクテーションを実行するために前記ディクテーションにおいて採用される音声認識処理に用いる個人辞書を上記通信部を介して取得する制御部と、を具備し、
    前記制御部は、前記収音装置のユーザ情報に基づいて、前記個人辞書の取得の可否を決定することを特徴とする情報処理装置。
JP2017094467A 2017-05-11 2017-05-11 収音装置、収音方法、収音プログラム、ディクテーション方法及び情報処理装置 Active JP6883471B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017094467A JP6883471B2 (ja) 2017-05-11 2017-05-11 収音装置、収音方法、収音プログラム、ディクテーション方法及び情報処理装置
US15/969,004 US10777187B2 (en) 2017-05-11 2018-05-02 Sound collection apparatus, sound collection method, sound collection program, dictation method, information processing apparatus, and recording medium recording information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017094467A JP6883471B2 (ja) 2017-05-11 2017-05-11 収音装置、収音方法、収音プログラム、ディクテーション方法及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2018189904A JP2018189904A (ja) 2018-11-29
JP6883471B2 true JP6883471B2 (ja) 2021-06-09

Family

ID=64097945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017094467A Active JP6883471B2 (ja) 2017-05-11 2017-05-11 収音装置、収音方法、収音プログラム、ディクテーション方法及び情報処理装置

Country Status (2)

Country Link
US (1) US10777187B2 (ja)
JP (1) JP6883471B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827799B (zh) * 2019-11-21 2022-06-10 百度在线网络技术(北京)有限公司 用于处理语音信号的方法、装置、设备和介质
JP7472803B2 (ja) 2021-01-21 2024-04-23 トヨタ自動車株式会社 電動車両の制御装置、電動車両、および、電動車両の制御方法
JP7541412B1 (ja) 2023-05-22 2024-08-28 株式会社ブルーオーシャンシステム データ入力支援装置および方法,データ内容音声入力システム,記録管理装置,ならびに振り分け方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0375860A (ja) * 1989-08-18 1991-03-29 Hitachi Ltd パーソナライズド端末
JP3474596B2 (ja) 1992-12-07 2003-12-08 富士写真フイルム株式会社 音声記録装置
US6064959A (en) * 1997-03-28 2000-05-16 Dragon Systems, Inc. Error correction in speech recognition
US6195641B1 (en) * 1998-03-27 2001-02-27 International Business Machines Corp. Network universal spoken language vocabulary
JP2000322088A (ja) * 1999-05-14 2000-11-24 Hitachi Ltd 音声認識マイクおよび音声認識システムならびに音声認識方法
US6640098B1 (en) * 2000-02-14 2003-10-28 Action Engine Corporation System for obtaining service-related information for local interactive wireless devices
JP3581648B2 (ja) * 2000-11-27 2004-10-27 キヤノン株式会社 音声認識システム、情報処理装置及びそれらの制御方法、プログラム
US7027987B1 (en) * 2001-02-07 2006-04-11 Google Inc. Voice interface for a search engine
US20030120493A1 (en) * 2001-12-21 2003-06-26 Gupta Sunil K. Method and system for updating and customizing recognition vocabulary
JP2004045591A (ja) * 2002-07-10 2004-02-12 Mitsubishi Heavy Ind Ltd 音声認識方法及び特定話者音響辞書の提供方法
EP1665086A4 (en) * 2003-08-15 2009-09-02 Silverbrook Res Pty Ltd IMPROVING ACCURACY IN DIGITAL COLOR SEARCH
JP4562373B2 (ja) * 2003-10-20 2010-10-13 三洋電機株式会社 データ処理装置
US7376561B2 (en) * 2004-02-23 2008-05-20 Louis Ralph Rennillo Real-time transcription system
US7826945B2 (en) * 2005-07-01 2010-11-02 You Zhang Automobile speech-recognition interface
JP4680714B2 (ja) * 2005-08-03 2011-05-11 パナソニック株式会社 音声認識装置および音声認識方法
ES2276617B1 (es) * 2005-12-01 2008-06-16 Colaboradores En Tecnologia Para La Empresa, S.L. Sistema de control inalambrico de dispositivos mediante un aparato con telefono movil.
CN101443732A (zh) * 2006-05-12 2009-05-27 皇家飞利浦电子股份有限公司 用于从第一自适应数据处理版本转换至第二自适应数据处理版本的方法
WO2008007688A1 (fr) * 2006-07-13 2008-01-17 Nec Corporation Terminal téléphonique ayant une fonction de reconnaissance vocale, dispositif de support de mise à jour de dictionnaire de reconnaissance vocale, et procédé de support associé
TWI502380B (zh) * 2007-03-29 2015-10-01 Nokia Corp 配合預測式本文輸入使用之方法、裝置、伺服器、系統及電腦程式產品
US8775175B1 (en) * 2012-06-01 2014-07-08 Google Inc. Performing dictation correction
JP5706384B2 (ja) * 2012-09-24 2015-04-22 株式会社東芝 音声認識装置、音声認識システム、音声認識方法および音声認識プログラム
JP2014106523A (ja) * 2012-11-30 2014-06-09 Aisin Aw Co Ltd 音声入力対応装置及び音声入力対応プログラム
TWI508057B (zh) * 2013-07-15 2015-11-11 Chunghwa Picture Tubes Ltd 語音辨識系統以及方法
US9640181B2 (en) * 2013-12-27 2017-05-02 Kopin Corporation Text editing with gesture control and natural speech
US20150334346A1 (en) * 2014-05-16 2015-11-19 Elwha Llc Systems and methods for automatically connecting a user of a hands-free intercommunication system
JP2016024212A (ja) * 2014-07-16 2016-02-08 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6226911B2 (ja) 2015-06-04 2017-11-08 シャープ株式会社 サーバ装置、システム、音声認識機能を管理するための方法、および、情報通信端末を制御するためのプログラム
US20160379630A1 (en) * 2015-06-25 2016-12-29 Intel Corporation Speech recognition services
JP2017079040A (ja) * 2015-10-22 2017-04-27 オリンパス株式会社 情報端末及びそのデータ秘匿化処理方法
EP3455719A1 (en) * 2016-05-10 2019-03-20 Google LLC Implementations for voice assistant on devices

Also Published As

Publication number Publication date
JP2018189904A (ja) 2018-11-29
US20180330716A1 (en) 2018-11-15
US10777187B2 (en) 2020-09-15

Similar Documents

Publication Publication Date Title
US11496827B2 (en) Microphone natural speech capture voice dictation system and method
JP6513749B2 (ja) 音声アシストシステム、サーバ装置、その音声アシスト方法、及びコンピュータが実行するためのプログラム
US9275638B2 (en) Method and apparatus for training a voice recognition model database
US20190101991A1 (en) Vein scanning device for automatic gesture and finger recognition
JP6883471B2 (ja) 収音装置、収音方法、収音プログラム、ディクテーション方法及び情報処理装置
CN111524501B (zh) 语音播放方法、装置、计算机设备及计算机可读存储介质
US20100178956A1 (en) Method and apparatus for mobile voice recognition training
JP4622384B2 (ja) ロボット、ロボット制御装置、ロボットの制御方法およびロボットの制御用プログラム
US20180122025A1 (en) Wireless earpiece with a legal engine
CN112735429B (zh) 确定歌词时间戳信息的方法和声学模型的训练方法
CN109346057A (zh) 一种智能儿童玩具的语音处理系统
WO2014182453A2 (en) Method and apparatus for training a voice recognition model database
JP2018191145A (ja) 収音装置、収音方法、収音プログラム及びディクテーション方法
CN110830368A (zh) 即时通讯消息发送方法及电子设备
JP2009515260A5 (ja)
CN111223475B (zh) 语音数据生成方法、装置、电子设备及存储介质
KR20120127773A (ko) 음성인식 정보검색 시스템 및 그 방법
WO2020079918A1 (ja) 情報処理装置及び情報処理方法
US10785562B1 (en) Position-aware recording devices able to provide context to speech
US10963548B2 (en) Information acquisition device, information acquisition system, and information acquisition method
TW200813748A (en) Pen-type computer and generating method
KR20200056754A (ko) 개인화 립 리딩 모델 생성 방법 및 장치
KR20200045821A (ko) 전자의무기록에 기반하여 대화서비스를 제공하는 전자 장치 및 방법
WO2019142447A1 (ja) 情報処理装置および情報処理方法
US20190267002A1 (en) Intelligent system for creating and editing work instructions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200327

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210510

R151 Written notification of patent or utility model registration

Ref document number: 6883471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151