JP7218163B2

JP7218163B2 - 音声認識入力装置

Info

Publication number: JP7218163B2
Application number: JP2018229961A
Authority: JP
Inventors: 宏平元木
Original assignee: 富士フイルムヘルスケア株式会社
Priority date: 2018-12-07
Filing date: 2018-12-07
Publication date: 2023-02-06
Anticipated expiration: 2038-12-07
Also published as: JP2020091786A

Description

本発明は、音声認識入力装置に関し、特に、画像撮像装置等に接続され、当該画像撮像装置に対してコマンドを出力する音声認識入力装置に関する。

検査や手術等において医用Ｘ線画像撮像装置を使用する場合、患者の健康状態や放射線被曝などに配慮し、医用Ｘ線画像撮像装置の使用時間をできるだけ短時間とすることが好ましい。このため、例えばＸ線の照射範囲を微調整する場合等には、操作者による入力指示がスムーズに行われることが求められる。

また、例えば、連続したＸ線照射を行って患者の体内を動画像として観察するＸ線透視中にも、操作者による様々な操作が行われることから入力指示がスムーズに行われることが好ましい。操作としては、例えば、参照用として画像や動画を取得又は保存する場合、Ｘ線の照射範囲を調整するためにＸ線絞りを操作する場合、過去の撮影画像の中から現在の検査に関する画像を連続的に表示させ、その中から閲覧したい画像を選択して再度表示させる場合等が挙げられる。
従来、操作者は、マウス、キーボード、スイッチ及びレバー等の入力装置を物理的に操作することで上述のような入力指示を行っている。

ところが、検査や手術中においては、Ｘ線画像撮像装置の操作者の手が塞がっていることも多く、視線や音声などの物理的な操作を必要としない入力装置が求められている。このような入力装置の例として、特許文献１には、音声認識技術を使用した音声入力指示による画像表示が提案されている。すなわち、特許文献１では、医療画像を被験者氏名及び被験者ＩＤと共に記憶し、被験者氏名又は被験者ＩＤの少なくとも一方を音声認識した場合に、認識結果をキーとして該当する医療画像をデータファイルから検索し表示させる。これにより、操作者の手が塞がっている場合においても、被験者の氏名等を入力するという煩雑な操作を行うことなく所望の画像を表示させている。

特開２００３－３３９６９５号公報

しかしながら、通常、音声認識処理には所定の時間を要することから、入力指示から操作までには一定の時間を要し、操作者が望んだタイミングで入力指示した操作が実行されないことがある。このため、所望の操作を実行するために繰り返し発話を行う必要がある。また、微調整等の細かい操作を行う際にも何度も発話が必要となる。つまり、操作者の入力指示に対する応答性が低く、操作に時間を要し操作そのものが煩雑化してしまう。
そこで、本発明では、音声入力指示に対して応答性を向上させ、操作に要する発話回数を低減させることができる音声認識入力装置を提供することを目的とする。

本発明は、上記事情に鑑みてなされたものであり、音声入力指示に対して応答性を向上させ、操作に要する発話回数を低減させることを目的とする。

上記課題を解決するために、本発明は以下の手段を提供する。
本発明の一態様は、所定のデータを取得し、該データと共に該データの取得時刻を付帯させて記憶部に一時的に記憶させるデータ取得部と、音声入力を受け付け、該音声入力を受け付けた音声入力時刻を前記記憶部に一時的に記憶させると共に、前記音声入力について音声認識処理を行う音声入力処理部と、前記音声認識処理の結果、前記音声入力が特定の操作指示と合致した場合に、前記音声入力時刻と同時刻の前記取得時刻に付帯して記憶された前記データについて前記操作指示に従った処理を行うためのコマンドを出力する音声入力判定部と、を備えた音声認識入力装置を提供する。

本発明によれば、音声入力指示に対して応答性を向上させ、操作に要する発話回数を低減させることができる。

本発明の第１の実施形態に係る音声認識入力装置の概略構成を示すブロック図である。図１の音声認識入力装置による画像撮像装置において撮像した画像の保存指示に係る音声入力処理の流れを示すフローチャートである。図１の音声認識入力装置における画像データとこれに付帯されて記憶されるデータ取得時刻の例を示す参考図である。本発明の第２の実施形態に係る音声認識入力装置において読み出された画像データとこれに付帯されて記憶される画像データの表示時刻の例を示す参考図である。本発明の第３の実施形態に係る音声認識入力装置による画像撮像装置の絞り枠の位置調節に対する音声入力処理の流れを示すフローチャートである。図５の音声認識入力装置における絞り枠の位置情報とこれに付帯されて記憶される位置情報取得時刻の例を示す参考図である。

本発明の実施形態に係る音声認識入力装置は、当該音声認識入力装置に接続された外部の画像撮像装置等に対して入力指示を行うものであり、画像撮像装置において撮像された複数の静止画から所望の画像を表示させたり、動画から所望の画像を抜き出して保存したり、画像撮像装置において画像を撮像する際の絞り位置を調節したり等所望の処理を指示するための入力を行うものである。

（第１の実施形態）
以下、本発明の第１の実施形態に係る音声認識入力装置について、図面を参照してより詳細に説明する。図１に本実施形態に係る音声認識入力装置の概略構成図を示す。
音声認識入力装置１０は、音声認識入力装置１０全体を制御する中央処理装置（ＣＰＵ）１１、音声入力を受け付けるマイク１２、メモリ１３及び磁気ディスク１４を備え、これらの各構成はシステムバスを介して互いに接続されている。

また、音声認識入力装置１０は画像撮像装置２０と通信可能に接続され、画像撮像装置２０に対する種々の入力指示を行うと共に、画像撮像装置２０から画像データ等を取得する。音声認識入力装置１０は、画像撮像装置２０を介してディスプレイ３０と接続され、画像撮像装置２０において取得した画像等をディスプレイ３０に表示させる指示を行う。
画像撮像装置２０としては、Ｘ線装置、ＭＲＩ装置、ＣＴ装置、ＰＥＴ装置など、医用画像取得のためのハードウェアを適用することができる。

音声認識入力装置１０によって画像撮像装置等に対して音声による入力指示を行うために、図１に示すように、ＣＰＵ１１は、音声入力処理部１１１、データ取得部１１２及び音声入力判定部１１３の機能を実現する。なお、ＣＰＵ１１が実現する音声入力処理部１１１、データ取得部１１２及び音声入力判定部１１３の機能は、ＣＰＵ１１が予め磁気ディスク１４等のメモリに格納されたプログラムを読み込んで実行することによりソフトウエアとして実現することができる。なお、ＣＰＵ１１に含まれる各部が実行する動作の一部又は全部を、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ）やＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ）により実現することもできる。

音声入力処理部１１１は、マイク１２を介して入力された音声について、音声入力を受け付けた音声入力時刻をメモリ１３に一時的に記憶させると共に、音声入力を認識対象として公知の音声認識処理を行って認識結果を音声入力判定部１１３に出力する。

データ取得部１１２は、音声認識入力装置１０と接続された画像撮像装置２０から所定のデータを取得し、取得したデータと共にデータの取得時刻を付帯させてメモリ１３に一時的に記憶させる。本実施形態においては、画像撮像装置２０においてＸ線透視などにおる連続的な画像撮影によって得られた画像データを取得する。なお、データ取得部１１２は、画像データをメモリ１３に一時的に記憶する際に、取得した画像データを同時にディスプレイ３０に表示させる。これにより、操作者による所望の画像データについての保存指示を支援することができる。

音声入力判定部１１３は、音声入力処理部１１１から取得した音声入力についての音声認識処理の結果が予め定められた操作指示と合致した場合に、メモリ１３に記憶された音声入力時刻と同時刻のデータ取得時刻に付帯して記憶されたデータについて音声入力に係る操作指示に従った処理を行うためのコマンドを出力する。

本実施形態では、例えば、Ｘ線透視において連続的に画像が撮影されている期間において、特定の画像データを特に静止画として保存させたい場合等に、予め定められた操作指示として「保存」を定義しておく。これにより、音声入力判定部１１３は、音声入力が保存であった場合に、音声入力時刻と同時刻に付帯してメモリ１３に記憶された画像データを磁気ディスク１４に保存するためのコマンドを出力する。

マイク１２は、操作者の発話を音声による入力として受け付けて電気信号に変換し、音声入力処理部１１１に出力する。
メモリ１３は、ＣＰＵ１１が実行するプログラムや演算処理の途中経過を記憶したり、画像撮像装置２０から読み込んだ画像データ等の各種データや、各種データを取得した時刻の他、音声におる入力指示を受け付けた入力指示時刻をＣＰＵからの指示によって一時的にきおくしたりする。

磁気ディスク１４は、ＣＰＵ１１が実行するプログラムやプログラム実行に必要なデータを格納する。さらに、磁気ディスク１４は、画像撮像装置２０から読み込んだ画像データ等を保存する。磁気ディスク１４として、例えば、ハードディスク等のＣＤ／ＤＶＤ、ＵＳＢメモリ、ＳＤカード等の可搬性記録媒体とデータの授受が可能な装置を適用することができる。

以下、このように構成された音声認識入力装置１０による画像撮像装置２０において撮像した画像の保存指示に係る音声入力処理の流れについて図２のフローチャートに従って説明する。

図２に示すように、画像撮像装置２０においてＸ線透視等による連続的な画像撮像が開始されると、ステップＳ１０１においてデータ取得部１１２が、画像撮像装置２０から画像データの取得を開始する。このとき、データ取得部１２は、図３に示すように画像データと共に当該画像データを取得したデータ取得時刻を付帯させてメモリ１３に一時的に記憶させる。この時、データ取得部１１２は、画像データの取得と同時にディスプレイ３０に取得した画像データを表示させる。これにより、操作者は、ディスプレイ３０を参照しながら、所望の画像について画像保存指示を行うことができる。

次のステップＳ１０２では、音声入力処理部１１１が、マイク１２を介して音声入力があったか否かを判定し、入力指示がなかったと判定した場合には、画像データの取得が継続している期間中はステップＳ１０２の処理を繰り返す。音声入力処理部１１１により音声入力があったと判定した場合には、ステップＳ１０３に進み、音声入力の時刻を音声入力時刻としてメモリ１３に一時的に記憶して、音声認識処理を行う（ステップＳ１０４）。

次のステップＳ１０５では、音声入力判定部１１３が、音声入力処理部１１１により音声認識処理を行った結果、音声入力が画像保存指示だったか否かを判定する。判定の結果、音声入力が画像保存指示であった場合にはステップＳ１０６に進み、音声入力が画像保存指示でなかった場合は、ステップＳ１０８に進む。

ステップＳ１０６では、音声入力判定部１１３が、音声入力時刻と一致するデータ取得時刻に付帯して記憶された画像データを磁気ディスク１４に保存するためのコマンドを出力する。本実施形態では、音声認識入力装置が磁気ディスク１４を備えているため、ＣＰＵ１１がデータ取得部１１２によって画像撮像装置２０から取得してメモリ１３に一時的に記憶させた画像データのうち、音声入力時刻と一致するデータ取得時刻に付帯して記憶された画像データを磁気ディスク１４に記憶させる。そして、ステップＳ１０７に進み、ステップＳ１０３でメモリ１３に一時的に保存された音声入力時刻を消去し、ステップＳ１０８に進む。

ステップＳ１０８では、画像データの取得が終了したか否か、つまり、画像撮像装置２０においてＸ線透視による連続的な画像撮像が終了したか否かを判定し、画像撮像が終了した場合には、メモリ１３に一時的に記憶された画像データとこれに付帯して記憶されたデータ取得時刻を消去して、音声入力処理を終了する。

このように、本実施形態によれば、操作者による画像保存指示に係る音声入力がなされた音声入力時刻を保存し、これと並行して、データ取得部が画像データを取得する際にデータ取得時刻を画像データと共に記憶させている。このため、音声入力時刻とデータ取得時刻とを照合することにより、操作者が画像保存指示を行った画像データを直ちに抽出することができる。従って、操作者が保存したい画像を、指示したタイミングで、かつ、少ない発話回数で正確に保存することができる。すなわち、操作者が望む操作を素早く正確に実行させることができ、操作に要する発話回数を低減させた応答性の高い音声認識入力装置を実現することができる。

（変形例）
上述した音声認識入力装置１０では、操作者の発話による音声入力指示で特定の画像データを保存する例について説明したが、これに限られず、例えば、画像保存に関して、「保存開始」及び「保存終了」の２つの指示を行い、保存開始から保存終了までの期間の全ての画像データを保存することもできる。
このようにすることで、操作者が保存したい画像データの全てを、指示したタイミングで、かつ、少ない発話回数で正確に保存することができる。

（第２の実施形態）
本実施形態では、画像撮像装置２０から連続的に画像データを取得しながらディスプレイ３０に同時に画像データを表示する、或いは、既にメモリ１３又は磁気ディスク１４に保存された画像データを連続的にディスプレイ３０に表示させる場合において、例えば、画像送り、画像戻し、画像をめくる時間を早めたり遅くしたりする等、操作者の所望の操作を音声入力により行うことができる。

この場合において、音声入力処理部１１１が操作者による音声入力と共に音声入力時刻をメモリ１３に記憶させ、かつ、データ取得部１１２が画像データを読み出して（取得して）表示させる際に、表示中の画像データと表示時刻をメモリ１３に一時的に記憶させる（図４参照）。これにより、例えば、操作者により表示停止指示があった場合に、表示停止指示に係る音声入力時刻と一致する表示時刻に対応する画像データをディスプレイ３０に表示させることができる。

（第３の実施形態）
本実施形態においては、音声入力装置がＸ線絞りを備えた画像撮像装置２０に接続された場合であって、画像撮像装置２０において画像を撮像する際のＸ線絞り位置を調節する場合の音声入力処理について説明する。本実施形態における音声認識入力装置１０は、上述した第１の実施形態に係る音声認識入力装置と同一の構成を有するため、同一の構成については同符号を付し、各構成についての説明を省略する。

Ｘ線絞り枠の位置は、音声入力に従って調節することができ、例えば、Ｘ線絞り枠の任意の一辺を移動、上下両方の辺、左右両方の辺、四辺全てを同時に移動させることができる他、移動方向もＸ線絞り枠を広げる方向又は狭める方向等任意に組み合わせ、適宜調節を行うことができる。操作者により移動開始に係る音声が入力に従って、指示された辺が指示された方向に移動を開始し、再び操作者による停止に係る音声入力に従ってＸ線絞り枠が停止する。

以下、音声認識入力装置１０による画像撮像装置２０の絞り枠の位置調節に対する音声入力処理の流れについて図５のフローチャートに従って説明する。
操作者により、絞り枠の移動開始について音声が入力されると、音声認識処理を経て指示された辺が指示された方向に移動を開始、すなわち、絞り枠の調節操作が開始する。

図５に示すように、画像撮像装置２０の絞り枠の調節操作が開始すると、ステップＳ２０１においてデータ取得部１１２が、画像撮像装置２０の絞り枠の位置をディスプレイ３０に表示させると共に、絞り枠の位置情報（データ）の取得を開始する。ディスプレイ３０に絞り枠の位置を表示させることで、ディスプレイ上で絞り枠の位置調節を行うことができる。そして、絞り位置情報の取得に際して、データ取得部１２は、図６に示すように絞り枠の位置情報と共に当該位置情報を取得した位置情報取得時刻を付帯させてメモリ１３に一時的に記憶させる。

次のステップＳ２０２では、音声入力処理部１１１が、マイク１２を介して音声入力があったか否かを判定し、入力指示がなかったと判定した場合には、画像データの取得が継続している期間中はステップＳ２０２の処理を繰り返す。音声入力処理部１１１により音声入力があったと判定した場合には、ステップＳ２０３に進み、音声入力の時刻を音声入力時刻としてメモリ１３に一時的に記憶して、音声認識処理を行う（ステップＳ２０４）。

次のステップＳ２０５では、音声入力判定部１１３が、音声入力処理部１１１により音声認識処理を行った結果、音声入力が絞り枠移動停止指示だったか否かを判定する。判定の結果、音声入力が絞り枠移動停止指示であった場合にはステップＳ２０６に進み、音声入力が絞り枠移動停止指示でなかった場合は、ステップＳ２０８に進む。

ステップＳ２０６では、音声入力判定部１１３が、音声入力時刻と一致する位置情報取得時刻に付帯して記憶された位置情報を画像撮像装置２０に出力する。本実施形態では、データ取得部１１２がメモリ１３に一時的に記憶させた位置情報のうち、音声入力時刻と一致する位置情報取得時刻に付帯して記憶された位置情報を画像撮像装置２０に出力する。そして、ステップＳ２０７に進み、ステップＳ２０３でメモリ１３に一時的に保存された音声入力時刻を消去し、ステップＳ２０８に進む。

ステップＳ２０８では、画像データの取得が終了したか否か、つまり、画像撮像装置２０においてＸ線透視による連続的な画像撮像が終了したか否かを判定し、画像撮像が終了した場合には、メモリ１３に一時的に記憶された画像データとこれに付帯して記憶されたデータ取得時刻を消去して、音声入力処理を終了する。

このように、本実施形態によれば、操作者による絞り枠の位置調節に係る音声入力がなされた音声入力時刻を保存し、これと並行して、データ取得部が絞り枠の位置情報を取得する際に位置情報取得時刻を位置情報と共に記憶させている。このため、音声入力時刻と位置情報取得時刻とを照合することにより、操作者が絞り枠停止指示を行ったときの位置情報を直ちに抽出することができる。従って、操作者が決定したい絞り枠の位置情報を少ない発話回数で正確に画像撮像装置２０に出力することができる。すなわち、操作者が望む操作を素早く正確に実行させることができ、操作に要する発話回数を低減させた応答性の高い音声認識入力装置を実現することができる。
上述した音声認識入力装置は、所望の画像の保存又は表示や、絞り枠の位置調節等の操作に係る入力だけでなく、例えば画像撮像装置に設けられた寝台の移動等の操作に係る入力を行うこともできる。

１０・・・音声認識入力装置、１１・・・ＣＰＵ、１２・・・マイク、１３・・・メモリ、１４・・・磁気ディスク、１１１・・・音声入力処理部、１１２・・・データ取得部、１１３・・・音声入力判定部、２０・・・画像撮像装置、３０・・・ディスプレイ

Claims

外部の画像撮像装置における可動部の位置情報を連続的に取得し、該位置情報と共に該位置情報の取得時刻を付帯させて記憶部に一時的に記憶させるデータ取得部と、
音声入力を受け付け、該音声入力を受け付けた音声入力時刻を前記記憶部に一時的に記憶させると共に、前記音声入力について音声認識処理を行う音声入力処理部と、
前記音声認識処理の結果、前記音声入力が前記可動部の操作指示と合致し、前記音声入力に係る前記操作指示が前記可動部の移動停止指示である場合に、前記音声入力時刻と同時刻の前記取得時刻に付帯して記憶された前記位置情報を前記画像撮像装置に出力する音声入力判定部と、を備えた音声認識入力装置。
前記画像撮像装置が、Ｘ線絞りを備えた画像撮像装置であり、前記可動部が、絞り枠である請求項１記載の音声認識入力装置。
前記可動部が、前記画像撮像装置に備えられた寝台である請求項１記載の音声認識入力装置。