JP4104017B2 - 医用電子装置、および、その診断用属性情報の認識方法 - Google Patents

Description

本発明は、医療用の画像診断装置から得られる診断画像に付加された診断用属性情報の認識処理に関する。

超音波、X線、MR(Magnetic resonance)などを利用したコンピュータ断層撮影(CT: Computerized Tomography)が医療分野に普及している。

CTによる診断を行う際は、まず、検査技師により操作されるモダリティと呼ばれる画像診断装置によって患者の断層画像などが撮影される。この画像は装置のコンソールにあるビデオディスプレイに表示される。そして、モダリティに接続されたイメージャと呼ばれるフィルムレコーダを検査技師が操作することで、診断に必要な画像を指示し、指示された画像がイメージャへ入力され、大判のフィルムにハードコピーされる。このフィルムが診断画像として医師に渡され、患者の診断が行われる。なお、以下の説明においては、モダリティにより撮影される画像をすべて診断画像と呼ぶ。

また、通常、一枚のフィルムには数コマの診断画像がレイアウトされる。さらに、フィルムに記録された診断画像には、図1に一例を示すように、画像の周囲に、患者名（図1の左下近傍に「XXX YYYY」で示す部分）、患者ID（図1の左下近傍に「123456」で示す部分）、検査日時（図1の右上）、検査条件（図1の左上）のほか、図1には表示されていないが、患者の生年月日や担当医師名などの属性情報が文字情報として付加される。

一方、コンピュータネットワーク技術の進歩に伴い、医用画像のファイリングシステムを構築して、診断画像もコンピュータシステムで扱いたいという要求が生じている。これに伴い、通信プロトコルやデータフォーマットの規格化が検討され、米国のACR (American College of Radiology)およびNEMA (The National Electrical Manufacturers Association)により制定されたDICOM (Digital Image Communication in Medicine)規格が世界的な標準になろうとしている。

特開平2-065370号公報 特開平4-154334号公報 特表平11-500244号公報 特開平8-289067号公報

しかしながら、現在普及しているモダリティは、コンピュータシステムに画像データを出力する機能をもたない。このため、コンピュータシステムへ診断画像を入力するには、フィルムに記録された診断画像をフィルムリーダで読み取り、フィルムリーダによって得られた画像データを例えばDICOMに合致したフォーマットに変換するなどの作業が必要になる。

本発明は、診断画像に付加された診断用属性情報を正確に、効率的に認識することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる医用電子装置は、画像診断装置から診断画像を入力する画像入力手段と、前記診断画像から予め設定された領域の画像を抽出する領域抽出手段と、前記抽出した領域の画像から一文字ずつの文字画像を分離する分離手段と、前記分離した各文字画像と予め用意した文字形状辞書に含まれる辞書画像を比較して前記文字画像と前記辞書画像のマッチング率を計算し、予め用意した文字列の各桁に配置される文字の確率を示す情報および前記マッチング率を参照して、最も妥当な文字の組み合わせを求めることで、前記分離した文字画像を文字認識する認識手段と、前記認識手段の認識結果に基づき、前記診断画像に付加された診断用の属性情報の文字画像に対応するキャラクタデータを出力する出力手段とを有することを特徴とする。

本発明にかかる認識方法は、医用電子装置における診断用属性情報の認識方法であって、画像診断装置から診断画像を入力するステップと、前記診断画像から予め設定された領域の画像を抽出するステップと、前記抽出した領域の画像から一文字ずつの文字画像を分離する分離ステップと、前記分離した各文字画像と予め用意した文字形状辞書に含まれる辞書画像を比較して前記文字画像と前記辞書画像のマッチング率を計算し、予め用意した文字列の各桁に配置される文字の確率を示す情報および前記マッチング率を参照して、最も妥当な文字の組み合わせを求めることで、前記分離した文字画像を文字認識する認識ステップと、前記認識ステップの認識結果に基づき、前記診断画像に付加された前記診断用属性情報の文字画像に対応するキャラクタデータを出力するステップとを有することを特徴とする。

本発明によれば、本発明は、診断画像に付加された診断用属性情報を正確に、効率的に認識することができる。

以下、本発明にかかる実施例の画像処理装置を図面を参照して詳細に説明する。

［画像入力装置の構成］
図2は画像入力装置10の構成例を示すブロック図である。

図2において、CPU 1は、ROM 2やハードディスク(HD)7などに格納された各種のプログラムに基づき、バス4を介して画像入力装置10全体を制御するとともに、RAM 3をワークメモリとして利用して各種の画像処理や通信処理を実行する。

モダリティインタフェイス5は、モダリティ20から画像を取得するためのインタフェイスである。画像の取得方法としては、モダリティ20から出力されるアナログビデオ信号から画像をキャプチャする方法、モダリティ20に所定フォーマットのディジタル画像データを出力させる方法があるが、モダリティインタフェイス5はその両方に対応している。

モダリティ20から所定フォーマットの画像データが出力される場合、CPU 1は、モダリティインタフェイス5によって受信される画像データをHD 7に格納する。一方、モダリティ20から出力されるアナログビデオ信号から画像をキャプチャする場合、CPU 1は、モダリティインタフェイス5に含まれるフレームグラバによりアナログビデオ信号をディジタイズし、所定のフォーマットに変換してHD 7に格納する。

なお、モダリティ20から出力される画像データのフォーマットは、例えば、画像サイズを示す縦横のドット数、ビット深さなどを含むヘッダに、例えば8ビット/画素のグレースケール画像データまたはインデックスカラー画像データ、あるいは、各8ビット計24ビット/画素のRGB画像データなどが続く形式である。また、シーメンスが開発したフォーマットなども知られている。

イメージャインタフェイス11は、イメージャ27にプリントさせる画像を出力するためのインタフェイスである。画像の出力方法としては、HD 7に格納された画像データをアナログビデオ信号に変換して出力する方法、所定フォーマットのディジタル画像データを出力する方法があるが、イメージャインタフェイス11はその両方に対応している。なお、モダリティ20から出力された画像データまたはアナログビデオ信号をそのままイメージャ27に送るときは、CPU 1は、モダリティインタフェイス5およびイメージャインタフェイス11を直結する。

HD 7に格納された画像データは、CPU 1により、ネットワークインタフェイス8およびEthernet（登録商標）などのネットワーク25を介して、例えば、コンピュータ23や24、イメージャ22に接続された画像出力装置21、または、DICOMプロトコルに対応したインタフェイスをもつDICOMプリンタ26へ送られる。なお、この画像データの転送プロトコルにはDICOMを使用する。また、画像出力装置21の詳細は後述する。

コンピュータ23や24は、ネットワーク、画像データベース、画像ビュワー、イメージャなどを用いて医用画像をファイリング、ビューイング、プリントするPACS (Picture Archive and Communication System)と呼ばれるシステムを構成する。画像入力装置10は、ネットワークインタフェイス8を介して、PACSなどから送られてくる画像データを入力することもできる。

以上の動作は、RS232CやRS422などのシリアルインタフェイス6に接続されたキーパッド9から入力されるコマンドをCPU 1が解釈することにより実行されるものである。つまり、LCDおよびタッチパネルから構成されるキーパッド9を用いて、画像入力装置10のオンオフ、リセットをはじめとする各種動作を指示するコマンド、画像取得条件、画像出力条件、および、前述した属性情報を含む各種情報を表す文字コードなどを入力・編集することができる。さらに、キーパッド9には、CPU 1により画像入力装置10の画像取得状況やエラーを知らせるための表示が行われる。従って、ユーザは、キーパッド9を操作することにより、モダリティ20やイメージャ27を直接操作するのとほぼ同等の機能を、モダリティ20、画像入力装置10およびイメージャ27に実行させることができる。

なお、上述した画像入力装置10の操作は、キーパッド9からに限定されるものではない。例えば、ネットワーク25を介してコンピュータ23や24から、シリアルインタフェイス6を介して接続されるコンピュータなどからも画像入力装置10を操作することができる。

また、イメージャ27は、一般に、モダリティ20のコンソールから制御される（所謂ホストコントロール）が、画像入力装置10に接続されたモダリティ20およびイメージャ27の操作を、画像入力装置10を介することで、キーパッド9や、ネットワーク25を介してコンピュータ23や24からエミュレートすることができる。

［画像入力装置の動作および処理］
以下では、画像入力装置10の主な動作および処理を詳細に説明する。なお、以下の説明においては、キーパッド9の画面表示に関する処理などキーパッド9のCPUおよびプログラムによって実行される処理と、画像データの入出力に関する処理などCPU 1によって実行される処理とをひとまとめに説明するが、実際には、両CPUが通信することによりこれらの処理が順次実行されることは言うまでもない。

また、詳細な説明は省略するが、キーパッド9のレスポンスエリアには、画像入力装置10から送った指示に対するモダリティ20やイメージャ27のレスポンスやエラーメッセージ、画像データをネットワーク25を介して伝送する場合の伝送状態、エラーメッセージ、あて先からのレスポンスなどが表示される。

●画像の入出力処理
図3(a)はキーパッド9の表示画面の一例を示す図である。同図に示す所定エリアまたはアイコンに触れることにより画像の入出力動作などが実行される。例えば、ユーザが、画像ストアエリアの何れかに触れると、そのエリアに対応するHD 7のメモリ領域にモダリティ20から出力された画像データが格納される。なお、図3(b)に一例を示すように画像が格納されていない空きエリアは白く表示され、画像を格納中または消去中のエリアは例えば網掛表示され、画像が格納されたエリアは黒く表示される。もし、黒く表示された画像ストアエリアに所定時間以上を触れた場合、そのエリアの画像が消去される。

図4は画像の入出力処理の一例を示すフローチャートで、どのエリアまたはアイコンが指示されたかを判定し、判定結果に基づき対応する処理を行うものである。

図4において、ステップS11で属性情報エリアが指示された場合はステップS12で、キーパッド9にアルファベットキーやテンキーなどが表示され、患者ID、患者氏名、性別、生年月日、担当医などの属性情報を入力し編集することができる。ここで入力・編集された属性情報は、HD7の所定領域に格納される。

ステップS13で画像ストアエリアが指示された場合はステップS14で、指示された画像ストアエリアに対応するHD 7の領域に、モダリティ20から取得された画像データが格納される。

ステップS15でプリント/出力切替アイコンが指示された場合はステップS16で、出力モードを切替える。画像入力装置10は、イメージャ27に画像をプリントさせるプリントモード、DICOMプリンタ26やイメージャ22に画像をプリントさせるネットワークプリントモード、および、画像データをコンピュータ23や24に伝送する出力モードの三つのモードをもち、これら三つのモードを順に切替えることができる。さらに、これら三つのモードの組み合わせも可能であり、プリントモードとネットワークプリントモード、ネットワークプリントモードと出力モード、出力モードとプリントモード、および、三つのモードすべて、といった組み合わせができる。

ステップS17でプリント条件表示エリアが指示された場合はステップS18で、設定されているモードに対応するプリント条件または出力条件を設定するための画面がキーパッド9に表示される。

プリンタモードにおいては、画像のレイアウト（縦×横のコマ数）、フィルムのサイズ・種類・向き、背景色の指定、トリム（縁取り線）の指定、画像極性（ネガまたはポジ）の指定、最低および最高濃度、コピー枚数などのプリント条件が設定できる。

ネットワークプリントモードにおいては、プリントモードにおける設定項目のほかにプリンタの指定ができ、さらに、DICOMプリンタ26を出力先に選んだ場合は、フィルムの格納先としてフィルムレシーブマガジンまたは自動現像機を選択することができる。

また、出力モードにおいては、画像データの出力先などの出力条件が設定できる。なお、出力モードにおけるデータフォーマットは、DICOMフォーマットに限らず、コンピュータ23や24上で稼働する画像ファイリングシステムなどに応じたフォーマットにすることも可能であり、それらデータフォーマット（例えば、NEMAやPostScript(登録商標)）も必要に応じて設定することができる。

ステップS19でプリント/出力アイコンが指示された場合はステップS20で、設定されているモードおよびプリント/出力条件に基づき画像データを出力する。つまり、プリントモードにおいては、モダリティ20から取得した一または複数コマの診断画像に属性情報をオーバレイした画像がイメージャ27から出力されるように、イメージャインタフェイス11を介して画像データまたはアナログビデオ信号が出力される。また、ネットワークプリントモードにおいては、モダリティ20から取得した一または複数コマの診断画像に属性情報をオーバレイした画像がDICOMプリンタ26またはイメージャ22から出力されるように形成されたDICOMフォーマットのデータが、ネットワークインタフェイス8から出力される。また、出力モードにおいては、モダリティ20から取得した一または複数コマ分の診断画像の画像データと、それら画像データの属性情報とが、DICOMフォーマットによりネットワークインタフェイス8から出力される。

勿論、前述したプリントモード、ネットワークプリントモードおよび出力モードの三つのモードの組み合わせが設定されている場合、設定された組み合わせに応じてデータが出力されるのは言うまでもない。

このように、画像入力装置10およびキーパッド9によりステップS11からS20の処理が繰返される。

●文字認識処理
CPU 1は、コンピュータ23や24またはキーパッド9からの指示に従い、モダリティインタフェイス5またはネットワークインタフェイス8を介して入力され、HD 7などに格納されている画像データに含まれる文字情報、つまり属性情報を構成する文字を、ROM 2またはHD 7に格納されたプログラムによって認識する機能を有している。

図5は文字認識処理の一例を示すフローチャートである。CPU 1は、ステップS1で、HD 7から画像データを読出し、ステップS2で、HD 7から読出した画像データをRAM 3上に展開する。ステップS3で、RAM 3に展開された画像から予め設定された文字認識対象領域の画像を抽出し、ステップS4で、抽出した文字認識対象領域の画像から、後述する方法により、文字パターンを分離し一文字ずつの画像に分離する。そして、ステップS5で文字認識処理を実行し、ステップS6で認識結果をキャラクタデータとして出力する。このキャラクタデータは、画像データとともにHD 7に格納されたり、文字情報を要求したコンピュータなどへ送られる。

なお、文字認識対象領域を予め設定するのは、記録位置がほぼ決まっている属性情報の特性を活かして文字認識に要する時間を短縮し、かつ、認識精度を向上するためである。勿論、画像全体から文字認識することも可能である。

図7は文字画像の分離処理の一例を示すフローチャートである。ステップS41で、幾つかのしきい値で画像を二値化し、各二値画像から文字に対応する白または黒色のパターンを抽出する。なお、しきい値は、黒地に白文字の場合は中間より白色に近い三から四値、白地に黒文字の場合は中間より白色に近い三から四値に設定する。次に、ステップS42で、抽出した文字パターンの連続領域をラベリングし、ステップS43で、ラベリングされた各連続領域についてその特徴量を求める。特徴量としては、画素値の最大値、平均値、標準偏差および最小値、並びに、領域の幅および高さなどがある。

続いて、ステップS44で、文字画像としての特徴量の範囲や、文字画像どうしが一つの画素を共有することはないなどの制約を考慮して、文字画像として適切な領域を抽出する。なお、プロポーショナル文字の場合、文字によって文字幅が変化するが、この場合でも正規表現から文字の種類が特定できるので、ある程度は文字幅を制限することができる。

また、ステップS5の文字認識処理は周知であるから詳細な説明は省略するが、その概要は次のようになる。例えば、単純類似度などの手法を用いて、分離した一文字分の画像を、予め用意された文字形状辞書に含まれる画像と比較して、各文字画像と辞書画像との類似度を表すマッチング率をRAM 3などに記憶する。文字認識対象領域の文字画像すべてに対応するマッチング率が得られると、予め用意された文字列の正規表現、つまり文字列の各桁に配置される文字の確率を示す情報およびマッチング率を参照して、最も妥当な文字の組み合わせを求める。

●その他
属性情報は、キーパッド9により入力する方法および文字認識により得る方法のほかに、HIS (Hospital Information System)やRIS (Radiology Information System)と呼ばれる患者の氏名、IDおよび検査履歴を管理するシステムから、ネットワーク25またはシリアルインタフェイス6を介して得ることができる。

また、キーパッド9や文字認識処理により入力された一部の属性情報などをキーとして、ネットワークやシリアルインタフェイスを介して接続されたコンピュータ上のデータベースを検索して、残りの属性情報や必要な情報を得ることもできる。

［データフォーマット］
DICOMフォーマットが扱う属性情報には多数の種類があり、それらはタグと呼ばれる4バイトの識別子によって区別される。画像データも同様のタグによって区別される。つまり、DICOMフォーマットで記述されたデータは次の形式で表され、データ部分にはタグにより識別される属性情報や画像データが割り付けられる。
タグ(4バイト) + データの長さ(4バイト) + データ(可変長)
+ タグ(4バイト) + … + データ(可変長) + 終了コード(EOF)

以上説明したように、コンピュータシステムに画像データを出力する機能をもたないモダリティ20に上記の画像入力装置10を接続すれば、フィルムに記録された診断画像をフィルムリーダで読み取り、フィルムリーダによって得られた画像データを例えばDICOMに合致したフォーマットに変換するなどの作業を不要とし、ネットワーク25やシリアルインタフェイス6を介して、容易にコンピュータシステムへ診断画像の画像データをDICOMフォーマットで出力することができる。

そして、例えば前述したプリントモードと出力モードとを設定しておけば、キーパッド9を一度操作するだけで、モダリティ20などから得た診断画像をイメージャ27に出力させるとともに、その診断画像の画像データをネットワーク25を介してコンピュータシステムに伝送することができる。

さらに、画像入力装置10によれば、診断画像に付加された属性情報を文字認識し、認識した属性情報をキャラクタデータとして出力することができるので、診断画像を電子ファイリングする際などに、診断画像に対応する文字情報やインデックスデータなどを容易に作成することができる。

［画像出力装置の構成］
図6は画像出力装置21の構成例を示すブロック図である。

図6において、CPU 211は、ROM 212やHD 217などに格納された各種のプログラムに基づき、バス214を介して画像出力装置21全体を制御するとともに、RAM 213をワークメモリとして利用して各種の画像処理や通信処理を実行する。

イメージャインタフェイス221は、ネットワーク25を介して画像入力装置10やコンピュータ23や24から送られてくる画像を出力するためのインタフェイスで、画像入力装置10のイメージャインタフェイス11とほぼ同様の構成および機能を有する。画像の出力方法としては、アナログビデオ信号を出力する方法、所定フォーマットのディジタル画像データを出力する方法があるが、イメージャインタフェイス221はその両方に対応している。

CPU 211は、ネットワークインタフェイス218により受信したDICOMフォーマットの画像データを、一旦、HD 217へスプールし、HD 217にスプールしたDICOMフォーマットの画像データからイメージャ22へ送るべき画像をRAM 213上に展開する。そして、RAM 213上の画像を、イメージャ22の仕様に応じて、アナログビデオ信号またはディジタル画像データとしてイメージャインタフェイス221から出力する。

また、RS232CやRS422などのシリアルインタフェイス216にはコンピュータや画像入力装置10を接続することができ、シリアルインタフェイス216を介して、画像出力装置21の動作などを制御するとともに、画像データを入力することもできる。

このように、ネットワーク25などを介してDICOMフォーマットの画像データを画像出力装置21に送ることで、その画像出力装置21に接続されたDICOMに未対応のイメージャ22に診断画像をプリントさせることができる。

さらに、モダリティ20とイメージャ22とをネットワーク25を介して接続することにより、イメージャ22を設置する場所の自由度が向上する。例えば、モダリティ20が設置されたCT室から離れた診察室近傍にイメージャ22を配置することもでき、そうすれば、CT室で撮影された診断画像が診察室近傍で出力されるので、CT室から診察室へ診断画像を運搬するなどの手間が省ける。

診断画像の一例を示す写真、 本発明にかかる画像入力装置の構成例を示すブロック図、 図2に示すキーパッドの表示画面の一例を示す図、 画像入力装置による画像の入出力処理の一例を示すフローチャート、 画像入力装置による文字認識処理の一例を示すフローチャート、 図2に示す画像出力装置の構成例を示すブロック図、 画像入力装置による文字パターンの分離処理の一例を示すフローチャートである。

Claims (6)

1. 画像診断装置から診断画像を入力する画像入力手段と、
   前記診断画像から予め設定された領域の画像を抽出する領域抽出手段と、
   前記抽出した領域の画像から一文字ずつの文字画像を分離する分離手段と、
   前記分離した各文字画像と予め用意した文字形状辞書に含まれる辞書画像を比較して前記文字画像と前記辞書画像のマッチング率を計算し、予め用意した文字列の各桁に配置される文字の確率を示す情報および前記マッチング率を参照して、最も妥当な文字の組み合わせを求めることで、前記分離した文字画像を文字認識する認識手段と、
   前記認識手段の認識結果に基づき、前記診断画像に付加された診断用の属性情報の文字画像に対応するキャラクタデータを出力する出力手段とを有することを特徴とする医用電子装置。
2. 前記分離手段は、
   前記領域の画像を複数の閾値で二値化する二値化手段と、
   前記複数の閾値それぞれに対応する二値画像から白色または黒色の文字パターンを抽出する文字パターン抽出手段と、
   前記抽出した文字パターンの連続領域をラベリングするラベリング手段と、
   前記ラベリングした各連続領域の特徴量を計算する計算手段と、
   前記特徴量に基づき、前記一文字ずつの文字画像の領域を決定する決定手段とを有することを特徴とする請求項1に記載された医用電子装置。
3. 前記診断画像には、前記属性情報として、患者名、患者ID、検査日時、検査条件、患者の生年月日、担当医師名の少なくとも一つを示す文字画像が付加されていることを特徴とする請求項1または請求項2に記載された医用電子装置。
4. 医用電子装置における診断用属性情報の認識方法であって、
   画像診断装置から診断画像を入力するステップと、
   前記診断画像から予め設定された領域の画像を抽出するステップと、
   前記抽出した領域の画像から一文字ずつの文字画像を分離する分離ステップと、
   前記分離した各文字画像と予め用意した文字形状辞書に含まれる辞書画像を比較して前記文字画像と前記辞書画像のマッチング率を計算し、予め用意した文字列の各桁に配置される文字の確率を示す情報および前記マッチング率を参照して、最も妥当な文字の組み合わせを求めることで、前記分離した文字画像を文字認識する認識ステップと、
   前記認識ステップの認識結果に基づき、前記診断画像に付加された前記診断用属性情報の文字画像に対応するキャラクタデータを出力するステップとを有することを特徴とする認識方法。
5. 前記分離ステップは、
   前記領域の画像を複数の閾値で二値化し、
   前記複数の閾値それぞれに対応する二値画像から白色または黒色の文字パターンを抽出し、
   前記抽出した文字パターンの連続領域をラベリングし、
   前記ラベリングした各連続領域の特徴量を計算し、
   前記特徴量に基づき、前記一文字ずつの文字画像の領域を決定することを特徴とする請求項4に記載された認識方法。
6. コンピュータ装置を制御して、請求項4または請求項5に記載された診断用属性情報の認識処理を実現するコンピュータプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。