JP6140946B2 - 文字認識システム及び文字認識装置 - Google Patents

Description

本発明は文字認識システム及び文字認識装置に関し、特に、医療文書に記入された手書き文字を認識するために用いて好適な技術に関するものである。

医療分野では、従来より所見や診断情報などの医療情報が紙のカルテ用紙に記載されることが一般的である。近年、医療分野における電子化が進み、カルテに記載される内容をパーソナル・コンピュータを用いて電子化する電子カルテが普及している。しかし、医療情報には図形情報であるシェーマも含まれており、これを例えばキーボードやマウスなどにより入力して電子化することは容易ではない。

このため、ペンタブレットを使い画面に表示されているシェーマの近傍に所見や診断情報を電子的に手書きすることや、特定の用紙と電子ペンを使い手書きされた情報を電子的に取得することが行われている。特許文献１では、特定の用紙に電子ペンで記載した所見や診断情報を図形情報であるシェーマと関連付けて保存することで情報を活用する手段を提供している。
また、過去の紙カルテが大量に蓄積されており、これをスキャナで読み取ることで画像データに変換して電子カルテに取り込むことが行われている。

特開２００７−２５７６０号公報

紙カルテを電子化する場合や、ペンタブレットを使用した電子カルテシステムにおいて手書きされた文字情報を活用するためには、文字認識を行ってコンピュータで扱える電子データとする必要がある。

しかしながら、医療分野で使用される語彙の中には類似した文字が多く存在するため、手書きされた文字を認識して電子化するには認識精度の問題があった。例えば、人体の部位や病名に使われている文字は同一の偏や旁を持つことが多いため誤認識しやすい問題点があった。
本発明は前述の問題点に鑑み、医療分野で使用される手書きされた文字を認識して電子化する際に、誤認識を少なくして手書き文字の認識精度を高めることを目的とする。

本発明の文字認識システムの一つは、シェーマに手書きで記入された文字を認識する文字認識システムであって、前記シェーマに記入された手書き部分を取得する手書き部分取得手段と、前記取得された手書き部分に対応する前記シェーマの一部の部位を設定する部位設定手段と、前記設定された部位に関する語彙を設定する語彙設定手段と、前記取得された手書き部分の文字を認識する認識手段と、前記設定された語彙と、前記認識された文字と、を照合する照合手段とを有することを特徴とする。

本発明によれば、医療分野で使用される手書きされた文字を認識して電子化する際に、誤認識を少なくして手書き文字の認識精度を高めることができる。

本発明の実施形態を示し、文字認識システムの構成例を示す図である。 第１の実施形態で行なわれる処理の一例を示すフローチャートである。 シェーマに記入された手書き部分を検出する様子を説明する図である。 紙カルテ入力時のシェーマと部位の対応部位を特定する説明する図である。 文字認識処理及び認識結果を説明する図である。 部位と関連語彙の関係情報を示す図である。 部位間の接続例を説明する図である。 電子カルテ入力時の手書き部の検出を説明する図である。 文字認識装置のハードウェア構成の一例を示す図である。

以下、図面を参照して本発明の好適な実施形態を詳細に説明する。
図１は、本発明の実施形態を示し、文字認識システムの構成例を示す図である。図１に示したように、本発明の実施形態の文字認識システムは、スキャナ装置１０１、電子カルテサーバ１０２、電子カルテ端末１０３をネットワーク１０４を介して接続されて構成されている。本実施形態の文字認識システムは、紙カルテ・電子カルテをスキャンして、医療文書に記入された手書き文字を認識するために用いられる。スキャナ装置１０１、電子カルテサーバ１０２、電子カルテ端末１０３等はコンピュータシステムをそれぞれ有している。

（第１の実施形態）
スキャナ装置１０１は、紙カルテをスキャンするための装置である。本実施形態では直接ネットワーク１０４に接続しているが、ネットワーク１０４に接続されたコンピュータと一式であってもよい。スキャナ装置１０１は、スキャンして生成した画像データを、ネットワーク１０４を経由して電子カルテサーバ１０２に送信する。

電子カルテサーバ１０２は、電子カルテデータの管理や紙カルテをスキャンして生成された画像データを電子カルテデータとともに蓄積するサーバである。スキャン画像中の文字を検出して認識する文字認識処理はこのサーバで行ってもよい。
電子カルテ端末１０３は、ペンタブレットであり、電子カルテへの記入はペンを使って行うことができる。

図２は、本実施形態の文字認識システムで行なわれる処理の一例を示すフローチャートである。本実施形態においては、紙カルテからスキャンされた画像を処理する場合を説明する。
Ｓ２０１は、シェーマ情報取得ステップである。シェーマ情報とは、カルテ上のシェーマが示す人体の部位を示す情報である。紙カルテをスキャンしたものを処理する場合、あらかじめシェーマが印刷されている用紙を用いる場合と、スタンプになっているシェーマを紙に押すことで用紙にシェーマを付けている場合がある。

シェーマが印刷されている用紙である場合は、あらかじめ登録されている用紙のフォーマット情報とスキャンされた画像から抽出されたフォーマット情報を比較して使用している用紙を特定することができる。用紙が特定できれば、シェーマの種類と位置を特定することができる。
シェーマの無い用紙にシェーマのスタンプが押された場合は、使用されるスタンプの情報をあらかじめ登録しておく。そして、登録されたシェーマをスキャン画像中から登録されたスタンプを検索することで使用しているシェーマの種類と位置・大きさを特定することができる。

Ｓ２０２は、シェーマ上に記入された手書き部分を検出して取得する手書き部分取得ステップである。紙カルテをスキャンした画像で、図３（Ａ）に示す画像が得られている場合、位置や大きさに若干の誤差がでるため、まず検出した位置と大きさからシステムに登録されている未記入のシェーマの画像データを変倍して大きさを揃える。

スキャンの状態によって線が太くなったり細くなったりしているため、変倍されたシェーマを膨張処理させて図３（Ｂ）に示すようなマスク画像を生成する。このマスク画像を紙カルテから検出したシェーマの位置に合わせてマスク処理を行うと、図３（Ｃ）に示すような画像を得ることができる。これを手書き部分とする。

Ｓ２０３は、Ｓ２０２で取得した手書き部分とシェーマとの重なりから部位を設定する部位設定ステップである。シェーマ毎に図４（Ａ）に示すような部位の情報があり、この情報との重なりを調べることによって手書きで記入された部分の部位を特定する。
図４（Ｂ）に部位情報と手書き部の重なりを示す。シェーマにある各部位の情報はピクセル毎に設定されており、手書き部分のピクセルを各部位との重なりをカウントすることで部位を特定する。複数の部位にまたがっている場合は画素数の多い部位を選択する。図４（Ｂ）の場合は、頸部と判断することになる。

Ｓ２０４は、文字認識を行うステップである。紙カルテをスキャンした画像データを認識する場合は、オフラインの手書き文字認識を行う。図５（Ａ）に示すように、シェーマと接触しているストローク以外のものを認識対象として文字認識処理を行う。その結果、図５（Ｂ）のような認識結果が得られる。

Ｓ２０５は、Ｓ２０３で特定した部位によって文字認識結果を判定するための語彙空間を設定するステップである。図６に示す部位と関連語彙の関係情報を持っており、この関係から文字認識結果を判定するための語彙を決定して設定する。例えば、シェーマ情報が示す部位が「頸部」であれば、「切創」「挫傷」はあるが、「血腫」「皮下異物」「打撲」は無いため、これらの単語は文字認識結果の判定に使用しないように語彙設定する。図４の例では、部位は頸部が選択されているため、「頸部」と「切創」「挫傷」が選択される。本実施形態においては、認識結果の文字列の信頼度を判定し、文字認識結果と補正結果のスコア差があらかじめ決めた閾値より小さい場合は前回使用した部位の周辺の部位を認識対象として設定する。そして、設定された部位に基づいて語彙空間を決定して文字認識を行う。最終的には、一番信頼度の高い文字列を認識結果とする。

Ｓ２０６は、文字認識結果の文字列を、Ｓ２０５で決定した語彙で判定するステップである。図５（Ｂ）に示した認識結果が得られた場合、部位は「頸部」が選択されているため、第一候補から生成される文字列「頭部挫傷」をＳ２０５で決定した「頸部」「切創」「挫傷」で照合する。照合の結果、「頭部」が含まれないため、次の候補である「頸」に文字を入れ替える補正処理を行う。この補正結果として「頸部挫傷」を得ることができる。同様に照合処理を行うと「頸部挫傷」は限定された語彙と照合処理が成功する。照合処理が成功すれば全ての処理を終了し、成功しなければＳ２０７に進むことになる。

Ｓ２０７は、語彙空間を変更するステップであり、現在設定してある部位の周辺にある部位に語彙空間を拡大する処理を行う。図４（Ａ）に示したシェーマの部位の場合は、図７に示すように、人体の部位を示すシェーマに対応する部位の位置関係を表す部位間位置情報が用意されている。「頸部」で照合が失敗してこの処理に入ってきた場合は、図７（Ａ）に示すように、「頭部」に変更する処理を行う。

また、シェーマ中に多数の部位が含まれる例として、図７（Ｂ）を用いて説明する。
図７（Ｂ）では、部位（Ａ）〜（Ｅ）の５つの部位があり、「部位（Ａ）」は「部位（Ｂ）」と近接している。「部位（Ｂ）」は、「部位（Ａ）」「部位（Ｃ）」「部位（Ｄ）」と近接している。

以下同様に「部位（Ｃ）」は、「部位（Ｂ）」及び「部位（Ｅ）」と、「部位（Ｄ）」は「部位（Ｂ）」及び「部位（Ｅ）」と、「部位（Ｅ）」は、「部位（Ｃ）」及び「部位（Ｄ）」と近接している。Ｓ２０３で設定されている部位が「部位（Ｂ）」である場合、「部位（Ａ）」「部位（Ｃ）」「部位（Ｄ）」に語彙空間を変更する。

次に、この処理が行われる場合は、「部位（Ａ）」の周囲にある未処理の部位は無く、「部位（Ｃ）」「部位（Ｄ）」に接続された「部位（Ｅ）」が未処理であるため、「部位（Ｅ）」に語彙空間を変更することになる。また、部位の関係は、階層的になる場合もある。

この例を、図７（Ｃ）に示す。
前方から見た頭部のシェーマには、頭部の中に頭頂部、前頭部、左右の側頭部があり、側頭部には、耳部、前頭部には、眼窩部、鼻部、口唇部、頬部が含まれている。Ｓ２０３で得られる部位の情報は、手書き部とシェーマの重なりから得られるものであるため、最下層の部位が得られることになる。部位の変更ステップにおいては、この階層構造を使い近接する部位だけではなく、前述の部位間位置情報を用いて推定された部位の周囲の部位に関係する上位階層の部位を変更対象とする。
Ｓ２０８は、Ｓ２０７の部位設定変更ステップが成功したか否かの判定を行うステップである。成功していれば、Ｓ２０５に進む。成功しなければ処理を終了する。

以上の処理を行うことによって、使用されているシェーマを特定し、シェーマに記入された部位を特定して認識を行うことで文字認識結果を照合するための語彙空間を設定する。文字認識結果をシェーマから設定された語彙空間で照合処理を行うことにより、正しい認識結果を得ることができる。尚、上記処理では、Ｓ２０４にて文字認識を行った後、Ｓ２０５で語彙空間を設定し、Ｓ２０６で認識された文字を判定した。しかし、例えば、Ｓ２０４における文字認識の際に、あらかじめ語彙空間を設定しておき、当該語彙空間を用いて、認識される文字を制限してもよい。このような処理を行うことにより、Ｓ２０６における認識結果の判定の処理は不要になる。

（第２の実施形態）
本実施形態においては、電子カルテにおいて文字認識を行う場合を説明する。
電子カルテの場合も図２に示した第１の実施形態の処理フローと同じフローにて実施できる。各ステップの処理が紙カルテの場合と異なるものを以下で説明する。
Ｓ２０１は、シェーマ情報を取得するステップである。電子カルテでの操作の場合、システムに登録されているシェーマの中から使用するものを選択してカルテ上に張り付け、その上にペンで記入を行うため、電子カルテのシステムから使用しているシェーマ情報を取得する。

Ｓ２０２は、シェーマに記入された手書き部分を検出して取得する手書き部分取得ステップである。電子カルテの場合は、記入された情報は全てストローク情報として保持しているため、シェーマと重なり合う部分の手書きストロークのみを取得すればよい。図８（Ａ）のように電子カルテ上に表示されているものは、図８（Ｂ）のシェーマと図８（Ｃ）の手書き部に容易に分離できる。

Ｓ２０３は、Ｓ２０２で検出した手書き部分とシェーマとの重なりから部位を特定するステップである。電子カルテの場合、手書き部分はストローク情報であるため、描画処理によって画像データを生成する。生成された画像のストローク部分のピクセルを各部位毎の重なりをカウントすることで部位を特定する。複数の部位にまたがっている場合は、画素数の多い部位を選択する。ビットマップ画像で表現されたシェーマの場合も同様に、手書き部分のピクセルを各部位毎の重なりをカウントすることで部位を特定する。複数の部位にまたがっている場合は、画素数の多い部位を選択する。
Ｓ２０４以降のステップは、紙カルテの場合とまったく同じである。

以上の処理を行うことによって、電子カルテにおいても使用されているシェーマを特定し、シェーマに記入された部位を特定して認識を行うことで文字認識結果を照合するための語彙空間を設定する。文字認識結果をシェーマから設定された語彙空間で照合処理を行うことにより、正しい認識結果を得ることができる。

（第３の実施形態）
前述した第１及び第２の実施形態では、Ｓ２０３における部位の選択をシェーマ毎に設定されている部位との重なりの面積で決定していたが、患者が特定できる場合は、その情報を活用して部位を選択することもできる。性別の情報によって、性別に依存する部位を選択するかしないかを決定する。例えば、男性であれば、子宮は存在しないため部位の選択時の候補に子宮があっても選択せず、他の候補を選択する。

また、患者が特定できていれば電子カルテにある過去の治療履歴からその患者に関連する部位を優先的に選択することができる。例えば治療履歴から、「頭部」「腹部」「胃」「大腸」の部位が取得できた場合に、シェーマから得られた部位が「頭部」「頸部」であれば「頭部」を選択する。また、この選択時に時間的に近い治療履歴から得られる情報を優先的に使用することもできる。

例えば、シェーマから得られた部位が「頭部」「頸部」であり、治療履歴から、１週間前に「頸部」、１年前に「頭部」が治療されていると取得できれば、時間的に近い「頸部」を選択する。
同様に、Ｓ２０７の語彙空間を変更するステップにおいても、患者に関する情報から選択する部位を限定することができる。
以上の処理によって、患者に関する情報を部位の決定に活用して語彙空間を限定すれば文字認識の精度が高めることができる。

（第４の実施形態）
電子ペンを使ったシステムにおいても同様のフローで実施できる。
特殊なドットパターンを印刷した用紙を使い、電子ペンには、紙面への書き込み部とその近傍にドットパターンを読み取る撮影部を備えている。電子ペンは、使用者が用紙へ記入する圧力を検出して撮影部でペン先周辺の撮影を開始し、ドットパターンを読み取る。

読み取ったドットパターンによって使用されている用紙とその用紙中での記入位置を検出する。使用されている用紙の情報からシェーマ情報を取得する。またペン先の移動によって生成された位置の情報からストローク情報を生成することができる。ストローク情報が得られれば第２の実施形態の電子カルテの場合と同様に文字認識を実施すればよい。

（第５の実施形態）
前述した実施形態においては、ネットワーク１０４を介して接続されたスキャナ装置１０１、電子カルテサーバ１０２及び電子カルテ端末１０３により構成された文字認識システムについて説明した。それに対して、本実施形態においては、医療文書中の手書き文字を認識するために必要な機能を一体的に備えた文字認識装置を説明する。

図９は、本実施形態の文字認識装置のハードウェア構成の一例を示す図である。
図９において、ＣＰＵ９０１は、ＲＯＭ９０２に格納されている制御プログラムに従って本装置全体の制御を行う。ＲＯＭ９０２は、制御プログラム等を格納する。ＲＡＭ９０３は、画像データ等を記憶する。外部記憶装置９０４は、磁気ディスク等の外部記憶装置である。ディスプレイ９０５は、例えば、文字の認識結果等を表示する。キーボード９０６は、オペレータの操作に応じて情報を入力する。ポインティングデバイス９０７は、例えばマウス等である。スキャナ９０８は、画像を読み取る。

なお、文字認識装置は、汎用的なコンピュータでも実施可能である。この場合、媒体等で提供される制御プログラムは、外部記憶装置９０４に記憶され、オペレータの指示等によりＣＰＵ９０１が制御プログラムに基づき処理を実行する。また、ネットワークインターフェース１０９は、図示しない遠隔地に存在する装置と通信し、プログラムやデータ等を読み込んだり、書き込んだりする。

また、スキャナ９０８やディスプレイ９０５等は、ネットワークＩ／Ｆ９０９を介して接続された構成でもよい。
ＣＰＵ９０１が、制御プログラムに基づき処理を実行することによって、前述した文字認識装置の機能及び前述したフローチャートに係る処理が実現される。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ スキャナ
１０２ 電子カルテシステムのサーバ
１０３ 電子カルテのユーザ端末
１０４ ネットワーク

Claims (19)

1. シェーマに手書きで記入された文字を認識する文字認識システムであって、
   前記シェーマに記入された手書き部分を取得する手書き部分取得手段と、
   前記取得された手書き部分に対応する前記シェーマの一部の部位を設定する部位設定手段と、
   前記設定された部位に関する語彙を設定する語彙設定手段と、
   前記取得された手書き部分の文字を認識する認識手段と、
   前記設定された語彙と、前記認識された文字と、を照合する照合手段と
   を有することを特徴とする文字認識システム。
2. 前記照合により得られた認識結果を表示手段に表示させる表示制御手段をさらに有することを特徴とする請求項１に記載の文字認識システム。
3. 前記部位設定手段は、前記照合手段が照合に失敗した場合に、前記設定された部位と異なる部位を設定し、
   前記照合手段は、前記認識された文字と、前記設定された異なる部位に関する語彙と、を照合することを特徴とする請求項１又は２に記載の文字認識システム。
4. 前記部位設定手段は、前記設定された部位と異なる部位として、前記設定された部位の周囲の部位を設定することを特徴とする請求項３に記載の文字認識システム。
5. 前記部位設定手段は、部位の位置関係を示す部位間位置情報に基づいて、前記周囲の部位を設定することを特徴とする請求項４に記載の文字認識システム。
6. 前記部位設定手段は、前記シェーマに対応する患者の過去の治療履歴に基づいて、前記設定された部位と異なる複数の部位の中から、前記患者に関連する、前記異なる部位を優先的に設定することを特徴とする請求項３に記載の文字認識システム。
7. シェーマに手書きで記入された文字を認識する文字認識システムであって、
   前記シェーマに記入された手書き部分を取得する手書き部分取得手段と、
   前記取得された手書き部分に対応する前記シェーマの一部の部位を設定する部位設定手段と、
   前記設定された部位に関する語彙を設定する語彙設定手段と、
   前記設定された語彙に関する情報を用いて、前記取得された手書き部分の文字を認識する認識手段と、
   前記認識により得られた認識結果を表示手段に表示させる表示制御手段と
   を有することを特徴とする文字認識システム。
8. 前記語彙設定手段は、前記取得された手書き部分の文字を認識する際に用いられる語彙及び用いられない語彙を複数の語彙の中から前記設定された部位に関する情報を用いて選択し、前記用いられる語彙に関する情報を用いて前記設定された部位に関する語彙を設定することを特徴とする請求項７に記載の文字認識システム。
9. 前記シェーマが示す部位を示すシェーマ情報を取得するシェーマ情報取得手段をさらに有し、
   前記部位設定手段は、前記取得されたシェーマ情報に基づいて、前記取得された手書き部分に対応する前記シェーマの一部の部位を設定することを特徴とする請求項１乃至８の何れか１項に記載の文字認識システム。
10. 前記シェーマ情報取得手段は、前記シェーマが示されたカルテへの書き込みに使用された電子ペンが備える撮影手段により撮影された、前記電子ペンのペン先周辺の画像から得られたドットパターンから、使用されている用紙の情報を特定し、前記用紙の情報に基づいて、前記シェーマ情報を取得することを特徴とする請求項９に記載の文字認識システム。
11. 前記部位設定手段は、前記シェーマと重なり合う部分の手書きストローク情報を検出し、検出した手書き部分と前記シェーマとの重なりから、前記一部の部位を設定することを特徴とする請求項１乃至１０の何れか１項に記載の文字認識システム。
12. 前記部位設定手段は、前記シェーマに対応する患者の過去の治療履歴に基づいて、前記シェーマの、複数の部位のうち、前記患者に関連する、前記一部の部位位を優先的に設定することを特徴とする請求項１乃至１１の何れか１項に記載の文字認識システム。
13. 前記部位設定手段は、前記シェーマに対応する患者の性別に基づいて、前記シェーマの、複数の部位のうち、前記患者に関連する、前記一部の部位を優先的に設定することを特徴とする請求項１乃至１２の何れか１項に記載の文字認識システム。
14. 前記認識手段による認識結果を補正する補正手段をさらに有し、
    前記補正手段による補正結果のスコア差があらかじめ決めた閾値より大きい場合は、前記シェーマに対応する部位の位置関係を表す部位間位置情報を使い推定された部位の周囲の部位に関係する語彙で、前記認識手段による認識結果を補正することを特徴とする請求項１に記載の文字認識システム。
15. シェーマに手書きで記入された文字を認識する文字認識装置であって、
    前記シェーマに記入された手書き部分を取得する手書き部分取得手段と、
    前記取得された手書き部分に対応する前記シェーマの一部の部位を設定する部位設定手段と、
    前記設定された部位に関する語彙を設定する語彙設定手段と、
    前記取得された手書き部分の文字を認識する認識手段と、
    前記設定された語彙と、前記認識された文字と、を照合する照合手段と
    を有することを特徴とする文字認識装置。
16. シェーマに手書きで記入された文字を認識する文字認識装置であって、
    前記シェーマに記入された手書き部分を取得する手書き部分取得手段と、
    前記取得された手書き部分に対応する前記シェーマの一部の部位を設定する部位設定手段と、
    前記設定された部位に関する語彙を設定する語彙設定手段と、
    前記設定された語彙に関する情報を用いて、前記取得された手書き部分の文字を認識する認識手段と、
    前記認識により得られた認識結果を表示手段に表示させる表示制御手段と
    を有することを特徴とする文字認識装置。
17. シェーマに手書きで記入された文字を認識する文字認識方法であって、
    前記シェーマに記入された手書き部分を取得する手書き部分取得ステップと、
    前記取得された手書き部分に対応する前記シェーマの一部の部位を設定する部位設定ステップと、
    前記設定された部位に関する語彙を設定する語彙設定ステップと、
    前記取得された手書き部分の文字を認識する認識ステップと、
    前記設定された語彙と、前記認識された文字と、を照合する照合ステップと
    を含むことを特徴とする文字認識方法。
18. シェーマに手書きで記入された文字を認識する文字認識方法であって、
    前記シェーマに記入された手書き部分を取得する手書き部分取得ステップと、
    前記取得された手書き部分に対応する前記シェーマの一部の部位を設定する部位設定ステップと、
    前記設定された部位に関する語彙を設定する語彙設定ステップと、
    前記設定された語彙に関する情報を用いて、前記取得された手書き部分の文字を認識する認識ステップと、
    前記認識により得られた認識結果を表示手段に表示させる表示制御ステップと
    を含むことを特徴とする文字認識方法。
19. 請求項１７又は１８に記載の文字認識方法の各工程をコンピュータに実行させることを特徴とするプログラム。

Images