JP6400994B2 - 検査画像表示システム - Google Patents

Description

本発明は、内視鏡画像などの検査画像に、生検マークなどの描画アイテムを重ねて表示する検査画像表示システムに関する。

画面に表示される背景画像上に前景画像を重ね合わせる場合、前景画像が背景画像にとけ込んで判別できなくなることは避けたい。特許文献１は、前景画像を表示する領域内に含まれる背景画像の画素値に定数画素値を加算して、前景画像をオーバレイ表示する技術を開示する。また特許文献２は、テレビモニタ画面に表示される内視鏡観察画像に重ねてキャラクタを表示する際に、テレビモニタ画面に表示される内視鏡観察画像の色相と異なる系統の色相の有彩色でキャラクタを表示する技術を開示する。

特開２００１−３０９１６０号公報 特開平９−１４６０１２号公報

内視鏡検査において生検等の処置を施した場合、医師は、検査画像に処置箇所のマーキングを行って検査レポートを作成する。検査画像にマーキングするための描画アイテムは、たとえば“＜１”、“＜２”のような形式で表示され、マーキング色はデフォルト設定される。なおシステムによっては、医師がマーキング色を変更できるように、色選択用のカラーパレットが用意されていることもある。

通常の内視鏡検査画像は、食道、胃、大腸などの臓器を白色光で撮影しているため、全体的に薄いピンク色が写り込んでいることが多い。しかしながらＮＢＩ（Narrow Band Imaging：狭帯域光観察）に代表される特殊光観察モードで撮影した検査画像においては、照射光の波長や強度が白色光と異なるために、通常の検査画像とは異なる色あいが含まれるようになる。

一般に内視鏡検査においては数十枚の検査画像が撮影され、処置を施した場合には、処置箇所をマーキングした数枚から１０枚程度の検査画像が検査レポートに添付される。そのため検査画像によっては、デフォルトのマーキング色では描画アイテムが検査画像の色にとけ込んでしまい、判別しにくくなることもある。このような場合に、医師がカラーパレットから描画アイテムのマーキング色を変更することは可能であるが、多忙な医師に、そのような手間をかけさせるのは好ましくなく、そのため検査画像に応じて適切なマーキング色が実質的に自動的に設定されることが好ましい。

本発明はこうした状況に鑑みなされたものであり、その目的は、検査画像上に配置する描画アイテムの色を設定する技術を提供することにある。

上記課題を解決するために、本発明のある態様の検査画像表示システムは、同じ検査において撮影された複数の検査画像を保持する検査画像保持部と、同じ検査において撮影された複数の検査画像の画素値から、各検査画像の色情報を導出する色情報導出部と、導出された複数の検査画像の色情報を記憶する色情報記憶部と、複数の検査画像の色情報をもとに、検査画像に付加する描画アイテムの色を設定する描画色設定部と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、検査画像上に配置する描画アイテムの色を設定する技術を提供することができる。

本発明の実施例にかかる検査画像表示システムの構成を示す図である。 レポート入力画面の一例を示す図である。 検査画像の編集画面を示す図である。 検査画像の編集画面を示す図である。 別の検査画像の編集画面を示す図である。 描画アイテム色の設定処理のフローチャートを示す図である。 検査画像の編集画面を示す図である。 描画アイテム色の確認処理のフローチャートを示す図である。 検査画像上に設定される仮想枠の例を示す図である。

図１は、本発明の実施例にかかる検査画像表示システム１の構成を示す図である。検査画像表示システム１は内視鏡検査のレポート作成業務を支援するためのシステムであり、内視鏡システム１０、管理システム２０および端末装置３０を備え、それらはＬＡＮ（ローカルエリアネットワーク）などのネットワーク２によって相互接続される。端末装置３０はたとえばパーソナルコンピュータであって、画面出力可能に表示装置６０と接続されるが、端末装置３０は表示装置と一体となったラップトップコンピュータであってもよく、また携帯型タブレットであってもよい。

管理システム２０は、内視鏡検査のオーダ情報や検査情報を管理する管理装置２２と、内視鏡システム１０により撮影された検査画像を保持する検査画像保持部２４を備える。管理装置２２は、患者の検査オーダを記憶するオーダ記憶部と、患者の検査情報を記憶する検査情報記憶部を有して構成される。検査情報記憶部は、医師により作成された検査レポートを検査情報として記憶してもよい。

検査画像保持部２４は、内視鏡システム１０により撮影された検査画像を検査ごとにまとめて記憶する。したがって一つの同じ検査で撮影された複数の検査画像は、その検査オーダを特定する情報（以下、検査ＩＤとも呼ぶ）に紐づけられて検査画像保持部２４に保持される。検査画像保持部２４は、大容量のＨＤＤ（ハードディスクドライブ）で構成されてもよく、またフラッシュメモリで構成されてもよい。端末装置３０は、管理システム２０にアクセスして、検査画像保持部２４に記憶された検査画像を表示装置６０に表示できる。特に医師が検査レポートを作成する際には、その検査ＩＤに紐づけられて検査画像保持部２４に保持されている全ての検査画像のサムネイルが端末装置３０に読み出され、医師が検査レポートに添付する検査画像を選択できるように、サムネイル一覧が表示装置６０に表示されることが好ましい。

内視鏡システム１０は、内視鏡スコープ１２、内視鏡処理装置１４および表示装置１６を備える。内視鏡スコープ１２は患者の体内に挿入され、医師が内視鏡スコープ１２のレリーズスイッチを押したタイミングで体内の静止画像が撮影される。内視鏡スコープ１２は、固体撮像素子（たとえばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ）および信号処理回路を備える。固体撮像素子は入射光を電気信号に変換し、信号処理回路は、固体撮像素子により光電変換された画像データに対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施して、内視鏡処理装置１４に出力する。

内視鏡処理装置１４は、内視鏡システム１０全体を統括的に制御する。内視鏡処理装置１４の一つの重要な役割は、内視鏡スコープ１２により撮影された検査画像を管理システム２０に送信して、検査画像保持部２４に記憶させることであり、もう一つの重要な役割は、内視鏡スコープ１２により取得されている映像を表示装置１６にリアルタイムで表示させることにある。前者の役割において、内視鏡処理装置１４は、内視鏡スコープ１２のレリーズスイッチが押されると、内視鏡スコープ１２の撮影画像に、固体撮像素子の種別を特定する情報（素子種別情報）と、内視鏡検査の観察モードを特定する情報（観察モード情報）とを少なくともメタデータとして付加して、検査画像データを生成する。なお内視鏡処理装置１４は、検査オーダに対応する検査ＩＤをメタデータとして付加してもよい。検査画像保持部２４は、内視鏡スコープ１２により撮影された内視鏡画像データを受け取り、検査ごとにまとめて蓄積する。

本実施例の内視鏡スコープ１２は、内視鏡検査の観察モードの種類として、白色光による通常光観察機能に加え、ＮＢＩ（狭帯域光観察）、ＡＦＩ（蛍光観察）、ＩＲＩ（赤外光観察）の特殊光観察機能を有している。これらの観察モードは、内視鏡スコープ１２に設けられている機能ボタンを押すことで設定される。それぞれの観察モードにおいて体内への照射光の波長や強度は異なり、そのため各観察モードにおいて撮影された検査画像は、その照射光の違いのために、それぞれ異なる色あいをもつようになる。たとえば通常光観察による検査画像は、全体的にピンク系統の色あいを有する一方で、ＮＢＩによる検査画像は、全体的に茶褐色系統の色あいを有する傾向をもつ。

端末装置３０は、検査レポートの作成時に、表示装置６０に表示した検査画像上に描画アイテムを付加する機能を有し、画像取得部３２、色情報導出部３４、色情報記憶部３６、描画色設定部４０、レポート入力画面生成部５０および描画アイテム配置部５２を備える。ここでレポート入力画面生成部５０は、医師がレポートを作成するための入力画面を生成して表示装置６０に表示し、描画アイテム配置部５２は、入力画面に含まれる検査画像上で、マウスなどのポインティングデバイスにより指定される位置に描画アイテムを配置する機能をもつ。

これらの構成はハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

たとえば画像取得部３２、色情報導出部３４、色情報記憶部３６および描画色設定部４０は、描画アイテムの色を自動設定するための構成であるが、端末装置３０が描画アイテムの色設定用アプリケーションを実行することで実現されてよい。なお画像取得部３２、色情報導出部３４、色情報記憶部３６および描画色設定部４０の機能は、管理装置２２において実現されてもよい。この場合、管理装置２２は、描画アイテムの色を設定して、その設定した色を端末装置３０に通知することになる。また画像取得部３２、色情報導出部３４、色情報記憶部３６および描画色設定部４０の機能は、その一部が管理装置２２において実現され、残りが端末装置３０において実現されてもよい。

端末装置３０は内視鏡科に設置されており、キーボードやマウスなどのユーザインタフェースが接続されている。医師は内視鏡検査を終了すると、端末装置３０でユーザインタフェースを操作して検査レポートを作成する。以下に、検査レポートに添付する検査画像への描画アイテム付加機能について説明する。

図２は、レポート入力画面の一例を示す。図２に示すレポート入力画面は、内視鏡検査のレポート入力画面を示している。レポート入力画面生成部５０が、管理装置２２から検査情報を取得し、また検査画像保持部２４から検査画像のサムネイルを取得して、レポート入力画面を生成する。

レポート入力画面の左欄には、患者情報および検査画像のサムネイルが表示される。レポート入力画面生成部５０は、検査画像保持部２４から取得した検査画像のサムネイルを一覧表示領域７０に並べて表示する。なお一覧表示領域７０の右側にはスクロールバー７１が設けられ、医師はスクロールバー７１をスクロールして、検査画像の全てのサムネイルを閲覧できる。なおレポート入力画面生成部５０は検査画像保持部２４から検査画像のサムネイルを取得してもよいが、検査画像を取得して、検査画像から生成したサムネイルを一覧表示領域７０に表示するようにしてもよい。検査画像には検査ＩＤがメタデータとして付加されており、レポート入力画面生成部５０は、レポートを作成する検査の検査ＩＤが付加されている検査画像ないしはサムネイルを検査画像保持部２４から取得して表示する。同様にレポート入力画面生成部５０は、検査ＩＤに紐づけられた患者情報等を、管理装置２２から読み込み、所定の領域に表示する。

レポート入力画面の右欄には、レポート入力すべき項目が表示される。図２に示す例では項目として「観察範囲」、「総合診断」、「検査後指示／合併症」および「各種コメント／使用スコープ」が表示される。「観察範囲」は、人体の部位ごとに所見内容、診断内容、処置内容を入力する項目である。「総合診断」は、総合診断の内容を入力する項目である。「検査後指示／合併症」は、検査後の医師からの指示内容および合併症の有無を入力する項目である。「各種コメント／使用スコープ」は、上記に記載した以外のコメントおよび検査に使用したスコープの種別を入力する項目である。

医師は「観察範囲」の項目に、検査した「食道」、「胃」の２つの部位の所見内容、診断内容、処置内容を入力する。また医師は、一覧表示領域７０に表示されたサムネイルを選択することで、検査した部位に対応づけて検査画像を添付できる。ここでは「食道」の添付画像表示領域７２に、選択された画像Ａ、画像Ｂ、画像Ｃ、画像Ｄが添付画像として表示されている。同様に「胃」の添付画像表示領域７３には、選択された画像Ｅ、画像Ｆが添付画像として表示されている。これらの添付画像は、一覧表示領域７０におけるサムネイルをさらに縮小した画像であってよい。

医師が一覧表示領域７０に表示されたサムネイルを選択すると、レポート入力画面生成部５０は、選択されたサムネイルの検査画像を検査画像保持部２４から取得して、編集のために拡大表示する。

図３は、検査画像の編集画面を示す。編集画面の右欄の検査画像表示領域７５には、画像編集の対象となる検査画像が表示される。この検査画像は、図２の一覧表示領域７０において選択されたサムネイルに対応する画像であり、この編集画面において、医師は検査画像中の処置箇所に、対応する処置内容を示す描画アイテムを付加できる。編集画面の下欄のＯＫボタンが押されると、検査画像が添付画像として登録される。

編集画面の左欄には、処置内容を選択するための処置種別指定ボタン７６が設けられる。処置種別指定ボタン７６は、生検マークを付加するための生検指定ボタン７６ａ、ポリペクトミーマークを付加するためのポリペクトミー指定ボタン７６ｂ、ＥＭＲ（Endoscopic Mucosal Resection：内視鏡的粘膜切除術）マークを付加するためのＥＭＲ指定ボタン７６ｃを含む。

医師は検査画像中に描画アイテムを付加する際、マウスなどのポインティングデバイスを操作して処置種別指定ボタン７６のいずれかを選択し、それから検査画像７７中の処置箇所をポイントする。たとえばマウス操作の場合には、所望の処置種別指定ボタン７６上にカーソルをあててクリックし、それから検査画像７７上の所望の位置にカーソルを配置してダブルクリックすると、その位置に描画アイテムが付加される。

図４は、検査画像上に描画アイテムを配置した例を示す。図４に示す例では、黒太字で示す描画アイテム“＜１”８０ａ、“＜２”８０ｂが、生検処置した箇所を示し、白抜き文字で示す描画アイテム“＜１”８１ａが、ポリペクトミーを行った箇所を示している。なお図４において、描画アイテム８０ａ、８０ｂを黒太字で表現し、描画アイテム８１ａを白抜き文字で表現しているのは、これらが異なる色で彩色されていることを意味している。描画アイテム色の設定手法については後述する。

描画アイテム配置部５２は、処置内容ごとに付加した描画アイテムの数をカウントし、描画アイテムが、処置内容に関して連番の数字となるように設定する。たとえば生検マークである描画アイテム８０ａ（“＜１”）は、医師が生検箇所として１番目にマーキングしたことを示し、生検マークである描画アイテム８０ｂ（“＜２”）は、医師が生検箇所として２番目にマーキングしたことを示す。同様に、医師が生検箇所として３番目にマーキングした箇所には、黒太字の“＜３”が付加されるようになる。これは他の処置内容に関しても同様であり、ポリペクトミーマークである描画アイテム８１ａ（“＜１”）は、医師がポリペクトミーによる処置箇所として１番目にマーキングしたことを示す。

図５は、別の検査画像の編集画面を示す。検査画像表示領域７５には、図４に示した検査画像７７とは異なる検査画像７８が表示されている。ここでは医師がポインティングデバイスを操作して、検査画像７８中に描画アイテム８０ｃ、８１ｂ、８１ｃ、８２ａを付加している。ここで描画アイテム８０ｃは、３番目の生検箇所としてマーキングされた生検マーク、描画アイテム８１ｂは、２番目のポリペクトミーによる処置箇所としてマーキングされたポリペクトミーマーク、描画アイテム８１ｃは、３番目のポリペクトミーによる処置箇所としてマーキングされたポリペクトミーマーク、描画アイテム８２ａは、１番目のＥＭＲによる処置箇所としてマーキングされたＥＭＲマークである。なお描画アイテム８２ａは、描画アイテム８０、８１とは異なる色で彩色されている。

このように医師は、選択した検査画像上の処置箇所に、描画アイテム（マーク）を付加する。図４および図５に示したように描画アイテムは、“＜１”、“＜２”の形式で表示される。本実施例において、同じ処置を表現する描画アイテムは、全ての添付画像において同色で彩色され、異なる処置を表現する描画アイテムは、区別できるように異なる色を付けられることが好ましい。

たとえば１枚目の検査画像７７（図４参照）の２つの生検マーク８０ａ、８０ｂを「青」で彩色し、２枚目の検査画像７８（図５参照）の１つの生検マーク８０ｃを「緑」で彩色した場合を考える。医師がレポートに添付された検査画像を確認するときに、１枚目の検査画像７７の描画アイテム８０ａ、８０ｂは青で彩色されているため、この２つの描画アイテム８０ａ、８０ｂは、同種の処置の処置箇所を示していることを容易に理解するが、２枚目の検査画像７８の描画アイテム８０ｃが緑で彩色されていると、１枚目の検査画像７７に付加された描画アイテム８０ａ、８０ｂと同種の処置内容のマークであるか一目で判断することができない。特に生検だけでなく、他の種類の処置、たとえばポリペクトミーやＥＭＲの処置箇所を示す描画アイテムも検査画像に付加されている場合には、いずれの描画アイテムも“＜１”、“＜２”の形式で表示されるために、処置内容を区別できなくなるという問題がある。そこで、複数の検査画像が検査レポートに添付される場合には、添付される全ての検査画像にわたって、処置内容ごとの描画アイテム色が統一されている、すなわち処置内容ごとに設定された色で描画アイテムが彩色されている必要がある。

なお、この例では、処置内容の描画アイテムが、処置内容に関わらず同じように“＜１”、“＜２”の形式で表示されることを説明したが、処置内容の描画アイテムを、処置内容ごとに設定することも可能である。たとえば生検マークを“＜１”、“＜２”の形式で表示し、ポリペクトミーマークを“＜Ｐ１”、“＜Ｐ２”の形式で表示し、ＥＭＲマークを“＜ＥＭＲ１”、“＜ＥＭＲ２”の形式で表示するような場合である。このように描画アイテムの形状を処置内容に応じて設定すれば、描画アイテムの形状により処置内容を表現できるようになるが、その場合であっても、ある検査画像においては生検マークが青で彩色され、ポリペクトミーマークが緑で彩色されていて、別の検査画像では生検マークが緑で彩色され、ポリペクトミーマークが青で彩色されていると、医師が、そのマークの意味を取り違える可能性も否定できない。

以上のことから、複数の検査画像に付加される描画アイテムに関しては、処置内容の種別ごとに描画アイテム色が設定されて、医師は少なくとも描画アイテムの色によって、処置内容を特定できるようにすることが好ましい。

なお描画アイテムは検査画像上に付加されるものであるため、検査画像にとけ込まない色で彩色されることが好ましい。そこで本実施例では、描画アイテムを付加する前に、検査画像の色情報を調査して、検査画像から区別可能な描画アイテム色を自動設定する。以下、端末装置３０において描画アイテム色の設定処理を実行する例を説明するが、既述したように描画アイテム色の設定処理は、たとえば管理装置２２が実行してもよく、また管理装置２２と端末装置３０とが協働して実行してもよい。

管理システム２０において、検査画像保持部２４は、一つの同じ検査において撮影された複数の検査画像を保持している。描画アイテム色の設定処理に際して、端末装置３０では、画像取得部３２が、同一検査において撮影された全ての検査画像を検査画像保持部２４から読み出して取得する。色情報導出部３４は、読み出された複数の検査画像の画素値から、各検査画像の色情報を導出する。色情報記憶部３６は、色情報導出部３４により導出された複数の検査画像の色情報を記憶する。描画色設定部４０は、複数の検査画像の色情報をもとに、検査画像に付加する描画アイテムの色を設定する。以下、描画アイテム色の設定処理の詳細を説明する。

図６は、描画アイテム色の設定処理のフローチャートを示す。図６に示す描画アイテム色の設定処理は、医師が描画アイテムを検査画像に付加する前に実行され、医師が描画アイテムを検査画像に付加する際には、既にこの設定処理により描画アイテム色が設定された状態となっている。

色情報導出部３４が、同じ検査において撮影された複数の検査画像の色情報を導出する（Ｓ１０）。たとえば同一検査において撮影された検査画像が３０枚あれば、色情報導出部３４は、３０枚の検査画像のそれぞれの色情報を導出する。ここで色情報は、検査画像の所定領域における平均画素値であってよい。

たとえば図３に示す検査画像７７や、図５に示す検査画像７８に示すように、検査画像には、撮影領域以外の領域が含まれていることがある。検査画像７７、７８においては、周囲の黒縁は撮影領域ではなく、かかる領域に、描画アイテムが付加されることはない。そこで色情報導出部３４は、黒縁領域を除いた撮影領域における平均画素値を導出することが好ましい。ここで検査画像における撮影領域の位置は、内視鏡スコープ１２の撮像素子に依存する。色情報導出部３４は、撮像素子の種別と、検査画像における撮影領域の位置との対応関係を示すテーブルを有しておき、検査画像にメタデータとして付加された素子種別情報に基づいて検査画像から撮影領域を切り出して、切り出した撮影領域の平均画素値を求めることが好ましい。

なお色情報導出部３４は、検査画像の画素値から、同一の画素値が所定範囲以上の広さにわたり連続して配置されている領域を特定して、その領域を非撮影領域と解釈してもよい。撮影領域においては、同一の画素値が連続することは希であるが、一方で撮影領域の周囲の縁領域は、たとえば黒の画素値が連続して配置される。そこで色情報導出部３４は、同一の画素値が所定範囲以上の広さにわたり連続して配置されている領域を非撮影領域であると判断して、非撮影領域を除いた領域（つまり撮影領域）を特定し、その撮影領域の平均画素値を、色情報として導出してもよい。このように色情報導出部３４は、検査画像の所定領域、すなわち内視鏡スコープ１２により撮影された体内の撮影領域における平均画素値を、色情報として検査画像ごとに導出する。

色情報記憶部３６は、色情報導出部３４により導出された複数の検査画像の色情報を記憶する（Ｓ１２）。このとき色情報記憶部３６は、検査画像にメタデータとして付加された観察モード情報を取得し、観察モードに対応づけて、検査画像の色情報を記憶する。たとえば３０枚の検査画像のうち、通常光観察による検査画像が２５枚で、ＮＢＩによる検査画像が５枚であれば、色情報記憶部３６は、通常光観察モードに対応づけて２５枚の検査画像の色情報を記憶し、ＮＢＩモードに対応づけて５枚の検査画像の色情報を記憶する。

このように色情報記憶部３６が複数の検査画像の色情報を記憶すると、描画色設定部４０が、記憶された複数の検査画像の色情報をもとに、検査画像に付加する描画アイテムの色を設定する。なお複数種類の描画アイテムが検査画像に付加される可能性がある場合には、描画色設定部４０は、描画アイテムの種類ごとに、描画アイテム色を設定する。たとえば、描画アイテムとして、生検マーク、ポリペクトミーマーク、ＥＭＲマークの３種類が検査画像の付加される可能性がある場合には、それぞれの描画アイテムの色を設定する。

具体的に描画色設定部４０において、画像色特定部４２は、複数の検査画像の色情報から、検査画像の色系統を特定する。ここで観察モード特定部４６は、色情報記憶部３６に記憶された色情報に対応づけられた観察モードを特定し、画像色特定部４２は、観察モードごとに、検査画像の色系統を特定することが好ましい。上記の例でいえば色情報記憶部３６において、通常光観察モードに対応づけられて２５枚の検査画像の色情報が記憶され、ＮＢＩモードに対応づけられて５枚の検査画像の色情報が記憶されているが、画像色特定部４２は、通常光観察モードにおける検査画像の色系統を、２５個の色情報から特定し、またＮＢＩモードにおける検査画像の色系統を、５個の色情報から特定する。

ここで色系統とは、色相（色あい）を分類したカテゴリであってよい。たとえばマンセル表色系では、色相は、赤（Ｒ）、黄（Ｙ）、緑（Ｇ）、青（Ｂ）、紫（Ｐ）に分けられ、さらにそれぞれの中間に、黄赤（ＹＲ）、黄緑（ＧＹ）、青緑（ＢＧ）、紫青（ＰＢ）、赤紫（ＲＰ）が設けられている。これらの１０色相は色系統と呼ばれ、赤（Ｒ）、黄赤（ＹＲ）、黄（Ｙ）、黄緑（ＧＹ）、緑（Ｇ）、青緑（ＢＧ）、青（Ｂ）、紫青（ＰＢ）、紫（Ｐ）、赤紫（ＲＰ）の順に並べたものは色相環と呼ばれているが、本実施例では、この色相環をさらに細分化して色相の系統を定めてもよい。本実施例では、マンセル表色系における１０個の色相を「色系統」として利用するが、さらに色相環を細分化した色系統を利用してもよく、また他の表色系における色系統を利用してもよい。また本実施例の色系統には、黒または白の無彩色が含まれてもよい。

画像色特定部４２は、各観察モードごとに、検査画像がどの色系統に属するかを調査する。たとえば画像色特定部４２が、通常光観察モードにおける２５枚の検査画像のうち、２３枚の検査画像の平均画素値が赤（Ｒ）系統に属し、２枚の検査画像の平均画素値が黄（Ｙ）系統に属していることを確認すると、通常光観察モードにおける検査画像が、赤（Ｒ）系統と黄（Ｙ）系統に属していることを判定する。

なお画像色特定部４２は、通常光観察モードにおける検査画像が、最頻値である赤（Ｒ）系統であることを特定してもよい。最頻値を採用するのは、通常光観察モードにおける検査画像の全体の傾向を把握するためであり、レアな検査画像は無視して、使用可能な描画アイテム色の選択肢を増やすために有効である。

このようにして画像色特定部４２は、検査画像の平均画素値をもとに、各観察モードにおける検査画像の色系統を特定する。たとえば画像色特定部４２が、ＮＢＩモードにおける５枚の検査画像のうち、全ての検査画像の平均画素値が黄赤（ＹＲ）系統に属していることを確認すると、ＮＢＩモードにおける検査画像が黄赤（ＹＲ）系統に属していることを判定する。

なお画像色特定部４２は、検査画像の色系統を特定する際に、所定の範囲から外れた色情報（平均画素値）を除外することが好ましい。たとえば内視鏡スコープ１２の先端が粘膜面に接した状態で撮影された検査画像は、粘膜下層の血流が遮断されるために全体として白い画像となる。このような画像は明度の高い画像となるが、検査画像としては適切ではないために、描画アイテムが付加される可能性が非常に低い。また内視鏡スコープ１２の体内挿入前に撮影された画像は、真っ黒ないしはグレーの画像となる。このような画像は明度の低い画像となるが、そもそも体内を撮影した画像ではなく、描画アイテムが付加される可能性はない。そのため画像色特定部４２は、検査画像の平均画素値が示す明度が、明度の所定の下限値よりも低く、また明度の所定の上限値よりも高い場合に、検査画像の色系統を特定する際の材料としては利用しないことが好ましい。このように画像色特定部４２は、所定の範囲から外れた色情報を除外して、検査画像の色系統を特定することで、体内を適切に撮影した検査画像の色系統を正確に特定できるようになる。

以上のようにして画像色特定部４２が、検査画像の色系統を特定すると、描画色決定部４４は、画像色特定部４２が特定した色系統とは異なる系統の色を、描画アイテムの色として定める（Ｓ１６）。上記の例では、画像色特定部４２が、検査画像が赤（Ｒ）系統、黄赤（ＹＲ）系統と黄（Ｙ）系統に属していることを特定しているため、描画色決定部４４は、３種類の描画アイテム、ここでは生検マーク、ポリペクトミーマーク、ＥＭＲマークの色を、赤（Ｒ）系統、黄赤（ＹＲ）系統、黄（Ｙ）系統ではない別の系統の色に設定する。既述したように描画色決定部４４は、処置内容ごとに描画アイテムの色を異なるように設定し、したがって生検マーク色を紫、ポリペクトミーマーク色を青、ＥＭＲマーク色を緑と定めてよい。当然のことながら、生検マーク色を青、ポリペクトミーマーク色を緑、ＥＭＲマーク色を紫と定めてもよい。

このように描画色設定部４０は、医師が画像編集を行う前に、予め描画アイテム色を設定する。これにより医師が画像編集の際に描画アイテムを検査画像上に付加する際には、描画色設定部４０により設定された色で描画アイテムが検査画像上に表示されるようになる。描画アイテムは、処置内容ごとに定められた色で表示されるため、医師は描画アイテムの色で処置内容を判別できるようになる。

図７は、検査画像の編集画面を示す。既述したように編集画面の左欄には、生検マークを付加するための生検指定ボタン７６ａ、ポリペクトミーマークを付加するためのポリペクトミー指定ボタン７６ｂ、ＥＭＲマークを付加するためのＥＭＲ指定ボタン７６ｃが設けられるが、レポート入力画面生成部５０は、描画色設定部４０において設定された描画アイテムの色にしたがって、各ボタンに色をつけてよい。つまり描画色設定部４０が、生検マーク色を紫、ポリペクトミーマーク色を青、ＥＭＲマーク色を緑と定めている場合には、レポート入力画面生成部５０が、生検指定ボタン７６ａを紫、ポリペクトミー指定ボタン７６ｂを青、ＥＭＲ指定ボタン７６ｃを緑で彩色して、医師が、各描画アイテムの色を認識できるようにしてもよい。

なお実施例では、描画アイテムを付加する前に、予め検査画像の平均画素値をもとに描画アイテム色を設定することを説明したが、実際に描画アイテムを付加してみると、描画アイテムを付加した位置の背景色が、描画アイテム色と同じ色系統である場合も考えられる。そこで描画色設定部４０は、全ての添付画像の画像編集が終了した後、描画アイテム色が適切であったか確認する処理を行ってもよい。

図８は、描画アイテム色の確認処理のフローチャートを示す。図８に示す描画アイテム色の確認処理は、医師が描画アイテムを検査画像に付加した後に実行される。

色情報導出部３４が、検査レポートに添付された検査画像において、描画アイテムが付加された領域の色情報を導出する（Ｓ２０）。描画アイテムが付加された領域は、描画アイテムを取り囲む仮想枠によって定められる。

図９は、検査画像上に設定される仮想枠の例を示す。この例では、描画アイテム８０ａ、８０ｂ、８１ａを付加された検査画像７７において、それぞれ仮想的な枠９０ａ、９０ｂ、９１ａを設定した様子を示す。色情報導出部３４は、各描画アイテムを取り囲むように矩形状の仮想枠を設定する。この仮想枠は、描画アイテムに外接するように設定されてもよい。色情報導出部３４は、各枠９０ａ、９０ｂ、９１ａ内の領域の色情報を導出し、具体的には各枠内の領域の平均画素値を、背景色情報として導出する。なお色情報導出部３４は、添付画像に付加された全ての描画アイテムの背景色情報を導出する。

図８に戻り、色情報導出部３４により導出された全ての描画アイテムの背景色情報を記憶する（Ｓ２２）。このとき色情報記憶部３６は、描画アイテムの種類ごとに、背景色情報を記憶する。したがって図４に示す検査画像７７および図５に示す検査画像７８の例では、色情報記憶部３６が、生検マーク８０ａ、８０ｂ、８０ｃの３つの背景色情報を関連づけて記憶し、ポリペクトミーマーク８１ａ、８１ｂ、８１ｃの３つの背景色情報を関連づけて記憶し、ＥＭＲマーク８２ａの背景色情報を記憶する。

画像色特定部４２は、描画アイテムの種類ごとに、背景色の色情報から、背景色の色系統を特定する。そして画像色特定部４２は、描画アイテム色と背景色とが同一系統であるか判定する（Ｓ２４）。具体的には、検査画像において生検マークは紫で表示されており、生検マークの背景色に紫系統であるものが存在するか判定する。ここで背景色が紫系統でなければ（Ｓ２４のＮ）、描画色決定部４４は、生検マーク色を紫のまま変更しない。一方で、背景色に紫系統のものがあれば（Ｓ２４のＹ）、描画色決定部４４は、背景色の系統とは異なる系統の色に、生検マーク８０ａ、８０ｂ、８０ｃの色を変更する（Ｓ２６）。なお、この場合には、図６に示す設定処理において特定された検査画像７７、７８の色系統については考慮しなくてよい。たとえば、検査画像７７、７８の平均画素値が赤（Ｒ）系統であることが判定されている場合であっても、実際に生検マーク８０ａ、８０ｂ、８０ｃを付加している領域の背景色が赤（Ｒ）系統でなければ、描画色決定部４４は、生検マーク８０ａ、８０ｂ、８０ｃを赤に設定してもよい。なお当然のことながら、背景色が赤（Ｒ）系統であれば、描画色決定部４４は、生検マーク８０ａ、８０ｂ、８０ｃを赤に設定することはできない。

このようにして画像色特定部４２は、描画アイテムの種類ごとに、描画アイテム色と背景色とが同一系統であるか判定して、同一系統であれば、描画色決定部４４が、その描画アイテム色を背景色とは異なる系統の色に変更する。これにより最終的に検査レポートに添付される検査画像において、描画アイテムが背景にとけ込むことなく、確実に視認できる色に設定することが可能となる。

以上は、描画アイテムの付加前に描画アイテム色を設定し、描画アイテムの付加後、描画アイテム色の確認処理を行う例を示した。この確認処理は、描画アイテム付加前の設定処理を介さずに、適用することも可能である。たとえば処置内容ごとに描画アイテムの色を予めデフォルト設定しておき、医師が描画アイテムを検査画像に付加した後、デフォルト設定されたアイテム色が適切であるかどうかの確認に利用されてもよい。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１・・・検査画像表示システム、１０・・・内視鏡システム、１２・・・内視鏡スコープ、１４・・・内視鏡処理装置、１６・・・表示装置、２０・・・管理システム、２２・・・管理装置、２４・・・検査画像保持部、３０・・・端末装置、３２・・・画像取得部、３４・・・色情報導出部、３６・・・色情報記憶部、４０・・・描画色設定部、４２・・・画像色特定部、４４・・・描画色決定部、４６・・・観察モード特定部、５０・・・レポート入力画面生成部、５２・・・描画アイテム配置部、６０・・・表示装置。

Claims (6)

1. 撮像素子により撮影された撮影領域を含む第１の検査画像と、撮像素子により撮影された撮影領域を含む第２の検査画像とを保持する検査画像保持部と、
   前記撮影領域の画素値から、前記撮影領域の色が色相の分類を示す色系統のうちどの色系統に属するかを特定する画像色特定部と、
   前記画像色特定部により特定された前記第１の検査画像の撮影領域の色系統である第１の色系統および前記第２の検査画像の撮影領域の色系統であって前記第１の色系統とは異なる第２の色系統とは異なる第３の色系統の色を、前記撮影領域上に付加する描画アイテムの色として定める描画色設定部と、
   を備えることを特徴とする検査画像表示システム。
2. 複数種類の描画アイテムが前記撮影領域上に付加される場合に、前記描画色設定部は、描画アイテムの種類ごとに色を設定することを特徴とする請求項１に記載の検査画像表示システム。
3. 前記画像色特定部は、前記撮影領域における平均画素値から前記撮影領域の色系統を特定することを特徴とする請求項１または２に記載の検査画像表示システム。
4. 前記画像色特定部は、前記撮影領域の色情報のうち、所定の範囲から外れた色情報を除外して、前記撮影領域の色系統を特定することを特徴とする請求項１から３のいずれかに記載の検査画像表示システム。
5. 前記画像色特定部は、観察モードごとに前記撮影領域の色系統を特定することを特徴とする請求項１から４のいずれかに記載の検査画像表示システム。
6. 前記撮影領域の画素値から、前記撮影領域の色情報を導出する色情報導出部と、
   前記色情報導出部により導出された前記撮影領域の色情報を記憶する色情報記憶部と、をさらに備え、
   前記画像色特定部は、前記色情報記憶部に記憶された前記撮影領域の色情報から、前記撮影領域の色系統を特定することを特徴とする請求項１から５のいずれかに記載の検査画像表示システム。

Images