JP2024051715A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】患部と一緒に色見本等を撮影しなくとも、同一患者の同一患部について異なる日時に撮影された画像の色及び輝度を高い精度で合わせることを可能とする。
【解決手段】画像処理装置１０６は、同一患者の同一の傷病領域を含むように撮影された第１の画像と第２の画像を取得し、第１の画像および第２の画像それぞれの傷病領域を除いた領域から経時的に変化する可能性の低い領域を第１の比較領域および第２の比較領域として検出し、第２の比較領域の色および輝度を第１の比較領域の色および輝度に合わせるための補正係数を演算し、補正係数を用いて第２の画像の色および輝度を補正した画像を生成する。
【選択図】図９

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に画像の色及び輝度を補正する技術に関する。

基準となる色見本画像を患者の皮膚と一緒に撮影して表示色を調整する画像処理装置が知られている（例えば特許文献１参照）。

特開平１１－１９０５０号公報

患部（傷病部位）の経過観察を行う際に、患部の状態を記録するために患部を撮影することがある。撮影日時の異なる撮影画像で患部を比較する際には、画像の色及び輝度を高い精度で合わせることが望ましい。この課題に対して上記特許文献１に記載された技術を用いた場合、常に患者の皮膚と一緒に基準となる色見本を同じ撮影しなければならず、手間が掛かるという問題がある。

本発明は、このような事情に鑑みてなされたものであり、患部と一緒に色見本等を撮影しなくとも、同一患者の同一患部について異なる日時に撮影された画像の色及び輝度を高い精度で合わせることを可能とする技術を提供することを目的とする。

本発明に係る画像処理装置は、同一患者の同一の傷病領域を含むように撮影された第１の画像と第２の画像を取得する第１の取得手段と、前記第１の画像および前記第２の画像それぞれの前記傷病領域を除いた領域から経時的に変化する可能性の低い領域を第１の比較領域および第２の比較領域として検出する検出手段と、前記第２の比較領域の色および輝度を前記第１の比較領域の色および輝度に合わせるための補正係数を演算する演算手段と、前記補正係数を用いて前記第２の画像の色および輝度を補正した画像を生成する補正手段と、を備えることを特徴とする。

本発明によれば、患部と一緒に基準色見本を撮影しなくとも、同一患者の同一患部について異なる日時に撮影された画像の色及び輝度を高い精度で合わせることが可能となる。

実施形態に係る医療システムのシステム構成を示す図である。 撮像装置の概略のハードウェア構成を示す図である。 撮像装置で実行される患部画像ファイル生成処理のフローチャートである。 患部画像ファイルの概略構成を説明する模式図である。 画像処理装置の概略のハードウェア構成を示す図である。 画像処理装置で実行されるＲＡＷ画像の現像処理のフローチャートである。 画像処理装置で実行される比較領域決定処理のフローチャートである。 傷病特性テーブルの一例を示す図である。 画像処理装置で実行される色・輝度補正処理を示すフローチャートである。 画像処理装置のディスプレイに表示されるＵＩ画面の一例を示す図である。 基準画像における比較領域と傷病領域の検出例を示す図である。 基準画像における比較領域と傷病領域の別の検出例を示す図である。 同一部位に複数の傷病がある場合に比較領域を決定する処理のフローチャートである。 基準画像における比較領域と傷病領域の更に別の検出例を示す図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。ここでは、患者の患部を撮影した撮影日時の異なる画像（以下「患部画像」と言う）に関連付けられて記録された検査情報を用いて、各患部画像の色及び輝度を合わせる画像処理（色・輝度補正処理）を行う画像処理装置を有する医療システムについて説明する。

図１は、実施形態に係る医療システム１００のシステム構成を示す図である。医療システム１００は、大略的に、管理システム１００Ａ、撮像装置１０１及び画像処理装置１０６がネットワーク１０２を介して互いに通信可能に接続されることによって構成されている。管理システム１００Ａは、電子カルテ表示端末１０３、電子カルテ管理端末１０４、画像管理端末１０５、検査情報ＤＢ１０８、施設情報ＤＢ１０９及び画像情報ＤＢ１１０を有する。なお、「ＤＢ」は「データベース」を意味する。

撮像装置１０１は、医療システム１００の診察対象である患者１５０の患部１０７を撮影して、患部画像ファイルを生成する。ここで、患者１５０の患部１０７における傷病は、全身への症状の現れ方で診察される場合と、身体の一部への症状の現れ方で診察される場合とがある。全身症状が現れている場合には、頭や体幹、下肢、上肢等の広い範囲が診察対象とされる。患部１０７は、歯の並び方や生え替わりの状態を記録するために診察、撮影される口腔内のように、傷病ではないが診察対象となる部位を含むものとする。撮像装置１０１の構成及び患部画像ファイルの詳細については後述する。

画像処理装置１０６は、患部画像ファイルに含まれるＲＡＷ画像データ（以下「ＲＡＷ画像」と言う）の現像処理を行う。画像処理装置１０６の構成とＲＡＷ画像及びその現像処理の詳細については後述する。

管理システム１００Ａにおいて、電子カルテ表示端末１０３は、電子カルテ管理端末１０４から患者ＩＤを取得すると共に電子カルテ管理端末１０４を介して検査情報ＤＢ１０８から患者ＩＤに対応する検査情報を取得し、電子カルテの表示や作成、編集を行う。電子カルテの作成及び編集処理では、画像データへの情報付加処理を行うこともできる。その際、電子カルテ表示端末１０３は、電子カルテ管理端末１０４に対して画像管理端末１０５を介して画像管理ＤＢ１１０から所定の画像データを取得するよう指示し、取得した画像データを電子カルテ管理端末１０４から電子カルテ表示端末１０３へ送信させる。

なお、患者ＩＤとは、患者を一意に特定するための患者管理番号であり、電子カルテ管理端末１０４において一元的に管理されている。検査情報は、患者１５０に対して行われた検査に関わる情報であり、患者ＩＤと関連付けられて検査情報ＤＢ１０８に格納（記憶）されている。検査情報は、患者情報、検査目的、検査日時、検査部位及び検査場所の情報を含む。

患者情報とは、医療システム１００の管理対象となる患者１５０の氏名や年齢、性別、既往歴等である。検査目的とは、検査の目的となる傷病を示すものであり、例えば、アトピー性皮膚炎、褥瘡、怪我、歯肉炎、そばかす等の傷病である。傷病は、その疑いがあればよく、最終的な診断結果の傷病とは異なっても構わない。検査目的が複数ある場合には、検査目的は複数の傷病を含む。検査日時は、その傷病についての検査が行われた日時であり、例えば、年月日及び時刻で記憶され、時刻は、例えば、午前や午後のような広い範囲でも構わない。検査部位とは、頭部、胸部、乳房、腹部、腰、お尻、背、肩、肘、膝、手、脚部等の部位を指す。検査場所とは、検査が行われる場所であり、例えば、病院施設内の診療室、写真室、浴室、入院病棟の室内等である。

電子カルテ管理端末１０４は、前述の通り、患者ＩＤにより複数の患者の検査情報を管理している。電子カルテ管理端末１０４は、電子カルテ表示端末１０３からの要求を受けて、検査情報ＤＢ１０８及び施設情報ＤＢ１０９から指定された情報を取り出して、電子カルテ表示端末１０３に提供する。また、電子カルテ管理端末１０４は、所定の患者ＩＤの検査情報を画像処理装置１０６へ送信するよう画像処理装置１０６から要求されると、該当する患者ＩＤの検査情報を検査情報ＤＢ１０８から取得して、画像処理装置１０６へ送信する。同様に、電子カルテ管理端末１０４は、所定の患者ＩＤの検査情報を撮像装置１０１へ送信するよう撮像装置１０１から要求されると、該当する患者ＩＤの検査情報を検査情報ＤＢ１０８から取得して、撮像装置１０１へ送信する。

画像管理端末１０５は、撮像装置１０１から患部画像ファイルを受信して、受信した患部画像ファイルを患者ＩＤに関連付けて画像情報ＤＢ１１０へ記憶（格納）する。画像管理端末１０５は、画像処理装置１０６や電子カルテ管理端末１０４から所定の画像データ（画像ファイル）の送信要求を受けると、指定された条件に当てはまる画像データを画像情報ＤＢ１１０から読み出して要求先へ送信する。

検査情報ＤＢ１０８は、検査情報を記憶するデータベースである。電子カルテ管理端末１０４は、患者ＩＤや傷病名、診察日時等を用いて、検査情報ＤＢ１０８から該当する検査情報を取得することができる。施設情報ＤＢ１０９は、医療従事者や装置に関する情報を記憶するデータベースである。例えば、電子カルテ管理端末１０４は、撮像装置１０１を操作した医療従事者に割り振られた医療従事者ＩＤを用いて、所定の医療従事者の情報を取得することができる。また、電子カルテ管理端末１０４は、撮像装置ＩＤを用いて該当する撮像装置１０１の情報を取得することができる。画像情報ＤＢ１１０は、患部画像ファイル、患部画像ファイルに関連付けられた検査情報、患部画像ファイルのＲＡＷ画像を用いて画像処理装置１０６で生成された現像画像（後述の補正済み現像画像）等を患者ＩＤに関連付けて記憶するデータベースである。

管理システム１００Ａにおいて、電子カルテ表示端末１０３と電子カルテ管理端末１０４との間の通信には、例えば、ＨＤＭＩ（登録商標）ケーブルを用いることができるが、これに限られず、有線・無線ＬＡＮやＵＳＢケーブル等が用いられていてもよい。電子カルテ管理端末１０４と画像管理端末１０５との間の通信も同様に構成される。

図２（ａ）は、撮像装置１０１のハードウェア構成を示す図である。撮像装置１０１のハードウェア構成は一般的なデジタルカメラと同等であって可搬性を有するが、撮像装置１０１は、医療システム１００の構成要素として機能させるために撮像装置１０１内で動作するプログラムがカスタマイズされている。

撮像装置１０１は、撮像部２００、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、表示装置２０４、画像処理部２１１、ファイル生成部２１２、入力装置２０５、記憶媒体２０６及び通信Ｉ／Ｆ２０７を備える。撮像装置１０１を構成するこれらの各ユニットは、アドレスバス、データバス及び制御バスからなるシステムバス２０８を介して相互に通信を行うことができるよう構成されている。

ＣＰＵ２０１は、撮像装置１０１の全体的な制御を行う。ＲＯＭ２０２は、ＣＰＵ２０１の動作処理手順（例えば、撮像装置１０１の電源オン時の処理や基本入出力処理等のプログラム）を記憶している。ＲＡＭ２０３は、ＣＰＵ２０１のメインメモリとして機能する。即ち、ＲＡＭ２０３には、後述する図３のフローチャートに従う処理を実現するための制御プログラムを含む各種プログラムがＲＯＭ２０２等からロードされ、ＣＰＵ２０１によって実行される。なお、ＲＡＭ２０３は、ＣＰＵ２０１が各種処理を実行する際のワークエリアも提供する。

撮像部２００は、レンズと、カラーフィルタを備えるＣＣＤセンサやＣＭＯＳセンサ等の固体撮像素子と、固体撮像素子から出力されるアナログ電気信号をデジタル信号に変換するＡ／Ｄ変換器を有する。撮像装置１０１で患部１０７を撮像すると、レンズ及びカラーフィルタを透過して固体撮像素子に結像した光学像は、固体撮像素子による光電変換によってアナログ電気信号に変換される。アナログ電気信号はＡ／Ｄ変換器によりデジタル信号に変換され、こうして患部１０７を撮影したＲＡＷ画像が生成される。

本実施形態では、撮像装置１０１により得られるＲＡＷ画像は可視光画像データであるとする。ここで、ＲＡＷ画像の色信号について説明する。図２（ｂ）は、ＲＡＷ画像の色信号の配置を示す図である。ＲＡＷ画像の色信号の配置は、カラーフィルタでの色の配置と合致する。即ち、カラーフィルタは一般的なベイヤー配列構造を有しており、そのため、ＲＡＷ画像は色信号Ｒ（赤），Ｇ１（緑），Ｇ２（緑），Ｂ（青）を１つずつ含む４画素を１ユニットとし、このユニットが縦横に所定数並べられて構成される。以下、Ｒの色信号をＲ信号、Ｇ１の色信号をＧ１信号、Ｇ２の色信号をＧ２信号、Ｂの色信号をＢ信号と称呼する。

撮像部２００で生成されたＲＡＷ画像と撮影時の撮像装置１０１の属性情報は、ＣＰＵ２０１により一時的にＲＡＭ２０３に記憶される。撮像装置１０１の属性情報とは、ＲＡＷ画像の現像処理に必要なパラメータ等であるが、詳細は図４を参照して後述する。

表示装置２０４は、ＣＰＵ２０１の制御下において、撮像装置１０１の設定情報の表示や、記憶媒体２０６に記憶された画像データの画像表示等を行う。

入力装置２０５は、電源ボタン、撮像条件を設定するためのメニューボタンや四方向ボタン、露光開始指示等の各種操作を行うためレリーズスイッチ、表示装置２０４に組み込まれたタッチパネル等を含む。また、入力装置２０５は、管理システム１００Ａ（電子カルテ管理端末１０４）から所定の患者ＩＤに関連付けられた検査情報を選択して取得するための操作を行うための操作部材を含む。記憶媒体２０６は、撮像装置１０１に対して着脱可能なメモリカード等である。

通信Ｉ／Ｆ２０７は、通信回線２０９を介して撮像装置１０１をネットワーク１０２に通信可能に接続するためのインタフェースである。撮像装置１０１は、電源がオンにされるとネットワーク１０２に自動的に接続し、ネットワーク１０２を介して管理システム１００Ａを構成する電子カルテ管理端末１０４及び画像管理端末１０５との通信を開始する。撮像装置１０１は、撮像装置１０１の電源がオフされるまで、電子カルテ管理端末１０４及び画像管理端末１０５と通信可能な状態を維持する。

画像処理部２１１は、撮像部２００で生成されてＲＡＭ２０３に一時的に記憶されたＲＡＷ画像と撮影時の属性情報とを用いて、必要に応じて、人の視覚特性にあった画像データとなるように一連の画像処理を行う。本実施形態では、画像処理部２１１は、現像済み画像データ（以下「カメラ内現像画像」という）とその縮小画像データ（以下「サムネイル」という）を生成するものとする。画像処理部２１１による一連の画像処理の詳細については後述する。ファイル生成部２１２は、ＲＡＷ画像、撮像装置１０１の属性情報、画像処理部２１１により生成されたカメラ内現像画像及びサムネイルを含む患部画像ファイルを生成する。

図３は、撮像装置１０１で実行される患部画像ファイル生成処理のフローチャートである。本フローチャートにＳ番号で示される各処理（ステップ）は、ＣＰＵ２０１がＲＯＭ２０２に記憶されたプログラムをＲＡＭ２０３に展開し、所定の演算処理を行うと共に撮像装置１０１の各部を統括的に制御することにより実現される。

Ｓ３００でＣＰＵ２０１は、通信Ｉ／Ｆ２０７及びネットワーク１０２を介して、被写体である患者に関する検査情報を、患者ＩＤを用いて電子カルテ管理端末１０４から取得する。

Ｓ３０１でＣＰＵ２０１は、撮像部２００により生成したＲＡＷ画像をＲＡＭ２０３に記憶する。

Ｓ３０２でＣＰＵ２０１は、画像処理部２１１を制御して、ＲＡＭ２０３に記憶したＲＡＷ画像の現像処理を行い、カメラ内現像画像を生成し、ＲＡＭ２０３に記憶する。なお、撮像装置１０１の画像処理部２１１で実行される現像処理については、画像処理装置１０６が実行する現像処理と共通する部分があるため、画像処理装置１０６での現像処理について説明する際に併せて説明する。

Ｓ３０３でＣＰＵ２０１は、Ｓ３０２で生成されたカメラ内現像画像からサムネイルを生成し、ＲＡＭ２０３に記憶する。

Ｓ３０４でＣＰＵ２０１は、ファイル生成部２１２により、各画像データに圧縮処理を行い、圧縮処理後の画像データをＲＡＭ２０３に記憶する。このとき、Ｓ３０１で読み込んだＲＡＷ画像については可逆圧縮を行う。Ｓ３０２で生成したカメラ内現像画像とＳ３０３で生成したサムネイルについてはＪＰＧ圧縮を行い。なお、Ｓ３０４の圧縮処理が終了すると、圧縮前の画像データ（Ｓ３０１でＲＡＭ２０３に記憶したＲＡＷ画像、Ｓ３０２でＲＡＭ２０３に記憶したカメラ内現像画像及びサムネイル）をＲＡＭ２０３から消去する。

Ｓ３０５でＣＰＵ２０１は、ＲＡＭ２０３に記憶された圧縮済みのＲＡＷ画像、カメラ内現像画像及びサムネイルと撮像装置１０１の属性情報から患部画像ファイルを生成し、記憶媒体２０６に記憶する。

ここで、患部画像ファイルのデータ構成について説明する。図４は、撮像装置１０１において生成される患部画像ファイル４００の構成を示す模式図である。患部画像ファイル４００は、大略的に、属性情報を格納する属性情報領域４０１と、サムネイルを格納する縮小画像データ領域４０２と、カメラ内現像画像を格納する現像画像データ領域４０３と、ＲＡＷ画像を格納する本体画像データ領域４０４を有する。

属性情報は、各画像データのサイズ、撮影日時、撮影機種、圧縮方法、フラッシュオン／オフ、ＩＳＯ感度や絞り値やシャッタ速度等の撮像条件の情報、各画像の読み出しや再生、選択に必要な情報等を含む。カメラ内現像画像、サムネイル及びＲＡＷ画像は、本発明に関しては画像処理装置１０６での画像処理の際に用いられ、その詳細については後述する。

図３のフローチャートの説明に戻る。Ｓ３０６でＣＰＵ２０１は、Ｓ３００で取得した検査情報とＳ３０５で記憶媒体２０６に記憶した患部画像ファイルとを関連付けて画像管理端末１０５へ送信し、本処理を終了させる。画像管理端末１０５は、画像処理装置１０６から送信されてきた患部画像ファイルを患者ＩＤ及び検査情報と関連付けた状態で画像情報ＤＢ１１０に保存する。

図５は、画像処理装置１０６のハードウェア構成を示す図である。画像処理装置１０６は、例えば、汎用パーソナルコンピュータにより実現することができるが、専用機として構成されていてもよい。画像処理装置１０６は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ディスプレイ５０４、ＨＤＤ５０５、入力装置５０６及び通信Ｉ／Ｆ５０７を備えており、これらはバス５０８を介して通信を行う。

ＣＰＵ５０１は、ＲＯＭ５０２に記憶されているプログラムをＲＡＭ５０３に展開することにより、所定の演算処理を実行し、また、画像処理装置１０６の各部の動作を統括的に制御する。ＲＯＭ５０２は、ＣＰＵ５０１が実行するプログラムや、プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ５０３は、ＣＰＵ５０１がプログラムを展開するための作業領域と、演算処理中に生成されるデータを一時的に記憶するための記憶領域を有する。

ＨＤＤ５０５は、図８を参照して後述する傷病特性テーブルのデータ、傷病検出のための推論用データ、既知の器具や背景を検出するためのパターンマッチング用データ等を記憶している。また、ＨＤＤ５０５は、必要に応じて、画像処理装置１０６で生成される画像データ等を保存する。

入力装置５０６は、画像処理装置１０６の各種設定やプログラムの実行に際して必要とされる情報の受け付けに利用されるキーボードやマウス、タッチパネル等である。ディスプレイ５０４は、各種情報を表示する。通信Ｉ／Ｆ５０７は、外部機器（本実施形態では、管理システム１００Ａ）と画像処理装置１０６との間の双方向通信を可能とするインタフェースである。ＣＰＵ５０１は、通信Ｉ／Ｆ５０７を介して外部機器から送信されてきた指示に従って、ＲＡＭ５０３やＨＤＤ５０５へのデータの書き込みやＲＡＭ５０３やＨＤＤ５０５からのデータ読み出しを行う。

図６は、画像処理装置１０６において実行される、ＲＡＷ画像を現像する処理のフローチャートである。本フローチャートにＳ番号で示される各処理（ステップ）は、ＣＰＵ５０１がＲＯＭ５０２に記憶されたプログラムをＲＡＭ５０３に展開し、所定の演算処理を行うと共に画像処理装置１０６の各部を統括的に制御することにより実現される。

なお、現像処理とは、ＲＡＷ画像を人が目で見る被写体と似た出力とする処理を指し、以下に説明するＳ６０４～Ｓ６１１がＲＡＷ画像に対する実質的な現像処理であり、Ｓ６０１～Ｓ６０３は現像処理のための前処理である。なお、撮像装置１０１の画像処理部２１１は、Ｓ３０２においてＳ６０４～Ｓ６１１を実行する。

Ｓ６０１でＣＰＵ５０１は、現像処理の対象とするＲＡＷ画像を格納した患部画像ファイルを画像管理端末１０５を介して画像情報ＤＢ１１０から取得して、ＨＤＤ５０５に格納すると共に、患部画像ファイルからＲＡＷ画像を読み出してＲＡＭ５０３に記憶する。

Ｓ６０２でＣＰＵ５０１は、Ｓ６０１で取得した患部画像ファイルの属性情報領域に格納されている属性情報を読み出して、ＲＡＭ５０３に記憶する。

Ｓ６０３でＣＰＵ５０１は、患部画像ファイルにおいてＲＡＷ画像は可逆圧縮されているため、Ｓ６０２で読み込んだ属性情報に基づいてＲＡＷ画像を解凍する。

Ｓ６０４でＣＰＵ５０１は、ＲＡＷ画像の各画素に対して、輝度値から基礎電荷の値を差し引く。以下、基礎電荷の値を「ＯＢ値」と記す。ＯＢ値は、受光していない領域にも輝度値として記録される電荷の値であり、ＲＧＢのカラーフィルタに対応するＯＢ値が患部画像ファイルの属性情報領域に記憶されているものとする。

Ｓ６０５でＣＰＵ５０１は、ホワイトバランス処理（以下「ＷＢ処理」と記す）を行うためのホワイトバランス係数（以下「ＷＢ係数」と記す）を属性情報から取得する。ＷＢ係数とは、所定の色のバランスを整えるために各色の画素に対して掛け合わせる数値である。なお、ＷＢ処理とは、本来、無彩色の被写体像が無彩色の出力となるように全体的な色のバランスを調整する処理である。しかし、本実施形態でのＷＢ処理は、色の全体的なバランスを整える処理であり、必ずしも無彩色の被写体が無彩色にならなくともよいものとする。

撮像装置１０１がオートホワイトバランス（以下「ＡＷＢ」と記す）に設定されている場合、撮像装置１０１は、光源の種類に応じて光源色温度を想定してＷＢ係数を演算し、得られたＷＢ係数を患部画像ファイルの属性情報領域に記憶する。光源の種類には、蛍光灯や白熱灯、ストロボ発光等がある。また、撮像装置１０１は、ＲＧＢの各画素についてＯＢ値を差し引いた後に被写体像を構成する画素の平均値を演算した場合に各画素の平均値が無彩色を示すという原理を利用してＡＷＢを行っているものとする。Ｓ６０１で画像処理装置１０６が取得した患部画像ファイルは、ＡＷＢが設定された撮像装置１０１により生成されたものとする。よって、Ｓ６０５で取得されるＷＢ係数は、ＡＷＢの機能により求められた値となる。

ＲＡＷ画像におけるＲＧＢ全色の輝度値ｔｇｔＮｏｎＣｏｌは、ＯＢ値を差し引いた後のＲ信号の平均値ａｖｅＲ、Ｇ１信号の平均値ａｖｅＧ１、Ｇ２信号の平均値ａｖｅＧ２、Ｂ信号の平均値ａｖｅを用いて、下記式１により求められる。また、ＲＧＢそれぞれのＷＢ係数（ｗｂＲｃｏｅｆ，ｗｂＧ１ｃｏｅｆ，ｗｂＧ２ｃｏｅｆ，ｗｂＢｃｏｅｆ）は下記式２～５で求められる。

Ｓ６０６でＣＰＵ５０１は、ＲＡＷ画像のすべての画素に対して、Ｓ６０５で取得したＲＧＢの各色のＷＢ係数を乗算する。ＲＧＢの各色の入力値をｉｎＲ，ｉｎＧ１，ｉｎＧ２，ｉｎＢとした場合のＷＢ処理によるＲＧＢの各色の出力値ｏｕｔＲ，ｏｕｔＧ１，ｏｕｔＧ２，ｏｕｔＢは下記式６～９により求められる。

なお、上記のＳ６０５～Ｓ６０６の説明は、ＲＡＷ画像の属性情報のみに基づいたＷＢ処理についてのものであり、例えば、初診時に生成された患部画像ファイルのＲＡＷ画像に対するＷＢ処理に関するものである。後述するように、撮影日時の異なる（例えば、再診時に生成された）患部画像ファイルに含まれるＲＡＷ画像のＷＢ処理を行う際には、ＷＢ係数に代えて、色・輝度補正係数が用いられる。色・輝度補正係数は、ＲＡＷ画像の属性情報に加えて、比較領域を考慮した色・輝度補正を伴うＷＢ処理を行うための係数である。比較領域とは、時系列的に撮影日の異なる少なくとも２つの患部画像で色及び輝度を合わせるように患部画像の色・輝度補正処理を行う際の基準となる領域を指す。

Ｓ６０７でＣＰＵ５０１は、Ｓ６０６でのＷＢ処理後のすべての画素に対して補間処理を行う。本処理は、固体撮像素子に対して設けられたカラーフィルタが図２（ｂ）を参照して説明したように格子状になっている場合に必要な処理であるが、積層センサの場合においてＲＧＢの各色に対応する値が各画素に存在する場合には不要な処理となる。各画素にＲ，Ｇ１，Ｇ２，Ｂのいずれか１色の値しか記録されていない場合には、周囲の画素の不足する色信号の平均値をその画素の値とする。

Ｓ６０８でＣＰＵ５０１は、Ｓ６０７での補間処理後の画像の輝度調整処理を行う。ここでの輝度調整処理は、平均の輝度値が予め定められた目標輝度になるように輝度係数を乗算する処理である。

Ｓ６０９でＣＰＵ５０１は、Ｓ６０８での輝度調整処理後の画像に対して色調整処理を行う。ここでの色調整処理は、固体撮像素子の特性に合わせた色変換マトリックスを乗算する処理である。

Ｓ６１０でＣＰＵ５０１は、Ｓ６０９での色調整処理後の画像に対してエッジ強調処理（シャープネス処理）を行う。ここでのエッジ強調処理は、ハイパスフィルタを掛ける処理である。

Ｓ６１１でＣＰＵ５０１は、Ｓ６１０のエッジ強調処理後の画像のトーンカーブ処理を行う。ここでのトーンカーブ処理は、人間の知覚特性に合わせて、出力時の輝度の階調における低輝度及び中間輝度の分布領域を増加させる一方で、高輝度部の分布領域を減少させる処理である。

ここまでの一連の処理により生成された画像を、Ｓ６０５～Ｓ６０６で用いられるＷＢ係数が色・輝度補正係数に変更されて色・輝度補正処理を伴うＷＢ処理が行われた場合を考慮し、また、カメラ内現像画像と区別するために、「補正済み現像画像」と称呼する。補正済み現像画像は、例えば、ＪＰＧ形式等で生成される。

Ｓ６１２でＣＰＵ５０１は、補正済み現像画像をディスプレイ５０４へ出力して表示する。また、ＣＰＵ５０１は、補正済み現像画像を、元となっている患部画像ファイルと関連付けて画像管理端末１０５へ送信して、本処理を終了させる。画像管理端末１０５は、画像処理装置１０６から受信した補正済み現像画像を画像情報ＤＢ１１０に記憶する。

図７は、画像処理装置１０６において実行される、患部画像の比較領域を決定する処理のフローチャートである。本フローチャートにＳ番号で示される各処理（ステップ）は、ＣＰＵ５０１がＲＯＭ５０２に記憶されたプログラムをＲＡＭ５０３に展開して、所定の演算処理を行うと共に画像処理装置１０６の各部を統括的に制御することにより実現される。

Ｓ７０１でＣＰＵ５０１は、処理対象となっている患部画像ファイルを画像管理端末１０５を介して画像管理ＤＢ１１０から取得し、患部画像ファイルに含まれるカメラ内現像画像をＲＡＭ５０３に記憶する。また、Ｓ７０１でＣＰＵ５０１は、取得した患部画像ファイルに関連付けられた検査情報を電子カルテ管理端末１０４を介して検査情報ＤＢ１０８から取得し、ＲＡＭ５０３に記憶する。前述したように、検査情報には、患者情報、検査目的となる傷病、検査部位及び検査場所に関する情報が含まれる。

Ｓ７０２でＣＰＵ５０１は、検査目的となる傷病に関して、Ｓ７０１で取得した検査情報に基づき、傷病特性テーブルを用いて、既知の器具と背景に関する情報を取得する。ここで、傷病特性テーブルについて説明する。

図８は、傷病特性テーブル８００の一例を示す図である。傷病特性テーブル８００は、ＨＤＤ５０５に記憶されており、Ｓ７０２の処理を実行に先だってＲＡＭ５０３へ読み込まれる。傷病特性テーブル８００は、傷病列８０１、部位依存列８０２、部位ごとの発症確率列８０３、傷病移動拡縮列８０４、閾距離列８０５、器具・背景列８０６及び器具・背景データ列８０７から構成されている。

傷病列８０１には、検査目的となる傷病や観察対象が示されている。部位依存列８０２には、体の部位によって傷病の発症確率が変わるか否かが示されている。部位ごとの発症確率列８０３には、体の部位によって傷病の発症確率が変わる場合に部位ごとの発症確率が示されている。なお、本実施形態では、発症確率が著しく低い部位については、発症確率は保持されないものとする。傷病移動拡縮列８０４には、傷病の範囲が移動したり拡縮したりするか否かが示されている。閾距離列８０５には、傷病の範囲が移動したり拡縮したりする場合に後述する比較領域を傷病領域からどの程度離すかが規定されており、傷病の特性に応じて値は異なる。器具・背景列８０６には、既知の器具や背景の有無が示されている。器具・背景データ列８０７には、既知の器具や背景を検出するためのデータが保持されている。

例えば、Ｓ７０２では、ＣＰＵ５０１は傷病特性テーブル８００内の該当する傷病の情報に対応する器具・背景列８０６の値が「有」か「無」かを確認する。そして、器具・背景列８０６の値が「有」である場合にＣＰＵ５０１は、器具・背景データ列８０７から対応するデータを取得する。また、ＣＰＵ５０１は、器具・背景データ列８０７のデータを用いて一般的なパターンマッチング処理を行うことにより、カメラ内現像画像から器具の検出を試みる。また、ＣＰＵ５０１は、患部画像の測距値と器具・背景データ列８０７を用いて、中央の被写体とは異なり、且つ、固定撮像素子の受光面から遠い距離にある平坦な領域を背景として検出する。なお、測距値とは、撮像装置１０１の固体撮像素子の撮像面から被写体（患部１０７を含む撮像領域）までの距離であり、患部画像の全画素についてカメラ内現像画像を内包する患部画像ファイルの属性情報領域に記憶されている。

図７のフローチャートの説明に戻る。Ｓ７０３でＣＰＵ５０１は、Ｓ７０２で既知の背景や器具が検出されたか否かを判定する。ＣＰＵ５０１は、既知の背景及び／又は器具が検出されたと判定した場合（Ｓ７０３でＹＥＳ）、検出された背景及び／又は器具を比較領域としてＲＡＭ５０３に記憶した後、Ｓ７１１の処理を実行する。一方、ＣＰＵ５０１は、既知の背景及び／又は器具が検出されなかったと判定した場合（Ｓ７０３でＮＯ）、Ｓ７０４の処理を実行する。

Ｓ７０４でＣＰＵ５０１は、検査目的に含まれている傷病に関して機械学習で推論を行い、傷病領域を検出する。

Ｓ７０５でＣＰＵ５０１は、傷病領域外であり、且つ、測距値が傷病領域から所定の閾値（以下「測距閾値」という）以下の領域を、正常な組織領域として検出する。本実施形態では、測距閾値を±２０ｍｍとする。例えば、傷病領域に対応する画素の測距値が５００ｍｍ～５１０ｍｍに分布している場合、測距値が４８０ｍｍ～５３０ｍｍの範囲内で傷病領域ではない領域が正常な組織領域として検出される。

Ｓ７０６でＣＰＵ５０１は、正常な組織領域の面積が所定の閾値（以下「広さ閾値」という）以上か否かを判定する。本実施形態では、広さ閾値を画像面積の１０％とする。ＣＰＵ５０１は、正常な組織領域の面積が広さ閾値以上であると判定した場合（Ｓ７０６でＹＥＳ）、Ｓ７０７の処理を実行し、正常な組織領域の面積は広さ閾値未満であると判定した場合（Ｓ７０６でＮＯ）、Ｓ７１０の処理を実行する。

Ｓ７０７でＣＰＵ５０１は、傷病特性テーブル８００の閾距離列８０５から該当する傷病の情報に対応する閾距離を取得し、更に傷病領域から閾距離以上離れている正常な組織領域を検出する。

Ｓ７０８でＣＰＵ５０１は、Ｓ７０７で検出した正常な組織領域の部位を推定する。本実施形態では、正常な組織領域の部位は機械学習で推定されるものとする。

Ｓ７０９でＣＰＵ５０１は、傷病特性テーブル８００の部位ごとの発症確率列８０３を参照し、Ｓ７０８で検出した正常な組織領域の部位の発症確率が所定の閾値（以下「発症閾値」という）未満か否かを判定する。本実施形態では、Ｓ７０９で用いる発症閾値を５０％とする。ＣＰＵ５０１は、発症確率が発症閾値未満であると判定した場合（Ｓ７０９でＹＥＳ）、Ｓ７０７で検出した正常な組織領域を比較領域に決定し、比較領域の情報をＲＡＭ５０３に記憶した後、Ｓ７１１の処理を実行する。一方、ＣＰＵ５０１は、発症確率が発症閾値以上であると判定した場合（Ｓ７０９でＮＯ）、Ｓ７０７で検出した正常な組織領域は比較領域としては適切ではないと判断して、Ｓ７１０の処理を実行する。

Ｓ７１０でＣＰＵ５０１は、ユーザ操作に従って比較領域を決定し、その後、Ｓ７１１の処理を実行する。ユーザ操作とは、画像処理装置１０６のユーザが、マウスやタッチパネル等の入力装置５０６を用いて、ディスプレイ５０４に表示されている画像上で比較領域を指定する操作である。例えば、ディスプレイ５０４に後述する図１０のＵＩ画面１０００が表示され、ユーザが比較領域の決定対象となっている画像に対して比較領域１００７ａ（又は１００８ａ）を設定する。ＣＰＵ５０１は、ユーザ操作により指定された領域の情報を比較領域の情報としてＲＡＭ５０３に記憶する。

Ｓ７１１でＣＰＵ５０１は、比較領域の決定方法に応じて、比較領域に経時的に変化が生じる可能性の評価値（以下では適宜「評価値」と略記する）を決定する。本実施形態では、評価値は必ず変化しない場合を「０（ゼロ）」とし、必ず変化する場合を「１００」とし、評価値が５０未満の場合には経時的に変化が生じる可能性は低いものとする。評価値は、比較領域の決定方法に応じて予め定められており、ＨＤＤ５０５から読み出されてＲＡＭ５０３に記憶されているものとする。本実施形態では、評価値は、Ｓ７０３で既知の背景又は器具が検出された場合に「１０」、Ｓ７０９で部位の発症確率が発症閾値未満と判定された場合に「２０」、Ｓ７１０において選択された場合に「３０」とされるものとする。

Ｓ７１２でＣＰＵ５０１は、比較領域の種別と評価値を比較領域決定情報とし、比較領域の座標を比較領域座標情報とし、比較領域決定情報と比較領域座標情報を纏めた比較領域情報を生成する。また、Ｓ７１２でＣＰＵ５０１は、生成した比較領域情報を対応する患部画像ファイルに関連付けて、画像管理端末１０５へ送信し、本処理を終了させる。なお、比較領域の種別は、既知の背景又は器具、正常な組織、ユーザ指定のいずれかである。画像管理端末１０５は、画像処理装置１０６から受信した比較領域情報を対応する患部画像ファイルに関連付けて画像情報ＤＢ１１０に記憶する。

図９は、画像処理装置１０６で実行される、色・輝度補正処理のフローチャートである。本フローチャートにＳ番号で示される各処理（ステップ）は、ＣＰＵ５０１がＲＯＭ５０２に記憶されたプログラムをＲＡＭ５０３に展開して、所定の演算処理を行うと共に画像処理装置１０６の各部を統括的に制御することにより実現される。

なお、Ｓ９０１の処理開始前に、ＣＰＵ５０１は、ユーザ（例えば医師）の操作に応じて、所定の患者ＩＤに関連付けられて画像管理ＤＢ１１０に記憶されているすべての患部画像ファイルからサムネイルを取得してＲＡＭ５０３に記憶しているものとする。

Ｓ９０１でＣＰＵ５０１は、色・輝度補正対象となるＲＡＷ画像を含む患部画像ファイルを画像管理端末１０５を介して画像情報ＤＢ１１０から取得してＨＤＤ５０５に記憶する。また、ＣＰＵ５０１は、取得した患部画像ファイルからカメラ内現像画像とＲＡＷ画像を読み出してＲＡＭ５０３に記憶する。これは、本フローチャートに従う処理では、ＲＡＷ画像に対して色・輝度補正処理を行うが、処理対象の患部画像の比較領域を検出するまでの処理はカメラ内現像画像を用いて行われるためである。以下の説明では、色・輝度補正処理の対象となるＲＡＷ画像を「補正対象画像」と称呼する。

Ｓ９０２でＣＰＵ５０１は、Ｓ９０１で取得した患部画像ファイルに関連付けられた検査情報を、電子カルテ管理端末１０４を介して検査情報ＤＢ１０８から取得し、ＲＡＭ５０３に記憶する。なお、Ｓ９０１とＳ９０２では、必然的に同一の患者ＩＤに関連付けられた患部画像ファイルと検査情報が取得される。

Ｓ９０３でＣＰＵ５０１は、Ｓ９０２で取得した検査情報に基づき、同一検査目的で同一の患部部位の過去の患部画像ファイルを画像管理端末１０５を介して画像情報ＤＢ１１０から取得してＨＤＤ５０５に記憶する。そして、ＣＰＵ５０１は、過去の患部画像ファイルからカメラ内現像画像と属性情報を読み出してＲＡＭ５０３に記憶する。過去の患部画像ファイルから読み出したカメラ内現像画像は、補正対象画像の色・輝度を調整する際の基準となる画像であり、以下の説明では「基準画像」と称呼する。

Ｓ９０４でＣＰＵ５０１は、基準画像に関連付けられた比較領域情報があるか否かを判定する。具体的には、ＣＰＵ５０１は、基準画像に関連付けられた比較領域情報の画像処理装置１０６への送信を画像管理端末１０５へ要求する。その結果、画像管理端末１０５が該当する比較領域情報を発見し、発見された比較領域情報が画像処理装置１０６へ送信された場合に、ＣＰＵ５０１は比較領域情報があると判定する。一方、画像管理端末１０５は、該当する比較領域情報を発見することができずにその旨を画像処理装置１０６へ通知した場合、ＣＰＵ５０１は比較領域情報がないと判定する。ＣＰＵ５０１は、比較領域情報がないと判定した場合（Ｓ９０４でＮＯ）、Ｓ９０５の処理を実行し、比較領域情報があると判定した場合（Ｓ９０４でＹＥＳ）、画像管理端末１０５から取得した比較領域情報をＲＡＭ５０３に記憶した後、Ｓ９０６の処理を実行する。

Ｓ９０５でＣＰＵ５０１は、図７のフローチャートの比較領域決定方法を用いて、基準画像の比較領域及び比較領域情報を決定し、その後、Ｓ９０６の処理を実行する。

Ｓ９０６でＣＰＵ５０１は、Ｓ９０４で取得した比較領域情報又はＳ９０５において決定した比較領域情報を用いて、補正対象画像に対応するカメラ内現像画像の比較領域を検出する。なお、補正対象画像に対応するカメラ内現像画像の比較領域は、基準画像での比較領域の検出方法と同じ方法で行われる。つまり、補正対象画像に対応するカメラ内現像画像の比較領域は、基準画像の比較領域が既知の背景・器具であればＳ７０２の処理に従って検出され、基準画像における比較領域が正常な組織領域であればＳ７０４～Ｓ７０９の処理に従って検出される。また、補正対象画像に対応するカメラ内現像画像の比較領域は、基準画像における比較領域がユーザ指定による領域であればＳ７１０の処理に従って検出される。

Ｓ９０７でＣＰＵ５０１は、補正対象画像に対応するカメラ内現像画像についてＳ９０６で比較領域が決定されたか否かを判定する。ＣＰＵ５０１は、補正対象画像に対応するカメラ内現像画像の比較領域が決定されたと判定した場合（Ｓ９０７でＹＥＳ）、Ｓ９０８の処理を実行する。

Ｓ９０８でＣＰＵ５０１は、補正対象画像の色・輝度補正処理を伴う現像処理に用いる色・輝度補正係数を演算する。具体的には、基準画像に対応するＲＡＷ画像での比較領域でのＲＧＢの各色の画素の輝度平均値をそれぞれｂＲ，ｂＧ１，ｂＧ２，ｂＢとする。また、基準画像に対応するＲＡＷ画像を図３のフローチャートに従ってＷＢ処理した際に用いたＲＧＢの各色のＷＢ係数をそれぞれｂＷｂＲ，ｂＷｂＧ１，ｂＷｂＧ２，ｂＷｂＢとする。そして、補正対象画像の比較領域でのＲＧＢの各色の画素の輝度平均値をそれぞれｔＲ，ｔＧ１，ｔＧ２，ｔＢとする。この場合、補正対象画像に対して色・輝度補正処理を伴う現像処理を行う際に用いるＲＧＢの各色の色・輝度補正係数ｔＷｂＲ，ｔＷｂＧ１，ｔＷｂＧ２，ｔＷｂＢは、下記式１０－１３により求められる。

Ｓ９０９でＣＰＵ５０１は、補正対象画像に対して図６のフローチャートに示される一連の処理を行う。その際のＳ６０６ではＳ９０８の演算により得られた色・輝度補正係数（ｔＷｂＲ，ｔＷｂＧ１，ｔＷｂＧ２，ｔＷｂＢ）をＷＢ係数に代えて用いる。これにより、補正対象画像に対して色・輝度補正処理を伴う現像処理が行われ、補正済み現像画像が生成される。

ＣＰＵ５０１は、Ｓ９０７で補正対象画像に対応するカメラ内現像画像の比較領域を決定することができなかったと判定した場合（Ｓ９０７でＮＯ）、Ｓ９１０の処理を実行する。Ｓ９１０でＣＰＵ５０１は、補正対象画像に対応するカメラ内現像画像の比較領域が決定されなかったことを示す警告をディスプレイ５０４に表示する。Ｓ９１０又はＳ９１１の処理が実行されると、本処理は終了する。

次に、画像処理装置１０６のＵＩ（ユーザインタフェース）について説明する。図１０は、画像処理装置１０６のディスプレイ５０４に表示されるＵＩ画面１０００の一例を示す図である。画像処理装置１０６の入力装置５０６としては、例えば、マウスが用いられる。

ＵＩ画面１０００は、検索エディットボックス１００１、検索ボタン１００２、比較領域選択ボタン１００３及び色・輝度補正ボタン１００４を含む。また、ＵＩ画面１０００は、患者情報表示領域１００５、画像表示領域１００６、検査日時１００９，検査日時１０１０、終了ボタン１０１１及びサムネイル表示領域１０１２を含む。

検索エディットボックス１００１は、患者ＩＤや検査日時の入力を受け付ける。検索エディットボックス１００１に所定の検索条件が入力された状態でユーザが検索ボタン１００２をマウスで左クリックすると、ＣＰＵ５０１はユーザから検索指示があったと判断し、検索条件を電子カルテ管理端末１０４と画像管理端末１０５へ送信する。検索条件に合致する情報を電子カルテ管理端末１０４は検査情報ＤＢ１０８から、画像管理端末１０５は画像情報ＤＢ１１０からそれぞれ取得して、画像処理装置１０６へ送信する。

ＵＩ画面１０００のサムネイル表示領域１０１２には、サムネイル１０１５～１０２１が表示されている。ここでは、説明を簡易化するため、患者ＩＤによる検索が行われた結果として、同患者ＩＤに関連付けられたすべての患部画像ファイルのサムネイルが画像処理装置１０６へ送信されてＨＤＤ５０５に保存されると共にＲＡＭ５０３に記憶されたものとする。これにより、ＲＡＭ５０３に記憶されたすべてのサムネイルがサムネイル表示領域１０１２に表示された状態となる。

ユーザがサムネイル表示領域１０１２内の所定のサムネイルをマウスの左クリックで押下すると、ＣＰＵ５０１は補正対象画像が指定されたと判断する。ＣＰＵ５０１は、押下されたサムネイルに対応する患部画像ファイルを、画像管理端末１０５を介して画像管理ＤＢ１１０から取得し、ＨＤＤ５０５に記憶する。また、ＣＰＵ５０１は、取得した患部画像ファイルからカメラ内現像画像を読み出してＲＡＭ５０３に記憶すると共に画像表示領域１００６の右側に表示する。また、ＣＰＵ５０１は、取得した患部画像ファイルに関連付けられた検査情報を、電子カルテ管理端末１０４を介して検査情報ＤＢ１０８から取得し、ＨＤＤ５０５に記憶すると共にＲＡＭ５０３に記憶する。

更に、ＣＰＵ５０１は、補正対象画像と同じ部位について過去に撮影された患部画像ファイルを、画像管理端末１０５を介して画像管理ＤＢ１１０から取得し、ＨＤＤ５０５に記憶する。ＣＰＵ５０１は、取得した患部画像ファイルからカメラ内現像画像（＝基準画像）を読み出してＲＡＭ５０３に記憶すると共に画像表示領域１００６の左側に表示する。そして、ＣＰＵ５０１は、補正対象画像に対応するサムネイルに補正対象画像枠１０１４を表示し、基準画像に対応するサムネイルに基準画像枠１０１３を表示する。図１０では、基準画像枠１０１３は破線枠で表され、補正対象画像枠１０１４は太実線で表されている。

検査日時１００９は基準画像に係る患部画像の撮影日時であり、検査日時１０１０は補正対象画像に係る患部画像の撮影日時である。検査日時１０１０は基準画像に係る患部画像ファイルに関連付けられた検査情報から取得され、検査日時１０１０は補正対象画像に係る患部画像ファイルに関連付けられた検査情報から取得される。患者情報表示領域１００５には、補正対象画像と基準画像に共通する患者情報と検査目的が表示される。

終了ボタン１０１１は、画像処理装置１０６での画像処理を終了させるための操作手段である。ユーザがマウスの左クリックで終了ボタン１０１１を押下すると、ＣＰＵ５０１は一連の処理の終了指示があったものと判断し、画像処理装置１０６での処理を終了させる。

次に、一例として、ユーザ操作による比較領域の決定方法（Ｓ７１０）を用いて、Ｓ９０５とＳ９０６で基準画像と補正対象画像に対応するカメラ内現像画像のそれぞれについて比較領域を決定する方法について説明する。画像表示領域１００６には、左側に基準画像１００７が表示され、右側に補正対象画像に対応するカメラ内現像画像１００８が表示されているものとする。

図７のフローチャートに従う処理においてＳ７０６又はＳ７０９での判定条件が‘ＮＯ’となる場合に、ユーザ操作による比較領域の指定が必要となる。Ｓ７１０のユーザ操作による比較領域の指定処理を可能とするために、ＣＰＵ５０１は、比較領域選択ボタン１００３を‘Ｅｎａｂｌｅ’にして、ユーザに比較領域の選択操作を促す。これに応じてユーザが比較領域選択ボタン１００３をマウスの左クリックにて押下すると、ＣＰＵ５０１はユーザから比較領域の選択を指示されたものと判断し、ユーザによるマウスのドラッグ操作で画像上に比較領域を描画することが可能になる。図１０には、基準画像１００７の比較領域１００７ａと、補正対象画像に対応するカメラ内現像画像１００８の比較領域１００８ａが図示の通りに決定された状態が示されている。

基準画像と補正対象画像に対応するカメラ内現像画像のそれぞれで比較領域が決定されると、ＣＰＵ５０１は補正対象画像に適用する色・輝度補正係数の演算処理（Ｓ９０８）と補正対象画像の現像処理（Ｓ９０９）を行うことができる。ユーザがマウスの左クリックにて色・輝度補正ボタン１００４を押下すると、ＣＰＵ５０１は補正対象画像に対して、図６のフローチャートに従う現像処理を行い、その際、Ｓ９０８で求めた色・輝度補正係数をＳ６０６で用いる。こうして、補正対象画像に対する色・輝度補正処理が完了すると、画像表示領域１００６において、補正対象画像に対応するカメラ内現像画像は、色・輝度補正処理を伴う現像処理が施された補正済み現像画像に差替表示される。

なお、基準画像に対応する補正済み現像画像が生成されている場合には、基準画像も対応する補正済み現像画像に差替表示される。基準画像に対応する補正済み現像画像が生成されていない場合には、基準画像に対応するＲＡＷ画像に対して図６のフローチャートに従う現像処理が行われ、基準画像に代えて、生成された補正済み現像画像が表示される。これにより、基準画像と補正対象画像のそれぞれに対応する補正済み現像画像で患部を比較することが可能となり、患部の比較を正確に行うことが可能となる。

なお、基準画像についてＳ９０４で基準画像に関連付けられた比較領域情報があると判定された場合（Ｓ９０５の処理がスキップされる場合）、その比較領域情報が有する比較領域の座標情報に基づいて、基準画像に比較領域が描画される。例えば、比較領域情報が、基準画像の比較領域がＳ７１０のユーザ操作によることを示している場合、ＣＰＵ５０１は比較領域選択ボタン１００３をＥｎａｂｌｅにして、補正対象画像に対応するカメラ内現像画像に対する比較領域の指定操作をユーザに促す。また、比較領域情報が、基準画像における比較領域がＳ７１０の操作以外の方法で決定されたことを示している場合、補正対象画像の比較領域は、基準画像での比較領域の決定方法と同じ方法で決定され、補正対象画像に対応するカメラ内現像画像に表示される。

次に、傷病ごとの比較領域の決定方法と色・輝度補正方法の具体例について説明する。なお、ユーザ操作に応じて、所定の患者ＩＤに関連付けられたすべての患者画像ファイルに含まれるサムネイルが画像管理ＤＢ１１０から画像処理装置１０６へ送信されてＲＡＭ５０３に記憶され、サムネイル表示領域１０１２に表示されているものとする。

最初に、検査目的となる傷病がアトピー性皮膚炎である場合について説明する。ユーザ（例えば、医師）が、サムネイル表示領域１０１２に表示されているサムネイルの中から補正対象画像のサムネイルとしてサムネイル１０１５を選択したものとする。

Ｓ９０１でＣＰＵ５０１は、サムネイル１０１５に対応する患部画像ファイルを画像管理端末１０５を介して画像管理ＤＢ１１０から取得してＨＤＤ５０５に記憶し、補正対象画像とこれ対応するカメラ内現像画像をＲＡＭ５０３に記憶する。これにより、カメラ内現像画像が画像表示領域１００６の右側に表示され、サムネイル１０１５に補正対象画像枠が付された状態となる。なお、補正対象画像については、図６及び図７の各フローチャートに従う現像処理及び比較領域の検出処理は行われていないものとする。

Ｓ９０２でＣＰＵ５０１は、補正対象画像に関連付けられた検査情報を電子カルテ管理端末１０４を介して検査情報ＤＢ１０８から取得し、ＲＡＭ５０３に記憶する。補正対象画像に関連付けられた検査情報は、患者ＩＤは００１、検査目的はアトピー性皮膚炎、検査日時は２０２２／０５／３０、検査部位は胸、検査場所は診察室、であるものとする。

Ｓ９０３でＣＰＵ５０１は、Ｓ９０２で取得した検査情報に基づき、画像管理端末１０５及び電子カルテ管理端末１０４から、同一患者の同一検査目的及び同一部位の過去の検査日時の患部画像ファイルとこれに関連付けられた検査情報を取得する。ＣＰＵ５０１は、取得した患部画像ファイルと検査情報をＨＤＤ５０５に記憶し、患部画像ファイルからカメラ内現像画像を読み出してＲＡＭ５０３に記憶する。これにより、カメラ内現像画像（＝基準画像）が画像表示領域１００６の左側に表示され、対応するサムネイルに基準画像枠が付された状態となる。なお、図１０では、基準画像枠に対応するサムネイルは不図示となっている。例えば、サムネイル表示領域１０１２内の左矢印１０３１がマウスの左クリックで押下されると、表示されているサムネイルは右側へ移動し、サムネイル１０２１が見えなくなる代わりに、基準画像枠に対応するサムネイルが表示された状態となる。

Ｓ９０４でＣＰＵ５０１は、Ｓ９０３で取得した基準画像に関する比較領域情報がある否かを判定するが、ここでは、比較領域情報はなかったものとする。この場合、Ｓ９０５において、図７のフローチャートの比較領域の決定方法に従って、基準画像の比較領域が決定される。具体的には、Ｓ７０１では、基準画像に関連付けられた検査情報がＲＡＭ５０３に記憶される。但し、先のＳ９０３で記憶済みであれば、本処理は省略される。Ｓ７０２では、検査目的に含まれている傷病に関して、既存の器具・背景があるか否かの確認が行われる。傷病特性テーブル８００によれば、アトピー性皮膚炎に対応する器具・背景列８０６の値は「無」であるため、Ｓ７０３で既存の器具や背景は無しと判定され、Ｓ７０４へ処理が進められることになる。

Ｓ７０４でＣＰＵ５０１は、アトピー性皮膚炎に関して機械学習で推論を行い、傷病領域を検出する。Ｓ７０５でＣＰＵ５０１は、傷病領域外であり、且つ、測距値が傷病領域から測距閾値以下の領域を正常な組織領域として検出する。アトピー性皮膚炎の傷病領域の測距値が１０００ｍｍ～１０１０ｍｍであったとすると、測距閾値は前述の通りに２０ｍｍであるため、この場合には傷病領域外で測距値が９８０ｍｍ～１０３０ｍｍの領域が正常な組織領域として決定される。

Ｓ７０６でＣＰＵ５０１は、正常な組織領域が広さ閾値以上か否かを判定する。広さ閾値は前述の通りに画像面積の１０％であるため、画像の幅が１２８０ｐｉｘｅｌ、高さが９６０ｐｉｘｅｌである場合の広さ閾値は１２２８８０ｐｉｘｅｌとなる。ここでは、正常な組織領域の面積が１５００００ｐｉｘｅｌであったとする。この場合、広さ閾値以上の面積があるため、処理はＳ７０７へ進められる。

Ｓ７０７でＣＰＵ５０１は、傷病特性テーブル８００を参照して、アトピー性皮膚炎に対応する閾距離列８０５から閾距離を読み出す。アトピー性皮膚炎は、傷病の範囲に変化や移動が見られるため、閾距離は４０ｍｍとなっている。Ｓ７０７では更に、閾距離に基づいて傷病領域から４０ｍｍ以上離れている領域が正常な組織領域として検出される。

ここまでの処理による基準画像上の傷病領域と比較領域の一例について、図１１を参照して説明する。図１１は、基準画像における比較領域と傷病領域の検出例を示す図であり、検査目的がアトピー性皮膚炎、検査部位が胸、検査場所が院内撮影室である場合の基準画像１１０１の例である。

基準画像１１０１には、Ｓ７０４で検出された傷病領域１１０２，１１０３と、Ｓ７０７で検出された比較領域１１０４が示されている。アトピー性皮膚炎には、傷病の範囲に変化や移動が見られ、また、発症確率が部位によって異なるという特徴がある。これらの特徴に鑑み、比較領域１１０４は、傷病領域１１０３からの距離が破線で模式的に示す閾距離１１０５（＝４０ｍｍ）以上となるように検出されている。

Ｓ７０７で正常な組織領域が検出されると、Ｓ７０８でＣＰＵ５０１は、検出された正常な組織領域の部位を機械学習で推定する。ここでは、正常な組織部位として腹が検出されたものとする。Ｓ７０９でＣＰＵ５０１は、傷病特性テーブル８００を参照し、アトピー性皮膚炎に対応する部位ごとの発症確率列８０３から腹での発症確率を読み出す。傷病特性テーブル８００には腹での発症確率は記憶されておらず、このことは腹での発症確率が著しく小さいことを示しているため、発症閾値の５０％未満であると判定され、Ｓ７１１へ処理が進められることになる。

Ｓ７１１でＣＰＵ５０１は、比較領域の決定方法に応じて、経時的に変化が生じる可能性の評価値を決定する。比較領域は正常な組織領域であるため、評価値は‘２０’に決定される。Ｓ７１２でＣＰＵ５０１は、評価値及び正常な組織領域であることを比較領域決定情報として基準画像に関連付ける。また、基準画像上の比較領域の座標を比較領域座標情報として基準画像に関連付ける。比較領域決定情報と比較領域座標情報は、比較領域情報として纏められてＨＤＤ５０５に記憶されると共に、基準画像に関連付けられて画像管理端末１０５に送信される。画像管理端末１０５は、受信した比較領域情報を基準画像に関連付けて画像情報ＤＢ１１０に記憶する。

続いて、Ｓ９０６でＣＰＵ５０１は、基準画像の比較領域を決定した方法と同じ方法で（Ｓ７０４～Ｓ７０９，Ｓ７１１，Ｓ７１２の処理により）、補正対象画像に対応するカメラ内現像画像の比較領域を決定する。Ｓ９０７でＣＰＵ５０１は、Ｓ９０６で補正対象画像に対応するカメラ内現像画像の比較領域が検出されたか否かを判定する。ここでは、補正対象画像に対応するカメラ内現像画像の比較領域が検出され、その結果としてＳ９０８へ処理が進められたものとする。

Ｓ９０８でＣＰＵ５０１は、補正対象画像の現像処理に用いる色・輝度補正係数を演算する。基準画像の元のＲＡＷ画像における比較領域のＲＧＢの各画素の輝度平均値（ｂＲ，ｂＧ１，ｂＧ２，ｂＢ）はそれぞれ、ｂＲ＝１２０，ｂＧ１＝９０，ｂＧ２＝９５，ｂＢ＝６０、であるとする。また、基準画像の元のＲＡＷ画像のＷＢ処理時のＲＧＢの各色のＷＢ係数（ｂＷｂＲ，ｂＷｂＧ１，ｂＷｂＧ２，ｂＷｂＢ）はそれぞれ、ｂＷｂＲ＝０．５，ｂＷｂＧ１＝０．８，ｂＷｂＧ２＝０．７，ｂＷｂＢ＝０．６、であるとする。補正対象画像（ＲＡＷ画像）における比較領域のＲＧＢの各画素の輝度平均値（ｔＲ，ｔＧ１，ｔＧ２，ｔＢ）はそれぞれ、ｔＲ＝１００，ｔＧ１＝８０，ｔＧ２＝８５，ｔＢ＝７０、であるとする。この場合に、補正対象画像のＲＧＢの各色の色・輝度補正係数（ｔＷｂＲ，ｔＷｂＧ１，ｔＷｂＧ２，ｔＷｂＢ）は下記式１４～１７により求められる。

Ｓ９０９でＣＰＵ５０１は、補正対象画像に対して図６のフローチャートの一連の現像処理を行い、その際、Ｓ６０５に代えて実行されたＳ９０８にて求めた色・輝度補正係数をＳ６０６で用いる。

基準画像の元のＲＡＷ画像のＷＢ処理後のＲＧＢの各出力値（ｂＯｕｔＲ，ｂＯｕｔＧ１，ｂＯｕｔＧ２，ｂＯｕｔＢ）は下記式１８～２１により求められる。また、補正対象画像のＷＢ処理後のＲＧＢの各出力値（ｔＯｕｔＲ，ｔＯｕｔＧ１，ｔＯｕｔＧ２，ｔＯｕｔＢ）は下記式２２～２５により求められる。そして、式１８～２５により下記式２６－２９の関係が得られる。補正対象画像について、ＷＢ処理後に更にＳ６０７～Ｓ６１１の処理を、基準画像の元のＲＡＷ画像を現像した際の条件と同じ条件で行うことにより、補正対象画像を基準画像と同じ色・輝度となるように補正した補正済み現像画像を得ることができる。

次に、検査目的となる傷病が怪我である場合について説明する。ここでは、アトピー性皮膚炎の場合と異なる点のみを抜粋して説明する。

Ｓ７０７でＣＰＵ５０１は、傷病特性テーブル８００を参照し、怪我に対応する閾距離列８０５から閾距離を取得する。怪我は、広がったり移動したりはしない特性を有する傷病であるため、閾距離は１０ｍｍに設定されている。ＣＰＵ５０１は、傷病領域から閾距離以上離れている正常な組織領域を検出する。

図１２は、基準画像における比較領域と傷病領域の別の検出例を示す図であり、検査目的が怪我、検査部位が左脚、検査場所は院内撮影室の場合の基準画像１２０１の例である。傷病領域１２０２はＳ７０４で検出され、比較領域１２０３，１２０４はＳ７０７で検出されたものとする。比較領域１２０３，１２０４は、傷病領域１２０２からの距離が破線で模式的に示す閾距離１２０５（＝１０ｍｍ）以上となるように検出されている。

Ｓ７０８でＣＰＵ５０１は、Ｓ７０７で検出した正常な組織領域の部位を機械学習で推定する。正常な組織領域は、図１２の比較領域１２０３，１２０４のように複数の比較領域が検出された場合には、各比較領域について推定される。ここでは、正常な組織領域の部位として、怪我のある左脚が検出されている。

Ｓ７０９でＣＰＵ５０１は、傷病特性テーブル８００を参照し、怪我に対応する部位ごとの発症確率列８０３から左脚の発症確率を参照する。比較領域が複数の部位に跨がっている場合には、部位ごとにＳ７０９の判定が行われる。

怪我には、傷病の範囲が変化せず、また、発症確率が部位に依存しないという特徴がある。そのため、傷病特性テーブル８００には怪我について左脚の発症確率は記憶されておらず、このことは著しく発症確率が小さいことを示しているため、発症閾値の５０％未満であると判定され、Ｓ７１１へ処理が進められることになる。他の処理については、上述したアトピー性皮膚炎の例と同様であるため、説明を省略する。

次に、検査目的となる傷病が歯肉炎である場合について説明する。ここでも、アトピー性皮膚炎の場合と異なる点のみを抜粋して説明する。

歯肉炎には、既知の器具が被写体像の中に含まれることが多いという特徴がある。そこで、Ｓ７０２でＣＰＵ５０１は、基準画像内に器具・背景が存在するか否かを確認する。具体的には、傷病特性テーブル８００を参照して、歯肉炎に対応する器具・背景列８０６の値が「有」か「無」かが確認される。傷病特性テーブル８００の器具・背景列８０６において歯肉炎の行では「有」であるため、ＣＰＵ５０１は、この情報を取得すると共に器具を検出するためのデータを器具・背景データ列８０７から取得する。ここでは、口角鉤を検出するためのデータが取得され、口角鉤のデータに基づいてパターンマッチング処理で器具・背景が検出される。

Ｓ７０３でＣＰＵ５０１は、既知の背景や器具を検出することができたか否かを判定し、本例の場合には口角鉤を検出することができたか否かを判定する。口角鉤が検出された場合には、既知の背景又は器具が比較領域としてＲＡＭ５０３に記憶された後、Ｓ７１１へ処理が進められる。一方、既知の背景又は器具を検出することができなかった場合には、Ｓ７０４へ処理が進められる。ここでは、基準画像と補正対象画像のそれぞれで口角鉤が検出されたものする。よって、Ｓ７１１でＣＰＵ５０１は、比較領域の決定方法に応じて経時的に変化が生じる可能性の評価値を決定する。比較領域は既知の背景又は器具であるため、評価値は「１０」に決定される。その他の処理は、アトピー性皮膚炎の例と同様であるため、説明を省略する。

上記説明の通り、本実施形態では、補正対象画像に関連付けられた検査情報に基づいて、同一患者の同じ検査部位について過去に撮影されたカメラ内現像画像を基準画像として管理システム１００Ａから取得する。これにより、色・輝度調整を行うための適切な基準画像を取得することができる。また、ＲＡＷ画像に対してＷＢ処理を含む一連の現像処理を行う。そのため、基準画像の元のＲＡＷ画像と補正対象画像の各比較領域について非線形の画像処理を行う前の状態でＷＢや輝度を合わせることができ、色・輝度補正係数を非線形の画像処理前の各画素の値から演算することができる。その結果、環境光によって補正対象画像の色・輝度の状態が異なっていたとしても、精度よく補正して、画像上での患部の比較を正確に行うことが可能となる。

本実施形態では、傷病領域が特定された後、傷病領域外であり、且つ、測距値が傷病領域から所定の測距閾値以下の領域が正常な組織領域として検出され、更に正常な組織領域から比較領域が検出される。比較領域は、傷病領域から閾距離以上離れた部位であって、身体において傷病の発症しにくい部位から検出される。これにより、基準画像と補正対象画像に対応するカメラ内現像画像において、経時的に変化が生じる可能性の低い領域が比較領域として検出される。こうして、比較領域を基準として、基準画像の元のＲＡＷ画像と補正対象画像とで、色・輝度が揃うように現像を行うことが可能になる。

本実施形態によれば、傷病の範囲が変化したり移動したりしない場合には、傷病領域に近い領域を比較領域として検出することができる。その際、比較領域が複数あっても、領域ごと及び部位ごとの発症確率を参照することにより、経時的に変化が生じる可能性の低い領域を比較領域として検出することが可能となる。その結果、手足等の面積が限られた部位であっても、比較領域をできる限り広く検出し、比較領域を基準として、基準画像の元のＲＡＷ画像と補正対象画像とで、色・輝度が揃うように現像を行うことが可能になる。

また、本実施形態では、経時的に変化が生じる可能性の評価値を比較領域の決定方法に応じて決定し、評価値が所定値未満である比較領域、つまり、既知の器具や背景等の経時的に変化する可能性が小さい比較領域に基づいて色・輝度補正が行われる。これにより、患部の撮影時に色・輝度の基準試料を確実に撮影せずとも、同一患者の同一患部についての撮影日時の異なる画像同士の比較が行いやすくなる。

次に、同一部位に複数の傷病があり、且つ、検査情報に複数の傷病がある場合について説明する。図１３は、同一部位に複数の傷病がある場合に比較領域を決定する処理のフローチャートである。本フローチャートにＳ番号で示される各処理（ステップ）は、ＣＰＵ５０１がＲＯＭ５０２に記憶されたプログラムをＲＡＭ５０３に展開し、所定の演算処理を行うと共に画像処理装置１０６の各部を統括的に制御することにより実現される。なお、本フローチャートにおいて、図７のフローチャートにある処理と同じ処理については、同じＳ番号を付して、ここでの説明を省略する。

Ｓ７０１の処理後のＳ１３０１でＣＰＵ５０１は、検査情報から読み込んだ同じ部位に含まれる傷病数を、傷病ごとの繰り返し処理を終了するための終了条件判定に用いる変数ｓＭａｘに代入する。Ｓ１３０２でＣＰＵ５０１は、傷病ごとの繰り返し処理を行うためのカウンタｓＣｏｕｎｔに０（ゼロ）を代入する。Ｓ１３０３でＣＰＵ５０１は、経時的に変化が生じる可能性の評価値の最小値を記憶する変数ｓＭｉｎＥｖＶａｌｕｅに最大値である１００を代入する。

Ｓ１３０４でＣＰＵ５０１は、カウンタｓＣｏｕｎｔが変数ｓＭａｘよりも小さいか否かを判定する。ＣＰＵ５０１は、カウンタｓＣｏｕｎｔが変数ｓＭａｘよりも小さいと判定した場合（Ｓ１３０４でＹＥＳ）、処理対象の傷病の比較領域を検出する処理が完了していないものと判断して、Ｓ７０２の処理を実行する。なお、Ｓ７０２～Ｓ７０９，Ｓ７１１の処理は、図７のフローチャートのＳ７０２～Ｓ７０９，Ｓ７１１の処理と同じである。一方、ＣＰＵ５０１は、カウンタｓＣｏｕｎｔが変数ｓＭａｘ以上である場合（Ｓ１３０４でＮＯ）、処理対象の傷病の比較領域を検出する処理が完了したものと判断して、Ｓ１３１２の処理を実行する。

Ｓ７１１の処理後のＳ１３０５でＣＰＵ５０１は、処理対象の傷病に対して検出した比較領域の評価値を記憶する変数ｃＡｒｅａＥｖＶａｌｕｅ［ｓＣｏｕｎｔ］にＳ７１１で決定した評価値を代入する。

Ｓ１３０６でＣＰＵ５０１は、変数ｃＡｒｅａＥｖＶａｌｕｅ［ｓＣｏｕｎｔ］が評価値の最小値ｓＭｉｎＥｖＶａｌｕｅと同じ値であるか否かを判定する。ＣＰＵ５０１は、変数ｃＡｒｅａＥｖＶａｌｕｅ［ｓＣｏｕｎｔ］が最小値ｓＭｉｎＥｖＶａｌｕｅと同じ値ではないと判定した場合（Ｓ１３０６でＮＯ）、Ｓ１３０７の処理を実行する。

Ｓ１３０７でＣＰＵ５０１は、評価値ｃＡｒｅａＥｖＶａｌｕｅ［ｓＣｏｕｎｔ］が評価値の最小値ｓＭｉｎＥｖＶａｌｕｅより小さいか否かを判定する。ＣＰＵ５０１は、評価値ｃＡｒｅａＥｖＶａｌｕｅ［ｓＣｏｕｎｔ］が最小値ｓＭｉｎＥｖＶａｌｕｅより小さいと判定した場合（Ｓ１３０７でＹＥＳ）、Ｓ１３０８の処理を実行する。

処理がＳ１３０８へ進む場合にＣＰＵ５０１は、新たに検出した比較領域は既に保持されている比較領域よりも経時的に変化が生じる可能性が低いと判断している。そこで、Ｓ１３０８でＣＰＵ５０１は、評価値の最小値ｓＭｉｎＥｖＶａｌｕｅに評価値ｃＡｒｅａＥｖＶａｌｕｅ［ｓＣｏｕｎｔ］の値を代入する。続くＳ１３０９でＣＰＵ５０１は、新たに検出した比較領域を最も経時的に変化する可能性の低い比較領域としてＲＡＭ５０３に記憶し、その後、Ｓ１３１１の処理を実行する。

さて、ＣＰＵ５０１は、先のＳ１３０６で変数ｃＡｒｅａＥｖＶａｌｕｅ［ｓＣｏｕｎｔ］が最小値ｓＭｉｎＥｖＶａｌｕｅと同じ値であると判定した場合（Ｓ１３０６でＹＥＳ）、Ｓ１３１０の処理を実行する。Ｓ１３１０でＣＰＵ５０１は、新たに検出した比較領域と既に保持されている比較領域が重なる領域を最も経時的に変化する可能性の低い比較領域としてＲＡＭ５０３に記憶し、その後、Ｓ１３１１の処理を実行する。

また、ＣＰＵ５０１は、先のＳ１３０７で評価値ｃＡｒｅａＥｖＶａｌｕｅ［ｓＣｏｕｎｔ］が最小値ｓＭｉｎＥｖＶａｌｕｅより小さくないと判定した場合（Ｓ１３０７でＮＯ）、Ｓ１３１１の処理を実行する。これは、ＣＰＵ５０１は、既に保持されている比較領域は新たに検出した比較領域より経時的に変化が生じる可能性が低いと判断しているからである。

Ｓ１３１１でＣＰＵ５０１は、カウンタｓＣｏｕｎｔをインクリメントし、その後、Ｓ１３０４の処理を実行する。

Ｓ１３０４の判定が‘ＮＯ’となった後のＳ１３１２でＣＰＵ５０１は、評価値の最小値ｓＭｉｎＥｖＶａｌｕｅが評価値の閾値未満か否かを判定する。例えば、評価値の閾値は‘５０’とされる。ＣＰＵ５０１は、最小値ｓＭｉｎＥｖＶａｌｕｅが閾値未満であると判定した場合（Ｓ１３１２でＹＥＳ）、経時的に変化が生じる可能性の低い比較領域が検出されたと判断し、Ｓ１３１３の処理を実行する。一方、ＣＰＵ５０１は、最小値ｓＭｉｎＥｖＶａｌｕｅが閾値以上であると判定した場合（Ｓ１３１２でＮＯ）、経時的に変化が生じる可能性の低い比較領域が自動的に検出されなかったと判断して、Ｓ７１０の処理を実行する。そして、ＣＰＵ５０１は、Ｓ７１０の処理後にＳ１３１３の処理を実行する。

Ｓ１３１３でＣＰＵ５０１は、ＲＡＭ５０３を参照し、比較領域決定情報として、比較領域決定方法と評価値を現像画像ファイルに関連付ける。また、比較領域座標情報として最も経時的に変化する可能性が小さいと判断された比較領域のカメラ内現像画像上の座標を現像画像ファイルに関連付ける。ＣＰＵ５０１は、比較領域決定情報と比較領域座標情報を比較領域情報として患部画像ファイルに関連付けて画像管理端末１０５へ送信し、本処理を終了させる。なお、画像管理端末１０５は、画像処理装置１０６から送信されてきた比較領域情報を、対応する患部画像ファイルに関連付けて画像情報ＤＢ１１０に記憶する。

次に、図１３のフローチャートに従う処理の具体例として、１つの傷病が怪我であり、別の傷病がアトピー性皮膚炎であり、これらが同じ部位にある場合について説明する。

この場合、先ず、Ｓ１３０１でＣＰＵ５０１は、同じ部位にある傷病が怪我とアトピー性皮膚炎がある場合には傷病数が２となるため、変数ｓＭａｘに２を代入する。Ｓ１３０２～Ｓ１３０３は前述の通りである。Ｓ１３０４でＣＰＵ５０１は、カウンタｓＣｏｕｎｔが変数ｓＭａｘよりも小さい値か否かを判定する。最初はカウンタｓＣｏｕｎｔは０（ゼロ）であるため、変数ｓＭａｘ＝２よりも小さいと判定され、Ｓ７０２へ処理が進められる。

Ｓ７０２～Ｓ７０９，Ｓ７１１までの処理は、傷病が１つの場合について先に説明した通りの処理が行われ、１つ目の傷病が怪我である場合の比較領域が検出される。続くＳ１３０５でＣＰＵ５０１は、変数ｃＡｒｅａＥｖＶａｌｕｅ［ｓＣｏｕｎｔ］にＳ７１１で求めた評価値を代入する。傷病が怪我である場合には、Ｓ７０５で怪我以外の領域が正常な組織領域として検出される。よって、ＣＰＵ５０１は、正常な組織領域を比較領域とした場合の評価値である‘２０’をｃＡｒｅａＥｖＶａｌｕｅ［ｓＣｏｕｎｔ］に代入する。なお、このとき、アトピー性皮膚炎の患部領域が正常領域に含まれてしまう可能性がある。

Ｓ１３０６でＣＰＵ５０１は、評価値の最小値ｓＭｉｎＥｖＶａｌｕｅには初期値の‘１００’が入っているため、Ｓ１３０５での評価値ｃＡｒｅａＥｖＶａｌｕｅ（＝２０）とは同じ値ではないと判定し、Ｓ１３０７へ処理を進める。Ｓ１３０７でＣＰＵ５０１は、評価値ｃＡｒｅａＥｖＶａｌｕｅ［ｓＣｏｕｎｔ］（＝２０）は評価値の最小値ｓＭｉｎＥｖＶａｌｕｅ（＝１００）より小さいため、‘ＹＥＳ’と判定して、Ｓ１３０８へ処理を進める。

Ｓ１３０８でＣＰＵ５０１は、評価値の最小値ｓＭｉｎＥｖＶａｌｕｅにｃＡｒｅａＥｖＶａｌｕｅ［ｓＣｏｕｎｔ］の値を代入する。これにより、評価値の最小値ｓＭｉｎＥｖＶａｌｕｅ＝２０、となる。Ｓ１３０９でＣＰＵ５０１は、新たに検出した比較領域を最も経時的に変化が生じる可能性の低い比較領域としてＲＡＭ５０３に記憶する。こうして、怪我について検出した正常な組織領域が記憶される。Ｓ１３１１でＣＰＵ５０１は、カウンタｓＣｏｕｎｔをインクリメントする。これにより、ｓＣｏｕｎｔ＝１、となって、処理はＳ１３０４へ戻される。

Ｓ１３０４では、カウンタｓＣｏｕｎｔ（＝１）は変数ｓＭａｘ（＝２）よりも小さいため、ＣＰＵ５０１は処理をＳ７０２へ進める。Ｓ７０２～Ｓ７０９，Ｓ７１１までの処理は、傷病が１つの場合について先に説明した通りの処理が行われ、２つ目の傷病がアトピー性皮膚炎である場合の比較領域が検出される。

Ｓ１３０５でＣＰＵ５０１は、変数ｃＡｒｅａＥｖＶａｌｕｅ［ｓＣｏｕｎｔ］にＳ７１１で求めた評価値を代入する。その際、傷病がアトピー性皮膚炎である場合には、Ｓ７０５でアトピー性皮膚炎以外の領域が正常な組織領域として検出される。よって、ＣＰＵ５０１は、正常な組織領域を比較領域とした場合の評価値である‘２０’をｃＡｒｅａＥｖＶａｌｕｅ［ｓＣｏｕｎｔ］に代入する。なお、このとき、怪我の領域が正常領域に含まれてしまう可能性がある。

Ｓ１３０６でＣＰＵ５０１は、評価値ｃＡｒｅａＥｖＶａｌｕｅ［ｓＣｏｕｎｔ］（＝２０）が評価値の最小値ｓＭｉｎＥｖＶａｌｕｅ（＝２０）と同じであるため、ＣＰＵ５０１はＳ１３１０へ処理を進める。Ｓ１３１０でＣＰＵ５０１は、新たに検出した比較領域と既に保持されている比較領域とが重なる領域を最も経時的に変化が生じる可能性の低い比較領域としてＲＡＭ５０３に記憶する。

図１４は、検査目的が怪我とアトピー性皮膚炎、検査部位が腕、検査場所は院内撮影室の場合の画像１４０１の例である。画像１４０１中、傷病領域１４０２はアトピー性皮膚炎の傷病領域であり、傷病領域１４０３は怪我の傷病領域である。破線で囲まれた領域１４０４は、傷病が怪我のみであった場合に検出された比較領域である。破線１４０５は、アトピー性皮膚炎の閾距離を模式的に示しており、アトピー性皮膚炎における閾距離は４０ｍｍ（図８参照）であるため、破線１４０５の長さが４０ｍｍ以上となるように、斜線で示す比較領域が決定される。

破線１４０６は、怪我の閾距離を模式的に示しており、怪我における閾距離は１０ｍｍ（図８参照）であるため、破線１４０６の長さが１０ｍｍ以上となるように比較領域が決定される。こうして、怪我とアトピー性皮膚炎のそれぞれで検出した比較領域の重なる領域が、経時的に変化が生じる可能性が最も低い比較領域１４０７，１４０８として検出されることとなる。

さて、Ｓ１３１１でＣＰＵ５０１は、カウンタｓＣｏｕｎｔをインクリメントする。これにより、ｓＣｏｕｎｔ＝２、となって、処理はＳ１３０４へ戻される。Ｓ１３０４でＣＰＵ５０１は、カウンタｓＣｏｕｎｔ（＝２）と変数ｓＭａｘ（＝２）で、これらの値が同じであるため、処理をＳ１３１２へ進める。Ｓ１３１２でＣＰＵ５０１は、評価値の最小値ｓＭｉｎＥｖＶａｌｕｅ（＝２０）が、閾値（＝５０）未満であるため、処理をＳ１３１３へ進める。

評価値の最小値ｓＭｉｎＥｖＶａｌｕｅが５０未満であれば、経時的に変化が生じる可能性の低い比較領域を検出することができたとして、処理はＳ７１２へ進められる。一方、評価値の最小値ｓＭｉｎＥｖＶａｌｕｅが５０以上の場合には、経時的に変化が生じる可能性の低い比較領域が自動的には検出できなかったものとして、処理はＳ７１０へ進められる。

Ｓ１３１３でＣＰＵ５０１は、比較領域決定方法及び評価値を比較領域決定情報として患部画像ファイルに関連付ける。また、最も経時的に変化が生じる可能性が低いものとして決定した比較領域の画像上の座標を比較領域座標情報として患部画像ファイルに関連付ける。そして、比較領域決定情報と比較領域座標情報を比較領域情報としてＨＤＤ５０５に記憶すると共に患部画像ファイルに関連付けて画像管理端末１０５へ送信する。画像管理端末１０５は、受信した関連付けられた比較領域情報と画像を患部画像ファイルに関連付けて画像情報ＤＢ１１０に記憶する。そして、図９のフローチャートに従い、比較領域に基づいて、色・輝度が基準画像と揃うように補正対象画像が現像処理される。

なお、怪我とアトピー性皮膚炎は共に既知の背景・器具がない傷病である。これに対して、緑色爪と褥瘡の組み合わせのように、既知の背景・器具がある傷病とない傷病の組み合わせの場合、既知の背景・器具が検出されれば、評価値は既知の背景・器具の方が高いため、既知の背景・器具が比較領域として採用されることとなる。

このように、本実施形態によれば、同一患者の同一部位に複数の傷病が存在する場合でも、各傷病で比較領域の候補を検出し、検出された比較領域の中で経時的に変化が生じる可能性が最も低い領域を最終的な比較領域として決定することができる。これにより、比較領域を基準として、基準画像の元のＲＡＷ画像と補正対象画像とで、色・輝度が揃うように現像を行うことが可能になる。尚、検査目的の情報に複数の傷病の情報があるものとして説明したが、検査情報として取得できる情報であれば、検査目的の情報として含まれていなくてもよい。

本実施形態の開示は、以下の構成および方法を含む。
（構成１）同一患者の同一の傷病領域を含むように撮影された第１の画像と第２の画像を取得する第１の取得手段と、前記第１の画像および前記第２の画像それぞれの前記傷病領域を除いた領域から経時的に変化する可能性の低い領域を第１の比較領域および第２の比較領域として検出する検出手段と、前記第２の比較領域の色および輝度を前記第１の比較領域の色および輝度に合わせるための補正係数を演算する演算手段と、前記補正係数を用いて前記第２の画像の色および輝度を補正した画像を生成する補正手段と、を備えることを特徴とする画像処理装置。
（構成２）前記第１の画像の元の第１のＲＡＷ画像と前記第２の画像の元の第２のＲＡＷ画像を取得する第２の取得手段を備え、前記補正手段による前記第２の画像の色および輝度を補正した画像の生成は、前記第２のＲＡＷ画像に対する前記補正係数を用いた現像処理によって行われることを特徴とする構成１に記載の画像処理装置。
（構成３）前記演算手段は、前記第１のＲＡＷ画像において前記第１の比較領域に対応する領域の各色の輝度と、前記第１のＲＡＷ画像から前記第１の画像が生成され際に用いられたホワイトバランス係数と、前記第２のＲＡＷ画像において前記第２の比較領域に対応する領域の各色の輝度と、を用いて前記補正係数を演算することを特徴とする構成２に記載の画像処理装置。
（構成４）前記ホワイトバランス係数は、前記第１の画像を撮像した撮像装置において前記第１のＲＡＷ画像の属性情報に含まれることを特徴とする構成３に記載の画像処理装置。
（構成５）前記検出手段は、前記第１の比較領域と前記第２の比較領域を同じ方法で検出することを特徴とする構成１乃至４のいずれか１つに記載の画像処理装置。
（構成６）前記第１の比較領域を決定するために用いられた方法と前記第１の比較領域の座標情報とを有する比較領域情報を生成する生成手段を備え、前記検出手段は、前記比較領域情報がある場合に、前記比較領域情報に基づいて前記第２の比較領域を検出することを特徴とする構成５に記載の画像処理装置。
（構成７）前記検出手段は、前記第１の比較領域と前記第２の比較領域を、予め定められた広さ閾値以上の面積を有する正常な組織領域から検出することを特徴とする構成１乃至６のいずれか１つに記載の画像処理装置。
（構成８）前記検出手段は、前記第１の比較領域と前記第２の比較領域を、前記傷病領域から予め定められた閾距離以上離れている領域から検出することを特徴とする構成７に記載の画像処理装置。
（構成９）前記閾距離は前記傷病ごとに定められていることを特徴とする構成８に記載の画像処理装置。
（構成１０）前記検出手段は、前記第１の比較領域と前記第２の比較領域を、前記傷病の発症確率が予め定められた発症閾値よりも小さい部位から検出することを特徴とする構成１乃至９のいずれか１つに記載の画像処理装置。
（構成１１）前記検出手段は、前記第１の比較領域および前記第２の比較領域として、既知の背景または器具の領域を検出することを特徴とする構成１乃至１０のいずれか１つに記載の画像処理装置。
（構成１２）前記検出手段は、異なる傷病ごとに前記傷病領域がある場合に、前記第１の比較領域および第２の比較領域を、前記第１の画像と前記第２の画像のそれぞれについて前記異なる傷病ごとに経時的に変化する可能性が低い領域を検出し、前記検出された複数の領域のうち最も低い領域に決定することを特徴とする構成１乃至１１のいずれか１つに記載の画像処理装置。
（構成１３）前記検出手段は、前記第１の比較領域および前記第２の比較領域を、前記検出された複数の領域が重なる領域に決定することを特徴とする構成１２に記載の画像処理装置。
（構成１４）コンピュータを構成１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。
（方法１）同一患者の同一の傷病領域を含むように撮影された第１の画像と第２の画像を取得するステップと、前記第１の画像および前記第２の画像それぞれの前記傷病領域を除いた領域から経時的に変化する可能性の低い領域を第１の比較領域および第２の比較領域として検出するステップと、前記第２の比較領域の色および輝度を前記第１の比較領域の色および輝度に合わせるための補正係数を演算するステップと、前記補正係数を用いて前記第２の画像の色および輝度を補正した画像を生成するステップと、を有することを特徴とする画像処理装置の制御方法。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

例えば、上記実施形態では、１つの傷病に対して一意に傷病特性が決まるものとしたが、患者の年齢に応じて部位の発症確率が異なる場合には、年齢を加味した傷病特性テーブルを準備して所望の情報を取得するようにしてもよい。

また、上記実施形態では、撮像装置１０１、電子カルテ表示端末１０３、電子カルテ管理端末１０４、画像管理端末１０５及び画像処理装置１０６をそれぞれ物理的に個別の機器としている。但し、このような構成に限られず、例えば電子カルテ表示端末１０３に撮像装置１０１の構成を設ける等して、２つ以上の機器の機能を１つの機器で実現させてもよい。

更に上記実施形態では、ＲＡＷ画像に対して色・輝度補正処理を伴う現像処理を行った。これに限らず、ＷＢ処理以降の画像処理が既知であり、色及び輝度に関して、非線形な画像処理が行われていないか又は非線形であっても逆変換によりＷＢ処理直後の状態の画像へと戻せる画像データであれば、ＲＡＷ画像と同様に扱うことができる。

上記実施形態では、撮像装置１０１で生成されたカメラ内現像画像を用いて比較領域の検出を行った。これに限らず、撮像装置１０１は、撮像部２００は属性情報と撮像により生成したＲＡＷ画像を画像処理装置１０６へ送信し、画像処理装置１０６で患部画像ファイルを生成するようにしてもよい。この場合、画像処理装置１０６は、属性情報に基づいてＲＡＷ画像を図６のフローチャートに従って現像処理して現像画像を生成し、また、現像画像のサムネイルを生成して、患部画像ファイル生成する。そして、現像画像を用いて比較領域を検出し、患部画像ファイルと比較領域情報とを関連付けて、画像管理端末１０５へ送信する。そして、補正対象画像の色・輝度補正処理を伴う現像処理を図９のフローチャートに従って行うことにより、色・輝度を基準画像に合わせた現像画像を生成することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 医療システム
１０１ 撮像装置
１０６ 画像処理装置
１０５ 画像管理端末
１１０ 画像情報ＤＢ
５０１ ＣＰＵ
５０３ ＲＡＭ
５０５ ＨＤＤ
５０７ 通信Ｉ／Ｆ
１００７ 基準画像
１００８ カメラ内現像画像
１００７ａ，１００８ａ 比較領域

Claims (15)

1. 同一患者の同一の傷病領域を含むように撮影された第１の画像と第２の画像を取得する第１の取得手段と、
   前記第１の画像および前記第２の画像それぞれの前記傷病領域を除いた領域から経時的に変化する可能性の低い領域を第１の比較領域および第２の比較領域として検出する検出手段と、
   前記第２の比較領域の色および輝度を前記第１の比較領域の色および輝度に合わせるための補正係数を演算する演算手段と、
   前記補正係数を用いて前記第２の画像の色および輝度を補正した画像を生成する補正手段と、を備えることを特徴とする画像処理装置。
2. 前記第１の画像の元の第１のＲＡＷ画像と前記第２の画像の元の第２のＲＡＷ画像を取得する第２の取得手段を備え、
   前記補正手段による前記第２の画像の色および輝度を補正した画像の生成は、前記第２のＲＡＷ画像に対する前記補正係数を用いた現像処理によって行われることを特徴とする請求項１に記載の画像処理装置。
3. 前記演算手段は、前記第１のＲＡＷ画像において前記第１の比較領域に対応する領域の各色の輝度と、前記第１のＲＡＷ画像から前記第１の画像が生成され際に用いられたホワイトバランス係数と、前記第２のＲＡＷ画像において前記第２の比較領域に対応する領域の各色の輝度と、を用いて前記補正係数を演算することを特徴とする請求項２に記載の画像処理装置。
4. 前記ホワイトバランス係数は、前記第１の画像を撮像した撮像装置において前記第１のＲＡＷ画像の属性情報に含まれることを特徴とする請求項３に記載の画像処理装置。
5. 前記検出手段は、前記第１の比較領域と前記第２の比較領域を同じ方法で検出することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記第１の比較領域を決定するために用いられた方法と前記第１の比較領域の座標情報とを有する比較領域情報を生成する生成手段を備え、
   前記検出手段は、前記比較領域情報がある場合に、前記比較領域情報に基づいて前記第２の比較領域を検出することを特徴とする請求項５に記載の画像処理装置。
7. 前記検出手段は、前記第１の比較領域と前記第２の比較領域を、予め定められた広さ閾値以上の面積を有する正常な組織領域から検出することを特徴とする請求項１又は２に記載の画像処理装置。
8. 前記検出手段は、前記第１の比較領域と前記第２の比較領域を、前記傷病領域から予め定められた閾距離以上離れている領域から検出することを特徴とする請求項７に記載の画像処理装置。
9. 前記閾距離は前記傷病ごとに定められていることを特徴とする請求項８に記載の画像処理装置。
10. 前記検出手段は、前記第１の比較領域と前記第２の比較領域を、前記傷病の発症確率が予め定められた発症閾値よりも小さい部位から検出することを特徴とする請求項１又は２に記載の画像処理装置。
11. 前記検出手段は、前記第１の比較領域および前記第２の比較領域として、既知の背景または器具の領域を検出することを特徴とする請求項１又は２に記載の画像処理装置。
12. 前記検出手段は、異なる傷病ごとに前記傷病領域がある場合に、前記第１の比較領域および第２の比較領域を、前記第１の画像と前記第２の画像のそれぞれについて前記異なる傷病ごとに経時的に変化する可能性が低い領域を検出し、前記検出された複数の領域のうち最も低い領域に決定することを特徴とする請求項１又は２に記載の画像処理装置。
13. 前記検出手段は、前記第１の比較領域および前記第２の比較領域を、前記検出された複数の領域が重なる領域に決定することを特徴とする請求項１２に記載の画像処理装置。
14. 同一患者の同一の傷病領域を含むように撮影された第１の画像と第２の画像を取得するステップと、
    前記第１の画像および前記第２の画像それぞれの前記傷病領域を除いた領域から経時的に変化する可能性の低い領域を第１の比較領域および第２の比較領域として検出するステップと、
    前記第２の比較領域の色および輝度を前記第１の比較領域の色および輝度に合わせるための補正係数を演算するステップと、
    前記補正係数を用いて前記第２の画像の色および輝度を補正した画像を生成するステップと、を有することを特徴とする画像処理装置の制御方法。
15. コンピュータを請求項１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。

Images