JP2024051715A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2024051715A JP2024051715A JP2022158021A JP2022158021A JP2024051715A JP 2024051715 A JP2024051715 A JP 2024051715A JP 2022158021 A JP2022158021 A JP 2022158021A JP 2022158021 A JP2022158021 A JP 2022158021A JP 2024051715 A JP2024051715 A JP 2024051715A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- comparison
- comparison area
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 187
- 238000003672 processing method Methods 0.000 title description 2
- 238000012937 correction Methods 0.000 claims abstract description 66
- 230000008859 change Effects 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 128
- 208000027418 Wounds and injury Diseases 0.000 claims description 119
- 230000006378 damage Effects 0.000 claims description 119
- 208000014674 injury Diseases 0.000 claims description 119
- 230000008569 process Effects 0.000 claims description 104
- 238000003384 imaging method Methods 0.000 claims description 67
- 201000010099 disease Diseases 0.000 claims description 32
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 32
- 238000011161 development Methods 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 25
- 230000003902 lesion Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 abstract description 17
- 238000011156 evaluation Methods 0.000 description 47
- 206010012438 Dermatitis atopic Diseases 0.000 description 27
- 201000008937 atopic dermatitis Diseases 0.000 description 27
- 238000005259 measurement Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 239000003086 colorant Substances 0.000 description 8
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 208000007565 gingivitis Diseases 0.000 description 5
- 210000002414 leg Anatomy 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000003187 abdominal effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 210000000038 chest Anatomy 0.000 description 3
- 238000002601 radiography Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000004221 Multiple Trauma Diseases 0.000 description 2
- 208000023637 Multiple injury Diseases 0.000 description 2
- 208000004210 Pressure Ulcer Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 101100459518 Bacillus subtilis (strain 168) nadE gene Proteins 0.000 description 1
- 101100393826 Dickeya dadantii (strain 3937) outB gene Proteins 0.000 description 1
- 206010014970 Ephelides Diseases 0.000 description 1
- 208000003351 Melanosis Diseases 0.000 description 1
- 208000031074 Reinjury Diseases 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に画像の色及び輝度を補正する技術に関する。
基準となる色見本画像を患者の皮膚と一緒に撮影して表示色を調整する画像処理装置が知られている(例えば特許文献1参照)。
患部(傷病部位)の経過観察を行う際に、患部の状態を記録するために患部を撮影することがある。撮影日時の異なる撮影画像で患部を比較する際には、画像の色及び輝度を高い精度で合わせることが望ましい。この課題に対して上記特許文献1に記載された技術を用いた場合、常に患者の皮膚と一緒に基準となる色見本を同じ撮影しなければならず、手間が掛かるという問題がある。
本発明は、このような事情に鑑みてなされたものであり、患部と一緒に色見本等を撮影しなくとも、同一患者の同一患部について異なる日時に撮影された画像の色及び輝度を高い精度で合わせることを可能とする技術を提供することを目的とする。
本発明に係る画像処理装置は、同一患者の同一の傷病領域を含むように撮影された第1の画像と第2の画像を取得する第1の取得手段と、前記第1の画像および前記第2の画像それぞれの前記傷病領域を除いた領域から経時的に変化する可能性の低い領域を第1の比較領域および第2の比較領域として検出する検出手段と、前記第2の比較領域の色および輝度を前記第1の比較領域の色および輝度に合わせるための補正係数を演算する演算手段と、前記補正係数を用いて前記第2の画像の色および輝度を補正した画像を生成する補正手段と、を備えることを特徴とする。
本発明によれば、患部と一緒に基準色見本を撮影しなくとも、同一患者の同一患部について異なる日時に撮影された画像の色及び輝度を高い精度で合わせることが可能となる。
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。ここでは、患者の患部を撮影した撮影日時の異なる画像(以下「患部画像」と言う)に関連付けられて記録された検査情報を用いて、各患部画像の色及び輝度を合わせる画像処理(色・輝度補正処理)を行う画像処理装置を有する医療システムについて説明する。
図1は、実施形態に係る医療システム100のシステム構成を示す図である。医療システム100は、大略的に、管理システム100A、撮像装置101及び画像処理装置106がネットワーク102を介して互いに通信可能に接続されることによって構成されている。管理システム100Aは、電子カルテ表示端末103、電子カルテ管理端末104、画像管理端末105、検査情報DB108、施設情報DB109及び画像情報DB110を有する。なお、「DB」は「データベース」を意味する。
撮像装置101は、医療システム100の診察対象である患者150の患部107を撮影して、患部画像ファイルを生成する。ここで、患者150の患部107における傷病は、全身への症状の現れ方で診察される場合と、身体の一部への症状の現れ方で診察される場合とがある。全身症状が現れている場合には、頭や体幹、下肢、上肢等の広い範囲が診察対象とされる。患部107は、歯の並び方や生え替わりの状態を記録するために診察、撮影される口腔内のように、傷病ではないが診察対象となる部位を含むものとする。撮像装置101の構成及び患部画像ファイルの詳細については後述する。
画像処理装置106は、患部画像ファイルに含まれるRAW画像データ(以下「RAW画像」と言う)の現像処理を行う。画像処理装置106の構成とRAW画像及びその現像処理の詳細については後述する。
管理システム100Aにおいて、電子カルテ表示端末103は、電子カルテ管理端末104から患者IDを取得すると共に電子カルテ管理端末104を介して検査情報DB108から患者IDに対応する検査情報を取得し、電子カルテの表示や作成、編集を行う。電子カルテの作成及び編集処理では、画像データへの情報付加処理を行うこともできる。その際、電子カルテ表示端末103は、電子カルテ管理端末104に対して画像管理端末105を介して画像管理DB110から所定の画像データを取得するよう指示し、取得した画像データを電子カルテ管理端末104から電子カルテ表示端末103へ送信させる。
なお、患者IDとは、患者を一意に特定するための患者管理番号であり、電子カルテ管理端末104において一元的に管理されている。検査情報は、患者150に対して行われた検査に関わる情報であり、患者IDと関連付けられて検査情報DB108に格納(記憶)されている。検査情報は、患者情報、検査目的、検査日時、検査部位及び検査場所の情報を含む。
患者情報とは、医療システム100の管理対象となる患者150の氏名や年齢、性別、既往歴等である。検査目的とは、検査の目的となる傷病を示すものであり、例えば、アトピー性皮膚炎、褥瘡、怪我、歯肉炎、そばかす等の傷病である。傷病は、その疑いがあればよく、最終的な診断結果の傷病とは異なっても構わない。検査目的が複数ある場合には、検査目的は複数の傷病を含む。検査日時は、その傷病についての検査が行われた日時であり、例えば、年月日及び時刻で記憶され、時刻は、例えば、午前や午後のような広い範囲でも構わない。検査部位とは、頭部、胸部、乳房、腹部、腰、お尻、背、肩、肘、膝、手、脚部等の部位を指す。検査場所とは、検査が行われる場所であり、例えば、病院施設内の診療室、写真室、浴室、入院病棟の室内等である。
電子カルテ管理端末104は、前述の通り、患者IDにより複数の患者の検査情報を管理している。電子カルテ管理端末104は、電子カルテ表示端末103からの要求を受けて、検査情報DB108及び施設情報DB109から指定された情報を取り出して、電子カルテ表示端末103に提供する。また、電子カルテ管理端末104は、所定の患者IDの検査情報を画像処理装置106へ送信するよう画像処理装置106から要求されると、該当する患者IDの検査情報を検査情報DB108から取得して、画像処理装置106へ送信する。同様に、電子カルテ管理端末104は、所定の患者IDの検査情報を撮像装置101へ送信するよう撮像装置101から要求されると、該当する患者IDの検査情報を検査情報DB108から取得して、撮像装置101へ送信する。
画像管理端末105は、撮像装置101から患部画像ファイルを受信して、受信した患部画像ファイルを患者IDに関連付けて画像情報DB110へ記憶(格納)する。画像管理端末105は、画像処理装置106や電子カルテ管理端末104から所定の画像データ(画像ファイル)の送信要求を受けると、指定された条件に当てはまる画像データを画像情報DB110から読み出して要求先へ送信する。
検査情報DB108は、検査情報を記憶するデータベースである。電子カルテ管理端末104は、患者IDや傷病名、診察日時等を用いて、検査情報DB108から該当する検査情報を取得することができる。施設情報DB109は、医療従事者や装置に関する情報を記憶するデータベースである。例えば、電子カルテ管理端末104は、撮像装置101を操作した医療従事者に割り振られた医療従事者IDを用いて、所定の医療従事者の情報を取得することができる。また、電子カルテ管理端末104は、撮像装置IDを用いて該当する撮像装置101の情報を取得することができる。画像情報DB110は、患部画像ファイル、患部画像ファイルに関連付けられた検査情報、患部画像ファイルのRAW画像を用いて画像処理装置106で生成された現像画像(後述の補正済み現像画像)等を患者IDに関連付けて記憶するデータベースである。
管理システム100Aにおいて、電子カルテ表示端末103と電子カルテ管理端末104との間の通信には、例えば、HDMI(登録商標)ケーブルを用いることができるが、これに限られず、有線・無線LANやUSBケーブル等が用いられていてもよい。電子カルテ管理端末104と画像管理端末105との間の通信も同様に構成される。
図2(a)は、撮像装置101のハードウェア構成を示す図である。撮像装置101のハードウェア構成は一般的なデジタルカメラと同等であって可搬性を有するが、撮像装置101は、医療システム100の構成要素として機能させるために撮像装置101内で動作するプログラムがカスタマイズされている。
撮像装置101は、撮像部200、CPU201、ROM202、RAM203、表示装置204、画像処理部211、ファイル生成部212、入力装置205、記憶媒体206及び通信I/F207を備える。撮像装置101を構成するこれらの各ユニットは、アドレスバス、データバス及び制御バスからなるシステムバス208を介して相互に通信を行うことができるよう構成されている。
CPU201は、撮像装置101の全体的な制御を行う。ROM202は、CPU201の動作処理手順(例えば、撮像装置101の電源オン時の処理や基本入出力処理等のプログラム)を記憶している。RAM203は、CPU201のメインメモリとして機能する。即ち、RAM203には、後述する図3のフローチャートに従う処理を実現するための制御プログラムを含む各種プログラムがROM202等からロードされ、CPU201によって実行される。なお、RAM203は、CPU201が各種処理を実行する際のワークエリアも提供する。
撮像部200は、レンズと、カラーフィルタを備えるCCDセンサやCMOSセンサ等の固体撮像素子と、固体撮像素子から出力されるアナログ電気信号をデジタル信号に変換するA/D変換器を有する。撮像装置101で患部107を撮像すると、レンズ及びカラーフィルタを透過して固体撮像素子に結像した光学像は、固体撮像素子による光電変換によってアナログ電気信号に変換される。アナログ電気信号はA/D変換器によりデジタル信号に変換され、こうして患部107を撮影したRAW画像が生成される。
本実施形態では、撮像装置101により得られるRAW画像は可視光画像データであるとする。ここで、RAW画像の色信号について説明する。図2(b)は、RAW画像の色信号の配置を示す図である。RAW画像の色信号の配置は、カラーフィルタでの色の配置と合致する。即ち、カラーフィルタは一般的なベイヤー配列構造を有しており、そのため、RAW画像は色信号R(赤),G1(緑),G2(緑),B(青)を1つずつ含む4画素を1ユニットとし、このユニットが縦横に所定数並べられて構成される。以下、Rの色信号をR信号、G1の色信号をG1信号、G2の色信号をG2信号、Bの色信号をB信号と称呼する。
撮像部200で生成されたRAW画像と撮影時の撮像装置101の属性情報は、CPU201により一時的にRAM203に記憶される。撮像装置101の属性情報とは、RAW画像の現像処理に必要なパラメータ等であるが、詳細は図4を参照して後述する。
表示装置204は、CPU201の制御下において、撮像装置101の設定情報の表示や、記憶媒体206に記憶された画像データの画像表示等を行う。
入力装置205は、電源ボタン、撮像条件を設定するためのメニューボタンや四方向ボタン、露光開始指示等の各種操作を行うためレリーズスイッチ、表示装置204に組み込まれたタッチパネル等を含む。また、入力装置205は、管理システム100A(電子カルテ管理端末104)から所定の患者IDに関連付けられた検査情報を選択して取得するための操作を行うための操作部材を含む。記憶媒体206は、撮像装置101に対して着脱可能なメモリカード等である。
通信I/F207は、通信回線209を介して撮像装置101をネットワーク102に通信可能に接続するためのインタフェースである。撮像装置101は、電源がオンにされるとネットワーク102に自動的に接続し、ネットワーク102を介して管理システム100Aを構成する電子カルテ管理端末104及び画像管理端末105との通信を開始する。撮像装置101は、撮像装置101の電源がオフされるまで、電子カルテ管理端末104及び画像管理端末105と通信可能な状態を維持する。
画像処理部211は、撮像部200で生成されてRAM203に一時的に記憶されたRAW画像と撮影時の属性情報とを用いて、必要に応じて、人の視覚特性にあった画像データとなるように一連の画像処理を行う。本実施形態では、画像処理部211は、現像済み画像データ(以下「カメラ内現像画像」という)とその縮小画像データ(以下「サムネイル」という)を生成するものとする。画像処理部211による一連の画像処理の詳細については後述する。ファイル生成部212は、RAW画像、撮像装置101の属性情報、画像処理部211により生成されたカメラ内現像画像及びサムネイルを含む患部画像ファイルを生成する。
図3は、撮像装置101で実行される患部画像ファイル生成処理のフローチャートである。本フローチャートにS番号で示される各処理(ステップ)は、CPU201がROM202に記憶されたプログラムをRAM203に展開し、所定の演算処理を行うと共に撮像装置101の各部を統括的に制御することにより実現される。
S300でCPU201は、通信I/F207及びネットワーク102を介して、被写体である患者に関する検査情報を、患者IDを用いて電子カルテ管理端末104から取得する。
S301でCPU201は、撮像部200により生成したRAW画像をRAM203に記憶する。
S302でCPU201は、画像処理部211を制御して、RAM203に記憶したRAW画像の現像処理を行い、カメラ内現像画像を生成し、RAM203に記憶する。なお、撮像装置101の画像処理部211で実行される現像処理については、画像処理装置106が実行する現像処理と共通する部分があるため、画像処理装置106での現像処理について説明する際に併せて説明する。
S303でCPU201は、S302で生成されたカメラ内現像画像からサムネイルを生成し、RAM203に記憶する。
S304でCPU201は、ファイル生成部212により、各画像データに圧縮処理を行い、圧縮処理後の画像データをRAM203に記憶する。このとき、S301で読み込んだRAW画像については可逆圧縮を行う。S302で生成したカメラ内現像画像とS303で生成したサムネイルについてはJPG圧縮を行い。なお、S304の圧縮処理が終了すると、圧縮前の画像データ(S301でRAM203に記憶したRAW画像、S302でRAM203に記憶したカメラ内現像画像及びサムネイル)をRAM203から消去する。
S305でCPU201は、RAM203に記憶された圧縮済みのRAW画像、カメラ内現像画像及びサムネイルと撮像装置101の属性情報から患部画像ファイルを生成し、記憶媒体206に記憶する。
ここで、患部画像ファイルのデータ構成について説明する。図4は、撮像装置101において生成される患部画像ファイル400の構成を示す模式図である。患部画像ファイル400は、大略的に、属性情報を格納する属性情報領域401と、サムネイルを格納する縮小画像データ領域402と、カメラ内現像画像を格納する現像画像データ領域403と、RAW画像を格納する本体画像データ領域404を有する。
属性情報は、各画像データのサイズ、撮影日時、撮影機種、圧縮方法、フラッシュオン/オフ、ISO感度や絞り値やシャッタ速度等の撮像条件の情報、各画像の読み出しや再生、選択に必要な情報等を含む。カメラ内現像画像、サムネイル及びRAW画像は、本発明に関しては画像処理装置106での画像処理の際に用いられ、その詳細については後述する。
図3のフローチャートの説明に戻る。S306でCPU201は、S300で取得した検査情報とS305で記憶媒体206に記憶した患部画像ファイルとを関連付けて画像管理端末105へ送信し、本処理を終了させる。画像管理端末105は、画像処理装置106から送信されてきた患部画像ファイルを患者ID及び検査情報と関連付けた状態で画像情報DB110に保存する。
図5は、画像処理装置106のハードウェア構成を示す図である。画像処理装置106は、例えば、汎用パーソナルコンピュータにより実現することができるが、専用機として構成されていてもよい。画像処理装置106は、CPU501、ROM502、RAM503、ディスプレイ504、HDD505、入力装置506及び通信I/F507を備えており、これらはバス508を介して通信を行う。
CPU501は、ROM502に記憶されているプログラムをRAM503に展開することにより、所定の演算処理を実行し、また、画像処理装置106の各部の動作を統括的に制御する。ROM502は、CPU501が実行するプログラムや、プログラムの実行に必要なパラメータ等を記憶する。RAM503は、CPU501がプログラムを展開するための作業領域と、演算処理中に生成されるデータを一時的に記憶するための記憶領域を有する。
HDD505は、図8を参照して後述する傷病特性テーブルのデータ、傷病検出のための推論用データ、既知の器具や背景を検出するためのパターンマッチング用データ等を記憶している。また、HDD505は、必要に応じて、画像処理装置106で生成される画像データ等を保存する。
入力装置506は、画像処理装置106の各種設定やプログラムの実行に際して必要とされる情報の受け付けに利用されるキーボードやマウス、タッチパネル等である。ディスプレイ504は、各種情報を表示する。通信I/F507は、外部機器(本実施形態では、管理システム100A)と画像処理装置106との間の双方向通信を可能とするインタフェースである。CPU501は、通信I/F507を介して外部機器から送信されてきた指示に従って、RAM503やHDD505へのデータの書き込みやRAM503やHDD505からのデータ読み出しを行う。
図6は、画像処理装置106において実行される、RAW画像を現像する処理のフローチャートである。本フローチャートにS番号で示される各処理(ステップ)は、CPU501がROM502に記憶されたプログラムをRAM503に展開し、所定の演算処理を行うと共に画像処理装置106の各部を統括的に制御することにより実現される。
なお、現像処理とは、RAW画像を人が目で見る被写体と似た出力とする処理を指し、以下に説明するS604~S611がRAW画像に対する実質的な現像処理であり、S601~S603は現像処理のための前処理である。なお、撮像装置101の画像処理部211は、S302においてS604~S611を実行する。
S601でCPU501は、現像処理の対象とするRAW画像を格納した患部画像ファイルを画像管理端末105を介して画像情報DB110から取得して、HDD505に格納すると共に、患部画像ファイルからRAW画像を読み出してRAM503に記憶する。
S602でCPU501は、S601で取得した患部画像ファイルの属性情報領域に格納されている属性情報を読み出して、RAM503に記憶する。
S603でCPU501は、患部画像ファイルにおいてRAW画像は可逆圧縮されているため、S602で読み込んだ属性情報に基づいてRAW画像を解凍する。
S604でCPU501は、RAW画像の各画素に対して、輝度値から基礎電荷の値を差し引く。以下、基礎電荷の値を「OB値」と記す。OB値は、受光していない領域にも輝度値として記録される電荷の値であり、RGBのカラーフィルタに対応するOB値が患部画像ファイルの属性情報領域に記憶されているものとする。
S605でCPU501は、ホワイトバランス処理(以下「WB処理」と記す)を行うためのホワイトバランス係数(以下「WB係数」と記す)を属性情報から取得する。WB係数とは、所定の色のバランスを整えるために各色の画素に対して掛け合わせる数値である。なお、WB処理とは、本来、無彩色の被写体像が無彩色の出力となるように全体的な色のバランスを調整する処理である。しかし、本実施形態でのWB処理は、色の全体的なバランスを整える処理であり、必ずしも無彩色の被写体が無彩色にならなくともよいものとする。
撮像装置101がオートホワイトバランス(以下「AWB」と記す)に設定されている場合、撮像装置101は、光源の種類に応じて光源色温度を想定してWB係数を演算し、得られたWB係数を患部画像ファイルの属性情報領域に記憶する。光源の種類には、蛍光灯や白熱灯、ストロボ発光等がある。また、撮像装置101は、RGBの各画素についてOB値を差し引いた後に被写体像を構成する画素の平均値を演算した場合に各画素の平均値が無彩色を示すという原理を利用してAWBを行っているものとする。S601で画像処理装置106が取得した患部画像ファイルは、AWBが設定された撮像装置101により生成されたものとする。よって、S605で取得されるWB係数は、AWBの機能により求められた値となる。
RAW画像におけるRGB全色の輝度値tgtNonColは、OB値を差し引いた後のR信号の平均値aveR、G1信号の平均値aveG1、G2信号の平均値aveG2、B信号の平均値aveを用いて、下記式1により求められる。また、RGBそれぞれのWB係数(wbRcoef,wbG1coef,wbG2coef,wbBcoef)は下記式2~5で求められる。
S606でCPU501は、RAW画像のすべての画素に対して、S605で取得したRGBの各色のWB係数を乗算する。RGBの各色の入力値をinR,inG1,inG2,inBとした場合のWB処理によるRGBの各色の出力値outR,outG1,outG2,outBは下記式6~9により求められる。
なお、上記のS605~S606の説明は、RAW画像の属性情報のみに基づいたWB処理についてのものであり、例えば、初診時に生成された患部画像ファイルのRAW画像に対するWB処理に関するものである。後述するように、撮影日時の異なる(例えば、再診時に生成された)患部画像ファイルに含まれるRAW画像のWB処理を行う際には、WB係数に代えて、色・輝度補正係数が用いられる。色・輝度補正係数は、RAW画像の属性情報に加えて、比較領域を考慮した色・輝度補正を伴うWB処理を行うための係数である。比較領域とは、時系列的に撮影日の異なる少なくとも2つの患部画像で色及び輝度を合わせるように患部画像の色・輝度補正処理を行う際の基準となる領域を指す。
S607でCPU501は、S606でのWB処理後のすべての画素に対して補間処理を行う。本処理は、固体撮像素子に対して設けられたカラーフィルタが図2(b)を参照して説明したように格子状になっている場合に必要な処理であるが、積層センサの場合においてRGBの各色に対応する値が各画素に存在する場合には不要な処理となる。各画素にR,G1,G2,Bのいずれか1色の値しか記録されていない場合には、周囲の画素の不足する色信号の平均値をその画素の値とする。
S608でCPU501は、S607での補間処理後の画像の輝度調整処理を行う。ここでの輝度調整処理は、平均の輝度値が予め定められた目標輝度になるように輝度係数を乗算する処理である。
S609でCPU501は、S608での輝度調整処理後の画像に対して色調整処理を行う。ここでの色調整処理は、固体撮像素子の特性に合わせた色変換マトリックスを乗算する処理である。
S610でCPU501は、S609での色調整処理後の画像に対してエッジ強調処理(シャープネス処理)を行う。ここでのエッジ強調処理は、ハイパスフィルタを掛ける処理である。
S611でCPU501は、S610のエッジ強調処理後の画像のトーンカーブ処理を行う。ここでのトーンカーブ処理は、人間の知覚特性に合わせて、出力時の輝度の階調における低輝度及び中間輝度の分布領域を増加させる一方で、高輝度部の分布領域を減少させる処理である。
ここまでの一連の処理により生成された画像を、S605~S606で用いられるWB係数が色・輝度補正係数に変更されて色・輝度補正処理を伴うWB処理が行われた場合を考慮し、また、カメラ内現像画像と区別するために、「補正済み現像画像」と称呼する。補正済み現像画像は、例えば、JPG形式等で生成される。
S612でCPU501は、補正済み現像画像をディスプレイ504へ出力して表示する。また、CPU501は、補正済み現像画像を、元となっている患部画像ファイルと関連付けて画像管理端末105へ送信して、本処理を終了させる。画像管理端末105は、画像処理装置106から受信した補正済み現像画像を画像情報DB110に記憶する。
図7は、画像処理装置106において実行される、患部画像の比較領域を決定する処理のフローチャートである。本フローチャートにS番号で示される各処理(ステップ)は、CPU501がROM502に記憶されたプログラムをRAM503に展開して、所定の演算処理を行うと共に画像処理装置106の各部を統括的に制御することにより実現される。
S701でCPU501は、処理対象となっている患部画像ファイルを画像管理端末105を介して画像管理DB110から取得し、患部画像ファイルに含まれるカメラ内現像画像をRAM503に記憶する。また、S701でCPU501は、取得した患部画像ファイルに関連付けられた検査情報を電子カルテ管理端末104を介して検査情報DB108から取得し、RAM503に記憶する。前述したように、検査情報には、患者情報、検査目的となる傷病、検査部位及び検査場所に関する情報が含まれる。
S702でCPU501は、検査目的となる傷病に関して、S701で取得した検査情報に基づき、傷病特性テーブルを用いて、既知の器具と背景に関する情報を取得する。ここで、傷病特性テーブルについて説明する。
図8は、傷病特性テーブル800の一例を示す図である。傷病特性テーブル800は、HDD505に記憶されており、S702の処理を実行に先だってRAM503へ読み込まれる。傷病特性テーブル800は、傷病列801、部位依存列802、部位ごとの発症確率列803、傷病移動拡縮列804、閾距離列805、器具・背景列806及び器具・背景データ列807から構成されている。
傷病列801には、検査目的となる傷病や観察対象が示されている。部位依存列802には、体の部位によって傷病の発症確率が変わるか否かが示されている。部位ごとの発症確率列803には、体の部位によって傷病の発症確率が変わる場合に部位ごとの発症確率が示されている。なお、本実施形態では、発症確率が著しく低い部位については、発症確率は保持されないものとする。傷病移動拡縮列804には、傷病の範囲が移動したり拡縮したりするか否かが示されている。閾距離列805には、傷病の範囲が移動したり拡縮したりする場合に後述する比較領域を傷病領域からどの程度離すかが規定されており、傷病の特性に応じて値は異なる。器具・背景列806には、既知の器具や背景の有無が示されている。器具・背景データ列807には、既知の器具や背景を検出するためのデータが保持されている。
例えば、S702では、CPU501は傷病特性テーブル800内の該当する傷病の情報に対応する器具・背景列806の値が「有」か「無」かを確認する。そして、器具・背景列806の値が「有」である場合にCPU501は、器具・背景データ列807から対応するデータを取得する。また、CPU501は、器具・背景データ列807のデータを用いて一般的なパターンマッチング処理を行うことにより、カメラ内現像画像から器具の検出を試みる。また、CPU501は、患部画像の測距値と器具・背景データ列807を用いて、中央の被写体とは異なり、且つ、固定撮像素子の受光面から遠い距離にある平坦な領域を背景として検出する。なお、測距値とは、撮像装置101の固体撮像素子の撮像面から被写体(患部107を含む撮像領域)までの距離であり、患部画像の全画素についてカメラ内現像画像を内包する患部画像ファイルの属性情報領域に記憶されている。
図7のフローチャートの説明に戻る。S703でCPU501は、S702で既知の背景や器具が検出されたか否かを判定する。CPU501は、既知の背景及び/又は器具が検出されたと判定した場合(S703でYES)、検出された背景及び/又は器具を比較領域としてRAM503に記憶した後、S711の処理を実行する。一方、CPU501は、既知の背景及び/又は器具が検出されなかったと判定した場合(S703でNO)、S704の処理を実行する。
S704でCPU501は、検査目的に含まれている傷病に関して機械学習で推論を行い、傷病領域を検出する。
S705でCPU501は、傷病領域外であり、且つ、測距値が傷病領域から所定の閾値(以下「測距閾値」という)以下の領域を、正常な組織領域として検出する。本実施形態では、測距閾値を±20mmとする。例えば、傷病領域に対応する画素の測距値が500mm~510mmに分布している場合、測距値が480mm~530mmの範囲内で傷病領域ではない領域が正常な組織領域として検出される。
S706でCPU501は、正常な組織領域の面積が所定の閾値(以下「広さ閾値」という)以上か否かを判定する。本実施形態では、広さ閾値を画像面積の10%とする。CPU501は、正常な組織領域の面積が広さ閾値以上であると判定した場合(S706でYES)、S707の処理を実行し、正常な組織領域の面積は広さ閾値未満であると判定した場合(S706でNO)、S710の処理を実行する。
S707でCPU501は、傷病特性テーブル800の閾距離列805から該当する傷病の情報に対応する閾距離を取得し、更に傷病領域から閾距離以上離れている正常な組織領域を検出する。
S708でCPU501は、S707で検出した正常な組織領域の部位を推定する。本実施形態では、正常な組織領域の部位は機械学習で推定されるものとする。
S709でCPU501は、傷病特性テーブル800の部位ごとの発症確率列803を参照し、S708で検出した正常な組織領域の部位の発症確率が所定の閾値(以下「発症閾値」という)未満か否かを判定する。本実施形態では、S709で用いる発症閾値を50%とする。CPU501は、発症確率が発症閾値未満であると判定した場合(S709でYES)、S707で検出した正常な組織領域を比較領域に決定し、比較領域の情報をRAM503に記憶した後、S711の処理を実行する。一方、CPU501は、発症確率が発症閾値以上であると判定した場合(S709でNO)、S707で検出した正常な組織領域は比較領域としては適切ではないと判断して、S710の処理を実行する。
S710でCPU501は、ユーザ操作に従って比較領域を決定し、その後、S711の処理を実行する。ユーザ操作とは、画像処理装置106のユーザが、マウスやタッチパネル等の入力装置506を用いて、ディスプレイ504に表示されている画像上で比較領域を指定する操作である。例えば、ディスプレイ504に後述する図10のUI画面1000が表示され、ユーザが比較領域の決定対象となっている画像に対して比較領域1007a(又は1008a)を設定する。CPU501は、ユーザ操作により指定された領域の情報を比較領域の情報としてRAM503に記憶する。
S711でCPU501は、比較領域の決定方法に応じて、比較領域に経時的に変化が生じる可能性の評価値(以下では適宜「評価値」と略記する)を決定する。本実施形態では、評価値は必ず変化しない場合を「0(ゼロ)」とし、必ず変化する場合を「100」とし、評価値が50未満の場合には経時的に変化が生じる可能性は低いものとする。評価値は、比較領域の決定方法に応じて予め定められており、HDD505から読み出されてRAM503に記憶されているものとする。本実施形態では、評価値は、S703で既知の背景又は器具が検出された場合に「10」、S709で部位の発症確率が発症閾値未満と判定された場合に「20」、S710において選択された場合に「30」とされるものとする。
S712でCPU501は、比較領域の種別と評価値を比較領域決定情報とし、比較領域の座標を比較領域座標情報とし、比較領域決定情報と比較領域座標情報を纏めた比較領域情報を生成する。また、S712でCPU501は、生成した比較領域情報を対応する患部画像ファイルに関連付けて、画像管理端末105へ送信し、本処理を終了させる。なお、比較領域の種別は、既知の背景又は器具、正常な組織、ユーザ指定のいずれかである。画像管理端末105は、画像処理装置106から受信した比較領域情報を対応する患部画像ファイルに関連付けて画像情報DB110に記憶する。
図9は、画像処理装置106で実行される、色・輝度補正処理のフローチャートである。本フローチャートにS番号で示される各処理(ステップ)は、CPU501がROM502に記憶されたプログラムをRAM503に展開して、所定の演算処理を行うと共に画像処理装置106の各部を統括的に制御することにより実現される。
なお、S901の処理開始前に、CPU501は、ユーザ(例えば医師)の操作に応じて、所定の患者IDに関連付けられて画像管理DB110に記憶されているすべての患部画像ファイルからサムネイルを取得してRAM503に記憶しているものとする。
S901でCPU501は、色・輝度補正対象となるRAW画像を含む患部画像ファイルを画像管理端末105を介して画像情報DB110から取得してHDD505に記憶する。また、CPU501は、取得した患部画像ファイルからカメラ内現像画像とRAW画像を読み出してRAM503に記憶する。これは、本フローチャートに従う処理では、RAW画像に対して色・輝度補正処理を行うが、処理対象の患部画像の比較領域を検出するまでの処理はカメラ内現像画像を用いて行われるためである。以下の説明では、色・輝度補正処理の対象となるRAW画像を「補正対象画像」と称呼する。
S902でCPU501は、S901で取得した患部画像ファイルに関連付けられた検査情報を、電子カルテ管理端末104を介して検査情報DB108から取得し、RAM503に記憶する。なお、S901とS902では、必然的に同一の患者IDに関連付けられた患部画像ファイルと検査情報が取得される。
S903でCPU501は、S902で取得した検査情報に基づき、同一検査目的で同一の患部部位の過去の患部画像ファイルを画像管理端末105を介して画像情報DB110から取得してHDD505に記憶する。そして、CPU501は、過去の患部画像ファイルからカメラ内現像画像と属性情報を読み出してRAM503に記憶する。過去の患部画像ファイルから読み出したカメラ内現像画像は、補正対象画像の色・輝度を調整する際の基準となる画像であり、以下の説明では「基準画像」と称呼する。
S904でCPU501は、基準画像に関連付けられた比較領域情報があるか否かを判定する。具体的には、CPU501は、基準画像に関連付けられた比較領域情報の画像処理装置106への送信を画像管理端末105へ要求する。その結果、画像管理端末105が該当する比較領域情報を発見し、発見された比較領域情報が画像処理装置106へ送信された場合に、CPU501は比較領域情報があると判定する。一方、画像管理端末105は、該当する比較領域情報を発見することができずにその旨を画像処理装置106へ通知した場合、CPU501は比較領域情報がないと判定する。CPU501は、比較領域情報がないと判定した場合(S904でNO)、S905の処理を実行し、比較領域情報があると判定した場合(S904でYES)、画像管理端末105から取得した比較領域情報をRAM503に記憶した後、S906の処理を実行する。
S905でCPU501は、図7のフローチャートの比較領域決定方法を用いて、基準画像の比較領域及び比較領域情報を決定し、その後、S906の処理を実行する。
S906でCPU501は、S904で取得した比較領域情報又はS905において決定した比較領域情報を用いて、補正対象画像に対応するカメラ内現像画像の比較領域を検出する。なお、補正対象画像に対応するカメラ内現像画像の比較領域は、基準画像での比較領域の検出方法と同じ方法で行われる。つまり、補正対象画像に対応するカメラ内現像画像の比較領域は、基準画像の比較領域が既知の背景・器具であればS702の処理に従って検出され、基準画像における比較領域が正常な組織領域であればS704~S709の処理に従って検出される。また、補正対象画像に対応するカメラ内現像画像の比較領域は、基準画像における比較領域がユーザ指定による領域であればS710の処理に従って検出される。
S907でCPU501は、補正対象画像に対応するカメラ内現像画像についてS906で比較領域が決定されたか否かを判定する。CPU501は、補正対象画像に対応するカメラ内現像画像の比較領域が決定されたと判定した場合(S907でYES)、S908の処理を実行する。
S908でCPU501は、補正対象画像の色・輝度補正処理を伴う現像処理に用いる色・輝度補正係数を演算する。具体的には、基準画像に対応するRAW画像での比較領域でのRGBの各色の画素の輝度平均値をそれぞれbR,bG1,bG2,bBとする。また、基準画像に対応するRAW画像を図3のフローチャートに従ってWB処理した際に用いたRGBの各色のWB係数をそれぞれbWbR,bWbG1,bWbG2,bWbBとする。そして、補正対象画像の比較領域でのRGBの各色の画素の輝度平均値をそれぞれtR,tG1,tG2,tBとする。この場合、補正対象画像に対して色・輝度補正処理を伴う現像処理を行う際に用いるRGBの各色の色・輝度補正係数tWbR,tWbG1,tWbG2,tWbBは、下記式10-13により求められる。
S909でCPU501は、補正対象画像に対して図6のフローチャートに示される一連の処理を行う。その際のS606ではS908の演算により得られた色・輝度補正係数(tWbR,tWbG1,tWbG2,tWbB)をWB係数に代えて用いる。これにより、補正対象画像に対して色・輝度補正処理を伴う現像処理が行われ、補正済み現像画像が生成される。
CPU501は、S907で補正対象画像に対応するカメラ内現像画像の比較領域を決定することができなかったと判定した場合(S907でNO)、S910の処理を実行する。S910でCPU501は、補正対象画像に対応するカメラ内現像画像の比較領域が決定されなかったことを示す警告をディスプレイ504に表示する。S910又はS911の処理が実行されると、本処理は終了する。
次に、画像処理装置106のUI(ユーザインタフェース)について説明する。図10は、画像処理装置106のディスプレイ504に表示されるUI画面1000の一例を示す図である。画像処理装置106の入力装置506としては、例えば、マウスが用いられる。
UI画面1000は、検索エディットボックス1001、検索ボタン1002、比較領域選択ボタン1003及び色・輝度補正ボタン1004を含む。また、UI画面1000は、患者情報表示領域1005、画像表示領域1006、検査日時1009,検査日時1010、終了ボタン1011及びサムネイル表示領域1012を含む。
検索エディットボックス1001は、患者IDや検査日時の入力を受け付ける。検索エディットボックス1001に所定の検索条件が入力された状態でユーザが検索ボタン1002をマウスで左クリックすると、CPU501はユーザから検索指示があったと判断し、検索条件を電子カルテ管理端末104と画像管理端末105へ送信する。検索条件に合致する情報を電子カルテ管理端末104は検査情報DB108から、画像管理端末105は画像情報DB110からそれぞれ取得して、画像処理装置106へ送信する。
UI画面1000のサムネイル表示領域1012には、サムネイル1015~1021が表示されている。ここでは、説明を簡易化するため、患者IDによる検索が行われた結果として、同患者IDに関連付けられたすべての患部画像ファイルのサムネイルが画像処理装置106へ送信されてHDD505に保存されると共にRAM503に記憶されたものとする。これにより、RAM503に記憶されたすべてのサムネイルがサムネイル表示領域1012に表示された状態となる。
ユーザがサムネイル表示領域1012内の所定のサムネイルをマウスの左クリックで押下すると、CPU501は補正対象画像が指定されたと判断する。CPU501は、押下されたサムネイルに対応する患部画像ファイルを、画像管理端末105を介して画像管理DB110から取得し、HDD505に記憶する。また、CPU501は、取得した患部画像ファイルからカメラ内現像画像を読み出してRAM503に記憶すると共に画像表示領域1006の右側に表示する。また、CPU501は、取得した患部画像ファイルに関連付けられた検査情報を、電子カルテ管理端末104を介して検査情報DB108から取得し、HDD505に記憶すると共にRAM503に記憶する。
更に、CPU501は、補正対象画像と同じ部位について過去に撮影された患部画像ファイルを、画像管理端末105を介して画像管理DB110から取得し、HDD505に記憶する。CPU501は、取得した患部画像ファイルからカメラ内現像画像(=基準画像)を読み出してRAM503に記憶すると共に画像表示領域1006の左側に表示する。そして、CPU501は、補正対象画像に対応するサムネイルに補正対象画像枠1014を表示し、基準画像に対応するサムネイルに基準画像枠1013を表示する。図10では、基準画像枠1013は破線枠で表され、補正対象画像枠1014は太実線で表されている。
検査日時1009は基準画像に係る患部画像の撮影日時であり、検査日時1010は補正対象画像に係る患部画像の撮影日時である。検査日時1010は基準画像に係る患部画像ファイルに関連付けられた検査情報から取得され、検査日時1010は補正対象画像に係る患部画像ファイルに関連付けられた検査情報から取得される。患者情報表示領域1005には、補正対象画像と基準画像に共通する患者情報と検査目的が表示される。
終了ボタン1011は、画像処理装置106での画像処理を終了させるための操作手段である。ユーザがマウスの左クリックで終了ボタン1011を押下すると、CPU501は一連の処理の終了指示があったものと判断し、画像処理装置106での処理を終了させる。
次に、一例として、ユーザ操作による比較領域の決定方法(S710)を用いて、S905とS906で基準画像と補正対象画像に対応するカメラ内現像画像のそれぞれについて比較領域を決定する方法について説明する。画像表示領域1006には、左側に基準画像1007が表示され、右側に補正対象画像に対応するカメラ内現像画像1008が表示されているものとする。
図7のフローチャートに従う処理においてS706又はS709での判定条件が‘NO’となる場合に、ユーザ操作による比較領域の指定が必要となる。S710のユーザ操作による比較領域の指定処理を可能とするために、CPU501は、比較領域選択ボタン1003を‘Enable’にして、ユーザに比較領域の選択操作を促す。これに応じてユーザが比較領域選択ボタン1003をマウスの左クリックにて押下すると、CPU501はユーザから比較領域の選択を指示されたものと判断し、ユーザによるマウスのドラッグ操作で画像上に比較領域を描画することが可能になる。図10には、基準画像1007の比較領域1007aと、補正対象画像に対応するカメラ内現像画像1008の比較領域1008aが図示の通りに決定された状態が示されている。
基準画像と補正対象画像に対応するカメラ内現像画像のそれぞれで比較領域が決定されると、CPU501は補正対象画像に適用する色・輝度補正係数の演算処理(S908)と補正対象画像の現像処理(S909)を行うことができる。ユーザがマウスの左クリックにて色・輝度補正ボタン1004を押下すると、CPU501は補正対象画像に対して、図6のフローチャートに従う現像処理を行い、その際、S908で求めた色・輝度補正係数をS606で用いる。こうして、補正対象画像に対する色・輝度補正処理が完了すると、画像表示領域1006において、補正対象画像に対応するカメラ内現像画像は、色・輝度補正処理を伴う現像処理が施された補正済み現像画像に差替表示される。
なお、基準画像に対応する補正済み現像画像が生成されている場合には、基準画像も対応する補正済み現像画像に差替表示される。基準画像に対応する補正済み現像画像が生成されていない場合には、基準画像に対応するRAW画像に対して図6のフローチャートに従う現像処理が行われ、基準画像に代えて、生成された補正済み現像画像が表示される。これにより、基準画像と補正対象画像のそれぞれに対応する補正済み現像画像で患部を比較することが可能となり、患部の比較を正確に行うことが可能となる。
なお、基準画像についてS904で基準画像に関連付けられた比較領域情報があると判定された場合(S905の処理がスキップされる場合)、その比較領域情報が有する比較領域の座標情報に基づいて、基準画像に比較領域が描画される。例えば、比較領域情報が、基準画像の比較領域がS710のユーザ操作によることを示している場合、CPU501は比較領域選択ボタン1003をEnableにして、補正対象画像に対応するカメラ内現像画像に対する比較領域の指定操作をユーザに促す。また、比較領域情報が、基準画像における比較領域がS710の操作以外の方法で決定されたことを示している場合、補正対象画像の比較領域は、基準画像での比較領域の決定方法と同じ方法で決定され、補正対象画像に対応するカメラ内現像画像に表示される。
次に、傷病ごとの比較領域の決定方法と色・輝度補正方法の具体例について説明する。なお、ユーザ操作に応じて、所定の患者IDに関連付けられたすべての患者画像ファイルに含まれるサムネイルが画像管理DB110から画像処理装置106へ送信されてRAM503に記憶され、サムネイル表示領域1012に表示されているものとする。
最初に、検査目的となる傷病がアトピー性皮膚炎である場合について説明する。ユーザ(例えば、医師)が、サムネイル表示領域1012に表示されているサムネイルの中から補正対象画像のサムネイルとしてサムネイル1015を選択したものとする。
S901でCPU501は、サムネイル1015に対応する患部画像ファイルを画像管理端末105を介して画像管理DB110から取得してHDD505に記憶し、補正対象画像とこれ対応するカメラ内現像画像をRAM503に記憶する。これにより、カメラ内現像画像が画像表示領域1006の右側に表示され、サムネイル1015に補正対象画像枠が付された状態となる。なお、補正対象画像については、図6及び図7の各フローチャートに従う現像処理及び比較領域の検出処理は行われていないものとする。
S902でCPU501は、補正対象画像に関連付けられた検査情報を電子カルテ管理端末104を介して検査情報DB108から取得し、RAM503に記憶する。補正対象画像に関連付けられた検査情報は、患者IDは001、検査目的はアトピー性皮膚炎、検査日時は2022/05/30、検査部位は胸、検査場所は診察室、であるものとする。
S903でCPU501は、S902で取得した検査情報に基づき、画像管理端末105及び電子カルテ管理端末104から、同一患者の同一検査目的及び同一部位の過去の検査日時の患部画像ファイルとこれに関連付けられた検査情報を取得する。CPU501は、取得した患部画像ファイルと検査情報をHDD505に記憶し、患部画像ファイルからカメラ内現像画像を読み出してRAM503に記憶する。これにより、カメラ内現像画像(=基準画像)が画像表示領域1006の左側に表示され、対応するサムネイルに基準画像枠が付された状態となる。なお、図10では、基準画像枠に対応するサムネイルは不図示となっている。例えば、サムネイル表示領域1012内の左矢印1031がマウスの左クリックで押下されると、表示されているサムネイルは右側へ移動し、サムネイル1021が見えなくなる代わりに、基準画像枠に対応するサムネイルが表示された状態となる。
S904でCPU501は、S903で取得した基準画像に関する比較領域情報がある否かを判定するが、ここでは、比較領域情報はなかったものとする。この場合、S905において、図7のフローチャートの比較領域の決定方法に従って、基準画像の比較領域が決定される。具体的には、S701では、基準画像に関連付けられた検査情報がRAM503に記憶される。但し、先のS903で記憶済みであれば、本処理は省略される。S702では、検査目的に含まれている傷病に関して、既存の器具・背景があるか否かの確認が行われる。傷病特性テーブル800によれば、アトピー性皮膚炎に対応する器具・背景列806の値は「無」であるため、S703で既存の器具や背景は無しと判定され、S704へ処理が進められることになる。
S704でCPU501は、アトピー性皮膚炎に関して機械学習で推論を行い、傷病領域を検出する。S705でCPU501は、傷病領域外であり、且つ、測距値が傷病領域から測距閾値以下の領域を正常な組織領域として検出する。アトピー性皮膚炎の傷病領域の測距値が1000mm~1010mmであったとすると、測距閾値は前述の通りに20mmであるため、この場合には傷病領域外で測距値が980mm~1030mmの領域が正常な組織領域として決定される。
S706でCPU501は、正常な組織領域が広さ閾値以上か否かを判定する。広さ閾値は前述の通りに画像面積の10%であるため、画像の幅が1280pixel、高さが960pixelである場合の広さ閾値は122880pixelとなる。ここでは、正常な組織領域の面積が150000pixelであったとする。この場合、広さ閾値以上の面積があるため、処理はS707へ進められる。
S707でCPU501は、傷病特性テーブル800を参照して、アトピー性皮膚炎に対応する閾距離列805から閾距離を読み出す。アトピー性皮膚炎は、傷病の範囲に変化や移動が見られるため、閾距離は40mmとなっている。S707では更に、閾距離に基づいて傷病領域から40mm以上離れている領域が正常な組織領域として検出される。
ここまでの処理による基準画像上の傷病領域と比較領域の一例について、図11を参照して説明する。図11は、基準画像における比較領域と傷病領域の検出例を示す図であり、検査目的がアトピー性皮膚炎、検査部位が胸、検査場所が院内撮影室である場合の基準画像1101の例である。
基準画像1101には、S704で検出された傷病領域1102,1103と、S707で検出された比較領域1104が示されている。アトピー性皮膚炎には、傷病の範囲に変化や移動が見られ、また、発症確率が部位によって異なるという特徴がある。これらの特徴に鑑み、比較領域1104は、傷病領域1103からの距離が破線で模式的に示す閾距離1105(=40mm)以上となるように検出されている。
S707で正常な組織領域が検出されると、S708でCPU501は、検出された正常な組織領域の部位を機械学習で推定する。ここでは、正常な組織部位として腹が検出されたものとする。S709でCPU501は、傷病特性テーブル800を参照し、アトピー性皮膚炎に対応する部位ごとの発症確率列803から腹での発症確率を読み出す。傷病特性テーブル800には腹での発症確率は記憶されておらず、このことは腹での発症確率が著しく小さいことを示しているため、発症閾値の50%未満であると判定され、S711へ処理が進められることになる。
S711でCPU501は、比較領域の決定方法に応じて、経時的に変化が生じる可能性の評価値を決定する。比較領域は正常な組織領域であるため、評価値は‘20’に決定される。S712でCPU501は、評価値及び正常な組織領域であることを比較領域決定情報として基準画像に関連付ける。また、基準画像上の比較領域の座標を比較領域座標情報として基準画像に関連付ける。比較領域決定情報と比較領域座標情報は、比較領域情報として纏められてHDD505に記憶されると共に、基準画像に関連付けられて画像管理端末105に送信される。画像管理端末105は、受信した比較領域情報を基準画像に関連付けて画像情報DB110に記憶する。
続いて、S906でCPU501は、基準画像の比較領域を決定した方法と同じ方法で(S704~S709,S711,S712の処理により)、補正対象画像に対応するカメラ内現像画像の比較領域を決定する。S907でCPU501は、S906で補正対象画像に対応するカメラ内現像画像の比較領域が検出されたか否かを判定する。ここでは、補正対象画像に対応するカメラ内現像画像の比較領域が検出され、その結果としてS908へ処理が進められたものとする。
S908でCPU501は、補正対象画像の現像処理に用いる色・輝度補正係数を演算する。基準画像の元のRAW画像における比較領域のRGBの各画素の輝度平均値(bR,bG1,bG2,bB)はそれぞれ、bR=120,bG1=90,bG2=95,bB=60、であるとする。また、基準画像の元のRAW画像のWB処理時のRGBの各色のWB係数(bWbR,bWbG1,bWbG2,bWbB)はそれぞれ、bWbR=0.5,bWbG1=0.8,bWbG2=0.7,bWbB=0.6、であるとする。補正対象画像(RAW画像)における比較領域のRGBの各画素の輝度平均値(tR,tG1,tG2,tB)はそれぞれ、tR=100,tG1=80,tG2=85,tB=70、であるとする。この場合に、補正対象画像のRGBの各色の色・輝度補正係数(tWbR,tWbG1,tWbG2,tWbB)は下記式14~17により求められる。
S909でCPU501は、補正対象画像に対して図6のフローチャートの一連の現像処理を行い、その際、S605に代えて実行されたS908にて求めた色・輝度補正係数をS606で用いる。
基準画像の元のRAW画像のWB処理後のRGBの各出力値(bOutR,bOutG1,bOutG2,bOutB)は下記式18~21により求められる。また、補正対象画像のWB処理後のRGBの各出力値(tOutR,tOutG1,tOutG2,tOutB)は下記式22~25により求められる。そして、式18~25により下記式26-29の関係が得られる。補正対象画像について、WB処理後に更にS607~S611の処理を、基準画像の元のRAW画像を現像した際の条件と同じ条件で行うことにより、補正対象画像を基準画像と同じ色・輝度となるように補正した補正済み現像画像を得ることができる。
次に、検査目的となる傷病が怪我である場合について説明する。ここでは、アトピー性皮膚炎の場合と異なる点のみを抜粋して説明する。
S707でCPU501は、傷病特性テーブル800を参照し、怪我に対応する閾距離列805から閾距離を取得する。怪我は、広がったり移動したりはしない特性を有する傷病であるため、閾距離は10mmに設定されている。CPU501は、傷病領域から閾距離以上離れている正常な組織領域を検出する。
図12は、基準画像における比較領域と傷病領域の別の検出例を示す図であり、検査目的が怪我、検査部位が左脚、検査場所は院内撮影室の場合の基準画像1201の例である。傷病領域1202はS704で検出され、比較領域1203,1204はS707で検出されたものとする。比較領域1203,1204は、傷病領域1202からの距離が破線で模式的に示す閾距離1205(=10mm)以上となるように検出されている。
S708でCPU501は、S707で検出した正常な組織領域の部位を機械学習で推定する。正常な組織領域は、図12の比較領域1203,1204のように複数の比較領域が検出された場合には、各比較領域について推定される。ここでは、正常な組織領域の部位として、怪我のある左脚が検出されている。
S709でCPU501は、傷病特性テーブル800を参照し、怪我に対応する部位ごとの発症確率列803から左脚の発症確率を参照する。比較領域が複数の部位に跨がっている場合には、部位ごとにS709の判定が行われる。
怪我には、傷病の範囲が変化せず、また、発症確率が部位に依存しないという特徴がある。そのため、傷病特性テーブル800には怪我について左脚の発症確率は記憶されておらず、このことは著しく発症確率が小さいことを示しているため、発症閾値の50%未満であると判定され、S711へ処理が進められることになる。他の処理については、上述したアトピー性皮膚炎の例と同様であるため、説明を省略する。
次に、検査目的となる傷病が歯肉炎である場合について説明する。ここでも、アトピー性皮膚炎の場合と異なる点のみを抜粋して説明する。
歯肉炎には、既知の器具が被写体像の中に含まれることが多いという特徴がある。そこで、S702でCPU501は、基準画像内に器具・背景が存在するか否かを確認する。具体的には、傷病特性テーブル800を参照して、歯肉炎に対応する器具・背景列806の値が「有」か「無」かが確認される。傷病特性テーブル800の器具・背景列806において歯肉炎の行では「有」であるため、CPU501は、この情報を取得すると共に器具を検出するためのデータを器具・背景データ列807から取得する。ここでは、口角鉤を検出するためのデータが取得され、口角鉤のデータに基づいてパターンマッチング処理で器具・背景が検出される。
S703でCPU501は、既知の背景や器具を検出することができたか否かを判定し、本例の場合には口角鉤を検出することができたか否かを判定する。口角鉤が検出された場合には、既知の背景又は器具が比較領域としてRAM503に記憶された後、S711へ処理が進められる。一方、既知の背景又は器具を検出することができなかった場合には、S704へ処理が進められる。ここでは、基準画像と補正対象画像のそれぞれで口角鉤が検出されたものする。よって、S711でCPU501は、比較領域の決定方法に応じて経時的に変化が生じる可能性の評価値を決定する。比較領域は既知の背景又は器具であるため、評価値は「10」に決定される。その他の処理は、アトピー性皮膚炎の例と同様であるため、説明を省略する。
上記説明の通り、本実施形態では、補正対象画像に関連付けられた検査情報に基づいて、同一患者の同じ検査部位について過去に撮影されたカメラ内現像画像を基準画像として管理システム100Aから取得する。これにより、色・輝度調整を行うための適切な基準画像を取得することができる。また、RAW画像に対してWB処理を含む一連の現像処理を行う。そのため、基準画像の元のRAW画像と補正対象画像の各比較領域について非線形の画像処理を行う前の状態でWBや輝度を合わせることができ、色・輝度補正係数を非線形の画像処理前の各画素の値から演算することができる。その結果、環境光によって補正対象画像の色・輝度の状態が異なっていたとしても、精度よく補正して、画像上での患部の比較を正確に行うことが可能となる。
本実施形態では、傷病領域が特定された後、傷病領域外であり、且つ、測距値が傷病領域から所定の測距閾値以下の領域が正常な組織領域として検出され、更に正常な組織領域から比較領域が検出される。比較領域は、傷病領域から閾距離以上離れた部位であって、身体において傷病の発症しにくい部位から検出される。これにより、基準画像と補正対象画像に対応するカメラ内現像画像において、経時的に変化が生じる可能性の低い領域が比較領域として検出される。こうして、比較領域を基準として、基準画像の元のRAW画像と補正対象画像とで、色・輝度が揃うように現像を行うことが可能になる。
本実施形態によれば、傷病の範囲が変化したり移動したりしない場合には、傷病領域に近い領域を比較領域として検出することができる。その際、比較領域が複数あっても、領域ごと及び部位ごとの発症確率を参照することにより、経時的に変化が生じる可能性の低い領域を比較領域として検出することが可能となる。その結果、手足等の面積が限られた部位であっても、比較領域をできる限り広く検出し、比較領域を基準として、基準画像の元のRAW画像と補正対象画像とで、色・輝度が揃うように現像を行うことが可能になる。
また、本実施形態では、経時的に変化が生じる可能性の評価値を比較領域の決定方法に応じて決定し、評価値が所定値未満である比較領域、つまり、既知の器具や背景等の経時的に変化する可能性が小さい比較領域に基づいて色・輝度補正が行われる。これにより、患部の撮影時に色・輝度の基準試料を確実に撮影せずとも、同一患者の同一患部についての撮影日時の異なる画像同士の比較が行いやすくなる。
次に、同一部位に複数の傷病があり、且つ、検査情報に複数の傷病がある場合について説明する。図13は、同一部位に複数の傷病がある場合に比較領域を決定する処理のフローチャートである。本フローチャートにS番号で示される各処理(ステップ)は、CPU501がROM502に記憶されたプログラムをRAM503に展開し、所定の演算処理を行うと共に画像処理装置106の各部を統括的に制御することにより実現される。なお、本フローチャートにおいて、図7のフローチャートにある処理と同じ処理については、同じS番号を付して、ここでの説明を省略する。
S701の処理後のS1301でCPU501は、検査情報から読み込んだ同じ部位に含まれる傷病数を、傷病ごとの繰り返し処理を終了するための終了条件判定に用いる変数sMaxに代入する。S1302でCPU501は、傷病ごとの繰り返し処理を行うためのカウンタsCountに0(ゼロ)を代入する。S1303でCPU501は、経時的に変化が生じる可能性の評価値の最小値を記憶する変数sMinEvValueに最大値である100を代入する。
S1304でCPU501は、カウンタsCountが変数sMaxよりも小さいか否かを判定する。CPU501は、カウンタsCountが変数sMaxよりも小さいと判定した場合(S1304でYES)、処理対象の傷病の比較領域を検出する処理が完了していないものと判断して、S702の処理を実行する。なお、S702~S709,S711の処理は、図7のフローチャートのS702~S709,S711の処理と同じである。一方、CPU501は、カウンタsCountが変数sMax以上である場合(S1304でNO)、処理対象の傷病の比較領域を検出する処理が完了したものと判断して、S1312の処理を実行する。
S711の処理後のS1305でCPU501は、処理対象の傷病に対して検出した比較領域の評価値を記憶する変数cAreaEvValue[sCount]にS711で決定した評価値を代入する。
S1306でCPU501は、変数cAreaEvValue[sCount]が評価値の最小値sMinEvValueと同じ値であるか否かを判定する。CPU501は、変数cAreaEvValue[sCount]が最小値sMinEvValueと同じ値ではないと判定した場合(S1306でNO)、S1307の処理を実行する。
S1307でCPU501は、評価値cAreaEvValue[sCount]が評価値の最小値sMinEvValueより小さいか否かを判定する。CPU501は、評価値cAreaEvValue[sCount]が最小値sMinEvValueより小さいと判定した場合(S1307でYES)、S1308の処理を実行する。
処理がS1308へ進む場合にCPU501は、新たに検出した比較領域は既に保持されている比較領域よりも経時的に変化が生じる可能性が低いと判断している。そこで、S1308でCPU501は、評価値の最小値sMinEvValueに評価値cAreaEvValue[sCount]の値を代入する。続くS1309でCPU501は、新たに検出した比較領域を最も経時的に変化する可能性の低い比較領域としてRAM503に記憶し、その後、S1311の処理を実行する。
さて、CPU501は、先のS1306で変数cAreaEvValue[sCount]が最小値sMinEvValueと同じ値であると判定した場合(S1306でYES)、S1310の処理を実行する。S1310でCPU501は、新たに検出した比較領域と既に保持されている比較領域が重なる領域を最も経時的に変化する可能性の低い比較領域としてRAM503に記憶し、その後、S1311の処理を実行する。
また、CPU501は、先のS1307で評価値cAreaEvValue[sCount]が最小値sMinEvValueより小さくないと判定した場合(S1307でNO)、S1311の処理を実行する。これは、CPU501は、既に保持されている比較領域は新たに検出した比較領域より経時的に変化が生じる可能性が低いと判断しているからである。
S1311でCPU501は、カウンタsCountをインクリメントし、その後、S1304の処理を実行する。
S1304の判定が‘NO’となった後のS1312でCPU501は、評価値の最小値sMinEvValueが評価値の閾値未満か否かを判定する。例えば、評価値の閾値は‘50’とされる。CPU501は、最小値sMinEvValueが閾値未満であると判定した場合(S1312でYES)、経時的に変化が生じる可能性の低い比較領域が検出されたと判断し、S1313の処理を実行する。一方、CPU501は、最小値sMinEvValueが閾値以上であると判定した場合(S1312でNO)、経時的に変化が生じる可能性の低い比較領域が自動的に検出されなかったと判断して、S710の処理を実行する。そして、CPU501は、S710の処理後にS1313の処理を実行する。
S1313でCPU501は、RAM503を参照し、比較領域決定情報として、比較領域決定方法と評価値を現像画像ファイルに関連付ける。また、比較領域座標情報として最も経時的に変化する可能性が小さいと判断された比較領域のカメラ内現像画像上の座標を現像画像ファイルに関連付ける。CPU501は、比較領域決定情報と比較領域座標情報を比較領域情報として患部画像ファイルに関連付けて画像管理端末105へ送信し、本処理を終了させる。なお、画像管理端末105は、画像処理装置106から送信されてきた比較領域情報を、対応する患部画像ファイルに関連付けて画像情報DB110に記憶する。
次に、図13のフローチャートに従う処理の具体例として、1つの傷病が怪我であり、別の傷病がアトピー性皮膚炎であり、これらが同じ部位にある場合について説明する。
この場合、先ず、S1301でCPU501は、同じ部位にある傷病が怪我とアトピー性皮膚炎がある場合には傷病数が2となるため、変数sMaxに2を代入する。S1302~S1303は前述の通りである。S1304でCPU501は、カウンタsCountが変数sMaxよりも小さい値か否かを判定する。最初はカウンタsCountは0(ゼロ)であるため、変数sMax=2よりも小さいと判定され、S702へ処理が進められる。
S702~S709,S711までの処理は、傷病が1つの場合について先に説明した通りの処理が行われ、1つ目の傷病が怪我である場合の比較領域が検出される。続くS1305でCPU501は、変数cAreaEvValue[sCount]にS711で求めた評価値を代入する。傷病が怪我である場合には、S705で怪我以外の領域が正常な組織領域として検出される。よって、CPU501は、正常な組織領域を比較領域とした場合の評価値である‘20’をcAreaEvValue[sCount]に代入する。なお、このとき、アトピー性皮膚炎の患部領域が正常領域に含まれてしまう可能性がある。
S1306でCPU501は、評価値の最小値sMinEvValueには初期値の‘100’が入っているため、S1305での評価値cAreaEvValue(=20)とは同じ値ではないと判定し、S1307へ処理を進める。S1307でCPU501は、評価値cAreaEvValue[sCount](=20)は評価値の最小値sMinEvValue(=100)より小さいため、‘YES’と判定して、S1308へ処理を進める。
S1308でCPU501は、評価値の最小値sMinEvValueにcAreaEvValue[sCount]の値を代入する。これにより、評価値の最小値sMinEvValue=20、となる。S1309でCPU501は、新たに検出した比較領域を最も経時的に変化が生じる可能性の低い比較領域としてRAM503に記憶する。こうして、怪我について検出した正常な組織領域が記憶される。S1311でCPU501は、カウンタsCountをインクリメントする。これにより、sCount=1、となって、処理はS1304へ戻される。
S1304では、カウンタsCount(=1)は変数sMax(=2)よりも小さいため、CPU501は処理をS702へ進める。S702~S709,S711までの処理は、傷病が1つの場合について先に説明した通りの処理が行われ、2つ目の傷病がアトピー性皮膚炎である場合の比較領域が検出される。
S1305でCPU501は、変数cAreaEvValue[sCount]にS711で求めた評価値を代入する。その際、傷病がアトピー性皮膚炎である場合には、S705でアトピー性皮膚炎以外の領域が正常な組織領域として検出される。よって、CPU501は、正常な組織領域を比較領域とした場合の評価値である‘20’をcAreaEvValue[sCount]に代入する。なお、このとき、怪我の領域が正常領域に含まれてしまう可能性がある。
S1306でCPU501は、評価値cAreaEvValue[sCount](=20)が評価値の最小値sMinEvValue(=20)と同じであるため、CPU501はS1310へ処理を進める。S1310でCPU501は、新たに検出した比較領域と既に保持されている比較領域とが重なる領域を最も経時的に変化が生じる可能性の低い比較領域としてRAM503に記憶する。
図14は、検査目的が怪我とアトピー性皮膚炎、検査部位が腕、検査場所は院内撮影室の場合の画像1401の例である。画像1401中、傷病領域1402はアトピー性皮膚炎の傷病領域であり、傷病領域1403は怪我の傷病領域である。破線で囲まれた領域1404は、傷病が怪我のみであった場合に検出された比較領域である。破線1405は、アトピー性皮膚炎の閾距離を模式的に示しており、アトピー性皮膚炎における閾距離は40mm(図8参照)であるため、破線1405の長さが40mm以上となるように、斜線で示す比較領域が決定される。
破線1406は、怪我の閾距離を模式的に示しており、怪我における閾距離は10mm(図8参照)であるため、破線1406の長さが10mm以上となるように比較領域が決定される。こうして、怪我とアトピー性皮膚炎のそれぞれで検出した比較領域の重なる領域が、経時的に変化が生じる可能性が最も低い比較領域1407,1408として検出されることとなる。
さて、S1311でCPU501は、カウンタsCountをインクリメントする。これにより、sCount=2、となって、処理はS1304へ戻される。S1304でCPU501は、カウンタsCount(=2)と変数sMax(=2)で、これらの値が同じであるため、処理をS1312へ進める。S1312でCPU501は、評価値の最小値sMinEvValue(=20)が、閾値(=50)未満であるため、処理をS1313へ進める。
評価値の最小値sMinEvValueが50未満であれば、経時的に変化が生じる可能性の低い比較領域を検出することができたとして、処理はS712へ進められる。一方、評価値の最小値sMinEvValueが50以上の場合には、経時的に変化が生じる可能性の低い比較領域が自動的には検出できなかったものとして、処理はS710へ進められる。
S1313でCPU501は、比較領域決定方法及び評価値を比較領域決定情報として患部画像ファイルに関連付ける。また、最も経時的に変化が生じる可能性が低いものとして決定した比較領域の画像上の座標を比較領域座標情報として患部画像ファイルに関連付ける。そして、比較領域決定情報と比較領域座標情報を比較領域情報としてHDD505に記憶すると共に患部画像ファイルに関連付けて画像管理端末105へ送信する。画像管理端末105は、受信した関連付けられた比較領域情報と画像を患部画像ファイルに関連付けて画像情報DB110に記憶する。そして、図9のフローチャートに従い、比較領域に基づいて、色・輝度が基準画像と揃うように補正対象画像が現像処理される。
なお、怪我とアトピー性皮膚炎は共に既知の背景・器具がない傷病である。これに対して、緑色爪と褥瘡の組み合わせのように、既知の背景・器具がある傷病とない傷病の組み合わせの場合、既知の背景・器具が検出されれば、評価値は既知の背景・器具の方が高いため、既知の背景・器具が比較領域として採用されることとなる。
このように、本実施形態によれば、同一患者の同一部位に複数の傷病が存在する場合でも、各傷病で比較領域の候補を検出し、検出された比較領域の中で経時的に変化が生じる可能性が最も低い領域を最終的な比較領域として決定することができる。これにより、比較領域を基準として、基準画像の元のRAW画像と補正対象画像とで、色・輝度が揃うように現像を行うことが可能になる。尚、検査目的の情報に複数の傷病の情報があるものとして説明したが、検査情報として取得できる情報であれば、検査目的の情報として含まれていなくてもよい。
本実施形態の開示は、以下の構成および方法を含む。
(構成1)同一患者の同一の傷病領域を含むように撮影された第1の画像と第2の画像を取得する第1の取得手段と、前記第1の画像および前記第2の画像それぞれの前記傷病領域を除いた領域から経時的に変化する可能性の低い領域を第1の比較領域および第2の比較領域として検出する検出手段と、前記第2の比較領域の色および輝度を前記第1の比較領域の色および輝度に合わせるための補正係数を演算する演算手段と、前記補正係数を用いて前記第2の画像の色および輝度を補正した画像を生成する補正手段と、を備えることを特徴とする画像処理装置。
(構成2)前記第1の画像の元の第1のRAW画像と前記第2の画像の元の第2のRAW画像を取得する第2の取得手段を備え、前記補正手段による前記第2の画像の色および輝度を補正した画像の生成は、前記第2のRAW画像に対する前記補正係数を用いた現像処理によって行われることを特徴とする構成1に記載の画像処理装置。
(構成3)前記演算手段は、前記第1のRAW画像において前記第1の比較領域に対応する領域の各色の輝度と、前記第1のRAW画像から前記第1の画像が生成され際に用いられたホワイトバランス係数と、前記第2のRAW画像において前記第2の比較領域に対応する領域の各色の輝度と、を用いて前記補正係数を演算することを特徴とする構成2に記載の画像処理装置。
(構成4)前記ホワイトバランス係数は、前記第1の画像を撮像した撮像装置において前記第1のRAW画像の属性情報に含まれることを特徴とする構成3に記載の画像処理装置。
(構成5)前記検出手段は、前記第1の比較領域と前記第2の比較領域を同じ方法で検出することを特徴とする構成1乃至4のいずれか1つに記載の画像処理装置。
(構成6)前記第1の比較領域を決定するために用いられた方法と前記第1の比較領域の座標情報とを有する比較領域情報を生成する生成手段を備え、前記検出手段は、前記比較領域情報がある場合に、前記比較領域情報に基づいて前記第2の比較領域を検出することを特徴とする構成5に記載の画像処理装置。
(構成7)前記検出手段は、前記第1の比較領域と前記第2の比較領域を、予め定められた広さ閾値以上の面積を有する正常な組織領域から検出することを特徴とする構成1乃至6のいずれか1つに記載の画像処理装置。
(構成8)前記検出手段は、前記第1の比較領域と前記第2の比較領域を、前記傷病領域から予め定められた閾距離以上離れている領域から検出することを特徴とする構成7に記載の画像処理装置。
(構成9)前記閾距離は前記傷病ごとに定められていることを特徴とする構成8に記載の画像処理装置。
(構成10)前記検出手段は、前記第1の比較領域と前記第2の比較領域を、前記傷病の発症確率が予め定められた発症閾値よりも小さい部位から検出することを特徴とする構成1乃至9のいずれか1つに記載の画像処理装置。
(構成11)前記検出手段は、前記第1の比較領域および前記第2の比較領域として、既知の背景または器具の領域を検出することを特徴とする構成1乃至10のいずれか1つに記載の画像処理装置。
(構成12)前記検出手段は、異なる傷病ごとに前記傷病領域がある場合に、前記第1の比較領域および第2の比較領域を、前記第1の画像と前記第2の画像のそれぞれについて前記異なる傷病ごとに経時的に変化する可能性が低い領域を検出し、前記検出された複数の領域のうち最も低い領域に決定することを特徴とする構成1乃至11のいずれか1つに記載の画像処理装置。
(構成13)前記検出手段は、前記第1の比較領域および前記第2の比較領域を、前記検出された複数の領域が重なる領域に決定することを特徴とする構成12に記載の画像処理装置。
(構成14)コンピュータを構成1乃至13のいずれか1項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。
(方法1)同一患者の同一の傷病領域を含むように撮影された第1の画像と第2の画像を取得するステップと、前記第1の画像および前記第2の画像それぞれの前記傷病領域を除いた領域から経時的に変化する可能性の低い領域を第1の比較領域および第2の比較領域として検出するステップと、前記第2の比較領域の色および輝度を前記第1の比較領域の色および輝度に合わせるための補正係数を演算するステップと、前記補正係数を用いて前記第2の画像の色および輝度を補正した画像を生成するステップと、を有することを特徴とする画像処理装置の制御方法。
(構成1)同一患者の同一の傷病領域を含むように撮影された第1の画像と第2の画像を取得する第1の取得手段と、前記第1の画像および前記第2の画像それぞれの前記傷病領域を除いた領域から経時的に変化する可能性の低い領域を第1の比較領域および第2の比較領域として検出する検出手段と、前記第2の比較領域の色および輝度を前記第1の比較領域の色および輝度に合わせるための補正係数を演算する演算手段と、前記補正係数を用いて前記第2の画像の色および輝度を補正した画像を生成する補正手段と、を備えることを特徴とする画像処理装置。
(構成2)前記第1の画像の元の第1のRAW画像と前記第2の画像の元の第2のRAW画像を取得する第2の取得手段を備え、前記補正手段による前記第2の画像の色および輝度を補正した画像の生成は、前記第2のRAW画像に対する前記補正係数を用いた現像処理によって行われることを特徴とする構成1に記載の画像処理装置。
(構成3)前記演算手段は、前記第1のRAW画像において前記第1の比較領域に対応する領域の各色の輝度と、前記第1のRAW画像から前記第1の画像が生成され際に用いられたホワイトバランス係数と、前記第2のRAW画像において前記第2の比較領域に対応する領域の各色の輝度と、を用いて前記補正係数を演算することを特徴とする構成2に記載の画像処理装置。
(構成4)前記ホワイトバランス係数は、前記第1の画像を撮像した撮像装置において前記第1のRAW画像の属性情報に含まれることを特徴とする構成3に記載の画像処理装置。
(構成5)前記検出手段は、前記第1の比較領域と前記第2の比較領域を同じ方法で検出することを特徴とする構成1乃至4のいずれか1つに記載の画像処理装置。
(構成6)前記第1の比較領域を決定するために用いられた方法と前記第1の比較領域の座標情報とを有する比較領域情報を生成する生成手段を備え、前記検出手段は、前記比較領域情報がある場合に、前記比較領域情報に基づいて前記第2の比較領域を検出することを特徴とする構成5に記載の画像処理装置。
(構成7)前記検出手段は、前記第1の比較領域と前記第2の比較領域を、予め定められた広さ閾値以上の面積を有する正常な組織領域から検出することを特徴とする構成1乃至6のいずれか1つに記載の画像処理装置。
(構成8)前記検出手段は、前記第1の比較領域と前記第2の比較領域を、前記傷病領域から予め定められた閾距離以上離れている領域から検出することを特徴とする構成7に記載の画像処理装置。
(構成9)前記閾距離は前記傷病ごとに定められていることを特徴とする構成8に記載の画像処理装置。
(構成10)前記検出手段は、前記第1の比較領域と前記第2の比較領域を、前記傷病の発症確率が予め定められた発症閾値よりも小さい部位から検出することを特徴とする構成1乃至9のいずれか1つに記載の画像処理装置。
(構成11)前記検出手段は、前記第1の比較領域および前記第2の比較領域として、既知の背景または器具の領域を検出することを特徴とする構成1乃至10のいずれか1つに記載の画像処理装置。
(構成12)前記検出手段は、異なる傷病ごとに前記傷病領域がある場合に、前記第1の比較領域および第2の比較領域を、前記第1の画像と前記第2の画像のそれぞれについて前記異なる傷病ごとに経時的に変化する可能性が低い領域を検出し、前記検出された複数の領域のうち最も低い領域に決定することを特徴とする構成1乃至11のいずれか1つに記載の画像処理装置。
(構成13)前記検出手段は、前記第1の比較領域および前記第2の比較領域を、前記検出された複数の領域が重なる領域に決定することを特徴とする構成12に記載の画像処理装置。
(構成14)コンピュータを構成1乃至13のいずれか1項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。
(方法1)同一患者の同一の傷病領域を含むように撮影された第1の画像と第2の画像を取得するステップと、前記第1の画像および前記第2の画像それぞれの前記傷病領域を除いた領域から経時的に変化する可能性の低い領域を第1の比較領域および第2の比較領域として検出するステップと、前記第2の比較領域の色および輝度を前記第1の比較領域の色および輝度に合わせるための補正係数を演算するステップと、前記補正係数を用いて前記第2の画像の色および輝度を補正した画像を生成するステップと、を有することを特徴とする画像処理装置の制御方法。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
例えば、上記実施形態では、1つの傷病に対して一意に傷病特性が決まるものとしたが、患者の年齢に応じて部位の発症確率が異なる場合には、年齢を加味した傷病特性テーブルを準備して所望の情報を取得するようにしてもよい。
また、上記実施形態では、撮像装置101、電子カルテ表示端末103、電子カルテ管理端末104、画像管理端末105及び画像処理装置106をそれぞれ物理的に個別の機器としている。但し、このような構成に限られず、例えば電子カルテ表示端末103に撮像装置101の構成を設ける等して、2つ以上の機器の機能を1つの機器で実現させてもよい。
更に上記実施形態では、RAW画像に対して色・輝度補正処理を伴う現像処理を行った。これに限らず、WB処理以降の画像処理が既知であり、色及び輝度に関して、非線形な画像処理が行われていないか又は非線形であっても逆変換によりWB処理直後の状態の画像へと戻せる画像データであれば、RAW画像と同様に扱うことができる。
上記実施形態では、撮像装置101で生成されたカメラ内現像画像を用いて比較領域の検出を行った。これに限らず、撮像装置101は、撮像部200は属性情報と撮像により生成したRAW画像を画像処理装置106へ送信し、画像処理装置106で患部画像ファイルを生成するようにしてもよい。この場合、画像処理装置106は、属性情報に基づいてRAW画像を図6のフローチャートに従って現像処理して現像画像を生成し、また、現像画像のサムネイルを生成して、患部画像ファイル生成する。そして、現像画像を用いて比較領域を検出し、患部画像ファイルと比較領域情報とを関連付けて、画像管理端末105へ送信する。そして、補正対象画像の色・輝度補正処理を伴う現像処理を図9のフローチャートに従って行うことにより、色・輝度を基準画像に合わせた現像画像を生成することができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 医療システム
101 撮像装置
106 画像処理装置
105 画像管理端末
110 画像情報DB
501 CPU
503 RAM
505 HDD
507 通信I/F
1007 基準画像
1008 カメラ内現像画像
1007a,1008a 比較領域
101 撮像装置
106 画像処理装置
105 画像管理端末
110 画像情報DB
501 CPU
503 RAM
505 HDD
507 通信I/F
1007 基準画像
1008 カメラ内現像画像
1007a,1008a 比較領域
Claims (15)
- 同一患者の同一の傷病領域を含むように撮影された第1の画像と第2の画像を取得する第1の取得手段と、
前記第1の画像および前記第2の画像それぞれの前記傷病領域を除いた領域から経時的に変化する可能性の低い領域を第1の比較領域および第2の比較領域として検出する検出手段と、
前記第2の比較領域の色および輝度を前記第1の比較領域の色および輝度に合わせるための補正係数を演算する演算手段と、
前記補正係数を用いて前記第2の画像の色および輝度を補正した画像を生成する補正手段と、を備えることを特徴とする画像処理装置。 - 前記第1の画像の元の第1のRAW画像と前記第2の画像の元の第2のRAW画像を取得する第2の取得手段を備え、
前記補正手段による前記第2の画像の色および輝度を補正した画像の生成は、前記第2のRAW画像に対する前記補正係数を用いた現像処理によって行われることを特徴とする請求項1に記載の画像処理装置。 - 前記演算手段は、前記第1のRAW画像において前記第1の比較領域に対応する領域の各色の輝度と、前記第1のRAW画像から前記第1の画像が生成され際に用いられたホワイトバランス係数と、前記第2のRAW画像において前記第2の比較領域に対応する領域の各色の輝度と、を用いて前記補正係数を演算することを特徴とする請求項2に記載の画像処理装置。
- 前記ホワイトバランス係数は、前記第1の画像を撮像した撮像装置において前記第1のRAW画像の属性情報に含まれることを特徴とする請求項3に記載の画像処理装置。
- 前記検出手段は、前記第1の比較領域と前記第2の比較領域を同じ方法で検出することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記第1の比較領域を決定するために用いられた方法と前記第1の比較領域の座標情報とを有する比較領域情報を生成する生成手段を備え、
前記検出手段は、前記比較領域情報がある場合に、前記比較領域情報に基づいて前記第2の比較領域を検出することを特徴とする請求項5に記載の画像処理装置。 - 前記検出手段は、前記第1の比較領域と前記第2の比較領域を、予め定められた広さ閾値以上の面積を有する正常な組織領域から検出することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記検出手段は、前記第1の比較領域と前記第2の比較領域を、前記傷病領域から予め定められた閾距離以上離れている領域から検出することを特徴とする請求項7に記載の画像処理装置。
- 前記閾距離は前記傷病ごとに定められていることを特徴とする請求項8に記載の画像処理装置。
- 前記検出手段は、前記第1の比較領域と前記第2の比較領域を、前記傷病の発症確率が予め定められた発症閾値よりも小さい部位から検出することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記検出手段は、前記第1の比較領域および前記第2の比較領域として、既知の背景または器具の領域を検出することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記検出手段は、異なる傷病ごとに前記傷病領域がある場合に、前記第1の比較領域および第2の比較領域を、前記第1の画像と前記第2の画像のそれぞれについて前記異なる傷病ごとに経時的に変化する可能性が低い領域を検出し、前記検出された複数の領域のうち最も低い領域に決定することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記検出手段は、前記第1の比較領域および前記第2の比較領域を、前記検出された複数の領域が重なる領域に決定することを特徴とする請求項12に記載の画像処理装置。
- 同一患者の同一の傷病領域を含むように撮影された第1の画像と第2の画像を取得するステップと、
前記第1の画像および前記第2の画像それぞれの前記傷病領域を除いた領域から経時的に変化する可能性の低い領域を第1の比較領域および第2の比較領域として検出するステップと、
前記第2の比較領域の色および輝度を前記第1の比較領域の色および輝度に合わせるための補正係数を演算するステップと、
前記補正係数を用いて前記第2の画像の色および輝度を補正した画像を生成するステップと、を有することを特徴とする画像処理装置の制御方法。 - コンピュータを請求項1乃至13のいずれか1項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022158021A JP2024051715A (ja) | 2022-09-30 | 2022-09-30 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022158021A JP2024051715A (ja) | 2022-09-30 | 2022-09-30 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024051715A true JP2024051715A (ja) | 2024-04-11 |
Family
ID=90623215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022158021A Pending JP2024051715A (ja) | 2022-09-30 | 2022-09-30 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024051715A (ja) |
-
2022
- 2022-09-30 JP JP2022158021A patent/JP2024051715A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102018565B1 (ko) | 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램 | |
JP4328399B2 (ja) | 画像処理装置、画像処理方法、及び記憶媒体 | |
US8830308B2 (en) | Image management apparatus, image management method and computer-readable recording medium associated with medical images | |
US10403398B2 (en) | Efficient management of visible light still images and/or video | |
JP2021191423A (ja) | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム | |
JP2009136376A (ja) | 画像処理装置およびそのプログラム | |
JP2001258044A (ja) | 医療用画像処理装置 | |
KR20140049919A (ko) | 디지털 방사선 영상 관찰을 위한 라이트 박스 효과 | |
JP2019531788A (ja) | 自己色調補正による創傷評価のための画像撮影方法及びシステム | |
CN112638239A (zh) | 图像处理系统、摄像设备、图像处理设备、电子装置及其控制方法和存储控制方法的存储介质 | |
JP2022069464A (ja) | コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法 | |
JP5856931B2 (ja) | 医療画像管理装置、医療画像管理方法、医療画像管理プログラム | |
WO2009125624A1 (ja) | 小規模施設用医用画像処理装置、医用画像処理方法及びプログラム | |
JP2022137109A (ja) | 画像表示システム、及び画像表示方法 | |
JP7094691B2 (ja) | 放射線撮影システム、放射線撮影方法、制御装置及びプログラム | |
AU2021405157A1 (en) | Joint angle determination under limited visibility | |
JP2024051715A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2013198683A (ja) | 撮影システム及びその制御方法、並びに、プログラム | |
JP2021019677A (ja) | 教師画像生成プログラム、教師画像生成方法、および教師画像生成システム | |
JP6116375B2 (ja) | 診断支援システム | |
EP3375373A1 (en) | Automatic protocol selection for an imaging device | |
JP2021137344A (ja) | 医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム | |
JP4027842B2 (ja) | 医療用画像記録装置 | |
WO2021171444A1 (ja) | 教師データ生成装置、教師データ生成方法、記録装置及び記録方法 | |
JP2013180064A (ja) | 放射線撮影装置及び放射線撮影装置の制御方法、放射線撮影情報の処理装置及び放射線撮影情報の表示処理方法 |