JP7504906B2 - 画像処理装置、画像処理システム、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理システム、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP7504906B2 JP7504906B2 JP2021555750A JP2021555750A JP7504906B2 JP 7504906 B2 JP7504906 B2 JP 7504906B2 JP 2021555750 A JP2021555750 A JP 2021555750A JP 2021555750 A JP2021555750 A JP 2021555750A JP 7504906 B2 JP7504906 B2 JP 7504906B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- wavelength
- spectral transmittance
- image processing
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 155
- 238000003672 processing method Methods 0.000 title claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 137
- 238000002834 transmittance Methods 0.000 claims description 103
- 239000013598 vector Substances 0.000 claims description 71
- 238000005286 illumination Methods 0.000 claims description 62
- 238000003384 imaging method Methods 0.000 claims description 62
- 230000001678 irradiating effect Effects 0.000 claims description 33
- 238000001574 biopsy Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 18
- 238000001266 bandaging Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 210000001519 tissue Anatomy 0.000 description 136
- 238000000034 method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000010827 pathological analysis Methods 0.000 description 9
- 210000004369 blood Anatomy 0.000 description 8
- 239000008280 blood Substances 0.000 description 8
- 239000007787 solid Substances 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013188 needle biopsy Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000002381 plasma Anatomy 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Description
本開示は、生検、特に内視鏡針生検で採集した生体組織を含む検体を解析する。
従来、生検、特に内視鏡針生検における術中迅速細胞診においては、シャーレに吐出された検体が血液に埋もれているうえ、他の組織と絡み合って固まりとなっていることが多い。このため、生検検体をマクロ的に評価するプロセスであるＭＯＳＥ（Macroscopic On-Site Evaluation）においては、医師がピンセット等で固まりをほぐして、病理診断に必要な対象臓器の生きている組織、所謂「コア組織」を他の生体組織から分離した後、コア組織の量を計測し、この計測結果に基づいて検体の再採取を行うか否かの判断を行っている（例えば非特許文献１を参照）。
Takuji Iwashita, Ichiro Yasuda，"Macroscopic on-site quality evaluation of biopsy specimens to improve the diagnostic accuracy during EUS-guided FNA using a 19-gauge needle for solid lesions: a single-center prospective pilot study (MOSE study) "GASTROINTESTINAL ENDOSCOPY ,Volume 81，NO.１， 12015，pp. 177-185
しかしながら、従来のＭＯＳＥでは、医師が検体からコア組織とその他の組織とを手動で分離し、コア組織の組織量を主観評価で行っているため、特に経験の少ない医師にとって分離作業が煩雑なうえ、その後の病理診断に必要なコア組織の組織量が十分にあるかどうかを判断することが難しかった。
本開示は、上記に鑑みてなされたものであって、生検の検体に対して、簡易な作業で病理診断に必要なコア組織の量が十分であるがどうかを判断することができる画像処理装置、画像処理システム、画像処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示に係る画像処理装置は、光を透過可能なステージに対して所定の波長帯域の照明光が照射され、かつ、該ステージを透過した光を撮像することによって生成された第１の波長画像と、生検により取得されたコア組織を含む検体であって、前記ステージ上に載置された状態の検体に対して前記所定の波長帯域の照明光が照射され、かつ、該ステージおよび前記検体を透過した光を撮像することによって生成された第２の波長画像と、を取得する取得部と、前記第１の波長画像および前記第２の波長画像に基づいて、分光透過率画像を算出する算出部と、前記分光透過率画像および前記第２の波長画像の少なくとも一方を表示画像として表示部に表示させる表示制御部と、前記表示画像における基準領域を指定する指定信号に基づいて、前記基準領域の分光透過率と類似する前記分光透過率画像の領域を前記コア組織のコア組織領域として抽出する抽出部と、前記コア組織領域の量を演算する演算部と、を備える。
また、本開示に係る画像処理装置は、光を透過可能なステージに対して所定の波長帯域の照明光が照射され、かつ、該ステージを透過した光を撮像することによって生成された第１の波長画像と、生検により取得されたコア組織を含む検体であって、前記ステージ上に載置された状態の検体に対して前記所定の波長帯域の照明光が照射され、かつ、該ステージおよび前記検体を透過した光を撮像することによって生成された第２の波長画像と、を取得する取得部と、前記第１の波長画像および前記第２の波長画像に基づいて、分光透過率画像を算出する算出部と、前記分光透過率画像における各画素の分光ベクトルを算出するベクトル算出部と、前記各画素の分光ベクトルおよび基準ベクトルの類似度に基づいて、前記分光透過率画像の各画素を、少なくとも２つ以上のグループに分類する分類部と、前記分光透過率画像を所定の画素毎に分割した複数のブロックのうち、前記基準ベクトルと類似度が高いグループに属する画素が多いブロックの領域を基準領域として設定する設定部と、前記基準領域の分光透過率と類似する前記分光透過率画像の領域を前記コア組織のコア組織領域として抽出する抽出部と、前記コア組織領域の量を演算する演算部と、を備える。
また、本開示に係る画像処理装置は、上記開示において、前記分類部は、前記各画素の分光ベクトルおよび複数の基準ベクトルの各々の類似度に基づいて、前記分光透過率画像の各画素を、３つ以上のグループに分類し、前記設定部は、前記複数の基準ベクトルの各々の前記基準領域を設定する。
また、本開示に係る画像処理装置は、上記開示において、前記コア組織領域の量と閾値を表示部に表示させる表示制御部をさらに備える。
また、本開示に係る画像処理装置は、上記開示において、前記コア組織の量が閾値以上であるか否かを判定する判定部と、前記判定部によって前記コア組織領域の量が閾値以上でないと判定された場合、前記コア組織の量が異常である旨の警告を表示部に表示させる表示制御部と、をさらに備える。
また、本開示に係る画像処理装置は、上記開示において、前記表示制御部は、前記コア組織領域の量と閾値を表示部に表示させる。
また、本開示に係る画像処理装置は、上記開示において、前記コア組織領域の量が閾値以上である否かを判定する判定部をさらに備え、前記表示制御部は、前記判定部によって前記コア組織領域の量が閾値以上でないと判定された場合、前記コア組織の量が異常である旨の警告を表示部に表示させる。
また、本開示に係る画像処理装置は、上記開示において、前記取得部は、光を透過可能なステージに対して所定の波長帯域毎のマルチバンドの照明光が順次照射され、かつ、該ステージを透過した光を順次撮像することによって生成された複数の前記第１の波長画像と、生検により取得されたコア組織を含む検体であって、前記ステージ上に載置された状態の検体に対して前記所定の波長帯域毎のマルチバンドの照明光が順次照射され、かつ、該ステージおよび前記検体を透過した光を順次撮像することによって生成された複数の前記第２の波長画像と、を取得し、前記算出部は、前記複数の前記第１の波長画像および前記複数の前記第２の波長画像の各々の波長の比率に基づいて、分光透過率画像を算出する。
また、本開示に係る画像処理システムは、上記の画像処理装置と、画像処理装置と、波長帯域を切り替え可能な照明光を照射する光源装置と、前記ステージを透過した光を撮像可能な撮像装置と、前記検体が前記ステージ上に載置されていない状態で、前記光源装置に前記照明光を照射させ、かつ、前記撮像装置に撮像させて前記第１の波長画像を生成させ、前記検体が前記ステージ上に載置されている状態で前記光源装置に前記照明光を照射させ、かつ、前記撮像装置に撮像させて前記第２の波長画像を生成させる制御部と、を備える。
また、本開示に係る画像処理システムは、上記開示において、前記光源装置は、波長帯域が半値幅３０ｎｍ以内の狭帯域光を少なくとも１つ含む照明光を照射する。
また、本開示に係る画像処理システムは、上記開示において、前記狭帯域光は、４１５ｎｍ、４３０ｎｍ、４６５ｎｍ、５０５ｎｍ、５４５ｎｍ、６００ｎｍ、６３０ｎｍ、６６０ｎｍおよび７００ｎｍのいずれか１つをピークとする波長帯域である。
また、本開示に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、光を透過可能なステージに対して所定の波長帯域の照明光が照射され、かつ、該ステージを透過した光を撮像することによって生成された第１の波長画像と、生検により取得されたコア組織を含む検体であって、前記ステージ上に載置された状態の検体に対して前記所定の波長帯域の照明光が照射され、かつ、該ステージおよび前記検体を透過した光を撮像することによって生成された第２の波長画像と、を取得する取得ステップと、前記第１の波長画像および前記第２の波長画像に基づいて、分光透過率画像を算出する算出ステップと、前記分光透過率画像および前記第２の波長画像の少なくとも一方を表示画像として表示部に表示させる表示制御ステップと、前記表示画像における基準領域を指定する指定信号に基づいて、前記基準領域の分光透過率と類似する前記分光透過率画像の領域を前記コア組織のコア組織領域として抽出する抽出ステップと、前記コア組織領域の量を演算する演算ステップと、を含む。
また、本開示に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、光を透過可能なステージに対して所定の波長帯域の照明光が照射され、かつ、該ステージを透過した光を撮像することによって生成された第１の波長画像と、生検により取得されたコア組織を含む検体であって、前記ステージ上に載置された状態の検体に対して前記所定の波長帯域の照明光が照射され、かつ、該ステージおよび前記検体を透過した光を撮像することによって生成された第２の波長画像と、を取得する取得ステップと、前記第１の波長画像および前記第２の波長画像に基づいて、分光透過率画像を算出する算出ステップと、前記分光透過率画像における各画素の分光ベクトルを算出するベクトル算出ステップと、前記各画素の分光ベクトルおよび基準ベクトルの類似度に基づいて、前記分光透過率画像の各画素を、少なくとも２つ以上のグループに分類する分類ステップと、前記分光透過率画像を所定の画素毎に分割した複数のブロックのうち、前記基準ベクトルと類似度が高いグループに属する画素が多いブロックの領域を基準領域として設定する設定ステップと、前記基準領域の分光透過率と類似する前記分光透過率画像の領域を前記コア組織のコア組織領域として抽出する抽出ステップと、前記コア組織領域の量を演算する演算ステップと、を含む。
また、本開示に係るプログラムは、光を透過可能なステージに対して所定の波長帯域の照明光が照射され、かつ、該ステージを透過した光を撮像することによって生成された第１の波長画像と、生検により取得されたコア組織を含む検体であって、前記ステージ上に載置された状態の検体に対して前記所定の波長帯域の照明光が照射され、かつ、該ステージおよび前記検体を透過した光を撮像することによって生成された第２の波長画像と、を取得する取得ステップと、前記第１の波長画像および前記第２の波長画像に基づいて、分光透過率画像を算出する算出ステップと、前記分光透過率画像および前記第２の波長画像の少なくとも一方を表示画像として表示部に表示させる表示制御ステップと、前記表示画像における基準領域を指定する指定信号に基づいて、前記基準領域の分光透過率と類似する前記分光透過率画像の領域を前記コア組織のコア組織領域として抽出する抽出ステップと、前記コア組織領域の量を演算する演算ステップと、を実行させる。
また、本開示に係るプログラムは、画像処理装置が実行するプログラムであって、光を透過可能なステージに対して所定の波長帯域の照明光が照射され、かつ、該ステージを透過した光を撮像することによって生成された第１の波長画像と、生検により取得されたコア組織を含む検体であって、前記ステージ上に載置された状態の検体に対して前記所定の波長帯域の照明光が照射され、かつ、該ステージおよび前記検体を透過した光を撮像することによって生成された第２の波長画像と、を取得する取得ステップと、前記第１の波長画像および前記第２の波長画像に基づいて、分光透過率画像を算出する算出ステップと、前記分光透過率画像における各画素の分光ベクトルを算出するベクトル算出ステップと、前記各画素の分光ベクトルおよび基準ベクトルの類似度に基づいて、前記分光透過率画像の各画素を、少なくとも２つ以上のグループに分類する分類ステップと、前記分光透過率画像を所定の画素毎に分割した複数のブロックのうち、前記基準ベクトルと類似度が高いグループに属する画素が多いブロックの領域を基準領域として設定する設定ステップと、前記基準領域の分光透過率と類似する前記分光透過率画像の領域を前記コア組織のコア組織領域として抽出する抽出ステップと、前記コア組織領域の量を演算する演算ステップと、を実行させる。
本開示によれば、生検の検体に対して、病理診断に必要なコア組織の量が十分であるがどうかを判定することができるという効果を奏する。
以下、本開示を実施するための形態（以下、「実施の形態」という）について説明する。本実施の形態では、生検によって取得された検体のコア組織量を判定する画像処理システムを例に説明する。また、以下の実施の形態により本開示が限定されるものでない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
（実施の形態１）
〔画像処理システムの構成〕
図１は、実施の形態１に係る画像処理システムの概略構成を示す模式図である。図１に示す画像処理システム１は、シャーレ等の検体容器２に収容された検体ＳＰのコア組織の組織量が閾値以上であるか否かを判定する。画像処理システム１は、ステージ３と、光源装置４と、撮像装置５と、表示部６と、操作部７と、制御装置８と、を備える。なお、実施の形態１では、ステージ３、光源装置４、撮像装置５、表示部と、操作部７および制御装置８は、有線によって双方向に通信可能に接続されているが、これに限定されることなく、無線通信によって双方向に通信可能に接続されていてもよい。
〔画像処理システムの構成〕
図１は、実施の形態１に係る画像処理システムの概略構成を示す模式図である。図１に示す画像処理システム１は、シャーレ等の検体容器２に収容された検体ＳＰのコア組織の組織量が閾値以上であるか否かを判定する。画像処理システム１は、ステージ３と、光源装置４と、撮像装置５と、表示部６と、操作部７と、制御装置８と、を備える。なお、実施の形態１では、ステージ３、光源装置４、撮像装置５、表示部と、操作部７および制御装置８は、有線によって双方向に通信可能に接続されているが、これに限定されることなく、無線通信によって双方向に通信可能に接続されていてもよい。
ステージ３は、検体容器２が載置される載置面を有する。ステージ３は、透明な部材、例えばプラスチックやガラス等を用いて構成され、後述する光源装置４が照射する照明光を透過する。なお、ステージ３の構成や材質は、光源装置４の位置に応じて適宜変更してもよい。さらに、ステージ３は、所定の位置を基準に水平方向（Ｘ方向およびＹ方向）および垂直方向に移動可能に設けられてもよい。
光源装置４は、制御装置８の制御のもと、マルチバンドの照明光をステージ３に向けて照射する。光源装置４は、複数の光源部４１と、光源ドライバ４２と、を備える。
複数の光源部４１は、互いに異なる波長帯域の照明光を照射する。具体的には、複数の光源部４１は、第１の光源４１ａ～第８の光源４１ｈを有する。第１の光源４１ａ～第８の光源４１ｈは、ＬＥＤ（Light Emitting Diode）素子と、ＬＥＤ素子が発光した光における所定の波長帯域を透過するフィルタと、フィルタを透過した光を集光することによって照射する光学系と、を有する。光源ドライバ４２は、制御装置８の制御のもと、複数の光源部４１のいずれかに１つ以上に電流を供給する。
ここで、光源装置４が照射する照明光の分光特性について説明する。図２は、光源装置４が照射する照明光の分光特性を模式的に示す図である。図２において、横軸が波長（ｎｍ）を示し、縦軸が強度を示す。また、曲線Ｌ１が第１の光源４１ａの分光特性を示し、曲線Ｌ２が第２の光源４１ｂの分光特性を示し、曲線Ｌ３が第３の光源４１ｃの分光特性を示し、曲線Ｌ４が第４の光源４１ｄの分光特性を示し、曲線Ｌ５が第５の光源４１ｅの分光特性を示し、曲線Ｌ６が第６の光源４１ｆの分光特性を示し、曲線Ｌ７が第７の光源４１ｇの分光特性を示し、曲線Ｌ８が第８の光源４１ｈの分光特性を示す。
図２に示すように、光源装置４は、制御装置８の制御のもと、第１の光源４１ａ～第８の光源４１ｈのいずれか一つ以上を発光することによってマルチバンドの狭帯域の照明光をステージ３に向けて照射する。例えば、光源装置４は、制御装置８の制御のもと、曲線Ｌ５に示すように、第５の光源４１ｅを発光することによって、６００ｎｍをピークとする狭帯域なアンバー色の照明光を照射する。この場合、血液と、その他の組織のコントラストが高くなり、検体ＳＰのコア組織を容易に観察することができる。
撮像装置５は、制御装置８の制御のもと、ステージ３上に検体容器２を載置していない状態で、光源装置４が照射した照明光であって、少なくともステージ３を透過した照明光を撮像することによって画像データ（以下、「第１の波長画像」という）を生成する。また、撮像装置５は、制御装置８の制御のもと、ステージ３上に検体ＳＰが収容された検体容器２を載置した状態で、光源装置４が照射した照明光であって、少なくともステージ３および検体ＳＰを透過した照明光を撮像することによって画像データ（以下、「第２の画像画像」という）を生成する。撮像装置５は、第１の波長画像および第２の波長画像を制御装置８へ出力する。撮像装置５は、少なくとも被写体像を結像するレンズ等で構成された光学系と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサと、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の画像処理回路と、を用いて構成される。
表示部６は、制御装置８から入力された画像データに対応するライブビュー画像や表示画像を表示する。例えば、表示部６は、図３に示すように、制御装置８から入力された画像データに対応する画像Ｐ１を表示する。画像Ｐ１には、検体容器２に収容された検体ＳＰから分離された血液ＳＰ１、コア組織ＳＰ２（赤組織）、コア組織ＳＰ２以外の生体組織ＳＰ３（白組織）が含まれる。表示部６は、液晶や有機ＥＬ（Electro Luminescence）等の表示パネル等を用いて構成される。
操作部７は、画像処理システム１に関する各種の入力を受け付け、この受け付けた操作を制御装置８へ出力する。操作部７は、光源装置４が照射する波長帯域を指定する操作やモードの入力を受け付け、この受け付けた操作内容を制御装置８へ出力する。操作部７は、タッチパネル、スイッチ、ボタン、キーボード、マウス、フットスイッチ等を用いて構成される。なお、操作部７は、マイク等を用いた音声入力であっても適用することができる。もちろん、操作部７は、撮像装置および画像データに含まれるユーザの視線を検出する視線検出回路等を用いて構成し、ユーザの視線、例えば滞在時間に応じた入力を受け付けもよい。
制御装置８は、画像処理システム１の各部を制御する。制御装置８は、記録部８０と、制御部８１と、画像処理部８２と、を備える。
記録部８０は、画像処理システム１に関する各種情報や画像処理部８２が画像処理を施した画像データ等を記録する。また、記録部８０は、画像処理システム１が実行する各種のプログラムを記録するプログラム記録部８０１を有する。記録部８０は、揮発性メモリ、不揮発性メモリ、ＳＳＤ（Solid State Drive）およびＨＤＤ（Hard Disk Drive）等を用いて構成される。
制御部８１は、画像処理システム１を構成する各部を制御する。また、制御部８１は、操作部７の操作に応じて、光源装置４が照射する照明光の波長帯域を制御する。制御部８１は、メモリと、ＣＰＵ（Central Processing Unit）等のハードウエアを有するプロセッサを用いて構成される。また、制御部８１は、検体ＳＰが収容された検体容器２がステージ３上に載置されていない状態で、光源装置４に照明光を照射させ、かつ、撮像装置５に撮像させて第１の波長画像を生成させる。さらに、制御部８１は、検体ＳＰが収容された検体容器２がステージ３上に載置されている状態で光源装置４に照明光を照射させ、かつ、撮像装置５に撮像させて第２の波長画像を生成させる。
画像処理部８２は、撮像装置５から入力された画像データに対して、各種の画像処理を行って表示部６へ出力する。画像処理部８２は、メモリと、ＦＰＧＡ（Field Programmable Gate Array）またはＧＰＵ（Graphics Processing Unit）等のハードウエアを有するプロセッサを用いて構成される。画像処理部８２は、取得部８２１と、算出部８２２と、表示制御部８２３と、抽出部８２４と、判定部８２６と、を備える。なお、実施の形態１では、画像処理部８２が画像処理装置として機能する。
取得部８２１は、撮像装置５が生成した第１の波長画像および第２の波長画像を取得する。具体的には、取得部８２１は、光を透過可能なステージ３に対して所定の波長帯域の照明光を照射し、かつ、このステージ３を透過した光を撮像することによって生成された第１の波長画像を取得する。さらに、取得部８２１は、生検により取得されたコア組織を含む検体ＳＰであって、ステージ３上に載置された状態の検体に対して所定の波長帯域の照明光を照射し、かつ、このステージ３よび検体ＳＰを透過した光を撮像することによって生成された第２の波長画像を取得する。ここでは、取得部８２１は、検体ＳＰの撮像時に第１波長画像を取得しているが、あらかじめ第１波長画像を取得して外部メモリ等に記録しておき、このデータを読み出してきてもよい。
算出部８２２は、第１の波長画像および第２の波長画像に基づいて、分光透過率画像を算出することによって生成する。ここで、分光透過率画像とは、各画素における各波長帯域の分光透過率を算出した画像である。具体的には、算出部８２２は、第２の波長画像に対して第１の波長画像で除算することによって各画素における各波長帯域の分光透過率を算出する。
表示制御部８２３は、算出部８２２が算出することによって生成した分光透過率画像および第２の波長画像の少なくとも一方を表示画像として表示部６に表示させる。また、表示制御部８２３は、画像処理システム１に関する各種情報を表示する。
抽出部８２４は、ユーザによる操作に応じて操作部７が入力を受け付けた表示画像における基準領域を指定する指定信号に基づいて、基準領域の分光透過率と類似する分光透過率画像の領域をコア組織のコア組織領域として抽出する。
演算部８２５は、抽出部８２４が抽出したコア組織領域の量を演算する。例えば、演算部８２５は、撮像装置５の撮像素子の画素の中で、コア組織領域として抽出された画素の面積と撮像装置５の光学系の拡大倍率を用いて、検体ＳＰ内のコア組織領域の面積を求めて、この面積の値をコア組織領域の量とする。あるいは、演算部８２５は、上述と同様にしてコア組織領域の量として長さを演算してもよい。
〔画像処理システムの処理〕
次に、画像処理システム１が実行する処理について説明する。図４は、画像処理システム１が実行する処理の概要を示すフローチャートである。
次に、画像処理システム１が実行する処理について説明する。図４は、画像処理システム１が実行する処理の概要を示すフローチャートである。
図４に示すように、まず、制御部８１は、光源装置４にステージ３上に検体容器２が載置されていない状態で、所定の波長帯域の照明光を照射させ（ステップＳ１）、撮像装置５にステージ３を透過した光を撮像させることによって第１の波長画像を生成させる（ステップＳ２）。
続いて、制御部８１は、光源装置４にステージ上に検体容器２が載置された状態で、所定の波長帯域の照明光を照射させ（ステップＳ３）、撮像装置５にステージおよび検体ＳＰを透過した光を撮像させることによって第２の波長画像を生成させる（ステップＳ４）。
その後、画像処理部８２は、検体容器２内の検体ＳＰのコア組織の組織量が閾値以上であるか否かを判定する画像処理を行う（ステップＳ５）。
〔画像処理〕
図５は、上述したステップＳ５の画像処理の概要を示すフローチャートである。
図５は、上述したステップＳ５の画像処理の概要を示すフローチャートである。
図５に示すように、まず、取得部８２１は、撮像装置５から第１の波長画像および第２の波長画像を取得する（ステップＳ１０１）。
続いて、算出部８２２は、第１の波長画像および第２の波長画像の各々の波長の比率に基づいて、分光透過率画像を算出する（ステップＳ１０２）。
続いて、表示制御部８２３は、分光透過率画像または第２の波長画像の少なくとも一方を表示部６に表示させる（ステップＳ１０３）。なお、以下において、表示制御部８２３は、第２の波長画像を表示部６に表示させているものとして説明する。
その後、操作部７から表示部６によって表示された第２の波長画像における基準領域を指定する指定信号が入力された場合（ステップＳ１０４；Ｙｅｓ）、抽出部８２４は、指示信号に応じた基準領域における分光透過率と類似する分光透過率画像の領域をコア組織のコア組織領域として抽出する（ステップＳ１０５）。ステップＳ１０５の後、画像処理部８２は、後述するステップＳ１０６へ移行する。これに対して、操作部７から表示部６によって表示された第２の波長画像における基準領域を指定する指定信号が入力されていない場合（ステップＳ１０４：Ｎｏ）、画像処理部８２は、操作部７から指示信号が入力されるまで、この判断を繰り返す。
ステップＳ１０６において、演算部８２５は、抽出部８２４が抽出したコア組織領域の量を演算する。例えば、演算部８２５は、撮像装置５の撮像素子の画素の中で、コア組織領域として抽出された画素の面積と撮像装置５の光学系の拡大倍率を用いて、検体ＳＰ内のコア組織領域の面積を演算し、この面積の値をコア組織領域の量として演算する。
続いて、表示制御部８２３は、演算部８２５が演算した検体ＳＰのコア組織量の量と閾値とを表示部６に表示させる（ステップＳ１０７）。ここで、閾値とは、検体の再採取を必要としない値である。これにより、評価者またはユーザは、生検の検体ＳＰに対して、簡易な作業で病理診断に必要なコア組織の組織量が十分であるがどうかを直感的に判定することができる。ステップＳ１０７の後、画像処理装置１は、図４のメインルーチンへ戻り、本処理を終了する。
以上説明した実施の形態１によれば、表示制御部８２３が演算部８２５によって演算された検体ＳＰのコア組織量の量と閾値とを表示部６に表示させるので、生検の検体ＳＰに対して、評価者またはユーザが簡易な作業で病理診断に必要なコア組織の組織量が十分であるがどうかを判定することができる。
また、実施の形態１によれば、光源装置４と撮像装置５との絶対値による誤差の排除と撮像ムラ、例えば光源ムラ、色毎のムラ、光源装置４と撮像装置５との位置関係によるムラを除去することができるので、精度の高い判定を行うことができる。
また、実施の形態１によれば、表示制御部８２３が検体ＳＰのコア組織量の量と閾値とを表示部６に表示させるので、ユーザが検体ＳＰのコア組織量を直感的に把握することができる。
また、実施の形態１によれば、表示制御部８２３が検体ＳＰのコア組織量の量と閾値とを表示部６に表示させるので、評価者の熟練を必要とせず、作業時間を短縮することができる。
また、実施の形態１によれば、光源装置４が照射するマルチバンドの照明光として、波長帯域が半値幅３０ｎｍ以内の狭帯域光を少なくとも１つ含む照明光、例えば４１５ｎｍ、４３０ｎｍ、４６５ｎｍ、５０５ｎｍ、５４５ｎｍ、６００ｎｍ、６３０ｎｍ、６６０ｎｍおよび７００ｎｍのいずれか１つをピークとする波長帯域の狭帯域を含む照明光を照射するので、例えば６００ｎｍの場合におい、血液と固体組織との境界を高コントラストで表示することができ、５０５ｎｍの場合において、血液の色が薄いとき、背景と固体組織との境界を高コントラストで表示することができる。
（実施の形態１の変形例）
次に、実施の形態１の変形例について説明する。上述した実施の形態１では、演算部８２５が演算したコア組織領域の量と閾値とを表示部６に表示させることによって評価者やユーザにコア組織領域の量が十分であるか否かを判定させていたが、実施の形態１の変形例では、制御装置が判定する。以下においては、実施の形態１の変形例に係る画像処理システムの構成を説明後、実施の形態１の変形例に係る画像処理システムが実行する画像処理について説明する。なお、上述した実施の形態１に係る画像処理システム１と同一の構成には同一の符号を付して詳細な説明は、省略する。
次に、実施の形態１の変形例について説明する。上述した実施の形態１では、演算部８２５が演算したコア組織領域の量と閾値とを表示部６に表示させることによって評価者やユーザにコア組織領域の量が十分であるか否かを判定させていたが、実施の形態１の変形例では、制御装置が判定する。以下においては、実施の形態１の変形例に係る画像処理システムの構成を説明後、実施の形態１の変形例に係る画像処理システムが実行する画像処理について説明する。なお、上述した実施の形態１に係る画像処理システム１と同一の構成には同一の符号を付して詳細な説明は、省略する。
〔画像処理システムの構成〕
図６は、実施の形態１の変形例に係る画像処理システムの概略構成を示す模式図である。図６に示す画像処理システム１Ａは、上述した実施の形態１に係る制御装置８に代えて、制御装置８Ａを備える。制御装置８Ａは、上述した実施の形態１に係る画像処理部８２に代えて、画像処理部８２Ａを備える。
図６は、実施の形態１の変形例に係る画像処理システムの概略構成を示す模式図である。図６に示す画像処理システム１Ａは、上述した実施の形態１に係る制御装置８に代えて、制御装置８Ａを備える。制御装置８Ａは、上述した実施の形態１に係る画像処理部８２に代えて、画像処理部８２Ａを備える。
画像処理部８２Ａは、メモリと、ＦＰＧＡまたはＧＰＵ等のハードウエアを有するプロセッサを用いて構成される。画像処理部８２Ａは、上述した実施の形態１に係る画像処理部８２の構成に加えて、判定部８２６をさらに備える。
判定部８２６は、演算部８２５が演算したコア組織領域の量が閾値以上であるか否かを判定する。ここで、閾値とは、検体の再採取を必要としない値である。
〔画像処理〕
図７は、実施の形態１の変形例に係る画像処理部８２Ａが実行する画像処理の概要を示すフローチャートである。図７において、ステップＳ２０１～ステップＳ２０６は、上述した図５のステップＳ１０１～ステップＳ１０６それぞれに対応する。
図７は、実施の形態１の変形例に係る画像処理部８２Ａが実行する画像処理の概要を示すフローチャートである。図７において、ステップＳ２０１～ステップＳ２０６は、上述した図５のステップＳ１０１～ステップＳ１０６それぞれに対応する。
ステップＳ２０７において、判定部８２６は、演算部８２５が演算したコア組織領域の量が閾値以上であるか否かを判定する。判定部８２６によって演算部８２５が演算したコア組織領域の量が閾値以上であると判定された場合（ステップＳ２０７：Ｙｅｓ）、画像処理システム１Ａは、後述するステップＳ２０８へ移行する。これに対して、判定部８２６によって演算部８２５が演算したコア組織領域の量が閾値以上でないと判定された場合（ステップＳ２０７：Ｎｏ）、画像処理システム１Ａは、後述するステップＳ２０９へ移行する。
ステップＳ２０８において、表示制御部８２３は、検体ＳＰのコア組織量が正常である旨の情報を表示部６に表示させる。ステップＳ２０８の後、画像処理システム１Ａは、上述した図４のメインルーチンへ戻り、本処理を終了する。
ステップＳ２０９において、表示制御部８２３は、検体ＳＰのコア組織量が不足する旨の警告を表示部６に表示させる。ステップＳ２０９の後、画像処理システム１Ａは、上述した図４のメインルーチンへ戻り、本処理を終了する。
以上説明した実施の形態１の変形例によれば、判定部８２６が演算部８２５によって演算されたコア組織領域の量が閾値以上であるか否かを判定するので、生検の検体ＳＰに対して、簡易な作業で病理診断に必要なコア組織の組織量が十分であるがどうかを判定することができる。
また、実施の形態１の変形例によれば、表示制御部８２３が検体ＳＰのコア組織量が不足する旨の警告を表示部６に表示させるので、評価者やユーザが検体ＳＰのコア組織量を直感的に把握することができる。
また、実施の形態１の変形例によれば、表示制御部８２３が検体ＳＰのコア組織量が不足する旨の警告を表示部６に表示させるので、評価者やユーザの熟練を必要とせず、作業時間を短縮することができる。
（実施の形態２）
次に、実施の形態２について説明する。上述した実施の形態１では、ユーザが操作部７を操作することによってコア組織の分光透過率を手動で設定し、この設定結果に応じて領域を抽出していたが、実施の形態２では、コア組織の分光透過率を手動で設定し、この設定結果に応じて領域を抽出する。なお、上述した実施の形態１に係る画像処理システム１と同一の構成には同一の符号を付して詳細な説明を省略する。
次に、実施の形態２について説明する。上述した実施の形態１では、ユーザが操作部７を操作することによってコア組織の分光透過率を手動で設定し、この設定結果に応じて領域を抽出していたが、実施の形態２では、コア組織の分光透過率を手動で設定し、この設定結果に応じて領域を抽出する。なお、上述した実施の形態１に係る画像処理システム１と同一の構成には同一の符号を付して詳細な説明を省略する。
〔画像処理システムの構成〕
図８は、実施の形態２に係る画像処理システムの概略構成を示す模式図である。図８に示す画像処理システム１Ｂは、上述した実施の形態１に係る画像処理システム１の制御装置８に代えて、制御装置８Ｂを備える。また、制御装置８Ｂは、上述した実施の形態１に係る制御装置８の画像処理部８２に代えて、画像処理部８２Ｂを備える。
図８は、実施の形態２に係る画像処理システムの概略構成を示す模式図である。図８に示す画像処理システム１Ｂは、上述した実施の形態１に係る画像処理システム１の制御装置８に代えて、制御装置８Ｂを備える。また、制御装置８Ｂは、上述した実施の形態１に係る制御装置８の画像処理部８２に代えて、画像処理部８２Ｂを備える。
画像処理部８２Ｂは、メモリと、ＦＰＧＡまたはＧＰＵ等のハードウエアを有するプロセッサを用いて構成される。画像処理部８２Ａは、上述した実施の形態１に係る構成に加えて、ベクトル算出部８２７と、分類部８２８と、設定部８２９と、をさらに備える。
ベクトル算出部８２７は、分光透過率画像における各画素の分光ベクトルを算出する。
分類部８２８は、ベクトル算出部８２７が算出した各画素の分光ベクトルおよび基準ベクトルの類似度に基づいて、分光透過率画像の各画素を、少なくとも２つ以上のグループに分類する。分類部８２８は、各画素の分光ベクトルおよび複数の基準ベクトルの各々の類似度に基づいて、分光透過率画像の各画素を、３つ以上のグループに分類する。
設定部８２９は、分光透過率画像を所定の画素毎に分割した複数のブロックのうち、基準ベクトルと類似度が高いグループに属する画素が多いブロックの領域を基準領域として設定する。また、設定部８２９は、複数の基準ベクトルの各々の前記基準領域を設定する。
〔画像処理システムの処理〕
次に、画像処理システム１Ｂが実行する処理について説明する。図９は、画像処理システム１Ｂが実行する処理の概要を示すフローチャートである。
次に、画像処理システム１Ｂが実行する処理について説明する。図９は、画像処理システム１Ｂが実行する処理の概要を示すフローチャートである。
図９に示すように、まず、制御部８１は、光源装置４にステージ３上に検体容器２が載置されていない状態で、所定の波長帯域毎の照明光を順次照射させ（ステップＳ３０１）、撮像装置５にステージ３を透過した光を順次撮像させることによって複数の第１の波長画像を生成させる（ステップＳ３０２）。
続いて、制御部８１は、光源装置４にステージ上に検体容器２が載置された状態で、所定の波長帯域毎の照明光を順次照射させ（ステップＳ３０３）、撮像装置５にステージおよび検体ＳＰを透過した光を順次撮像させることによって第２の波長画像を生成させる（ステップＳ３０４）。
その後、画像処理部８２Ｂは、検体容器２内の検体ＳＰのコア組織の組織量が閾値以上であるか否かを判定する画像処理を行う（ステップＳ３０５）。ステップＳ３０５の後、画像処理システム１Ｂは、本処理を終了する。
〔画像処理〕
図９は、上述したステップＳ３０５の画像処理の概要を示すフローチャートである。
図９は、上述したステップＳ３０５の画像処理の概要を示すフローチャートである。
図９に示すように、まず、取得部８２１は、撮像装置５が順次生成した複数の第１の波長画像と複数の第２の波長画像とを取得する（ステップＳ４０１）。
続いて、算出部８２２は、照明光の波長帯域毎に第１の波長画像および第２の波長画像の各々の波長の比率に基づいて、照明光の波長帯域毎に分光透過率画像を算出する（ステップＳ４０２）。
その後、ベクトル算出部８２７は、分光透過率画像における各画素の分光ベクトルを算出する（ステップＳ４０３）。具体的には、ベクトル算出部８２７は、分光透過率画像における各画素の分光ベクトルｘ[ｉ，ｊ][ｋ]を算出する。ここで、［ｉ，ｊ］は、分光透過率画像の画素位置（ｉが水平方向の画素位置、ｊが垂直方向の画素位置）を示し、ｋは、ベクトルの次元数を表す。
続いて、分類部８２８は、ベクトル算出部８２７が算出した各画素の分光ベクトルおよび基準ベクトルの類似度に基づいて、分光透過率画像の各画素を、少なくとも２つ以上のグループに分類する（ステップＳ４０４）。具体的には、分類部８２８は、該当位置の画素の分光ベクトルをＸとし、基準位置の基準ベクトルをＹ、ｖを照明光の波長帯域の数（バンド数）とした場合、以下の式（１）によって該当位置の画素と基準ベクトルの類似度を算出する。
より具体的には、分類部８２８は、式（１）を用いて、全画素の分光ベクトルＸ[ｉ，ｊ][ｋ]に対してクラスタリング処理を行い、少なくとも３つクラスタＡ，Ｂ，Ｃに分類する。そして、分類部８２８は、Ａ，Ｂ，Ｃの３つのクラスタの重心位置の分光ベクトルと基準ベクトルであるＲｅｄ[ｋ]、Ｗｈｉｔｅ[ｋ]およびＢａｃｋｇｒｏｕｎｆ[ｋ]と比較することによって、クラスタＡ、クラスタＢおよびクラスタＣの各々が赤組織、白組織、背景のどれかに相当するか判定することによって分類する。ここで、基準ベクトルであるＲｅｄ[ｋ]は、予め臨床データとして検出された検体ＳＰのコア組織である赤組織の分光透過率ベクトルを示し、Ｗｈｉｔｅ[ｋ]は、予め臨床データとして検出された検体ＳＰのコア組織以外の白組織の分光透過率ベクトルを示し、Ｂａｃｋｇｒｏｕｎｆ[ｋ]は、予め臨床データとして検出された背景（血漿や組織液）の分光透過率ベクトルを示す。以下においては、分類部８２８は、クラスタＡを赤組織、クラスタＢを白組織およびクラスタＣを背景として分類する。そして、分類部８２８は、分光透過率画像全体を所定サイズのブロック、例えば８ｘ８画素に分けて、クラスタＡに属する画素が最も多いブロックをａ[ｒ]として探索する。さらに、分類部８２８は、分光透過率画像全体に対して、クラスタＢに属する画素が最も多いブロックをｂ[ｓ]として探索し、クラスタＣに属する画素が最も多いブロックをｃ[ｔ]として探索する。ここで、ｒ、ｓ、ｔは、それぞれの個数である。その後、分類部８２８は、ａ[ｒ]に対して、ｒが１の場合、当該ブロックをクラスタＡ、即ち、赤組織の基準位置（基準領域）をする。また、分類部８２８は、ｒが１以上の場合、各ブロックの平均ベクトルがＲｅｄ[ｋ]との類似度を最も大きいブロックを赤組織の基準位置（基準領域）とする。分類部８２８は、ｂ[ｓ]、ｃ[ｔ]に対して、上記同様に処理し、それぞれ白組織および背景の基準位置（基準領域）とする。
その後、設定部８２９は、分光透過率画像を所定の画素毎に分割した複数のブロックのうち、基準ベクトルと類似度が高いグループに属する画素が多いブロックの領域（基準領域）を基準領域として設定する（ステップＳ４０５）。
続いて、抽出部８２４は、設定部８２９が設定した基準領域をコア組織領域として抽出する（ステップＳ４０６）。
その後、演算部８２５は、抽出部８２４が抽出したコア組織領域の量を演算する（ステップＳ４０７）。例えば、演算部８２５は、撮像装置５の撮像素子の画素の中で、コア組織領域として抽出された画素の面積と撮像装置５の光学系の拡大倍率を用いて、検体ＳＰ内のコア組織領域の面積を演算し、この面積の値をコア組織領域の量として演算する。
続いて、表示制御部８２３は、演算部８２５が演算した検体ＳＰのコア組織量の量と閾値とを表示部６に表示させる（ステップＳ４０８）。これにより、評価者またはユーザは、生検の検体ＳＰに対して、簡易な作業で病理診断に必要なコア組織の組織量が十分であるがどうかを直感的に判定することができる。ステップＳ４０８の後、画像処理装置１Ｂは、図９のメインルーチンへ戻り、本処理を終了する。
以上説明した実施の形態２によれば、設定部８２９が分光透過率画像を所定の画素毎に分割した複数のブロックのうち、基準ベクトルと類似度が高いグループに属する画素が多いブロックの領域を基準領域として設定するので、生検の検体に対して、簡易な作業で病理診断に必要なコア組織の量が十分であるがどうかを自動的に判定することができる。
また、実施の形態２によれば、分類部８２８がベクトル算出部８２７によって算出された各画素の分光ベクトルおよび基準ベクトルの類似度に基づいて、分光透過率画像の各画素を、少なくとも２つ以上のグループに分類するので、血液、白色組織、赤色組織および背景のセグメンテーションを正確に行うことができる。
また、実施の形態２によれば、表示制御部８２３が検体ＳＰのコア組織量の量と閾値とを表示部６に表示させるので、評価書またはユーザが検体ＳＰのコア組織量を直感的に把握することができる。
また、実施の形態２によれば、表示制御部８２３が検体ＳＰのコア組織量の量と閾値とを表示部６に表示させるので、評価書またはユーザの熟練を必要とせず、作業時間を短縮することができる。
また、実施の形態２によれば、光源装置４が照射するマルチバンドの照明光として、波長帯域が半値幅３０ｎｍ以内の狭帯域光を少なくとも１つ含む照明光、例えば４１５ｎｍ、４３０ｎｍ、４６５ｎｍ、５０５ｎｍ、５４５ｎｍ、６００ｎｍ、６３０ｎｍ、６６０ｎｍおよび７００ｎｍのいずれか１つをピークとする波長帯域の狭帯域を含む照明光を照射するので、例えば６００ｎｍの場合におい、血液と固体組織との境界を高コントラストで表示することができ、５０５ｎｍの場合において、血液の色が薄いとき、背景と固体組織との境界を高コントラストで表示することができる。
（実施の形態２の変形例）
次に、上述した実施の形態２では、演算部８２５が演算したコア組織領域の量と閾値とを表示部６に表示させることによって評価者やユーザにコア組織領域の量が十分であるか否かを判定させていたが、実施の形態２の変形例では、制御装置が判定する。以下においては、実施の形態２の変形例に係る画像処理システムの構成を説明後、実施の形態２の変形例に係る画像処理システムが実行する画像処理について説明する。なお、上述した実施の形態２に係る画像処理システム１Ｂと同一の構成には同一の符号を付して詳細な説明は、省略する。
次に、上述した実施の形態２では、演算部８２５が演算したコア組織領域の量と閾値とを表示部６に表示させることによって評価者やユーザにコア組織領域の量が十分であるか否かを判定させていたが、実施の形態２の変形例では、制御装置が判定する。以下においては、実施の形態２の変形例に係る画像処理システムの構成を説明後、実施の形態２の変形例に係る画像処理システムが実行する画像処理について説明する。なお、上述した実施の形態２に係る画像処理システム１Ｂと同一の構成には同一の符号を付して詳細な説明は、省略する。
〔画像処理システムの構成〕
図１１は、実施の形態２の変形例に係る画像処理システムの概略構成を示す模式図である。図１１に示す画像処理システム１Ｃは、上述した実施の形態２に係る制御装置８Ｂに代えて、制御装置８Ｃを備える。制御装置８Ｃは、上述した実施の形態１に係る画像処理部８２Ｂに代えて、画像処理部８２Ｃを備える。
図１１は、実施の形態２の変形例に係る画像処理システムの概略構成を示す模式図である。図１１に示す画像処理システム１Ｃは、上述した実施の形態２に係る制御装置８Ｂに代えて、制御装置８Ｃを備える。制御装置８Ｃは、上述した実施の形態１に係る画像処理部８２Ｂに代えて、画像処理部８２Ｃを備える。
画像処理部８２Ｃは、メモリと、ＦＰＧＡまたはＧＰＵ等のハードウエアを有するプロセッサを用いて構成される。画像処理部８２Ｃは、上述した実施の形態１の変形例に係る判定部８２６をさらに備える。
〔画像処理〕
図１２は、実施の形態２の変形例に係る画像処理装置８２Ｃが実行する画像処理の概要を示すフローチャートである。ステップＳ５０１～ステップＳ５０７は、上述した図１０のステップＳ４０１～ステップＳ４０７それぞれに対応する。
図１２は、実施の形態２の変形例に係る画像処理装置８２Ｃが実行する画像処理の概要を示すフローチャートである。ステップＳ５０１～ステップＳ５０７は、上述した図１０のステップＳ４０１～ステップＳ４０７それぞれに対応する。
ステップＳ５０８において、判定部８２６は、演算部８２５が演算したコア組織領域の量が閾値以上であるか否かを判定する。判定部８２６によって演算部８２５が演算したコア組織領域の量が閾値以上であると判定された場合（ステップＳ５０８：Ｙｅｓ）、画像処理システム１Ｃは、後述するステップＳ５０９へ移行する。これに対して、判定部８２６によって演算部８２５が演算したコア組織領域の量が閾値以上でないと判定された場合（ステップＳ５０８：Ｎｏ）、画像処理システム１Ｃは、後述するステップＳ３１０へ移行する。なお、判定部８２６は、コア組織以外にも、白組織の量が閾値以上であるか否かを判定してもよい。
ステップＳ５０９において、表示制御部８２３は、検体ＳＰのコア組織量が正常である旨の情報を表示部６に表示させる。ステップＳ５０９の後、画像処理システム１Ｃは、上述した図９のメインルーチンへ戻り、本処理を終了する。
ステップＳ５１０において、表示制御部８２３は、検体ＳＰのコア組織量が不足する旨の警告を表示部６に表示させる。ステップＳ５１０の後、画像処理システム１Ａは、上述した図９のメインルーチンへ戻り、本処理を終了する。
また、実施の形態２によれば、表示制御部８２３が検体ＳＰのコア組織量が不足する旨の警告を表示部６に表示させるので、評価書またはユーザが検体ＳＰのコア組織量を直感的に把握することができる。
また、実施の形態２によれば、表示制御部８２３が検体ＳＰのコア組織量が不足する旨の警告を表示部６に表示させるので、評価書またはユーザの熟練を必要とせず、作業時間を短縮することができる。
（その他の実施の形態）
上述した実施の形態１，２および変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の形態を形成することができる。例えば、上述した実施の形態１，２および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１，２および変形例で説明した構成要素を適宜組み合わせてもよい。
上述した実施の形態１，２および変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の形態を形成することができる。例えば、上述した実施の形態１，２および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１，２および変形例で説明した構成要素を適宜組み合わせてもよい。
また、実施の形態１，２および変形例では、光源装置、撮像装置、表示部、操作部および制御装置の各々が別体であったが、一体的に形成してもよい。
また、実施の形態１，２および変形例では、制御装置８，８Ａ，８Ｂ，８Ｃと撮像装置５とが有線によって接続されていたが、これに限定されることなく、例えば無線通信によって双方向に通信可能に構成してもよい。即ち、ステージ３、光源装置４、撮像装置５のみを臨床現場に配置し、制御装置８，８Ａ，８Ｂ，８Ｃ、表示部６、操作部７を別の観察室等に配置し、双方向に無線通信または有線通信を行うことによって検体ＳＰのコア組織量を判定してもよい。
また、実施の形態１，２および変形例では、ステージ３上に検体ＳＰが載置されていない状態を撮像装置５が撮像して第１の波長画像を生成しているが、例えば第１の波長画像を予め記録部８０に記録させ、この記録部８０に記録させた第１の波長画像を用いて、算出部８２２が分光透過率画像を生成してもよい。
また、実施の形態１，２および変形例では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
また、実施の形態１，２および変形例に係る画像処理システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、実施の形態１，２および変形例に係る画像処理システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本開示に係る検体解析装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
１，１Ａ，１Ｂ，１Ｃ 画像処理システム
２ 検体容器
３ ステージ
４ 光源装置
５ 撮像装置
６ 表示部
７ 操作部
８，８Ａ，８Ｂ，８Ｃ 制御装置
４１ 光源部
４１ａ～４１ｈ 第１の光源
４２ 光源ドライバ
８０ 記録部
８１ 制御部
８２，８２Ａ，８２Ｂ，８２Ｃ 画像処理部
８０１ プログラム記録部
８２１ 取得部
８２２ 算出部
８２３ 表示制御部
８２４ 抽出部
８２５ 演算部
８２６ 判定部
８２７ ベクトル算出部
８２８ 分類部
８２９ 設定部
２ 検体容器
３ ステージ
４ 光源装置
５ 撮像装置
６ 表示部
７ 操作部
８，８Ａ，８Ｂ，８Ｃ 制御装置
４１ 光源部
４１ａ～４１ｈ 第１の光源
４２ 光源ドライバ
８０ 記録部
８１ 制御部
８２，８２Ａ，８２Ｂ，８２Ｃ 画像処理部
８０１ プログラム記録部
８２１ 取得部
８２２ 算出部
８２３ 表示制御部
８２４ 抽出部
８２５ 演算部
８２６ 判定部
８２７ ベクトル算出部
８２８ 分類部
８２９ 設定部
Claims (15)
- 以下を備える画像処理装置。
光を透過可能なステージに対して所定の波長帯域の照明光が照射され、かつ、該ステージを透過した光を撮像することによって生成された第１の波長画像と、生検により取得されたコア組織を含む検体であって、前記ステージ上に載置された状態の検体に対して前記所定の波長帯域の照明光が照射され、かつ、該ステージおよび前記検体を透過した光を撮像することによって生成された第２の波長画像と、を取得する取得部と、
前記第２の波長画像に対して前記第１の波長画像で除算することによって各画素における各波長帯域の分光透過率を特定した分光透過率画像を算出する算出部と、
前記分光透過率画像および前記第２の波長画像の少なくとも一方を表示画像として表示部に表示させる表示制御部と、
前記表示画像における基準領域を指定する指定信号に基づいて、前記基準領域の分光透過率と類似する前記分光透過率画像の領域を前記コア組織のコア組織領域として抽出する抽出部と、
前記コア組織領域の量を演算する演算部。 - 以下を備える画像処理装置。
光を透過可能なステージに対して所定の波長帯域の照明光が照射され、かつ、該ステージを透過した光を撮像することによって生成された第１の波長画像と、生検により取得されたコア組織を含む検体であって、前記ステージ上に載置された状態の検体に対して前記所定の波長帯域の照明光が照射され、かつ、該ステージおよび前記検体を透過した光を撮像することによって生成された第２の波長画像と、を取得する取得部と、
前記第２の波長画像に対して前記第１の波長画像で除算することによって各画素における各波長帯域の分光透過率を特定した分光透過率画像を算出する算出部と、
前記分光透過率画像における各画素の分光ベクトルを算出するベクトル算出部と、
前記各画素の分光ベクトルおよび基準ベクトルの類似度に基づいて、前記分光透過率画像の各画素を、少なくとも２つ以上のグループに分類する分類部と、
前記分光透過率画像を所定の画素毎に分割した複数のブロックのうち、前記基準ベクトルと類似度が高いグループに属する画素が多いブロックの領域を基準領域として設定する設定部と、
前記基準領域の分光透過率と類似する前記分光透過率画像の領域を前記コア組織のコア組織領域として抽出する抽出部と、
前記コア組織領域の量を演算する演算部。 - 請求項２に記載の画像処理装置であって、
前記分類部は、
前記各画素の分光ベクトルおよび複数の基準ベクトルの各々の類似度に基づいて、前記分光透過率画像の各画素を、３つ以上のグループに分類し、
前記設定部は、
前記複数の基準ベクトルの各々の前記基準領域を設定する、
画像処理装置。 - 請求項２または３に記載の画像処理装置であって、
前記コア組織領域の量と閾値を表示部に表示させる表示制御部をさらに備える、
画像処理装置。 - 請求項２または３に記載の画像処理装置であって、
前記コア組織の量が閾値以上であるか否かを判定する判定部と、
前記判定部によって前記コア組織領域の量が閾値以上でないと判定された場合、前記コア組織の量が異常である旨の警告を表示部に表示させる表示制御部と、
をさらに備える、
画像処理装置。 - 請求項１に記載の画像処理装置であって、
前記表示制御部は、前記コア組織領域の量と閾値を表示部に表示させる、
画像処理装置。 - 請求項１に記載の画像処理装置であって、
前記コア組織領域の量が閾値以上であるか否かを判定する判定部をさらに備え、
前記表示制御部は、
前記判定部によって前記コア組織領域の量が閾値以上でないと判定された場合、前記コア組織の量が異常である旨の警告を表示部に表示させる、
画像処理装置。 - 請求項１～７のいずれか一つに記載の画像処理装置であって、
前記取得部は、
光を透過可能なステージに対して所定の波長帯域毎のマルチバンドの照明光が順次照射され、かつ、該ステージを透過した光を順次撮像することによって生成された複数の前記第１の波長画像と、生検により取得されたコア組織を含む検体であって、前記ステージ上に載置された状態の検体に対して前記所定の波長帯域毎のマルチバンドの照明光が順次照射され、かつ、該ステージおよび前記検体を透過した光を順次撮像することによって生成された複数の前記第２の波長画像と、を取得し、
前記算出部は、
前記複数の前記第１の波長画像および前記複数の前記第２の波長画像の各々の波長の比率に基づいて、分光透過率画像を算出する、
画像処理装置。 - 以下を備える画像処理システム。
請求項１～８のいずれか一つに記載の画像処理装置と、
波長帯域を切り替え可能な照明光を照射する光源装置と、
前記ステージを透過した光を撮像可能な撮像装置と、
前記検体が前記ステージ上に載置されていない状態で、前記光源装置に前記照明光を照射させ、かつ、前記撮像装置に撮像させて前記第１の波長画像を生成させ、前記検体が前記ステージ上に載置されている状態で前記光源装置に前記照明光を照射させ、かつ、前記撮像装置に撮像させて前記第２の波長画像を生成させる制御部。 - 請求項９に記載の画像処理システムであって、
前記光源装置は、
波長帯域が半値幅３０ｎｍ以内の狭帯域光を少なくとも１つ含む照明光を照射する、
画像処理システム。 - 請求項１０に記載の画像処理システムであって、
前記狭帯域光は、
４１５ｎｍ、４３０ｎｍ、４６５ｎｍ、５０５ｎｍ、５４５ｎｍ、６００ｎｍ、６３０ｎｍ、６６０ｎｍおよび７００ｎｍのいずれか１つをピークとする波長帯域である、
画像処理システム。 - 以下を含む画像処理装置が実行する画像処理方法。
光を透過可能なステージに対して所定の波長帯域の照明光が照射され、かつ、該ステージを透過した光を撮像することによって生成された第１の波長画像と、生検により取得されたコア組織を含む検体であって、前記ステージ上に載置された状態の検体に対して前記所定の波長帯域の照明光が照射され、かつ、該ステージおよび前記検体を透過した光を撮像することによって生成された第２の波長画像と、を取得する取得ステップと、
前記第２の波長画像に対して前記第１の波長画像で除算することによって各画素における各波長帯域の分光透過率を特定した分光透過率画像を算出する算出ステップと、
前記分光透過率画像および前記第２の波長画像の少なくとも一方を表示画像として表示部に表示させる表示制御ステップと、
前記表示画像における基準領域を指定する指定信号に基づいて、前記基準領域の分光透過率と類似する前記分光透過率画像の領域を前記コア組織のコア組織領域として抽出する抽出ステップと、
前記コア組織領域の量を演算する演算ステップ。 - 以下を含む画像処理装置が実行する画像処理方法。
光を透過可能なステージに対して所定の波長帯域の照明光が照射され、かつ、該ステージを透過した光を撮像することによって生成された第１の波長画像と、生検により取得されたコア組織を含む検体であって、前記ステージ上に載置された状態の検体に対して前記所定の波長帯域の照明光が照射され、かつ、該ステージおよび前記検体を透過した光を撮像することによって生成された第２の波長画像と、を取得する取得ステップと、
前記第２の波長画像に対して前記第１の波長画像で除算することによって各画素における各波長帯域の分光透過率を特定した分光透過率画像を算出する算出ステップと、
前記分光透過率画像における各画素の分光ベクトルを算出するベクトル算出ステップと、
前記各画素の分光ベクトルおよび基準ベクトルの類似度に基づいて、前記分光透過率画像の各画素を、少なくとも２つ以上のグループに分類する分類ステップと、
前記分光透過率画像を所定の画素毎に分割した複数のブロックのうち、前記基準ベクトルと類似度が高いグループに属する画素が多いブロックの領域を基準領域として設定する設定ステップと、
前記基準領域の分光透過率と類似する前記分光透過率画像の領域を前記コア組織のコア組織領域として抽出する抽出ステップと、
前記コア組織領域の量を演算する演算ステップ。 - 以下を含む画像処理装置が実行するプログラム。
光を透過可能なステージに対して所定の波長帯域の照明光が照射され、かつ、該ステージを透過した光を撮像することによって生成された第１の波長画像と、生検により取得されたコア組織を含む検体であって、前記ステージ上に載置された状態の検体に対して前記所定の波長帯域の照明光が照射され、かつ、該ステージおよび前記検体を透過した光を撮像することによって生成された第２の波長画像と、を取得する取得ステップと、
前記第２の波長画像に対して前記第１の波長画像で除算することによって各画素における各波長帯域の分光透過率を特定した分光透過率画像を算出する算出ステップと、
前記分光透過率画像および前記第２の波長画像の少なくとも一方を表示画像として表示部に表示させる表示制御ステップと、
前記表示画像における基準領域を指定する指定信号に基づいて、前記基準領域の分光透過率と類似する前記分光透過率画像の領域を前記コア組織のコア組織領域として抽出する抽出ステップと、
前記コア組織領域の量を演算する演算ステップ。 - 以下を含む画像処理装置が実行するプログラム。
光を透過可能なステージに対して所定の波長帯域の照明光が照射され、かつ、該ステージを透過した光を撮像することによって生成された第１の波長画像と、生検により取得されたコア組織を含む検体であって、前記ステージ上に載置された状態の検体に対して前記所定の波長帯域の照明光が照射され、かつ、該ステージおよび前記検体を透過した光を撮像することによって生成された第２の波長画像と、を取得する取得ステップと、
前記第２の波長画像に対して前記第１の波長画像で除算することによって各画素における各波長帯域の分光透過率を特定した分光透過率画像を算出する算出ステップと、
前記分光透過率画像における各画素の分光ベクトルを算出するベクトル算出ステップと、
前記各画素の分光ベクトルおよび基準ベクトルの類似度に基づいて、前記分光透過率画像の各画素を、少なくとも２つ以上のグループに分類する分類ステップと、
前記分光透過率画像を所定の画素毎に分割した複数のブロックのうち、前記基準ベクトルと類似度が高いグループに属する画素が多いブロックの領域を基準領域として設定する設定ステップと、
前記基準領域の分光透過率と類似する前記分光透過率画像の領域を前記コア組織のコア組織領域として抽出する抽出ステップと、
前記コア組織領域の量を演算する演算ステップ。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/044889 WO2021095236A1 (ja) | 2019-11-15 | 2019-11-15 | 画像処理装置、画像処理システム、画像処理方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2021095236A1 JPWO2021095236A1 (ja) | 2021-05-20 |
| JP7504906B2 true JP7504906B2 (ja) | 2024-06-24 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006292582A (ja) | 2005-04-12 | 2006-10-26 | Canon Inc | マルチバンド画像処理装置及びその方法並びにマルチバンド画像撮像装置 |
| JP2010156612A (ja) | 2008-12-26 | 2010-07-15 | Olympus Corp | 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム |
| JP2013253861A (ja) | 2012-06-07 | 2013-12-19 | Tottori Univ | 被検サンプル組織体中の検体細胞の有無判別方法および装置 |
| WO2019111365A1 (ja) | 2017-12-06 | 2019-06-13 | オリンパス株式会社 | 検体サンプル評価装置、検体サンプル評価方法およびプログラム |
| WO2019202646A1 (ja) | 2018-04-16 | 2019-10-24 | オリンパス株式会社 | 検体解析装置、検体解析方法およびプログラム |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006292582A (ja) | 2005-04-12 | 2006-10-26 | Canon Inc | マルチバンド画像処理装置及びその方法並びにマルチバンド画像撮像装置 |
| JP2010156612A (ja) | 2008-12-26 | 2010-07-15 | Olympus Corp | 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム |
| JP2013253861A (ja) | 2012-06-07 | 2013-12-19 | Tottori Univ | 被検サンプル組織体中の検体細胞の有無判別方法および装置 |
| WO2019111365A1 (ja) | 2017-12-06 | 2019-06-13 | オリンパス株式会社 | 検体サンプル評価装置、検体サンプル評価方法およびプログラム |
| WO2019202646A1 (ja) | 2018-04-16 | 2019-10-24 | オリンパス株式会社 | 検体解析装置、検体解析方法およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6850225B2 (ja) | 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置 | |
| EP3776458B1 (en) | Augmented reality microscope for pathology with overlay of quantitative biomarker data | |
| JP5185151B2 (ja) | 顕微鏡観察システム | |
| US20190282099A1 (en) | Augmented reality surgical microscope and microscopy method | |
| CN111295127B (zh) | 检查支持装置、内窥镜装置及记录介质 | |
| JP5442542B2 (ja) | 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体 | |
| JP2008064534A (ja) | 細胞画像処理装置および細胞画像処理方法 | |
| JP2022010202A (ja) | 医療画像処理装置 | |
| JP7091349B2 (ja) | 診断支援システム、内視鏡システム、プロセッサ、及び診断支援システムの作動方法 | |
| JPWO2016006113A1 (ja) | 画像解析装置、撮像システム、検出システム、手術支援システム、画像解析方法、及び画像解析プログラム | |
| JP2016087370A (ja) | 大腸拡大内視鏡画像診断支援装置 | |
| JP2016154810A (ja) | 画像処理装置及び画像処理方法 | |
| WO2014083743A1 (ja) | 画像計測装置および画像計測方法 | |
| JP7504906B2 (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
| KR102393661B1 (ko) | 다중 영상 내시경 시스템, 그 영상 제공 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 | |
| WO2021095236A1 (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
| US20170370843A1 (en) | Facilitating real-time visualization of tissue features derived from optical signals | |
| WO2022209443A1 (ja) | 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム | |
| JP6710853B2 (ja) | プローブ型共焦点レーザー顕微内視鏡画像診断支援装置 | |
| KR20160112493A (ko) | Ｃｔ에서의 효율적인 구강 병변 발병여부 예측감지 방법 및 시스템 | |
| JP5752985B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム | |
| CN116235223A (zh) | 使用基于目光的跟踪的注释数据收集 | |
| JP7158471B2 (ja) | 検査動画処理装置、検査動画処理装置の作動方法及び検査動画処理プログラム | |
| WO2022201992A1 (ja) | 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム | |
| US20230260117A1 (en) | Information processing system, endoscope system, and information processing method |