JP5210571B2 - Image processing apparatus, image processing program, and image processing method - Google Patents
Image processing apparatus, image processing program, and image processing method Download PDFInfo
- Publication number
- JP5210571B2 JP5210571B2 JP2007221735A JP2007221735A JP5210571B2 JP 5210571 B2 JP5210571 B2 JP 5210571B2 JP 2007221735 A JP2007221735 A JP 2007221735A JP 2007221735 A JP2007221735 A JP 2007221735A JP 5210571 B2 JP5210571 B2 JP 5210571B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction coefficient
- pixel
- divided
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Spectrometry And Color Measurement (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
本発明は、照明光を照射して被写体を撮像した対象画像の画素値をもとに、ウィナー推定を用いて前記被写体の分光特性を推定する画像処理装置、画像処理プログラムおよび画像処理方法に関する。 The present invention relates to an image processing apparatus , an image processing program, and an image processing method for estimating a spectral characteristic of a subject using Wiener estimation based on a pixel value of a target image obtained by illuminating illumination light and imaging the subject.
被写体に固有の物理的性質を表す物理量の一つに分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、RGB値等の照明光の変化に依存する色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光透過率の推定技術が利用されている。 One of the physical quantities representing physical properties inherent to the subject is a spectral transmittance spectrum. Spectral transmittance is a physical quantity that represents the ratio of transmitted light to incident light at each wavelength. Unlike color information that depends on changes in illumination light such as RGB values, object-specific information whose value does not change due to external influences. It is. For this reason, the spectral transmittance is used in various fields as information for reproducing the color of the subject itself. For example, in the field of pathological diagnosis using a biological tissue specimen, particularly a pathological specimen, a spectral transmittance estimation technique is used to analyze an image obtained by imaging the specimen.
病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切された標本は光を殆ど吸収及び散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。 In pathological diagnosis, block specimens obtained by organ excision and pathological specimens obtained by needle biopsy are sliced to several microns in thickness, and are then widely observed using a microscope to obtain various findings. ing. In particular, transmission observation using an optical microscope is one of the most popular observation methods because the equipment is relatively inexpensive and easy to handle, and has been performed for a long time. In this case, since the sliced specimen hardly absorbs and scatters light and is nearly colorless and transparent, it is general to dye with a dye prior to observation.
染色手法としては種々のものが提案されており、その総数は100種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの2つを用いるヘマトキシリン−エオジン染色(以下、「H&E染色」と称す。)が標準的に用いられている。 Various dyeing methods have been proposed, and the total number thereof reaches 100 or more. Particularly, regarding pathological specimens, hematoxylin-eosin staining using two of blue-violet hematoxylin and red eosin as pigments ( Hereinafter, “H & E staining” is used as a standard.
ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸(DNA)は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。 Hematoxylin is a natural substance collected from plants and itself has no dyeability. However, its oxide, hematin, is a basophilic dye and binds to a negatively charged substance. Since deoxyribonucleic acid (DNA) contained in the cell nucleus is negatively charged by a phosphate group contained as a constituent element, it binds to hematin and is stained blue-violet. As described above, it is not hematoxylin that has a staining property but hematin, which is an oxide thereof. However, since it is common to use hematoxylin as a name of a pigment, the following is followed.
エオジンは好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはpH環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。 Eosin is an acidophilic dye that binds to positively charged substances. Whether amino acids or proteins are charged positively or negatively is affected by the pH environment, and the tendency to be positively charged under acidic conditions becomes stronger. For this reason, acetic acid may be added to the eosin solution. Proteins contained in the cytoplasm are stained from red to light red by binding to eosin.
H&E染色後の標本(染色標本)では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、染色標本の状態を形態学的に判断することが可能となる。 In a specimen (stained specimen) after H & E staining, cell nuclei, bone tissue, etc. are stained blue-purple, and cytoplasm, connective tissue, erythrocytes, etc. are stained red, so that they can be easily visually recognized. As a result, the observer can grasp the size and positional relationship of the elements constituting the tissue such as the cell nucleus and can morphologically determine the state of the stained specimen.
染色された標本の観察は、観察者の目視によるものの他、この染色された標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率に基づいて標本を染色している色素の色素量を推定する処理、推定した色素量に基づいて画像の色を補正する処理等が行われ、カメラの特性や染色状態のばらつき等が補正されて、表示用の標本のRGB画像が合成される。図15は、合成されたRGB画像の一例を示す図である。色素量の推定を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。したがって、染色標本の分光透過率を高精度に推定することが、染色標本に固定された色素量の推定や、染色ばらつきの補正等の高精度化に繋がる。 The stained specimen is observed not only by an observer's visual observation, but also by displaying this stained specimen on a display screen of an external device after performing multiband imaging. When displaying on the display screen, processing to estimate the spectral transmittance of each point of the sample from the captured multiband image, and processing to estimate the amount of dye that is staining the sample based on the estimated spectral transmittance Then, processing for correcting the color of the image based on the estimated amount of pigment is performed, and variations in camera characteristics, staining state, and the like are corrected, and an RGB image of the specimen for display is synthesized. FIG. 15 is a diagram illustrating an example of a combined RGB image. If the amount of pigment is appropriately estimated, it is possible to correct a darkly stained sample or a lightly stained sample to an image having a color equivalent to that of a properly stained sample. Therefore, estimating the spectral transmittance of the stained specimen with high accuracy leads to higher accuracy such as estimation of the amount of dye fixed to the stained specimen and correction of staining variation.
標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法(例えば、非特許文献1参照)や、ウィナー(Wiener)推定による推定法(例えば、非特許文献2参照)等が挙げられる。 As a method of estimating the spectral transmittance of each point of the sample from the multiband image of the sample, for example, an estimation method by principal component analysis (for example, refer to Non-Patent Document 1) or an estimation method by Wiener estimation (for example, Non-Patent Document 2).
ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質と観測ノイズの特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。 Wiener estimation is widely known as one of the linear filter methods for estimating the original signal from the observation signal with superimposed noise, and minimizes the error by taking into account the statistical properties of the observation target and the characteristics of the observation noise. It is a technique to do. Since some noise is included in the signal from the camera, the Wiener estimation is extremely useful as a method for estimating the original signal.
ここで、ウィナー推定法によって標本のマルチバンド画像から標本各点の分光透過率を推定する方法について説明する。 Here, a method for estimating the spectral transmittance of each point of the sample from the multiband image of the sample by the Wiener estimation method will be described.
先ず、標本のマルチバンド画像を撮像する。例えば、特許文献1に開示されている技術を用い、16枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において16バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来観察対象となる染色標本内に3次元的に分布しているが、通常の透過観察系ではそのまま3次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した2次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。
First, a multiband image of a specimen is taken. For example, using the technique disclosed in
撮像されたマルチバンド画像の位置xについて、バンドbにおける画素値g(x,b)と、対応する標本上の点の分光透過率t(x,λ)との間には、カメラの応答システムに基づく次式(1)の関係が成り立つ。
実際の計算では、式(1)を波長方向に離散化した次式(2)を用いる。
G(x)=FSET(x)+N ・・・(2)
波長方向のサンプル点数をD、バンド数をBとすれば(ここではB=16)、G(x)は、位置xにおける画素値g(x,b)に対応するB行1列の行列である。同様に、T(x)は、t(x,λ)に対応するD行1列の行列、Fは、f(b,λ)に対応するB行D列の行列である。一方、Sは、D行D列の対角行列であり、対角要素がs(λ)に対応している。同様に、Eは、D行D列の対角行列であり、対角要素がe(λ)に対応している。Nは、n(b)に対応するB行1列の行列である。なお、式(2)では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数bが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。
In actual calculation, the following formula (2) obtained by discretizing the formula (1) in the wavelength direction is used.
G (x) = FSET (x) + N (2)
If the number of sample points in the wavelength direction is D and the number of bands is B (here, B = 16), G (x) is a matrix of B rows and 1 column corresponding to the pixel value g (x, b) at the position x. is there. Similarly, T (x) is a D × 1 matrix corresponding to t (x, λ), and F is a B × D matrix corresponding to f (b, λ). On the other hand, S is a diagonal matrix of D rows and D columns, and the diagonal elements correspond to s (λ). Similarly, E is a diagonal matrix of D rows and D columns, and the diagonal element corresponds to e (λ). N is a matrix of B rows and 1 column corresponding to n (b). In Expression (2), since the expressions related to a plurality of bands are aggregated using a matrix, the variable b representing the band is not explicitly described. In addition, the integration with respect to the wavelength λ is replaced with a matrix product.
ここで、表記を簡単にするため、次式(3)で定義される行列Hを導入する。Hはシステム行列とも呼ばれる。
H=FSE ・・・(3)
Here, in order to simplify the notation, a matrix H defined by the following equation (3) is introduced. H is also called a system matrix.
H = FSE (3)
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値T^(x)は、次式(4)で計算することができる。なお、T^は、Tの上に推定値を表すハット(^)が付いていることを示す。
ここで、Wは、ウィナー推定行列と呼ばれ、次式(5)で表される。
非特許文献1に開示されている手法に従い、ウィナー推定を用いてマルチバンド画像から標本各点の分光透過率を推定する場合には、式(1)に示すカメラの応答システムの関係性に基づき、式(3)に示す光学フィルタの分光透過率F、カメラの分光感度特性S、および照明の分光放射特性Eと、式(5)に示す観測対象の統計的性質を表す自己相関行列RSS、およびカメラのノイズの自己相関行列RNNの各分光特性推定パラメータを事前に取得する必要がある。ここで、カメラのノイズの自己相関行列RNNは、標本無しの状態でマルチバンド画像を取得し、得られたマルチバンド画像の各バンドについて画素値の分散を求め、これを対角成分とする行列を生成することによって得られ、観測ノイズ特性を表す。
When estimating the spectral transmittance of each sample point from a multiband image using Wiener estimation according to the method disclosed in
ところで、分光特性推定パラメータのうち、照明の分光放射特性Eは、分光計を用いて複数の画素からなる所定範囲の領域(測定領域)における照明の分光放射特性を測定し、得られた測定値を代表値として用いている。すなわち、所定の測定領域における照明の分光放射特性の測定値を、同一視野内の画素に一様に適用している。しかしながら、照明光には照明放射分布の不均一性が存在し、同一視野内を均一な照明強度で照射することは技術的に難しい。 By the way, among the spectral characteristic estimation parameters, the spectral radiation characteristic E of illumination is a measured value obtained by measuring the spectral radiation characteristic of illumination in a predetermined range region (measurement region) composed of a plurality of pixels using a spectrometer. Is used as a representative value. That is, the measurement value of the spectral radiation characteristic of illumination in a predetermined measurement region is uniformly applied to pixels within the same field of view. However, illumination light has non-uniform illumination radiation distribution, and it is technically difficult to irradiate the same field of view with uniform illumination intensity.
この問題を解決するため、従来は、照明の分光放射特性を測定する際の前処理として、測定領域の測定中心に対するシェーディング補正を行うことにより、照明光の照明放射分布の不均一性を均一化した後で、分光計によって照明の分光放射特性を測定していた。また、標本無しの画像を撮像して得られた各画素の画素値から補正係数を求め、この補正係数を用いて標本のマルチバンド画像にシェーディング補正処理を施すことにより、標本のマルチバンド画像を一様な明るさの画像データに変換することができる。しかしながら、シェーディング補正処理は、照明光の照明放射分布を均一にする所謂ゲイン調整処理であり、各画素に含まれる観測ノイズに対してもゲイン調整を行う作用がある。このため、シェーディング補正処理に伴って、各画素の観測ノイズがそれぞれ増減してしまうという問題があった。したがって、シェーディング補正処理後の各画素の観測ノイズが、分光特性推定パラメータとして事前に取得されるカメラのノイズの自己相関行列RNNと異なる場合があり、分光透過率の推定精度が低下するという問題があった。 In order to solve this problem, conventionally, as a pre-processing when measuring the spectral radiation characteristics of illumination, shading correction to the measurement center of the measurement area is performed to make the illumination radiation distribution non-uniformity uniform. After that, the spectral radiation characteristics of the illumination were measured by a spectrometer. In addition, a correction coefficient is obtained from the pixel value of each pixel obtained by capturing an image without a specimen, and the multiband image of the specimen is obtained by performing shading correction processing on the multiband image of the specimen using the correction coefficient. It can be converted into image data with uniform brightness. However, the shading correction process is a so-called gain adjustment process for making the illumination radiation distribution of the illumination light uniform, and has an effect of adjusting the gain for the observation noise included in each pixel. For this reason, there is a problem that the observation noise of each pixel increases or decreases with the shading correction processing. Therefore, the observation noise of each pixel after the shading correction processing may be different from the camera noise autocorrelation matrix R NN acquired in advance as the spectral characteristic estimation parameter, which causes a problem that the estimation accuracy of the spectral transmittance decreases. was there.
本発明は、上記した従来の問題点に鑑みて為されたものであり、シェーディング補正処理に伴う観測ノイズ特性の特性変化に起因する分光特性値の推定誤差を軽減し、被写体の分光特性の推定精度を向上させることができる画像処理装置および画像処理プログラムを提供することを目的とする。 The present invention has been made in view of the above-described conventional problems, reduces the estimation error of the spectral characteristic value caused by the change in the characteristic of the observation noise characteristic accompanying the shading correction process, and estimates the spectral characteristic of the subject. An object is to provide an image processing apparatus and an image processing program capable of improving accuracy.
上述した課題を解決し、目的を達成するため、本発明に係る画像処理装置は、照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定する画像処理装置において、前記照明光を照射した状態で背景を撮像した照明画像の画素値に基づいて、画素値の補正を行う際の補正係数を算出する補正係数算出手段と、前記補正係数算出手段によって算出された前記補正係数を用いて、前記対象画像にシェーディング補正処理を施す補正手段と、前記シェーディング補正処理を施した対象画像を構成する画素の観測ノイズ特性を、前記画素に対する前記補正係数に基づいて決定するノイズ特性決定手段と、前記ノイズ特性決定手段によって決定された前記観測ノイズ特性をもとに推定行列を算出し、算出した推定行列を用いて前記画素に対応する被写体位置の分光特性値を推定する分光特性推定手段と、を備えることを特徴とする。 To solve the above problems and achieve an object, an image processing apparatus according to the present invention estimates the spectral characteristic before Symbol object based on the pixel values of the target image obtained by imaging a subject by irradiating the illuminating light In the image processing apparatus, a correction coefficient calculation unit that calculates a correction coefficient when correcting a pixel value based on a pixel value of an illumination image obtained by imaging a background in a state where the illumination light is irradiated; and the correction coefficient calculation unit Correction means for performing a shading correction process on the target image, and an observation noise characteristic of a pixel constituting the target image subjected to the shading correction process as the correction coefficient for the pixel. and noise characteristic determination means for determining based on the noise characteristics the observation noise characteristics determined by the determining means calculates based on estimation matrix, the calculated estimated matrix There are characterized by and a spectral characteristic estimation means for estimating a spectral characteristic values of the object position corresponding to the pixel.
また、本発明にかかる画像処理プログラムは、コンピュータに、照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定させるための画像処理プログラムであって、前記照明光を照射した状態で背景を撮像した照明画像の画素値に基づいて、画素値の補正を行う際の補正係数を算出する補正係数算出ステップと、前記補正係数算出ステップによって算出された前記補正係数を用いて、前記対象画像にシェーディング補正処理を施す補正ステップと、前記シェーディング補正処理を施した対象画像を構成する画素の観測ノイズ特性を、前記画素に対する前記補正係数に基づいて決定するノイズ特性決定ステップと、前記ノイズ特性決定ステップによって決定された前記観測ノイズ特性をもとに推定行列を算出し、算出した推定行列を用いて前記画素に対応する被写体位置の分光特性値を推定する分光特性推定ステップと、を実行させることを特徴とする。 The image processing program according to the present invention, the computer, the pixel values of the target image by irradiating illuminating light to image a subject an image processing program for estimating a spectral characteristic before Symbol subject based on The correction coefficient calculation step for calculating a correction coefficient when correcting the pixel value based on the pixel value of the illumination image obtained by imaging the background with the illumination light applied, and the correction coefficient calculation step. A correction step for performing a shading correction process on the target image using the correction coefficient, and an observation noise characteristic of a pixel constituting the target image subjected to the shading correction process are determined based on the correction coefficient for the pixel. a noise characterization step, calculated based on estimate matrix the observation noise characteristics determined by the noise characterization step , Characterized in that to execute, the spectral characteristic estimation step of estimating the spectral characteristic values of the object position corresponding to the pixel by using the calculated estimated matrix.
本発明によれば、シェーディング補正処理の影響を加味した観測ノイズ特性を用いて被写体の分光特性を推定できる。したがって、シェーディング補正処理に伴う観測ノイズ特性の特性変化に起因する分光特性値の推定誤差を軽減することができ、被写体の分光特性の推定精度を向上させることができる。 According to the present invention, it is possible to estimate the spectral characteristics of a subject using observation noise characteristics that take into account the influence of shading correction processing. Therefore, it is possible to reduce the estimation error of the spectral characteristic value caused by the characteristic change of the observation noise characteristic accompanying the shading correction process, and to improve the estimation accuracy of the spectral characteristic of the subject.
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、本実施の形態では、H&E染色された病理標本を被写体とし、病理標本を撮像したマルチバンド画像から、分光特性値として分光透過率のスペクトル特徴値を推定する場合について説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a case will be described in which a spectral characteristic value of spectral transmittance is estimated as a spectral characteristic value from a multiband image obtained by imaging a pathological specimen using an H & E stained pathological specimen as a subject.
図1は、本実施の形態に係る画像処理装置の構成を説明する模式図である。図1に示すように、画像処理装置1は、画像取得部110を備え、パソコン等のコンピュータ10と接続されて構成されている。
FIG. 1 is a schematic diagram illustrating the configuration of the image processing apparatus according to the present embodiment. As shown in FIG. 1, the
画像取得部110は、H&E染色された分光透過率の推定対象の標本(以下、「対象標本」という。)を撮像して6バンドのマルチバンド画像を取得する。この画像取得部110は、CCD等の撮像素子等を備えたRGBカメラ111、対象標本Sが載置される標本保持部113、標本保持部113上の対象標本Sを透過照明する照明部115、対象標本Sからの透過光を集光して結像させる光学系117、結像する光の波長帯域を所定範囲に制限するためのフィルタ部119等を備える。
The
RGBカメラ111は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にRGBのカラーフィルタを配置したものである。このRGBカメラ111は、撮像される画像の中心が照明光の光軸上に位置するように設置される。図2は、カラーフィルタの配列例およびRGB各バンドの画素配列を模式的に示す図である。この場合、各画素はR,G,Bいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するR,G,B成分が補間される。この手法は、例えば特許第3510037号公報で開示されている。なお、3CCDタイプのカメラを使用すれば、最初から各画素におけるR,G,B成分を取得できる。本実施の形態では、いずれの撮像方式を用いても構わないが、以下ではRGBカメラ111で撮像された画像の各画素においてR,G,B成分が取得できているものとする。
The
フィルタ部119は、それぞれ異なる分光透過率特性を有する2枚の光学フィルタ1191a,1191bを具備しており、これらが回転式の光学フィルタ切替部1193に保持されて構成されている。図3−1は、一方の光学フィルタ1191aの分光透過率特性を示す図であり、図3−2は、他方の光学フィルタ1191bの分光透過率特性を示す図である。例えば先ず、光学フィルタ1191aを用いて第1の撮像を行う。次いで、光学フィルタ切替部1193の回転によって使用する光学フィルタを光学フィルタ1191bに切り替え、光学フィルタ1191bを用いて第2の撮像を行う。この第1の撮像及び第2の撮像によって、それぞれ3バンドの画像が得られ、両者の結果を合わせることによって6バンドのマルチバンド画像が得られる。なお、光学フィルタの数は2枚に限定されるものではなく、3枚以上の光学フィルタを用いることができる。取得されたマルチバンド画像は、対象標本画像として後述の記憶部140に保持される。
The
この画像取得部110において、照明部115によって照射された照明光は、標本保持部113上に載置された対象標本Sを透過する。そして、対象標本Sを透過した透過光は、光学系117及び光学フィルタ1191a,1191bを経由した後、RGBカメラ111の撮像素子上に結像する。光学フィルタ1191a,1191bを具備するフィルタ部119は、照明部115からRGBカメラ111に至る光路上のいずれかの位置に設置されていればよい。照明部115からの照明光を、光学系117を介してRGBカメラ111で撮像する際の、R,G,B各バンドの分光感度の例を、図4に示す。
In the
また、本実施の形態では、この画像取得部110を利用し、照明光を照射した状態で標本無しの背景を撮像することによって、照明光の反射画像である照明画像を取得する。取得された照明画像は、記憶部140に保持される。この照明画像は、標本保持部113に標本を載置せずに撮像を行うことで取得できる。なお、照明画像を取得する際には光学フィルタ1191a,1191bは必要ないため、例えばフィルタ部119を取り外して撮像を行う。
In the present embodiment, the
図5は、画像処理装置1の機能構成を説明するブロック図である。本実施の形態では、画像処理装置1は、図1に示して説明した画像取得部110と、入力部120と、表示部130と、記憶部140と、画像処理部150と、装置各部を制御する制御部160とを備える。
FIG. 5 is a block diagram illustrating a functional configuration of the
入力部120は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部160に出力する。
The input unit 120 is realized by, for example, a keyboard, a mouse, a touch panel, various switches, and the like, and outputs an operation signal corresponding to the operation input to the
表示部130は、LCDやELD等の表示装置によって実現されるものであり、制御部160から入力される表示信号に基づいて各種画面を表示する。
The
記憶部140は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD−ROM等の情報記憶媒体及びその読取装置等によって実現されるものであり、画像処理装置1の動作に係るプログラムや、画像処理装置1の備える種々の機能を実現するためのプログラム、これらプログラムの実行に係るデータ等が格納される。例えば、照明画像や対象標本画像の画像データ、補正係数画像の領域分割結果等が格納される。また、シェーディング補正係数データ141と、分割領域別観測ノイズ特性データ143と、照明画像をもとに作成した補正係数画像の画素値に基づいて分割した分割領域毎の観測ノイズ特性を決定し、決定した観測ノイズ特性を用いて対象標本の分光特性を推定するための画像処理プログラム145とが格納される。シェーディング補正係数データ141は、照明画像を構成する各画素の補正係数を、該各画素の補正係数を画素値として画像化した補正係数画像の画像データとして記憶する。分割領域別観測ノイズ特性データ143は、分割領域毎の観測ノイズ特性を記憶する。
The
画像処理部150は、CPU等のハードウェアによって実現される。この画像処理部150は、補正係数算出手段としての補正係数算出部151と、分布画像作成手段および係数分布算出手段としての分布データ作成部152と、領域分割手段、分割判定手段、階調変換分割手段、二値化手段およびラベリング処理手段としての領域分割部153と、代表点抽出手段としての代表点抽出部154と、ノイズ特性決定手段およびノイズ算出手段としての観測ノイズ特性決定部155と、補正手段としてのシェーディング補正部156と、分光特性推定手段としての分光特性推定部157とを含む。補正係数算出部151は、照明画像の画素値に基づいて、各画素の補正係数を算出する。分布データ作成部152は、補正係数算出部151によって算出された各画素の補正係数の分布データを作成する。具体的には、各画素の補正係数に基づいて補正係数画像を作成するとともに、補正係数の分布図であるヒストグラムを作成する。領域分割部153は、補正係数画像を複数の分割領域に分割する。代表点抽出部154は、領域分割部153によって分割された各分割領域の中からそれぞれ一つまたは複数の代表点(分割領域代表点)を抽出する。観測ノイズ特性決定部155は、基準ノイズ量であるRGBカメラ111のノイズの自己相関行列RNNと分割領域代表点における補正係数αとに基づいて各分割領域における観測ノイズ特性を決定する。シェーディング補正部156は、補正係数算出部151によって算出された各画素の補正係数を用いて、対象標本画像にシェーディング補正処理を施す。分光特性推定部157は、対象標本画像を構成する所定の画素に対応する対象標本点の分光透過率を、この所定の画素の属する分割領域の分割領域代表点における観測ノイズ特性を用いて推定する。
The
制御部160は、CPU等のハードウェアによって実現される。この制御部160は、入力部120から入力される操作信号や画像取得部110から入力される画像データ、記憶部140に格納されるプログラムやデータ等に基づいて画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括的に制御する。また、この制御部160は、画像取得部110の動作を制御して照明画像を取得する照明画像取得制御部161と、画像取得部110の動作を制御して対象標本画像を取得する標本画像取得制御部163とを含む。
The
次に、画像処理装置1における処理の手順について説明する。本実施の形態の画像処理装置1は、分割領域毎の観測ノイズ特性を算出する処理(以下、「観測ノイズ特性算出処理」と称す。)と、対象標本の分光特性を推定する処理(以下、「分光特性推定処理」と称す。)とを実行する。なお、ここで説明する処理は、記憶部140に格納された画像処理プログラム145に従って画像処理装置1の各部が動作することによって実現される。
Next, a processing procedure in the
先ず、観測ノイズ特性算出処理の手順について説明する。図6は、観測ノイズ特性算出処理の手順を示すフローチャートである。この観測ノイズ特性算出処理では、先ず、照明画像取得制御部161が、画像取得部110の動作を制御し、照明光を照射した状態で被写体無しの背景を撮像した照明画像を取得する(ステップS101)。
First, the procedure of the observation noise characteristic calculation process will be described. FIG. 6 is a flowchart showing the procedure of the observation noise characteristic calculation process. In this observation noise characteristic calculation processing, first, the illumination image acquisition control unit 161 controls the operation of the
次に、補正係数算出部151が、照明画像に基づいて各画素の補正係数を算出する(ステップS103)。算出された各画素の補正係数は、記憶部140に格納される。ここで、分光特性推定パラメータの一つである照明の分光放射特性Eは、分光計を用いて所定の測定領域における照明の分光放射特性を測定することによって得られるが、補正係数は、この所定の測定領域の測定中心である点X0の画素値に基づいて算出される。ここで、点X0の画素値をW0、任意の点Xの画素値をWxとすると、点Xの補正係数αxは次式(6)で表される。
続いて、分布データ作成部152が、ステップS103で算出した各画素の補正係数αxを画素値として画像化した補正係数画像を作成し、シェーディング補正係数データ141として記憶部140に格納する(ステップS105)。また、分布データ作成部152は、補正係数画像に基づいて、横軸を補正係数α、縦軸を画素の個数としたヒストグラムを作成する(ステップS107)。作成されたヒストグラムのデータは、記憶部140に格納される。図7に、作成されたヒストグラムの一例を示す。ヒストグラムを作成したならば、領域分割部153が、このヒストグラムから得られる画素値の分布幅に応じて、領域分割処理を実行するか否かを判定する。すなわち、領域分割部153は、作成したヒストグラムから補正係数画像の画素値の分布幅を算出する(ステップS109)。そして、領域分割部153は、算出した分布幅と事前に閾値として設定される基準分布幅とを比較し、領域分割処理を実行するか否かを判定する。
Subsequently, the distribution
算出した分布幅が基準分布幅より小さい場合には(ステップS111:No)、領域分割部153は、領域分割処理を実行しないと判定する。この場合には、領域分割部153は、補正係数画像の全域を一つの分割領域とし、例えば、照明の分光放射特性Eを取得した際の分光計の測定領域の測定中心X0を分割領域代表点としてステップS115に移行する。
If the calculated distribution width is smaller than the reference distribution width (step S111: No), the
一方、領域分割部153は、分布幅が基準分布幅以上の場合には(ステップS111:Yes)、ステップS113に移行し、領域分割処理を実行する。なお、ステップS107で作成したヒストグラムをユーザに視覚的に提示し、ユーザ操作に従って領域分割処理を実行するか否かを判定してもよい。この場合には、制御部160は、図7に例示したような領域分割部153によって作成されたヒストグラムを表示部130に表示する制御を行うとともに、画像を分割領域に分割するか否かの判定依頼の通知を表示する制御を行って、係数分布表示制御手段および判定入力依頼手段として機能する。図8は、補正係数画像を分割するか否かの判定依頼の通知画面の一例を示す図である。通知画面W10には、分割を行うか否かの判定を依頼する旨のメッセージが表示されるとともに、分割を行う/行わないの何れかを選択するためのボタンB11,B13が配置されている。ユーザは、入力部120を介してボタンB11またはボタンB13の押下操作を行い、分割指示または非分割指示を入力する。この判定依頼の通知に対する応答に従い、領域分割部153は、領域分割処理を実行するか否かを判定する。
On the other hand, if the distribution width is equal to or larger than the reference distribution width (step S111: Yes), the
ここで、ステップS113による領域分割処理について説明する。図9は、領域分割処理の手順を示すフローチャートである。この領域分割処理では、領域分割部153は、先ず、階調変換処理を行って補正係数画像を複数の分割領域に分割する(ステップS201)。このとき、階調変換処理の結果得られた各分割領域を特定するためのデータが、記憶部140に保持される。
Here, the region division processing in step S113 will be described. FIG. 9 is a flowchart showing the procedure of the area division process. In this area dividing process, the
この階調変換処理は、事前に指定される分割パラメータに基づいて行われる。本実施の形態では、分割パラメータとして、補正係数間隔(具体的には画素値の強度幅)Iを用いる。具体的には、領域分割部153は、ステップS107で作成したヒストグラムに基づいて画素の最大値および最小値を算出する。次いで、領域分割部153は、補正係数間隔Iに基づいて、算出した最大値と最小値との間に含まれる各画素の階調変換を行い、階調変換画像を得る。例えば、最大値をM、最小値をmとし、各画素を画素値幅[m,M−nI],[M−2I+1,M−1],・・・[M−I+1,M]でそれぞれカテゴリー化する。そして、画素値幅の中央値を変換値とし、各カテゴリーに分類された画素を階調変換する。このようにして、領域分割部153は、補正係数間隔Iに応じた画素値幅毎に補正係数画像を階調変換することにより、補正係数画像を複数の分割領域に分割する。図10は、補正係数画像の分割結果の一例を示す図である。図10に示す例では、補正係数画像G10が、三つの分割領域A11,A13,A15に分割されている。
This gradation conversion processing is performed based on division parameters specified in advance. In the present embodiment, a correction coefficient interval (specifically, an intensity width of a pixel value) I is used as a division parameter. Specifically, the
次に、領域分割部153は、階調変換結果に基づいて二値化処理を行い、分割領域毎に二値画像を取得する(ステップS203)。続いて、領域分割部153は、得られた分割領域毎の二値画像それぞれにラベリング処理を行い、各二値画像中の連結成分(連結している画素群)に固有の値(ラベル)を付ける(ステップS205)。このラベリング処理によって、各分割領域からそれぞれ少なくとも一つの二値画像分割領域を取得することができる。このとき、二値化処理およびラベリング処理の結果得られた各二値画像分割領域を特定するためのデータが、記憶部140に保持される。なお、ステップS203の二値化処理及びステップS205のラベリング処理の具体的な処理方法は、本発明の特徴から限定する必要はなく、公知の処理を用いることにより実施できる。図11は、二値画像の分割結果の一例を示す図である。この図11は、図10に示す補正係数画像G10の分割領域A11を対象とした二値化処理およびラベリング処理の結果得られた二値画像分割領域を示しており、この二値画像G20によれば、分割領域A11について4つの二値画像分割領域A21,A23,A25,A27が取得されている。ラベリング処理の後、図6のステップS113にリターンし、その後ステップS115に移行する。
Next, the
ステップS115では、代表点抽出部154が、ステップS113の領域分割処理の結果得られた分割領域の中から一つまたは複数の分割領域代表点を抽出する。具体的には、代表点抽出部154は、補正係数画像を分割した各分割領域をそれぞれ処理対象として、次の処理を行う。先ず、処理対象の分割領域から取得した二値画像分割領域の中から、最大面積の二値画像分割領域を選出する。ここでの処理により、例えば、図11の例では、二値画像分割領域A23が選出される。次いで、選出した二値画像分割領域に含まれる補正係数画像の各画素の画素値に基づいて、画像横軸を画素値、縦軸を画素の個数としたヒストグラムを作成する。次いで、作成したヒストグラムに基づいて、その個数が予め設定された所定の閾値以下である画素値をノイズとして除去し、除去した画素値以外の画素値の最小値と最大値とに基づいて、その中心値を算出する。そして、選出した二値画像分割領域に含まれる画素の中から、算出した中心値を画素値とする画素を一つまたは複数個無作為に選出し、処理対象の分割領域における分割領域代表点とする。このようにして抽出された分割領域毎の分割領域代表点は、記憶部140に格納される。これにより、分割領域内の画素の中から、その分割領域において平均的な補正係数の画素を分割領域代表点として抽出することができる。分割領域代表点は、何点抽出することとしても構わないが、複数抽出する場合には、抽出済みの分割領域代表点を中心とした所定範囲内に存在する画素を抽出対象から除外し、所定範囲の領域内から複数の分割領域代表点を抽出しないようにする。
In step S115, the representative
なお、領域分割処理の結果をユーザに視覚的に提示し、ユーザ操作に従って分割領域代表点を抽出してもよい。この場合には、制御部160は、図10に例示したような補正係数画像の分割領域を表示部130に表示する制御を行うとともに、分割領域毎に分割領域代表点の選出依頼の通知を表示する制御を行って、分割領域表示制御手段および代表点選出依頼手段として機能する。図12は、分割領域代表点の選出依頼の通知画面の一例を示す図である。通知画面W20には、分割領域毎に分割領域代表点の選出を依頼する旨のメッセージM20が表示されている。ユーザは、入力部120を介して各分割領域からそれぞれ一つまたは複数の分割領域代表点の位置を指定することによって、分割領域毎の分割領域代表点を選出する。また、取消ボタンB21の押下操作によって指定操作を取り消し、或いは決定ボタンB23の押下操作によって指定操作を確定する。この通知画面W20では、分割領域代表点の指定操作に応じてその選出位置が識別表示されるようになっており、図12の例では、分割領域A11の中から選出された分割領域代表点の位置P10が識別表示されている。この選出依頼の通知に対する応答に従い、代表点抽出部154は、各分割領域の分割領域代表点を抽出する。或いは、図11に例示したような分割領域から取得した二値画像分割領域を分割領域毎に表示部130に表示する制御を行い、最大面積の二値画像分割領域の中からその分割領域における分割領域代表点を選択させるようにしてもよい。
Note that the result of the area division process may be visually presented to the user, and the divided area representative points may be extracted according to the user operation. In this case, the
次に、観測ノイズ特性決定部155が、RGBカメラ111のノイズの自己相関行列RNNと分割領域代表点における補正係数αとに基づいて各分割領域における観測ノイズ特性を決定する(ステップS117)。ここで、RGBカメラ111のノイズの自己相関行列RNNについては、事前に取得しておく。すなわち、標本無しの状態で画像取得部110によってマルチバンド画像を取得し、得られた6バンドのマルチバンド画像の各バンドについて画素値の分散を求め、これを対角成分とする行列を生成することによって得られる。また、分割領域代表点を点Xとすると、点Xの補正係数αXは、補正係数画像における点Xの画素値から得られる。観測ノイズ特性決定部155は、一の分割領域の中から抽出された分割領域代表点が一つの場合には、RGBカメラ111のノイズの自己相関行列RNNに、この分割領域代表点における補正係数αの2乗を乗じることで、各分割領域における観測ノイズ特性を算出する。一方、一の分割領域の中から抽出された分割領域代表点が複数個ある場合には、各分割領域代表点における補正係数αから平均値を算出し、RGBカメラ111のノイズの自己相関行列RNNに、算出した平均値の2乗を乗じることで、各分割領域における観測ノイズ特性を算出する。そして、観測ノイズ特性決定部155は、各分割領域の観測ノイズ特性を算出したならば、これらを対応する分割領域の識別情報と関連付け、分割領域別観測ノイズ特性データ143として記憶部140に格納する。
Next, the observation noise
なお、ステップS111において分割処理を実行しないと判定されて、照明の分光放射特性Eを取得した際の分光計の測定領域の測定中心X0が分割領域代表点とされた場合には、点X0における算出値を観測ノイズ特性とするため、この場合の観測ノイズ特性は、RGBカメラ111のノイズの自己相関行列RNNとなる。これにより、補正係数分布の不均一性の程度によっては、従来と同様に、同一視野内の分光透過率の推定に一様に用いられる。
Incidentally, it is determined not to execute the dividing process in step S111, when the measurement center X 0 of the measurement region of the spectrometer when acquiring the spectral emission characteristic E of illumination is a divided area representative point, point X Since the calculated value at 0 is the observation noise characteristic, the observation noise characteristic in this case is the noise autocorrelation matrix R NN of the
次に、分光特性推定処理の手順について説明する。図13は、分光特性推定処理の手順を示すフローチャートである。この分光特性推定処理では、先ず、標本画像取得制御部163が、画像取得部110の動作を制御して、分光透過率の推定対象の対象標本をマルチバンド撮像し、対象標本画像を取得する(ステップS301)。
Next, the procedure of spectral characteristic estimation processing will be described. FIG. 13 is a flowchart illustrating a procedure of spectral characteristic estimation processing. In this spectral characteristic estimation process, first, the sample image acquisition control unit 163 controls the operation of the
続いて、シェーディング補正部156が、図6のステップS103で算出した各画素の補正係数α(ステップS105で画像化した補正係数画像の画素値)を用いて、ステップS301で取得した対象標本画像にシェーディング補正処理を施す(ステップS303)。具体的には、対象標本画像を構成する各画素の画素値に、対応する補正係数画像の画素の画素値である補正係数αを乗じ、得られた各値を各画素の画素値として画像化したシェーディング補正画像を得る。 Subsequently, the shading correction unit 156 uses the correction coefficient α of each pixel calculated in step S103 of FIG. 6 (the pixel value of the correction coefficient image imaged in step S105) to obtain the target sample image acquired in step S301. Shading correction processing is performed (step S303). Specifically, the pixel value of each pixel constituting the target specimen image is multiplied by the correction coefficient α, which is the pixel value of the pixel of the corresponding correction coefficient image, and each obtained value is imaged as the pixel value of each pixel. The obtained shading correction image is obtained.
続いて、分光特性推定部157が、対象標本画像の任意の点xにおける画素に対応する対象標本点における分光透過率を推定する。すなわち、分光特性推定部157は、先ず、点xの画素の属する分割領域を特定し、この分割領域における観測ノイズ特性を記憶部140に格納された分割領域別観測ノイズ特性データ143から読み出すことにより、分光透過率の推定に用いる観測ノイズ特性を取得する(ステップS305)。
Subsequently, the spectral characteristic estimation unit 157 estimates the spectral transmittance at the target sample point corresponding to the pixel at the arbitrary point x of the target sample image. That is, the spectral characteristic estimation unit 157 first identifies the divided region to which the pixel at the point x belongs, and reads the observation noise characteristics in this divided region from the observation noise
また、分光特性推定部157は、光学フィルタ1191a,1191bの分光透過率F、RGBカメラ111の分光感度特性S、照明の分光放射特性E、および標本の分光透過率の自己相関行列RSSの各分光特性推定パラメータを取得する(ステップS307)。
The spectral characteristic estimation unit 157 also includes spectral transmittance F of the
ここで、光学フィルタ1191a,1191bの分光透過率F、RGBカメラ111の分光感度特性Sおよび照明の分光放射特性Eは、使用する機器を選定の後、分光計等を用いて予め測定しておく。なお、ここでは、光学系117の分光透過率は1.0と近似しているが、この近似値1.0からの乖離が許容できない場合には、光学系117の分光透過率も予め測定し、照明の分光放射特性Eに乗じればよい。また、標本の分光透過率の自己相関行列RSSについても、事前に取得しておく。RSSは、H&E染色された典型的な標本を用意し、分光計によって複数の点の分光透過率を測定して自己相関行列を求めることによって得られる。
Here, the spectral transmittance F of the
そして、分光特性推定部157は、ステップS305およびステップS307で取得した各分光特性推定パラメータをもとに、次式(7)に従ってウィナー推定行列を算出し、シェーディング補正画像の点xに対応する対象標本点における分光透過率をウィナー推定によって推定する(ステップS309)。
すなわち、本実施の形態では、シェーディング補正画像の点xに対応する対象標本点における分光透過率の推定値T^(x)は、シェーディング補正画像の点xにおける画素値の行列表現G(x)から、式(7)で表されるウィナー推定行列を用いて次式(8)に従って推定される。得られた分光透過率の推定値T^(x)は、記憶部140に格納される。
本画像処理装置1によって推定された分光透過率は、例えば、対象標本を染色している色素の色素量の推定に用いられる。そして、推定された色素量に基づいて画像の色が補正され、カメラの特性や染色状態のばらつき等が補正されて、表示用のRGB画像が合成される。このRGB画像は、表示部130に画面表示されて病理診断に利用される。
The spectral transmittance estimated by the
本実施の形態によれば、照明光を照射した状態で被写体無しの背景を撮像した照明画像を取得し、この照明画像に基づいて算出した各画素の補正係数αを画素値として画像化した補正係数画像を補正係数間隔Iに基づいて分割した分割領域毎に、観測ノイズ特性を決定することができる。具体的には、RGBカメラ111のノイズの自己相関行列RNNと各分割領域の中からそれぞれ抽出した分割領域代表点における補正係数αとに基づいて、各分割領域における観測ノイズ特性を決定することができる。そして、対象標本画像の各画素を、それぞれ対応する画素の補正係数αを用いてシェーディング処理を施すとともに、補正後のシェーディング補正画像を構成する画素に対応する対象標本点の分光透過率をウィナー推定によって推定する際に、この画素の属する分割領域の分割領域代表点における観測ノイズ特性を用いることができる。したがって、シェーディング補正処理により照明の分光放射分布の不均一性を除去できる。また、同一視野内における補正係数の不均一性による推定精度の低下問題は、同一分割領域内の補正係数の不均一性による推定精度の低下問題となるので、シェーディング補正処理に伴う観測ノイズ特性の特性変化に起因する分光特性値の推定誤差を軽減することができ、被写体の分光特性の推定精度を向上させることができる。
According to the present embodiment, an illumination image obtained by capturing a background without a subject in a state where illumination light is irradiated is acquired, and a correction obtained by imaging the correction coefficient α of each pixel calculated based on the illumination image as a pixel value The observation noise characteristic can be determined for each divided region obtained by dividing the coefficient image based on the correction coefficient interval I. Specifically, the observation noise characteristics in each divided region are determined based on the noise autocorrelation matrix R NN of the
なお、補正係数画像を領域分割するための分割パラメータである補正係数間隔Iは、ユーザ操作に従って設定することとしてもよい。この場合には、例えば、制御部160は、図7に例示したような領域分割部153によって作成されたヒストグラムを表示部130に表示する制御を行うとともに、補正係数間隔Iの入力依頼の通知を表示する制御を行って、パラメータ入力依頼手段として機能する図14は、補正係数間隔Iの入力依頼の通知画面の一例を示す図である。通知画面W30には、補正係数間隔Iの入力操作を受け付ける入力ボックスB30が配置されている。ユーザは、入力部120を介して所望の補正係数間隔Iの値を入力ボックスB30に入力することにより、補正係数間隔Iを指定する。領域分割部153は、この入力依頼の通知に応答して入力された値を補正係数間隔Iとし、階調変換処理を行う。このように、ユーザ操作によって指定された補正係数間隔Iに基づいて領域分割処理を行うようにすれば、ユーザが補正係数の不均一性の許容量を指定することができ、補正係数の不均一性によって生じる観測ノイズ特性の特性変化による分光特性の推定精度への影響を、許容内に軽減することができる。したがって、ユーザは、指定する補正係数間隔Iの値によって、補正係数の不均一性による分光特性の推定誤差の軽減と領域分割に伴う分光特性の推定処理時間の増加とのバランスを適宜調整できる。例えば、補正係数間隔Iを狭く指定すれば、推定処理時間は増大するものの、分光特性の推定誤差は小さくなり、分光特性の推定精度を向上させることができる。一方、補正係数間隔Iを広く指定した場合には、分光特性の推定精度はある程度低下するが、推定処理時間を短縮することができる。
Note that the correction coefficient interval I, which is a division parameter for dividing the correction coefficient image into regions, may be set according to a user operation. In this case, for example, the
また、上記した実施形態では、補正係数間隔Iを分割パラメータとして用い、補正係数画像を分割する場合について説明したが、分割数を分割パラメータとして用い、補正係数画像を分割することとしてもよい。この場合には、分割数が階調変換後の階調数となり、例えば、分割数に従って補正係数間隔Iを決定し、決定した補正係数間隔Iに従って補正係数画像を複数の分割領域に分割する。また、この分割数をユーザ操作に従って設定してもよい。 In the embodiment described above, the correction coefficient interval I is used as the division parameter and the correction coefficient image is divided. However, the correction coefficient image may be divided using the division number as the division parameter. In this case, the division number becomes the gradation number after gradation conversion. For example, the correction coefficient interval I is determined according to the division number, and the correction coefficient image is divided into a plurality of divided regions according to the determined correction coefficient interval I. Further, the number of divisions may be set according to a user operation.
また、上記した実施の形態では、補正係数画像を分割した分割領域毎に観測ノイズ特性を決定し、シェーディング補正処理を施した対象標本画像を構成する所定の画素に対応する対象標本点の分光透過率を推定する際に、この画素の属する分割領域に応じた観測ノイズ特性を用いることとしたが、画素毎に観測ノイズ特性を決定することとしてもよい。この場合には、RGBカメラ111のノイズの自己相関行列RNNと所定の画素における補正係数αとに基づいて、この所定の画素に観測ノイズ特性を算出し、対応する対象標本点における分光透過率の推定に用いる。
In the above-described embodiment, the spectral transmission of the target sample point corresponding to the predetermined pixel constituting the target sample image that has been subjected to the shading correction process is determined for each divided region obtained by dividing the correction coefficient image. In estimating the rate, the observation noise characteristic corresponding to the divided region to which the pixel belongs is used, but the observation noise characteristic may be determined for each pixel. In this case, based on the noise autocorrelation matrix R NN of the
また、上記の実施の形態では、病理標本を撮像したマルチバンド画像から分光透過率のスペクトル特徴値を推定する場合について説明したが、分光特性値として、分光反射率のスペクトル特徴値を推定する場合にも、同様に適用できる。 In the above-described embodiment, the case where the spectral feature value of the spectral transmittance is estimated from the multiband image obtained by imaging the pathological specimen has been described. However, the spectral feature value of the spectral reflectance is estimated as the spectral characteristic value. The same applies to the above.
また、上記の実施の形態では、H&E染色された病理標本を透過観察する場合について説明したが、他の染色法を用いて染色した生体標本に対しても適用することができる。また、透過光の観察だけでなく、反射光、蛍光、発光の観察においても、同様に適用することができる。 In the above embodiment, the case where the pathological specimen stained with H & E is observed through transmission has been described. However, the present invention can also be applied to a biological specimen stained using another staining method. The present invention can be similarly applied not only to observation of transmitted light but also to observation of reflected light, fluorescence, and light emission.
1 画像処理装置
110 画像取得部
120 入力部
130 表示部
140 記憶部
141 シェーディング補正係数データ
143 分割領域別観測ノイズ特性データ
145 画像処理プログラム
150 画像処理部
151 補正係数算出部
152 分布データ作成部
153 領域分割部
154 代表点抽出部
155 観測ノイズ特性決定部
156 シェーディング補正部
157 分光特性推定部
160 制御部
161 照明画像取得制御部
163 標本画像取得制御部
DESCRIPTION OF
Claims (13)
前記照明光を照射した状態で背景を撮像した照明画像の画素値に基づいて、画素値の補正を行う際の補正係数を算出する補正係数算出手段と、
前記補正係数算出手段によって算出された前記補正係数を用いて、前記対象画像にシェーディング補正処理を施す補正手段と、
前記シェーディング補正処理を施した対象画像を構成する画素の観測ノイズ特性を、前記画素に対する前記補正係数に基づいて決定するノイズ特性決定手段と、
前記ノイズ特性決定手段によって決定された前記観測ノイズ特性をもとに推定行列を算出し、算出した推定行列を用いて前記画素に対応する被写体位置の分光特性値を推定する分光特性推定手段と、
を備えることを特徴とする画像処理装置。 In the image processing apparatus that estimates the spectral characteristics of the subject based on the pixel value of the target image obtained by illuminating the illumination light and capturing the subject,
Correction coefficient calculation means for calculating a correction coefficient when correcting the pixel value based on the pixel value of the illumination image obtained by imaging the background in a state where the illumination light is irradiated;
Correction means for performing a shading correction process on the target image using the correction coefficient calculated by the correction coefficient calculation means;
Noise characteristic determining means for determining an observation noise characteristic of a pixel constituting the target image subjected to the shading correction processing based on the correction coefficient for the pixel;
A spectral characteristic estimation unit that calculates an estimation matrix based on the observation noise characteristic determined by the noise characteristic determination unit and estimates a spectral characteristic value of a subject position corresponding to the pixel using the calculated estimation matrix;
An image processing apparatus comprising:
前記分布画像作成手段によって作成された補正係数分布画像を複数の分割領域に分割する領域分割処理を実行する領域分割手段と、
前記領域分割手段によって分割された各分割領域内の画素に対する前記補正係数に基づいて、分割領域毎の観測ノイズ特性を算出するノイズ算出手段と、
を備え、
前記ノイズ特性決定手段は、前記画素の観測ノイズ特性を、該画素の属する分割領域の観測ノイズ特性とすることを特徴とする請求項1または2に記載の画像処理装置。 Distribution image creating means for creating a correction coefficient distribution image based on the correction coefficient for the pixel;
Area dividing means for executing an area dividing process for dividing the correction coefficient distribution image created by the distribution image creating means into a plurality of divided areas;
Noise calculating means for calculating an observation noise characteristic for each divided area based on the correction coefficient for the pixels in each divided area divided by the area dividing means;
With
The image processing apparatus according to claim 1, wherein the noise characteristic determining unit sets the observation noise characteristic of the pixel as an observation noise characteristic of a divided region to which the pixel belongs.
前記ノイズ算出手段は、前記代表点抽出手段によって抽出された各分割領域代表点の画素に対する前記補正係数に基づいて、各分割領域代表点の画素の観測ノイズ特性を前記分割領域毎の観測ノイズ特性として算出し、
前記ノイズ特性決定手段は、前記画素の観測ノイズ特性を、該画素の属する分割領域中の前記分割領域代表点の画素の観測ノイズ特性とすることを特徴とする請求項3に記載の画像処理装置。 Representative point extracting means for extracting at least one pixel as a divided area representative point from each divided area divided by the area dividing means,
The noise calculating means converts the observation noise characteristics of the pixels of each divided area representative point based on the correction coefficient for the pixels of the divided area representative points extracted by the representative point extracting means to the observed noise characteristics for each divided area. As
The image processing apparatus according to claim 3, wherein the noise characteristic determination unit uses the observation noise characteristic of the pixel as an observation noise characteristic of the pixel at the divided region representative point in the divided region to which the pixel belongs. .
前記領域分割手段は、前記係数分布算出手段によって作成された補正係数の分布に基づいて、前記領域分割処理を実行するか否かを判定する分割判定手段を有することを特徴とする請求項3または4に記載の画像処理装置。 Coefficient distribution calculating means for calculating a distribution of correction coefficients for each pixel,
4. The area dividing unit includes a division determining unit that determines whether or not to execute the area dividing process based on a correction coefficient distribution created by the coefficient distribution calculating unit. 5. The image processing apparatus according to 4.
前記補正係数分布画像を前記分割領域に分割するか否かの判定を依頼する判定入力依頼手段と、
を備え、
前記分割判定手段は、前記判定入力依頼手段による判定の依頼に応答して分割指示が入力された場合には前記領域分割処理を実行すると判定し、非分割指示が入力された場合には前記領域分割処理を実行しないと判定することを特徴とする請求項5に記載の画像処理装置。 Coefficient distribution display control means for performing control to display the distribution of correction coefficients calculated by the coefficient distribution calculation means on a display unit;
Determination input requesting means for requesting determination of whether or not to divide the correction coefficient distribution image into the divided regions;
With
The division determination unit determines to execute the region division process when a division instruction is input in response to a determination request from the determination input request unit, and when the non-division instruction is input, the region determination unit 6. The image processing apparatus according to claim 5, wherein it is determined that the division process is not executed.
前記領域分割手段は、前記パラメータ入力依頼手段による入力の依頼に応答して入力された分割パラメータを用いて、前記補正係数分布画像を領域分割することを特徴とする請求項7に記載の画像処理装置。 Comprising a parameter input requesting means for requesting input of the divided parameters;
8. The image processing according to claim 7, wherein the area dividing unit divides the correction coefficient distribution image into regions using a division parameter input in response to an input request from the parameter input request unit. apparatus.
前記補正係数分布画像を、前記分割パラメータに応じた階調区間毎に階調変換し、階調変換結果に基づいて前記補正係数分布画像を前記分割領域に分割する階調変換分割手段と、
前記階調変換結果に基づいて二値化処理を行い、前記分割領域毎の二値画像を取得する二値化手段と、
前記二値化手段による二値化結果に基づいて、前記分割領域毎の二値画像それぞれにラベリング処理を行うラベリング処理手段と、
を有し、
前記代表点抽出手段は、ラベリング処理手段の結果に基づいて、前記各分割領域から前記分割領域代表点を抽出することを特徴とする請求項7または8に記載の画像処理装置。 The region dividing means includes
Gradation conversion dividing means for converting the gradation of the correction coefficient distribution image for each gradation section according to the division parameter, and dividing the correction coefficient distribution image into the divided regions based on a gradation conversion result;
Binarization means for performing binarization processing based on the gradation conversion result and obtaining a binary image for each of the divided regions;
Based on the binarization result by the binarization means, labeling processing means for performing a labeling process on each of the binary images for each of the divided regions;
Have
9. The image processing apparatus according to claim 7, wherein the representative point extracting unit extracts the divided region representative points from the divided regions based on a result of the labeling processing unit.
前記分割領域毎に、前記分割領域代表点の選出を依頼する代表点選出依頼手段と、
を備え、
前記代表点抽出手段は、前記代表点選出依頼手段による選出の依頼に応答して選出された分割領域代表点に基づいて、前記各分割領域における前記分割領域代表点を抽出することを特徴とする請求項3〜9のいずれか一つに記載の画像処理装置。 A divided area display control means for performing control to display a result of the area dividing process on a display unit;
Representative point selection requesting means for requesting selection of the divided region representative points for each divided region;
With
The representative point extracting unit extracts the divided region representative point in each divided region based on the divided region representative point selected in response to the selection request by the representative point selection requesting unit. The image processing apparatus according to claim 3.
前記照明光を照射した状態で背景を撮像した照明画像の画素値に基づいて、画素値の補正を行う際の補正係数を算出する補正係数算出ステップと、
前記補正係数算出ステップによって算出された前記補正係数を用いて、前記対象画像にシェーディング補正処理を施す補正ステップと、
前記シェーディング補正処理を施した対象画像を構成する画素の観測ノイズ特性を、前記画素に対する前記補正係数に基づいて決定するノイズ特性決定ステップと、
前記ノイズ特性決定ステップによって決定された前記観測ノイズ特性をもとに推定行列を算出し、算出した推定行列を用いて前記画素に対応する被写体位置の分光特性値を推定する分光特性推定ステップと、
を実行させることを特徴とする画像処理プログラム。 An image processing program for causing a computer to estimate spectral characteristics of a subject based on a pixel value of a target image obtained by irradiating illumination light to image the subject,
A correction coefficient calculating step for calculating a correction coefficient when correcting the pixel value based on the pixel value of the illumination image obtained by imaging the background in a state where the illumination light is irradiated;
A correction step of performing a shading correction process on the target image using the correction coefficient calculated by the correction coefficient calculation step;
A noise characteristic determination step of determining an observation noise characteristic of a pixel constituting the target image subjected to the shading correction processing based on the correction coefficient for the pixel;
A spectral characteristic estimation step of calculating an estimation matrix based on the observation noise characteristic determined by the noise characteristic determination step, and estimating a spectral characteristic value of a subject position corresponding to the pixel using the calculated estimation matrix;
An image processing program for executing
前記照明光を照射した状態で背景を撮像した照明画像の画素値に基づいて、画素値の補正を行う際の補正係数を算出するステップと、 Calculating a correction coefficient when correcting the pixel value based on the pixel value of the illumination image obtained by imaging the background in a state where the illumination light is irradiated; and
算出された前記補正係数を用いて、前記対象画像にシェーディング補正処理を施すステップと、 Applying a shading correction process to the target image using the calculated correction coefficient;
前記シェーディング補正処理を施した対象画像を構成する画素の観測ノイズ特性を、前記画素に対する前記補正係数に基づいて決定するステップと、 Determining an observation noise characteristic of a pixel constituting the target image subjected to the shading correction processing based on the correction coefficient for the pixel;
決定された前記観測ノイズ特性をもとに推定行列を算出し、算出した推定行列を用いて前記画素に対応する被写体位置の分光特性値を推定するステップと、 Calculating an estimation matrix based on the determined observation noise characteristic, and estimating a spectral characteristic value of a subject position corresponding to the pixel using the calculated estimation matrix;
を備えることを特徴とする画像処理方法。 An image processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007221735A JP5210571B2 (en) | 2007-08-28 | 2007-08-28 | Image processing apparatus, image processing program, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007221735A JP5210571B2 (en) | 2007-08-28 | 2007-08-28 | Image processing apparatus, image processing program, and image processing method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009053116A JP2009053116A (en) | 2009-03-12 |
JP2009053116A5 JP2009053116A5 (en) | 2010-10-07 |
JP5210571B2 true JP5210571B2 (en) | 2013-06-12 |
Family
ID=40504309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007221735A Expired - Fee Related JP5210571B2 (en) | 2007-08-28 | 2007-08-28 | Image processing apparatus, image processing program, and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5210571B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6313224B2 (en) * | 2013-01-23 | 2018-04-18 | テルモ株式会社 | Calibration method, apparatus, program, and body fluid component measurement apparatus calibrated using this method |
DE102014112002A1 (en) * | 2014-08-21 | 2016-02-25 | Carl Zeiss Microscopy Gmbh | Method for imaging a sample by means of a microscope and a microscope |
US20210211619A1 (en) * | 2018-06-05 | 2021-07-08 | Sony Corporation | Information generation device, information generation method and program |
JPWO2023286657A1 (en) * | 2021-07-16 | 2023-01-19 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3819187B2 (en) * | 1999-09-28 | 2006-09-06 | 富士写真フイルム株式会社 | Spectral estimation method and spectral estimation system for spectral reflectance of multiband image |
KR100722897B1 (en) * | 2002-07-26 | 2007-05-31 | 올림푸스 가부시키가이샤 | Image processing system |
JP4388327B2 (en) * | 2003-08-25 | 2009-12-24 | オリンパス株式会社 | Microscope image imaging apparatus and microscope image imaging method |
WO2005033678A1 (en) * | 2003-10-03 | 2005-04-14 | Olympus Corporation | Image processing apparatus and image processing method |
JP3960989B2 (en) * | 2004-07-16 | 2007-08-15 | オリンパス株式会社 | Color estimation system and color estimation method |
-
2007
- 2007-08-28 JP JP2007221735A patent/JP5210571B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009053116A (en) | 2009-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5075648B2 (en) | Image processing apparatus, image processing program, and image processing method | |
JP4071186B2 (en) | Method and system for identifying an object of interest in a biological specimen | |
JP4740068B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2010169467A (en) | Image processing apparatus, data set forming device, image processing program, and data set forming program | |
JP5117274B2 (en) | Image processing apparatus and image processing program | |
JP5738564B2 (en) | Image processing system | |
EP2859833A1 (en) | Image processing device, image processing method, and image processing program | |
JP5178226B2 (en) | Image processing apparatus and image processing program | |
JP5154844B2 (en) | Image processing apparatus and image processing program | |
JP2011053074A (en) | Method, apparatus and program for processing image | |
JP5137481B2 (en) | Image processing apparatus, image processing program, and image processing method | |
JP4383352B2 (en) | Histological evaluation of nuclear polymorphism | |
US9406118B2 (en) | Stain image color correcting apparatus, method, and system | |
JP5210571B2 (en) | Image processing apparatus, image processing program, and image processing method | |
JP5305618B2 (en) | Image processing apparatus and image processing program | |
CN111656393A (en) | Histological image analysis | |
JP2010156612A (en) | Image processing device, image processing program, image processing method, and virtual microscope system | |
JP2008304205A (en) | Spectral characteristics estimation apparatus and spectral characteristics estimation program | |
US11037294B2 (en) | Image processing device, image processing method, and computer-readable recording medium | |
JP2010169592A (en) | Image processing device and program | |
JP5752985B2 (en) | Image processing apparatus, image processing method, image processing program, and virtual microscope system | |
JP2009025147A (en) | Device and program for image processing | |
JP2009074937A (en) | Image processor and image processing program | |
JP2009014354A (en) | Image processor and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100820 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100820 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120529 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130225 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5210571 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |