JP6345001B2 - Image processing method and image processing apparatus - Google Patents
Image processing method and image processing apparatus Download PDFInfo
- Publication number
- JP6345001B2 JP6345001B2 JP2014136055A JP2014136055A JP6345001B2 JP 6345001 B2 JP6345001 B2 JP 6345001B2 JP 2014136055 A JP2014136055 A JP 2014136055A JP 2014136055 A JP2014136055 A JP 2014136055A JP 6345001 B2 JP6345001 B2 JP 6345001B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel set
- image
- density
- pixel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 37
- 238000003672 processing method Methods 0.000 title claims description 19
- 238000003384 imaging method Methods 0.000 claims description 141
- 238000011156 evaluation Methods 0.000 claims description 42
- 239000006185 dispersion Substances 0.000 claims description 24
- 238000012854 evaluation process Methods 0.000 claims description 3
- 239000000523 sample Substances 0.000 description 32
- 238000000034 method Methods 0.000 description 15
- 239000002609 medium Substances 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 description 8
- 238000005286 illumination Methods 0.000 description 6
- 239000012472 biological sample Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000001963 growth medium Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 229920001817 Agar Polymers 0.000 description 1
- 239000008272 agar Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Description
この発明は、画像処理方法および画像処理装置に関するものであり、特に画像処理によって全焦点画像を作成する技術に関する。 The present invention relates to an image processing method and an image processing apparatus, and more particularly to a technique for creating an omnifocal image by image processing.
撮像対象物を撮像して画像処理を施す技術が、医療や生化学の分野、より具体的には例えば培地内で培養された細胞などの生物試料の観察・分析等の目的に適用されることがある。ここで、撮像対象物である試料において細胞等が培地内で三次元的に分布している場合、その全体に焦点が合った画像が得られないことがあり得る。このような問題に対応するために、撮像方向に沿って焦点位置を多段階に異ならせて複数の画像を撮像し、各画像から焦点の合った部分のみを抽出して合成することで、いわゆる全焦点画像を作成する技術が提案されている。 A technique for imaging an imaged object and performing image processing is applied to the field of medical treatment and biochemistry, more specifically for the purpose of observation and analysis of biological samples such as cells cultured in a medium. There is. Here, when cells or the like are three-dimensionally distributed in the culture medium in the sample that is the imaging object, an image that is focused on the whole may not be obtained. In order to cope with such a problem, a plurality of images are captured by varying the focal position in multiple stages along the imaging direction, and only the in-focus portion is extracted from each image and synthesized, so-called Techniques for creating omnifocal images have been proposed.
例えば特許文献１に記載の技術では、合焦画像では標本（撮像対象物）のエッジ部分の輝度変化が特に大きいことに着目し、撮像方向における焦点位置の変化に伴うエッジ部分の画素の輝度変化に基づいて、当該画素における合焦位置が特定される。合焦位置にあると判定された画素を配列して画像を構成することにより、全焦点画像を自動的に作成することが可能となる。 For example, in the technique described in Patent Document 1, attention is paid to the fact that the brightness change of the edge portion of the specimen (imaging target) is particularly large in the focused image, and the brightness change of the pixel of the edge portion accompanying the change of the focal position in the imaging direction. Based on the above, the in-focus position in the pixel is specified. By arranging the pixels determined to be in the in-focus position to form an image, an omnifocal image can be automatically created.
例えば細胞が染色されている場合、特に細胞が複数集まった細胞コロニーが撮像対象物に含まれる場合、細胞コロニーの周縁部では画像濃度が大きく変化する一方、細胞コロニーの内部では画像濃度の変化が少ない。特に、比較的大きな細胞コロニーでは、該コロニー内部のエッジ強度が周縁部より低くなることもある。そのため、エッジ部分に着目した従来技術では、本来は細胞コロニーの内部である領域が細胞の外部と誤判定され、細胞コロニー内部まで焦点の合った画像を得られないおそれがあった。 For example, when cells are stained, especially when a cell colony in which a plurality of cells are collected is included in the imaging target, the image density changes greatly at the periphery of the cell colony, while the image density changes within the cell colony. Few. In particular, in a relatively large cell colony, the edge strength inside the colony may be lower than that of the peripheral edge. For this reason, in the prior art focusing on the edge portion, the area originally inside the cell colony is erroneously determined as the outside of the cell, and there is a possibility that an image focused on the inside of the cell colony cannot be obtained.
この発明は上記課題に鑑みなされたものであり、画像に含まれる細胞や細胞コロニー（以下、「細胞等」という）の領域とその周囲領域との誤判定を抑制して、画像品質の良好な全焦点画像を作成することのできる画像処理技術を提供することを目的とする。 The present invention has been made in view of the above problems, and suppresses misjudgment between a region of a cell or a cell colony (hereinafter referred to as “cell or the like”) included in an image and its surrounding region, and has good image quality. An object of the present invention is to provide an image processing technique capable of creating an omnifocal image.
この発明にかかる画像処理方法の一の態様は、上記目的を達成するため、撮像方向に沿った方向に焦点位置を互いに異ならせて撮像対象物を撮像した複数の原画像を取得する画像取得工程と、前記複数の原画像間で、対応する前記撮像対象物の位置が互いに同一である画素同士を１組の画素セットとしたとき、前記画素セットごとに、当該画素セットに含まれる各画素のうち最も高濃度であるものの濃度値に対応する指標値を求める最高濃度評価工程と、前記画素セットごとに、当該画素セットに含まれる各画素の濃度値の分散の値に対応する指標値を求める分散評価工程と、前記画素セットごとに、当該画素セットに含まれる各画素のうち最も高濃度であるものの濃度値に、前記最高濃度評価工程で当該画素セットに対応して求められた前記指標値および前記分散評価工程で当該画素セットに対応して求められた前記指標値に基づき求めた重み付け係数を乗じて、当該画素セットに対応する出力濃度値を算出する濃度値算出工程と、濃度値が前記出力濃度値である画素を、前記画素セットと前記撮像対象物との位置の対応関係に基づく配置で配して出力画像を作成する出力工程とを備えている。 In one aspect of the image processing method according to the present invention, in order to achieve the above-described object, an image acquisition step of acquiring a plurality of original images obtained by imaging an imaging object with different focal positions in the direction along the imaging direction. When the pixels whose positions of the corresponding imaging objects are the same among the plurality of original images are defined as one pixel set, for each pixel set, each pixel included in the pixel set The highest density evaluation step for obtaining an index value corresponding to the density value of the highest density among them, and for each pixel set, an index value corresponding to the dispersion value of the density value of each pixel included in the pixel set is obtained. The dispersion evaluation step, and for each pixel set, the density value of the highest density among the pixels included in the pixel set is calculated in correspondence with the pixel set in the highest density evaluation step. A density value calculating step of calculating an output density value corresponding to the pixel set by multiplying the index value and a weighting coefficient determined based on the index value determined corresponding to the pixel set in the variance evaluation step; An output step of creating an output image by arranging pixels whose values are the output density values in an arrangement based on a correspondence relationship between the positions of the pixel set and the imaging object.
また、この発明にかかる画像処理方法の他の態様は、上記目的を達成するため、撮像方向に沿った方向に焦点位置を互いに異ならせて撮像対象物を撮像した複数の原画像を取得する画像取得工程と、前記複数の原画像間で、対応する前記撮像対象物の位置が互いに同一である画素同士を１組の画素セットとしたとき、前記画素セットごとに、当該画素セットに含まれる各画素のうち最も高濃度であるものの濃度値に対応する指標値を求める最高濃度評価工程と、前記原画像の各々について、当該原画像に含まれる各画素のエッジ強度を画素ごとに求め、前記画素セットごとに、当該画素セットに含まれる各画素のエッジ強度の最大値に対応する評価値を求めるエッジ強度評価工程と、前記画素セットごとに、当該画素セットに含まれる各画素のうち最も高濃度であるものの濃度値に、前記最高濃度評価工程で当該画素セットに対応して求められた前記指標値および前記エッジ強度評価工程で当該画素セットに対応して求められた前記指標値に基づき求めた重み付け係数を乗じて、当該画素セットに対応する出力濃度値を算出する濃度値算出工程と、濃度値が前記出力濃度値である画素を、前記画素セットと前記撮像対象物との位置の対応関係に基づく配置で配して出力画像を作成する出力工程とを備えている。 According to another aspect of the image processing method of the present invention, in order to achieve the above-described object, an image is obtained by acquiring a plurality of original images obtained by imaging an imaging target with different focal positions in directions along the imaging direction. When the pixels in which the positions of the corresponding imaging objects corresponding to each other in the acquisition step and the plurality of original images are the same are set as one pixel set, each pixel set includes each pixel set included in the pixel set. A maximum density evaluation step for obtaining an index value corresponding to a density value of a pixel having the highest density, and for each of the original images, an edge strength of each pixel included in the original image is obtained for each pixel, and the pixel For each set, an edge strength evaluation step for obtaining an evaluation value corresponding to the maximum value of the edge strength of each pixel included in the pixel set, and each pixel included in the pixel set for each pixel set The index value obtained in correspondence with the pixel set in the highest density evaluation step and the index value obtained in correspondence with the pixel set in the edge strength evaluation step to the density value of the highest density among them A density value calculating step for calculating an output density value corresponding to the pixel set by multiplying the weighting coefficient obtained based on the pixel value, and a pixel whose density value is the output density value between the pixel set and the imaging object. And an output step of creating an output image by arranging in an arrangement based on the correspondence relationship of positions.
また、この発明にかかる画像処理装置の一の態様は、上記目的を達成するため、撮像方向に沿った方向に焦点位置を互いに異ならせて撮像対象物を撮像した複数の原画像を取得する画像取得手段と、前記複数の原画像に基づき出力画像を作成する画像処理手段と、前記出力画像を出力する出力手段とを備え、前記画像処理手段は、前記複数の原画像間で、対応する前記撮像対象物の位置が互いに同一である画素同士を１組の画素セットとしたとき、前記画素セットごとに、当該画素セットに含まれる各画素のうち最も高濃度であるものの濃度値と、当該画素セットに含まれる各画素の濃度値の分散の値および当該画素セットに含まれる各画素のエッジ強度の最大値の少なくとも一方とに基づき、当該画素セットに対応する重み付け係数を求め、前記画素セットごとに、当該画素セットに含まれる各画素のうち最も高濃度であるものの濃度値に前記重み付け係数を乗じて、当該画素セットに対応する出力濃度値を算出し、濃度値が前記出力濃度値である画素を、前記画素セットと前記撮像対象物との位置の対応関係に基づく配置で配して前記出力画像を作成する。 Moreover, in one aspect of the image processing apparatus according to the present invention, in order to achieve the above-described object, an image for acquiring a plurality of original images obtained by imaging an imaging object with different focal positions in a direction along the imaging direction. An acquisition unit; an image processing unit that creates an output image based on the plurality of original images; and an output unit that outputs the output image, the image processing unit corresponding to the plurality of original images. When pixels having the same position of the object to be imaged are set as one pixel set, for each pixel set, the density value of the highest density among the pixels included in the pixel set, and the pixel A weighting coefficient corresponding to the pixel set is obtained based on at least one of the dispersion value of the density value of each pixel included in the set and the maximum edge intensity of each pixel included in the pixel set. For each pixel set, the density value of the highest density among the pixels included in the pixel set is multiplied by the weighting coefficient to calculate an output density value corresponding to the pixel set, and the density value is the output. The output image is created by arranging pixels that are density values in an arrangement based on a correspondence relationship between positions of the pixel set and the imaging object.
これらの発明における１つの「画素セット」は、撮像方向に沿って焦点位置を互いに異ならせて取得された複数の原画像の各々からそれぞれ１つずつ抽出された画素のセットであって、同一の画素セットに含まれる複数の画素は、いずれも撮像対象物の同一位置に対応している。すなわち、１つの画素セットに含まれる複数の画素は、撮像対象物の同一位置を、焦点位置を互いに異ならせて撮像することにより得られるものである。各原画像はそれぞれが多数の画素からなり、それらの原画像からは、撮像対象物の各位置に対応してこのような画素セットを多数想定することができる。 One “pixel set” in these inventions is a set of pixels extracted one by one from each of a plurality of original images obtained with different focal positions along the imaging direction. The plurality of pixels included in the pixel set all correspond to the same position of the imaging target. That is, a plurality of pixels included in one pixel set are obtained by imaging the same position of the imaging target object with different focal positions. Each original image is composed of a large number of pixels, and from these original images, a large number of such pixel sets can be assumed corresponding to each position of the imaging target.
また、画素の「濃度値」は、当該画素の明るさを指標する値であって、彩色の有無に関わらず、光学的に高濃度である、つまり明度が低いほど数値が大きくなるものとする。 In addition, the “density value” of a pixel is a value that indicates the brightness of the pixel, and regardless of the presence or absence of coloring, the value is optically high, that is, the numerical value increases as the brightness decreases. .
上記の発明では、各画素セットに含まれる画素のうち最も高濃度のものの濃度値に、当該画素セットに対応して求められた重み付け係数を乗じた値が、当該画素セットに対応する画素の濃度値（出力濃度値）となる。そして、こうして得られた出力濃度値を有する画素が、撮像対象物における位置関係に基づき配置されて出力画像が作成される。 In the above invention, the value obtained by multiplying the density value of the highest density pixel among the pixels included in each pixel set by the weighting coefficient obtained corresponding to the pixel set is the density of the pixel corresponding to the pixel set. Value (output density value). Then, the pixels having the output density values obtained in this way are arranged based on the positional relationship in the imaging object, and an output image is created.
詳しくは後述するが、上記の発明では、例えば染色された撮像対象物を撮像した画像においては、細胞等の内部が外部よりも高濃度である点、および、合焦画像において明瞭な濃淡のコントラストが非合焦画像では不明瞭となる点に着目して出力画像を作成する。 As will be described in detail later, in the above-described invention, for example, in an image obtained by imaging a stained imaging target, the inside of the cell or the like has a higher density than the outside, and a clear contrast in the focused image However, the output image is created by paying attention to the point that becomes unclear in the out-of-focus image.
すなわち、基本的には各画素セットにおいて最も高濃度である画素の濃度値に基づき出力画像が作成される。ただし、各濃度値に対しては、当該画素セットに含まれる各画素のうち最も高濃度であるものの濃度値と、当該画素セットに含まれる各画素の濃度値の分散の値および当該画素セットに含まれる各画素のエッジ強度の最大値の少なくとも一方とに基づき定められる重み付けがなされる。 That is, basically, an output image is created based on the density value of the pixel having the highest density in each pixel set. However, for each density value, the density value of the highest density among the pixels included in the pixel set, the dispersion value of the density value of each pixel included in the pixel set, and the pixel set Weighting determined based on at least one of the maximum edge strength values of each pixel included is performed.
画像において細胞等の内部に相当する領域はその周囲よりも画像濃度が高いので、当該領域に対応する画素セットでは最も高濃度の画素が合焦状態の画素である蓋然性が高いと考えられる。よって、各画素セットから選出された最も高濃度の画素の濃度値を出力画像の基本とする。一方、非合焦画像では、特に細胞等を取り巻く周囲領域に対応する画素において合焦画像よりも濃度が高くなる。したがって、単に各画素セットから最も高濃度の画素のみを選出して再構成した画像では、撮像対象物の占める領域が本来よりも大きくなる。つまり、細胞等の周縁部が外側に向かって膨張したような画像となってしまう。この問題を解消するために、細胞等の周縁部近傍の画素については濃度値を減じる修正が必要となる。 In an image, an area corresponding to the inside of a cell or the like has a higher image density than the surrounding area. Therefore, it is considered that the pixel set corresponding to the area has a high probability that the highest density pixel is a focused pixel. Therefore, the density value of the highest density pixel selected from each pixel set is used as the basis of the output image. On the other hand, in the in-focus image, the density is higher than that in the focused image, particularly in the pixels corresponding to the surrounding area surrounding the cells and the like. Therefore, in an image obtained by simply selecting and reconstructing only the pixel with the highest density from each pixel set, the area occupied by the imaging target is larger than the original area. That is, an image in which a peripheral portion of cells or the like is expanded outward is formed. In order to solve this problem, it is necessary to correct the density value of pixels in the vicinity of the peripheral portion such as cells.
細胞等の周縁部近傍の画素では、焦点位置の変化に伴う濃度値の変動が大きい。つまり、細胞等の周縁部近傍に対応する画素セットでは、含まれる画素間での濃度値のばらつきが大きい。したがって画素セット内での濃度値の分散の値が大きいほど、濃度値の修正を大きくする必要があると考えられる。あるいは、原画像のエッジ強度から濃度値の修正量を見積もることもできる。すなわち、合焦画像では細胞等とその周囲領域との境界において画像濃度の変化が急峻であることから、そのエッジ強度が大きいほど濃度値の修正を大きくする必要があると考えられる。 In pixels near the periphery of cells and the like, the density value varies greatly with the change in focal position. That is, in the pixel set corresponding to the vicinity of the peripheral part of cells or the like, the density value varies greatly among the included pixels. Accordingly, it is considered that the correction of the density value needs to be increased as the dispersion value of the density value in the pixel set increases. Alternatively, the correction amount of the density value can be estimated from the edge strength of the original image. That is, in the focused image, the change in the image density is steep at the boundary between the cell and the surrounding area, so it is considered that the correction of the density value needs to be increased as the edge strength increases.
これらに鑑み、本発明では、各画素セットにおいて最も高濃度である画素の濃度値を基本としつつ、その濃度値と、当該画素セットにおける分散の値およびエッジ強度の値の少なくとも一方とを反映させた重み付け係数を導入して濃度値を修正する。これにより、細胞等の周囲において画像濃度が本来より高くなり、画像中における細胞等の領域が膨張することが抑制される。このようにして得られた出力濃度値を有する画素を適切な位置に配置して再構成された画像を出力画像とすることで、撮像対象物の全焦点画像が得られる。 In view of these, the present invention is based on the density value of the pixel having the highest density in each pixel set, and reflects the density value and at least one of the dispersion value and the edge strength value in the pixel set. The density value is corrected by introducing a weighting factor. As a result, the image density around the cells and the like becomes higher than the original, and the expansion of the area of the cells and the like in the image is suppressed. An omnifocal image of the object to be imaged can be obtained by placing the pixel having the output density value obtained in this way at an appropriate position and using the reconstructed image as the output image.
上記のように、本発明によれば、画像に含まれる細胞等の領域とその周囲領域との誤判定を抑制して、画像品質の良好な全焦点画像を作成することができる。 As described above, according to the present invention, it is possible to suppress an erroneous determination between a region such as a cell included in an image and its surrounding region, and to create an omnifocal image with good image quality.
図１はこの発明にかかる画像処理方法および画像処理装置を適用可能な撮像装置の一実施形態を示す図である。この撮像装置１は、試料容器Ｄに担持された生物試料を撮像対象物として撮像する撮像ユニット１０と、撮像ユニット１０を制御するとともに撮像された画像に適宜の画像処理を施す制御ユニット２０とを備えている。 FIG. 1 is a diagram showing an embodiment of an imaging apparatus to which an image processing method and an image processing apparatus according to the present invention can be applied. The imaging apparatus 1 includes an imaging unit 10 that images a biological sample carried on a sample container D as an imaging object, and a control unit 20 that controls the imaging unit 10 and performs appropriate image processing on the captured image. I have.
この撮像装置１が撮像対象物として取り扱う試料は、例えば浅皿型のディッシュのような試料容器Ｄに担持された培地中で、細胞やその集まりである細胞コロニー（細胞等）が培養されたものである。培地は例えば軟寒天と培養液とを含み、試料容器Ｄに所定量注入される。したがって、試料容器Ｄの内底面には一定の厚みの培地の層が担持される。この培地に細胞が播種され所定の培養条件で培養されることにより、撮像対象物となる生物試料が作成される。 The sample handled by the imaging apparatus 1 as an imaging target is one in which cells and cell colonies (cells, etc.) that are a collection thereof are cultured in a medium carried in a sample container D such as a shallow dish type dish. It is. The medium includes, for example, soft agar and a culture solution, and is injected into the sample container D by a predetermined amount. Therefore, a medium layer having a certain thickness is carried on the inner bottom surface of the sample container D. By seeding cells in this medium and culturing under predetermined culture conditions, a biological sample to be imaged is created.
撮像ユニット１０は、試料容器Ｄを略水平姿勢に支持するホルダ１１と、ホルダ１１に支持される試料容器Ｄの上方に配置され試料容器Ｄに向けて照明光を照射する照明部１３と、ホルダ１１に支持される試料容器Ｄに対して照明部１３と反対側、つまり試料容器Ｄの下方に配置されて試料容器Ｄを下方から撮像する撮像部１５とを備える。撮像部１５は、照明部１３から照射されて試料容器Ｄの底面を透過してくる光を受光して、試料容器Ｄ内部の試料を撮像する。なお、撮像ユニット１０における方向を明示するために、図のようにＸＹＺ直交座標系を設定する。ここで、ＸＹ平面は水平面を表し、Ｚ軸は鉛直軸を表す。 The imaging unit 10 includes a holder 11 that supports the sample container D in a substantially horizontal posture, an illumination unit 13 that is disposed above the sample container D supported by the holder 11 and emits illumination light toward the sample container D, and a holder 11 is provided on the opposite side of the illumination unit 13 with respect to the sample container D supported by 11, that is, below the sample container D, and an imaging unit 15 that images the sample container D from below. The imaging unit 15 receives the light irradiated from the illumination unit 13 and transmitted through the bottom surface of the sample container D, and images the sample inside the sample container D. In order to clearly indicate the direction in the imaging unit 10, an XYZ orthogonal coordinate system is set as shown in the figure. Here, the XY plane represents a horizontal plane, and the Z axis represents a vertical axis.
撮像部１５は、図１紙面に垂直なＸ方向を長手方向として該方向に多数の微小な撮像素子が配列されたリニアイメージセンサ１５１と、試料容器Ｄ底面から出射されてくる透過光をリニアイメージセンサ１５１の受光面に収束させる結像光学系１５２と、これらを一体的にＹ方向に水平移動させる機能とＺ方向に昇降移動させる機能とを備えたセンサ駆動部１７とを有する。撮像部１５は、結像光学系１５２により集光される試料容器Ｄからの透過光をリニアイメージセンサで受光しながら試料容器Ｄ底面に沿ってＹ方向に移動する。これにより、試料の二次元画像が取得される。試料の上部から入射し下方に透過する光が撮像部１５に受光されて撮像が行われるので、撮像部１５による撮像方向は鉛直方向である。なお、図１では撮像光学系１５２を単一のレンズで代表的に表現しているが、複数のレンズや光学素子の組み合わせにより構成されたものであってもよい。 The imaging unit 15 includes a linear image sensor 151 in which a number of minute imaging elements are arranged in the X direction perpendicular to the paper surface in FIG. 1 as a longitudinal direction, and transmitted light emitted from the bottom surface of the sample container D as a linear image. It has an imaging optical system 152 that converges on the light receiving surface of the sensor 151, and a sensor drive unit 17 that has a function of horizontally moving them integrally in the Y direction and a function of moving them up and down in the Z direction. The imaging unit 15 moves in the Y direction along the bottom surface of the sample container D while receiving the transmitted light from the sample container D collected by the imaging optical system 152 by the linear image sensor. Thereby, a two-dimensional image of the sample is acquired. Since light that enters from the upper part of the sample and transmits downward is received by the imaging unit 15 and imaged, the imaging direction by the imaging unit 15 is the vertical direction. In FIG. 1, the imaging optical system 152 is representatively represented by a single lens, but may be configured by a combination of a plurality of lenses and optical elements.
制御ユニット２０は、照明部１３の動作を制御する照明制御部２３、センサ駆動部１７を制御して撮像部１５を所定の方向に移動させる移動制御部２６、撮像部１５から出力される画像信号に基づき各種の画像処理を実行する画像処理部２５および処理前後の画像データやその他の各種データを記憶保存する記憶部２４を備えている。この他に、制御ユニット２０は、この撮像装置１を操作するオペレータからの操作指示入力を受け付ける入力受付部２１と、システムの動作状況や処理結果等を視覚情報としてオペレータに報知する表示部２２とを備えている。 The control unit 20 controls an illumination control unit 23 that controls the operation of the illumination unit 13, a movement control unit 26 that controls the sensor driving unit 17 to move the imaging unit 15 in a predetermined direction, and an image signal output from the imaging unit 15. Are provided with an image processing unit 25 that executes various image processing and a storage unit 24 that stores and saves image data before and after the processing and other various data. In addition, the control unit 20 includes an input receiving unit 21 that receives an operation instruction input from an operator who operates the imaging apparatus 1, and a display unit 22 that notifies the operator of system operation status and processing results as visual information. It has.
次に、上記のように構成された撮像装置１を用いて、試料容器Ｄ内の生物試料の全焦点画像を作成する方法について説明する。最初に、全焦点画像作成の原理について図２ないし図４を参照しながら説明し、その後で具体的な処理内容を説明する。 Next, a method for creating an omnifocal image of a biological sample in the sample container D using the imaging device 1 configured as described above will be described. First, the principle of creating an omnifocal image will be described with reference to FIGS. 2 to 4, and then specific processing contents will be described.
図２は試料を撮像する際に生じうる問題点を模式的に示す図である。図２上段の断面模式図に示すように、試料容器Ｄに担持される培地Ｍ中では、培養により形成された細胞コロニーＣａ、Ｃｂ等が種々の深さに分布している。したがって、深さ方向、つまり鉛直方向（Ｚ方向）から試料を撮像した場合、全ての細胞コロニーを合焦範囲に収めることができない場合がある。 FIG. 2 is a diagram schematically showing problems that may occur when imaging a sample. As shown in the schematic cross-sectional view in the upper part of FIG. 2, in the medium M carried on the sample container D, cell colonies Ca and Cb formed by the culture are distributed at various depths. Therefore, when a sample is imaged from the depth direction, that is, the vertical direction (Z direction), there are cases where all cell colonies cannot be brought into the in-focus range.
ここで、培地Ｍ中の細胞コロニーＣａ、Ｃｂ等について、次のような前提を導入する。
（１）細胞および細胞コロニーの内部は、その周囲の培地よりも高濃度である。
（２）画像に現れる細胞コロニーの輪郭は、当該細胞コロニーに焦点が合った画像において最も明瞭である。
Here, the following assumptions are introduced for the cell colonies Ca, Cb and the like in the medium M.
(1) The inside of cells and cell colonies has a higher concentration than the surrounding medium.
(2) The outline of the cell colony appearing in the image is most clear in the image focused on the cell colony.
これらは、培地中の細胞や細胞コロニーを撮像した画像全般において妥当性の高い前提である。その理由は以下の通りである。細胞および細胞コロニーの内部には細胞内構造物が多く存在するため、周囲の培地よりも高濃度である。特に、染色された試料では、細胞の存在する領域のみが選択的に染まるので細胞部分が周囲よりさらに高濃度となる。また、合焦位置からのずれは細胞コロニーの輪郭を不明瞭にする画像ボケを生じさせるから、合焦画像において輪郭が最も明瞭となることも明らかである。 These are premise of high validity in the whole image which imaged the cell and cell colony in a culture medium. The reason is as follows. Since there are many intracellular structures inside the cells and cell colonies, the concentration is higher than the surrounding medium. In particular, in a stained sample, only a region where cells exist is selectively stained, so that the cell portion has a higher concentration than the surroundings. It is also clear that the deviation from the in-focus position causes the image blur that makes the outline of the cell colony unclear, so that the outline is most clear in the in-focus image.
したがって、互いに異なる深さに存在する細胞コロニーＣａ、Ｃｂの双方に焦点が合った仮想的な全焦点画像を想定すると、その画像においては、図２の２段目に示すように、細胞コロニーＣａ、Ｃｂに対応する領域において高濃度、その周囲の培地Ｍに対応する領域においてより低濃度となる。そして、細胞コロニーＣａ、Ｃｂの輪郭、つまりコロニー内部と外部との境界部分で画像濃度が大きく変化する。なお、図２では細胞コロニーＣａ、Ｃｂ内部で濃度を一定として示しているが、実際の細胞コロニーでは必ずしも濃度一定というわけではない。 Therefore, assuming a virtual omnifocal image in which both cell colonies Ca and Cb existing at different depths are in focus, as shown in the second row of FIG. , The concentration corresponding to Cb is high, and the concentration corresponding to the surrounding medium M is lower. Then, the image density greatly changes at the contours of the cell colonies Ca and Cb, that is, at the boundary between the inside and outside of the colony. In FIG. 2, the concentration is shown to be constant inside the cell colonies Ca and Cb, but the concentration is not necessarily constant in an actual cell colony.
撮像光学系１５２の被写界深度が浅く、細胞コロニーＣａ、Ｃｂの両方に同時に焦点が合わない場合、画像にボケが生じる。例えば細胞コロニーＣａの深さに対応する焦点位置Ｆａで撮像された画像では、図２の３段目に示すように、合焦状態の細胞コロニーＣａについてはその周縁部において急峻な濃度変化が見られるが、非合焦状態の細胞コロニーＣｂについては周縁部近傍における濃度変化がより緩やかになり、輪郭が不明瞭となる。一方、細胞コロニーＣｂの深さに対応する焦点位置Ｆｂで撮像された画像では、図２下段に示すように、合焦状態の細胞コロニーＣｂではその輪郭が明瞭であるが、非合焦状態の細胞コロニーＣａでは輪郭が不明瞭となる。 When the depth of field of the imaging optical system 152 is shallow and both the cell colonies Ca and Cb cannot be focused simultaneously, the image is blurred. For example, in the image captured at the focal position Fa corresponding to the depth of the cell colony Ca, as shown in the third row of FIG. 2, a sharp density change is observed at the peripheral portion of the focused cell colony Ca. However, for the cell colony Cb in the out-of-focus state, the density change in the vicinity of the peripheral portion becomes more gradual and the outline becomes unclear. On the other hand, in the image captured at the focal position Fb corresponding to the depth of the cell colony Cb, as shown in the lower part of FIG. 2, the outline is clear in the focused cell colony Cb, but in the unfocused state. The outline becomes unclear in the cell colony Ca.
このように、複数の細胞コロニーを含む撮像対象物については、焦点位置を異ならせて撮像することで一部の細胞コロニーに焦点が合った画像を得ることが可能である。そして、焦点位置の異なる複数の画像を原画像として、それらの原画像から焦点の合った細胞コロニーの領域を抽出し合成することで、各細胞コロニーに焦点の合った全焦点画像が得られる。 As described above, for an imaging target including a plurality of cell colonies, it is possible to obtain an image in which some of the cell colonies are focused by imaging with different focal positions. Then, a plurality of images with different focal positions are used as original images, and a focused cell colony region is extracted from these original images and synthesized, thereby obtaining an omnifocal image focused on each cell colony.
図３は全焦点画像を作成するための撮像原理を示す図である。より具体的には、図３（ａ）は本実施形態の撮像部１５による撮像対象物の撮像動作を示す図である。撮像部１５に設けられた撮像光学系１５２の後側焦点はリニアイメージセンサ１５１の受光面に合わせられている。一方、撮像光学系１５２の前側焦点は、撮像部１５がセンサ駆動部１７により鉛直方向（Ｚ方向）に昇降駆動されることにより、鉛直方向に変更可能である。撮像部１５の鉛直方向位置が固定された状態で撮像部１５がＹ方向に走査移動することにより、例えば図３（ａ）に示すように焦点深さ（Ｚ方向位置）Ｆ０に対応する画像が得られる。概ねこの深さにある細胞コロニー、例えば図における細胞コロニーＣｂについては、当該画像が合焦画像となる。 FIG. 3 is a diagram showing an imaging principle for creating an omnifocal image. More specifically, FIG. 3A is a diagram illustrating an imaging operation of an imaging target by the imaging unit 15 of the present embodiment. The rear focal point of the imaging optical system 152 provided in the imaging unit 15 is aligned with the light receiving surface of the linear image sensor 151. On the other hand, the front focal point of the imaging optical system 152 can be changed in the vertical direction when the imaging unit 15 is driven up and down in the vertical direction (Z direction) by the sensor driving unit 17. When the imaging unit 15 scans and moves in the Y direction while the vertical position of the imaging unit 15 is fixed, for example, an image corresponding to the focal depth (Z direction position) F0 is obtained as shown in FIG. can get. For a cell colony approximately at this depth, for example, the cell colony Cb in the figure, the image becomes the focused image.
撮像部１５の鉛直方向位置を変えることで撮像光学系１５２の後側焦点の深さを多段階に変更設定し、その都度撮像部１５をＹ方向に走査させて撮像を行うことにより、種々の焦点深さで撮像された複数の画像が得られる。これらの画像が、全焦点画像を合成するために用いられる原画像となる。 By changing the vertical position of the imaging unit 15 to change the depth of the rear focal point of the imaging optical system 152 in multiple stages, each time the imaging unit 15 is scanned in the Y direction, various types of imaging are performed. A plurality of images captured at the focal depth are obtained. These images become the original images used for synthesizing the omnifocal image.
図３（ｂ）は撮像対象物と複数の原画像との位置関係を表す模式図である。焦点深さを異ならせて撮像されたｍ（ｍは２以上の自然数）枚の原画像ＩＭ１，ＩＭ２，…，ＩＭｍと試料容器Ｄ内に担持された撮像対象物との位置関係を考える。撮像対象物上のある１点Ｐ０に着目すると、原画像ＩＭ１，ＩＭ２，…，ＩＭｍのそれぞれには点Ｐ０に対応する画素Ｐ１，Ｐ２，…，Ｐｍが存在する。これらの画素Ｐ１，Ｐ２，…，Ｐｍは互いに撮像対象物の同一位置を撮像した画素に相当するが、合焦状態の差異に起因して各画素の濃度値は必ずしも同じではない。ここでいう画素の「濃度値」は、彩色画像、無彩色画像に関わらず、白色に近い明度の高い画素ほど値が小さく、黒色に近い明度の低い画素ほど値が大きくなる。この意味において、濃度値は画像の光学濃度に対応する概念であり、ＲＧＢ画像データにおける「輝度値」とは異なる。 FIG. 3B is a schematic diagram illustrating the positional relationship between the imaging target and a plurality of original images. Consider the positional relationship between m (m is a natural number of 2 or more) original images IM1, IM2,..., IMm captured at different depths of focus and the imaging object carried in the sample container D. When attention is paid to a certain point P0 on the imaging object, pixels P1, P2,..., Pm corresponding to the point P0 exist in each of the original images IM1, IM2,. These pixels P1, P2,..., Pm correspond to pixels that have imaged the same position of the object to be imaged, but the density values of the pixels are not necessarily the same due to differences in focus state. The “density value” of a pixel here is smaller for a pixel having a higher brightness near white, regardless of whether it is a chromatic image or an achromatic image, and a value for a pixel having a lower brightness near black. In this sense, the density value is a concept corresponding to the optical density of the image, and is different from the “luminance value” in the RGB image data.
撮像対象物の同一位置Ｐ０に対応する画素として各原画像ＩＭ１，ＩＭ２，…，ＩＭｍからそれぞれ１つずつ選出される計ｍ個の画素Ｐ１，Ｐ２，…，Ｐｍからなる組を、ここでは「画素セット」と称し、符号ＰＳを付す。撮像対象物上の任意の点について、当該点に対応する画素セットＰＳを考えることができる。なお、各原画像の撮像に際し、試料容器Ｄに対する撮像部１５の水平方向位置が変化していなければ、各原画像から座標位置が互いに同一である画素を選出することで直ちに１組の画素セットＰＳを構成することができる。 Here, a set of a total of m pixels P1, P2,..., Pm selected from the original images IM1, IM2,..., IMm as pixels corresponding to the same position P0 of the object to be imaged is “ This is referred to as a “pixel set” and is denoted by the symbol PS. For any point on the imaging object, a pixel set PS corresponding to that point can be considered. In addition, when the horizontal position of the imaging unit 15 with respect to the sample container D does not change when each original image is captured, a set of pixels is immediately selected by selecting pixels having the same coordinate position from each original image. PS can be configured.
図４は原画像から全焦点画像を作成する原理を説明する図である。撮像部１５の焦点深さをＺ方向に多段階に変更設定しながらその都度撮像を行うことで、複数枚の原画像が得られる。図４の例では、焦点位置がＦ１〜Ｆ５まで５段階に変更される。前述の通り、撮像された原画像では細胞コロニーに対応する領域でその周囲領域よりも高濃度となるが、細胞コロニーと焦点位置とのＺ方向距離により細胞コロニーの周縁部近傍での濃度変化の現れ方が異なる。図４の第２段に示すように、例えば焦点位置Ｆ２で撮像された原画像（実線）では、当該焦点位置に近い深さにある細胞コロニーＣａでは輪郭部で急峻な濃度変化がある一方、焦点位置から遠い細胞コロニーＣｂでは濃度変化が緩やかで、輪郭が不明瞭である。 FIG. 4 is a diagram for explaining the principle of creating an omnifocal image from an original image. A plurality of original images can be obtained by performing imaging while changing and setting the focal depth of the imaging unit 15 in multiple stages in the Z direction. In the example of FIG. 4, the focus position is changed in five stages from F1 to F5. As described above, the captured original image has a higher density in the area corresponding to the cell colony than the surrounding area, but the density change in the vicinity of the periphery of the cell colony depends on the distance in the Z direction between the cell colony and the focal position. Appearance is different. As shown in the second stage of FIG. 4, for example, in the original image (solid line) imaged at the focal position F2, the cell colony Ca at a depth close to the focal position has a sharp density change at the contour portion, In the cell colony Cb far from the focal position, the density change is gradual and the outline is unclear.
これとは逆に、細胞コロニーＣｂの深さに近い焦点位置Ｆ４で撮像された原画像（破線）では、細胞コロニーＣｂの輪郭が明瞭である一方、細胞コロニーＣａの輪郭が不明瞭となる。いずれの細胞コロニーの深さとも異なる焦点位置Ｆ５で撮像された画像（点線）では、いずれの細胞コロニーの輪郭も不明瞭であり、また細胞コロニーの深さと焦点位置との差が大きくなると濃度も低くなる。 On the contrary, in the original image (broken line) imaged at the focal position F4 close to the depth of the cell colony Cb, the outline of the cell colony Cb is clear, but the outline of the cell colony Ca becomes unclear. In an image (dotted line) imaged at a focal position F5 different from the depth of any cell colony, the outline of any cell colony is unclear, and the concentration increases as the difference between the depth of the cell colony and the focal position increases. Lower.
このようにして得られた複数の原画像から、全焦点画像作成の基本となる候補画像としての最高濃度画像を作成することができる。ここでいう「最高濃度画像」は、撮像対象物の同一点に対応する画素の濃度値が各原画像間で最大である画素を抽出して再構成した画像である。すなわち、撮像対象物上のある１点に対応する画素セットに含まれる画素のうち、濃度値が最も高い画素の濃度値が、当該点に対応する候補画像中の画素の濃度値に相当する。撮像対象物上の任意の点に対応する画素セットからそれぞれ最高濃度の画素を抽出し、撮像対象物上の位置に対応して画素を再配置することで、候補画像としての最高濃度画像が得られる。 From the plurality of original images obtained in this way, a maximum density image as a candidate image that is the basis for creating an omnifocal image can be created. The “maximum density image” here is an image obtained by extracting and reconstructing a pixel in which the density value of the pixel corresponding to the same point of the imaging object is the maximum between the original images. That is, among the pixels included in the pixel set corresponding to a certain point on the imaging target, the density value of the pixel having the highest density value corresponds to the density value of the pixel in the candidate image corresponding to the point. The highest density image is obtained as a candidate image by extracting the highest density pixel from the pixel set corresponding to an arbitrary point on the imaging object and rearranging the pixel corresponding to the position on the imaging object. It is done.
各画素セットから最高濃度の画素が抽出された候補画像（最高濃度画像）では、図４の第３段に示すように、細胞コロニーの内部に対応する領域では概ね合焦画像に対応する濃度値が得られる。先に述べたように、細胞コロニー内部では合焦画像において画像濃度が高くなり、濃度値が最大の画素が合焦画像に含まれる確率が高いからである。 In the candidate image (the highest density image) from which the highest density pixel is extracted from each pixel set, as shown in the third row of FIG. 4, in the area corresponding to the inside of the cell colony, the density value substantially corresponds to the focused image. Is obtained. As described above, the image density is high in the focused image inside the cell colony, and the probability that the pixel having the maximum density value is included in the focused image is high.
一方、細胞コロニーの周囲領域では、非合焦画像において生じる細胞コロニーの輪郭のボケに起因して、本来の合焦画像における画素の濃度値よりも高い濃度値が抽出されることになる。本来この領域は細胞コロニーの外部であるが、高濃度であるため細胞コロニーの内部と誤判定され、例えば細胞コロニーの大きさが本来より大きく見積もられてしまうなどの問題が生じる。このような領域については濃度値を減じる必要がある。 On the other hand, in the peripheral region of the cell colony, a density value higher than the density value of the pixel in the original focused image is extracted due to blurring of the outline of the cell colony occurring in the non-focused image. Although this region is originally outside the cell colony, it is erroneously determined to be inside the cell colony because of its high concentration, and there arises a problem that, for example, the size of the cell colony is estimated to be larger than the original. For such a region, it is necessary to reduce the density value.
つまり、候補画像のうち、細胞コロニーの内部領域と、細胞コロニーから大きく離れた領域とでは最高濃度画像の濃度値が比較的尊重される一方、細胞コロニーの周囲領域で最高濃度画像の濃度値が大きく減じられるような濃度値の補正が必要である。この目的のために、細胞コロニーの周囲領域でマスク量が大きくなるようなグレーマスクを用意し、これを候補画像に作用させることが考えられる。候補画像の画素ごとに見れば、当該画素が細胞コロニーの内部に対応するか外部に対応するかによって、その濃度値に対し適切な重み付けがなされればよい。 In other words, among the candidate images, the density value of the highest density image is relatively respected in the internal area of the cell colony and the area far from the cell colony, while the density value of the highest density image is in the area surrounding the cell colony. It is necessary to correct the density value so that it can be greatly reduced. For this purpose, it is conceivable to prepare a gray mask that increases the mask amount in the surrounding area of the cell colony and to act on the candidate image. If it sees for every pixel of a candidate image, what is necessary is just to give appropriate weighting with respect to the density | concentration value by whether the said pixel respond | corresponds to the inside of a cell colony, or the exterior.
適切なグレーマスクを作成するための要素因子について検討する。前記したように、細胞コロニーの内部については最高濃度画像の濃度値が尊重される必要がある。また、細胞コロニーの外部であって、コロニーから大きく離れた領域についても同様である。この目的のためには、最高濃度画像自身をグレーマップの要素因子の１つとすることができる。 Consider the factor factors to create an appropriate gray mask. As described above, the density value of the highest density image needs to be respected for the inside of the cell colony. The same applies to a region outside the cell colony and far away from the colony. For this purpose, the highest density image itself can be one of the element factors of the gray map.
一方、細胞コロニーの内部と外部との境界に近い領域の濃度値に比較的大きな減衰を生じさせるための要素因子としては、例えば、各画素セット内の画素の濃度値の分散または標準偏差と、各原画像における細胞コロニー周縁部のエッジ強度とが考えられる。 On the other hand, as an element factor for causing a relatively large attenuation in the density value of the area close to the boundary between the inside and the outside of the cell colony, for example, the variance or standard deviation of the density values of the pixels in each pixel set, The edge strength at the periphery of the cell colony in each original image can be considered.
細胞コロニーの内部領域および細胞コロニーから大きく離れた領域の画素では、原画像が合焦状態であっても非合焦状態であっても濃度値にあまり大きな変化はない。したがって、撮像対象物の同一位置に対応する画素を各原画像から抽出した画素からなる画素セットにおいては、画素間での濃度値のばらつきが小さい。これに対して、細胞コロニーの周囲領域に相当する画素は、細胞コロニーの外部であるため合焦状態では比較的低濃度であるが、非合焦状態では細胞コロニー内部の高い濃度の影響を受けてより高い濃度となる。このため、焦点位置によって画像濃度が大きく変化する。 In pixels in the inner region of the cell colony and in a region far away from the cell colony, the density value does not change much regardless of whether the original image is in focus or in focus. Therefore, in a pixel set composed of pixels obtained by extracting pixels corresponding to the same position of the imaging target object from each original image, variation in density value between the pixels is small. In contrast, the pixels corresponding to the surrounding area of the cell colony are outside the cell colony and therefore have a relatively low density in the focused state, but in a non-focused state, they are affected by the high density inside the cell colony. Higher concentration. For this reason, the image density varies greatly depending on the focal position.
このことから、画素セットに含まれる各画素の濃度値の分散または標準偏差を求めたとき、図４の第４段に示すように、細胞コロニーの内部領域および細胞コロニーから大きく離れた領域ではその値が比較的小さく、細胞コロニーの周囲領域においてその値が大きくなる。言い換えれば、画素セットにおいて濃度値の分散が大きな値を示すとき、当該画素セットに対応する画素は細胞コロニーの周囲領域に位置する蓋然性が高い。したがって、各画素セットの濃度値の分散を求めてマッピングした分散値マップをグレーマスクの要素因子の１つとして用いることができる。すなわち、濃度値の分散が大きい画素ほど濃度値の減衰が大きくなるようなグレーマスクを作成すればよい。分散の値に代えて、標準偏差の値を用いてもよい。 From this, when the variance or standard deviation of the density values of each pixel included in the pixel set is obtained, as shown in the fourth row of FIG. 4, the inner area of the cell colony and the area greatly away from the cell colony The value is relatively small and increases in the area surrounding the cell colony. In other words, when the dispersion of density values in the pixel set shows a large value, the pixel corresponding to the pixel set is highly likely to be located in the peripheral region of the cell colony. Therefore, a dispersion value map obtained by mapping the dispersion of density values of each pixel set can be used as one of the element factors of the gray mask. That is, it is only necessary to create a gray mask in which the attenuation of the density value increases as the density value dispersion increases. A standard deviation value may be used instead of the dispersion value.
また、合焦画像では細胞コロニーの輪郭が明瞭である。したがって、各画素のエッジ強度を求めたとき、細胞コロニーの周縁部近傍に対応する画素においてエッジ強度が高くなる。したがって、グレーマスクでは、エッジ強度が高いほど濃度値の減衰が大きくなるようにすればよい。ただし、合焦画像におけるエッジ強度をグレーマスクに反映させるために、画素セットに含まれる画素それぞれのエッジ強度のうちの最大値が要素因子として採用されることが望ましい。 Further, the outline of the cell colony is clear in the focused image. Therefore, when the edge strength of each pixel is obtained, the edge strength is high in the pixel corresponding to the vicinity of the peripheral portion of the cell colony. Therefore, in the gray mask, the higher the edge strength, the greater the attenuation of the density value. However, in order to reflect the edge intensity in the focused image on the gray mask, it is desirable that the maximum value of the edge intensity of each pixel included in the pixel set is adopted as an element factor.
このように、グレーマスクを決定する要素因子としては、（１）最高濃度画像における各画素の濃度値、（２）各画素セットに含まれる画素の濃度値の分散または標準偏差、（３）原画像におけるエッジ強度のうち各画素セット内での最大値、が考えられる。このうち（２）と（３）とはいずれも細胞コロニーの周囲領域で濃度値を減衰させるための要素因子であり、細胞コロニーの内部と外部との境界付近で極大となるという値の傾向も類似している。したがって、少なくとも一方がグレーマスクに反映されることで、周囲領域において濃度値が過大となるのを抑制することが可能である。もちろん（２）と（３）の両方が要素因子として用いられてもよい。 As described above, element factors for determining the gray mask include (1) the density value of each pixel in the highest density image, (2) the variance or standard deviation of the density values of the pixels included in each pixel set, and (3) the original value. The maximum value within each pixel set among the edge intensities in the image can be considered. Of these, both (2) and (3) are element factors for attenuating the concentration value in the surrounding area of the cell colony, and there is a tendency for the value to be maximized near the boundary between the inside and the outside of the cell colony. It is similar. Therefore, it is possible to prevent the density value from becoming excessive in the surrounding area by reflecting at least one of them in the gray mask. Of course, both (2) and (3) may be used as element factors.
これらの要素因子に基づき求められたグレーマスクを候補画像に作用させることで、細胞コロニーの内部領域および細胞コロニーから大きく離れた領域においては最高濃度画像の濃度値に近い濃度値を有する画素が、また細胞コロニーの周囲領域においては最高濃度画像の濃度値から減じられた濃度値を有する画素が配置された画像が得られる。こうして得られた画像は、複数の原画像から合焦状態の細胞コロニーの領域が抽出されて合成された、全焦点画像に相当するものとなっている。続いて、上記原理に基づく全焦点画像作成処理の具体的な処理内容について説明する。 By applying the gray mask obtained based on these element factors to the candidate image, pixels having a density value close to the density value of the highest density image in the inner region of the cell colony and in a region far from the cell colony, Further, an image in which pixels having density values subtracted from the density value of the highest density image are arranged in the peripheral region of the cell colony is obtained. The image thus obtained corresponds to an omnifocal image obtained by extracting and synthesizing focused cell colony regions from a plurality of original images. Next, specific processing contents of the omnifocal image creation processing based on the above principle will be described.
図５は全焦点画像作成処理の内容を示すフローチャートである。まず、焦点位置が互いに異なる複数の原画像が取得される（ステップＳ１０１）。すなわち、撮像対象物を担持する試料容器Ｄがホルダ１１にセットされ、撮像部１５のＺ方向位置が変更されることにより焦点位置が多段階に変更設定されて、その都度撮像部１５による撮像が行われる。これにより複数の原画像が取得される。原画像の画像データは記憶部２４に記憶保存される。Ｚ方向における焦点位置の変更ステップとしては、例えば１００μｍ〜２００μｍ刻みとすることができる。この刻みを小さくすればより画像品質の高い全焦点画像が得られることになるが、画像処理の処理量は増大する。 FIG. 5 is a flowchart showing the contents of the omnifocal image creation process. First, a plurality of original images having different focal positions are acquired (step S101). That is, the sample container D carrying the imaging object is set in the holder 11, and the focal position is changed and set in multiple stages by changing the Z-direction position of the imaging unit 15, and imaging by the imaging unit 15 is performed each time. Done. Thereby, a plurality of original images are acquired. The image data of the original image is stored and saved in the storage unit 24. The step of changing the focal position in the Z direction can be, for example, in increments of 100 μm to 200 μm. If this step is reduced, an omnifocal image with higher image quality can be obtained, but the amount of image processing increases.
水平方向、すなわちＸＹ方向における撮像対象物の撮像範囲は、焦点位置によらず一定とされる。したがって、各原画像間では、画像内座標が互いに同一である画素は撮像対象物の同一位置に対応する。そのため、各原画像から選出された、画像内座標が互いに同一である画素により、画素セットが構成される。 The imaging range of the imaging object in the horizontal direction, that is, the XY direction, is constant regardless of the focal position. Therefore, between the original images, pixels having the same in-image coordinates correspond to the same position of the imaging object. Therefore, a pixel set is composed of pixels selected from each original image and having the same in-image coordinates.
取得された画像データに基づき、画像処理部２５は、画素セットごとに、当該画素セットに含まれる画素から濃度値が最大である最高濃度画素を選出し、その濃度値を有する画素を当該画素セットに対応する座標位置に配して候補画像を作成する（ステップＳ１０２）。候補画像は、各画素セットから最高濃度の画素を抽出して再構成した画像（最高濃度画像）である。 Based on the acquired image data, for each pixel set, the image processing unit 25 selects the highest density pixel having the maximum density value from the pixels included in the pixel set, and selects the pixel having the density value as the pixel set. Candidate images are created at the coordinate positions corresponding to (step S102). The candidate image is an image (highest density image) obtained by extracting and reconstructing the highest density pixel from each pixel set.
候補画像は、より具体的には次のようにして作成することができる。まず、原画像における座標位置が座標値（ｉ，ｊ）により表されるものとし、撮像された原画像の数をｍとする。座標（ｉ，ｊ）に対応する画素セットＰＳ（ｉ，ｊ）はｍ個の画素を含み、それらの画素は各々の原画像において座標（ｉ，ｊ）を占める画素である。第ｋ番目（ｋは１ないしｍの自然数）の原画像における座標（ｉ，ｊ）の画素の濃度値をＰk（ｉ，ｊ）とする。 More specifically, the candidate image can be created as follows. First, it is assumed that the coordinate position in the original image is represented by the coordinate value (i, j), and the number of captured original images is m. The pixel set PS (i, j) corresponding to the coordinates (i, j) includes m pixels, and these pixels are pixels that occupy the coordinates (i, j) in each original image. Let Pk (i, j) be the density value of the pixel at coordinates (i, j) in the kth (k is a natural number from 1 to m) original image.
候補画像において座標（ｉ，ｊ）を占める画素の濃度値をＤ（ｉ，ｊ）としたとき、その濃度値は、候補画像が最高濃度画像であることから次式により表すことができる。次式において、右辺はＰ1（ｉ，ｊ）、Ｐ2（ｉ，ｊ）、…、Ｐm（ｉ，ｊ）のうちの最大値を返す関数を表す。
このようにして候補画像を構成する各画素の濃度値Ｄ（ｉ，ｊ）が求められる。この候補画像は、グレーマスクを作成するための要素因子の１つでもある。ここでは、上記した３つの要素因子を用いて３種類のグレーマスク１〜３をそれぞれ作成し、それらを合成して最終的なグレーマスクを作成することとする。最高濃度画像に基づくグレーマスク１は次のようにして作成することができる。グレーマスク１は、各座標位置（ｉ，ｊ）と当該座標位置の画素の重みとを関連付けたマップにより表すことができる。各座標における重み付け係数Ｇ1（ｉ，ｊ）は、全ての画素セットについて求められた濃度値Ｄ（ｉ，ｊ）のうちの最大値をＤmax、最小値をＤminとしたとき、次式により求めることができる（ステップＳ１０３）。
このように最高および最低濃度で正規化された重み付け係数Ｇ1（ｉ，ｊ）を導入することで、候補画像において最も高濃度の画素に対して重み１が与えられる一方、濃度が低いほど重みが低下し、最も低濃度の画素に対しては重みが０となる特性を有するグレーマスク１を作成することができる。このようなグレーマスク１では、高濃度の画素ほどその濃度情報が尊重される。これは、前述したように細胞コロニー内では合焦画像において画像濃度が最も高くなるという事象に対応している。 By introducing the weighting coefficient G1 (i, j) normalized at the highest and lowest densities in this way, the weight 1 is given to the highest density pixel in the candidate image, while the weight becomes lower as the density is lower. The gray mask 1 having the characteristic that the weight is reduced and the weight becomes 0 for the lowest density pixel can be created. In such a gray mask 1, the density information is respected as the density of pixels increases. This corresponds to the phenomenon that the image density is highest in the focused image in the cell colony as described above.
続いて、画素セット内の濃度値の分散を要素因子とするグレーマスク２が作成される。すなわち、画素セットＰＳ（ｉ，ｊ）ごとに、当該画素セットに含まれる各画素の濃度値の分散Ｖ（ｉ，ｊ）が求められ（ステップＳ１０４）、グレーマスク２に相当する各画素への重み付け係数Ｇ2（ｉ，ｊ）が、次式に基づき求められる（ステップＳ１０５）。
上式において、ＶmaxおよびＶminはそれぞれ、全ての画素セットについて求められた分散Ｖ（ｉ，ｊ）のうちの最大値および最小値である。これにより、濃度値の分散の最も大きい画素に対して重み１が与えられる一方、分散が低いほど重みが低下し、最も分散が小さい、つまり合焦状態と非合焦状態との間で濃度の変化が少ない画素に対しては重みが０となる特性を有するグレーマスク２を作成することができる。 In the above equation, Vmax and Vmin are the maximum value and the minimum value of the variance V (i, j) obtained for all pixel sets, respectively. As a result, the weight 1 is given to the pixel having the largest variance of the density value, while the lower the variance is, the lower the weight is, and the variance is the smallest. The gray mask 2 having the characteristic that the weight is 0 can be created for the pixels with little change.
さらに、エッジ強度を要素因子とするグレーマスク３が作成される。すなわち、第ｋ番目の原画像について、各画素の濃度値Ｐk（ｉ，ｊ）に基づき各画素のエッジ強度Ｅk（ｉ，ｊ）が算出される（ステップＳ１０６）。エッジ強度の算出方法としては公知のエッジ検出手法を適用することができ、例えばＳｏｂｅｌフィルタ演算や４近傍または８近傍のラプラシアンフィルタ演算などを用いることができる。複数の原画像のそれぞれについて、全画素のエッジ強度Ｅk（ｉ，ｊ）が算出される。 Further, the gray mask 3 having the edge strength as an element factor is created. That is, for the kth original image, the edge intensity Ek (i, j) of each pixel is calculated based on the density value Pk (i, j) of each pixel (step S106). As a method for calculating the edge strength, a known edge detection method can be applied. For example, a Sobel filter operation or a Laplacian filter operation in the vicinity of 4 or 8 can be used. For each of the plurality of original images, the edge intensity Ek (i, j) of all pixels is calculated.
続いて、画素セットＰＳ（ｉ，ｊ）ごとに、当該画素セットＰＳ（ｉ，ｊ）に含まれる画素それぞれのエッジ強度の値Ｅ1（ｉ，ｊ）、Ｅ2（ｉ，ｊ）、…、Ｅm（ｉ，ｊ）を比較して、その最大値Ｅ（ｉ，ｊ）が次式により求められる（ステップＳ１０７）。次式において、右辺はＥ1（ｉ，ｊ）、Ｅ2（ｉ，ｊ）、…、Ｅm（ｉ，ｊ）のうちの最大値を返す関数を表す。
最大エッジ強度Ｅ（ｉ，ｊ）を有する画素は、その画素が属する原画像が当該座標位置（ｉ，ｊ）において合焦状態であったことを示唆していると考えられる。また、最大エッジ強度Ｅ（ｉ，ｊ）の値が大きい画素ほど、当該画素が異なる２つの領域（この例では細胞コロニーの内部と外部）の境界を表している蓋然性が高いと考えられる。 A pixel having the maximum edge intensity E (i, j) is considered to indicate that the original image to which the pixel belongs was in focus at the coordinate position (i, j). Further, it is considered that a pixel having a larger value of the maximum edge intensity E (i, j) has a higher probability of representing a boundary between two different regions (in this example, the inside and outside of the cell colony).
最大エッジ強度Ｅ（ｉ，ｊ）についても、その最大値Ｅmaxおよび最小値Ｅminを用いて次式により正規化して、グレーマスク３の特性を決定づける各画素への重み付け係数Ｇ3（ｉ，ｊ）が求められる（ステップＳ１０８）。グレーマスク３では、画素セット内での最大エッジ強度Ｅ（ｉ，ｊ）が大きい画素ほど大きな重みが与えられる。
こうして得られたグレーマスク１〜３から、最終的に候補画像に作用させるべきグレーマスク４が作成される（ステップＳ１０９）。グレーマスク１〜３の各画素に与えられた重み付け係数Ｇ1（ｉ，ｊ）、Ｇ2（ｉ，ｊ）、Ｇ3（ｉ，ｊ）を乗じることでグレーマスク１〜３を合成することができる。ただし、各重み付け係数が１以下であることから、それらの積が小さくなりすぎてしまう。このため、３つの重み付け係数の積の３乗根を、グレーマスク４の重み付け係数Ｇ4（ｉ，ｊ）とする。すなわち、重み付け係数Ｇ4（ｉ，ｊ）を次式で表すことができる。
得られたグレーマスク４を候補画像に適用して、最終的な出力画像が作成される（ステップＳ１１０）。具体的には、候補画像の濃度値Ｄ（ｉ，ｊ）にグレーマスク４の重み付け係数Ｇ4（ｉ，ｊ）を乗じて得られた値Ｄｏ（ｉ，ｊ）を、最終的に出力として得られる出力画像の各画素の濃度値（出力濃度値）とする。こうして各画素の出力濃度値が決定された出力画像は、記憶部２４に記憶保存され、必要に応じて表示部２２に表示される。 The obtained gray mask 4 is applied to the candidate image to create a final output image (step S110). Specifically, a value Do (i, j) obtained by multiplying the density value D (i, j) of the candidate image by the weighting coefficient G4 (i, j) of the gray mask 4 is finally obtained as an output. The density value (output density value) of each pixel of the output image to be obtained is used. The output image in which the output density value of each pixel is determined in this manner is stored and saved in the storage unit 24 and displayed on the display unit 22 as necessary.
図６は全焦点画像の作成処理の流れを概念的に示す模式図である。最初に、焦点位置が互いに異なる複数の原画像が取得される。原画像の数はｍであり、そのうち第ｋ番目の原画像の座標（ｉ，ｊ）に対応する画素の濃度値はＰk（ｉ，ｊ）である。そして、各原画像において互いに同一座標（ｉ，ｊ）に対応する画素は、画素セットＰＳ（ｉ，ｊ）を構成する。 FIG. 6 is a schematic diagram conceptually showing the flow of the omnifocal image creation process. First, a plurality of original images having different focal positions are acquired. The number of original images is m, and the density value of the pixel corresponding to the coordinates (i, j) of the kth original image is Pk (i, j). Then, pixels corresponding to the same coordinates (i, j) in each original image constitute a pixel set PS (i, j).
画素セットＰＳ（ｉ，ｊ）ごとに、当該画素セットＰＳ（ｉ，ｊ）に含まれる画素間で最高濃度が評価される（最高濃度評価）。画素セットＰＳ（ｉ，ｊ）における最高濃度Ｄ（ｉ，ｊ）が求められ、これに基づき候補画像およびグレーマスク１が作成される。すなわち、座標（ｉ，ｊ）を占める画素の濃度値がＤ（ｉ，ｊ）である最高濃度画像が候補画像とされる。また、当該座標に対応する最高濃度Ｄ（ｉ，ｊ）が正規化されて、グレーマスク１の各座標（ｉ，ｊ）に付される重み付け係数Ｇ1（ｉ，ｊ）が求められる。 For each pixel set PS (i, j), the highest density is evaluated between the pixels included in the pixel set PS (i, j) (maximum density evaluation). The highest density D (i, j) in the pixel set PS (i, j) is obtained, and based on this, a candidate image and the gray mask 1 are created. That is, the highest density image in which the density value of the pixel occupying the coordinates (i, j) is D (i, j) is set as a candidate image. Further, the highest density D (i, j) corresponding to the coordinates is normalized, and the weighting coefficient G1 (i, j) assigned to each coordinate (i, j) of the gray mask 1 is obtained.
また、画素セットＰＳ（ｉ，ｊ）ごとに、当該画素セットＰＳ（ｉ，ｊ）に含まれる画素間での濃度値の分散が評価される（分散評価）。画素セットＰＳ（ｉ，ｊ）における分散Ｖ（ｉ，ｊ）の値から、グレーマスク２の特性を決定づける重み付け係数Ｇ2（ｉ，ｊ）が求められる。 In addition, for each pixel set PS (i, j), the dispersion of density values between pixels included in the pixel set PS (i, j) is evaluated (dispersion evaluation). A weighting coefficient G2 (i, j) that determines the characteristics of the gray mask 2 is obtained from the value of the variance V (i, j) in the pixel set PS (i, j).
また、各原画像の画素ごとの濃度値Ｐk（ｉ，ｊ）から各画素のエッジ強度Ｅk（ｉ，ｊ）が求められ、さらに画素セットＰＳ（ｉ，ｊ）ごとにエッジ強度が評価される（エッジ強度評価）。具体的には、当該画素セットＰＳ（ｉ，ｊ）に含まれる画素間でエッジ強度の最大値Ｅ（ｉ，ｊ）が求められる。そして、その値に基づいて、グレーマスク３の特性を決定づける重み付け係数Ｇ3（ｉ，ｊ）が求められる。 Further, the edge strength Ek (i, j) of each pixel is obtained from the density value Pk (i, j) for each pixel of each original image, and the edge strength is evaluated for each pixel set PS (i, j). (Edge strength evaluation). Specifically, the maximum value E (i, j) of the edge strength is obtained between the pixels included in the pixel set PS (i, j). Based on the value, a weighting coefficient G3 (i, j) that determines the characteristics of the gray mask 3 is obtained.
グレーマスク１〜３から、最終的なグレーマスク４が求められる。すなわち、グレーマスク１の重み付け係数Ｇ1（ｉ，ｊ）、グレーマスク２の重み付け係数Ｇ2（ｉ，ｊ）、グレーマスク３の重み付け係数Ｇ3（ｉ，ｊ）を乗じてその３乗根を求めることで、グレーマスク４の特性を決定づける重み付け係数Ｇ4（ｉ，ｊ）が求められる。 From the gray masks 1 to 3, the final gray mask 4 is obtained. That is, the third root is obtained by multiplying the weighting coefficient G1 (i, j) of the gray mask 1, the weighting coefficient G2 (i, j) of the gray mask 2, and the weighting coefficient G3 (i, j) of the gray mask 3. Thus, the weighting coefficient G4 (i, j) that determines the characteristics of the gray mask 4 is obtained.
候補画像にグレーマスク４を作用させることで、出力画像が作成される。具体的には、出力画像の各座標（ｉ，ｊ）を示す画素の濃度値Ｄｏ（ｉ，ｊ）が、候補画像の濃度値Ｄ（ｉ，ｊ）と重み付け係数Ｇ4（ｉ，ｊ）との積から求められる。こうして求められた出力濃度値Ｄｏ（ｉ，ｊ）を有する画素が座標（ｉ，ｊ）に配置されて、出力画像が得られる。 An output image is created by applying the gray mask 4 to the candidate image. Specifically, the density value Do (i, j) of the pixel indicating each coordinate (i, j) of the output image is the density value D (i, j) of the candidate image and the weighting coefficient G4 (i, j). It is obtained from the product of Pixels having the output density value Do (i, j) thus obtained are arranged at the coordinates (i, j), and an output image is obtained.
図７は原画像の例を示す図である。また、図８は出力画像の例を示す図である。本願発明者は試験的に、試料容器内の培地で培養した細胞コロニーを撮像対象物として原画像の撮像を行い、上記した方法により全焦点画像の作成を行った。以下に示す例では焦点位置を深さ方向（Ｚ方向）に２００μｍピッチで変更しながら計７回の撮像を行い、これにより７枚の原画像が得られた。図７（ａ）および図７（ｂ）はその画像の一部の例であり、撮像対象物の略同一位置が互いに異なる焦点位置で撮像されたものである。画像中に点在する細胞コロニーは種々の深さに分布しているため、図７（ａ）および図７（ｂ）の一方で焦点が合っている細胞コロニーは、他方では焦点が合っていない。例えば図７（ａ）の画像では、矢印で示す細胞コロニーＣ１およびＣ２は概ね合焦状態であるが、細胞コロニーＣ３には焦点が合っておらずその輪郭が不明確である。一方、図７（ｂ）の画像では、細胞コロニーＣ１，Ｃ２には焦点が合っていないが、細胞コロニーＣ３については概ね焦点が合っている。 FIG. 7 is a diagram illustrating an example of an original image. FIG. 8 shows an example of an output image. The inventor of the present application experimentally captured an original image using a cell colony cultured in a medium in a sample container as an imaging target, and created an omnifocal image by the method described above. In the example shown below, a total of seven images were taken while changing the focal position in the depth direction (Z direction) at a pitch of 200 μm, thereby obtaining seven original images. FIG. 7A and FIG. 7B are examples of part of the image, in which substantially the same position of the imaging object is captured at different focal positions. Since the cell colonies scattered in the image are distributed at various depths, the cell colonies that are focused on one side in FIGS. 7A and 7B are not focused on the other side. . For example, in the image of FIG. 7A, the cell colonies C1 and C2 indicated by the arrows are substantially in focus, but the cell colony C3 is not focused and its outline is unclear. On the other hand, in the image of FIG. 7B, the cell colonies C1 and C2 are not focused, but the cell colony C3 is generally focused.
７枚の原画像から作成された図８の出力画像では、細胞コロニーＣ１〜Ｃ３の輪郭がいずれも明瞭となっており、また画像中に現れているその他の細胞コロニーにおいても、図７（ａ）および図７（ｂ）と比べると全体的に画像が鮮明になっている。このように、上記した処理を行うことにより、焦点深さが異なる複数の原画像から全焦点画像を作成することができる。焦点位置の変更ピッチをより細かくして多くの原画像を撮像すれば、より鮮明な全焦点画像を作成することができる。 In the output image of FIG. 8 created from seven original images, the outlines of the cell colonies C1 to C3 are all clear, and other cell colonies appearing in the image are also shown in FIG. ) And FIG. 7B, the image is clear overall. In this way, by performing the above-described processing, an omnifocal image can be created from a plurality of original images having different focal depths. A finer omnifocal image can be created by capturing many original images with a finer focus position change pitch.
なお、グレーマスク２および３は、いずれも細胞コロニーとその周囲との境界近傍において強く作用するマスクであり、出力画像に及ぼす特性も比較的似通っている。このことから、より簡易的にはグレーマスク２および３の一方を省略することも可能である。この場合には、グレーマスク１の重み付け係数Ｇ1（ｉ，ｊ）と、グレーマスク２の重み付け係数Ｇ2（ｉ，ｊ）またはグレーマスク３の重み付け係数Ｇ3（ｉ，ｊ）との積の平方根を、最終的なグレーマスク４の重み付け係数Ｇ4（ｉ，ｊ）とすればよい。 Note that the gray masks 2 and 3 are both masks that act strongly in the vicinity of the boundary between the cell colony and its surroundings, and the characteristics exerted on the output image are relatively similar. Therefore, it is possible to omit one of the gray masks 2 and 3 more simply. In this case, the square root of the product of the weighting coefficient G1 (i, j) of the gray mask 1 and the weighting coefficient G2 (i, j) of the gray mask 2 or the weighting coefficient G3 (i, j) of the gray mask 3 is obtained. The final weighting coefficient G4 (i, j) of the gray mask 4 may be used.
また、細胞コロニーの内部領域を特に明確に表示するために、例えばグレーマスク４が二値表現されていてもよい。例えば、上記した重み付け係数Ｇ4（ｉ，ｊ）の値が０．５以上であればその値を１に置き換える一方、０．５未満であればその値を０に置き換えることで、重み付け係数の二値化を行うことが可能である。このような二値化を行うと、出力画像では、重みが１の領域では候補画像の濃度値がそのまま当該領域の濃度値となる一方、重みが０の領域では濃度値が０となる。これにより低濃度の領域（例えば細胞コロニーの外部）については濃度情報が失われるが、高濃度の領域（例えば細胞コロニーの内部）と低濃度の領域との境界はより鮮明となる。このため、例えば細胞コロニーのサイズや数を見積もるといった目的にはより好適な画像が得られる。 Further, for example, the gray mask 4 may be expressed in a binary manner in order to clearly display the internal region of the cell colony. For example, when the value of the weighting coefficient G4 (i, j) is 0.5 or more, the value is replaced with 1, while when the value is less than 0.5, the value is replaced with 0. It is possible to perform valuation. When such binarization is performed, in the output image, the density value of the candidate image becomes the density value of the area as it is in the area where the weight is 1, while the density value becomes 0 in the area where the weight is 0. As a result, the density information is lost for the low concentration region (for example, outside the cell colony), but the boundary between the high concentration region (for example, the inside of the cell colony) and the low concentration region becomes clearer. For this reason, a more suitable image is obtained for the purpose of estimating the size and number of cell colonies, for example.
以上説明したように、この実施形態では、撮像装置１が本発明の「画像処理装置」として機能しており、画像処理部２５および表示部２２がそれぞれ本発明の「画像処理手段」および「出力手段」として機能している。また、ホルダ１１、撮像部１５およびセンサ駆動部１７がそれぞれ本発明の「保持部」、「撮像部」および「距離変更部」として機能し、これらを含む撮像ユニット１０が本発明の「画像取得手段」として機能している。 As described above, in this embodiment, the imaging device 1 functions as the “image processing device” of the present invention, and the image processing unit 25 and the display unit 22 are the “image processing means” and “output” of the present invention, respectively. Functions as a means. In addition, the holder 11, the imaging unit 15, and the sensor driving unit 17 function as the “holding unit”, the “imaging unit”, and the “distance changing unit” of the present invention, respectively, and the imaging unit 10 including them functions as the “image acquisition” of the present invention. Functions as a means.
また、図５のフローチャートにおいては、ステップＳ１０１が本発明の「画像取得工程」に相当し、ステップＳ１０２、Ｓ１０３が本発明の「最高濃度評価工程」に相当している。また、ステップＳ１０４、Ｓ１０５が本発明の「分散評価工程」に相当する一方、ステップＳ１０６〜Ｓ１０８が本発明の「エッジ強度評価工程」に相当している。さらに、ステップＳ１０９、Ｓ１１０が本発明の「濃度値算出工程」および「出力工程」に相当している。 In the flowchart of FIG. 5, step S101 corresponds to the “image acquisition process” of the present invention, and steps S102 and S103 correspond to the “maximum density evaluation process” of the present invention. Steps S104 and S105 correspond to the “dispersion evaluation step” of the present invention, while steps S106 to S108 correspond to the “edge strength evaluation step” of the present invention. Further, steps S109 and S110 correspond to the “density value calculation step” and the “output step” of the present invention.
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記した実施形態の撮像装置１は、全焦点画像の作成に用いられる原画像を撮像するための撮像ユニット１０を有するものである。しかしながら、本発明にかかる画像処理装置および画像処理方法においては、撮像対象物を撮像するという動作は必須の構成ではない。すなわち、原画像を撮像するための撮像装置と、画像処理を実行して全焦点画像を作成する画像処理装置とが別体として構成されてもよい。例えば本発明にかかる画像処理装置は、外部の撮像装置で撮像された原画像を例えば通信回線を介して受信し、当該原画像を用いて画像処理を行う構成であってもよい。 The present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention. For example, the imaging device 1 according to the above-described embodiment includes the imaging unit 10 for capturing an original image used for creating an omnifocal image. However, in the image processing apparatus and the image processing method according to the present invention, the operation of imaging the imaging object is not an essential configuration. That is, an imaging device for capturing an original image and an image processing device that executes image processing to create an omnifocal image may be configured separately. For example, the image processing apparatus according to the present invention may be configured to receive an original image captured by an external imaging apparatus via, for example, a communication line and perform image processing using the original image.
また、上記実施形態の撮像装置１は、作成された出力画像を全焦点画像として表示出力する表示部２２を備えている。しかしながら、出力画像の出力の態様はこれに限定されず、例えば通信回線や外付け記憶媒体を介して外部装置に出力画像の画像データを出力する構成であってもよい。すなわち、表示部２２は必須ではなく、また出力画像を表示する機能を持たない簡易的な表示機能のみを有するものであってもよい。 The imaging apparatus 1 according to the embodiment includes the display unit 22 that displays and outputs the created output image as an omnifocal image. However, the mode of outputting the output image is not limited to this, and the image data of the output image may be output to an external device via, for example, a communication line or an external storage medium. That is, the display unit 22 is not essential, and may have only a simple display function that does not have a function of displaying an output image.
また、上記実施形態では、グレーマスクを作成するに際し、各要素因子を最大値および最小値で正規化することで重み付け係数の数値範囲を調整しているが、原理的には濃度値Ｄ（ｉ，ｊ）、分散Ｖ（ｉ，ｊ）および最大エッジ強度Ｅ（ｉ，ｊ）をそのままグレーマスク１〜３の重み付け係数Ｇ1（ｉ，ｊ）、Ｇ2（ｉ，ｊ）およびＧ3（ｉ，ｊ）としてグレーマスク４を作成するようにしてもよい。この場合、正規化を行う場合よりも演算を簡単にすることが可能である。 In the above embodiment, when the gray mask is created, the numerical range of the weighting coefficient is adjusted by normalizing each element factor with the maximum value and the minimum value, but in principle, the density value D (i , J), variance V (i, j), and maximum edge strength E (i, j) are directly used as the weighting coefficients G1 (i, j), G2 (i, j) and G3 (i, j) of the gray masks 1-3. ), A gray mask 4 may be created. In this case, the calculation can be simplified as compared with the case of normalization.
また、上記実施形態では撮像部１５を昇降させることで焦点位置を変更設定しているが、これに代えて、例えば試料容器Ｄを昇降させたり、撮像光学系の焦点調整機能を用いて焦点位置の変更を行うようにしてもよい。また、上記実施形態ではリニアイメージセンサ１５１を有する撮像部１５を撮像対象物に対し走査移動させることで撮像対象物の二次元画像を得ているが、走査移動を伴わずに二次元画像を撮像する機能を有するエリアイメージセンサを用いて撮像が行われてもよい。また撮像対象物の一部領域を撮像範囲とするエリアイメージセンサとその走査移動との組み合わせで撮像が行われてもよい。また、顕微光学系と組み合わせた撮像が行われてもよい。 In the above embodiment, the focal position is changed and set by moving the imaging unit 15 up and down. Instead, for example, the sample container D is moved up and down, or the focal position is adjusted using the focus adjustment function of the imaging optical system. May be changed. In the above embodiment, the imaging unit 15 having the linear image sensor 151 is scanned and moved with respect to the imaging target to obtain a two-dimensional image of the imaging target. However, a two-dimensional image is captured without scanning movement. Imaging may be performed using an area image sensor having a function to perform this function. In addition, imaging may be performed by a combination of an area image sensor whose scanning range is a partial area of the imaging target and its scanning movement. Further, imaging combined with a microscopic optical system may be performed.
また、上記実施形態における重み付け係数の算出方法はその一例を示したものであって、これに限定されるものではない。最高濃度画像の各画素の濃度値と、画素セットごとの濃度値の分散の値およびエッジ強度の最大値の少なくとも一方とに基づき求めた重み付けを、
最高濃度画像の各画素の濃度値に付与して出力画像を作成するという技術思想に基づく実施態様は、本発明の範疇に含まれるものである。
Moreover, the calculation method of the weighting coefficient in the said embodiment showed the example, and is not limited to this. The weight calculated based on the density value of each pixel of the highest density image and at least one of the dispersion value of the density value for each pixel set and the maximum value of the edge strength,
An embodiment based on the technical idea of creating an output image by giving the density value of each pixel of the highest density image is included in the scope of the present invention.
本発明は、例えば培地中に細胞や細胞コロニーを含んだ撮像対象物を撮像した画像の処理に対し特に好適に適用可能であるが、撮像対象物はこれに限定されず任意である。 The present invention can be applied particularly preferably to the processing of an image obtained by imaging an imaging object including cells and cell colonies in a medium, for example, but the imaging object is not limited to this and is arbitrary.
１ 撮像装置（画像処理装置）
１０ 撮像ユニット（画像取得手段）
１１ ホルダ（保持部）
１５ 撮像部
１７ センサ駆動部（距離変更部）
２２ 表示部（出力手段）
２５ 画像処理部（画像処理手段）
Ｃａ、Ｃｂ 細胞コロニー
Ｄ 試料容器
ＩＭ1〜ＩＭｍ 原画像
Ｍ 培地
ＰＳ 画素セット
Ｓ１０１ 画像取得工程
Ｓ１０２、Ｓ１０３ 最高濃度評価工程
Ｓ１０４、Ｓ１０５ 分散評価工程
Ｓ１０６〜Ｓ１０８ エッジ強度評価工程
Ｓ１０９、Ｓ１１０ 濃度値算出工程、出力工程
1 Imaging device (image processing device)
10 Imaging unit (image acquisition means)
11 Holder (holding part)
15 Imaging unit 17 Sensor driving unit (distance changing unit)
22 Display (output means)
25 Image processing unit (image processing means)
Ca, Cb Cell colony D Sample container IM1-IMm Original image M Medium PS Pixel set S101 Image acquisition step S102, S103 Maximum concentration evaluation step S104, S105 Dispersion evaluation step S106-S108 Edge strength evaluation step S109, S110 Concentration value calculation step, Output process
Claims (14)
前記複数の原画像間で、対応する前記撮像対象物の位置が互いに同一である画素同士を１組の画素セットとしたとき、前記画素セットごとに、当該画素セットに含まれる各画素のうち最も高濃度であるものの濃度値に対応する指標値を求める最高濃度評価工程と、
前記画素セットごとに、当該画素セットに含まれる各画素の濃度値の分散の値に対応する指標値を求める分散評価工程と、
前記画素セットごとに、当該画素セットに含まれる各画素のうち最も高濃度であるものの濃度値に、前記最高濃度評価工程で当該画素セットに対応して求められた前記指標値および前記分散評価工程で当該画素セットに対応して求められた前記指標値に基づき求めた重み付け係数を乗じて、当該画素セットに対応する出力濃度値を算出する濃度値算出工程と、
濃度値が前記出力濃度値である画素を、前記画素セットと前記撮像対象物との位置の対応関係に基づく配置で配して出力画像を作成する出力工程と
を備える画像処理方法。 An image acquisition step of acquiring a plurality of original images obtained by imaging the imaging object with different focal positions in a direction along the imaging direction;
When the pixels having the same position of the corresponding object to be imaged among the plurality of original images are defined as one pixel set, for each pixel set, the most of the pixels included in the pixel set. The highest concentration evaluation step for obtaining an index value corresponding to the concentration value of the high concentration,
For each pixel set, a dispersion evaluation step for obtaining an index value corresponding to the dispersion value of the density value of each pixel included in the pixel set;
For each of the pixel sets, the index value and the variance evaluation step obtained for the density value of the highest density among the pixels included in the pixel set corresponding to the pixel set in the highest density evaluation step A density value calculating step of calculating an output density value corresponding to the pixel set by multiplying by the weighting coefficient determined based on the index value determined corresponding to the pixel set;
An image processing method comprising: an output step of creating an output image by arranging pixels whose density values are the output density values in an arrangement based on a correspondence relationship between positions of the pixel set and the imaging object.
前記重み付け係数は、前記最高濃度評価工程、前記分散評価工程および前記エッジ強度評価工程のそれぞれで当該画素セットに対応して求められた前記指標値に基づき求められる請求項１に記載の画像処理方法。 For each of the original images, the edge strength of each pixel included in the original image is obtained for each pixel, and for each pixel set, an index value corresponding to the maximum edge strength of each pixel included in the pixel set is determined. It further includes a required edge strength evaluation process,
The image processing method according to claim 1, wherein the weighting coefficient is obtained based on the index value obtained corresponding to the pixel set in each of the highest density evaluation step, the dispersion evaluation step, and the edge strength evaluation step. .
前記複数の原画像間で、対応する前記撮像対象物の位置が互いに同一である画素同士を１組の画素セットとしたとき、前記画素セットごとに、当該画素セットに含まれる各画素のうち最も高濃度であるものの濃度値に対応する指標値を求める最高濃度評価工程と、
前記原画像の各々について、当該原画像に含まれる各画素のエッジ強度を画素ごとに求め、前記画素セットごとに、当該画素セットに含まれる各画素のエッジ強度の最大値に対応する評価値を求めるエッジ強度評価工程と、
前記画素セットごとに、当該画素セットに含まれる各画素のうち最も高濃度であるものの濃度値に、前記最高濃度評価工程で当該画素セットに対応して求められた前記指標値および前記エッジ強度評価工程で当該画素セットに対応して求められた前記指標値に基づき求めた重み付け係数を乗じて、当該画素セットに対応する出力濃度値を算出する濃度値算出工程と、
濃度値が前記出力濃度値である画素を、前記画素セットと前記撮像対象物との位置の対応関係に基づく配置で配して出力画像を作成する出力工程と
を備える画像処理方法。 An image acquisition step of acquiring a plurality of original images obtained by imaging the imaging object with different focal positions in a direction along the imaging direction;
When the pixels having the same position of the corresponding object to be imaged among the plurality of original images are defined as one pixel set, for each pixel set, the most of the pixels included in the pixel set. The highest concentration evaluation step for obtaining an index value corresponding to the concentration value of the high concentration,
For each of the original images, the edge strength of each pixel included in the original image is obtained for each pixel, and for each pixel set, an evaluation value corresponding to the maximum value of the edge strength of each pixel included in the pixel set is calculated. The required edge strength evaluation process;
For each pixel set, the index value and the edge strength evaluation obtained corresponding to the pixel set in the highest density evaluation step to the density value of the highest density among the pixels included in the pixel set A density value calculating step of calculating an output density value corresponding to the pixel set by multiplying the weighting coefficient determined based on the index value determined corresponding to the pixel set in the step;
An image processing method comprising: an output step of creating an output image by arranging pixels whose density values are the output density values in an arrangement based on a correspondence relationship between positions of the pixel set and the imaging object.
前記重み付け係数は、前記最高濃度評価工程、前記分散評価工程および前記エッジ強度評価工程のそれぞれで当該画素セットに対応して求められた前記指標値に基づき求められる請求項４に記載の画像処理方法。 For each pixel set, a dispersion evaluation step for obtaining an index value corresponding to the dispersion value of the density value of each pixel included in the pixel set,
The image processing method according to claim 4, wherein the weighting coefficient is obtained based on the index value obtained corresponding to the pixel set in each of the highest density evaluation step, the dispersion evaluation step, and the edge strength evaluation step. .
前記複数の原画像に基づき出力画像を作成する画像処理手段と、
前記出力画像を出力する出力手段と
を備え、
前記画像処理手段は、
前記複数の原画像間で、対応する前記撮像対象物の位置が互いに同一である画素同士を１組の画素セットとしたとき、
前記画素セットごとに、当該画素セットに含まれる各画素のうち最も高濃度であるものの濃度値と、当該画素セットに含まれる各画素の濃度値の分散の値および当該画素セットに含まれる各画素のエッジ強度の最大値の少なくとも一方とに基づき、当該画素セットに対応する重み付け係数を求め、
前記画素セットごとに、当該画素セットに含まれる各画素のうち最も高濃度であるものの濃度値に前記重み付け係数を乗じて、当該画素セットに対応する出力濃度値を算出し、
濃度値が前記出力濃度値である画素を、前記画素セットと前記撮像対象物との位置の対応関係に基づく配置で配して前記出力画像を作成する
画像処理装置。 Image acquisition means for acquiring a plurality of original images obtained by imaging the imaging target object with different focal positions in a direction along the imaging direction;
Image processing means for creating an output image based on the plurality of original images;
Output means for outputting the output image,
The image processing means includes
When the pixels whose positions of the corresponding imaging objects are the same between the plurality of original images are set as one pixel set,
For each pixel set, the density value of the highest density among the pixels included in the pixel set, the dispersion value of the density values of the pixels included in the pixel set, and the pixels included in the pixel set A weighting coefficient corresponding to the pixel set is obtained based on at least one of the maximum edge strengths of
For each pixel set, the density value of the highest density among the pixels included in the pixel set is multiplied by the weighting coefficient to calculate an output density value corresponding to the pixel set,
An image processing apparatus that arranges pixels whose density values are the output density values in an arrangement based on a correspondence relationship between positions of the pixel set and the imaging object, and creates the output image.
細胞コロニーを含む培地を前記撮像対象物として担持する容器を水平姿勢に保持する保持部と、
前記保持部に保持された前記容器の上方または下方から、鉛直方向を前記撮像方向として前記撮像対象物を撮像する撮像部と、
前記保持部に保持された前記容器と前記撮像部との鉛直方向距離を変化させる距離変更部と
を有する請求項１３に記載の画像処理装置。 The image acquisition means includes
A holding unit that holds a container that holds a medium containing cell colonies as the imaging object in a horizontal posture;
An imaging unit that images the imaging object from above or below the container held by the holding unit with the vertical direction as the imaging direction;
The image processing apparatus according to claim 13, further comprising a distance changing unit that changes a vertical distance between the container held by the holding unit and the imaging unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014136055A JP6345001B2 (en) | 2014-07-01 | 2014-07-01 | Image processing method and image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014136055A JP6345001B2 (en) | 2014-07-01 | 2014-07-01 | Image processing method and image processing apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016014974A JP2016014974A (en) | 2016-01-28 |
| JP6345001B2 true JP6345001B2 (en) | 2018-06-20 |
Family
ID=55231126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014136055A Active JP6345001B2 (en) | 2014-07-01 | 2014-07-01 | Image processing method and image processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6345001B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6353872B2 (en) * | 2016-07-13 | 2018-07-04 | 株式会社Ｓｃｒｅｅｎホールディングス | Imaging apparatus and imaging method |
| US10789679B2 (en) | 2016-07-13 | 2020-09-29 | SCREEN Holdings Co., Ltd. | Image processing method, image processor, image capturing device, and image capturing method for generating omnifocal image |
| JP6263589B1 (en) * | 2016-09-16 | 2018-01-17 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing method, image processing apparatus, and imaging apparatus |
| JP6301416B2 (en) | 2016-09-05 | 2018-03-28 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing method, image processing apparatus, and imaging apparatus |
| WO2018163683A1 (en) * | 2017-03-10 | 2018-09-13 | ヤマハ発動機株式会社 | Imaging system |
| JP2022052558A (en) | 2020-09-23 | 2022-04-04 | 株式会社Ｓｃｒｅｅｎホールディングス | Culture vessel |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3867143B2 (en) * | 2003-06-25 | 2007-01-10 | 独立行政法人産業技術総合研究所 | Three-dimensional microscope system and image display method |
| JP5102107B2 (en) * | 2008-05-23 | 2012-12-19 | オリンパス株式会社 | Microscope equipment |
| US8736751B2 (en) * | 2008-08-26 | 2014-05-27 | Empire Technology Development Llc | Digital presenter for displaying image captured by camera with illumination system |
| JP2011145160A (en) * | 2010-01-14 | 2011-07-28 | Technos Kk | Device and method for multi-focus inspection |
-
2014
- 2014-07-01 JP JP2014136055A patent/JP6345001B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016014974A (en) | 2016-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6345001B2 (en) | Image processing method and image processing apparatus | |
| EP3776458B1 (en) | Augmented reality microscope for pathology with overlay of quantitative biomarker data | |
| EP3788591B1 (en) | Focus-weighted, machine learning classifier error prediction for microscope slide images | |
| WO2016051912A1 (en) | Image processing method and image processing device | |
| JP6196607B2 (en) | Image processing method, control program, and image processing apparatus | |
| JP2023508284A (en) | Method and system for digital staining of microscopic images using deep learning | |
| JP2022516467A (en) | Two-dimensional fluorescence wave propagation system and method to the surface using deep learning | |
| JP7252190B2 (en) | System for generating enhanced depth-of-field synthetic 2D images of biological specimens | |
| JP6389721B2 (en) | Imaging apparatus and imaging method | |
| WO2018231204A1 (en) | Augmented reality microscope for pathology | |
| JP6791245B2 (en) | Image processing device, image processing method and image processing program | |
| JP6342810B2 (en) | Image processing | |
| WO2013099045A1 (en) | Image display device and image display method | |
| JP2012237693A (en) | Image processing device, image processing method and image processing program | |
| US20230206416A1 (en) | Computer-implemented method for quality control of a digital image of a sample | |
| JP2015192238A (en) | Image data generation device and image data generation method | |
| US20180128734A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2022132488A (en) | Device, method and program | |
| CN104603668A (en) | Image processing apparatus, image processing program, and image processing method | |
| WO2017056599A1 (en) | Image generation device and image generation method | |
| WO2017069035A1 (en) | Image-processing method and method for creating shading reference data | |
| JP7030986B2 (en) | Image generator, image generator and image generator | |
| US11256078B2 (en) | Continuous scanning for localization microscopy | |
| JPWO2002045021A1 (en) | Entropy filter and region extraction method using the filter | |
| JP2015191362A (en) | Image data generation apparatus and image data generation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170626 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170725 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180515 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180522 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6345001 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |