JP5601133B2 - Image processing apparatus, image processing method, program, and storage medium - Google Patents
Image processing apparatus, image processing method, program, and storage medium Download PDFInfo
- Publication number
- JP5601133B2 JP5601133B2 JP2010223669A JP2010223669A JP5601133B2 JP 5601133 B2 JP5601133 B2 JP 5601133B2 JP 2010223669 A JP2010223669 A JP 2010223669A JP 2010223669 A JP2010223669 A JP 2010223669A JP 5601133 B2 JP5601133 B2 JP 5601133B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- pixel
- vector
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、顕微鏡等によって撮影され、全体領域に対して観察領域の占める割合が大きい画像を解析対象とする画像処理装置等に関するものである。 The present invention relates to an image processing apparatus or the like that analyzes an image that is taken by a microscope or the like and that has a large proportion of the observation area with respect to the entire area.
現在、家畜などの受精卵をインキュベータ（培養装置）内で培養し、移植可能な状態になるまで発育させることが行われている。品質が低い受精卵は移植しても受胎しにくい為、何らかの仕組みで受精卵の品質を評価する必要がある。牛の体外受精卵の場合、従来は、熟練者が培養７日目に受精卵をインキュベータから取り出し、顕微鏡で観察することで、受精卵の最終品質を評価していた。しかしながら、インキュベータから取り出して観察することは、受精卵にとって大きなストレスとなる。 Currently, fertilized eggs such as livestock are cultured in an incubator (cultivation apparatus) and grown until they are ready for transplantation. Since fertilized eggs with low quality are difficult to be fertilized even after transplantation, it is necessary to evaluate the quality of the fertilized eggs by some mechanism. In the case of in vitro fertilized eggs of cows, conventionally, an expert took out the fertilized egg from the incubator on the seventh day of culture and observed it with a microscope to evaluate the final quality of the fertilized egg. However, taking out and observing from the incubator is a great stress for a fertilized egg.
特許文献１では、インキュベータから受精卵を取り出すことなく撮影された画像のみを用いて、受精卵の品質評価に有益な情報を提示する受精卵品質評価支援システムが開示されている。特許文献１に記載の技術では、受精卵が配置された培養容器を定期的に撮影し、撮影された画像から受精卵を含む最小近似円領域を切り出す。そして、切り出した画像の経時変化を解析することで、受精卵の品質評価に有益な情報を提示している。 Patent Document 1 discloses a fertilized egg quality evaluation support system that presents information useful for quality evaluation of a fertilized egg using only an image taken without taking the fertilized egg from an incubator. In the technique described in Patent Document 1, a culture container in which a fertilized egg is arranged is periodically photographed, and a minimum approximate circle region including the fertilized egg is cut out from the photographed image. And the information useful for quality evaluation of a fertilized egg is presented by analyzing the temporal change of the cut-out image.
ところで、顕微鏡によって撮影されるときの撮影対象に当たる光には、一般に、照度（光の明るさ）の分布にムラ（以下、「照度ムラ」と記載する。）がある。このような顕微鏡によって撮影される画像（顕微鏡画像）に対する照度ムラの影響の除去処理は、その画像に対する他の様々な画像処理を施す前に行われるべき重要なステップであり、様々な手法が考案されている。
例えば、（１）観察対象を置かずに撮影された画像を基準画像として記録しておき、基準画像を利用して除去する手法、（２）画像を周波数分解し、低周波部分をムラとして除去する手法、（３）画像全体の画素に対して、低次数の方程式をフィッティングして背景を推定することにより照度ムラの影響を除去する手法、などが知られている。
従来技術は、画像全体に対して観察対象の占める割合が充分に小さい画像１枚に対して適用する場合、所望の通り、照度ムラの影響を除去することができる。
By the way, in general, the light hitting a subject to be photographed by a microscope has unevenness in the distribution of illuminance (light brightness) (hereinafter referred to as “illuminance unevenness”). The removal process of the influence of uneven illuminance on an image (microscope image) taken by such a microscope is an important step that should be performed before performing various other image processing on the image, and various methods have been devised. Has been.
For example, (1) a method of recording an image captured without placing an observation target as a reference image and removing it using the reference image, and (2) frequency-decomposing the image and removing low frequency portions as unevenness And (3) a method of removing the influence of uneven illuminance by fitting a low-order equation to the entire image and estimating the background.
When the conventional technique is applied to one image in which the ratio of the observation target to the entire image is sufficiently small, the influence of the illuminance unevenness can be removed as desired.
しかしながら、従来技術の（１）の手法では、一定の時間間隔によって連続的に観察する際の照明装置の出力のブレに由来する照度ムラの影響を除去することはできない。 However, with the technique (1) of the prior art, it is not possible to remove the influence of illuminance unevenness resulting from blurring of the output of the illumination device when continuously observing at a constant time interval.
また、従来技術の（２）の手法では、背景を低周波成分、観察対象を高周波成分として分類することになるが、このような分類は、受精卵の画像に対しては不適切である。
一般に、受精卵はその内部の様子を観察することを目的として、大きく撮影される。また、多数の受精卵が１つの培養器にて培養されることも多い。従って、画像全体に占める背景領域が小さくなり、反対に、観察対象である受精卵の占める割合が大きくなる。そうすると、観察対象自体が低周波成分を構成することになり、従来技術の（２）の手法による分類は不適切である。
In the method (2) of the prior art, the background is classified as a low-frequency component and the observation target is classified as a high-frequency component. Such a classification is inappropriate for an image of a fertilized egg.
In general, a fertilized egg is photographed largely for the purpose of observing the inside. Many fertilized eggs are often cultured in one incubator. Accordingly, the background area occupying the entire image is reduced, and on the contrary, the proportion of the fertilized egg to be observed is increased. Then, the observation object itself constitutes a low-frequency component, and classification by the method (2) of the prior art is inappropriate.
更に、従来技術の（３）の手法も、受精卵の画像にそのまま適用することはできない。
受精卵内部には、脂肪小滴と呼ばれる光を通しにくい部位が分布する。この脂肪小滴は背景よりも暗く写る。更に、多数の受精卵が１つの培養器にて培養される場合、複数の受精卵が１箇所にまとまって存在することが多い。このような画像に対して従来技術の（３）の背景推定手法を適用すると、受精卵の集合がある領域を、照度ムラの影響によって暗くなっている背景とみなすような計算となってしまい、正確に背景の明度分布（色の明るさの分布）を推定することができない。
Furthermore, the technique (3) of the prior art cannot be applied as it is to a fertilized egg image.
Inside the fertilized egg, a portion called a fat droplet is difficult to transmit light. These fat droplets appear darker than the background. Furthermore, when many fertilized eggs are cultured in one incubator, a plurality of fertilized eggs often exist in one place. When the background estimation method of the prior art (3) is applied to such an image, the region where a set of fertilized eggs is present is calculated to be regarded as a dark background due to the effect of uneven illumination, It is impossible to accurately estimate the brightness distribution of the background (the distribution of color brightness).
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、全体領域に対して観察領域の占める割合が大きい画像に対して、正確に背景の明度分布を推定することができる画像処理装置等を提供することである。更に、本発明は、正確に推定される背景の明度分布を示す画像を利用して、観察対象の特徴を出来る限り損なうことなく、画像に表れてしまう照度ムラの影響を適切に除去することができる画像処理装置等を提供することである。 The present invention has been made in view of the above-described problems, and its purpose is to accurately estimate the lightness distribution of the background for an image in which the ratio of the observation area to the entire area is large. It is to provide an image processing apparatus and the like that can be used. Furthermore, the present invention can appropriately remove the influence of illuminance unevenness appearing in the image without damaging the characteristics of the observation target as much as possible by using an image showing the accurately estimated background brightness distribution. It is to provide an image processing apparatus and the like that can be used.
前述した目的を達成するために第１の発明は、解析対象の元画像を入力する入力手段と、前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出手段と、前記抽出手段によって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出手段と、前記算出手段によって算出される前記近似多項式曲面に基づいて、全体領域が前記元画像と同一であって、前記元画像に係る擬似背景の明度分布を示す背景画像を生成する背景画像生成手段と、前記元画像と前記背景画像生成手段によって生成される前記背景画像とに基づいて、前記元画像の明度分布が調整されている画像である調整画像を生成する調整画像生成手段と、を具備し、前記調整画像生成手段は、前記調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、前記背景調整値に基づいて前記調整画像に係る背景領域のみが一様な明度分布となるように、前記調整画像を生成し、前記調整画像生成手段は、前記背景調整値を、前記背景画像の各画素の画素値によって除した値、が各要素となる第１ベクトルを算出し、前記元画像の各画素の画素値と前記背景画像の各画素の画素値との差の絶対値を、所定の画素値レンジによって除した値、が各要素となる第２ベクトルを算出し、前記第１ベクトルの各要素を、前記第２ベクトルの各要素によって重み付けした値、が各要素となる第３ベクトルを算出し、前記第３ベクトルと、前記元画像の各画素の画素値が各要素となる第４ベクトルとの直積、である第５ベクトルを算出し、前記第５ベクトルの各要素を、所定の画素値レンジに基づいて正規化することによって、前記調整画像の各画素の画素値を算出することを特徴とする画像処理装置である。
第１の発明によって、全体領域に対して観察領域の占める割合が大きい画像に対して、背景の明度分布を近似多項式曲面として正確に推定することができる。また、近似多項式曲面として推定された背景の明度分布を背景画像として視覚的に確認することができる。また、正確に推定される背景の明度分布を示す画像を利用して、背景に表れてしまう照度ムラの影響を適切に除去することができる。また、観察対象の特徴を出来る限り損なうことなく、画像に表れてしまう照度ムラの影響を適切に除去することができる。
In order to achieve the above-described object, the first invention excludes from input means for inputting an original image to be analyzed and calculation processing of an approximate polynomial curved surface that is an estimation result of a light intensity distribution of a pseudo background related to the original image. extracting means for extracting pixels to identify the position of the pixel extracted by said extraction means, and calculating means for calculating said approximate polynomial curved surface by excluding the pixel, the approximate polynomial curved surface calculated by said calculation means Based on the above, the whole area is the same as the original image, and the background image generating means for generating a background image indicating the brightness distribution of the pseudo background related to the original image, the original image and the background image generating means on the basis of the background image to be, the comprising an adjustment image producing means lightness distribution of the original image to generate the adjusted image is an image that has been adjusted, and the adjusted-image generating means A background adjustment value that is a pixel value for adjusting the brightness distribution of the background area related to the adjustment image is determined, and based on the background adjustment value, only the background area related to the adjustment image has a uniform brightness distribution. The adjusted image is generated, and the adjusted image generating means calculates a first vector whose elements are values obtained by dividing the background adjustment value by the pixel value of each pixel of the background image, and A second vector having each element as a value obtained by dividing an absolute value of a difference between a pixel value of each pixel and a pixel value of each pixel of the background image by a predetermined pixel value range; A third vector in which each element is a value weighted by each element of the second vector is calculated, and the third vector and a pixel value of each pixel of the original image are each element. 5th vector, which is a direct product with a vector Calculates, each element of the fifth vector, by normalizing on the basis of a predetermined pixel value range, an image processing apparatus characterized by calculating a pixel value of each pixel of the adjustment image.
According to the first invention, the brightness distribution of the background can be accurately estimated as an approximate polynomial curved surface for an image in which the ratio of the observation region to the entire region is large. Further, the background brightness distribution estimated as an approximate polynomial curved surface can be visually confirmed as a background image. Moreover, the influence of the uneven illuminance that appears in the background can be appropriately removed using an image that shows the accurately estimated background brightness distribution. In addition, it is possible to appropriately remove the influence of illuminance unevenness that appears in the image without damaging the characteristics of the observation target as much as possible.
第１の発明における前記算出手段は、例えば、前記近似多項式曲面を算出する為の連立方程式を、前記抽出手段によって抽出される画素に係る方程式の両辺を０として定めて、前記連立方程式の解を算出する。 In the first invention, the calculating means determines, for example, simultaneous equations for calculating the approximate polynomial curved surface as 0 on both sides of the equation relating to pixels extracted by the extracting means, and solves the simultaneous equations. calculate.
第１の発明における前記調整画像生成手段は、前記元画像の画素群から前記抽出手段によって抽出される画素を除いた画素群の平均値、を前記背景調整値として決定することが望ましい。
これによって、調整画像の背景色は、元画像の背景領域の全体的な色の印象に近い色となる。ひいては、元画像と調整画像とを比較するときに、ユーザは、背景領域の違いにあまり影響されず、観察対象領域に違いがあるかどうかを確認することができる。
In the first aspect of the invention, it is preferable that the adjusted image generation unit determines, as the background adjustment value, an average value of a pixel group obtained by removing pixels extracted from the pixel group of the original image by the extraction unit.
As a result, the background color of the adjusted image is close to the overall color impression of the background area of the original image. As a result, when comparing the original image and the adjusted image, the user can check whether there is a difference in the observation target region without being significantly affected by the difference in the background region.
第２の発明は、コンピュータが、解析対象の元画像を入力する入力ステップと、前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出ステップと、前記抽出ステップによって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出ステップと、前記算出ステップによって算出される前記近似多項式曲面に基づいて、全体領域が前記元画像と同一であって、前記元画像に係る擬似背景の明度分布を示す背景画像を生成する背景画像生成ステップと、前記元画像と前記背景画像生成ステップによって生成される前記背景画像とに基づいて、前記元画像の明度分布が調整されている画像である調整画像を生成する調整画像生成ステップと、を実行し、前記調整画像生成ステップは、前記調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、前記背景調整値に基づいて前記調整画像に係る背景領域のみが一様な明度分布となるように、前記調整画像を生成し、前記調整画像生成ステップは、前記背景調整値を、前記背景画像の各画素の画素値によって除した値、が各要素となる第１ベクトルを算出し、前記元画像の各画素の画素値と前記背景画像の各画素の画素値との差の絶対値を、所定の画素値レンジによって除した値、が各要素となる第２ベクトルを算出し、前記第１ベクトルの各要素を、前記第２ベクトルの各要素によって重み付けした値、が各要素となる第３ベクトルを算出し、前記第３ベクトルと、前記元画像の各画素の画素値が各要素となる第４ベクトルとの直積、である第５ベクトルを算出し、前記第５ベクトルの各要素を、所定の画素値レンジに基づいて正規化することによって、前記調整画像の各画素の画素値を算出することを特徴とする画像処理方法である。
第２の発明によって、全体領域に対して観察領域の占める割合が大きい画像に対して、正確に背景の明度分布を推定することができる。また、近似多項式曲面として推定された背景の明度分布を背景画像として視覚的に確認することができる。また、正確に推定される背景の明度分布を示す画像を利用して、背景に表れてしまう照度ムラの影響を適切に除去することができる。また、観察対象の特徴を出来る限り損なうことなく、画像に表れてしまう照度ムラの影響を適切に除去することができる。
In the second invention, the computer inputs an input step of inputting an original image to be analyzed, and an extraction for extracting pixels to be excluded from calculation processing of an approximate polynomial curved surface that is an estimation result of a brightness distribution of a pseudo background related to the original image A step of specifying the position of the pixel extracted by the extraction step, calculating the approximate polynomial curved surface excluding the pixel, and the approximate polynomial curved surface calculated by the calculating step , A background image generating step for generating a background image having the same area as the original image and indicating a brightness distribution of a pseudo background related to the original image; and the background image generated by the original image and the background image generating step based on the bets, the running, the adjustment image generation step of generating an adjusted image which is an image brightness distribution of the original image are adjusted, before The adjusted image generation step determines a background adjustment value that is a pixel value for adjusting the brightness distribution of the background area related to the adjusted image, and only the background area related to the adjusted image has a uniform brightness based on the background adjustment value. The adjusted image is generated so as to have a distribution, and the adjusted image generating step calculates a first vector whose elements are values obtained by dividing the background adjustment value by the pixel value of each pixel of the background image. And calculating a second vector whose elements are values obtained by dividing the absolute value of the difference between the pixel value of each pixel of the original image and the pixel value of each pixel of the background image by a predetermined pixel value range. , A third vector in which each element of the first vector is weighted by each element of the second vector is calculated, and the pixel value of each pixel of the original vector and the third vector is calculated. 4th vector which becomes each element Calculating a fifth vector is a direct product of the each element of the fifth vector, by normalizing on the basis of a predetermined pixel value range, calculating a pixel value of each pixel of the adjustment image This is a featured image processing method.
According to the second invention, it is possible to accurately estimate the lightness distribution of the background for an image in which the ratio of the observation area to the entire area is large. Further, the background brightness distribution estimated as an approximate polynomial curved surface can be visually confirmed as a background image. Moreover, the influence of the uneven illuminance that appears in the background can be appropriately removed using an image that shows the accurately estimated background brightness distribution. In addition, it is possible to appropriately remove the influence of illuminance unevenness that appears in the image without damaging the characteristics of the observation target as much as possible.
第３の発明は、コンピュータを、解析対象の元画像を入力する入力手段と、前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出手段と、前記抽出手段によって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出手段と、前記算出手段によって算出される前記近似多項式曲面に基づいて、全体領域が前記元画像と同一であって、前記元画像に係る擬似背景の明度分布を示す背景画像を生成する背景画像生成手段と、前記元画像と前記背景画像生成手段によって生成される前記背景画像とに基づいて、前記元画像の明度分布が調整されている画像である調整画像を生成する調整画像生成手段と、を具備し、前記調整画像生成手段は、前記調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、前記背景調整値に基づいて前記調整画像に係る背景領域のみが一様な明度分布となるように、前記調整画像を生成し、前記調整画像生成手段は、前記背景調整値を、前記背景画像の各画素の画素値によって除した値、が各要素となる第１ベクトルを算出し、前記元画像の各画素の画素値と前記背景画像の各画素の画素値との差の絶対値を、所定の画素値レンジによって除した値、が各要素となる第２ベクトルを算出し、前記第１ベクトルの各要素を、前記第２ベクトルの各要素によって重み付けした値、が各要素となる第３ベクトルを算出し、前記第３ベクトルと、前記元画像の各画素の画素値が各要素となる第４ベクトルとの直積、である第５ベクトルを算出し、前記第５ベクトルの各要素を、所定の画素値レンジに基づいて正規化することによって、前記調整画像の各画素の画素値を算出する画像処理装置として機能させるためのプログラムである。
第３の発明を汎用のコンピュータにインストールすることによって、第１の発明の画像処理装置を得ることができる。
According to a third aspect of the present invention, there is provided an extraction unit for extracting a pixel to be excluded from calculation processing of an approximate polynomial curved surface that is an estimation result of a brightness distribution of a pseudo background relating to the original image, and an input unit that inputs an original image to be analyzed Based on the approximate polynomial surface calculated by the calculation means, the position of the pixel extracted by the extraction means, the calculation means for calculating the approximate polynomial curved surface excluding the pixel , A background image generating means for generating a background image having the same area as the original image and showing a brightness distribution of a pseudo background related to the original image; and the background image generated by the original image and the background image generating means based on the bets, the comprising an adjustment image producing means lightness distribution of the original image to generate the adjusted image is an image that has been adjusted, and the adjusted-image generating means, the adjusting image Determining a background adjustment value, which is a pixel value for adjusting the brightness distribution of the background area, and adjusting the image so that only the background area of the adjusted image has a uniform brightness distribution based on the background adjustment value. The adjusted image generating means calculates a first vector whose elements are values obtained by dividing the background adjustment value by the pixel value of each pixel of the background image, and calculates the first vector of each pixel of the original image. A second vector having each element as a value obtained by dividing the absolute value of the difference between the pixel value and the pixel value of each pixel of the background image by a predetermined pixel value range is calculated, and each element of the first vector is calculated. , A third vector having each element as a value weighted by each element of the second vector is calculated, and the third vector and a fourth vector having a pixel value of each pixel of the original image as each element Calculate a fifth vector that is a direct product, Each element of the serial fifth vector, by normalizing on the basis of a predetermined pixel value range is a program for functioning as an image processing apparatus for calculating a pixel value of each pixel of the adjustment image.
The image processing apparatus of the first invention can be obtained by installing the third invention on a general-purpose computer.
第４の発明は、第３の発明のプログラムが記憶されているコンピュータ読取可能な記憶媒体である。
第４の発明によって、第３の発明を容易に配布することができる。
The fourth invention is a computer-readable storage medium in which the program of the third invention is stored.
According to the fourth invention, the third invention can be easily distributed.
本発明により、全体領域に対して観察領域の占める割合が大きい画像に対して、正確に背景の明度分布を推定することができる。更に、正確に推定される背景の明度分布を示す画像を利用して、観察対象の特徴を出来る限り損なうことなく、画像に表れてしまう照度ムラの影響を適切に除去することができる。 According to the present invention, it is possible to accurately estimate the lightness distribution of the background for an image in which the ratio of the observation area to the entire area is large. Furthermore, by using an image that shows the accurately estimated background brightness distribution, it is possible to appropriately remove the influence of illuminance unevenness that appears in the image without damaging the characteristics of the observation target as much as possible.
以下図面に基づいて、本発明の実施形態を詳細に説明する。
最初に、本発明の技術的思想の理解を助ける為に、図１から図４を参照しながら、本発明が解析対象とする画像、及び本発明の技術的思想の基礎となる公知技術について説明する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
First, in order to help understanding of the technical idea of the present invention, an image to be analyzed by the present invention and a known technique that is the basis of the technical idea of the present invention will be described with reference to FIGS. To do.
以下では、一例として、グレースケール画像を対象とする。また、画素値レンジを２５６階調とし、画素値として取り得る値を０〜２５５とする。
全体領域とは、任意の画像データに含まれる全ての画素を含む領域とする。観察対象領域とは、全体領域のうち、観察対象物の画素のみを含む領域とする。背景領域とは、全体領域のうち、観察対象領域を除く領域とする。すなわち、観察対象領域と背景領域との間に、重複する画素はない。
In the following, a grayscale image is targeted as an example. In addition, the pixel value range is 256 gradations, and the values that can be taken as pixel values are 0 to 255.
The whole area is an area including all pixels included in arbitrary image data. The observation target region is a region including only pixels of the observation target in the entire region. The background region is a region excluding the observation target region in the entire region. That is, there is no overlapping pixel between the observation target area and the background area.
図１は、本発明が解析対象とする元画像の一例を示す図である。
図１は、培養中の受精卵を観察対象とする画像（以下、「受精卵画像」という。）である。図１に示す受精卵画像は、多数の受精卵が１つの培養器にて培養される場合の画像である。
FIG. 1 is a diagram showing an example of an original image to be analyzed by the present invention.
FIG. 1 is an image (hereinafter referred to as “fertilized egg image”) in which a fertilized egg being cultured is an observation target. The fertilized egg image shown in FIG. 1 is an image when a large number of fertilized eggs are cultured in one incubator.
受精卵画像の特徴は、次の通りである。
（１）各受精卵の輪郭周辺は、殻に相当する透明帯が存在し、光の加減によって、背景よりも明るく写る部位と、背景よりも暗く写る部位とが混在する。
（２）各受精卵の内部は、主に脂肪小滴によって占められており、脂肪小滴に起因して、暗く写る部位が大部分である。
（３）多数の受精卵が１つの培養器にて培養される場合、図１に示すように、複数の受精卵が１箇所に固まって存在することが多い。
（４）受精卵の外部（背景）は、照明装置の傾きや撮影装置の出力のぶれなどによって、照度ムラの影響がある。
（５）受精卵の外部（背景）は、ゴミなどに起因して、少なからずノイズが存在する。
（６）各受精卵の明るさの傾向は、ほぼ一様であり、照度ムラの影響をそれほど受けていない。
The characteristics of the fertilized egg image are as follows.
(1) Around the outline of each fertilized egg, there is a zona pellucida corresponding to the shell, and a portion that appears brighter than the background and a portion that appears darker than the background are mixed due to light.
(2) The interior of each fertilized egg is mainly occupied by fat droplets, and most of the sites appear dark due to the fat droplets.
(3) When many fertilized eggs are cultured in one incubator, as shown in FIG. 1, a plurality of fertilized eggs often exist in one place.
(4) The outside (background) of the fertilized egg is affected by uneven illuminance due to the tilt of the illumination device and the fluctuation of the output of the photographing device.
(5) The exterior (background) of the fertilized egg is not limited to noise due to dust or the like.
(6) The tendency of the brightness of each fertilized egg is almost uniform, and is not so much affected by uneven illumination.
最も注意すべきことは、（４）の通り、背景領域である受精卵の外部が照度ムラの影響を受けているにも関わらず、（６）の通り、観察対象領域である受精卵の輪郭及び内部は、照度ムラの影響をそれほど受けていないことである。
これは、全体領域と比べて受精卵がかなり大きな構造物であること、かつ、受精卵の表面がほぼ球面の透明な殻（透明帯）によって覆われている為に様々な方向からの光を受けていること、などを理由として、観察対象領域が背景領域に見られる程の極端な照度の違いに晒されていない為であると考えられる。
The most important thing is that the outline of the fertilized egg, which is the observation target area, as shown in (6), although the outside of the fertilized egg, which is the background area, is affected by uneven illumination as shown in (4). And the inside is not so much affected by the uneven illumination.
This is because the fertilized egg has a considerably large structure compared to the entire area, and the surface of the fertilized egg is covered with a substantially spherical transparent shell (transparent zone), so that light from various directions can be obtained. This is probably because the observation target area is not exposed to an extreme difference in illuminance that can be seen in the background area.
図２は、所望の背景画像を示す図である。
背景画像とは、元画像に係る擬似背景の明度分布を示す画像である。擬似背景とは、観察対象（図２の例では、受精卵）が存在しないものと仮定して擬似的に算出される背景である。
擬似背景の明度分布は、図１に示す元画像から推定される。図２に示す背景画像は、元画像に表れてしまう照度ムラの影響が正確に推定されている例である。
本発明の目的の１つは、図２に示すような背景画像を生成することである。
FIG. 2 is a diagram illustrating a desired background image.
The background image is an image showing the brightness distribution of the pseudo background related to the original image. The pseudo background is a background that is simulated on the assumption that there is no observation target (in the example of FIG. 2, a fertilized egg).
The brightness distribution of the pseudo background is estimated from the original image shown in FIG. The background image shown in FIG. 2 is an example in which the influence of illuminance unevenness that appears in the original image is accurately estimated.
One of the objects of the present invention is to generate a background image as shown in FIG.
尚、受精卵画像は、本発明が解析対象とする画像の一例に過ぎない。本発明は、基本的にどのような画像に対しても適用可能であり、特に、全体領域に対して観察対象領域の占める割合が大きい画像に対して、従来技術では得ることができない良好な結果が得られる。例えば、図２に示すような背景画像を生成することができる。 A fertilized egg image is merely an example of an image to be analyzed by the present invention. The present invention is basically applicable to any image, and particularly good results that cannot be obtained by the prior art for an image in which the observation target region occupies a large proportion of the entire region. Is obtained. For example, a background image as shown in FIG. 2 can be generated.
次に、本発明の技術的思想の基礎となる背景推定手法（従来技術の（３）の背景推定手法）について説明する。
以下、（・・・）Ｔはベクトルや行列の転置を表し、（・・・）−１は逆行列を表す。
縦方向の画素数：ＮＨ、横方向の画素数：Ｎｗ、総画素数：Ｎ（＝ＮＨ×ＮＷ）の画像ｐについて、ｉ（ｉ＝１、・・・、Ｎ）番目の画素（横方向の座標：ｘ、縦方向の座標：ｙ）の画素値をｐｉとする。
画像ｐは、ベクトルとして表現し、ｐ＝（ｐ１、・・・、ｐｉ、・・・、ｐＮ）Ｔとする。
Next, a background estimation method (background estimation method (3) of the prior art) that is the basis of the technical idea of the present invention will be described.
Hereinafter, (...) T represents transposition of a vector or a matrix, and (...) -1 represents an inverse matrix.
The image number p in the vertical direction: N H , the number of pixels in the horizontal direction: N w , and the total number of pixels: N (= N H × N W ), i (i = 1,..., N) -th Let p i be the pixel value of a pixel (horizontal coordinate: x, vertical coordinate: y).
The image p is expressed as a vector, and p = (p 1 ,..., P i ,..., P N ) T.
前述の照度ムラは、発生原理から考えると、空間的に緩慢な変化を有すると仮定できる。そこで、本発明では、Ｋ次の多項式曲面ｂによって、照度ムラの影響を含む擬似背景の明度分布を近似する。 The above illuminance unevenness can be assumed to have a spatially gradual change in view of the generation principle. Therefore, in the present invention, the lightness distribution of the pseudo background including the influence of the illuminance unevenness is approximated by the K-th order polynomial curved surface b.
Ｋ次の多項式曲面ｂの横方向の座標ｘ、縦方向の座標ｙにおける値ｂ（ｘ、ｙ）は、要素数Ｍ＝（Ｋ＋１）×（Ｋ＋２）／２の係数ベクトルｃ＝（ｃ０、・・・、ｃｉ、・・・、ｃＭ−１）Ｔによって、次式によって定義される。 A value b (x, y) at a horizontal coordinate x and a vertical coordinate y of a K-th order polynomial curved surface b is a coefficient vector c = (c 0 , number of elements M = (K + 1) × (K + 2) / 2. .., C i ,..., C M−1 ) T are defined by the following equation.
ここで、画像ｐを多項式曲面ｂによって近似するために、Ｎ行Ｍ列の係数行列Ｚを用いて過剰定義系の連立方程式Ｚｃ＝ｐを定式化する。
但し、係数行列Ｚのｉ行目のベクトルの要素ｚｉは、ｚｉ＝（１、ｘｉ、ｙｉ、ｘｉ ２、ｙｉ ２、ｘｉｙｉ、・・・、ｙｉ Ｍ）である。
例えば、Ｋ＝２の場合、Ｍ＝６となり、ｚｉ＝（１、ｘｉ、ｙｉ、ｘｉ ２、ｙｉ ２、ｘｉｙｉ）である。
また、例えば、Ｋ＝３の場合、Ｍ＝１０となり、ｚｉ＝（１、ｘｉ、ｙｉ、ｘｉ ２、ｙｉ ２、ｘｉｙｉ、ｘｉ ３、ｙｉ ３、ｘｉ ２ｙｉ、ｘｉｙｉ ２）である。
Here, in order to approximate the image p by the polynomial curved surface b, an over-defined simultaneous equation Zc = p is formulated using a coefficient matrix Z of N rows and M columns.
However, the element z i of the vector in the i-th row of the coefficient matrix Z is z i = (1, x i , y i , x i 2 , y i 2 , x i y i ,..., Y i M ). It is.
For example, when K = 2, M = 6 and z i = (1, x i , y i , x i 2 , y i 2 , x i y i ).
For example, when K = 3, M = 10, and z i = (1, x i , y i , x i 2 , y i 2 , x i y i , x i 3 , y i 3 , x i 2 y i , x i y i 2 ).
過剰定義系の連立方程式とは、未知の変数よりも、方程式の数が多い連立方程式である。
連立方程式Ｚｃ＝ｐでは、未知の変数がＭ個であり、方程式の数がＮ個となる。前述の通り、Ｎは画像ｐの総画素数であるから、少なくとも数十万個以上である。一方、Ｍは多項式曲面の次数によるところ、次数をむやみに多くしても精度の向上につながるわけではない。一般的には、Ｋ＝２〜４程度であるが、仮に、Ｋ＝１０としても、Ｍ＝６６である。
従って、Ｍ≪Ｎであり、連立方程式Ｚｃ＝ｐは、実用上、必ず過剰定義系となる。
An over-defined system of equations is a system of equations with more equations than unknown variables.
In the simultaneous equation Zc = p, there are M unknown variables and the number of equations is N. As described above, since N is the total number of pixels of the image p, it is at least several hundred thousand. On the other hand, M depends on the order of the polynomial curved surface, so increasing the order excessively does not lead to an improvement in accuracy. In general, K = 2 to 4, but even if K = 10, M = 66.
Therefore, M << N, and the simultaneous equations Zc = p are always over-defined in practice.
連立方程式Ｚｃ＝ｐは、次式の最小二乗解ｃ＊を算出することによって解くことができる。 The simultaneous equations Zc = p can be solved by calculating a least squares solution c * of the following equation.
式（２）の解法は例示するまでもなく良く知られており、最小二乗解ｃ＊は次式によって与えられる。 The solution of equation (2) is well known, without illustration, and the least squares solution c * is given by:
式（３）の最小二乗解ｃ＊によって、多項式曲面ｂは、次式によって与えられる。 The polynomial curved surface b is given by the following equation by the least square solution c * of Equation (3).
式（４）によって得られる多項式曲面ｂに基づいて、全体領域が元画像と同一の背景画像を生成することができる。
以上が、本発明の技術的思想の基礎となる背景推定手法である。しかしながら、本発明が解決しようとする課題の説明において前述したように、この背景推定手法を受精卵画像にそのまま適用すると、複数の受精卵が存在する観察対象領域を照度ムラの影響によって暗くなっている背景とみなすような計算となってしまい、正確に背景の明度分布を推定することができない。このことについて、図３、図４を参照しながら説明する。
Based on the polynomial curved surface b obtained by Expression (4), a background image whose entire area is the same as the original image can be generated.
The above is the background estimation method that is the basis of the technical idea of the present invention. However, as described above in the description of the problem to be solved by the present invention, when this background estimation method is applied to a fertilized egg image as it is, an observation target region where a plurality of fertilized eggs exist becomes dark due to the influence of illumination unevenness. The background lightness distribution cannot be estimated accurately. This will be described with reference to FIGS.
図３は、公知技術によって生成される背景画像を示す図である。図２と図３を比較すると、図３の方が、中央部分が黒っぽくなっていることが分かる。この部分は、元画像（図１）の受精卵の位置と一致しており、前述の公知の背景推定手法では、観察対象領域を照度ムラの影響によって暗くなっている背景とみなしていることが分かる。 FIG. 3 is a diagram illustrating a background image generated by a known technique. Comparing FIG. 2 and FIG. 3, it can be seen that the central portion of FIG. 3 is darker. This portion coincides with the position of the fertilized egg in the original image (FIG. 1), and in the above-described known background estimation method, the observation target region may be regarded as a background that has become dark due to the influence of illuminance unevenness. I understand.
図４は、公知技術によって生成される調整画像を示す図である。
調整画像とは、元画像の明度分布が調整されている画像である。
最も望ましい調整画像は、観察対象領域の明度分布が元画像とほぼ同じ特徴（例えば、濃淡のコントラスト）を有していること、かつ、背景領域のみが一様な明度分布となることである。
これは、観察対象領域の明度分布の特徴が元画像と異なるような調整画像では、受精卵の品質評価の精度を落とすことになってしまうからである。また、背景領域のみが一様な明度分布となる、すなわち照度ムラの影響が除去されることによって、受精卵の品質評価などを目的とした様々な画像処理が容易になるからである。
FIG. 4 is a diagram illustrating an adjustment image generated by a known technique.
An adjusted image is an image in which the brightness distribution of the original image is adjusted.
The most desirable adjustment image is that the brightness distribution of the observation target area has substantially the same characteristics (for example, contrast of light and shade) as the original image, and only the background area has a uniform brightness distribution.
This is because the accuracy of quality evaluation of a fertilized egg is lowered in an adjusted image in which the characteristics of the brightness distribution of the observation target region are different from the original image. In addition, only the background region has a uniform brightness distribution, that is, the influence of uneven illuminance is removed, thereby facilitating various image processing for the purpose of evaluating the quality of a fertilized egg.
図４に示す調整画像は、公知の技術によって、図１の元画像から、図３の背景画像を減算して色調反転を行い、所定の画素値レンジ（この例では、２５６階調）に基づいて正規化（画素値レンジを調整）したものである。
図４に示す調整画像は、観察対象領域である受精卵の明度分布の特徴が、元画像（図１）と異なるものとなっている。また、背景領域も一様な明度分布となっていない。
The adjusted image shown in FIG. 4 is based on a predetermined pixel value range (256 gradations in this example) by subtracting the background image of FIG. 3 from the original image of FIG. And normalized (adjusting the pixel value range).
The adjustment image shown in FIG. 4 is different from the original image (FIG. 1) in the lightness distribution characteristics of the fertilized egg that is the observation target region. Also, the background area is not uniform in brightness distribution.
本発明の実施の形態では、前述の背景推定手法を改良することによって、照度ムラの影響が除去された背景画像を生成する。また、生成される背景画像を用いて、観察対象領域の明度分布が元画像とほぼ同じ特徴を有し、背景領域のみが一様な明度分布となる調整画像を生成する。 In the embodiment of the present invention, a background image from which the influence of illuminance unevenness is removed is generated by improving the above-described background estimation method. Also, using the generated background image, an adjustment image is generated in which the brightness distribution of the observation target region has substantially the same characteristics as the original image, and only the background region has a uniform brightness distribution.
次に、図５から図１０を参照しながら、本発明の実施の形態に係る画像処理装置１について説明する。 Next, the image processing apparatus 1 according to the embodiment of the present invention will be described with reference to FIGS.
図５は、画像処理装置１のハードウエア構成図である。尚、図５のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。 FIG. 5 is a hardware configuration diagram of the image processing apparatus 1. Note that the hardware configuration in FIG. 5 is merely an example, and various configurations can be adopted depending on the application and purpose.
画像処理装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。 In the image processing apparatus 1, a control unit 11, a storage unit 12, a media input / output unit 13, a communication control unit 14, an input unit 15, a display unit 16, a peripheral device I / F unit 17, and the like are connected via a bus 18. The
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。 The control unit 11 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、画像処理装置１が行う後述する処理を実現する。
ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。
ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
The CPU calls and executes a program stored in the storage unit 12, ROM, recording medium, or the like to a work memory area on the RAM, drives and controls each device connected via the bus 18, and the image processing apparatus 1 The process to be described later is realized.
The ROM is a non-volatile memory and permanently holds a computer boot program, a program such as BIOS, data, and the like.
The RAM is a volatile memory, and temporarily stores programs, data, and the like loaded from the storage unit 12, ROM, recording medium, and the like, and includes a work area used by the control unit 11 for performing various processes.
記憶部１２は、ＨＤＤ（ハードディスクドライブ）であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。
これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
The storage unit 12 is an HDD (hard disk drive), and stores a program executed by the control unit 11, data necessary for program execution, an OS (operating system), and the like. With respect to the program, a control program corresponding to an OS (operating system) and an application program for causing a computer to execute processing described later are stored.
Each of these program codes is read by the control unit 11 as necessary, transferred to the RAM, read by the CPU, and executed as various means.
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。
通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
The media input / output unit 13 (drive device) inputs / outputs data, for example, media such as a CD drive (-ROM, -R, -RW, etc.), DVD drive (-ROM, -R, -RW, etc.) Has input / output devices.
The communication control unit 14 includes a communication control device, a communication port, and the like, and is a communication interface that mediates communication between a computer and a network, and performs communication control between other computers via the network. The network may be wired or wireless.
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。
表示部１６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。
The input unit 15 inputs data and includes, for example, a keyboard, a pointing device such as a mouse, and an input device such as a numeric keypad.
An operation instruction, an operation instruction, data input, and the like can be performed on the computer via the input unit 15.
The display unit 16 includes a display device such as a CRT monitor and a liquid crystal panel, and a logic circuit (such as a video adapter) for realizing a video function of the computer in cooperation with the display device.
周辺機器Ｉ／Ｆ（インタフェース）部１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器としては、例えば、受精卵を撮像するための撮像装置等がある。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
The peripheral device I / F (interface) unit 17 is a port for connecting a peripheral device to the computer, and the computer transmits and receives data to and from the peripheral device via the peripheral device I / F unit 17. Examples of the peripheral device include an imaging device for imaging a fertilized egg. The peripheral device I / F unit 17 is configured by USB, IEEE 1394, RS-232C, or the like, and usually includes a plurality of peripheral devices I / F. The connection form with the peripheral device may be wired or wireless.
The bus 18 is a path that mediates transmission / reception of control signals, data signals, and the like between the devices.
図６は、画像処理装置１による処理の流れを示す図である。以下では、図１、図７〜図１０も参照しながら、画像処理装置１の処理を説明する。
図６に示すように、画像処理装置１の制御部１１は、メディア入出力部１３、通信制御部１４、周辺機器Ｉ／Ｆ部１７等を介して、元画像を入力する（Ｓ１０１）。元画像は、図１に示す通りである。
FIG. 6 is a diagram showing a flow of processing by the image processing apparatus 1. Hereinafter, the processing of the image processing apparatus 1 will be described with reference to FIGS. 1 and 7 to 10.
As shown in FIG. 6, the control unit 11 of the image processing apparatus 1 inputs an original image via the media input / output unit 13, the communication control unit 14, the peripheral device I / F unit 17, and the like (S101). The original image is as shown in FIG.
次に、制御部１１は、近似多項式曲面の算出処理から除外する画素を抽出する（Ｓ１０２）。近似多項式曲面とは、元画像に係る擬似背景の明度分布の推定結果として得られる多項式曲面である。
具体的には、制御部１１は、元画像に含まれる画素の画素値に基づいて決定される閾値を用いて閾値処理を実行し、近似多項式曲面の算出処理から除外する画素を抽出する。
Next, the control unit 11 extracts pixels to be excluded from the calculation process of the approximate polynomial curved surface (S102). The approximate polynomial curved surface is a polynomial curved surface obtained as an estimation result of the brightness distribution of the pseudo background related to the original image.
Specifically, the control unit 11 performs threshold processing using a threshold determined based on the pixel values of the pixels included in the original image, and extracts pixels to be excluded from the approximate polynomial curved surface calculation processing.
Ｓ１０２の技術的意義について説明する。背景領域の画素の画素値と大きく異なる画素値を有する画素は、近似多項式曲面の算出処理に悪影響を与える。受精卵画像であれば、脂肪小滴に相当する画素であり、図１では、背景領域よりも暗く写っている。
そこで、制御部１１は、例えば、近似多項式曲面の算出処理に悪影響を与える画素を閾値処理によって抽出する。
The technical significance of S102 will be described. A pixel having a pixel value that is significantly different from the pixel value of the pixel in the background region adversely affects the calculation process of the approximate polynomial curved surface. In the case of a fertilized egg image, it is a pixel corresponding to a fat droplet, and in FIG. 1, it appears darker than the background region.
Therefore, for example, the control unit 11 extracts pixels that adversely affect the calculation process of the approximate polynomial curved surface by threshold processing.
閾値は、例えば、元画像に係る背景領域に含まれる画素の画素値に基づいて決定されても良い。例えば、閾値は、背景領域に含まれる画素の最大値、最小値または平均値に所定値（０を含む。）を加減した値としても良い。
また、閾値は、例えば、元画像に係る観察対象領域に含まれる画素の画素値に基づいて決定されても良い。例えば、閾値は、観察対象領域に含まれる画素の最大値、最小値または平均値に所定値（０を含む。）を加減した値としても良い。
尚、ここでは、厳密に脂肪小滴に相当する画素を抽出する必要はない。ある程度の誤差を含んでいても、最終的に生成される背景画像や調整画像の精度に大きな影響を与えるものではない。
The threshold value may be determined based on, for example, the pixel value of the pixel included in the background area related to the original image. For example, the threshold value may be a value obtained by adding or subtracting a predetermined value (including 0) to the maximum value, the minimum value, or the average value of the pixels included in the background region.
In addition, the threshold value may be determined based on, for example, the pixel value of the pixel included in the observation target area related to the original image. For example, the threshold value may be a value obtained by adding or subtracting a predetermined value (including 0) to the maximum value, the minimum value, or the average value of the pixels included in the observation target region.
Here, it is not necessary to strictly extract pixels corresponding to fat droplets. Even if a certain amount of error is included, it does not significantly affect the accuracy of the finally generated background image and adjusted image.
また、閾値処理によって、近似多項式曲面の算出処理から除外する画素を抽出するものとしたが、本発明は、これに限定されない。例えば、制御部１１は、傾きを持った平面や曲面などを利用して、近似多項式曲面の算出処理から除外する画素を抽出するようにしても良い。すなわち、制御部１１は、所定の平面や曲面によって、元画像に含まれる画素を、近似多項式曲面の算出処理に含める画素と、近似多項式曲面の算出処理から除外する画素とに分けるようにしても良い。 In addition, the pixels excluded from the approximate polynomial curved surface calculation process are extracted by the threshold process, but the present invention is not limited to this. For example, the control unit 11 may extract pixels to be excluded from the calculation process of the approximate polynomial curved surface using a plane or curved surface having an inclination. That is, the control unit 11 may divide pixels included in the original image into pixels included in the approximate polynomial curved surface calculation process and pixels excluded from the approximate polynomial curved surface calculation process according to a predetermined plane or curved surface. good.
図７は、画像処理装置１によって実行される閾値処理の結果を示す図である。制御部１１は、図７に示すように、表示部１６に閾値処理の結果を表示するようにしても良い。
図７では、閾値処理によって抽出された画素を「白」、それ以外の画素を「黒」として図示している。すなわち、「白」の画素が、近似多項式曲面の算出処理から除外する画素である。
FIG. 7 is a diagram illustrating a result of threshold processing executed by the image processing apparatus 1. The control unit 11 may display the result of the threshold processing on the display unit 16 as shown in FIG.
In FIG. 7, the pixels extracted by the threshold processing are illustrated as “white”, and the other pixels are illustrated as “black”. That is, the “white” pixel is a pixel that is excluded from the calculation process of the approximate polynomial curved surface.
次に、制御部１１は、Ｓ１０２によって抽出される画素に基づいて、近似多項式曲面の算出処理における連立方程式を定式化する（Ｓ１０３）。
具体的には、制御部１１は、近似多項式曲面を算出する為の連立方程式を、Ｓ１０２によって抽出される画素に係る方程式の両辺を０として定めて、連立方程式Ｚ´ｃ＝ｐ´を定式化する。
Next, the control unit 11 formulates simultaneous equations in the approximate polynomial curved surface calculation process based on the pixels extracted in S102 (S103).
Specifically, the control unit 11 formulates the simultaneous equations Z′c = p ′ by setting the simultaneous equations for calculating the approximate polynomial curved surface as 0 on both sides of the equation relating to the pixel extracted in S102. To do.
Ｓ１０２の処理結果として得られる２値化画像（図７）をｇ＝（ｇ１、・・・、ｇｉ、・・・、ｇＮ）Ｔとする。また、閾値処理によって抽出された画素（図７の「白」）をｇｉ＝０とする。
このとき、ベクトルｐ´と、係数行列Ｚ´のｉ行目のベクトルの要素ｚｉは、次式によって与えられる。
Assume that the binarized image (FIG. 7) obtained as a result of the processing in S102 is g = (g 1 ,..., G i ,..., G N ) T. In addition, the pixel extracted by the threshold processing (“white” in FIG. 7) is set to g i = 0.
At this time, the vector p ′ and the element z i of the i-th vector of the coefficient matrix Z ′ are given by the following equations.
式（５）〜（７）が連立方程式Ｚ´ｃ＝ｐ´に代入されることによって、Ｓ１０２によって抽出される画素に係る方程式の両辺が０と定まる。すなわち、連立方程式Ｚ´ｃ＝ｐ´は、近似多項式曲面の算出処理に悪影響を与える画素が除外されている。 By substituting the equations (5) to (7) into the simultaneous equations Z′c = p ′, both sides of the equation relating to the pixel extracted in S102 are determined to be zero. That is, the simultaneous equation Z′c = p ′ excludes pixels that adversely affect the calculation process of the approximate polynomial curved surface.
尚、この処理によって、連立方程式Ｚ´ｃ＝ｐ´には意味がない方程式（０＝０という方程式）が含まれることになり、理論上は、連立方程式Ｚ´ｃ＝ｐ´が過剰定義系にならない場合も考え得る。しかしながら、実用上は、連立方程式Ｚ´ｃ＝ｐ´は、必ず過剰定義系となる。
例えば、Ｓ１０２によって抽出される画素数をＬ個とすると、連立方程式Ｚ´ｃ＝ｐ´は、未知の変数がＭ個であり、意味のある方程式の数が（Ｎ−Ｌ）個となる。図７を参照すれば分かるように、Ｓ１０２によって抽出される画素数は、多くても、全体の画素数の１／４程度である。仮に、Ｓ１０２によって抽出される画素数が、全体の画素数の９９／１００程度であったとしても、（Ｎ−Ｌ）＞全体の画素数（数十万個）×１／１００＝数千個が成り立つから、未知の変数（仮に、Ｋ＝１０としても、Ｍ＝６６）よりも、圧倒的に多いことには変わりがない。すなわち、実用上は、（Ｎ−Ｌ）≫Ｍが成り立ち、連立方程式Ｚ´ｃ＝ｐ´は、過剰定義系となる。
By this process, the simultaneous equations Z′c = p ′ include an insignificant equation (equal equation of 0 = 0). In theory, the simultaneous equations Z′c = p ′ are over-defined systems. It can be considered that it does not become. However, in practice, the simultaneous equations Z′c = p ′ are always over-defined systems.
For example, if the number of pixels extracted in S102 is L, the simultaneous equations Z′c = p ′ have M unknown variables and (N−L) meaningful equations. As can be seen from FIG. 7, the number of pixels extracted in S102 is at most about 1/4 of the total number of pixels. Even if the number of pixels extracted in S102 is about 99/100 of the total number of pixels, (N−L)> total number of pixels (hundreds of thousands) × 1/100 = several thousands Therefore, there is no change in being overwhelmingly larger than unknown variables (assuming K = 10, M = 66). That is, in practice, (N−L) >> M holds, and the simultaneous equations Z′c = p ′ become an overdefined system.
次に、制御部１１は、Ｓ１０２によって抽出される画素の位置を特定し、Ｓ１０２によって抽出される画素を除外して近似多項式曲面の算出処理を実行する（Ｓ１０４）。
具体的には、制御部１１は、Ｓ１０３によって定式化される連立方程式の解を算出し、近似多項式曲面を算出する。
制御部１１は、前述した式（３）、（４）において、Ｚ＝Ｚ´、ｐ＝ｐ´を代入することにより、本発明の実施の形態における連立方程式の解を算出し、近似多項式曲面を算出する。
Next, the control unit 11 specifies the position of the pixel extracted in S102, excludes the pixel extracted in S102, and executes an approximate polynomial curved surface calculation process (S104).
Specifically, the control unit 11 calculates a solution of the simultaneous equations formulated in S103, and calculates an approximate polynomial curved surface.
The controller 11 calculates the solution of the simultaneous equations in the embodiment of the present invention by substituting Z = Z ′ and p = p ′ in the above-described equations (3) and (4), and approximate polynomial surface Is calculated.
次に、制御部１１は、Ｓ１０４によって算出される近似多項式曲面に基づいて、全体領域が元画像と同一の背景画像を生成する（Ｓ１０５）。制御部１１は、元画像における背景領域の画素だけでなく、元画像における観察対象領域の画素に対しても、Ｓ１０４によって算出される近似多項式曲面に基づく画素値を対応付けて、背景画像を生成する。
ここで、「全体領域が元画像と同一」とは、縦ピクセル数と横ピクセル数が元画像と同一という意味である。縦ピクセル数と横ピクセル数を合わせる意義は、ユーザが視覚的に確認し易いということと、後述する調整画像の生成処理が容易になるということである。
Next, the control unit 11 generates a background image whose entire area is the same as the original image based on the approximate polynomial curved surface calculated in S104 (S105). The control unit 11 generates a background image by associating not only the pixels in the background region in the original image but also the pixels in the observation target region in the original image with pixel values based on the approximate polynomial curved surface calculated in S104. To do.
Here, “the entire area is the same as the original image” means that the number of vertical pixels and the number of horizontal pixels are the same as those of the original image. The significance of combining the number of vertical pixels and the number of horizontal pixels is that it is easy for the user to visually confirm, and that adjustment image generation processing described later is facilitated.
図８は、画像処理装置１によって生成される背景画像を示す図である。制御部１１は、図８に示すように、表示部１６に背景画像を表示するようにしても良い。
図２、図３、図８をそれぞれ比較すると、図３よりも、図８の方が、図２に示す所望の背景画像に近いことが分かる。特に、図８では、受精卵（観察対象領域）の位置に黒っぽい領域が存在せず、全体的に右から左に向かって、黒から白に滑らかなグラデーションが現れている。
FIG. 8 is a diagram illustrating a background image generated by the image processing apparatus 1. As shown in FIG. 8, the control unit 11 may display a background image on the display unit 16.
Comparing FIG. 2, FIG. 3, and FIG. 8, it can be seen that FIG. 8 is closer to the desired background image shown in FIG. 2 than FIG. In particular, in FIG. 8, there is no dark area at the position of the fertilized egg (observation target area), and a smooth gradation appears from black to white as a whole from right to left.
次に、制御部１１は、Ｓ１０５によって生成される背景画像に基づいて、調整画像を生成する（Ｓ１０６）。 Next, the control part 11 produces | generates an adjustment image based on the background image produced | generated by S105 (S106).
以下、調整画像生成処理について、２つの例を説明する。
最初に、調整画像生成処理の第１の例について説明する。
Hereinafter, two examples of the adjustment image generation process will be described.
First, a first example of the adjustment image generation process will be described.
第１の例では、制御部１１は、公知の技術によって、図１の元画像から、図８の背景画像を減算して色調反転を行い、所定の画素値レンジ（この例では、２５６階調）に基づいて正規化（画素値レンジを調整）し、調整画像を生成する。調整画像は、例えば、最小値が０、最大値が２５５となるように、画素値レンジが調整されたものとなる。 In the first example, the control unit 11 subtracts the background image shown in FIG. 8 from the original image shown in FIG. 1 and inverts the color tone using a known technique to obtain a predetermined pixel value range (256 gradations in this example). ) To normalize (adjust the pixel value range) to generate an adjusted image. In the adjusted image, for example, the pixel value range is adjusted so that the minimum value is 0 and the maximum value is 255.
図９は、画像処理装置１によって生成される第１の調整画像を示す図である。制御部１１は、図９に示すように、表示部１６に第１の調整画像を表示するようにしても良い。
第１の例では、背景領域が一様な明度分布となっていることが分かる。但し、第１の例では、観察対象領域である受精卵について、明るさにムラが生じていることが分かる。
FIG. 9 is a diagram illustrating a first adjustment image generated by the image processing apparatus 1. As shown in FIG. 9, the control unit 11 may display the first adjustment image on the display unit 16.
In the first example, it can be seen that the background region has a uniform brightness distribution. However, in the first example, it can be seen that the brightness of the fertilized egg that is the observation target region is uneven.
次に、調整画像生成処理の第２の例について説明する。
第２の例では、制御部１１は、調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、背景調整値に基づいて調整画像に係る背景領域のみが一様な明度分布となるように、調整画像を生成する。
Next, a second example of the adjustment image generation process will be described.
In the second example, the control unit 11 determines a background adjustment value that is a pixel value for adjusting the brightness distribution of the background area related to the adjustment image, and only the background area related to the adjustment image is uniform based on the background adjustment value. An adjusted image is generated so as to obtain a lightness distribution.
背景調整値は、調整画像における背景色として望ましい色（画素値）を適宜決めれば良い。例えば、画素値レンジが２５６階調のグレースケール画像の場合、中間色である「１２７」を選択したり、受精卵の透明帯の部分（比較的明るい部分）とのコントラストを強調するために「１９０」を選択したり、Ｓ１０５において生成される背景画像の全画素の平均値などを選択したりすれば良い。
但し、「０」や「２５５」など画素値レンジの両端に近い値とすると、背景よりも明るい部分や暗い部分が、背景と同化してしまうことになり、あまり望ましくはない。
As the background adjustment value, a color (pixel value) desirable as a background color in the adjustment image may be determined as appropriate. For example, in the case of a grayscale image with a pixel value range of 256 gradations, “190”, which is an intermediate color, is selected, or “190” is used to enhance the contrast with the zona pellucida part (relatively bright part) of the fertilized egg. Or the average value of all the pixels of the background image generated in S105 may be selected.
However, if the value is close to both ends of the pixel value range such as “0” or “255”, a brighter or darker part than the background is assimilated with the background, which is not desirable.
第２の例では、制御部１１は、背景調整値Ｓを、背景画像（多項式曲面ｂ）の各画素の画素値によって除した値、が各要素となるベクトルｓを算出する。ベクトルｓは、要素数Ｎである。ベクトルｓは、式に表すと以下のようになる。 In the second example, the control unit 11 calculates a vector s in which each value is a value obtained by dividing the background adjustment value S by the pixel value of each pixel of the background image (polynomial surface b). The vector s has N elements. The vector s is expressed as follows:
ここで、後述する処理と比較する為、ベクトルｓと、元画像の各画素の画素値が各要素となる元画像ベクトルｐとの直積、であるベクトルｒを考える。ベクトルｒは、要素数Ｎである。ベクトルｒは、式に表すと以下のようになる。 Here, in order to compare with the processing described later, a vector r, which is a direct product of the vector s and the original image vector p in which the pixel value of each pixel of the original image is an element, is considered. The vector r has N elements. The vector r is expressed as follows:
ベクトルｒを用いて調整画像を生成すると、調整画像の背景領域が背景調整値Ｓに近い色となるが、観察対象領域（受精卵）の明度分布にはムラが生じる。そこで、制御部１１は、元画像（元画像ベクトルｐ）の各画素の画素値と背景画像（多項式曲面ｂ）の各画素の画素値との差の絶対値を、所定の画素値レンジＩｒａｎｇｅ（この例では、２５６階調）によって除した値、が各要素となるベクトルｄを算出する。ベクトルｄは、要素数Ｎである。ベクトルｄは、式に表すと以下のようになる。 When the adjustment image is generated using the vector r, the background area of the adjustment image has a color close to the background adjustment value S, but unevenness occurs in the brightness distribution of the observation target area (fertilized egg). Therefore, the control unit 11 determines the absolute value of the difference between the pixel value of each pixel of the original image (original image vector p) and the pixel value of each pixel of the background image (polynomial surface b) as a predetermined pixel value range I range. A vector d whose values are divided by (in this example, 256 gradations) is calculated. The vector d has an element number N. The vector d is expressed as follows:
次に、制御部１１は、ベクトルｓの各要素を、ベクトルｄの各要素によって重み付けした値、が各要素となるベクトルｔを算出する。ベクトルｔは、要素数Ｎである。ベクトルｔは、式に表すと以下のようになる。 Next, the control unit 11 calculates a vector t in which each element of the vector s is a value obtained by weighting each element of the vector d with each element of the vector d. The vector t is the number N of elements. The vector t is expressed as follows:
次に、制御部１１は、ベクトルｔと、元画像の各画素の画素値が各要素となる元画像ベクトルｐとの直積、であるベクトルｕを算出する。ベクトルｕは、要素数Ｎである。ベクトルｕは、式に表すと以下のようになる。 Next, the control unit 11 calculates a vector u that is a direct product of the vector t and the original image vector p in which the pixel value of each pixel of the original image is an element. The vector u has N elements. The vector u is expressed as follows:
そして、制御部１１は、ベクトルｕの各要素を、所定の画素値レンジＩｒａｎｇｅに基づいて正規化することによって、調整画像の各画素の画素値を算出する。
例えば、制御部１１は、ベクトルｕの最小値ｕｍｉｎ、最大値ｕｍａｘを用いて、ベクトルｕの各要素を所定の画素値レンジＩｒａｎｇｅ全体に引き伸ばし、ベクトルｕ´を算出する。ベクトルｕ´は、要素数Ｎである。ベクトルｕ´は、式に表すと以下のようになる。
Then, the control unit 11 calculates the pixel value of each pixel of the adjusted image by normalizing each element of the vector u based on a predetermined pixel value range I range .
For example, using the minimum value u min and the maximum value u max of the vector u, the control unit 11 extends each element of the vector u over the entire predetermined pixel value range I range and calculates the vector u ′. The vector u ′ has N elements. The vector u ′ is expressed as follows:
調整画像は、例えば、ベクトルｕ´の最小値が０、最大値が２５５となるように、画素値レンジが調整されたものとなる。 In the adjusted image, for example, the pixel value range is adjusted so that the minimum value of the vector u ′ is 0 and the maximum value is 255.
更に、調整画像生成処理の第２の例では、背景調整値を、元画像の画素群から、Ｓ１０２によって抽出される画素を除いた画素群の平均値とする。このように背景調整値を決定すると、調整画像の背景色は、元画像の背景領域の全体的な色の印象に近い色となる。これによって、元画像と調整画像とを比較するときに、ユーザは、背景領域の違いにあまり影響されず、観察対象領域に違いがあるかどうかを確認することができる。 Furthermore, in the second example of the adjusted image generation process, the background adjustment value is the average value of the pixel group obtained by excluding the pixels extracted in S102 from the pixel group of the original image. When the background adjustment value is determined in this way, the background color of the adjusted image becomes a color close to the overall color impression of the background area of the original image. Thus, when comparing the original image and the adjusted image, the user can check whether there is a difference in the observation target region without being significantly affected by the difference in the background region.
図１０は、画像処理装置１によって生成される第２の調整画像を示す図である。制御部１１は、図１０に示すように、表示部１６に第２の調整画像を表示するようにしても良い。
第２の例では、調整画像の背景領域の各画素が、背景調整値Ｓに近い値に変換され、背景領域が一様な明度分布となる。
更に、第２の例では、観察対象領域である受精卵について、明るさにムラが生じていないことが分かる。すなわち、第２の例によって生成される調整画像は、観察対象領域の明度分布が元画像とほぼ同じ特徴（例えば、濃淡のコントラスト）を有しており、かつ、背景領域のみが一様な明度分布となっており、最も望ましい画像となっている。
また、図１０に示す調整画像の背景色は、図１に示す元画像の背景領域の全体的な色の印象に近い色となっていることが分かる。
FIG. 10 is a diagram illustrating a second adjustment image generated by the image processing apparatus 1. As shown in FIG. 10, the control unit 11 may display the second adjustment image on the display unit 16.
In the second example, each pixel in the background area of the adjusted image is converted to a value close to the background adjustment value S, and the background area has a uniform brightness distribution.
Furthermore, in the second example, it can be seen that there is no uneven brightness in the fertilized egg that is the observation target region. In other words, the adjusted image generated by the second example has a characteristic in which the brightness distribution of the observation target area has substantially the same characteristics as the original image (for example, contrast of light and shade), and only the background area has a uniform brightness. The distribution is the most desirable image.
Also, it can be seen that the background color of the adjusted image shown in FIG. 10 is close to the overall color impression of the background area of the original image shown in FIG.
本発明の実施の形態に係る画像処理装置１は、照度ムラの影響が除去された背景画像を生成することができる。また、生成される背景画像を用いて、観察対象領域の明度分布が元画像とほぼ同じ特徴を有し、背景領域のみが一様な明度分布となる調整画像を生成することができる。
そして、画像処理装置１が、観察対象領域の元画像から自動的に調整画像を生成することによって、一定の時間間隔によって連続的に観察する場合であっても、全ての画像を標準化することができる。画像処理装置１によって標準化される画像は、照明装置の出力のブレに由来する照度ムラの影響が除去されている。従って、観察対象領域を正確に抽出するための様々な画像処理を行う際、パラメータの調整が容易になるとともに、異なる撮影時刻の画像や異なる受精卵を正確に比較することができる。
The image processing apparatus 1 according to the embodiment of the present invention can generate a background image from which the influence of illuminance unevenness is removed. Further, by using the generated background image, it is possible to generate an adjustment image in which the brightness distribution of the observation target region has substantially the same characteristics as the original image and only the background region has a uniform brightness distribution.
Then, the image processing apparatus 1 can automatically standardize all images even when continuously observing at regular time intervals by automatically generating an adjustment image from the original image of the observation target region. it can. The image standardized by the image processing apparatus 1 is free from the influence of illuminance unevenness resulting from the blurring of the output of the lighting device. Therefore, when performing various image processing for accurately extracting the observation target region, it becomes easy to adjust parameters, and images at different photographing times and different fertilized eggs can be compared accurately.
以上、添付図面を参照しながら、本発明に係る画像処理装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the image processing apparatus and the like according to the present invention have been described above with reference to the accompanying drawings, but the present invention is not limited to such examples. It will be apparent to those skilled in the art that various changes or modifications can be conceived within the scope of the technical idea disclosed in the present application, and these naturally belong to the technical scope of the present invention. Understood.
１………画像処理装置
１１………制御部
１２………記憶部
１３………メディア入出力部
１４………通信制御部
１５………入力部
１６………表示部
１７………周辺機器Ｉ／Ｆ部
１８………バス
DESCRIPTION OF SYMBOLS 1 ......... Image processing apparatus 11 ......... Control part 12 ......... Storage part 13 ......... Media input / output part 14 ......... Communication control part 15 ......... Input part 16 ......... Display part 17 ......... Peripheral equipment I / F section 18 ......... Bus
Claims (6)
前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出手段と、
前記抽出手段によって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出手段と、
前記算出手段によって算出される前記近似多項式曲面に基づいて、全体領域が前記元画像と同一であって、前記元画像に係る擬似背景の明度分布を示す背景画像を生成する背景画像生成手段と、
前記元画像と前記背景画像生成手段によって生成される前記背景画像とに基づいて、前記元画像の明度分布が調整されている画像である調整画像を生成する調整画像生成手段と、
を具備し、
前記調整画像生成手段は、前記調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、前記背景調整値に基づいて前記調整画像に係る背景領域のみが一様な明度分布となるように、前記調整画像を生成し、
前記調整画像生成手段は、
前記背景調整値を、前記背景画像の各画素の画素値によって除した値、が各要素となる第１ベクトルを算出し、
前記元画像の各画素の画素値と前記背景画像の各画素の画素値との差の絶対値を、所定の画素値レンジによって除した値、が各要素となる第２ベクトルを算出し、
前記第１ベクトルの各要素を、前記第２ベクトルの各要素によって重み付けした値、が各要素となる第３ベクトルを算出し、
前記第３ベクトルと、前記元画像の各画素の画素値が各要素となる第４ベクトルとの直積、である第５ベクトルを算出し、
前記第５ベクトルの各要素を、所定の画素値レンジに基づいて正規化することによって、前記調整画像の各画素の画素値を算出する
ことを特徴とする画像処理装置。 An input means for inputting an original image to be analyzed;
Extraction means for extracting pixels to be excluded from the calculation processing of the approximate polynomial curved surface that is an estimation result of the brightness distribution of the pseudo background relating to the original image;
A calculation unit for specifying a position of a pixel extracted by the extraction unit and calculating the approximate polynomial curved surface by excluding the pixel;
Based on the approximate polynomial curved surface calculated by the calculating means, a background image generating means for generating a background image having a whole area that is the same as the original image and indicating a brightness distribution of a pseudo background related to the original image;
An adjusted image generating unit that generates an adjusted image that is an image in which the brightness distribution of the original image is adjusted based on the original image and the background image generated by the background image generating unit;
Equipped with,
The adjusted image generation means determines a background adjustment value that is a pixel value for adjusting the brightness distribution of the background area related to the adjusted image, and only the background area related to the adjusted image is uniform based on the background adjustment value. The adjusted image is generated so as to have a brightness distribution,
The adjusted image generating means
A value obtained by dividing the background adjustment value by the pixel value of each pixel of the background image is calculated as a first vector.
A second vector in which a value obtained by dividing the absolute value of the difference between the pixel value of each pixel of the original image and the pixel value of each pixel of the background image by a predetermined pixel value range is each element;
A value obtained by weighting each element of the first vector with each element of the second vector is calculated as a third vector,
Calculating a fifth vector that is a direct product of the third vector and a fourth vector in which the pixel value of each pixel of the original image is an element;
The image processing apparatus according to claim 1, wherein the pixel value of each pixel of the adjusted image is calculated by normalizing each element of the fifth vector based on a predetermined pixel value range .
解析対象の元画像を入力する入力ステップと、
前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出ステップと、
前記抽出ステップによって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出ステップと、
前記算出ステップによって算出される前記近似多項式曲面に基づいて、全体領域が前記元画像と同一であって、前記元画像に係る擬似背景の明度分布を示す背景画像を生成する背景画像生成ステップと、
前記元画像と前記背景画像生成ステップによって生成される前記背景画像とに基づいて、前記元画像の明度分布が調整されている画像である調整画像を生成する調整画像生成ステップと、
を実行し、
前記調整画像生成ステップは、前記調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、前記背景調整値に基づいて前記調整画像に係る背景領域のみが一様な明度分布となるように、前記調整画像を生成し、
前記調整画像生成ステップは、
前記背景調整値を、前記背景画像の各画素の画素値によって除した値、が各要素となる第１ベクトルを算出し、
前記元画像の各画素の画素値と前記背景画像の各画素の画素値との差の絶対値を、所定の画素値レンジによって除した値、が各要素となる第２ベクトルを算出し、
前記第１ベクトルの各要素を、前記第２ベクトルの各要素によって重み付けした値、が各要素となる第３ベクトルを算出し、
前記第３ベクトルと、前記元画像の各画素の画素値が各要素となる第４ベクトルとの直積、である第５ベクトルを算出し、
前記第５ベクトルの各要素を、所定の画素値レンジに基づいて正規化することによって、前記調整画像の各画素の画素値を算出する
ことを特徴とする画像処理方法。 Computer
An input step for inputting an original image to be analyzed;
An extraction step of extracting pixels to be excluded from the calculation processing of the approximate polynomial curved surface that is an estimation result of the brightness distribution of the pseudo background related to the original image;
A calculation step of specifying a position of a pixel extracted by the extraction step and calculating the approximate polynomial curved surface by excluding the pixel;
Based on the approximate polynomial curved surface calculated by the calculating step, a background image generating step for generating a background image in which the entire area is the same as the original image and showing a lightness distribution of a pseudo background related to the original image;
An adjusted image generating step for generating an adjusted image that is an image in which the lightness distribution of the original image is adjusted based on the original image and the background image generated by the background image generating step;
The execution,
The adjusted image generation step determines a background adjustment value that is a pixel value for adjusting the brightness distribution of the background area related to the adjusted image, and only the background area related to the adjusted image is uniform based on the background adjustment value. The adjusted image is generated so as to have a brightness distribution,
The adjusted image generation step includes:
A value obtained by dividing the background adjustment value by the pixel value of each pixel of the background image is calculated as a first vector.
A second vector in which a value obtained by dividing the absolute value of the difference between the pixel value of each pixel of the original image and the pixel value of each pixel of the background image by a predetermined pixel value range is each element;
A value obtained by weighting each element of the first vector with each element of the second vector is calculated as a third vector,
Calculating a fifth vector that is a direct product of the third vector and a fourth vector in which the pixel value of each pixel of the original image is an element;
The image processing method , wherein each element of the fifth vector is normalized based on a predetermined pixel value range to calculate a pixel value of each pixel of the adjusted image .
解析対象の元画像を入力する入力手段と、
前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出手段と、
前記抽出手段によって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出手段と、
前記算出手段によって算出される前記近似多項式曲面に基づいて、全体領域が前記元画像と同一であって、前記元画像に係る擬似背景の明度分布を示す背景画像を生成する背景画像生成手段と、
前記元画像と前記背景画像生成手段によって生成される前記背景画像とに基づいて、前記元画像の明度分布が調整されている画像である調整画像を生成する調整画像生成手段と、
を具備し、
前記調整画像生成手段は、前記調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、前記背景調整値に基づいて前記調整画像に係る背景領域のみが一様な明度分布となるように、前記調整画像を生成し、
前記調整画像生成手段は、
前記背景調整値を、前記背景画像の各画素の画素値によって除した値、が各要素となる第１ベクトルを算出し、
前記元画像の各画素の画素値と前記背景画像の各画素の画素値との差の絶対値を、所定の画素値レンジによって除した値、が各要素となる第２ベクトルを算出し、
前記第１ベクトルの各要素を、前記第２ベクトルの各要素によって重み付けした値、が各要素となる第３ベクトルを算出し、
前記第３ベクトルと、前記元画像の各画素の画素値が各要素となる第４ベクトルとの直積、である第５ベクトルを算出し、
前記第５ベクトルの各要素を、所定の画素値レンジに基づいて正規化することによって、前記調整画像の各画素の画素値を算出する
画像処理装置として機能させるためのプログラム。 Computer
An input means for inputting an original image to be analyzed;
Extraction means for extracting pixels to be excluded from the calculation processing of the approximate polynomial curved surface that is an estimation result of the brightness distribution of the pseudo background relating to the original image;
A calculation unit for specifying a position of a pixel extracted by the extraction unit and calculating the approximate polynomial curved surface by excluding the pixel;
Based on the approximate polynomial curved surface calculated by the calculating means, a background image generating means for generating a background image having a whole area that is the same as the original image and indicating a brightness distribution of a pseudo background related to the original image;
An adjusted image generating unit that generates an adjusted image that is an image in which the brightness distribution of the original image is adjusted based on the original image and the background image generated by the background image generating unit;
Equipped with,
The adjusted image generation means determines a background adjustment value that is a pixel value for adjusting the brightness distribution of the background area related to the adjusted image, and only the background area related to the adjusted image is uniform based on the background adjustment value. The adjusted image is generated so as to have a brightness distribution,
The adjusted image generating means
A value obtained by dividing the background adjustment value by the pixel value of each pixel of the background image is calculated as a first vector.
A second vector in which a value obtained by dividing the absolute value of the difference between the pixel value of each pixel of the original image and the pixel value of each pixel of the background image by a predetermined pixel value range is each element;
A value obtained by weighting each element of the first vector with each element of the second vector is calculated as a third vector,
Calculating a fifth vector that is a direct product of the third vector and a fourth vector in which the pixel value of each pixel of the original image is an element;
A program for functioning as an image processing device that calculates each pixel value of the adjusted image by normalizing each element of the fifth vector based on a predetermined pixel value range .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010223669A JP5601133B2 (en) | 2010-10-01 | 2010-10-01 | Image processing apparatus, image processing method, program, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010223669A JP5601133B2 (en) | 2010-10-01 | 2010-10-01 | Image processing apparatus, image processing method, program, and storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012079089A JP2012079089A (en) | 2012-04-19 |
| JP5601133B2 true JP5601133B2 (en) | 2014-10-08 |
Family
ID=46239259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010223669A Active JP5601133B2 (en) | 2010-10-01 | 2010-10-01 | Image processing apparatus, image processing method, program, and storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5601133B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7079631B2 (en) * | 2018-03-19 | 2022-06-02 | 株式会社Ｓｃｒｅｅｎホールディングス | Image processing methods, computer programs and recording media |
| CN110047050A (en) * | 2019-04-23 | 2019-07-23 | 广东小天才科技有限公司 | Time display method, device, terminal and the storage medium of computing terminal |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61193569A (en) * | 1985-02-22 | 1986-08-28 | Mitsubishi Electric Corp | Picture binary coding circuit |
| JP4136157B2 (en) * | 1999-02-09 | 2008-08-20 | オリンパス株式会社 | Molecular length measurement method |
| JP2002092586A (en) * | 2000-09-14 | 2002-03-29 | Olympus Optical Co Ltd | Device and method for image analysis, and recording medium recording processing program for image analysis processing |
-
2010
- 2010-10-01 JP JP2010223669A patent/JP5601133B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012079089A (en) | 2012-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110046673B (en) | No-reference tone mapping image quality evaluation method based on multi-feature fusion | |
| JP5095290B2 (en) | Shadow region compensation method, medium and system | |
| Mantiuk et al. | HDR-VDP-2: A calibrated visual metric for visibility and quality predictions in all luminance conditions | |
| US9916666B2 (en) | Image processing apparatus for identifying whether or not microstructure in set examination region is abnormal, image processing method, and computer-readable recording device | |
| WO2019242329A1 (en) | Convolutional neural network training method and device | |
| JP5418324B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| US8913806B2 (en) | Texture homogeneity based in-vivo image identifying device, method, and computer-readable recording device | |
| JP2009545800A (en) | How to reconstruct a voxel cluster map in an image | |
| EP3920531A1 (en) | Livestock house monitoring method and livestock house monitoring system | |
| CN114066857A (en) | Infrared image quality evaluation method and device, electronic equipment and readable storage medium | |
| JP2007172512A (en) | Method for quantitative evaluation of image quality, system thereof and program for calculating quantitative evaluation of image quality | |
| US20130114911A1 (en) | Post processing for improved generation of intrinsic images | |
| US8224048B2 (en) | Computer implemented method for correction of magnetic resonance images | |
| JP5601133B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| WO2016006429A1 (en) | Image processing device and method, program, and endoscope system | |
| JPWO2018203514A1 (en) | Image analysis evaluation method, computer program, image analysis evaluation device | |
| KR101389930B1 (en) | Apparatus and method for performing tone mapping for image | |
| KR102547864B1 (en) | Concrete defect assessment method and computing device for performing the method | |
| CN116051421A (en) | Multi-dimensional-based endoscope image quality evaluation method, device, equipment and medium | |
| CN111489333B (en) | No-reference night natural image quality evaluation method | |
| JP7005477B2 (en) | Image processing equipment, image processing methods, and programs | |
| US8655099B2 (en) | Relationship maintenance in an image process | |
| JP6931418B2 (en) | Image processing methods, image processing devices, user interface devices, image processing systems, servers, and image processing programs | |
| Li et al. | A voxelation-corrected non-stationary 3D cluster-size test based on random field theory | |
| WO2023008525A1 (en) | Cell image analysis method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130808 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140722 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140804 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5601133 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |