JP4444928B2 - Image processing method, apparatus, and program for microscope image - Google Patents
Image processing method, apparatus, and program for microscope image Download PDFInfo
- Publication number
- JP4444928B2 JP4444928B2 JP2006100084A JP2006100084A JP4444928B2 JP 4444928 B2 JP4444928 B2 JP 4444928B2 JP 2006100084 A JP2006100084 A JP 2006100084A JP 2006100084 A JP2006100084 A JP 2006100084A JP 4444928 B2 JP4444928 B2 JP 4444928B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- grid
- nth
- variance
- nth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Studio Devices (AREA)
Description
本発明は、注目する被写体の動きを止めて表示する、あるいは動きを抑制して表示するための画像処理装置及び方法に関する。 The present invention relates to an image processing apparatus and method for displaying an image by stopping the movement of a subject of interest or suppressing the movement.
画像処理の分野においては、ビデオカメラの手ぶれ補正や、被写体の追尾機能を実現するためにいくつかの手法が知られている。手ぶれ補正のためには、例えば、特許文献1に記載されているように、ジャイロスコープを用いてカメラ自体の振動を検出して、その振動を相殺するように光学系を変位させ、画面上での像を防振する方法がある。さらに、特許文献2には、撮影者が追尾している被写体を画面の中央に常に出力できるようにする画像処理と、入力時にぶれて記録された画像を再生時にぶれが生じないような画像処理が記載されている。この特許文献2の方法によれば、被写体にある基準点を設定し、各画像フレーム内においてこの基準点のずれの量を検出し、ずれ量の分だけ画面全体を移動して、被写体の画面内の位置を補正する。ずれ量の検出は、パターンマッチングにより行う。
例えば、生物顕微鏡で生きた細胞を観察する場合、観察対象の細胞は、周りにいる他の細胞の動きの影響を受けて移動する。また、近年、生物学の研究において、生体の画像データを生きたままの時系列的なデータとして取得し、その動的なパラメータの解析を行うことが重要になっている。培養細胞系における細胞とは異なり、生体内においては観察対象となる細胞が付着する足場あるいは細胞の置かれた環境は絶えず変化し、移動する。このため、生体における一つの細胞の自発的運動を、単なる動画像ではなく、見やすく意味のあるデータとして記録することは困難である。 For example, when observing a living cell with a biological microscope, the cell to be observed moves under the influence of the movement of other cells around it. In recent years, in biological research, it has become important to obtain biological image data as time-sequential data as it is and analyze its dynamic parameters. Unlike cells in cultured cell systems, the scaffold in which the cells to be observed adhere or the environment in which the cells are placed changes and moves in vivo. For this reason, it is difficult to record the spontaneous movement of one cell in a living body as easy-to-see and meaningful data, not just a moving image.
本発明は、デジタル動画を構成するコマ間のずれ量を高速に測定し、これを補正する装置と方法を提供する。 The present invention provides an apparatus and a method for measuring a deviation amount between frames constituting a digital moving image at high speed and correcting the deviation amount.
本発明は、記憶装置に保存されているN個(Nは2以上の整数である)のデジタル画像からなる連続した動きを描写した画像スタックからn番目の画像とn+1番目の画像を取り出すステップであって、nは1以上でN−1以下の整数であるステップと、n番目の画像とn+1番目の画像の対応する位置に縦横M個ずつMの自乗個の面を区画する矩形の第1グリッドをそれぞれ置く演算を行う第1グリッド設置ステップであって、Mは2を含む2の倍数であるステップと、n番目の画像の第1グリッドの交点の一つに、n+1番目の画像の第1グリッドの中心が来るようにn番目の画像とn+1番目の画像を重ね合わせる重ね合わせステップと、n番目の画像とn+1番目の画像の間で、重なる画素あるいは対応する画素についての所定の色特性の差を求め、その差の分散を計算し、この計算をn番目の画像の第1グリッドの全ての交点について行うことにより、分散が最小となる第1グリッドの交点を決定する演算を行う分散最小化ステップと、そして、決定された交点を中心として、第1グリッドのMの自乗分の1の面積を有し、第1グリッドと相似形の第2グリッドを置く演算を行う第2グリッド設置ステップと、この第2グリッドを前記分散最小化ステップにおける第1グリッドであると順次考えて、前記分散最小化ステップと第2グリッド設置ステップを所定回数繰り返す回帰ステップと、この回帰ステップが終了したときに得られる分散が最小となる交点の、n番目の画像中のグリッド1の中心に対する位置を、n番目の画像とn+1番目の画像の間のずれの量とする演算を行うずれ量決定ステップと、前記ずれの量に対応して、n番目の画像とn+1番目の画像の相対位置を変更する演算を行う補正ステップと、前記第1グリッド設置ステップから補正ステップまでをnの値を増分しながら繰り返すステップとを含んでなる被写体追尾画像処理方法を提供する。
The present invention is a step of extracting the nth image and the (n + 1) th image from an image stack depicting a continuous movement composed of N digital images (N is an integer of 2 or more) stored in a storage device. A step in which n is an integer greater than or equal to 1 and less than or equal to N−1, and a first rectangular rectangle that partitions M squares vertically and horizontally at corresponding positions in the n th image and the n + 1 th image. A first grid setting step for performing an operation of placing each grid, wherein M is a multiple of 2 including 2, and one of the intersection points of the first grid of the nth image and the first of the n + 1th image A superposition step of superimposing the nth image and the n + 1th image so that the center of one grid comes, and a predetermined color for the overlapping pixel or the corresponding pixel between the nth image and the n + 1th image The difference of the sex is obtained, the variance of the difference is calculated, and this calculation is performed for all the intersections of the first grid of the nth image, thereby calculating the intersection of the first grid that minimizes the variance. A second grid for performing an operation of placing a second grid similar to the first grid, having a variance minimizing step, and having an area of 1 squared M of the first grid around the determined intersection An installation step, a regression step of repeating the dispersion minimization step and the second grid installation step a predetermined number of times, considering the second grid as the first grid in the variance minimization step, and the regression step are completed The position of the intersection at which the variance obtained from time to time with respect to the center of the
また、本発明は、連続した動きをデジタル描写したn番目の画像とn+1番目の画像を可動撮像装置から得るステップであって、nは1以上でN−1以下の整数であるステップと、n番目の画像とn+1番目の画像の対応する位置に縦横M個ずつMの自乗個の面を区画する矩形の第1グリッドをそれぞれ置く演算を行う第1グリッド設置ステップであって、Mは2を含む2の倍数であるステップと、n番目の画像の第1グリッドの交点の一つに、n+1番目の画像の第1グリッドの中心が来るようにn番目の画像とn+1番目の画像を重ね合わせる重ね合わせステップと、n番目の画像とn+1番目の画像の間で、重なる画素あるいは対応する画素についての所定の色特性の差を求め、その差の分散を計算し、この計算をn番目の画像の第1グリッドの全ての交点について行うことにより、分散が最小となる第1グリッドの交点を決定する演算を行う分散最小化ステップと、そして、決定された交点を中心として、第1グリッドのMの自乗分の1の面積を有し、第1グリッドと相似形の第2グリッドを置く演算を行う第2グリッド設置ステップと、この第2グリッドを前記分散最小化ステップにおける第1グリッドであると順次考えて、前記分散最小化ステップと第2グリッド設置ステップを所定回数繰り返す回帰ステップと、この回帰ステップが終了したときに得られる分散が最小となる交点の、n番目の画像中のグリッド1の中心に対する位置を、n番目の画像とn+1番目の画像の間のずれの量とする演算を行うずれ量決定ステップと、前記ずれの量に対応して、可動撮像装置を移動して、被写体の追尾を行う補正ステップとを含んでなる被写体追尾画像処理方法をも提供する。
Further, the present invention is a step of obtaining an n-th image and an (n + 1) -th image in which a continuous motion is digitally depicted from a movable imaging device, wherein n is an integer greater than or equal to 1 and less than or equal to N−1; A first grid setting step for performing an operation of placing a first grid of rectangles that divide M square planes at the corresponding positions of the nth image and the (n + 1) th image, wherein M is 2. The nth image and the n + 1th image are superimposed so that the center of the first grid of the (n + 1) th image comes to one of the intersections of the first grid of the nth image and the step that is a multiple of 2 A predetermined color characteristic difference between the overlapping step and the nth image and the (n + 1) th image with respect to the overlapping pixel or the corresponding pixel is obtained, a variance of the difference is calculated, and this calculation is performed on the nth image. The first of A variance minimizing step for performing an operation for determining the intersection of the first grid that minimizes the variance by performing the calculation for all the intersections of the lid, and the square of M of the first grid around the determined intersection A second grid installation step for performing an operation of placing a second grid similar to the first grid, and sequentially considering the second grid as the first grid in the variance minimization step , A regression step that repeats the variance minimization step and the second grid setting step a predetermined number of times, and the position of the intersection that minimizes the variance obtained when the regression step is completed with respect to the center of the
これらの本発明方法は、明度や、色相、彩度といったどのような色特性の一つを用いてまた複数を組み合わせて実施することができる。どの色特性を用いるかは、追尾するべき被写体の特徴や背景の特徴によって決定することができるものである。また、以下に例として取り上げる、Mが4で、交点が25個で、順次16分の1に小さくなっていく面積を有する複数のグリッドのセットを用いていくもののほかにも、Mが2で、交点が9個で、順次4分の1の大きさになっていくグリッドのセットを用いていく方法や、Mが6で、交点の数が49で、順次36分の1の大きさになっていくグリッドのセットを用いる方法もある。 These methods according to the present invention can be carried out by using one of any color characteristics such as brightness, hue, and saturation, and by combining a plurality of them. Which color characteristic is used can be determined by the characteristics of the subject to be tracked and the characteristics of the background. In addition to the case of using a set of a plurality of grids having an area where M is 4 and 25 intersections are successively reduced to 1/16, M is 2 , A method of using a grid set with 9 intersections and sequentially becoming a quarter size, M is 6 and the number of intersections is 49, and the size is successively 36 times smaller There is also a method that uses a set of grids.
また、本発明は、これらの方法を実施するための装置のほか、このような方法をコンピュータに実施させるための命令を含むコンピュータプログラムをも含むものである。 Further, the present invention includes a computer program including instructions for causing a computer to perform such a method, in addition to an apparatus for performing these methods.
本発明の方法または装置によれば、デジタル画像間のずれ、すなわち細胞が付着する環境の動きを定量的に測定し、補正することができる。そのため、生体の時系列的画像において観察対象となる細胞のそれ自体の動きを提供化する際に障害となる、細胞が付着する足場あるいはその環境の影響を排除することができるようになる。 According to the method or apparatus of the present invention, it is possible to quantitatively measure and correct a shift between digital images, that is, a movement of an environment to which cells adhere. Therefore, it becomes possible to eliminate the influence of the scaffold to which the cell adheres or its environment, which becomes an obstacle when providing the movement of the cell to be observed itself in the time-series image of the living body.
また、本発明は、細胞のような生物系以外にも、不法侵入者や、動物などの追尾観察を行うために利用することができる。 In addition to biological systems such as cells, the present invention can be used for tracking observation of illegal intruders and animals.
図1に本発明方法の一実施形態による画像処理の流れを示す。まず、2次元画像を時間に沿って連続的に取得した結果、一連の画像を得る。このような画像は、共焦点レーザ顕微鏡や光学顕微鏡にビデオカメラを取り付けた装置、あるいはより一般的にビデオカメラによって得ることができる。この一連の2次元画像は、積み重ねると3次元の画像スタックとなり(S100)、ハードディスクやRAMあるいはフラッシュメモリなどの適当な記憶手段に保存しておくことができる。 FIG. 1 shows the flow of image processing according to an embodiment of the method of the present invention. First, a series of images is obtained as a result of acquiring two-dimensional images continuously over time. Such an image can be obtained by a device in which a video camera is attached to a confocal laser microscope or an optical microscope, or more generally by a video camera. The series of two-dimensional images are stacked to form a three-dimensional image stack (S100), and can be stored in an appropriate storage means such as a hard disk, RAM, or flash memory.
このような3次元画像スタックから、2次元画像を一つずつ次々取り出して(S102)、直前の2次元画像との間での2軸方向のずれ量を演算手段により計算する(S104)。計算されたずれ量に基づいて2次元画像に対する補正処理を行う(S106)。すなわち、ずれ量をうち消すように画像を画面中心に対して移動することによる補正を行う。 Two-dimensional images are taken out one by one from such a three-dimensional image stack (S102), and the amount of deviation in the biaxial direction from the previous two-dimensional image is calculated by the computing means (S104). Based on the calculated shift amount, a correction process is performed on the two-dimensional image (S106). That is, correction is performed by moving the image with respect to the center of the screen so as to eliminate the shift amount.
このときのずれ量の算出は次のように行う。図2を参照しつつ説明する。まず、直前の画像を画像1として、ずれを補正する対象となる画像を画像2とする。
The amount of deviation at this time is calculated as follows. This will be described with reference to FIG. First, an image immediately before is set as an
そして、画像1に、グリッド1を置く。このグリッド1は、縦横に4等分されており、10本の線分からなり、16の面を区画するものである。グリッド1の大きさは画像1の大きさと同じでもいいし、画像1より小さいものであってもいい。グリッド1を置く位置は画像1の中央であってもいいし、あるいは、追尾の対象となる被写体をカバーするように画像1の中の適当な位置に置いても良い。このグリッド1は、正方形のほか長方形の形状を有していても良い。
Then,
次に、画像2の同じ位置にグリッド1を置く。この画像2のグリッド1は破線で示す。画像2において重要なのは、グリッド1の中心点であって、グリッド1の全体像は、場合によっては有用であるが、必ずも必須ではない。
Next,
さらに、グリッド1の高さと幅を1/4にした矩形のグリッド2を作成する。このグリッド2は、グリッド1と同様に縦と横を4分割する格子になっている。つまり、このグリッド2は、グリッド1の16分の1の面積を有する相似形になっている。このグリッド2を画像1のグリッド1の中心において、実細線で示す。
Further, a rectangular grid 2 in which the height and width of the
このグリッド2には、グリッド1と同様、25個の交点がある。そして、この25個の交点の一つに画像2のグリッド1の中心が来るように、画像2を画像1に画像全体を回転させることなく重ね合わせる。この状態で、画像1と画像2の間での明度の差を計算する。この差の計算は、各画像を構成し、画像1と画像2の間で重なり合っている全てのピクセルについて行うことも可能であるし、ある規則に基づいて間引いた残りのピクセルについて行うことも可能である。また、画像1と画像2のグリッド1の間で重なるピクセルについてこの差を計算することもできる。つまり、差の計算は、画像1と画像2の全体の重なりにわたって行うこともできるし、画像1と画像2の一部の重なりについて行うこともできる。そして、この差の分散を全部の差について計算する。この計算を画像2のグリッド1の中心を前記の25の交点のそれぞれに順次移していって繰り返す。
This grid 2 has 25 intersections, like the
このとき、明度の代わりに、その他の色特性を用いることができる。色は、色相、明度、彩度から構成される。色相は、色み(赤み、黄み、緑み、青み、紫みなど)を表し、無彩色としてみたときの明暗を表すのが明度、色みの強弱や鮮やかさを示すのが彩度である。これらの色特性のいずれをも本発明の実施に用いることができる。また、色を赤(R)・緑(G)・青(B)の3つの色の組み合わせとして表現するRGB表記法や、その他の色表記法を利用することもできる。追尾すべき被写体に特有の色特性、すなわち、周りにあるものの色特性と異なる色特性(例えば、特に明るいとか、周りが青みがかかっているのに被写体は赤みを有しているなど)が有れば、その色特性を用いることにより、より確実に被写体の追尾を行うことができる。 At this time, other color characteristics can be used instead of brightness. A color is composed of hue, brightness, and saturation. Hue represents color (redness, yellowness, greenness, blueness, purpleness, etc.). Brightness represents lightness and darkness when viewed as an achromatic color, and saturation represents color intensity. is there. Any of these color characteristics can be used in the practice of the present invention. Also, RGB notation for expressing a color as a combination of three colors of red (R), green (G), and blue (B), and other color notation methods can be used. There are color characteristics that are unique to the subject to be tracked, that is, color characteristics that are different from the color characteristics of surrounding objects (for example, the subject is particularly bright or the surroundings are bluish but the subject has redness). If so, the subject can be tracked more reliably by using the color characteristics.
このようにして25個の交点のそれぞれについて計算された分散の値が最小となる交点の位置を決定する。図2においては、この分散の値が最小となる点は、グリッド1の原点を中心として、グリッド2中の(x,y)=(1,1)となっている。
In this way, the position of the intersection point at which the variance value calculated for each of the 25 intersection points is minimized is determined. In FIG. 2, the point where the value of the variance is minimum is (x, y) = (1, 1) in the grid 2 with the origin of the
次に、このグリッド2の(x,y)=(1,1)を原点として、幅と高さがグリッド2に対して4分の1で、グリッド2と同様に16の面に区画されたグリッド3を作成する。そして、グリッド2について行ったのと同様にして、画像2のグリッド1の中心点をグリッド3の25個の交点のそれぞれに置いて、分散を順次計算していく。計算の結果、分散が最小となる画像2のグリッド1の中心の位置が、画像1のグリッド3における交点の位置として求まる。図2においては、グリッド3の(x,y)=(0,0)の位置に画像2のグリッド1の中心点がある。
Next, with the origin of (x, y) = (1, 1) of the grid 2, the width and height are one-fourth of the grid 2, and the grid 2 is partitioned into 16 planes like the grid 2. Create a grid 3. Then, in the same manner as performed for the grid 2, the center point of the
そして、このような画像領域の16分割と比較を、例えば、グリッドの線分の間隔がデジタル画像の1ピクセルに対応するようになるまで繰り返す。 Then, the 16 divisions of the image area and the comparison are repeated, for example, until the grid line segment interval corresponds to one pixel of the digital image.
つまり、先のグリッドの16分の1の面積を有し、その面積を16の面に等分に分割する矩形の新たなグリッドを、先のグリッドの中心に置き、新たなグリッドの一つの交点に画像2のグリッド1の中心を置く。そして、画像1と画像2の間で、重なったあるいは対応するピクセルについての所定の色特性の差を求め、その差の分散を計算する。この計算を新たなグリッドの交点の全てについて行うことにより、分散が最小となる交点を決定する。そして、その交点を中心として、次の16分の1の面積を有する矩形のグリッドを置く。
In other words, a new rectangular grid that has an area that is 1/16 of the previous grid and is equally divided into 16 planes is placed at the center of the previous grid, and one intersection of the new grid. The center of the
最終的に、上記分散が最小となる画像2を置くべき位置が画像1を基準として決定される。これを3次元画像スタックにある残りの全ての画像について行っていくことになる。つまり、全画像数をNとすると、n+1=2からn+1=Nまでの画像nについて、上記の分散が最小になるずれを求めていく。
Finally, the position where the image 2 with the minimum variance is to be placed is determined based on the
図3を参照しつつ、本発明によるずれの計算方法をまとめてみる。すなわち、記憶装置に保存されているN個(Nは2以上の整数である)のデジタル画像からなる連続した動きを描写した画像スタックからn番目の画像とn+1番目の画像を取り出す(S200)。ここで、nは1以上でN−1以下の整数である、そして、n番目の画像とn+1番目の画像の対応する位置に縦横4個ずつ16個の面を区画する矩形の第1グリッドをそれぞれ置く(S202)。 With reference to FIG. 3, the deviation calculation method according to the present invention will be summarized. That is, the nth image and the (n + 1) th image are taken out from the image stack depicting the continuous movement composed of N digital images (N is an integer of 2 or more) stored in the storage device (S200). Here, n is an integer greater than or equal to 1 and less than or equal to N−1, and a rectangular first grid that divides 16 planes of 4 vertically and horizontally at corresponding positions of the nth image and the n + 1th image. Each is placed (S202).
n番目の画像の第1グリッドの交点の一つに、n+1番目の画像の第1グリッドの中心が来るようにn番目の画像とn+1番目の画像を重ね合わせる(S204)。n番目の画像とn+1番目の画像の間で、重なる画素あるいは対応する画素についての所定の色特性の差を求め、その差の分散を計算し(S206)、この計算をn番目の画像の第1グリッドの全ての交点について行うことにより、分散が最小となる第1グリッドの交点を決定する(S208). The nth image and the (n + 1) th image are superimposed so that the center of the first grid of the (n + 1) th image comes to one of the intersections of the first grid of the nth image (S204). A difference in predetermined color characteristics is obtained between the nth image and the n + 1th image for the overlapping pixel or the corresponding pixel, and a variance of the difference is calculated (S206), and this calculation is performed for the nth image. The intersection of the first grid that minimizes the variance is determined by performing the process for all the intersections of one grid (S208).
そして、決定された交点を中心として、第1グリッドの16分の1の面積を有し、第1グリッドと相似形の第2グリッドを置く(S210)。この第2グリッドを前記分散最小化ステップにおける第1グリッド(n番目の画像の)であると順次考えて、前記分散最小化ステップと第2グリッド設置ステップを所定回数繰り返す(S212)。この回帰ステップが終了したときに得られる分散が最小となる交点の、n番目の画像中のグリッド1の中心に対する位置を、n番目の画像とn+1番目の画像の間のずれの量とする(S214)。
Then, a second grid having an area which is 1/16 of the first grid and centering on the determined intersection is placed (S210). The second grid is sequentially considered as the first grid (of the nth image) in the variance minimization step, and the variance minimization step and the second grid installation step are repeated a predetermined number of times (S212). The position of the intersection at which the variance obtained when the regression step is completed with respect to the center of the
このように、次のグリッドの大きさが16分の1になる場合について説明してきたが、4分の1になるようにすることも可能であり、36分の1になるようにすることも可能である。 As described above, the case where the size of the next grid is 1/16 has been described. However, the size of the next grid can be set to 1/4, or can be set to 1/36. Is possible.
本発明のずれの計算方法をより詳しい数値を見ながら、図4を参照しつつ検討してみる。ここでは、各画像の大きさは、縦と横が共に512ピクセルである。最初のグリッド1は幅と高さが128ピクセルである。この画像1のグリッド1の25個ある交点のそれぞれに、画像2のグリッド1の中心を置いて計算を行ってゆく。図4に示した例では、グリッド1の(x,y)=(1,1)の点で、画像1と画像2の所定の色特性についての差の分散が最小になる。ピクセル単位で考えれば、(x,y)=(32,32)となる。そして、このグリッド1の(1,1)を中心として、縦横の大きさが4分の1(つまり、32ピクセル)で相似形のグリッド2を置く。すると、このグリッド2については、(x,y)=(1,−1)において、分散が最小になる。ピクセル単位では、(40,24)となる。
The deviation calculation method of the present invention will be examined with reference to FIG. Here, the size of each image is 512 pixels both vertically and horizontally. The
そして、同様に縦横の大きさが更に4分の1(つまり、8ピクセル)の相似形のグリッド3をグリッド2の(1,−1)の位置に置く。そして、更に分散が最小になるグリッド3の交点を求める。図4においては、グリッド3の(−1,−1)位置である。ピクセルで表すと、(38,22)となる。次には、グリッドの大きさは2ピクセル四方となり、格子の間隔が1ピクセル未満になってしまう。そこで、このグリッド4は、面を4分割する1ピクセル間隔の格子とする。このグリッド4は9の交点を有するので、その各交点について、色特性の差の分散を求めて、それが最小になる点を求める。結果として、(38,23)が求めるべきずれとなる。 Similarly, a grid 3 having a similar shape with a vertical and horizontal size of 1/4 (that is, 8 pixels) is placed at the position (1, −1) of the grid 2. Then, the intersection of the grids 3 where the variance is further minimized is obtained. In FIG. 4, it is the (−1, −1) position of the grid 3. When expressed in pixels, (38, 22) is obtained. Next, the size of the grid is 2 pixels square, and the grid interval is less than 1 pixel. Therefore, the grid 4 is a grid with a 1-pixel interval that divides the surface into four. Since this grid 4 has nine intersections, the variance of the color characteristic difference is obtained for each intersection, and the point at which it is minimized is obtained. As a result, (38, 23) is the deviation to be obtained.
このときの一連の操作における画像間の比較回数は、25+25+25+9=84回となる。もし、グリッド1の全ての画素について、総当たりでずれを求めようとすると、128×128=16384回の比較を行わなければならない。したがって、本発明の方法によれば、計算量を約1/195にすることができる。
The number of comparisons between images in this series of operations is 25 + 25 + 25 + 9 = 84. If an attempt is made to obtain a brute force shift for all the pixels of
図5を参照しつつ、本発明の第2の実施形態を説明する。xy電動ステージを有する顕微鏡や、上下、左右などの2方向に駆動回転台に搭載されたカメラといった、可動撮像装置を用いて、リアルタイムで画像処理を行う。可動撮像装置からは、画像が順次入力される。n番目とn+1番目の画像が入力すると、n番目の画像に対するn+1番目の画像における特定の被写体のずれを検出する。ずれの検出は第1の実施形態について説明したとおりである。そして、そのずれの検出量に応じて可動撮像装置を移動させて、n+2番目あるいはn+3番目の画像の撮影に備える。これを、撮影が終了するまで継続する。その結果、ある特定の被写体について追尾が行われた画像データを得ることができる。 A second embodiment of the present invention will be described with reference to FIG. Image processing is performed in real time using a movable imaging device such as a microscope having an xy motorized stage and a camera mounted on a drive turntable in two directions such as up and down and left and right. Images are sequentially input from the movable imaging device. When the nth and n + 1th images are input, a shift of a specific subject in the n + 1th image with respect to the nth image is detected. The detection of the deviation is as described in the first embodiment. Then, the movable imaging device is moved in accordance with the detected amount of the deviation to prepare for photographing the n + 2th or n + 3th image. This is continued until shooting is completed. As a result, it is possible to obtain image data obtained by tracking a specific subject.
なお、記録された画像データは、任意に読み出して、そのデータにて表わされる画像をCRT(Cathode Ray Tube)などの表示装置に表示し、または所定の印刷装置にて印刷することができ、あるいはパーソナルコンピュータなどに取り込んで所定の処理を施すことができる。 The recorded image data can be read arbitrarily, and the image represented by the data can be displayed on a display device such as a CRT (Cathode Ray Tube) or printed by a predetermined printing device, or It can be taken into a personal computer or the like and subjected to predetermined processing.
Claims (5)
n番目の画像とn+1番目の画像の対応する位置に縦横M個ずつMの自乗個の面を区画する矩形の第1グリッドをそれぞれ置く演算を行う第1グリッド設置ステップであって、Mは2を含む2の倍数であるステップと、
n番目の画像の第1グリッドの交点の一つに、n+1番目の画像の第1グリッドの中心が来るようにn番目の画像とn+1番目の画像を重ね合わせる重ね合わせステップと、
n番目の画像とn+1番目の画像の間で、重なる画素あるいは対応する画素についての所定の色特性の差を求め、その差の分散を計算し、この計算をn番目の画像の第1グリッドの全ての交点について行うことにより、分散が最小となる第1グリッドの交点を決定する演算を行う分散最小化ステップと、
そして、決定された交点を中心として、第1グリッドのMの自乗分の1の面積を有し、第1グリッドと相似形の第2グリッドを置く演算を行う第2グリッド設置ステップと、
この第2グリッドを前記分散最小化ステップにおけるn番目の画像の第1グリッドであると順次考えて、前記分散最小化ステップと第2グリッド設置ステップを前記第1グリッドの線分の間隔が前記デジタル画像の1ピクセルに対応するまで所定回数繰り返す回帰ステップと、
この回帰ステップが終了したときに得られる分散が最小となる交点の、n番目の画像中のグリッド1の中心に対する位置を、n番目の画像とn+1番目の画像の間のずれの量とする演算を行うずれ量決定ステップと、
前記ずれの量に対応して、n番目の画像とn+1番目の画像の相対位置を変更する演算を行う補正ステップと、
前記第1グリッド設置ステップから補正ステップまでをnの値を増分しながら繰り返すステップと
を含んでなる顕微鏡画像の画像処理方法。 Extracting an nth image and an (n + 1) th image from an image stack depicting successive movements of N digital images (N is an integer greater than or equal to 2) stored in a storage device, wherein n Is an integer greater than or equal to 1 and less than or equal to N−1;
a first grid setting step for performing an operation of placing a rectangular first grid that partitions M squares in vertical and horizontal positions at corresponding positions of an nth image and an (n + 1) th image, where M is 2 A step that is a multiple of 2 including
a superposition step of superimposing the n + 1 image and the n + 1 image so that the center of the first grid of the n + 1th image comes to one of the intersections of the first grid of the nth image;
A difference of a predetermined color characteristic between the nth image and the (n + 1) th image with respect to an overlapping pixel or a corresponding pixel is obtained, a variance of the difference is calculated, and this calculation is performed on the first grid of the nth image. A variance minimizing step for performing an operation to determine the intersection of the first grid that minimizes the variance by performing for all intersections;
And a second grid installation step for performing an operation of placing a second grid similar to the first grid, having an area of 1 square of M of the first grid with the determined intersection as the center,
The second grid is considered to be the first grid of the nth image in the variance minimizing step, and the variance minimizing step and the second grid setting step are set as the interval between the line segments of the first grid. A regression step that repeats a predetermined number of times until it corresponds to one pixel of the image ;
An operation in which the position of the intersection at which the variance obtained when this regression step is completed with respect to the center of the grid 1 in the nth image is the amount of deviation between the nth image and the (n + 1) th image A deviation amount determining step for performing
A correction step for performing an operation of changing a relative position between the nth image and the (n + 1) th image in accordance with the amount of deviation;
The image processing method of the microscope image until correction step from the first grid placed step comprising the steps of repeated while incrementing the value of n.
n番目の画像とn+1番目の画像の対応する位置に縦横M個ずつMの自乗個の面を区画する矩形の第1グリッドをそれぞれ置く演算を行う第1グリッド設置ステップであって、Mは2を含む2の倍数であるステップと、
n番目の画像の第1グリッドの交点の一つに、n+1番目の画像の第1グリッドの中心が来るようにn番目の画像とn+1番目の画像を重ね合わせる重ね合わせステップと、
n番目の画像とn+1番目の画像の間で、重なる画素あるいは対応する画素についての所定の色特性の差を求め、その差の分散を計算し、この計算をn番目の画像の第1グリッドの全ての交点について行うことにより、分散が最小となる第1グリッドの交点を決定する演算を行う分散最小化ステップと、
そして、決定された交点を中心として、第1グリッドのMの自乗分の1の面積を有し、第1グリッドと相似形の第2グリッドを置く演算を行う第2グリッド設置ステップと、
この第2グリッドを前記分散最小化ステップにおけるn番目の画像の第1グリッドであると順次考えて、前記分散最小化ステップと第2グリッド設置ステップを前記第1グリッドの線分の間隔が前記デジタル画像の1ピクセルに対応するまで所定回数繰り返す回帰ステップと、
この回帰ステップが終了したときに得られる分散が最小となる交点の、n番目の画像中のグリッド1の中心に対する位置を、n番目の画像とn+1番目の画像の間のずれの量とする演算を行うずれ量決定ステップと、
前記ずれの量に対応して、可動撮像装置を移動して、被写体の追尾を行う補正ステップと
を含んでなる顕微鏡画像の画像処理方法。 Obtaining a n-th image and an (n + 1) -th image in which a continuous motion is digitally depicted from a movable imaging device, wherein n is an integer greater than or equal to 1 and less than or equal to N−1;
a first grid setting step for performing an operation of placing a rectangular first grid that partitions M squares in vertical and horizontal positions at corresponding positions of an nth image and an (n + 1) th image, where M is 2 A step that is a multiple of 2 including
a superposition step of superimposing the n + 1 image and the n + 1 image so that the center of the first grid of the n + 1th image comes to one of the intersections of the first grid of the nth image;
A difference of a predetermined color characteristic between the nth image and the (n + 1) th image with respect to an overlapping pixel or a corresponding pixel is obtained, a variance of the difference is calculated, and this calculation is performed on the first grid of the nth image. A variance minimizing step for performing an operation to determine the intersection of the first grid that minimizes the variance by performing for all intersections;
And a second grid installation step for performing an operation of placing a second grid similar to the first grid, having an area of 1 square of M of the first grid with the determined intersection as the center,
The second grid is considered to be the first grid of the nth image in the variance minimizing step, and the variance minimizing step and the second grid setting step are set as the interval between the line segments of the first grid. A regression step that repeats a predetermined number of times until it corresponds to one pixel of the image ;
An operation in which the position of the intersection at which the variance obtained when this regression step is completed with respect to the center of the grid 1 in the nth image is the amount of deviation between the nth image and the (n + 1) th image A deviation amount determining step for performing
A microscopic image processing method comprising: a correction step of moving the movable imaging device in accordance with the amount of deviation and tracking the subject.
保存された画像スタックからn番目の画像とn+1番目の画像を取り出し、ここで、nは1以上でN−1以下の整数であって、n番目の画像とn+1番目の画像の対応する位置に縦横M個ずつMの自乗個の面を区画する矩形の第1グリッドをそれぞれ置く演算を行う第1グリッド設置手段であって、Mは2を含む2の倍数である手段と、
n番目の画像の第1グリッドの交点の一つに、n+1番目の画像の第1グリッドの中心が来るようにn番目の画像とn+1番目の画像を重ね合わせる重ね合わせ手段と、
n番目の画像とn+1番目の画像の間で、重なる画素あるいは対応する画素についての所定の色特性の差を求め、その差の分散を計算し、この計算をn番目の画像の第1グリッドの全ての交点について行うことにより、分散が最小となる第1グリッドの交点を決定する演算を行う分散最小化手段と、
そして、決定された交点を中心として、第1グリッドのMの自乗分の1の面積を有し、第1グリッドと相似形の第2グリッドを置く演算を行う第2グリッド設置ステップと、
この第2グリッドを前記分散最小化ステップにおけるn番目の画像の第1グリッドであると順次考えて、前記分散最小化ステップと第2グリッド設置ステップを前記第1グリッドの線分の間隔が前記デジタル画像の1ピクセルに対応するまで所定回数繰り返す回帰手段と、
この回帰ステップが終了したときに得られる分散が最小となる交点の、n番目の画像中のグリッド1の中心に対する位置を、n番目の画像とn+1番目の画像の間のずれの量とする演算を行うずれ量決定手段と、
前記ずれの量に対応して、n番目の画像とn+1番目の画像の相対位置を変更する演算を行う補正手段と、
前記第1グリッド設置ステップから補正ステップまでをnの値を増分しながら繰り返す手段と
を含んでなる顕微鏡画像の画像処理装置。 A storage device for storing an image stack depicting successive movements of N (N is an integer greater than or equal to 2) digital images;
The nth image and the (n + 1) th image are extracted from the stored image stack, where n is an integer greater than or equal to 1 and less than or equal to N−1, and the nth image and the (n + 1) th image are in corresponding positions. First grid installation means for performing an operation of placing rectangular first grids that define M squares each in length and breadth, wherein M is a multiple of 2 including 2;
superimposing means for superposing the nth image and the n + 1th image so that the center of the first grid of the n + 1th image comes to one of the intersections of the first grid of the nth image;
A difference of a predetermined color characteristic between the nth image and the (n + 1) th image with respect to an overlapping pixel or a corresponding pixel is obtained, a variance of the difference is calculated, and this calculation is performed on the first grid of the nth image. Dispersion minimizing means for performing an operation to determine the intersection of the first grid that minimizes the dispersion by performing all intersections;
And a second grid installation step for performing an operation of placing a second grid similar to the first grid, having an area of 1 square of M of the first grid with the determined intersection as the center,
The second grid is considered to be the first grid of the nth image in the variance minimizing step, and the variance minimizing step and the second grid setting step are set as the interval between the line segments of the first grid. A regression means that repeats a predetermined number of times until it corresponds to one pixel of the image ;
An operation in which the position of the intersection at which the variance obtained when this regression step is completed with respect to the center of the grid 1 in the nth image is the amount of deviation between the nth image and the (n + 1) th image Deviation amount determining means for performing
Correction means for performing an operation of changing the relative position of the nth image and the n + 1th image in accordance with the amount of deviation;
The image processing device of the microscopic images until correction step from the first grid placed steps comprising means for repeated while incrementing the value of n.
n番目の画像とn+1番目の画像の対応する位置に縦横M個ずつMの自乗個の面を区画する矩形の第1グリッドを置く演算を行う第1グリッド設置手段であって、Mは2を含む2の倍数である手段と、
n番目の画像の第1グリッドの交点の一つに、n+1番目の画像の第1グリッドの中心が来るようにn番目の画像とn+1番目の画像を重ね合わせる重ね合わせ手段と、
n番目の画像とn+1番目の画像の間で、重なる画素あるいは対応する画素についての所定の色特性の差を求め、その差の分散を計算し、この計算をn番目の画像の第1グリッドの全ての交点について行うことにより、分散が最小となる第1グリッドの交点を決定する演算を行う分散最小化手段と、
そして、決定された交点を中心として、第1グリッドのMの自乗分の1の面積を有し、第1グリッドと相似形の第2グリッドを置く演算を行う第2グリッド設置ステップと、
この第2グリッドを前記分散最小化ステップにおけるn番目の画像の第1グリッドであると順次考えて、前記分散最小化ステップと第2グリッド設置ステップを前記第1グリッドの線分の間隔が前記デジタル画像の1ピクセルに対応するまで所定回数繰り返す回帰手段と、
この回帰ステップが終了したときに得られる分散が最小となる交点の、n番目の画像中のグリッド1の中心に対する位置を、n番目の画像とn+1番目の画像の間のずれの量とする演算を行うずれ量決定手段と、
前記ずれの量に対応して、可動撮像装置を移動して、被写体の追尾を行う補正手段と
を含んでなる顕微鏡画像の画像処理装置。 A movable imaging device that obtains an n-th image and an (n + 1) -th image in which continuous motion is digitally depicted;
1st grid installation means for performing an operation of placing a rectangular first grid that divides M square planes at corresponding positions of the nth image and the (n + 1) th image, where M is 2. Means that are multiples of 2 including:
superimposing means for superposing the nth image and the n + 1th image so that the center of the first grid of the n + 1th image comes to one of the intersections of the first grid of the nth image;
A difference of a predetermined color characteristic between the nth image and the (n + 1) th image with respect to an overlapping pixel or a corresponding pixel is obtained, a variance of the difference is calculated, and this calculation is performed on the first grid of the nth image. Dispersion minimizing means for performing an operation to determine the intersection of the first grid that minimizes the dispersion by performing all intersections;
And a second grid installation step for performing an operation of placing a second grid similar to the first grid, having an area of 1 square of M of the first grid with the determined intersection as the center,
The second grid is considered to be the first grid of the nth image in the variance minimizing step, and the variance minimizing step and the second grid setting step are set as the interval between the line segments of the first grid. A regression means that repeats a predetermined number of times until it corresponds to one pixel of the image ;
An operation in which the position of the intersection at which the variance obtained when this regression step is completed with respect to the center of the grid 1 in the nth image is the amount of deviation between the nth image and the (n + 1) th image Deviation amount determining means for performing
A microscopic image processing apparatus, comprising: correction means for moving the movable imaging device in accordance with the amount of deviation and tracking the subject.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006100084A JP4444928B2 (en) | 2006-03-31 | 2006-03-31 | Image processing method, apparatus, and program for microscope image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006100084A JP4444928B2 (en) | 2006-03-31 | 2006-03-31 | Image processing method, apparatus, and program for microscope image |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007272758A JP2007272758A (en) | 2007-10-18 |
JP4444928B2 true JP4444928B2 (en) | 2010-03-31 |
Family
ID=38675477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006100084A Expired - Fee Related JP4444928B2 (en) | 2006-03-31 | 2006-03-31 | Image processing method, apparatus, and program for microscope image |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4444928B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102054278B (en) * | 2011-01-05 | 2012-06-13 | 西南交通大学 | Object tracking method based on grid contraction |
-
2006
- 2006-03-31 JP JP2006100084A patent/JP4444928B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007272758A (en) | 2007-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6141084B2 (en) | Imaging device | |
JP4345940B2 (en) | Camera shake image correction method, recording medium, and imaging apparatus | |
JP2007142929A (en) | Image processing apparatus and camera system | |
US20170269187A1 (en) | Image pickup apparatus having function of generating simulation image,control method therefor, and storage medium | |
JP2006020275A (en) | Image processing device for detecting magnification chromatic aberration from raw data, image processing program, and electronic camera | |
JP2007088828A (en) | Camera shake correction device | |
JP2006287589A (en) | Image processing method and image processing apparatus | |
JP5242248B2 (en) | Defect detection apparatus, defect detection method, defect detection program, and recording medium | |
US9219857B2 (en) | Image capture | |
US20070140529A1 (en) | Method and device for calculating motion vector between two images and program of calculating motion vector between two images | |
JP2007274504A (en) | Digital camera | |
JP4444928B2 (en) | Image processing method, apparatus, and program for microscope image | |
JP2009237650A (en) | Image processor and imaging device | |
JP5300413B2 (en) | Motion vector detection device, motion vector detection method, imaging device, and program | |
JPH05333271A (en) | Method and device for recognizing three-dimensional substance | |
JP4960442B2 (en) | UPSHOT DETECTING DEVICE AND METHOD, ELECTRONIC DEVICE, AND COMPUTER PROGRAM | |
JP5645704B2 (en) | Image processing apparatus and control method thereof | |
CN110692235B (en) | Image processing apparatus, image processing program, and image processing method | |
JP2016134631A (en) | Image processing device, imaging device, and image processing method | |
JP2005267005A (en) | Image data processing apparatus and program | |
JP2008278103A (en) | Video composition device and video composition program | |
JP4696059B2 (en) | Inter-screen movement vector calculation method and apparatus, inter-screen movement vector calculation program, electronic camera shake correction method and apparatus, electronic camera shake correction program, and imaging apparatus | |
JP6577272B2 (en) | Calibration apparatus, program, recording medium, calibration method | |
JPH05302831A (en) | Distance measuring apparatus | |
JP2008035370A (en) | False color evaluating method of digital camera, false color evaluating device of digital camera and false color evaluation program of digital camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090811 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091218 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4444928 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140122 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |