WO2019135268A1 - Cell image processing device, cell image processing method, and cell image processing program - Google Patents

Cell image processing device, cell image processing method, and cell image processing program Download PDF

Info

Publication number
WO2019135268A1
WO2019135268A1 PCT/JP2018/000024 JP2018000024W WO2019135268A1 WO 2019135268 A1 WO2019135268 A1 WO 2019135268A1 JP 2018000024 W JP2018000024 W JP 2018000024W WO 2019135268 A1 WO2019135268 A1 WO 2019135268A1
Authority
WO
WIPO (PCT)
Prior art keywords
stable
unit
counting
cells
units
Prior art date
Application number
PCT/JP2018/000024
Other languages
French (fr)
Japanese (ja)
Inventor
朗 松下
良介 村田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2018/000024 priority Critical patent/WO2019135268A1/en
Priority to JP2019563719A priority patent/JP6891299B2/en
Publication of WO2019135268A1 publication Critical patent/WO2019135268A1/en

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Definitions

  • step S12 when it is determined in step S12 that the magnitude of the movement vector or the magnitude of any orthogonal component is equal to or greater than a predetermined threshold value, the observation-required unit is not It is determined that the unit is a stable unit (step S6), and if both the movement vector and the two orthogonal components are smaller than a predetermined threshold, it is determined that the unit is a stable unit (step S5).
  • step S6 when it is determined in step S6 that the unit is an unstable unit, units adjacent to both sides in the direction of the movement vector or orthogonal component determined to be equal to or greater than the threshold value It is newly established as an observation required unit (step S13). If it is determined in step S13 that a unit requiring observation is newly formed and if it is determined that the unit is a stable unit in step S5, it is determined whether there is another unit requiring observation (step S14). As shown in FIGS. 6 (d) and 6 (e), the process from step S11 is repeated, and if not present, the number of cells in the counting area is counted (cell number counting step S9), Finish.

Abstract

A cell image processing device (1) that comprises: a vector calculation part (4) that receives as input a plurality of images that have been acquired by photographing cells at time intervals, divides each of any two of the inputted images into a plurality of units, and calculates a movement vector for the cells within each unit; a stable region finding part (5) that finds a stable region in which at least a peripheral edge is constituted by stable units that have movement vectors, as calculated by the vector calculation part (4), that have magnitudes that are smaller than a prescribed threshold value; and a cell counting part (6) that sets the stable region found by the stable region finding part (5) as a counting region and counts the cells in the counting region.

Description

細胞画像処理装置、細胞画像処理方法および細胞画像処理プログラムCell image processing apparatus, cell image processing method and cell image processing program
 本発明は、培養画像処理装置、細胞画像処理方法および細胞画像処理プログラムに関するものである。 The present invention relates to a culture image processing apparatus, a cell image processing method, and a cell image processing program.
 細胞の増殖の経時変化を定量的に観察するために、細胞の画像を解析して細胞の状況変化を表すパラメータを取得する技術が知られている(例えば、特許文献1参照。)。具体的には、画像内の細胞の占める面積の割合であるコンフルエント率に基づいて継代のタイミングを判定している。 There is known a technique of analyzing an image of a cell and acquiring a parameter representing a change in the state of the cell in order to quantitatively observe a time-dependent change of cell proliferation (see, for example, Patent Document 1). Specifically, the timing of passage is determined based on the confluence ratio, which is the ratio of the area occupied by cells in the image.
 また、コロニーの形成など細胞の凝集と細胞分裂との関係を観察するために、細胞の凝集を表すパラメータとして注目画素と周辺画素の位置関係の統計量を取得する技術が知られている(例えば、特許文献2参照。)。 In addition, in order to observe the relationship between cell aggregation and cell division, such as the formation of colonies, there is known a technique for acquiring statistical quantities of the positional relationship between a pixel of interest and peripheral pixels as a parameter representing cell aggregation (for example, , Patent Document 2).
WO2016/098271号公報WO 2016/098271 特開2009-229274号公報JP, 2009-229274, A
 細胞の培養を精度よく管理するには、細胞が増殖しているか否かを精度よく検出する必要がある。しかしながら、特許文献1のようなコンフルエント率や特許文献2のような注目細胞周辺での細胞の凝集などのパラメータを取得しただけでは細胞の増殖を精度よく検出することはできないという不都合がある。 In order to manage the culture of cells precisely, it is necessary to accurately detect whether the cells are proliferating or not. However, there is a disadvantage that the proliferation of cells can not be detected with high accuracy only by acquiring parameters such as the confluence rate as in Patent Document 1 and the aggregation of cells around a target cell as in Patent Document 2.
 本発明は、上述した事情に鑑みてなされたものであって、細胞の増殖を精度よく検出して、細胞の培養を精度よく管理することができる細胞画像処理装置、細胞画像処理方法および細胞画像処理プログラムを提供することを目的としている。 The present invention has been made in view of the above-described circumstances, and a cell image processing device, a cell image processing method, and a cell image capable of accurately detecting cell proliferation and accurately managing cell culture. The purpose is to provide a processing program.
 本発明の一態様は、時間間隔をあけて細胞を撮影することにより取得された複数枚の画像が入力され、入力された前記画像の内のいずれか2枚の前記画像のそれぞれを複数のユニットに分割して、各前記ユニット内における前記細胞の移動ベクトルを算出するベクトル算出部と、該ベクトル算出部において算出された前記移動ベクトルの大きさが所定の閾値より小さい安定ユニットにより、少なくとも周縁が構成された安定領域を探索する安定領域探索部と、該安定領域探索部により探索された前記安定領域を計数領域として設定し、該計数領域内の細胞数を計数する細胞数計数部とを備える細胞画像処理装置である。 According to an aspect of the present invention, a plurality of images acquired by capturing cells at time intervals are input, and any two of the images among the input images are input into a plurality of units. Divided by the vector calculation unit for calculating the movement vector of the cells in each unit, and at least the periphery by the stable unit in which the magnitude of the movement vector calculated in the vector calculation unit is smaller than a predetermined threshold value. A stable region searching unit configured to search for a stable region, and a cell number counting unit configured to set the stable region searched by the stable region searching unit as a counting region and count the number of cells in the counting region. It is a cell image processing device.
 本態様によれば、時間間隔をあけて撮影することにより取得された複数枚の画像が入力されると、入力された画像の内のいずれか2枚の画像がそれぞれベクトル算出部において複数のユニットに分割され、各ユニット内における細胞の移動ベクトルが算出される。算出された移動ベクトルは、安定領域探索部に入力され、移動ベクトルの大きさが所定の閾値より小さい安定ユニットによって周縁が構成された安定領域が探索される。そして、探索された安定領域が細胞数計数部において計数領域として設定されて、計数領域内の細胞数が計数される。 According to this aspect, when a plurality of images acquired by capturing at intervals of time are input, any two images of the input images are respectively processed by the plurality of units in the vector calculation unit. The cell movement vector in each unit is calculated. The calculated movement vector is input to the stable area search unit, and a stable area whose periphery is constituted by a stable unit whose magnitude of the movement vector is smaller than a predetermined threshold value is searched. Then, the searched stable area is set as a counting area in the cell counting section, and the number of cells in the counting area is counted.
 すなわち、探索された安定領域は、安定ユニットによって少なくとも周縁が構成されているので、当該安定領域への細胞の流入および安定領域からの細胞の流出は一定以下に限定されている。したがって、探索された安定領域を、細胞数を計数するための計数領域として設定することにより、細胞の遊走性の影響を最小限に抑えて精度よく細胞数を計数することができる。 That is, since the stable region searched is constituted at least by the stable unit, the inflow of cells to the stable region and the outflow of cells from the stable region are limited to a certain level or less. Therefore, by setting the searched stable area as a counting area for counting the number of cells, it is possible to accurately count the number of cells while minimizing the influence of cell migration.
 上記態様においては、前記安定領域探索部が、予め複数の前記ユニットについて前記安定ユニットであるか否かを分類し、前記安定領域を探索してもよい。
 このようにすることで、周縁が安定ユニットにより構成された安定領域を簡易に探索することができる。
In the above aspect, the stable area search unit may classify in advance whether or not the plurality of units are the stable unit, and search for the stable area.
By doing this, it is possible to easily search for a stable area whose peripheral edge is constituted by the stable unit.
 また、上記態様においては、前記安定領域探索部が、前記ベクトル算出部により算出されたいずれかの前記ユニットにおける前記移動ベクトルのいずれかの直交成分の大きさが所定の閾値以上である非安定ユニットを探索し、該非安定ユニットの該閾値よりも大きい直交成分の方向に隣接する他の前記ユニットにおける前記移動ベクトルを前記ベクトル算出部により算出させ、両方の前記直交成分の大きさがいずれも所定の閾値より小さい前記ユニットを前記安定ユニットとして設定してもよい。
 このようにすることで、探索された非安定ユニットの周囲に配置されている安定ユニットが探索されるまで安定領域の探索を行うことができ、計数領域を設定するために移動ベクトルを算出するユニットの数がより少なくて済む。
Further, in the above aspect, the non-stable unit, wherein the stable region search unit has a magnitude of the orthogonal component of any one of the movement vectors in any of the units calculated by the vector calculation unit equal to or larger than a predetermined threshold. And the motion vector in the other unit adjacent to the direction of the orthogonal component larger than the threshold value of the non-stable unit is calculated by the vector calculation unit, and the magnitudes of both of the orthogonal components are predetermined. The unit smaller than the threshold may be set as the stable unit.
By doing this, the stable region can be searched until the stable unit arranged around the searched astable unit is searched, and the unit which calculates the movement vector to set the counting region You need less.
 また、上記態様においては、前記ベクトル算出部は、2枚の前記画像における同一ユニット内の画像間の相関値に基づいて前記移動ベクトルを算出してもよい。
 このようにすることで、簡易に移動ベクトルを算出することができる。
Further, in the above aspect, the vector calculation unit may calculate the movement vector based on a correlation value between images in the same unit in two images.
By doing this, the movement vector can be easily calculated.
 また、上記態様においては、前記ユニットが同一形状であってもよい。
 このようにすることで、ベクトル算出部における複数のユニットへの分割を容易に行うことができる。
Furthermore, in the above aspect, the units may have the same shape.
By doing this, it is possible to easily divide the vector calculation unit into a plurality of units.
 また、上記態様においては、前記安定領域が前記安定ユニットのみにより構成されていてもよい。
 このようにすることで、細胞の移動が少ない安定領域を用いて精度よく細胞数を計数することができる。
Moreover, in the above aspect, the stable region may be configured only by the stable unit.
By doing this, it is possible to count the number of cells with high accuracy using a stable area with less cell migration.
 また、上記態様においては、前記安定領域は、前記移動ベクトルのいずれかの直交成分の大きさが所定の閾値以上である1以上の前記非安定ユニットの周縁を前記安定ユニットによって取り囲んで構成されていてもよい。
 このようにすることで、安定領域内に非安定ユニットが含まれていても、全体として細胞の流入や流出の少ない安定領域を用いて精度よく細胞数を計数することができる。
Further, in the above aspect, the stable area is configured by surrounding the periphery of one or more of the non-stable units whose magnitude of the orthogonal component of any of the movement vectors is equal to or larger than a predetermined threshold by the stable unit. May be
In this way, even if the stable region contains an unstable unit, the number of cells can be accurately counted using the stable region with less inflow and outflow of cells as a whole.
 また、上記態様においては、前記安定領域探索部が、前記安定領域に含まれる前記ユニットの前記移動ベクトルを表示する表示装置に、前記安定領域および前記移動ベクトルのデータを出力する機能を備えていてもよい。 Further, in the above aspect, the stable area search unit has a function of outputting data of the stable area and the movement vector in a display device that displays the movement vector of the unit included in the stable area. It is also good.
 また、本発明の他の態様は、時間間隔をあけて細胞を撮影することにより取得された複数枚の画像が入力されるプロセッサを備え、該プロセッサが、入力された前記画像の内のいずれか2枚の前記画像のそれぞれを複数のユニットに分割して、各前記ユニット内における前記細胞の移動ベクトルを算出し、算出された前記移動ベクトルの大きさが所定の閾値より小さい安定ユニットにより、少なくとも周縁が構成された安定領域を探索し、探索された前記安定領域を計数領域として設定し、該計数領域内の細胞数を計数する細胞画像処理装置である。 In addition, another aspect of the present invention includes a processor into which a plurality of images acquired by capturing a cell at intervals of time are input, and the processor is any of the input images Each of the two images is divided into a plurality of units, the movement vector of the cells in each unit is calculated, and at least a stable unit in which the calculated magnitude of the movement vector is smaller than a predetermined threshold value. It is a cell image processing apparatus which searches for a stable area having a peripheral edge, sets the searched stable area as a counting area, and counts the number of cells in the counting area.
 また、本発明の他の態様は、時間間隔をあけて細胞を撮影することにより取得された複数枚の画像が入力され、入力された前記画像の内のいずれか2枚の前記画像のそれぞれを複数のユニットに分割して、各前記ユニット内における前記細胞の移動ベクトルを算出するベクトル算出ステップと、該ベクトル算出ステップにおいて算出された前記移動ベクトルの大きさが所定の閾値より小さい安定ユニットにより、少なくとも周縁が構成された安定領域を探索する安定領域探索ステップと、該安定領域探索ステップにより探索された前記安定領域を計数領域として設定し、該計数領域内の細胞数を計数する細胞数計数ステップとを含む細胞画像処理方法である。 Further, according to another aspect of the present invention, a plurality of images acquired by capturing a cell at intervals of time are input, and any one of the two images among the input images is input. A vector calculation step of dividing into a plurality of units and calculating movement vectors of the cells in each of the units, and a stable unit in which the size of the movement vector calculated in the vector calculation step is smaller than a predetermined threshold value A stable area searching step of searching for a stable area having at least a peripheral edge, and a cell counting step of setting the stable area searched by the stable area searching step as a counting area and counting the number of cells in the counting area And a cell image processing method.
 また、本発明の他の態様は、時間間隔をあけて細胞を撮影することにより取得された複数枚の画像が入力され、入力された前記画像の内のいずれか2枚の前記画像のそれぞれを複数のユニットに分割して、各前記ユニット内における前記細胞の移動ベクトルを算出するベクトル算出ステップと、該ベクトル算出ステップにおいて算出された前記移動ベクトルの大きさが所定の閾値より小さい安定ユニットにより、少なくとも周縁が構成された安定領域を探索する安定領域探索ステップと、該安定領域探索ステップにより探索された前記安定領域を計数領域として設定し、該計数領域内の細胞数を計数する細胞数計数ステップとをコンピュータに実行させる細胞画像処理プログラムである。 Further, according to another aspect of the present invention, a plurality of images acquired by capturing a cell at intervals of time are input, and any one of the two images among the input images is input. A vector calculation step of dividing into a plurality of units and calculating movement vectors of the cells in each of the units, and a stable unit in which the size of the movement vector calculated in the vector calculation step is smaller than a predetermined threshold value A stable area searching step of searching for a stable area having at least a peripheral edge, and a cell counting step of setting the stable area searched by the stable area searching step as a counting area and counting the number of cells in the counting area And a cell imaging program that causes a computer to execute the program.
 本発明によれば、細胞の増殖を精度よく検出して、細胞の培養を精度よく管理することができるという効果を奏する。 According to the present invention, it is possible to accurately detect cell proliferation and to manage cell culture with high accuracy.
本発明の一実施形態に係る細胞画像処理装置を示す全体構成図である。FIG. 1 is an overall configuration diagram showing a cell image processing apparatus according to an embodiment of the present invention. 図1の細胞画像処理装置に入力された画像と画像内に分割形成されたユニットとを示す図である。It is a figure which shows the image input into the cell image processing apparatus of FIG. 1, and the unit dividedly formed in the image. 図1の細胞画像処理装置により設定された安定領域の例を示す図である。It is a figure which shows the example of the stable area | region set by the cell image processing apparatus of FIG. 図1の細胞画像処理装置による細胞画像処理方法を説明するフローチャートである。It is a flowchart explaining the cell image processing method by the cell image processing apparatus of FIG. 図1の変形例に係る細胞画像処理装置による細胞画像処理方法を説明するフローチャートである。It is a flowchart explaining the cell image processing method by the cell image processing apparatus concerning the modification of FIG. 図5の細胞画像処理方法により、1次元方向に安定領域が探索されていく過程を説明する図である。It is a figure explaining the process in which a stable area | region is searched in a one-dimensional direction by the cell image processing method of FIG. 図5の細胞画像処理方法により、2次元方向に安定領域が探索されていく過程を説明する図である。It is a figure explaining the process in which a stable area | region is searched in a two-dimensional direction by the cell image processing method of FIG. 図5の細胞画像処理方法により、2次元方向に安定領域が探索されていく過程を説明する図である。It is a figure explaining the process in which a stable area | region is searched in a two-dimensional direction by the cell image processing method of FIG. 図5の細胞画像処理方法により、2次元方向に安定領域が探索されていく過程を説明する図である。It is a figure explaining the process in which a stable area | region is searched in a two-dimensional direction by the cell image processing method of FIG. 図5の細胞画像処理方法により、2次元方向に安定領域が探索されていく過程を説明する図である。It is a figure explaining the process in which a stable area | region is searched in a two-dimensional direction by the cell image processing method of FIG. 図5の細胞が像処理方法により探索された安定領域の一例を示す図である。It is a figure which shows an example of the stable area | region where the cell of FIG. 5 was searched by the image processing method.
 本発明の一実施形態に係る細胞画像処理装置1、細胞画像処理方法および細胞画像処理プログラムについて、図面を参照して以下に説明する。
 本実施形態に係る細胞画像処理装置1は、図1に示されるように、顕微鏡等の撮像部50により時間間隔をあけた撮影により取得された複数枚の画像(図2参照)Gが入力され、計数領域内の細胞数をモニタ等の表示部60に向けて出力する装置である。
A cell image processing apparatus 1, a cell image processing method, and a cell image processing program according to an embodiment of the present invention will be described below with reference to the drawings.
In the cell image processing apparatus 1 according to the present embodiment, as shown in FIG. 1, a plurality of images (see FIG. 2) G obtained by imaging with a time interval opened by an imaging unit 50 such as a microscope are input. An apparatus for outputting the number of cells in the counting area to a display unit 60 such as a monitor.
 細胞画像処理装置1は、撮像部50から入力されてきた画像Gをその画像Gを撮影した時刻情報と対応づけて逐次記憶するメモリ2と、メモリ2に記憶された画像Gを処理する処理部3とを備えている。
 処理部3は、メモリ2に記憶されている画像Gを複数のユニットPに分割して、各ユニットP内における細胞の移動ベクトルを算出するベクトル算出部4と、算出された移動ベクトルに基づいて安定領域を探索する安定領域探索部5と、探索された安定領域を計数領域として設定して計数領域内の細胞数を計数する細胞数計数部6とを備えている。
The cell image processing apparatus 1 includes a memory 2 that sequentially stores the image G input from the imaging unit 50 in association with time information when the image G was captured, and a processing unit that processes the image G stored in the memory 2 It has 3 and.
The processing unit 3 divides the image G stored in the memory 2 into a plurality of units P, and calculates a movement vector of cells in each unit P, based on the calculated movement vector and the vector calculation unit 4 A stable area search unit 5 for searching for a stable area, and a cell number counting section 6 for setting the searched stable area as a counting area and counting the number of cells in the counting area are provided.
 ベクトル算出部4は、例えば、メモリ2内から取り出した2枚の画像Gを複数のユニットP、例えば、図2に示されるように、正方配列された複数の正方形のユニットに分割し、同一ユニット内の2つの画像Gの相関値を公知の方法で算出することにより、相関値が高い部分を同一の被写体が撮影されている領域であると評価する方法で、被写体の移動ベクトルを算出するようになっている。 For example, the vector calculation unit 4 divides two images G taken out of the memory 2 into a plurality of units P, for example, a plurality of square units arranged in a square as shown in FIG. By calculating the correlation value of the two images G in the image by a known method, it is possible to calculate the movement vector of the subject by a method of evaluating the portion where the correlation value is high as an area where the same subject is photographed. It has become.
 本実施形態においては、各画像G内に形成された全てのユニットPあるいは、指定された所定範囲内のユニットPについてそれぞれ移動ベクトルを算出するようになっている。
 安定領域探索部5は、各ユニットPについて算出された移動ベクトルを所定の閾値と比較することにより、移動ベクトルが閾値以上の非安定ユニットと、移動ベクトルが閾値より小さい安定ユニットに分類するようになっている。
In this embodiment, movement vectors are calculated for all units P formed in each image G or units P within a designated predetermined range.
The stable area search unit 5 compares the movement vector calculated for each unit P with a predetermined threshold to classify the movement vector as a stable unit equal to or larger than the threshold and the stable unit where the movement vector is smaller than the threshold. It has become.
 そして、安定領域探索部5は、全周にわたって安定ユニットによって縁部が構成されている安定領域を探索するようになっている。安定領域は画像G内に1つまたは複数探索されてもよい。
 また、安定領域としては、図3に示されるように、安定ユニットのみからなる領域である場合と、非安定ユニットの周囲が全周にわたって安定ユニットで囲まれた領域である場合の2通りが考えられる。いずれの場合にも、当該安定領域は細胞の流入および流出数が少ない領域となっている。
Then, the stable area search unit 5 searches for a stable area in which an edge is formed by the stable unit over the entire circumference. One or more stable regions may be searched in the image G.
Also, as the stable region, as shown in FIG. 3, two cases are considered: in the case of the region consisting only of the stable unit and in the case of the region surrounded by the stable unit all around the non-stable unit. Be In any case, the stable region is a region in which the number of inflow and outflow of cells is small.
 細胞数計数部6は、探索された安定領域を計数領域として設定し、計数領域内の細胞数を画像処理により計数するようになっている。
 安定領域探索部5により複数の探索領域が探索された場合には、同一画像G内に複数の計数領域が設定されるようになっている。これにより、複数箇所において細胞の増殖特性を監視することができる。
The cell number counting unit 6 sets the searched stable area as a counting area, and counts the number of cells in the counting area by image processing.
When a plurality of search areas are searched by the stable area search unit 5, a plurality of counting areas are set in the same image G. This allows the growth characteristics of cells to be monitored at multiple locations.
 時間間隔を空けた2枚の画像Gにおいて、設定された計数領域における細胞数が計数されることにより、各画像Gの計数領域における細胞数の差分を2枚の画像G間の時間間隔で除算するだけで、単位時間当たりの細胞数の変化である細胞増殖率を簡易に求めることができる。 By counting the number of cells in the set counting area in two images G separated by a time interval, the difference in the number of cells in the counting area of each image G is divided by the time interval between the two images G By simply doing this, it is possible to easily determine the cell proliferation rate, which is the change in the number of cells per unit time.
 このように構成された本実施形態に係る細胞画像処理装置1を用いた細胞画像処理方法について以下に説明する。
 本実施形態に係る細胞画像処理方法は、図4に示されるように、まず、入力された画像の内のいずれか2枚の画像Gのそれぞれを複数のユニットPに分割する(ステップS1)。
A cell image processing method using the cell image processing apparatus 1 according to the present embodiment configured as described above will be described below.
In the cell image processing method according to the present embodiment, as shown in FIG. 4, first, any two images G of the input images are divided into a plurality of units P (step S1).
 次いで、ステップS1において分割されたいずれかのユニットPを選択する(ステップS2)。そして、ステップS2において選択されたユニットP内における細胞の移動ベクトルを算出する(ベクトル算出ステップS3)。 Next, one of the units P divided in step S1 is selected (step S2). Then, the movement vector of the cells in the unit P selected in step S2 is calculated (vector calculation step S3).
 この後に、ベクトル算出ステップS3において算出された移動ベクトルの大きさと所定の閾値とが比較され(ステップS4)、ステップS4において比較された結果、移動ベクトルが所定の閾値より小さい場合には安定ユニットとして設定し(ステップS5)、移動ベクトルが所定の閾値以上の場合には非安定ステップとして設定する(ステップS6)。そして、全てのユニットPについて分類が終了したか否かが判定され(ステップS7)、終了していない場合にはステップS2からの工程が繰り返さる。 After this, the magnitude of the movement vector calculated in the vector calculation step S3 is compared with a predetermined threshold (step S4), and as a result of comparison in step S4, if the movement vector is smaller than the predetermined threshold, It sets (step S5), and when a movement vector is more than a predetermined | prescribed threshold value, it sets as a non-stable step (step S6). Then, it is determined whether or not the classification is completed for all units P (step S7), and if not completed, the process from step S2 is repeated.
 全てのユニットPについて分類が終了した場合は、少なくとも周縁が安定ユニットにより構成された安定領域が探索され(安定領域探索ステップS8)と、安定領域探索ステップS8により探索された安定領域を計数領域として、計数領域内の細胞数が計数される(細胞数計数ステップS9)。 When classification is completed for all units P, a stable area at least the periphery of which is constituted by a stable unit is searched (stable area search step S8), and the stable area searched in stable area search step S8 is used as a counting area. The number of cells in the counting area is counted (cell counting step S9).
 ステップS1により分割された複数のユニットPをステップS4からステップS6において安定ユニットと非安定ユニットとに分類するので、安定領域探索ステップS8において、安定ユニットによって囲まれた安定領域を簡易に探索することができる。そして、探索された安定領域に対してのみ細胞数の計数を行うので、非安定ユニットが縁部に配置されている領域の細胞数を計数する場合と比較して、細胞の流入および流出が少ない領域について細胞数を計数できる。
 すなわち、本実施形態に係る細胞画像処理装置1および細胞が像処理方法によれば、細胞の流入や流出が少ない安定領域内の細胞数を計数することで、細胞の増殖を算出するための細胞数を少ないノイズで精度よく求めることができるという利点がある。
Since a plurality of units P divided in step S1 are classified into stable units and non-stable units in steps S4 to S6, a stable region search step S8 is to easily search for a stable region surrounded by the stable units. Can. Then, since the cell number is counted only for the stable region searched, the inflow and outflow of cells are small compared to the case where the cell number in the region where the unstable unit is arranged at the edge is counted. The number of cells can be counted for the area.
That is, according to the image processing method of the cell image processing apparatus 1 and cells relating to the present embodiment, cells for calculating the proliferation of cells by counting the number of cells in the stable region where the inflow and outflow of cells are small. There is an advantage that the number can be accurately determined with a small amount of noise.
 なお、本実施形態においては、ユニットP毎に2つの画像G間の相関値を求めて移動ベクトルを算出することとしたが、これに代えて、2つの画像G全体あるいは複数ユニットPの集合からなるユニット群間で相関値を求めて画像全体で移動ベクトルを算出することにしてもよい。 In the present embodiment, the movement vector is calculated by obtaining the correlation value between the two images G for each unit P, but instead, the entire two images G or a set of a plurality of units P are calculated. A correlation value may be obtained between unit groups and the movement vector may be calculated for the entire image.
 また、本実施形態においては、各画像Gは、正方配列された複数の正方形のユニットPに分割したが、これに限定されるものではなく、他の形状のユニットに分割されてもよいし、異なる大きさのユニットに分割されてもよい。例えば、詳細に観察する画像Gの中央部分については小さいユニットとし、画像Gの周辺については大きなユニットに分割することにしてもよい。 Further, in the present embodiment, each image G is divided into a plurality of square units P arranged in a square, but the present invention is not limited to this, and may be divided into units of other shapes. It may be divided into units of different sizes. For example, the central portion of the image G to be observed in detail may be a small unit, and the periphery of the image G may be divided into large units.
 また、本実施形態においては、画像G内に生成された全てのユニットPについて、予め安定ユニットか非安定ユニットかの分類を行ってから、周縁が安定ユニットによって構成された安定領域を探索することとしたが、これに代えて、図5に示す手法により安定領域を探索することにしてもよい。 Further, in the present embodiment, for all units P generated in the image G, the stable unit or the non-stable unit is classified in advance, and then the stable region whose peripheral edge is constituted by the stable unit is searched. However, instead of this, the stable region may be searched by the method shown in FIG.
 すなわち、まず、図6(a)に示されるように、画像Gを複数のユニットPに分割し(ステップS1)、画像G内の観察すべき要観察ユニットを選択する(ステップS11)。次いで、選択された要観察ユニットについて取得された時間間隔をあけた2枚の画像Gに基づいて要観察ユニット内の細胞の移動ベクトルが算出される(ベクトル算出ステップS3)。そして、算出された移動ベクトルの大きさ、または、該移動ベクトルの2つの直交成分の大きさのいずれかが所定の閾値以上か否かが判定される(ステップS12)。図6に示す例においては、一方向に向かう移動ベクトル自体の大きさが閾値以上か否かを図示している。 That is, first, as shown in FIG. 6A, the image G is divided into a plurality of units P (step S1), and the observation-required observation unit in the image G is selected (step S11). Next, the movement vector of the cells in the observation required unit is calculated based on the two images G separated by the time interval acquired for the selected observation required unit (vector calculation step S3). Then, it is determined whether or not either the calculated magnitude of the movement vector or the magnitude of two orthogonal components of the movement vector is equal to or greater than a predetermined threshold (step S12). In the example shown in FIG. 6, it is illustrated whether or not the magnitude of the movement vector itself in one direction is greater than or equal to the threshold value.
 図6(b)に示されるように、ステップS12において、移動ベクトルの大きさまたはいずれかの直交成分の大きさが所定の閾値以上であると判定された場合には、当該要観察ユニットは非安定ユニットであると判定され(ステップS6)、移動ベクトルおよび2つの直交成分のいずれもが所定の閾値より小さい場合には安定ユニットであると判定される(ステップS5)。 As shown in FIG. 6B, when it is determined in step S12 that the magnitude of the movement vector or the magnitude of any orthogonal component is equal to or greater than a predetermined threshold value, the observation-required unit is not It is determined that the unit is a stable unit (step S6), and if both the movement vector and the two orthogonal components are smaller than a predetermined threshold, it is determined that the unit is a stable unit (step S5).
 図6(c)に示されるように、ステップS6において、非安定ユニットであると判定された場合には、閾値以上であると判定された移動ベクトルあるいは直交成分の方向の両側に隣接するユニットが要観察ユニットとして新設される(ステップS13)。
 ステップS13において要観察ユニットが新設された場合およびステップS5において安定ユニットであると判定された場合には、他の要観察ユニットが存在するか否かが判定され(ステップS14)、存在する場合には、図6(d)、(e)に示されるように、ステップS11からの工程が繰り返され、存在しない場合には計数領域内の細胞数を計数して(細胞数計数ステップS9)、処理を終了する。
As shown in FIG. 6C, when it is determined in step S6 that the unit is an unstable unit, units adjacent to both sides in the direction of the movement vector or orthogonal component determined to be equal to or greater than the threshold value It is newly established as an observation required unit (step S13).
If it is determined in step S13 that a unit requiring observation is newly formed and if it is determined that the unit is a stable unit in step S5, it is determined whether there is another unit requiring observation (step S14). As shown in FIGS. 6 (d) and 6 (e), the process from step S11 is repeated, and if not present, the number of cells in the counting area is counted (cell number counting step S9), Finish.
 図6(d)の上段は、図6(c)において新設された要観察ユニットがいずれも非安定ユニットである場合、中段は、新設された上側の要観察ユニットが安定ユニット、下側の要観察ユニットが非安定ユニットである場合、下段は、新設された要観察ユニットがいずれも安定ユニットとなって安定領域が設定された場合をそれぞれ示している。
 また、図6(e)は、図6(d)の上段および中段で非安定ユニットと判定された要観察ユニットの隣接位置に新たに要観察ユニットが新設された状態をそれぞれ示している。
In the upper part of FIG. 6 (d), when all the observation units required in FIG. 6 (c) are non-stable units, in the middle part, the upper observation units newly added are the stability unit, and in the lower part. When the observation unit is a non-stabilizing unit, the lower part shows the case where the newly established observation unit is a stable unit and the stable region is set.
Further, FIG. 6E shows a state in which a new observation unit is newly formed at the adjacent position of the observation unit determined to be the non-stable unit in the upper stage and middle stage of FIG. 6D.
 また、図7Aから図7Dに、移動ベクトルの大きさおよび移動ベクトルの2つの直交成分の大きさのいずれかが所定の閾値以上の大きさを有する場合の要観察ユニットの新設の一例を説明する。これによれば、単一の要観察ユニットの複数方向に隣接するユニットが新たな要観察ユニットとして新設されるので、安定領域が2次元的に広がるように探索されていくことになる。その結果、安定領域は、例えば、図8に示されるように探索される。図8中、矢印は、安定ユニットまたは非安定ユニットにおける移動ベクトルを示している。 Also, FIGS. 7A to 7D illustrate an example of new establishment of the observation unit when one of the magnitude of the motion vector and the magnitude of the two orthogonal components of the motion vector has a magnitude equal to or greater than a predetermined threshold. . According to this, since a unit adjacent to a plurality of directions of a single required observation unit is newly established as a new required observation unit, the stable region is searched so as to expand in a two-dimensional manner. As a result, the stable region is searched as shown in FIG. 8, for example. Arrows in FIG. 8 indicate movement vectors in the stable unit or the non-stable unit.
 このような手法によれば、予め全てのユニットPについて安定ユニットと非安定ユニットとの分類を行う必要がなく、選択された要観察ユニットを基準として、安定ユニットによって周縁が取り囲まれるまでの限定された数のユニットPについて分類を行えば足りる。その結果、演算量を減らして、より簡易に、要観察ユニットを含む計数領域を設定することができるという利点がある。 According to such a method, it is not necessary to classify stable units and non-stable units in advance for all units P, and it is limited until the peripheral units are surrounded by the stable units based on the selected observation unit. It is sufficient if classification is performed for a number of units P. As a result, there is an advantage that the calculation area can be reduced and the counting area including the observation required unit can be set more easily.
 また、本実施形態においては、時間間隔をあけた2枚の画像Gを用いて移動ベクトルを算出して安定領域を探索する場合について説明した。実際には、時々刻々と変化する画像Gが逐次入力されてメモリ2に記憶されるので、異なる2枚の画像Gを用いて逐次移動ベクトルが算出され、その都度、探索された安定領域が更新されていく。したがって、図3または図8に示されるように探索された安定領域が、時々刻々と変化するように表示部60に表示されることとしてもよい。 Further, in the present embodiment, the case where the movement vector is calculated using two images G separated by a time interval to search for a stable region has been described. Actually, since the image G which changes every moment is sequentially input and stored in the memory 2, the movement vector is calculated sequentially using two different images G, and the searched stable region is updated each time It will be done. Therefore, the stable area searched as shown in FIG. 3 or 8 may be displayed on the display unit 60 so as to change from moment to moment.
 また、本実施形態においては、処理部3がベクトル算出部4、安定領域探索部5、細胞数計数部6を備えることとした、処理部3は、電気回路によって構成してもよいし、1以上のプロセッサによって構成してもよい。
 プロセッサにより構成する場合、本発明は、ベクトル算出ステップS3、安定領域探索ステップS8および細胞数計数ステップS9をコンピュータにより実行可能な細胞画像処理プログラムにより構成してもよい。
Further, in the present embodiment, the processing unit 3 may include the vector calculating unit 4, the stable area searching unit 5, and the cell counting unit 6. The processing unit 3 may be configured by an electric circuit. You may comprise by the above processor.
When configured by a processor, the present invention may be configured by a cell image processing program that can be executed by a computer in vector calculation step S3, stable region search step S8 and cell count step S9.
 1 細胞画像処理装置
 4 ベクトル算出部
 5 安定領域探索部
 6 細胞数計数部
 G 画像
 P ユニット
 S3 ベクトル算出ステップ
 S8 安定領域探索ステップ
 S9 細胞数計数ステップ
DESCRIPTION OF SYMBOLS 1 cell image processing apparatus 4 vector calculation part 5 stable area | region search part 6 cell number counting part G image P unit S3 vector calculation step S8 stable area search step S9 cell number counting step

Claims (11)

  1.  時間間隔をあけて細胞を撮影することにより取得された複数枚の画像が入力され、
     入力された前記画像の内のいずれか2枚の前記画像のそれぞれを複数のユニットに分割して、各該ユニット内における前記細胞の移動ベクトルを算出するベクトル算出部と、
     該ベクトル算出部において算出された前記移動ベクトルの大きさが所定の閾値より小さい安定ユニットにより、少なくとも周縁が構成された安定領域を探索する安定領域探索部と、
     該安定領域探索部により探索された前記安定領域を計数領域として設定し、該計数領域内の細胞数を計数する細胞数計数部とを備える細胞画像処理装置。
    A plurality of images acquired by capturing cells at time intervals are input,
    A vector calculation unit that divides each of any two of the input images into a plurality of units and calculates movement vectors of the cells in each of the units;
    A stable area search section for searching for a stable area having at least a peripheral edge formed by a stable unit in which the magnitude of the movement vector calculated by the vector calculation section is smaller than a predetermined threshold value;
    A cell image processing apparatus comprising: a cell number counting unit that sets the stable region searched by the stable region searching unit as a counting region and counts the number of cells in the counting region.
  2.  前記安定領域探索部が、予め複数の前記ユニットについて前記安定ユニットであるか否かを分類し、前記安定領域を探索する請求項1に記載の細胞画像処理装置。 The cell image processing apparatus according to claim 1, wherein the stable area search unit classifies in advance whether or not the plurality of units are the stable unit, and searches for the stable area.
  3.  前記安定領域探索部が、前記ベクトル算出部により算出されたいずれかの前記ユニットにおける前記移動ベクトルのいずれかの直交成分の大きさが所定の閾値以上である非安定ユニットを探索し、該非安定ユニットの該閾値よりも大きい直交成分の方向に隣接する他の前記ユニットが前記安定ユニットとなるまで前記安定領域の探索を行う請求項1に記載の細胞画像処理装置。 The stable region search unit searches for a non-stable unit in which the magnitude of any orthogonal component of the movement vector in any of the units calculated by the vector calculation unit is equal to or greater than a predetermined threshold. The cell image processing apparatus according to claim 1, wherein the stable region is searched until another unit adjacent in the direction of an orthogonal component larger than the threshold value of is the stable unit.
  4.  前記ベクトル算出部は、2枚の前記画像における同一ユニット内の画像間の相関値に基づいて前記移動ベクトルを算出する請求項1から請求項3のいずれかに記載の細胞画像処理装置。 The cell image processing apparatus according to any one of claims 1 to 3, wherein the vector calculation unit calculates the movement vector based on a correlation value between images in the same unit in two images.
  5.  前記ユニットが同一形状である請求項1から請求項4のいずれかに記載の細胞画像処理装置。 The cell imaging device according to any one of claims 1 to 4, wherein the units have the same shape.
  6.  前記安定領域が前記安定ユニットのみにより構成されている請求項1から請求項5のいずれかに記載の細胞画像処理装置。 The cell image processing apparatus according to any one of claims 1 to 5, wherein the stable area is constituted only by the stable unit.
  7.  前記安定領域は、前記移動ベクトルのいずれかの直交成分の大きさが所定の閾値以上である1以上の前記非安定ユニットの周縁を前記安定ユニットによって取り囲んで構成されている請求項3に記載の細胞画像処理装置。 4. The stable unit according to claim 3, wherein the stable unit is configured to surround the periphery of one or more of the non-stable units whose magnitudes of any orthogonal components of the movement vector are equal to or greater than a predetermined threshold. Cell imaging device.
  8.  前記安定領域探索部が、前記安定領域に含まれる前記ユニットの前記移動ベクトルを表示する表示装置に、前記安定領域および前記移動ベクトルのデータを出力する機能を備える請求項1に記載の細胞画像処理装置。 The cell image processing according to claim 1, wherein the stable area search unit has a function of outputting data of the stable area and the movement vector on a display device that displays the movement vector of the unit included in the stable area. apparatus.
  9.  時間間隔をあけて細胞を撮影することにより取得された複数枚の画像が入力されるプロセッサを備え、
     該プロセッサが、入力された前記画像の内のいずれか2枚の前記画像のそれぞれを複数のユニットに分割して、各該ユニット内における前記細胞の移動ベクトルを算出し、算出された前記移動ベクトルの大きさが所定の閾値より小さい安定ユニットにより、少なくとも周縁が構成された安定領域を探索し、探索された前記安定領域を計数領域として設定し、該計数領域内の細胞数を計数する細胞画像処理装置。
    It has a processor to which a plurality of images acquired by capturing cells at time intervals are input,
    The processor divides each of any two of the input images into a plurality of units, calculates a movement vector of the cells in each unit, and calculates the movement vector A stable unit having a size smaller than a predetermined threshold searches for a stable area having at least the periphery, sets the searched stable area as a counting area, and counts the number of cells in the counting area. Processing unit.
  10.  時間間隔をあけて細胞を撮影することにより取得された複数枚の画像が入力され、
     入力された前記画像の内のいずれか2枚の前記画像のそれぞれを複数のユニットに分割して、各該ユニット内における前記細胞の移動ベクトルを算出するベクトル算出ステップと、
     該ベクトル算出ステップにおいて算出された前記移動ベクトルの大きさが所定の閾値より小さい安定ユニットにより、少なくとも周縁が構成された安定領域を探索する安定領域探索ステップと、
     該安定領域探索ステップにより探索された前記安定領域を計数領域として設定し、該計数領域内の細胞数を計数する細胞数計数ステップとを含む細胞画像処理方法。
    A plurality of images acquired by capturing cells at time intervals are input,
    A vector calculation step of dividing each of any two of the input images into a plurality of units, and calculating a movement vector of the cells in each of the units;
    A stable area search step of searching for a stable area having at least a periphery formed by a stable unit in which the magnitude of the movement vector calculated in the vector calculation step is smaller than a predetermined threshold value;
    A cell number counting step of setting the stable region searched in the stable region searching step as a counting region and counting the number of cells in the counting region.
  11.  時間間隔をあけて細胞を撮影することにより取得された複数枚の画像が入力され、
     入力された前記画像の内のいずれか2枚の前記画像のそれぞれを複数のユニットに分割して、各該ユニット内における前記細胞の移動ベクトルを算出するベクトル算出ステップと、
     該ベクトル算出ステップにおいて算出された前記移動ベクトルの大きさが所定の閾値より小さい安定ユニットにより、少なくとも周縁が構成された安定領域を探索する安定領域探索ステップと、
     該安定領域探索ステップにより探索された前記安定領域を計数領域として設定し、該計数領域内の細胞数を計数する細胞数計数ステップとをコンピュータに実行させる細胞画像処理プログラム。
    A plurality of images acquired by capturing cells at time intervals are input,
    A vector calculation step of dividing each of any two of the input images into a plurality of units, and calculating a movement vector of the cells in each of the units;
    A stable area search step of searching for a stable area having at least a periphery formed by a stable unit in which the magnitude of the movement vector calculated in the vector calculation step is smaller than a predetermined threshold value;
    A cell image processing program that causes a computer to execute the cell counting step of setting the stable region searched in the stable region searching step as a counting region and counting the number of cells in the counting region.
PCT/JP2018/000024 2018-01-04 2018-01-04 Cell image processing device, cell image processing method, and cell image processing program WO2019135268A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/000024 WO2019135268A1 (en) 2018-01-04 2018-01-04 Cell image processing device, cell image processing method, and cell image processing program
JP2019563719A JP6891299B2 (en) 2018-01-04 2018-01-04 Cell image processing device, cell image processing method and cell image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/000024 WO2019135268A1 (en) 2018-01-04 2018-01-04 Cell image processing device, cell image processing method, and cell image processing program

Publications (1)

Publication Number Publication Date
WO2019135268A1 true WO2019135268A1 (en) 2019-07-11

Family

ID=67143911

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/000024 WO2019135268A1 (en) 2018-01-04 2018-01-04 Cell image processing device, cell image processing method, and cell image processing program

Country Status (2)

Country Link
JP (1) JP6891299B2 (en)
WO (1) WO2019135268A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007327843A (en) * 2006-06-07 2007-12-20 Olympus Corp Image processor and image processing program
JP2010119314A (en) * 2008-11-17 2010-06-03 Dainippon Printing Co Ltd Cell image analyzer
JP2012194168A (en) * 2011-02-28 2012-10-11 Sony Corp Image forming device and method, recording medium and program
JP2013192468A (en) * 2012-03-16 2013-09-30 Olympus Corp Image analysis method, image analyzer, and image photographing apparatus and program for biological sample
WO2014007300A1 (en) * 2012-07-05 2014-01-09 オリンパス株式会社 Cell division process tracing device and method, and storage medium which stores computer-processable cell division process tracing program
JP2014085949A (en) * 2012-10-25 2014-05-12 Dainippon Printing Co Ltd Cell behaviour analysis device, cell behaviour analysis method, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017175965A (en) * 2016-03-29 2017-10-05 ソニー株式会社 Image processing apparatus, image processing method, and image processing system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007327843A (en) * 2006-06-07 2007-12-20 Olympus Corp Image processor and image processing program
JP2010119314A (en) * 2008-11-17 2010-06-03 Dainippon Printing Co Ltd Cell image analyzer
JP2012194168A (en) * 2011-02-28 2012-10-11 Sony Corp Image forming device and method, recording medium and program
JP2013192468A (en) * 2012-03-16 2013-09-30 Olympus Corp Image analysis method, image analyzer, and image photographing apparatus and program for biological sample
WO2014007300A1 (en) * 2012-07-05 2014-01-09 オリンパス株式会社 Cell division process tracing device and method, and storage medium which stores computer-processable cell division process tracing program
JP2014085949A (en) * 2012-10-25 2014-05-12 Dainippon Printing Co Ltd Cell behaviour analysis device, cell behaviour analysis method, and program

Also Published As

Publication number Publication date
JPWO2019135268A1 (en) 2020-12-10
JP6891299B2 (en) 2021-06-18

Similar Documents

Publication Publication Date Title
US9875408B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US20160055645A1 (en) People counting device and people counting method
US9514369B2 (en) Program, method, and system for displaying image recognition processing suitability
JP6494418B2 (en) Image analysis apparatus, image analysis method, and program
CN109313805A (en) Image processing apparatus, image processing system, image processing method and program
JP2018181333A5 (en)
JP2011133984A (en) Motion feature extraction device and motion feature extraction method
JP6577397B2 (en) Image analysis apparatus, image analysis method, image analysis program, and image analysis system
JP6045292B2 (en) Cell counting device and cell counting program
JP5264457B2 (en) Object detection device
US20200013172A1 (en) Object tracking device and object tracking method
JP2017125974A (en) Display device, display method and program
US10645345B2 (en) System and method of video capture and search optimization
US9478032B2 (en) Image monitoring apparatus for estimating size of singleton, and method therefor
TW201523459A (en) Object tracking method and electronic apparatus
JP5253195B2 (en) Object detection device
WO2019135268A1 (en) Cell image processing device, cell image processing method, and cell image processing program
JP5338978B2 (en) Image processing apparatus and image processing program
RU2626551C1 (en) Method for generating panoramic images from video stream of frames in real time mode
JP6030457B2 (en) Image detection apparatus, control program, and image detection method
JP5253194B2 (en) Object detection device
JP2011154634A (en) Image processing apparatus, method and program
RU2647645C1 (en) Method of eliminating seams when creating panoramic images from video stream of frames in real-time
JP2006012069A (en) Sorting device and sorting method
CN110652221A (en) Oven smoke monitoring method and device and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18898727

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019563719

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18898727

Country of ref document: EP

Kind code of ref document: A1