JP6661165B2 - Image analysis device, image analysis method, and image analysis program - Google Patents
Image analysis device, image analysis method, and image analysis program Download PDFInfo
- Publication number
- JP6661165B2 JP6661165B2 JP2015066925A JP2015066925A JP6661165B2 JP 6661165 B2 JP6661165 B2 JP 6661165B2 JP 2015066925 A JP2015066925 A JP 2015066925A JP 2015066925 A JP2015066925 A JP 2015066925A JP 6661165 B2 JP6661165 B2 JP 6661165B2
- Authority
- JP
- Japan
- Prior art keywords
- cell group
- correlation
- shape
- image analysis
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Apparatus Associated With Microorganisms And Enzymes (AREA)
Description
本発明は、画像解析技術に関し、特に、評価対象細胞群の位置と形状との局在の変化の指標を求める細胞画像解析技術に関する。 The present invention relates to an image analysis technique, and more particularly to a cell image analysis technique for obtaining an index of a change in localization between a position and a shape of a cell group to be evaluated.
近年、生体の組織や臓器を模倣した、細胞が高密度に集合している三次元組織モデルを作製し、創薬や再生医療領域へ応用することが期待されている。このような三次元組織内では様々な種類の細胞が適切な位置関係に配置されることで効率的に組織の機能を発現している。そこで、温度応答性表面での細胞パターニングなどの技術を用いて三次元組織内における任意の細胞の局在を制御することで、細胞の配置が三次元的にデザインされた組織を構築する試みが多くなされている。 In recent years, it has been expected that a three-dimensional tissue model that mimics a tissue or an organ of a living body and in which cells are aggregated at a high density is produced and applied to drug discovery and regenerative medicine. In such a three-dimensional tissue, various types of cells are arranged in an appropriate positional relationship, thereby efficiently expressing the function of the tissue. Therefore, an attempt has been made to construct a tissue whose cells are three-dimensionally designed by controlling the localization of arbitrary cells within the three-dimensional tissue using techniques such as cell patterning on a temperature-responsive surface. Many have been made.
下記特許文献１による細胞シートを利用した細胞評価システム及びその利用方法では、三次元組織内での三次元的な細胞の遊走および局在の変化を、２次元解析装置により画像を観察しながら追跡している。
In a cell evaluation system using a cell sheet and a method of using the same according to
一方で、in vitroで作製した三次元組織内において血管内皮細胞などの細胞は非常に活発に組織内で遊走（移動）することが知られている。これにより、組織構築時に任意の細胞の局在を制御した組織を作製したとしても、培養期間を経るごとに組織内で細胞が遊走し局在がランダムに変化してしまう。この三次元化後の細胞の遊走を防ぐために様々な手法の研究が試みられているが、これまで組織内での細胞の局在変化を数値化し定量的に評価することは煩雑で困難な手順を踏む必要があったため、各手法を評価するための研究において障壁となっていた。 On the other hand, it is known that cells such as vascular endothelial cells migrate (migrate) very actively in a three-dimensional tissue prepared in vitro. As a result, even when a tissue in which the localization of arbitrary cells is controlled at the time of constructing the tissue is prepared, the cells migrate within the tissue and the localization changes randomly every time the culture period elapses. Various techniques have been studied to prevent the migration of cells after three-dimensionalization.However, it has been a complicated and difficult procedure to quantify and quantitatively evaluate changes in the localization of cells in tissues. This has been a barrier in research to evaluate each method.
特許文献１に記載の技術では、ある平面における細胞群の変化を観察しているが、細胞群の変化に明確な指標がないため、客観的な評価をしにくいという課題がある。
本発明は、細胞群の位置と形状の局在の変化を客観的に評価することを目的とする。
In the technique described in
It is an object of the present invention to objectively evaluate changes in the location and shape of a cell group.
本発明においては、解析可能な領域をあるひとつの平面に絞り、画像相関解析を用いる。これにより、一定時間後の細胞群の形の変化を数値化して捉えることができ、細胞群の変化に明確な指標を得ることができる。 In the present invention, an area that can be analyzed is narrowed down to a certain plane, and image correlation analysis is used. Thus, the change in the shape of the cell group after a certain time can be quantified and grasped, and a clear index can be obtained for the change in the cell group.
本発明では三次元組織内の血管内皮細胞を始めとする任意の細胞をあらかじめ蛍光標識などによりラベリングした状態でタイムラプス画像を取得し、これらの画像を画像相関解析法により解析することで簡便に数値化し定量的に評価するシステムを構築した。これにより、三次元組織内の任意の細胞の遊走挙動や局在の乱れを定量的に評価可能な汎用性の高い技術を確立することができる。 In the present invention, a time-lapse image is obtained in a state in which arbitrary cells such as vascular endothelial cells in a three-dimensional tissue are labeled in advance with a fluorescent label or the like, and these images are analyzed by an image correlation analysis method to easily obtain numerical values. And a quantitative evaluation system was constructed. As a result, it is possible to establish a highly versatile technique capable of quantitatively evaluating the migration behavior and localization disorder of arbitrary cells in the three-dimensional tissue.
本発明の一観点によれば、細胞の局在を評価する画像解析装置であって、第１の領域内の評価対象細胞群の２次元パターンを抽出するパターン抽出部と、前記パターン抽出部により抽出された第１の時点における第１の局在パターン形状と前記第１の時点とは異なる第２の時点における第２の局在パターン形状との相関解析を行う相関解析部と、を有することを特徴とする画像解析装置が提供される。 According to one aspect of the present invention, there is provided an image analysis apparatus for evaluating localization of cells, comprising: a pattern extraction unit that extracts a two-dimensional pattern of a group of cells to be evaluated in a first region; A correlation analysis unit that performs a correlation analysis between the extracted first localized pattern shape at the first time point and a second localized pattern shape at a second time point different from the first time point. An image analysis device is provided.
さらに、前記相関解析部により求められた前記第１の局在パターン形状と前記第２の局在パターン形状との相関度を、前記評価対象細胞群の位置と形状との局在の変化の指標として求めることにより前記評価対象細胞群の組織内での自己組織化過程を数値化することができる。 Furthermore, the degree of correlation between the first localized pattern shape and the second localized pattern shape obtained by the correlation analysis unit is used as an index of a change in localization between the position and the shape of the cell group to be evaluated. The self-organization process in the tissue of the cell group to be evaluated in the tissue can be quantified.
本発明の他の観点によれば、細胞の局在を評価する画像解析方法であって、第１の領域内の評価対象細胞群の２次元パターンを抽出するパターン抽出ステップと、前記パターン抽出ステップにより抽出された第１の時点における第１の局在パターン形状と前記第１の時点とは異なる第２の時点における第２の局在パターン形状との相関解析を行う相関解析ステップと、を有することを特徴とする画像解析方法が提供される。 According to another aspect of the present invention, there is provided an image analysis method for evaluating localization of cells, comprising: a pattern extracting step of extracting a two-dimensional pattern of a group of cells to be evaluated in a first region; A correlation analysis step of performing a correlation analysis between the first localized pattern shape at the first time point extracted by the above and the second localized pattern shape at a second time point different from the first time point. An image analysis method is provided.
本発明は、コンピュータに、上記に記載の画像解析方法を実行させるための画像解析プログラムであっても良く、当該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。 The present invention may be an image analysis program for causing a computer to execute the image analysis method described above, or may be a computer-readable recording medium that records the program.
本発明によれば、細胞群の位置と形状の局在の変化を客観的に評価できる指標を得ることができる。 ADVANTAGE OF THE INVENTION According to this invention, the index | index which can evaluate the change of the location of a cell group and the localization of a shape objectively can be obtained.
本明細書において、解析対象となる細胞群（細胞集団）は、生体の組織又は器官から直接採取した初代細胞系に由来する細胞でもよく、該初代細胞を何代か継代させた継代細胞系に由来する細胞であってもよい。細胞が由来する動物も特に限定されず、例えば、ヒト、非ヒト霊長類、マウス、ラット、ウサギ、イヌ、ネコ、ウシ、ブタ、ウマ、ヤギ又はヒツジ等の動物に由来する細胞を使用することができる。 In the present specification, a cell group (cell population) to be analyzed may be a cell derived from a primary cell line directly collected from a tissue or an organ of a living body, or a passage cell obtained by passing the primary cell several times. It may be a cell derived from a system. The animal from which the cells are derived is not particularly limited.For example, cells derived from animals such as humans, non-human primates, mice, rats, rabbits, dogs, cats, cows, pigs, horses, goats, or sheep may be used. Can be.
また、評価対象細胞群が「パターン形状が制御されていない」とは、例えばランダムパターンのように決められた形状を保持するように制御されていない状態、例えば細胞自身の自己組織化によりランダムな位置に局在している状態を指す。評価対象細胞群が「パターン形状が制御された」とは、例えばラインパターンのように決められた形状を保持するように制御されていないことを指す。
以下に、本発明の実施の形態による細胞の画像解析技術について図面を参照しながら詳細に説明する。
Further, the evaluation target cell group is `` pattern shape is not controlled '', for example, a state in which it is not controlled to maintain a predetermined shape such as a random pattern, for example, a random shape due to self-organization of the cells themselves Refers to the state of being localized at a location. The expression “the pattern shape is controlled” of the evaluation target cell group means that the cell group is not controlled to maintain a predetermined shape such as a line pattern.
Hereinafter, a cell image analysis technique according to an embodiment of the present invention will be described in detail with reference to the drawings.
（細胞シート中での血管内皮細胞ネットワークの形成工程）
図１は、評価対象細胞の一例として、シート状の細胞組織（細胞シート）を作製する方法の一例を示す図である。本実施の形態では、緑色蛍光タンパク発現正常ヒト臍帯静脈内皮細胞(GFP-HUVEC) (Angio-proteomie, Boston, USA)２５ａ及び正常ヒト皮膚線維芽細胞(NHDF) (Lonza Inc., Walkersville, USA)２５ｂを用いて細胞シート２５を作成した。細胞シートの作製には温度応答性ポリマーであるPNIPAAm、ポリ-N-イソプロピルアクリルアミドを表面に修飾した温度応答性培養皿(f=35 mm, UpCellTM, CellSeed Inc., Tokyo, Japan)２１を培養液２３で満たし、総細胞数1×106cells/dish、血管内皮細胞：線維芽細胞の比率＝1：7の密度で細胞を播種しコンフルエントに達するまで培養を行なった（図１（ａ）、図１（ｂ））。
(Step of forming vascular endothelial cell network in cell sheet)
FIG. 1 is a diagram showing an example of a method for producing a sheet-like cell tissue (cell sheet) as an example of a cell to be evaluated. In this embodiment, green fluorescent protein-expressing normal human umbilical vein endothelial cells (GFP-HUVEC) (Angio-proteomie, Boston, USA) 25a and normal human dermal fibroblasts (NHDF) (Lonza Inc., Walkersville, USA)
次いで、コンフルエントの状態に達した細胞を、20℃で20分以上静置し、GFP-HUVEC２５ａ及びNHDF２５ｂで構成されたシート状の細胞組織を回収した。シート状の細胞組織を細胞シートと称する。
次いで、細胞シートを収縮させて３７℃でインキュベーションを行うことで、GFP-HUVECが組織内でランダムに配置されたシート状の組織２５ｘ（図１（ｃ））を得ることができた。
Next, the cells that reached the confluent state were allowed to stand at 20 ° C. for 20 minutes or more, and a sheet-like cell tissue composed of GFP-HUVEC25a and NHDF25b was collected. The sheet-like cell tissue is called a cell sheet.
Subsequently, the cell sheet was contracted and incubation was performed at 37 ° C., whereby a sheet-
（タイムラプス蛍光画像の取得方法）
回収したシート状の細胞組織２５ｘを、タイムラプス蛍光顕微鏡装置(BZ-9000, Keyence Corp., Osaka, Japan)を用い、１時間おきに５日間、同一箇所のタイムラプス蛍光画像を取得した。シート状の細胞組織は、endothelial growth medium (EGM-2) (Lonza Inc., Walkersville, USA) 中に50 ng/mL recombinant human vascular endothelial growth factor (rhVEGF) (R and D Systems, Minneapolis, USA)を添加し、抗生物質存在下で、顕微鏡ステージ装着型インキュベータ (INUG2-KI3, Tokai Hit Co. Ltd., Shizuoka, Japan)を用い、37℃、CO2濃度5%環境中で培養した。
(How to acquire a time-lapse fluorescent image)
Using the time-lapse fluorescence microscope (BZ-9000, Keyence Corp., Osaka, Japan), a time-lapse fluorescence image of the same portion of the collected sheet-
図２、図３Ａ、図３Ｂは、上記の方法により作成した血管パターンを例にした評価対象細胞群の画像解析技術を具体的に示す図である。図２は、評価対象細胞群の画像の解析手順のイメージを示す図であり、図３Ａは、評価対象細胞群の画像の解析処理例を示すフローチャート図であり、図３Ｂは、評価対象細胞群の画像解析に用いた画像解析装置の構成例を示す機能ブロック図である。画像解析装置は、ソフトウェアによるかハードウェアによるかを問わない。 FIG. 2, FIG. 3A, and FIG. 3B are diagrams specifically illustrating an image analysis technique for a group of cells to be evaluated using a blood vessel pattern created by the above method as an example. FIG. 2 is a diagram showing an image of an analysis procedure of an image of an evaluation target cell group. FIG. 3A is a flowchart showing an example of an analysis process of an image of an evaluation target cell group. FIG. FIG. 3 is a functional block diagram illustrating a configuration example of an image analysis device used for image analysis of FIG. The image analysis apparatus may be based on software or hardware.
発明者らは、２次元領域内における細胞群の位置と形状の局在の変化を客観的に評価できる指標として、画像相関解析を用いることを考案した。相関度に基づいて、前記局在の変化の度合いを判断することができる。 The inventors have devised to use image correlation analysis as an index that can objectively evaluate changes in the location and shape of a cell group in a two-dimensional region. Based on the degree of correlation, the degree of localization change can be determined.
以下に、シート状の細胞組織内の血管内皮細胞による血管ネットワークの形成過程を定量評価する手法を例にして、本実施の形態による細胞の画像相関解析について詳細に説明する。 Hereinafter, the image correlation analysis of the cells according to the present embodiment will be described in detail by taking, as an example, a method of quantitatively evaluating a process of forming a vascular network by vascular endothelial cells in a sheet-shaped cell tissue.
図３Ｂ（ａ）に示すように、本実施の形態による画像解析装置１は、シート状の細胞組織２５ｘなどの撮像した観察画像を取得する画像取得部１−１と、画像取得部１−１により取得した細胞群のパターン形状を抽出するパターン抽出部１−２と、例えば、同じ領域を異なる時点、すなわち第１の時点と第１の時点とは異なる第２の時点とにおいて抽出した異なる２つのパターン形状の画像相関解析を行う相関解析部１−３と、相関度に基づいて細胞群の局在の時間変化を求める位置−時間演算部１−４と、相関度に基づいて局在の変化の度合いを判断する判断部１−５と、判断結果等を出力する出力部１−６と、を有している。さらに、判断部１−５において局在の変化の度合いを判断するための適切なしきい値を設定するしきい値設定部１−７と、局在パターンと時間との関係等を記憶する記憶部１−８とを備えていても良い。画像解析装置１はこれらすべての構成を一体として備えていなくても良い。画像相関解析には、ImageJ (National Institutes of Health, MD, USA)を用いた。
As shown in FIG. 3B (a), the
画像相関解析における相関度の算出は例えば以下のようにして行うことができる。すなわち、ある画素数（ｎ，ｍ）の画像ａと画像ｂの相関度の算出式は、下記の通りである。
ここで、画像ａの画素（ｘ，ｙ）の輝度値をａ（ｘ，ｙ）とする。画像ｂの画素（ｘ，ｙ）の輝度値をｂ（ｘ，ｙ）とする。
The calculation of the degree of correlation in the image correlation analysis can be performed, for example, as follows. That is, the equation for calculating the degree of correlation between the image a and the image b with a certain number of pixels (n, m) is as follows.
Here, let the luminance value of the pixel (x, y) of the image a be a (x, y). Let the luminance value of the pixel (x, y) of the image b be b (x, y).
図３Ｂ（ｂ）は、図３Ｂ（ａ）のパターン抽出部１−２の一構成例を示す機能ブロック図である。図３Ｂ（ｂ）に示すように、パターン抽出部１−２は、画像のタイムラプス解析を行うタイムラプス解析部１−２−１と、タイムラプス解析した画像データを取得する画像データ取得部１−２−２と、取得した画像データの二値化を行う二値化部１−２−３と、二値化した画像のノイズ部分を除去するノイズ除去部１−２−４とを有している。このようにして画像解析処理に適した前処理を行って解析に適したパターンを抽出することで、２次元領域内における細胞群の位置と形状の局在の変化を客観的に評価できる指標を精度良く求めることができる。 FIG. 3B (b) is a functional block diagram illustrating a configuration example of the pattern extracting unit 1-2 in FIG. 3B (a). As shown in FIG. 3B (b), the pattern extraction unit 1-2 includes a time lapse analysis unit 1-2-1 that performs time lapse analysis of an image, and an image data acquisition unit 1-2 that obtains image data subjected to the time lapse analysis. 2, a binarizing unit 1-2-3 for binarizing the acquired image data, and a noise removing unit 1-2-4 for removing a noise portion of the binarized image. In this way, by performing preprocessing suitable for image analysis processing and extracting patterns suitable for analysis, an index that can objectively evaluate changes in the position and shape localization of a cell group in a two-dimensional area can be obtained. It can be obtained with high accuracy.
画像解析処理の流れを図３Ａに示すフローチャートに基づいて説明する。ステップＳ１において処理が開始されると（Ｓｔａｒｔ）、ステップＳ２において、タイムラプス解析部１−２−１はタイムラプス解析を行う、次いで、ステップＳ３において、画像データ取得部１−２−２が２枚の画像を取得する。２枚の画像は、例えば、図２に示すような、評価対象細胞群の第１の領域における蛍光画像（Ａ）Ｐ１と、同じ第１の領域における蛍光画像（Ｂ）Ｐ２であり、これらは、血管パターンの蛍光画像のうち、それぞれ、初期画像と５日後の画像である。画像相関解析を行う２つの画像パターンは、第１の時点と第１の時点とは異なる第２の時点における画像であり、第１の時点は、細胞観察の初期時点であっても良く、それ以降の時点であっても良い。 The flow of the image analysis processing will be described based on the flowchart shown in FIG. 3A. When the process is started in Step S1 (Start), in Step S2, the time lapse analysis unit 1-2-1 performs a time lapse analysis. Then, in Step S3, the image data acquisition unit 1-2-2 sets the two images to one another. Get an image. The two images are, for example, a fluorescent image (A) P1 in the first region of the cell group to be evaluated and a fluorescent image (B) P2 in the same first region as shown in FIG. , An initial image and an image 5 days later from among the fluorescent images of the blood vessel pattern. The two image patterns for performing the image correlation analysis are images at a first time point and a second time point different from the first time point, and the first time point may be an initial time point of cell observation. It may be a later time.
次いで、ステップＳ４において、二値化部１−２−３が２枚の画像について二値化を行う。次いで、ステップＳ５において、二値化を行った画像のノイズ部分をノイズ除去部１−２−４が除去し、パターン抽出部１−２が全体としてステップＳ６でパターンを抽出する。図２のＰ１１とＰ１２とが、画像相関解析を行うための前処理を行った後の、同じ領域の異なる時間における画像である。 Next, in step S4, the binarizing unit 1-2-3 binarizes the two images. Next, in step S5, the noise removing section 1-2-4 removes a noise portion of the binarized image, and the pattern extracting section 1-2 extracts a pattern as a whole in step S6. P11 and P12 in FIG. 2 are images of the same region at different times after performing preprocessing for performing image correlation analysis.
最後に、抽出したパターンを、ステップＳ７において、相関解析部１−３が画像相関解析を行うことで、２つの異なる画像の相関度を求める第１の解析処理が終了する（Ｅｎｄ）。画像相関解析の結果は、評価対象細胞群の位置と形状との局在の変化の指標となる。 Finally, in step S7, the correlation analysis unit 1-3 performs image correlation analysis on the extracted pattern, thereby completing the first analysis processing for obtaining the degree of correlation between two different images (End). The result of the image correlation analysis serves as an index of a change in localization between the position and the shape of the cell group to be evaluated.
尚、画像解析装置１は、第１の時点における第１の画像とは異なる第３の画像と、第２の時点における第２の画像との相関度を求めた第１の画像との相関度を演算する相関度関連性判定部を有していても良い。この相関度関連性判定部の判定結果として大きい（１に近似する）相関度が得られた場合には、第３の画像における異なる評価対象細胞群について、記憶部１−８に記憶された相関度と第１の時点から第２の時点までの経過時間との関係を、異なる評価対象細胞の位置の時間依存として近似するようにしても良い。記憶部を設けることで、類似の試料等における評価対象細胞群の組織内での自己組織化過程の実験を行う前に推定することができる。
Note that the
［実施例１］
（ランダムパターンの画像解析）
まず、パターン形状が制御されていないランダムパターンについて画像解析を行った結果を示す。
図４は、本実施の形態による相関解析処理を行った結果の一例を示す図であり、図２に示したランダムなパターン形状を有する細胞群の画像解析例を示す図である。図５は、同一試料のタイムラプス画像の比較結果として得られた相関度と、異なる試料のタイムラプス画像の比較結果として得られた相関度とを比較したグラフである。
[Example 1]
(Image analysis of random pattern)
First, a result of performing image analysis on a random pattern whose pattern shape is not controlled will be described.
FIG. 4 is a diagram illustrating an example of a result of performing the correlation analysis process according to the present embodiment, and is a diagram illustrating an example of image analysis of the cell group having the random pattern shape illustrated in FIG. FIG. 5 is a graph comparing a correlation obtained as a result of comparing time-lapse images of the same sample with a correlation obtained as a result of comparing time-lapse images of different samples.
上記の画像相関解析技術を用いて、血管内皮細胞の初期位置と血管内皮細胞ネットワークの形状の相関性を定量的に評価した。試料Ａについて、血管内皮細胞がランダムな場合の血管内皮細胞の初期位置(Ｐ１：Day0)と、同一視野における血管内皮細胞ネットワークの形状(Ｐ２：Day5)の相関度は0.2246（0.24±0.03）であり、正の相関が認められた。同様に、試料Ｂについても、血管内皮細胞がランダムな場合の血管内皮細胞の初期位置(Ｐ１１：Day0)と、血管内皮細胞ネットワークの形状(Ｐ1２：Day5)の相関度は0.1957）であり、正の相関が認められた。すなわち、試料Ａ及び試料Ｂとのそれぞれにおいて、５日後においても、血管内皮細胞のパターン形状の局在は初期のパターン形状の局在に依存していることが明らかになった。 Using the image correlation analysis technique described above, the correlation between the initial position of vascular endothelial cells and the shape of the vascular endothelial cell network was quantitatively evaluated. For sample A, the degree of correlation between the initial position of vascular endothelial cells when the vascular endothelial cells were random (P1: Day 0) and the shape of the vascular endothelial cell network in the same visual field (P2: Day 5) was 0.2246 (0.24 ± 0.03). There was a positive correlation. Similarly, for sample B, the initial position of vascular endothelial cells when the vascular endothelial cells are random (P11: Day0) and the shape of the vascular endothelial cell network (P12: Day5) have a correlation of 0.1957). Was found. That is, it became clear that the localization of the pattern shape of the vascular endothelial cell was dependent on the localization of the initial pattern shape even after 5 days in each of Sample A and Sample B.
一方、試料Ａの血管内皮細胞の初期位置(Ｐ１：Day0)と試料Ａとは異なる試料Ｂの血管内皮細胞ネットワークの形状(Ｐ１２：Day5)との相関度と、試料Ｂの血管内皮細胞の初期位置(Ｐ１１：Day0)と試料Ａの血管内皮細胞ネットワークの形状(Ｐ２：Day5)との相関度は0.02±0.01であり、同一試料同士の相関度と有意差がある。 On the other hand, the correlation between the initial position of vascular endothelial cells of sample A (P1: Day 0) and the shape of the vascular endothelial cell network of sample B different from sample A (P12: Day 5), and the initial position of vascular endothelial cells of sample B The correlation between the position (P11: Day0) and the shape of the vascular endothelial cell network of sample A (P2: Day5) is 0.02 ± 0.01, which is significantly different from the correlation between the same samples.
図５に示すように、同一の試料と異なる試料とでは、初期と５日後との相関度に大きな差異がみされることがわかる。すなわち、同一試料内のある視野における一定時間前後の画像の相関度は、異なる試料であるか同じ試料であるかを判断する指標として用いることができる。また、２つの試料を比較する際の相関度のしきい値を、図５等の解析結果に基づいて、例えば、0.1から0.2程度に定めることができる。このしきい値を設定することで、同じ試料か異なる試料かを自動的に判定することも可能である。これにより、培養容器内の試料の取り違えを防ぐシステムを構築することが可能となる。 As shown in FIG. 5, it can be seen that there is a great difference in the degree of correlation between the initial sample and 5 days later between the same sample and a different sample. That is, the degree of correlation between images in a certain visual field in the same sample before and after a certain time can be used as an index for determining whether the images are different or the same. Further, the threshold value of the degree of correlation when comparing two samples can be set to, for example, about 0.1 to 0.2 based on the analysis result of FIG. By setting this threshold value, it is possible to automatically determine whether the sample is the same or different. Thereby, it is possible to construct a system for preventing the sample in the culture container from being mixed.
このようにしきい値設定部１−７が、判断部１−５において局在の変化の度合いを判断するための適切なしきい値を、例えば図５を参照して説明したように、同一の試料であるか否かを切り分けるための相関度の値に基づいて設定する。 As described above, the threshold setting unit 1-7 determines an appropriate threshold for the determination unit 1-5 to determine the degree of localization change, for example, as described with reference to FIG. Is set based on the value of the degree of correlation for determining whether or not.
また、図６に示すように、判断部１−５において、同じ試料の例えば初期位置と比較した相関度を時間に対してプロットすることで、評価対象細胞群の位置と形状との局在の変化の指標として求めることにより評価対象細胞群の組織内での自己組織化過程を数値化することができる。この処理は位置−時間演算部１−４により行うことができる。 In addition, as shown in FIG. 6, the determination unit 1-5 plots the degree of correlation compared with, for example, the initial position of the same sample with respect to time, so that the localization of the position and shape of the cell group to be evaluated is determined. The self-organization process in the tissue of the cell group to be evaluated can be quantified by obtaining the index as a change index. This processing can be performed by the position-time calculation unit 1-4.
また、図６に示すような、位置−時間演算部１−４により求められた相関度の時間依存性に基づいて、同一又は同様な評価対象細胞群のパターン形状の位置と局在の時間変化を推測することが可能である。 In addition, as shown in FIG. 6, based on the time dependence of the degree of correlation obtained by the position-time calculation unit 1-4, the time change of the position and localization of the pattern shape of the same or similar evaluation target cell group is determined. It is possible to guess.
以上の解析結果より、画像相関解析を用いることで、ランダムパターンの血管内皮細胞ネットワーク形状工程は、血管内皮細胞の初期位置に依存することが示唆された。
尚、評価対象細胞群は、人工的に作製された細胞組織であっても良い。
The above analysis results suggest that the use of image correlation analysis indicates that the step of forming a vascular endothelial cell network in a random pattern depends on the initial position of vascular endothelial cells.
The cell group to be evaluated may be an artificially prepared cell tissue.
［実施例２］
（ラインパターンの画像解析例）
次に、上記のようなランダムパターンとは異なり、制御されたパターン、例えば同じ方向に延在し互いに隣接する複数のラインパターンの評価結果について説明する。
図７は、このようなラインパターンの作製方法の一例を示す図である。
[Example 2]
(Example of line pattern image analysis)
Next, evaluation results of a controlled pattern, for example, a plurality of line patterns extending in the same direction and adjacent to each other, which are different from the random pattern as described above, will be described.
FIG. 7 is a diagram illustrating an example of a method for producing such a line pattern.
温度応答性培養皿(35 mmf ,UpCellTM, CellSeed Inc., Tokyo, Japan)上に光リソグラフィ技術を用いて、水溶性カンファーキノンを重合開始剤としてポリアクリルアミド（PAAm）を部分的に修飾した。これにより、ストライプ状の温度応答性領域とその他の細胞非接着性領域からなるパターン化温度応答性培養皿を作製した。作製したパターン化温度応答性培養皿はEOGガスにより滅菌を行い培養に用いた。 Polyacrylamide (PAAm) was partially modified on a temperature-responsive culture dish (35 mmf, UpCell ™ , CellSeed Inc., Tokyo, Japan) using water-soluble camphorquinone as a polymerization initiator using photolithography technology. As a result, a patterned temperature-responsive culture dish composed of a stripe-shaped temperature-responsive region and other non-cell-adhesive regions was prepared. The prepared patterned temperature-responsive culture dish was sterilized with EOG gas and used for culture.
図７に示すように、パターンデザインについてはストライプパターンにおける細胞接着領域の幅（ライン）：細胞非接着領域の幅（スペース）が、500 μm: 2000 μm (ストライプパターン中の各血管内皮細胞によるライン間隔Ddish= 2500μm），500 μm: 1000 μm (Ddish= 1500μm）, 500 μm: 500 μm (Ddish= 1000μm）の３通りを作製した。 As shown in FIG. 7, regarding the pattern design, the width (line) of the cell adhesion region in the stripe pattern: the width (space) of the cell non-adhesion region was 500 μm: 2000 μm (the line by each vascular endothelial cell in the stripe pattern). An interval D dish = 2500 μm), 500 μm: 1000 μm (D dish = 1500 μm), and 500 μm: 500 μm (D dish = 1000 μm) were prepared.
これを、線維芽細胞シートと伸展した状態を保持したまま積層した後に収縮処理を行い、所定の間隔Ｄｔｉｓｓｕｅを有する血管内皮細胞によるラインパターンを含む三次元組織を作製した。 This was laminated with the fibroblast cell sheet while maintaining the stretched state, and then subjected to a shrinkage treatment to prepare a three-dimensional tissue including a line pattern of vascular endothelial cells having a predetermined interval D tissue .
作製した三次元組織中の血管内皮細胞の動きは、タイムラプス蛍光顕微鏡装置(BZ-9000, Keyence Corp., Osaka, Japan)を用い、5日間同一箇所のタイムラプス蛍光画像を取得することで観察した。シート状の細胞組織は、50 ng/mL recombinant human vascular endothelial growth factor (rhVEGF) (R and D Systems, Minneapolis, USA)を添加したEGM-2中で、抗生物質存在下において顕微鏡ステージ装着型インキュベータ (INUG2-KI3, Tokai Hit Co. Ltd., Shizuoka, Japan) を用いて37 ℃,CO2濃度5%環境下で培養した。 The movement of the vascular endothelial cells in the prepared three-dimensional tissue was observed using a time-lapse fluorescence microscope (BZ-9000, Keyence Corp., Osaka, Japan) by acquiring a time-lapse fluorescence image of the same place for 5 days. The sheet-shaped cell tissue was placed in an EGM-2 supplemented with 50 ng / mL recombinant human vascular endothelial growth factor (rhVEGF) (R and D Systems, Minneapolis, USA) in the presence of an antibiotic in a microscope stage-mounted incubator ( (INUG2-KI3, Tokai Hit Co. Ltd., Shizuoka, Japan) at 37 ° C. in a 5% CO 2 concentration environment.
その結果を図８〜図１１までに示す。図８、図９は、同じ試料の画像相関解析結果の経時変化を示すものであり、作製したラインパターンの所定の間隔Ｄｔｉｓｓｕｅが703±45μｍ（もしくは、Ddish2500μｍ）である。図１０、図１１は、ライン間隔の異なる試料の画像相関解析結果の経時変化と、相関度のラインパターンの所定の間隔（Ｄｔｉｓｓｕｅ）依存性存性を示す図である。 The results are shown in FIGS. FIG. 8 and FIG. 9 show the change over time of the image correlation analysis result of the same sample, where the predetermined interval D tissue of the prepared line pattern is 703 ± 45 μm (or D dish 2500 μm). FIG. 10 and FIG. 11 are diagrams showing the temporal change of the image correlation analysis results of samples having different line intervals and the dependence of the degree of correlation on the predetermined interval (D tissue ) of the line pattern.
図８、図９に示すように、三次元組織内のラインパターンの経時変化をみると、積層後５日間にわたって局在を保つことが可能であることが明らかとなった。 As shown in FIG. 8 and FIG. 9, it is clear from the time course of the line pattern in the three-dimensional structure that localization can be maintained for 5 days after lamination.
先行研究では伸展した状態の細胞からなる三次元組織内において、血管内皮細胞による２本のラインパターンの所定の間隔（Ｄｔｉｓｓｕｅ）が500 μm程度の場合、積層後１日で血管内皮細胞はランダムに遊走していることが確認されている（参考：M. Muraoka et al. / Biomaterials 34 (2013) 696‐703）。 In a previous study, in a three-dimensional tissue composed of cells in a stretched state, when a predetermined interval (D tissue ) between two line patterns of vascular endothelial cells is about 500 μm, vascular endothelial cells are randomly generated one day after lamination. (Reference: M. Muraoka et al./Biomaterials 34 (2013) 696-703).
先行研究ではVEGFやFBSを始めとする血管内皮細胞の遊走や増殖を促す因子をほぼ含まない条件で培養されたものであり、血管内皮細胞の局在を保つという点では有利な条件であったと考えられるが、本結果より組織を収縮させるという簡便な手法で血管内皮細胞を活性化させる因子を加えた条件においてもパターン形状の維持が可能であることが示された。この現象は、組織全体の収縮により血管内皮細胞の足場の状態が変化したことで引き起こされたと考えられる。 In previous studies, the cells were cultured under conditions that contained almost no factors that promote the migration and proliferation of vascular endothelial cells such as VEGF and FBS, which was an advantageous condition in terms of maintaining the localization of vascular endothelial cells. Although it is conceivable, the results show that the pattern shape can be maintained even under the condition where a factor for activating vascular endothelial cells is added by a simple method of contracting the tissue. This phenomenon is considered to have been caused by a change in the state of the scaffold of vascular endothelial cells due to contraction of the whole tissue.
また、図１０、図１１に示すように、異なるライン間隔の試料を用いて本実施の形態による相関解析を行うと、試料Ａのようにライン間隔が狭い場合には、相関度の時間依存性が大きくなり、すなわち相関度が小さくなり、試料Ｃのようにライン間隔が大きくなると、相関度の時間依存性が小さくなり、すなわち、相関度が大きくなることがわかる。 Further, as shown in FIGS. 10 and 11, when the correlation analysis according to the present embodiment is performed using samples having different line intervals, when the line interval is narrow as in sample A, the time dependence of the correlation degree It can be understood that when the correlation becomes large, that is, the degree of correlation becomes small, and when the line interval becomes large like the sample C, the time dependency of the degree of correlation becomes small, that is, the degree of correlation becomes large.
図１１に示すように、パターン制御を行わない場合の相関度は０.２程度であり、ラインパターン幅が狭い試料Ａはそれと同程度であることがわかる。また、ラインパターン幅を広くしていくと、相関度が大きくなり、ライン制御が有効になっていることがわかる。 As shown in FIG. 11, when the pattern control is not performed, the correlation degree is about 0.2, and it can be seen that the sample A having a narrow line pattern width is almost the same. Also, as the line pattern width is increased, the degree of correlation increases, and it can be seen that the line control is effective.
尚、評価対象細胞群のパターン形状が制御された血管内皮細胞によるライン状パターンの場合に、しきい値を、０．６から０．８に設定すると良い。 In the case of a line-shaped pattern of vascular endothelial cells in which the pattern shape of the cell group to be evaluated is controlled, the threshold value may be set from 0.6 to 0.8.
このように、時間依存を求めることで、評価対象細胞群の組織内での自己組織化過程を数値化することができる。
微細構造をデザインした三次元組織の構築においても、上記のような製造技術が有効であることを、客観的に示すことができる。
As described above, by determining the time dependency, the self-organization process in the tissue of the cell group to be evaluated can be quantified.
It can be objectively shown that the above-described manufacturing technique is effective also in the construction of a three-dimensional structure in which a microstructure is designed.
尚、本実施の形態においては、評価対象細胞として、血管内皮細胞を例にして説明したが、その他、神経細胞、筋芽細胞、肝細胞、その他各種多能性幹細胞などを対象としても良い。 In the present embodiment, vascular endothelial cells have been described as an example of cells to be evaluated, but neuronal cells, myoblasts, hepatocytes, and various other pluripotent stem cells may also be used.
本発明は、創薬研究のための組織モデル作製および再生医療に利用可能な三次元組織作製において有用な技術となると考えられる。これらの組織においては、血管網を始めとする組織内の微細構造の局在を制御することが生体機能の模倣や効率的な組織構築のために重要であると期待されている。本発明は、三次元組織内での細胞の局在制御や遊走能解析研究において汎用性の高い定量評価用ツールとなりうる。 The present invention is considered to be a useful technique for preparing a tissue model for drug discovery research and preparing a three-dimensional tissue that can be used for regenerative medicine. In these tissues, it is expected that controlling the localization of the fine structure in the tissues such as the vascular network is important for imitating the biological functions and constructing the tissues efficiently. INDUSTRIAL APPLICABILITY The present invention can be a highly versatile quantitative evaluation tool in the control of cell localization in three-dimensional tissues and in studies of migration ability analysis.
上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。 In the above embodiment, the configuration and the like illustrated in the accompanying drawings are not limited to these, and can be appropriately changed within a range in which the effects of the present invention are exhibited. In addition, the present invention can be appropriately modified and implemented without departing from the scope of the object of the present invention.
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。 In addition, each component of the present invention can be arbitrarily selected, and an invention having the selected configuration is also included in the present invention.
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。 In addition, a program for realizing the functions described in the present embodiment is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to execute processing of each unit. May be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices.
本発明は、細胞群のパターン形状の局在を評価する装置として利用可能である。 INDUSTRIAL APPLICABILITY The present invention can be used as an apparatus for evaluating localization of a pattern shape of a cell group.
１…画像解析装置、１−１…画像取得部、１−２…パターン抽出部、１−２−１…タイムラプス解析部、１−２−２…画像データ取得部、１−２−３…二値化部、１−２−４…ノイズ除去部、１−３…相関解析部、１−４…位置−時間演算部、１−５…判断部、１−６…出力部。
DESCRIPTION OF
Claims (10)
第１の領域内の評価対象細胞群の２次元領域内における細胞群の位置と形状とからなる２次元パターンを抽出するパターン抽出部と、
前記パターン抽出部により抽出された第１の時点における前記評価対象細胞群の位置と形状と前記第１の時点とは異なる第２の時点における前記評価対象細胞群の位置と形状との相関度を求める相関解析を行う相関解析部と、
前記相関解析部により求められた第１の時点における前記評価対象細胞群の位置と形状と第２の時点における評価対象細胞群の位置と形状との相関度に基づいて、前記評価対象細胞群の組織内での自己組織化過程を数値化する位置−時間演算部と、を有することを特徴とする画像解析装置。 An image analyzer for evaluating the localization of cells,
A pattern extraction unit configured to extract a two-dimensional pattern including a position and a shape of the cell group in the two-dimensional area of the cell group to be evaluated in the first area;
Correlation between the pattern extraction unit the evaluated cell group position and shape in the second time point different from the first time point and the position and shape of the evaluation subject cell group in the first time point extracted by a correlation analysis unit for performing phase function analysis to determine the degree,
Based on the degree of correlation between the position and shape of the evaluation target cell group at the first time point determined by the correlation analysis unit and the position and shape of the evaluation target cell group at the second time point , An image analysis device, comprising: a position-time calculation unit for quantifying a self-organization process in a tissue.
前記判断部は、前記評価対象細胞群の位置と形状に依存する前記相関度のしきい値に基づいて前記局在の変化の度合いを判断することを特徴とする請求項１に記載の画像解析装置。 Based on the degree of correlation, having a determination unit to determine the degree of change in the localization of the evaluation target cell group ,
2. The image analysis apparatus according to claim 1, wherein the determination unit determines a degree of change in the localization based on a threshold value of the degree of correlation depending on a position and a shape of the cell group to be evaluated. 3. apparatus.
前記判断部は、第１の試料の前記評価対象細胞群の相関度をしきい値として設定し、前記第１の試料とは異なる第２の試料の評価対象細胞群の相関度を判定する請求項１に記載の画像解析装置。 Based on the degree of correlation, having a determination unit to determine the degree of change in the localization of the evaluation target cell group ,
The determination unit sets a correlation degree of the evaluation target cell group of the first sample as a threshold, and determines a correlation degree of the evaluation target cell group of a second sample different from the first sample. Item 2. The image analysis device according to item 1.
取得した前記第１の領域内の前記評価対象細胞群の画像を二値化する二値化処理部と、 ノイズを除去するノイズ除去処理部と、を有することを特徴とする請求項１から５までのいずれか１項に記載の画像解析装置。 The pattern extraction unit includes:
6. The image processing apparatus according to claim 1, further comprising: a binarization processing unit that binarizes the acquired image of the cell group to be evaluated in the first region; and a noise removal processing unit that removes noise. The image analysis device according to any one of the above.
第１の領域内の評価対象細胞群の２次元領域内における前記評価対象細胞群の位置と形状とからなる２次元パターンを抽出するパターン抽出ステップと、
前記パターン抽出ステップにより抽出された第１の時点における前記評価対象細胞群の位置と形状と前記第１の時点とは異なる第２の時点における前記評価対象細胞群の位置と形状との相関度を求める相関解析を行う相関解析ステップと、
前記相関解析ステップにより求められた第１の時点における前記評価対象細胞群の位置と形状と第２の時点における前記評価対象細胞群の位置と形状との相関度に基づいて、前記評価対象細胞群の組織内での自己組織化過程を数値化する位置−時間演算ステップと、を有することを特徴とする画像解析方法。 An image analysis method for evaluating localization of cells,
A pattern extraction step of extracting a two-dimensional pattern consisting of the position and shape of the evaluation subject cell group in the first two-dimensional region within the evaluated cell group area,
And said pattern extraction first of the evaluation in the second time point different from the first time point and the position and shape of the evaluation target fine胞群at the time the subject cell group position and shape extracted in step a correlation analyzing step of performing a phase function analysis to determine the degree of correlation,
The evaluation target cell group based on a correlation between the position and shape of the evaluation target cell group at the first time point obtained by the correlation analysis step and the position and shape of the evaluation target cell group at a second time point A position-time calculation step for quantifying the self-organization process in the tissue .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015066925A JP6661165B2 (en) | 2015-03-27 | 2015-03-27 | Image analysis device, image analysis method, and image analysis program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015066925A JP6661165B2 (en) | 2015-03-27 | 2015-03-27 | Image analysis device, image analysis method, and image analysis program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016185106A JP2016185106A (en) | 2016-10-27 |
| JP6661165B2 true JP6661165B2 (en) | 2020-03-11 |
Family
ID=57202477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015066925A Active JP6661165B2 (en) | 2015-03-27 | 2015-03-27 | Image analysis device, image analysis method, and image analysis program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6661165B2 (en) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4515899B2 (en) * | 2004-12-17 | 2010-08-04 | オリンパス株式会社 | Microscope image processing method, microscope image processing program, and microscope system |
| JP2007334746A (en) * | 2006-06-16 | 2007-12-27 | Olympus Corp | Image processor and image processing program |
| JP2009152827A (en) * | 2007-12-20 | 2009-07-09 | Nikon Corp | Image processing method for time-lapse image, image processing program, and image processor |
| JP2009229276A (en) * | 2008-03-24 | 2009-10-08 | Nikon Corp | Method for analyzing image for cell observation, image processing program and image processor |
| JP4968595B2 (en) * | 2008-07-23 | 2012-07-04 | 株式会社ニコン | Cell state discrimination method and cell observation image processing apparatus |
| JP6078943B2 (en) * | 2011-02-28 | 2017-02-15 | ソニー株式会社 | Image processing apparatus and method, and program |
| JP5984559B2 (en) * | 2012-07-31 | 2016-09-06 | オリンパス株式会社 | Necrotic cell region detection apparatus and method, and necrotic cell region detection program |
| JP6217968B2 (en) * | 2013-07-19 | 2017-10-25 | ソニー株式会社 | Image processing apparatus and method, and program |
-
2015
- 2015-03-27 JP JP2015066925A patent/JP6661165B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016185106A (en) | 2016-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kesner et al. | The CA3 subregion of the hippocampus is critical for episodic memory processing by means of relational encoding in rats. | |
| Altizer et al. | Endogenous electric current is associated with normal development of the vertebrate limb | |
| EP3534372A3 (en) | Systems and methods to predict the progression of disease involving lesions in blood vessels | |
| JP6590690B2 (en) | Cell image retrieval apparatus and method, and program | |
| Trimper et al. | Methodological caveats in the detection of coordinated replay between place cells and grid cells | |
| US20200410682A1 (en) | Analysis device, analysis program, and analysis method | |
| Li et al. | Zigzag generalized levy walk: the in vivo search strategy of immunocytes | |
| JP6661165B2 (en) | Image analysis device, image analysis method, and image analysis program | |
| Rajakaruna et al. | Liver Environment–Imposed Constraints Diversify Movement Strategies of Liver-Localized CD8 T Cells | |
| Karube et al. | Axon topography of layer IV spiny cells to orientation map in the cat primary visual cortex (area 18) | |
| JP7446616B2 (en) | Analysis method of cell behavior and its use | |
| Ammar et al. | Toxoplasma gondii prevalence in hunter-killed mourning doves (Zenaida macroura) and rock pigeons (Columba livia) from east Tennessee, USA | |
| Carr et al. | Increased task demand during spatial memory testing recruits the anterior cingulate cortex | |
| Zenkov et al. | A new method based on the von Mises-Fisher distribution shows that a minority of liver-localized CD8 T cells display hard-to-detect attraction to Plasmodium-infected hepatocytes | |
| Jun et al. | Analysis and prediction of surface condition of artificial skin based on CNN and ConvLSTM | |
| Barotova et al. | Detection of ridge damages in fingerprint recognition caused by skin diseases | |
| Copeland et al. | Investigating the transient regenerative potential of cardiac muscle using a Neonatal Pig Partial Apical Resection Model | |
| Comin et al. | An image processing approach to analyze morphological features of microscopic images of muscle fibers | |
| du Toit | Mechanosensory structures in the beaks of probe-foraging birds in relation to their foraging ecology | |
| US20240085405A1 (en) | Image processing device, analysis device, image processing method, image processing program, and display device | |
| Hoh et al. | Spatial information dynamics during early zebrafish development | |
| Zenkov et al. | A minority of liver-localized CD8 T cells demonstrate difficult-to-detect attraction to Plasmodium-infected hepatocytes | |
| JP6524598B2 (en) | Method of examining a plurality of cultured cells for the presence of a periodic structure of at least one target component contained in the cultured cells | |
| Alvarenga | Artificial Ant Colony: Features and applications on medical image segmentation | |
| Perisho et al. | Fractal scaling in bottlenose dolphin (Tursiops truncatus) echolocation: A case study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20171212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181030 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190528 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200131 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6661165 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |