JPWO2008129881A1 - 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体 - Google Patents
特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体 Download PDFInfo
- Publication number
- JPWO2008129881A1 JPWO2008129881A1 JP2009510794A JP2009510794A JPWO2008129881A1 JP WO2008129881 A1 JPWO2008129881 A1 JP WO2008129881A1 JP 2009510794 A JP2009510794 A JP 2009510794A JP 2009510794 A JP2009510794 A JP 2009510794A JP WO2008129881 A1 JPWO2008129881 A1 JP WO2008129881A1
- Authority
- JP
- Japan
- Prior art keywords
- feature
- image
- classification
- clustering
- combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000010187 selection method Methods 0.000 title claims description 16
- 238000004590 computer program Methods 0.000 title claims description 10
- 238000012549 training Methods 0.000 claims abstract description 80
- 230000008569 process Effects 0.000 claims abstract description 29
- 238000011156 evaluation Methods 0.000 claims description 45
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 239000012472 biological sample Substances 0.000 claims description 19
- 230000002068 genetic effect Effects 0.000 claims description 15
- 108090000623 proteins and genes Proteins 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 8
- 210000004027 cell Anatomy 0.000 description 51
- 238000003860 storage Methods 0.000 description 16
- 230000022131 cell cycle Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 210000000349 chromosome Anatomy 0.000 description 10
- 238000002073 fluorescence micrograph Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 8
- 230000031864 metaphase Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 230000001640 apoptogenic effect Effects 0.000 description 6
- 210000004940 nucleus Anatomy 0.000 description 6
- 230000032823 cell division Effects 0.000 description 5
- 238000001917 fluorescence detection Methods 0.000 description 5
- LMOINURANNBYCM-UHFFFAOYSA-N metaproterenol Chemical compound CC(C)NCC(O)C1=CC(O)=CC(O)=C1 LMOINURANNBYCM-UHFFFAOYSA-N 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000010337 G2 phase Effects 0.000 description 4
- 230000031016 anaphase Effects 0.000 description 4
- 210000003855 cell nucleus Anatomy 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000031877 prophase Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000010190 G1 phase Effects 0.000 description 3
- 230000006907 apoptotic process Effects 0.000 description 3
- 230000021953 cytokinesis Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 241000219194 Arabidopsis Species 0.000 description 2
- 108010033040 Histones Proteins 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 206010027336 Menstruation delayed Diseases 0.000 description 1
- 102000029749 Microtubule Human genes 0.000 description 1
- 108091022875 Microtubule Proteins 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000013060 biological fluid Substances 0.000 description 1
- 239000003535 biological staining Substances 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000018486 cell cycle phase Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000003436 cytoskeletal effect Effects 0.000 description 1
- 230000003013 cytotoxicity Effects 0.000 description 1
- 231100000135 cytotoxicity Toxicity 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007876 drug discovery Methods 0.000 description 1
- 230000000857 drug effect Effects 0.000 description 1
- 231100000507 endocrine disrupting Toxicity 0.000 description 1
- 210000001339 epidermal cell Anatomy 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 102000034287 fluorescent proteins Human genes 0.000 description 1
- 108091006047 fluorescent proteins Proteins 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 210000004688 microtubule Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 210000004895 subcellular structure Anatomy 0.000 description 1
- 230000016853 telophase Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2115—Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G01N15/1433—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Abstract
本発明の画像分類装置が備える制御部４１は、画像が有する複数の特徴量の複数の組み合わせパターンのそれぞれについて、複数の訓練画像のクラスタリングを実行する工程と、そのクラスタリングの結果に基づいて、前記複数の組み合わせパターンの中から画像分類に用いられる分類用組み合わせパターンを選択する工程とを実行し、前記クラスタリングは、前記組み合わせパターンを構成する特徴量を用いて算出された訓練画像相互間の類似度に基づいて行われる。
Description
本発明は、画像分類に用いられる画像の特徴量を選択する特徴量選択方法、その方法を実施する特徴量選択装置、その方法をコンピュータに実行させるためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、画像分類方法、及びその方法を実施する画像分類装置に関する。
光学顕微鏡を用いて、細胞、細胞内構造、生物組織などの生物試料の種別・状態(例えば生細胞と死細胞，細胞周期の各段階など)をモニタリングすることは、薬剤・変異体のスクリーニングや化学物質・環境変動の生物に対する影響評価を実施する際の中心的手段である。とくに近年、蛍光タンパク質や生体染色試薬を利用し、特定の細胞内構造(各種のオルガネラや細胞骨格系など)やタンパク質を選択的に標識しつつ、生きたまま観察することによって、細胞内構造の微細な形態や各種タンパク質の局在を経時的に捉えられるようになり、薬剤の暴露や環境条件変動などに対する生理学的応答の詳細な把握が可能になった。これにより、スクリーニング条件の緻密化や生物影響評価基準の精密化が進むとともに、評価対象となる生物試料と標識対象は急速に多様化している。応用及び基礎研究分野の両方において、生物試料の種別・状態の評価過程のうち、撮像工程の自動化・ハイスループット化は進みつつある。一方、得られた顕微鏡画像データの評価法については現在のところ人手を介した労働集約的なスクリーニングが主に行なわれており、その効率化・自動化が望まれている。
生物試料の種別・状態の評価(以後「生物試料評価」)の自動化は、主に顕微鏡画像のパターン認識の問題としてアプローチされており、とくに生物試料を撮影した画像の種別・状態を既知の幾つかのグループに分類する画像分類器として実現されてきた。例えば、撮像された細胞の画像データから特徴パラメータを算出し、その特徴パラメータを用いて細胞の種類を分類する装置が知られている（例えば、特許文献１参照）。
特許文献１には、撮像された細胞の画像データから細胞の色彩、面積、形状に関する特徴パラメータを算出するパラメータ算出部と、かかる特徴パラメータを用いて細胞を分類する分類部とを備えた細胞分類装置が記載されている。前記分類部は、細胞が第１細胞である可能性を示す第１信頼度を前記特徴パラメータに基づいて算出する第１信頼度算出部と、細胞が第２細胞である可能性を示す第２信頼度を前記特徴パラメータに基づいて算出する第２信頼度算出部とを備えることが記載されている。これらの第１信頼度算出部及び第２信頼度算出部は、パラメータ算出部で取得した特徴パラメータを入力として用いて学習させたニューラルネットワークで構成されている。
特開２００４−３４０７３８号公報
しかしながら、特許文献１に記載の細胞分類装置において、第１信頼度算出部及び第２信頼度算出部に対する入力としてパラメータ算出部で取得した特徴パラメータの全てを用いた場合では、計算量が膨大になり、処理時間が長くなるという不都合が生じ得る。この不都合に対しては、特徴パラメータの全てではなく、その一部を入力として用いることによって対応することができるものの、その場合、特徴パラメータ全体のうちのどの特徴パラメータを入力に用いるのかをユーザが決定しなければならず、この作業は容易ではなかった。すなわち、ユーザにおいて、すべての特徴パラメータのそれぞれについて入力として採用するか否かを判定するという繁雑な作業が発生し、しかも、その結果として得られた特徴パラメータの組み合わせが、必ずしも画像分類に適しているわけではないという問題があった。しかも、その入力として採用するか否かの判定には、相当な知識及び経験を要するという問題もあった。
本発明はこのような事情に鑑みてなされたものであり、その目的は、画像分類に適した画像の特徴量の組み合わせパターンを選択することができる特徴量選択方法、その方法を実施する特徴量選択装置、その方法をコンピュータに実行させるためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、その方法により選択された組み合わせパターンを用いて画像分類を行う画像分類方法、及びその画像分類方法を実施する画像分類装置を提供することにある。
上記課題を解決するために、本発明の特徴量選択方法は、画像が有する複数の特徴量の複数の組み合わせパターンのそれぞれについて、複数の訓練画像のクラスタリングを実行する工程（ａ）と、前記クラスタリングの結果に基づいて、前記複数の組み合わせパターンの中から画像分類に用いられる分類用組み合わせパターンを選択する工程（ｂ）とを有し、前記クラスタリングは、前記組み合わせパターンを構成する特徴量を用いて算出された訓練画像相互間の類似度に基づいて行われる。
また、上記特徴量選択方法において、前記工程（ａ）及び前記工程（ｂ）を繰り返し実行するようにしてもよい。この場合において、２回目以降の工程（ａ）における前記複数の組み合わせパターンを、先に実行された工程（ｂ）において選択された分類用組み合わせパターンとすることが好適である。
さらに、上記特徴量選択方法において、前記工程（ａ）は、前記類似度に応じた距離間隔をおいて前記複数の訓練画像が配されたマップを生成する工程（ａ１）を含み、前記工程（ｂ）は、前記マップに基づいて、分類用組み合わせパターンを選択することが好適である。一態様として、前記工程（ｂ）は、前記工程（ａ１）において生成されたマップに対するアノテーションに基づいて、当該マップの評価値を算出し、算出されたマップの評価値に基づいて、分類用組み合わせパターンを選択する方法が挙げられる。より具体的には、前期工程（ｂ）が、前記工程（ａ１）において生成されたマップに含まれる複数の訓練画像のうちの一部の訓練画像に対するアノテーションに基づいて、当該マップの評価値を算出する方法、また、前期工程（ｂ）が、画像が有する特徴量、特徴量の組み合わせパターン、及び前記算出されたマップの評価値に基づき、組み合わせ最適化アルゴリズムを用いて繰り返し前記クラスタリングを実行する方法が挙げられる。さらに、前記工程（ｂ）が、画像が有する特徴量のそれぞれを遺伝子座とし、特徴量の組み合わせパターンのそれぞれを、前記遺伝子座を要素とする遺伝子を有する個体とし、前記算出されたマップの評価値のそれぞれを前記個体の適応度として、遺伝的アルゴリズムを用いて繰り返し前記クラスタリングを実行する方法が挙げられる。
上記特徴量選択方法は、例えば生物試料の画像の分類に用いることができ、その場合、前記画像は、生物試料を撮像して得られる撮像画像であり、前記特徴量は、前記生物試料の形状に由来する形状特徴量と、前記撮像画像のテクスチャに由来するテクスチャ特徴量とを含んでいるようにすることが好適である。
また、本発明は、上記特徴量選択方法をコンピュータに実行させるためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体である。
また、上記課題を解決するために、本発明の画像分類方法は、画像が有する複数の特徴量の複数の組み合わせパターンのそれぞれについて、複数の訓練画像のクラスタリングを実行する工程（ａ）と、前記クラスタリングの結果に基づいて、前記複数の組み合わせパターンの中から画像分類に用いられる分類用組み合わせパターンを選択する工程（ｂ）と、前記工程（ｂ）において選択された分類用組み合わせパターンを用いて、入力された画像を分類する工程（ｃ）とを有し、前記クラスタリングは、前記組み合わせパターンを構成する特徴量を用いて算出された訓練画像相互間の類似度に基づいて行われる。
また、上記課題を解決するために、本発明の特徴量選択装置は、画像が有する複数の特徴量の複数の組み合わせパターンの中から画像分類に用いられる分類用組み合わせパターンを選択する特徴量選択部を備え、当該特徴量選択部が、前記複数の組み合わせパターンのそれぞれについて、複数の訓練画像のクラスタリングを実行する工程（ａ）と、前記クラスタリングの結果に基づいて、分類用組み合わせパターンを選択する工程（ｂ）とを実行し、前記クラスタリングは、前記組み合わせパターンを構成する特徴量を用いて算出された訓練画像相互間の類似度に基づいて行われる構成である。
また、上記課題を解決するために、本発明の画像分類装置は、画像が有する複数の特徴量の複数の組み合わせパターンの中から画像分類に用いられる分類用組み合わせパターンを選択する特徴量選択部と、当該特徴量選択部によって選択された分類用組み合わせパターンを用いて、入力された画像を分類する画像分類部とを備え、前記特徴量選択部が、前記複数の組み合わせパターンのそれぞれについて、複数の訓練画像のクラスタリングを実行する工程（ａ）と、前記クラスタリングの結果に基づいて、分類用組み合わせパターンを選択する工程（ｂ）とを実行し、前記クラスタリングは、前記組み合わせパターンを構成する特徴量を用いて算出された訓練画像相互間の類似度に基づいて行われる構成である。
本発明の上記目的、他の目的、特徴、及び利点は、添付図面参照の下、以下の好適な実施態様の詳細な説明から明らかにされる。
本発明によれば、画像分類に適した画像の特徴量の組み合わせパターンを容易に取得することができる。
１，１ａ 画像分類システム
２ 蛍光検出装置
２ａ 蛍光顕微鏡
３ 撮像装置
３ａ ビデオカメラ
４ 画像分類装置
４ａ パーソナルコンピュータ
５ 出力装置
５ａ モニタ
６ 入力装置
６ａ キーボード
６ｂ マウス
７ 補助記憶装置
８ プログラム記憶媒体
４１ 制御部
４１ａ 特徴抽出器
４１ｂ 特徴選択器
４１ｃ 特徴マップ生成器
４１ｄ 特徴マップ評価器
４１ｅ 特徴選択制御器
４１ｆ クラス分類器
４２ 記憶部
２ 蛍光検出装置
２ａ 蛍光顕微鏡
３ 撮像装置
３ａ ビデオカメラ
４ 画像分類装置
４ａ パーソナルコンピュータ
５ 出力装置
５ａ モニタ
６ 入力装置
６ａ キーボード
６ｂ マウス
７ 補助記憶装置
８ プログラム記憶媒体
４１ 制御部
４１ａ 特徴抽出器
４１ｂ 特徴選択器
４１ｃ 特徴マップ生成器
４１ｄ 特徴マップ評価器
４１ｅ 特徴選択制御器
４１ｆ クラス分類器
４２ 記憶部
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。なお、以下では、本発明を、細胞を撮像して得られた撮像画像を分類する画像分類システムに適用した場合について説明する。
［画像分類システムの構成］
図１は、本発明の画像分類装置を備える画像分類システムの構成を示すブロック図である。画像分類システム１は、蛍光を検出する蛍光検出装置２と、蛍光検出装置２で検出された蛍光に由来する蛍光画像を取得する撮像装置３と、撮像装置３にて取得された蛍光画像を分類する画像分類装置４と、画像分類装置４での処理結果を出力する出力装置５と、各種操作を行うための入力装置６とを備えている。画像分類装置４は、後述の処理を実行する画像分類プログラム及び各種のデータを記憶する記憶部４２と、当該プログラムを実行するとともに各装置を制御する制御部４１とを具備している。
図２は、図１に示す画像分類システムの外観構成の一例を模式的に示す図である。図２に示す画像分類システム１ａは、蛍光を検出する蛍光顕微鏡２ａと、蛍光顕微鏡２ａで検出される蛍光を蛍光画像として取得するビデオカメラ３ａと、ビデオカメラ３ａにて取得された蛍光画像を分類するパーソナルコンピュータ（以下、ＰＣと称する）４ａと、ＰＣ４ａでの分類結果等を出力するモニタ５ａと、各種操作を行うためのキーボード６ａ及びマウス６ｂとを備えている。
図１は、本発明の画像分類装置を備える画像分類システムの構成を示すブロック図である。画像分類システム１は、蛍光を検出する蛍光検出装置２と、蛍光検出装置２で検出された蛍光に由来する蛍光画像を取得する撮像装置３と、撮像装置３にて取得された蛍光画像を分類する画像分類装置４と、画像分類装置４での処理結果を出力する出力装置５と、各種操作を行うための入力装置６とを備えている。画像分類装置４は、後述の処理を実行する画像分類プログラム及び各種のデータを記憶する記憶部４２と、当該プログラムを実行するとともに各装置を制御する制御部４１とを具備している。
図２は、図１に示す画像分類システムの外観構成の一例を模式的に示す図である。図２に示す画像分類システム１ａは、蛍光を検出する蛍光顕微鏡２ａと、蛍光顕微鏡２ａで検出される蛍光を蛍光画像として取得するビデオカメラ３ａと、ビデオカメラ３ａにて取得された蛍光画像を分類するパーソナルコンピュータ（以下、ＰＣと称する）４ａと、ＰＣ４ａでの分類結果等を出力するモニタ５ａと、各種操作を行うためのキーボード６ａ及びマウス６ｂとを備えている。
画像分類システム１における蛍光検出装置２としては、試料から発せられる蛍光の強度を検出できる装置であれば良く、蛍光顕微鏡２ａが好ましく用いられ、その他蛍光スキャナを用いることもできる。撮像装置３には、例えば、蛍光検出装置２からの画像信号を２次元グレイスケール(濃淡)画像として取得するビデオカメラ３ａを用いることができる。画像分類装置４は、例えば一定間隔ごとの撮像画像を実時間で処理できる画像処理回路、並びにＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏポートからなるマイクロコンピュータで構成することができる。画像分類装置４は、例えばＰＣ４ａで構成することも可能である。画像分類装置４の記憶部４２はＲＯＭやＲＡＭで構成され画像分類プログラムが記憶されているが、フレキシブルディスクやＣＤ−ＲＯＭ等のプログラム記録媒体８に記録された画像分類プログラムを、プログラム記録媒体８を機械的に読取・書込する装置（フレキシブルディスクドライブやＣＤ−ＲＯＭドライブ等）である補助記憶装置７を介して記憶部４２に読み込むようにしても良い。出力装置５には、例えばＣＲＴや液晶ディスプレイに情報を表示するようなモニタ５ａや、レーザプリンタのように紙に情報を印刷する印刷装置を用いることができる。入力装置６には、キーボード６ａやマウス６ｂ等を用いることができる。
図３は、画像分類装置４が備える制御部４１の構成を示す機能ブロック図である。図３に示すように、制御部４１は、画像の特徴量を抽出する特徴抽出器４１ａと、特徴抽出器４１ｂによって抽出された特徴量の中から特定の特徴量を選択する特徴選択器４１ｂと、特徴選択器４１ｂによって選択された特徴量を用いて後述する特徴マップを生成する特徴マップ生成器４１ｃと、特徴マップ生成器４１ｃによって生成された特徴マップの評価を行う特徴マップ評価器４１ｄと、特徴選択器４１ｂによる特徴量の選択を制御する特徴選択制御器４１ｅと、画像分類に最適なものとして選択された特徴量を用いて画像分類を行うクラス分類器４１ｆとを備えている。これらの特徴抽出器４１ａ、特徴選択器４１ｂ、特徴マップ生成器４１ｃ、特徴マップ評価器４１ｄ、特徴選択制御器４１ｅ、及びクラス分類器４１ｆは、画像分類プログラムのモジュールとして実現される。
上記の画像分類システム１が備える本発明の画像分類装置４は、本発明の特徴量選択装置としての機能を兼ねている。以下では、画像分類装置４の動作についての説明を、（１）分類器生成モード及び（２）分類モードの２つのモードに分けて行うが、このうち（１）分類器生成モードにおける動作は本発明の特徴量選択装置としての動作に相当し、これに（２）分類モードの動作を加えたものが本発明の画像分類装置としての動作に相当する。
［画像分類装置の動作］
上述したとおり、本発明の画像分類装置４は、（１）分類器生成モード及び（２）分類モードの２つの動作モードを有している。そして、後述するように、（１）分類器生成モードにおいて、訓練画像のクラスタリング及びそのクラスタリングの結果に基づく特徴量の選択及び分類器の生成を行い、（２）分類モードにおいて、選択された特徴量及び生成した分類器を用いた画像分類を行う。
上述したとおり、本発明の画像分類装置４は、（１）分類器生成モード及び（２）分類モードの２つの動作モードを有している。そして、後述するように、（１）分類器生成モードにおいて、訓練画像のクラスタリング及びそのクラスタリングの結果に基づく特徴量の選択及び分類器の生成を行い、（２）分類モードにおいて、選択された特徴量及び生成した分類器を用いた画像分類を行う。
ここで、クラスタリングとは、外的基準なしに自動的に分類を行なうことをいい、いわゆる「教師なし分類法」と呼ばれるものをいう。クラスタリングでは、分類すべきデータの集まりにおいて、任意の二つのデータ間に関連性を示す尺度が定義されているとし、データの集まりを幾つかの塊（クラスタ）に分割し、それぞれのクラスタの中でデータ間の関連性が高く、異なるクラスタ間では関連性が低くなるようにグループ分けを行なうようになっている。したがって、クラスタリングの結果を基にすれば、各画像データは、外的基準を設定するための事前処理等を必要とせずに、関連性の高い画像データ同士が同一クラスタに属するといったように分類されることになる。
（１）分類器生成モード
分類器生成モードにおいては、特徴抽出器４１ａの処理終了後、特徴選択器４１ｂ、特徴マップ生成器４１ｃ、特徴マップ評価器４１ｄ、及び特徴選択制御器４１ｅの各モジュールが、画像の特徴量の複数の組み合わせパターンの中から画像分類に適した組み合わせパターンを選択するまで、後述する処理を繰り返し実行する。この各モジュールにおける処理の繰り返しによって、訓練画像のクラスタリングが行われることになる。
分類器生成モードにおいては、特徴抽出器４１ａの処理終了後、特徴選択器４１ｂ、特徴マップ生成器４１ｃ、特徴マップ評価器４１ｄ、及び特徴選択制御器４１ｅの各モジュールが、画像の特徴量の複数の組み合わせパターンの中から画像分類に適した組み合わせパターンを選択するまで、後述する処理を繰り返し実行する。この各モジュールにおける処理の繰り返しによって、訓練画像のクラスタリングが行われることになる。
図４は、分類器生成モードにおける特徴抽出器４１ａの動作の流れを示すフローチャートである。まず、特徴抽出器４１ａは、撮像装置３によって撮像された複数の画像の入力を、当該撮像装置３から受け付ける（Ｓ１０１）。以下、この入力された画像を訓練画像と称する。
次に、特徴抽出器４１ａは、入力された画像が有する複数の特徴量を抽出し（Ｓ１０２）、その抽出した複数の特徴量を特徴群として特徴選択器４１ｂへ出力する（Ｓ１０３）。
訓練画像が時系列画像の場合、特徴抽出器４１ａは、タイムポイント毎に別々の画像へと分解し、その分解された画像毎にステップＳ１０２及びＳ１０３を実行することにより、各タイムポイントについての特徴群を特徴選択器４１ｂへ出力する。この場合、これ以降の各モジュールにおける処理は各タイムポイントの画像毎に独立して行なわれる。ただし、訓練画像間の時間的関係に関する情報は後段のモジュールで利用されるため、記憶部４２に記憶しておく。
また、訓練画像が複数の蛍光波長で撮像したマルチバンド画像の場合（例えば、細胞の核と微小管とをそれぞれ赤色と緑色とで蛍光標識して、これらの両方を撮像した画像の場合など）、特徴抽出器４１ａは、各バンドに分解した上でグレイスケール画像群を生成し、そのグレイスケール画像のそれぞれについて特徴量の抽出を実行する。
特徴抽出器４１ａにおいて抽出される特徴量の種類数は、訓練画像が最も単純な画像形式の場合で約１５０程度である。この特徴量には、撮像対象の形状に由来する形状特徴量と、その撮像対象のテクスチャに由来するテクスチャ特徴量とが含まれる。
本実施の形態における形状特徴量は、訓練画像から判別分析法によって閾値を決定して得られた白黒画像から抽出した白領域について、面積、周長、円形度、長軸長、短軸長、短軸長軸比、複雑度、訓練画像中の白領域に相当する領域の輝度分布（平均値、中央値、標準偏差、歪度、尖度）などを算出して得られる数値群である。
本実施の形態におけるテクスチャ特徴量は、訓練画像を最低輝度から最高輝度にかけての輝度範囲を１８段階に均等に分割して得られる１６種の閾値で２値化して得られた白黒画像群（１６種）のそれぞれについて白領域及び黒領域を抽出することにより撮像対象の面積、周長、個数、及び複雑度などの形態パラメータを測定し、各形態パラメータについて１６種の画像群全体における統計量（平均、最大、分散、中央値）を算出して得られた数値群であり、多重形状特徴量と呼べるものを含む。なお、これらの形状特徴量の抽出は、グレイスケール画像に対して行う他、前処理としてSobelフィルタを作用させて得た境界画像に対しても行う。
また、画像全体の輝度に基づいて算出される値であって、平均輝度、最大輝度、輝度の分散、輝度のヒストグラム、及び隣接画素間の輝度の関係性（差及び積）に着目した数値群であって、輝度特徴量と呼べるものも含む。特徴抽出器４１ａによって抽出される特徴量としては表１に掲げるものが挙げられる。
なお、訓練画像が時系列画像の場合、特徴抽出器４１ａは、特徴量の抽出処理の最終段において、各特徴量について一つ前のタイムポイントの特徴量との差分を計算し、これを特徴群として追加する。
例えば、撮像対象が細胞の染色体である場合、形状特徴量（形態パラメータ）としては表２に掲げるものが挙げられ、テクスチャ特徴量としては表３に掲げるものが挙げられる。
図５は、分類器生成モードにおける特徴選択器４１ｂの動作の流れを示すフローチャートである。特徴選択器４１ｂは、初期状態であるか否かを判定し（Ｓ２０１）、初期状態であると判定した場合（Ｓ２０１でＹＥＳ）、特徴抽出器４１ａから入力された特徴群を選択した特徴群（選択特徴群）として特徴マップ生成器４１ｃへ出力する（Ｓ２０２）。
他方、初期状態ではないと判定した場合（Ｓ２０１でＮＯ）、特徴選択器４１ｂは、後述するようにして特徴選択制御器４１ｅから入力された選択特徴群を特徴マップ生成器４１ｃへ出力する（Ｓ２０３）。このようにして、特徴選択器４１ｂは特徴選択制御器４１ｅによって制御される。
図６は、分類器生成モードにおける特徴マップ生成器４１ｃの動作の流れを示すフローチャートである。まず、特徴マップ生成器４１ｃは、選択特徴群の入力を特徴選択器４１ｂから受け付ける（Ｓ３０１）。この場合、特徴マップ生成器４１ｃは、訓練画像のすべてに対する選択特徴群を同時に入力として受け取る。次に、特徴マップ生成器４１ｃは、訓練画像相互間の類似度を算出し、その類似度に応じた距離間隔をおいて複数の訓練画像が配された特徴マップを生成し（Ｓ３０２）、その生成した特徴マップを出力装置５及び特徴マップ評価器４１ｄに対して出力する。その後、出力装置５は、この特徴マップを画面上に表示する。以下、この特徴マップについて詳述する。
本実施の形態において、特徴マップ生成器４１ｃが実行する特徴マップの生成処理は、自己組織化マップ（ＳＯＭ：Self-Organizing
Maps）法を用いてなされる。すなわち、訓練画像の選択特徴量を用いて訓練画像相互間の類似度を算出し、その類似度に応じた距離間隔をおいて複数の訓練画像が配されるように当該訓練画像を二次元平面に写像することにより、特徴マップが生成される。この特徴マップは、各訓練画像相互間の類似性と、訓練画像群に含まれている相互の関係性とを表した図形となる。
Maps）法を用いてなされる。すなわち、訓練画像の選択特徴量を用いて訓練画像相互間の類似度を算出し、その類似度に応じた距離間隔をおいて複数の訓練画像が配されるように当該訓練画像を二次元平面に写像することにより、特徴マップが生成される。この特徴マップは、各訓練画像相互間の類似性と、訓練画像群に含まれている相互の関係性とを表した図形となる。
特徴マップ生成器４１ｃによって生成され、出力装置５の画面上に表示される特徴マップの例を図１１に示す。図１１に示すとおり、特徴マップは、正六角形格子によって均等な領域（ノード）に分割されており、各訓練画像はいずれかのノードに写像されている。図１１に示す例では、ノード数を１４４個としているが、この数は訓練画像の数に応じて適宜調整することができる。特徴マップ上では、類似した画像が隣り合うノード上又は同一のノード上に配置される。ここで、類似性の尺度は、特徴マップ生成器４１ｃに入力された選択特徴群によって規定される。また、特徴マップ上で隣り合うノード対の境界には、ノード間の類似性を示す値（ノード間類似度）が割り当てられている（図１１では、濃淡によって表されている。）。
訓練画像が時系列画像である場合、各タイムポイントの画像がそれぞれ別個に特徴マップ上に配される他、タイムポイント間の時間関係を示す情報として、画像間を接続する線分によって表現される軌跡が特徴マップ上に表示される。
なお、本実施の形態において特徴マップ生成器４１ｃにより算出される類似度は、「画像ａの選択特徴群（１個以上の数値データからなる）Ｆａ」と「画像ｂの選択特徴群（１個以上の数値データからなる）Ｆｂ」とのユークリッド距離ｄ（Ｆａ，Ｆｂ）と定義することができ、Ｆａ及びＦｂをｎ個の特徴量の組み合わせとしてＦａ＝（a1, a2, a3, ... an）及びＦｂ＝ (b1, b2, b3, ...
bn)とそれぞれ表した場合、次の式１により算出される。
bn)とそれぞれ表した場合、次の式１により算出される。
図７は、分類器生成モードにおける特徴マップ評価器４１ｄの動作の流れを示すフローチャートである。特徴マップ評価器４１ｄは、特徴マップ生成器４１ｃから特徴マップの入力を受け付ける（Ｓ４０１）。次に、特徴マップ評価器４１ｄは、その特徴マップが訓練画像群における撮像対象の状態の分布を反映している度合いを示す０以上１以下の実数値を評価値として算出し（Ｓ４０２）、その算出した評価値を特徴選択制御器４１ｅへ出力する（Ｓ４０３）。以下、この特徴マップの評価について詳述する。
特徴マップ評価器４１ｄが実行する特徴マップの評価における評価基準は、ユーザによる分類基準の指示であるアノテーションを受けて設定される。すなわち、特徴マップ評価器４１ｄは、特徴マップに対するアノテーションに基づいて、特徴マップの評価を行っている。
上述したように、分類器生成モードにおいて、特徴マップ評価器４１ｄは繰り返し動作するが、特に初回動作時にはユーザからの指示を待ち、アノテーション工程を行う。ただし、複数の時系列画像を訓練画像群とする場合では、この時点においてアノテーション工程を省略することも可能である。
本実施の形態において、アノテーション工程は、出力装置５の画面上に表示された特徴マップをユーザが観察し、その特徴マップ上のどの領域がどの状態に相当するかを入力装置６を用いてユーザが入力することにより実施される。このアノテーション工程を実施した場合の特徴マップの例を図１２に示す。図１２において、Ｐｒｏは前期、Ｐｒｏｍｅｔａは前中期、Ｍｅｔａは中期、Ａｎａは後期、Ｔｅｌｏは終期、Ｇ２はＧ２期（細胞分裂期直前の間期）を表す。
訓練画像群が時系列画像でない場合、特徴マップ評価器４１ｄは、アノテーションによって得られた教師データに基づいて、特徴マップの評価値を算出する。具体的には、特徴マップ上での「クラス間の境界に相当する隣り合うノード対すべてについてのノード間類似度の総和」を「すべてのノード間類似度の総和」で除することによって正規化を行い、１からその正規化された値を減ずることにより評価値を算出する。
また、訓練画像が時系列画像である場合であって、初回動作時にアノテーション工程を省略するときには、「各撮像対象の状態推移を示す軌跡間の距離」を「すべてのノード間類似度の総和」で除することによって正規化を行い、１からその正規化された値を減ずることにより評価値を得る。
このようにして算出された評価値が高いほど、前々段の特徴選択器４１ｂによって選択された特徴群が、アノテーションにしたがって撮像対象の状態を分類するのに適していることを意味している。
図８は、分類器生成モードにおける特徴選択制御器４１ｅの動作の流れを示すフローチャートである。特徴選択制御器４１ｅは、特徴マップ評価器４１ｄから特徴マップの評価値の入力を受け付ける（Ｓ５０１）。そして、その評価値を最大化することができる特徴量の組み合わせパターンである選択特徴群を、組み合わせ最適化アルゴリズムを用いて決定する（Ｓ５０２）。具体的には、特徴抽出器４１ａから出力される複数の特徴量のうち、どの特徴量を組み合わせれば特徴マップの評価値が最大になるか（すなわち、撮像対象の状態を適切に評価できるか）を検索することにより、撮像対象の状態を評価するための基準として優れている選択特徴群を決定する。そのために、特徴選択制御器４１ｅは、特徴選択器４１ｂを最適制御する。
なお、特徴抽出器４１ａから出力される特徴量の種類数をＭとすると、特徴量の組み合わせの数は２のＭ乗となる。Ｍは通常数百以上であるため、これら組み合わせのすべてについて特徴マップの生成及びその評価を行うことは、計算時間の制約により現実的ではない。そのため、近似解を高速に検索する組み合わせ最適化アルゴリズムが用いられる。本実施の形態においては、その組み合わせ最適化アルゴリズムとして、遺伝的アルゴリズム（ＧＡ）を採用した。
ＧＡは、自然選択による生物の進化に着想を得た最適化手法であり、一つ一つの解候補を「個体」に、解候補の妥当性を「適応度」にそれぞれなぞらえ、個体群を構成する各個体の適応度を求め，適応度の高い個体を選択・交配することで次世代個体群を生成し、さらに次世代個体群について各個体の適応度を求めるという工程を繰り返すことによって、与えられた問題に対する近似解を求めるものである。本実施の形態において、「与えられた問題」は「生物試料の状態をアノテーションに従って分類する際に適した特徴選択を行なうこと」であり、「個体」は「特徴選択器４１ｂにおいて選択される特徴量の種類」に相当し、「適応度」は「特徴マップ評価器４１ｄにより得られる評価値」に相当する。具体的には、訓練画像から抽出される各特徴量を1 ビットの「遺伝子座」として扱い、遺伝子座の値が１の場合は特徴選択器４１ｂにおいて該当する特徴量を選択し、その後の特徴マップの生成に利用し、その値が０の場合は該当する特徴量を選択せず、その後の特徴マップの生成に利用しないようにする。遺伝子座の数は特徴量の種類数Ｍと等しく、したがって、Ｍビットの「遺伝子」がＧＡ「個体」の遺伝型となる。
図９は、組み合わせ最適化アルゴリズムとして遺伝的アルゴリズムを採用した場合における訓練画像のクラスタリング及びそのクラスタリングの結果に基づく特徴量の選択を行うときの制御部４１の動作の流れを示すフローチャートである。
なお、本実施の形態において、ＧＡのパラメータとしては、交叉法：一様交叉、選択・世代交代法：トーナメント選択（ＴＳ）＋エリート保存戦略（ＥＳＳ）、個体群のサイズ（個体数「Ｐ」とする)：100個体、変異率：0.01／遺伝子座を用いたが、これらは適宜調整可能である。
まず、制御部４１は、第１世代の個体群を構成する各個体の評価を実行する（Ｓ６０１）。この第１世代の個体群において、１個体は全ビットを１に設定し、残りのＰ−１個体は乱数によってその遺伝形質を決定する。
各個体の適応度の算出は、特徴選択器４１ｂ〜特徴マップ生成器４１ｃ〜特徴マップ評価器４１ｄの各モジュールを一度動作することで行われる。したがって、個体群の全個体についての評価は、特徴選択器４１ｂ〜特徴マップ生成器４１ｃ〜特徴マップ評価器４１ｄの各モジュールを最大Ｐ回動作させることによって完了する。なお、全遺伝子座が０の個体については例外とし、上記モジュールを動作させることなくその評価値を最低値（０）とする。
次に、制御部４１は、次世代の個体群を生成する（Ｓ６０２）。ここでは、個体群全体から、評価値の高い上位個体（これは生物試料の状態の評価を行なうのに適した特徴群を意味する）をＴＳによって選抜した上で、一様交叉法によって次世代の個体群を生成する。また、評価値のとくに高い個体は次世代にそのまま残す（ＥＳＳ）。このＥＳＳの採用により、最大評価値は、世代交代にともない増加するか、もしくは不変である。
次に、制御部４１は、生成した個体群を構成する各個体の評価を、上述した場合と同様にして実行する（Ｓ６０３）。そして、制御部４１は、評価値が不変である状態がＮ（Ｎはユーザにより適宜設定される）世代数以上続いているか否かを判定する（Ｓ６０４）。ここで、Ｎ世代数以上は続いていないと判定した場合（Ｓ６０４でＮＯ）、制御部４１は、ステップＳ６０２に戻る。これに対し、Ｎ世代数以上続いていると判定した場合（Ｓ６０４でＹＥＳ）、制御部４１は、遺伝的アルゴリズムを停止し、このときの最良個体の遺伝形質、つまり選択すべき特徴量の組み合わせを選択特徴群として設定する（Ｓ６０５）。この設定は、特徴選択器４１ｂによって当該特徴量の組み合わせを記憶部４２に記憶することによりなされる。また、特徴マップ生成器４１ｄによって、最良個体に係る特徴量の組み合わせを用いた特徴マップが生成され、記憶部４２に記憶される。この特徴マップは、後述する分類モードでの動作で利用される。
以上の処理により、後の分類モードに用いられる特徴量の組み合わせ（最適特徴群）の選択と、アノテーションによる全ての訓練画像に対するクラス名のラベル付けが完了する。
図１０は、分類器生成モードにおけるクラス分類器４１ｆの動作の流れを示すフローチャートである。まず、クラス分類器４１ｆは、特徴選択器４１ｂから入力された最適特徴群を教師データセットとして入力を受け付け（ＳＡ１）、各訓練画像の最適特徴群の値（最適特徴ベクトル）とクラス名の対応関係にもとづいて、クラス分類のための分類基準を生成し（ＳＡ２）、その分類基準を記憶部４２に記録する（ＳＡ３）。分類基準の生成には教師付き学習アルゴリズムが用いられる。本実施の形態においては、教師付き学習アルゴリズムとして、サポートベクターマシン（ＳＶＭ）を採用した。ＳＶＭとは、特徴群の数によって次元が定まる特徴空間内においてクラス間の境界となる超平面を、その超平面に最も近い特徴ベクトルからの距離が最大になるように定めるアルゴリズムである。分類基準を記録することによって、分類器の生成は完了する。
図１５は、分類器生成モードにおいてクラス分類器４１ｆが生成した分類基準の例を説明する図である。図１５には、HeLa細胞の核・染色体蛍光像からのアポトーシス判定（生きている細胞、アポトーシスした細胞の２分類）において、特徴量が下記の２つ選択されたときに、クラス分類器４１ｆにＳＶＭを利用して分類基準として分離超平面を生成した分類基準の例が示されている。なお、図１５において、選択された特徴量の１つである「最大輝度」が横軸に、もう１つの選択された特徴量である「境界画像の多重形状特徴のうち低輝度領域の総面積の標準偏差」が縦軸にそれぞれあたる。
図１５（ａ）は、分離超平面を生成する前の、アノテーションによってクラス名がラベリングされた訓練画像の、上記２特徴量からなる特徴空間中における分布を示している。１つの点が１つの訓練画像に相当する。図中の○でプロットされた点のクラス名は「生きている細胞」に、×でプロットされた点のクラス名は「アポトーシスした細胞」にそれぞれ相当する。
また、図１５（ｂ）は、分離基準として実線で示す分離超平面が生成された状態を示している。符号５０Ａで示される位相が「生きている細胞」、符号５０Ｂで示される位相が「アポトーシスした細胞」に相当する。クラス分類器４１ｆは分離超平面と各位相のクラス名とを記憶部４２に記憶する。
なお、ここでは図示しないが、最適特徴群を構成する特徴量の数が数十程度に及ぶ場合、分離基準である分離超平面が存在する空間（特徴空間）は数十次元空間となる。
（２）分類モード
分類モードにおいては、一つの画像の分類にあたって、特徴抽出器４１ａの処理終了後、特徴選択器４１ｂ、特徴マップ生成器４１ｃ、及びクラス分類器４１ｆの各モジュールをそれぞれ一度実行する。
分類モードにおいては、一つの画像の分類にあたって、特徴抽出器４１ａの処理終了後、特徴選択器４１ｂ、特徴マップ生成器４１ｃ、及びクラス分類器４１ｆの各モジュールをそれぞれ一度実行する。
特徴抽出器４１ａの動作の流れは分類器生成モードと同一である。図４に示すように、特徴抽出器４１ａは、撮像装置３によって撮像された画像の入力を、当該撮像装置３から受け付ける（Ｓ１０１）。以下、この入力された画像を分類対象画像と称する。次に、特徴抽出器４１ａは、入力された画像が有する複数の特徴量を抽出し（Ｓ１０２）、その抽出した複数の特徴量を特徴群として特徴選択器４１ｂへ出力する（Ｓ１０３）。
つぎに、特徴選択器４１ｂが、分類器生成モードにおいて最終的に選択された特徴群を最適特徴群として記憶部４２から読み出し、特徴抽出器４１ａから入力された特徴群の中から最適特徴群を選択し、特徴マップ生成器４１ｃ及びクラス分類器４１ｆに出力する。その後、特徴マップ生成器４１ｃ及びクラス分類器４１ｆが以下のように処理を実行する。
図１３は、分類モードにおける特徴マップ生成器４１ｃの動作の流れを示すフローチャートである。特徴マップ生成器４１ｃは、画像分類の対象となる画像である分類対象画像の入力を受け付ける（Ｓ７０１）。次に、特徴マップ生成器４１ｃは、記憶部４２に記憶されている特徴マップ、すなわち分類器生成モードによって選択された最適特徴群に基づいて生成された特徴マップを読み出す（Ｓ７０２）。
そして、特徴マップ生成器４１ｃは、特徴選択器４１ｂから入力された最適特徴群を用いて、読み出した特徴マップ上に分類対象画像を写像し（Ｓ７０３）、その写像後の特徴マップを出力装置５へ出力する（Ｓ７０４）。出力装置５は、特徴マップ生成器４１ｃから入力された特徴マップを画面上に表示する。この特徴マップは、分類対象画像が、訓練画像群中のどの画像に類似しているのかを図示したものといえる。
図１４は、分類モードにおけるクラス分類器４１ｆの動作の流れを示すフローチャートである。クラス分類器４１ｆは、特徴選択器４１ｂから最適特徴群の入力を受け付け（Ｓ８０１）、記憶部４２から分類基準を読み出し（Ｓ８０２）、最適特徴群の値を分類基準に基づいて分類し、生物試料の状態を示すクラス名を含む分類結果を生成し（Ｓ８０３）、その分類結果を出力装置５へ出力する（Ｓ８０４）。出力装置５は、クラス分類器４１ｆから入力された分類結果を画面上に表示する。
このようにして表示装置５の画面上に表示された特徴マップ及び分類結果を参照することにより、ユーザは、分類対象画像の分類の結果を確認することができる。
以上では、細胞を撮像した蛍光画像を分類する画像分類システムに本発明を適用した場合について説明したが、本発明はこれに限定されるわけではなく、各種の撮像装置により取得された画像を分類する画像分類システムに適用可能である。例えば、本発明は医療用途の画像分類システムに適用可能であり、この場合、撮像画像としては、生物個体、生物組織、生物個体または組織の切片、血液等の生物個体由来体液、細胞等を撮像した、顕微鏡画像、Ｘ線像、ＭＲＩ像（核磁気共鳴像）、超音波像が例示される。
以下、実施例１〜６において、上述した実施の形態の画像分類システムを用いて細胞の分類を行った。各実施例における判定精度を表４に示す。
（実施例１）
実施例１では、ＨｅＬａ細胞の細胞周期におけるクラス（ステージ）判定を行った。訓練画像及び分類対象画像としてＨｅＬａ細胞の明視野像（時系列画像）を用い、Ｇ２期、前期〜前中期、中期、後期〜終期、細胞質分裂期、Ｇ１期の６つのクラスのいずれに属するかの判定を行った。本実施例における判定結果を目視結果と対比したところ、表４に示すように、判定精度は９０．９％であった。
実施例１では、ＨｅＬａ細胞の細胞周期におけるクラス（ステージ）判定を行った。訓練画像及び分類対象画像としてＨｅＬａ細胞の明視野像（時系列画像）を用い、Ｇ２期、前期〜前中期、中期、後期〜終期、細胞質分裂期、Ｇ１期の６つのクラスのいずれに属するかの判定を行った。本実施例における判定結果を目視結果と対比したところ、表４に示すように、判定精度は９０．９％であった。
（実施例２）
実施例２では、ＨｅＬａ細胞のアポトーシス判定を行った。訓練画像及び分類対象画像としてＨｅＬａ細胞の明視野像を用い、生きている細胞であるか、アポトーシスした細胞であるかの判定を行った。表５に、分類器生成モードにおいて、特徴抽出器４１ａにおいて抽出された特徴群を示す。
表５において、括弧を付した特徴量は最適特徴群として選択された特徴量である。本実施例における判定結果を目視結果と対比したところ、表４に示すように、判定精度は９６．９％であった。
実施例２では、ＨｅＬａ細胞のアポトーシス判定を行った。訓練画像及び分類対象画像としてＨｅＬａ細胞の明視野像を用い、生きている細胞であるか、アポトーシスした細胞であるかの判定を行った。表５に、分類器生成モードにおいて、特徴抽出器４１ａにおいて抽出された特徴群を示す。
（実施例３）
実施例３では、ＨｅＬａ細胞の細胞周期におけるクラス（ステージ）判定を行った。訓練画像及び分類対象画像としてＨｅＬａ細胞の核・染色体の蛍光画像を用い、Ｇ２期、前期、前中期、中期、後期、終期、細胞質分裂期、Ｇ１期の８つのクラスのいずれに属するかの判定を行った。本実施例における判定結果を目視結果と対比したところ、表４に示すように、判定精度は８８．１％であった。
実施例３では、ＨｅＬａ細胞の細胞周期におけるクラス（ステージ）判定を行った。訓練画像及び分類対象画像としてＨｅＬａ細胞の核・染色体の蛍光画像を用い、Ｇ２期、前期、前中期、中期、後期、終期、細胞質分裂期、Ｇ１期の８つのクラスのいずれに属するかの判定を行った。本実施例における判定結果を目視結果と対比したところ、表４に示すように、判定精度は８８．１％であった。
（実施例４）
実施例４では、ＨｅＬａ細胞の細胞周期におけるクラス（ステージ）判定を行った。訓練画像及び分類対象画像としてＨｅＬａ細胞の核・染色体の蛍光画像（時系列画像）を用い、Ｇ２期、前期、前中期、中期、後期、終期、細胞質分裂期、Ｇ１期の８つのクラスのいずれに属するかの判定を行った。本実施例における判定結果を目視結果と対比したところ、表４に示すように、判定精度は９５．２％であった。
実施例４では、ＨｅＬａ細胞の細胞周期におけるクラス（ステージ）判定を行った。訓練画像及び分類対象画像としてＨｅＬａ細胞の核・染色体の蛍光画像（時系列画像）を用い、Ｇ２期、前期、前中期、中期、後期、終期、細胞質分裂期、Ｇ１期の８つのクラスのいずれに属するかの判定を行った。本実施例における判定結果を目視結果と対比したところ、表４に示すように、判定精度は９５．２％であった。
（実施例５）
実施例５では、ＨｅＬａ細胞のアポトーシス判定を行った。訓練画像及び分類対象画像としてＨｅＬａ細胞の核・染色体の蛍光画像（時系列画像）を用い、生きている細胞であるか、アポトーシスした細胞であるかの判定を行った。表６に、分類器生成モードにおいて、特徴抽出器４１ａにおいて抽出された特徴群を示す。
実施例５では、ＨｅＬａ細胞のアポトーシス判定を行った。訓練画像及び分類対象画像としてＨｅＬａ細胞の核・染色体の蛍光画像（時系列画像）を用い、生きている細胞であるか、アポトーシスした細胞であるかの判定を行った。表６に、分類器生成モードにおいて、特徴抽出器４１ａにおいて抽出された特徴群を示す。
表６において、括弧を付した特徴量は最適特徴群として選択された特徴量である。本実施例における判定結果を目視結果と対比したところ、表４に示すように、判定精度は９５．１％であった。
図１６（ａ）は、本実施例での入力画像を出力装置５で表示した一画面を示す。図１６（ａ）に示す画面および入力画像を表示したその他の画面を見ながら入力装置６を操作してＨｅＬａ細胞の核・染色体を含む複数の領域を分類対象画像として選択した。選択された分類対象画像について分類モードにおいて判定がなされ、出力装置５に判定結果が表示された。図１６（ｂ）は、本実施例の判定結果を出力装置５で表示した一画面を示す。図１６（ｂ）において、矩形で囲まれた領域は、選択した分類対象画像であり、「ｏｔｈｅｒ」との表記は「生きている細胞」として判定された分類対象画像であり、「ａｐｏ」との表記は「アポトーシスした細胞」として判定された分類対象画像である。図１６（ｂ）に示す分類対象画像についての判定結果は、目視結果と完全に一致していた。
（実施例６）
実施例６では、シロイヌナズナ葉表皮組織の細胞種別の判定を行った。訓練画像及び分類対象画像としてシロイヌナズナ葉表皮組織の明視野像を用い、表皮細胞であるか、孔辺細胞であるかの判定を行った。本実施例における判定結果を目視結果と対比したところ、表４に示すように、判定精度は９７．９％であった。
実施例６では、シロイヌナズナ葉表皮組織の細胞種別の判定を行った。訓練画像及び分類対象画像としてシロイヌナズナ葉表皮組織の明視野像を用い、表皮細胞であるか、孔辺細胞であるかの判定を行った。本実施例における判定結果を目視結果と対比したところ、表４に示すように、判定精度は９７．９％であった。
上述のように、各実施例においては、非常に高い判定精度で細胞の分類を行うことができた。
なお、上記の各実施例のように、生物試料画像の分類に際しては、分類基準が外的基準としては存在しない場合が多い。分類の指針が経験的に与えられている場合であっても、その指針は分類を自動化するためコンピュータプログラムとして実装するに足る自明性や一貫性を備えていないことがほとんどである。さらに、生物試料画像の分類においては、例えば細胞画像を細胞周期の各フェイズへ分類する場合のように、明確な境界が存在せず、生命現象の記述のため便宜的に時期を分類する場合も多い。こうした対象を分類する場合、単に分類基準を決めるだけでなく、入力する画像群をいくつのタイプのどのようなクラスへと分類するべきかといった、分類の方針も検討する必要がある。本発明では、画像分類を自動化するだけでなく、分類基準の決定に先立ってクラスタリングを行ない画像群の分布状況を可視化することによって、いくつのタイプのどのようなクラスへと分類するべきかといった方針をユーザが決定する過程を支援する。
また、生物試料画像の多くは形状特徴量だけでは十分に試料の性質を表現できないため、画像分類の際には画像の肌理・模様をあらわすテクスチャ特徴量に頼らざるを得ない。しかし形状特徴量に比べてテクスチャ特徴量の種類は多く、数百以上にのぼる。画像分類に有用な特徴は、多数のテクスチャ特徴量中のごく一部に過ぎず、さらに画像の種類・性質や分類目的ごとに適したテクスチャ特徴量は異なる。そのため、生物試料画像の分類システムの開発にあたっては、多数のテクスチャ特徴量の中から分類に適した特徴量を選択する工程を経るのが一般的であった。この工程は本発明の実現する特徴群の選択方法によって自動化できるため、生物試料画像の分類システムの開発における主要な障壁のひとつを解決できる。
［その他の実施の形態］
上述した実施の形態における撮像装置３、画像分類装置４、出力装置５、及び入力装置６は、それぞれネットワーク上に分散して設けられてもよい。また、画像分類装置４を構成するモジュール４１ａ〜４１ｆは、いずれかの機能が専用回路により設けられるか、あるいは、いずれかの機能が１つの独立したコンピュータにより実行されるかは適宜変更されてよい。例えば、医療分野において遠隔画像診断システムを実現するために、特徴マップ生成器４１ｃ及び特徴マップ評価器４１ｄと、出力装置５と、入力装置６とを他の装置から離れた地点に設けることで、場所を異にしながら専門家によるアノテーション工程と分類対象画像の撮像工程とを同時に並行して実施できる。
上述した実施の形態における撮像装置３、画像分類装置４、出力装置５、及び入力装置６は、それぞれネットワーク上に分散して設けられてもよい。また、画像分類装置４を構成するモジュール４１ａ〜４１ｆは、いずれかの機能が専用回路により設けられるか、あるいは、いずれかの機能が１つの独立したコンピュータにより実行されるかは適宜変更されてよい。例えば、医療分野において遠隔画像診断システムを実現するために、特徴マップ生成器４１ｃ及び特徴マップ評価器４１ｄと、出力装置５と、入力装置６とを他の装置から離れた地点に設けることで、場所を異にしながら専門家によるアノテーション工程と分類対象画像の撮像工程とを同時に並行して実施できる。
このように、本発明は、医療分野において、ＭＲＩ（核磁気共鳴装置）、ＣＴスキャン、ＰＥＴ（陽電子放射断層撮影）、Ｘ線透視画像装置などの診断システムに適用可能である。
また、上記実施の形態では、遺伝的アルゴリズムを用いて最適特徴群が決定されるが、他の手法により最適特徴群の決定が行なわれてもよい。例えば、最適解を近傍検索により得る局所検索法、ランダム多スタート局所検索法、局所検索法を改善したアニーリング法やタブー検索法等が利用されてもよい。
（アノテーション工程の他の態様）
上記実施の形態では、特徴マップ上のどの領域がどの状態に相当するかをユーザが指示することによりアノテーション工程を実施しているが、アノテーション工程の態様はこれに限定されるわけではない。例えば、特徴マップ上に表されている訓練画像のうちの一部の訓練画像に対するアノテーションを行うことによりアノテーション工程を実施するようにしてもよい。以下では、そのようなアノテーション工程の例を示す。
上記実施の形態では、特徴マップ上のどの領域がどの状態に相当するかをユーザが指示することによりアノテーション工程を実施しているが、アノテーション工程の態様はこれに限定されるわけではない。例えば、特徴マップ上に表されている訓練画像のうちの一部の訓練画像に対するアノテーションを行うことによりアノテーション工程を実施するようにしてもよい。以下では、そのようなアノテーション工程の例を示す。
まず、ユーザは、出力装置５の画面上に表示された特徴マップの中から複数の画像を選択する。そして、それらの画像がどのグループに属するか（例えば、画像Ａ及び画像ＢはグループＰに属し、画像Ｃ及び画像ＤはグループＱに属す等）を入力装置６を用いてユーザが入力することにより、アノテーション工程が実施される。
この場合、特徴マップ評価器４１ｄは、上記アノテーションによって得られた教師データに基づいて、次の式２により特徴マップの評価値を算出する。
ここで、ｎはグループ数を示している。また、「グループ内の評価値」は種々の方法により算出され得るが、例えば、画像数が２の場合においては「１／（特徴マップ上における画像間距離）」により算出し、画像数が３以上の場合においては「１／（特徴マップ上における多角形の周長）」により算出することが考えられる。なお、この場合の多角形とは、特徴マップ上において同一グループ内の画像が位置する点をすべて含む最小の凸多角形を意味する。
次に、様々な細胞周期の状態にある複数のＨｅＬａ細胞（染色体・核がＧＦＰヒストン融合遺伝子の導入により標識されている）について蛍光顕微鏡により染色体・核の蛍光像を撮像し、それにより得た撮像画像を用いて本実施の形態による画像分類を行った例について説明する。
図１７Ａは、上記の撮像画像の一部の領域を示す図である。また、図１７Ｂは、図１７Ａに示す撮像画像における各細胞に対して矩形領域を設定した例を示す図である。このようにして設定された各矩形領域が訓練画像となる。
図１８Ａは、分類器生成モードにおいて実行される最初のクラスタリングによって得られた特徴マップに対して専門家がアノテーションを行った例を示す図である。ここでは、図１８Ａに示すように、合計１１枚の訓練画像がアノテーションの対象となっており、そのうちの２枚の訓練画像がＧ２期（G2）に、他の２枚の訓練画像が分裂前中期（prometa）に、他の４枚の訓練画像が分裂中期（meta）に、他の３枚の訓練画像がＧ１期（G1）にそれぞれ属すると判断されている。これら４つのグループ（細胞周期）のそれぞれについて、上述したように画像数が２の場合は「１／（特徴マップ上における画像間距離）」により、画像数が３以上の場合は「１／（特徴マップ上における多角形の周長）」によりグループ内の評価値を算出し、そのグループ内の評価値を用いて上記式２により特徴マップの評価値を算出する。
図１８Ｂは、上述したようにして算出された特徴マップの評価値が高くなるように遺伝的アルゴリズムを適用した結果得られた特徴マップを示す図である。図１８Ｂを参照すると、アノテーションが施された訓練画像については、同一グループに属している訓練画像が近くに集まっていることが確認できる。また、それらのグループと同じ細胞周期にあるアノテーションが施されていない画像も近くに集まっていることが確認できる。さらに、アノテーションの対象ではない細胞周期である分裂前期（pro）、分裂後期／分裂終期（ana/telo）の画像が、アノテーションの対象となったＧ２期（G2）、分裂中期（metaphase）及び分裂前中期（prometa）とは異なる箇所に集まっていることも確認することができる。
このようにして得られた特徴量の選択パターンに基づいて教師付き学習による分類器を生成した後、分類モードにおいて、アノテーションを施していない矩形の画像領域に対して細胞周期の自動分類を行った。図１９はその結果を示す図である。この結果を目視結果と対比したところ、判定精度は９５．６％であった。
（アノテーション工程の省略）
上述したとおり、上記実施の形態では、分類器生成モードにおいて、複数の時系列画像を訓練画像群とする場合の特徴マップ評価器４１ｄの初回動作時にアノテーション工程を省略することが可能である。しかしながら、訓練画像が時系列画像である場合であれば、初回動作時に限らず、アノテーション工程を省略することは可能である。このように、アノテーション工程を省略した場合の例について、以下に示す。
上述したとおり、上記実施の形態では、分類器生成モードにおいて、複数の時系列画像を訓練画像群とする場合の特徴マップ評価器４１ｄの初回動作時にアノテーション工程を省略することが可能である。しかしながら、訓練画像が時系列画像である場合であれば、初回動作時に限らず、アノテーション工程を省略することは可能である。このように、アノテーション工程を省略した場合の例について、以下に示す。
なお、この例では、１つのＨｅＬａ細胞（染色体・核がＧＦＰヒストン融合遺伝子の導入により標識されている）について蛍光顕微鏡により染色体・核の蛍光像を連続的に撮像し、これにより得た細胞分裂の各過程を連続的に捉えた複数の時系列画像を用いて、本実施の形態による画像分類を行っている。具体的には、１つのＨｅＬａ細胞について、Ｇ２期（G2）、分裂前期（pro）、分裂前中期（prometa）、分裂中期（meta）、分裂後期／分裂終期（ana/telo）、及びＧ１期（G1）の各過程を連続的に捉えた複数の時系列画像（図２０）を訓練画像群とし、その訓練画像群を用いて分類器生成モードを実行し、その結果得られた分類器を用いて分類モードを実行している。
図２１Ａは、分類器生成モードにおいて実行される最初のクラスタリングによって得られた特徴マップに対して各画像間の時間的な前後関係（撮像対象である細胞の状態遷移、すなわち細胞の分裂前であるＧ２期から、分裂中の各時期を経て、分裂後のＧ１期までの遷移）を矢印により示した図である。この最初のクラスタリングの後に、上記実施の形態と同様に、「各撮像対象の状態推移を示す軌跡間の距離」を「すべてのノード間類似度の総和」で除することによって正規化を行い、１からその正規化された値を減ずることにより特徴マップの評価値を算出する。
図２１Ｂは、上述したようにして算出された特徴マップの評価値が高くなるように遺伝的アルゴリズムを適用した結果得られた特徴マップを示す図である。この図２１Ｂにおいても、図２１Ａと同様に、各画像間の時間的な前後関係が矢印により示されている。図２１Ｂを参照すると、細胞周期各期が特徴マップ上で集まっていることが確認できる。これは、選択された特徴量の組み合わせパターンが細胞周期評価に有効であることを意味している。
なお、上記説明から、当業者にとっては、本発明の多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造及び／又は機能の詳細を実質的に変更することができる。
本発明の特徴量選択方法及び画像分類方法は、医療診断、細胞毒性判定、創薬スクリーニング、内分泌撹乱物質等薬物影響検出、環境モニタリング、未知の細胞分裂特異的物質解析に有用である。
図３は、画像分類装置４が備える制御部４１の構成を示す機能ブロック図である。図３に示すように、制御部４１は、画像の特徴量を抽出する特徴抽出器４１ａと、特徴抽出器４１ａによって抽出された特徴量の中から特定の特徴量を選択する特徴選択器４１ｂと、特徴選択器４１ｂによって選択された特徴量を用いて後述する特徴マップを生成する特徴マップ生成器４１ｃと、特徴マップ生成器４１ｃによって生成された特徴マップの評価を行う特徴マップ評価器４１ｄと、特徴選択器４１ｂによる特徴量の選択を制御する特徴選択制御器４１ｅと、画像分類に最適なものとして選択された特徴量を用いて画像分類を行うクラス分類器４１ｆとを備えている。これらの特徴抽出器４１ａ、特徴選択器４１ｂ、特徴マップ生成器４１ｃ、特徴マップ評価器４１ｄ、特徴選択制御器４１ｅ、及びクラス分類器４１ｆは、画像分類プログラムのモジュールとして実現される。
次に、制御部４１は、生成した個体群を構成する各個体の評価を、上述した場合と同様にして実行する（Ｓ６０３）。そして、制御部４１は、評価値が不変である状態がＮ（Ｎはユーザにより適宜設定される）世代数以上続いているか否かを判定する（Ｓ６０４）。ここで、Ｎ世代数以上は続いていないと判定した場合（Ｓ６０４でＮＯ）、制御部４１は、ステップＳ６０２に戻る。これに対し、Ｎ世代数以上続いていると判定した場合（Ｓ６０４でＹＥＳ）、制御部４１は、遺伝的アルゴリズムを停止し、このときの最良個体の遺伝形質、つまり選択すべき特徴量の組み合わせを選択特徴群として設定する（Ｓ６０５）。この設定は、特徴選択器４１ｂによって当該特徴量の組み合わせを記憶部４２に記憶することによりなされる。また、特徴マップ生成器４１ｃによって、最良個体に係る特徴量の組み合わせを用いた特徴マップが生成され、記憶部４２に記憶される。この特徴マップは、後述する分類モードでの動作で利用される。
図１８Ｂは、上述したようにして算出された特徴マップの評価値が高くなるように遺伝的アルゴリズムを適用した結果得られた特徴マップを示す図である。図１８Ｂを参照すると、アノテーションが施された訓練画像については、同一グループに属している訓練画像が近くに集まっていることが確認できる。また、それらのグループと同じ細胞周期にあるアノテーションが施されていない画像も近くに集まっていることが確認できる。さらに、アノテーションの対象ではない細胞周期である分裂前期（pro）、分裂後期／分裂終期（ana/telo）の画像が、アノテーションの対象となったＧ２期（G2）、分裂中期（meta）及び分裂前中期（prometa）とは異なる箇所に集まっていることも確認することができる。
Claims (13)
- 画像が有する複数の特徴量の複数の組み合わせパターンのそれぞれについて、複数の訓練画像のクラスタリングを実行する工程（ａ）と、
前記クラスタリングの結果に基づいて、前記複数の組み合わせパターンの中から画像分類に用いられる分類用組み合わせパターンを選択する工程（ｂ）とを有し、
前記クラスタリングは、前記組み合わせパターンを構成する特徴量を用いて算出された訓練画像相互間の類似度に基づいて行われる、特徴量選択方法。 - 前記工程（ａ）及び前記工程（ｂ）は繰り返し実行され、２回目以降の工程（ａ）における前記複数の組み合わせパターンは、先に実行された工程（ｂ）において選択された分類用組み合わせパターンである、請求項１に記載の特徴量選択方法。
- 前記工程（ａ）は、前記類似度に応じた距離間隔をおいて前記複数の訓練画像が配されたマップを生成する工程（ａ１）を含み、
前記工程（ｂ）は、前記工程（ａ１）において生成されたマップに基づいて、分類用組み合わせパターンを選択する、請求項１または請求項２に記載の特徴量選択方法。 - 前記工程（ｂ）は、前記工程（ａ１）において生成されたマップに対するアノテーションに基づいて、当該マップの評価値を算出し、算出されたマップの評価値に基づいて、分類用組み合わせパターンを選択する、請求項３に記載の特徴量選択方法。
- 前記工程（ｂ）は、前記工程（ａ１）において生成されたマップに含まれる複数の訓練画像のうちの一部の訓練画像に対するアノテーションに基づいて、当該マップの評価値を算出する、請求項４に記載の特徴量選択方法。
- 前記工程（ｂ）は、画像が有する特徴量、特徴量の組み合わせパターン、及び前記算出されたマップの評価値に基づき、組み合わせ最適化アルゴリズムを用いて繰り返し前記クラスタリングを実行する、請求項３乃至請求項５の何れかに記載の特徴量選択方法。
- 前記工程（ｂ）は、画像が有する特徴量のそれぞれを遺伝子座とし、特徴量の組み合わせパターンのそれぞれを、前記遺伝子座を要素とする遺伝子を有する個体とし、前記算出されたマップの評価値のそれぞれを前記個体の適応度として、遺伝的アルゴリズムを用いて繰り返し前記クラスタリングを実行する、請求項３乃至請求項６の何れかに記載の特徴量選択方法。
- 前記画像は、生物試料を撮像して得られる撮像画像であり、
前記特徴量は、前記生物試料の形状に由来する形状特徴量と、前記撮像画像のテクスチャに由来するテクスチャ特徴量とを含んでいる、請求項１乃至７のいずれかに記載の特徴量選択方法。 - 請求項１乃至８のいずれかに記載された方法をコンピュータに実行させるためのコンピュータプログラム。
- 請求項１乃至８のいずれかに記載された方法をコンピュータに実行させるためのコンピュータプログラムを記録した記録媒体。
- 画像が有する複数の特徴量の複数の組み合わせパターンのそれぞれについて、複数の訓練画像のクラスタリングを実行する工程（ａ）と、
前記クラスタリングの結果に基づいて、前記複数の組み合わせパターンの中から画像分類に用いられる分類用組み合わせパターンを選択する工程（ｂ）と、
前記工程（ｂ）において選択された分類用組み合わせパターンを用いて、入力された画像を分類する工程（ｃ）とを有し、
前記クラスタリングは、前記組み合わせパターンを構成する特徴量を用いて算出された訓練画像相互間の類似度に基づいて行われる、画像分類方法。 - 画像が有する複数の特徴量の複数の組み合わせパターンの中から画像分類に用いられる分類用組み合わせパターンを選択する特徴量選択部を備え、
当該特徴量選択部が、
前記複数の組み合わせパターンのそれぞれについて、複数の訓練画像のクラスタリングを実行する工程（ａ）と、
前記クラスタリングの結果に基づいて、分類用組み合わせパターンを選択する工程（ｂ）とを実行し、
前記クラスタリングは、前記組み合わせパターンを構成する特徴量を用いて算出された訓練画像相互間の類似度に基づいて行われる、特徴量選択装置。 - 画像が有する複数の特徴量の複数の組み合わせパターンの中から画像分類に用いられる分類用組み合わせパターンを選択する特徴量選択部と、
当該特徴量選択部によって選択された分類用組み合わせパターンを用いて、入力された画像を分類する画像分類部とを備え、
前記特徴量選択部が、
前記複数の組み合わせパターンのそれぞれについて、複数の訓練画像のクラスタリングを実行する工程（ａ）と、
前記クラスタリングの結果に基づいて、分類用組み合わせパターンを選択する工程（ｂ）とを実行し、
前記クラスタリングは、前記組み合わせパターンを構成する特徴量を用いて算出された訓練画像相互間の類似度に基づいて行われる、画像分類装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009510794A JP4688954B2 (ja) | 2007-04-18 | 2008-04-18 | 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007109885 | 2007-04-18 | ||
| JP2007109885 | 2007-04-18 | ||
| JP2009510794A JP4688954B2 (ja) | 2007-04-18 | 2008-04-18 | 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体 |
| PCT/JP2008/001028 WO2008129881A1 (ja) | 2007-04-18 | 2008-04-18 | 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2008129881A1 true JPWO2008129881A1 (ja) | 2010-07-22 |
| JP4688954B2 JP4688954B2 (ja) | 2011-05-25 |
Family
ID=39875411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009510794A Active JP4688954B2 (ja) | 2007-04-18 | 2008-04-18 | 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8260063B2 (ja) |
| EP (1) | EP2141657A4 (ja) |
| JP (1) | JP4688954B2 (ja) |
| WO (1) | WO2008129881A1 (ja) |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8706188B2 (en) * | 2008-06-04 | 2014-04-22 | The Board Of Trustees Of The Leland Stanford Junior University | Automatic segmentation of articular cartilage from MRI |
| EP2207119A1 (en) * | 2009-01-06 | 2010-07-14 | Koninklijke Philips Electronics N.V. | Evolutionary clustering algorithm |
| KR101319780B1 (ko) * | 2009-01-23 | 2013-10-17 | 닛본 덴끼 가부시끼가이샤 | 이미지 시그니처 추출 장치 |
| US9567560B2 (en) | 2009-02-26 | 2017-02-14 | National University Corporation Nagoya University | Incubated state evaluating device, incubated state evaluating method, incubator, and program |
| EP2249286A1 (en) * | 2009-05-08 | 2010-11-10 | Honda Research Institute Europe GmbH | Robot with vision-based 3D shape recognition |
| ES2377303B1 (es) * | 2009-06-05 | 2013-02-01 | Vodafone España S.A.U. | Método y sistema para recomendar fotografías. |
| WO2012046846A1 (ja) * | 2010-10-07 | 2012-04-12 | 株式会社 東芝 | 医用画像処理装置 |
| JP5769488B2 (ja) * | 2011-04-27 | 2015-08-26 | キヤノン株式会社 | 認識装置、認識方法及びプログラム |
| WO2013019743A2 (en) * | 2011-07-29 | 2013-02-07 | Reconrobotics, Inc. | Apparatus and methods for object recognition using a genetically-defined feature space transform |
| EP2764460A4 (en) | 2011-10-06 | 2015-08-05 | Nant Holdings Ip Llc | SYSTEMS AND METHODS FOR OBJECT DETECTION IN HEALTH CARE |
| JP5940288B2 (ja) * | 2011-11-30 | 2016-06-29 | オリンパス株式会社 | 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム |
| WO2013109290A1 (en) | 2012-01-20 | 2013-07-25 | Hewlett-Packard Development Company, L.P. | Feature resolution sensitivity for counterfeit determinations |
| WO2013112366A1 (en) * | 2012-01-24 | 2013-08-01 | Siemens Aktiengesellschaft | Method and system for motion estimation model for cardiac and respiratory motion compensation |
| AU2013214345B2 (en) * | 2012-02-01 | 2016-09-15 | Ventana Medical Systems, Inc. | System for detecting genes in tissue samples |
| KR101871945B1 (ko) * | 2013-01-17 | 2018-08-02 | 한화에어로스페이스 주식회사 | 영상 처리 장치 및 방법 |
| JP6128910B2 (ja) * | 2013-03-21 | 2017-05-17 | キヤノン株式会社 | 学習装置、学習方法及びプログラム |
| JP6093221B2 (ja) * | 2013-03-29 | 2017-03-08 | 株式会社メガチップス | 画像処理回路及び画像検出装置 |
| US20160290916A1 (en) * | 2013-12-12 | 2016-10-06 | Mes Medical Electronic Systems Ltd. | Home testing device |
| JP6143365B2 (ja) * | 2014-03-05 | 2017-06-07 | 富士フイルム株式会社 | 細胞画像評価装置および方法並びにプログラム |
| US9978113B2 (en) | 2014-03-26 | 2018-05-22 | Hewlett-Packard Development Company, L.P. | Feature resolutions sensitivity for counterfeit determinations |
| JP5936240B2 (ja) * | 2014-09-12 | 2016-06-22 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | データ処理装置、データ処理方法、およびプログラム |
| EP3207499A4 (en) | 2014-10-17 | 2018-09-19 | Cireca Theranostics, LLC | Methods and systems for classifying biological samples, including optimization of analyses and use of correlation |
| JP6590477B2 (ja) * | 2014-11-28 | 2019-10-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
| JP6405985B2 (ja) * | 2014-12-19 | 2018-10-17 | コニカミノルタ株式会社 | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 |
| EP3262569A1 (en) * | 2015-06-05 | 2018-01-03 | Google, Inc. | Spatial transformer modules |
| US10607139B2 (en) * | 2015-09-23 | 2020-03-31 | International Business Machines Corporation | Candidate visualization techniques for use with genetic algorithms |
| JP6660712B2 (ja) * | 2015-11-10 | 2020-03-11 | 株式会社Ｓｃｒｅｅｎホールディングス | 分類器構成方法および細胞の生死判定方法 |
| US10043100B2 (en) * | 2016-04-05 | 2018-08-07 | Omni Ai, Inc. | Logical sensor generation in a behavioral recognition system |
| CA3021481A1 (en) * | 2016-07-29 | 2018-02-01 | Novadaq Technologies ULC | Methods and systems for characterizing tissue of a subject utilizing machine learning |
| CN109689853B (zh) | 2016-08-27 | 2022-08-23 | 三维生物科技有限公司 | 生物反应器 |
| JP6329651B1 (ja) * | 2017-01-16 | 2018-05-23 | エルピクセル株式会社 | 画像処理装置及び画像処理方法 |
| JP2018125019A (ja) * | 2018-03-27 | 2018-08-09 | エルピクセル株式会社 | 画像処理装置及び画像処理方法 |
| WO2020015148A1 (zh) * | 2018-07-16 | 2020-01-23 | 华为技术有限公司 | 一种色斑检测方法及电子设备 |
| CN110751209B (zh) * | 2019-10-18 | 2022-12-13 | 北京邮电大学 | 一种融合深度图像分类和检索的智能台风定强方法 |
| EP4133251A4 (en) * | 2020-04-08 | 2024-04-17 | Commissariat Energie Atomique | METHOD FOR DETERMINING CELL VIABILITY |
| US11587345B2 (en) | 2020-07-22 | 2023-02-21 | Honda Motor Co., Ltd. | Image identification device, method for performing semantic segmentation, and storage medium |
| JP7464132B2 (ja) | 2020-08-19 | 2024-04-09 | 日本電信電話株式会社 | 可視化装置、可視化方法および可視化プログラム |
| EP4012381A1 (de) * | 2020-12-09 | 2022-06-15 | Wilde, Axel | Vorrichtung und verfahren zum erfassen von partikeln in flüssigkeiten & gasen |
| US20220319069A1 (en) * | 2020-12-18 | 2022-10-06 | Shenzhen Institutes Of Advanced Technology | Method, device and equipment for reconstructing pet images |
| CN112766383A (zh) * | 2021-01-22 | 2021-05-07 | 浙江工商大学 | 一种基于特征聚类和标签相似性的标签增强方法 |
| CN116183992A (zh) * | 2022-05-30 | 2023-05-30 | 太仓市晨启电子精密机械有限公司 | 一种智能波形检测机及检测方法 |
| CN116503858B (zh) * | 2023-05-06 | 2024-01-23 | 华东师范大学 | 一种基于生成模型的免疫荧光图像分类方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11213127A (ja) * | 1998-01-23 | 1999-08-06 | Tokyo Inst Of Technol | 画像処理方法および装置 |
| JP2001134599A (ja) * | 1999-11-08 | 2001-05-18 | Nippon Telegr & Teleph Corp <Ntt> | データベースの検索方法とその装置並びにデータベースの検索プログラムを記録した記録媒体 |
| JP2005253708A (ja) * | 2004-03-12 | 2005-09-22 | Fuji Photo Film Co Ltd | 特徴量選択装置、異常陰影判別装置およびプログラム |
| JP2007080263A (ja) * | 2005-09-09 | 2007-03-29 | Xerox Corp | ページレイアウト属性に基づく文書クラスタリングの方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100456619B1 (ko) * | 2001-12-05 | 2004-11-10 | 한국전자통신연구원 | 에스.브이.엠(ｓｖｍ)을 이용한 얼굴 등록/인증 시스템 및방법 |
| JP2004340738A (ja) | 2003-05-15 | 2004-12-02 | Sysmex Corp | 細胞分類装置とシステム及び細胞分類方法 |
-
2008
- 2008-04-18 EP EP08751572.2A patent/EP2141657A4/en not_active Withdrawn
- 2008-04-18 JP JP2009510794A patent/JP4688954B2/ja active Active
- 2008-04-18 US US12/596,214 patent/US8260063B2/en not_active Expired - Fee Related
- 2008-04-18 WO PCT/JP2008/001028 patent/WO2008129881A1/ja active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11213127A (ja) * | 1998-01-23 | 1999-08-06 | Tokyo Inst Of Technol | 画像処理方法および装置 |
| JP2001134599A (ja) * | 1999-11-08 | 2001-05-18 | Nippon Telegr & Teleph Corp <Ntt> | データベースの検索方法とその装置並びにデータベースの検索プログラムを記録した記録媒体 |
| JP2005253708A (ja) * | 2004-03-12 | 2005-09-22 | Fuji Photo Film Co Ltd | 特徴量選択装置、異常陰影判別装置およびプログラム |
| JP2007080263A (ja) * | 2005-09-09 | 2007-03-29 | Xerox Corp | ページレイアウト属性に基づく文書クラスタリングの方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2141657A1 (en) | 2010-01-06 |
| JP4688954B2 (ja) | 2011-05-25 |
| US8260063B2 (en) | 2012-09-04 |
| EP2141657A4 (en) | 2015-04-08 |
| WO2008129881A1 (ja) | 2008-10-30 |
| US20100172555A1 (en) | 2010-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4688954B2 (ja) | 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体 | |
| US10733726B2 (en) | Pathology case review, analysis and prediction | |
| Meijering et al. | Tracking in cell and developmental biology | |
| US20220237788A1 (en) | Multiple instance learner for tissue image classification | |
| US20060039593A1 (en) | Methods and systems for imaging cells | |
| CN112088394A (zh) | 生物组织的计算机分类 | |
| CN112347977B (zh) | 一种诱导性多能干细胞的自动检测方法、存储介质及装置 | |
| Sun et al. | SRPN: similarity-based region proposal networks for nuclei and cells detection in histology images | |
| Puniyani et al. | SPEX2: automated concise extraction of spatial gene expression patterns from Fly embryo ISH images | |
| WO2004042392A1 (ja) | 画像解析支援方法、画像解析支援プログラムおよび画像解析支援装置 | |
| JP2018517188A (ja) | 細胞画像および映像の分類 | |
| Dhar et al. | Evaluation of the benchmark datasets for testing the efficacy of deep convolutional neural networks | |
| Morkūnas et al. | Machine learning based classification of colorectal cancer tumour tissue in whole-slide images | |
| US20200372652A1 (en) | Calculation device, calculation program, and calculation method | |
| Bahadir et al. | Artificial intelligence applications in histopathology | |
| Carson et al. | Automated pipeline for atlas-based annotation of gene expression patterns: Application to postnatal day 7 mouse brain | |
| Kakadiaris et al. | Landmark-driven, atlas-based segmentation of mouse brain tissue images containing gene expression data | |
| Jaber et al. | A deep learning-based iterative digital pathology annotation tool | |
| Andonian et al. | A deep learning based method for large-scale classification, registration, and clustering of in-situ hybridization experiments in the mouse olfactory bulb | |
| WO2018131723A1 (ja) | 画像処理装置及び画像処理方法 | |
| US20240135541A1 (en) | Method of extracting gene candidate, method of utilizing gene candidate, and computer-readable medium | |
| JP2018125019A (ja) | 画像処理装置及び画像処理方法 | |
| Alam et al. | Effect of Different Modalities of Facial Images on ASD Diagnosis using Deep Learning-Based Neural Network | |
| Wang et al. | Development and assessment of an integrated computer-aided detection scheme for digital microscopic images of metaphase chromosomes | |
| Boyd et al. | Deep Learning Image Analysis to Isolate and Characterize Different Stages of S-phase in Human Cells |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110208 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110215 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4688954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140225 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |