JP6777086B2 - 情報処理装置、情報処理方法及び情報処理システム - Google Patents

情報処理装置、情報処理方法及び情報処理システム Download PDF

Info

Publication number
JP6777086B2
JP6777086B2 JP2017544391A JP2017544391A JP6777086B2 JP 6777086 B2 JP6777086 B2 JP 6777086B2 JP 2017544391 A JP2017544391 A JP 2017544391A JP 2017544391 A JP2017544391 A JP 2017544391A JP 6777086 B2 JP6777086 B2 JP 6777086B2
Authority
JP
Japan
Prior art keywords
region
detector
interest
unit
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017544391A
Other languages
English (en)
Other versions
JPWO2017061155A1 (ja
Inventor
真司 渡辺
真司 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017061155A1 publication Critical patent/JPWO2017061155A1/ja
Application granted granted Critical
Publication of JP6777086B2 publication Critical patent/JP6777086B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Analysis (AREA)

Description

本開示は、情報処理装置、情報処理方法及び情報処理システムに関する。
医療および生命科学の研究において、多くの種類の細胞の運動、成長、代謝、または増殖等の変化を観察し、解析することが行われている。しかし、観察者の目視による細胞の観察は観察者の主観によるところが大きく、客観的な解析結果を得ることが困難である。そこで、近年、細胞を撮像して得られる撮像画像を画像解析することにより細胞の変化を解析する技術の開発が進められている。
撮像画像に含まれる細胞に対応する領域について解析するためには、細胞を検出するためのアルゴリズムを適切に選択することが求められる。例えば、下記特許文献1には、複数の画像データについて複数の領域抽出アルゴリズムを実行し、ユーザが指定した一の画像内の注目領域における特徴を最も精度高く抽出したアルゴリズムを選択するための技術が開示されている。また、下記特許文献2には、細胞の種類に応じたアルゴリズムを選択することにより当該細胞を解析するための技術が開示されている。
特許第5284863号公報 特許第4852890号公報
しかし、上記特許文献1に開示された技術では、一の画像に示された細胞の特徴に応じてアルゴリズムが決定されるので、細胞の成長または増殖等による変化が生じた場合、決定されたアルゴリズムを用いて当該細胞の変化を解析することは困難である。また、上記特許文献2に開示された技術では、ある時点における細胞の状態について解析するための検出器が細胞の種類から選択されるので、細胞の増殖または細胞死等、細胞の形状または状態の時間変化を連続的に解析することが困難である。
そこで、本開示では、細胞の変化について精度高く解析を行うことが可能な、新規かつ改良された情報処理装置、情報処理方法および情報処理システムを提案する。
本開示によれば、解析方法に応じて少なくとも一の検出器を決定する検出器決定部と、上記検出器決定部により決定された上記少なくとも一の検出器を用いて、上記解析方法による解析を行う解析部と、を備える情報処理装置が提供される。
また、本開示によれば、解析方法に応じて少なくとも一の検出器を決定することと、決定された上記少なくとも一の検出器を用いて、上記解析方法による解析を行うことと、を含む情報処理方法が提供される。
また、本開示によれば、撮像画像を生成する撮像部を備える撮像装置と、解析方法に応じて少なくとも一の検出器を決定する検出器決定部と、上記検出器決定部により決定された上記少なくとも一の検出器を用いて、上記撮像画像について上記解析方法による解析を行う解析部と、を備える情報処理装置と、を備える情報処理システムが提供される。
以上説明したように本開示によれば、細胞の変化について精度高く解析を行うことができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの構成の概要を示す図である。 本開示の第1の実施形態に係る情報処理装置の構成例を示すブロック図である。 同実施形態に係る検出レシピを説明するための表である。 解析方法に対応する検出レシピの一例を示す表である。 同実施形態に係る検出パラメータ調整部に調整内容を入力するためのインターフェースの一例を示す図である。 同実施形態に係る情報処理装置による処理の一例を示すフローチャートである。 同実施形態に係る撮像装置により生成された撮像画像の一例を示す図である。 同実施形態に係る領域描画部による描画処理の一例を示す図である。 同実施形態に係る出力制御部による出力例を示す図である。 同実施形態に係る複数の検出器による注目領域の絞り込み処理による第1の出力例を示す図である。 同実施形態に係る複数の検出器による注目領域の絞り込み処理による第2の出力例を示す図である。 本開示の第2の実施形態に係る情報処理装置の構成例を示すブロック図である。 同実施形態に係る形状設定部による注目領域の形状の設定処理に関する例を示す図である。 同実施形態に係る領域特定部による注目領域の特定処理に関する例を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.情報処理システムの概要
2.第1の実施形態
2.1.情報処理装置の構成例
2.2.情報処理装置の処理例
2.3.効果
2.4.応用例
3.第2の実施形態
3.1.情報処理装置の構成例
3.2.効果
4.ハードウェア構成例
5.まとめ
<1.情報処理システムの概要>
図1は、本開示の一実施形態に係る情報処理システム1の構成の概要を示す図である。図1に示すように、情報処理システム1は、撮像装置10、および情報処理装置20を備える。撮像装置10および情報処理装置20は、有線または無線の各種ネットワークにより接続される。
(撮像装置)
撮像装置10は、撮像画像(動画像)を生成する装置である。本実施形態に係る撮像装置10は、例えば、デジタルカメラにより実現される。他にも、撮像装置10は、例えばスマートフォン、タブレット、ゲーム機、またはウェアラブル装置など、撮像機能を有するあらゆる装置により実現されてもよい。例えば、撮像装置10は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像する。また、撮像装置10は、情報処理装置20との間で撮像画像等を送受信するための通信装置を含む。本実施形態において、撮像装置10は、解析対象である細胞が培養されている培地Mを撮像するための撮像ステージSの上方に設けられる。そして、撮像装置10は、培地Mを特定のフレームレートで撮像することにより動画像データを生成する。なお、撮像装置10は、培地Mを直接(他の部材を介さずに)撮像してもよいし、顕微鏡等の他の部材を介して培地Mを撮像してもよい。また、上記フレームレートは特に限定されないが、観察対象の変化の度合いに応じて設定されることが好ましい。なお、撮像装置10は、観察対象の変化を正しく追跡するため、培地Mを含む一定の撮像領域を撮像する。撮像装置10により生成された動画像データは、情報処理装置20へ送信される。
なお、本実施形態において、撮像装置10は光学顕微鏡等に設置されるカメラであることを想定しているが、本技術はかかる例に限定されない。例えば、撮像装置10は、SEM(Scanning Electron Microscope;走査型電子顕微鏡)、もしくはTEM(Transmission Electron Microscope;透過型電子顕微鏡)等の電子線を用いた電子顕微鏡等に含まれる撮像装置、または、AFM(Atomic Force Microscope;原子間力顕微鏡)、もしくはSTM(Scanning Tunneling Microscope;走査型トンネル顕微鏡)等の短針を用いたSPM(Scanning Probe Microscope;走査型プローブ顕微鏡)等に含まれる撮像装置であってもよい。この場合、撮像装置10により生成される撮像画像は、例えば電子顕微鏡の場合、電子線を観察対象に照射することにより得られる画像であり、また、SPMの場合、短針を用いて観察対象をなぞることにより得られる画像である。これらの撮像画像も、本実施形態に係る情報処理装置20により画像解析され得る。
(情報処理装置)
情報処理装置20は、画像解析機能を有する装置である。情報処理装置20は、PC(Personal Computer)、タブレット、スマートフォンなど、画像解析機能を有するあらゆる装置により実現される。また、情報処理装置20は、ネットワーク上の1または複数の情報処理装置によって実現されてもよい。本実施形態に係る情報処理装置20は、撮像装置10から撮像画像を取得し、取得した撮像画像について観察対象の領域の追跡を実行する。情報処理装置20による追跡処理の解析結果は、情報処理装置20の内部または外部に備えられる記憶装置または表示装置等に出力される。なお、情報処理装置20の各機能を実現する機能構成については後述する。
なお、本実施形態において、撮像装置10および情報処理装置20により情報処理システム1が構成されるが、本技術はかかる例に限定されない。例えば、撮像装置10が、情報処理装置20に関する処理(例えば追跡処理)を行ってもよい。この場合、情報処理システム1は、観察対象の追跡機能を有する撮像装置により実現される。
ここで、観察対象となる細胞は、人、動物、植物、生体組織、または無生物である構造体等の通常の被写体と異なり、短時間において成長、分裂、結合、変形、またはネクローシス(Necrosis;壊死)等の各種現象を発生させる。そうすると、例えば特許第5284863号明細書に開示された技術では、ある時点における細胞の画像をもとに検出器が選択されるため、細胞が形状または状態を変化させた場合に、同一の検出器を用いて当該細胞を解析することは困難である。また、特許第4852890号明細書に開示された技術では、ある時点における細胞の状態について解析するための検出器が細胞の種類から選択されるので、細胞の増殖または細胞死等、細胞の形状または状態の時間変化を連続的に解析することが困難である。そのため、上記文献に開示された技術では、細胞の変化について解析または評価を行うことが困難である。また、観察対象が動物、植物または無生物である構造体であっても、薄膜またはナノクラスタ結晶の成長等、観察対象の構造または形状が短時間で著しく変化する場合、観察の種類に応じた観察対象を連続的に解析し続けることは困難である。
そこで、本実施形態に係る情報処理システム1は、観察対象の解析方法または評価方法に関連付けられた検出器を検出器群から選択し、選択された検出器を用いて解析を行う。かかる技術により、観察対象の変化を解析するための解析方法または評価するための評価方法を選択することで、当該解析方法等に応じた変化を発生させている観察対象を検出し、当該観察対象について解析することができる。これにより、観察対象の変化についてより精度高く解析を行うことができる。なお、本実施形態に係る情報処理システム1は、主に観察対象の変化等を評価するために用いられることが想定される。しかし、観察対象の変化等を評価するためには、観察対象の変化等を解析することが前提となる。例えば、ユーザが情報処理システム1を用いて観察対象についてAAという評価を行う場合、AAという評価に必要な解析方法がBBまたはCCであれば、情報処理システム1において、解析方法BBまたはCCによる解析が当該観察対象について行われることとなる。つまり、評価方法に応じて選択された検出器を用いて解析することは、解析方法に応じて選択された検出器を用いて解析することに含まれる。そのため、本開示において、解析方法は評価方法を含むものとして説明する。
以上、本開示の一実施形態に係る情報処理システム1の概要について説明した。本開示の一実施形態に係る情報処理システム1に含まれる情報処理装置20は、複数の実施形態において実現される。以下、情報処理装置20の具体的な構成例および動作処理について説明する。
<2.第1の実施形態>
まず、図2〜図11を参照して本開示の第1の実施形態に係る情報処理装置20−1について説明する。
[2.1.情報処理装置の構成例]
図2は、本開示の第1の実施形態に係る情報処理装置20−1の構成例を示すブロック図である。図2に示すように、情報処理装置20−1は、検出器データベース(DB)200、解析方法取得部210、検出器決定部220、画像取得部230、検出部240、検出パラメータ調整部250、領域描画部260、解析部270、および出力制御部280を含む。
(検出器DB)
検出器DB200は、解析対象を検出するために必要な検出器を格納するデータベースである。検出器DB200により格納された検出器は、観察対象を撮像した撮像画像から特徴量を計算し、当該特徴量に基づいて当該観察対象に対応する領域を検出するために用いられる。検出器DB200には複数の検出器が格納されており、これらの検出器は、特定の観察対象に対して行う解析方法または評価方法に応じてそれぞれ最適化されている。例えば、観察対象のある特定の変化を検出するために、当該特定の変化に対して複数の検出器が関連付けられている。この特定の変化を検出するための複数の検出器の組を、本明細書において「検出レシピ」と定義する。検出レシピに含まれる検出器の組み合わせは、例えば、観察対象ごとに、および当該観察対象が発現し得る現象ごとに予め決定される。
図3は、本実施形態に係る検出レシピを説明するための表である。図3に示すように、検出レシピは、観察対象である細胞の変化(および観察対象)に関連付けられており、関連付けられた細胞の変化を検出するための検出器(および対応する特徴量)を有している。特徴量とは、観察対象を検出するために用いられる変数を意味する。
ここで、図3に示すように、検出器DB200に格納される検出器として、注目領域検出器、および識別領域検出器の2種類が存在する。注目領域検出器は、観察対象が存在する領域を撮像画像から検出するための検出器である。注目領域検出器として、例えば、観察対象が種々の細胞である場合、細胞領域検出器が含まれる。この注目領域検出器は、例えば、エッジまたは濃淡等の特徴量を計算することにより観察対象の存在領域を検出するために用いられる。
一方、識別領域検出器は、観察対象の一部または全部により変化している領域を撮像画像から検出するための検出器である。識別領域検出器として、例えば、観察対象が種々の細胞である場合、増殖領域検出器、律動領域検出器、分化領域検出器、内腔領域検出器、死領域検出器、神経細胞体領域検出器、および軸索領域検出器等が含まれる。この識別領域検出器は、例えば、複数フレーム間における動きまたはLBP(Local Binary Pattern)等の特徴量を計算することにより観察対象の変化領域を検出するために用いられる。これにより、観察対象にみられる特有の変化について解析することが容易になる。
上述した検出レシピは、注目領域検出器、および識別領域検出器を有する。このような検出レシピを用いることにより、観察対象に対応する領域(注目領域)を検出し、当該注目領域のうち、さらに観察対象の変化が生じている領域を識別することができる。なお、単に観察対象に対応する領域に関する解析を行う場合(例えば細胞領域の大きさまたは移動等について解析する場合)、検出レシピには注目領域検出器のみが含まれていてもよい。また、観察対象に対応する領域が撮像画像中に一つしか含まれていない場合、または観察対象の解析において個々の観察対象に対応する領域を検出しなくてもよい場合、検出レシピには識別領域検出器のみが含まれていてもよい。
図3に示すように、例えば、検出レシピAは、細胞の遊走または浸潤といった変化を検出するための検出レシピである。そのため、検出レシピAには、細胞の領域を検出するための細胞領域検出器、および細胞の遊走または浸潤を引き起こす細胞の増殖領域を検出するための増殖領域検出器が含まれる。がん細胞の浸潤について解析する場合、検出レシピAを選択することにより、細胞領域検出器を用いてがん細胞に対応する領域を検出し、さらに、増殖領域検出器を用いてがん細胞が浸潤を引き起こしている領域を検出することができる。
なお、この検出レシピAは、例えば、がん細胞検出用の検出レシピAa、血球検出用の検出レシピAb、およびリンパ球検出用の検出レシピAcというように、観察対象ごとに用意されてもよい。観察対象ごとに、検出するための特徴が異なるからである。
また、検出レシピCおよび検出レシピEのように、一つの検出レシピに対して複数の識別領域検出器が含まれていてもよい。これにより、例えば、細胞の分化等により異なる特徴を有する観察対象が新たに生じた場合においても、再度新たな観察対象に対応する検出器を採用することなく、当該新たな観察対象について検出し、解析することができる。また、一つの観察対象について複数の異なる特徴を有している場合であっても、特定の特徴を有する領域を識別して解析することができる。
これらの検出器は、観察対象について精度高く検出するよう最適化され得る。例えば、上述したような検出器は、観察対象に対する解析方法または評価方法と、観察対象の像を含む撮像画像との組を学習データとする機械学習により生成されてもよい。具体的には後述するが、観察対象に対する解析方法または評価方法は、少なくとも一の検出レシピと関連付けられている。そのため、検出レシピと対応する解析方法または評価方法の対象である観察対象の像を含む撮像画像を用いて予め機械学習させることにより、検出精度を向上させることができる。
なお、識別領域検出器に用いられる特徴量には、例えば、ベクトルデータ等の時系列情報が含まれてもよい。これは、例えば、観察対象のうち識別したい領域の時間変化の程度をより精度高く検出するためである。
上述した機械学習は、例えば、boost、サポートベクタマシン等による機械学習であってもよい。これらの手法によれば、複数の観察対象の像が共通して有する特徴量に関する検出器が生成される。これらの手法において用いられる特徴量は、例えば、エッジ、LBP、またはHaar−like特徴量などであってもよい。また、機械学習としてDeep Learningが用いられてもよい。Deep Learningでは、上記のような領域を検出するための特徴量を自動で生成するので、学習データの組について機械学習させるだけで検出器を生成することができる。
(解析方法取得部)
解析方法取得部210は、観察対象を解析するための解析方法または評価方法(上述したように評価方法は解析方法に含まれるため、以下、評価方法と解析方法とを併せて「解析方法」と呼称する)に関する情報を取得する。例えば、解析方法取得部210は、情報処理装置20−1を用いて観察対象の解析を行う際に、不図示の入力部を介してユーザにより入力された解析方法を取得してもよい。また、解析方法取得部210は、例えば、予め決められたスケジュールに従って解析を行う際は、所定の時点において不図示の記憶部から解析方法を取得してもよい。さらに、解析方法取得部210は、不図示の通信部を介して解析方法を取得してもよい。
解析方法取得部210は、例えば、「がん細胞のスクラッチアッセイ」「心筋細胞の薬効評価」等の解析方法(評価方法)に関する情報を取得する。解析方法が単に「大きさ解析」「動き解析」等である場合は、解析方法取得部210は、解析方法に加えて、観察対象である細胞の種類に関する情報を併せて取得してもよい。
解析方法取得部210により取得された解析方法に関する情報は、検出器決定部220に出力される。
(検出器決定部)
検出器決定部220は、解析方法取得部210から取得した解析方法に関する情報に応じて、少なくとも一の検出器を決定する。例えば、検出器決定部220は、取得した解析方法の種類に関連付けられている検出レシピを決定し、検出器DB200から当該検出レシピに含まれている検出器を取得する。
図4は、解析方法に対応する検出レシピの一例を示す表である。図4に示すように、一の解析方法は、観察対象である細胞の少なくとも一の変化(および観察対象)に関連付けられている。これは、細胞の解析が、細胞の特定の変化について行われるものだからである。また、図3に示したように、観察対象のそれぞれの変化は、検出レシピに対応づけられている。そのため、解析方法が決定されれば、検出処理に用いられる検出器も解析方法に応じて決定される。
例えば、図4に示したように、評価としてがん細胞スクラッチアッセイを行う場合、検出器決定部220は、がん細胞スクラッチアッセイに応じた検出レシピAを決定する。これは、がん細胞スクラッチアッセイが、がん細胞の遊走および浸潤について評価するものだからである。ここで決定された検出レシピAは、がん細胞に対応する検出レシピAaであってもよい。これにより、さらに検出精度および解析精度を向上させることができる。検出器決定部220は、検出レシピAに含まれる検出器を検出器DB200から取得する。
また、心筋細胞薬効評価を行う場合、検出器決定部220は、心筋細胞薬効評価に対応する検出レシピとして、検出レシピB、検出レシピC、および検出レシピDを決定する。これは、心筋細胞薬効評価として、投薬により心筋細胞の律動、増殖、分裂、または細胞死等を評価するものだからである。この場合、律動に対応する検出レシピB、増殖および分裂に対応する検出レシピC、並びに細胞死に対応する検出レシピDが決定される。これらの検出レシピに含まれる検出器を用いて検出することにより、心筋細胞のうち律動している領域、分裂している領域、および細胞死した領域等をそれぞれ分別することができる。これにより、解析結果をより充実させることができる。
他にも、検出器決定部220が解析方法に応じて複数の検出器を決定することにより、以下のような解析も可能となる。例えば、複数の種類の細胞について同時に解析したい場合が存在する。この場合、検出器決定部220が複数の解析方法に応じて検出器をそれぞれ取得することにより、一度に複数の種類の細胞について解析することができる。これにより、例えば、受精について解析する場合に、卵子と精子についてそれぞれ検出し、解析することが可能となる。また、がん細胞と免疫細胞の相互作用について解析したい場合、2つの細胞をそれぞれ検出し、解析することができる。また、血球細胞群に含まれる細胞(赤血球、白血球、または血小板など)を識別することも可能となる。
また、細胞の成長過程における変化について解析したい場合が存在する。この場合、成長による形態の変化に応じて最適化された複数の検出器を含む検出レシピを決定することにより、形態が変化しつつある細胞について連続的に解析を行うことができる。これにより、例えば、神経細胞の軸索の成長および変化、培地においてコロニーを形成する培養細胞の形態の変化、並びに受精卵の形態の変化等を追跡的に解析することが可能となる。
さらに、細胞が複数の反応を示し得る試験について評価したい場合が存在する。この場合、細胞が取り得る形態または状態に対応する複数の検出器を含む検出レシピを決定することにより、細胞群の複数の反応について総合的に評価することができる。これにより、例えば、薬効評価または毒性試験評価における細胞の形態の変化、拍動、生死、および増殖能の変化等について、総合的に解析を行うことが可能となる。
以上、検出器決定部220の機能について説明した。検出器決定部220により決定された検出器に関する情報は、検出部240に出力される。
(画像取得部)
画像取得部230は、撮像装置10により生成された撮像画像を含む画像データを、不図示の通信装置を介して取得する。例えば、画像取得部230は、撮像装置10により生成された動画像データを時系列に取得する。取得した画像データは、検出部240に出力される。
なお、画像取得部230が取得する画像は、RGB画像またはグレースケール画像等が含まれる。取得した画像がRGB画像である場合、画像取得部230は、当該RGB画像である撮像画像をグレースケールに変換する。
(検出部)
検出部240は、画像取得部230が取得した撮像画像について、検出器決定部220において決定された検出器を用いて注目領域を検出する。注目領域とは、上述したように、観察対象に対応する領域である。
例えば、検出部240は、検出レシピに含まれている注目領域検出器を用いることにより、撮像画像内の観察対象に対応する領域を検出する。また、検出部240は、検出レシピに含まれている識別領域検出器を用いることにより、観察対象において特定の変化が生じている領域を検出する。
検出部240は、より具体的には、検出器が指定する特徴量を取得した撮像画像から算出し、当該撮像画像に関する特徴量データを生成する。検出部240は、この特徴量データを用いて、注目領域を撮像画像内から検出する。例えば、検出部240が注目領域を検出するためのアルゴリズムとして、Boost、サポートベクタマシン等が挙げられる。当該撮像画像ついて生成される特徴量データは、検出部240が用いる検出器が指定する特徴量についてのデータである。なお、検出部240が用いる検出器がDeep Learning等、特徴量を予め設定する必要がない学習法により生成された場合は、検出部240は、当該検出器により自動的に設定された特徴量について撮像画像から算出する。
また、検出部240は、検出器決定部220が決定した検出レシピに複数の検出器が含まれている場合、その複数の検出器を用いてそれぞれ注目領域を検出してもよい。この場合、例えば、検出部240は、注目領域検出器を用いて注目領域を検出し、さらに識別領域検出器を用いて先に検出された注目領域からさらに識別したい領域を検出してもよい。これにより、解析したい観察対象の特定の変化をより詳細に検出することができる。
例えば、検出部240は、検出器決定部220により決定された検出レシピA(図3参照)を用いて観察対象の検出を行うとする。検出レシピAには、がん細胞を対象とする細胞領域検出器および増殖領域検出器が含まれている。検出部240は、細胞領域検出器を用いてがん細胞に対応する領域を検出し、さらに、増殖領域検出器を用いることにより、がん細胞が浸潤を引き起こしている領域を検出することができる。
なお、検出部240は、検出した注目領域を、解析部270による解析により得られる解析結果と関連付けるための処理を行ってもよい。例えば、詳しくは後述するが、検出部240は、検出した各注目領域について、解析方法等を識別するためのIDを付与してもよい。これにより、例えば各注目領域のポスト解析処理において得られた各解析結果についての管理を容易にすることができる。また、検出部240は、複数の検出器による検出結果に応じて、各注目領域に付与されるIDの値を決定してもよい。例えば、検出部240は、複数の桁を有するIDのうち、下位の桁に検出された注目領域を識別するための番号を付番し、上位の桁に注目領域の検出に用いられた検出器に対応する番号を付番してもよい。より具体的には、検出部240は、第1の検出器を用いて検出した2つの注目領域について「10000001」、および「10000002」というIDを付与し、第2の検出器を用いて検出した1つの注目領域について「00010001」というIDを付与してもよい。また、検出部240は、1つの注目領域について第1の検出器および第2の検出器のいずれを用いても検出できた場合、当該注目領域について「10010001」というIDを付与してもよい。これにより、解析部270による解析処理時において、解析結果に対応する注目領域についてどの解析方法に対応するかを容易に識別することができる。
また、検出部240は、検出パラメータに基づいて注目領域を検出してもよい。ここで検出パラメータとは、観察対象の状態もしくは観察条件等に応じて変動する撮像画像の状態、または撮像装置10の撮像条件もしくは仕様等に応じて調整可能なパラメータを意味する。より具体的には、検出パラメータには、撮像画像の縮尺、観察対象の大きさ、動きの速さ、観察対象が形成するクラスタの大きさ、確率変数等が含まれる。検出パラメータは、例えば、上述したような観察対象の状態または観察条件等に応じて自動的に調整されてもよいし、撮像装置10の撮像条件(例えば撮像倍率、撮像フレーム、明るさ等)に応じて自動的に調整されてもよい。また、この検出パラメータは後述する検出パラメータ調整部により調整されてもよい。
検出部240は、検出結果(注目領域、識別領域、およびラべル等の情報)を、領域描画部260、および解析部270に出力する。
(検出パラメータ調整部)
検出パラメータ調整部250は、上述したように、観察対象の状態、観察条件または撮像装置10の撮像条件等に応じて、検出部240の検出処理に関する検出パラメータを調整する。検出パラメータ調整部250は、例えば上記の各状態および各条件に応じて検出パラメータを自動的に調整してもよいし、ユーザの操作により検出パラメータが調整されてもよい。
図5は、本実施形態に係る検出パラメータ調整部250に調整内容を入力するためのインターフェースの一例を示す図である。図5に示したように、検出パラメータを調整するためのインターフェース2000には、検出パラメータの種類2001、およびスライダ2002が含まれている。検出パラメータの種類2001には、Size Ratio(撮像画像の縮小率)、Object Size(検出サイズの閾値)、Cluster Size(検出した注目領域に対応する観察対象が同一であるかを判別するための閾値)、およびStep Size(検出処理のフレーム単位)が含まれる。他にも、輝度の閾値等の他の検出パラメータも調整対象として検出パラメータの種類2001に含まれてもよい。これらの検出パラメータは、スライダ2002を操作することにより変更される。
検出パラメータ調整部250により調整された検出パラメータは、検出部240に出力される。
(領域描画部)
領域描画部260は、検出部240の検出処理の対象である撮像画像上に、注目領域、識別領域、およびID等の検出結果を重畳させる。領域描画部260は、例えば、直線、曲線、または曲線等によって閉じられた平面等の図形により注目領域および識別領域等を示してもよい。これらの領域を示す平面の形状は、例えば矩形、円形、楕円形等、任意の形状であってもよく、また、観察対象に対応する領域の輪郭に応じて形成された形状であってもよい。また、領域描画部260は、上記のIDを注目領域または識別領域の近傍に表示させてもよい。領域描画部260による具体的な描画処理については、後述する。領域描画部260は、描画処理の結果を出力制御部280に出力する。
(解析部)
解析部270は、検出部240が検出した注目領域(および識別領域)について解析を行う。解析部270は、例えば、注目領域の検出に用いられた検出器に関連付けられている解析方法に基づく解析を、当該注目領域について行う。解析部270により行われる解析とは、例えば観察対象である細胞の成長、増殖、分裂、細胞死、運動または形状の変化を定量的に評価するための解析である。この場合、解析部270は、例えば、細胞のサイズ、面積、個数、形状(例えば、真円度)、動きベクトル等の特徴量について注目領域または識別領域から算出する。
図4を参照すると、例えばがん細胞についてスクラッチアッセイを行う場合、解析部270は、がん細胞に対応する注目領域の遊走または浸潤の程度について解析する。具体的には、解析部270は、がん細胞に対応する注目領域のうち、遊走または浸潤の現象が発生している領域について解析する。解析部270は、注目領域または遊走もしくは浸潤の現象が発生している領域の特徴量として、当該領域の面積、サイズ、動きベクトルなどを算出する。
また、例えば、心筋細胞について薬効評価を行う場合、解析部270は、心筋細胞に対応する注目領域のうち、律動が生じている領域、増殖(分裂)が生じている領域、および細胞死が生じている領域の各々について、解析を行う。より具体的には、解析部270は、律動が生じている領域の律動の大きさを解析し、増殖が生じている領域の分化スピードを解析し、また、細胞死が生じている領域の面積について解析してもよい。このように解析部270は、検出部240による各々の検出器を用いて得られた検出結果ごとに、解析を行ってもよい。これにより、単一の種類の細胞についても、複数の解析を一度に行うことができるので、複数の解析が必要な評価を総合的に行うことができる。
解析部270は、算出した特徴量等を含む解析結果を、出力制御部280に出力する。
(出力制御部)
出力制御部280は、領域描画部260から取得した描画情報(領域重畳後の撮像画像等)、および解析部270から取得した解析結果を出力データとして出力する。出力制御部280は、例えば、情報処理装置20−1の内部または外部に備えられる表示部(不図示)に出力データを表示してもよい。また、出力制御部280は、情報処理装置20−1の内部または外部に備えられる記憶部(不図示)に出力データを記憶してもよい。また、出力制御部280は、情報処理装置20−1の備える通信部(不図示)を介して、外部装置(サーバ、クラウド、端末装置)等に出力データを送信してもよい。
出力制御部280は、例えば、表示部に出力データを表示する場合、領域描画部260によって重畳された注目領域または識別領域の少なくともいずれかを示す図形、およびIDを含む撮像画像を表示してもよい。
また、出力制御部280は、解析部270から取得した解析結果を注目領域に関連付けて出力してもよい。例えば、出力制御部280は、解析結果に注目領域を識別するIDを付して出力してもよい。これにより、注目領域に対応する観察対象を解析結果に関連付けて出力することができる。
また、出力制御部280は、解析部270から取得した解析結果を、表、グラフ、チャート等に加工して出力してもよいし、他の解析装置による解析に適したデータファイルに加工して出力してもよい。
また、出力制御部280は、注目領域を示す図形を含む撮像画像に、解析結果を示す表示をさらに重畳させて出力させてもよい。例えば、出力制御部280は、観察対象の特定の動きの解析結果(例えば動きの大きさ)に応じて色分けされるヒートマップを、撮像画像上に重畳させて出力させてもよい。これにより、当該撮像画像が表示部に表示されたときに、当該撮像画像を視認することにより、観察対象の解析結果について直感的に理解することができる。
なお、出力制御部280による出力例について、詳しくは後述する。
[2.2.情報処理装置の処理例]
以上、本開示の一実施形態に係る情報処理装置20−1の構成例について説明した。次に、本開示の一実施形態に係る情報処理装置20−1による処理の一例について、図6〜図9を参照して説明する。
図6は、本開示の第1の実施形態に係る情報処理装置20−1による処理の一例を示すフローチャートである。まず、解析方法取得部210は、ユーザの操作またはバッチ処理等により解析方法に関する情報を取得する(S101)。次に、検出器決定部220は、解析方法取得部210から解析方法に関する情報を取得し、解析方法に関連付けられている検出レシピを検出器DB200から選択して決定する(S103)。
また、画像取得部230は、撮像装置10により生成された撮像画像に関するデータを不図示の通信部を介して取得する(S105)。
図7は、本実施形態に係る撮像装置10により生成された撮像画像の一例を示す図である。図7に示すように、撮像画像1000には、がん細胞(Carcinoma)の領域300a、300bおよび300c、並びに免疫細胞(Immune)の領域400aおよび400bが含まれている。この撮像画像1000は、撮像装置10が培地Mに存在するがん細胞および免疫細胞を撮像することにより得られた撮像画像である。以降の処理では、がん細胞および免疫細胞に対応する注目領域が検出され、各注目領域について解析が行われる。
図6に戻ると、次に、検出部240は、検出器決定部220により決定された検出レシピに含まれる検出器を用いて、注目領域を検出する(S107)。そして、検出部240は、検出した注目領域についてラべリングを行う(S109)。
なお、検出レシピに複数の検出器が含まれている場合、検出部240は全ての検出器を用いて注目領域の検出を行う(S111)。例えば、図7に示した例では、検出部240は、がん細胞を検出するための検出器、および免疫細胞を検出するための検出器の、2つの検出器が用いられる。
全ての検出器を用いて検出処理が行われた後(S111/YES)、領域描画部260は、注目領域および注目領域に関連付けられたIDを、検出処理に用いた撮像画像に描画する(S113)。
図8は、本実施形態に係る領域描画部260による描画処理の一例を示す図である。図8に示すように、がん細胞の領域300a、300b、および300cの周囲には、矩形の注目領域301a、301b、および301cが描画されている。また、免疫細胞の領域400a、400b、および400cの周囲には、矩形の注目領域401a、401b、および401cが描画されている。細胞の種類に応じた区別を明確にするために、例えば図8に示すように、領域描画部260は、注目領域を示す輪郭線を実線または破線等に変更してもよく、輪郭線の配色を変えてもよい。また、領域描画部260は、各注目領域301および401の近傍(図8に示した例では注目領域の枠外)に、注目領域を示すIDが付されてもよい。例えば、注目領域301a、301b、301c、401a、および401bの近傍に、ID302a、302b、302c、402a、および402bが付されてもよい。
図8に示した例では、ID302aは「ID:00000001」と表示し、ID402aは「ID:00010001」と表示している。このように、5桁目の数字を変更することにより、細胞の種類に応じて各注目領域を区別することができる。なお、IDは、上述した例に限られず、解析の種類、または細胞の状態等に応じて区別しやすいように付番される。
図6に戻ると、出力制御部280は、領域描画部260による描画情報を出力する(S115)。
また、解析部270は、検出部240により検出された注目領域について解析を行う(S117)。次に、出力制御部280が、解析部270による解析結果を出力する(S119)。
図9は、本実施形態に係る出力制御部280による出力例を示す図である。図9に示すように、表示部D(情報処理装置20−1の内部または外部に備えられる)には、領域描画部260により描画処理された撮像画像1000、および解析部270による解析結果を示す表1100が含まれている。撮像画像1000には、注目領域およびIDが重畳されている。また、解析結果を示す表1100には、各IDに対応する注目領域の長さ(Length)、サイズ(Size)、真円度(Circularity)、および細胞の種類が示されている。例えば、表1100のID「00000001」の行には、撮像画像1000において「ID:00000001」のIDが付されたがん細胞の長さ(150)、サイズ(1000)、真円度(0.56)、およびがん細胞の種類(Carcinoma)が表示されている。このように、出力制御部280は解析結果を表として出力してもよいし、出力制御部280は、解析結果を、グラフやマッピング等の形式により出力してもよい。
[2.3.効果]
以上、本開示の第1の実施形態に係る情報処理装置20−1の構成例および処理例について説明した。本実施形態によれば、解析方法取得部210が取得した解析方法に応じて検出レシピ(検出器)が決定され、検出部240が決定された検出器を用いて撮像画像から注目領域を検出し、解析部270が当該注目領域について解析を行う。これにより、ユーザは観察対象の解析方法を決めるだけで、当該観察対象を撮像画像から検出し、当該観察対象についての解析を行うことができる。解析方法に基づいて検出器を決定することにより、時間の経過に応じて変化する観察対象のそれぞれの形状および状態に適した検出器が選択される。これにより、観察対象の変化にかかわらず観察対象を精度高く解析することが可能となる。また、解析方法を選択すれば観察対象の変化の検出に適した検出器が自動的に選択されるので、観察対象の変化を解析したいユーザにとっての利便性も向上する。
[2.4.応用例]
続いて、本開示の第1の実施形態に係る情報処理装置20−1による処理の応用例について、図10および図11を参照しながら説明する。
(複数の検出器による注目領域の絞り込み処理の第1の例)
まず、複数の検出器による注目領域の絞り込み処理の第1の例について説明する。本応用例では、検出部240は、まず一の検出器を用いて複数の細胞の注目領域を検出し、さらに検出部240は、検出した注目領域から特定の変化を示す観察対象に対応する注目領域を、他の検出器を用いて絞り込む。これにより、複数の注目領域から、特定の変化を示す観察対象に対応する注目領域のみを解析対象とすることができる。したがって、例えば、複数のがん細胞のうち、増殖しているもの、および細胞死しているものを区別して、当該がん細胞を解析することが可能となる。
図10は、本実施形態に係る複数の検出器による注目領域の絞り込み処理による第1の出力例を示す図である。図10を参照すると、撮像画像1001にはがん細胞の領域311a、311b、410aおよび410bが含まれている。このうち、がん細胞の領域311aおよび311bは、がん細胞の増殖等により、一フレーム前におけるがん細胞の領域310aおよび310bから変化した領域である。その一方で、がん細胞の領域410aおよび410bは変化していない(例えば細胞死または不活性などが原因である)。
この場合、検出部240は、まずがん細胞の領域を検出する検出器(細胞領域検出器)を用いて注目領域を検出する。そして、検出部240はさらに、細胞が増殖している領域を検出する検出器(増殖領域検出器)を用いて、先に検出した注目領域から、増殖現象が生じている注目領域を絞り込む。
図10に示した例では、がん細胞の領域311aおよび311bの周囲には、注目領域312aおよび312bが描画されている。また、注目領域312aおよび312bの内部には、動きを示す特徴量である動きベクトル313aおよび313bが描画されている。一方で、がん細胞の領域410aおよび410bの周囲には、矩形領域411aおよび411bが描画されているが、矩形領域411の線種は、注目領域312の線種と異なるように設定されている。これにより、同一の種類の細胞であっても、解析対象が絞り込まれていることを示すことができる。
また、解析結果を示す表1200には、絞り込まれた注目領域312に対応する解析結果のみが表示される。また、注目領域312に対応するがん細胞の成長速度が、表1200に表示される。また、注目領域312に対応するがん細胞の状態は、「Carcinoma Proliferation」と示されており、当該がん細胞が増殖状態にあることが表1200に表示される。
以上、本応用例によれば、ある種類の細胞について特定の変化を示している細胞のみを検出することが可能である。したがって、特定の変化について解析したい場合において、当該特定の変化を示している細胞のみを解析することが可能となる。
(応用例2:複数の検出器による注目領域の絞り込み処理の第2の例)
次に、複数の検出器による注目領域の絞り込み処理の第2の例について説明する。本応用例では、検出部240は、複数の検出器を用いて、一の種類の細胞の注目領域を複数検出する。これにより、一の細胞が複数の異なる特徴を有している場合であっても、それぞれの特徴に応じて検出される注目領域について解析することができる。したがって、例えば、神経細胞のように一の細胞に軸索のような特異的な特徴を有する場合であっても、軸索の領域のみを検出して解析することが可能となる。
図11は、本実施形態に係る複数の検出器による注目領域の絞り込み処理による第2の出力例を示す図である。図11を参照すると、撮像画像1002には、神経細胞の領域320が含まれている。神経細胞は、上述したように、神経細胞体および軸索を含む。神経細胞体は平面的な構造を有しているため、撮像画像1002に含まれる神経細胞体の領域320Aの検出は容易であるが、軸索は長尺状の構造を有し、3次元的に伸長する特性を有するため、図11に示すように、撮像画像1002の背景と軸索の領域320Bとの判別が困難である。そのため、本実施形態に係る検出部240は、神経細胞体の領域を検出するための検出器、および軸索の領域を検出するための検出器の2つの検出器を用いることにより、神経細胞の構成要素のそれぞれを区別して検出する。
例えば、撮像画像1002bに示すように、検出部240が神経細胞体の領域を検出するための検出器を用いた場合、検出部240は神経細胞体に対応する注目領域321を検出する。一方で、撮像画像1002cに示すように、検出部240が軸索の領域を検出するための検出器を用いた場合、検出部240は軸索に対応する注目領域322を検出する。この注目領域322は、例えば軸索の領域を示す曲線により描画されてもよい。
以上、本応用例によれば、一の細胞について複数の特徴を有する場合にそれぞれを区別して検出することが可能である。したがって、一の細胞の有するある特徴について解析したい場合において、当該特徴を有する領域のみを解析することが可能となる。
<3.第2の実施形態>
次に、図12〜図14を参照して本開示の第2の実施形態に係る情報処理装置20−2について説明する。
[3.1.情報処理装置の構成例]
図12は、本開示の第2の実施形態に係る情報処理装置20−2の構成例を示すブロック図である。図12に示すように、情報処理装置20−2は、検出器データベース(DB)200、解析方法取得部210、検出器決定部220、画像取得部230、検出部240、検出パラメータ調整部250、領域描画部260、解析部270、および出力制御部280に加えて、さらに形状設定部290、および領域特定部295を含む。以下、形状設定部290および領域特定部295の機能について説明する。
(形状設定部)
形状設定部290は、領域描画部260により描画される注目領域を示す表示の形状を設定する。
図13は、本実施形態に係る形状設定部290による注目領域の形状の設定処理に関する例を示す図である。図13に示したように、観察対象の領域330の周囲には、注目領域331が描画されている。形状設定部290は、例えば、注目領域331を示す表示の形状を、矩形(領域331a)、または楕円形(領域331b)としてもよい。
また、形状設定部290は、撮像画像(不図示)に対する画像解析により観察対象の領域330の輪郭に相当する領域を検出し、当該検出結果に基づいて得られた形状を注目領域331の形状として設定してもよい。例えば、図13に示したように、形状設定部290は、観察対象の領域330の輪郭を画像解析により検出し、検出された当該輪郭を表示する閉曲線(または曲線)により示される形状を、注目領域331の形状としてもよい(例えば領域331c)。これにより、観察対象の領域330と注目領域331とを、撮像画像上においてより密接に関連付けることができる。なお、観察対象の領域330の輪郭をより詳細にフィッティングするためには、例えば、SnakesまたはLevel Setといったようなフィッティング技術が用いられ得る。
形状設定部290により決定された形状に関する情報は、領域描画部260に出力される。
なお、上述したような観察対象の領域の輪郭の形状に基づく注目領域の形状の設定処理は、領域描画部260により行われてもよい。この場合、領域描画部260は、検出部240による注目領域の検出結果を用いて、注目領域の形状を設定してもよい。これにより、検出結果をそのまま注目領域の形状の設定に利用することができるので、再度撮像画像に対して画像解析を実施する必要がない。
(領域特定部)
領域特定部295は、検出部240により検出された注目領域から、解析部270による解析の対象となる注目領域を特定する。例えば、領域特定部295は、検出部240により検出された複数の注目領域のうち、解析の対象とする注目領域を、ユーザの操作または所定の条件に応じて特定する。そして、解析部270は、領域特定部295により特定された注目領域について解析を行う。より具体的には、ユーザの操作により注目領域を特定する場合、領域特定部295は、出力制御部280により表示された複数の注目領域のうちどの注目領域を特定するかをユーザの操作により選択し、選択された注目領域について解析部270は解析を行う。
図14は、本実施形態に係る領域特定部295による注目領域の特定処理に関する例を示す図である。図14に示すように、表示部Dには、撮像画像1000および解析結果を示す表1300が含まれる。撮像画像1000には、がん細胞の領域350a、350b、および350c、並びに他の細胞の領域400aおよび400bが含まれている。ここで、検出部240ががん細胞の領域300に対応する注目領域を検出したとする。この場合、当初は領域描画部260によりがん細胞の領域350a、350bおよび350cの周囲にそれぞれ注目領域が描画され、出力制御部280により各注目領域が表示される。このとき、領域特定部295により、がん細胞の領域350aに対応する注目領域351aおよびがん細胞の領域350bに対応する注目領域351bが、解析の対象となる注目領域として選択されたとする。この場合、がん細胞の領域350bに対応する注目領域は選択から外されたこととなるため、解析の対象とならない。これにより、選択された注目領域351aおよび351bのみが解析される。
表1300には、注目領域351aおよび352bに対応するID(ID352aおよび352bに相当)、並びに各注目領域の長さ、サイズ、真円度、および細胞の種類に関する記載が含まれる。この表1300には、領域特定部295により特定された注目領域についての解析結果のみが表示される。なお、上述した注目領域の選択と同様に、領域特定部295による領域特定処理以前において、検出された全ての注目領域についての解析結果が表1300に表示されてよい。この場合、領域特定部295により注目領域が特定されなかった注目領域についての解析結果は、表1300から除去されてもよい。また、領域特定部295は、一度解析対象から除いた注目領域について、再度当該注目領域を選択することにより、解析対象として当該注目領域を特定してもよい。その際、当該注目領域の解析結果が再度表1300に表示されてもよい。これにより、必要な解析結果について自由に選択することができ、評価に必要な解析結果を抽出することができる。また、例えば複数の注目領域に関する解析結果について比較することができ、当該解析結果の比較による新たな解析を行うことが可能となる。
なお、表示部Dの撮像画像1000上には、領域特定部295により特定された注目領域を示すための表示340(340aおよび340b)が、注目領域351の近傍に表示されてもよい。これにより、どの注目領域が解析対象として特定されているかを把握することができる。
[3.2.効果]
以上、本開示の第2の実施形態に係る情報処理装置20−2の構成例について説明した。本実施形態によれば、注目領域を定義する図形の形状を設定することが可能であり、例えば、観察対象の領域の輪郭にフィットする形状を注目領域の形状として設定することもできる。これにより、観察対象の領域と注目領域とをより密接に関連付けて解析することができる。また、本実施形態によれば、検出された注目領域のうち、解析の対象とする注目領域を特定することができる。これにより、評価に必要な解析結果を抽出したり、解析結果の比較をすることが可能となる。
なお、本実施形態に係る情報処理装置20−2は、形状設定部290および領域特定部295をともに含む構成としたが、本技術はかかる例に限定されない。例えば、情報処理装置は、本開示の第1の実施形態に係る情報処理装置の構成に、形状設定部290のみをさらに追加してもよいし、領域特定部295のみをさらに追加してもよい。
<4.ハードウェア構成例>
次に、図15を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図15は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置900は、例えば、上記の実施形態における情報処理装置20実現しうる。
情報処理装置900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート925、通信装置929を含んでもよい。情報処理装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体923に記録された各種プログラムに従って、情報処理装置900内の動作全般またはその一部を制御する。例えば、CPU901は、上記の実施形態における情報処理装置20に含まれる各機能部の動作全般を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話などの外部接続機器927であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりする。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD、PDP、OELDなどの表示装置、スピーカおよびヘッドホンなどの音響出力装置、ならびにプリンタ装置などでありうる。出力装置917は、情報処理装置900の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音響などの音として出力したりする。
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体923のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体923に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体923に記録を書き込む。
接続ポート925は、機器を情報処理装置900に直接接続するためのポートである。接続ポート925は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート925は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート925に外部接続機器927を接続することで、情報処理装置900と外部接続機器927との間で各種のデータが交換されうる。
通信装置929は、例えば、通信ネットワークNWに接続するための通信デバイスなどで構成された通信インターフェースである。通信装置929は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置929は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置929は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置929に接続される通信ネットワークNWは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
以上、情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
<5.まとめ>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、情報処理システム1は撮像装置10と情報処理装置20とを備える構成であるとしたが、本技術はかかる例に限定されない。例えば、撮像装置10が情報処理装置20の有する機能(検出機能および解析機能)を備えてもよい。この場合、情報処理システム1は、撮像装置10により実現される。また、情報処理装置20が撮像装置10の有する機能(撮像機能)を備えてもよい。この場合、情報処理システム1は、情報処理装置20により実現される。また、情報処理装置20の有する機能の一部を撮像装置10が有してもよく、撮像装置10の有する機能の一部を情報処理装置20が有してもよい。
また、上記実施形態では、情報処理システム1による解析の観察対象として細胞が挙げられていたが、本技術はかかる例に限定されない。例えば、上記観察対象は、細胞小器官、生体組織、臓器、人、動物、植物または無生物である構造体等であってもよく、これらの構造または形状が短時間で変化する場合に、これらの観察対象の変化を当該情報処理システム1を用いて解析することが可能である。
なお、本明細書の情報処理装置の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、情報処理装置に内蔵されるCPU、ROMおよびRAMなどのハードウェアに、上述した調整指示特定部等を備える情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
(1)
解析方法に応じて少なくとも一の検出器を決定する検出器決定部と、
前記検出器決定部により決定された前記少なくとも一の検出器を用いて、前記解析方法による解析を行う解析部と、
を備える情報処理装置。
(2)
前記検出器決定部により決定された前記少なくとも一の検出器を用いて、撮像画像内から注目領域を検出する検出部をさらに備え、
前記解析部は、前記注目領域について解析を行う、前記(1)に記載の情報処理装置。
(3)
前記検出器決定部により複数の検出器が決定された場合、
前記検出部は、前記複数の検出器を用いて得られる複数の検出結果に基づいて前記注目領域を決定する、前記(2)に記載の情報処理装置。
(4)
前記検出部は、前記検出器を用いて検出した前記注目領域を、前記解析部による前記注目領域についての解析により得られる解析結果と関連付ける、前記(2)または(3)に記載の情報処理装置。
(5)
前記検出器の検出パラメータを調整する検出パラメータ調整部をさらに備え、
前記検出部は、決定された前記検出器の前記検出パラメータに基づいて前記撮像画像内から前記注目領域を検出する、前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記解析部による解析結果を、解析結果に対応する注目領域と関連付けて出力する出力制御部をさらに備える、前記(2)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記注目領域を示す表示を前記検出部による検出結果に基づいて前記撮像画像に描画する領域描画部をさらに備え、
前記出力制御部は、前記領域描画部により描画された前記注目領域に相当する表示を含む前記撮像画像を出力する、前記(6)に記載の情報処理装置。
(8)
前記注目領域に相当する表示の形状は、前記撮像画像に対する画像解析に基づいて検出される形状を含む、前記(7)に記載の情報処理装置。
(9)
前記注目領域に相当する表示の形状は、前記検出部による注目領域の検出結果に基づいて算出される形状を含む、前記(7)に記載の情報処理装置。
(10)
検出された前記注目領域から、前記解析部による解析の対象とする注目領域を特定する領域特定部をさらに備える、前記(2)〜(9)のいずれか1項に記載の情報処理装置。
(11)
前記検出器は、前記解析方法と前記解析方法により解析される解析対象に関する画像データとの組を学習データとする機械学習により生成される検出器であり、
前記検出部は、前記検出器を用いて前記撮像画像から得られる特徴データに基づいて前記注目領域を検出する、前記(2)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記検出器決定部は、前記解析方法により解析される解析対象が示す変化の種類に応じて少なくとも一の検出器を決定する、前記(1)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記解析方法により解析される解析対象は、細胞、細胞小器官、または前記細胞により形成される生体組織を含む、前記(12)に記載の情報処理装置。
(14)
解析方法に応じて少なくとも一の検出器を決定することと、
決定された前記少なくとも一の検出器を用いて、前記解析方法による解析を行うことと、
を含む情報処理方法。
(15)
撮像画像を生成する撮像部
を備える撮像装置と、
解析方法に応じて少なくとも一の検出器を決定する検出器決定部と、
前記検出器決定部により決定された前記少なくとも一の検出器を用いて、前記撮像画像について前記解析方法による解析を行う解析部と、
を備える情報処理装置と、
を備える情報処理システム。
10 撮像装置
20 情報処理装置
200 検出器DB
210 解析方法取得部
220 検出器決定部
230 画像取得部
240 検出部
250 検出パラメータ調整部
260 領域描画部
270 解析部
280 出力制御部
290 形状設定部
295 領域特定部

Claims (11)

  1. 細胞、細胞小器官、または前記細胞により形成される生体組織を含む観察対象であって、撮像画像における前記観察対象の変化を解析するための解析方法に応じて少なくとも一の検出器を決定する検出器決定部と、
    前記検出器決定部により決定された前記少なくとも一の検出器を用いて、前記撮像画像内から注目領域を検出する検出部と、
    前記検出器決定部により決定された前記少なくとも一の検出器を用いて、前記撮像画像から検出された前記注目領域について前記解析方法による解析を行う解析部と、
    前記注目領域を示す表示を前記検出部による検出結果に基づいて前記撮像画像に描画する領域描画部と、
    前記解析部による解析結果を、解析結果に対応する前記注目領域と関連付けて出力するとともに、前記領域描画部により描画された前記注目領域に関する表示を含む前記撮像画像を出力する出力制御部と、を備え、
    前記検出器決定部は、
    前記観察対象の種類に対応した第1の検出器を決定するとともに、当該観察対象の特定の変化に対応した第2の検出器を決定し、
    前記検出部は、
    前記第1の検出器を用いて、前記撮像画像内から前記種類の前記観察対象を示す複数の前記注目領域を検出し、前記第2の検出器を用いて、前記複数の注目領域の中から前記特定の変化を示す前記注目領域を検出し、
    前記解析部は、
    前記注目領域における動きベクトルの特徴量を算出し、
    前記領域描画部は、
    算出された前記特徴量に応じた前記動きベクトルを前記注目領域の内部に描画する、
    情報処理装置。
  2. 前記検出器決定部により複数の検出器が決定された場合、
    前記検出部は、前記複数の検出器を用いて得られる複数の検出結果に基づいて前記注目領域を決定する、請求項1に記載の情報処理装置。
  3. 前記検出部は、前記検出器を用いて検出した前記注目領域を、前記解析部による前記注目領域についての解析により得られる解析結果と関連付ける、請求項1に記載の情報処理装置。
  4. 前記検出器の検出パラメータを調整する検出パラメータ調整部をさらに備え、
    前記検出部は、決定された前記検出器の前記検出パラメータに基づいて前記撮像画像内から前記注目領域を検出する、請求項1に記載の情報処理装置。
  5. 前記注目領域に相当する表示の形状は、前記撮像画像に対する画像解析に基づいて検出される形状を含む、請求項1に記載の情報処理装置。
  6. 前記注目領域に相当する表示の形状は、前記検出部による注目領域の検出結果に基づいて算出される形状を含む、請求項1に記載の情報処理装置。
  7. 検出された前記注目領域から、前記解析部による解析の対象とする注目領域を特定する領域特定部をさらに備える、請求項1に記載の情報処理装置。
  8. 前記検出器は、前記解析方法と前記解析方法により解析される解析対象に関する画像データとの組を学習データとする機械学習により生成される検出器であり、
    前記検出部は、前記検出器を用いて前記撮像画像から得られる特徴データに基づいて前記注目領域を検出する、請求項1に記載の情報処理装置。
  9. 前記検出器決定部は、前記解析方法により解析される解析対象が示す変化の種類に応じて少なくとも一の検出器を決定する、請求項1に記載の情報処理装置。
  10. 細胞、細胞小器官、または前記細胞により形成される生体組織を含む観察対象であって、撮像画像における前記観察対象の変化を解析するための解析方法に応じて少なくとも一の検出器を決定することと、
    決定された前記少なくとも一の検出器を用いて、前記撮像画像内から注目領域を検出することと、
    決定された前記少なくとも一の検出器を用いて、前記撮像画像から検出された前記注目領域について前記解析方法による解析を行うことと、
    前記注目領域を示す表示を検出結果に基づいて前記撮像画像に描画することと、
    解析結果を、解析結果に対応する前記注目領域と関連付けて出力するとともに、描画された前記注目領域に関する表示を含む前記撮像画像を出力することと、を含み、
    前記観察対象の種類に対応した第1の検出器を決定するとともに、当該観察対象の特定の変化に対応した第2の検出器を決定し、
    前記第1の検出器を用いて、前記撮像画像内から前記種類の前記観察対象を示す複数の前記注目領域を検出し、前記第2の検出器を用いて、前記複数の注目領域の中から前記特定の変化を示す前記注目領域を検出し、
    前記注目領域における動きベクトルの特徴量を算出し、
    算出された前記特徴量に応じた前記動きベクトルを前記注目領域の内部に描画する、
    情報処理方法。
  11. 撮像画像を生成する撮像部
    を備える撮像装置と、
    細胞、細胞小器官、または前記細胞により形成される生体組織を含む観察対象であって、撮像画像における前記観察対象の変化を解析するための解析方法に応じて少なくとも一の検出器を決定する検出器決定部と、
    前記検出器決定部により決定された前記少なくとも一の検出器を用いて、前記撮像画像内から注目領域を検出する検出部と、
    前記検出器決定部により決定された前記少なくとも一の検出器を用いて、前記撮像画像から検出された前記注目領域について前記解析方法による解析を行う解析部と、
    前記注目領域を示す表示を前記検出部による検出結果に基づいて前記撮像画像に描画する領域描画部と、
    前記解析部による解析結果を、解析結果に対応する前記注目領域と関連付けて出力するとともに、前記領域描画部により描画された前記注目領域に関する表示を含む前記撮像画像を出力する出力制御部と、を備え、
    前記検出器決定部は、
    前記観察対象の種類に対応した第1の検出器を決定するとともに、当該観察対象の特定の変化に対応した第2の検出器を決定し、
    前記検出部は、
    前記第1の検出器を用いて、前記撮像画像内から前記種類の前記観察対象を示す複数の前記注目領域を検出し、前記第2の検出器を用いて、前記複数の注目領域の中から前記特定の変化を示す前記注目領域を検出し、
    前記解析部は、
    前記注目領域における動きベクトルの特徴量を算出し、
    前記領域描画部は、
    算出された前記特徴量に応じた前記動きベクトルを前記注目領域の内部に描画する、
    情報処理装置と、
    を備える情報処理システム。
JP2017544391A 2015-10-08 2016-07-07 情報処理装置、情報処理方法及び情報処理システム Active JP6777086B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015199990 2015-10-08
JP2015199990 2015-10-08
PCT/JP2016/070121 WO2017061155A1 (ja) 2015-10-08 2016-07-07 情報処理装置、情報処理方法及び情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2017061155A1 JPWO2017061155A1 (ja) 2018-08-02
JP6777086B2 true JP6777086B2 (ja) 2020-10-28

Family

ID=58487485

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017544391A Active JP6777086B2 (ja) 2015-10-08 2016-07-07 情報処理装置、情報処理方法及び情報処理システム

Country Status (3)

Country Link
US (1) US20180342078A1 (ja)
JP (1) JP6777086B2 (ja)
WO (1) WO2017061155A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018004960T5 (de) * 2017-10-26 2020-07-23 Sony Corporation Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren, programm und beobachtungssystem
US11798662B2 (en) * 2018-03-07 2023-10-24 Verdict Holdings Pty Ltd Methods for identifying biological material by microscopy
JP6947289B2 (ja) * 2018-03-20 2021-10-13 株式会社島津製作所 細胞観察装置
JP6947288B2 (ja) * 2018-03-20 2021-10-13 株式会社島津製作所 細胞観察装置及び細胞観察用プログラム
EP3797169B1 (fr) * 2019-03-14 2022-07-20 Hitachi High-Tech Corporation Procédé de contrôle de sensibilité à des agents chimiques
JP7172796B2 (ja) * 2019-03-28 2022-11-16 コニカミノルタ株式会社 表示システム、表示制御装置及び表示制御方法
CN112639396B (zh) * 2019-08-07 2022-11-11 株式会社日立高新技术 尺寸测量装置、尺寸测量方法以及半导体制造系统
JP2021083431A (ja) * 2019-11-29 2021-06-03 シスメックス株式会社 細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム
WO2021152727A1 (ja) * 2020-01-29 2021-08-05 楽天グループ株式会社 物体認識システム、位置情報取得方法、及びプログラム
WO2021166120A1 (ja) * 2020-02-19 2021-08-26 三菱電機株式会社 情報処理装置、情報処理方法及び情報処理プログラム
DE102020126953B3 (de) * 2020-10-14 2021-12-30 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zum Erfassen einer räumlichen Orientierung einer tragbaren Vorrichtung

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000069346A (ja) * 1998-06-12 2000-03-03 Canon Inc カメラ制御装置、方法、カメラ、追尾カメラシステム及びコンピュ―タ読み取り可能な記憶媒体
US7203360B2 (en) * 2003-04-09 2007-04-10 Lee Shih-Jong J Learnable object segmentation
JP2006018706A (ja) * 2004-07-05 2006-01-19 Nippon Telegr & Teleph Corp <Ntt> 被写体識別器設定装置、その設定方法とその設定プログラム、および被写体識別装置、その識別方法とその識別プログラム
JP2007222073A (ja) * 2006-02-23 2007-09-06 Yamaguchi Univ 画像処理により細胞運動特性を評価する方法、そのための画像処理装置及び画像処理プログラム
US9398266B2 (en) * 2008-04-02 2016-07-19 Hernan Carzalo Object content navigation
JP5530126B2 (ja) * 2009-07-24 2014-06-25 オリンパス株式会社 三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置
JPWO2011016189A1 (ja) * 2009-08-07 2013-01-10 株式会社ニコン 細胞の分類手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
EP2293248A1 (en) * 2009-09-08 2011-03-09 Koninklijke Philips Electronics N.V. Motion monitoring system for monitoring motion within a region of interest
EP2499827A4 (en) * 2009-11-13 2018-01-03 Pixel Velocity, Inc. Method for tracking an object through an environment across multiple cameras
JP2011193159A (ja) * 2010-03-12 2011-09-29 Toshiba Corp 監視システム、画像処理装置、及び監視方法
US8941706B2 (en) * 2010-04-07 2015-01-27 Apple Inc. Image processing for a dual camera mobile device
JP5547597B2 (ja) * 2010-09-29 2014-07-16 大日本スクリーン製造株式会社 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
EP2549735A3 (en) * 2011-07-19 2014-08-27 Samsung Electronics Co., Ltd. Method of editing static digital combined images comprising images of multiple objects
CN104024913A (zh) * 2011-12-22 2014-09-03 松下健康医疗器械株式会社 观察系统、观察系统的控制方法以及程序
JP5945434B2 (ja) * 2012-03-16 2016-07-05 オリンパス株式会社 生物試料の画像解析方法、画像解析装置、画像撮影装置およびプログラム
JP6102166B2 (ja) * 2012-10-10 2017-03-29 株式会社ニコン 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置
KR102173123B1 (ko) * 2013-11-22 2020-11-02 삼성전자주식회사 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
JP6197659B2 (ja) * 2014-01-20 2017-09-20 富士ゼロックス株式会社 検出制御装置、プログラム及び検出システム
KR101736173B1 (ko) * 2014-02-14 2017-05-17 한국전자통신연구원 관심 객체 고속 검출 장치 및 그 방법
JP6024719B2 (ja) * 2014-09-09 2016-11-16 カシオ計算機株式会社 検出装置、検出方法、及びプログラム

Also Published As

Publication number Publication date
WO2017061155A1 (ja) 2017-04-13
JPWO2017061155A1 (ja) 2018-08-02
US20180342078A1 (en) 2018-11-29

Similar Documents

Publication Publication Date Title
JP6777086B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
US11229419B2 (en) Method for processing 3D image data and 3D ultrasonic imaging method and system
US20170166858A1 (en) Incubated state evaluating device, incubated state evaluating method, incubator, and program
JP6448129B2 (ja) 細胞評価装置、インキュベータ、細胞評価方法、プログラム、及び細胞の培養方法
US10929985B2 (en) System and methods for tracking motion of biological cells
JP7001060B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
WO2011016189A1 (ja) 細胞の分類手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
KR20160078955A (ko) 현미경 이미지 내에서 각각의 세포를 분류 및 식별하는 방법 및 시스템
JP2014525252A (ja) 組織分類のためのシステム及び方法
CN106023151A (zh) 一种开放环境下中医舌象目标检测方法
WO2017154318A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
JPWO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
CN107408198A (zh) 细胞图像和视频的分类
JP2017023055A (ja) 細胞管理システム、プログラム、及び、細胞管理方法
EP3485458A1 (en) Information processing device, information processing method, and information processing system
Lin et al. Quality assessment of fetal head ultrasound images based on faster R-CNN
JPWO2018105298A1 (ja) 情報処理装置、情報処理方法及び情報処理システム
CN108460370A (zh) 一种固定式家禽生命信息报警装置
US20210217172A1 (en) Information processing device, information processing method, program, and information processing system
Masdiyasa et al. A new method to improve movement tracking of human sperms
EP4258852A1 (en) Plant detection and display system
Yin et al. A novel method of situ measurement algorithm for oudemansiella raphanipies caps based on YOLO v4 and distance filtering
Durgadevi et al. Image characterization based fetal brain MRI localization and extraction
US20220249060A1 (en) Method for processing 3d image data and 3d ultrasonic imaging method and system
Patel et al. Plant disease detection using image processing and machine learning

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200921

R151 Written notification of patent or utility model registration

Ref document number: 6777086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151