JP6696152B2 - 情報処理装置、情報処理方法、プログラム及び情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム及び情報処理システム Download PDF

Info

Publication number
JP6696152B2
JP6696152B2 JP2015221330A JP2015221330A JP6696152B2 JP 6696152 B2 JP6696152 B2 JP 6696152B2 JP 2015221330 A JP2015221330 A JP 2015221330A JP 2015221330 A JP2015221330 A JP 2015221330A JP 6696152 B2 JP6696152 B2 JP 6696152B2
Authority
JP
Japan
Prior art keywords
motion
motion compensation
information processing
unit
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015221330A
Other languages
English (en)
Other versions
JP2017092730A (ja
Inventor
真司 渡辺
真司 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015221330A priority Critical patent/JP6696152B2/ja
Priority to EP16798574.6A priority patent/EP3374908B1/en
Priority to US15/773,001 priority patent/US10733741B2/en
Priority to CN201680064345.0A priority patent/CN108351919B/zh
Priority to PCT/JP2016/082809 priority patent/WO2017082167A1/en
Publication of JP2017092730A publication Critical patent/JP2017092730A/ja
Application granted granted Critical
Publication of JP6696152B2 publication Critical patent/JP6696152B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B45/00—ICT specially adapted for bioinformatics-related data visualisation, e.g. displaying of maps or networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biotechnology (AREA)
  • Chemical & Material Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Biomedical Technology (AREA)
  • Zoology (AREA)
  • Sustainable Development (AREA)
  • Molecular Biology (AREA)
  • Microbiology (AREA)
  • Biochemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Analytical Chemistry (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Description

本開示は、情報処理装置、情報処理方法、プログラム及び情報処理システムに関する。
医療および生命科学の分野において、多くの種類の生物学的試料の動きを観察し、これらの形態の変化ついて評価することが行われている。形態の変化は、生物学的試料の生命活動または生命状態等を反映する動きのことであり、生物学的試料の状態等の評価に密接に関連している。このような生物学的試料の形態の変化は、当該生物学的試料の自律的な移動、または観察装置の振動もしくは培地の流動等による動きなど、種々の動きに紛れていることが多く、生物学的試料の形態の変化のみがそのまま観察できる機会は多くない。そのため、生物学的試料の形態の変化を詳細に解析するためには、当該生物学的試料の様々な動きのなかから形態の変化を精度高く判別することが重要である。すなわち、生物学的試料の形態の変化を生物学的試料が示す種々の動きのなかから判別し、当該生物学的試料の形態の変化を観察および解析するための画像処理技術が求められている。
例えば、下記特許文献１には、連続するフレーム画像の動きを推定し、当該推定結果および初期のフレーム画像を用いて画像空間を安定化する技術が開示されている。かかる技術により、カメラワークのブレ等の外部要因による動画像の乱れを補正することができる。
特開２００５−１０２０８２号公報
しかし、上記特許文献１に開示された技術は、画像空間を撮像する撮像装置の動きによる動画像の乱れを補正するものである。そのため、同一の画角の範囲内で動き回る生物学的試料の動きから、生物学的試料の形態の変化だけを捉えることは、上述する文献に開示された技術では困難である。
そこで、本開示では、生物学的試料の形態の変化をより詳細に解析することが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラムおよび情報処理システムを提案する。
本開示によれば、生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、上記少なくとも一の注目領域の上記動画像上の動きを推定する推定部と、上記動きに基づいて動き補償パラメータを算出するパラメータ算出部と、上記動き補償パラメータを用いて上記少なくとも一の注目領域についての処理を行う処理部と、上記処理の結果の表示を制御する表示制御部と、を備える情報処理装置が提供される。
また、本開示によれば、プロセッサが、生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定することと、上記少なくとも一の注目領域の上記動画像上の動きを推定することと、上記動きに基づいて動き補償パラメータを算出することと、上記動き補償パラメータを用いて上記少なくとも一の注目領域についての処理を行うことと、上記処理の結果の表示を制御することと、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータを、生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、上記少なくとも一の注目領域の上記動画像上の動きを推定する推定部と、上記動きに基づいて動き補償パラメータを算出するパラメータ算出部と、上記動き補償パラメータを用いて上記少なくとも一の注目領域についての処理を行う処理部と、上記処理の結果の表示を制御する表示制御部と、として機能させるためのプログラムが提供される。
また、本開示によれば、生物学的試料についての動画像を生成する撮像部を備える撮像装置と、上記動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、上記少なくとも一の注目領域の上記動画像上の動きを推定する推定部と、上記動きに基づいて動き補償パラメータを算出するパラメータ算出部と、上記動き補償パラメータを用いて上記少なくとも一の注目領域についての処理を行う処理部と、上記処理の結果の表示を制御する表示制御部と、を備える情報処理装置と、を有する情報処理システムが提供される。
以上説明したように本開示によれば、生物学的試料の形態の変化をより詳細に解析することが可能である。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの構成の概要を示す図である。 同実施形態に係る情報処理装置の機能構成例を示す機能ブロック図である。 設定部による受精卵についての注目領域の設定方法の一例を示す図である。 設定部による遊走細胞についての注目領域の設定方法の一例を示す図である。 設定部による精子についての注目領域の設定方法の一例を示す図である。 注目領域の動きを構成する並進成分および回転成分について説明するための図である。 注目領域の動きを構成する拡縮成分について説明するための図である。 並進成分に対応する動き補償パラメータのみが選択された場合の動き補償画像の一例を示す図である。 並進成分および回転成分に対応する動き補償パラメータのみが選択された場合の動き補償画像の一例を示す図である。 同実施形態に係る情報処理装置による動き推定処理の一例を示すフローチャートである。 同実施形態に係る情報処理装置による動き補償処理および解析処理の一例を示すフローチャートである。 同実施形態に係る情報処理装置の第１の適用例を示す図である。 同実施形態に係る情報処理装置の第２の適用例を示す図である。 同実施形態に係る情報処理装置の第３の適用例を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．情報処理システムの概要
２．情報処理装置
２．１．構成例
２．２．処理例
２．３．適用例
２．４．効果
３．ハードウェア構成例
４．まとめ
＜＜１．情報処理システムの概要＞＞
図１は、本開示の一実施形態に係る情報処理システム１の構成の概要を示す図である。図１に示すように、情報処理システム１は、撮像装置１０、および情報処理装置２０を備える。撮像装置１０および情報処理装置２０は、有線または無線の各種ネットワークにより接続される。
（撮像装置）
撮像装置１０は、撮像画像（動画像）を生成する装置である。本実施形態に係る撮像装置１０は、例えば、デジタルカメラにより実現される。他にも、撮像装置１０は、例えばスマートフォン、タブレット、ゲーム機、またはウェアラブル装置など、撮像機能を有するあらゆる装置により実現されてもよい。このような撮像装置１０は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を有し、これらを用いて実空間を撮像する。これらの撮像素子および各種の部材により、撮像装置１０の撮像部としての機能が実現される。また、撮像装置１０は、情報処理装置２０との間で動画像等を送受信するための通信装置を含む。本実施形態において、撮像装置１０は、観察対象である細胞等が培養されている培地Ｍを撮像するための撮像ステージＳの上方に設けられる。なお、細胞は生物学的試料の一例である。そして、撮像装置１０は、培地Ｍを所定のフレームレートで撮像することにより動画像を生成する。なお、撮像装置１０は、培地Ｍを直接（他の部材を介さずに）撮像してもよいし、顕微鏡等の他の部材を介して培地Ｍを撮像してもよい。また、上記フレームレートは特に限定されないが、観察対象の変化の度合いに応じて設定されることが好ましい。なお、撮像装置１０は、観察対象の変化を正しく追跡するため、培地Ｍを含む一定の撮像領域を撮像する。撮像装置１０により生成された動画像は、情報処理装置２０へ送信される。
なお、本実施形態において、撮像装置１０は光学顕微鏡等に設置されるカメラであることを想定しているが、本技術はかかる例に限定されない。例えば、撮像装置１０は、ＳＥＭ（Scanning Electron Microscope；走査型電子顕微鏡）、もしくはＴＥＭ（Transmission Electron Microscope；透過型電子顕微鏡）等の電子線を用いた電子顕微鏡等に含まれる撮像装置、または、ＡＦＭ（Atomic Force Microscope；原子間力顕微鏡）、もしくはＳＴＭ（Scanning Tunneling Microscope；走査型トンネル顕微鏡）等の短針を用いたＳＰＭ（Scanning Probe Microscope；走査型プローブ顕微鏡）等に含まれる撮像装置であってもよい。この場合、撮像装置１０により生成される動画像は、例えば電子顕微鏡の場合、電子線を観察対象に照射することにより得られる動画像である。また、撮像装置１０がＳＰＭである場合、撮像装置１０により生成される動画像は、短針を用いて観察対象をなぞることにより得られる動画像である。これらの動画像も、本実施形態に係る情報処理装置２０により画像解析され得る。
（情報処理装置）
情報処理装置２０は、画像解析機能を有する装置である。情報処理装置２０は、ＰＣ（Personal Computer）、タブレット、スマートフォンなど、画像解析機能を有するあらゆる装置により実現される。情報処理装置２０は、処理回路および通信装置を含む。例えば、本実施形態に係る情報処理装置２０では、通信装置が撮像装置１０から動画像を取得し、処理回路が取得した動画像について観察対象の動きを推定する。そして、当該処理回路は、推定した当該観察対象の動きから動き補償パラメータを算出し、当該動き補償パラメータに基づいて観察対象の動き補償および観察対象の解析等の処理を行う。情報処理装置２０の処理回路により行われる各処理については、情報処理装置２０の内部または外部に備えられる記憶装置または表示装置等に出力される。なお、情報処理装置２０は、ネットワーク上の１または複数の情報処理装置によって実現されてもよい。情報処理装置２０の各機能を実現する機能構成については後述する。
なお、本実施形態において、撮像装置１０および情報処理装置２０により情報処理システム１が構成されるが、本技術はかかる例に限定されない。例えば、撮像装置１０が、情報処理装置２０に関する処理（例えば動き補償処理および解析処理）を行ってもよい。この場合、情報処理システム１は、動き補償機能および解析機能等を有する撮像装置により実現される。
また、本実施形態に係る情報処理システム１の観察対象は、主に生物学的試料である。生物学的試料とは、例えば、各種細胞、細胞小器官もしくは生体組織、または微生物もしくはプランクトン等の生物など、光学顕微鏡等を用いて観察することが可能な生体を意味する。特に本実施形態において生物学的試料は、撮像装置１０の撮像ステージＳ上における培地Ｍにおいて運動し得る生体を意味する。以下、このような生物学的試料については、観察対象と呼称する。なお、本実施形態において観察対象は生物学的試料であるが、本技術はかかる例に限定されない。例えば、観察対象は、大きさがミリメートルからナノメートルのスケールである生物または無生物等の構造体であってもよい。より具体的には、化合物、薄膜、マイクロ粒子またはナノ粒子等が観察対象であってもよく、情報処理システム１は、これらの観察対象の結晶成長等について解析するために用いられてもよい。
ここで、例えば観察対象となる細胞は、人、動物、植物または無生物である構造体等の通常の被写体と異なり、短時間において成長、分裂、結合、変形、またはネクローシス（Necrosis；壊死）等の各種現象を発生させる。細胞は、これらの各種現象に応じた形態の変化または動き（以下、まとめて形態の変化と呼称する）を示す。このような形態の変化について、これまでは観察者による目視による定性的な評価が行われていた。このような生物学的試料の形態の変化は、当該生物学的試料の自律的な移動、または観察装置の振動もしくは培地の流動等による動きに紛れていることが多い。そのため、生物学的試料の形態の変化のみがそのまま観察できる機会は多くない。つまり、目視で生物学的試料の形態の変化を観察することは困難であり、また、観察者にとっても大きな負担となる。また、生物学的試料の動きをそのまま解析しようとしても、生物学的試料の形態の変化以外の多様な動きが含まれるため、信頼できる解析結果を得ることは困難である。
このような細胞の形態の変化を詳細に観察し、解析するためには、生物学的試料が示す種々の動きのなかから当該形態の変化を判別することが要求される。しかし、上述したように、細胞の位置および形態は短時間で大きく変化し得る。そのため、例えば特開２００５−１０２０８２号公報に開示された技術を用いたとしても、かかる技術は画像空間を撮像する撮像装置の動きによる動画像の乱れを補正するものである。したがって、同一の画角の範囲内で動き回る生物学的試料の動きから、生物学的試料の形態の変化だけを捉えることは困難である。
そこで、本実施形態に係る情報処理システム１は、動画像を構成する一の撮像画像から観察対象に対応する領域（注目領域）を設定し、当該注目領域の動きを推定し、推定された動きに基づいて動き補償パラメータを算出し、算出された動き補償パラメータを用いて注目領域についての処理を行う。注目領域についての処理とは、例えば、動き補償パラメータを用いて観察対象に相当する領域を含む動画像に対して行われる動き補償処理、および注目領域に対応する観察対象についての解析処理である。かかる技術により、観察したい細胞の自律的な移動または撮像装置の振動等による動き等を推定することができ、これらの形態の変化以外の動きを取り除くことができる。つまり、生物学的試料が示す種々の動きのなかから、細胞の形態の変化のみを判別することができる。これにより、細胞の形態が時系列に変化する場合であっても、細胞の形態の変化を詳細に観察し、解析することが可能となる。
以上、本開示の一実施形態に係る情報処理システム１の概要について説明した。本開示の一実施形態に係る情報処理システム１に含まれる情報処理装置２０は、以下の実施形態において実現される。以下、情報処理装置２０の具体的な構成例および処理例について説明する。
＜＜２．情報処理装置＞＞
以下、図２〜図１３を参照して本開示の一実施形態に係る情報処理装置２０について説明する。
＜２．１．構成例＞
図２は、本開示の一実施形態に係る情報処理装置２０の機能構成例を示す機能ブロック図である。図２に示すように、本実施形態に係る情報処理装置２０は、通信部２１０、設定部２２０、推定部２３０、パラメータ算出部２４０、選択部２５０、処理部２６０および表示制御部２７０を備える。通信部２１０の機能は情報処理装置２０が備える通信装置により実現される。また、設定部２２０、推定部２３０、パラメータ算出部２４０、選択部２５０、処理部２６０および表示制御部２７０の各機能は、情報処理装置２０が備えるＣＰＵ（Central Processing Unit）等の処理回路により実現される。また、各機能部により出力される情報は、適宜、不図示の記憶装置に記憶されてもよく、また各機能部は当該記憶装置から情報を取得してもよい。以下、各機能部について説明する。
（通信部）
通信部２１０は、情報処理装置２０が備える通信手段であり、ネットワークを介して（あるいは直接的に）、外部装置と無線または有線により各種通信を行う。例えば、通信部２１０は撮像装置１０と通信を行う。より具体的には、通信部２１０は、撮像装置１０により生成された動画像を取得する。また、通信部２１０は、撮像装置１０以外の他の装置と通信を行ってもよい。例えば、通信部２１０は、後述する処理部２６０による処理結果に関する情報を、外部の記憶装置または表示装置等に送信してもよい。
なお、通信部２１０が取得する動画像には、ＲＧＢ動画像またはグレースケール動画像等が含まれる。取得した動画像がＲＧＢ動画像である場合、情報処理装置２０は、当該ＲＧＢ動画像をグレースケール動画像に変換してもよい。これにより、後述する推定部２３０または処理部２６０による各種処理の精度が向上し得る。また、通信部２１０が取得する動画像は、ライブビュー画像またはタイムラプス画像等であってもよい。
（設定部）
設定部２２０は、通信部２１０が取得した動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する。なお、本明細書において注目領域とは、観察対象の動きを推定するための領域を意味する。この注目領域は、動画像における観察対象（例えば、細胞等の生物学的試料）に相当する領域（以降、観察対象領域と呼称する）と必ずしも一致していなくてもよい。例えば、注目領域は、観察対象の輪郭に相当する閉曲線により形成される領域に設定されてもよいし、観察対象の内部組織の領域に相当する領域に設定されてもよい。
本明細書における注目領域は、例えば開曲線（直線を含む）により表現される領域であってもよく、または、閉曲線（始点と終点が一致する曲線）により包囲される領域であってもよい。また、注目領域として、複数の閉領域、または８の字のような領域が設定されてもよい。
また、注目領域は、情報処理装置２０を使用するユーザの操作等を介して設定されてもよいし、設定部２２０が画像解析等の手法により動画像から注目領域を自動的に検出してもよい。後者の場合、設定部２２０は、画像解析により観察対象領域を検出してもよい。例えば、設定部２２０は、観察対象の種類に応じて注目領域を設定してもよい。
また、設定部２２０は、一の撮像画像から一または複数の注目領域を設定してもよい。例えば、一の撮像画像に複数の観察対象領域が含まれている場合、これらの観察対象の動きの比較のために、設定部２２０は各観察対象についてそれぞれ注目領域を設定してもよい。これにより、複数の観察対象の各々の動きが推定され、各々の形態の変化について解析できるので、解析結果の比較が可能となる。
なお、当該一の撮像画像は、通信部２１０が取得した動画像のうち、最初のフレームに相当する撮像画像であってもよい。最初のフレームの撮像画像について注目領域を設定することにより、例えば、動画像における注目領域の動きについて時系列に解析する際に、最初のフレームにおける注目領域の位置を基準とすることができる。そのため、任意の撮像画像における注目領域の位置を基準とするよりも、解析結果がより明確となる。
ここで、本実施形態に係る設定部２２０は、一の撮像画像において注目領域を設定した際に、当該注目領域に関して複数の追跡点を配置する。なお、本明細書において追跡点とは、ある撮像画像について設定された注目領域に対応して配置される点である。例えば本実施形態において、追跡点は注目領域を定義する線または輪郭上に、所定の間隔を空けて配置される。後述する推定部２３０において、当該注目領域が設定された際に用いられた一の撮像画像とは異なる時点において撮像された他の撮像画像における追跡点の位置が推定される。推定部２３０は、この追跡点の移動位置に基づいて当該注目領域の動きを推定することができる。さらに、推定部２３０は、移動後の注目領域について追跡点を適切な位置に再配置してもよい。これにより、注目領域の動きの推定精度を高めることができる。
また、追跡点の配置数および配置間隔は、観察対象の種類、または注目領域の形状に応じて決定されてもよい。例えば、注目領域の形状が大きく変化する場合、追跡点の配置数を増やし、配置間隔を小さくすることが好ましい。これにより、細胞の形態が大きく変化しても、細胞の形態の変化を精度高く追跡することができる。また、計算負荷の低減のためには、追跡点の配置数を減らし、配置間隔を大きくすることが好ましい。
ここで、本実施形態にかかる注目領域は、動画像における観察対象領域のうち、形態の変化が比較的小さい領域であることが好ましい。形態の変化が比較的大きい領域を注目領域として設定すると、形態の変化による動き成分（並進成分、回転成分および拡縮成分を含む）ごとの大きさを精度高く推定することが困難であるためである。
表１は、観察対象である各生物学的試料について推奨される注目領域の設定方法の例を示す表である。
Figure 0006696152
例えば、受精卵については、細胞質及び細胞核内部の動きが大きいため、細胞核または細胞膜の輪郭（すなわち、最大輪郭）に相当する領域を注目領域として設定することが好ましい。
図３は、設定部２２０による受精卵についての注目領域の設定方法の一例を示す図である。図３を参照すると、受精卵３１０は、細胞膜３１１および分割卵３１２からなる。時間が経過するにつれて受精卵３１０の内部において卵割が進行する。そのため、受精卵３１０の内部において形態が大きく変化し得る。一方で、細胞膜３１１については、時間が経過するにつれて細胞膜３１１は巨大化するが、細胞膜３１１の形状は大きく変化しない。そのため、図３に示したように、設定部２２０は、細胞膜３１１に相当する領域を注目領域４１０として設定し、細胞膜３１１を示す輪郭線上に追跡点４１１を配置することが好ましい。これにより、受精卵３１０の内部の形態の変化について精度高く解析することができる。
また、遊走細胞および培養細胞については、細胞膜の形態の変化が比較的大きいため、細胞核の輪郭に相当する領域を注目領域として設定することが好ましい。図４は、設定部２２０による遊走細胞についての注目領域の設定方法の一例を示す図である。図４を参照すると、遊走細胞３２０は、細胞膜３２１および細胞核３２２からなる。遊走細胞３２０は遊走現象により細胞膜３２１の形態を大きく変化させる。一方で、細胞核３２２の形態はあまり変化しない。そのため、図４に示したように、設定部２２０は、細胞核３２２に相当する領域を注目領域４２０として設定し、細胞核３２２を示す輪郭線上に追跡点４２１を配置することが好ましい。これにより、細胞膜３２１の形態の変化に関わらず、遊走細胞３２０の動きまたは形態の変化等について精度高く解析することができる。
また、神経細胞についても、軸索の形態が大きく変化するため、細胞核に相当する神経細胞体の輪郭を注目領域として設定することが好ましい。
また、精子および血球については、その形態についてランダムな変化を示すため、これらの最大輪郭に相当する領域を注目領域として設定することが好ましい。図５は、設定部２２０による精子についての注目領域の設定方法の一例を示す図である。精子３３０はその形態は大きく変化させないものの、比較的高速で、かつ頭部を振動させながら移動する（頭部首振り運動）。そのため、図５に示したように、設定部２２０は、精子３３０に相当する領域を注目領域４３０として設定し、精子３３０を示す輪郭線上に追跡点４３１を配置することが好ましい。これにより、精子３３０の動きが多様でかつ高速であっても、精子３３０の動きを精度高く解析することができる。
さらに、設定部２２０により設定される注目領域は、観察対象の種類だけではなく、観察対象に対する解析または評価の種類に応じて設定されてもよい。例えば、観察対象が細胞である場合、細胞内の動きを解析するか、細胞全体の動きを解析するかに応じて注目領域が設定されてもよい。細胞内の動きが解析対象である場合、設定部２２０は、細胞の最外輪郭に相当する領域を注目領域として設定してもよい。これにより、細胞の最外輪郭の動きに関わらず、細胞内の動きを詳細に観察し、解析することができる。一方で、細胞全体の動きが解析対象である場合、設定部２２０は、細胞内の細胞核などの生体組織に相当する領域を注目領域として設定してもよい。このように、注目領域を観察対象の種類、解析手法または評価の種類に応じて設定することで、様々な形態の変化についてより詳細に観察し、解析することができる。
設定部２２０により設定された注目領域についての情報は、推定部２３０に出力される。
（推定部）
推定部２３０は、注目領域の動画像上の動きを推定する。例えば、推定部２３０は、動画像を構成する一の撮像画像における、当該一の撮像画像とは撮像時点が異なる他の撮像画像における注目領域の動きを推定する。具体的には、本実施形態に係る推定部２３０は、まず注目領域について配置された各追跡点の動きを推定し、推定された各追跡点の動きに基づいて、注目領域の動きを推定してもよい。
まず、本実施形態に係る推定部２３０は、設定部２２０において設定された注目領域について配置された追跡点の動きを推定することにより、当該注目領域の動きを推定する。具体的には、推定部２３０は、一の撮像画像において配置された追跡点の、当該一の撮像画像とは撮像時点が異なる他の撮像画像における位置を推定する。当該他の撮像画像は、当該一の撮像画像のフレームの前後数フレームのいずれかの撮像画像であってもよい。推定部２３０は、他の撮像画像における追跡点の位置の推定に係る処理を、動画像を構成する各撮像画像について行うことにより、動画像上の追跡点の動きを推定する。
推定部２３０は、例えば、一の撮像画像と他の撮像画像との比較により算出される動きベクトルに基づいて、追跡点の位置を推定してもよい。この動きベクトルとは、追跡点ごとに算出される動きベクトルであってもよい。当該動きベクトルは、例えばブロックマッチング、または勾配法等の手法により算出されてもよい。本明細書において、推定部２３０は、当該動きベクトルをブロックマッチングにより推定するものとして説明する。
例えば、推定部２３０は、追跡点を含む所定の大きさの追跡領域について、一の撮像画像と他の撮像画像との間で追跡領域内の画素に関する情報が最も合致する領域を他の撮像画像の所定の探索範囲から検出することにより、追跡点の他の撮像画像における位置を推定してもよい。このとき、追跡領域および探索範囲の大きさは、撮像装置１０の撮像条件（例えば撮像倍率）、観察対象の種類、または観察対象に対して行う解析の種類等に応じて決定されてもよい。例えば、観察対象の動きが大きい場合は、追跡領域または探索範囲をより大きくしてもよい。これにより、推定部２３０による追跡点の位置の推定精度を向上させることができる。また、追跡点が注目領域に関して多数存在する場合は、計算負荷の低減のために、追跡領域または探索範囲を小さくするよう調整してもよい。
また、推定部２３０は、観察対象に関する情報に基づいて決定される撮像時点に生成された他の撮像画像における追跡点の位置を推定してもよい。例えば、形態の変化のスピードが遅い観察対象の形態の変化を追跡する場合、撮像装置１０により生成された連続する複数のフレームの間における撮像画像の違いは小さい。そのため、形状の変化スピードが遅い観察対象の形状の変化を追跡する際、推定部２３０は、一の撮像画像のフレームから前後数フレーム離れた撮像画像を他の撮像画像として推定処理を行ってもよい。より具体的には、推定部２３０は、一の撮像画像のフレームから数フレーム後の撮像画像を他の撮像画像として推定処理を行ってもよい。一の撮像画像と他の撮像画像のフレーム間隔を空けることにより、追跡処理の対象となる撮像画像のデータ数を減らすことができる。これにより、計算負荷を減らすことができ、また、より長時間にわたる観察対象の形態の変化を追跡することができる。上記フレーム間隔は、観察対象の種類または状態等に応じて適宜設定され得る。
次に、本実施形態に係る推定部２３０は、各追跡点の動きから、注目領域の動きを推定する。より具体的には、推定部２３０は、各追跡点の動きベクトルからなる動きベクトル群から、注目領域の動きを推定する。
例えば、推定部２３０は、アフィン変換式またはヘルマート変換式等の座標変換式を用いて、動きベクトル群から注目領域の動きを推定してもよい。これらの座標変換式を用いて推定される注目領域の動きとは、当該動きを構成する少なくとも一の動き成分の大きさである。本実施形態において動き成分とは、並進成分、回転成分および拡縮成分を含む。これらの動き成分は、後述する変換パラメータに基づいて表現される。
各動き成分について説明する。図６は、注目領域の動きを構成する並進成分および回転成分について説明するための図である。図６を参照すると、観察対象領域３４０に対応する注目領域４４０が、注目領域４４１に動いたとする。この注目領域４４０から注目領域４４１への動きを構成する成分は、並進成分４４２、および回転成分４４３を含む。なお、本実施形態にかかる並進成分４４２は、平面座標系におけるｘ方向の並進成分およびｙ方向の並進成分にさらに分解される。
図７は、注目領域の動きを構成する拡縮成分について説明するための図である。図７を参照すると、観察対象領域３５０に対応する注目領域４５０が、観察対象領域３５０の動きにより注目領域４５１に動いた（拡大した）とする。この注目領域４５０から注目領域４５１への動きを構成する成分は、拡縮成分４５２を含む。このように、注目領域の動きは、並進成分、回転成分および拡縮成分から構成される。注目領域の動きを抽出するためには、注目領域の動きをこれらの成分に分解することが求められる。注目領域の動き成分の分解のために、本実施形態では座標変換の手法が用いられる。
まず、座標変換式の一例として、アフィン変換式について説明する。アフィン変換とは、並進移動および線形変換（回転、拡縮、せん断ひずみ）を組み合わせた座標変換である。追跡点の元の座標を（ｘ，ｙ）とし、アフィン変換後の追跡点の座標を（ｘ’，ｙ’）とすると、アフィン変換式は下記式（１）および式（２）のように表される。各式のａ０〜ａ２、およびｂ０〜ｂ２はアフィンパラメータであり、上述した変換パラメータの一例である。
Figure 0006696152
ここで、本実施形態に係る撮像装置１０が走査型の撮像装置でない場合は、注目領域についてせん断ひずみが生じにくいので、動き成分とは関連のないせん断ひずみ成分を除くこともできる。そこで、本実施形態では、アフィン変換式に代えて、せん断ひずみによる線形変換を考慮しないヘルマート変換式が用いられてもよい。ヘルマート変換式は、上記のアフィン変換式に基づいて、下記式（３）および式（４）のように表される。この場合、（ｘ’，ｙ’）は、ヘルマート変換後の追跡点の座標を意味する。
Figure 0006696152
上記式（３）および式（４）において、ａ０はｘ方向の並進成分の大きさを示し、ｂ０はｙ方向の並進成分の大きさを示し、θは回転成分における回転角度を示し、およびλは拡縮成分における拡縮率を示す。つまり、各変換パラメータａ０、ｂ０、θおよびλは、各動き成分の大きさを意味する。
ここで、追跡点の移動後の座標を（ｕ，ｖ）とすると、追跡点の移動後の座標（ｕ，ｖ）とヘルマート変換後の追跡点の座標（ｘ’，ｙ’）とは誤差ｅが生じる。誤差ｅは、下記式（５）のように表される。
Figure 0006696152
一の注目領域について追跡点がＮ個（１，・・・，ｎ，・・・，Ｎ）配置されている場合、推定部２３０は、各追跡点についての誤差ｅｎが最小となるように、ａ０、ｂ０、θおよびλを算出する。この算出された各パラメータが、注目領域の並進成分、回転成分、および拡縮成分についての動きの大きさとなる。なお、各動き成分のパラメータを算出するために、例えば、最小二乗法等の公知の最適化手法が用いられてもよい。
なお、上述した例においては、ヘルマート変換式を用いて注目領域の各動き成分についての動きの大きさを算出したが、本技術はかかる例に限定されない。例えば、撮像装置１０が走査型の撮像装置である場合は、推定部２３０は、アフィン変換式を用いて注目領域の各動き成分についての動きの大きさを算出してもよい。この場合、並進成分、回転成分および拡縮成分についての動きの大きさに加えて、せん断ひずみ成分についてのひずみ値が算出される。このひずみ値は、注目領域に対応する観察対象の動きに由来する成分ではないが、後述する動き補償処理のために用いられ得る。
また、推定部２３０は、全ての動き成分の大きさを推定しなくてもよく、例えば、一の動き成分の大きさのみを推定してもよい。具体的には、推定部２３０は、上述した座標変換式から並進成分および回転成分の大きさのみを推定してもよい。
また、上述した例においては、推定部２３０は設定部２２０により配置された追跡点の動きを推定することにより注目領域の動きを推定するとしたが、本技術はかかる例に限定されない。例えば、推定部２３０は、注目領域内部または外郭に含まれる各画素の動きベクトルを算出することにより、当該注目領域の動きを推定してもよい。例えば、推定部２３０は、オプティカルフローの手法を用いて、注目領域の動きを推定してもよい。この場合、オプティカルフローにより推定された各画素の動きベクトルに基づいて、注目領域の動きを構成する各動き成分の大きさが算出されてもよい。
推定部２３０は、動画像を構成する各撮像画像について注目領域の動きを推定する。そして、推定部２３０は、推定した注目領域の動きに関する情報をパラメータ算出部２４０に出力する。
（パラメータ算出部）
パラメータ算出部２４０は、注目領域の動きに基づいて動き補償パラメータを算出する。具体的には、パラメータ算出部２４０は、推定部２３０が推定した注目領域の動きを構成する各動き成分の大きさに基づいて、各動き成分に対応する動き補償パラメータをそれぞれ算出してもよい。
本明細書において動き補償パラメータとは、動画像を構成する一の撮像画像における注目領域から、一の撮像画像とは異なる時点に撮像された他の撮像画像における注目領域への動きに基づいて算出されるパラメータである。この動き補償パラメータは、後段の処理部２６０において、注目領域を含む画像について動き補償を行うためのパラメータとなる。
パラメータ算出部２４０は、動画像に含まれる一の撮像画像から他の撮像画像までに推定された注目領域の動きの大きさを積算することにより動き補償パラメータを算出する。例えば、ｘ方向の並進成分に対応する動き補償パラメータをＡとすると、Ａは当該一の撮像画像から他の撮像画像までに推定された注目領域のｘ方向並進成分の動きの大きさａ０の積算値となる。他にも、ｙ方向の並進成分に対応する動き補償パラメータをＢ、回転成分に対応する動き補償パラメータをΘ、拡縮成分に対応する動き補償パラメータをΛとすると、Ａ、Ｂ、ΘおよびΛは下記式（６）〜（９）のように表現される。ただし、ｍは、動画像におけるｍ番目の撮像フレームを意味する。
Figure 0006696152
パラメータ算出部２４０は、各動き成分に対応する動き補償パラメータを算出してもよいし、後述する選択部２５０により選択された動き成分に対応する動き補償パラメータのみを算出してもよい。例えば、注目領域の並進成分および回転成分について動き補償処理を行うことが予め選択されている場合は、パラメータ算出部２４０は、ｘ方向並進成分の動き補償パラメータＡ、ｙ方向並進成分の動き補償パラメータＢおよび回転成分の動き補償パラメータΘのみを算出してもよい。また、パラメータ算出部２４０は、推定部２３０により推定された動き成分の大きさについてのみ、動き補償パラメータを算出してもよい。例えば、推定部２３０により並進成分および回転成分の大きさのみが推定された場合、パラメータ算出部２４０は、並進成分および回転成分に対応する動き補償パラメータのみを算出してもよい。
パラメータ算出部２４０は、動き補償パラメータに関する情報を処理部２６０に出力する。
（選択部）
選択部２５０は、後述する処理部２６０による各種処理に用いられる動き補償パラメータを選択する。選択部２５０により選択される動き補償パラメータとは、上述したように、各動き成分に対応する動き補償パラメータである。選択部２５０は、例えば、処理部２６０において注目領域の動きのうち並進成分および回転成分について動き補償が行われる場合は、選択部２５０は、ｘ方向並進成分の動き補償パラメータＡ、ｙ方向並進成分の動き補償パラメータＢおよび回転成分の動き補償パラメータΘを選択し、処理部２６０に選択した動き補償パラメータについての情報を出力する。これにより、処理部２６０は、注目領域の動きのうち、並進成分および回転成分についてのみ動き補償処理を行うことが可能となる。
選択部２５０は、複数の動き補償パラメータから少なくとも一の動き補償パラメータを選択する。本実施形態に係る選択部２５０は、例えば以下の動き補償パラメータの組み合わせを選択してもよい。
（ａ）並進成分に対応する動き補償パラメータ（Ａ，Ｂ）
（ｂ）並進成分および回転成分に対応する動き補償パラメータ（Ａ，Ｂ，Θ）
（ｃ）並進成分、回転成分および拡縮成分に対応する動き補償パラメータ（Ａ，Ｂ，Θ，Λ）
選択部２５０が上記（ａ）を選択した場合、後述する処理部２６０による観察対象領域に関する動画像に対する動き補償処理については、並進成分のみ行われる。つまり、動き補償処理後の動き補償画像では、観察対象領域は並進方向には変化せず、回転方向および拡縮方向について変化し得る。すなわち、観察対象領域は、同一の位置において回転運動または拡縮運動を示し得る。また、選択部２５０が上記（ｂ）を選択した場合、観察対象領域に関する動画像に対する動き補償処理については、並進成分および回転成分について行われる。つまり、動き補償画像では、注目領域は並進方向および回転方向には変化せず、拡縮方向について変化し得る。すなわち、観察対象領域は、同一の位置において拡縮運動を示し得る。また、選択部２５０が上記（ｃ）を選択した場合、観察対象領域に関する動画像に対する動き補償処理については、全ての動き成分について行われる。つまり、動き補償画像では、観察対象領域はあたかも動いていないかのように示される。なお、選択部２５０による選択される動き補償パラメータの組み合わせは、上述した（ａ）〜（ｃ）の例に限定されない。
選択部２５０における動き補償パラメータの選択による動き補償画像の特徴についてさらに説明する。図８は、並進成分に対応する動き補償パラメータのみが選択された場合の動き補償画像の一例を示す図である。図８を参照すると、オリジナル動画像表示画面１０１０に表示された撮像装置１０により撮像された動画像において、観察対象領域３６０が並進および回転方向に移動している。なお、観察対象領域３６０の最大外郭上において、注目領域４６０を特定する閉曲線が配置されているとする。このとき、選択部２５０は、並進成分に対応する動き補償パラメータのみを選択しているとする。動き補償画像１０２０ａには、移動前の観察対象領域３６１が含まれており、動き補償画像１０２０ｂには、移動後の観察対象領域３６２が含まれている。処理部２６０により動き補償処理が行われた場合、動き補償画像１０２０ｂにおける観察対象領域３６２は、動き補償画像１０２０ａにおける観察対象領域３６１の位置と同一の位置において、時計方向に回転している。つまり、並進成分に対応する動き補償パラメータのみが選択された場合、観察対象の回転方向の運動について観察し、解析することができる。例えば、観察対象の回転運動の速さ、または回転運動の中心位置等を観察し、解析することができる。
図９は、並進成分および回転成分に対応する動き補償パラメータのみが選択された場合の動き補償画像の一例を示す図である。図９を参照すると、図８と同様に、オリジナル動画像表示画面１０１０に表示された撮像装置１０により撮像された動画像において、観察対象領域３６０が並進および回転方向に移動している。なお、観察対象領域３６０の最大外郭上において、注目領域４６０を特定する閉曲線が配置されているとする。このとき、選択部２５０は、並進成分および回転成分に対応する動き補償パラメータを選択しているとする。動き補償画像１０２０ａには、移動前の観察対象領域３６１が含まれており、動き補償画像１０２０ｃには、移動後の観察対象領域３６３が含まれている。処理部２６０により動き補償処理が行われた場合、動き補償画像１０２０ｃにおける観察対象領域３６３の位置および向きは、動き補償画像１０２０ａにおける観察対象領域３６１と同一である。つまり、並進成分および回転成分に対応する動き補償パラメータが選択された場合、観察対象の動きが停止したかのような状態で観察対象を観察し、解析することができる。例えば、観察対象の内部の動きを詳細に観察し、解析することができる。
このように、選択部２５０が動き補償パラメータを選択することにより、観察対象の形態の変化を観察の目的に応じて観察することができる。なお、選択部２５０による動き補償パラメータの選択は、観察対象の種類、または観察対象に関する解析方法の少なくともいずれかに基づいて行われてもよい。つまり、選択部２５０は、観察対象の種類、または観察対象に関する解析方法の少なくともいずれかに基づいて、少なくとも一の動き補償パラメータを選択してもよい。以下に、動き補償パラメータの選択例について列挙する。
（１）並進成分に対応する動き補償パラメータのみ選択する場合
例えば、以下のケースにおいて、選択部２５０は並進成分に対応する動き補償パラメータのみを選択してもよい。
・移動距離が大きい遊走現象を発現させる観察対象について解析したい場合（例えば、遊走細胞の内部の形態の変化を解析したい場合）。
・周期的な運動に伴う観察対象の自律的な動きの影響を除去したい場合（例えば、心筋細胞の周期的な拡縮運動のみを抽出したい場合）。
・観察対象の自律的な回転運動を解析したい場合（例えば、精子頭部の首振り運動を解析したい場合）
・ドリフト現象によるブレを補正したい場合（例えば、生体の拍動等による血管像のドリフトによるブレを補正したい場合）。
（２）並進成分および回転成分に対応する動き補償パラメータを選択する場合
例えば、以下のケースにおいて、選択部２５０は並進成分および回転成分に対応する動き補償パラメータを選択してもよい。
・細胞内の動きの変化を解析したい場合（例えば、受精卵の卵割現象または血球細胞の内部の動きを解析したい場合）。
・細胞の形態の変化を解析したい場合（例えば、単細胞生物に含まれる細胞質の形態の変化を解析したい場合）
・容器に低密度に分布された細胞または生体を観察する場合において、撮像装置１０の振動等による外的要因による影響が生じる場合。
・細胞または生体の形状について定量的に解析したい場合（例えば、精子の大きさまたは形状を比較したい場合）。
このように、処理部２６０により実行される解析処理に基づいて選択する動き補償パラメータを選択することで、ユーザが動き補償パラメータを選択しなくても、最適な選択を行うことが可能となる。
選択部２５０による動き補償パラメータの選択に関する情報は、処理部２６０に出力される。
また、選択部２５０は、パラメータ算出部２４０において算出される動き補償パラメータを選択してもよい。具体的には、選択部２５０は、動き補償パラメータのうち、パラメータ算出部２４０において算出される動き補償パラメータの動き成分を選択してもよい。この場合、選択部２５０による動き補償パラメータの選択に関する情報は、パラメータ算出部２４０に出力される。パラメータ算出部２４０は、選択部２５０により選択された動き成分に対応する動き補償パラメータのみを算出する。これにより、パラメータ算出部２４０による動き補償パラメータの算出にかかる負荷を軽減することができる。
（処理部）
処理部２６０は、パラメータ算出部２４０において算出された動き補償パラメータを用いて、注目領域についての処理を行う。本実施形態に係る処理部２６０は、動画像についての具体的な処理を行う機能部として、動き補償部２６１および解析部２６２をさらに含む。以下、各機能部について説明する。
（動き補償部）
動き補償部２６１は、動き補償パラメータを用いて少なくとも一の注目領域に対応する観察対象領域を含む動画像に対して動き補償処理を行う。本明細書において動き補償処理とは、一の撮像画像とは異なる他の撮像画像の全部または一部を、動き補償パラメータを用いた座標変換式により座標変換を行う処理である。動き補償処理により得られる画像は、動き補償画像である。すなわち、動き補償部２６１は、動き補償処理により動き補償画像を生成する。
動き補償部２６１により得られる動き補償画像は、例えば、動画像を構成する撮像画像を動き補償処理することにより得られる動き補償画像であってもよい。この場合、例えば後述する表示制御部２７０が不図示の表示部に当該動き補償画像を表示させる場合、注目領域を含む領域のみを表示させてもよい。具体的には、表示制御部２７０は、注目領域に対応する観察対象領域のみを、動き補償処理後の撮像画像から動き補償画像として抽出し、当該動き補償画像を表示させてもよい。
上述したように、観察対象によっては、観察対象に含まれる細胞核などの物体に対応する領域を注目領域として設定する場合がある。この場合、動き補償処理および後述する解析処理は、観察対象領域について行うことが求められることがある。そのため、動き補償部２６１は、注目領域だけではなく、注目領域に対応する観察対象領域を含む領域（動き補償処理の対象領域）を、動き補償画像として抽出してもよい。これにより、動き補償された観察対象領域を含む画像を得ることができる。
また、動き補償部２６１により得られる動き補償画像は、例えば、動画像を構成する撮像画像に含まれる少なくとも一の観察対象領域について動き補償処理することにより得られる動き補償画像であってもよい。具体的には、動き補償部２６１は、注目領域に対応する観察対象領域を含む画像を撮像画像から抽出し、抽出された画像について動き補償処理を行ってもよい。動き補償処理の対象となる領域は、設定部２２０により設定された注目領域に基づいて設定されてもよい。なお、動き補償処理の対象となる領域を特定するための中心座標は、例えば、注目領域の追跡点群に基づいて算出される中心点を用いて求めることができる。
例えば、撮像画像内に複数の観察対象の像が含まれる場合において、撮像画像全体について動き補償処理を行う場合、観察対象の像の数だけ当該動き補償処理を行うことが求められる。そのため、観察対象領域を含む画像について動き補償処理を行うことにより、動き補償処理による計算の負荷が軽減される。
なお、動き補償処理後に得られる動き補償画像の大きさおよび形状は特に限定されない。例えば、本実施形態に係る動き補償画像の形状は矩形であってもよい。
例えば、動き補償部２６１は、並進成分に対応する動き補償パラメータを用いて注目領域について動き補償を行うことにより、観察対象領域の並進方向への変化をキャンセルすることができる。これにより、観察対象が並進運動せず停止しているような状態を示す動き補償画像を得ることができる。
また、動き補償部２６１は、回転成分に対応する動き補償パラメータを用いて注目領域について動き補償を行うことにより、観察対象領域の回転方向への変化をキャンセルすることができる。これにより、観察対象が回転していないような状態を示す動き補償画像を得ることができる。
さらに、動き補償部２６１は、拡縮成分に対応する動き補償パラメータを用いて注目領域について動き補償を行うことにより、観察対象領域の拡縮方向への変化をキャンセルすることができる。これにより、観察対象の大きさが変化していないような状態を示す動き補償画像を得ることができる。
動き補償部２６１による動き補償処理は、例えば、設定部２２０により注目領域について追跡点が配置され、推定部２３０においてヘルマート変換式が用いられた場合、下記式（１０）および式（１１）で表される連立方程式を解くことにより実行される。ここで、（Ｘ，Ｙ）は、動き補償処理の対象となる撮像画像の各画素に対応する座標であり、（Ｘ’，Ｙ’）は、動き補償処理により座標変換されたあとの各画素に対応する座標である。動き補償部２６１は、動き補償処理後の撮像画像から、動き補償処理後の注目領域についての動き補償画像を生成する。
Figure 0006696152
ここで、選択部２５０による動き補償パラメータの選択において、並進成分が選択されていない場合は、Ａ＝０およびＢ＝０となり、回転成分が選択されていない場合は、Θ＝０となり、拡縮成分が選択されていない場合は、Λ＝１となる。
（解析部）
解析部２６２は、動き補償部２６１により動き補償処理が実行された注目領域に対応する観察対象についての解析処理を行う。例えば、解析部２６２は、パラメータ算出部２４０により算出された動き補償パラメータに基づく処理を行ってもよい。
具体的には、解析部２６２は、動き補償パラメータＡ、Ｂ、ΘまたはΛのいずれかの値を用いて解析処理を行ってもよい。より具体的には、解析部２６２は、並進成分に対応する動き補償パラメータＡまたはＢの少なくともいずれかを用いて観察対象に関する解析処理を行ってもよい。これにより、観察対象の移動距離、移動速度、移動方向、移動履歴または振動周期等の観察対象に関する並進方向の動きについて評価することができる。また、解析部２６２は、回転成分に対応する動き補償パラメータΘを用いて観察対象に関する解析処理を行ってもよい。これにより、観察対象の回転角度、回転速度または回転履歴等の観察対象に関する回転方向の動きについて評価することができる。また、解析部２６２は、拡縮成分に対応する動き補償パラメータΛを用いて観察対象に関する解析処理を行ってもよい。これにより、観察対象の拍動等の観察対象に関する拡縮方向の動きについて評価することができる。
このように、動き補償パラメータを用いて解析処理を行うことにより、単に観察対象についての動き補償処理を行うだけではなく、定量的なデータを得ることもできる。
また、解析部２６２は、動き補償部２６１により生成された動き補償画像について解析処理を行ってもよい。例えば、解析部２６２は、動き補償画像に含まれる観察対象の内部の動きについて、画像処理を用いて当該動きに関する動きベクトル等を算出してもよい。また、解析部２６２は、動き補償画像に含まれる観察対象の大きさまたは形状について、画像処理を用いて算出してもよい。このように、動き補償画像について解析を行うことにより、観察対象の動きがキャンセルされた状態で当該観察対象についての解析を行うことができる。したがって、観察対象が自律的に移動していたり、または撮像装置の振動等により動いている状態では困難であった観察および解析を、より容易に、かつ詳細に行うことができる。
また、解析部２６２は、当該動き補償画像のうち、観察対象領域を含む領域について解析してもよい。解析の対象となる領域を限定することにより、解析処理にかかる処理回路への負荷を減らすことができる。例えば、観察対象領域が動き補償画像に複数含まれる場合、観察対象領域ごとに動き補償画像全体を解析すると、解析処理にかかる処理回路への負荷が大きくなる。そのため、各々の観察対象領域を特定可能な領域を動き補償画像からそれぞれ抽出し、当該領域について解析を行うことにより、解析処理にかかる処理回路への負荷を減らすことができる。なお、このような解析の対象となる領域は、設定部２２０により設定された注目領域に基づいて判別されてもよい。注目領域は、観察対象領域の一部または全部に対応して設定され得る。そのため、注目領域を用いることにより、解析の対象となる領域を容易に特定することができる。
なお、解析部２６２による解析処理の例については、情報処理装置２０による処理結果の適用例において説明する。
以上、処理部２６０に含まれる各機能部の有する機能について説明した。処理部２６０による処理の結果に関する情報は、表示制御部２７０に出力される。
（表示制御部）
表示制御部２７０は、処理部２６０による処理の結果の表示を制御する。例えば、表示制御部２７０は、処理の結果を、情報処理装置２０の内部または外部に設けられる表示装置に表示させる。当該処理の結果には、動き補償部２６１による動き補償処理において生成された動き補償画像、または解析部２６２による少なくとも一の解析処理結果の少なくともいずれかが含まれる。
また、表示制御部２７０は、動き補償画像を表示する制御を行う場合、ユーザの操作または画像処理等により、動き補償画像の向きを調整してもよい。これにより、ユーザが所望する向きを示す観察対象を観察し、解析することができる。
また、表示制御部２７０は、例えば、ユーザに動き補償パラメータを選択させるための画面の表示を制御してもよい。当該画面には、各動き成分に対応する動き補償パラメータを選択するためのチェックボックス等が含まれ得る。選択部２５０は、ユーザの当該画面に対する操作により選択された動き補償パラメータに関する情報を、パラメータ算出部２４０または処理部２６０に出力してもよい。これにより、動き補償処理の対象となる動き成分を容易に切り替えることができる。
また、表示制御部２７０は、動き補償処理後の動き補償画像について、当該動き補償画像の表示を制御してもよい。例えば、表示制御部２７０は、当該動き補償画像の大きさ、向きおよび拡縮率を変更してもよい。この表示制御処理は、ユーザの情報処理装置２０に対する操作等に基づいて行われてもよいし、注目領域の動きの推定結果に基づく画像処理等により行われてもよい。例えば、表示制御部２７０は、注目領域の並進成分の動きの大きさを用いて、動き補償画像に含まれる、注目領域に対応する観察対象領域の向きが所定の向きとなるように制御してもよい。これにより、例えば複数の観察対象領域の向きを揃えるように表示部に表示させることができる。したがって、観察対象の比較をより容易に行うことができる。
なお、表示制御部２７０により表示部に表示される画面の例については、後述する。
＜２．２．処理例＞
以上、本開示の一実施形態に係る情報処理装置２０の構成例について説明した。次に、本開示の一実施形態に係る情報処理装置２０による処理の一例について、図１０および図１１を用いて説明する。本実施形態に係る情報処理装置２０による処理は、動き推定処理（図１０のＳ１０１〜Ｓ１０７）、動き補償処理、および解析処理（図１１のＳ２０１〜Ｓ２０９）からなる。
（推定処理）
まず、本実施形態に係る情報処理装置２０による動き推定処理について説明する。図１０は、本開示の一実施形態に係る情報処理装置２０による動き推定処理の一例を示すフローチャートである。はじめに、通信部２１０は、撮像装置１０から動画像を取得し、当該動画像のうち一の撮像画像を設定部２２０に出力する（Ｓ１０１）。
次に、設定部２２０は、当該一の撮像画像から注目領域を設定する（Ｓ１０３）。そして、設定部２２０は、設定した注目領域について、追跡点を配置する（Ｓ１０５）。
次に、推定部２３０は、追跡点の動画像上の動きに基づいて、注目領域の動きを推定する（Ｓ１０７）。推定部２３０は、当該一の撮像画像以外の動画像を構成する少なくとも一の撮像画像における注目領域の動きを推定する。これにより、動画像上の注目領域の動きが推定される。
（動き補償処理および解析処理）
続いて、本実施形態に係る情報処理装置２０による動き補償処理および解析処理について説明する。図１１は、本開示の一実施形態に係る情報処理装置２０による動き補償処理および解析処理の一例を示すフローチャートである。はじめに、パラメータ算出部２４０は、推定部２３０により推定された注目領域の動きに基づいて動き補償パラメータを算出する（Ｓ２０１）。算出された動き補償パラメータは、処理部２６０に出力される。
次に、選択部２５０は、処理部２６０に出力された動き補償パラメータのうち、処理部２６０による処理に用いられる少なくとも一の動き補償パラメータを選択する（Ｓ２０３）。なお、パラメータ算出部２４０において一の動き補償パラメータのみが算出された場合は、ステップＳ２０３は省略されてもよい。
次に、動き補償部２６１は、選択部２５０により選択された動き補償パラメータを用いて、動画像についての動き補償処理を行う（Ｓ２０５）。そして、解析部２６２は、動き補償処理された動画像（動き補償画像）についての解析処理を行う（Ｓ２０７）。なお、解析部２６２による解析処理が行われない場合は、ステップＳ２０７は省略されてもよい。
次に、表示制御部２７０は、処理部２６０による処理の結果の表示を制御する（Ｓ２０９）。表示制御部２７０は、例えば、動き補償部２６１により生成された動き補償画像、または解析部２６２による解析結果の少なくともいずれかを、情報処理装置２０の内部または外部に設けられた表示部に表示させる制御を行う。
情報処理装置２０は、上述したステップＳ２０１〜Ｓ２０９における処理を、ユーザの操作等に基づいて適宜実行する。これにより、動画像についての処理結果がユーザに対して適宜表示される。
＜２．３．適用例＞
本開示の一実施形態に係る情報処理装置２０による処理結果の適用例について説明する。ここでは、表示制御部２７０が情報処理装置２０の内部または外部に設けられた表示部に表示させる画面を示しつつ、動き補償処理および解析処理の例について説明する。
（適用例１：遊走細胞についての動き補償処理および解析処理）
まず、本実施形態に係る情報処理装置２０の第１の適用例について説明する。図１２は、本実施形態に係る情報処理装置２０の第１の適用例を示す図である。図１２を参照すると、表示制御部２７０により表示部に表示される画面１０００は、オリジナル動画像表示画面１０１０、動き補償画像表示画面１０２０、選択画面１０２１、および解析結果表示画面１０３０〜１０３３を含む。オリジナル動画像表示画面１０１０は、撮像装置１０から取得した動画像が表示される。なお、オリジナル動画像表示画面１０１０には、再生中の動画像が表示されてもよいし、動画像を構成する一の撮像画像（静止画像）が表示されてもよい。動き補償画像表示画面１０２０には、オリジナル動画像表示画面１０１０に表示されている動画像について動き補償処理が行われることにより生成される動き補償画像が表示される。選択画面１０２１には、動き補償部２６１により動き補償される動き補償パラメータに対応する成分を選択させるための画面が表示されている。選択部２５０は、選択画面１０２１に表示されているチェックボックスにおいてチェックされている動き成分に対応する動き補償パラメータを選択してもよい。解析結果表示画面１０３０〜１０３３には、解析部２６２による解析結果に関するグラフおよび画像が表示されている。
オリジナル動画像表示画面１０１０には、複数の遊走細胞の像が表示されている。このうち、遊走細胞の像５００が、ユーザの操作等により処理部２６０の処理の対象として選択されているとする。この場合、遊走細胞の像５００が選択されていることを示す枠１０１１が、遊走細胞の像５００の周囲に表示されてもよい。
このとき、処理部２６０は、選択された遊走細胞の像５００を含む動画像についての動き補償処理および解析処理を行う。選択画面１０２１においては、“Translation（並進）”および“Rotation（回転）”がチェックされているので、動き補償部２６１は、並進成分および回転成分に対応する動き補償パラメータを用いて、遊走細胞の像５００を含む動画像について動き補償を行う。並進成分および回転成分に関する動き補償処理が行われたあと、動き補償画像表示画面１０２０には、遊走細胞の像５０１を含む動き補償画像が表示される。
また、解析結果表示画面１０３０には、遊走細胞の像５００の移動履歴に関するＸＹ座標系のグラフが表示されている。当該移動履歴は、遊走細胞の像５００についての並進成分の動き補償パラメータから取得することができる。これにより、遊走細胞の並進方向の動きについて定量的に評価することができる。
また、解析結果表示画面１０３１には、遊走細胞の像５００の回転履歴に関する時系列グラフが表示されている。当該回転履歴は、遊走細胞の像５００についての回転成分の動き補償パラメータから取得することができる。これにより、遊走細胞の回転方向の動きについて定量的に評価することができる。
また、解析結果表示画面１０３２には、遊走細胞の像５００の形状の変化に関する画像が表示されている。当該画像には、初期における遊走細胞の像５００の形状（例えば、設定部２２０による注目領域の設定処理に用いられた撮像画像における遊走細胞の像５００の形状）が、比較対象として含まれていてもよい。この形状の変化に関する画像は、動き補償画像に基づいて生成することができる。これにより、遊走細胞の形状の変化（拡大または縮小の度合い）について評価することができる。
さらに、解析結果表示画面１０３３には、遊走細胞の像５００の内部の動きベクトルを可視化した画像が表示されている。動き補償画像を所定の領域に分割し、分割された領域ごとにブロックマッチング等の手法を適用することにより、当該動きベクトルを算出することができる。このように、動き補償処理後の観察対象領域について画像処理を行うことにより、観察対象の形態の変化を判別し、観察対象の形態の変化についてのみ解析を行うことが可能となる。
本適用例に示した情報処理装置２０は、動き補償処理および解析処理により、遊走細胞の自律的な移動を取り除き、遊走細胞の内部の動きについて解析する。これにより、遊走細胞の内部の形態の変化について、定量的に評価することが可能となる。さらに、当該情報処理装置２０によれば、動き補償処理を行う際に動き補償の対象となる動き成分を選択することができる。したがって、遊走細胞の内部の形態の変化だけではなく、遊走細胞の自律的な移動についても評価することができる。
（適用例２：心筋細胞の局所的な形態の変化についての解析処理）
次に、本実施形態に係る情報処理装置２０の第２の適用例について説明する。図１３は、本実施形態に係る情報処理装置２０の第２の適用例を示す図である。図１３を参照すると、表示制御部２７０により表示部に表示される画面１１００は、オリジナル動画像表示画面１１１０、動き補償画像表示画面１１２０Ａおよび１１２０Ｂ、並びに解析結果表示画面１１３０〜１１３３を含む。
オリジナル動画像表示画面１１１０には、複数の心筋細胞の像が表示されている。このうち、心筋細胞の像５１０Ａおよび５１０Ｂが、ユーザの操作等により処理部２６０の処理の対象として選択されているとする。この場合、心筋細胞の像５１０Ａおよび５１０Ｂについて、注目領域１１１１Ａおよび１１１１Ｂが設定されていてもよい。処理部２６０は、心筋細胞の像５１０Ａおよび５１０Ｂを含む動画像についての動き補償処理および解析処理を行う。動き補償画像表示画面１１２０には心筋細胞の像５１１Ａおよび５１１Ｂを含む動き補償画像が表示される。
また、解析結果表示画面１１３０には、心筋細胞の像５１０Ａおよび５１０Ｂの移動履歴に関するグラフが表示されている。当該移動履歴は、心筋細胞の像５１０Ａおよび５１０Ｂについての並進成分の動き補償パラメータから取得することができる。これにより、心筋細胞の並進方向の動きについて定量的に評価することができる。
また、解析結果表示画面１１３１には、心筋細胞の像５１０Ａおよび５１０Ｂの拍動に基づく動きの大きさおよび各像の面積の時系列の変化を示すグラフが表示されている。この拍動に基づく動きの大きさおよび各像の面積について、動き補償画像についての動きベクトルの算出結果に基づいてグラフを得ることができる。これにより、心筋細胞の拍動について定量的に精度高く評価することができる。
また、解析結果表示画面１１３２および１１３３には、心筋細胞の像５１０Ａおよび５１０Ｂの形状の変化および拡縮率についての画像が表示されている。当該拡縮率は、心筋細胞の像５１０Ａおよび５１０Ｂについての拡縮成分に対応する動き補償パラメータから算出することができる。これにより、心筋細胞の収縮および拡張の動きについて定量的に評価することができる。
本適用例に示した情報処理装置２０は、動き補償処理および解析処理により、複数の心筋細胞の拡縮運動を抽出し、拡縮運動の時系列データおよび面積の変化等について解析する。これにより、個々の心筋細胞について、薬効による拍動状態等の変化について、より多角的な評価が可能となる。
（適用例３：複数の精子の運動に関する解析処理）
次に、本実施形態に係る情報処理装置２０の第３の適用例について説明する。図１４は、本実施形態に係る情報処理装置２０の第３の適用例を示す図である。図１４を参照すると、表示制御部２７０により表示部に表示される画面１２００は、オリジナル動画像表示画面１２１０、動き補償画像表示画面１２２０Ａ〜１２２０Ｄ、および解析結果表示画面１２３０〜１２３３を含む。
オリジナル動画像表示画面１２１０には、複数の精子の像が表示されている。このうち、精子の像５２０Ａ〜５２０Ｄが、ユーザの操作等により処理部２６０の処理の対象として選択されているとする。この場合、精子の像５２０Ａ〜５２０Ｄが選択されていることを示す枠１２１１Ａ〜１２１１Ｄが、精子の像５２０Ａ〜５２０Ｄの各々の周囲に表示されてもよい。
このとき、処理部２６０は、選択された精子の像５２０Ａ〜５２０Ｄの各々について、動画像についての動き補償処理および解析処理を行う。動き補償画像表示画面１２２０Ａ〜１２２０Ｄには、並進成分および回転成分に関する動き補償処理が行われた、精子の像５２１Ａ〜５２１Ｄを含む動画像がそれぞれ表示される。なお、図１４に示すように、表示制御部２７０は、精子の像５２１Ａ〜５２１Ｄが同一の向きとなるように、各々の動き補償画像の向き等を制御してもよい。例えば、表示制御部２７０は、精子の像５２０Ａ〜５２０Ｄの並進成分の動きの大きさから精子の像５２０Ａ〜５２０Ｄの移動方向を推定し、推定された移動方向が動き補償画像表示画面１２２０Ａ〜１２２０Ｄ内において規定の向きとなるように各動き補償画像の表示を制御してもよい。これにより、精子の像５２１Ａ〜５２１Ｄの大きさまたは形状等の形態について比較することができる。
また、解析結果表示画面１２３０および解析結果表示画面１２３１には、精子の像５２０Ａ〜５２０Ｄの移動履歴および回転履歴に関するグラフがそれぞれ表示されている。当該移動履歴は、精子の像５２０Ａ〜５２０Ｄについての並進成分の動き補償パラメータから取得することができる。また、当該回転履歴は、精子の像５２０Ａ〜５２０Ｄについての回転成分の動き補償パラメータから取得することができる。これにより、精子の並進方向および回転方向の動きについて定量的に評価することができる。
また、解析結果表示画面１２３２には、精子の像５２０Ａ〜５２０Ｄの移動量を示す棒グラフが表示されている。当該移動量は、精子の像５２０Ａ〜５２０Ｄについての並進成分の動き補償パラメータから算出することができる。各精子の移動量を棒グラフで表示することにより、精子の運動状態を定量的に解析することが可能となる。
また、解析結果表示画面１２３３には、精子の像５２１Ａ〜５２１Ｄの形態の評価値を示す棒グラフが表示されている。当該形態の評価値とは、例えば、精子の像５２１Ａ〜５２１Ｄの大きさや形状の特徴から算出される評価値であってもよい。各精子の形態の評価値を棒グラフで表示することにより、精子の形態の良否を定量的に評価することができる。
本適用例に示した情報処理装置２０は、複数の精子の像を動き補償処理により同一の向きに整列させ、また、精子の運動および形態を解析しその解析結果を表示する。これにより、個々の精子の状態について定量的かつ相対的に把握することが可能となる。したがって、例えば、精子のサンプリングにおいて、最も状態のよい精子について定量的な情報から選択することが可能となる。
なお、表示制御部２７０により表示される画面は、上述した情報処理装置２０による処理結果に関する情報の表示における画面に限定されないことは言うまでもない。例えば、表示制御部２７０は、動き補償画像を表示する画面のみを表示させてもよいし、解析結果を表示する画面のみを表示させてもよい。また、処理部２６０による処理結果を表示する画面は、同一の画面に並列して表示されてもよいし、異なる画面に表示されてもよい。
＜２．４．効果＞
以上、本開示の一実施形態に係る情報処理装置２０の構成例、処理例および適用例について説明した。本実施形態に係る情報処理装置２０は、注目領域の動画像における動きを推定し、当該動きに基づいて算出される動き補償パラメータを用いて動画像に対する動き補償処理および解析処理を行う。かかる構成により、観察対象の並進方向、回転方向または拡縮方向の少なくともいずれかについての動きを固定した動き補償画像を得ることができる。これにより、観察対象の動きを相対的に停止させることができるので、観察対象の形態の変化をより詳細に解析することが可能となる。したがって、例えば、活発に運動する細胞であっても、あたかも細胞が停止しているかのような状態の動画像を得ることができる。そのため、従来では観察が困難であった細胞内の形態の変化を詳細に観察および解析することができる。
また、本実施形態に係る情報処理装置２０は、動き補償処理に用いる動き補償パラメータを選択することができる。これにより、観察対象の形態の変化を観察し、解析するのに最適な方法を、観察対象の観察目的または解析目的等に応じて変更することができる。したがって、観察対象についてより多様な評価を行うことが可能となる。
＜＜３．ハードウェア構成例＞＞
次に、図１５を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図１５は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態における情報処理装置２０を実現しうる。
情報処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２５、通信装置９２９を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）と呼ばれるような処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２３に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。例えば、ＣＰＵ９０１は、上記の実施形態における情報処理装置２０に含まれる各機能部の動作全般を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２７であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ、ＰＤＰ、ＯＥＬＤなどの表示装置、スピーカおよびヘッドホンなどの音響出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音響などの音として出力したりする。
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２３のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録を書き込む。
接続ポート９２５は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２５は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２５は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２５に外部接続機器９２７を接続することで、情報処理装置９００と外部接続機器９２７との間で各種のデータが交換されうる。
通信装置９２９は、例えば、通信ネットワークＮＷに接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２９は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２９は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２９は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２９に接続される通信ネットワークＮＷは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
以上、情報処理装置９００のハードウェア構成の一例を示した。
＜＜４．まとめ＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、情報処理システム１は撮像装置１０と情報処理装置２０とを備える構成であるとしたが、本技術はかかる例に限定されない。例えば、撮像装置１０が情報処理装置２０の有する機能（動き推定機能、動き補償機能および解析機能）を備えてもよい。この場合、情報処理システム１は、撮像装置１０により実現される。また、情報処理装置２０が撮像装置１０の有する機能（撮像機能）を備えてもよい。この場合、情報処理システム１は、情報処理装置２０により実現される。また、情報処理装置２０の有する機能の一部を撮像装置１０が有してもよく、撮像装置１０の有する機能の一部を情報処理装置２０が有してもよい。
また、上記実施形態では、情報処理システム１による解析の観察対象として細胞および微生物が挙げられていたが、本技術はかかる例に限定されない。例えば、上記観察対象は、細胞小器官、生体組織、臓器、人、動物、植物または無生物である構造体等であってもよい。これらの観察対象の形態の変化についても、当該情報処理システム１を用いて詳細に観察および解析することが可能である。
なお、本明細書の情報処理装置の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、情報処理装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
前記少なくとも一の注目領域の前記動画像上の動きを推定する推定部と、
前記動きに基づいて動き補償パラメータを算出するパラメータ算出部と、
前記動き補償パラメータを用いて前記少なくとも一の注目領域についての処理を行う処理部と、
前記処理の結果の表示を制御する表示制御部と、
を備える情報処理装置。
（２）
前記処理部による前記処理に用いられる前記動き補償パラメータを選択する選択部をさらに備える、前記（１）に記載の情報処理装置。
（３）
前記パラメータ算出部は、前記動きに基づいて複数の動き補償パラメータを算出し、
前記選択部は、前記複数の動き補償パラメータのうち少なくとも一の動き補償パラメータを選択する、前記（２）に記載の情報処理装置。
（４）
前記選択部は、前記パラメータ算出部において算出される前記動き補償パラメータを選択する、前記（２）または（３）に記載の情報処理装置。
（５）
前記推定部は、前記動きを構成する少なくとも一の動き成分の大きさを推定し、
前記パラメータ算出部は、前記少なくとも一の動き成分の大きさに基づいて前記少なくとも一の動き成分に対応する前記動き補償パラメータを算出する、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記動き成分は、並進成分、回転成分または拡縮成分の少なくともいずれかを含む、前記（５）に記載の情報処理装置。
（７）
前記処理部は、前記処理として、前記動き補償パラメータを用いて前記少なくとも一の注目領域に対応する前記生物学的試料に相当する領域を含む動画像に対して動き補償処理を行う、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記表示制御部は、前記動画像についての前記動き補償処理により生成される動き補償画像を表示させる、前記（７）に記載の情報処理装置。
（９）
前記表示制御部は、推定された前記注目領域の動きに基づいて動き補償画像の表示を制御する、前記（８）に記載の情報処理装置。
（１０）
前記処理部は、前記処理として、前記注目領域に対応する前記生物学的試料についての解析処理を行う、前記（７）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記解析処理は、前記動き補償パラメータに基づく解析処理を含む、前記（１０）に記載の情報処理装置。
（１２）
前記解析処理は、前記動き補償処理により生成される動き補償画像についての解析処理を含む、前記（１０）または（１１）に記載の情報処理装置。
（１３）
前記表示制御部は、前記解析処理の結果を表示させる、前記（１０）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記選択部は、前記少なくとも一の注目領域に対応する前記生物学的試料の種類、または前記生物学的試料に関する解析方法の少なくともいずれかに基づいて前記少なくとも一の動き補償パラメータを選択する、前記（２）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記設定部は、設定された前記少なくとも一の注目領域に関して前記一の撮像画像上に複数の追跡点を配置し、
前記推定部は、前記複数の追跡点の移動位置に基づいて前記動きを推定する、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記推定部は、前記複数の追跡点に対応する動きベクトル群に基づいて前記動きを推定する、前記（１５）に記載の情報処理装置。
（１７）
前記設定部は、前記生物学的試料の種類に応じて、前記生物学的試料の前記撮像画像上における所定の領域を前記少なくとも一の注目領域として設定する、前記（１）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）
プロセッサが、
生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定することと、
前記少なくとも一の注目領域の前記動画像上の動きを推定することと、
前記動きに基づいて動き補償パラメータを算出することと、
前記動き補償パラメータを用いて前記少なくとも一の注目領域についての処理を行うことと、
前記処理の結果の表示を制御することと、
を含む情報処理方法。
（１９）
コンピュータを、
生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
前記少なくとも一の注目領域の前記動画像上の動きを推定する推定部と、
前記動きに基づいて動き補償パラメータを算出するパラメータ算出部と、
前記動き補償パラメータを用いて前記少なくとも一の注目領域についての処理を行う処理部と、
前記処理の結果の表示を制御する表示制御部と、
として機能させるためのプログラム。
（２０）
生物学的試料についての動画像を生成する撮像部
を備える撮像装置と、
前記動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
前記少なくとも一の注目領域の前記動画像上の動きを推定する推定部と、
前記動きに基づいて動き補償パラメータを算出するパラメータ算出部と、
前記動き補償パラメータを用いて前記少なくとも一の注目領域についての処理を行う処理部と、
前記処理の結果の表示を制御する表示制御部と、
を備える情報処理装置と、
を有する情報処理システム。
１ 情報処理システム
１０ 撮像装置
２０ 情報処理装置
２１０ 通信部
２２０ 設定部
２３０ 推定部
２４０ パラメータ算出部
２５０ 選択部
２６０ 処理部
２６１ 動き補償部
２６２ 解析部
２７０ 表示制御部

Claims (16)

  1. 生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
    前記少なくとも一の注目領域の前記動画像上の動きを構成する複数の動き成分の大きさを推定する推定部と、
    推定された前記複数の動き成分の大きさに基づいて前記複数の動き成分に対応する複数の動き補償パラメータを算出するパラメータ算出部と、
    算出された前記複数の動き補償パラメータのうちの少なくとも一つの動き補償パラメータを選択する選択部と、
    選択された前記動き補償パラメータを用いて前記少なくとも一の注目領域についての処理を行う処理部と、
    前記処理の結果の表示を制御する表示制御部と、
    を備え、
    前記動き成分は、少なくとも回転成分を含む、
    情報処理装置。
  2. 前記動き成分は、並進成分または拡縮成分の少なくともいずれかを含む、請求項１に記載の情報処理装置。
  3. 前記処理部は、前記処理として、前記動き補償パラメータを用いて前記少なくとも一の注目領域に対応する前記生物学的試料に相当する領域を含む動画像に対して動き補償処理を行う、請求項１又は２に記載の情報処理装置。
  4. 前記表示制御部は、前記動き補償処理により生成される動き補償画像を表示させる、請求項３に記載の情報処理装置。
  5. 前記表示制御部は、推定された前記注目領域の動きに基づいて動き補償画像の表示を制御する、請求項４に記載の情報処理装置。
  6. 前記処理部は、前記処理として、前記注目領域に対応する前記生物学的試料についての解析処理を行う、請求項３〜５のいずれか１項に記載の情報処理装置。
  7. 前記解析処理は、前記動き補償パラメータに基づく解析処理を含む、請求項６に記載の情報処理装置。
  8. 前記解析処理は、前記動き補償処理により生成される動き補償画像に対する解析処理を含む、請求項６又は７に記載の情報処理装置。
  9. 前記表示制御部は、前記解析処理の結果を表示させる、請求項６〜８のいずれか１項に記載の情報処理装置。
  10. 前記選択部は、前記少なくとも一の注目領域に対応する前記生物学的試料の種類、または前記生物学的試料に関する解析方法の少なくともいずれかに基づいて前記少なくとも一の動き補償パラメータを選択する、請求項１〜９のいずれか１項に記載の情報処理装置。
  11. 前記設定部は、設定された前記少なくとも一の注目領域に関して前記一の撮像画像上に複数の追跡点を配置し、
    前記推定部は、前記複数の追跡点の移動位置に基づいて前記動きを推定する、請求項１〜１０のいずれか１項に記載の情報処理装置。
  12. 前記推定部は、前記複数の追跡点に対応する動きベクトル群に基づいて前記動きを推定する、請求項１１に記載の情報処理装置。
  13. 前記設定部は、前記生物学的試料の種類に応じて、前記生物学的試料の前記撮像画像上における所定の領域を前記少なくとも一の注目領域として設定する、請求項１〜１２のいずれか１項に記載の情報処理装置。
  14. プロセッサが、
    生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定することと、
    前記少なくとも一の注目領域の前記動画像上の動きを構成する複数の動き成分の大きさを推定することと、
    推定された前記複数の動き成分の大きさに基づいて前記複数の動き成分に対応する複数の動き補償パラメータを算出することと、
    算出された前記複数の動き補償パラメータのうちの少なくとも一つの動き補償パラメータを選択することと、
    選択された前記動き補償パラメータを用いて前記少なくとも一の注目領域についての処理を行うことと、
    前記処理の結果の表示を制御することと、
    を含み、
    前記動き成分は、少なくとも回転成分を含む、
    情報処理方法。
  15. コンピュータを、
    生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
    前記少なくとも一の注目領域の前記動画像上の動きを構成する複数の動き成分の大きさを推定する推定部と、
    推定された前記複数の動き成分の大きさに基づいて前記複数の動き成分に対応する複数の動き補償パラメータを算出するパラメータ算出部と、
    算出された前記複数の動き補償パラメータのうちの少なくとも一つの動き補償パラメータを選択する選択部と、
    選択された前記動き補償パラメータを用いて前記少なくとも一の注目領域についての処理を行う処理部と、
    前記処理の結果の表示を制御する表示制御部と、
    として機能させるためのプログラムであって、
    前記動き成分は、少なくとも回転成分を含む、
    プログラム。
  16. 生物学的試料についての動画像を生成する撮像部を備える撮像装置と、
    前記動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
    前記少なくとも一の注目領域の前記動画像上の動きを構成する複数の動き成分の大きさを推定する推定部と、
    推定された前記複数の動き成分の大きさに基づいて前記複数の動き成分に対応する複数の動き補償パラメータを算出するパラメータ算出部と、
    算出された前記複数の動き補償パラメータのうちの少なくとも一つの動き補償パラメータを選択する選択部と、
    選択された前記動き補償パラメータを用いて前記少なくとも一の注目領域についての処理を行う処理部と、
    前記処理の結果の表示を制御する表示制御部と、
    を備える情報処理装置と、
    を有する情報処理システムであって、
    前記動き成分は、少なくとも回転成分を含む、
    情報処理システム。
JP2015221330A 2015-11-11 2015-11-11 情報処理装置、情報処理方法、プログラム及び情報処理システム Active JP6696152B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015221330A JP6696152B2 (ja) 2015-11-11 2015-11-11 情報処理装置、情報処理方法、プログラム及び情報処理システム
EP16798574.6A EP3374908B1 (en) 2015-11-11 2016-11-04 Information processing device, information processing method, program, and information processing system
US15/773,001 US10733741B2 (en) 2015-11-11 2016-11-04 Information processing device, information processing method, program, and information processing system
CN201680064345.0A CN108351919B (zh) 2015-11-11 2016-11-04 信息处理设备、信息处理方法、程序及信息处理系统
PCT/JP2016/082809 WO2017082167A1 (en) 2015-11-11 2016-11-04 Information processing device, information processing method, program, and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015221330A JP6696152B2 (ja) 2015-11-11 2015-11-11 情報処理装置、情報処理方法、プログラム及び情報処理システム

Publications (2)

Publication Number Publication Date
JP2017092730A JP2017092730A (ja) 2017-05-25
JP6696152B2 true JP6696152B2 (ja) 2020-05-20

Family

ID=57354424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015221330A Active JP6696152B2 (ja) 2015-11-11 2015-11-11 情報処理装置、情報処理方法、プログラム及び情報処理システム

Country Status (5)

Country Link
US (1) US10733741B2 (ja)
EP (1) EP3374908B1 (ja)
JP (1) JP6696152B2 (ja)
CN (1) CN108351919B (ja)
WO (1) WO2017082167A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3428268B1 (en) * 2016-03-09 2021-12-22 Sony Group Corporation Information processing device, information processing method, program, and information processing system
CN105809136A (zh) * 2016-03-14 2016-07-27 中磊电子（苏州）有限公司 影像数据处理方法及影像数据处理系统
JP2018014991A (ja) 2016-07-13 2018-02-01 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JP2018022216A (ja) 2016-08-01 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2018230178A1 (ja) * 2017-06-13 2018-12-20 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN110914888A (zh) * 2017-11-22 2020-03-24 咪酷维亚科技有限公司 地图信息处理装置、地图信息处理方法及地图信息处理程序
CN113631908A (zh) 2018-12-21 2021-11-09 纳米线科技公司 用于病理试样的移动数字空间剖析的方法、装置、系统和设备
WO2020138279A1 (ja) 2018-12-28 2020-07-02 オリンパス株式会社 顕微鏡システム
JP2021100401A (ja) * 2019-12-24 2021-07-08 日本光電工業株式会社 細胞培養評価システム
WO2021200003A1 (ja) * 2020-03-31 2021-10-07 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、精子選別支援方法
US11494881B2 (en) * 2020-12-29 2022-11-08 Hb Innovations, Inc. Global movement image stabilization systems and methods
KR102558294B1 (ko) * 2020-12-31 2023-07-24 한국과학기술연구원 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법
WO2022192436A1 (en) 2021-03-09 2022-09-15 Thread Robotics Inc. System and method for automated gamete selection
WO2023081446A1 (en) 2021-11-05 2023-05-11 Thread Robotics Inc. System and method for automated cell positioning

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6353683B1 (en) * 1997-12-10 2002-03-05 Matsushita Electric Industrial Co., Ltd. Method and apparatus of image processing, and data storage media
JP4060615B2 (ja) * 2002-03-05 2008-03-12 株式会社東芝 画像処理装置及び超音波診断装置
JP4070558B2 (ja) * 2002-09-26 2008-04-02 株式会社東芝 画像追跡装置および方法
JP2005102082A (ja) 2003-09-26 2005-04-14 Mitsubishi Electric Corp 画像空間安定化方法
US7483551B2 (en) * 2004-02-24 2009-01-27 Lockheed Martin Corporation Method and system for improved unresolved target detection using multiple frame association
US7929017B2 (en) * 2004-07-28 2011-04-19 Sri International Method and apparatus for stereo, multi-camera tracking and RF and video track fusion
JP4356841B2 (ja) * 2004-08-09 2009-11-04 弘親 松岡 生体内部動作解析処理装置、生体内部動作解析処理プログラムおよび生体内部動作解析処理方法
US9363487B2 (en) * 2005-09-08 2016-06-07 Avigilon Fortress Corporation Scanning camera-based video surveillance system
JP2007334746A (ja) * 2006-06-16 2007-12-27 Olympus Corp 画像処理装置および画像処理プログラム
CA2676125A1 (en) * 2007-02-09 2008-08-21 Ge Healthcare Bio-Sciences Corp. System and method for tracking the movement of biological materials
US7924316B2 (en) * 2007-03-14 2011-04-12 Aptina Imaging Corporation Image feature identification and motion compensation apparatus, systems, and methods
EP2149330B1 (en) * 2007-05-08 2016-05-18 Olympus Corporation Image processing apparatus and image processing program
JP4968595B2 (ja) 2008-07-23 2012-07-04 株式会社ニコン 細胞の状態判別手法及び細胞観察の画像処理装置
US8469890B2 (en) * 2009-03-24 2013-06-25 General Electric Company System and method for compensating for motion when displaying ultrasound motion tracking information
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US8977060B2 (en) * 2013-05-16 2015-03-10 Microsoft Technology Licensing, Llc Motion stabilization and detection of articulated objects
JP6394338B2 (ja) * 2014-12-04 2018-09-26 ソニー株式会社 画像処理装置、画像処理方法、及び撮像システム
JP2019114980A (ja) * 2017-12-25 2019-07-11 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム

Also Published As

Publication number Publication date
CN108351919A (zh) 2018-07-31
JP2017092730A (ja) 2017-05-25
US10733741B2 (en) 2020-08-04
US20180330510A1 (en) 2018-11-15
EP3374908B1 (en) 2024-03-06
CN108351919B (zh) 2022-08-09
EP3374908A1 (en) 2018-09-19
WO2017082167A1 (en) 2017-05-18

Similar Documents

Publication Publication Date Title
JP6696152B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
US20180342078A1 (en) Information processing device, information processing method, and information processing system
US10929985B2 (en) System and methods for tracking motion of biological cells
JP6922891B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
Chou et al. Privacy-preserving action recognition for smart hospitals using low-resolution depth images
WO2018083984A1 (ja) 情報処理装置、情報処理方法及び情報処理システム
EP3485458B1 (en) Information processing device, information processing method, and information processing system
Chen et al. Reproducible evaluation of pan-tilt-zoom tracking
Zhou et al. Measurement of motion detection of wireless capsule endoscope inside large intestine
WO2018105298A1 (ja) 情報処理装置、情報処理方法及び情報処理システム
US20210217172A1 (en) Information processing device, information processing method, program, and information processing system
US20220101568A1 (en) Image generation system, image generation method, and non-transitory computer-readable storage medium
JP7023210B2 (ja) 多次元データ可視化装置、方法およびプログラム
WO2017061080A1 (en) Information processing device, information processing method, and information processing system
CN110428446A (zh) 一种基于混合核相关滤波的卫星视频目标跟踪方法
WO2018012353A1 (en) Information processing device, information processing method, and information processing system
WO2021075465A1 (ja) 解析対象の３次元再構成装置、３次元再構成方法及び３次元再構成プログラム
Li et al. MonkeyPosekit: automated markerless 2D pose estimation of monkey
Dokmegang et al. Spectral decomposition unlocks ascidian morphogenesis
WO2023002503A1 (en) A system and a method for synthesization and classification of a micro-motion
Lamont Analysis of the Accuracy of Emerging Consumer Photogrammetry Techniques
CN114708261A (zh) 图像采集设备的运动估计方法、装置、终端及存储介质
HUU QUAN Deep Learning Approach for Practical Plant Disease Diagnosis
WO2013099021A1 (ja) 情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体並びに撮像システム
Kong et al. A web interface for the quantification of microtubule dynamics

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181015

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200406

R151 Written notification of patent or utility model registration

Ref document number: 6696152

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151