JPWO2017154318A1 - 情報処理装置、情報処理方法、プログラム及び情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム及び情報処理システム Download PDF

Info

Publication number
JPWO2017154318A1
JPWO2017154318A1 JP2018504014A JP2018504014A JPWO2017154318A1 JP WO2017154318 A1 JPWO2017154318 A1 JP WO2017154318A1 JP 2018504014 A JP2018504014 A JP 2018504014A JP 2018504014 A JP2018504014 A JP 2018504014A JP WO2017154318 A1 JPWO2017154318 A1 JP WO2017154318A1
Authority
JP
Japan
Prior art keywords
region
information processing
interest
analysis
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018504014A
Other languages
English (en)
Other versions
JP6922891B2 (ja
Inventor
真司 渡辺
真司 渡辺
智広 早川
智広 早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017154318A1 publication Critical patent/JPWO2017154318A1/ja
Application granted granted Critical
Publication of JP6922891B2 publication Critical patent/JP6922891B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Organic Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Biotechnology (AREA)
  • Immunology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Medicinal Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Microbiology (AREA)
  • Genetics & Genomics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Sustainable Development (AREA)
  • Image Analysis (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Micro-Organisms Or Cultivation Processes Thereof (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

【課題】生物学的試料のストレインをより精度高く解析すること。【解決手段】生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、上記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、上記解析対象の上記動画像上における動きを検出する検出部と、検出された上記解析対象の動きに基づいて、上記少なくとも一の注目領域に係る上記生物学的試料のストレインを解析する解析部と、を備える情報処理装置が提供される。【選択図】図２

Description

本開示は、情報処理装置、情報処理方法、プログラム及び情報処理システムに関する。
医療および生命科学の分野において、多くの種類の生物学的試料の動きを観察し、これらの形態の変化について評価することが行われている。例えば、生物学的試料の収縮または弛緩に係る力学的特性（ストレイン）を評価するための技術が開発されている。このストレインを評価することにより、生物学的試料の形態の変化に係る力学的特性を定量的に評価することが可能となる。
例えば、下記非特許文献１には、生物学的試料の一例である心筋細胞に対応する撮像画像中の関心領域についてセグメンテーション処理を行うことにより得られる当該心筋細胞の形状情報をフーリエ級数展開し、得られたフーリエ記述子に基づいて当該心筋細胞のストレインを解析する方法が開示されている。また、下記非特許文献２には、撮像画像に表示されている生物学的試料の内部の動きを相関関数により検出し、検出された動きを力学的なひずみテンソルと関連付けることにより、当該生物学的試料のストレインを算出する方法が開示されている。
C．Bazan et al．"Image Processing Techniques for Assessing Contractility in Isolated Adult CardiacMyocytes"International Journal of Biomedical Imaging，2009，352954． A．Kamogue et al．"Quantification of cardiomyocyte contraction based on image correlation analysis."Cytometry Part A，75A，2009，p.298-308．
しかし、上記非特許文献１に開示された技術では、心筋細胞に対応する関心領域を認識する処理、および関心領域についてのセグメンテーション処理を撮像画像のフレームごとに行う必要がある。そのため、ストレインの解析の処理にかかる負荷が膨大なものになる可能性がある。また、上記非特許文献２に開示された技術では、生物学的試料に対応する領域が特定されていないため、大きく形態を変化させる生物学的試料の内部の動きを取得することが困難である。そのため、解析の対象となる生物学的試料によっては、ストレインの解析結果の精度が低下する可能性がある。
そこで、本開示では、生物学的試料のストレインをより精度高く解析することが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラムおよび情報処理システムを提案する。
本開示によれば、生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、上記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、上記解析対象の上記動画像上における動きを検出する検出部と、検出された上記解析対象の動きに基づいて、上記少なくとも一の注目領域に係る上記生物学的試料のストレインを解析する解析部と、を備える情報処理装置が提供される。
また、本開示によれば、プロセッサが、生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定することと、上記少なくとも一の注目領域についての解析対象を特定することと、上記解析対象の上記動画像上における動きを検出することと、検出された上記解析対象の動きに基づいて、上記少なくとも一の注目領域に係る上記生物学的試料のストレインを解析することと、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータを、生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、上記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、上記解析対象の上記動画像上における動きを検出する検出部と、検出された上記解析対象の動きに基づいて、上記少なくとも一の注目領域に係る上記生物学的試料のストレインを解析する解析部と、として機能させるためのプログラムが提供される。
また、本開示によれば、生物学的試料についての動画像を生成する撮像部を備える撮像装置と、上記動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、上記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、上記解析対象の上記動画像上における動きを検出する検出部と、検出された上記解析対象の動きに基づいて、上記少なくとも一の注目領域に係る上記生物学的試料のストレインを解析する解析部と、を備える情報処理装置と、を有する情報処理システムが提供される。
以上説明したように本開示によれば、生物学的試料のストレインをより精度高く解析することが可能である。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの構成の概要を示す図である。 同実施形態に係るストレインの種類を説明するための図である。 本開示の一実施形態に係る情報処理装置の機能構成例を示す機能ブロック図である。 設定部による観察対象についての注目領域の設定方法および追跡点の配置方法の一例を示す図である。 解析対象特定部による測定点の配置位置の特定方法の第１の例を示すフローチャートである。 解析対象特定部による測定点の配置位置の特定方法の第１の例について説明するための図である。 解析対象特定部による測定点の配置位置の特定方法の第２の例を示すフローチャートである。 解析対象特定部による測定点の配置位置の特定方法の第２の例について説明するための図である。 解析対象特定部による解析対象の特定方法の一例について説明するための図である。 注目領域動き検出部に用いられるブロックサイズおよび解析対象動き検出部に用いられるブロックサイズの一例を示す図である。 注目領域動き検出部に用いられるブロックサイズおよび解析対象動き検出部に用いられるブロックサイズの一例を示す図である。 測定点の動きベクトルに基づくマクロストレイン解析の第１の例を示す図である。 測定点の動きベクトルに基づくマクロストレイン解析の第２の例を示す図である。 アフィンパラメータを用いてマクロストレインを解析する処理を示すフローチャートの一例である。 アフィンパラメータを用いてミクロストレインを解析する処理を示すフローチャートの一例である。 マクロストレインの時系列変化を示すグラフの一例である。 測定点の動きが同位相である場合および異位相である場合の変位の一例を示すグラフである。 表示制御部による観察対象の収縮または弛緩に係るミクロストレインのイメージング処理のフローチャートの一例を示す。 ２点の測定点の動きが同位相である場合における観察対象の収縮または弛緩に係るミクロストレインのイメージング処理の処理例を示す図である。 ２点の測定点の動きが異位相である場合における観察対象の収縮状態または弛緩状態に係るミクロストレインのイメージング処理の処理例を示す図である。 ストレイン強度のイメージング処理の一例を示す図である。 同実施形態に係る情報処理装置による処理の一例を示すフローチャートである。 解析対象として２つの測定点が特定された場合のステップＳ５１１に係る処理の一例を示すフローチャートである。 解析対象として注目領域の内部が特定された場合のステップＳ５１１に係る処理の一例を示すフローチャートである。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．情報処理システムの概要
２．情報処理装置
２．１．構成例
２．２．処理例
２．３．効果
３．ハードウェア構成例
４．まとめ
＜＜１．情報処理システムの概要＞＞
図１は、本開示の一実施形態に係る情報処理システム１の構成の概要を示す図である。図１に示すように、情報処理システム１は、撮像装置１０、および情報処理装置２０を備える。撮像装置１０および情報処理装置２０は、有線または無線の各種ネットワークにより接続される。
（撮像装置）
撮像装置１０は、撮像画像（動画像）を生成する装置である。本実施形態に係る撮像装置１０は、例えば、デジタルカメラにより実現される。他にも、撮像装置１０は、例えばスマートフォン、タブレット、ゲーム機、またはウェアラブル装置など、撮像機能を有するあらゆる装置により実現されてもよい。このような撮像装置１０は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を有し、これらを用いて実空間を撮像する。これらの撮像素子および各種の部材により、撮像装置１０の撮像部としての機能が実現される。また、撮像装置１０は、情報処理装置２０との間で動画像等を送受信するための通信装置を含む。本実施形態において、撮像装置１０は、観察対象である細胞等が培養されている培地Ｍを撮像するための撮像ステージＳの上方に設けられる。なお、細胞は生物学的試料の一例である。そして、撮像装置１０は、培地Ｍを所定のフレームレートで撮像することにより動画像を生成する。なお、撮像装置１０は、培地Ｍを直接（他の部材を介さずに）撮像してもよいし、顕微鏡等の他の部材を介して培地Ｍを撮像してもよい。また、上記フレームレートは特に限定されないが、観察対象の変化の度合いに応じて設定されることが好ましい。なお、撮像装置１０は、観察対象の変化を正しく追跡するため、培地Ｍを含む一定の撮像領域を撮像する。撮像装置１０により生成された動画像は、情報処理装置２０へ送信される。
なお、本実施形態において、撮像装置１０は光学顕微鏡等に設置されるカメラであることを想定しているが、本技術はかかる例に限定されない。例えば、撮像装置１０は、ＳＥＭ（Scanning Electron Microscope：走査型電子顕微鏡）、もしくはＴＥＭ（Transmission Electron Microscope：透過型電子顕微鏡）等の電子線を用いた電子顕微鏡等に含まれる撮像装置、または、ＡＦＭ（Atomic Force Microscope：原子間力顕微鏡）、もしくはＳＴＭ（Scanning Tunneling Microscope：走査型トンネル顕微鏡）等の短針を用いたＳＰＭ（Scanning Probe Microscope：走査型プローブ顕微鏡）等に含まれる撮像装置であってもよい。この場合、撮像装置１０により生成される動画像は、例えば電子顕微鏡の場合、電子線を観察対象に照射することにより得られる動画像である。また、撮像装置１０がＳＰＭである場合、撮像装置１０により生成される動画像は、短針を用いて観察対象をなぞることにより得られる動画像である。これらの動画像も、本実施形態に係る情報処理装置２０により画像解析され得る。
（情報処理装置）
情報処理装置２０は、画像解析機能を有する装置である。情報処理装置２０は、ＰＣ（Personal Computer）、タブレット、スマートフォンなど、画像解析機能を有するあらゆる装置により実現される。情報処理装置２０は、処理回路および通信装置を含む。例えば、本実施形態に係る情報処理装置２０では、通信装置が撮像装置１０から動画像を取得し、処理回路が取得した動画像について少なくとも一の注目領域を設定する。そして、当該処理回路は、設定された注目領域について解析対象を特定し、当該解析対象の動きを検出する。そして、当該処理回路は、当該解析対象の動きに基づいて、注目領域に係る観察対象のストレインを解析する。情報処理装置２０の処理回路により行われる各処理については、情報処理装置２０の内部または外部に備えられる記憶装置または表示装置等に出力される。なお、情報処理装置２０は、ネットワーク上の１または複数の情報処理装置によって実現されてもよい。情報処理装置２０の各機能を実現する機能構成については後述する。
なお、本実施形態において、撮像装置１０および情報処理装置２０により情報処理システム１が構成されるが、本技術はかかる例に限定されない。例えば、撮像装置１０が、情報処理装置２０に関する処理（例えば、検出処理および解析処理）を行ってもよい。この場合、情報処理システム１は、検出機能および解析機能等を有する撮像装置により実現される。
ここで、本実施形態に係る情報処理システム１の観察対象およびストレインについて説明する。まず、本実施形態に係る観察対象は、主に生物学的試料である。生物学的試料とは、例えば、各種細胞、細胞小器官もしくは生体組織、または微生物もしくはプランクトン等の生物など、光学顕微鏡等を用いて観察することが可能な生体を意味する。特に本実施形態において生物学的試料は、撮像装置１０の撮像ステージＳ上における培地Ｍにおいて運動し得る生体を意味する。以下、このような生物学的試料については、観察対象と呼称する。
特に、本実施形態に係る観察対象は、周期的な運動を行う観察対象であってもよい。周期的な運動とは、例えば、筋肉等による収縮および弛緩を伴う運動（拍動）であってもよい。このような周期的な運動を示す観察対象として、例えば、サルコメア（筋節）および当該サルコメアにより構成される筋源繊維、筋繊維および筋肉等が挙げられる。筋肉は、骨格筋または内臓筋（特に心筋等の不随意筋）であってもよい。また、本実施形態に係る観察対象は、心筋を形成する心筋細胞であってもよいし、心臓の拍動に応じて拍動する動脈等の血管であってもよい。また、本技術の適用対象は、周期的な運動を行う観察対象に限定されない。例えば、外部刺激または内部刺激等により収縮および弛緩する観察対象は、本技術の適用対象として含まれる。
なお、本実施形態において観察対象は生物学的試料であるが、本技術はかかる例に限定されない。例えば、観察対象は、大きさがミリメートルからナノメートルのスケールである生物または無生物等の構造体であってもよい。収縮および弛緩（または伸長）するような構造体であれば、情報処理システム１は、これらの観察対象の形態の変化に係る歪み（ストレインに相当）について解析するために用いられてもよい。
次に、本実施形態に係るストレインについて説明する。ストレインは、生物学的試料（観察対象）の形態の変化に係る力学的特性を示す指標である。観察対象が拍動する際に、当該観察対象に局所的に歪みが生じることがある。この歪みが、観察対象の局所的な力学的特性を示すストレインである。このストレインを定量化することにより、観察対象の収縮能について評価することができる。例えば、観察対象が心筋細胞である場合に、心筋細胞に投与された薬剤に係る効果、および再生医療に係る技術を用いて作製された心筋細胞の収縮能等を、定量的に評価することが可能となる。
本実施形態に係るストレインは、大きく２種類存在する。図２は、本実施形態に係るストレインの種類を説明するための図である。図２を参照すると、観察対象５００が収縮して形態を観察対象５０１のように変化している。このとき、観察対象５００のストレインとして、観察対象５００全体の収縮または弛緩に係る力学的特性を示すマクロストレインＭａＳ１およびＭａＳ２、並びに、観察対象５００の内部の局所的な力学的特性を示すミクロストレインＭｉＳ１およびＭｉＳ２の２種類が存在する。
マクロストレインは、観察対象５００の伸縮方向における、観察対象５００の形態の変化の大きさを示すストレインである。つまり、マクロストレインは、観察対象５００の元の形態と、当該元の形態から収縮したときの観察対象５０１の形態との間の差分（歪み）に基づいて算出されるストレインである。
一方、ミクロストレインは、観察対象５００の伸縮方向の運動に寄与する観察対象５００の局所的な動きの変化量を示すストレインである。つまり、ミクロストレインは、図２に示すように、観察対象５００の伸縮方向の運動に寄与する観察対象５００の内部の個々の動きの変化に基づいて算出されるストレインである。
マクロストレインは、いわゆる無次元のひずみ量であるのに対し、ミクロストレインは、二次元上における動きの変化量（すなわち加速度に相当する）の次元を有する値である。また、本実施形態に係るミクロストレインは、ベクトル（大きさと方向を有する）である。本実施形態に係る情報処理システム１によれば、これらの２種のストレインの少なくともいずれかを用いることにより、観察対象の局所的な力学的特性について、より詳細な、かつ、複合的な評価をすることができる。
以上、本開示の一実施形態に係る情報処理システム１の概要について説明した。本開示の一実施形態に係る情報処理システム１に含まれる情報処理装置２０は、以下の実施形態において実現される。以下、情報処理装置２０の具体的な構成例および処理例について説明する。なお、以下の説明においては、特に区別する必要がない限り、マクロストレインおよびミクロストレインを、総じてストレインと記載する。
＜＜２．情報処理装置＞＞
以下、図３〜図２４を参照して本開示の一実施形態に係る情報処理装置２０について説明する。
＜２．１．構成例＞
図３は、本開示の一実施形態に係る情報処理装置２０の機能構成例を示す機能ブロック図である。図３に示すように、本実施形態に係る情報処理装置２０は、制御部２００、通信部２１０および記憶部２２０を備える。制御部２００の機能は、情報処理装置２０が備えるＣＰＵ（Central Processing Unit）等の処理回路により実現される。また、通信部２１０の機能は、情報処理装置２０が備える通信装置により実現される。また、記憶部２２０の機能は、情報処理装置２０が備えるストレージ等の記憶装置により実現される。以下、各機能部について説明する。
（制御部）
制御部２００は、情報処理装置２０の動作全般を制御する。また、制御部２００は、図３に示すように、設定部２０１、解析対象特定部２０２、検出部２０３、解析部２０４および表示制御部２０５の各機能を含み、本実施形態に係る情報処理装置２０の動作を主導的に行う。制御部２００に含まれる各機能部の有する機能については後述する。
（通信部）
通信部２１０は、情報処理装置２０が備える通信手段であり、ネットワークを介して（あるいは直接的に）、外部装置と無線または有線により各種通信を行う。例えば、通信部２１０は撮像装置１０と通信を行う。より具体的には、通信部２１０は、撮像装置１０により生成された動画像を取得する。また、通信部２１０は、撮像装置１０以外の他の装置と通信を行ってもよい。例えば、通信部２１０は、後述する解析部２０４より得られる解析結果に関する情報、または表示制御部２０５より得られる分析結果等の表示に関する情報等を、外部の情報処理装置または表示装置等に送信してもよい。
（記憶部）
記憶部２２０は、情報処理装置２０が備える記憶手段であり、通信部２１０により取得された情報、または制御部２００の有する各機能部により得られた情報等を記憶する。また、記憶部２２０は、制御部２００の有する各機能部、または通信部２１０からの要求に応じて、記憶されている情報を適宜出力する。
次に、制御部２００に含まれる各機能部の有する機能について説明する。
（設定部）
設定部２０１は、通信部２１０が撮像装置１０から取得した動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する。なお、本明細書において注目領域とは、観察対象の動きを推定するための領域を意味する。この注目領域は、動画像における観察対象（例えば、細胞等の生物学的試料）に相当する領域（以降、観察対象領域と呼称する）と必ずしも一致していなくてもよい。例えば、本実施形態に係る注目領域は、観察対象の輪郭に相当する閉曲線により形成される領域に設定されるものとして説明するが、当該注目領域は、観察対象の内部に存在する組織に相当する領域に設定されてもよい。
また、本実施形態に係る注目領域は、閉曲線（始点と終点が一致する曲線）により包囲される領域であるものとして説明するが、開曲線（直線を含む）により表現される領域であってもよい。また、注目領域として、複数の領域が設定されてもよいし、８の字のような形状により表現される領域が設定されてもよい。
また、注目領域は、情報処理装置２０を使用するユーザの操作等を介して設定されてもよいし、設定部２０１が画像解析等の手法により動画像から注目領域を自動的に検出してもよい。後者の場合、設定部２０１は、画像解析により観察対象領域を検出してもよい。例えば、設定部２０１は、観察対象の種類に応じて注目領域を設定してもよい。
また、設定部２０１は、一の撮像画像から一または複数の注目領域を設定してもよい。例えば、一の撮像画像に複数の観察対象領域が含まれている場合、これらの観察対象の動きの比較のために、設定部２０１は各観察対象についてそれぞれ注目領域を設定してもよい。これにより、複数の観察対象の各々の動きが推定され、各々のストレインについて解析できるので、解析結果の比較が可能となる。
なお、当該一の撮像画像は、通信部２１０が取得した動画像のうち、最初のフレームに相当する撮像画像であってもよい。最初のフレームの撮像画像について注目領域を設定することにより、例えば、動画像における注目領域の動きについて時系列に解析する際に、最初のフレームにおける注目領域の位置を基準とすることができる。そのため、任意の撮像画像における注目領域の位置を基準とするよりも、解析結果がより明確となる。また、当該一の撮像画像は、後述する解析部２０４による観察対象のストレインの解析の開始時点に相当するフレームにおける撮像画像であってもよい。これにより、当該観察対象の基準となる形態に基づく動きの検出を、後述する検出部２０３により行うことができる。
また、本実施形態に係る設定部２０１は、一の撮像画像において注目領域を設定した際に、当該注目領域に関して複数の追跡点を配置してもよい。なお、本明細書において追跡点とは、ある撮像画像について設定された注目領域に対応して配置される点である。例えば本実施形態において、追跡点は注目領域を定義する線または輪郭上に、所定の間隔を空けて配置される。後述する検出部２０３において、当該注目領域が設定された際に用いられた一の撮像画像とは異なる時点において撮像された他の撮像画像における追跡点の位置が検出される。検出部２０３は、この追跡点の移動位置に基づいて当該注目領域の動きを検出することができる。
また、追跡点の配置数および配置間隔は、観察対象の種類、または注目領域の形状に応じて決定されてもよい。例えば、注目領域の形状が大きく変化する場合、追跡点の配置数を増やし、配置間隔を小さくすることが好ましい。これにより、細胞の形態が大きく変化しても、細胞の形態の変化を精度高く追跡することができる。また、計算負荷の低減のためには、追跡点の配置数を減らし、配置間隔を大きくすることが好ましい。
ここで、本実施形態に係る設定部２０１による注目領域の設定方法、および追跡点の配置方法について説明する。図４は、設定部２０１による観察対象についての注目領域の設定方法および追跡点の配置方法の一例を示す図である。図４を参照すると、まず撮像画像上において観察対象の像に相当する観察対象領域１０００が含まれているとする。この場合、図４に示すように、設定部２０１は、観察対象領域１０００を注目領域１１００として設定してもよい。この場合、注目領域１１００の輪郭線は、観察対象領域１０００の輪郭線（すなわち、観察対象領域１０００と非観察対象領域との境界線）であってもよい。そして、設定部２０１は、観察対象領域１０００の輪郭線（すなわち、注目領域１１００の輪郭線）上に、複数の追跡点ＣＰを配置してもよい。
なお、図４に示した注目領域１１００は、例えば、観察対象に含まれる組織等の一部に相当する領域であってもよい。より具体的には、観察対象に含まれる組織の一部の拍動が当該観察対象の収縮および弛緩に係る力学的特性に寄与していると考えられる場合、設定部２０１は、当該組織の一部に相当する領域を注目領域として設定してもよい。これにより、所望の領域に相当する組織の上記力学的特性を把握することができ、また、注目領域の設定サイズを必要最小限度とすることにより、計算コストを抑制することができる。
設定部２０１により設定された注目領域についての情報は、解析対象特定部２０２、および検出部２０３に出力される。
（解析対象特定部）
解析対象特定部２０２は、少なくとも一の注目領域についての解析対象を特定する。当該解析対象は、後述する解析部２０４がストレインを解析するために用いられる。当該解析対象は、ユーザの選択により、または解析部２０４により解析されるストレインの種類（例えば、マクロストレイン、もしくはミクロストレイン）等に応じて決定されてもよい。
本実施形態に係る解析対象は、例えば、（１）注目領域の輪郭線上に配置される２つの測定点、または（２）注目領域の内部である。解析対象特定部２０２は、上記（１）または（２）のいずれか、または両方を解析対象として特定する。以下、解析対象特定部２０２による、上記（１）および（２）に係る解析対象の特定方法について説明する。
（１）２つの測定点の特定方法
解析対象特定部２０２は、解析対象として、注目領域の輪郭線上に２つの測定点を配置してもよい。この２つの測定点は、観察対象全体の収縮または弛緩に係る力学的特性を示すストレイン、すなわちマクロストレインを解析するために用いられる。そのため、当該２つの測定点は、注目領域の輪郭線上のうち、観察対象の収縮時または弛緩時において、当該観察対象のうち最も動きが大きいとされる部分に対応する位置に配置され得る。この２つの測定点の配置位置としては、（ａ）注目領域の輪郭線上において、当該２点が可能な限り離れて配置される位置、または（ｂ）注目領域の輪郭線上において、当該２点の動きが最大限大きい位置であることが考えられる。上記（ａ）については、解析対象特定部２０２は、例えば、注目領域の輪郭線の形状に基づいて測定点の配置位置を特定してもよい。また、上記（ｂ）については、解析対象特定部２０２は、例えば、注目領域の輪郭線の動画像上における変化（つまり注目領域の形状の変化）に基づいて測定点の配置位置を特定してもよい。以下、解析対象特定部２０２による測定点の配置位置の特定方法の具体例を説明する。
まず、上記（ａ）の場合についての解析対象特定部２０２による測定点の配置位置の特定方法について説明する。図５は、解析対象特定部２０２による測定点の配置位置の特定方法の第１の例を示すフローチャートである。また、図６は、解析対象特定部２０２による測定点の配置位置の特定方法の第１の例について説明するための図である。まず、解析対象特定部２０２は、注目領域の中心座標を算出する（図５のＳ１０１）。例えば、図６の模式図Ｆ６１に示すように、観察対象について注目領域１１００および複数の追跡点ＣＰが配置されている場合、解析対象特定部２０２は、注目領域１１００の中心点１１０１の座標を算出する（図６の模式図Ｆ６２参照）。この中心点１１０１は、例えば、注目領域１１００に配置されている複数の追跡点ＣＰの座標の加重平均により算出されてもよい。また、中心点１１０１は、中心座標を求めるための公知の方法を用いて算出されてもよい。
次に、解析対象特定部２０２は、注目領域１１００の輪郭線上における中心点１１０１から最も離れた点の位置を、第１の測定点ＳＰ１の配置位置として特定する（図５のＳ１０３）。例えば、図６の模式図Ｆ６３に示すように、解析対象特定部２０２は、注目領域１１００の輪郭線上における、中心点１１０１との距離Ｄ１が最も大きくなる点の位置を、解析対象である第１の測定点ＳＰ１の配置位置として特定してもよい。なお、解析対象特定部２０２は、注目領域１１００の輪郭線上の任意の位置のうち中心点１１０１から最も遠い点を第１の測定点ＳＰ１として特定してもよいし、図６の模式図Ｆ６３に示すように、当該輪郭線上に配置された追跡点ＣＰのうち中心点１１０１から最も遠い追跡点ＣＰを第１の測定点ＳＰ１として特定してもよい。
次いで、解析対象特定部２０２は、注目領域１１００の輪郭線上における第１の測定点ＳＰ１と最も離れた点の位置を、第２の測定点ＳＰ２の配置位置として特定する（図５のＳ１０５）。例えば、図６の模式図Ｆ６４に示すように、解析対象特定部２０２は、注目領域１１００の輪郭線上における、第１の測定点ＳＰ１との距離Ｄ２が最も大きくなる点の位置を、解析対象である第２の測定点ＳＰ２の配置位置として特定してもよい。なお、解析対象特定部２０２は、注目領域１１００の輪郭線上の任意の位置のうち第１の測定点ＳＰ１から最も遠い点を第２の測定点ＳＰ２として特定してもよいし、図６の模式図Ｆ６４に示すように、当該輪郭線上に配置された追跡点ＣＰのうち第１の測定点ＳＰ１から最も遠い追跡点ＣＰを第２の測定点ＳＰ２として特定してもよい。
注目領域に係る観察対象の収縮および弛緩に係る動きは、一般的に、当該観察対象の長手方向に沿って発生することが多い。そのため、注目領域の輪郭線の形状のうち、中心位置を基準として測定点を特定することにより、観察対象の動きのうち最も大きい部分の動きについて解析することが可能となる。したがって、注目領域に係る観察対象のマクロストレインをより精度高く解析することが可能である。なお、図５および図６に示した例では、注目領域の中心位置に基づいて測定点が特定されたが、本技術はかかる例に限定されない。例えば、解析対象特定部２０２は、注目領域の輪郭線の任意の２点のうち、当該２点の距離が最も大きくなる点を輪郭線の形状から推定し、当該推定された２点を測定点として特定してもよい。
次に、上記（ｂ）の場合についての解析対象特定部２０２による測定点の配置位置の特定方法について説明する。図７は、解析対象特定部２０２による測定点の配置位置の特定方法の第２の例を示すフローチャートである。また、図８は、解析対象特定部２０２による測定点の配置位置の特定方法の第２の例について説明するための図である。まず、解析対象特定部２０２による解析対象の特定処理の前に、検出部２０３が、注目領域の輪郭線上に配置された追跡点の動きベクトルを検出する（図７のＳ２０１）。例えば、図８の模式図Ｆ８１に示すように、観察対象について注目領域１１００および複数の追跡点ＣＰが配置されている場合、検出部２０３は、各追跡点ＣＰの動きベクトルＭＶを算出する。なお、動きベクトルＭＶの算出方法については後述する。なお、ここで検出される動きは、観察対象が収縮または弛緩した際の連続する２時刻における動きに基づいて算出される動きベクトルＭＶであるが、本技術はかかる例に限定されない。例えば、検出される動きは、収縮および弛緩を一周期行った際の各追跡点ＣＰの動きの大きさに基づいて算出される変位量であってもよい。ただし、詳しくは後述するが、検出部２０３は、移動後の注目領域について追跡点を適切な位置に再配置することがある。この場合、追跡点ＣＰの位置が適宜入れ替わる可能性がある。そのため、追跡点ＣＰに係る変位量に基づいて測定点を設定する場合は、検出部２０３による追跡点ＣＰの再配置が行われなくてもよい。
次に、解析対象特定部２０２は、検出された各追跡点ＣＰのうち、検出された動きが最も大きかった追跡点ＣＰを、第１の測定点ＳＰ３として特定する（図７のＳ２０３）。例えば、図８の模式図Ｆ８１に示すように、解析対象特定部２０２は、検出部２０３により算出された動きベクトルＭＶのうち最大の動きベクトルＭＶａを示した追跡点ＣＰを、第１の測定点ＳＰ３として特定してもよい（図８の模式図Ｆ８２参照）。
次いで、解析対象特定部２０２は、注目領域１１００の輪郭線上における第１の測定点ＳＰ３と最も離れた点の位置を、第２の測定点ＳＰ４の配置位置として特定する（図７のＳ２０５）。例えば、図８の模式図Ｆ８３に示すように、解析対象特定部２０２は、注目領域１１００の輪郭線上における、第１の測定点ＳＰ３との距離Ｄ３が最も大きくなる点の位置を、解析対象である第２の測定点ＳＰ４の配置位置として特定してもよい。なお、解析対象特定部２０２は、注目領域１１００の輪郭線上の任意の位置のうち第１の測定点ＳＰ３から最も遠い点を第２の測定点ＳＰ４として特定してもよいし、図８の模式図Ｆ８３に示すように、当該輪郭線上に配置された追跡点ＣＰのうち第１の測定点ＳＰ３から最も遠い追跡点ＣＰを第２の測定点ＳＰ４として特定してもよい。
このように、注目領域の輪郭線のうち、動きの最も大きい位置を測定点として特定することにより、観察対象の動きのうち最も大きい部分の動きについて解析することが可能となる。したがって、注目領域に係る観察対象のマクロストレインをより精度高く解析することが可能である。
なお、一度特定された測定点は、ストレインの解析の対象となる期間において、固定であることが好ましい。これは、一の解析を通して測定点の動きを連続的に測定するためである。
また、特定された測定点の追跡領域（後述する検出部２０３による測定点の動きの検出において考慮される、測定点を中心とする領域）は、所定の大きさに設定される。
（２）注目領域の内部を解析対象とする場合の特定方法
また、解析対象特定部２０２は、解析対象として、注目領域の内部を解析対象として特定してもよい。このとき、例えば、解析対象特定部２０２は、解析対象として特定された注目領域の内部の動きを検出するために、注目領域を用いて撮像画像のセグメンテーション処理を行う。セグメンテーション処理とは、撮像画像から注目領域に相当する部分の画像を切り出す処理である。
図９は、解析対象特定部２０２による解析対象の特定方法の一例について説明するための図である。図９の模式図Ｆ９１および模式図Ｆ９２を参照すると、解析対象特定部２０２は、観察対象領域１０００について設定された注目領域１１００を閉領域とするマスク１１１０を生成する。このマスク１１１０を観察対象領域１０００についての撮像画像に適用することにより、セグメンテーション処理が行われる。
そして、解析対象特定部２０２は、セグメンテーション処理後の注目領域１１００の内部についてメッシュ１１２０を切る（メッシュ処理、図９の模式図Ｆ９３参照）。このメッシュ１１２０ごとについて検出される動きベクトルＭＶ３およびＭＶ４が、解析対象の動きとして検出部２０３により検出される。すなわち、本実施形態において注目領域の内部の動きは、メッシュごとの動きに相当する。
なお、観察対象の形態の変化に応じて、注目領域は移動または変形する。すなわち、生成されるマスク１１１０は、注目領域の移動または変形ごとに（例えば、各撮像画像ごとに）解析対象特定部２０２により生成され得る。つまり、セグメンテーション処理は、後述する検出部２０３により検出された動き検出の結果が反映された注目領域について行われる。このマスク１１１０の生成に係るセグメンテーション処理は、撮像画像に含まれる観察対象の画像認識に基づいて行われるものではなく、注目領域の動きの検出処理に基づいて行われる。そのため、画像認識に係る処理の負荷が生じないため、計算コストを抑制することができる。
なお、解析対象特定部２０２は、注目領域の内部の一部のみを解析対象として特定してもよい。例えば、解析対象特定部２０２は、注目領域の内部のうち、対応する観察対象の形態の変化が大きいと思われる部分に対応する領域のみを、解析対象として特定してもよい。これにより、形態の変化の比較的小さい部分についての動きの検出処理を行わなくなるため、計算コストが抑制される。
解析対象特定部２０２により特定される解析対象は、上記の２つの測定点および注目領域の内部の両方であってもよい。解析対象を複数特定することにより、マクロストレインおよびミクロストレインの結果を用いて、観察対象についてのストレインを総合的に評価することが可能となる。
解析対象特定部２０２は、特定した解析対象に関する情報を検出部２０３に出力する。
（検出部）
検出部２０３は、少なくとも、解析対象特定部２０２により特定された解析対象の動画像上における動きを検出する。また、検出部２０３は、注目領域の動画像上における動きを検出してもよい。図３に示すように、検出部２０３は、注目領域動き検出部２３１、および解析対象動き検出部２３２を備える。
−注目領域動き検出部
注目領域動き検出部２３１は、注目領域の動きを検出する機能を有する。例えば、注目領域動き検出部２３１は、動画像を構成する一の撮像画像における、当該一の撮像画像とは撮像時点が異なる他の撮像画像における注目領域の動きを検出する。より具体的には、注目領域動き検出部２３１は、まず注目領域について配置された各追跡点の動きを検出し、推定された各追跡点の動きに基づいて、注目領域の動きを検出してもよい。
まず、本実施形態に係る注目領域動き検出部２３１は、注目領域について配置された追跡点の動きを推定することにより、当該注目領域の動きを検出する。具体的には、注目領域動き検出部２３１は、まず、一の撮像画像において配置された追跡点の、当該一の撮像画像とは撮像時点が異なる他の撮像画像における位置を推定する。当該他の撮像画像は、当該一の撮像画像のフレームの前後数フレームのいずれかの撮像画像であってもよい。注目領域動き検出部２３１は、他の撮像画像における追跡点の位置の推定に係る処理を、動画像を構成する各撮像画像について行うことにより、動画像上の追跡点の動きを検出する。なお、注目領域動き検出部２３１により検出される動きは、動画像の全部または一部における動きであってもよい。
注目領域動き検出部２３１は、例えば、一の撮像画像と他の撮像画像との比較により算出される動きベクトルに基づいて、追跡点の位置を推定してもよい。この動きベクトルとは、追跡点ごとに算出される動きベクトルであってもよい。当該動きベクトルは、例えばブロックマッチング、または勾配法等の手法により算出されてもよい。本実施形態に係る注目領域動き検出部２３１は、当該動きベクトルをブロックマッチングにより推定するものとして説明する。
例えば、注目領域動き検出部２３１は、追跡点を含む所定の大きさの追跡領域について、一の撮像画像と他の撮像画像との間で追跡領域内の画素に関する情報が最も合致する領域を他の撮像画像の所定のブロックサイズ（探索範囲）から検出することにより、追跡点の他の撮像画像における位置を推定してもよい。このとき、追跡領域およびブロックサイズの大きさは、撮像装置１０の撮像条件（例えば撮像倍率）、観察対象の種類、または観察対象に対して行う解析の種類等に応じて決定されてもよい。例えば、観察対象の動きが大きい場合は、追跡領域またはブロックサイズをより大きくしてもよい。これにより、注目領域動き検出部２３１による追跡点の位置の推定精度を向上させることができる。また、追跡点が注目領域に関して多数存在する場合は、計算負荷の低減のために、追跡領域またはブロックサイズを小さくするよう調整してもよい。
また、注目領域動き検出部２３１は、観察対象に関する情報に基づいて決定される撮像時点に生成された他の撮像画像における追跡点の位置を推定してもよい。例えば、形態の変化のスピードが遅い観察対象の形態の変化を追跡する場合、撮像装置１０により生成された連続する複数のフレームの間における撮像画像の違いは小さい。そのため、形状の変化スピードが遅い観察対象の形状の変化を追跡する際、注目領域動き検出部２３１、一の撮像画像のフレームから前後数フレーム離れた撮像画像を他の撮像画像として検出処理を行ってもよい。より具体的には、注目領域動き検出部２３１、一の撮像画像のフレームから数フレーム後の撮像画像を他の撮像画像として検出処理を行ってもよい。一の撮像画像と他の撮像画像のフレーム間隔を空けることにより、追跡処理の対象となる撮像画像のデータ数を減らすことができる。これにより、計算負荷を減らすことができ、また、より長時間にわたる注目領域の動きを追跡することができる。上記フレーム間隔は、観察対象の種類または状態等に応じて適宜設定され得る。
注目領域動き検出部２３１は、さらに、検出した追跡点の移動位置に基づいて、当該注目領域の動き（例えば、注目領域の移動、または注目領域の輪郭線の形状の変化）を検出する。これにより、注目領域に係る観察対象の形態の変化を追跡することができる。また、注目領域動き検出部２３１は、動き検出後の注目領域についての追跡点を再配置してもよい。これにより、注目領域の動きの推定精度を高めることができる。
注目領域の動きに係る情報は、解析対象特定部２０２に出力されてもよい。これにより、解析対象特定部２０２が注目領域の内部を解析対象として特定する場合において、注目領域の動きに応じてセグメンテーション処理を行うことができる。
−解析対象動き検出部
解析対象動き検出部２３２は、解析対象の動きを検出する機能を有する。例えば、解析対象動き検出部２３２は、動画像を構成する一の撮像画像における、当該一の撮像画像とは撮像時点が異なる他の撮像画像における解析対象の動きを検出する。より具体的には、解析対象動き検出部２３２は、一の撮像画像と他の撮像画像との比較により算出される動きベクトルに基づいて、解析対象の動きを推定してもよい。検出される動きベクトルは、ブロックマッチング等、上述した注目領域動き検出部２３１の有する手法と同様の手法により実現される。本実施形態に係る解析対象動き検出部２３２は、ブロックマッチングにより解析対象の動きベクトルを検出するものとする。なお、解析対象動き検出部２３２により検出される動きは、動画像の全部または一部における動きであってもよい。
例えば、解析対象特定部２０２により注目領域の輪郭線上に測定点が配置されている場合、解析対象動き検出部２３２は、当該測定点の動画像上における動きベクトルを検出する。また、解析対象特定部２０２により注目領域の内部が解析対象として特定されている場合、解析対象動き検出部２３２は、注目領域の内部において設けられた各メッシュの動きベクトルを検出する。
なお、本実施形態では、注目領域動き検出部２３１において用いられる検出器と、解析対象動き検出部２３２において用いられる検出器とが異なっていてもよい。例えば、注目領域動き検出部２３１および解析対象動き検出部２３２においてブロックマッチングによる動きベクトルの検出のための検出器が用いられている場合、上述したブロックサイズが注目領域動き検出部２３１および解析対象動き検出部２３２の間で異なっていてもよい。
図１０および図１１は、それぞれ、注目領域動き検出部２３１に用いられるブロックサイズおよび解析対象動き検出部２３２に用いられるブロックサイズの一例を示す図である。図１０は、注目領域の輪郭線上に測定点が解析対象として配置されている場合を示し、図１１は、注目領域の内部が解析対象として特定されている場合を示す。
図１０に示すように、例えば、測定点ＳＰ１およびＳＰ２のブロックサイズＢ１およびＢ２は、追跡点ＣＰ１のブロックサイズＢ３以上であってもよい。測定点ＳＰ１およびＳＰ２は、他の追跡点ＣＰよりもその位置の変化が大きい。そのため、観察対象の収縮または弛緩による形状の変化をより確実にとらえるために、測定点ＳＰ１およびＳＰ２のブロックサイズが追跡点ＣＰのブロックサイズ以上に設定されてもよい。
また、図１１に示すように、例えば、メッシュ１１２０のブロックサイズＢ４は、追跡点ＣＰ１のブロックサイズＢ３以下であってもよい。ブロックサイズＢ４を大きく設定しすぎると、メッシュ１１２０の近傍以外において、動き検出前のメッシュ１１２０に含まれる画像パターンに近い画像パターンを検出してしまう可能性があるからである。
なお、観察対象についての撮像画像の種類（明視野像、位相差像など）に応じて、これらのブロックサイズの大きさが適宜変更されてもよい。
また、上述した例では、ブロックサイズが注目領域動き検出部２３１と解析対象動き検出部２３２との間で異なるとしたが、本技術はかかる例に限定されない。例えば、追跡領域の大きさが、注目領域動き検出部２３１と解析対象動き検出部２３２との間で異なっていてもよい。
このように、注目領域動き検出部２３１と解析対象動き検出部２３２との間で検出器を異ならせることにより、それぞれの動きの特性に応じた動き検出が可能となる。これにより、動き検出の精度が向上する。
注目領域動き検出部２３１は、動画像を構成する各撮像画像について注目領域の動きを検出する。また、解析対象動き検出部２３２は、上記各撮像画像について解析対象の動きを検出する。そして、解析対象動き検出部２３２は、検出した解析対象の動きに関する情報を解析部２０４に出力する。また、検出部２０３による注目領域および解析対象の動きの検出結果に係る情報は、表示制御部２０５に出力される。
（解析部）
解析部２０４は、解析対象の動きに基づいて、少なくとも一の注目領域に係る観察対象のストレインを解析する。本実施形態に係る解析部２０４は、解析対象特定部２０２により特定された測定点または注目領域の内部（メッシュ）の少なくともいずれかの動きベクトルに基づいて、マクロストレインまたはミクロストレインの少なくともいずれかを解析する。以下、解析部２０４による解析処理の例について説明する。
−測定点の動きに基づくマクロストレイン解析
解析部２０４は、解析対象特定部２０２により注目領域の輪郭線上に特定された測定点の動きベクトルに基づいて、観察対象のマクロストレイン解析を行ってもよい。図１２は、測定点の動きベクトルに基づくマクロストレイン解析の第１の例を示す図である。図１２の模式図Ｆ１２１に示すように、まず、解析部２０４は、測定点ＳＰ１およびＳＰ２を結ぶ線分Ｌ０の距離Ｌ（ｔ０）を算出する。この距離Ｌ（ｔ０）は、観察対象の収縮時または弛緩時とは異なる時点に撮像された撮像画像における測定点ＳＰ１およびＳＰ２の位置から算出される。
観測対象の収縮時または弛緩時において（図１２の模式図Ｆ１２２では収縮時）、動画像における測定点ＳＰ１およびＳＰ２の動きベクトルＭＶ１およびＭＶ２が検出される。このとき、測定点ＳＰ１’およびＳＰ２’を結ぶ線分Ｌ１の距離Ｌ（ｔ）は、距離Ｌ（ｔ０）よりも短くなる（図１２の模式図Ｆ１２３参照）。なお、当該測定点の移動後の位置は、検出部２０３（解析対象動き検出部２３２）により検出される動きベクトルに基づいて推定される。すると、マクロストレインε（ｔ）は、下記式（１）のように示される。
Figure 2017154318
解析部２０４は、測定点ＳＰ１およびＳＰ２の位置の変化を追跡することにより、マクロストレインε（ｔ）を経時的に解析する。
なお、マクロストレインε（ｔ）の算出方法は、図１２に示した例に限定されない。図１３は、測定点の動きベクトルに基づくマクロストレイン解析の第２の例を示す図である。図１３の模式図Ｆ１３１に示すように、まず、解析部２０４は、測定点ＳＰ１およびＳＰ２を結ぶ線分Ｌ０の距離Ｌ（ｔ０）を算出する。この距離Ｌ（ｔ０）は、観察対象の収縮時または弛緩時とは異なる時点に撮像された撮像画像における測定点ＳＰ１およびＳＰ２の位置から算出される。解析部２０４は、この線分Ｌ０を基準線として設定する。
観測対象の収縮時または弛緩時において、動画像における測定点ＳＰ１およびＳＰ２の動きベクトルが検出される（図１３の模式図Ｆ１３２参照）。このときの測定点ＳＰ１’およびＳＰ２’を結ぶ線分を線分Ｌ２とすると（図１３の模式図Ｆ１３３参照）、上述した距離Ｌ（ｔ）は、線分Ｌ２を基準線Ｌ０に射影したときの長さであってもよい。測定点ＳＰ１およびＳＰ２の動きベクトルＭＶ１およびＭＶ２の方向が基準線Ｌ０と平行でない場合においては、観察対象の収縮および弛緩に係る力の一部が、基準線Ｌ０方向、すなわち観察対象の拡縮方向の変化に寄与していると考えられる。当該基準線Ｌ０に線分Ｌ２を射影することにより、観察対象の拡縮方向の変化に寄与するマクロストレインを解析することができる。
−メッシュの動きに基づくミクロストレイン解析
解析部２０４は、解析対象特定部２０２により注目領域の内部が解析対象として特定されている場合、注目領域の内部の動きベクトルに基づいて、観察対象のミクロストレイン解析を行ってもよい。具体的には、解析部２０４は、各メッシュの動きベクトルの時間変化量（すなわち、加速度に相当）をミクロストレインとして解析してもよい。ここで解析されるミクロストレインは、メッシュごとのミクロストレインである。これにより、注目領域に対応する観察対象の部分的なストレインを得ることができる。すなわち、観察対象の収縮および弛緩に係る局所的な力学的特性について、より詳細に知ることができる。
また、メッシュごとに得られるミクロストレインに対してグリーン‐ラグランジュひずみテンソルを適用することにより、当該ミクロストレインが解析された領域における局所的な力学的特性としてのストレインを得ることができる。また、メッシュごとに得られるミクロストレインの平均値、中央値、最大値または最小値等の統計値も、当該ミクロストレインが解析された領域における局所的な力学的特性を示す値となり得る。
−アフィンパラメータを用いたストレイン解析
また、解析部２０４は、解析対象特定部２０２により注目領域の内部が解析対象として特定されている場合、注目領域の内部の動きベクトルからアフィンパラメータを算出し、当該アフィンパラメータに基づいて観察対象のストレイン（マクロストレインまたはミクロストレイン）を解析してもよい。本実施形態に係るアフィンパラメータは、各メッシュの動きベクトルについて最小二乗法を適用することにより得られる。当該アフィンパラメータを用いることにより、マクロストレインおよびミクロストレインの両方を解析することが可能である。
図１４は、アフィンパラメータを用いてマクロストレインを解析する処理を示すフローチャートの一例である。図１４を参照すると、まず、解析部２０４は、注目領域の内部（各メッシュ）の動きベクトルを取得する（Ｓ３０１）。次に、解析部２０４は、得られた動きベクトルについて最小二乗法を用いて、アフィンパラメータを算出する（Ｓ３０３）。次に、解析部２０４は、アフィンパラメータから、拡縮およびひずみに係るパラメータを抽出する（Ｓ３０５）。この拡縮およびひずみに係るパラメータは、注目領域の長手方向の拡縮およびひずみに関連する。すなわち、当該パラメータは、観察対象の収縮および弛緩に関連するパラメータである。次に、解析部２０４は、拡縮およびひずみに係るパラメータから、観察対象のマクロストレイン解析を行う（Ｓ３０７）。具体的には、解析部２０４は、拡縮およびひずみに係るパラメータの時間変化量を、マクロストレインの解析値として算出する。
注目領域全体の拡縮およびひずみに係るパラメータを得ることにより、注目領域の輪郭線上に測定点を特定しなくとも、注目領域の内部の動きベクトルに基づいて、マクロストレインを解析することが可能となる。これにより、注目領域の内部の動きだけに基づいて、マクロストレインおよびミクロストレインの両方を解析することが可能となる。
図１５は、アフィンパラメータを用いてミクロストレインを解析する処理を示すフローチャートの一例である。図１５を参照すると、まず、解析部２０４は、注目領域の内部（各メッシュ）の動きベクトルを取得する（Ｓ３１１）。次に、解析部２０４は、得られた動きベクトルについて最小二乗法を用いて、アフィンパラメータを算出する（Ｓ３１３）。次に、解析部２０４は、アフィンパラメータを注目領域の内部の画素ごとの動きベクトルに変換する（Ｓ３１５）。そして、解析部２０４は、画素ごとの動きベクトルに基づいて画素ごとのミクロストレイン解析を行う（Ｓ３１７）。ミクロストレインの解析方法は、上述したメッシュごとのミクロストレインの解析方法と同様である。
アフィンパラメータを画素ごとの動きベクトルに変換することにより、メッシュよりもさらに細かい単位でのミクロストレイン解析を行うことができる。これにより、観察対象のミクロストレインについての情報を、より詳細に得ることが可能となる。
解析部２０４は、解析されたストレインに係る情報を表示制御部２０５に出力する。
（表示制御部）
表示制御部２０５は、解析されたストレインに係る情報の表示を制御する。例えば、表示制御部２０５は、観察対象について解析されたマクロストレインまたはミクロストレインに係る情報を、グラフ、イメージングまたは表等の様々な表示態様により表示するための機能を有する。表示制御部２０５により制御される表示は、不図示の表示装置等の画面において表示される。以下、表示制御部２０５による画面表示例について説明する。
−マクロストレインの時系列変化を示すグラフ
図１６は、マクロストレインの時系列変化を示すグラフの一例である。図１６に示すように、解析部２０４により解析されるマクロストレインεは、時系列グラフとして表示されてもよい。マクロストレインεをグラフ化することにより、単に観察対象の拍動周期だけではなく、収縮時および弛緩時における観察対象の形態の変化の特徴を定量的に評価することが可能である。
−収縮／弛緩のイメージング
表示制御部２０５は、例えば、ミクロストレインとして、その大きさおよび方向を示す矢印を表示してもよい。具体的には、図３に示したように、ミクロストレインを示す矢印が、注目領域に重畳されてもよい。これにより、拍動による観察対象の局所的な歪みが、どの程度の大きさで、どの方向に生じているかを知ることができる。
また、表示制御部２０５は、カラーマッピング等のイメージングによってミクロストレインに係る情報を表示してもよい。例えば、表示制御部２０５は、観察対象の収縮時または弛緩時においてミクロストレインが解析された箇所を、観察対象の収縮状態または弛緩状態に関連付けられた描画色により描画してもよい。この場合、表示制御部２０５は、観察対象が収縮時または弛緩時であるかを、注目領域の動きまたは解析対象の動きに基づいて判定する。本実施形態に係る表示制御部２０５は、２つの測定点の動きに基づいて、観察対象が収縮時または弛緩時であるかを判定する。
ところが、観察対象によっては、観察対象の長さ方向の端部（収縮および弛緩による動きが最も大きい箇所、測定点に相当）の収縮または弛緩に係る動きは、同位相または異位相である場合が存在する。図１７は、測定点の動きが同位相である場合および異位相である場合の変位の一例を示すグラフである。なお、当該変位に係るグラフは、例えば、測定点の動きベクトルを積分することにより得ることができる。
２点の測定点の動きが同位相であるか否かは、当該２点の測定点の静止位置からの距離の時系列変化のピーク位置に基づいて判定することができる。例えば、測定点ＳＰ１と測定点ＳＰ２のピーク位置が同じであれば当該２点の測定点の動きは同位相であり（図１７のグラフＧ１７１参照）、ピーク位置にズレが生じていれば当該２点の測定点の動きは異位相である（図１７のグラフＧ１７２参照）。
２点の測定点の動きが同位相である場合、観察対象の収縮および弛緩のタイミングは全体的に同一である。一方で、２点の測定点の動きが異位相である場合、観察対象の収縮および弛緩のタイミングが、長さ方向の端部で異なることとなる。この場合、例えば、観察対象の拍動中心の位置を推定し、当該拍動中心の位置および各メッシュの動きベクトルの方向に基づいて、各メッシュに対応する観察対象の部分が収縮または弛緩であるかを判定することができる。より具体的には、各メッシュの拍動中心に対する方向と各メッシュの動きベクトルの方向との内積が正であれば、各メッシュに対応する観察対象の部分は収縮していると判定することができる。逆に、各メッシュの拍動中心に対する方向と各メッシュの動きベクトルの方向との内積が負であれば、各メッシュに対応する観察対象の部分は弛緩していると判定することができる。
なお、拍動中心の推定に係る処理は、公知の技術により実現される。例えば、当該処理は、特開２０１４−７５９９９号公報に開示されている技術により実現されてもよい。
次に、観察対象の収縮または弛緩に係るミクロストレインのイメージング処理の流れについて説明する。図１８は、表示制御部２０５による観察対象の収縮または弛緩に係るミクロストレインのイメージング処理のフローチャートの一例を示す。図１８を参照すると、まず、表示制御部２０５は、２点の測定点の静止位置からの距離の時系列変化を取得する（Ｓ４０１）。次に、表示制御部２０５は、２点の測定点の時系列変化のピーク位置を検出する（Ｓ４０３）。そして、表示制御部２０５は、ピーク位置の検出結果から、２点の測定点の動きが同位相であるか異位相であるかを判定する（Ｓ４０５）。当該動きが異位相である場合（Ｓ４０５／ＹＥＳ）、表示制御部２０５は、観察対象の拍動中心の推定を行う（Ｓ４０７）。
次いで、表示制御部２０５は、収縮または弛緩に係るミクロストレインのイメージング処理を行う（Ｓ４０９）。まず、２点の測定点の動きが同位相である場合についての当該イメージング処理について説明する。
図１９は、２点の測定点の動きが同位相である場合における観察対象の収縮または弛緩に係るミクロストレインのイメージング処理の処理例を示す図である。図１９の模式図Ｆ１９１は、観察対象が収縮している場合のイメージング処理の一例である。また、図１９の模式図Ｆ１９２は、観察対象が弛緩している場合のイメージング処理の一例である。
模式図Ｆ１９１を参照すると、観察対象が収縮している場合、注目領域１１００の端部におけるミクロストレインは、それぞれ収縮方向を示す。この場合、表示制御部２０５は、ミクロストレインが解析された領域１１３１ａおよび１１３１ｂを、収縮を示す描画色により描画して、画面３００に反映させてもよい。また、模式図Ｆ１９２を参照すると、観察対象が弛緩している場合、注目領域１１００の端部におけるミクロストレインは、それぞれ弛緩方向に生じ得る。この場合、表示制御部２０５は、ミクロストレインが解析された領域１１３２ａおよび１１３２ｂを、弛緩を示す描画色により描画して、画面３００に反映させてもよい。ミクロストレインが解析された領域の描画色を、観察対象の収縮時および弛緩時の間で異ならせることにより、観察対象の収縮または弛緩に寄与する力学的特性を示す領域を、ユーザが容易に判断することができる。
次に、２点の測定点の動きが異位相である場合についての当該イメージング処理について説明する。
図２０は、２点の測定点の動きが異位相である場合における観察対象の収縮状態または弛緩状態に係るミクロストレインのイメージング処理の処理例を示す図である。図２０の模式図Ｆ２０１は、観察対象の一端が収縮している場合のイメージング処理の一例である。また、図２０の模式図Ｆ２０２は、観察対象の一端が弛緩している場合のイメージング処理の一例である。
模式図Ｆ２０１を参照すると、まず、図１８のステップＳ４０７において拍動中心１１４０が注目領域１１００について推定されたとする。このとき、表示制御部２０５は、解析されたミクロストレインＭｉＳ３の方向が拍動中心１１４０に向かう方向であると判定する。すなわち、表示制御部２０５は、ミクロストレインＭｉＳ３が観察対象の収縮に係るミクロストレインであると判定する。この場合、表示制御部２０５は、ミクロストレインが解析された領域１１４１を、収縮を示す描画色により描画して、画面３００に反映させてもよい。
また、模式図Ｆ２０２を参照すると、表示制御部２０５は、解析されたミクロストレインＭｉＳ４の方向が拍動中心１１４０から遠ざかる方向であると判定する。すなわち、表示制御部２０５は、ミクロストレインＭｉＳ４が観察対象の弛緩に係るミクロストレインであると判定する。この場合、表示制御部２０５は、ミクロストレインが解析された領域１１４２を、弛緩を示す描画色により描画して、画面３００に反映させてもよい。
このように、拍動中心を用いることにより、観察対象の端部の動きが異位相であっても、観察対象の収縮および弛緩に寄与する領域を、ユーザに提示することができる。なお、図２０に示した拍動中心１１４０は、画面３００に表示されてもよいし、表示されなくてもよい。
なお、観測対象の収縮時または弛緩時における当該観測対象の端部の動きが同位相であることが予め把握されている場合、観察対象が収縮時または弛緩時であるかの判定については、２点の測定点を用いて行われることに限定されない。例えば、表示制御部２０５は、注目領域の輪郭線の形状の変化に基づいて、ストレインに関する情報の表示態様を制御してもよい。
具体的には、注目領域の輪郭線の長さまたは輪郭線に囲まれた面積の時間変化（形状微分）に基づいて、観察対象が収縮時または弛緩時であるかの判定を行い、当該判定結果に基づいて、図１９に示したようなミクロストレインの描画を制御してもよい。より具体的には、輪郭線の長さが時系列に減少している場合は、観察対象が収縮していると考えられる。また、輪郭線の長さが時系列に増加している場合は、観察対象が弛緩していると考えられる。このように、注目領域の輪郭線の形状の変化に基づいて、観察対象の収縮状態または弛緩状態についての判定が可能となる。したがって、当該輪郭線の形状の変化に基づいて、ミクロストレインに係る描画の態様を制御することができる。
−ストレイン強度のイメージング
また、表示制御部２０５は、ミクロストレインの強度（大きさ）に基づいてストレインに関する情報の表示態様を制御してもよい。例えば、表示制御部２０５は、観察対象の収縮時または弛緩時においてミクロストレインが解析された箇所を、当該ミクロストレインの強度に関連付けた描画色により描画してもよい。
図２１は、ストレイン強度のイメージング処理の一例を示す図である。図２１を参照すると、表示制御部２０５は、ミクロストレインが解析された領域１１５０ａおよび１１５０ｂを、画面３００において、ミクロストレインの大きさに応じた描画色により描画する。これにより、観察対象の収縮または弛緩に寄与する領域における、ミクロストレインの分布を直感的に認識することができる。
なお、上述した観察対象の収縮状態または弛緩状態に応じたミクロストレインのイメージング処理において、表示制御部２０５は、当該ミクロストレインの強度（大きさ）に応じて、収縮状態または弛緩状態に関連付けられた描画色の濃淡を制御してもよい。これにより、観察対象の収縮または弛緩に寄与する力学的特性を示す領域における、ミクロストレインの強度分布を得ることができる。
以上、表示制御部２０５による表示制御例について説明した。なお、解析されたストレインに係る情報は、通信部２１０を介して他の表示装置または記憶装置等に出力されてもよいし、記憶部２２０に記憶されてもよい。
なお、本実施形態に係る情報処理装置２０によりストレインについての解析が行われる観察対象の数は特に限定されない。例えば、動画像に複数の観察対象の像が含まれている場合、複数の観察対象についてそれぞれ注目領域が設定され、複数の注目領域についてそれぞれ解析対象が特定され、特定された解析対象のそれぞれの動きが検出され、それぞれの動きに基づいて、各観察対象のストレインが解析されてもよい。この場合、各観察対象について解析されたストレインは正規化されてもよい。観察対象の大きさに応じてストレインの大きさも異なるからである。ストレインを正規化することにより、複数の観察対象間におけるストレイン等の解析結果の比較が可能となる。
＜２．２．処理例＞
以上、本開示の一実施形態に係る情報処理装置２０の構成および機能について説明した。次に、本開示の一実施形態に係る情報処理装置２０による処理の一例について、図２２〜図２４を用いて説明する。
図２２は、本開示の一実施形態に係る情報処理装置２０による処理の一例を示すフローチャートである。まず、制御部２００は、通信部２１０を介して撮像装置１０から動画像データを取得する（Ｓ５０１）。
次に、設定部２０１は、取得した動画像データから一の撮像画像を抽出し、当該一の撮像画像から少なくとも一の注目領域を設定する（Ｓ５０３）。次いで、設定部２０１は、追跡点を注目領域の輪郭線上に配置する（Ｓ５０５）。
次に、解析対象特定部２０２は、注目領域について解析対象を特定する（Ｓ５０７）。ここで特定される解析対象は、２つの測定点、または注目領域の内部（メッシュ）の少なくともいずれかである。なお、解析対象特定部２０２が２つの測定点を注目領域の形状の変化に基づいて特定する場合、ステップＳ５０７の時点では、解析対象は特定されない。代わりに、後述するステップＳ６０３において、解析対象としての２つの測定点が特定される。
次いで、検出部２０３（注目領域動き検出部２３１）は、注目領域の動画像上における動きを検出する（Ｓ５０９）。次に、検出部２０３（解析対象動き検出部２３２）は、解析対象の動画像上の動きを検出し、解析部２０４は、検出された解析対象の動きに基づいて、ストレインの解析を行う（Ｓ５１１）。ここで、ステップＳ５０７において特定された解析対象に応じて、ステップＳ５１１における処理の内容は変化する。
まず、解析対象特定部２０２が解析対象として２つの測定点を特定した場合について説明する。図２３は、解析対象として２つの測定点が特定された場合のステップＳ５１１に係る処理の一例を示すフローチャートである。図２３を参照すると、まず、ステップＳ５０７において解析対象が特定されていない場合の処理が行われる（Ｓ６０１）。具体的には、解析対象特定部２０２は、ステップＳ５０７において解析対象である２つの測定点を特定していない場合（Ｓ６０１／ＮＯ）、注目領域の形状の変化に基づいて２つの測定点を特定する（Ｓ６０３）。次に、解析対象動き検出部２３２は、２つの測定点の動きベクトルを検出する（Ｓ６０５）。そして、解析部２０４は、検出された２つの測定点の動きベクトルに基づいて、観察対象のマクロストレインの解析を行う（Ｓ６０７）。
次に、解析対象特定部２０２が解析対象として注目領域の内部（メッシュ）を特定した場合について説明する。図２４は、解析対象として注目領域の内部が特定された場合のステップＳ５１１に係る処理の一例を示すフローチャートである。図２４を参照すると、まず、解析対象特定部２０２は、検出部２０３による検出結果が反映された注目領域を用いたセグメンテーション処理（およびメッシュ処理）を行い、注目領域の内部を解析対象として特定する（Ｓ６１１）。次に、検出部２０３は、注目領域の内部の動きベクトルを検出する（Ｓ６１３）。そして、解析部２０４は、検出された注目領域の内部の動きベクトルに基づいて、観察対象のマクロストレインまたはミクロストレインの解析を行う（Ｓ６１５）。
以上、ステップＳ５１１に係る処理の具体例について説明した。再度図２２を参照すると、表示制御部２０５は、解析部２０４により解析されたストレインに係る情報の表示を制御する（Ｓ５１３）。その後、制御部２００は、これらの解析処理を終了するか否かを判定する（Ｓ５１５）。引き続き解析処理を継続する場合（Ｓ５１５／ＮＯ）、再びステップＳ５０９に係る処理が行われる。
＜２．３．効果＞
以上、本開示の一実施形態に係る情報処理装置２０の構成例および処理例について説明した。本実施形態に係る情報処理装置２０は、注目領域について解析対象を特定し、特定された解析対象の動きを検出し、検出された解析対象の動きに基づいて、注目領域に係る観察対象のストレインを解析する。かかる構成により、観察対象について特定される解析対象の動きを検出してその動きを追跡することにより、観察対象の収縮または弛緩に係るマクロストレインおよびミクロストレインの両方を解析することができる。これにより、観察対象の周期的な形態の変化に係るストレインと、当該観察対象の形態の変化に寄与する領域のストレインと、を得ることができる。ゆえに、観察対象のストレインをより精度高く解析することができる。
また、本実施形態に係る情報処理装置２０は、追跡点および解析対象の動きを検出することにより、観察対象の形態の変化を追跡しつつ、ストレインを解析することができる。すなわち、観察対象についての直接的な画像認識を各撮像画像ごとに行うことなく、ストレインを解析することができる。したがって、計算コストを抑制することができる。
また、本実施形態に係る情報処理装置２０は、解析対象の動きまたは注目領域の動き等に基づいて、解析されたストレインに係る情報の表示態様を制御することができる。これにより、観察対象の収縮または弛緩に応じてストレインに係る情報の表示態様が変化するので、ストレインと観察対象の拍動との関係性を容易に把握することが可能となる。
＜＜３．ハードウェア構成例＞＞
次に、図２５を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図２５は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態における情報処理装置２０を実現しうる。
情報処理装置９００は、ＣＰＵ９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２５、通信装置９２９を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）と呼ばれるような処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２３に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。例えば、ＣＰＵ９０１は、上記の実施形態における情報処理装置２０に含まれる各機能部の動作全般を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２７であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ、ＰＤＰ、ＯＥＬＤなどの表示装置、スピーカおよびヘッドホンなどの音響出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音響などの音として出力したりする。
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。なお、ストレージ装置９１９は、上記実施形態に係る記憶部２２０の機能を実現し得る。
ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２３のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録を書き込む。
接続ポート９２５は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２５は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２５は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２５に外部接続機器９２７を接続することで、情報処理装置９００と外部接続機器９２７との間で各種のデータが交換されうる。
通信装置９２９は、例えば、通信ネットワークＮＷに接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２９は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２９は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２９は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２９に接続される通信ネットワークＮＷは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。なお、接続ポート９２５または通信装置９２９の少なくともいずれかは、上記実施形態に係る通信部２１０の機能を実現し得る。
以上、情報処理装置９００のハードウェア構成の一例を示した。
＜＜４．まとめ＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、情報処理システム１は撮像装置１０と情報処理装置２０とを備える構成であるとしたが、本技術はかかる例に限定されない。例えば、撮像装置１０が情報処理装置２０の有する機能（設定機能、解析対象特定機能、検出機能および解析機能）を備えてもよい。この場合、情報処理システム１は、撮像装置１０により実現される。また、情報処理装置２０が撮像装置１０の有する機能（撮像機能）を備えてもよい。この場合、情報処理システム１は、情報処理装置２０により実現される。また、情報処理装置２０の有する機能の一部を撮像装置１０が有してもよく、撮像装置１０の有する機能の一部を情報処理装置２０が有してもよい。
なお、本明細書の情報処理装置の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、情報処理装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
前記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、
前記解析対象の前記動画像上における動きを検出する検出部と、
検出された前記解析対象の動きに基づいて、前記少なくとも一の注目領域に係る前記生物学的試料のストレインを解析する解析部と、
を備える情報処理装置。
（２）
前記解析対象特定部は、前記解析対象として、前記少なくとも一の注目領域の輪郭線上に２つの測定点を特定し、
前記検出部は、前記２つの測定点の前記動画像上における動きを検出し、
前記解析部は、前記２つの測定点の動きに基づいて前記ストレインを解析する、（１）に記載の情報処理装置。
（３）
前記解析対象特定部は、前記輪郭線の形状に基づいて、前記２つの測定点の配置位置を特定する、（２）に記載の情報処理装置。
（４）
前記解析対象特定部は、前記動画像上における前記輪郭線の形状の変化に基づいて、前記２つの測定点の配置位置を特定する、（２）または（３）に記載の情報処理装置。
（５）
前記解析対象特定部は、前記少なくとも一の注目領域の内部を前記解析対象として特定し、
前記検出部は、前記少なくとも一の注目領域の内部の前記動画像上における動きを検出し、
前記解析部は、前記少なくとも一の注目領域の内部の動きに基づいて前記ストレインを解析する、（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記解析部は、前記検出部により検出された前記少なくとも一の注目領域の内部の動きのアフィンパラメータを算出し、前記アフィンパラメータに基づいて前記ストレインを解析する、（５）に記載の情報処理装置。
（７）
前記検出部は、前記少なくとも一の注目領域の動きをさらに検出可能であり、
前記検出部において、前記解析対象の動きの検出に用いられる動き検出器と、前記少なくとも一の注目領域の動きの検出に用いられる動き検出器は異なる、（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記解析部は、前記解析対象の動きの時間変化に基づいて前記ストレインを解析する、（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記解析部により解析された前記ストレインに係る情報の表示を制御する表示制御部をさらに備える、（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記表示制御部は、前記解析対象の動きに応じて、前記ストレインに係る情報の表示態様を制御する、（９）に記載の情報処理装置。
（１１）
前記表示制御部は、前記少なくとも一の注目領域について推定される拍動中心を用いて、前記ストレインに係る情報の表示態様を制御する、（１０）に記載の情報処理装置。
（１２）
前記表示制御部は、前記少なくとも一の注目領域の輪郭線の前記動画像上における形状の変化に応じて、前記ストレインに係る情報の表示態様を制御する、（９）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記表示制御部は、前記解析対象の動きの大きさに基づいて、前記ストレインに係る情報の表示態様を制御する、（９）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記ストレインは、前記生物学的試料全体の収縮または弛緩に係る力学的特性を示すストレインを含む、（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記ストレインは、前記生物学的試料の内部の局所的な力学的特性を示すストレインを含む、（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記設定部は、前記一の撮像画像に含まれる前記生物学的試料に相当する領域を前記少なくとも一の注目領域として設定する、（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記生物学的試料は、周期的な運動を行う生物学的試料である、（１）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）
プロセッサが、
生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定することと、
前記少なくとも一の注目領域についての解析対象を特定することと、
前記解析対象の前記動画像上における動きを検出することと、
検出された前記解析対象の動きに基づいて、前記少なくとも一の注目領域に係る前記生物学的試料のストレインを解析することと、
を含む情報処理方法。
（１９）
コンピュータを、
生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
前記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、
前記解析対象の前記動画像上における動きを検出する検出部と、
検出された前記解析対象の動きに基づいて、前記少なくとも一の注目領域に係る前記生物学的試料のストレインを解析する解析部と、
として機能させるためのプログラム。
（２０）
生物学的試料についての動画像を生成する撮像部
を備える撮像装置と、
前記動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
前記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、
前記解析対象の前記動画像上における動きを検出する検出部と、
検出された前記解析対象の動きに基づいて、前記少なくとも一の注目領域に係る前記生物学的試料のストレインを解析する解析部と、
を備える情報処理装置と、
を有する情報処理システム。
１ 情報処理システム
１０ 撮像装置
２０ 情報処理装置
２００ 制御部
２０１ 設定部
２０２ 解析対象特定部
２０３ 検出部
２０４ 解析部
２０５ 表示制御部
２１０ 通信部
２２０ 記憶部
２３１ 注目領域動き検出部
２３２ 解析対象動き検出部

Claims (20)

  1. 生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
    前記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、
    前記解析対象の前記動画像上における動きを検出する検出部と、
    検出された前記解析対象の動きに基づいて、前記少なくとも一の注目領域に係る前記生物学的試料のストレインを解析する解析部と、
    を備える情報処理装置。
  2. 前記解析対象特定部は、前記解析対象として、前記少なくとも一の注目領域の輪郭線上に２つの測定点を特定し、
    前記検出部は、前記２つの測定点の前記動画像上における動きを検出し、
    前記解析部は、前記２つの測定点の動きに基づいて前記ストレインを解析する、請求項１に記載の情報処理装置。
  3. 前記解析対象特定部は、前記輪郭線の形状に基づいて、前記２つの測定点の配置位置を特定する、請求項２に記載の情報処理装置。
  4. 前記解析対象特定部は、前記動画像上における前記輪郭線の形状の変化に基づいて、前記２つの測定点の配置位置を特定する、請求項２に記載の情報処理装置。
  5. 前記解析対象特定部は、前記少なくとも一の注目領域の内部を前記解析対象として特定し、
    前記検出部は、前記少なくとも一の注目領域の内部の前記動画像上における動きを検出し、
    前記解析部は、前記少なくとも一の注目領域の内部の動きに基づいて前記ストレインを解析する、請求項１に記載の情報処理装置。
  6. 前記解析部は、前記検出部により検出された前記少なくとも一の注目領域の内部の動きのアフィンパラメータを算出し、前記アフィンパラメータに基づいて前記ストレインを解析する、請求項５に記載の情報処理装置。
  7. 前記検出部は、前記少なくとも一の注目領域の動きをさらに検出可能であり、
    前記検出部において、前記解析対象の動きの検出に用いられる動き検出器と、前記少なくとも一の注目領域の動きの検出に用いられる動き検出器は異なる、請求項１に記載の情報処理装置。
  8. 前記解析部は、前記解析対象の動きの時間変化に基づいて前記ストレインを解析する、請求項１に記載の情報処理装置。
  9. 前記解析部により解析された前記ストレインに係る情報の表示を制御する表示制御部をさらに備える、請求項１に記載の情報処理装置。
  10. 前記表示制御部は、前記解析対象の動きに応じて、前記ストレインに係る情報の表示態様を制御する、請求項９に記載の情報処理装置。
  11. 前記表示制御部は、前記少なくとも一の注目領域について推定される拍動中心を用いて、前記ストレインに係る情報の表示態様を制御する、請求項１０に記載の情報処理装置。
  12. 前記表示制御部は、前記少なくとも一の注目領域の輪郭線の前記動画像上における形状の変化に応じて、前記ストレインに係る情報の表示態様を制御する、請求項９に記載の情報処理装置。
  13. 前記表示制御部は、前記解析対象の動きの大きさに基づいて、前記ストレインに係る情報の表示態様を制御する、請求項９に記載の情報処理装置。
  14. 前記ストレインは、前記生物学的試料全体の収縮または弛緩に係る力学的特性を示すストレインを含む、請求項１に記載の情報処理装置。
  15. 前記ストレインは、前記生物学的試料の内部の局所的な力学的特性を示すストレインを含む、請求項１に記載の情報処理装置。
  16. 前記設定部は、前記一の撮像画像に含まれる前記生物学的試料に相当する領域を前記少なくとも一の注目領域として設定する、請求項１に記載の情報処理装置。
  17. 前記生物学的試料は、周期的な運動を行う生物学的試料である、請求項１に記載の情報処理装置。
  18. プロセッサが、
    生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定することと、
    前記少なくとも一の注目領域についての解析対象を特定することと、
    前記解析対象の前記動画像上における動きを検出することと、
    検出された前記解析対象の動きに基づいて、前記少なくとも一の注目領域に係る前記生物学的試料のストレインを解析することと、
    を含む情報処理方法。
  19. コンピュータを、
    生物学的試料についての動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
    前記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、
    前記解析対象の前記動画像上における動きを検出する検出部と、
    検出された前記解析対象の動きに基づいて、前記少なくとも一の注目領域に係る前記生物学的試料のストレインを解析する解析部と、
    として機能させるためのプログラム。
  20. 生物学的試料についての動画像を生成する撮像部
    を備える撮像装置と、
    前記動画像を構成する一の撮像画像から少なくとも一の注目領域を設定する設定部と、
    前記少なくとも一の注目領域についての解析対象を特定する解析対象特定部と、
    前記解析対象の前記動画像上における動きを検出する検出部と、
    検出された前記解析対象の動きに基づいて、前記少なくとも一の注目領域に係る前記生物学的試料のストレインを解析する解析部と、
    を備える情報処理装置と、
    を有する情報処理システム。
JP2018504014A 2016-03-09 2016-12-29 情報処理装置、情報処理方法、プログラム及び情報処理システム Active JP6922891B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016045380 2016-03-09
JP2016045380 2016-03-09
PCT/JP2016/089220 WO2017154318A1 (ja) 2016-03-09 2016-12-29 情報処理装置、情報処理方法、プログラム及び情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2017154318A1 true JPWO2017154318A1 (ja) 2019-01-10
JP6922891B2 JP6922891B2 (ja) 2021-08-18

Family

ID=59790185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018504014A Active JP6922891B2 (ja) 2016-03-09 2016-12-29 情報処理装置、情報処理方法、プログラム及び情報処理システム

Country Status (4)

Country Link
US (1) US10845186B2 (ja)
EP (1) EP3428268B1 (ja)
JP (1) JP6922891B2 (ja)
WO (1) WO2017154318A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10789495B2 (en) 2016-12-21 2020-09-29 Volkswagen Ag System and method for 1D root association providing sparsity guarantee in image data
CN111630149A (zh) * 2018-01-31 2020-09-04 雅马哈发动机株式会社 摄像系统
JP7197316B2 (ja) * 2018-09-21 2022-12-27 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体
CN113545067A (zh) * 2019-03-05 2021-10-22 Vid拓展公司 仿射运动模型推导方法
US10922824B1 (en) * 2019-08-13 2021-02-16 Volkswagen Ag Object tracking using contour filters and scalers
CN116453924A (zh) * 2019-08-16 2023-07-18 普罗托芯片有限公司 对在电子显微镜下研究的样品的漂移校正的自动化应用
US11902665B2 (en) * 2019-08-16 2024-02-13 Protochips, Inc. Automated application of drift correction to sample studied under electron microscope
CN117546265A (zh) 2021-04-07 2024-02-09 普罗托芯片有限公司 用于检查来自透射电子显微镜（tem）会话的数据的元数据和图像管理的系统和方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034764A (ja) * 1999-05-18 2001-02-09 Sanyo Electric Co Ltd 動画像処理方法、及び装置並びに媒体
JP2003256850A (ja) * 2001-12-27 2003-09-12 Sanyo Electric Co Ltd 動き認識装置および画像処理装置並びにプログラム
JP2007117611A (ja) * 2005-10-31 2007-05-17 Toshiba Corp 心機能解析装置及びその方法
JP2011101336A (ja) * 2009-10-06 2011-05-19 Nanao Corp 階層マスク生成装置、フレーム補間処理装置
WO2011122200A1 (ja) * 2010-03-29 2011-10-06 ソニー株式会社 データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム
JP2015518378A (ja) * 2012-05-03 2015-07-02 ゼネラル・エレクトリック・カンパニイ 細胞運動の自動セグメンテーション及び特徴付け

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3288086B2 (ja) 1992-10-26 2002-06-04 株式会社東芝 動物体抽出装置
JP2938739B2 (ja) * 1993-02-26 1999-08-25 富士通株式会社 動画像処理装置
JP2000251086A (ja) 1999-02-26 2000-09-14 Sony Corp 曲線生成装置及び方法、並びにプログラム提供媒体
WO2000070558A1 (fr) 1999-05-18 2000-11-23 Sanyo Electric Co., Ltd. Procede et dispositif de traitement d'image dynamique et support
US20050063596A1 (en) * 2001-11-23 2005-03-24 Yosef Yomdin Encoding of geometric modeled images
JP6102166B2 (ja) 2012-10-10 2017-03-29 株式会社ニコン 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置
JP6494903B2 (ja) * 2013-02-14 2019-04-03 ソニー株式会社 分析システム、分析プログラム及び分析方法
CN104156975B (zh) * 2013-05-13 2018-04-24 东芝医疗系统株式会社 医学图像分析装置和方法以及医学成像设备
JP6217968B2 (ja) 2013-07-19 2017-10-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP6640444B2 (ja) * 2014-09-30 2020-02-05 キヤノンメディカルシステムズ株式会社 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP6696152B2 (ja) * 2015-11-11 2020-05-20 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034764A (ja) * 1999-05-18 2001-02-09 Sanyo Electric Co Ltd 動画像処理方法、及び装置並びに媒体
JP2003256850A (ja) * 2001-12-27 2003-09-12 Sanyo Electric Co Ltd 動き認識装置および画像処理装置並びにプログラム
JP2007117611A (ja) * 2005-10-31 2007-05-17 Toshiba Corp 心機能解析装置及びその方法
JP2011101336A (ja) * 2009-10-06 2011-05-19 Nanao Corp 階層マスク生成装置、フレーム補間処理装置
WO2011122200A1 (ja) * 2010-03-29 2011-10-06 ソニー株式会社 データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム
JP2015518378A (ja) * 2012-05-03 2015-07-02 ゼネラル・エレクトリック・カンパニイ 細胞運動の自動セグメンテーション及び特徴付け

Also Published As

Publication number Publication date
US20190017811A1 (en) 2019-01-17
EP3428268A4 (en) 2019-01-23
EP3428268A1 (en) 2019-01-16
WO2017154318A1 (ja) 2017-09-14
JP6922891B2 (ja) 2021-08-18
US10845186B2 (en) 2020-11-24
EP3428268B1 (en) 2021-12-22

Similar Documents

Publication Publication Date Title
WO2017154318A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP6504417B2 (ja) 心筋細胞評価装置および方法、並びに、プログラム
JP6696152B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP6777086B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
KR101982149B1 (ko) 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치
US10929985B2 (en) System and methods for tracking motion of biological cells
US20110082371A1 (en) Medical image processing device and medical image processing method
JP6638230B2 (ja) 超音波画像処理装置及びプログラム
JP5491747B2 (ja) 医用画像解析装置及び画像解析用制御プログラム
JP2014138847A (ja) 診断用超音波イメージングにおける針の強調
US20100138191A1 (en) Method and system for acquiring and transforming ultrasound data
WO2015119338A1 (ko) 3차원 초음파 프로브의 스캔 위치 가이드 방법 및 이 방법이 포함된 초음파 진단기
JP2011031040A (ja) ２次元超音波映像に対応する２次元ｃｔ映像を提供するシステムおよび方法
JP2014075999A5 (ja) 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置
EP3432269B1 (en) Information processing device, information processing method, program, and information processing system
WO2017169397A1 (ja) 画像処理装置、画像処理方法、及び画像処理システム
JP2012061019A (ja) 画像処理装置、方法およびプログラム
JP6996303B2 (ja) 医用画像生成装置
JP7215053B2 (ja) 超音波画像評価装置、超音波画像評価方法および超音波画像評価プログラム
Pawar et al. Recognition of unvoiced human utterances using brain-computer interface
Li et al. Video-based skeleton data analysis for ADHD detection
JP4670054B2 (ja) 超音波診断装置
Henze et al. Towards identification of biometric properties in blood flow sounds using neural networks and saliency maps
WO2017061080A1 (en) Information processing device, information processing method, and information processing system
Kopczynski et al. Glottocorrelographic Visualization of Normal and Pathological Vocal Folds Oscillations from Videolaryngostroboscopic Images

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210712

R151 Written notification of patent or utility model registration

Ref document number: 6922891

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151