JPWO2019229913A1 - 情報処理装置、情報処理方法、情報処理プログラム、及び顕微鏡 - Google Patents

情報処理装置、情報処理方法、情報処理プログラム、及び顕微鏡 Download PDF

Info

Publication number
JPWO2019229913A1
JPWO2019229913A1 JP2020522487A JP2020522487A JPWO2019229913A1 JP WO2019229913 A1 JPWO2019229913 A1 JP WO2019229913A1 JP 2020522487 A JP2020522487 A JP 2020522487A JP 2020522487 A JP2020522487 A JP 2020522487A JP WO2019229913 A1 JPWO2019229913 A1 JP WO2019229913A1
Authority
JP
Japan
Prior art keywords
information
unit
image
control unit
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020522487A
Other languages
English (en)
Inventor
亘 友杉
亘 友杉
定繁 石田
定繁 石田
和広 阿部
和広 阿部
秀太朗 大西
秀太朗 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2019229913A1 publication Critical patent/JPWO2019229913A1/ja
Priority to JP2022123501A priority Critical patent/JP2022174039A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0072Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】N次元データが表す形状をユーザが把握しやすくする。【解決手段】情報処理装置は、面情報を生成するために用いられる算出条件を設定するための設定画面を表示部に表示させる表示制御部と、設定画面において設定される算出条件を用いて、点群データに基づいて面情報を生成する画像処理部と、を備え、表示制御部は、画像処理部によって生成される面情報を表す画像を表示部に表示させる。

Description

本発明は、情報処理装置、情報処理方法、情報処理プログラム、及び顕微鏡に関する。
超解像顕微鏡として、例えば、STORM、PALM等が知られている。STORMでは、蛍光物質を活性化し、活性化した蛍光物質に対して励起光を照射して、蛍光画像を取得する(下記の特許文献1参照)。
米国特許出願公開第2008/0182336号
本発明の第1の態様に従えば、面情報を生成するために用いられる算出条件を設定するための設定画面を表示部に表示させる表示制御部と、設定画面において設定される算出条件を用いて、点群データに基づいて面情報を生成する画像処理部と、を備え、表示制御部は、画像処理部によって生成される面情報を表す画像を表示部に表示させる、情報処理装置が提供される。
本発明の第2の態様に従えば、点群データに基づいて面情報を生成する画像処理部と、画像処理部によって生成された面情報を表す画像を表示部に表示させる表示制御部と、を備え、画像処理部は、第1のパラメータの第1の算出条件を用いて第1の面情報を表す画像を生成し、第1のパラメータの第2の算出条件を用いて第2の面情報を表す画像を生成し、表示制御部は、第1の面情報を表す画像および第2の面情報を表す画像を表示させる、情報処理装置が提供される。
本発明の第3の態様に従えば、点群データに基づいてスカラー場を算出するフィールド算出部と、入力部により入力されるスカラー値を取得する入力情報取得部と、入力情報取得部により取得されるスカラー値に基づいてスカラー場の等値面を算出して面情報を生成する面生成部と、を備える情報処理装置が提供される。
本発明の第4の態様に従えば、第1の態様から第3の態様のいずれかの情報処理装置と、試料に含まれる蛍光物質の一部を活性化する活性化光を照射する光学系と、活性化された蛍光物質の少なくとも一部を励起する励起光を照射する照明光学系と、試料からの光の像を形成する観察光学系と、観察光学系が形成した像を撮像する撮像部と、撮像部により撮像された結果に基づいて、蛍光物質の位置情報を算出し、算出した位置情報を用いて点群データを生成する画像処理部と、を備える顕微鏡が提供される。
本発明の第5の態様に従えば、面情報を生成するために用いられる算出条件を設定するための設定画面を表示部に表示させることと、設定画面において設定される算出条件を用いて、点群データに基づいて面情報を生成することと、生成される面情報を表す画像を表示部に表示させることと、を含む情報処理方法が提供される。
本発明の第6の態様に従えば、点群データに基づいて第1のパラメータの第1の算出条件を用いて第1の面情報を生成することと、点群データに基づいて第1のパラメータの第2の算出条件を用いて第2の面情報を生成することと、第1の面情報を表す画像および第2の面情報を表す画像を表示部に表示させることと、を含む情報処理方法が提供される。
本発明の第7の態様に従えば、点群データに基づいてスカラー場を算出することと、入力部により入力されるスカラー値を取得することと、取得したスカラー値に基づいてスカラー場の等値面を算出して面情報を生成することと、を含む情報処理方法が提供される。
本発明の第8の態様に従えば、コンピュータに、面情報を生成するために用いられる算出条件を設定するための設定画面を表示部に表示させることと、設定画面において設定される算出条件を用いて、点群データに基づいて面情報を生成することと、生成される面情報を表す画像を表示部に表示させることと、を実行させる情報処理プログラムが提供される。
本発明の第9の態様に従えば、コンピュータに、点群データに基づいて第1のパラメータの第1の算出条件を用いて第1の面情報を生成することと、点群データに基づいて第1のパラメータの第2の算出条件を用いて第2の面情報を生成することと、第1の面情報を表す画像および第2の面情報を表す画像を表示部に表示させることと、を実行させる情報処理プログラムが提供される。
本発明の第10の態様に従えば、コンピュータに、点群データに基づいてスカラー場を算出することと、入力部により入力されるスカラー値を取得することと、取得したスカラー値に基づいてスカラー場の等値面を算出して面情報を生成することと、を実行させる情報処理プログラムが提供される。
第1実施形態に係る情報処理装置を示す図である。 第1実施形態に係る点群データおよび局所場の関数の例を示す図である。 第1実施形態に係るスカラー場を表す関数を生成する処理を示す図である。 第1実施形態に係る局所場の関数について図2と異なる例を示す図である。 第1実施形態において、スカラー場を離散化する処理を示す図である。 第1実施形態において、等値面を生成する処理を示す図である。 第1実施形態において、等値面を生成する処理を示す図である。 第1実施形態において、スカラー値に基づく等値面を示す図である。 第1実施形態において、解像度に基づく等値面を示す図である。 第1実施形態において、半径に基づく等値面を示す図である。 第1実施形態に係るUI部の処理を示す図である。 第1実施形態に係るUI部を用いた設定処理を示す図である。 第1実施形態に係るUI部を用いた設定処理を示す図である。 第1実施形態に係るUI部によって表示される画像を示す図である。 第1実施形態に係るUI部によって表示される画像を示す図である。 第1実施形態に係るUI部によって表示される画像を示す図である。 第1実施形態に係る情報処理方法を示すフローチャートである。 第2実施形態に係る情報処理装置を示す図である。 第2実施形態に係る処理部およびUI部の処理を示す図である。 第2実施形態に係る処理部およびUI部の処理を示す図である。 第2実施形態に係る処理部およびUI部の処理を示す図である。 第2実施形態に係る処理部およびUI部の処理を示す図である。 第2実施形態に係る処理部およびUI部の処理を示す図である。 第2実施形態に係る処理部およびUI部の処理を示す図である。 実施形態に係る顕微鏡を示す図である。 実施形態に係る顕微鏡本体を示す図である。
[第1実施形態]
第1実施形態について説明する。図1は、第1実施形態に係る情報処理装置を示す図である。実施形態に係る情報処理装置1は、点群データDGを用いて画像(点群画像)を生成し、表示装置2に表示する。また、情報処理装置1は、点群データDGを処理する。点群データDGは、複数のN次元データD1である(Nは2以上の任意の整数である)。N次元データD1とは、N個の値を一組にしたデータ(例、ベクトルデータ)である。例えば、図1において、点群データDGは、3次元空間の座標値(例、x1,y1,z1)を一組にした3次元データである。。以下の説明では上記のNが3であるとする。Nは2でもよいし、4以上でもよい。図1において、点群データDGは、m個のN次元データである。mは、2以上の任意の整数である。
また、点群画像とは、点群データDGを用いて生成された画像であり、例えば、点群データDGが3次元空間の座標値(例、x1,y1,z1)を一組にした3次元データである場合、各座標位置に点を表示した画像である。なお、表示される点の大きさは、適宜変更可能である。また、表示される点の形状は、円に限られず、楕円、矩形など他の形状でもよい。点群データは、単に点群と称されることがある。また、本明細書において、点群画像上の複数の点を、適宜、点群と称する。
点群データDGは、例えば、情報処理装置1の外部の装置(以下、外部装置という)から情報処理装置1へ供給される。上記の外部装置は、例えば、後に図25に示す顕微鏡本体51である。上記の外部装置は、顕微鏡本体51でなくてもよい。例えば、上記の外部装置は、物体の内部の各点における値を検出するCTスキャン、または物体の形状を測定する測定装置でもよい。また、情報処理装置1は、外部装置から供給されるデータに基づいて点群データDGを生成し、生成した点群データDGを処理してもよい。
情報処理装置1は、ユーザがグラフィカルユーザインタフェースを用いて入力する入力情報に基づいて、処理を実行する。情報処理装置1は、表示装置2(表示部)と接続される。表示装置2は、例えば液晶ディスプレイ等である。情報処理装置1は、画像のデータを表示装置2に供給し、この画像を表示装置2に表示させる。表示装置2は、例えば、情報処理装置1に外付けされる装置であるが、情報処理装置1の一部でもよい。
情報処理装置1は、入力装置3(入力部)と接続される。入力装置3は、ユーザが操作可能な入力インターフェースである。入力装置3は、例えば、マウス、キーボード、タッチパッド、トラックボールの少なくとも1つを含む。入力装置3は、ユーザによる操作を検出し、その検出結果をユーザが入力した入力情報として情報処理装置1に供給する。
以下の説明において、入力装置3がマウスであるものとする。入力装置3がマウスである場合、情報処理装置1は、ポインタを表示装置2に表示させる。情報処理装置1は、入力装置3が検出した入力情報として、マウスの移動情報およびクリック情報を入力装置3から取得する。マウスの移動情報は、例えば、マウスが移動した量を表す。クリック情報は、マウスのボタンが操作されたか否か(例、クリックの有無)を表す。
情報処理装置1は、マウスの移動情報に基づいて、ポインタを表示装置2の画面上で移動させる。また、情報処理装置1は、クリック情報に基づいて、ポインタの位置およびクリック情報(例、左クリック、右クリック、ドラッグ、ダブルクリック)に割り当てられた処理を実行する。入力装置3は、例えば、情報処理装置1に外付けされる装置であるが、情報処理装置1の一部(例、内臓型のタッチパッド)でもよい。また、入力装置3は、表示装置2と一体のタッチパネル等でもよい。
情報処理装置1は、例えば、コンピュータを含む。情報処理装置1は、オペレーティングシステム部5(以下、OS部5と称する)と、UI部6(ユーザインタフェース部)と、画像処理部7と、記憶部9とを備える。情報処理装置1は、記憶部9に記憶されたプログラムに従って、各種の処理を実行する。OS部5は、情報処理装置1の外部および内部に対してインターフェースを提供する。例えば、OS部5は、表示装置2に対する画像のデータの供給を制御する。また、OS部5は、入力装置3から入力情報を取得する。OS部5は、例えば、表示装置2においてアクティブなGUI画面を管理するアプリケーションに対して、ユーザの入力情報を供給する。例えば、UI部6の処理によって実行されるアプリケーションが管理するウィンドウがアクティブである場合、ユーザの入力情報をUI部6に提供する。
UI部6は、入力制御部11と、出力制御部12とを備える。出力制御部12は、面情報を生成するために用いられる算出条件(例、設定情報、設定値、パラメータの値、面情報の生成条件)を設定するための設定画面を表示部(表示装置2)に表示させる表示制御部である。上記設定画面は、例えば、後に図11から図16等に示すGUI画面Wである。GUI画面Wは、アプリケーションが提供するウィンドウなどである。また、表示制御部(例、出力制御部12)は、画像処理部7によって生成される面情報を表す画像を表示部(表示装置2)に表示する。表示制御部(例、出力制御部12)は、設定画面と面情報を表す画像とを表示装置2の同じ領域(例、ウィンドウ)に表示させてもよい。また、表示制御部(例、出力制御部12)は、設定画面と面情報を表す画像とを表示装置2の異なる領域(例、第1ウィンドウ、第2ウィンドウ)に表示させてもよい。
GUI画面Wを構成する情報(以下、GUI情報という)は、例えば、記憶部9に記憶される。出力制御部12は、記憶部9からGUI情報を読み出し、GUI情報をOS部5に供給する。OS部5は、出力制御部12から供給されたGUI情報に基づいて、GUI画面を表示装置2に表示させる。このように、出力制御部12は、GUI情報をOS部5に供給することによって、表示装置2にGUI画面を表示させる。
入力制御部11は、ユーザがGUI画面を用いて入力する入力情報を取得する。例えば、入力制御部11は、入力情報としてマウスの移動情報およびクリック情報を、OS部5から取得する。入力制御部11は、クリック動作があったことがクリック情報に示される場合、マウスの移動情報から得られるGUI画面上のポインタの座標に基づいて、クリック情報が示すクリック動作に割り付けられた処理を実行させる。
例えば、GUI画面上で右クリックがあったと検出されたとする。また、右クリックに割り付けられた処理は、メニューを表示させる処理であるとする。この場合、入力制御部11は、メニューを表示させる処理を、出力制御部12に実行させる。メニューを表す情報はGUI情報に含まれており、出力制御部12は、GUI情報に基づいて、OS部5を介して表示装置2にメニューを表示させる。
また、GUI画面上で左クリックがあったと検出されたとする。GUI画面のボタン上にポインタが配置された状態で左クリックがあった場合、このボタンに割り付けられた処理を実行することが予め定められている。入力制御部11は、マウスの移動情報に基づいてGUI画面上のポインタの位置を特定し、特定したポインタの位置にボタンがあるか否かを判定する。入力制御部11は、ポインタの位置にボタンがある状態で左クリックされたことが検出された場合に、このボタンに割り付けられた処理を実行させる。
画像処理部7は、設定画面(例、GUI画面W)において設定される算出条件を用いて、点群データDGに基づいて面情報を生成する。画像処理部7は、フィールド算出部7Aと、面生成部7Bとを備える。フィールド算出部7Aは、点群データDGに基づいてスカラー場を算出する。フィールド算出部7Aは、複数の点の座標を含む点群データDGに基づいてスカラー場を表す関数を算出する。
フィールド算出部7Aは、点群データDGの1以上の各点データ(1以上の点データごと)に基づいて局所スカラー場を生成し、局所スカラー場に基づいてスカラー場を算出する。フィールド算出部7Aは、点群データDGに含まれる複数の点のうち1以上の点のそれぞれに局所場の発生源が配置された場合の局所場を表す関数に基づいて、スカラー場を表す関数を算出(生成)する。図2から図5を参照して、スカラー場を表す関数を算出する処理(適宜、フィールド算出処理という)について説明する。図2から図5では、二次元平面上で処理を説明するが、この処理を三次元に拡張することで三次元の点群データDGについても同様に処理可能である。
図2は、第1実施形態に係る点群データおよび局所場の関数の例を示す図である。図2(A)において、符号P1からP3は、それぞれ、点群データDGに含まれる点である。ここでは、点P1の座標を(x1,y1)で表し、点P2の座標を(x2,y2)で表し、点P3の座標を(x3,y3)で表す。
図2(B)および図2(C)は、局所場(局所スカラー場)の例を示す図である。図2(B)の符号LFは局所場であり、符号FGは局所場LFの発生源である。局所場(局所スカラー場)は、各点データからの所定の距離の範囲内において、各点データからの距離に対して値が段階的に変化する関数である。局所場を表す関数は、例えば、その引数の点から所定の点(例、発生源FG)までの距離に対して値(スカラー値)が段階的に変化する関数である。図2(C)に示すように、局所場LFを表す関数f1は、発生源FG(原点0)からの距離rに対して値が段階的に変化する関数である。場の各点(引数の点)におけるf1の値は、点群データから選択される各点データに相当する所定の点(発生源)から場の各点までの距離rによって定まり、距離rが0以上r1未満の領域における値(例、1)と、距離rがr1以上の領域における値(例、0)とが段階的に変化する。
また、局所スカラー場(局所場)は、各点データからの距離が閾値以上である領域において値が一定になる関数でもよい。局所場を表す関数は、その引数の点から所定の点(例、発生源FG)までの距離が閾値以上である領域において値(スカラー値)が一定になる関数でもよい。例えば、図2(C)の関数f1は、距離rが閾値(r1)以上の領域において、値が一定(例、0)になる関数である。
また、局所スカラー場(局所場)は、各点データからの所定の距離の範囲内において、各点データからの距離に対して値が減少する関数でもよい。局所場を表す関数は、その引数の点から所定の点(例、発生源FG)までの距離対して値(スカラー値)が減少する関数でもよい。図2(C)の関数f1の値は、距離rが0以上r1未満の領域における値(例、1)に対して、距離rがr1以上の領域における値(例、0)が減少する関数でいある。図2(C)の関数f1は、発生源FGからの距離rに対して値が減少する関数であり、局所場LFとして減衰場を表す関数である。
図3は、第1実施形態に係るスカラー場を表す関数を生成する処理を示す図である。図3(A)の上図には、点P1を発生源とする局所場LF1を示した。図3(A)の下図には、y=y1(図3(A)の上図に点線で示す)における局所場LF1の値vの分布を示した。図3(B)の上図には、点P2を発生源とする局所場LF2を示した。図3(B)の下図には、y=y1(図3(B)の上図に点線で示す)における局所場LF2の値vの分布を示した。図3(C)の上図には、点P3を発生源とする局所場LF3を示した。図3(A)の下図には、y=y1(図3(C)の上図に点線で示す)における局所場LF3の値vの分布を示した。
図3(D)の上図には、局所場LF1から局所場LF3によって形成されるスカラー場FSを示した。スカラー場FSは、局所場LFと局所場LF2と局所場LF3との重ね合わせで表される。図3(D)の下図には、y=y1(図3(D)の上図に点線で示す)におけるスカラー場の値vの分布を示した。スカラー場FSの値vは、局所場LF1から局所場LF3のいずれも存在しない領域で0である。スカラー場FSの値vは、局所場LF1から局所場LF3のうち1つの局所場のみが存在する領域で1である。スカラー場FSの値vは、局所場LF1から局所場LF3のうち2つの局所場が重なる領域で2である。スカラー場FSの値vは、局所場LFと局所場LF2と局所場LF3とがいずれも重なる領域で3である。
フィールド算出部7A(図1参照)は、各点(P1、P2、P3)を発生源とする局所場(LF1、LF2、LF3)を重ね合わせることによってスカラー場FSにおける値vの分布を算出する。フィールド算出部7Aは、例えば、局所場の重ね合わせを表す関数にフィルタ(例、ラプラシアン、ガウシアン)を作用させて、スカラー場を表す関数を算出する。スカラー場を表す関数は、数式で表されてもよいし、座標値とスカラー値と一組にしたテーブルテータで表されてもよい。フィールド算出部7Aは、スカラー場FSを表す関数として、予め設定された関数形の数式の係数を算出してもよいし、上記のテーブルデータを算出してもよい。
なお、局所スカラー場(局所場)の形態は、図2(B)の形態に限定されない。図4は、第1実施形態に係る局所場の関数について図2と異なる例を示す図である。局所スカラー場(局所場)は、各点データからの所定の距離の範囲内において、各点データからの距離に対して値が連続的に変化する関数でもよい。局所場を表す関数は、その引数の点から所定の点(例、発生源FG)までの距離に対して値(スカラー値)が連続的に変化する関数でもよい。
図4(A)において、局所場LF4を表す関数f4は、点群データから選択される各点データの位置(発生源FG、所定の位置)からの所定の距離の範囲内(例、rが0以上の範囲)において、各点データの位置(発生源FG、所定の位置)から場の各点までの距離rに対して値vが連続的に変化する関数である。関数f4は、発生源FGからの距離に対して値が減少する関数である。関数f4は、例えばガウス分布を表す関数であるが、その他の関数でもよい。図4(B)において、関数f5は、点群データから選択される各点データの位置(発生源FG、所定の位置)からの所定の距離の範囲内(例、rが0以上r2未満の範囲)において、各点データの位置(発生源FG、所定の位置)から場の各点までの距離rに対して値vが連続的に変化する関数である。また、関数f5は、発生源FGからの距離rが閾値r2以上である領域において値が一定(例、0)になる関数である。
図1に示した面生成部7Bは、フィールド算出部7Aが算出したスカラー場における等値面を表す面情報を生成する。上記の等値面は、スカラー場においてスカラー値がユーザの指定値になる面である。入力制御部11は、入力部(入力装置3)により入力されるスカラー値を取得する入力情報取得部である。面生成部7Bは、入力情報取得部(例、入力制御部11)により取得されるスカラー値に基づいてスカラー場の等値面を算出して面情報を生成する。スカラー値の指定値を取得する処理については、図12等を参照して後述する。
面生成部7Bは、スカラー場を格子点で離散化し、格子点のスカラー値を用いて、面情報を生成する。面生成部7Bは、スカラー場を格子点における値(スカラー値)へ離散化する。面生成部7Bは、スカラー場を表す関数を格子点上のスカラー値で表したデータを用いて、面情報を生成する。面生成部7Bは、スカラー場を離散化して、面情報を生成する。
図5は、第1実施形態において、スカラー場を離散化する処理を示す図である。図5において、符号GLxはx軸に平行なグリッド線であり、符号dyはグリッド線GLxの間隔である。符号GLyはy軸に平行なグリッド線であり、符号dxはグリッド線GLyの間隔である。格子点P4は、それぞれ、グリッド線GLxとグリッド線GLyとの交点である。グリッド線GLx上で隣り合う格子点P4の間隔は、グリッド線GLyの間隔dxである。グリッド線GLy上で隣り合う格子点P4の間隔は、グリッド線GLxの間隔dyである。ここでは、間隔dxと間隔dyとが同じである。以下の説明において、適宜、間隔dxと間隔dyとを包括して、解像度dという。
面生成部7Bは、格子点P4のそれぞれにおけるスカラー場FSの値を算出する。例えば、格子点P4のうち格子点P4aは、局所場LF1から局所場LF3のいずれも存在しない領域であり、スカラー値(v)が0である。また、格子点P4のうち格子点P4bは、局所場LF1のみが存在する領域であり、スカラー値(v)が1である。また、格子点P4のうち格子点P4cは、局所場LF1および局所場LF2が存在する領域であり、スカラー値(v)が2である。また、格子点P4のうち格子点P4dは、局所場LF1から局所場LF3のいずれも存在する領域であり、スカラー値(v)が3である。なお、スカラー場を離散化する処理は、フィールド算出部7Aが実行してもよい。例えば、フィールド算出部7Aは、スカラー場FSを表す関数として、座標値とスカラー値と一組にしたテーブルテータを算出してもよい。
次に、図6から図10を参照して、等値面(等高面)を生成する処理について説明する。図6から図10では、二次元平面上で処理を説明するが、この処理を三次元に拡張することで三次元の点群データDGについても同様に処理可能である。図6から図10では、等値面が等値線(等高線)で表される。
図6は、第1実施形態において、等値面を生成する処理を示す図である。面生成部7Bは、例えば、マーチンキューブ法、またはマーチンキューブ法を応用した方法で、面情報を生成する。面生成部7Bは、等値面を表すポリゴンデータを面情報として生成する。
図6において、符号P4eからP4hは、それぞれ、図5に示した格子点P4である。面生成部7Bは、第1の格子点(例、格子点P4e)におけるスカラー場の値と、第1の格子点の隣の第2の格子点(例、格子点P4f)におけるスカラー場の値との関係に基づいて、面情報を生成する。図6において、各格子点の近傍に示した数字(0または1)は、各格子点のスカラー値である。ここでは、各格子点におけるスカラー値が0または1としている。また、格子点P4e、格子点P4f、格子点P4g、格子点P4hのスカラー値を一組にして表す。例えば、図6(A)におけるスカラー値の組は(0,0,0,0)である。また、格子点P4e、格子点P4f、格子点P4g、及び格子点P4hを頂点とする正方形の領域をグリッドGという。
面生成部7Bは、格子点P4eのスカラー値が指定値よりも大きく、かつ格子点P4eの隣の格子点P4fのスカラー値が指定値よりも小さい場合に、格子点P4eと格子点P4fとの間にグリッドGにおける等値線の端が存在すると判定する。
例えば、図6(A)のスカラー値の組は(0,0,0,0)であり、隣り合う格子点のスカラー値がいずれも指定値未満である。このような場合、面生成部7Bは、グリッドGに等値線が存在しないと判定する。
また、図6(B)のスカラー値の組は(1,1,0,0)であり、面生成部7Bは、格子点P4eと格子点P4hとの間、及び格子点P4fと格子点P4gとの間に、それぞれ等値線の端が存在すると判定する。面生成部7Bは、格子点P4eと格子点P4hとの中点P5aと、格子点P4fと格子点P4gとの中点P5bとを結ぶ線を等値線EL1とする。
また、図6(C)のスカラー値の組は(1,0,1,0)である。この場合、格子点P4eと格子点P4hとの間、格子点P4eと格子点P4fとの間、格子点P4fと格子点P4gとの間、格子点P4gと格子点P4hとの間に、それぞれ等値線の端が存在する。この場合、例えば、グリッドGに2本の等値線が存在する。面生成部7Bは、例えば、等値線が互いに交わらないように、等値線を導出する。例えば、面生成部7Bは、格子点P4eと格子点P4fとの中点P5cと、格子点P4eと格子点P4hとの中点P5dとを結ぶ線を等値線EL2とする。また、面生成部7Bは、格子点P4fと格子点P4gとの中点P5eと、格子点P4gと格子点P4hとの中点P5fとを結ぶ線を等値線EL3とする。
また、図6(D)のスカラー値の組は(1,1,1,0)である。面生成部7Bは、格子点P4eと格子点P4hとの中点P5gと、格子点P4gと格子点P4hとの中点P5hとを結ぶ線を等値線EL4とする。また、図6(E)のスカラー値の組は(1,1,1,1)であり、隣り合う格子点のスカラー値がいずれも指定値よりも大きい。このような場合、面生成部7Bは、グリッドGに等値線が存在しないと判定する。
面生成部7Bは、1つのグリッドGにおいて等値線を探索した後、隣のグリッドGについても同様に等値線を探索する。面生成部7Bは、グリッドGにおける等値線を隣のグリッドGにおける等値線と連結することで、面情報を生成する。なお、面生成部7Bは、ポリゴンデータが表す形状を単純化して面情報を生成してもよい。例えば、面生成部7Bは、連結した等値線に対してローパスフィルタを掛けて、面情報を生成してもよい。
なお、面情報を生成する処理は、図6の例に限定されない。図7は、第1実施形態において、等値面を生成する処理を示す図である。図6では格子点の中点に等値線の端を設定したが、図7では格子点のスカラー値と指定値とに基づいた重み付けによって、等値線の端の位置を設定する。
図7において、スカラー値の組が(2,1,0,0)とし、スカラー値の指定値は1より大きく2よりも小さい値aであるとする。また、格子点P4eと等値線EL5の端P5iとの距離をL1とし、格子点P4fと等値線EL5の端p5iとの距離をL2とする。面生成部7Bは、距離L1と距離L2との比が、格子点P4eのスカラー値(2)と指定値(a)との差と、格子点P4fのスカラー値(1)と指定値(a)との比になるように、端P5iの位置を設定する。
例えば、面生成部7Bは、距離L1を(2−a)/(2−1)に設定する。例えば、a=1.6の場合、距離L1は0.4となり、距離L2は0.6になる。このように、端P5iは、格子点P4eと格子点P4fとのうち、スカラー値が指定値(a=1.6)に近い格子点P4e(スカラー値が2)に偏った位置に設定される。面生成部7Bは、格子点P4eと格子点P4hとの間についても同様に、格子点P4eと等値線EL5の端P5jとの距離L3を(2−a)/(2−0)に設定する。また、面生成部7Bは、格子点P4hと等値線EL5の端P5jとの距離L4を(a−2)/(2−0)に設定する。a=1.6の場合、距離L3は0.2となり、L4は0.8になる。このように、端P5jは、格子点P4eと格子点P4hとのうち、スカラー値が指定値(a=1.6)に近い格子点P4e(スカラー値が2)に偏った位置に設定される。
図8は、第1実施形態において、スカラー値に基づく等値面(等値線)を示す図である。ここでは、図5のスカラー場について、指定値isoが異なる場合の等値面を示した。図8(A)には、指定値isoがv1の場合の等値面EL6を示した。v1は、例えば、0よりも大きく1よりも小さい値(例、0.5)である。また、図8(B)には、指定値isoがv2の場合の等値面EL7を示した。v2は、例えば、1よりも大きく2よりも小さい値(例、1.5)である。また、図8(C)には、指定値isoがv3の場合の等値面EL8を示した。v3は、例えば、2よりも大きく3よりも小さい値(例、2.5)である。
このように、指定値が異なる場合、抜き出される等値面も異なる。スカラー場が減衰場である場合、スカラー値の指定値が大きく設定される(例、図8(C))と、スカラー値の指定値が低く設定される(例、図8(A))よりも、抜き出される等値面が小さくなる。
図9は、第1実施形態において、解像度に基づく等値面を示す図である。図9(A)には、スカラー場FSの一部を示した。図9(B)には、スカラー場FSに対して、解像度dがd1に設定された場合の等値面EL9を示した。図9(C)には、スカラー場FSに対して、解像度dがd2に設定された場合の等値面EL10を示した。ここでは、d2=(d1)/2である。図9(D)には、スカラー場FSに対して、解像度dがd3に設定された場合の等値面EL11を示した。ここでは、d3=(d1)/4である。図9(D)のように解像度dが低く設定されると、図9(B)のように解像度dが高く設定されるよりも等値面を細かく抜き出すことができる。また、図9(B)のように解像度dが高く設定されると、図9(D)のように解像度dが低く設定されるよりも処理の負荷が小さくなる。このように、解像度が異なる場合、抜き出される等値面も異なる。
図10は、第1実施形態において、局所場の半径に基づく等値面を示す図である。図10(A)には、図2(B)に示した局所場LFを用いたスカラー場FS(図3(D)参照)に対して、局所場の半径rがr1であり、スカラー値の指定値が1よりも大きく2よりも小さい場合の等値面EL12を示した。図10(B)には、局所場LFの半径rがr3である場合の等値面EL13を示した。図10において、r3はr1よりも小さい値に設定される。スカラー場が減衰場である場合、図10(B)のように半径rが小さく設定されると、図10(A)のように半径rが大きく設定されるよりも、抜き出される等値面が小さくなる。このように、半径rが異なる場合、抜き出される等値面も異なる。
図8から図10で説明したように、面生成部7Bが抜き出す等値面は、等値面を算出する際の算出条件(例、スカラー値の指定値iso、解像度d、半径r)によって異なる。図1に示したUI部6は、等値面を算出する際の算出条件を指定する情報を、ユーザの入力情報によって取得する。UI部6は、取得した入力情報に基づいて、スカラー場を算出する処理をフィールド算出部7Aに実行させる。また、UI部6は、取得した入力情報に基づいて、面情報を生成する処理を面生成部7Bに実行させる。
図11は、第1実施形態に係るUI部の処理を示す図である。UI部6は、アプリケーションが起動されると、GUI画面Wを生成する。GUI画面は、表示装置2(図1参照)の表示領域2Aに表示される。図11において、GUI画面Wは、表示領域2Aの一部に表示されるが、表示領域2Aに全画面表示されてもよい。
UI部6は、点群データDGを開く処理の実行が入力情報によって指定された場合、点群データDGをGUI画面Wに表示させる。点群データDGを開く処理の実行は、GUI画面Wに点群データDGのファイルがドラッグ アンド ドロップされることで指定されてもよい。また、点群データDGを開く処理の実行は、OS部5が管理するファイルの階層を示すウィンドウから、点群データDGのファイルが選択されることで指定されてもよい。
情報処理装置1(図1参照)は、画像生成部13を備える。画像生成部13は、点群データDGを用いて点群画像Im1を生成する。本実施形態体において、点群画像(例、点群画像Im1)とは、点群データDGの各点データの座標に対応する画像上の座標に所定の大きさの点を配置した画像である。なお、画像に表示される点は、全ての点の大きさが同じでもよいし、一部の点の大きさが他の点と異なってもよい。点群画像(例、点群画像Im1)は、例えば、点群データDGに含まれる複数の点の空間的な分布を表す画像である。点群データDGは予め生成されていてもよいし、情報処理装置1が生成してもよい。例えば、情報処理装置1は、所定の視点から点の分布を見た場合の点群画像Im1をレンダリング処理によって生成する。
STORMは、蛍光物質を活性化し、活性化した蛍光物質に対して励起光を照射することにより、複数の蛍光画像が取得する。複数の蛍光画像のデータは、情報処理装置1に入力される。画像生成部13は、各蛍光画像の蛍光物質の位置情報を算出し、算出した複数の位置情報を用いて点群データDGを生成する。また、画像生成部13は、点群データDGを表す点群画像Im1生成する。2次元のSTORMの場合、画像生成部13は、蛍光物質の2次元の位置情報を算出し、複数の2次元データを含む点群データDGを生成する。また、3次元のSTORMの場合、画像生成部13は、蛍光物質の3次元の位置情報を算出し、複数の3次元データを含む点群データDGを生成する。上記の2次元データ、3次元データなどのN次元データは、顕微鏡の他にCTスキャン等でも取得される。N次元データを処理する技術においては、例えば、N次元データが表す形状をユーザが把握しやすいことが望まれる。
出力制御部12は、点群画像Im1のデータを、OS部5を介して表示装置2に出力させる。表示装置2は、OS部5から出力されたデータに基づいて、点群画像Im1を表示する。UI部6は、例えば、点群画像Im1上にポインタPが配置された状態でドラッグされたことが検出された場合に、視点を変更した点群画像Im1を表示させることができる。
また、UI部6は、ユーザの入力情報として、点群画像Im1上で領域AR1(例、(ROI))を指定する情報を取得する。例えば、UI部6は、ポインタPが点群画像Im1上に配置された状態で左クリックされたことが検出され場合に、ポインタPの位置に矩形状の領域AR1の頂点を設定する。また、UI部6は、矩形状の領域AR1の頂点を設定した後、ポインタPが点群画像Im1上に配置された状態でドラッグされたことが検出され場合に、ポインタPの移動先を頂点とする領域AR1を設定する。出力制御部12は、設定された領域AR1を示す画像のデータを、OS部5を介して表示装置2に出力する。表示装置2は、領域AR1を示す画像を点群画像Im1に重ねて表示する。
入力制御部11は、領域AR1を確定することを示すユーザの入力情報を受け付ける。入力制御部11は、領域AR1を確定することを示す入力情報があったと判定した場合、図11の下図に示すように、領域AR1を拡大した点群画像Im2をGUI画面Wに表示させる。例えば、情報処理装置1は、レンダリング処理によって点群画像Im2を生成する。出力制御部12は、点群画像Im2のデータを、OS部5を介して表示装置2に出力させる。表示装置2は、点群画像Im2をGUI画面Wに表示する。
図12は、第1実施形態に係るUI部を用いた設定処理を示す図である。本実施形態において、フィールド算出部7Aは、図11で指定された領域AR1について、予め設定された算出条件でスカラー場を表す関数を算出する。また、面生成部7Bは、図11で指定された領域AR1について、予め設定された算出条件で、フィールド算出部7Aの算出結果に基づいて面情報を生成する。出力制御部12は、予め設定された算出条件で得られた面情報を表す復元面画像Im3を、GUI画面Wに表示させる。本実施形態において、復元面画像(復元面画像Im3)は、等値面によって囲まれる領域に相当する物体の形状を表す画像である。復元面画像(例、復元面画像Im3)は、例えば、点群データDGが表す物体の面として面生成部7Bが復元(推定)した面を表す画像である。
ユーザは、設定画面(例、GUI画面W)を用いて、面情報の生成に関するパラメータを設定可能である。面情報の生成に関するパラメータは、例えば、等値面のスカラー値(図12の[iso value])、局所場が及ぶ領域の半径(図12の[[radius [nm]])、解像度d(図12の[resolution [nm]])などである。例えば、ユーザは、設定画面(例、GUI画面W)を用いて、面情報の生成に関する第1のパラメータとして[iso value]の値を設定し、面情報の生成に関する第2のパラメータとして[[radius [nm]]の値を設定し、面情報の生成に関する第3のパラメータとして[resolution [nm]の値を設定することができる。ユーザは、上記第1から第3のパラメータの少なくとも1つを設定しなくてもよい。
設定画面(例、GUI画面W)は、スカラー値(例、[iso value])を設定するための第1設定部(図12に符号Q1、Q2、Q3で示す)を含む。UI部6は、入力情報として、スカラー場におけるスカラー値(例、図8の指定値iso)を指定する情報を取得する。例えば、出力制御部12は、入力情報で指定する項目として、スカラー値を表す[iso value]を、GUI画面Wに出力させる。また、出力制御部12は、[iso value]と表示される位置に対して予め設定された位置に、入力ウィンドウQ1、スライダーQ2、及びボタンQ3を表示させる。出力制御部12は、予め設定されたスカラー値(例、初期値)を入力ウィンドウQ1に表示させる。図12において、予め設定されたスカラー値の指定値として[10]が表示されている。
入力制御部11は、ポインタPがスライダーQ2に配置された状態でドラッグされたことが検出された場合に、ポインタPの移動量に基づいてスカラー値の指定値を算出する。出力制御部12は、入力ウィンドウQ1に表示される値を、入力制御部11が算出した指定値へ更新する。画像処理部7(例、フィールド算出部7A)は、点群データDGに基づいてスカラー場を算出する。また、画像処理部7(例、面生成部7B)は、上記第1設定部により設定されるスカラー値に基づいてスカラー場の等値面を算出して面情報を生成する。
なお、ユーザは、キーボードを操作することによって、入力情報としてスカラー値の指定値を入力することもできる。例えば、入力制御部11は、ポインタPが入力ウィンドウQ1に配置された状態で左クリックされたことが検出された場合に、キーボードを用いて入力される数値を取得する。出力制御部12は、入力ウィンドウQ1に表示される値を、キーボードを用いて入力される数値として入力制御部11が取得した値へ更新する。
また、ボタンQ3には、入力ウィンドウQ1に表示させる値を増加または減少させる処理が割り付けられている。入力制御部11は、ポインタPがボタンQ2に配置された状態で左クリックされたことが検出された回数、又は左クリックされた時間に基づいて、スカラー値の指定値を算出する。出力制御部12は、入力ウィンドウQ1に表示される値を、入力制御部11が算出した指定値へ更新する。
また、設定画面(例、GUI画面W)は、局所スカラー場に関する情報(例、[radius[nm]])を設定するための設定部(図12に符号Q4、Q5、Q6で示す)を含む。[radius[nm]]は、各点データからの距離が閾値以上である領域において値が一定になる関数の閾値に関する情報に対応する。例えば、図2(C)のf1は、各点データからの距離が閾値r1以上である領域において値が一定になる関数であり、この場合、[radius[nm]]の値は閾値r1に用いられる。また、図4(B)のf5は、各点データからの距離が閾値r2以上である領域において値が一定になる関数であり、この場合、[radius[nm]]の値は閾値r2に用いられる。また、[radius[nm]]は、局所場を表す関数の係数に関する情報でもよい。[radius[nm]]は、値が連続的に変化する関数(例、図4(A)のf4、図4(B)のf5)に含まれる係数に用いられてもよい。例えば、[radius[nm]]によって指定される値を変更することで、関数の形状(例、各点での傾き)を変更可能でもよい。[radius[nm]]は、上記関数の閾値と係数との双方に関する情報でもよい。例えば、図4(B)のf5について、[radius[nm]]を小さくすると、r2が小さくなり、かつf5の傾きが急峻になってもよい。
UI部6は、入力情報として、局所場の半径(例、図10の半径r)を指定する情報を取得する。UI部6は、局所場の半径を指定する情報として、発生源を中心とする半径を指定する情報を取得する。例えば、出力制御部12は、入力情報で指定する項目として、局所場が及ぶ領域の半径を表す[radius [nm]]を、GUI画面Wに出力させる。また、出力制御部12は、[radius [nm]]と表示される位置に対して予め設定された位置に、入力ウィンドウQ4、スライダーQ5、及びボタンQ6を表示させる。出力制御部12は、予め設定された半径(例、初期値)を入力ウィンドウQ4に表示させる。図12において、予め設定された半径として[100]が表示されている。
入力制御部11は、ポインタPがスライダーQ5に配置された状態でドラッグされたことが検出された場合に、ポインタPの移動量に基づいて半径の指定値を算出する。出力制御部12は、入力ウィンドウQ4に表示される値を、入力制御部11が算出した指定値へ更新する。画像処理部7(例、フィールド算出部7A)は、図12に符号Q4、Q5、Q6で示す設定部により設定される局所スカラー場に関する情報(例、[radius[nm]])に基づいて、スカラー場を算出する。
なお、ユーザは、キーボードを操作することによって、入力情報として半径の指定値を入力することもできる。例えば、入力制御部11は、ポインタPが入力ウィンドウQ4に配置された状態で左クリックされたことが検出された場合に、キーボードを用いて入力される数値を取得する。出力制御部12は、入力ウィンドウQ4に表示される値を、キーボードを用いて入力される数値として入力制御部11が取得した値へ更新する。
また、ボタンQ6には、入力ウィンドウQ4に表示させる値を増加または減少させる処理が割り付けられている。入力制御部11は、ポインタPがボタンQ6に配置された状態で左クリックされたことが検出された回数、又は左クリックされた時間に基づいて、半径の指定値を算出する。出力制御部12は、入力ウィンドウQ4に表示される値を、入力制御部11が算出した指定値へ更新する。
また、設定画面(例、GUI画面W)は、格子点の間隔に関する情報(例、[resolution])を設定するための設定部(図12に符号Q7、Q8、Q9で示す)を含む。UI部6は、入力情報として、面情報を生成する処理における格子の間隔(例、図10の解像度d)を指定する情報を取得する。例えば、出力制御部12は、入力情報で指定する項目として、解像度dを表す[resolution [nm]]を、GUI画面Wに出力させる。また、出力制御部12は、[resolution [nm]]と表示される位置に対して予め設定された位置に、入力ウィンドウQ7、スライダーQ8、及びボタンQ9を表示させる。出力制御部12は、予め設定された解像度(例、初期値)を入力ウィンドウQ7に表示させる。図12において、予め設定された解像度として[25]が表示されている。
入力制御部11は、ポインタPがスライダーQ8に配置された状態でドラッグされたことが検出された場合に、ポインタPの移動量に基づいて解像度dの指定値を算出する。出力制御部12は、入力ウィンドウQ7に表示される値を、入力制御部11が算出した指定値へ更新する。入力情報取得部(入力制御部11)は、入力部(入力装置3)により入力される格子点の間隔に関する情報(例、指定された[resolution]の値)を取得する。面生成部7Bは、入力される格子点の間隔に関する情報基づいて、スカラー場を格子点で離散化する。
なお、ユーザは、キーボードを操作することによって、入力情報として解像度dの指定値を入力することもできる。例えば、入力制御部11は、ポインタPが入力ウィンドウQ7に配置された状態で左クリックされたことが検出された場合に、キーボードを用いて入力される数値を取得する。出力制御部12は、入力ウィンドウQ7に表示される値を、キーボードを用いて入力される数値として入力制御部11が取得した値へ更新する。
また、ボタンQ9には、入力ウィンドウQ7に表示させる値を増加または減少させる処理が割り付けられている。入力制御部11は、ポインタPがボタンQ9に配置された状態で左クリックされたことが検出された回数、又は左クリックされた時間に基づいて、解像度dの指定値を算出する。出力制御部12は、入力ウィンドウQ9に表示される値を、入力制御部11が算出した指定値へ更新する。
また、GUI画面Wには、[Thumbnail]、[Advanced]、[OK]、[Cancel]、及び[Apply]のボタンが表示される。[Advanced]のボタンには、その他の設定項目を表示させる処理が割り付けられている。
図13は、第1実施形態に係るUI部を用いた設定処理を示す図である。設定画面(例、GUI画面W)は、局所スカラー場を表す関数(例、図13の[Function])に関する情報を設定するための第2設定部(図13に符号Q11、Q12で示す)を含む。入力制御部11は、ポインタPが[Advanced]のボタンに配置された状態で左クリックされたことが検出された場合に、その他の設定項目を表示させる処理を出力制御部12に実行させる。例えば、出力制御部12は、入力情報で指定する項目として、局所場を表す関数を示す[Function]を、GUI画面Wに出力させる。
また、上記関数に関する情報は、関数の種類に関する情報(例、図13の[Function]の[Rectangular]、[Gaussian]、[Edit])である。出力制御部12は、[Function]と表示される位置に対して予め設定された位置に、[Rectangular]、ボタンQ11、[Gaussian]、ボタンQ12、及び[Edit]を表示させる。出力制御部12は、局所場を表す関数の候補を示す画像として、[Rectangular]、[Gaussian]を表示装置2に表示させる。
ボタンQ11には、局所場を表す関数として、矩形波状の関数(図2(C)参照)を指定する処理が割り付けられている。ボタンQ12には、局所場を表す関数として、ガウシアン分布を表す関数(図4参照)を指定する処理が割り付けられている。[Edit]には、局所場を表す関数を編集する処理が割り付けられている。例えば、[Edit]には、局所場を表す関数を定義したファイルを読み込む処理が割り付けられている。
入力情報取得部(入力制御部11)は、入力部(入力装置3)により入力される局所スカラー場を表す関数に関する情報を取得する。フィールド算出部7Aは、入力情報取得部(入力制御部11)により取得された関数に関する情報を用いて、スカラー場を算出する。入力制御部11は、関数の候補のうち指定された関数を表す情報として、表示装置2(GUI画面W)を用いて入力される入力情報を取得する。
画像処理部7(例、フィールド算出部7A)は、第2設定部により設定される関数に基づいて、点群データDGの1以上の点データに基づいて局所スカラー場を生成する。画像処理部7(例、フィールド算出部7A)は、局所スカラー場を重ね合わせることにより、局所スカラー場に基づいたスカラー場を算出する。画像処理部7(例、面生成部7B)は、局所スカラー場に基づいたスカラー場の等値面を算出して面情報を生成する。
上記関数に関する情報は、関数の種類に関する情報である。上記関数の種類に関する情報は、各点データからの距離に対して値が段階的に変化する関数、各点データからの距離に対して値が連続的に変化する関数、各点データからの距離に対して値が減少する関数の少なくとも1つを含む。上記関数の種類に関する情報は、関数に関する情報は、各点データからの距離が閾値以上である領域において値が一定になる関数の閾値に関する情報でもよい。
設定画面(例、GUI画面W)は、フィルタに関する情報を設定するための第3設定部(図13に符号Q13、Q14で示す)を含む。出力制御部12は、入力情報で指定する項目として、スカラー場を表す関数を算出する際に用いるフィルタを示す[Filter]を、GUI画面Wに出力させる。また、出力制御部12は、[Filter]と表示される位置に対して予め設定された位置に、[Gaussian]、ボタンQ13、[Laplacian]、ボタンQ14、及び[Edit]を表示させる。出力制御部12は、フィルタの候補を示す画像として、[Gaussian]、[Laplacian]を表示装置2に表示させる。
ボタンQ13には、フィルタとして、ガウシアンフィルタを指定する処理が割り付けられている。ボタンQ14には、フィルタとしてラプラシアンフィルタを指定する処理が割り付けられている。[Edit]には、フィルタを表す関数を編集する処理が割り付けられている。例えば、[Edit]には、フィルタを表す関数を定義したファイルを読み込む処理が割り付けられている。フィールド算出部7Aは、局所スカラー場を重ね合わせ、フィルタを作用させて、スカラー場を表す関数を算出する。画像処理部7(例、フィールド算出部7A)は、局所スカラー場を重ね合わせ、第3設定部により設定されるフィルタに関する情報に基づいてフィルタを作用させる。画像処理部7(例、フィールド算出部7A)は、局所スカラー場を重ね合わせた関数にフィルタを作用させることで、スカラー場を生成する。
入力情報取得部(入力制御部11)は、入力部(入力装置3)により入力されるフィルタに関する情報を取得する。フィルタに関する情報は、フィルタを表す関数(例、図13の[Filter]の[Gaussian]、[Laplacian]、[Edit])を指定する情報である。フィールド算出部7Aは、入力情報取得部(入力制御部11)によって取得されるフィルタに関する情報を用いてスカラー場を算出する。
[Apply]には、入力情報によって指定された項目の情報を反映させる処理が割り付けられている。[Cancel]には、変更された項目の情報を元に戻す処理が割り付けられている。[OK]には、設定を完了する処理が割り付けられている。上述のような設定処理が完了すると、フィールド算出部7Aは、入力情報によって指定される関数([Function])、半径([radius [nm]])、及びフィルタ([Filter])を用いて、スカラー場を表す関数を算出する。また、面生成部7Bは、入力情報によって指定されるスカラー値([iso value])、解像度(resolution [nm])、及びフィールド算出部7Aが算出したスカラー場を表す関数に基づいて、面情報を算出する。
なお、設定処理において、スカラー値([iso value])、半径([radius [nm]])および解像度(resolution [nm])の少なくとも一つが設定可能であり、その他は予め設定された値(固定値)が用いられてもよい。また、設定処理において、半径([radius [nm]])および解像度(resolution [nm])の一方または双方は設定されてなくてもよい。例えば、面生成部7Bは、半径([radius [nm]])および解像度(resolution [nm])の一方または双方について予め設定された値(例、固定値)を用いて、面情報を生成してもよい。また、設定処理において、スカラー値([iso value])、半径([radius [nm]])、及び解像度(resolution [nm])以外のパラメータが設定されてもよい。
また、追加の設定処理([Advanced])において、局所場を表す関数([Function])の候補として、[Rectangular]と[Gaussian]との一方または双方が提示されなくてもよい。また、追加の設定処理([Advanced])において、局所場を表す関数([Function])の候補として、[Rectangular]および[Gaussian]と異なる候補が提示されてもよい。また、追加の設定処理([Advanced])において、局所場を表す関数を指定する処理が実行されなくてもよい。
また、追加の設定処理([Advanced])において、フィルタを表す関数([filter])の候補として、[Gaussian]と[Laplacian]との一方または双方が提示されなくてもよい。また、追加の設定処理([Advanced])において、フィルタを表す関数([filter])の候補として、[Gaussian]および[Laplacian]と異なる候補が提示されてもよい。また、追加の設定処理([Advanced])において、フィルタを表す関数を指定する処理が実行されなくてもよい。また、追加の設定処理([Advanced])が実行されなくてもよい。
本実施形態において、面生成部7Bは、例えば、複数の算出条件を用いて、面情報を生成する。出力制御部12は、面生成部7Bが生成した面情報を表す画像を表示装置2に表示させる。例えば、入力制御部11は、ポインタPが[Thumbnail]に配置された状態で左クリックされたことが検出された場合に、面情報を表す画像(後に図14から図16に示す)を出力制御部12によって出力させる(図12、図13参照)。
なお、算出条件(例、スカラー値の指定値iso、解像度d、半径r)の少なくとも1つが変更された場合、リアルタイムに表示画像が変更されてもよい。つまり、[Apply]、[OK]などがクリック(押下)されなくても、面生成部7Bは、リアルタイムに、変更された算出条件を用いて、面情報を生成し、出力制御部12は、面生成部7Bが生成した面情報を表す画像を表示装置2に表示させてもよい。
図14は、第1実施形態に係るUI部によって表示される画像を示す図である。図14において、GUI画面Wには、算出条件が異なる複数の復元面画像Im4がテーブル状に表示されている。このテーブルの横軸は、スカラー値の指定値([iso value])に対応している。例えば、複数の復元面画像Im4のうち、同じ列の復元面画像Im4aと復元面画像Im4bとは、スカラー値の指定値(例、[10])が同じである。複数の画像Im4のうち、異なる列の画像Im4aと画像Im4cとは、スカラー値の指定値(例、[10]、[25])が異なる。
出力制御部12は、第1の算出条件を用いて算出される面情報を表す第1の復元面画像(例、画像Im4a)と、第1の算出条件と異なる第2の算出条件を用いて算出される面情報を表す第2の復元面画像(例、画像Im4c)と、を表示装置2(GUI画面W)に並べて表示させる。第1の算出条件は、スカラー場におけるスカラー値が第2の算出条件と異なる。
また、テーブルの縦軸は、解像度の指定値([resolution])に対応している。例えば、同じ行の画像Im4aと画像Im4cとは、解像度の指定値(例、[25])が同じである。また、異なる行の復元面画像Im4aと復元面画像Im4bとは、解像度の指定値(例、[25]、[50])が異なる。出力制御部12は、第1の算出条件を用いて算出される面情報を表す第1の復元面画像(例、画像Im4a)と、第1の算出条件と異なる第2の算出条件を用いて算出される面情報を表す第2の復元面画像(例、画像Im4b)と、を表示装置2(GUI画面W)に並べて表示させる。第1の算出条件は、解像度の指定値が第2の算出条件と異なる。
図15は、第1実施形態に係るUI部によって表示される画像を示す図である。図15において、GUI画面Wには、算出条件が異なる複数の復元面画像Im4がテーブル状に表示されている。このテーブルの横軸は、スカラー値の指定値([iso value])に対応している。例えば、複数の復元面画像Im4のうち、同じ列の復元面画像Im4dと復元面画像Im4eとは、スカラー値の指定値(例、[10])が同じである。複数の画像Im4のうち、異なる列の復元面画像Im4dと復元面画像Im4fとは、スカラー値の指定値(例、[10]、[25])が異なる。出力制御部12は、第1の算出条件を用いて算出される面情報を表す第1の復元面画像(例、復元面画像Im4d)と、第1の算出条件と異なる第2の算出条件を用いて算出される面情報を表す第2の復元面画像(例、復元面画像Im4f)と、を表示装置2(GUI画面W)に並べて表示させる。第1の算出条件は、スカラー場におけるスカラー値が第2の算出条件と異なる。
また、テーブルの縦軸は、半径の指定値([radius])に対応している。例えば、同じ行の復元面画像Im4dと復元面画像Im4fとは、半径の指定値(例、[75])が同じである。異なる行の復元面画像Im4dと復元面画像Im4eとは、半径の指定値(例、[75]、[100])が異なる。出力制御部12は、第1の算出条件を用いて算出される復元面面情報を表す第1の復元面画像(例、復元面画像Im4d)と、第1の算出条件と異なる第2の算出条件を用いて算出される面情報を表す第2の復元面画像(例、復元面画像Im4e)と、を表示装置2(GUI画面W)に並べて表示させる。第1の算出条件は、半径の指定値が第2の算出条件と異なる。
図16は、第1実施形態に係るUI部によって表示される画像を示す図である。図16において、GUI画面Wには、算出条件が異なる複数の復元面画像Im4がテーブル状に表示されている。このテーブルの横軸は、解像度の指定値([resolution])に対応している。例えば、複数の復元面画像Im4のうち、同じ列の復元面画像Im4gと復元面画像Im4hとは、解像度の指定値(例、[25])が同じである。複数の画像Im4のうち、異なる列の画像Im4gと画像Im4iとは、解像度の指定値(例、[25]、[50])が異なる。出力制御部12は、第1の算出条件を用いて算出される面情報を表す第1の復元面画像(例、画像Im4g)と、第1の算出条件と異なる第2の算出条件を用いて算出される面情報を表す第2の復元面画像(例、画像Im4i)と、を表示装置2(GUI画面W)に並べて表示させる。第1の算出条件は、解像度の指定値が第2の算出条件と異なる。
また、テーブルの縦軸は、半径の指定値([radius])に対応している。例えば、同じ行の復元面画像Im4gと復元面画像Im4iとは、半径の指定値(例、[75])が同じである。異なる行の復元面画像Im4gと復元面画像Im4hとは、半径の指定値(例、[75]、[100])が異なる。出力制御部12は、第1の算出条件を用いて算出される面情報を表す第1の復元面画像(例、復元面画像Im4g)と、第1の算出条件と異なる第2の算出条件を用いて算出される復元面面情報を表す第2の復元面画像(例、復元面画像Im4h)と、を表示装置2(GUI画面W)に並べて表示させる。第1の算出条件は、半径の指定値が第2の算出条件と異なる。
情報処理装置1は、上述のように異なる算出条件で得られる複数の復元面画像Im4を並べて表示させる。ユーザは、例えば、複数の復元面画像Im4を比較して、目的の構造物を抽出するのに適した算出条件を選択することができる。例えば、面生成部7Bは、面情報の生成に関するパラメータの値(例、[resolution[nm]]、[iso value])が異なる複数の条件で面情報の候補を生成し、面情報の候補を表す複数の画像(例、復元面画像、図14の画像Im4a、画像Im4b)を生成する。表示制御部(出力制御部12)は、設定画面(例、図13のGUI画面W)において、パラメータの設定を行う指令が入力された場合(例、[Thumbnail]が選択された場合)、図14のように画像Im4aと画像Im4bとを表示部(表示装置2)に表示させる。表示制御部(出力制御部12)は、面情報を表す画像のサンプルとして、画像Im4aと画像Im4bを表示させる。
ユーザは、表示部(表示装置2)に表示された複数の画像(面情報の候補)から画像を選択することで、面情報の生成に関するパラメータとして、選択した画像に対応するパラメータの値を指定することができる。画像処理部7(フィールド算出部7A、面生成部7B)、表示部(表示装置2)に表示された複数の画像から選択された画像に対応するパラメータの値を用いて面情報を生成する。表示制御部(出力制御部12)は、画像に対応するパラメータの値、及び画像に対応するパラメータの値を用いて生成された面情報を表す画像を、表示部(例、図13のGUI画面W)に表示させる。このように、表示制御部(出力制御部12)は、第1の面情報を表す画像、第2の面情報を表す画像、第3の面情報を表す画像および第4の面情報を表す画像を選択可能に表示部(表示装置2)に表示させてもよい。また、表示制御部(出力制御部12)は、表示部(表示装置2)に表示された画像から選択された画像に対応する算出条件を設定画面に表示させてもよい。
図14の画像の候補を用いたパラメータの設定が行われる前に、表示制御部(出力制御部12)は、画像処理部7が第1のパラメータの第1の算出条件を用いて生成した第1の画像(例、図13の復元面画像Im3)を表示部(例、図13のGUI画面W)に表示させる。また、図14の画像の候補を用いて第1のパラメータが第2の算出条件に設定された後に、表示制御部(出力制御部12)は、画像処理部7が第2のパラメータの第2の算出条件を用いて生成した第2の画像(例、図14の画像Im4a)を、第1の画像の代わりに表示部(例、図13のGUI画面W)に表示させる。
なお、入力制御部11は、設定画面(例、図13のGUI画面W)において、パラメータの設定を行う指令が入力された場合(例、[Thumbnail]が選択された場合)、設定するパラメータの種類を指定する入力をユーザから受け付けてもよい。例えば、設定するパラメータの種類として[iso value]および[resolution]が指定された場合、出力制御部12は、これらのパラメータが異なる複数の画像を図14のように表示させてもよい。また、設定するパラメータの種類として[iso value]および[radius]が指定された場合、出力制御部12は、これらのパラメータが異なる複数の画像を図15のように表示させてもよい。また、設定するパラメータの種類として[radius]および[resolution]が指定された場合、出力制御部12は、これらのパラメータが異なる複数の画像を図16のように表示させてもよい。設定するパラメータの種類は、図14から図16では2種類であるが、1種類でもよいし、3種類以上でもよい。
また、画像処理部7(例、面生成部7B)は、設定画面(GUI画面W)において第1の算出条件が設定される場合、第1の算出条件を用いて点群データに基づいて第1の面情報を生成してもよい。表示制御部(出力制御部12)は、第1の面情報を表す画像を表示部(表示装置2)に表示させてもよい。画像処理部7(例、面生成部7B)は、設定画面(GUI画面W)において第2の算出条件が設定される場合、第2の算出条件を用いて点群データに基づいて第2の面情報を生成してもよい。表示制御部(出力制御部12)は、第1の面情報を表す画像(例、画像Im3)と第2の面情報を表す画像(図示せず)とを表示部に表示させてもよい。表示制御部(出力制御部12)は、第1の面情報を表す第1の画像と、第2の面情報を表す第2の画像とを同時に表示させてもよい。また、表示制御部(出力制御部12)は、第1の面情報を表す画像と第2の面情報を表す画像とを切り替え可能に表示してもよい。
また、画像処理部7(例、面生成部7B)は、第1のパラメータと異なる第2のパラメータの第3の算出条件を用いて第3の画像を生成し、第2のパラメータの第4の算出条件を用いて第4の画像を生成してもよい。表示制御部は、第3の画像および第4の画像を表示させてもよい。例えば、上記第1のパラメータが[iso value]であり、上記第2のパラメータが[resolution]である場合、表示制御部(出力制御部12)は、第3の画像および第4の画像を図14のように表示させてもよい。また、上記第1のパラメータが[iso value]であり、上記第2のパラメータが[radius]である場合、表示制御部(出力制御部12)は、第3の画像および第4の画像を図15のように表示させてもよい。また、上記第1のパラメータが[resolution]であり、上記第2のパラメータが[radius]である場合、表示制御部(出力制御部12)は、第3の画像および第4の画像を図16のように表示させてもよい。
上記のスカラー値([iso value])は、点群データDGが表す点集合における点の密度(数密度、粗密)に基づいて設定されてもよい。例えば、STORMによって取得される点群データDGにおいて点の数密度が相対的に高い領域と、点の数密度が相対的に低い領域とが存在する場合がある。このような場合、[iso value]を低くすることで、点の数密度が相対的に高い領域と点の数密度が相対的に低い領域とを検出することができる。また、[iso value]を高くすることで、点の数密度が相対的に低い領域を除去して、点の数密度が相対的に高い領域を検出(抽出)することができる。点の数密度が相対的に低い領域がノイズである場合、[iso value]を高くすることで、ノイズを除去することができる。
なお、図11の点群画像Im1などによって目視で分かる明らかなノイズ(周囲に点の殆ど無いもの)がある場合、点群画像Im1上でノイズの領域を指定すること等によって、ノイズを予め除去することもできる。画像処理部7は、ノイズが除去された後に、面情報を生成してもよい。また、場にフィルタ(例、スムージングフィルタ)を作用させることで、ノイズ付近の場の値を小さくし、ノイズを除去してもよい。
なお、表示装置2は、視差画像によって画像を立体的に表示可能でもよい。この場合、出力制御部12は、視差画像を表示装置2に表示させてもよい。また、情報処理装置1には、3次元の構造物を形成するプリンタが接続されてもよい。この場合、出力制御部12は、面情報から得られる3次元の形状情報を、3次元の構造物を形成するプリンタに出力してもよい。
次に、上述の情報処理装置1の動作に基づいて、実施形態に係る情報処理方法について説明する。図17は、第1実施形態に係る情報処理方法を示すフローチャートである。ステップS1において、情報処理装置1は、パラメータ(算出条件)を設定する。例えば、UI部6は、図11から図13で説明したように、スカラー場FSを表す関数の算出に用いられるパラメータ(例、[radius])、局所場を表す関数(例、[function])、フィルタを表す関数(例、[filter])を設定する。また、UI部6は、面情報の生成に用いられるパラメータ(例、[resolution]、[iso value])を設定する。例えば、ステップS2において、入力制御部11は、スカラー値を指定する情報を取得する。また、ステップS3において、入力制御部11は、解像度を指定する情報を取得する。また、ステップS4において、入力制御部11は、半径を指定する情報を取得する。
なお、ステップS2からステップS4の処理は、いずれの順番で実行されてもよい。また、解像度として予め設定された値を用いる場合、ステップS3の処理は実行されてなくてもよい。また、半径として予め設定された値を用いる場合、ステップS4の処理は実行されなくてもよい。
ステップS5において、フィールド算出部7Aは、スカラー場を表す関数を算出する(図3参照)。フィールド算出部7Aは、ステップS1において入力制御部11が取得した情報を用いて、スカラー場を表す関数を算出する。フィールド算出部7Aは、算出したスカラー場を表す関数を、記憶部9に記憶させる。ステップS6において、面生成部7Bは、等値面を表す面情報を生成する(図5から図10参照)。面生成部7Bは、ステップS1において入力制御部11が取得した情報を用いて、面情報を生成する。面生成部7Bは、生成した面情報を記憶部9に記憶させる。
ステップS7において、情報処理装置1は、面情報を表す画像を出力する(図14から図17参照)。例えば、出力制御部12は、面情報を表す画像の出力を指定するユーザの入力情報に基づいて、画像のデータを表示装置2に出力する。出力制御部12は、面生成部7Bが記憶部9に記憶させた面情報を読み出して、面情報を表す画像を表示装置2(例、GUI画面W)に表示させる。出力制御部12は、面情報を表す画像として、等値面に囲まれる領域の形状を表す画像を表示させる。
実施形態に係る情報処理方法は、面情報を生成するために用いられる算出条件を設定するための設定画面を表示部に表示させることと、設定画面において設定される算出条件を用いて、点群データに基づいて面情報を生成することと、生成される面情報を表す画像を表示部に表示させることと、を含む。実施形態に係る情報処理方法は、点群データに基づいて第1のパラメータの第1の算出条件を用いて第1の面情報を生成することと、点群データに基づいて第1のパラメータの第2の算出条件を用いて第2の面情報を生成することと、第1の面情報を表す画像および第2の面情報を表す画像を表示部に表示させることと、を含んでもよい。実施形態に係る情報処理方法は、点群データに基づいてスカラー場を算出することと、入力部により入力されるスカラー値を取得することと、取得したスカラー値に基づいてスカラー場の等値面を算出して面情報を生成することと、を含んでもよい。
[第2実施形態]
次に、第2実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図18は、第2実施形態に係る情報処理装置を示す図である。処理部15は、演算部18を備える。演算部18は、等値面の面積と、等値面に囲まれる空間の体積と、等値面上の2点間の直線距離と、等値面上の2点間の測地距離と、指定された第1の領域における構造物の重心と指定された第2の領域における構造物の重心との距離と、面情報が表す第1の等値面と第2の等値面との類似度との少なくとも1つを演算する。
図19から図24は、第2実施形態に係る処理部およびUI部の処理を示す図である。まず、演算部18によって距離を演算する処理について説明する。図19において、GUI画面Wには、面生成部7Bが生成した面情報を表す復元面画像Im5、及びボタンQ21が表示されている。ボタンQ21には、演算部18による処理の条件を入力情報として取得する処理が割り付けられている。出力制御部12は、GUI情報に基づいて、GUI画面WにボタンQ21を表示させる。入力制御部11は、ポインタPがボタンQ21に配置された状態で左クリックされたことが検出された場合に、出力制御部12によってウィンドウW1を生成させる。
ウィンドウW1には、ボタンQ22、ボタンQ23、及び画像Im6が表示される。ボタンQ22には、演算部18に距離の演算を実行させる処理が割り付けられている。入力制御部11は、ポインタPがボタンQ22に配置された状態で左クリックされたことが検出された場合に、画像Im5における位置を指定する情報を入力情報として受け付ける。入力制御部11は、ポインタPが画像Im5に配置された状態で左クリックされたことが検出された場合に、ポインタPの位置をユーザが指定する第1の点の位置として取得する。入力制御部11は、取得したポインタPの位置に、出力制御部12によってマークQ24を表示させる。入力制御部11は、同様にして、ポインタPが画像Im5に配置された状態で左クリックされたことが検出された場合に、ポインタPの位置をユーザが指定する第2の点の位置として取得する。入力制御部11は、取得したポインタPの位置に、出力制御部12によってマークQ25を表示させる。
入力制御部11は、第1の点の位置(マークQ24参照)と、第2の点の位置(マークQ25参照)とを取得した場合、演算部18に第1の点と第2の点との直線距離を演算させる。演算部18は、記憶部9に記憶されている面情報を読み出して、第1の点と第2の点との直線距離を演算する。画像Im6は、演算部18の演算結果を示す画像である。ここでは、演算部18が演算した第1の点と第2の点との直線距離が80nmであるとする。出力制御部12は、演算部18の演算結果(例、[80 (Straight line)])を画像Im6に反映させる。
また、図20に示すように、出力制御部12は、マークQ24とマークQ25とを結ぶ線Q26、及び演算部18の演算結果(例、[80nm])を画像Im5上に表示させる。入力制御部11は、ポインタPが線Q26に配置された状態で右クリックされたことを検出した場合、ウィンドウW2を生成する処理を出力制御部12に実行させる。ウィンドウW2には、[Straight line distance]のボタン、及び[Geodesic distance]のボタンが表示される。[Straight line distance]のボタンには、直線距離を演算することを指定する処理が割り付けられている。[Geodesic distance]のボタンには、測地距離を演算することを指定する処理が割り付けられている。
入力制御部11は、ポインタPが[Geodesic distance]に配置された状態で左クリックされたことが検出された場合に、演算部18に第1の点と第2の点との測地距離を演算させる。演算部18は、記憶部9に記憶されている面情報を読み出して、第1の点と第2の点との測地距離を演算する。ここでは、演算部18の演算した第1の点と第2の点との測地距離が100nmであるとする。出力制御部12は、マークQ24とマークQ25とを結ぶ測地線Q27、及び演算部18の演算結果(例、[100nm])を画像Im5上に表示させる。また、出力制御部12は、演算部18の演算結果を図19の下図に示した画像Im6に反映させる。例えば、出力制御部12は、[Length]の列に[100nm (Geodesic line)]と表示させる。
次に、演算部18によって体積および面積を演算する処理について説明する。図21において、GUI画面Wには、面生成部7Bが生成した面情報を表す画像Im7、及びボタンQ21が表示されている。ボタンQ21には、演算部18による処理の条件を入力情報として取得する処理が割り付けられている。出力制御部12は、GUI情報に基づいて、GUI画面WにボタンQ21を表示させる。入力制御部11は、ポインタPがボタンQ21に配置された状態で左クリックされたことが検出された場合に、出力制御部12によってウィンドウW1を生成させる。
ウィンドウW1には、ボタンQ22、ボタンQ23、及び画像Im6が表示される。ボタンQ23には、演算部18に体積および面積の演算を実行させる処理が割り付けられている。入力制御部11は、ポインタPがボタンQ23に配置された状態で左クリックされたことが検出された場合に、画像Im7における領域AR2(図22参照)を指定する情報を入力情報として受け付ける。
入力制御部11は、ポインタPが画像Im7に配置された状態で左クリックされたことが検出された場合に、ポインタPの位置をユーザが指定する領域の頂点の位置として取得する。入力制御部11は、ポインタPが画像Im7に配置されてドラッグされたことを検出した場合、ポインタPの移動量に基づいて領域AR2を決定する。入力制御部11は、決定した領域AR2において等値面に囲まれる空間(領域)の体積を演算部18に演算させる。演算部18は、記憶部9に記憶されている面情報を読み出して、領域AR2において等値面に囲まれる空間の体積を演算する。また、入力制御部11は、領域AR2における等値面の面積を演算部18に演算させる。等値面の面積は、等値面に囲まれる物体(領域)の表面積に相当する。演算部18は、記憶部9に記憶されている面情報を読み出して、領域AR2における等値面の面積を演算する。
画像Im6は、演算部18の演算結果を示す画像である。ここでは、演算部18が演算した体積が4186nm3であるとする。出力制御部12は、演算部18の演算結果を画像Im6に反映させ、[Volume]の列に[4186]を表示させる。また、出力制御部12は、演算部18の演算結果を画像Im7に反映させ、領域AR2の近傍に[4186nm3]を表示させる。また、演算部18が演算した面積が1256nm2であるとする。出力制御部12は、演算部18の演算結果を画像Im6に反映させ、[Surface area]の列に[1256]を表示させる。
また、図22の下図に示すように、入力制御部11は、ポインタPが領域AR2の外周に配置された状態で右クリックされたことが検出された場合、出力制御部12にウィンドウW3を生成させる。ウィンドウW3には、[Volume]、[Surface area]、及び[Plot centroid position]が表示される。[Volume]には、演算部18が演算した体積を画像Im6に表示する処理が割り付けられている。[Surface area]には、演算部18が演算した面積を画像Im7に表示する処理が割り付けられている。入力制御部11は、ポインタPが[Surface area]に配置された状態で左クリックされたことが検出された場合、領域AR2の近傍に[1256nm2]を表示させる。
また、図23に示すように、入力制御部11は、ポインタPが[Plot centroid position]に配置された状態で左クリックされたことが検出された場合、領域AR2において等値面に囲まれる空間の重心を演算部18に演算させる。演算部18は、記憶部9に記憶されている面情報を読み出して、領域AR2に対応する重心の位置を演算する。出力制御部12は、演算部18が演算した重心に対応する画像Im7上の位置にマークQ31を表示させる。
また、出力制御部12は、領域AR3を指定する情報を受け付ける(図23下図参照)。ユーザは、領域AR2を指定する際と同様にして、領域AR3を指定することができる。入力制御部11は、領域AR3が指定された場合、領域AR2と同様に領域AR3に対応する重心を演算部18に演算させる。出力制御部12は、演算部18が演算した重心に対応する画像Im7上の位置にマークQ32を表示させる。
また、入力制御部11は、図24に示すウィンドウW1を出力制御部12によって生成させる。入力制御部11は、ポインタPがボタンQ22に配置された状態で左クリックされたことが検出された場合、領域AR2に対応する重心(マークQ31)と、領域AR3に対応する重心(マークQ32)との直線距離を演算部18に演算させる。演算部18は、記憶部9に記憶されている面情報を読み出して、重心間の直線距離を演算する。ここでは、演算部18が演算した重心間の直線距離が160nmであるとする。出力制御部12は、マークQ31とマークQ32とを結ぶ線Q33、及び演算部18の演算結果(例、[160nm])を画像Im7上に表示させる。また、出力制御部12は、演算部18の演算結果をウィンドウW1の画像Im6に反映させる。例えば、出力制御部12は、[Length]の列に[160nm (Centroid)]と表示させる。
上述の実施形態において、情報処理装置1は、例えばコンピュータシステムを含む。情報処理装置1は、記憶部9に記憶されている情報処理プログラムを読み出し、この情報処理プログラムに従って各種の処理を実行する。この情報処理プログラムは、コンピュータに、面情報を生成するために用いられる算出条件を設定するための設定画面を表示部に表示させることと、設定画面において設定される算出条件を用いて、点群データに基づいて面情報を生成することと、生成される面情報を表す画像を表示部に表示させることと、を実行させる。また、実施形態に係る情報処理プログラムは、コンピュータに、点群データに基づいて第1のパラメータの第1の算出条件を用いて第1の面情報を生成することと、点群データに基づいて第1のパラメータの第2の算出条件を用いて第2の面情報を生成することと、第1の面情報を表す画像および第2の面情報を表す画像を表示部に表示させることと、を実行させるプログラムでもよい。また、実施形態に係る情報処理プログラムは、コンピュータに、点群データに基づいてスカラー場を算出することと、入力部により入力されるスカラー値を取得することと、取得したスカラー値に基づいてスカラー場の等値面を算出して面情報を生成することと、を実行させるプログラムでもよい。実施形態に係る情報処理プログラムは、コンピュータ読み取り可能な記憶媒体(例、非一時的な記録媒体、non-transitory tangible media)に記録されて提供されてもよい。
[顕微鏡]
次に、実施形態に係る顕微鏡について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図25は、実施形態に係る顕微鏡を示す図である。顕微鏡50は、顕微鏡本体51と、上述の実施形態で説明した情報処理装置1と、制御装置52とを備える。制御装置52は、顕微鏡本体51の各部を制御する制御部53と、画像処理部54とを備える。制御装置52の少なくとも一部は、顕微鏡本体51に設けられてもよい(内蔵されてもよい)。また、制御部53は、情報処理装置1を制御する。制御装置52の少なくとも一部は、情報処理装置1に設けられてもよい(内蔵されてもよい)。
顕微鏡本体51は、蛍光物質を含む試料から放射される蛍光の像を検出する。顕微鏡本体51は、例えば、Single-molecule Localization Microscopy法を利用したSTORM、PALM等である。STORMは、蛍光物質を活性化し、活性化した蛍光物質に対して励起光を照射することにより、複数の蛍光画像が取得する。複数の蛍光画像のデータは、情報処理装置1に入力される。画像生成部13は、各蛍光画像の蛍光物質の位置情報を算出し、算出した複数の位置情報を用いて点群データDGを生成する。また、画像生成部13は、点群データDGを表す点群画像Im1生成する。2次元のSTORMの場合、画像生成部13は、蛍光物質の2次元の位置情報を算出し、複数の2次元データを含む点群データDGを生成する。また、3次元のSTORMの場合、画像生成部13は、蛍光物質の3次元の位置情報を算出し、複数の3次元データを含む点群データDGを生成する。
図26は、実施形態に係る顕微鏡本体を示す図である。顕微鏡本体51は、1種類の蛍光物質で標識(ラベル)された試料の蛍光観察、及び2種類以上の蛍光物質で標識された試料の蛍光観察のいずれにも利用できる。本実施形態では、標識に用いられる蛍光物質(例、レポータ色素)が1種類であるものとする。また、顕微鏡51は、3次元の超解像画像を生成可能である。例えば、顕微鏡51は、2次元の超解像画像を生成するモード、及び3次元の超解像画像を生成するモードを有し、2つのモードを切り替え可能である。
試料は、生きた細胞(ライブセル)を含むものでもよいし、ホルムアルデヒド溶液等の組織固定液を用いて固定された細胞を含むものでもよく、組織等でもよい。蛍光物質は、シアニン(cyanine)染料等の蛍光色素でもよいし、蛍光タンパク質でもよい。蛍光色素は、活性化された状態(以下、活性化状態という)で励起光を受けた場合に蛍光を発するレポータ色素を含む。また、蛍光色素は、活性化光を受けてレポータ色素を活性化状態にするアクティベータ色素を含む場合がある。蛍光色素がアクティベータ色素を含まない場合、レポータ色素は、活性化光を受けて活性化状態になる。蛍光色素は、例えば、2種類のシアニン(cyanine)染料を結合させた染料対(例、Cy3−Cy5染料対(Cy3、Cy5は登録商標)、Cy2−Cy5染料対(Cy2、Cy5は登録商標)、Cy3−Alexa Fluor647染料対(Cy3、Alexa Fluorは登録商標))、1種類の染料(例、Alexa Fluor647(Alexa Fluorは登録商標))である。蛍光タンパク質は、例えばPA−GFP、Dronpaなどである。
顕微鏡本体51は、ステージ102と、光源装置103と、照明光学系104と、第1観察光学系105と、撮像部106とを備える。ステージ102は、観察対象の試料Wを保持する。ステージ102は、例えば、その上面に試料Wを載置可能である。ステージ102は、例えば、XYステージのように試料Wを移動させる機構を有してもよいし、机等のように試料Wを移動させる機構を有さなくてもよい。顕微鏡本体51は、ステージ102を備えなくてもよい。
光源装置103は、活性化光源110a、励起光源110b、シャッタ111a、及びシャッタ111bを備える。活性化光源110aは、試料Wに含まれる蛍光物質の一部を活性化する活性化光Lを発する。ここでは、蛍光物質がレポータ色素を含み、アクティベータ色素を含まないものとする。蛍光物質のレポータ色素は、活性化光Lが照射されることで、蛍光を発することが可能な活性化状態となる。蛍光物質は、レポータ色素およびアクティベータ色素を含むものでもよく、この場合、アクティベータ色素は、活性化光Lを受けた場合にレポータ色素を活性状態にする。なお、蛍光物質は、例えばPA−GFP、Dronpaなどの蛍光タンパク質でもよい。
励起光源110bは、試料Wにおいて活性化された蛍光物質の少なくとも一部を励起する励起光L1を発する。蛍光物質は、活性化状態において励起光L1が照射されると、蛍光を発するか、不活性化される。蛍光物質は、不活性化された状態(以下、不活性化状態という)において活性化光Lが照射されると、再度、活性化状態となる。
活性化光源110aおよび励起光源110bは、例えば、レーザ光源などの固体光源を含み、それぞれ、蛍光物質の種類に応じた波長のレーザ光を発する。活性化光源110aの射出波長、励起光源110bの射出波長は、例えば、約405nm、約457nm、約488nm、約532nm、約561nm、約640nm、約647nmなどから選択される。ここでは、活性化光源110aの射出波長が約405nmであり、励起光源110bの射出波長が約488nm、約561nm、約647nmから選択される波長であるとする。
シャッタ111aは、制御部53により制御され、活性化光源110aからの活性化光Lを通す状態と、活性化光Lを遮る状態とを切り替え可能である。シャッタ111bは、制御部53により制御され、励起光源110bからの励起光L1を通す状態と、励起光L1を遮る状態とを切り替え可能である。
また、光源装置103は、ミラー112、ダイクロイックミラー113、音響光学素子114、及びレンズ115を備える。ミラー112は、例えば、励起光源110bの射出側に設けられる。励起光源110bからの励起光L1は、ミラー112で反射し、ダイクロイックミラー113に入射する。ダイクロイックミラー113は、例えば、活性化光源110aの射出側に設けられる。ダイクロイックミラー113は、活性化光Lが透過し、励起光L1が反射する特性を有する。ダイクロイックミラー113を透過した活性化光Lと、ダイクロイックミラー113で反射した励起光L1は、同じ光路を通って音響光学素子114に入射する。
音響光学素子114は、例えば音響光学フィルタなどである。音響光学素子114は、制御部53に制御され、活性化光Lの光強度および励起光L1の光強度のそれぞれを調整可能である。また、音響光学素子114は、制御部53に制御され、活性化光L、励起光L1のそれぞれについて、音響光学素子114を通る状態(以下、通光状態という)と、音響光学素子114により遮られる状態または強度が低減される状態(以下、遮光状態という)とを切り替え可能である。例えば、蛍光物質がレポータ色素を含みアクティベータ色素を含まない場合、制御部53は、活性化光Lと励起光L1とが同時に照射されるように、音響光学素子114を制御する。また、蛍光物質がレポータ色素およびアクティベータ色素を含む場合、制御部53は、例えば、活性化光Lの照射後に励起光L1を照射するように、音響光学素子114を制御する。レンズ115は、例えばカプラであり、音響光学素子114からの活性化光L、励起光L1を導光部材116に集光する。
なお、顕微鏡本体51は、光源装置103の少なくとも一部を備えなくてもよい。例えば、光源装置103は、ユニット化されており、顕微鏡本体51に交換可能(取り付け可能、取り外し可能)に設けられていてもよい。例えば、光源装置103は、顕微鏡1による観察時などに、顕微鏡本体51に取り付けられてもよい。
照明光学系104は、試料Wに含まれる蛍光物質の一部を活性化する活性化光Lと、活性化された蛍光物質の少なくとも一部を励起する励起光L1とを照射する。照明光学系104は、光源装置103からの活性化光Lと励起光L1とを試料Wに照射する。照明光学系104は、導光部材116、レンズ117、レンズ118、フィルタ119、ダイクロイックミラー120、及び対物レンズ121を備える。
導光部材116は、例えば光ファイバであり、活性化光L、励起光L1をレンズ117へ導く。図1等において、導光部材116の射出端から試料Wまでの光路を点線で示す。レンズ117は、例えばコリメータであり、活性化光L、励起光L1を平行光に変換する。レンズ118は、例えば、活性化光L、励起光L1を対物レンズ121の瞳面の位置に集光する。フィルタ119は、例えば、活性化光Lおよび励起光L1が透過し、他の波長の光の少なくとも一部を遮る特性を有する。ダイクロイックミラー120は、活性化光Lおよび励起光L1が反射し、試料Wからの光のうち所定の波長帯の光(例、蛍光)が透過する特性を有する。フィルタ119からの光は、ダイクロイックミラー120で反射し、対物レンズ121に入射する。試料Wは、観察時に対物レンズ121の前側焦点面に配置される。
活性化光Lおよび励起光L1は、上述のような照明光学系104により、試料Wに照射される。なお、上述した照明光学系104は一例であり、適宜、変更可能である。例えば、上述した照明光学系104の一部が省略されてもよい。また、照明光学系104は、光源装置103の少なくとも一部を含んでいてもよい。また、照明光学系104は、開口絞り、照野絞りなどを備えてもよい。
第1観察光学系105は、試料Wからの光の像を形成する。ここでは、第1観察光学系105は、試料Wに含まれる蛍光物質からの蛍光の像を形成する。第1観察光学系105は、対物レンズ121、ダイクロイックミラー120、フィルタ124、レンズ125、光路切替部材126、レンズ127、及びレンズ128を備える。第1観察光学系105は、対物レンズ121およびダイクロイックミラー120を照明光学系104と共用している。図1などにおいて、試料Wと撮像部106との間の光路を実線で示す。
試料Wからの蛍光は、対物レンズ121およびダイクロイックミラー120を通ってフィルタ124に入射する。フィルタ124は、試料Wからの光のうち所定の波長帯の光が選択的に通る特性を有する。フィルタ124は、例えば、試料Wで反射した照明光、外光、迷光などを遮断する。フィルタ124は、例えば、フィルタ119およびダイクロイックミラー120とユニット化され、このフィルタユニット23は、交換可能に設けられる。フィルタユニット23は、例えば、光源装置103から射出される光の波長(例、活性化光Lの波長、励起光L1の波長)、試料Wから放射される蛍光の波長などに応じて交換してもよいし、複数の励起、蛍光波長に対応した単一のフィルタユニットを利用してもよい。
フィルタ124を通った光は、レンズ125を介して光路切替部材126に入射する。レンズ125から射出された光は、光路切替部材126を通過した後、中間像面105bに中間像を結ぶ。光路切替部材126は、例えばプリズムであり、第1観察光学系105の光路に挿脱可能に設けられる。光路切替部材126は、例えば、制御部53により制御される駆動部(図示せず)によって、第1観察光学系105の光路に挿脱される。光路切替部材126は、第1観察光学系105の光路に挿入された状態において、試料Wからの蛍光を内面反射によって撮像部106へ向かう光路へ導く。
レンズ127は、中間像から射出された蛍光(中間像面105bを通った蛍光)を平行光に変換し、レンズ128は、レンズ127を通った光を集光する。第1観察光学系105は、非点収差光学系(例、シリンドリカルレンズ129)を備える。シリンドリカルレンズ129は、試料Wからの蛍光の少なくとも一部に作用し、蛍光の少なくとも一部に対して非点収差を発生させる。すなわち、シリンドリカルレンズ129などの非点収差光学系は、蛍光の少なくとも一部に対して非点収差を発生させて、非点隔差を発生させる。この非点収差は、試料Wの深さ方向(対物レンズ121の光軸方向)における蛍光物質の位置を算出することに利用される。
シリンドリカルレンズ129は、試料Wと撮像部106(例、撮像素子140)との間の光路に挿脱可能に設けられる。例えば、シリンドリカルレンズ129は、レンズ127とレンズ128との間の光路に挿脱可能である。シリンドリカルレンズ129は、3次元の超解像画像を生成するモード時にこの光路に配置され、2次元の超解像画像を生成するモード時にこの光路から退避される。
本実施形態において、顕微鏡本体51は、第2観察光学系130を備える。第2観察光学系130は、観察範囲の設定などに利用される。第2観察光学系130は、試料Wから観察者の視点Vpに向かう順に、対物レンズ121、ダイクロイックミラー120、フィルタ124、レンズ125、ミラー131、レンズ132、ミラー133、レンズ134、レンズ135、ミラー136、及びレンズ137を備える。
第2観察光学系130は、対物レンズ121からレンズ125までの構成を第1観察光学系105と共用している。試料Wからの光は、レンズ125を通った後に、光路切替部材126が第1観察光学系105の光路から退避した状態において、ミラー131に入射する。ミラー131で反射した光は、レンズ132を介してミラー133に入射し、ミラー133で反射した後に、レンズ134およびレンズ135を介してミラー136に入射する。ミラー136で反射した光は、レンズ137を介して、視点Vpに入射する。第2観察光学系130は、例えば、レンズ135とレンズ137との間の光路に試料Wの中間像を形成する。レンズ137は、例えば接眼レンズであり、観察者は、中間像を観察することにより観察範囲の設定などを行うことができる。
撮像部106は、第1観察光学系105が形成した像を撮像する。撮像部106は、撮像素子140および制御部141を備える。撮像素子140は、例えばCMOSイメージセンサであるが、CCDイメージセンサなどでもよい。撮像素子140は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光電変換素子が配置された構造である。撮像素子140は、例えば、光電変換素子に蓄積された電荷を、読出回路によって読み出す。撮像素子140は、読み出された電荷をデジタルデータに変換し、画素の位置と階調値とを関連付けたデジタル形式のデータ(例、画像のデータ)を出力する。制御部141は、制御部53から入力される制御信号に基づいて撮像素子140を動作させ、撮像画像のデータを制御装置52に出力する。また、制御部141は、電荷の蓄積期間と電荷の読み出し期間を制御装置52に出力する。
制御部53は、制御部141から供給される電荷の蓄積期間と電荷の読み出し期間を示す信号(撮像タイミングの情報)に基づいて、音響光学素子114に、光源装置103からの光を通す通光状態と、光源装置103からの光を遮る遮光状態とを切り替える制御信号を供給する。音響光学素子114は、この制御信号に基づいて、通光状態と遮光状態とを切り替える。制御部53は、音響光学素子114を制御し、試料Wに活性化光Lが照射される期間、及び試料Wに活性化光Lが照射されない期間を制御する。また、制御部53は、音響光学素子114を制御し、試料Wに励起光L1が照射される期間、及び、試料Wに励起光L1が照射されない期間を制御する。制御部53は、音響光学素子114を制御し、試料Wに照射される活性化光Lの光強度および励起光L1の光強度を制御する。
なお、制御部53の代わりに制御部141は、電荷の蓄積期間と電荷の読み出し期間を示す信号(撮像タイミングの情報)に基づいて、音響光学素子114に遮光状態と通光状態とを切り替える制御信号を供給し、音響光学素子114を制御してもよい。
制御部53は、撮像部106を制御し、撮像素子140に撮像を実行させる。制御装置52は、撮像部106から撮像結果(撮像画像のデータ)を取得する。画像処理部54は、撮像画像に写っている蛍光の像の重心を算出することによって、各蛍光画像の蛍光物質の位置情報を算出し、算出した複数の位置情報を用いて点群データDGを生成する。画像処理部54は、2次元のSTORMの場合、画像生成部13は、蛍光物質の2次元の位置情報を算出し、複数の2次元データを含む点群データDGを生成する。また、3次元のSTORMの場合、画像処理部54は、蛍光物質の3次元の位置情報を算出し、複数の3次元データを含む点群データDGを生成する。
画像処理部54は、点群データDGを図24に示した情報処理装置1に出力する。情報処理装置1は、顕微鏡本体51の検出結果から得られる点群データDGを処理する。なお、制御装置52は、撮像部106から撮像結果(撮像画像のデータ)を取得し、取得した撮像結果を情報処理装置1へ出力し、情報処理装置1が点群データDGを生成してもよい。この場合、上述したように、情報処理装置1の画像生成部13は、各蛍光画像の蛍光物質の位置情報を算出し、算出した複数の位置情報を用いて点群データDGを生成する。また、画像生成部13は、点群データDGを表す点群画像Im1生成する。2次元のSTORMの場合、画像生成部13は、蛍光物質の2次元の位置情報を算出し、複数の2次元データを含む点群データDGを生成する。また、3次元のSTORMの場合、画像生成部13は、蛍光物質の3次元の位置情報を算出し、複数の3次元データを含む点群データDGを生成する。
本実施形態に係る観察方法は、試料に含まれる蛍光物質の一部を活性化する活性化光を照射することと、活性化された蛍光物質の少なくとも一部を励起する励起光を照射することと、試料からの光の像を撮像することと、撮像により得られる撮像結果に基づいて、蛍光物質の位置情報を算出することと、算出した位置情報を用いて点群データを生成することと、生成された点群データを実施形態に係る情報処理方法で処理することを含む。例えば、制御部52が顕微鏡本体51を制御することによって、顕微鏡本体51は、蛍光物質を含む試料から放射される蛍光の像を検出する。そして、制御部52は、顕微鏡本体51を制御して、点群データを生成させる。そして、制御部52は、情報処理装置1を制御して、スカラー場を表す関数をフィールド算出部7Aによって算出させる。そして、制御部52は、情報処理装置1を制御して、スカラー場におけるスカラー値を指定する情報を含むユーザの入力情報を、UI部6によって取得させる。そして、制御部52は、情報処理装置1を制御して、入力情報に対応するスカー値の等値面を表す面情報を面生成部7Bに生成させる。
上述の実施形態において、制御部52は、例えばコンピュータシステムを含む。制御部52は、記憶部に記憶されている観察プログラムを読み出し、この観察プログラムに従って各種の処理を実行する。この観察プログラムは、コンピュータに、試料に含まれる蛍光物質の一部を活性化する活性化光を照射する制御と、活性化された蛍光物質の少なくとも一部を励起する励起光を照射する制御と、試料からの光の像を撮像する制御と、撮像により得られる撮像結果に基づいて、蛍光物質の位置情報を算出することと、算出した位置情報を用いて点群データを生成することと、生成された点群データを処理することと、を実行させる。この観察プログラムは、コンピュータ読み取り可能な記憶媒体(例、非一時的な記録媒体、non-transitory tangible media)に記録されて提供されてもよい。
なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の1つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
1・・・情報処理装置、2・・・表示装置(表示部)、3・・・入力装置、6・・・UI部、7・・・フィールド算出部、8・・・面生成部、9・・・記憶部、15・・・処理部、50・・・顕微鏡、51・・・顕微鏡本体、52・・・制御部
本発明の第1の態様によれば、情報処理装置が提供される。情報処理装置は、第1のパラメータの値、及び第2のパラメータの値を用いて、物体の位置情報に基づいて生成された点群データから面情報を生成する画像処理部を備えてよい。情報処理装置は生成された面情報に基づいて面画像を表示部に表示させる表示制御部を備えてよい。画像処理部は、第1のパラメータの複数の値と、第2のパラメータの複数の値とを用いて複数の面情報を生成してよい。表示制御部は、生成された複数の面情報に基づいて複数の面画像を表示部に表示させてよい
本発明の第2の態様によれば、顕微鏡が提供される。顕微鏡は、前述のとおりの情報処理装置を備えてよい。顕微鏡は、試料に含まれる蛍光物質を励起する励起光を照射する照明光学系を備えてよい。顕微鏡は、試料からの光の像を形成する観察光学系を備えてよい。顕微鏡は、観察光学系が形成した像を撮像する撮像部を備えてよい。画像処理部は、撮像部により撮像された結果に基づいて、蛍光物質の位置情報を算出し、算出した位置情報を用いて点群データを生成してよい
本発明の第3の態様によれば、顕微鏡が提供される。顕微鏡は、前述のとおりの情報処理装置を備えてよい。顕微鏡は、試料に含まれる蛍光物質の一部を活性化する活性化光を照射する光学系を備えてよい。顕微鏡は、活性化された蛍光物質の少なくとも一部を励起する励起光を照射する照明光学系を備えてよい。顕微鏡は、試料からの光の像を形成する観察光学系を備えてよい。顕微鏡は、観察光学系が形成した像を撮像する撮像部を備えてよい。画像処理部は、撮像部により撮像された結果に基づいて、蛍光物質の位置情報を算出し、算出した位置情報を用いて点群データを生成してよい
本発明の第4の態様によれば、情報処理方法が提供される。情報処理方法は、第1のパラメータの値、及び第2のパラメータの値を用いて、物体の位置情報に基づいて生成された点群データから面情報を生成し、生成された面情報に基づいて面画像を表示部に表示させる情報処理方法であってよい。情報処理方法は、第1のパラメータの複数の値と、第2のパラメータの複数の値とを用いて複数の面情報を生成することを含んでよい。情報処理方法は、生成された複数の面情報に基づいて複数の面画像を表示部に表示させることを含んでよい
本発明の第5の態様によれば、情報処理プログラムが提供される。情報処理プログラムは、コンピュータに、第1のパラメータの値、及び第2のパラメータの値を用いて、物体の位置情報に基づいて生成された点群データから面情報を生成させ、生成された面情報に基づいて面画像を表示部に表示させる情報処理プログラムであってよい。情報処理プログラムは、第1のパラメータの複数の値と、第2のパラメータの複数の値とを用いて複数の面情報を生成させることを含んでよい。情報処理プログラムは、生成された複数の面情報に基づいて複数の面画像を表示部に表示させることを含んでよい
点群データDGは、例えば、情報処理装置1の外部の装置(以下、外部装置という)から情報処理装置1へ供給される。上記の外部装置は、例えば、後に図25に示す顕微鏡本体51である。上記の外部装置は、顕微鏡本体51でなくてもよい。例えば、上記の外部装置は、物体の内部の各点における値を検出するCTスキャン装置、または物体の形状を測定する測定装置でもよい。また、情報処理装置1は、外部装置から供給されるデータに基づいて点群データDGを生成し、生成した点群データDGを処理してもよい。
また、GUI画面上で左クリックがあったと検出されたとする。GUI画面のボタン上にポインタが置かれている状態で左クリックがあった場合、このボタンに割り付けられた処理を実行することが予め定められている。入力制御部11は、マウスの移動情報に基づいてGUI画面上のポインタの位置を特定し、特定したポインタの位置にボタンがあるか否かを判定する。入力制御部11は、ポインタの位置にボタンがある状態で左クリックされたことが検出された場合に、このボタンに割り付けられた処理を実行させる。
図3は、第1実施形態に係るスカラー場を表す関数を生成する処理を示す図である。図3(A)の上図には、点P1を発生源とする局所場LF1を示した。図3(A)の下図には、y=y1(図3(A)の上図に点線で示す)における局所場LF1の値vの分布を示した。図3(B)の上図には、点P2を発生源とする局所場LF2を示した。図3(B)の下図には、y=y1(図3(B)の上図に点線で示す)における局所場LF2の値vの分布を示した。図3(C)の上図には、点P3を発生源とする局所場LF3を示した。図3()の下図には、y=y1(図3(C)の上図に点線で示す)における局所場LF3の値vの分布を示した。
図3(D)の上図には、局所場LF1から局所場LF3によって形成されるスカラー場FSを示した。スカラー場FSは、局所場LFと局所場LF2と局所場LF3との重ね合わせで表される。図3(D)の下図には、y=y1(図3(D)の上図に点線で示す)におけるスカラー場FSの値vの分布を示した。スカラー場FSの値vは、局所場LF1から局所場LF3のいずれも存在しない領域で0である。スカラー場FSの値vは、局所場LF1から局所場LF3のうち1つの局所場のみが存在する領域で1である。スカラー場FSの値vは、局所場LF1から局所場LF3のうち2つの局所場が重なる領域で2である。スカラー場FSの値vは、局所場LFと局所場LF2と局所場LF3とがいずれも重なる領域で3である。
図7において、スカラー値の組が(2,1,0,0)とし、スカラー値の指定値は1より大きく2よりも小さい値aであるとする。また、格子点P4eと等値線EL5の端P5iとの距離をL1とし、格子点P4fと等値線EL5の端p5iとの距離をL2とする。面生成部7Bは、距離L1と距離L2との比が、格子点P4eのスカラー値(2)と指定値(a)との差と、格子点P4fのスカラー値(1)と指定値(a)との差の比になるように、端P5iの位置を設定する。
出力制御部12は、点群画像Im1のデータを、OS部5を介して表示装置2に出力させる。表示装置2は、OS部5から出力されたデータに基づいて、点群画像Im1を表示する。UI部6は、例えば、点群画像Im1上にポインタPが置かれている状態でドラッグされたことが検出された場合に、視点を変更した点群画像Im1を表示させることができる。
また、UI部6は、ユーザの入力情報として、点群画像Im1上で領域AR1(例、(ROI))を指定する情報を取得する。例えば、UI部6は、ポインタPが点群画像Im1上に置かれている状態で左クリックされたことが検出され場合に、ポインタPの位置に矩形状の領域AR1の頂点を設定する。また、UI部6は、矩形状の領域AR1の頂点を設定した後、ポインタPが点群画像Im1上に置かれている状態でドラッグされたことが検出され場合に、ポインタPの移動先を頂点とする領域AR1を設定する。出力制御部12は、設定された領域AR1を示す画像のデータを、OS部5を介して表示装置2に出力する。表示装置2は、領域AR1を示す画像を点群画像Im1に重ねて表示する。
入力制御部11は、ポインタPがスライダーQ2に置かれている状態でドラッグされたことが検出された場合に、ポインタPの移動量に基づいてスカラー値の指定値を算出する。出力制御部12は、入力ウィンドウQ1に表示される値を、入力制御部11が算出した指定値へ更新する。画像処理部7(例、フィールド算出部7A)は、点群データDGに基づいてスカラー場を算出する。また、画像処理部7(例、面生成部7B)は、上記第1設定部により設定されるスカラー値に基づいてスカラー場の等値面を算出して面情報を生成する。
なお、ユーザは、キーボードを操作することによって、入力情報としてスカラー値の指定値を入力することもできる。例えば、入力制御部11は、ポインタPが入力ウィンドウQ1に置かれている状態で左クリックされたことが検出された場合に、キーボードを用いて入力される数値を取得する。出力制御部12は、入力ウィンドウQ1に表示される値を、キーボードを用いて入力される数値として入力制御部11が取得した値へ更新する。
また、ボタンQ3には、入力ウィンドウQ1に表示させる値を増加または減少させる処理が割り付けられている。入力制御部11は、ポインタPがボタンQ2に置かれている状態で左クリックされたことが検出された回数、又は左クリックされた時間に基づいて、スカラー値の指定値を算出する。出力制御部12は、入力ウィンドウQ1に表示される値を、入力制御部11が算出した指定値へ更新する。
入力制御部11は、ポインタPがスライダーQ5に置かれている状態でドラッグされたことが検出された場合に、ポインタPの移動量に基づいて半径の指定値を算出する。出力制御部12は、入力ウィンドウQ4に表示される値を、入力制御部11が算出した指定値へ更新する。画像処理部7(例、フィールド算出部7A)は、図12に符号Q4、Q5、Q6で示す設定部により設定される局所スカラー場に関する情報(例、[radius[nm]])に基づいて、スカラー場を算出する。
なお、ユーザは、キーボードを操作することによって、入力情報として半径の指定値を入力することもできる。例えば、入力制御部11は、ポインタPが入力ウィンドウQ4に置かれている状態で左クリックされたことが検出された場合に、キーボードを用いて入力される数値を取得する。出力制御部12は、入力ウィンドウQ4に表示される値を、キーボードを用いて入力される数値として入力制御部11が取得した値へ更新する。
また、ボタンQ6には、入力ウィンドウQ4に表示させる値を増加または減少させる処理が割り付けられている。入力制御部11は、ポインタPがボタンQ6に置かれている状態で左クリックされたことが検出された回数、又は左クリックされた時間に基づいて、半径の指定値を算出する。出力制御部12は、入力ウィンドウQ4に表示される値を、入力制御部11が算出した指定値へ更新する。
また、設定画面(例、GUI画面W)は、格子点の間隔に関する情報(例、[resolution])を設定するための設定部(図12に符号Q7、Q8、Q9で示す)を含む。UI部6は、入力情報として、面情報を生成する処理における格子の間隔(例、図10の解像度d)を指定する情報を取得する。例えば、出力制御部12は、入力情報で指定する項目として、解像度dを表す[resolution[nm]]を、GUI画面Wに出力させる。また、出力制御部12は、[resolution[nm]]と表示される位置に対して予め設定された位置に、入力ウィンドウQ7、スライダーQ8、及びボタンQ9を表示させる。出力制御部12は、予め設定された解像度(例、初期値)を入力ウィンドウQ7に表示させる。図12において、予め設定された解像度として[25]が表示されている。
入力制御部11は、ポインタPがスライダーQ8に置かれている状態でドラッグされたことが検出された場合に、ポインタPの移動量に基づいて解像度dの指定値を算出する。出力制御部12は、入力ウィンドウQ7に表示される値を、入力制御部11が算出した指定値へ更新する。入力情報取得部(入力制御部11)は、入力部(入力装置3)により入力される格子点の間隔に関する情報(例、指定された[resolution]の値)を取得する。面生成部7Bは、入力される格子点の間隔に関する情報基づいて、スカラー場を格子点で離散化する。
なお、ユーザは、キーボードを操作することによって、入力情報として解像度dの指定値を入力することもできる。例えば、入力制御部11は、ポインタPが入力ウィンドウQ7に置かれている状態で左クリックされたことが検出された場合に、キーボードを用いて入力される数値を取得する。出力制御部12は、入力ウィンドウQ7に表示される値を、キーボードを用いて入力される数値として入力制御部11が取得した値へ更新する。
また、ボタンQ9には、入力ウィンドウQ7に表示させる値を増加または減少させる処理が割り付けられている。入力制御部11は、ポインタPがボタンQ9に置かれている状態で左クリックされたことが検出された回数、又は左クリックされた時間に基づいて、解像度dの指定値を算出する。出力制御部12は、入力ウィンドウQ9に表示される値を、入力制御部11が算出した指定値へ更新する。
図13は、第1実施形態に係るUI部を用いた設定処理を示す図である。設定画面(例、GUI画面W)は、局所スカラー場を表す関数(例、図13の[Function])に関する情報を設定するための第2設定部(図13に符号Q11、Q12で示す)を含む。入力制御部11は、ポインタPが[Advanced]のボタンに置かれている状態で左クリックされたことが検出された場合に、その他の設定項目を表示させる処理を出力制御部12に実行させる。例えば、出力制御部12は、入力情報で指定する項目として、局所場を表す関数を示す[Function]を、GUI画面Wに出力させる。
なお、設定処理において、スカラー値([iso value])、半径([radius[nm]])および解像度(resolution[nm])の少なくとも一つが設定可能であり、その他のパラメータは予め設定された値(固定値)が用いられてもよい。また、設定処理において、半径([radius[nm]])および解像度(resolution[nm])の一方または双方は設定されてなくてもよい。例えば、面生成部7Bは、半径([radius[nm]])および解像度(resolution[nm])の一方または双方について予め設定された値(例、固定値)を用いて、面情報を生成してもよい。また、設定処理において、スカラー値([iso value])、半径([radius[nm]])、及び解像度(resolution[nm])以外のパラメータが設定されてもよい。
本実施形態において、面生成部7Bは、例えば、複数の算出条件を用いて、面情報を生成する。出力制御部12は、面生成部7Bが生成した面情報を表す画像を表示装置2に表示させる。例えば、入力制御部11は、ポインタPが[Thumbnail]に置かれている状態で左クリックされたことが検出された場合に、面情報を表す画像(後に図14から図16に示す)を出力制御部12によって出力させる(図12、図13参照)。
ユーザは、表示部(表示装置2)に表示された複数の画像(面情報の候補)から画像を選択することで、面情報の生成に関するパラメータとして、選択した画像に対応するパラメータの値を指定することができる。画像処理部7(フィールド算出部7A、面生成部7B)、表示部(表示装置2)に表示された複数の画像から選択された画像に対応するパラメータの値を用いて面情報を生成する。表示制御部(出力制御部12)は、選択された画像に対応するパラメータの値、及び選択された画像に対応するパラメータの値を用いて生成された面情報を表す画像を、表示部(例、図13のGUI画面W)に表示させる。このように、表示制御部(出力制御部12)は、第1の面情報を表す画像、第2の面情報を表す画像、第3の面情報を表す画像および第4の面情報を表す画像を選択可能に表示部(表示装置2)に表示させてもよい。また、表示制御部(出力制御部12)は、表示部(表示装置2)に表示された画像から選択された画像に対応する算出条件を設定画面に表示させてもよい。
上記のスカラー値([iso value])は、点群データDGが表す点集合における点の密度(数密度、粗密)に基づいて設定されてもよい。例えば、STORMによって取得される点群データDGにおいて点の数密度が相対的に高い領域と、点の数密度が相対的に低い領域とが存在する場合がある。このような場合、[iso value]を低くすることで、点の数密度が相対的に高い領域と点の数密度が相対的に低い領域とを検出することができる。また、[iso value]を高くすることで、点の数密度が相対的に低い領域を除去して、点の数密度が相対的に高い領域を検出(抽出)することができる。点の数密度が相対的に低い領域がノイズ領域である場合、[iso value]を高くすることで、ノイズを除去することができる。
なお、図11の点群画像Im1などによって目視で分かる明らかなノイズ(周囲に点の殆ど無い領域)がある場合、点群画像Im1上でノイズの領域を指定すること等によって、ノイズを予め除去することもできる。画像処理部7は、ノイズが除去された後に、面情報を生成してもよい。また、場にフィルタ(例、スムージングフィルタ)を作用させることで、ノイズ付近の場の値を小さくし、ノイズを除去してもよい。
図19から図24は、第2実施形態に係る処理部およびUI部の処理を示す図である。まず、演算部18によって距離を演算する処理について説明する。図19において、GUI画面Wには、面生成部7Bが生成した面情報を表す復元面画像Im5、及びボタンQ21が表示されている。ボタンQ21には、演算部18による処理の条件を入力情報として取得する処理が割り付けられている。出力制御部12は、GUI情報に基づいて、GUI画面WにボタンQ21を表示させる。入力制御部11は、ポインタPがボタンQ21に置かれている状態で左クリックされたことが検出された場合に、出力制御部12によってウィンドウW1を生成させる。
ウィンドウW1には、ボタンQ22、ボタンQ23、及び画像Im6が表示される。ボタンQ22には、演算部18に距離の演算を実行させる処理が割り付けられている。入力制御部11は、ポインタPがボタンQ22に置かれている状態で左クリックされたことが検出された場合に、画像Im5における位置を指定する情報を入力情報として受け付ける。入力制御部11は、ポインタPが画像Im5に置かれている状態で左クリックされたことが検出された場合に、ポインタPの位置をユーザが指定する第1の点の位置として取得する。入力制御部11は、取得したポインタPの位置に、出力制御部12によってマークQ24を表示させる。入力制御部11は、同様にして、ポインタPが画像Im5に置かれている状態で左クリックされたことが検出された場合に、ポインタPの位置をユーザが指定する第2の点の位置として取得する。入力制御部11は、取得したポインタPの位置に、出力制御部12によってマークQ25を表示させる。
また、図20に示すように、出力制御部12は、マークQ24とマークQ25とを結ぶ線Q26、及び演算部18の演算結果(例、[80nm])を画像Im5上に表示させる。入力制御部11は、ポインタPが線Q26に置かれている状態で右クリックされたことを検出した場合、ウィンドウW2を生成する処理を出力制御部12に実行させる。ウィンドウW2には、[Straight line distance]のボタン、及び[Geodesic distance]のボタンが表示される。[Straight line distance]のボタンには、直線距離を演算することを指定する処理が割り付けられている。[Geodesic distance]のボタンには、測地距離を演算することを指定する処理が割り付けられている。
入力制御部11は、ポインタPが[Geodesic distance]に置かれている状態で左クリックされたことが検出された場合に、演算部18に第1の点と第2の点との測地距離を演算させる。演算部18は、記憶部9に記憶されている面情報を読み出して、第1の点と第2の点との測地距離を演算する。ここでは、演算部18の演算した第1の点と第2の点との測地距離が100nmであるとする。出力制御部12は、マークQ24とマークQ25とを結ぶ測地線Q27、及び演算部18の演算結果(例、[100nm])を画像Im5上に表示させる。また、出力制御部12は、演算部18の演算結果を図19の下図に示した画像Im6に反映させる。例えば、出力制御部12は、[Length]の列に[100nm(Geodesic line)]と表示させる。
次に、演算部18によって体積および面積を演算する処理について説明する。図21において、GUI画面Wには、面生成部7Bが生成した面情報を表す画像Im7、及びボタンQ21が表示されている。ボタンQ21には、演算部18による処理の条件を入力情報として取得する処理が割り付けられている。出力制御部12は、GUI情報に基づいて、GUI画面WにボタンQ21を表示させる。入力制御部11は、ポインタPがボタンQ21に置かれている状態で左クリックされたことが検出された場合に、出力制御部12によってウィンドウW1を生成させる。
ウィンドウW1には、ボタンQ22、ボタンQ23、及び画像Im6が表示される。ボタンQ23には、演算部18に体積および面積の演算を実行させる処理が割り付けられている。入力制御部11は、ポインタPがボタンQ23に置かれている状態で左クリックされたことが検出された場合に、画像Im7における領域AR2(図22参照)を指定する情報を入力情報として受け付ける。
入力制御部11は、ポインタPが画像Im7に置かれている状態で左クリックされたことが検出された場合に、ポインタPの位置をユーザが指定する領域の頂点の位置として取得する。入力制御部11は、ポインタPが画像Im7に置かれてドラッグされたことを検出した場合、ポインタPの移動量に基づいて領域AR2を決定する。入力制御部11は、決定した領域AR2において等値面に囲まれる空間(領域)の体積を演算部18に演算させる。演算部18は、記憶部9に記憶されている面情報を読み出して、領域AR2において等値面に囲まれる空間の体積を演算する。また、入力制御部11は、領域AR2における等値面の面積を演算部18に演算させる。等値面の面積は、等値面に囲まれる物体(領域)の表面積に相当する。演算部18は、記憶部9に記憶されている面情報を読み出して、領域AR2における等値面の面積を演算する。
また、図22の下図に示すように、入力制御部11は、ポインタPが領域AR2の外周に置かれている状態で右クリックされたことが検出された場合、出力制御部12にウィンドウW3を生成させる。ウィンドウW3には、[Volume]、[Surface area]、及び[Plot centroid position]が表示される。[Volume]には、演算部18が演算した体積を画像Im6に表示する処理が割り付けられている。[Surface area]には、演算部18が演算した面積を画像Im7に表示する処理が割り付けられている。入力制御部11は、ポインタPが[Surface area]に置かれている状態で左クリックされたことが検出された場合、領域AR2の近傍に[1256nm2]を表示させる。
また、図23に示すように、入力制御部11は、ポインタPが[Plot centroid position]に置かれている状態で左クリックされたことが検出された場合、領域AR2において等値面に囲まれる空間の重心を演算部18に演算させる。演算部18は、記憶部9に記憶されている面情報を読み出して、領域AR2に対応する重心の位置を演算する。出力制御部12は、演算部18が演算した重心に対応する画像Im7上の位置にマークQ31を表示させる。
また、入力制御部11は、図24に示すウィンドウW1を出力制御部12によって生成させる。入力制御部11は、ポインタPがボタンQ22に置かれている状態で左クリックされたことが検出された場合、領域AR2に対応する重心(マークQ31)と、領域AR3に対応する重心(マークQ32)との直線距離を演算部18に演算させる。演算部18は、記憶部9に記憶されている面情報を読み出して、重心間の直線距離を演算する。ここでは、演算部18が演算した重心間の直線距離が160nmであるとする。出力制御部12は、マークQ31とマークQ32とを結ぶ線Q33、及び演算部18の演算結果(例、[160nm])を画像Im7上に表示させる。また、出力制御部12は、演算部18の演算結果をウィンドウW1の画像Im6に反映させる。例えば、出力制御部12は、[Length]の列に[160nm(Centroid)]と表示させる。
図26は、実施形態に係る顕微鏡本体を示す図である。顕微鏡本体51は、1種類の蛍光物質で標識(ラベル)された試料の蛍光観察、及び2種類以上の蛍光物質で標識された試料の蛍光観察のいずれにも利用できる。本実施形態では、標識に用いられる蛍光物質(例、レポータ色素)が1種類であるものとする。また、顕微鏡5は、3次元の超解像画像を生成可能である。例えば、顕微鏡5は、2次元の超解像画像を生成するモード、及び3次元の超解像画像を生成するモードを有し、2つのモードを切り替え可能である。
試料Wからの蛍光は、対物レンズ121およびダイクロイックミラー120を通ってフィルタ124に入射する。フィルタ124は、試料Wからの光のうち所定の波長帯の光が選択的に通る特性を有する。フィルタ124は、例えば、試料Wで反射した照明光、外光、迷光などを遮断する。フィルタ124は、例えば、フィルタ119およびダイクロイックミラー120とフィルタユニット23としてユニット化され、このフィルタユニット23は、交換可能に設けられる。フィルタユニット23は、例えば、光源装置103から射出される光の波長(例、活性化光Lの波長、励起光L1の波長)、試料Wから放射される蛍光の波長などに応じて交換してもよいし、複数の励起、蛍光波長に対応した単一のフィルタユニットを利用してもよい。
制御部53は、撮像部106を制御し、撮像素子140に撮像を実行させる。制御装置52は、撮像部106から撮像結果(撮像画像のデータ)を取得する。画像処理部54は、撮像画像に写っている蛍光の像の重心を算出することによって、各蛍光画像の蛍光物質の位置情報を算出し、算出した複数の位置情報を用いて点群データDGを生成する。画像処理部54は、2次元のSTORMの場合、蛍光物質の2次元の位置情報を算出し、複数の2次元データを含む点群データDGを生成する。また、3次元のSTORMの場合、画像処理部54は、蛍光物質の3次元の位置情報を算出し、複数の3次元データを含む点群データDGを生成する。
本実施形態に係る観察方法は、試料に含まれる蛍光物質の一部を活性化する活性化光を照射することと、活性化された蛍光物質の少なくとも一部を励起する励起光を照射することと、試料からの光の像を撮像することと、撮像により得られる撮像結果に基づいて、蛍光物質の位置情報を算出することと、算出した位置情報を用いて点群データを生成することと、生成された点群データを実施形態に係る情報処理方法で処理することを含む。例えば、制御装置52が顕微鏡本体51を制御することによって、顕微鏡本体51は、蛍光物質を含む試料から放射される蛍光の像を検出する。そして、制御装置52は、顕微鏡本体51を制御して、点群データを生成させる。そして、制御装置52は、情報処理装置1を制御して、スカラー場を表す関数をフィールド算出部7Aによって算出させる。そして、制御装置52は、情報処理装置1を制御して、スカラー場におけるスカラー値を指定する情報を含むユーザの入力情報を、UI部6によって取得させる。そして、制御装置52は、情報処理装置1を制御して、入力情報に対応するスカー値の等値面を表す面情報を面生成部7Bに生成させる。
上述の実施形態において、制御装置52は、例えばコンピュータシステムを含む。制御装置52は、記憶部に記憶されている観察プログラムを読み出し、この観察プログラムに従って各種の処理を実行する。この観察プログラムは、コンピュータに、試料に含まれる蛍光物質の一部を活性化する活性化光を照射する制御と、活性化された蛍光物質の少なくとも一部を励起する励起光を照射する制御と、試料からの光の像を撮像する制御と、撮像により得られる撮像結果に基づいて、蛍光物質の位置情報を算出することと、算出した位置情報を用いて点群データを生成することと、生成された点群データを処理することと、を実行させる。この観察プログラムは、コンピュータ読み取り可能な記憶媒体(例、非一時的な記録媒体、non−transitory tangible media)に記録されて提供されてもよい。

Claims (40)

  1. 面情報を生成するために用いられる算出条件を設定するための設定画面を表示部に表示させる表示制御部と、
    前記設定画面において設定される算出条件を用いて、点群データに基づいて面情報を生成する画像処理部と、を備え、
    前記表示制御部は、前記画像処理部によって生成される面情報を表す画像を前記表示部に表示させる、情報処理装置。
  2. 前記画像処理部は、前記設定画面において第1の算出条件が設定される場合、前記第1の算出条件を用いて前記点群データに基づいて第1の面情報を生成し、
    前記表示制御部は、前記第1の面情報を表す画像を前記表示部に表示させ、
    前記画像処理部は、前記設定画面において第2の算出条件が設定される場合、前記第2の算出条件を用いて前記点群データに基づいて第2の面情報を生成し、
    前記表示制御部は、前記第1の面情報を表す画像に替えて前記第2の面情報を表す画像を前記表示部に表示させる、
    請求項1に記載の情報処理装置。
  3. 前記画像処理部は、前記設定画面において第1の算出条件が設定される場合、前記第1の設定算出条件を用いて前記点群データに基づいて第1の面情報を生成し、
    前記画像処理部は、前記設定画面において第2の算出条件が設定される場合、第2の設定算出条件を用いて前記点群データに基づいて第2の面情報を生成し、
    前記表示制御部は、前記第1の面情報を表す画像と前記第2の面情報を表す画像とを前記表示部に表示させる、
    請求項1に記載の情報処理装置。
  4. 前記設定画面は、スカラー値を設定するための第1設定部を含み、
    前記画像処理部は、前記点群データに基づいてスカラー場を算出し、前記第1設定部により設定されるスカラー値に基づいて前記スカラー場の等値面を算出して面情報を生成する、
    請求項1から請求項3に記載の情報処理装置。
  5. 前記設定画面は、局所スカラー場を表す関数に関する情報を設定するための第2設定部を含み、
    前記画像処理部は、前記第2設定部により設定される関数に関する情報に基づいて、前記点群データの1以上の各点データに基づいて局所スカラー場を生成し、前記局所スカラー場に基づいたスカラー場の等値面を算出して面情報を生成する、
    請求項1から請求項3のいずれか一項に記載の情報処理装置。
  6. 前記関数に関する情報は、関数の種類に関する情報である、
    請求項5に記載の情報処理装置。
  7. 前記関数の種類に関する情報は、各点データからの所定の距離の範囲内において、前記各点データからの距離に対して値が一定である関数と前記各点データからの距離に対して値が連続的に変化する関数と前記各点データからの距離に対して値が減少する関数との少なくとも1つを含む、
    請求項6に記載の情報処理装置。
  8. 前記関数に関する情報は、前記各点データからの距離が閾値以上である領域において値が一定になる関数の前記閾値に関する情報または関数の係数に関する情報である、
    請求項6または請求項7に記載の情報処理装置。
  9. 前記設定画面は、フィルタに関する情報を設定するための第3設定部を含み、
    前記画像処理部は、前記局所スカラー場を重ね合わせ、前記第3設定部により設定されるフィルタに関する情報に基づいてフィルタを作用させる、
    請求項5から請求項8のいずれか一項に記載の情報処理装置。
  10. 前記設定画面は、解像度に関する情報を設定するための第4設定部を含み、
    前記画像処理部は、前記第4設定部により設定される解像度に関する情報に基づいて前記スカラー場を格子点で離散化し、前記格子点のスカラー値を用いて面情報を生成する、
    請求項4から請求項9のいずれか一項に記載の情報処理装置。
  11. 点群データに基づいて面情報を生成する画像処理部と、
    前記画像処理部によって生成された面情報を表す画像を表示部に表示させる表示制御部と、を備え、
    前記画像処理部は、
    第1のパラメータの第1の算出条件を用いて第1の面情報を表す画像を生成し、
    前記第1のパラメータの第2の算出条件を用いて第2の面情報を表す画像を生成し、
    前記表示制御部は、前記第1の面情報を表す画像および前記第2の面情報を表す画像を表示させる、
    情報処理装置。
  12. 前記画像処理部は、
    第2のパラメータの第3の算出条件を用いて第3の面情報を表す画像を生成し、
    第2のパラメータの第4の算出条件を用いて第4の面情報を表す画像を生成し、
    前記表示制御部は、前記第3の面情報を表す画像および前記第4の面情報を表す画像を表示させる、
    請求項11に記載の情報処理装置。
  13. 前記表示制御部は、前記第1の面情報を表す画像、第2の面情報を表す画像、第3の面情報を表す画像および第4の面情報を表す画像を選択可能に前記表示部に表示させ、前記表示部に表示された画像から選択された画像に対応する算出条件を前記設定画面に表示させる、
    請求項12に記載の情報処理装置。
  14. 点群データに基づいてスカラー場を算出するフィールド算出部と、
    入力部により入力されるスカラー値を取得する入力情報取得部と、
    前記入力情報取得部により取得されるスカラー値に基づいて前記スカラー場の等値面を算出して面情報を生成する面生成部と、を備える情報処理装置。
  15. 前記フィールド算出部は、前記点群データの1以上の各点データに基づいて局所スカラー場を生成し、前記局所スカラー場に基づいて前記スカラー場を算出する、
    請求項14に記載の情報処理装置。
  16. 前記局所スカラー場は、前記各点データからの所定の距離の範囲内において、前記各点データからの距離に対して値が段階的に変化する関数である、
    請求項15に記載の情報処理装置。
  17. 前記局所スカラー場は、前記各点データからの所定の距離の範囲内において、前記各点データからの距離に対して値が連続的に変化する関数である、
    請求項15に記載の情報処理装置。
  18. 前記局所スカラー場は、前記各点データからの所定の距離の範囲内において、前記各点データからの距離に対して値が減少する関数である、
    請求項15から請求項17のいずれか一項に記載の情報処理装置。
  19. 前記局所スカラー場は、前記各点データからの距離が閾値以上である領域において値が一定になる関数である、
    請求項15から請求項18のいずれか一項に記載の情報処理装置。
  20. 前記入力情報取得部は、入力部により入力される前記局所スカラー場を表す関数に関する情報を取得し、
    前記フィールド算出部は、前記入力情報取得部により取得された関数に関する情報を用いて、前記スカラー場を算出する、
    請求項15から請求項19のいずれか一項に記載の情報処理装置。
  21. 前記関数に関する情報は、関数の種類に関する情報である、
    請求項20に記載の情報処理装置。
  22. 前記関数に関する情報は、前記各点データからの距離が閾値以上である領域において値が一定になる関数の前記閾値に関する情報または関数の係数に関する情報である、
    請求項20に記載の情報処理装置。
  23. 前記フィールド算出部は、前記局所スカラー場を重ね合わせることにより、前記スカラー場を算出する、
    請求項15から請求項22のいずれか一項に記載の情報処理装置。
  24. 前記フィールド算出部は、前記局所スカラー場を重ね合わせ、フィルタを作用させて、前記スカラー場を表す関数を算出する、
    請求項15から請求項23のいずれか一項に記載の情報処理装置。
  25. 前記入力情報取得部は、入力部により入力される前記フィルタに関する情報を取得し、
    前記フィールド算出部は、前記入力情報取得部によって取得されるフィルタに関する情報を用いて前記スカラー場を算出する、
    請求項24に記載の情報処理装置。
  26. 前記面生成部は、前記スカラー場を格子点で離散化し、前記格子点のスカラー値を用いて面情報を生成する、
    請求項14から請求項25のいずれか一項に記載の情報処理装置。
  27. 前記面生成部は、第1の格子点における前記スカラー場の値と、前記第1の格子点の隣の第2の格子点における前記スカラー場の値との関係に基づいて、前記等値面を算出する、
    請求項26記載の情報処理装置。
  28. 前記入力情報取得部は、入力部により入力される前記格子点の間隔に関する情報を取得し、
    前記面生成部は、前記前記入力情報取得部により取得される前記格子点の間隔に関する情報基づいて、前記スカラー場を格子点で離散化する、
    請求項26または請求項27に記載の情報処理装置。
  29. 前記面生成部が生成した前記面情報を表す画像を表示部に表示させる表示制御部を備える、
    請求項14から請求項28のいずれか一項に記載の情報処理装置。
  30. 前記面生成部が生成した前記面情報を処理する処理部を備える、
    請求項14から請求項29のいずれか一項に記載の情報処理装置。
  31. 前記処理部は、第1の前記等値面に囲まれる領域と第2の等値面に囲まれる領域とで色および明るさの一方または双方が異なる画像を生成する、
    請求項30に記載の情報処理装置。
  32. 前記処理部は、前記等値面に囲まれる領域の断面を表す画像を生成する、
    請求項30または請求項31に記載の情報処理装置。
  33. 前記処理部は、前記等値面の面積と、前記等値面に囲まれる領域の体積と、前記等値面上の2点間の直線距離と、前記等値面上の2点間の測地距離と、指定された第1の前記等値面に囲まれる領域の重心と指定された第2の前記等値面に囲まれる領域の重心との距離との少なくとも1つを演算する、
    請求項30から請求項32のいずれか一項に記載の情報処理装置。
  34. 請求項1から請求項33のいずれか1項に記載の情報処理装置と、
    試料に含まれる蛍光物質の一部を活性化する活性化光を照射する光学系と、
    前記活性化された前記蛍光物質の少なくとも一部を励起する励起光を照射する照明光学系と、
    前記試料からの光の像を形成する観察光学系と、
    前記観察光学系が形成した像を撮像する撮像部と、
    前記撮像部により撮像された結果に基づいて、前記蛍光物質の位置情報を算出し、算出した位置情報を用いて前記点群データを生成する画像処理部と、を備える顕微鏡。
  35. 面情報を生成するために用いられる算出条件を設定するための設定画面を表示部に表示させることと、
    前記設定画面において設定される算出条件を用いて、点群データに基づいて面情報を生成することと、
    前記生成される面情報を表す画像を前記表示部に表示させることと、を含む情報処理方法。
  36. 点群データに基づいて第1のパラメータの第1の算出条件を用いて第1の面情報を生成することと、
    前記点群データに基づいて前記第1のパラメータの第2の算出条件を用いて第2の面情報を生成することと、
    前記第1の面情報を表す画像および前記第2の面情報を表す画像を表示部に表示させることと、を含む情報処理方法。
  37. 点群データに基づいてスカラー場を算出することと、
    入力部により入力されるスカラー値を取得することと、
    前記取得したスカラー値に基づいて前記スカラー場の等値面を算出して面情報を生成することと、を含む情報処理方法。
  38. コンピュータに、
    面情報を生成するために用いられる算出条件を設定するための設定画面を表示部に表示させることと、
    前記設定画面において設定される算出条件を用いて、点群データに基づいて面情報を生成することと、
    前記生成される面情報を表す画像を前記表示部に表示させることと、を実行させる情報処理プログラム。
  39. コンピュータに、
    点群データに基づいて第1のパラメータの第1の算出条件を用いて第1の面情報を生成することと、
    前記点群データに基づいて前記第1のパラメータの第2の算出条件を用いて第2の面情報を生成することと、
    前記第1の面情報を表す画像および前記第2の面情報を表す画像を表示部に表示させることと、を実行させる情報処理プログラム。
  40. コンピュータに、
    点群データに基づいてスカラー場を算出することと、
    入力部により入力されるスカラー値を取得することと、
    前記取得したスカラー値に基づいて前記スカラー場の等値面を算出して面情報を生成することと、を実行させる情報処理プログラム。
JP2020522487A 2018-05-30 2018-05-30 情報処理装置、情報処理方法、情報処理プログラム、及び顕微鏡 Pending JPWO2019229913A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022123501A JP2022174039A (ja) 2018-05-30 2022-08-02 情報処理装置、顕微鏡、情報処理方法及び情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/020865 WO2019229913A1 (ja) 2018-05-30 2018-05-30 情報処理装置、情報処理方法、情報処理プログラム、及び顕微鏡

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022123501A Division JP2022174039A (ja) 2018-05-30 2022-08-02 情報処理装置、顕微鏡、情報処理方法及び情報処理プログラム

Publications (1)

Publication Number Publication Date
JPWO2019229913A1 true JPWO2019229913A1 (ja) 2021-06-17

Family

ID=68698327

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020522487A Pending JPWO2019229913A1 (ja) 2018-05-30 2018-05-30 情報処理装置、情報処理方法、情報処理プログラム、及び顕微鏡
JP2022123501A Pending JP2022174039A (ja) 2018-05-30 2022-08-02 情報処理装置、顕微鏡、情報処理方法及び情報処理プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022123501A Pending JP2022174039A (ja) 2018-05-30 2022-08-02 情報処理装置、顕微鏡、情報処理方法及び情報処理プログラム

Country Status (4)

Country Link
US (1) US11428920B2 (ja)
JP (2) JPWO2019229913A1 (ja)
CN (1) CN112204383A (ja)
WO (1) WO2019229913A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243500A (ja) * 2000-03-01 2001-09-07 Hitachi Eng Co Ltd 三次元点群データ処理装置
JP2006277713A (ja) * 2005-03-01 2006-10-12 Hokkaido Univ 3次元メッシュモデルの特徴稜線抽出装置、プログラム及び方法
US20160125596A1 (en) * 2014-11-03 2016-05-05 Samsung Electronics Co., Ltd. Medical imaging apparatus and method of processing medical image
JP2017010327A (ja) * 2015-06-23 2017-01-12 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20170251191A1 (en) * 2016-02-26 2017-08-31 Yale University Systems, methods, and computer-readable media for ultra-high resolution 3d imaging of whole cells
JP2018011637A (ja) * 2016-07-19 2018-01-25 キヤノン株式会社 画像処理装置および画像処理方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3974105B2 (ja) * 1998-03-13 2007-09-12 株式会社リコー 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US20010055062A1 (en) * 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
US8403828B2 (en) * 2003-07-21 2013-03-26 Vanderbilt University Ophthalmic orbital surgery apparatus and method and image-guide navigation system
US20050142608A1 (en) * 2003-09-22 2005-06-30 Yokogawa Electric Corporation Screening method and device, and new drug screening method and device
US20060265198A1 (en) 2005-03-01 2006-11-23 Satoshi Kanai Apparatus and a method of feature edge extraction from a triangular mesh model
JP4865271B2 (ja) * 2005-08-01 2012-02-01 株式会社キーエンス 共焦点走査型顕微鏡
US7838302B2 (en) 2006-08-07 2010-11-23 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
JP4392507B2 (ja) * 2006-11-08 2010-01-06 国立大学法人東京工業大学 3次元サーフェス生成方法
US8849617B2 (en) * 2007-07-26 2014-09-30 University Of Connecticut Geometric singularity detection
JP5508164B2 (ja) * 2010-06-25 2014-05-28 キヤノン株式会社 撮像装置及びその制御方法
KR20120017649A (ko) * 2010-08-19 2012-02-29 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP2012192077A (ja) * 2011-03-17 2012-10-11 Fujifilm Corp 超音波診断装置および超音波画像生成方法
JP5711039B2 (ja) * 2011-04-27 2015-04-30 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理方法、三次元点群位置データ処理システムおよびプログラム
JP5909055B2 (ja) * 2011-06-13 2016-04-26 株式会社東芝 画像処理システム、装置、方法及びプログラム
US9268915B2 (en) * 2011-09-25 2016-02-23 Theranos, Inc. Systems and methods for diagnosis or treatment
EP3269297B1 (en) * 2012-03-12 2021-05-05 Kabushiki Kaisha Topcon Image displaying apparatus and image displaying method
US9347852B1 (en) * 2013-05-08 2016-05-24 Thomas DiMatteo Microscope illumination diagnostic cube
EP2999414B1 (en) * 2013-05-21 2018-08-08 Camplex, Inc. Surgical visualization systems
WO2014188719A1 (ja) * 2013-05-21 2014-11-27 オリンパス株式会社 光走査ユニット、光走査型観察装置、および光ファイバ走査装置
JP2015072608A (ja) * 2013-10-03 2015-04-16 独立行政法人産業技術総合研究所 状態推定装置及び状態推定方法
JP6617428B2 (ja) * 2015-03-30 2019-12-11 株式会社ニコン 電子機器
US10026202B2 (en) * 2015-10-09 2018-07-17 Institute Of Automation, Chinese Academy Of Sciences Wearable molecular imaging navigation system
EP3382439A4 (en) * 2015-11-27 2019-12-11 Nikon Corporation MICROSCOPE, OBSERVATION METHOD, AND IMAGE PROCESSING PROGRAM
KR101766064B1 (ko) * 2015-11-30 2017-08-08 연세대학교 산학협력단 내부 전반사 형광 현미경
WO2017154705A1 (ja) * 2016-03-09 2017-09-14 株式会社ニコン 撮像装置、画像処理装置、画像処理プログラム、データ構造、及び撮像システム
JP6745173B2 (ja) * 2016-09-06 2020-08-26 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
GB2559157A (en) * 2017-01-27 2018-08-01 Ucl Business Plc Apparatus, method and system for alignment of 3D datasets

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243500A (ja) * 2000-03-01 2001-09-07 Hitachi Eng Co Ltd 三次元点群データ処理装置
JP2006277713A (ja) * 2005-03-01 2006-10-12 Hokkaido Univ 3次元メッシュモデルの特徴稜線抽出装置、プログラム及び方法
US20160125596A1 (en) * 2014-11-03 2016-05-05 Samsung Electronics Co., Ltd. Medical imaging apparatus and method of processing medical image
JP2017010327A (ja) * 2015-06-23 2017-01-12 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20170251191A1 (en) * 2016-02-26 2017-08-31 Yale University Systems, methods, and computer-readable media for ultra-high resolution 3d imaging of whole cells
JP2018011637A (ja) * 2016-07-19 2018-01-25 キヤノン株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
US11428920B2 (en) 2022-08-30
US20210132359A1 (en) 2021-05-06
JP2022174039A (ja) 2022-11-22
WO2019229913A1 (ja) 2019-12-05
CN112204383A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
EP3561766A1 (en) Information processing device, image processing device, microscope, information processing method, and information processing program
CN110214290A (zh) 显微光谱测量方法和系统
WO2019229912A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び顕微鏡
JP6147080B2 (ja) 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
EP2804145B1 (en) Microscope system and stitched area decision method
JP2015503128A (ja) ラベルを使用しない高コントラストの細胞イメージングのための定量位相顕微鏡法
JP4700299B2 (ja) 共焦点走査型顕微鏡
JPWO2020066041A1 (ja) 顕微鏡システム
JPWO2020066042A1 (ja) 顕微鏡システム、投影ユニット、及び、画像投影方法
JP6362062B2 (ja) 画像生成装置および画像生成方法
US11906431B2 (en) Microscope apparatus
JP2015057682A (ja) 画像生成装置および画像生成方法
JP6760477B2 (ja) 細胞観察装置
JP7030986B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JPWO2019229913A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び顕微鏡
US9726875B2 (en) Synthesizing light fields in microscopy
JP5119111B2 (ja) 顕微鏡装置
JP2015191362A (ja) 画像データ生成装置および画像データ生成方法
JP7015144B2 (ja) 画像処理装置および顕微鏡システム
CN115480385A (zh) 手术显微镜系统及其成像方法
JP6832165B2 (ja) 観察システム
JP2022506170A (ja) サンプル領域を画像化するための顕微鏡システムおよび相応する方法
US20230230268A1 (en) Image display method, image display device and recording medium
Maity et al. Real time imaging of the detection volume of a confocal microscope
JP2007024801A (ja) 顕微鏡制御装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221213