JP6261443B2 - 分光情報を処理する情報処理装置及び情報処理方法 - Google Patents
分光情報を処理する情報処理装置及び情報処理方法 Download PDFInfo
- Publication number
- JP6261443B2 JP6261443B2 JP2014100829A JP2014100829A JP6261443B2 JP 6261443 B2 JP6261443 B2 JP 6261443B2 JP 2014100829 A JP2014100829 A JP 2014100829A JP 2014100829 A JP2014100829 A JP 2014100829A JP 6261443 B2 JP6261443 B2 JP 6261443B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- dimensional
- feature
- region
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003595 spectral effect Effects 0.000 title claims description 79
- 230000010365 information processing Effects 0.000 title claims description 45
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims description 26
- 238000001069 Raman spectroscopy Methods 0.000 claims description 18
- 238000001228 spectrum Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 230000006870 function Effects 0.000 description 27
- 238000005259 measurement Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 210000003855 cell nucleus Anatomy 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000001237 Raman spectrum Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 210000000805 cytoplasm Anatomy 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000004611 spectroscopical analysis Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 125000000524 functional group Chemical group 0.000 description 2
- 238000004949 mass spectrometry Methods 0.000 description 2
- 230000002269 spontaneous effect Effects 0.000 description 2
- 238000001774 stimulated Raman spectroscopy Methods 0.000 description 2
- YZCKVEUIGOORGS-OUBTZVSYSA-N Deuterium Chemical compound [2H] YZCKVEUIGOORGS-OUBTZVSYSA-N 0.000 description 1
- 238000004566 IR spectroscopy Methods 0.000 description 1
- 238000004847 absorption spectroscopy Methods 0.000 description 1
- 210000002469 basement membrane Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 229910052805 deuterium Inorganic materials 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 210000003000 inclusion body Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000002037 sum-frequency generation spectroscopy Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000000870 ultraviolet spectroscopy Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/65—Raman scattering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/44—Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N2021/6417—Spectrofluorimetric devices
- G01N2021/6423—Spectral mapping, video display
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Description
本発明は、分光情報を処理する情報処理装置及び情報処理方法に関する。
ラマン散乱分光法などの分光法により生体組織に含まれる細胞核、細胞質、線維といった構造物の二次元分布を可視化する分光顕微鏡が開発されている。分光顕微鏡によれば、構造物の形態情報に加え、構造物に含まれる分子に由来する分光情報が得られる。これらの情報から、生体組織の構造物を無染色で判別することが可能である。ただし、二次元分布は特定断面における情報しか含まないため、構造物の判別をより高い精度で行うには、構造物の形態情報が不十分な場合がある。これを解決するため、分光情報の三次元分布を得ることを目的とした三次元の分光計測が行われている。三次元の分光計測は、例えば、多数の隣接切片について二次元分布を得た後、それらを再構成することにより行ってもよいし、試料の複数のZスタック画像(複数のZ位置の異なる画像)を取得することにより行ってもよい。三次元分布の画像は、二次元分布の画像では得られない立体形状の情報を有するため、構造物をより高い精度で判別できる。
分光情報の三次元分布の画像の解析において、分光顕微鏡ユーザーは、三次元分布の画像の中から特徴領域を指定し、その特徴領域の三次元形状及び分光情報(波長、信号強度、スペクトルなど)に基づいて、構造物の判別を行う。
分光情報の三次元分布の画像を対象に、特徴領域の指定を支援する技術が開示されている。特許文献1は、発光源の三次元領域を特徴領域として特定し表示するシステムを開示している。特許文献1によれば、試料の内部に存在する発光源の三次元位置情報が、分光スペクトルを用いて自動的に計算されるため、発光源の指定が容易になる。特許文献2は、標品の分光スペクトルを参照し、試料の中からこれと類似する分光スペクトルを有する領域を特徴領域として表示するシステムを開示する。
分光顕微鏡で得られる三次元分布の画像を解析する際、特徴領域を指定する操作が煩雑であり、しばしば解析を困難にする。これは、三次元分布の画像が、ディスプレイ画面上に二次元投影画像として表示されるためである。ユーザーは三次元分布が本来有する奥行き情報を視覚的に認識し難く、その結果、ユーザーの意図する特徴領域を指定し、分光情報を得ることが難しくなる。
特許文献1に記載のシステムは、構造物が発光分子を含む場合にのみ有効であり、よってほとんどの構造物の判別に適用できない。また、特許文献1に記載のシステムにおいて表示される分光スペクトルは、三次元分布画像が二次元平面に投影された全データの積算されたスペクトルである。すなわち、その分光スペクトルは、特定の三次元位置における特徴領域のみではなく、特徴領域以外の領域の情報が混入したスペクトルである。したがって、特許文献1は、構造物の判別を目的とした解析に適用し難い。
特許文献2に記載のシステムは、ユーザーが任意の領域を指定し、その領域の中に存在する特徴領域の分光情報を確認する、といった詳細な解析には用いることができない。
そこで、本発明は、分光情報の三次元分布の画像において特徴領域を容易に指定できるように、その三次元分布のデータを処理する情報処理装置を提供することを目的とする。
その目的を達成するために、本発明の一側面としての情報処理装置は、分光情報を処理する情報処理装置であって、分光情報の三次元分布のデータを取得するデータ取得手段と、前記分光情報の三次元分布のデータから二次元画像のデータを生成する生成手段と、前記二次元画像を表示手段に表示する表示制御手段と、前記二次元画像のうちのユーザーが選択した二次元領域の位置情報を取得する情報取得手段と、前記分光情報の三次元分布のうちの前記二次元領域に対応する三次元領域から、所定の特徴条件を満たす特徴領域を、抽出する抽出手段と、を備えることを特徴とする。
本発明の情報処理装置によれば、分光情報の三次元分布の画像において特徴領域を容易に指定できる。
本発明のその他の側面については、以下で説明する実施の形態で明らかにする。
以下に、本発明の好ましい実施形態を添付の図面に基づいて詳細に説明する。尚、本実施形態では、分光法により得られる、波長情報を含むデータの処理を主に説明するが、本発明において、データ取得方法は限定されず、質量分析法であってもよい。すなわち本発明の分光情報は、質量情報および各質量での信号強度を含んでよい。本発明の装置は、質量情報を波長情報と同様に取扱うことで、本実施形態に記載するデータ処理と同様にして質量分析データを処理できる。図1は、本実施形態の顕微鏡システム100の図である。顕微鏡システム100は、分光顕微鏡4と、処理装置1と、表示装置2と、入力装置3と、を備える。
分光顕微鏡4は、試料の分光情報を取得する測定装置である。分光顕微鏡4は、分光情報の三次元分布のデータを取得する。分光顕微鏡4としては、例えば、ラマン分光顕微鏡を用いることができる。分光顕微鏡4の詳細については後述する。
処理装置1は、分光顕微鏡4で取得した分光情報を処理する情報処理装置である。処理装置1は、分光情報の処理を行う装置であれば特に制限はなく、専用の装置でもよく、汎用的なパーソナルコンピュータ(PC)でもよい。PCの場合は、分光顕微鏡4の制御部を兼ねてもよいし、解析専用であってもよい。処理装置1の詳細については後述する。
表示装置2は、ユーザーに入力を求めるための画面表示を行うとともに、処理装置1で生成された二次元画像を表示する装置である。表示装置2は、二次元表面を有するディスプレイであれば特に制限はなく、一般的なPC用のディスプレイでもよい。また、表示装置2は、PCのマルチモニターなどのように、複数の表示デバイスから構成されても良い。各々の表示デバイス上に表示する、ユーザー入力のための画像、二次元画像、または、情報等を表示するためのオブジェクトは、ユーザーが自由に設定することができる。
入力装置3は、キーボード、マウス、専用コントローラ(例えばトラックボール、タッチパッド)など各種の指示を入力することのできるデバイスにより構成される。ユーザーは処理装置1の動作を制御する情報を入力装置3により入力する。また、入力装置3は、表示装置2に表示された画像や情報に基づいて、ユーザーがデータの選択およびデータの解析を行うための信号を処理装置1に入力するための装置である。
まず、分光顕微鏡4の詳細について図9を用いて説明する。図9は、本実施形態の分光顕微鏡4の図である。
分光顕微鏡4は、試料910の分光情報(分光スペクトル)を取得する装置であり、光源901、ステージ903、光学系902、検出器904、制御部905、分光素子911を有する。
光源901は、試料910を照明するための電磁波を発生する。光源901は、波長可変光源でも良いし、広帯域の波長の電磁波を放射する白色光源でも良い。具体的には、ハロゲンランプ、重水素ランプ、赤外線ランプ、レーザー、発光ダイオード等を使用することができる。また、これらを組み合わせて使用しても良い。光源901からの光は、光学系902で適当に整形され、ステージ903に保持された試料910に入射する。
ステージ903は、試料910を保持し且つ移動する。ステージ903が移動することで試料910における測定領域が変わる。なお、測定領域は、光学系902を調整することにより変えることもできる。ステージ903は、光軸に垂直な方向(XY方向)だけでなく、光軸に平行な方向(Z方向)にも移動可能に構成されている。ステージ903をZ方向に移動することで、所謂、複数のZスタック画像を取得することができ、分光情報の三次元分布を取得することが可能となる。
検出器904は、電磁波を検知することで信号を出力する検出器であり、例えばフォトダイオードなどの半導体検出器を用いることができる。フォトダイオードを用いた場合には、各測定領域からの光を検出することで、各測定領域を1画素とする、測定領域全域に対応する画像を得ることができる。または、検出器904としてCCD又はCMOS型等のエリアセンサー、ラインセンサー等を用いる場合、測定領域を変更しなくても、センサの画素を1画素とする、測定領域全域に対応する画像を得ることもできる。
分光素子911は、検出器904と試料910との間に配置されている。光源901が白色光源である場合には、分光素子911の透過波長を変化させながら検出器904で複数回検出することで、各画素において分光情報を測定することができる。なお、光源901が波長可変光源である場合には、分光素子911を使用する必要はない。光源901の波長を変化させながら検出器904で複数回検出することで、各画素において分光情報を測定することができる。
制御部905は、光源901、ステージ903、分光素子911、検出器904の制御を行う。制御部905は、ステージ903の位置情報を取得し、それを分光情報と関連づけて、分光情報の三次元分布のデータを生成する。また、検出器904がエリアセンサーである場合、制御部905は、センサの各画素の位置情報を取得し、それを分光情報と関づけて、分光情報の三次元分布データを生成する。制御部905は、分光情報の三次元分布のデータを処理装置1に送る。
次に、処理装置1の詳細について図2及び図3を用いて説明する。図2は処理装置1の内部構成を示す図である。
CPU201はメインメモリ202に格納されているプログラムやデータを用いて処理装置1全体の制御を行う。またCPU201は、後述する演算処理、データ処理等を行う。
メインメモリ202は記憶装置230からロードされたプログラムやデータ、他のコンピュータシステム240からネットワークI/F(インターフェース)204を介してダウンロードしたプログラムやデータを一時的に記憶するエリアを備える。またメインメモリ202は、CPU201が各種の処理を行うために必要とするワークエリアを備える。なお、処理装置1には、ハードディスクや光学ドライブ、フラッシュメモリ等の記憶装置230、ネットワークI/F204を通じてアクセスできる他のコンピュータシステム240が接続されている。図2では記憶装置230は処理装置1の外部に存在するが、処理装置1に内蔵しても良い。
I/O205は入力装置3を介して入力された各種の指示等をCPU201に通知するためのポートである。
記憶装置230はハードディスクなどの大容量情報記憶装置であり、OS(オペレーティングシステム)や後述する処理をCPU201に実行させるための情報処理プログラムや分光情報などを記憶する。記憶装置230への情報の書き込みや記憶装置230からの情報の読み出しはI/O206を介して行われる。
表示制御部207は画像や文字等を表示装置2に表示させるための制御を行う。
I/F208には、分光顕微鏡4のセンサの出力信号(分光顕微鏡4が取得した試料の分光情報)を取り込むための外部インターフェースが接続されてよい。なおインターフェースとしてはUSB、IEEE1394などのシリアルインターフェースやカメラリンクなどのインターフェースを使うことができる。または、I/F208をA/D変換インターフェースとし、分光顕微鏡4のセンサの出力信号を同軸ケーブル等によって入力してもよい。これらのI/F208を通じて分光顕微鏡4が接続される。
演算処理ボード203は、画像処理など特定の演算機能が強化されたプロセッサおよびバッファメモリを備えている。以降の説明では演算処理、データ処理等にはCPU201を、メモリ領域としてメインメモリ202を用いるとして説明するが、演算処理ボード内のプロセッサやバッファメモリを用いることも可能であり、本発明の範疇とする。
なお、処理装置1では、コンピュータプログラムである情報処理プログラムが実行される。この情報処理プログラムは処理装置1の内部記憶装置または外部記憶装置に格納されている。後述する情報処理に関わる機能はこの情報処理プログラムによって提供されるものであり、情報処理プログラムの各機能は画像表示アプリケーションを介して呼び出す(利用する)ことができる。情報処理プログラムの処理結果(例えば抽出された特徴領域の画像)は、画像表示アプリケーションを介して、ユーザーに提示される。
図3は処理装置1の機能ブロック図である。
データ取得部308は、分光顕微鏡4で取得した分光情報の三次元分布のデータを取得する。情報取得部305は、ユーザーが入力装置3で入力した情報(信号)を取得する。生成部330は、データ取得部308で取得した分光情報の三次元分布のデータ、及び、情報取得部305で取得したユーザーの指示、に基づいて、二次元画像(表示画像)のデータを生成する。抽出部340は、後述するように、データ取得部308で取得した分光情報の三次元分布のデータ、及び、情報取得部305で取得したユーザーの指示、に基づいて、分光情報の三次元分布から特徴領域を抽出する。表示制御部307は、生成部330で生成した表示画像、及び、抽出部340で抽出された特徴領域の画像を表示装置2に表示するための制御を行う。
図4は、本実施形態の情報処理方法を示すフローチャートである。以下、図4の各ステップについて説明する。
<分光情報の取得及び記憶:S410>
処理装置1のCPU201(データ取得部)は、試料を分光顕微鏡4で三次元分光計測することで得られる、三次元位置情報および各位置での分光情報を1データとする1以上のデータを記憶装置230に記憶する。さらにCPU201(データ取得部)は、互いの三次元位置情報の相対的な関連付けの行われたデータ群を1データセットとする1以上のデータセットを記憶装置230に記憶する。CPU201は、入力装置3によるユーザーの入力に基づき、三次元分布の画像を構成するための1以上のデータセットを指定する。
処理装置1のCPU201(データ取得部)は、試料を分光顕微鏡4で三次元分光計測することで得られる、三次元位置情報および各位置での分光情報を1データとする1以上のデータを記憶装置230に記憶する。さらにCPU201(データ取得部)は、互いの三次元位置情報の相対的な関連付けの行われたデータ群を1データセットとする1以上のデータセットを記憶装置230に記憶する。CPU201は、入力装置3によるユーザーの入力に基づき、三次元分布の画像を構成するための1以上のデータセットを指定する。
本実施形態における分光情報は、波長情報と、各波長における信号強度を含むものであれば特に制限はなく、例えば、分光スペクトル、特定の波長における信号強度等である。また、分光情報の三次元分布のデータは、分光顕微鏡4で三次元分光計測することにより得られた未処理のデータでもよく、処理済のデータでもよい。例えば、波長のキャリブレーション又は信号強度の規格化といった処理や、主成分分析(PCA)や独立主成分分析(ICA)や判別分析などの多変量解析法、または機械学習による処理が施されたデータでもよい。
本実施形態における三次元分光計測は、三次元位置情報を分光顕微鏡4から自動で収集してもよく、ユーザーが手動で三次元位置情報を記録してもよい。後者の場合、処理装置1を用いて、ユーザーが記録した三次元位置情報を、各分光情報に割り当てることにより、1以上のデータを手動で作成できる。加えて、処理装置1を用いて、ユーザーが記録した相対的に関連付けられた三次元位置情報を、各データに割り当てることにより、1以上のデータセットを手動で作成できる。
分光情報の取得に使用される分光顕微鏡に、特に制限はない。分光顕微鏡が使用する分光方法の例として、赤外分光法、自発ラマン分光法、紫外/可視分光法などが挙げられる。加えて、非線形光学現象を利用した、和周波発生分光、多光子吸収分光、非線形ラマン散乱分光法が例として挙げられる。非線形ラマン散乱顕微鏡では、二波長のレーザー光を試料に入射して、レーザー光の周波数差が試料の分子振動の周波数と一致するとき、集光点において特異的に散乱が生じる非線形ラマン散乱現象を利用し、散乱光の強度変化を検出する。入射レーザー光の波長を変化させて、試料上を走査することによって、ラマンスペクトルの空間分布情報、即ちラマンスペクトル画像を得ることができる。非線形ラマン散乱現象によれば、自発ラマン現象を用いる場合に比べて格段に強い信号が得られ、特に高速画像取得に有効であるため、好ましく用いることができる。非線形ラマン散乱分光法は、誘導ラマン散乱分光法やコヒーレント・反ストークスラマン散乱分光法などが挙げられるが、定量性の観点から、誘導ラマン散乱分光法をより好ましいく用いることができる。
なお、波長情報は、波長(nm)であってもよく、波数(cm−1)であってもよく、エネルギーであってもよい。また、ラマン分光法の場合には、ラマンシフト(cm−1)であってもよい。 <第1の三次元分布画像の生成:S420>
処理装置1のCPU201により、指定されたデータセットに基づいて第1の三次元分布画像が生成される。第1の三次元分布画像は、三次元の各位置に分光情報を関連づけたものである。分光情報のうち一部の情報のみ(例えば、特定の波長の信号強度のみ、特定の主成分スコアのみ等)を関連づけることもできるが全部の情報を関連づけてもよい。
処理装置1のCPU201により、指定されたデータセットに基づいて第1の三次元分布画像が生成される。第1の三次元分布画像は、三次元の各位置に分光情報を関連づけたものである。分光情報のうち一部の情報のみ(例えば、特定の波長の信号強度のみ、特定の主成分スコアのみ等)を関連づけることもできるが全部の情報を関連づけてもよい。
<第2の三次元分布画像の生成:S430>
処理装置1のCPU201により生成された第1の三次元分布画像は、同じくCPU201により座標変換が行われ、第2の三次元分布画像が生成される。本実施形態では、第1の三次元分布画像の座標軸をXYZ、第2の三次元分布画像の座標軸をPQR、とそれぞれ表記する。
処理装置1のCPU201により生成された第1の三次元分布画像は、同じくCPU201により座標変換が行われ、第2の三次元分布画像が生成される。本実施形態では、第1の三次元分布画像の座標軸をXYZ、第2の三次元分布画像の座標軸をPQR、とそれぞれ表記する。
この座標変換について、図5を用いて説明する。
図5(a)のごとく、第1の三次元分布画像40が座標軸XYZを有するとき、第1の三次元分布画像40を構成する点5は、座標軸XYZにおける位置情報(x,y,z)を有する。一方、図5(b)(c)の、座標変換され生成された第2の三次元分布画像6は座標軸PQRを有し、点7は座標軸PQRにおける位置情報(p,q,r)を有する。ここで、座標軸PQのそれぞれは、表示装置2の画面を含む平面における互いに垂直な2つの軸に相当する。図5(c)は、PQ平面を側面より概観した模式図であり、座標軸Rは、図5(c)のごとく、表示装置2の画面の奥行方向の軸に相当する。なお、座標軸Rは、図5(b)においては紙面に垂直な方向であるため図示されず、また同様に座標軸Pは図5(c)で図示されない。座標変換の方法は特に限定されない。例えば、処理装置1は、座標軸Xと座標軸P、座標軸Yと座標軸Q、座標軸Zと座標軸Rそれぞれのなす角と、必要に応じ拡大縮小を行うための係数を用いて、一般的なベクトル計算により座標変換を行う。なお、その係数は、座標軸XYZ上の各点の相対的な位置関係を保持するために、3つの座標軸ですべて同じ値とする。座標変換された点7は、座標軸XYZにおける三次元位置情報(x,y,z)および座標軸PQRにおける三次元位置情報(p,q,r)の双方を有する。
画像に含まれる全てのデータ点が、点7と同様にして座標変換され、算出される座標軸PQRにおける位置情報が各データに付与される。以上により、座標変換後の各データは、座標軸XYZにおける三次元位置情報および座標軸PQRにおける三次元位置情報の双方を有する。
<二次元投影画像の生成及び表示:S440>
第2の三次元分布画像は、更に、処理装置1のCPU201(生成部)により、二次元平面上に投影され、二次元投影画像が生成される。二次元投影画像は、表示装置2の画面に表示される。二次元投影画像の各データ点には、例えば、信号強度が表示される。信号強度の表示方法は特に限定されないが、例えば、信号強度に応じ異なる色彩や色調が各データ点に着色される。
第2の三次元分布画像は、更に、処理装置1のCPU201(生成部)により、二次元平面上に投影され、二次元投影画像が生成される。二次元投影画像は、表示装置2の画面に表示される。二次元投影画像の各データ点には、例えば、信号強度が表示される。信号強度の表示方法は特に限定されないが、例えば、信号強度に応じ異なる色彩や色調が各データ点に着色される。
二次元投影画像は、第2の三次元分布画像をPQ平面からR軸方向に見る画像に相当する。すなわち、二次元投影画像は、第2の三次元分布画像における各点のR座標を0として表示する画像に相当する。ここで、三次元分布画像上の同じPQ座標位置でのR軸上に、複数のデータ点が存在する場合、R軸方向に見て最も手前側に位置する点が優先されて表示される。又は、各データ点の着色方法として色の透過率を設定することにより、R軸上でより信号強度の強いデータ点を強調して表示させることもできる。
二次元投影画像の各座標位置には、第2の三次元分布画像のデータが、付与される。具体的には、二次元投影画像上の各PQ座標位置に、第2の三次元分布画像の各PQ座標位置でのR軸上に存在する全データ点の情報が格納される。すなわち、二次元投影画像上のPQ座標における各点は、座標軸PQにおける二次元位置情報(p,q)とともに、座標軸PQRにおける三次元位置情報(p,q,r)と、座標軸XYZにおける三次元位置情報(x,y,z)と、分光情報と、を含む。PQ座標における各点に含まれるデータ点数は0でもよく、1でもよく、複数でもよい。
二次元投影画像の表示について、図6および図7を用いて説明する。
図6(a)および図6(b)は、第1の三次元分布画像が第2の三次元分布画像へと変換された後の画像の模式図である。第2の三次元分布画像8は、点O、A、B、Cそれぞれをつなぐ線分を構成するデータ点を含み、面ABCは平面PQと平行であり、線分ABは座標軸Pと平行であるとする。このとき、座標軸PQRの点を(p,q,r)とするとき、点A、B、Cはr=0である一方、点Oは、図6(b)に図示するごとく、r=r0、すなわちR軸方向の特定位置に位置する点である。
図7(a)は、図6の第2の三次元分布画像8をPQ平面に投影し、二次元投影画像9を表示装置2の画面10上に表示する例を示す。また、図7(b)は、図7(a)の側面を概観した模式図である。なお、実際の画面表示は平面のみであるため、図7(b)は仮想的に示される図である。図6で点Oのみ0でない軸Rの点であったが、投影後は図7(b)のごとくr=0として画像が生成され、表示装置2の画面上に表示される。ただし、図7(a)のごとく、点Oに格納されているPQR座標のデータ自体は書き換えられない。
なお、表示される二次元投影画像について、入力装置3を用いて操作することにより、表示される座標軸XYZの方向あるいは画像の大きさのレンジを任意に調整してよい。調整された画像に基づき、再度各データの座標軸PQR上の三次元位置情報(p,q,r)が計算され、更新されてよい。表示される座標軸XYZの方向又は画像の大きさのレンジの調整は、入力装置3の割りつけられた機能により行うことができる。例えば、入力装置3がマウスである場合には、左ボタンのクリックおよびドラッグにより画像が回転または並進をし、またホイール部の回転により画像が拡大および縮小する、といった機能をマウスに割りつけることができる。入力装置3の別の例としては、画像方向の回転、並進、拡大、縮小の機能を有するトラックボールでもよい。
また、生成され表示される二次元投影画像の数は1つでもよく、複数でもよい。複数の場合は、PQ平面に投影した二次元投影画像ほかに、例えばPQ平面の側面であるRQ平面、PQ平面の底面であるPR平面にそれぞれ投影した二次元投影画像が挙げられる。加えて、PQ平面、RQ平面、PR平面について各平面の垂直方向と逆方向から見た平面((−P)Q平面、(−R)Q平面、P(−R)平面)にそれぞれ投影した二次元投影画像が挙げられる。第三角法においてPQ平面を正面図とする場合、残り5平面は、それぞれ右側面図、平面図、背面図、左側面図、下面図、に相当する。複数の二次元投影画像の別の例としては、表示される座標軸XYZの方向あるいは画像の大きさのレンジが複数に調整されて、PQ平面に表示される二次元投影画像が挙げられる。以上のような複数の二次元投影画像を得ることで、三次元データを多面的に可視化できるため、以降に記述する平面領域の選択(S450)や第2特徴領域の選択(S470)がより適切に行える。
<二次元投影画像内の平面領域の選択:S450>
三次元分布画像の特徴領域を検索する範囲を選択する目的で、表示装置2の画面に表示される二次元投影画像に対し、ユーザーが入力装置3を使用することにより、PQ座標平面内における平面領域(二次元領域)が選択される。表示される二次元投影画像数が複数ある場合には、ユーザーは入力装置3を使用し、該複数の画像の中から平面領域を選択するための画像を任意に選択できる。この場合、選択された画像は、平面領域を選択する操作を行える状態であることを示すため強調されて表示されてよい。強調の方法は、記号や枠線の付与が例として挙げられるが、特に限定されない。本実施形態では、特徴領域の検索を行うため入力される平面領域の位置情報を、領域選択情報とよぶ。
三次元分布画像の特徴領域を検索する範囲を選択する目的で、表示装置2の画面に表示される二次元投影画像に対し、ユーザーが入力装置3を使用することにより、PQ座標平面内における平面領域(二次元領域)が選択される。表示される二次元投影画像数が複数ある場合には、ユーザーは入力装置3を使用し、該複数の画像の中から平面領域を選択するための画像を任意に選択できる。この場合、選択された画像は、平面領域を選択する操作を行える状態であることを示すため強調されて表示されてよい。強調の方法は、記号や枠線の付与が例として挙げられるが、特に限定されない。本実施形態では、特徴領域の検索を行うため入力される平面領域の位置情報を、領域選択情報とよぶ。
平面領域を選択するための画像の選択、および領域選択情報の入力は、操作性の観点から、表示装置2の表示画面上にポインタを表示させて、マウス等の入力装置3によりこれを操作して行われることが好ましい。ポインタは、表示画面上のデータ点1つ1つを識別し、選択する動作が可能である。ポインタは、矢印やその他の記号でもよく、何らかの画像でもよい。なお、平面領域の選択は、キーボード等による数値入力によるものでもよい。
平面領域は、PQ座標上の少なくとも1点以上を含む領域である。領域の大きさや形状に特に制限はなく、目的に合わせて任意に選択してよい。例えば、直線、円形、三角形、四角形、多角形、その他任意の形状でよい。領域の選択方法も特に制限は無く、例えば、ポインタをマウスで操作する、又は、数値入力などにより、1データ点を選択し、更に、その点を中心とした領域を選択してよい。また、形状を選択し、ポインタをマウスで操作する、又は、半径や辺の長さなどを数値入力により領域を選択してもよい。また、ポインタをマウスで操作し、ポリラインやフリーハンドにて領域を指定してもよい。
<特徴領域及びその位置情報の認識:S460>
二次元投影画像のPQ平面内でユーザーが平面領域を選択すると、その平面領域の位置情報をCPU201(情報取得部)が取得する。そして、CPU201は、その平面領域から奥行き方向(座標軸±R方向)に存在する全データポイントを含む空間(三次元領域)を、特徴領域の検索対象範囲として選択する。すなわち、ユーザーが画面上で目視する画像は二次元投影画像であるが、特徴領域の検索は第2の三次元分布画像が対象となる。空間の中から、CPU201により、特徴領域が認識され、かつその特徴領域の三次元位置情報が認識される。本明細書において特徴領域とは、分光情報及び三次元形態情報の少なくともいずれかが所定の特徴条件を満たす領域のことである。
二次元投影画像のPQ平面内でユーザーが平面領域を選択すると、その平面領域の位置情報をCPU201(情報取得部)が取得する。そして、CPU201は、その平面領域から奥行き方向(座標軸±R方向)に存在する全データポイントを含む空間(三次元領域)を、特徴領域の検索対象範囲として選択する。すなわち、ユーザーが画面上で目視する画像は二次元投影画像であるが、特徴領域の検索は第2の三次元分布画像が対象となる。空間の中から、CPU201により、特徴領域が認識され、かつその特徴領域の三次元位置情報が認識される。本明細書において特徴領域とは、分光情報及び三次元形態情報の少なくともいずれかが所定の特徴条件を満たす領域のことである。
検索対象範囲に複数の特徴領域が存在する場合には、その複数の特徴領域が認識される。特徴領域は、1データ点であってもよく、複数のデータ点を含む1領域であってもよい。また、隣接しない2以上の複数データ点であってもよく、それぞれ複数のデータ点から成る複数領域であってもよい。また、特徴条件は、あらかじめ処理装置1に設定されていてもよく、入力装置3を用いてユーザーが新たに設定してもよい。
本実施形態では、特徴条件として、2つの特徴条件(第1及び第2の特徴条件)を使用する。
第1の特徴条件は、分光情報における信号強度に関する条件である。信号強度は、特定の1波長の1信号のものであってもよく、特定の多波長のそれぞれの信号であってもよく、特定の波長域において積算された信号であってもよい。なお、分光スペクトルは、分子の官能基、主骨格、共役長など、分子の構造情報を反映する。すなわち、特定の波長(域)における信号強度は、特定分子の量の情報を反映する。このため、特定分子の量に注目する場合には、特定の波長(域)における信号強度を特徴条件として用いることが有効である。
この第1の特徴条件を用いる場合、CPU201は、選択された空間を対象に、信号強度が閾値を超える領域を検索する。検索の際、CPU201は、まず、信号強度とそれに対応する三次元位置情報との組み合わせのデータをリスト化する。次に、CPU201は、そのリストを信号強度でソートし、閾値を超える信号強度の組み合わせが検索結果として抽出される。閾値は、信号強度の値であってもよく、信号強度の相対的順位であってもよい。以上のようにして、特徴領域およびその三次元位置情報の認識が行われる。
第2の特徴条件は、三次元形態情報に関する条件である。三次元形態情報は、形状及びサイズの少なくともいずれかの情報を含む。第2の特徴条件は、試料に含まれる構造物の形態的な特徴に注目するものである。例えば、生体組織を例に挙げると、細胞核は球形であり、脈管は筒状であり、線維は線状である。また、同じ球形であってもサイズは構造物により異なり、例えば細胞核と血球とではサイズが異なる。またこれらは、臓器や生物種によっても異なり、さらには生理状態や病態によっても異なる。
第2の特徴条件を用いる場合、CPU201は、選択された空間を対象に、特定の三次元形態情報を検索する。検索の際、CPU201は、まず、参照用の三次元形態情報を設定する。次に、CPU201は、参照用の三次元形態情報と類似する領域を選択される空間内で検索する。次に、各領域における三次元形態情報と参照用の三次元形態情報との類似度が評価され、類似度と類似度に対応する領域の三次元位置情報と組み合されたデータとしてリスト化される。類似度の算出方法は特に限定されないが、例えば設定される三次元形状の体積と、各データ領域における三次元形状の体積の差を、設定される三次元形状の体積で除した類似度を用いることができる。次に、リストが類似度でソートされ、類似度について特定の閾値を満たすデータの組み合わせが検索結果として抽出される。閾値は、類似度の値であってもよく、類似度の相対的順位であってもよい。以上のようにして、特徴領域およびその三次元位置情報の認識が行われる。
第2の特徴条件における形状は、球、立方体、直方体、円錐、円柱といった一般的な形状でもよく、任意の形状でもよい。サイズは、任意の値を指定してよい。構造物の候補の形状やサイズに関する情報の格納されたデータベースがある場合には、これを特徴条件として用いて良い。三次元分布画像における特定の領域の形状を、特徴条件として用いて良い。
なお、第2の特徴条件を用いる際、第1の特徴条件における信号強度を再び閾値として組み合わせて用いてもよいし、第1の特徴条件の際に閾値を超えたものと閾値以下のものとの信号強度情報を0/1で二値化してしまって三次元形態情報のみを用いてもよい。
さらに、本ステップで認識された特徴領域には、それぞれ信号強度や三次元形態に基づき序列を示す記号が付与される。序列を示す記号は、信号強度の高い順番に付与されるものでもよく、指定する任意の三次元形状や三次元データベースと類似度の高い順番に付与されるものでもよい。序列を示す記号に制限はなく、数字やアルファベットが挙げられる。
以上の第1または第2の特徴条件を用いて認識される特徴領域の数に、特に制限はない。CPU201は、認識された特徴領域を、記憶装置230内に一次的に記憶する。
<特徴領域の選択及び表示:S470>
CPU201は、S460で認識された特徴領域(第1特徴領域)のうち少なくとも1つの特徴領域(第2特徴領域)を選択し、その選択された少なくとも1つの特徴領域(第2特徴領域)を表示装置2の二次元平面上に表示する。その表示された第2特徴領域が、ユーザーが(結果的に)指定した特徴領域となる。なお、説明を容易にするため、S460で認識された特徴領域を第1特徴領域と呼び、S470で選択及び表示された特徴領域を第2特徴領域と呼ぶ。
CPU201は、S460で認識された特徴領域(第1特徴領域)のうち少なくとも1つの特徴領域(第2特徴領域)を選択し、その選択された少なくとも1つの特徴領域(第2特徴領域)を表示装置2の二次元平面上に表示する。その表示された第2特徴領域が、ユーザーが(結果的に)指定した特徴領域となる。なお、説明を容易にするため、S460で認識された特徴領域を第1特徴領域と呼び、S470で選択及び表示された特徴領域を第2特徴領域と呼ぶ。
S460で認識された第1特徴領域の全てが第2特徴領域として表示されてもよく、S460で認識された第1特徴領域の一部のみが第2特徴領域として表示されてもよい。第2特徴領域の選択は、S460で付与された序列に基づいて行うことができる。
第1特徴領域の一部のみが表示される場合には、表示されていない第1特定領域の中から任意の領域を選択し、表示されている第1特徴領域と置き換えて、新たに第2特徴領域として表示させることができる。その選択は、入力装置3を用いて行う。例えば入力装置3がマウスである時、CPU201は、マウスボタンのクリック又はホイール部の回転によりユーザーの指示を取得し、その指示に基づいて非表示の第1特徴領域を順次選択し、その選択した第1特徴領域を第2特徴領域として順次表示してもよい。
表示装置2において、第2特徴領域とその第2特徴領域以外の領域とをユーザーが視覚的に区別しやすいように、CPU201は、二次元投影画像においてその第2特徴領域を強調して表示する。強調の方法は特に限定されない。例えば、第2特徴領域の輝度を上げる、第2特徴領域の色彩を変更する、第2特徴領域の近傍に矢印などの記号を配置する、などの方法を用いることができる。また、第2特徴領域を含む第2特徴領域近傍の画像を別ウィンドウとして起動するという方法を用いることもできる。更に、第2特徴領域以外の領域を非表示にする、第2特徴領域以外の領域の輝度を下げる、第2特徴領域以外の領域の色彩を変更するといった方法を用いることもできる。
その他の好ましい強調の方法としては、平面領域の選択のためのポインタをユーザーが二次元投影画像上に配置すると、そのポインタが第2特徴領域へと移動される状況をCPU201が表示する方法が挙げられる。その移動の状況は、選択位置と第2特徴領域の位置とを結ぶ線分を点線などで示してもよく、選択位置と第2特徴領域の位置の双方にポインタが表示されてもよく、ポインタの移動を動画等で表示させてもよい。ポインタは、処理装置1のCPU201により移動される。ポインタの移動の状況を表示することにより、ユーザーの行う平面領域選択と、CPU201による特徴領域の認識・選択・表示の結果と、の比較が容易になる。その結果、ユーザーは、自身の意図する特徴領域が、第2特徴領域として認識されたか否かについての確認がしやすくなる。
なお、このステップで選択され表示される第2特徴領域は、1つでも、複数でも、よい。第2特徴領域が複数である場合、第1特徴領域に付与された序列を示す記号を第2特徴領域近傍にCPU201が表示すると良い。また、第2特徴領域が複数である場合、その複数の第2特徴領域のうち一部の特徴領域のみを、更に選択し、更に強調して表示させる機能を処理装置1が有することが好ましい。より好ましくは、複数の第2特徴領域の中から強調したい特徴領域を、表示装置2の画面奥行き方向に沿って順次選択し強調して表示させる機能を、処理装置1が有することが好ましい。その選択は、所定の機能の割りつけられた入力装置3を用いて行う。例えば入力装置3がマウスであるとき、マウスボタンのクリックや、ホイール部の回転により、ユーザーはその選択が可能になる。割りつけられた所定の機能のより好ましい例としては、次のものが挙げられる。すなわち、マウスのホイール部の回転が、画面奥行き方向に分布する複数の第2特徴領域を順次選択する機能、および、マウスの左ボタンのクリックが、注目し強調表示させる第2特徴領域の決定をする機能、等である。この機能により、特に画面奥行き方向に第2特徴領域が重なっている状況において、ユーザーは個々の第2特徴領域を識別しながら、注目したい第2特徴領域を適切に選択できる。第2特徴領域の一部の特徴領域を更に強調して表示するには、例えば、序列を示す記号の輝度や色彩を変更するといった表示方法がある。
第2特徴領域を表示する際に、第2特徴領域を異なる角度から画面上でユーザーが目視可能なように、表示面を変更する機能を処理装置1が有することが好ましい。例えば、最初に表示された表示面では構造物の判別が難しい場合や、複数の特徴領域がR軸方向に重複して表示されている場合には、表示面を変更することにより、構造物の判別が容易になる。具体的には、マウスやキーボードなど入力装置の操作により、第2特徴領域が表示された状態にて画像を回転する機能や、最初の表示面の側面、上下面、裏面を第3角法にて表示させる機能を、処理装置1が有することが好ましい。これら画像の回転や表示画面の切替は、所定の機能の割りつけられたマウスやトラックボールなどの入力装置の操作により行うものであってもよい。
S440にて表示される二次元投影画像が複数の場合には、第2特徴領域が全ての画像で表示される機能を、処理装置1が有することが好ましい。またこのとき、第2特徴領域を選択し表示させるための操作を行う画像を、任意に選択できる機能を、処理装置1が有することが好ましい。加えて、第2特徴領域を選択する過程で、入力装置3により、第2特徴領域を選択する操作を行うための画像を、選択し直すことのできる機能を、処理装置1が有することが好ましい。以上の機能により、ユーザーにとってより判別し易い画像を選択しながら第2特徴領域の選択が行えるため、選択の精度およびスループットが向上する。
加えて、表示される第2特徴領域を他のデータと更に比較する機能を、処理装置1が有することが好ましい。前記比較されるデータに制限は無いが、例えば第2の三次元分布画像に含まれるデータや、データベースに含まれるデータであってもよい。
第2特徴領域に含まれるデータと、前記第2の三次元分布画像に含まれるデータのうち第2特徴領域に含まれないデータとを比較した結果、第2特徴領域と類似するデータとして認識される領域(類似する特徴領域)を、表示させてもよい。第2特徴領域に加えて、その類似する特徴領域も表示させることにより、特徴領域の判別や解析の精度が向上する場合がある。
以上説明した図4のフローチャートに基づき、誘導ラマン散乱分光顕微鏡で取得した分光情報の三次元分布を処理し、生体組織に含まれる細胞核を特徴領域として表示させる例について、図8を用いて以下で説明する。
細胞核は、ラマンシフト2930(cm−1)前後に強いシグナルを有するため、処理装置1は、まず、そのラマンシフト値における信号強度の三次元分布の画像(第1の三次元分布画像)を生成する。具体的には、処理装置1は、ユーザーにより指定された、データセットおよびラマンシフト値、に基づき、その第1の三次元分布画像を生成する。
次に、処理装置1は、その第1の三次元画像分布を座標変換し、第2の三次元分布画像を生成する。
次に、処理装置1は、第2の三次元分布画像を二次元平面画面上に投影し、図8(a)のような二次元投影画像を生成する。なお、図8(a)は、表示装置2の画面上に表示された二次元投影画像の一例の図である。
ラマンシフト値は、細胞質やその他構造物においてもある程度の信号強度を有する。よって、ユーザーは、図8(a)の二次元投影画像に表示される領域abcdの中から任意の領域を指定し、その三次元形状およびラマンスペクトルを確認することで、前記領域の中から細胞核を判別する。しかし、三次元形状は二次元投影画像からは目視で確認できず、かつ領域bについては2つの領域b−1およびb−2が重なり表示されているため、領域指定が煩雑である。
そこで、ユーザーは、図8(b)に図示するように、候補となる領域を含む平面領域13を、ポインタ12を用いて選択する。平面領域13は、PQ座標平面上の点S(p1,q1)を中心とする半径tの円形領域である。これにより、選択する平面領域13と、図8(c)に示す第2の三次元分布画像における画面奥行き方向(座標軸R)に存在する全データポイントを含む空間14を、特徴領域の検索対象領域として選択できる。ユーザーは、平面領域の選択に加え、参照する三次元形状として球を指定し、球との類似度のしきい値を指定し、表示させる特徴領域の個数を指定する。画面10の表示領域15には、ユーザーが指定した三次元形状、類似度、及び、表示数が表示されている。
次に、処理装置1は、指定される参照形状および類似度を特徴条件として、空間14内の検索を行う。ここで、図8(c)に示すように、第2の三次元分布画像では、領域bが奥行き方向で異なる2つの領域b−1およびb−2に分離された三次元位置情報として格納されている。したがって、空間14の検索においても、領域bは領域b−1と領域b−2とに分離される三次元位置情報を有し、それぞれ異なる検索対象となる。検索の結果、球に近い領域b−2が第1特徴領域として認識され、加えてその三次元位置情報が認識される。より詳細には、領域b−2のラマンスペクトル情報と領域b−2の三次元位置情報とを組み合わせたデータが処理装置1(記憶装置230)に記録される。なお、領域aおよびcは、二次元投影画像上では円形であるが、三次元形状は球ではないため、本実施例では第1特徴領域として認識されない。
次に、ユーザーに設定された表示領域数に基づき、図8(d)に示すように、第1特徴領域b−2が、第2特徴領域として画面上に強調されて表示される。本実施形態において処理装置1は、ポインタ12を第2特徴領域b−2上に自動的に移動し、且つ、近傍に画像16を表示し、且つ、別ウィンドウ17を表示することで、領域b−2が第2特徴領域であることを強調している。ウィンドウ17は、図8(d)のように、QR平面を表示する。このウィンドウ17は、PQ平面で異なる領域が重複する場合に、表示されることが好ましい。なお、この第2特徴領域が、ユーザーが指定した特徴領域となる。
以上のように、領域bにおける重複を分離して表示させることができ、かつ領域aおよびcを特徴領域と誤認することがなくなるため、ユーザーは特徴領域b−2を容易に指定できる。
特徴領域b−2について、図8(e)に示すように、ユーザーは引続きその特徴領域の三次元形状およびラマンスペクトルを確認でき、細胞核の判別が行える。なお、処理装置1は、入力装置3からのユーザーの入力情報を取得して、第2特徴領域の三次元形状を表示するウィンドウ18、及び、第2特徴領域におけるラマンスペクトルを表示するウィンドウ19を、画面10上に表示させる。
以上、本実施形態の顕微鏡システムによれば、二次元投影画像について奥行き方向の情報が追加されるため、三次元形状や異なる特徴領域の重なりを識別することができる。これにより特徴領域の適切な指定が簡便に行え、解析精度が向上する。
なお、第2特徴領域の表示において、その特徴領域に含まれる分光情報を併せて表示させることが好ましい。分光情報の表示は、表示される第2特徴領域すべてについて行われてもよく、特定の特徴領域ついてのみ行われてもよい。
分光情報の表示は、特徴領域の表示と同時でもよく、特徴領域が表示された後の入力に基づくものであってよい。例えば、複数の特徴領域が表示される場合、その時点においては三次元位置情報および分光情報を表示せず、その中から任意の特徴領域のみをユーザーが選択することにより、各特徴領域の三次元位置情報および分光情報を表示させることもできる。
表示される分光情報は、分光スペクトルであってもよく、特定の波長域と信号強度から成るデータであってもよく、極大波長又は極小波長であってもよい。これらは、いずれか一つでもよく、任意の組み合わせでもよい。これらは、以下のように目的に応じ任意に選択してよい。
データベースとの照合などにより、特徴領域における分子を同定したい場合には、分光スペクトルを表示させることが好ましい。分光情報から分子を同定する場合、特定の波長のみの信号強度の情報では同定が困難な場合がある。このため、スペクトル全体を表示させることが好ましい。
特徴領域における分子の濃度など、定量的な情報を把握したい場合には、特定の波長域と、その波長域における信号強度とを表示させることが好ましい。対象とする分子、およびその波長情報が既知である場合には、信号強度を用いることで容易に定量的な判断が可能な場合がある。このため、特定の波長域と信号強度から成るデータを表示させることが好ましい。
特徴領域における分子の特徴を確認したい場合には、分光スペクトルの中の極大波長(又は極小波長)を表示させることが好ましい。特徴領域の分子におおよそ見当がついている際には、これを確認する手段として極大波長(又は極小波長)が簡便な判断材料となる場合がある。このため、分光スペクトルの中の極大波長(又は極小波長)を表示させることが好ましい。
以上のような、特徴領域に含まれる分光情報の表示により、特徴領域の形態情報に加え、分光情報を目視で確認可能となるため、解析のスループットを向上させることができる。
さらに、第2の特徴領域の表示において、その特徴領域の三次元位置情報を併せて表示させることが好ましい。
三次元位置情報の表示は、元のデータに基づく前記XYZ座標上の点または範囲であってもよく、座標変換されて構成されるPQR座標上の点または範囲であってもよく、両方であってもよい。又は、各点または範囲から、表示装置2の二次元平面上に表示されるXYZ座標またはPQ座標へ配置される垂線および垂線と各座標上との交点のみを表示させてもよい。
以上のように、三次元位置情報を目視で確認可能な表示とすることで、奥行き方向に複数の特徴領域が重複する場合にも、ユーザーがこれらの差異を明確に把握できる。これにより、構造物の判別におけるヒューマンエラーを低減できる。
加えて、第2特徴領域の表示において、その特徴領域に含まれる構造物の候補名称を併せて表示させることが好ましい。
構造物とは、器官、臓器、細胞集合体、細胞、細胞核、細胞質、細胞膜、組織間質、基底膜、細胞小器官、封入体に分類される構造体、該構造体に内在する区画、該構造体或いは区画に含まれる分子、官能基、原子、のいずれをも指す。また、表示される候補名称は、1つでもよく、該1つの名称と紐づいた(上下の概念や空間的な包含関係のある)複数の名称の組み合わせでもよい。
表示される候補名称は、S460にて用いるデータベース内に格納された情報であってもよく、得られる第2特徴領域について再度データベースと比較した結果でもよい。再度データベースと比較する場合、用いる情報は、分光情報であってもよく、三次元機能情報であってもよく、両方であってもよい。比較されるデータベースは、情報更新のないデータベースであってもよく、情報更新のある学習機能付きのデータベースであってもよい。
1つの候補名称或いは1つの名称と紐づいた複数の名称の組み合わせを1つの候補とした場合、表示される候補は1つであってもよく、複数であってよい。表示される候補が複数の場合は、前記データベースとの類似度に応じ順位づけされて表示されることが好ましい。
表示される候補名称には、構造物に紐づいた生物種の名称が付与されてよい。
特徴領域と類似する領域を表示する場合には、第2特徴領域と同様にして、分光情報、三次元位置情報、類似する領域に含まれる構造物の候補名称、のいずれも併せて表示してよい。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
本発明は例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。また、複数の機器から構成されるシステムに適用しても良いし、一つの機器からなる装置に適用しても良い。
また、本発明はソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては、さまざまな媒体を使用することができる。例えば、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などでも良い。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記憶媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであっても良い。また、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザーに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
305 情報取得部
307 表示制御部
308 データ取得部
330 生成部
340 抽出部
307 表示制御部
308 データ取得部
330 生成部
340 抽出部
Claims (26)
- 分光情報を処理する情報処理装置であって、
分光情報の三次元分布のデータを取得するデータ取得手段と、
前記分光情報の三次元分布のデータから二次元画像のデータを生成する生成手段と、
前記二次元画像を表示手段に表示する表示制御手段と、
前記二次元画像のうちのユーザーが選択した二次元領域の位置情報を取得する情報取得手段と、
前記分光情報の三次元分布のうちの前記二次元領域に対応する三次元領域から、所定の特徴条件を満たす特徴領域を、抽出する抽出手段と、を備える
ことを特徴とする情報処理装置。 - 前記表示制御手段は、前記特徴領域と該特徴領域以外の領域とをユーザーが区別できるように、該特徴領域を、前記表示手段に表示する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記表示制御手段は、前記特徴領域の前記分光情報を、前記表示手段に表示する
ことを特徴とする請求項1又は2に記載の情報処理装置。 - 前記表示制御手段は、前記特徴領域の奥行方向における位置情報を、前記表示手段に表示する
ことを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。 - 前記抽出手段は、前記三次元領域から複数の特徴領域を抽出する
ことを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。 - 前記情報取得手段は、前記複数の特徴領域のうちのどの特徴領域をユーザーが表示したいかに関する情報を取得し、
前記表示制御手段は、前記ユーザーが表示したい特徴領域の画像を、前記表示手段に表示する
ことを特徴とする請求項5に記載の情報処理装置。 - 前記情報取得手段は、前記複数の特徴領域のうちの前記表示手段に表示されている特徴領域に換えて前記表示手段に表示されていない特徴領域を前記表示手段に表示するための、ユーザーの指示を取得し、
前記表示制御手段は、前記指示に基づいて、前記表示手段に表示されている特徴領域の画像に替えて、前記表示手段に表示されていない特徴領域の画像を、前記表示手段に表示する
ことを特徴とする請求項5又は6に記載の情報処理装置。 - 前記表示制御手段は、前記抽出手段により抽出される複数の特徴領域より選択される複数の特徴領域を、前記表示手段に表示する
ことを特徴とする請求項5に記載の情報処理装置。 - 前記情報取得手段は、前記表示手段に表示される複数の特徴領域の中から強調したい特徴領域を、前記表示手段の奥行き方向に沿って順次選択するための、ユーザーの指示を取得し、
前記表示制御手段は、前記指示に基づいて、前記強調したい特徴領域が順次選択され強調された画像を、前記表示手段に表示する
ことを特徴とする請求項8に記載の情報処理装置。 - 前記所定の特徴条件は、信号強度に関する条件を含む
ことを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。 - 前記所定の特徴条件は、三次元形態に関する条件を含む
ことを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。 - 前記表示制御手段は、前記特徴領域の画像を、前記表示手段に強調して表示する
ことを特徴とする請求項2に記載の情報処理装置。 - 前記情報取得手段は、前記表示手段に表示されているポインタを用いることでユーザーが選択した、前記二次元領域の位置情報を取得し、
前記表示制御手段は、前記特徴領域の画像の近傍に前記ポインタを表示することで、該特徴領域の画像を強調する
ことを特徴とする請求項8に記載の情報処理装置。 - 前記生成手段により生成される二次元画像が、1の三次元分布のデータから生成される、異なる複数の二次元画像である
ことを特徴とする請求項1乃至13のいずれか1項に記載の情報処理装置。 - 前記生成手段は、前記特徴領域に含まれる三次元分布のデータについて、異なる複数の方向から平面上に投影して複数の二次元画像を生成し、
前記表示制御手段は、前記特徴領域を含む複数の二次元画像を前記表示手段に表示する
ことを特徴とする請求項1乃至14のいずれか1項に記載の情報処理装置。 - 前記表示手段に表示される前記分光情報は、分光スペクトル、を含む
ことを特徴とする請求項1乃至15のいずれか1項に記載の情報処理装置。 - 前記表示手段に表示される前記分光情報は、特定の波長域の光の信号強度を含む
ことを特徴とする請求項1乃至16のいずれか1項に記載の情報処理装置。 - 前記表示手段に表示される前記分光情報は、極大波長または極小波長を含む
ことを特徴とする請求項1乃至17のいずれか1項に記載の情報処理装置。 - 前記表示手段に表示される前記分光情報は、主成分スコアを含む
ことを特徴とする請求項1乃至18のいずれか1項に記載の情報処理装置。 - 前記抽出手段が、前記特徴領域以外の前記三次元分布から前記特徴領域と類似する領域を抽出し、
前記表示制御手段は、前記特徴領域と類似する領域を前記表示手段に表示する
ことを特徴とする請求項1乃至19のいずれか1項に記載の情報処理装置。 - 前記表示制御手段は、前記特徴領域に含まれる構造物の候補名称を、前記表示手段に表示する
ことを特徴とする請求項1乃至20のいずれか1項に記載の情報処理装置。 - 前記分光情報は、ラマン分光法で取得した情報である
ことを特徴とする請求項1乃至21のいずれか1項に記載の情報処理装置。 - 前記二次元画像は、前記分光情報の三次元分布の画像を平面上に投影した画像である
ことを特徴とする請求項1乃至22のいずれか1項に記載の情報処理装置。 - 分光情報を取得する顕微鏡と、
前記分光情報を処理する請求項1乃至23のいずれか1項に記載の情報処理装置と、を備える
ことを特徴とする顕微鏡システム。 - 分光情報を処理する情報処理方法であって、
分光情報の三次元分布のデータを取得する工程と、
前記分光情報の三次元分布のデータから二次元画像のデータを生成する工程と、
前記二次元画像を表示手段に表示する工程と、
前記二次元画像のうちのユーザーが選択した二次元領域の位置情報を取得する工程と、前記分光情報の三次元分布のうちの前記二次元領域に対応する三次元領域から、所定の特徴条件を満たす特徴領域を、抽出する工程と、を有する
ことを特徴とする情報処理方法。 - 請求項25に記載の情報処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014100829A JP6261443B2 (ja) | 2013-06-26 | 2014-05-14 | 分光情報を処理する情報処理装置及び情報処理方法 |
PCT/JP2014/003370 WO2014208077A1 (en) | 2013-06-26 | 2014-06-23 | Information processing device to process spectral information, and information processing method |
US14/901,015 US10184885B2 (en) | 2013-06-26 | 2014-06-23 | Information processing device to process spectral information, and information processing method |
EP14817258.8A EP3014247A1 (en) | 2013-06-26 | 2014-06-23 | Information processing device to process spectral information, and information processing method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013133542 | 2013-06-26 | ||
JP2013133542 | 2013-06-26 | ||
JP2014100829A JP6261443B2 (ja) | 2013-06-26 | 2014-05-14 | 分光情報を処理する情報処理装置及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015028466A JP2015028466A (ja) | 2015-02-12 |
JP6261443B2 true JP6261443B2 (ja) | 2018-01-17 |
Family
ID=52141436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014100829A Active JP6261443B2 (ja) | 2013-06-26 | 2014-05-14 | 分光情報を処理する情報処理装置及び情報処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10184885B2 (ja) |
EP (1) | EP3014247A1 (ja) |
JP (1) | JP6261443B2 (ja) |
WO (1) | WO2014208077A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130250300A1 (en) * | 2012-03-23 | 2013-09-26 | Po-Chieh Hung | Light source recognition |
JP6643970B2 (ja) * | 2016-11-07 | 2020-02-12 | 株式会社日立製作所 | 光学装置、光学測定方法 |
JP6849405B2 (ja) * | 2016-11-14 | 2021-03-24 | 浜松ホトニクス株式会社 | 分光計測装置及び分光計測システム |
JP6867785B2 (ja) * | 2016-11-14 | 2021-05-12 | 浜松ホトニクス株式会社 | 分光計測装置及び分光計測システム |
JP6849404B2 (ja) | 2016-11-14 | 2021-03-24 | 浜松ホトニクス株式会社 | 分光計測装置及び分光計測システム |
JP6766882B2 (ja) | 2016-11-24 | 2020-10-14 | 株式会社ニコン | 画像処理装置、顕微鏡システム、画像処理方法、およびコンピュータプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7581191B2 (en) | 1999-11-15 | 2009-08-25 | Xenogen Corporation | Graphical user interface for 3-D in-vivo imaging |
JP4906609B2 (ja) * | 2007-06-29 | 2012-03-28 | キヤノン株式会社 | 撮像装置および方法 |
JP2011002341A (ja) * | 2009-06-18 | 2011-01-06 | Olympus Corp | 顕微鏡システム、標本観察方法およびプログラム |
JP5527232B2 (ja) * | 2010-03-05 | 2014-06-18 | 株式会社島津製作所 | 質量分析データ処理方法及び装置 |
JP2013068529A (ja) * | 2011-09-22 | 2013-04-18 | Sanyo Engineer & Construction Inc | 断層画像処理方法及び断層画像処理装置 |
-
2014
- 2014-05-14 JP JP2014100829A patent/JP6261443B2/ja active Active
- 2014-06-23 US US14/901,015 patent/US10184885B2/en active Active
- 2014-06-23 EP EP14817258.8A patent/EP3014247A1/en not_active Withdrawn
- 2014-06-23 WO PCT/JP2014/003370 patent/WO2014208077A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2014208077A1 (en) | 2014-12-31 |
US20170322146A1 (en) | 2017-11-09 |
US10184885B2 (en) | 2019-01-22 |
JP2015028466A (ja) | 2015-02-12 |
EP3014247A1 (en) | 2016-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6261443B2 (ja) | 分光情報を処理する情報処理装置及び情報処理方法 | |
Liu et al. | Methods for quantifying fibrillar collagen alignment | |
CN105210083B (zh) | 用于查验和分析细胞学标本的系统和方法 | |
Dana et al. | Device for convenient measurement of spatially varying bidirectional reflectance | |
JP6698663B2 (ja) | 自動化スライド全域解析の品質管理 | |
JP2019533805A (ja) | 視覚化されたスライド全域画像分析を提供するためのデジタル病理学システムおよび関連するワークフロー | |
CN108352073B (zh) | 具有实时可调界面的计算机实施的复合组织图像 | |
JP2021506003A (ja) | デジタル病理学分析結果の格納および読み出し方法 | |
KR101888227B1 (ko) | Gui, 분류 장치, 분류 방법 및 기록 매체 | |
JP5442542B2 (ja) | 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体 | |
JP2011191222A (ja) | 質量分析データ処理方法及び装置 | |
WO2019229912A1 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、及び顕微鏡 | |
JP6676743B2 (ja) | 分光画像データ処理装置および2次元分光装置 | |
JP6120989B2 (ja) | オーバーヘッド型画像読取装置、画像処理方法、および、プログラム | |
Failmezger et al. | Semi-automated 3D leaf reconstruction and analysis of trichome patterning from light microscopic images | |
JP6366344B2 (ja) | ツールマーク照合システム | |
JP6760477B2 (ja) | 細胞観察装置 | |
Lopes et al. | Interactive three-dimensional chemical element maps with laser-induced breakdown spectroscopy and photogrammetry | |
JP2006079196A (ja) | 細胞画像解析方法 | |
Rifkin | Identifying fluorescently labeled single molecules in image stacks using machine learning | |
JP2010281800A (ja) | 細胞解析装置、及び細胞解析方法 | |
Nguyen et al. | Unlocking the complexity of genomic data of RMS patients through visual analytics | |
JP2018072038A (ja) | 多変量解析用データ作成プログラム及びそのプログラムを備えたデータ解析装置 | |
US20210132359A1 (en) | Information processing device, information processing method, information processing program, and microscope | |
JP2015017971A (ja) | 画像処理装置、及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171212 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6261443 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |