JP7144805B2 - 画像処理装置、画像処理方法、プログラム - Google Patents
画像処理装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- JP7144805B2 JP7144805B2 JP2018155033A JP2018155033A JP7144805B2 JP 7144805 B2 JP7144805 B2 JP 7144805B2 JP 2018155033 A JP2018155033 A JP 2018155033A JP 2018155033 A JP2018155033 A JP 2018155033A JP 7144805 B2 JP7144805 B2 JP 7144805B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- contrast agent
- photoacoustic
- information
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
- A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0091—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for mammography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/481—Diagnostic techniques involving the use of contrast agent, e.g. microbubbles introduced into the bloodstream
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Acoustics & Sound (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Optics & Photonics (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
Description
射することにより発生した光音響波に基づいた、複数の波長のそれぞれに対応する光音響信号を用いて生成された分光画像を取得する分光画像取得手段、造影剤に関する情報を取得する造影剤情報取得手段、造影剤に関する情報に基づいて、分光画像中の造影剤に対応する領域を決定する領域決定手段、および造影剤に対応する領域と当該領域以外の領域とを識別できるように、分光画像を表示させる表示制御手段を有することを特徴とする画像処理装置である。
本発明の第2の態様は、造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、複数の波長のそれぞれに対応する光音響信号を用いて生成された分光画像を取得する分光画像取得手段、造影剤に関する情報を取得する造影剤情報取得手段、および造影剤に関する情報に基づいて、分光画像の画像値に色を割り当てて分光画像を表示させる表示制御手段を有することを特徴とする画像処理装置である。
本発明の第3の態様は、造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、複数の波長のそれぞれに対応する光音響信号を用いて生成された分光画像を取得し、造影剤に関する情報を取得し、造影剤に関する情報に基づいて、分光画像中の造影剤に対応する領域を決定し、造影剤に対応する領域と当該領域以外の領域とを識別できるように、分光画像を表示部に表示させることを特徴とする画像処理方法である。
本発明の第4の態様は、造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、複数の波長のそれぞれに対応する光音響信号を用いて生成された分光画像を取得し、造影剤に関する情報を取得し、造影剤に関する情報に基づいて、分光画像の画像値に色を割り当てて分光画像を表示部に表示させることを特徴とする画像処理方法である。
本発明の第5の態様は、造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、複数の波長のそれぞれに対応する光音響信号を用いて生成された分光画像を取得する分光画像取得手段、造影剤に関する情報に基づいて、分光画像中の造影剤に対応する領域を決定する領域決定手段、および造影剤に対応する領域と当該領域以外の領域とを識別できるように、分光画像を表示させる表示制御手段を有することを特徴とする画像処理装置である。
本発明の第6の態様は、造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、複数の波長のそれぞれに対応する光音響信号を用いて生成された分光画像を取得する分光画像取得手段、造影剤に対応する画像値の数値範囲に該当する分光画像の領域を、分光画像中の造影剤に対応する領域として決定する領域決定手段、および造影剤に対応する領域と当該領域以外の領域とを識別できるように、数値範囲に含まれる分光画像の画像値に基づく態様で分光画像を表示させる表示制御手段を有することを特徴とする画像処理装置である。
本発明の第7の態様は、造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、前記複数の波長のそれぞれに対応する光音響信号を用いて生成された分光画像を取得し、前記造影剤に対応する画像値の数値範囲に該当する前記分光画像の領域を、前記分光画像中の前記造影剤に対応する領域として決定し、前記造影剤に対応する領域と当該領域以外の領域とを識別できるように、前記数値範囲に含まれる前記分光画像の画像値に基づく態様で前記分光画像を表示部に表示させることを特徴とする画像処理方法である。
なお、分光画像は、複数の波長のそれぞれに対応する光音響信号を用いて生成された、被検体中の特定物質の濃度を示す画像であってもよい。使用する造影剤の光吸収係数スペクトルと、特定物質の光吸収係数スペクトルとが異なる場合、分光画像中の造影剤の画像値と分光画像中の特定物質の画像値とは異なる。よって、分光画像の画像値に応じて造影剤の領域と特定物質の領域とを区別することができる。なお、特定物質としては、ヘモグロビン、グルコース、コラーゲン、メラニン、脂肪や水など、被検体を構成する物質が挙げられる。この場合にも、特定物質の光吸収係数スペクトルとは異なる光吸収スペクトルを有する造影剤を選択する必要がある。また、特定物質の種類に応じて、異なる算出方法で分光画像を算出してもよい。
図1を用いて本実施形態に係るシステムを説明する。図1は、本実施形態に係るシステムの構成を示すブロック図である。本実施形態に係るシステムは、光音響装置1100、記憶装置1200、画像処理装置1300、表示装置1400、及び入力装置1500を
備える。装置間のデータの送受信は有線で行われてもよいし、無線で行われてもよい。
画像処理装置1300の演算機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
画像処理装置1300の記憶機能を担うユニットは、ROM(Read only memory)、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶機能を担うユニットは、RAM(Random Access Memory)などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶機能を担うユニットは、1つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。
画像処理装置1300の制御機能を担うユニットは、CPUなどの演算素子で構成される。制御機能を担うユニットは、システムの各構成の動作を制御する。制御機能を担うユニットは、入力部からの測定開始などの各種操作による指示信号を受けて、システムの各構成を制御してもよい。また、制御機能を担うユニットは、コンピュータ150に格納されたプログラムコードを読み出し、システムの各構成の作動を制御してもよい。
System)などの記憶装置1200としての画像サーバ1210と接続されている。これにより、画像データを画像サーバ1210上に保存したり、画像サーバ1210上の画像データを液晶ディスプレイ1410に表示したりすることができる。
以下、本実施形態に係る光音響装置1100の各構成の詳細を説明する。
光照射部110は、光を発する光源111と、光源111から射出された光を被検体100へ導く光学系112とを含む。なお、光は、いわゆる矩形波、三角波などのパルス光を含む。
YAGレーザーやアレキサンドライトレーザーなどのパルスレーザーを光源として用いてもよい。また、Nd:YAGレーザー光を励起光とするTi:saレーザーやOPO(Optical Parametric Oscillators)レーザーを光源として用いてもよい。また、光源111としてフラッシュランプや発光ダイオードを用いてもよい。また、光源111としてマイクロウェーブ源を用いてもよい。
なお、光照射部110が光学系112を備えずに、光源111から直接被検体100に光を照射してもよい。
受信部120は、音響波を受信することにより電気信号を出力するトランスデューサ121と、トランスデューサ121を支持する支持体122とを含む。また、トランスデューサ121は、音響波を送信する送信手段としてもよい。受信手段としてのトランスデューサと送信手段としてのトランスデューサとは、単一(共通)のトランスデューサでもよいし、別々の構成であってもよい。
光音響波を構成する周波数成分は、典型的には100KHzから100MHzであり、トランスデューサ121として、これらの周波数を検出することのできるものを採用してもよい。
保持部200は、取り付け部201に取り付けられている。取り付け部201は、被検体の大きさに合わせて複数種類の保持部200を交換可能に構成されていてもよい。例えば、取り付け部201は、曲率半径や曲率中心などの異なる保持部に交換できるように構成されていてもよい。
駆動部130は、被検体100と受信部120との相対位置を変更する部分である。駆動部130は、駆動力を発生させるステッピングモータなどのモータと、駆動力を伝達させる駆動機構と、受信部120の位置情報を検出する位置センサとを含む。駆動機構としては、リードスクリュー機構、リンク機構、ギア機構、油圧機構、などを用いることができる。また、位置センサとしては、エンコーダー、可変抵抗器、リニアスケール、磁気センサ、赤外線センサ、超音波センサなどを用いたポテンショメータなどを用いることができる。
なお、駆動部130は、被検体100と受信部120との相対的な位置を変更できれば、受信部120を固定し、被検体100を移動させてもよい。被検体100を移動させる場合は、被検体100を保持する保持部を動かすことで被検体100を移動させる構成などが考えられる。また、被検体100と受信部120の両方を移動させてもよい。
駆動部130は、相対位置を連続的に移動させてもよいし、ステップアンドリピートに
よって移動させてもよい。駆動部130は、プログラムされた軌跡で移動させる電動ステージであってもよいし、手動ステージであってもよい。
なお、プローブ180が、把持部が設けられたハンドヘルドタイプである場合、光音響装置1100は駆動部130を有していなくてもよい。
信号収集部140は、トランスデューサ121から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するA/D変換器とを含む。信号収集部140から出力されるデジタル信号は、コンピュータ150に記憶される。信号収集部140は、Data Acquisition System(DAS)とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、フォトダイオードなどの光検出センサが、光照射部110から光射出を検出し、信号収集部140がこの検出結果をトリガーに同期して上記処理を開始してもよい。
情報処理装置としてのコンピュータ150は、画像処理装置1300と同様のハードウェアで構成されている。すなわち、コンピュータ150の演算機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
表示部160は、液晶ディスプレイや有機EL(Electro Luminescence)などのディスプレイである。また、表示部160は、画像や装置を操作するため
のGUIを表示してもよい。
なお、表示部160と表示装置1400は同じディスプレイであってもよい。すなわち、1つのディスプレイが表示部160と表示装置1400の両方の機能を担っていてもよい。
入力部170としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示部160をタッチパネルで構成し、表示部160を入力部170として利用してもよい。
なお、入力部170と入力装置1500は同じ装置であってもよい。すなわち、1つの装置が入力部170と入力装置1500の両方の機能を担っていてもよい。
導入部190は、被検体100の外部から被検体100の内部へ造影剤を導入可能に構成されている。例えば、導入部190は造影剤の容器と被検体に刺す注射針とを含むことができる。しかしこれに限られず、導入部190は、造影剤を被検体100に導入することができる限り種々のものを適用可能である。導入部190は、この場合、例えば、公知のインジェクションシステムやインジェクタなどであってもよい。なお、制御装置としてのコンピュータ150が、導入部190の動作を制御することにより、被検体100に造影剤を導入してもよい。また、ユーザーが導入部190を操作することにより、被検体100に造影剤を導入してもよい。
被検体100はシステムを構成するものではないが、以下に説明する。本実施形態に係るシステムは、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的として使用できる。よって、被検体100としては、生体、具体的には人体や動物の乳房や各臓器、血管網、頭部、頸部、腹部、手指または足指を含む四肢などの診断の対象部位が想定される。例えば、人体が測定対象であれば、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管あるいは腫瘍の近傍に形成される新生血管などを光吸収体の対象としてもよい。また、頸動脈壁のプラークなどを光吸収体の対象としてもよい。また、皮膚等に含まれるメラニン、コラーゲン、脂質などを光吸収体の対象としてもよい。さらに、被検体100に導入する造影剤を光吸収体とすることができる。光音響イメージングに用いる造影剤としては、インドシアニングリーン(ICG)、メチレンブルー(MB)などの色素、金微粒子、及びそれらの混合物、またはそれらを集積あるいは化学的に修飾した外部から導入した物質を採用してもよい。また、生体を模したファントムを被検体100としてもよい。
なお、本実施形態に係るシステムを構成する各装置は、それぞれが別々のハードウェアで構成されていてもよいし、全ての装置が1つのハードウェアで構成されていてもよい。本実施形態に係るシステムの機能は、いかなるハードウェアで構成されていてもよい。
光音響装置1100のコンピュータ150は、HIS(Hospitai Infor
mation System)やRIS(Radiology Information
System)などの院内情報システムから送信された検査オーダー情報を取得する。検査オーダー情報には、検査に用いるモダリティの種類や検査に使用する造影剤などの情報が含まれている。
造影剤情報取得手段としてのコンピュータ150は、造影剤に関する情報を取得する。ユーザーは、入力部170を用いて、検査に使用する造影剤の種類や造影剤の濃度を指示してもよい。この場合、コンピュータ150は、入力部170を介して、造影剤に関する情報を取得することができる。また、コンピュータ150は、S100で取得した検査オーダー情報に造影剤に関する情報が含まれている場合、検査オーダー情報から造影剤に関する情報を読み出すことにより、取得してもよい。コンピュータ150は、ユーザーの指示と検査オーダー情報との少なくとも一つに基づいて、造影剤に関する情報を取得してもよい。例えば、造影剤の条件を示す造影剤に関する情報としては、造影剤の種類や造影剤の濃度などが挙げられる。
導入部190は、被検体に対して造影剤を導入する。ユーザーが、導入部190を用いて被検体に造影剤を導入したときに、ユーザーが入力部170を操作することにより、造影剤が導入されたことを表す信号を入力部170から制御装置としてのコンピュータ150に送信してもよい。また、導入部190が被検体100に造影剤が導入されたことを表す信号をコンピュータ150に送信してもよい。なお、導入部190を用いずに造影剤を被検体に投与してもよい。例えば、被検体としての生体が噴霧された造影剤を吸引することにより、造影剤が投与されてもよい。
造影剤の導入後に被検体100内の造影対象に造影剤が行き渡るまで時間をおいてから後述するS400を実行してもよい。
波長決定手段としてのコンピュータ150は、S200で取得された造影剤に関する情報に基づいて、照射光の波長を決定する。本実施形態では、分光画像を生成するために、コンピュータ150が造影剤に関する情報に基づいて複数の波長を決定する。以下、分光画像中の造影剤に対応する領域を識別しやすくするための波長の組み合わせについて説明する。
図12(A)は、1.0mg/mLの濃度のICGを導入したときの左前腕伸側の分光画像を示す。図12(B)は、5.0mg/mLの濃度のICGを導入したときの左前腕伸側の分光画像を示す。図12(B)中の破線および矢印で示した領域にリンパ管が描出されている。
図13(A)は、0.5mg/mLの濃度のICGを導入したときの右下腿内側の分光画像を示す。図13(B)は、5.0mg/mLの濃度のICGを導入したときの左下腿内側の分光画像を示す。図13(B)中の破線および矢印で示した領域にリンパ管が描出されている。
以上より、生体に導入するICGの濃度としては、2.5mg/mL以上、10.0mg/mL以下がよく、好適には、5.0mg/mL以上、10.0mg/mL以下がよい。
また、コンピュータ150は、GUI上で造影剤の種類としてICGが選択された場合に、被検体に導入するICGの濃度として上記数値範囲を表示部160に表示させてもよい。
このようにGUIを構成することにより、被検体に導入する予定の造影剤の種類に応じて、適当な造影剤の濃度をユーザーが被検体に導入するための支援を行うことができる。
パ管と静脈との両方を精度良く画像化することができる。
光照射部110は、S400で決定された波長を光源111に設定する。光源111は、S400で決定された波長の光を発する。光源111から発生した光は、光学系112を介してパルス光として被検体100に照射される。そして、被検体100の内部でパルス光が吸収され、光音響効果により光音響波が生じる。このとき、導入された造影剤もパルス光を吸収し、光音響波を発生する。光照射部110はパルス光の伝送と併せて信号収集部140へ同期信号を送信してもよい。また、光照射部110は、複数の波長のそれぞれについて、同様に光照射を行う。
信号収集部140は、光照射部110から送信された同期信号を受信すると、信号収集の動作を開始する。すなわち、信号収集部140は、受信部120から出力された、光音響波に由来するアナログ電気信号を、増幅・AD変換することにより、増幅されたデジタル電気信号を生成し、コンピュータ150へ出力する。コンピュータ150は、信号収集部140から送信された信号を保存する。複数の走査位置での撮影を指定された場合には、指定された走査位置において、S500およびS600の工程を繰り返し実行し、パルス光の照射と音響波に由来するデジタル信号の生成を繰り返す。なお、コンピュータ150は、発光をトリガーとして、発光時の受信部120の位置情報を駆動部130の位置センサからの出力に基づいて取得し、記憶してもよい。
光音響画像取得手段としてのコンピュータ150は、記憶された信号データに基づいて、光音響画像を生成する。コンピュータ150は、生成された光音響画像を記憶装置1200に出力し、記憶させる。
信号データを2次元または3次元の空間分布に変換する再構成アルゴリズムとしては、
タイムドメインでの逆投影法やフーリエドメインでの逆投影法などの解析的な再構成法やモデルベース法(繰り返し演算法)を採用することができる。例えば、タイムドメインでの逆投影法として、Universal back-projection(UBP)、Filtered back-projection(FBP)、または整相加算(Delay-and-Sum)などが挙げられる。
分光画像取得手段としてのコンピュータ150は、複数の波長に対応する複数の光音響画像に基づいて、分光画像を生成する。コンピュータ150は、分光画像を記憶装置1200に出力し、記憶装置1200に記憶させる。前述したように、コンピュータ150は、グルコース濃度、コラーゲン濃度、メラニン濃度、脂肪や水の体積分率など、被検体を構成する物質の濃度に相当する情報を示す画像を分光画像として生成してもよい。また、コンピュータ150は、第1波長に対応する第1光音響画像と第2波長に対応する第2光音響画像との比を表す画像を分光画像として生成してもよい。本実施形態では、コンピュータ150が、第1光音響画像と第2光音響画像とを用いて、式(1)にしたがって酸素飽和度画像を分光画像として生成する例を説明する。
)
造影剤情報取得手段としての画像処理装置1300は、記憶装置1200から光音響画像または分光画像を読み出し、光音響画像または分光画像に基づいて造影剤に関する情報を取得する。
画像処理装置1300は、波長を再設定するかどうかを判定する。画像処理装置1300が波長を再設定すると判定した場合、S400に戻り、波長を再設定しないと判定した場合、S1100に進む。
また、画像処理装置1300は、S200で取得した造影剤に関する情報とS900で取得した造影剤に関する情報とを比較し、情報に差異がある場合に波長を再設定すると判定してもよい。
表示制御手段としての画像処理装置1300は、S200またはS900で取得した造影剤に関する情報に基づいて、造影剤に対応する領域とそれ以外の領域とを識別できるように分光画像を表示装置1400に表示させる。なお、レンダリング手法としては、最大値投影法(MIP:Maximum Intensity Projection)、ボリュームレンダリング、及びサーフェイスレンダリングなどのあらゆる方法を採用することができる。ここで、三次元画像を二次元にレンダリングする際の表示領域や視線方向などの設定条件は、観察対象に合わせて任意に指定することができる。
300は、造影剤に関する情報(例えば、造影剤の種類がICGであることを示す情報)と、照射光の波長を示す情報とに基づいて、カラースケールに割り当てる画像値の数値範囲を決定してもよい。例えば、画像処理装置1300は、式(1)による動脈の酸素飽和度、静脈の酸素飽和度、および造影剤に対応する負値の画像値を含む数値範囲を決定してもよい。画像処理装置1300は、-100%~100%の数値範囲を決定し、青から赤に変化するカラーグラデーションに-100%~100%を割り当てたカラーバー2400を設定してもよい。このような表示方法により、動静脈の識別に加え、負値の造影剤に対応する領域も識別することができる。また、画像処理装置1300は、造影剤に関する情報と、照射光の波長を示す情報とに基づいて、造影剤に対応する画像値の数値範囲を示すインジケータ2410を表示させてもよい。ここでは、カラーバー2400において、ICGに対応する画像値の数値範囲として負値の領域をインジケータ2410で示している。このように造影剤に対応する表示色を識別できるようにカラースケールを表示することにより、分光画像中の造影剤に対応する領域を容易に識別することができる。
同じであれば、血管の領域よりも造影剤の領域の明度を大きくしてもよい。また、分光画像の画像値によって、光音響画像の画像値を明度に変換しない光音響画像の画像値の数値範囲が異なっていてもよい。
ハードウェアで構成されていてもよい。また、複数の手段が1つのハードウェアで構成されていてもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
1200 記憶装置
1300 画像処理装置
1400 表示装置
1500 入力装置
Claims (29)
- 造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、前記複数の波長のそれぞれに対応する光音響信号を用いて生成された分光画像を取得する分光画像取得手段、
前記造影剤に関する情報を取得する造影剤情報取得手段、
前記造影剤に関する情報に基づいて、前記分光画像中の前記造影剤に対応する領域を決定する領域決定手段、および
前記造影剤に対応する領域と当該領域以外の領域とを識別できるように、前記分光画像を表示させる表示制御手段を有することを特徴とする画像処理装置。 - 前記領域決定手段は、
前記造影剤に関する情報に基づいて、前記分光画像の画像値に対する数値範囲を決定し、
前記数値範囲に含まれる画像値を有する前記分光画像の領域を、前記造影剤に対応する領域として決定することを特徴とする請求項1に記載の画像処理装置。 - 前記領域決定手段は、前記造影剤に関する情報に基づいて、色を割り当てる前記分光画像の画像値の数値範囲を決定し、
前記表示制御手段は、前記数値範囲に含まれる前記分光画像の画像値に色を割り当てて前記分光画像を表示させることを特徴とする請求項1に記載の画像処理装置。 - 前記造影剤に対応する領域の画像値と、前記造影剤に対応する領域以外の領域の画像値とは、符号が逆であることを特徴とする請求項2または3に記載の画像処理装置。
- 前記領域決定手段は、前記造影剤に関する情報と前記複数の波長の情報とに基づいて、前記分光画像中の前記造影剤に対応する領域を決定することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生し
た光音響波に基づいた、前記複数の波長のそれぞれに対応する光音響信号を用いて生成された分光画像を取得する分光画像取得手段、
前記造影剤に関する情報を取得する造影剤情報取得手段、および
前記造影剤に関する情報に基づいて、前記分光画像の画像値に色を割り当てて前記分光画像を表示させる表示制御手段を有することを特徴とする画像処理装置。 - 前記表示制御手段は、前記分光画像の負値の画像値にも色を割り当てて前記分光画像を表示させることを特徴とする請求項6に記載の画像処理装置。
- 前記表示制御手段は、前記造影剤に関する情報と前記複数の波長の情報とに基づいて、前記分光画像の画像値に色を割り当てて前記分光画像を表示させることを特徴とする請求項6または7に記載の画像処理装置。
- 前記表示制御手段は、
前記分光画像の画像値と表示色との関係を示すカラースケールを表示させ、
前記造影剤に対応する表示色を識別できるように前記カラースケールを表示させることを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。 - 造影剤が導入された前記被検体に前記複数の波長の光を照射することにより発生した光音響波に基づいて生成された、前記複数の波長にそれぞれ対応する複数の光音響画像を取得する光音響画像取得手段を更に有し、
前記表示制御手段は、
前記複数の光音響画像の一つの光音響画像の画像値に基づいて前記分光画像の明度を決定し、
前記分光画像の画像値に基づいて、前記光音響画像の画像値から明度への変換テーブルを決定することを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。 - 前記造影剤に関する情報は、前記造影剤の種類または濃度の情報であることを特徴とする請求項1から10のいずれか1項に記載の画像処理装置。
- 第1波長の光照射により発生した光音響波に基づいた第1光音響画像、および、第2波長の光照射により発生した光音響波に基づいた第2光音響画像を取得する光音響画像取得手段を更に有し、
前記分光画像取得手段は、前記第1光音響画像と前記第2光音響画像との比に基づいた画像を前記分光画像として生成することを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。 - 第1波長λ1の光照射により発生した光音響波に基づいた計測値をIλ 1(r)とし、第2波長λ2の光照射により発生した光音響波に基づいた計測値をIλ 2(r)とし、第1波長λ1に対応するデオキシヘモグロビンのモラー吸収係数をεHb λ 1とし、第2波長λ2に対応するデオキシヘモグロビンのモラー吸収係数をεHb λ 2とし、第1波長λ1に対応するオキシヘモグロビンのモラー吸収係数をεHbO λ 1とし、第2波長λ2に対応するオキシヘモグロビンのモラー吸収係数をεHbO λ 2とし、rを位置とした場合に、
前記分光画像取得手段は、下記式にしたがって、分光画像の計算値Is(r)を生成する
ことを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。 - 前記計測値は吸収係数または初期音圧であることを特徴とする請求項13に記載の画像処理装置。
- 前記造影剤は、2.5mg/mL以上、10.0mg/mL以下の濃度のICGであることを特徴とする請求項1から14のいずれか1項に記載の画像処理装置。
- 前記造影剤情報取得手段は、
ユーザーからの指示に基づいて、前記造影剤に関する情報として前記造影剤の濃度を示す情報を取得し、
前記造影剤に関する情報として前記造影剤の種類がICGであることを示す情報を取得した場合に、2.5mg/mLより小さい、または、10.0mg/mLより大きいICGの濃度を示すユーザーからの指示を受け付けないように構成されていることを特徴とする請求項1から15のいずれか1項に記載の画像処理装置。 - 前記複数の波長が、第1波長として797nm、第2波長として835nmを含むことを特徴とする請求項15または16に記載の画像処理装置。
- 前記表示制御手段は、時系列に生成された複数の分光画像を動画像として表示させることを特徴とする請求項1から17のいずれか1項に記載の画像処理装置。
- 前記表示制御手段は、前記動画像を早送り表示可能であることを特徴とする請求項18に記載の画像処理装置。
- 前記表示制御手段は、前記動画像を繰り返し表示可能であることを特徴とする請求項18または19に記載の画像処理装置。
- 造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、前記複数の波長のそれぞれに対応する光音響信号を用いて生成された分光画像を取得し、
前記造影剤に関する情報を取得し、
前記造影剤に関する情報に基づいて、前記分光画像中の前記造影剤に対応する領域を決定し、
前記造影剤に対応する領域と当該領域以外の領域とを識別できるように、前記分光画像を表示部に表示させることを特徴とする画像処理方法。 - 造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、前記複数の波長のそれぞれに対応する光音響信号を用いて生成された分光画像を取得し、
前記造影剤に関する情報を取得し、
前記造影剤に関する情報に基づいて、前記分光画像の画像値に色を割り当てて前記分光画像を表示部に表示させることを特徴とする画像処理方法。 - 前記造影剤がICGであり、前記複数の波長が、第1波長として797nm、第2波長として835nmを含むことを特徴とする請求項21または22に記載の画像処理方法。
- 造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、前記複数の波長のそれぞれに対応する光音響信号を用いて生成された分光画像を取得する分光画像取得手段、
前記造影剤に関する情報に基づいて、前記分光画像中の前記造影剤に対応する領域を決定する領域決定手段、および
前記造影剤に対応する領域と当該領域以外の領域とを識別できるように、前記分光画像を表示させる表示制御手段を有することを特徴とする画像処理装置。 - 造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、前記複数の波長のそれぞれに対応する光音響信号を用いて生成された分光画像を取得する分光画像取得手段、
前記造影剤に対応する画像値の数値範囲に該当する前記分光画像の領域を、前記分光画像中の前記造影剤に対応する領域として決定する領域決定手段、および
前記造影剤に対応する領域と当該領域以外の領域とを識別できるように、前記数値範囲に含まれる前記分光画像の画像値に基づく態様で前記分光画像を表示させる表示制御手段を有することを特徴とする画像処理装置。 - 前記表示制御手段は、前記造影剤に対応する領域と当該領域以外の領域とを識別できるように、前記数値範囲に含まれる前記分光画像の画像値に色を割り当てて前記分光画像を表示させることを特徴とする請求項25に記載の画像処理装置。
- 造影剤が導入された被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、前記複数の波長のそれぞれに対応する光音響信号を用いて生成された分光画像を取得し、
前記造影剤に対応する画像値の数値範囲に該当する前記分光画像の領域を、前記分光画像中の前記造影剤に対応する領域として決定し、
前記造影剤に対応する領域と当該領域以外の領域とを識別できるように、前記数値範囲に含まれる前記分光画像の画像値に基づく態様で前記分光画像を表示部に表示させることを特徴とする画像処理方法。 - 前記造影剤に対応する領域と当該領域以外の領域とを識別できるように、前記数値範囲に含まれる前記分光画像の画像値に色を割り当てて前記分光画像を表示部に表示させることを特徴とする請求項27に記載の画像処理方法。
- 請求項21~23、27、28のいずれか1項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018155033A JP7144805B2 (ja) | 2018-08-21 | 2018-08-21 | 画像処理装置、画像処理方法、プログラム |
PCT/JP2019/013940 WO2020039639A1 (ja) | 2018-08-21 | 2019-03-29 | 画像処理装置、画像処理方法、プログラム |
CN201980054755.0A CN112584775A (zh) | 2018-08-21 | 2019-03-29 | 图像处理装置、图像处理方法和程序 |
EP19850962.2A EP3841982A4 (en) | 2018-08-21 | 2019-03-29 | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM |
US17/178,403 US20210177268A1 (en) | 2018-08-21 | 2021-02-18 | Image processing apparatus, image processing method, and non-transitory computer-readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018155033A JP7144805B2 (ja) | 2018-08-21 | 2018-08-21 | 画像処理装置、画像処理方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020028389A JP2020028389A (ja) | 2020-02-27 |
JP2020028389A5 JP2020028389A5 (ja) | 2022-08-22 |
JP7144805B2 true JP7144805B2 (ja) | 2022-09-30 |
Family
ID=69593101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018155033A Active JP7144805B2 (ja) | 2018-08-21 | 2018-08-21 | 画像処理装置、画像処理方法、プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210177268A1 (ja) |
EP (1) | EP3841982A4 (ja) |
JP (1) | JP7144805B2 (ja) |
CN (1) | CN112584775A (ja) |
WO (1) | WO2020039639A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017002337A1 (ja) | 2015-06-30 | 2017-01-05 | 富士フイルム株式会社 | 光音響画像生成装置及び挿入物 |
JP2017202319A (ja) | 2016-05-10 | 2017-11-16 | キヤノン株式会社 | 光音響装置および光音響装置の制御方法 |
JP2018057697A (ja) | 2016-10-07 | 2018-04-12 | キヤノン株式会社 | 制御装置、制御方法、制御システム及びプログラム。 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006063048B3 (de) * | 2006-02-01 | 2018-03-29 | Siemens Healthcare Gmbh | Fokus/Detektor-System einer Röntgenapparatur zur Erzeugung von Phasenkontrastaufnahmen |
US20080221647A1 (en) * | 2007-02-23 | 2008-09-11 | The Regents Of The University Of Michigan | System and method for monitoring photodynamic therapy |
US20090156932A1 (en) * | 2007-12-13 | 2009-06-18 | Board Of Trustees Of The University Of Arkansas | Device and method for in vivo flow cytometry using the detection of photoacoustic waves |
US9271654B2 (en) * | 2009-06-29 | 2016-03-01 | Helmholtz Zentrum Munchen Deutsches Forschungszentrum Fur Gesundheit Und Umwelt (Gmbh) | Thermoacoustic imaging with quantitative extraction of absorption map |
WO2011137115A1 (en) * | 2010-04-29 | 2011-11-03 | Eye02 Scan Llc | Determination of oxygen saturation in a tissue of visual system |
US9733119B2 (en) * | 2011-11-02 | 2017-08-15 | Seno Medical Instruments, Inc. | Optoacoustic component utilization tracking |
KR101273585B1 (ko) * | 2011-12-05 | 2013-06-11 | 삼성전자주식회사 | 초음파 영상 장치 및 초음파 영상 표시방법 |
EP2749209A1 (en) * | 2012-12-28 | 2014-07-02 | Canon Kabushiki Kaisha | Object information acquisition apparatus, display method, and program |
EP2754388B1 (en) * | 2013-01-15 | 2020-09-09 | Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt GmbH | System and method for quality-enhanced high-rate optoacoustic imaging of an object |
JP6494364B2 (ja) * | 2015-03-26 | 2019-04-03 | キヤノン株式会社 | 光音響装置 |
JP6824636B2 (ja) * | 2015-07-21 | 2021-02-03 | キヤノン株式会社 | 被検体情報取得装置および被検体情報取得方法 |
WO2017014167A1 (en) * | 2015-07-21 | 2017-01-26 | Canon Kabushiki Kaisha | Object information acquiring apparatus and object information acquiring method |
WO2017079253A1 (en) * | 2015-11-02 | 2017-05-11 | Ji-Xin Cheng | Method and device for in situ cancer margin detection |
JP6814408B2 (ja) | 2017-03-17 | 2021-01-20 | Toto株式会社 | メインリモコン、サブリモコン及びリモコンシステム |
-
2018
- 2018-08-21 JP JP2018155033A patent/JP7144805B2/ja active Active
-
2019
- 2019-03-29 CN CN201980054755.0A patent/CN112584775A/zh active Pending
- 2019-03-29 WO PCT/JP2019/013940 patent/WO2020039639A1/ja unknown
- 2019-03-29 EP EP19850962.2A patent/EP3841982A4/en active Pending
-
2021
- 2021-02-18 US US17/178,403 patent/US20210177268A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017002337A1 (ja) | 2015-06-30 | 2017-01-05 | 富士フイルム株式会社 | 光音響画像生成装置及び挿入物 |
JP2017202319A (ja) | 2016-05-10 | 2017-11-16 | キヤノン株式会社 | 光音響装置および光音響装置の制御方法 |
JP2018057697A (ja) | 2016-10-07 | 2018-04-12 | キヤノン株式会社 | 制御装置、制御方法、制御システム及びプログラム。 |
Also Published As
Publication number | Publication date |
---|---|
EP3841982A1 (en) | 2021-06-30 |
CN112584775A (zh) | 2021-03-30 |
US20210177268A1 (en) | 2021-06-17 |
JP2020028389A (ja) | 2020-02-27 |
WO2020039639A1 (ja) | 2020-02-27 |
EP3841982A4 (en) | 2022-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6576424B2 (ja) | 表示制御装置、画像表示方法、及びプログラム | |
US20210169397A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
JP2023123874A (ja) | 光音響イメージングシステム、光音響イメージングシステムの制御方法、および、プログラム | |
JP7013215B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP7108985B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6921782B2 (ja) | 表示制御装置、画像表示方法、及びプログラム | |
JP7205821B2 (ja) | システム | |
JP6882108B2 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
JP7144805B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP7118718B2 (ja) | 被検体情報取得装置、被検体情報処理方法、およびプログラム | |
JP7125709B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP7142832B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
WO2020039640A1 (ja) | 情報処理装置、システム、情報処理方法、プログラム | |
JP7226728B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP7187336B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7314371B2 (ja) | 被検体情報取得装置、被検体情報処理方法、およびプログラム | |
JP7277212B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2019000387A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2020028670A (ja) | 画像処理装置、システム、画像処理方法、プログラム | |
JP2020028668A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6929048B2 (ja) | 表示制御装置、表示方法、及びプログラム | |
JP2020162746A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181102 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210823 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220812 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7144805 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |