JP7320221B2 - 画像処理装置、画像処理方法、画像表示方法、および、プログラム - Google Patents
画像処理装置、画像処理方法、画像表示方法、および、プログラム Download PDFInfo
- Publication number
- JP7320221B2 JP7320221B2 JP2018155034A JP2018155034A JP7320221B2 JP 7320221 B2 JP7320221 B2 JP 7320221B2 JP 2018155034 A JP2018155034 A JP 2018155034A JP 2018155034 A JP2018155034 A JP 2018155034A JP 7320221 B2 JP7320221 B2 JP 7320221B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- photoacoustic
- contrast agent
- lymphatic
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
被検体への複数回の光照射により発生した光音響波の受信信号に基づいて生成された、前記複数回の光照射のそれぞれに対応する3次元画像データを含む、時系列の3次元画像データを処理する画像処理装置であって、
前記時系列の3次元画像データに基づいてヘモグロビンの光吸収特性とは異なる光吸収特性を有する造影剤が導入された前記被検体内のリンパ管を抽出し、前記リンパ管の複数の個所を設定し、前記複数の個所における前記造影剤の存在を示す3次元画像データの変化情報に基づいて、前記リンパ管を流れるリンパの流れ情報を取得する流れ情報取得手段を有し、
前記リンパの流れ情報は、前記リンパ管における前記リンパの流速、流量及び頻度の少なくともいずれかの情報を含む、
ことを特徴とする画像処理装置を提供する。
本発明は、また、
被検体への複数回の光照射により発生した光音響波の受信信号に基づいて生成された、前記複数回の光照射のそれぞれに対応する3次元画像データを含む、時系列の3次元画像データを処理する画像処理方法であって、
前記時系列の3次元画像データに基づいてヘモグロビンの光吸収特性とは異なる光吸収特性を有する造影剤が導入された前記被検体内のリンパ管を抽出し、前記リンパ管の複数の個所を設定し、前記複数の個所における前記造影剤の存在を示す3次元画像データの変化情報に基づいて、前記リンパ管を流れるリンパの流れ情報を取得する流れ情報取得ステップを有し、
前記リンパの流れ情報は、前記リンパ管における前記リンパの流速、流量及び頻度の少なくともいずれかの情報を含む、
ことを特徴とする画像処理方法を提供する。
本発明は、また、
被検体への複数回の光照射により発生した光音響波の受信信号に基づいて生成された、前記複数回の光照射のそれぞれに対応する3次元画像データを含む、時系列の3次元画像データを処理する画像処理方法をコンピュータに実行させるプログラムであって、
前記画像処理方法は、前記時系列の3次元画像データに基づいてヘモグロビンの光吸収特性とは異なる光吸収特性を有する造影剤が導入された前記被検体内のリンパ管を抽出し、前記リンパ管の複数の個所を設定し、前記複数の個所における前記造影剤の存在を示す3次元画像データの変化情報に基づいて、前記リンパ管を流れるリンパの流れ情報を取得する流れ情報取得ステップを有し、
前記リンパの流れ情報は、前記リンパ管における前記リンパの流速、流量及び頻度の少なくともいずれかの情報を含む、
ことを特徴とするプログラムを提供する。
なお、分光画像は、複数の波長のそれぞれに対応する光音響信号を用いて生成された、被検体中の特定物質の濃度を示す画像であってもよい。使用する造影剤の光吸収係数スペクトルと、特定物質の光吸収係数スペクトルとが異なる場合、分光画像中の造影剤の画像値と分光画像中の特定物質の画像値とは異なる。よって、分光画像の画像値に応じて造影
剤の領域と特定物質の領域とを区別することができる。なお、特定物質としては、ヘモグロビン、グルコース、コラーゲン、メラニン、脂肪や水など、被検体を構成する物質が挙げられる。この場合にも、特定物質の光吸収係数スペクトルとは異なる光吸収スペクトルを有する造影剤を選択する必要がある。また、特定物質の種類に応じて、異なる算出方法で分光画像を算出してもよい。
図1を用いて本実施形態に係るシステムを説明する。図1は、本実施形態に係るシステムの構成を示すブロック図である。本実施形態に係るシステムは、光音響装置1100、記憶装置1200、画像処理装置1300、表示装置1400、及び入力装置1500を備える。装置間のデータの送受信は有線で行われてもよいし、無線で行われてもよい。
光音響装置1100は、造影剤が導入された被検体を撮影することにより光音響画像を生成し、記憶装置1200に出力する。光音響装置1100は、光照射により発生した光音響波を受信することにより得られる受信信号を用いて、被検体内の複数位置のそれぞれに対応する特性値の情報を生成する装置である。すなわち、光音響装置1100は、光音響波に由来した特性値情報の空間分布を医用画像データ(光音響画像)として生成する装置である。
画像処理装置1300の演算機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
System)などの記憶装置1200としての画像サーバ1210と接続されている。これにより、画像データを画像サーバ1210上に保存したり、画像サーバ1210上の画像データを液晶ディスプレイ1410に表示したりすることができる。
以下、本実施形態に係る光音響装置1100の各構成の詳細を説明する。
光照射部110は、光を発する光源111と、光源111から射出された光を被検体1
00へ導く光学系112とを含む。なお、光は、いわゆる矩形波、三角波などのパルス光を含む。
なお、光照射部110が光学系112を備えずに、光源111から直接被検体100に光を照射してもよい。
受信部120は、音響波を受信することにより電気信号を出力するトランスデューサ121と、トランスデューサ121を支持する支持体122とを含む。また、トランスデューサ121は、音響波を送信する送信手段としてもよい。受信手段としてのトランスデューサと送信手段としてのトランスデューサとは、単一(共通)のトランスデューサでもよいし、別々の構成であってもよい。
光音響波を構成する周波数成分は、典型的には100KHzから100MHzであり、トランスデューサ121として、これらの周波数を検出することのできるものを採用して
もよい。
受信部120と保持部200の間の空間は、光音響波が伝播することができる媒質で満たされる。この媒質には、光音響波が伝搬でき、被検体100やトランスデューサ121との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。
駆動部130は、被検体100と受信部120との相対位置を変更する部分である。駆動部130は、駆動力を発生させるステッピングモータなどのモータと、駆動力を伝達させる駆動機構と、受信部120の位置情報を検出する位置センサとを含む。駆動機構としては、リードスクリュー機構、リンク機構、ギア機構、油圧機構、などを用いることができる。また、位置センサとしては、エンコーダー、可変抵抗器、リニアスケール、磁気センサ、赤外線センサ、超音波センサなどを用いたポテンショメータなどを用いることができる。
なお、駆動部130は、被検体100と受信部120との相対的な位置を変更できれば、受信部120を固定し、被検体100を移動させてもよい。被検体100を移動させる場合は、被検体100を保持する保持部を動かすことで被検体100を移動させる構成などが考えられる。また、被検体100と受信部120の両方を移動させてもよい。
また、本実施形態では、駆動部130は光照射部110と受信部120を同時に駆動して走査を行っているが、光照射部110だけを駆動したり、受信部120だけを駆動したりしてもよい。
なお、プローブ180が、把持部が設けられたハンドヘルドタイプである場合、光音響装置1100は駆動部130を有していなくてもよい。
信号収集部140は、トランスデューサ121から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するA/D変換器とを含む。信号収集部140から出力されるデジタル信号は、コンピュータ150に記憶される。信号収集部140は、Data Acquisition System(DAS)とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、フォトダイオードなどの光検出センサが、光照射部110から光射出を検出し、信号収集部140がこの検出結果をトリガーに同期して上記処理を開始してもよい。
情報処理装置としてのコンピュータ150は、画像処理装置1300と同様のハードウェアで構成されている。すなわち、コンピュータ150の演算機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
コンピュータ150の記憶機能を担うユニットは、RAM(Random Access Memory)などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、コンピュータ150の記憶機能を担うユニットは、1つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。
。コンピュータ150の制御機能を担うユニットは、光音響装置の各構成の動作を制御する。コンピュータ150の制御機能を担うユニットは、入力部170からの測定開始などの各種操作による指示信号を受けて、光音響装置の各構成を制御してもよい。また、コンピュータ150の制御機能を担うユニットは、記憶機能を担うユニットに格納されたプログラムコードを読み出し、光音響装置の各構成の作動を制御する。すなわち、コンピュータ150は、本実施形態に係るシステムの制御装置として機能することができる。
表示部160は、液晶ディスプレイや有機EL(Electro Luminescence)などのディスプレイである。また、表示部160は、画像や装置を操作するためのGUIを表示してもよい。
なお、表示部160と表示装置1400は同じディスプレイであってもよい。すなわち、1つのディスプレイが表示部160と表示装置1400の両方の機能を担っていてもよい。
入力部170としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示部160をタッチパネルで構成し、表示部160を入力部170として利用してもよい。
なお、入力部170と入力装置1500は同じ装置であってもよい。すなわち、1つの装置が入力部170と入力装置1500の両方の機能を担っていてもよい。
導入部190は、被検体100の外部から被検体100の内部へ造影剤を導入可能に構成されている。例えば、導入部190は造影剤の容器と被検体に刺す注射針とを含むことができる。しかしこれに限られず、導入部190は、造影剤を被検体100に導入することができる限り種々のものを適用可能である。導入部190は、この場合、例えば、公知のインジェクションシステムやインジェクタなどであってもよい。なお、制御装置としてのコンピュータ150が、導入部190の動作を制御することにより、被検体100に造影剤を導入してもよい。また、ユーザーが導入部190を操作することにより、被検体100に造影剤を導入してもよい。
被検体100はシステムを構成するものではないが、以下に説明する。本実施形態に係るシステムは、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的として使用できる。よって、被検体100としては、生体、具体的には人体や動物の乳房や各臓器、血管網、頭部、頸部、腹部、手指または足指を含む四肢などの診断の対象部位が想定される。例えば、人体が測定対象であれば、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管あるいは腫瘍の近傍に形成される新生血管などを光吸収体の対象としてもよい。また、頸動脈壁のプラークなどを光吸収体の対象としてもよい。また、皮膚等に含まれるメラニン、コラーゲン、脂質などを光吸収体の対象としてもよい。被検体100に導入する造影剤を光吸収体とすることができる。光音響イメージングに用いる造影剤としては、インドシアニングリーン(ICG)、メチレンブルー(MB)などの色素、金微粒子、またはそれらを集積あるいは化学的に修飾した外部から
導入した物質を採用してもよい。また、生体を模したファントムを被検体100としてもよい。
なお、本実施形態に係るシステムを構成する各装置は、それぞれが別々のハードウェアで構成されていてもよいし、全ての装置が1つのハードウェアで構成されていてもよい。本実施形態に係るシステムの機能は、いかなるハードウェアで構成されていてもよい。
光音響装置1100のコンピュータ150は、検査に関する情報を取得する。例えばコンピュータ150は、HIS(Hospitai Information System)やRIS(Radiology Information System)などの院内情報システムから送信された検査オーダー情報を取得する。検査オーダー情報には、検査に用いるモダリティの種類や検査に使用する造影剤などの情報が含まれている。
導入部190は、被検体に対して造影剤を導入する。ユーザーが、導入部190を用いて被検体に造影剤を導入したときに、ユーザーが入力部170を操作することにより、造影剤が導入されたことを表す信号を入力部170から制御装置としてのコンピュータ150に送信してもよい。また、導入部190が被検体100に造影剤が導入されたことを表す信号をコンピュータ150に送信してもよい。なお、導入部190を用いずに造影剤を被検体に投与してもよい。例えば、被検体としての生体が噴霧された造影剤を吸引することにより、造影剤が投与されてもよい。
造影剤の導入後に被検体100内の造影対象に造影剤が行き渡るまで時間をおいてから後続の処理を実行してもよい。
図13(A)は、1.0mg/mLの濃度のICGを導入したときの左前腕伸側の分光画像を示す。図13(B)は、5.0mg/mLの濃度のICGを導入したときの左前腕伸側の分光画像を示す。図13(B)中の破線および矢印で示した領域にリンパ管が描出されている。
図14(A)は、0.5mg/mLの濃度のICGを導入したときの右下腿内側の分光画像を示す。図14(B)は、5.0mg/mLの濃度のICGを導入したときの左下腿内側の分光画像を示す。図14(B)中の破線および矢印で示した領域にリンパ管が描出されている。
また、コンピュータ150は、GUI上で上記数値範囲以外のICGの濃度がユーザーから指示された場合にアラートを通知してもよい。通知方法としては、表示部160へのアラートの表示や、音やランプの点灯などのあらゆる方法を採用することができる。
また、コンピュータ150は、GUI上で造影剤の種類としてICGが選択された場合に、被検体に導入するICGの濃度として上記数値範囲を表示部160に表示させてもよい。
の例について説明したが、その他の造影剤においても同様に上記構成を適用することができる。
光照射部110は、S100で取得した情報に基づいて決定された波長を光源111に設定する。光源111は、決定された波長の光を発する。光源111から発生した光は、光学系112を介してパルス光として被検体100に照射される。そして、被検体100の内部でパルス光が吸収され、光音響効果により光音響波が生じる。このとき、導入された造影剤もパルス光を吸収し、光音響波を発生する。光照射部110はパルス光の伝送と併せて信号収集部140へ同期信号を送信してもよい。また、光照射部110は、複数の波長のそれぞれについて、同様に光照射を行う。
信号収集部140は、光照射部110から送信された同期信号を受信すると、信号収集の動作を開始する。すなわち、信号収集部140は、受信部120から出力された、光音響波に由来するアナログ電気信号を、増幅・AD変換することにより、増幅されたデジタル電気信号を生成し、コンピュータ150へ出力する。コンピュータ150は、信号収集部140から送信された信号を保存する。複数の走査位置での撮影を指定された場合には、指定された走査位置において、S300およびS400の工程を繰り返し実行し、パルス光の照射と音響波に由来するデジタル信号の生成を繰り返す。なお、コンピュータ150は、発光をトリガーとして、発光時の受信部120の位置情報を駆動部130の位置センサからの出力に基づいて取得し、記憶してもよい。
光音響画像取得手段としてのコンピュータ150は、記憶された信号データに基づいて、光音響画像を生成する。コンピュータ150は、生成された光音響画像を記憶装置1200に出力し、記憶させる。本実施形態では、被検体への1回の光照射で得られた光音響信号を用いた画像再構成により1つの3次元の光音響画像(ボリュームデータ)が生成される。さらに、複数回の光照射を行い、それぞれの光照射ごとに画像再構成を行うことで、時系列の3次元画像データ(時系列のボリュームデータ)が取得される。複数回の光照
射のそれぞれの光照射ごとに画像再構成して得られた3次元画像データを総称して、複数回の光照射に対応する3次元画像データと呼ぶ。なお、時系列に複数回の光照射が実行されるため、複数回の光照射に対応する3次元画像データが、時系列の3次元画像データを構成する。
分光画像取得手段としてのコンピュータ150は、複数の波長に対応する複数の光音響画像に基づいて、分光画像を生成する。コンピュータ150は、分光画像を記憶装置1200に出力し、記憶装置1200に記憶させる。前述したように、コンピュータ150は、グルコース濃度、コラーゲン濃度、メラニン濃度、脂肪や水の体積分率など、被検体を構成する物質の濃度に相当する情報を示す画像を分光画像として生成してもよい。また、コンピュータ150は、第1波長に対応する第1光音響画像と第2波長に対応する第2光音響画像との比を表す画像を分光画像として生成してもよい。本実施形態では、コンピュータ150が、第1光音響画像と第2光音響画像とを用いて、式(1)にしたがって酸素飽和度画像を分光画像として生成する例を説明する。
憶された分光画像群の中から指定された分光画像を読み出すことにより、分光画像を取得してもよい。また、光音響画像取得手段としての画像処理装置1300は、記憶装置1200に予め記憶された光音響画像群の中から、読み出した分光画像の生成に用いられた複数の光音響画像の少なくとも一つを読み出すことにより、光音響画像を取得してもよい。
複数回の光照射と、それに引き続く音響波受信と画像再構成が行われることにより、複数回の光照射に対応する時系列の3次元画像データが生成される。3次元画像データとしては光音響画像データや分光画像データが利用できる。ここでの光音響画像データは吸収係数等の分布を示す画像データを指し、分光画像データは複数の波長の光が被検体に照射されたときに、それぞれの波長に対応する光音響画像データに基づいて生成される濃度等を示す画像データを指す。
画像処理装置1300は、記憶装置1200から光音響画像または分光画像を読み出し、光音響画像または分光画像に基づいてリンパの流れに関する情報を取得する。なお、上述したように、本ステップの処理は少なくとも一つの波長に由来する光音響画像に基づいて実施することができる。ただし、複数の波長のそれぞれに由来する光音響画像から作成された分光画像を利用することもできる。
ここでは、単一波長に由来する光音響画像に対して画像処理を行う場合について説明する。画像処理装置1300は、図5のステップS500において記憶装置1200に保存された光音響画像を読み出す。読み出す対象となる光音響画像の時間範囲は任意である。一般に、リンパ液の流れは、間欠的に行われ、その周期は数十秒から数分である。比較的長い時間範囲に取得された光音響波に対応する光音響画像を、処理の進行に応じて順次読み出すことが好ましい。時間範囲は例えば、40秒間~2分間と設定してもよい。
なお、分光画像に対して画像処理を行ってリンパ領域を抽出する場合、画像処理装置1300は例えば、酸素飽和度の値に基づいて血液に対応する領域と造影剤に対応する領域とを区別して、リンパ領域を抽出してもよい。
画像処理装置1300は、抽出したリンパ領域の情報に基づいてリンパの流れ情報を算出する。本実施形態では、被検体への1回の光照射により、略同時に発生した光音響波に由来する光音響信号を用いて、1つの三次元の光音響画像(1フレームのボリュームデー
タ)が生成される。そのため、1フレームの光音響画像の各位置における被検体情報は、1回の光照射に由来するものとなる。すなわち、1フレームの光音響画像では略同タイミングの状態のリンパが描出される。その結果、本実施形態に係る画像生成方法によれば、画像処理装置1300が時系列の3次元画像データからリンパの流れ情報を取得する際の精度を向上させることができる。また、時系列の3次元画像データ中の複数の位置における画像値の変化は、複数の位置のそれぞれで略同じタイミングの画像値の時間変化を表すものである。そのため、本実施形態に係る画像生成方法によれば、時系列の3次元画像データ中の複数の位置における画像値に基づいて流れ情報を取得する際の精度が向上する。
流れ情報として例えば、画像処理装置1300は、単位時間当たりの輝度値変化の頻度を算出することができる。この場合、画像処理装置1300は、単位時間(例えば10分間)内にリンパ領域の輝度値のピークの数や、輝度値が所定の閾値を超えた回数を算出してもよい。
流れ情報の別の例として、画像処理装置1300は、リンパ液の移動速度を算出してもよい。リンパ液の移動速度は、異なるタイミングで取得された光音響画像間でのリンパ領域の移動距離を算出することにより取得できる。かかる移動速度算出の際、画像処理装置1300は、抽出されたリンパ領域の輝度値分布に基づいてリンパ領域の重心や粒子密度を算出し、それらの値に基づいて重み付けを行うことで、移動速度算出の精度を向上させてもよい。また、時系列の画像から物体の動きを抽出してベクトル化するためのオプティカルフロー推定技術を利用することもできる。
流れ情報のまた別の例として、画像処理装置1300は、リンパ管中を流れるリンパの体積や流量を算出してもよい。その際、画像処理装置1300は、光音響画像中のリンパ管の幅に対してシステム依存の補正を行ってリンパ管の直径を求め、直径の値に基づいて体積や流量を算出することができる。また、流速を測定する際には、光音響画像生成時の再構成の平均化回数を減らし、一定以下の回数としてもよい。
ここでは、図11(a)に示すように、2つの小領域がいずれも同一のリンパ管を含むように設定されたものとする。画像処理装置1300は、第一の小領域2310aおよび第二の小領域2310bのそれぞれの輝度値を時系列に沿って3回算出し、それぞれの輝度値を所定の閾値と比較して、明/暗を判定する。そして、第一の小領域が「明→暗→暗」であり、第二の小領域が「暗→明→暗」であると判定された場合、画像処理装置1300は、第1のタイミングから第2のタイミングにかけて、第一の小領域から第二の小領域に向かう方向にリンパが流れたと判断できる。画像処理装置1300はさらに、2つの小領域間の距離と、各小領域における輝度変化の時間関係に基づいて、リンパの流速を算出することもできる。
なお、小領域の輝度値としては平均輝度値やピーク輝度値など、造影剤の濃度を反映できるものであれば何であれ利用できる。また少なくとも2回以上の輝度値の算出回数とすれば、流れの検出は可能である。
いる。よって、輝度値の変化を十分なフレームレートで算出可能であれば、輝度値の時間変化を時間と輝度値の関数として表現したときに、特定領域内にリンパが流入している期間では当該関数が増加傾向になり、リンパが流出していく期間では当該関数が減少傾向となる。そこで画像処理装置1300は、時間ごとの輝度が図11(b)の関数3100のように示される場合に、増加関数である期間の傾き(破線3110)や減少関数である期間の傾き(破線3120)に基づいて、リンパの流速を算出してもよい。なお、一般にリンパは間欠的に流れるため、図11(b)のような輝度波形は周期的に表れることが想定できる。よって、この波形の出現頻度を計測することによってリンパの流れ情報を取得してもよい。
続いて画像処理装置1300は、時系列の3次元画像データから、対象となる時間範囲(例えば1分間)を決定する。そして、決定された時間範囲において、領域2320上の長さ方向の各位置ごとに、時間方向における輝度値の代表値を決定する。ここでは輝度値の代表値として、決定された時間範囲における輝度値の関数の極大値を用いる。図11(d)は横軸として時間を、縦軸として領域2320の長さ方向の各位置を取り、上記で求めた極大値3200をプロットしたグラフである。このグラフは、リンパ管内でのリンパの移動に応じて高輝度を示す位置も移動することを示している。
続いて画像処理装置1300は、プロットされた複数の極大値3200に基づくフィッティングを行って近似関数3210を取得し、近似関数3210の傾きに基づいてリンパの流速を算出する。なお、必ずしも極大値を利用する必要はない。例えば、輝度値に応じたカラースケール表示によりグラフを作成しても良い。また、傾きを算出する際のフィッティング手法として例えば最小二乗法を用いることができるが、これには限定されない。
なお、流れ情報の取得に用いられる時系列の3次元画像データに、少なくとも2波長のそれぞれの光パルスによって生成された3次元画像データが含まれていてもよい。この場合、少なくとも2波長に対応する時系列の3次元画像データの時間変化から流れ情報を演算してもよい。
続いて、リンパの流れ情報を利用する方法の一例として、流れ情報を表示する方法について説明する。なお、ステップS730からステップS750にかけての処理は、一連の処理として実行されてもよいし、それぞれが独立して実行されてもよい。
表示制御手段としての画像処理装置1300は、流れ情報を用いて画像データを生成して表示装置1400に表示させる。表示方法は任意であるが、ユーザーによる流れ情報の確認を容易にするような方法が好ましい。
列の光音響画像における最大輝度値に応じた輝度値で表示してもよい。また、上記のカラースケールを用いた表示と最大輝度値を用いた表示を併用してもよい。
表示方法のまた別の例として、システムが、ユーザーによる入力装置1500を介した位置指定を受け付けて、画像処理装置1300が表示装置1400に指定された位置における流れ情報の算出結果を別途表示させてもよい。
また、システムは、画像情報に代えて、または画像情報とともに、テキストや音声などの形式でユーザーに流れ情報を提示してもよい。画像処理装置1300はまた、リンパの流れる方向をユーザーが理解しやすいようにマーカーや矢印等で表示してもよい。画像処理装置1300はまた、リンパ領域に関心領域を設定し、該関心領域におけるリンパの時間的な変動量を算出して表示してもよい。
続いて、リンパの流れ情報を利用する方法の別の例として、取得した流れ情報をユーザーが活用しやすい形式で保存する方法について説明する。上述したように、一般にリンパ管においてリンパが流れている時間は比較的短い。したがって、時系列で複数の光音響画像または分光画像が取得された場合であっても、全ての画像がユーザーによるリンパの流れの確認に必要なわけではない。そこで本ステップでは、画像処理装置1300は、ユーザーによる確認に必要な画像を選択して記憶装置1200に保存する。画像の選択方法として例えば、時間的に隣接する画像同士でリンパ領域での輝度を比較し、リンパの流れがあったと判断できる値以上の輝度変化があった場合に記憶装置1200に保存する方法がある。この方法によれば、ユーザーによる確認の対象となる画像を迅速に表示装置1400に表示できるようになる。また、リンパの流れを確認できない期間のデータを保存しないで済むため、データ容量を圧縮できる。このように圧縮保存されたデータを用いて、画像処理装置1300は、リンパの流れが示された静止画や、リンパの流れが繰り返しループ表示される動画像を生成して表示装置1400に表示させることができる。
なお、本ステップにおいて、リンパの流れがあったと判断できる画像のデータを、メタデータを付与する等の方法によって判別可能としてもよい。この方法によっても、ユーザーによる確認の対象となる画像を迅速に表示装置1400に表示可能になる。
続いて、リンパの流れ情報を利用する方法の別の例として、取得した流れ情報に基づいてユーザーに対して情報を提示し、診断を支援する方法について説明する。本ステップにおいて画像処理装置1300は、上記各ステップで取得された情報に基づいて診断支援情報を算出して表示装置1400に表示する。一例として、画像処理装置1300は、リンパの流れ情報を定量的に分析し、その結果に基づいてリンパ浮腫や糖尿病のステージを診断するための情報を算出し提示する。提示される情報として例えば、ステージのサジェスチョンや推定値などが挙げられる。画像処理装置1300は例えば、流れの頻度や流量、流速などの値とリンパ浮腫のステージとの関係を示すテーブルを記憶装置1400から読み出し、上記ステップにおいて算出された流れ情報と比較することで提示情報を算出する。また、画像処理装置1300が、実際にユーザーが診断した結果と推定されたステージを比較し、正誤判定の結果に基づいて推定用のデータを更新していくことで、推定の精度を高めていくような学習機能を設けることも好ましい。
を支援する情報を生成して提示したりすることが可能になる。
表示制御手段としての画像処理装置1300は、造影剤に対応する領域とそれ以外の領域とを識別できるように分光画像を表示装置1400に表示させる。なお、レンダリング手法としては、最大値投影法(MIP:Maximum Intensity Projection)、ボリュームレンダリング、及びサーフェイスレンダリングなどのあらゆる方法を採用することができる。ここで、三次元画像を二次元にレンダリングする際の表示領域や視線方向などの設定条件は、観察対象に合わせて任意に指定することができる。
ザーの指示に基づいて変更可能であってもよい。
ここで、本実施形態を、光パルスを繰り返し照射し、被検体の特定領域における前記被検体の光吸収体分布の3次元画像を実質的に連続的に取得した画像の表示方法であって、一連の連続して取得した画像を、所定の速度で繰り返し再生表示する画像表示方法として
実施することもできる。
その際、前記特定領域の物質の流れ情報を、前記特定領域と関連付けて、少なくとも輝度表示、カラー表示、グラフ表示、および/または数値表示で同一画面に表示することもできる。
また、少なくとも1つの前記特定領域を強調表示することもできる。
また、流れ情報を動画表示するときに、早送り表示を可能としても良い。
て分光画像を生成する例を説明したが、1つの波長の光だけを照射して光音響画像を生成する場合に本実施形態に係る波長の決定方法で波長を決定してもよい。すなわち、コンピュータ150は、造影剤に関する情報に基づいて、照射光の波長を決定してもよい。この場合、コンピュータ150は、光音響画像中の造影剤の領域の画像値が、血管の領域の画像値と識別できるような波長を決定することが好ましい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
1300 画像処理装置
Claims (6)
- 被検体への複数回の光照射により発生した光音響波の受信信号に基づいて生成された、前記複数回の光照射のそれぞれに対応する3次元画像データを含む、時系列の3次元画像データを処理する画像処理装置であって、
前記時系列の3次元画像データに基づいてヘモグロビンの光吸収特性とは異なる光吸収特性を有する造影剤が導入された前記被検体内のリンパ管を抽出し、前記リンパ管の複数の個所を設定し、前記複数の個所における前記造影剤の存在を示す3次元画像データの変化情報に基づいて、前記リンパ管を流れるリンパの流れ情報を取得する流れ情報取得手段を有し、
前記リンパの流れ情報は、前記リンパ管における前記リンパの流速、流量及び頻度の少なくともいずれかの情報を含む、
ことを特徴とする画像処理装置。 - 前記流れ情報取得手段は、前記複数の個所における前記造影剤の存在を示す時系列の3次元画像データの変化情報に基づいて、時系列に前記リンパの流れ情報を算出する、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記リンパの流れ情報を数値で表示装置に表示させる表示制御部をさらに有する、
ことを特徴とする請求項1または2に記載の画像処理装置。 - 前記時系列の3次元画像データに基づく動画像を、表示装置に繰り返し表示させる表示制御部をさらに有する、
ことを特徴とする請求項1または2に記載の画像処理装置。 - 被検体への複数回の光照射により発生した光音響波の受信信号に基づいて生成された、前記複数回の光照射のそれぞれに対応する3次元画像データを含む、時系列の3次元画像データを処理する画像処理方法であって、
前記時系列の3次元画像データに基づいてヘモグロビンの光吸収特性とは異なる光吸収
特性を有する造影剤が導入された前記被検体内のリンパ管を抽出し、前記リンパ管の複数の個所を設定し、前記複数の個所における前記造影剤の存在を示す3次元画像データの変化情報に基づいて、前記リンパ管を流れるリンパの流れ情報を取得する流れ情報取得ステップを有し、
前記リンパの流れ情報は、前記リンパ管における前記リンパの流速、流量及び頻度の少なくともいずれかの情報を含む、
ことを特徴とする画像処理方法。 - 被検体への複数回の光照射により発生した光音響波の受信信号に基づいて生成された、前記複数回の光照射のそれぞれに対応する3次元画像データを含む、時系列の3次元画像データを処理する画像処理方法をコンピュータに実行させるプログラムであって、
前記画像処理方法は、前記時系列の3次元画像データに基づいてヘモグロビンの光吸収特性とは異なる光吸収特性を有する造影剤が導入された前記被検体内のリンパ管を抽出し、前記リンパ管の複数の個所を設定し、前記複数の個所における前記造影剤の存在を示す3次元画像データの変化情報に基づいて、前記リンパ管を流れるリンパの流れ情報を取得する流れ情報取得ステップを有し、
前記リンパの流れ情報は、前記リンパ管における前記リンパの流速、流量及び頻度の少なくともいずれかの情報を含む、
ことを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018155034A JP7320221B2 (ja) | 2018-08-21 | 2018-08-21 | 画像処理装置、画像処理方法、画像表示方法、および、プログラム |
PCT/JP2019/013968 WO2020039641A1 (ja) | 2018-08-21 | 2019-03-29 | 画像処理装置、画像処理方法、画像表示方法、および、プログラム |
JP2023112970A JP2023123874A (ja) | 2018-08-21 | 2023-07-10 | 光音響イメージングシステム、光音響イメージングシステムの制御方法、および、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018155034A JP7320221B2 (ja) | 2018-08-21 | 2018-08-21 | 画像処理装置、画像処理方法、画像表示方法、および、プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023112970A Division JP2023123874A (ja) | 2018-08-21 | 2023-07-10 | 光音響イメージングシステム、光音響イメージングシステムの制御方法、および、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020028390A JP2020028390A (ja) | 2020-02-27 |
JP2020028390A5 JP2020028390A5 (ja) | 2021-10-28 |
JP7320221B2 true JP7320221B2 (ja) | 2023-08-03 |
Family
ID=69593073
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018155034A Active JP7320221B2 (ja) | 2018-08-21 | 2018-08-21 | 画像処理装置、画像処理方法、画像表示方法、および、プログラム |
JP2023112970A Pending JP2023123874A (ja) | 2018-08-21 | 2023-07-10 | 光音響イメージングシステム、光音響イメージングシステムの制御方法、および、プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023112970A Pending JP2023123874A (ja) | 2018-08-21 | 2023-07-10 | 光音響イメージングシステム、光音響イメージングシステムの制御方法、および、プログラム |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7320221B2 (ja) |
WO (1) | WO2020039641A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7479935B2 (ja) * | 2020-05-26 | 2024-05-09 | キヤノンメディカルシステムズ株式会社 | 体液解析装置、体液解析装置の制御方法、およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003210456A (ja) | 2002-01-21 | 2003-07-29 | Toshiba Corp | 時系列画像の処理装置 |
JP2011189175A (ja) | 2011-05-31 | 2011-09-29 | Toshiba Corp | 超音波診断装置 |
JP2017108964A (ja) | 2015-12-17 | 2017-06-22 | キヤノン株式会社 | 被検体情報取得装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3863414B2 (ja) * | 2001-11-22 | 2006-12-27 | 株式会社東芝 | 超音波診断装置 |
-
2018
- 2018-08-21 JP JP2018155034A patent/JP7320221B2/ja active Active
-
2019
- 2019-03-29 WO PCT/JP2019/013968 patent/WO2020039641A1/ja active Application Filing
-
2023
- 2023-07-10 JP JP2023112970A patent/JP2023123874A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003210456A (ja) | 2002-01-21 | 2003-07-29 | Toshiba Corp | 時系列画像の処理装置 |
JP2011189175A (ja) | 2011-05-31 | 2011-09-29 | Toshiba Corp | 超音波診断装置 |
JP2017108964A (ja) | 2015-12-17 | 2017-06-22 | キヤノン株式会社 | 被検体情報取得装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2023123874A (ja) | 2023-09-05 |
WO2020039641A1 (ja) | 2020-02-27 |
JP2020028390A (ja) | 2020-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210169397A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
JP2023123874A (ja) | 光音響イメージングシステム、光音響イメージングシステムの制御方法、および、プログラム | |
US20180228377A1 (en) | Object information acquiring apparatus and display method | |
JP2019024733A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2018126389A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7108985B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP7205821B2 (ja) | システム | |
JP6882108B2 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
JP7144805B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP7142832B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP7125709B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP7118718B2 (ja) | 被検体情報取得装置、被検体情報処理方法、およびプログラム | |
JP7226728B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP7013215B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP7187336B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2020039640A1 (ja) | 情報処理装置、システム、情報処理方法、プログラム | |
JP2020028668A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP7314371B2 (ja) | 被検体情報取得装置、被検体情報処理方法、およびプログラム | |
JP7277212B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2019000387A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2020028670A (ja) | 画像処理装置、システム、画像処理方法、プログラム | |
US20180299763A1 (en) | Information processing apparatus, object information acquiring apparatus, and information processing method | |
JP2020162746A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181102 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210818 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7320221 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |