JP7187336B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP7187336B2
JP7187336B2 JP2019012522A JP2019012522A JP7187336B2 JP 7187336 B2 JP7187336 B2 JP 7187336B2 JP 2019012522 A JP2019012522 A JP 2019012522A JP 2019012522 A JP2019012522 A JP 2019012522A JP 7187336 B2 JP7187336 B2 JP 7187336B2
Authority
JP
Japan
Prior art keywords
image data
information
photoacoustic image
type
photoacoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019012522A
Other languages
English (en)
Other versions
JP2020078538A (ja
Inventor
翔也 佐々木
一仁 岡
兼一 長永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2020078538A publication Critical patent/JP2020078538A/ja
Application granted granted Critical
Publication of JP7187336B2 publication Critical patent/JP7187336B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04Analysing solids
    • G01N29/06Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22Details, e.g. general constructional or apparatus details
    • G01N29/24Probes
    • G01N29/2418Probes using optoacoustic interaction with the material, e.g. laser radiation, photoacoustics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、光音響画像データに関する処理を行う情報処理装置、情報処理方法、およびプログラムに関する。
生体などの被検体にパルス光を照射し、光音響効果により発生した音響波(光音響波とも呼ぶ)に基づいて、被検体内の情報を示す光音響画像を表示する光音響イメージングが知られている。
光音響イメージングでは、光吸収によって発生した音響波の音圧(初期音圧)や光吸収係数などの空間分布を表す光音響画像データを生成することができる。
光音響イメージングにおいては、光音響装置により得られる複数の光音響画像データを用いて、新たな画像データを生成することもできる。
特許文献1は、互いに波長の異なる複数の光を照射して各波長に対応する吸収係数分布を求めることを開示する。また、特許文献1は、複数の波長に対応する複数の吸収係数分布を用いて、被検体の酸素飽和度の情報を算出することを開示する。
特開2017-35407号公報
複数の光音響画像データを用いて被検体の機能情報を算出する場合に、ユーザーが所望の合成画像データの算出に適していない光音響画像データを指定してしまうと、所望の合成画像データを正しく得られない場合がある。
そこで本発明は、所望の合成画像データの算出に適した光音響画像データの指定を容易にする情報処理装置を提供することを目的とする。
本発明に係る情報処理装置は、光音響画像データ群のうち、ユーザーの指示に基づいて指定された複数の光音響画像データの付帯情報を取得する付帯情報取得手段と、算出対象の合成画像データの種別を示す種別情報を取得する種別情報取得手段と、複数の光音響画像データの組み合わせと、種別情報が示す種別の合成画像データの算出との適合度を、付帯情報に基づいて取得する適合度取得手段と、を有し、適合度取得手段は、複数の種別のそれぞれと、複数の種別のそれぞれの算出に適した光音響画像データの条件との関係を示したテーブルを参照して、適合度を取得する。
本発明に係る情報処理装置によれば、所望の合成画像データの算出に適した光音響画像データの指定を容易にすることができる。
本発明の一実施形態に係るシステムのブロック図 本発明の一実施形態に係る合成画像データの算出方法のフロー図 本発明の一実施形態に係る、合成画像データを指定するGUIを示す図 本発明の一実施形態に係る、適切な光音響画像データの組み合わせを表示するGUIを示す図 本発明の一実施形態に係る、適切な光音響画像データの候補を表示するGUIを示す図 本発明の一実施形態に係る、不適切な光音響画像データが指定された場合のGUIを示す図 本発明の一実施形態に係る、合成画像データに基づいた画像を表示するGUIを示す図 本発明の一実施形態に係る光音響装置及び情報処理装置の詳細なブロック図 本発明の一実施形態に係るプローブの模式図 本発明の一実施形態に係るコンピュータとその周辺構成を示すブロック図 本発明の一実施形態に係る光音響画像データの生成方法のフロー図
以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものである。よって、この発明の範囲を以下の記載に限定する趣旨のものではない。
本発明に係るシステムにより得られる光音響画像データは、光エネルギーの吸収量や吸収率を反映している。光音響画像データは、光音響波の発生音圧(初期音圧)、光吸収エネルギー密度、及び光吸収係数などの少なくとも1つの被検体情報の空間分布を表す画像データである。光音響画像データは、二次元の空間分布を表す画像データであってもよいし、三次元の空間分布を表す画像データであってもよい。また、本発明に係るシステムは、複数の光音響画像データを用いて被検体の合成画像データを算出することができる。合成画像データは、複数の光音響画像データから算出される画像データである。典型的に、合成画像データは被検体の機能を示す情報であり、機能情報とも呼ぶ。例えば、合成画像データは、グルコース濃度、コラーゲン濃度、メラニン濃度、脂肪や水の体積分率など、被検体を構成する物質の濃度情報であってもよい。また、合成画像データは、被検体の状態の経時変化を特定することのできる、複数の光音響画像データの差分情報であってもよい。
複数の光音響画像データを用いて被検体の合成画像データを算出する場合に、ユーザーが所望の合成画像データの算出に適していない光音響画像データを指定してしまうと、所望の合成画像データを正しく得られない場合がある。そこで本発明は、所望の合成画像データの算出に適した光音響画像データの指定を容易にする情報処理装置を提供することを目的とする。
以下、本実施形態のシステムの構成及び情報処理方法について説明する。
図1を用いて本実施形態に係るシステムを説明する。図1は、本実施形態に係るシステムの構成を示すブロック図である。本実施形態に係るシステムは、光音響装置1100、記憶装置1200、情報処理装置1300、表示装置1400、及び入力装置1500を備える。装置間のデータの送受信は有線で行われてもよいし、無線で行われてもよい。
光音響装置1100は、被検体を撮影することにより光音響画像データを生成し、記憶装置1200に出力する。光音響装置1100は、光照射により発生した光音響波を受信することにより得られる受信信号を用いて、被検体内の複数位置のそれぞれに対応する特性値の情報を生成する装置である。すなわち、光音響装置1100は、光音響波に由来した特性値情報の空間分布を医用画像データ(光音響画像データ)として生成する装置である。
光音響装置1100によって生成される光音響画像データは、光エネルギーの吸収量および吸収率を反映している。光音響装置1100によって生成された光音響画像データとしては、発生した音響波の音圧(初期音圧)、光エネルギー吸収密度、光の吸収係数、組織を構成する物質の濃度に関する情報等がある。物質の濃度に関する情報とは、例えば、血液における酸素飽和度、トータルヘモグロビン濃度、オキシヘモグロビンあるいはデオキシヘモグロビン濃度などである。また、物質の濃度に関する情報は、グルコース濃度、コラーゲン濃度、メラニン濃度、脂肪や水の体積分率などであってもよい。
記憶装置1200は、ROM(Read Only Memory)、磁気ディスクやフラッシュメモリなどの記憶媒体であってもよい。また、記憶装置1200は、PACS(Picture Archiving and Communication System)等のネットワークを介した記憶サーバであってもよい。
情報処理装置1300は、記憶装置1200に記憶された光音響画像データや光音響画像データの付帯情報等の情報を処理する装置である。
情報処理装置1300の演算機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(Field Programmable Gate Array)チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
情報処理装置1300の記憶機能を担うユニットは、ROM(Read Only Memory)、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶機能を担うユニットは、RAM(Random Access Memory)などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶機能を担うユニットは、1つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。
情報処理装置1300の制御機能を担うユニットは、CPUなどの演算素子で構成される。制御機能を担うユニットは、システムの各構成の動作を制御する。制御機能を担うユニットは、入力部からの測定開始などの各種操作による指示信号を受けて、システムの各構成を制御してもよい。また、制御機能を担うユニットは、記憶部に格納されたプログラムコードを読み出し、システムの各構成の作動を制御してもよい。
表示装置1400は、液晶ディスプレイや有機EL(Electro Luminescence)などのディスプレイである。また、表示装置1400は、画像や装置を操作するためのGUIを表示してもよい。
入力装置1500としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示装置1400をタッチパネルで構成し、表示装置1400を入力装置1500として利用してもよい。
図2は、本実施形態に係る情報処理装置1300の具体的な構成例を示す。本実施形態に係る情報処理装置1300は、CPU1310、GPU1320、RAM1330、ROM1340、外部記憶装置1350から構成される。また、情報処理装置1300には、表示装置1400としての液晶ディスプレイ1450、入力装置1500としてのマウス1510、キーボード1520が接続されている。さらに、情報処理装置1300は、PACS(Picture Archiving and Communication System)などの記憶装置1200としての画像サーバ1210と接続されている。これにより、画像データを画像サーバ1210上に保存したり、画像サーバ1210上の画像データを表示装置1400に表示したりすることができる。
図3は、本実施形態に係るシステムを利用した合成画像データを取得するフローを示す図である。以下、図3を用いて本実施形態に係る合成画像データの取得フローを説明する。
(S100:光音響画像データを生成する工程)
光音響装置1100は、被検体を撮影することにより光音響画像データを生成し、記憶装置1200に出力する。光音響画像データの生成方法の詳細については後述する。
(S200:光音響画像データの付帯情報を登録する工程)
光音響装置1100は、光音響画像データに付帯情報を関連付けて登録して、光音響画像データを記憶装置1200に記憶させる。記憶装置1200には、1回の撮影により生成された光音響画像データだけではなく、付帯情報が関連付けられた光音響画像データ群が記憶されている。後述する光音響画像データ群は、記憶装置1200に保存された画像データ全体であってもよいし、記憶装置1200の一部の画像データであってもよい。ユーザーが入力装置1500を用いて、記憶装置1200に記憶された光音響画像データの付帯情報を変更してもよい。
付帯情報としては、患者情報や光音響画像データに関する情報などが挙げられる。患者情報とは、例えば、患者ID、氏名、生年月日、性別、過去の検査の日時・撮影部位・モダリティなどの少なくとも一つの情報を含む。光音響画像データに関する情報とは、例えば、撮影日時、撮影部位、測定波長、初期音圧分布や光吸収係数分布など光音響画像データの種類(画像種別)などの少なくとも一つの情報を含む。
(S300:合成画像データの種別を指定する工程)
ユーザーは、入力装置1500を用いて、これから算出の対象となる合成画像データの種別を指定する。種別情報取得手段としての情報処理装置1300は、入力装置1500を介して、ユーザーが算出を要求する合成画像データの種別を示す種別情報を取得する。本実施形態において算出対象の種別を示す種別情報は、ユーザが算出を要求する種別を定義する要求情報ともいえる。例えば、ユーザーは、表示装置1400に表示された複数の種別の合成画像データのリストから所望の合成画像データの種別を指定することができる。複数の種別の合成画像データの中から所望の合成画像データの種別を指定する方法は、いかなる方法であってもよい。なお、種別情報は、算出することが予め決定されている合成画像データの種別が定義された情報であってもよい。
ここで、ユーザーが入力装置1500を用いて、患者情報(患者ID等)を指定すると、コンピュータ150が指定された患者情報に対応する光音響画像データの組み合わせにより算出可能な合成画像データの種別を識別可能に表示装置1400に表示させてもよい。コンピュータ150は、指定された患者情報に対応する光音響画像データの組み合わせにより算出可能な合成画像データを示すアイテムの表示態様と、その他の合成画像データを示すアイテムの表示態様とを異ならせてもよい。また、算出可能な合成画像データを示すアイテムの表示様態とその算出に用いる光音響画像データの表示様態とを関連付けて表示させてもよい。
このとき情報処理装置1300は、入力装置1500を介して、ユーザーにより指定された患者情報を取得する。また、情報処理装置1300は、記憶装置1200に記憶された光音響画像データ群の付帯情報を取得する。そして、情報処理装置1300は、記憶装置1200に記憶された光音響画像データ群の付帯情報を参照して、患者情報に対応する光音響画像データを決定する。例えば、情報処理装置1300は、光音響画像データ群に関連付けられた患者IDを参照して、同一の患者IDを付帯情報として含む光音響画像データを光音響画像データ群の中から決定する。
さらに、情報処理装置1300は、患者情報に対応する光音響画像データの組み合わせで算出可能な合成画像データを示す情報を算出し、表示装置1400に送信する。情報処理装置1300は、付帯情報として患者情報に対応する光音響画像データの画像種別、撮影に用いられた波長、撮影日時などを参照して、算出可能な合成画像データを算出する。また算出可能な合成画像データの判定には、例えば合成画像データごとに好適な使用波長の範囲、ある一定以上、もしくは一定以下の撮像日時の間隔、撮像部位などを別途定めてもよく、この範囲はユーザーによって変更されてもよい。
図4~図8は、本実施形態に係る表示装置1400に表示されるGUI(Graphical User-Interface)を示す。表示領域1410は、後述する第1の光音響画像データに基づいた画像が表示される領域である。表示領域1420は、後述する第2の光音響画像データに基づいた画像が表示される領域である。表示領域1430は、合成画像データに基づいた画像が表示される領域である。リスト1440は、合成画像データの算出に用いられる第1の光音響画像データの候補のリストである。リスト1450は、合成画像データの算出に用いられる第2の光音響画像データの候補のリストである。リスト1440及びリスト1450には、光音響画像データの候補を示す複数のアイテムが並べて表示されている。リスト1440及びリスト1450上に表示される光音響画像データに対応するアイテムは、記憶装置1200に記憶された光音響画像データ群に対応するアイテム群である。情報処理装置1300は、付帯情報を参照して、患者情報や光音響画像データに関する情報をリスト1440及び1450に表示させることができる。リスト1460は、算出が要求される合成画像データの候補のリストである。
図4に示すように、本実施形態では、ユーザーが入力装置1500を用いて、リスト1460の中から合成画像データとして酸素飽和度を指定する場合を説明する。なお、指定された酸素飽和度に対応するアイテムの表示態様(図4ではアイテムの枠の太さ)を変更してもよい。
(S400:合成画像データの算出に適した光音響画像データの組み合わせを表示する工程)
付帯情報取得手段としての情報処理装置1300は、記憶装置1200に記憶された光音響画像データ群の付帯情報を取得する。決定手段としての情報処理装置1300は、記憶装置1200に記憶された光音響画像データ群の付帯情報を参照して、種別情報の示す種別の合成画像データを算出するのに適した光音響画像データの組み合わせを決定する。
例えば、情報処理装置1300は、撮影日時が所定の期間に含まれる光音響画像データの組み合わせを、合成画像データの算出に適した組み合わせとして決定してもよい。情報処理装置1300は、撮影日時の差が所定の条件の光音響画像データの組み合わせを、合成画像データの算出に適した組み合わせとして決定してもよい。情報処理装置1300は、合成画像データとして物質の濃度を算出する場合、撮影日時の差が所定の閾値以下の光音響画像データの組み合わせ、あるいは、撮影日時の差が最も小さい光音響画像データの組み合わせを選択することが好ましい。また、情報処理装置1300は、合成画像データとして差分情報を算出する場合、撮影日時の差が、予め決定されている経過観察の周期である光音響画像データの組み合わせを選択することが好ましい。
また、情報処理装置1300は、撮影部位が同一の光音響画像データの組み合わせを、合成画像データの算出に適した組み合わせとして決定してもよい。
また、情報処理装置1300は、測定波長が合成画像データの算出に好適な光音響画像データの組み合わせを、合成画像データの算出に適した組み合わせとして決定する。例えば、酸素飽和度を合成画像データとして算出する場合、700nmから1000nmの範囲から互いに異なる測定波長に対応する光音響画像データの組み合わせを決定してもよい。情報処理装置1300は、酸素飽和度を合成画像データとして算出する場合、画像種別が吸収係数分布である光音響画像データを選択することが好ましい。情報処理装置1300は、酸素飽和度を合成画像データとして算出する場合、画像種別が同一の光音響画像データを選択することが好ましい。
例えば、種別情報が示す種別が、複数の波長の光をそれぞれ照射することによって得られた複数の光音響画像データから算出される、被検体を構成する物質の濃度情報である場合を考える。情報処理装置1300は、付帯情報としての患者情報を参照し、同一の患者の光音響画像データであるかを判定する。例えば、情報処理装置1300は、光音響画像データ群の付帯情報として関連付けられた患者IDを参照して、同一の患者IDを付帯情報として含む光音響画像データを光音響画像データ群の中から決定する。また、情報処理装置1300は、光音響画像データ群の付帯情報として関連付けられた撮影部位の情報を参照して、撮影部位が同一である光音響画像データを光音響画像データ群の中から決定する。また、情報処理装置1300は、光音響画像データ群の付帯情報として関連付けられた照射光の波長の情報を参照して、互いに異なる波長の光で撮影された光音響画像データを光音響画像データ群の中から決定する。また、情報処理装置1300は、光音響画像データ群の付帯情報として関連付けられた画像種別の情報を参照して、同一の画像種別である光音響画像データを光音響画像データ群の中から決定する。また、情報処理装置1300は、光音響画像データ群の付帯情報として関連付けられた画像種別の情報を参照して、画像種別が光吸収係数分布である光音響画像データを光音響画像データ群の中から決定する。また、情報処理装置1300は、光音響画像データ群の付帯情報として関連付けられた画像種別の情報を参照して、画像種別が光吸収係数分布である光音響画像データを光音響画像データ群の中から決定する。光吸収係数分布以外の画像種別を利用して被検体を構成する物質の濃度情報を算出しようとすると、定量性が低下してしまう場合がある。それに対して、画像種別が光吸収係数分布である光音響画像データを選択的に利用することにより、被検体を構成する物質の濃度情報を精度良く算出することができる。また、情報処理装置1300は、光音響画像データ群の付帯情報として関連付けられた撮影日時の情報を参照して、同日に撮影された光音響画像データを光音響画像データ群の中から決定する。これは、異なる日に撮影された光音響画像データ間では被検体を構成する物質の濃度が変化している可能性があるからである。そのため、異なる日に撮影された光音響画像データを利用すると、被検体を構成する物質の濃度情報を精度良く算出することが困難である。それに対して、同日に撮影された複数の光音響画像を利用することにより、被検体を構成する物質の濃度情報を精度良く算出することができる。そして、情報処理装置1300は、いずれの条件も満たすと判定した組み合わせの光音響画像データを、合成画像データに適した組み合わせとして決定する。なお、合成画像データとして濃度情報が指定されたときの判定条件はこれらに限定されない。この場合、情報処理装置1300は、少なくとも、互いに異なる波長の光で撮影された光音響画像データ、かつ、同一の画像種別の光音響画像データを光音響画像データ群の中から決定することが好ましい。また、情報処理装置1300は、光音響画像データ群の中からそれぞれの条件を満たす光音響画像データを順次絞っていってもよい。例えば、光音響画像データ群の中から同一の患者の光音響画像データを決定し、同一の患者の光音響画像データの中から互いに異なる波長の光で撮影された光音響画像データを決定するように、光音響画像データの組み合わせを決定してもよい。
なお、光音響画像データを決定する場合に、情報処理装置1300は、合成画像データの種別を示す複数の種別のそれぞれと、複数の種別のそれぞれの算出に適した光音響画像データの条件との関係を示したテーブルを参照してもよい。すなわち、情報処理装置1300は、このテーブルを参照して、種別情報が示す種別の合成画像データの算出に適した光音響画像データ、あるいは、光音響画像データの組み合わせを決定してもよい。また、情報処理装置1300は、このテーブルを参照して、光音響画像データの組み合わせと、種別情報が示す種別の合成画像データの算出との適合度を取得してもよい。なお、種別情報が示す種別の合成画像データの算出に適した光音響画像データを決定することができる限り、テーブルを参照する方法以外のあらゆる方法を採用することができる。
表示制御手段としての情報処理装置1300は、表示装置1400に合成画像データの算出に適した光音響画像データの組み合わせを示す情報を出力する。表示装置1400は合成画像データの算出に適した光音響画像データの組み合わせを示す情報を表示させることができる。合成画像データの算出に適した光音響画像データの組み合わせを示す情報の表示方法はいかなる方法であってもよい。例えば、情報処理装置1300は、合成画像データの算出に適した光音響画像データの組み合わせのリストを表示させてもよい。リストは、付帯情報としての患者情報や光音響画像データに関する情報を参照してソートされていてもよい。また、光音響画像データのリストにおいて、合成画像データの算出に適切なデータと不適切なデータとの表示態様を異ならせてもよい。データを示すテキストの文字色を変更することにより表示態様を変更してもよいし、不適切なデータを非表示とすることにより表示態様を変更してもよい。
なお、表示装置1400に出力される光音響画像データの組み合わせは1つであってもよいし、複数であってもよい。また、情報処理装置1300は、合成画像データの算出に適していない光音響画像データの組み合わせを示す情報を取得し、表示装置1400に出力してもよい。
また、適合度取得手段としての情報処理装置1300は、光音響画像データの組み合わせが適しているかを示す適合度を取得してもよい。情報処理装置1300は、合成画像データの算出に対する光音響画像データの組み合わせが最も適している場合を適合度1、合成画像データの算出に対する光音響画像データの組み合わせが最も適していない場合を適合度0としてもよい。また、適合度を段階的に表現してもよい。例えば、情報処理装置1300は、合成画像データの算出に適した光音響画像データの条件を満たしている数に応じて適合度を段階的に決定してもよい。条件を多く満たすほど適合度を高くしてもよい。また、条件ごとに適合度に与える重みを変更してもよい。合成画像データが被検体を構成する物質の濃度情報である場合に、互いに異なる波長の光で撮影された光音響画像データであることの条件に対する重みを、その他の条件よりも大きくすることが好ましい。合成画像データの算出に適している光音響画像データの組み合わせであるかを決定することは、光音響画像データの組み合わせが合成画像データの算出に適しているかを示す適合度を取得することに相当する。また、情報処理装置1300は、適合度に基づいた情報を表示装置1400に表示させることができる。
図5に示すように、情報処理装置1300は、酸素飽和度の算出に適した光音響画像データの組み合わせに対応するアイテムの表示態様と、その他のアイテムの表示態様とが異なるように複数のアイテムを表示させている。すなわち、情報処理装置1300は、リスト1440及びリスト1450に表示された光音響画像データ群の中の適切な光音響画像データの組み合わせに対応するアイテムの表示態様を、その他のアイテムの表示態様とは異ならせている。図5に示す例では、適切な光音響画像データの組み合わせに対応するアイテムの外枠を点線で表示し、アイテムの背景色をその他のアイテムとは異なる色としている。これにより、ユーザーは、酸素飽和度の算出に適した光音響画像データの組み合わせに対応するアイテムを識別することができる。
(S500:第1の光音響画像データを指定する工程)
ユーザーは、入力装置1500を用いて、記憶装置1200に記憶された光音響画像データ群から、合成画像データの算出に用いる1つ目の光音響画像データ(第1の光音響画像データ)を指定する。例えば、ユーザーは、表示装置1400に表示された光音響画像データ群のリストから所望の光音響画像データを指定することができる。光音響画像データ群の中から第1の光音響画像データを指定する方法は、いかなる方法であってもよい。指定情報取得手段としての情報処理装置1300は、入力装置1500を介して、ユーザーの指示に基づいて指定された第1の光音響画像データを定義する指定情報を取得する。情報処理装置1300は、指定情報により定義された第1の光音響画像データの付帯情報を取得する。すなわち、情報処理装置1300は、指定情報に基づいて、第1の光音響画像データの付帯情報を記憶装置1200から読み出すことにより取得する。
図6は、第1の光音響画像データとして、リスト1440に挙げられた患者ID1、検査ID11の光音響画像データに対応するアイテムが指定された場合を示す。情報処理装置1300は、ユーザーにより指定された第1の光音響画像データに基づいた画像を表示領域1410に表示させている。これにより、ユーザーは、指定された光音響画像データが所望の画像データであるのかを確認することができる。
(S600:指定された第1の光音響画像データが適切かを判定する工程)
情報処理装置1300は、種別情報と第1の光音響画像データの付帯情報とに基づいて、種別情報が示す種別の合成画像データを算出するのに第1の光音響画像データが適しているのかを決定する。すなわち、情報処理装置1300は、合成画像データに対する第1の光音響画像データの適合度を示す情報を取得する。なお、情報処理装置1300は、光音響画像データが選択された時点で適合度の計算を開始してもよいし、表示装置1400に表示された適合度の計算を開始するアイコンが選択してから適合度の計算を開始してもよい。
情報処理装置1300は、指定された第1の光音響画像データの適合度が低い、すなわち指定された第1の光音響画像データが合成画像データの算出に適していないと判断した場合、表示装置1400にその旨を表示させる(S700)。また、指定された光音響画像データの測定波長が所望のものでないなど、指定された第1の光音響画像データが不適切な理由を表示してもよい。
適合度が段階的に表現されている場合、情報処理装置1300は、適合度が閾値より大きい場合に第1の光音響画像データが合成画像データの算出に適していると判定する。また、情報処理装置1300は、適合度が閾値より小さい場合に第1の光音響画像データが合成画像データの算出に適していないと判定する。
(S800:合成画像データの算出に適した第2の光音響画像データを表示する工程)
情報処理装置1300は、すなわち指定された第1の光音響画像データが合成画像データの算出に適していると判断した場合、合成画像データの算出に適した別の光音響画像データを決定する。情報処理装置1300は、種別情報、第1の光音響画像データを定義する指定情報、及び記憶装置1200に記憶された光音響画像データ群の付帯情報に基づいて、合成画像データの算出に適した、記憶装置1200に記憶された別の光音響画像データを決定する。情報処理装置1300は、合成画像データの算出において、第1の光音響画像データとの組み合わせに適した2つ目の光音響画像データ(第2の光音響画像データ)を決定する。情報処理装置1300は、合成画像データの算出に適した第2の光音響画像データを示す情報を表示装置1400に出力し、表示装置1400を合成画像データの算出に適した第2の光音響画像データを示す情報を表示させる。情報処理装置1300は、組み合わせの適合度と同様に、合成画像データの算出に対する第2の光音響画像データの適合度を示す適合度を表示装置1400に出力してもよい。
合成画像データの算出に適した第2の光音響画像データを決定する場合の条件は、前述した合成画像データの算出に適した光音響画像データの組み合わせを決定する場合と同様である。
図6に示すように、合成画像データとして酸素飽和度が指定され、第1の光音響画像データとして検査ID11のアイテムが指定された場合、リスト1450に挙げられた検査ID13のアイテムの表示態様が、その他のアイテムとは異なる。これにより、ユーザーは、酸素飽和度の算出に適し、かつ、第1の光音響画像データとの組み合わせに適した第2の光音響画像データの候補を容易に把握することができる。
(S900:第2の光音響画像データを指定する工程)
ユーザーは、入力装置1500を用いて、記憶装置1200に記憶された光音響画像データ群から、合成画像データの算出に用いる2つ目の光音響画像データ(第2の光音響画像データ)を指定する。例えば、ユーザーは、表示装置1400に表示された光音響画像データ群のリストから所望の光音響画像データを指定することができる。光音響画像データ群の中から第2の光音響画像データを指定する方法は、いかなる方法であってもよい。情報処理装置1300は、入力装置1500を介して、ユーザーの指示に基づいて指定された第2の光音響画像データを定義する指定情報を取得する。情報処理装置1300は、指定情報により定義された第2の光音響画像データの付帯情報を取得する。すなわち、情報処理装置1300は、指定情報に基づいて、第2の光音響画像データの付帯情報を、記憶装置1200から読み出すことにより取得する。
(S1000:指定された光音響画像データの組み合わせが適切かを判定する工程)
情報処理装置1300は、種別情報と第1及び第2の光音響画像データの付帯情報とに基づいて、種別情報が示す種別の合成画像データを算出するのに適した光音響画像データの組み合わせであるのかを決定する。すなわち、情報処理装置1300は、合成画像データに対する第1及び第2の光音響画像データの組み合わせの適合度を取得する。なお、情報処理装置1300は、2つの光音響画像データが選択された時点で適合度の計算を開始してもよいし、表示装置1400に表示された適合度の計算を開始するアイコンが選択してから適合度の計算を開始してもよい。
情報処理装置1300は、指定された第1及び第2の光音響画像データの組み合わせの適合度が低い場合、表示装置1400にその旨を表示させる(S1100)。すなわち、情報処理装置1300は、指定された第1及び第2の光音響画像データの組み合わせが合成画像データの算出に適していないと判断した場合、表示装置1400にその旨を表示させる。また、指定された第1及び第2の光音響画像データの組み合わせの適合度が低い場合、指定された光音響画像データの測定波長が所望のものでないなど、指定された第1及び第2の光音響画像データの組み合わせが不適切な理由を表示してもよい。また、指定された第1及び第2の光音響画像データの組み合わせの適合度が低い場合、情報処理装置1300が合成画像データの算出を実行できないように処理を制限してもよい。すなわち、指定された第1及び第2の光音響画像データの組み合わせの適合度が低い場合、情報処理装置1300がユーザからの合成画像データの算出の指示を受け付けないように制御してもよい。
図7は、S400で酸素飽和度を算出するうえで、検査ID11に対応する光音響画像データとは組み合わせが適切ではない検査ID12に対応する光音響画像データが指定された場合を示す。この場合、情報処理装置1300は、検査ID12に対応する光音響画像データが酸素飽和度の算出に適していない旨のアラートを表示領域1430に表示させる。なお、アラートを表示させる領域は表示領域1430に限らず、いかなる領域であってもよい。また、本実施形態では、情報処理装置1300は、リスト1450から選択されたアイテムに対応する光音響画像データを表示領域1420に表示させている。また、情報処理装置1300は、リスト1450上の適切な組み合わせ対象と判定された検査ID13に対応するアイテムを、その他のアイテムとは異なる表示態様で表示させてもよい。
(S1200:合成画像データを算出する工程)
機合成画像データ算出手段としての情報処理装置1300は、指定された第1及び第2の光音響画像データの組み合わせの適合度が高い場合に、第1及び第2の光音響画像データを用いて、合成画像データを算出し、生成する。すなわち、情報処理装置1300は、指定された第1及び第2の光音響画像データが合成画像データの算出に適していると判断した場合、合成画像データを算出し、生成する。情報処理装置1300は、ユーザーによって指定された第1及び第2の光音響画像データを用いて、合成画像データを算出する。なお、情報処理装置1300は適合度を示す情報を表示装置1400に送信し、第1及び第2の光音響画像データの組み合わせが合成画像データの算出に適している旨を表示装置1400に表示させてもよい。情報処理装置1300は、適合度に基づいた表示がなされた後のユーザーからの指示に基づいて、合成画像データの算出処理を開始してもよい。これにより、ユーザーは画像データの組み合わせの適合度を確認し、問題ないと判断したときに算出処理の開始の指示を行うことができる。なお、S400で合成画像データの算出に適した光音響画像データの組み合わせが一つしかなかった場合、情報処理装置1300は、S500-S1100を実行しなくてもよい。この場合、情報処理装置1300は、S400で決定された組み合わせに対応する光音響画像データを用いて合成画像データを算出してもよい。また、情報処理装置1300は、算出された合成画像データを記憶装置1200に出力し、記憶させてもよい。また、情報処理装置1300は、算出された合成画像データを表示装置1400に出力し、合成画像データに基づいた画像を表示させてもよい。
図8は、第1の光音響画像データとして検査ID11に対応する光音響画像データが、第2の光音響画像データとして検査ID13に対応する光音響画像データが、指定された場合を示す。この組み合わせはS400で適切であると判定された組み合わせである。この場合、情報処理装置1300は、検査ID11に対応する光音響画像データと検査ID13に対応する光音響画像データとを用いて、酸素飽和度を算出し、酸素飽和度の空間分布を示す画像を表示領域1430に表示させる。ここで表示されている合成画像データは、付帯情報を参照して適切であると判定された光音響画像データの組み合わせにより算出された情報であるため、正しい情報となる可能性が高い。
なお、本実施形態では、ユーザーが2つの光音響画像データを順番に指定する例を説明したが、合成画像データの算出に用いる光音響画像データの指定方法がこの方法に限らない。S400で表示された組み合わせを指定することにより、組み合わせに対応する複数の光音響画像データをまとめて指定してもよい。また、合成画像データの算出に用いる光音響画像データの個数は2つに限らず、3つ以上の光音響画像データを指定することにより、3つ以上の光音響画像データを用いて合成画像データを算出してもよい。
なお、本実施形態では、システムが光音響画像データを生成する光音響装置1100を含む例を説明したが、光音響装置1100を含まないシステムにも本発明は適用可能である。情報処理装置1300が、光音響画像データを取得できる限り、いかなるシステムであっても本発明を適用することができる。例えば、光音響装置1100を含まず、記憶装置1200と情報処理装置1300とを含むシステムであっても本発明を適用することができる。この場合、情報処理装置1300は、記憶装置1200に予め記憶された光音響画像データ群の中から指定された光音響画像データを読み出すことにより、光音響画像データを取得することができる。
なお、算出が要求されている合成画像データの種別を定義する種別情報と、記憶装置1200に光音響画像データの付帯情報とに基づいて、合成画像データの算出に適した光音響画像データを指定できる限り、いかなる方法で光音響画像データの指定を補助してもよい。例えば、S400→S500→S900→S1200の順に実行することにより、ユーザーは合成画像データの算出に適した組み合わせを参照しながら、複数の光音響画像データを指定することができる。また、S500→S600→S700→S500・・・の順に実行することにより、ユーザーは合成画像データの算出に適していない第1の光音響画像データを指定してしまう可能性を低減することができる。また、S800→S900の順に実行することにより、ユーザーは、合成画像データの算出に適しており、かつ、第1の光音響画像データとの組み合わせにも適した第2の光音響画像データを指定しやすくなる。また、S500→S900→S1000→S1100→S1000の順に実行することにより、合成画像データの算出に適していない組み合わせの光音響画像データを指定してしまう可能性を低減することができる。以上、いずれの例においても、本実施形態に係る情報処理装置によれば、ユーザーは合成画像データの算出に適した光音響画像データを指定しやすくなる。
次に、本実施形態に係るシステムに含まれる装置の構成例を説明する。図9は、本実施形態に係るシステムに含まれる装置の概略ブロック図である。
本実施形態に係る光音響装置1100は、駆動部130、信号収集部140、コンピュータ150、及びプローブ180を有する。プローブ180は、光照射部110、及び受信部120を有する。図10は、本実施形態に係るプローブ180の模式図を示す。測定対象は、被検体100である。駆動部130は、光照射部110と受信部120を駆動し、機械的な走査を行う。光照射部110が光を被検体100に照射し、被検体100内で音響波が発生する。光に起因して光音響効果により発生する音響波を光音響波とも呼ぶ。受信部120は、光音響波を受信することによりアナログ信号としての電気信号(光音響信号)を出力する。
信号収集部140は、受信部120から出力されたアナログ信号をデジタル信号に変換し、コンピュータ150に出力する。コンピュータ150は、信号収集部140から出力されたデジタル信号を、光音響波に由来する信号データとして記憶する。
コンピュータ150は、記憶されたデジタル信号に対して信号処理を行うことにより、光音響画像データを生成する。また、コンピュータ150は、得られた光音響画像データに対して画像処理を施した後に、光音響画像データを表示部160に出力する。表示部160は、光音響画像データに基づいた光音響画像を表示する。表示画像は、ユーザーやコンピュータ150からの保存指示に基づいて、コンピュータ150内のメモリや、モダリティとネットワークで接続されたデータ管理システムなどの記憶装置1200に保存される。
また、コンピュータ150は、光音響装置に含まれる構成の駆動制御も行う。また、表示部160は、コンピュータ150で生成された画像の他にGUIなどを表示してもよい。入力部170は、ユーザーが情報を入力できるように構成されている。ユーザーは、入力部170を用いて測定開始や終了、作成画像の保存指示などの操作を行うことができる。
以下、本実施形態に係る光音響装置1100の各構成の詳細を説明する。
(光照射部110)
光照射部110は、光を発する光源111と、光源111から射出された光を被検体100へ導く光学系112とを含む。なお、光は、いわゆる矩形波、三角波などのパルス光を含む。
光源111が発する光のパルス幅としては、1ns以上、100ns以下のパルス幅であってもよい。また、光の波長として400nmから1600nm程度の範囲の波長であってもよい。血管を高解像度でイメージングする場合は、血管での吸収が大きい波長(400nm以上、700nm以下)を用いてもよい。生体の深部をイメージングする場合には、生体の背景組織(水や脂肪など)において典型的に吸収が少ない波長(700nm以上、1100nm以下)の光を用いてもよい。
光源111としては、レーザーや発光ダイオードを用いることができる。また、複数波長の光を用いて測定する際には、波長の変更が可能な光源であってもよい。なお、複数波長を被検体に照射する場合、互いに異なる波長の光を発生する複数台の光源を用意し、それぞれの光源から交互に照射することも可能である。複数台の光源を用いた場合もそれらをまとめて光源として表現する。レーザーとしては、固体レーザー、ガスレーザー、色素レーザー、半導体レーザーなど様々なレーザーを使用することができる。例えば、Nd:YAGレーザーやアレキサンドライトレーザーなどのパルスレーザーを光源として用いてもよい。また、Nd:YAGレーザー光を励起光とするTi:saレーザーやOPO(Optical Parametric Oscillators)レーザーを光源として用いてもよい。また、光源111としてフラッシュランプや発光ダイオードを用いてもよい。また、光源111としてマイクロウェーブ源を用いてもよい。
光学系112には、レンズ、ミラー、光ファイバ等の光学素子を用いることができる。乳房等を被検体100とする場合、パルス光のビーム径を広げて照射するために、光学系の光出射部は光を拡散させる拡散板等で構成されていてもよい。一方、光音響顕微鏡においては、解像度を上げるために、光学系112の光出射部はレンズ等で構成し、ビームをフォーカスして照射してもよい。
なお、光照射部110が光学系112を備えずに、光源111から直接被検体100に光を照射してもよい。
(受信部120)
受信部120は、音響波を受信することにより電気信号を出力するトランスデューサ121と、トランスデューサ121を支持する支持体122とを含む。また、トランスデューサ121は、音響波を送信する送信手段としてもよい。受信手段としてのトランスデューサと送信手段としてのトランスデューサとは、単一(共通)のトランスデューサでもよいし、別々の構成であってもよい。
トランスデューサ121を構成する部材としては、PZT(チタン酸ジルコン酸鉛)に代表される圧電セラミック材料や、PVDF(ポリフッ化ビニリデン)に代表される高分子圧電膜材料などを用いることができる。また、圧電素子以外の素子を用いてもよい。例えば、静電容量型トランスデューサ(CMUT:Capacitive Micro-machined Ultrasonic Transducers)を用いたトランスデューサなどを用いることができる。なお、音響波を受信することにより電気信号を出力できる限り、いかなるトランスデューサを採用してもよい。また、トランスデューサにより得られる信号は時間分解信号である。つまり、トランスデューサにより得られる信号の振幅は、各時刻にトランスデューサで受信される音圧に基づく値(例えば、音圧に比例した値)を表したものである。
光音響波を構成する周波数成分は、典型的には100KHzから100MHzであり、トランスデューサ121として、これらの周波数を検出することのできるものを採用することができる。
支持体122は、機械的強度が高い金属材料などから構成されていてもよい。照射光を被検体に多く入射させるために、支持体122の被検体100側の表面に、鏡面加工もしくは光散乱させる加工が行われていてもよい。本実施形態において支持体122は半球殻形状であり、半球殻上に複数のトランスデューサ121を支持できるように構成されている。この場合、支持体122に配置されたトランスデューサ121の指向軸は半球の曲率中心付近に集まる。そして、複数のトランスデューサ121から出力された信号を用いて画像化したときに曲率中心付近の画質が高くなる。なお、支持体122はトランスデューサ121を支持できる限り、いかなる構成であってもよい。支持体122は、1Dアレイ、1.5Dアレイ、1.75Dアレイ、2Dアレイと呼ばれるような平面又は曲面内に、複数のトランスデューサを並べて配置してもよい。複数のトランスデューサ121が複数の受信手段に相当する。
また、支持体122は音響マッチング材を貯留する容器として機能してもよい。すなわち、支持体122をトランスデューサ121と被検体100との間に音響マッチング材を配置するための容器としてもよい。
また、受信部120が、トランスデューサ121から出力される時系列のアナログ信号を増幅する増幅器を備えてもよい。また、受信部120が、トランスデューサ121から出力される時系列のアナログ信号を時系列のデジタル信号に変換するA/D変換器を備えてもよい。すなわち、受信部120が後述する信号収集部140を備えてもよい。
受信部120と被検体100との間の空間は、光音響波が伝播することができる媒質で満たす。この媒質には、音響波が伝搬でき、被検体100やトランスデューサ121との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。
図10は、プローブ180の側面図を示す。本実施形態に係るプローブ180は、開口を有する半球状の支持体122に複数のトランスデューサ121が三次元に配置された受信部120を有する。また、支持体122の底部には、光学系112の光射出部が配置されている。
本実施形態においては、図10に示すように被検体100は、保持部200に接触することにより、その形状が保持される。
受信部120と保持部200の間の空間は、光音響波が伝播することができる媒質で満たされる。この媒質には、光音響波が伝搬でき、被検体100やトランスデューサ121との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。
保持手段としての保持部200は被検体100の形状を測定中に保持するために使用される。保持部200により被検体100を保持することによって、被検体100の動きの抑制および被検体100の位置を保持部200内に留めることができる。保持部200の材料には、ポリカーボネートやポリエチレン、ポリエチレンテレフタレート等、樹脂材料を用いることができる。
保持部200は、取り付け部201に取り付けられている。取り付け部201は、被検体の大きさに合わせて複数種類の保持部200を交換可能に構成されていてもよい。例えば、取り付け部201は、曲率半径や曲率中心などの異なる保持部に交換できるように構成されていてもよい。
(駆動部130)
駆動部130は、被検体100と受信部120との相対位置を変更する部分である。駆動部130は、駆動力を発生させるステッピングモータなどのモータと、駆動力を伝達させる駆動機構と、受信部120の位置情報を検出する位置センサとを含む。駆動機構としては、リードスクリュー機構、リンク機構、ギア機構、油圧機構、などを用いることができる。また、位置センサとしては、エンコーダー、可変抵抗器、リニアスケール、磁気センサ、赤外線センサ、超音波センサなどを用いたポテンショメータなどを用いることができる。
なお、駆動部130は被検体100と受信部120との相対位置をXY方向(二次元)に変更させるものに限らず、一次元または三次元に変更させてもよい。
なお、駆動部130は、被検体100と受信部120との相対的な位置を変更できれば、受信部120を固定し、被検体100を移動させてもよい。被検体100を移動させる場合は、被検体100を保持する保持部を動かすことで被検体100を移動させる構成などが考えられる。また、被検体100と受信部120の両方を移動させてもよい。
駆動部130は、相対位置を連続的に移動させてもよいし、ステップアンドリピートによって移動させてもよい。駆動部130は、プログラムされた軌跡で移動させる電動ステージであってもよいし、手動ステージであってもよい。
また、本実施形態では、駆動部130は光照射部110と受信部120を同時に駆動して走査を行っているが、光照射部110だけを駆動したり、受信部120だけを駆動したりしてもよい。
(信号収集部140)
信号収集部140は、トランスデューサ121から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するA/D変換器とを含む。信号収集部140から出力されるデジタル信号は、コンピュータ150内の記憶部152に記憶される。信号収集部140は、Data Acquisition System(DAS)とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、フォトダイオードなどの光検出センサが、光照射部110から光射出を検出し、信号収集部140がこの検出結果をトリガーに同期して上記処理を開始してもよい。
(コンピュータ150)
コンピュータ150は、情報処理装置1300と同様のハードウェアで構成されている。すなわち、コンピュータ150の演算機能を担うユニットは、CPUやGPU(Graphics Processing Unit)等のプロセッサ、FPGA(FieldProgrammable Gate Array)チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
コンピュータ150の記憶機能を担うユニットは、RAM(Random Access Memory)などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、コンピュータ150の記憶機能を担うユニットは、1つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。
コンピュータ150の制御機能を担うユニットは、CPUなどの演算素子で構成される。コンピュータ150の制御機能を担うユニットは、光音響装置の各構成の動作を制御する。コンピュータ150の制御機能を担うユニットは、入力部170からの測定開始などの各種操作による指示信号を受けて、光音響装置の各構成を制御してもよい。また、コンピュータ150の制御機能を担うユニットは、記憶機能を担うユニットに格納されたプログラムコードを読み出し、光音響装置の各構成の作動を制御する。
(表示部160)
表示部160は、液晶ディスプレイや有機EL(Electro Luminescence)などのディスプレイである。また、表示部160は、画像や装置を操作するためのGUIを表示してもよい。
(入力部170)
入力部170としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示部160をタッチパネルで構成し、表示部160を入力部170として利用してもよい。
(被検体100)
被検体100は光音響装置を構成するものではないが、以下に説明する。本実施形態に係る光音響装置は、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的として使用できる。よって、被検体100としては、生体、具体的には人体や動物の乳房や各臓器、血管網、頭部、頸部、腹部、手指または足指を含む四肢などの診断の対象部位が想定される。例えば、人体が測定対象であれば、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管あるいは腫瘍の近傍に形成される新生血管などを光吸収体の対象としてもよい。また、頸動脈壁のプラークなどを光吸収体の対象としてもよい。また、皮膚等に含まれるメラニン、コラーゲン、脂質などを光吸収体の対象としてもよい。また、メチレンブルー(MB)、インドシニアングリーン(ICG)などの色素、金微粒子、またはそれらを集積あるいは化学的に修飾した外部から導入した物質を光吸収体としてもよい。また、生体を模したファントムを被検体100としてもよい。
なお、光音響装置の各構成はそれぞれ別の装置として構成されてもよいし、一体となった1つの装置として構成されてもよい。また、光音響装置の少なくとも一部の構成が一体となった1つの装置として構成されてもよい。
なお、光音響装置の各構成はそれぞれ別の装置として構成されてもよいし、一体となった1つの装置として構成されてもよい。また、光音響装置の少なくとも一部の構成が一体となった1つの装置として構成されてもよい。
なお、本実施形態に係るシステムを構成する各装置は、それぞれが別々のハードウェアで構成されていてもよいし、全ての装置が1つのハードウェアで構成されていてもよい。本実施形態に係るシステムの機能は、いかなるハードウェアで構成されていてもよい。
(光音響画像データを生成するためのフロー)
次に、光音響装置1100が行う光音響画像データの生成の各工程を、図11を参照して説明する。
(S110:制御パラメータを指定する工程)
ユーザーが、被検体情報の取得のために必要な光照射部110の照射条件(繰り返し周波数や波長など)やプローブ180の位置などの制御パラメータを、入力部170を用いて指定する。コンピュータ150は、ユーザーの指示に基づいて決定された制御パラメータを設定する。
(S120:プローブを指定位置に移動させる工程)
制御部153が、S110で指定された制御パラメータに基づいて、駆動部130にプローブ180を指定の位置へ移動させる。S110において複数位置での撮影が指定された場合には、駆動部130は、まずプローブ180を最初の指定位置へ移動させる。なお、駆動部130は、測定の開始指示がなされたときに、あらかじめプログラムされた位置にプローブ180を移動させてもよい。
(S130:光を照射する工程)
光照射部110は、S110で指定された制御パラメータに基づいて、被検体100に光を照射する。
光源111から発生した光は、光学系112を介してパルス光として被検体100に照射される。そして、被検体100の内部でパルス光が吸収され、光音響効果により光音響波が生じる。光照射部110はパルス光の伝送と併せて信号収集部140へ同期信号を送信する。
(S140:光音響波を受信する工程)
信号収集部140は、光照射部110から送信された同期信号を受信すると、信号収集の動作を開始する。すなわち、信号収集部140は、受信部120から出力された、音響波に由来するアナログ電気信号を、増幅・AD変換することにより、増幅されたデジタル電気信号を生成し、コンピュータ150へ出力する。コンピュータ150は、信号収集部140から送信された信号を記憶部152に保存する。S110で複数の走査位置での撮影を指定した場合には、指定した走査位置において、S120-S140のステップを繰り返し実行し、パルス光の照射と音響波に由来するデジタル信号の生成を繰り返す。なお、コンピュータ150は、発光をトリガーとして、発光時の受信部120の位置情報を駆動部130の位置センサからの出力に基づいて取得し、記憶してもよい。
(S150:光音響画像データを生成する工程)
画像生成手段としてのコンピュータ150の演算部151は、記憶部152に記憶された信号データに基づいて、光音響画像データを生成する。コンピュータ150は、生成された光音響画像データを記憶装置1200に出力し、記憶させる。
信号データを空間分布としてのボリュームデータに変換する再構成アルゴリズムとしては、タイムドメインでの逆投影法やフーリエドメインでの逆投影法などの解析的な再構成法やモデルベース法(繰り返し演算法)を採用することができる。例えば、タイムドメインでの逆投影法として、Universal back-projection(UBP)、Filtered back-projection(FBP)、または整相加算(Delay-and-Sum)などが挙げられる。
また、演算部151は、被検体100に照射された光の被検体100の内部での光フルエンス分布を計算し、初期音圧分布を光フルエンス分布で除算することにより、吸収係数分布情報を取得してもよい。この場合、吸収係数分布情報を光音響画像データとして取得してもよい。さらに、複数の波長の光を用いて、S130、S140の工程を実行し、本工程で演算部151は、複数の波長の光のそれぞれに対応する初期音圧分布情報や吸収係数分布情報を光音響画像データとして取得することができる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (18)

  1. 光音響画像データ群のうち、ユーザーの指示に基づいて指定された複数の光音響画像データにおける測定波長を表す情報を含む付帯情報を取得する付帯情報取得手段と、
    算出対象の合成画像データの種別を示す種別情報を取得する種別情報取得手段と、
    前記複数の光音響画像データに対応する複数の測定波長の組み合わせと、前記種別情報が示す種別の前記合成画像データの算出との適合度を、前記付帯情報と前記種別情報とに基づいて取得する適合度取得手段と、
    を有し、
    前記適合度取得手段は、複数の種別のそれぞれと、当該複数の種別のそれぞれの算出に適した光音響画像データの条件との関係を示したテーブルを参照して、前記適合度を取得することを特徴とする情報処理装置。
  2. 前記付帯情報は、測定波長、画像種別、撮影日時、及び患者情報の少なくとも一つを表す情報を含むことを特徴とする請求項1に記載の情報処理装置。
  3. 前記種別情報取得手段は、複数の種別の合成画像データのうち、ユーザーの指示に基づいて指定された前記合成画像データの種別を示す前記種別情報を取得することを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記適合度が所定の条件を満たすときに、ユーザーの指示に基づいて指定された前記複数の光音響画像データを用いて、前記種別情報が示す前記合成画像データを算出する合成画像データ算出手段と、
    前記適合度が所定の条件を満たさないときに、前記適合度に基づいた情報を表示手段に表示させる表示制御手段と、を更に有することを特徴とする請求項1からのいずれか1項に記載の情報処理装置。
  5. 光音響画像データ群のうち、ユーザーの指示に基づいて指定された第1の光音響画像データを表す指定情報を取得する指定情報取得手段と、
    前記光音響画像データ群における測定波長を表す情報を含む付帯情報を取得する付帯情報取得手段と、
    算出対象の合成画像データの種別を示す種別情報を取得する種別情報取得手段と、
    前記光音響画像データ群のうち、前記種別情報が示す前記合成画像データの算出に適し、かつ、前記指定情報が示す前記第1の光音響画像データに対応する測定波長に対して、前記合成画像データの算出に適した測定波長の照射光によって撮影された第2の光音響画像データを前記付帯情報に基づいて決定し、前記第2の光音響画像データを識別できる情報を表示手段に表示させる表示制御手段と、を有し、
    前記表示制御手段は、複数の種別のそれぞれと、当該複数の種別のそれぞれの算出に適した光音響画像データの条件との関係を示したテーブルを参照して、前記第2の光音響画像データを決定することを特徴とする情報処理装置。
  6. 前記付帯情報は、測定波長、画像種別、撮影日時、及び患者情報の少なくとも一つを表す情報を含むことを特徴とする請求項に記載の情報処理装置。
  7. 前記種別情報取得手段は、複数の種別の合成画像データのうち、ユーザーの指示に基づいて指定された前記合成画像データの種別を示す前記種別情報を取得することを特徴とする請求項5又は6に記載の情報処理装置。
  8. 前記表示制御手段は、
    前記光音響画像データ群を示すアイテム群を前記表示手段に表示させ、
    アイテム群のうち、前記第2の光音響画像データを示すアイテムを識別できるように、前記アイテム群の表示態様を決定し、前記第2の光音響画像データを識別できる情報として、前記アイテム群を前記表示態様で前記表示手段に表示させることを特徴とする請求項5から7のいずれか1項に記載の情報処理装置。
  9. 光音響画像データ群における測定波長を表す情報を含む付帯情報を取得する付帯情報取得手段と、
    算出対象の合成画像データの種別を表す種別情報を取得する種別情報取得手段と、
    前記付帯情報及び前記光音響画像データ群のうち、前記種別情報の示す種別の前記合成画像データの算出に適した測定波長の組み合わせに対応する光音響画像データの組み合わせを前記付帯情報に基づいて決定し、当該組み合わせを示す情報を表示手段に表示させる表示制御手段と、を有し、
    前記表示制御手段は、複数の種別のそれぞれと、当該複数の種別のそれぞれの算出に適した光音響画像データの条件との関係を示したテーブルを参照して、前記光音響画像データの組み合わせを決定することを特徴とする情報処理装置。
  10. 前記付帯情報は、測定波長、画像種別、撮影日時、及び患者情報の少なくとも一つを表す情報を含むことを特徴とする請求項に記載の情報処理装置。
  11. 前記種別情報取得手段は、複数の種別の合成画像データのうち、ユーザーの指示に基づいて指定された前記合成画像データの種別を示す前記種別情報を取得することを特徴とする請求項9又は10に記載の情報処理装置。
  12. 前記表示制御手段は、
    前記光音響画像データ群を示すアイテム群を前記表示手段に表示させ、
    前記アイテム群のうち、前記種別情報の示す種別の前記合成画像データの算出に適した前記光音響画像データの組み合わせに対応する複数のアイテムを識別できるように、前記アイテム群の表示態様を決定することを特徴とする請求項9から11のいずれか1項に記載の情報処理装置。
  13. 前記表示制御手段は、前記光音響画像データ群から、前記種別情報の示す種別の前記合成画像データの算出に適した前記光音響画像データの複数の組み合わせを決定することを特徴とする請求項9から12のいずれか1項に記載の情報処理装置。
  14. 前記付帯情報取得手段は、前記付帯情報として患者情報を取得し、
    前記表示制御手段は、前記患者情報に対応する光音響画像データの組み合わせにより算出可能な合成画像データの種別を識別できるように前記表示手段に表示させることを特徴とする請求項9から13のいずれか1項に記載の情報処理装置。
  15. 光音響画像データ群のうち、ユーザーの指示に基づいて指定された複数の光音響画像データにおける測定波長を表す情報を含む付帯情報を取得し、
    算出対象の合成画像データの種別を示す種別情報を取得し、
    前記複数の光音響画像データに対応する複数の測定波長の組み合わせと、前記種別情報が示す種別の前記合成画像データの算出との適合度を、前記付帯情報と前記種別情報とに基づいて取得する情報処理方法であって、
    合成画像データの複数の種別のそれぞれと、当該複数の種別のそれぞれの算出に適した光音響画像データの条件との関係を示したテーブルを参照して、前記適合度を取得することを特徴とする情報処理方法。
  16. 光音響画像データ群における測定波長を表す情報を含む付帯情報を取得し、
    前記光音響画像データ群のうち、ユーザーの指示に基づいて指定された第1の光音響画像データを示す指定情報を取得し、
    算出対象の合成画像データの種別を示す種別情報を取得し、
    前記光音響画像データ群のうち、前記種別情報が示す前記合成画像データの算出に適し、かつ、前記指定情報が示す前記第1の光音響画像データに対応する測定波長に対して、前記合成画像データの算出に適した測定波長の照射光によって撮影された第2の光音響画像データを前記付帯情報に基づいて決定し、
    前記第2の光音響画像データを識別できる情報を表示手段に表示させる情報処理方法であって、
    合成画像データの複数の種別のそれぞれと、当該複数の種別のそれぞれの算出に適した光音響画像データの条件との関係を示したテーブルを参照して、前記第2の光音響画像データを決定することを特徴とする情報処理方法。
  17. 光音響画像データ群における測定波長を表す情報を含む付帯情報を取得し、
    算出対象の合成画像データの種別を表す種別情報を取得し、
    前記光音響画像データ群のうち、前記種別情報の示す種別の前記合成画像データの算出に適した測定波長の組み合わせに対応する光音響画像データの組み合わせを前記付帯情報に基づいて決定し、
    前記組み合わせを示す情報を表示手段に表示させる情報処理方法であって、
    合成画像データの複数の種別のそれぞれと、当該複数の種別のそれぞれの算出に適した光音響画像データの条件との関係を示したテーブルを参照して、前記組み合わせを決定することを特徴とする情報処理方法。
  18. 請求項15から17のいずれか1項に記載の情報処理方法をコンピュータに実行させるためのプログラム。
JP2019012522A 2017-11-15 2019-01-28 情報処理装置、情報処理方法、およびプログラム Active JP7187336B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017220335A JP6929204B2 (ja) 2017-11-15 2017-11-15 情報処理装置、情報処理方法、およびプログラム
US16/189,759 US20190142278A1 (en) 2017-11-15 2018-11-13 Information processing apparatus, information processing method, and program
US16/189,759 2018-11-13

Publications (2)

Publication Number Publication Date
JP2020078538A JP2020078538A (ja) 2020-05-28
JP7187336B2 true JP7187336B2 (ja) 2022-12-12

Family

ID=66431133

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017220335A Active JP6929204B2 (ja) 2017-11-15 2017-11-15 情報処理装置、情報処理方法、およびプログラム
JP2019012522A Active JP7187336B2 (ja) 2017-11-15 2019-01-28 情報処理装置、情報処理方法、およびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017220335A Active JP6929204B2 (ja) 2017-11-15 2017-11-15 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US20190142278A1 (ja)
JP (2) JP6929204B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018057697A (ja) 2016-10-07 2018-04-12 キヤノン株式会社 制御装置、制御方法、制御システム及びプログラム。
JP2018057695A (ja) 2016-10-07 2018-04-12 キヤノン株式会社 画像表示システム、画像表示方法、及びプログラム
JP2018057696A (ja) 2016-10-07 2018-04-12 キヤノン株式会社 制御装置、制御方法、制御システム及びプログラム
JP2018082830A (ja) 2016-11-22 2018-05-31 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム。

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004229924A (ja) * 2003-01-30 2004-08-19 Aloka System Engineering Co Ltd 超音波診断システム、超音波診断装置及び画像データ処理装置
WO2014084201A1 (ja) * 2012-11-28 2014-06-05 株式会社 東芝 医用画像処理装置、超音波診断装置及び医用画像取込方法
KR102251245B1 (ko) * 2014-04-30 2021-05-12 삼성전자주식회사 관심 영역별 추가 정보 제공 장치 및 방법
JP2017029610A (ja) * 2015-08-05 2017-02-09 キヤノン株式会社 光音響装置、信頼度取得方法、プログラム
JP2017070385A (ja) * 2015-10-06 2017-04-13 キヤノン株式会社 被検体情報取得装置およびその制御方法
JP6234518B2 (ja) * 2016-08-02 2017-11-22 キヤノン株式会社 情報処理装置および情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018057697A (ja) 2016-10-07 2018-04-12 キヤノン株式会社 制御装置、制御方法、制御システム及びプログラム。
JP2018057695A (ja) 2016-10-07 2018-04-12 キヤノン株式会社 画像表示システム、画像表示方法、及びプログラム
JP2018057696A (ja) 2016-10-07 2018-04-12 キヤノン株式会社 制御装置、制御方法、制御システム及びプログラム
JP2018082830A (ja) 2016-11-22 2018-05-31 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム。

Also Published As

Publication number Publication date
JP2020078538A (ja) 2020-05-28
JP6929204B2 (ja) 2021-09-01
JP2019088576A (ja) 2019-06-13
US20190142278A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
JP6576424B2 (ja) 表示制御装置、画像表示方法、及びプログラム
JP2023123874A (ja) 光音響イメージングシステム、光音響イメージングシステムの制御方法、および、プログラム
JP2018089371A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019024733A (ja) 画像処理装置、画像処理方法、プログラム
JP7013215B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6921782B2 (ja) 表示制御装置、画像表示方法、及びプログラム
JP2018061716A (ja) 情報処理装置、情報処理方法、及びプログラム
JP7108985B2 (ja) 画像処理装置、画像処理方法、プログラム
JP7187336B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7205821B2 (ja) システム
JP7118718B2 (ja) 被検体情報取得装置、被検体情報処理方法、およびプログラム
JP7144805B2 (ja) 画像処理装置、画像処理方法、プログラム
JP7142832B2 (ja) 画像処理装置、画像処理方法、プログラム
JP7314371B2 (ja) 被検体情報取得装置、被検体情報処理方法、およびプログラム
JP7277212B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2020039640A1 (ja) 情報処理装置、システム、情報処理方法、プログラム
JP7125709B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2019000387A (ja) 情報処理装置、情報処理方法、及びプログラム
JP7226728B2 (ja) 画像処理装置、画像処理方法、プログラム
US20200305727A1 (en) Image processing device, image processing method, and program
JP2020028670A (ja) 画像処理装置、システム、画像処理方法、プログラム
JP2020028668A (ja) 画像処理装置、画像処理方法、プログラム
JP2018088998A (ja) 表示制御装置、表示方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221130

R151 Written notification of patent or utility model registration

Ref document number: 7187336

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151