JP7134704B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP7134704B2
JP7134704B2 JP2018095569A JP2018095569A JP7134704B2 JP 7134704 B2 JP7134704 B2 JP 7134704B2 JP 2018095569 A JP2018095569 A JP 2018095569A JP 2018095569 A JP2018095569 A JP 2018095569A JP 7134704 B2 JP7134704 B2 JP 7134704B2
Authority
JP
Japan
Prior art keywords
region
interest
image
information indicating
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018095569A
Other languages
English (en)
Other versions
JP2018202147A (ja
Inventor
一仁 岡
和彦 福谷
浩 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2018202147A publication Critical patent/JP2018202147A/ja
Application granted granted Critical
Publication of JP7134704B2 publication Critical patent/JP7134704B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、酸素化指標の空間分布を示す画像データを用いた画像処理装置に関する。
医用画像診断装置（モダリティ）により生成された画像データに基づいた画像を表示するイメージング技術として、光音響イメージングなどがある。光音響イメージングは、光を照射することで光吸収体から発生した音響波を受信して光吸収体の空間分布を画像化することができるイメージング技術である。光音響イメージングを生体に適用することで、ヘモグロビンを含む血管などの光吸収体を画像化することができる。
特許文献１は、光音響イメージングにより、生体中の血液の酸素飽和度の空間分布を推定することを開示する。また、特許文献１は、推定された酸素飽和度の空間分布を表示することを開示する。
特開２０１６－１４７０６１号公報
しかしながら、酸素飽和度等の酸素化指標の空間分布を表示する方法では、関心領域に存在する組織の状態を把握することが困難な場合がある。
そこで、上記課題を鑑み、本発明は、関心領域に存在する組織の状態を容易に把握することのできる装置を提供することを目的とする。
本発明に係る画像処理装置は、被検体内の酸素化指標の空間分布を示す画像データを取得する第１取得手段、被検体内の関心領域を示す情報を取得する第２取得手段、関心領域に関連する血管を示す情報を取得する第３取得手段、酸素化指標の空間分布を示す画像データ、及び、前心領域に関連する血管を示す情報に基づいて、関心領域に関連する血管の酸素化指標の違いを示す情報を取得する第４取得手段、及び関心領域に関連する血管の酸素化指標の違いを示す情報に基づいて、関心領域に存在する組織の状態を示す画像を表示手段に表示させる表示制御手段、を有する。
本発明によれば、関心領域に存在する組織の状態を容易に把握することができる。
比較例に係る画像表示方法を示す模式図 本発明に係る画像表示方法の一形態を示す模式図 比較例に係る画像表示方法を示す模式図 本発明に係る画像表示方法の一形態を示す模式図 第１の実施形態に係る光音響装置を示すブロック図 第１の実施形態に係るプローブを示す模式図 第１の実施形態に係るコンピュータとその周辺の構成を示すブロック図 第１の実施形態に係る画像表示方法のフロー図 第１の実施形態に係る関心領域を指定する例を示す模式図 第１の実施形態に係る画像表示方法の詳細なフロー図 第１の実施形態に係る別の関心領域の指定する例を示す模式図 第１の実施形態に係る表示部の表示例を示す模式図 第２の実施形態に係る画像表示方法のフロー図 第２の実施形態に係る画像処理方法を示す模式図 第２の実施形態に係るＧＵＩを示す模式図
本発明は、酸素化指標の空間分布を示す画像データを用いた画像処理方法に関する発明である。例えば、本発明に係る画像処理方法は、光照射により発生した光音響波に基づいて得られた酸素化指標の空間分布を示す光音響画像データに適用することができる。酸素化指標は、酸素化の程度を示す情報である。酸素化指標の具体例としては、赤血球中のヘモグロビンのうち、酸素と結合したヘモグロビン（オキシヘモグロビン）が占めている割合を表す酸素飽和度が挙げられる。典型的に、血液の酸素飽和度は０－１００％の値となる情報である。その他の酸素化指標の例については後述する。
以下、酸素化指標として、光音響波に基づいて得られた酸素飽和度の空間分布を示す光音響画像データを例に挙げて、本発明を説明する。
図１（ａ）は、被検体への光照射により発生した光音響波に基づいて取得された酸素飽和度の空間分布を示す光音響画像である。図１（ａ）に示す光音響画像には、血管１１及び１２の画像が含まれている。図１（ａ）において、画像の濃淡が酸素飽和度の高低を表している。すなわち、図１において、黒に近い血管の酸素飽和度は高く、白に近い血管の酸素飽和度は低いことを表している。図１（ａ）において、血管１１の酸素飽和度は９９％、血管１２の酸素飽和度は８５％である。
図１（ｂ）は、光音響波に基づいて取得された酸素飽和度の空間分布を示す光音響画像である。図１（ｂ）は、図１（ａ）の場合とは異なる被検体への光照射により発生した光音響波に基づいた光音響画像である。図１（ｂ）に示す光音響画像には、血管１３及び１４の画像データが含まれている。図１（ｂ）において、血管１３の酸素飽和度は９９％であり、血管１４の酸素飽和度は６５％である。
ここで、腫瘍の悪性度に応じて組織における酸素消費量が変化するという仮説を基に、ユーザーが図１（ａ）または図１（ｂ）に示す画像を確認して診断を行う場合を想定する。この場合、図１（ａ）または図１（ｂ）に示すように酸素飽和度の空間分布を示す画像を表示するだけでは、組織での酸素消費量を容易に把握することができないため、組織の状態を把握することが困難であると考えられる。
上記課題を鑑みて、本発明者は、関心領域に関連する血管の酸素飽和度等の酸素化指標に基づいて、関心領域に存在する組織の状態を推定し、組織の状態を示す画像を表示することを着想した。以下、画像処理装置としてのコンピュータが実行する画像処理方法の一例を説明する。
例えば、図２（ａ）に示すように、組織５１が存在する領域を関心領域としてユーザーが指定する場合、組織５１に血液を供給する血管１１（動脈）と、組織５１で酸素が消費された血液を排出する血管１２（静脈）を算出する。そして、血管１１（動脈）の酸素飽和度と、血管１２（静脈）の酸素飽和度との変化量を算出する。この場合、血管１１の酸素飽和度（９９％）と血管１２の酸素飽和度（８５％）との差は１４％である。
一方、図２（ｂ）に示す画像についても同様に組織５２が存在する領域を関心領域として指定する場合、血管１３の酸素飽和度（９９％）と血管１４の酸素飽和度（６５％）との差は３４％である。
そして、関心領域に関連する血管の酸素飽和度の変化量に応じて、関心領域の画像の表示態様を変更する。例えば、図２においては、関心領域に関連する血管の酸素飽和度の変化量に応じて、関心領域の表示色を変更している。図２においては、関心領域に関連する血管の酸素飽和度の差が大きくなるにつれて、関心領域の画像の表示色を白から黒に近づいていく表示色としている。その結果、関心領域に関連する血管の酸素飽和度の差が比較的大きい図２（ｂ）の方が、図２（ａ）よりも濃い表示色となっている。これにより、ユーザーは組織５２の悪性度が高い可能性があることを容易に把握することができる。すなわち、図２に示す表示においては、関心領域に存在する組織の状態に応じて表示態様が変更されている。
なお、ここでは関心領域に関連する血管の酸素化指標の変化量として差を算出する例を示したが、差に限らず、関心領域に関連する血管の酸素化指標の違いを示す情報であればいかなる指標で変化量を表現してもよい。例えば、関心領域に関連する血管の酸素化指標の違いを示す情報として、比を採用してもよい。また、関心領域に関連する血管の酸素化指標の違いを示す情報として、関心領域に関連する血管の酸素化指標のばらつきを示す情報を採用してもよい。ばらつきとしては、分散や標準偏差などのばらつきを示す公知の指標を採用することができる。以上、関心領域に関連する血管の酸素化指標の違いを示す情報としては、関心領域に関連する血管の酸素化指標の差、比、およびばらつきの少なくとも一つを示す情報を採用してもよい。
また、組織の状態とは、組織の悪性度であってもよいし、組織が悪性である可能性であってもよい。
このような画像表示方法により、酸素化指標の空間分布を表示するだけでは把握しにくい組織の状態を容易に把握することができる。
また、３本以上の血管を含む画像に対しても、本発明を適用可能である。図３（ａ）に示す画像データには、６本の血管２１―２６の画像が含まれている。図３（ａ）において、血管２１の酸素飽和度は９９％、血管２２の酸素飽和度は９７％、血管２３の酸素飽和度は８８％、血管２４の酸素飽和度は８４％、血管２５の酸素飽和度は９８％、血管２６の酸素飽和度は８０％である。
図３（ｂ）に示す画像データには、６本の血管３１―３６の画像が含まれている。図３（ｂ）において、血管３１の酸素飽和度は９９％、血管３２の酸素飽和度は９７％、血管３３の酸素飽和度は７０％、血管３４の酸素飽和度は６４％、血管３５の酸素飽和度は９８％、血管３６の酸素飽和度は６１％である。
図３に示す画像を確認して診断を行う場合、図１の場合と同様に、酸素飽和度の空間分布を表示するだけでは、画像に含まれる組織の状態を把握することは困難であると考えられる。そこで、本発明者は、関心領域に関連する血管のうち、関心領域に存在する組織に血液を供給する血管と、組織から血液を排出する血管とにセグメンテーションすることを着想した。さらに、本発明者は、セグメンテーションされた各血管の酸素飽和度等の酸素化指標に基づいて、関心領域に存在する組織の状態を推定し、表示することを着想した。
例えば、図４（ａ）に示すように、組織５３が存在する領域を関心領域としてユーザーが指定する場合に、組織５３に血液を供給する血管２１、２２、及び２５（動脈に相当する血管）を特定する。また、組織５３から血液を排出する血管２３、２４、及び２６（静脈に相当する血管）を特定する。
さらに、動脈に相当する血管２１、２２、及び２５の酸素飽和度の代表値を算出する。また、静脈に相当する血管２３、２４、及び２６の酸素飽和度の代表値を算出する。そして、動脈に相当する血管２１、２２、及び２５の酸素飽和度の代表値と、静脈に相当する血管２３、２４、及び２６の酸素飽和度の代表値との変化量を算出する。
例えば、代表値として平均値を求める場合、動脈に相当する血管２１、２２、及び２５の酸素飽和度の代表値は９８％となる。また、代表値として平均値を求める場合、静脈に相当する血管２３、２４、及び２６の酸素飽和度の代表値は８４％となる。この場合、動脈に相当する血管２１、２２、及び２５の酸素飽和度の代表値（９８％）と、静脈に相当する血管２３、２４、及び２６の酸素飽和度の代表値（８４％）との差は１４％である。
一方、図３（ｂ）に示す画像についても同様に組織５４が存在する領域を関心領域として指定する場合、動脈に相当する血管３１、３２、及び３５の酸素飽和度の代表値は９９％である。また、静脈に相当する血管３３、３４、及び３６（静脈）の酸素飽和度の代表値は６５％である。そして、図３（ｂ）に示す画像における、動脈に相当する血管３１、３２、及び３５の酸素飽和度の代表値（９８％）と、静脈に相当する血管３３、３４、及び３６の酸素飽和度の代表値（６５％）との差は３３％である。
図４において、図２と同様に、酸素飽和度の代表値の変化量に応じて関心領域の画像の表示態様を変更している。図４（ａ）に示す画像における酸素飽和度の代表値の違いよりも、図４（ｂ）に示す画像における酸素飽和度の代表値の違いの方が大きい。そのため、図４（ａ）に示す組織５３の画像の表示色よりも、図４（ｂ）に示す組織５４の画像の表示色の方が濃い色をしている。ユーザーはこれらの画像を確認することにより、組織５３の悪性度は低く、組織５４の悪性度は高い可能性があることを容易に把握することができる。
なお、組織内に血管が存在する場合があるが、それらの血管については可視化されない例を前述した。
以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、この発明の範囲を以下の記載に限定する趣旨のものではない。
［第１の実施形態］
第１の実施形態では、光音響装置が酸素化指標として酸素飽和度の空間分布を取得する例を説明する。また、第１の実施形態では、ユーザーが光音響装置により取得された光音響画像データに対して関心領域を指定する例を説明する。以下、本実施形態の光音響装置の構成及び情報処理方法について説明する。
図５を用いて本実施形態に係る光音響装置の構成を説明する。図５は、光音響装置全体の概略ブロック図である。本実施形態に係る光音響装置は、光照射部１１０及び受信部１２０を含むプローブ１８０、駆動部１３０、信号収集部１４０、コンピュータ１５０、表示部１６０、及び入力部１７０を有する。
図６は、本実施形態に係るプローブ１８０の模式図を示す。測定対象は、被検体１００である。駆動部１３０は、光照射部１１０と受信部１２０を駆動し、機械的な走査を行う。光照射部１１０が光を被検体１００に照射し、被検体１００内で音響波が発生する。光に起因して光音響効果により発生する音響波を光音響波とも呼ぶ。受信部１２０は、光音響波を受信することによりアナログ信号としての電気信号（光音響信号）を出力する。
信号収集部１４０は、受信部１２０から出力されたアナログ信号をデジタル信号に変換し、コンピュータ１５０に出力する。コンピュータ１５０は、信号収集部１４０から出力されたデジタル信号を、超音波または光音響波に由来する信号データとして記憶する。
コンピュータ１５０は、記憶されたデジタル信号に対して信号処理を行うことにより、被検体１００に関する情報（被検体情報）の２次元または３次元の空間分布を表す光音響画像データを生成する。また、コンピュータ１５０は、得られた光音響画像データに基づいた画像を表示部１６０に表示させる。ユーザーとしての医師は、表示部１６０に表示された画像を確認することにより、診断を行うことができる。表示画像は、ユーザーやコンピュータ１５０からの保存指示に基づいて、コンピュータ１５０内のメモリや、モダリティとネットワークで接続されたデータ管理システムなどに保存される。
また、コンピュータ１５０は、光音響装置に含まれる構成の駆動制御も行う。また、表示部１６０は、コンピュータ１５０で生成された画像の他にＧＵＩなどを表示してもよい。入力部１７０は、ユーザーが情報を入力できるように構成されている。ユーザーは、入力部１７０を用いて測定開始や終了、作成画像の保存指示などの操作を行うことができる。
以下、本実施形態に係る光音響装置の各構成の詳細を説明する。
（光照射部１１０）
光照射部１１０は、光を発する光源１１１と、光源１１１から射出された光を被検体１００へ導く光学系１１２とを含む。なお、光は、いわゆる矩形波、三角波などのパルス光を含む。
光源１１１が発する光のパルス幅としては、１ｎｓ以上、１００ｎｓ以下のパルス幅であってもよい。また、光の波長として４００ｎｍから１６００ｎｍ程度の範囲の波長であってもよい。血管を高解像度でイメージングする場合は、血管での吸収が大きい波長（４００ｎｍ以上、７００ｎｍ以下）を用いてもよい。生体の深部をイメージングする場合には、生体の背景組織（水や脂肪など）において典型的に吸収が少ない波長（７００ｎｍ以上、１１００ｎｍ以下）の光を用いてもよい。
光源１１１としては、レーザーや発光ダイオードを用いることができる。また、複数波長の光を用いて測定する際には、波長の変更が可能な光源であってもよい。なお、複数波長を被検体に照射する場合、互いに異なる波長の光を発生する複数台の光源を用意し、それぞれの光源から交互に照射することも可能である。複数台の光源を用いた場合もそれらをまとめて光源として表現する。レーザーとしては、固体レーザー、ガスレーザー、色素レーザー、半導体レーザーなど様々なレーザーを使用することができる。例えば、Ｎｄ：ＹＡＧレーザーやアレキサンドライトレーザーなどのパルスレーザーを光源として用いてもよい。また、Ｎｄ：ＹＡＧレーザー光を励起光とするＴｉ：ｓａレーザーやＯＰＯ（Ｏｐｔｉｃａｌ Ｐａｒａｍｅｔｒｉｃ Ｏｓｃｉｌｌａｔｏｒｓ）レーザーを光源として用いてもよい。また、光源１１１としてフラッシュランプや発光ダイオードを用いてもよい。また、光源１１１としてマイクロウェーブ源を用いてもよい。
光学系１１２には、レンズ、ミラー、光ファイバ等の光学素子を用いることができる。乳房等を被検体１００とする場合、パルス光のビーム径を広げて照射するために、光学系の光出射部は光を拡散させる拡散板等で構成されていてもよい。一方、光音響顕微鏡においては、解像度を上げるために、光学系１１２の光出射部はレンズ等で構成し、ビームをフォーカスして照射してもよい。
なお、光照射部１１０が光学系１１２を備えずに、光源１１１から直接被検体１００に光を照射してもよい。
（受信部１２０）
受信部１２０は、音響波を受信することにより電気信号を出力するトランスデューサ１２１と、トランスデューサ１２１を支持する支持体１２２とを含む。また、トランスデューサ１２１は、音響波を送信する送信手段としてもよい。受信手段としてのトランスデューサと送信手段としてのトランスデューサとは、単一（共通）のトランスデューサでもよいし、別々の構成であってもよい。
トランスデューサ１２１を構成する部材としては、ＰＺＴ（チタン酸ジルコン酸鉛）に代表される圧電セラミック材料や、ＰＶＤＦ（ポリフッ化ビニリデン）に代表される高分子圧電膜材料などを用いることができる。また、圧電素子以外の素子を用いてもよい。例えば、静電容量型トランスデューサ（ＣＭＵＴ：Ｃａｐａｃｉｔｉｖｅ Ｍｉｃｒｏ－ｍａｃｈｉｎｅｄ Ｕｌｔｒａｓｏｎｉｃ Ｔｒａｎｓｄｕｃｅｒｓ）、ファブリペロー干渉計を用いたトランスデューサなどを用いることができる。なお、音響波を受信することにより電気信号を出力できる限り、いかなるトランスデューサを採用してもよい。また、トランスデューサにより得られる信号は時間分解信号である。つまり、トランスデューサにより得られる信号の振幅は、各時刻にトランスデューサで受信される音圧に基づく値（例えば、音圧に比例した値）を表したものである。
光音響波を構成する周波数成分は、典型的には１００ＫＨｚから１００ＭＨｚであり、トランスデューサ１２１として、これらの周波数を検出することのできるものを採用することができる。
支持体１２２は、機械的強度が高い金属材料などから構成されていてもよい。照射光を被検体に多く入射させるために、支持体１２２の被検体１００側の表面に鏡面もしくは光散乱させる加工が行われていてもよい。本実施形態において支持体１２２は半球殻形状であり、半球殻上に複数のトランスデューサ１２１を支持できるように構成されている。この場合、支持体１２２に配置されたトランスデューサ１２１の指向軸は半球の曲率中心付近に集まる。そして、複数のトランスデューサ１２１から出力された信号を用いて画像化したときに曲率中心付近の画質が高くなる。なお、支持体１２２はトランスデューサ１２１を支持できる限り、いかなる構成であってもよい。支持体１２２は、１Ｄアレイ、１．５Ｄアレイ、１．７５Ｄアレイ、２Ｄアレイと呼ばれるような平面又は曲面内に、複数のトランスデューサを並べて配置してもよい。複数のトランスデューサ１２１が複数の受信手段に相当する。
また、支持体１２２は音響マッチング材２１０を貯留する容器として機能してもよい。すなわち、支持体１２２をトランスデューサ１２１と被検体１００との間に音響マッチング材２１０を配置するための容器としてもよい。
また、受信部１２０が、トランスデューサ１２１から出力される時系列のアナログ信号を増幅する増幅器を備えてもよい。また、受信部１２０が、トランスデューサ１２１から出力される時系列のアナログ信号を時系列のデジタル信号に変換するＡ／Ｄ変換器を備えてもよい。すなわち、受信部１２０が後述する信号収集部１４０を備えてもよい。
なお、音響波を様々な角度で検出できるようにするために、理想的には被検体１００を全周囲から囲むようにトランスデューサ１２１を配置してもよい。ただし、被検体１００が大きく全周囲を囲むようにトランスデューサを配置できない場合は、半球状の支持体１２２上にトランスデューサを配置して全周囲を囲む状態に近づけてもよい。
なお、トランスデューサの配置や数及び支持体の形状は被検体に応じて最適化すればよく、本発明に関してはあらゆる受信部１２０を採用することができる。
受信部１２０と被検体１００との間の空間は、光音響波が伝播することができる媒質で満たす。この媒質には、音響波が伝搬でき、被検体１００やトランスデューサ１２１との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。
図６（ａ）は、プローブ１８０の側面図を示し、図６（ｂ）は、プローブ１８０の上面図（図６（ａ）の紙面上方向から見た図）を示す。図６に示された本実施形態に係るプローブ１８０は、開口を有する半球状の支持体１２２に複数のトランスデューサ１２１が３次元に配置された受信部１２０を有する。また、図６に示されたプローブ１８０は、支持体１２２の底部に光学系１１２の光射出部が配置されている。
本実施形態においては、図６に示すように被検体１００は、保持部２００に接触することにより、その形状が保持される。本実施形態では、被検体１００が乳房の場合に、伏臥位の被検者を支持する寝台に乳房を挿入するための開口を設けて、開口から鉛直方向に垂らされた乳房を測定する形態を想定している。
受信部１２０と保持部２００の間の空間は、光音響波が伝播することができる媒質（音響マッチング材２１０）で満たされる。この媒質には、光音響波が伝搬でき、被検体１００やトランスデューサ１２１との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。
保持手段としての保持部２００は被検体１００の形状を測定中に保持するために使用される。保持部２００により被検体１００を保持することによって、被検体１００の動きの抑制および被検体１００の位置を保持部２００内に留めることができる。保持部２００の材料には、ポリカーボネートやポリエチレン、ポリエチレンテレフタレート等、樹脂材料を用いることができる。
保持部２００は、被検体１００を保持できる硬度を有する材料であることが好ましい。保持部２００は、測定に用いる光を透過する材料であってもよい。保持部２００は、インピーダンスが被検体１００と同程度の材料で構成されていてもよい。乳房等の曲面を有するものを被検体１００とする場合、凹型に成型した保持部２００であってもよい。この場合、保持部２００の凹部分に被検体１００を挿入することができる。
保持部２００は、取り付け部２０１に取り付けられている。取り付け部２０１は、被検体の大きさに合わせて複数種類の保持部２００を交換可能に構成されていてもよい。例えば、取り付け部２０１は、曲率半径や曲率中心などの異なる保持部に交換できるように構成されていてもよい。
また、保持部２００には保持部２００の情報が登録されたタグ２０２が設置されていてもよい。例えば、タグ２０２には、保持部２００の曲率半径、曲率中心、音速、識別ＩＤ等の情報を登録することができる。タグ２０２に登録された情報は、読み取り部２０３により読み出され、コンピュータ１５０に転送される。保持部２００が取り付け部２０１に取り付けられたときに容易にタグ２０２を読み取るために、読み取り部２０３は取り付け部２０１に設置されていてもよい。例えば、タグ２０２はバーコードであり、読み取り部２０３はバーコードリーダである。
（駆動部１３０）
駆動部１３０は、被検体１００と受信部１２０との相対位置を変更する部分である。本実施形態では、駆動部１３０は、支持体１２２をＸＹ方向に移動させる装置であり、ステッピングモーターを搭載した電動のＸＹステージある。駆動部１３０は、駆動力を発生させるステッピングモーターなどのモーターと、駆動力を伝達させる駆動機構と、受信部１２０の位置情報を検出する位置センサとを含む。駆動機構としては、リードスクリュー機構、リンク機構、ギア機構、油圧機構、などを用いることができる。また、位置センサとしては、エンコーダー、可変抵抗器、などを用いたポテンショメータなどを用いることができる。
なお、駆動部１３０は被検体１００と受信部１２０との相対位置をＸＹ方向（２次元）に変更させるものに限らず、１次元または３次元に変更させてもよい。移動経路は平面的にスパイラル状やライン＆スペースで走査してもよいし、さらに３次元的に体表に沿うように傾けてもよい。また、被検体１００の表面からの距離を一定に保つようにしてプローブ１８０を移動させてもよい。このとき駆動部１３０は、モーターの回転数をモニターするなどしてプローブの移動量を計測してもよい。
なお、駆動部１３０は、被検体１００と受信部１２０との相対的な位置を変更できれば、受信部１２０を固定し、被検体１００を移動させてもよい。被検体１００を移動させる場合は、被検体１００を保持する保持部を動かすことで被検体１００を移動させる構成などが考えられる。また、被検体１００と受信部１２０の両方を移動させてもよい。
駆動部１３０は、相対位置を連続的に移動させてもよいし、ステップアンドリピートによって移動させてもよい。駆動部１３０は、プログラムされた軌跡で移動させる電動ステージであってもよいし、手動ステージであってもよい。すなわち、光音響装置は、駆動部１３０を有さずに、ユーザーがプローブ１８０を把持して操作できるハンドヘルドタイプであってもよい。ハンドヘルドタイプの光音響装置においては、ユーザーがプローブ１８０を把持できるように、プローブ１８０は把持部を有している。
また、本実施形態では、駆動部１３０は光照射部１１０と受信部１２０を同時に駆動して走査を行っているが、光照射部１１０だけを駆動したり、受信部１２０だけを駆動したりしてもよい。
（信号収集部１４０）
信号収集部１４０は、トランスデューサ１２１から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換器とを含む。信号収集部１４０は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）チップなどで構成されてもよい。信号収集部１４０から出力されるデジタル信号は、コンピュータ１５０内の記憶部１５２に記憶される。信号収集部１４０は、Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ Ｓｙｓｔｅｍ（ＤＡＳ）とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、信号収集部１４０は、光照射部１１０の光射出部に取り付けられた光検出センサと接続されており、光が光照射部１１０から射出されたことをトリガーに、同期して処理を開始してもよい。また、信号収集部１４０は、フリーズボタンなどを用いてなされる指示をトリガーに同期して、当該処理を開始してもよい。
（コンピュータ１５０）
表示制御装置としてのコンピュータ１５０は、演算部１５１、記憶部１５２、制御部１５３を含む。各構成の機能については処理フローの説明の際に説明する。
演算部１５１としての演算機能を担うユニットは、ＣＰＵやＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。演算部１５１は、入力部１７０から、被検体音速や保持部の構成などの各種パラメータを受けて、受信信号を処理してもよい。
記憶部１５２は、ＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶部１５２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶部１５２は、１つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。
記憶部１５２は、後述する方法で演算部１５１により生成される光音響画像を示す画像データを保存することができる。
制御部１５３は、ＣＰＵなどの演算素子で構成される。制御部１５３は、光音響装置の各構成の動作を制御する。制御部１５３は、入力部１７０からの測定開始などの各種操作による指示信号を受けて、光音響装置の各構成を制御してもよい。また、制御部１５３は、記憶部１５２に格納されたプログラムコードを読み出し、光音響装置の各構成の作動を制御する。
コンピュータ１５０は専用に設計されたワークステーションであってもよい。また、コンピュータ１５０の各構成は異なるハードウェアによって構成されてもよい。また、コンピュータ１５０の少なくとも一部の構成は単一のハードウェアで構成されてもよい。
図７は、本実施形態に係るコンピュータ１５０の具体的な構成例を示す。本実施形態に係るコンピュータ１５０は、ＣＰＵ１５４、ＧＰＵ１５５、ＲＡＭ１５６、ＲＯＭ１５７、外部記憶装置１５８から構成される。また、コンピュータ１５０には、表示部１６０としての液晶ディスプレイ１６００、入力部１７０としてのマウス１７１、キーボード１７２が接続されている。
また、コンピュータ１５０および複数のトランスデューサ１２１は、共通の筺体に収められた構成で提供されてもよい。ただし、筺体に収められたコンピュータで一部の信号処理を行い、残りの信号処理を筺体の外部に設けられたコンピュータで行ってもよい。この場合、筺体の内部および外部に設けられたコンピュータを総称して、本実施形態に係るコンピュータとすることができる。すなわち、コンピュータを構成するハードウェアが一つの筺体に収められていなくてもよい。
（表示部１６０）
表示部１６０は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ＦＥＤ、メガネ型ディスプレイ、ヘッドマウントディスプレイなどのディスプレイである。コンピュータ１５０により得られたボリュームデータに基づいた画像や特定位置の数値等を表示する装置である。表示部１６０は、画像データに基づいた画像や装置を操作するためのＧＵＩを表示してもよい。なお、被検体情報の表示にあたっては、表示部１６０またはコンピュータ１５０において画像処理（輝度値の調整等）を行った上で表示することもできる。表示部１６０は、光音響装置とは別に提供されていてもよい。コンピュータ１５０は、光音響画像データを有線または無線で表示部１６０へ送信することができる。
（入力部１７０）
入力部１７０としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示部１６０をタッチパネルで構成し、表示部１６０を入力部１７０として利用してもよい。
入力部１７０は、観察したい位置や深さの情報などを入力できるように構成されていてもよい。入力方法としては、数値を入力してもよいし、スライダーバーを操作することにより入力ができてもよい。また、入力された情報に応じて表示部１６０に表示される画像が更新されていってもよい。これにより、ユーザーは自身の操作によって決定されたパラメータにより生成された画像を確認しながら、適切なパラメータに設定できる。
なお、光音響装置の各構成はそれぞれ別の装置として構成されてもよいし、一体となった１つの装置として構成されてもよい。また、光音響装置の少なくとも一部の構成が一体となった１つの装置として構成されてもよい。
また、光音響装置の各構成間で送受信される情報は、有線または無線でやりとりがなされる。
（被検体１００）
被検体１００は光音響装置を構成するものではないが、以下に説明する。本実施形態に係る光音響装置は、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的として使用できる。よって、被検体１００としては、生体、具体的には人体や動物の乳房や各臓器、血管網、頭部、頸部、腹部、手指および足指を含む四肢などの診断の対象部位が想定される。例えば、人体が測定対象であれば、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管あるいは腫瘍の近傍に形成される新生血管などを光吸収体の対象としてもよい。また、頸動脈壁のプラークなどを光吸収体の対象としてもよい。また、メチレンブルー（ＭＢ）、インドシアニングリーン（ＩＣＧ）などの色素、金微粒子、またはそれらを集積あるいは化学的に修飾した外部から導入した物質を光吸収体としてもよい。
次に、本実施形態に係る情報処理を含む画像表示方法を、図８を参照して説明する。なお、各工程は、コンピュータ１５０が光音響装置の構成の動作を制御することにより実行される。
（Ｓ１００：制御パラメータを設定する工程）
ユーザーが、被検体情報の取得のために必要な光照射部１１０の照射条件（繰り返し周波数や波長など）やプローブ１８０の位置などの制御パラメータを、入力部１７０を用いて指定する。コンピュータ１５０は、ユーザーの指示に基づいて決定された制御パラメータを設定する。
（Ｓ２００：プローブを指定位置に移動させる工程）
制御部１５３が、ステップＳ１００で指定された制御パラメータに基づいて、駆動部１３０にプローブ１８０を指定の位置へ移動させる。ステップＳ１００において複数位置での撮像が指定された場合には、駆動部１３０は、まずプローブ１８０を最初の指定位置へ移動させる。なお、駆動部１３０は、測定の開始指示がなされたときに、あらかじめプログラムされた位置にプローブ１８０を移動させてもよい。なお、ハンドヘルド型の場合、ユーザーがプローブ１８０を把持して所望の位置まで移動させてもよい。
（Ｓ３００：光を照射する工程）
光照射部１１０は、Ｓ１００で指定された制御パラメータに基づいて、被検体１００に光を照射する。
光源１１１から発生した光は、光学系１１２を介してパルス光として被検体１００に照射される。そして、被検体１００内部でパルス光が吸収され、光音響効果により光音響波が生じる。光照射部１１０はパルス光の伝送と併せて信号収集部１４０へ同期信号を送信する。
（Ｓ４００：光音響波を受信する工程）
信号収集部１４０は、光照射部１１０から送信された同期信号を受信すると、信号収集の動作を開始する。すなわち、信号収集部１４０は、受信部１２０から出力された、音響波に由来するアナログ電気信号を、増幅・ＡＤ変換することにより、増幅されたデジタル電気信号を生成し、コンピュータ１５０へ出力する。コンピュータ１５０は、信号収集部１４０から送信された信号を記憶部１５２に保存する。ステップＳ１００で複数の走査位置での撮像を指定した場合には、指定した走査位置において、Ｓ２００－Ｓ４００のステップを繰り返し実行し、パルス光の照射と音響波に由来するデジタル信号の生成を繰り返す。
また、本実施形態では、後述するＳ５００の工程で酸素飽和度の空間分布を取得するために、Ｓ３００及びＳ４００の工程を、互いに異なる複数の波長の光について実行する。なお、複数の波長のそれぞれに対応する信号を個別に取得できる限り、複数の波長のそれぞれの光を時分割に被検体１００へ照射してもよいし、複数の波長の光を同時に被検体１００へ照射してもよい。
（Ｓ５００：光音響画像データを生成する工程）
第１取得手段としてのコンピュータ１５０内の演算部１５１は、記憶部１５２に記憶された信号データに基づいて、光音響画像データを生成し、記憶部１５２に保存する。信号データを空間分布としての光音響画像データに変換する再構成アルゴリズムとしては、タイムドメインでの逆投影法、フーリエドメインでの逆投影法、モデルベース法（繰り返し演算法）などのあらゆる手法を採用することができる。例えば、タイムドメインでの逆投影法として、Ｕｎｉｖｅｒｓａｌ ｂａｃｋ－ｐｒｏｊｅｃｔｉｏｎ（ＵＢＰ）、Ｆｉｌｔｅｒｅｄ ｂａｃｋ－ｐｒｏｊｅｃｔｉｏｎ（ＦＢＰ）、または整相加算（Ｄｅｌａｙ－ａｎｄ－Ｓｕｍ）などが挙げられる。例えば、演算部１５１は、光音響画像データとして、音響波の発生音圧（初期音圧）の空間分布を取得する再構成の手法として、式（１）で表されるＵＢＰ法を採用してもよい。
Figure 0007134704000001
ここで、ｒ０は再構成する位置（再構成位置、注目位置とも呼ぶ）を示す位置ベクトル、ｐ０（ｒ０，ｔ）は再構成する位置での初期音圧、ｃは伝搬経路の音速を示す。また、ΔΩｉは再構成する位置からｉ番目のトランスデューサ１２１を見込む立体角、Ｎは再構成に用いるトランスデューサ１２１の個数を示す。式（１）は、受信信号ｐ（ｒｉ，ｔ）に微分等の処理を行い、それらに立体角の加重をかけて整相加算すること（逆投影）を示している。式（１）のｔは、注目位置とトランスデューサ１２１とを結ぶ音線を光音響波が伝搬する時間（伝搬時間）である。なお、ｂ（ｒｉ、ｔ）の計算においては、他にも演算処理を施してもよい。例えば、周波数フィルタリング（ローパス、ハイパス、バンドパス等）、デコンボリューション、包絡線検波、ウェーブレットフィルタリング、等である。
また、演算部１５１は、被検体１００に照射された光の被検体１００の内部での光フルエンス分布を計算し、初期音圧分布を光フルエンス分布で除算することにより、吸収係数分布情報を取得してもよい。この場合、吸収係数分布情報を光音響画像データとして取得してもよい。コンピュータ１５０は、光を吸収、散乱する媒質における光エネルギーの挙動を示す輸送方程式や拡散方程式を数値的に解く方法により、被検体１００の内部における光フルエンスの空間分布を算出することができる。数値的に解く方法としては、有限要素法、差分法、モンテカルロ法等を採用することができる。例えば、コンピュータ１５０は、式（２）に示す光拡散方程式を解くことにより、被検体１００の内部における光フルエンスの空間分布を算出してもよい。
Figure 0007134704000002
ここで、Ｄは拡散係数、μａは吸収係数、Ｓは照射光の入射強度、φは到達する光フルエンス、ｒは位置、ｔは時間を示す。
そして、本工程において、演算部１５１は、複数の波長の光のそれぞれに対応する吸収係数分布情報を取得することができる。そして、演算部１５１は、複数の波長の光のそれぞれに対応する吸収係数分布情報に基づいて、分光情報として被検体１００を構成する物質の濃度の空間分布情報を、光音響画像データとして取得してもよい。すなわち、演算部１５１は、複数の波長の光に対応する信号データを用いて、分光情報を取得してもよい。本実施形態では、分光情報として、酸素飽和度の空間分布を表す光音響画像データを取得する。
なお、本実施形態では、複数の波長の光のそれぞれに対応する吸収係数分布情報に基づいて酸素飽和度の空間分布を取得する例を説明したが、酸素化指標の空間分布を取得できる限り、いかなる方法を採用してもよい。例えば、複数の波長の光のそれぞれに対応する初期音圧分布の比を算出した結果も酸素化の程度を示す情報であり、酸素化指標に含まれる。また、酸素化の程度を段階的に特定した情報（例えば、酸素飽和度の大きさを大、中、小に分類した情報）についても、酸素化指標に含まれる。例えば、酸素飽和度が０％以上７０％未満を「小」、７０％以上９０％未満を「中」、９０％以上１００％以下を「大」に分類した情報を、酸素化の程度を段階的に特定した情報として取得してもよい。また、光音響装置以外のモダリティを用いて酸素化指標の空間分布を示す情報を取得してもよい。
（Ｓ６００：光音響画像データに基づいた画像を表示する工程）
表示制御手段としてのコンピュータ１５０は、Ｓ５００で得られた光音響画像データに基づいて画像を生成し、表示部１６０に表示させる。本実施形態では、図９（ａ）に示すように、コンピュータ１５０が、光音響画像データに基づいて、酸素飽和度の空間分布を示す画像を生成し、表示部１６０に表示させる。なお、図９（ａ）に示す画像は、図３（ｂ）と同様の画像である。なお、光音響画像データが３次元の空間分布を表す場合、コンピュータ１５０は、光音響画像データを公知の手法によりレンダリングすることにより、画像を表示部１６０に表示させてもよい。レンダリングには、最大値投影法（ＭＩＰ）、最小値投影法（ＭｉｎＩＰ）、Ｒａｙ Ｓｕｍ、平均値投影法、中央値投影法、ボリュームレンダリング、サーフェイスレンダリングなどの公知のあらゆる手法を採用することができる。なお、本実施形態に係る光音響装置は、ユーザーが入力部１７０を用いてレンダリング手法を選択できるように構成されていてもよい。また、再構成ボクセルの配列方向と視線方向（投影方向）とが一致していない場合は、再構成ボクセルを分割し、補間されたボリュームデータに対してレンダリング処理を実行してもよい。また、視線方向が１方向である平行投影法や、ある点から放射状に伸びる方向を視線方向（投影方向）に投影する透視投影法で画像を生成し、表示してもよい。
ユーザーが入力部１７０としてのマウスのホイールを操作することにより、画像として表現したい領域を変更する指示を行い、順次表示画像を切り替えてもよい。
（Ｓ７００：関心領域を示す情報を取得する工程）
図９（ｂ）に示すように、ユーザーは、入力部１７０を用いて、光音響画像データに基づいた画像に対して、関心領域５５を指定する。入力部１７０は、関心領域５５を示す情報をコンピュータ１５０に出力し、コンピュータ１５０は当該情報を受け取る。すなわち、第２取得手段としてのコンピュータ１５０は、ユーザーの指示に基づいて決定された関心領域５５を示す情報を取得する。ここで、関心領域を示す情報とは、関心領域の外周の位置（座標）を示す情報や関心領域を構成するボクセル群（またはピクセル群）の位置（座標）を示す情報など、関心領域を特定できる情報であれば、いかなる情報でもよい。
なお、本実施形態では、ユーザーが光音響画像データに基づいた表示画像に対して関心領域を指定する例を説明したが、いかなる方法により関心領域が指定されてもよい。例えば、後述するように、光音響装置以外のモダリティ装置（超音波診断装置、ＭＲＩ装置、Ｘ線ＣＴ装置、ＰＥＴ装置など）で得られた画像データに基づいた表示画像（医用画像）に対して関心領域が指定されてもよい。また、コンピュータ１５０が画像データを解析することにより、関心領域を決定してもよい。
（Ｓ８００：関心領域に含まれる組織の状態を示す画像を表示する工程）
コンピュータ１５０は、Ｓ６００で取得された酸素飽和度の空間分布に基づいて、Ｓ７００で設定された関心領域５５に存在する組織の状態を推定する。そして、表示制御手段としてのコンピュータ１５０は、関心領域５５に存在する組織の状態に応じた表示態様の画像を表示部１６０に表示させる。以下、本工程の具体的な処理について、図１０を用いて説明する。
（Ｓ８１０：関心領域に関連する血管を示す情報を取得する工程）
第３取得手段としてのコンピュータ１５０は、関心領域５５に関連する血管を示す情報を取得する。ここで、血管を示す情報とは、血管の外周の位置（座標）を示す情報や血管を構成するボクセル群（またはピクセル群）の位置（座標）を示す情報など、血管を特定できる情報であれば、いかなる情報でもよい。
コンピュータ１５０は、関心領域５５を示す情報に基づいて、関心領域５５に関連する血管を特定してもよい。例えば、図９（ｂ）の場合、コンピュータ１５０は、光音響画像データを解析することにより、関心領域５５に関連する血管をセグメンテーションしてもよい。コンピュータ１５０は、光音響画像データを解析することにより、画像値が空間的に連続している画像のうち、関心領域５５と重なっている画像を、関心領域５５に関連する血管として特定することができる。すなわち、コンピュータ１５０は、関心領域５５と重なっている血管３１、３２、及び３３を、関心領域５５と関連する血管として特定することができる。なお、ここでは、コンピュータ１５０が、画像値が空間的に連続している画像を血管の画像として決定したが、血管の画像を決定することができる限り、その他の公知の画像処理を適用してもよい。例えば、コンピュータ１５０は、酸素飽和度の空間分布のうち、酸素飽和度が血管としての尤度が高い数値範囲に含まれる画像を、血管の画像として決定してもよい。コンピュータ１５０は、酸素飽和度が０％以上、１００％以下の領域を血管の画像として決定してもよい。また、コンピュータ１５０は、酸素飽和度が５０％以上、１００％以下の領域を血管の画像として決定してもよい。
また、例えば、図１１（ａ）に示すように、血管３１－３６の画像のいずれとも重ならない関心領域５６が設定された場合を考える。コンピュータ１５０は、図１１（ｂ）に示すように、関心領域５６と所定の関係を有する領域６１（一点鎖線）を定義する。そして、コンピュータ１５０は、光音響画像データを解析することにより、画像値が空間的に連続している画像のうち、領域６１と重なっている画像を、関心領域５６と関連する血管として特定してもよい。この場合、コンピュータ１５０は、血管３１、３２、３３、及び３６が、関心領域５６に関連する血管であると決定する。
ここでは、関心領域と所定の関係を有する領域として、指定された関心領域５６を所定の倍率で拡大した領域６１を定義した。ただし、指定された関心領域から所定の距離だけ拡大した領域など、関心領域が指定されたときに一意に決定される領域を、関心領域と所定の関係を有する領域とすることができる。ユーザーが入力部１７０を用いて、所定の関係を示す情報（拡大する倍率や拡大する距離など）を指定してもよい。
また、コンピュータ１５０は、光音響画像データに含まれる画像のうち、ユーザーにより指定された関心領域と重なる画像が存在するか否かを算出してもよい。そして、コンピュータ１５０は、関心領域と重なる画像が存在しないと算出されたときに、関心領域から所定の距離までの領域を決定し、当該領域と重なる画像を血管の画像として決定してもよい。一方、コンピュータ１５０は、関心領域と重なる画像が存在すると算出されたときに、当該画像と血管の画像として決定してもよい。
以下の工程では、図９（ｂ）に示す関心領域５５が指定された場合について説明する。
（Ｓ８２０：動脈及び静脈に相当する血管を特定する工程）
コンピュータ１５０は、Ｓ８１０で特定された血管の画像のうち、動脈と静脈とを特定する。すなわち、コンピュータ１５０は、動脈に相当する画像と、静脈に相当する画像とを判別する。
典型的に動脈の酸素飽和度は１００％に近く、静脈の酸素飽和度は動脈よりも小さいとされている。例えば、コンピュータ１５０は、酸素飽和度の空間分布に対して閾値を設定し、酸素飽和度が閾値より大きい血管の画像を動脈の画像とし、酸素飽和度が閾値未満の血管の画像を静脈として決定してもよい。ここで、動脈と静脈とを判別するために、８０％以上、９５％以下の値を閾値としてもよい。また、８５％以上、９５％以下の値を閾値としてもよい。さらには、９０％以上、９５％以下の値を閾値としてもよい。図９（ｂ）に示す関心領域５５と関連する血管３１、３２、及び３３に対して閾値を９０％と設定した場合、コンピュータ１５０は、９０％より大きい酸素飽和度の血管３１及び３２を動脈とし、９０％未満の酸素飽和度の血管３３を静脈として決定する。なお、コンピュータ１５０は、酸素飽和度が閾値と同一の値の血管については、動脈と静脈のいずれと判別してもよい。動脈と静脈との判別基準については、予め決定されていてもよいし、ユーザーの指示によって決定してもよい。以下の工程では、血管３１及び３２を動脈とし、血管３３を静脈とした場合について説明する。
また、酸素化指標として酸素化の程度を段階的に特定した情報を取得した場合を考える。ここでは、酸素飽和度が０％以上７０％未満を「小」、７０％以上９０％未満を「中」、９０％以上１００％以下を「大」に分類した情報を、酸素化の程度を段階的に特定した情報として取得した場合を考える。この場合、コンピュータ１５０は、「大」に分類された領域を動脈、「中」または「小」に部類された領域を静脈として特定してもよい。
また、動脈と静脈とは伴走することに着目して動脈と静脈とを判別してもよい。例えば、コンピュータ１５０は、光音響画像データを解析して２本の伴走している血管を特定し、これらの血管のうち、酸素飽和度の高い血管を動脈とし、酸素飽和度の低い血管を静脈として決定してもよい。なお、ユーザーが光音響画像データの表示画像を確認して、表示画像の中から２本の伴走している血管を、入力部１７０を用いて指定してもよい。そしてコンピュータ１５０が、指定された２本の血管の酸素飽和度を比較して動脈と静脈とを決定してもよい。ユーザーが２本の血管を指定する画像データは、光音響装置以外のモダリティで得られた画像データであってもよい。
また、コンピュータ１５０は、典型的な動脈と静脈の位置を示す解剖学的な事前情報を用いて、光音響画像データまたは光音響装置以外のモダリティで得られた画像データを解析することにより、動脈と静脈とを決定してもよい。
また、コンピュータ１５０は、ドップラー画像データに基づいて、関心領域に関連する血管の血流方向を解析することにより、当該血管が動脈であるか静脈であるかを決定してもよい。すなわち、コンピュータ１５０は、血流が関心領域に近づく血管を動脈とし、血流が関心領域から遠ざかる血管を静脈として決定してもよい。
また、動脈と静脈との拍動の違いに着目して動脈と静脈とを判別してもよい。例えば、コンピュータ１５０は、画像データ中の血管の拍動を示す情報を取得し、拍動の振幅が閾値よりも大きい血管を動脈として決定してもよい。コンピュータ１５０が、関心領域に関連する血管の時系列の画像を取得し、当該血管の径の時間変化を算出することにより、拍動の振幅を示す情報を取得することができる。
また、ユーザーが、光音響画像データや光音響装置以外のモダリティにより得られた画像データの表示画像（医用画像）に対して、関心領域に関連する動脈および静脈の少なくとも一方を、入力部１７０を用いて指定してもよい。
（Ｓ８３０：動脈及び静脈の酸素飽和度の代表値を算出する工程）
決定手段としてのコンピュータ１５０は、Ｓ８２０で特定された動脈に相当する血管３１及び３２の酸素飽和度の代表値を算出する。また、コンピュータ１５０は、Ｓ８３０で特定された静脈に相当する血管３３の酸素飽和度の代表値を算出する。例えば、代表値とは、平均値、中央値、最頻値の少なくとも一つを含む。
ここでは、代表値として平均値を採用した場合を考える。この場合、コンピュータ１５０は、動脈に相当する血管３１及び３２の酸素飽和度の代表値を９８％と算出する。また、コンピュータ１５０は、静脈に相当する血管３３の酸素飽和度の代表値を７０％と算出する。
また、血管の酸素飽和度は位置によって変化する場合も想定される。そのため、コンピュータ１５０は、対象とする血管内の複数位置での酸素飽和度の代表値を当該血管の酸素飽和度としてもよい。その際に、コンピュータ１５０は、関心領域と所定の関係を有する領域に含まれる血管までを酸素飽和度の代表値の計算対象としてもよい。
また、コンピュータ１５０は、各血管の酸素飽和度の値に重みづけを行った後に代表値を算出してもよい。例えば、コンピュータ１５０は、関心領域を示す情報と血管の位置を示す情報とに基づいて、関心領域に近い血管ほど大きな重みを与えて代表値を算出してもよい。
なお、ユーザーが入力部１７０を用いて関心領域に関連する血管を指定してもよい。このとき、ユーザーが、表示部１６０に表示された医用画像（血管の映った画像）に対して、血管の一部の領域を関心領域に関連する血管として指定してもよい。前述したように血管の酸素飽和度は位置によって変化するため、計算対象とする血管領域をユーザーが指定してもよい。コンピュータ１５０は、入力部１７０を介して関心領域に関する血管を示す情報を取得することができる。この場合、コンピュータ１５０は、関心領域を示す情報を用いずに関心領域に関連する血管を示す情報を取得することができる。
（Ｓ８４０：動脈と静脈の酸素飽和度の代表値の変化量を算出する工程）
コンピュータ１５０は、Ｓ８３０で算出された動脈と静脈の酸素飽和度の代表値の変化を示す情報を取得する。コンピュータ１５０は、代表値の差分や比などを算出することにより、代表値の違いを示す情報を取得することができる。なお、代表値の変化量を特定できる方法であれば、差分や比以外の計算方法を採用してもよい。
本実施形態においては、代表値の差分を計算することにより、代表値の変化量を算出する例で説明する。すなわち、コンピュータ１５０は、動脈に相当する血管３１及び３２の酸素飽和度の代表値（９８％）と、静脈に相当する血管３３の酸素飽和度の代表値（７０％）との差分（２８％）を算出する。
（Ｓ８５０：酸素飽和度の代表値の変化量に応じた表示態様の画像の表示）
コンピュータ１５０は、Ｓ８４０で取得された動脈と静脈の酸素飽和度の代表値の違いを示す情報に基づいて、代表値の変化に応じた表示態様を決定する。そして、コンピュータ１５０は、決定された表示態様で関心領域の画像を表示部１６０に表示させる。
以上、コンピュータ１５０は、本発明に係る第１取得手段、第２取得手段、第３取得手段、決定手段、及び表示制御手段に相当する。
図１２は、本実施形態に係る表示部１６０の表示例を示す。図１２は、酸素飽和度の空間分布を示す画像１６１に対して、関心領域５５が指定した場合の表示例を示す。本実施形態においては、図１２に示すように、代表値の変化量を関心領域５５の表示色のカラースケール１６２に割り当てて、関心領域５５の表示態様（表示色）を決定している。ここでは、代表値の差分が１０％から５０％のそれぞれに色を割り当てたカラースケール１６２を採用している。図１２のおいては、代表値の差分が２８％であるため、カラースケール１６２の２８％に対応する表示色で関心領域５５の画像を表示している。典型的には、動脈の酸素飽和度から静脈の酸素飽和度への低下の程度が大きいほど、組織の悪性度（活性度）が高いと考えられる。また、動脈の酸素飽和度から静脈の酸素飽和度への低下の程度が大きいほど、組織が悪性である可能性が高いと考えられる。そのため、このような表示方法により、関心領域５５に存在する組織の状態（悪性度や活性度など）を容易に把握することができる。なお、表示態様として関心領域の画像の表示色を変更する場合、色づけされた関心領域と血管の画像とが重なると血管の画像の視認性が低下する場合がある。そのため、このような場合には、血管の画像を関心領域の画像の上に重畳することにより、血管の視認性の低下を抑制してもよい。また、関心領域の画像の表示色が血管の画像の表示色と同系色とならないように、血管の画像または関心領域の画像の表示色を決定してもよい。
なお、酸素化指標として酸素化の程度を段階的に特定した情報を取得した場合（例えば、前述したように酸素化の程度を「大」「中」「小」の３段階で特定した場合）、コンピュータ１５０は、これらの情報の組み合わせにより、組織の状態を推定してもよい。すなわち、コンピュータ１５０は、関心領域内の組織に流入する酸素化の程度（大、中、小）と、関心領域内の組織から流出する血管の酸素化の程度（大、中、小）の組み合わせに応じて、関心領域内の組織の状態を推定してもよい。また、コンピュータ１５０は、関心領域内の組織に流入する酸素化の程度（大、中、小）と、関心領域内の組織から流出する血管の酸素化の程度（大、中、小）の組み合わせに応じて、関心領域の表示画像の表示態様を決定してもよい。例えば、コンピュータ１５０は、各組合せのうち、関心領域内の組織に流入する酸素化の程度が「大」、関心領域内の組織から流出する血管の酸素化の程度が「小」となる組み合わせの場合に、組織が悪性である可能性が最も高いと推定してもよい。すなわち、コンピュータ１５０は、関心領域内の組織に流入する酸素化の程度よりも、関心領域内の組織から流出する血管の酸素化の程度が小さくなるほど組織が悪性である可能性が高くなると推定してもよい。あるいは、コンピュータ１５０が、関心領域内の組織に流入する酸素化の程度よりも、関心領域内の組織から流出する血管の酸素化の程度が小さくなるほど組織の悪性度が高くなると推定してもよい。
なお、関心領域に含まれる組織の状態を把握することができる限り、いかなる表示態様としてもよい。例えば、コンピュータ１５０は、関心領域の画像の点滅の有無、関心領域の画像の点滅のパターン、関心領域を表す外周の線の種類、及び関心領域の画像の色相・明度・彩度などの少なくとも一つを、組織の状態（代表値の変化量）に応じて変更してもよい。
また、コンピュータ１５０は、関心領域に存在する組織の状態をテキストで表した画像を表示部１６０に表示させてもよい。関心領域に存在する組織の状態をテキストで表した画像を、関心領域の画像上に表示させてもよい。
例えば、本発明を乳がん診断の支援に適用する場合、代表値の変化量を、ＢｒｅａｓｔＩｍａｇｉｎｇ Ｒｅｐｏｒｔｉｎｇ ａｎｄ Ｄａｔａ Ｓｙｓｔｅｍ（ＢＩ－ＲＡＤＳ）の各カテゴリーに割り当て、関心領域に存在する組織のカテゴリーを示すテキストの画像を表示部１６０に表示させてもよい。例えば、コンピュータ１５０は、代表値の差分が０－１０％の場合にカテゴリー１を候補として決定する。また、コンピュータ１５０は、代表値の差分が１０－２０％の場合にカテゴリー２を候補として決定する。また、コンピュータ１５０は、代表値の差分が２０－３０％の場合にカテゴリー３を候補として決定する。また、コンピュータ１５０は、代表値の差分が３０－４０％の場合にカテゴリー４を候補として決定する。また、コンピュータ１５０は、代表値の差分が４０－５０％の場合にカテゴリー５を候補として決定する。そして、コンピュータ１５０により決定されたカテゴリーの候補を示す画像を表示部１６０に表示させてもよい。図１２においては、代表値の差分が２８％であるため、コンピュータ１５０は、関心領域５５に存在する組織が、カテゴリー３の可能性が高いことを示すテキスト画像１６３を表示させている。
なお、本実施形態では酸素化指標を利用して組織の状態を推定する例を説明したが、酸素化指標の他にその他の指標も考慮して組織の状態を推定してもよい。
以上説明したように、図１２は、酸素飽和度の空間分布を示す画像と関心領域に存在する組織の状態を示す画像との合成画像を示している。ここで合成画像とは、酸素飽和度の空間分布を示す画像と関心領域に存在する組織の状態を示す画像との重畳画像や並列画像などのことを指す。
本実施形態に係る画像処理方法による表示によれば、ユーザーが関心領域に存在する組織の状態（悪性度や活性度など）を容易に把握することができる。
本実施形態では、モダリティである光音響装置が画像データを生成し、生成された画像データに対して本実施形態に係る画像処理方法を実行する例を説明した。ただし、モダリティとは別の装置である画像処理装置が本実施形態に係る画像処理方法を実行してもよい。この場合、画像処理装置が、事前にモダリティで生成された画像データを、ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）等の記憶部から読み出すことにより取得し、この画像データに対して本実施形態に係る画像処理を適用する。このように、本発明に係る画像処理方法は、事前に生成された画像データに対しても適用することができる。
本実施形態では、酸素化指標の空間分布を示す画像データを取得するモダリティとして光音響装置を例に説明したが、酸素化指標の空間分布を示す画像データを取得することができる限り、その他のイメージング装置を採用することもできる。例えば、拡散光トモグラフィ（ＤＯＴ：Ｄｉｆｆｕｓｉｏｎ Ｏｐｔｉｃａｌ Ｔｏｍｏｇｒａｐｈｙ）装置、音響光学トモグラフィ（ＡＯＴ：Ａｃｏｕｓｔｏ－Ｏｐｔｉｃａｌ Ｔｏｍｏｇｒａｐｈｙ）装置などの酸素飽和度等の酸素化指標の空間分布を示す画像データを取得することのできるイメージング装置に本発明を適用することができる。ＤＯＴ装置は、被検体内を伝搬した拡散光の検出信号に基づいて画像データを取得するイメージング装置である。また、ＡＯＴ装置は、被検体内を伝搬する光の周波数を超音波で変調させ、変調光の検出信号に基づいて画像データを取得するイメージング装置である。
本実施形態では、関心領域に流入する血管（動脈）の酸素化指標と関心領域から流出する血管（静脈）の酸素化指標とに基づいて、関心領域に含まれる組織の状態を推定する形態を説明したが、動脈と静脈とを識別せずに組織の状態を推定することもできる。例えば、コンピュータ１５０が関心領域に関連する血管の酸素化指標のばらつきを算出し、酸素化指標のばらつきに基づいて組織の状態を推定してもよい。関心領域に関連する血管の酸素化指標のばらつきが大きいということは、動脈の酸素化指標と静脈の酸素化指標との違いが大きいということを示す。よって、コンピュータ１５０は、酸素化指標のばらつきが大きいほど、組織が悪性である可能性が高くなると推定してもよい。また、コンピュータ１５０は、酸素化指標のばらつきが大きいほど、組織の悪性度が高くなると推定してもよい。コンピュータ１５０は、酸素化指標のばらつきを示す情報を、関心領域に関連する血管の酸素化指標の違いを示す情報として扱ってもよい。なお、この場合も本実施形態で説明した情報処理方法を適用することができる。
［第２の実施形態］
第２の実施形態では、光音響装置とは異なるモダリティで得られた画像データに基づいた表示画像に対して関心領域を指定する形態を説明する。特に、第２の実施形態では、光音響装置とは異なるモダリティとして超音波診断装置を適用した場合の例を説明する。第２の実施形態においても、第１の実施形態で説明した光音響装置と同様の装置を用いる。既に説明した構成には同じ符号を付し、詳細な説明は省略する。
本実施形態において、プローブ１８０のトランスデューサ１２１は、制御部１５３から制御信号に基づいて超音波を送信し、送信された超音波の反射波を受信することにより、電気信号（超音波信号とも呼ぶ）を出力する。なお、超音波を送信するトランスデューサと、音響波を受信するためのトランスデューサとを別に用意してもよい。また、超音波を送信するトランスデューサと、音響波を受信するためのトランスデューサとが、同じトランスデューサで構成されていてもよい。また、超音波を送受信するためのトランスデューサと、光音響波を受信するためのトランスデューサとを別に用意してもよい。また、超音波を送受信するトランスデューサと光音響波を受信するトランスデューサとが、同じトランスデューサで構成されていてもよい。
本実施形態に係る画像処理を含む画像表示方法を、図１３を参照して説明する。なお、各工程は、コンピュータ１５０が光音響装置の構成の動作を制御することにより実行される。また、図８に示す工程と同様の工程については同一の符号を付し、詳細な説明を省略する。
まず、Ｓ１００及びＳ２００を実行し、プローブ１８０を指定位置に位置させる。
（Ｓ９００：超音波を送受信する工程）
プローブ１８０は、被検体１００に対して超音波を送受信することにより、超音波信号を出力する。信号収集部１４０は、超音波信号に対してＡＤ変換処理等を行い、処理後の超音波信号をコンピュータ１５０に送信する。デジタル信号としての超音波信号は、記憶部１５２に記憶される。
なお、後述するＳ１０００で３次元の超音波画像データを生成するために、プローブ１８０は、複数の方向に平面波の超音波を送受信することにより超音波信号を収集してもよい。また、３次元の超音波画像データを生成するために、複数の位置での送受信が必要な場合、Ｓ２００及びＳ９００の工程を繰り返し実行することにより、プローブ１８０が複数位置で送受信を繰り返し、超音波信号を収集してもよい。
（Ｓ１０００：超音波画像データを生成する工程）
コンピュータ１５０は、超音波信号に対して整相加算（Ｄｅｌａｙ ａｎｄ Ｓｕｍ）等の再構成処理を行うことにより、超音波画像データを生成する。超音波画像データを生成したところで、記憶部１５２に保存された超音波信号を削除してもよい。例えば、超音波画像データとしては、Ｂモード画像データ、ドップラー画像データ、エラストグラフィ画像データの少なくとも一つを取得することができる。本実施形態では、超音波画像データとしてＢモード画像データを生成する場合を説明する。Ｂモード画像データは、異なる組織の境界で反射した超音波（エコー）に由来する画像データであり、腫瘍等を表す画像データが含まれる。
なお、超音波信号を全て収集した後に本工程を実行してもよいし、超音波の送受信の度に本工程を繰り返し実行してもよい。超音波の送受信により超音波画像データを生成できる限り、Ｓ９００及びＳ１０００ではいかなる方法を採用してもよい。
本実施形態では、Ｓ５００で生成される光音響画像データと同様の領域の超音波画像データを生成する。ただし、観察したい領域の光音響画像データ及び超音波画像データを生成できる限り、各画像データの生成領域は同一でなくてもよい。
（Ｓ１１００：超音波画像データに基づいた画像を表示する工程）
コンピュータ１５０は、Ｓ１０００で生成された超音波画像データ（Ｂモード画像データ）に基づいて、Ｂモード画像を生成し、表示部１６０に表示させる。図１４（ａ）は、表示部１６０に表示されるＢモード画像の表示例である。
ユーザーは、図１４（ｂ）に示すように、表示部１６０に表示されたＢモード画像に対して、関心領域５７を指定する。その結果、コンピュータ１５０は、関心領域５７を示す情報を取得する（Ｓ７００）。
本実施形態に係る光音響装置は、第１の実施形態で説明したように、酸素飽和度の空間分布を示す光音響画像データを取得する（Ｓ３００－Ｓ５００）。本実施形態では、図３（ｂ）に示す光音響画像データが取得された場合を説明する。なお、コンピュータ１５０は、光音響画像データを取得する前に関心領域５７に関連する血管の位置を特定し、当該位置情報に基づいて関心領域５７に関連する血管における酸素飽和度の空間分布を示す画像データを選択的に取得してもよい。
なお、本実施形態に係る光音響装置は、超音波画像データの取得の前に、光音響画像データを取得してもよい。また、本実施形態に係る光音響装置は、複数回の光照射及び光音響波の受信を行う場合、ある光照射と次の光照射との間にＳ９００の超音波の送受信を行ってもよい。
コンピュータ１５０は、第１の実施形態で説明したように、光音響画像データのうち、関心領域５７と重なる血管の画像を関心領域５７に関連する血管の画像としてもよい。ただし、本実施形態では、図１４（ｃ）に示すように、コンピュータ１５０が、関心領域５７を所定の倍率で拡大した領域６２（一点鎖線）を定義し、光音響画像データのうち、領域６２と重なる血管の画像を関心領域５７に関連する血管の画像として決定する。図１４（ｄ）に示すように、コンピュータ１５０は、光音響画像データのうち、領域６２と重なる血管３１、３２、３３、３４、及び３５を、関心領域５７に関連する血管の画像として決定する。なお、超音波画像データと光音響画像データとの座標系が対応していない場合、コンピュータ１５０は、座標系の変換処理を行うことにより、領域６２と重なる血管の光音響画像を特定することができる。
コンピュータ１５０は、第１の実施形態で説明した方法で、関心領域５７に関連する血管を動脈と静脈とに判別する。ここでは、酸素飽和度が９０％以上の血管を動脈とし、酸素飽和度が９０％未満の血管を静脈として判別する画像処理を適用する場合を説明する。この場合、コンピュータ１５０は、血管３１、３２、及び３５を関心領域５７に関連する動脈とし、血管３３及び３４を関心領域に関連する静脈として決定する。
続いて、コンピュータ１５０は、関心領域５７に関連する動脈に相当する血管３１、３２、及び３５の酸素飽和度の平均値（９８％）を算出する。また、コンピュータ１５０は、関心領域５７に関連する静脈に相当する血管３３及び３４の酸素飽和度の平均値（６７％）を算出する。そして、コンピュータ１５０は、関心領域５７に関連する動脈の酸素飽和度の平均値と、関心領域５７に関連する静脈の酸素飽和度の平均値との差分（３１％）を算出する。ここで、第１の実施形態で説明したカテゴリーの基準を適用すると、関心領域５７に存在する組織のカテゴリーは４である可能性が高い。
続いて、コンピュータ１５０は、第１の実施形態で説明したように、酸素飽和度の平均値の差分（３１％）に対応する表示態様で画像を表示部１６０に表示させる。なお、コンピュータ１５０は、Ｂモード画像に基づいて推定されたカテゴリーの候補と、酸素飽和度の空間分布に基づいて推定されたカテゴリーの候補との組み合わせから、最終的なカテゴリーの候補を推定し、表示させてもよい。
ここで、本実施形態に係る表示部１６０におけるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の表示例を、図１５を用いて説明する。
図１５（ａ）は、Ｂモード画像１６４を表示させた表示例を示す。符号１６５は、第１の関心領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を指定するためのアイテムである。符号１６６は、第２の関心領域を指定するためのアイテムである。符号１６７は、指定された関心領域に存在する組織のカテゴリーの表示を指示するためのアイテムである。符号１６８は、指定された関心領域に関連する血管の酸素飽和度の変化量の表示を指示するためのアイテムである。図１５（ａ）に示すように、ユーザーが入力部１７０を用いてアイテム１６５を選択すると、コンピュータ１５０は、第１の関心領域（ＲＯＩ１）の指定を受け付けるモードに移行する。そして、ユーザーが第１の関心領域として関心領域５７を指定すると、コンピュータ１５０は第１の関心領域を示す情報として関心領域５７を示す情報を取得する。なお、コンピュータ１５０は、ＧＵＩ上で選択されたアイテムを識別できるように、選択されたアイテムの表示色を変更させてもよい。また、その他の表示方法で、ＧＵＩ上で選択されたアイテムを識別させてもよい。
図１５（ｂ）は、第１の関心領域が指定された後に、ユーザーによりアイテム１６７が選択された場合のＧＵＩの表示例である。アイテム１６７が選択されると、指定された関心領域５７に存在する組織のＢＩ－ＲＡＤカテゴリーの候補（可能性の高いカテゴリー）を示す画像１６９が表示される。
図１５（ｃ）は、第１の関心領域が指定された後に、ユーザーによりアイテム１６８が選択された場合のＧＵＩの表示例である。アイテム１６８が選択されると、指定された関心領域５７に関連する動脈の酸素飽和度と静脈の酸素飽和度の差分を示す画像１６９が表示される。
図１５（ｄ）は、第１の関心領域に加え、第２の関心領域（ＲＯＩ２）が指定された場合のＧＵＩの表示例である。アイテム１６６が選択されると、第２の関心領域の指定を受け付けるモードに移行する。このモードのときに、ユーザーが入力部１７０を用いて第２の関心領域として関心領域５８を指定すると、コンピュータ１５０は関心領域５８を示す情報を取得する。ただし、光音響画像データには関心領域５８に関連する血管は存在しない。そのため、関心領域５８に関連する血管の酸素飽和度の変化はない。そのため、第１の関心領域及び第２の関心領域が指定された後にアイテム１６８が選択されると、第２の関心領域（ＲＯＩ２）としての関心領域５８に存在する組織のＢＩ－ＲＡＤカテゴリーは１である可能性が高いことを示す画像１６９が表示される。また、画像１６９には、第１の関心領域（ＲＯＩ１）としての関心領域５７に存在する組織のＢＩ－ＲＡＤＳカテゴリーは４である可能性が高いことを示す情報も含まれている。
以上説明したように、図１５（ｂ）、図１５（ｃ）、または図１５（ｄ）は、超音波画像と、関心領域に存在する組織の状態を示す画像との合成画像を示す。
本実施形態のように、酸素化指標の空間分布を示す画像を表示しない場合であっても、酸素化指標の空間分布に基づいて、関心領域に存在する組織の状態を容易に把握することのできる表示を行ってもよい。また、超音波画像だけでは組織の状態を把握することが困難な場合であっても、酸素化指標の空間分布に基づいて推定された組織の状態を示す画像を表示することにより、組織の状態を容易に把握することができる。
コンピュータ１５０は、記憶部１５２に保存された画像データに関連づけられた画像種別を示す情報等に基づいて、記憶部１５２に保存された画像データに酸素化指標の空間分布を示す画像データが含まれているか否かを判定してもよい。コンピュータ１５０は、記憶部１５２に酸素化指標の空間分布を示す画像データが含まれていると判定した場合には、当該画像データを読み出して本実施形態に係る画像処理を実行してもよい。すなわち、コンピュータ１５０が、記憶部１５２に酸素化指標の空間分布を示す画像データが含まれていると判断した場合、ユーザーは入力部１７０を用いてアイテム１６７またはアイテム１６８を選択することができる。一方、コンピュータ１５０が、記憶部１５２に酸素化指標の空間分布を示す画像データが含まれていないと判断した場合、ユーザーによるアイテム１６７またはアイテム１６８の選択を制限してもよい。
なお、本実施形態では酸素化指標を利用して組織の状態を推定する例を説明したが、酸素化指標の他にその他の指標も考慮して組織の状態を推定してもよい。コンピュータ１５０は、酸素化指標に加えて、光音響装置とは異なるモダリティによって生成された画像データから得られる特徴情報を用いて、組織の状態を推定してもよい。例えば、コンピュータ１５０は、エラストグラフィによって得られた超音波画像データから血管および組織の少なくとも一方の硬さを示す情報を取得し、酸素化指標を示す情報と硬さを示す情報とに基づいて、組織の状態を推定してもよい。
なお、本実施形態では、関心領域の指定対象として超音波画像を表示する例を説明したが、超音波画像以外の画像を関心領域の指定対象としてもよい。例えば、ＭＲＩ装置、Ｘ線ＣＴ装置、ＰＥＴ装置などのイメージング装置で得られた画像データに基づいた画像を、関心領域の指定対象としてもよい。
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
１５０ コンピュータ
１６０ 表示部

Claims (20)

  1. 被検体内の酸素化指標の空間分布を示す画像データを取得する第１取得手段、
    前記被検体内の関心領域を示す情報を取得する第２取得手段、
    前記関心領域に関連する血管を示す情報を取得する第３取得手段、
    前記酸素化指標の空間分布を示す画像データ、及び、前記関心領域に関連する血管を示す情報に基づいて、前記関心領域に関連する血管の酸素化指標の違いを示す情報を取得する第４取得手段、及び
    前記関心領域に関連する血管の酸素化指標の違いを示す情報に基づいて、前記関心領域に存在する組織の状態を示す画像を表示手段に表示させる表示制御手段、
    を有し、前記第３取得手段は、前記酸素化指標の空間分布を示す画像データ、及び、前記関心領域を示す情報に基づいて、前記画像データのうち、前記関心領域と重なる画像を前記関心領域に関連する血管として決定することを特徴とする画像処理装置。
  2. 前記第３取得手段は、
    前記関心領域に関連する、動脈に相当する血管及び静脈に相当する血管を示す情報を取得し、
    前記表示制御手段は、
    前記酸素化指標の空間分布を示す画像データ、及び、前記動脈及び静脈に相当する血管を示す情報に基づいて、前記動脈の酸素化指標の代表値と前記静脈の酸素化指標の代表値との違いを示す情報を取得し、
    前記違いを示す情報に基づいて、前記関心領域に存在する組織の状態を推定することを特徴とする請求項１に記載の画像処理装置。
  3. 前記第３取得手段は、前記酸素化指標の空間分布を示す画像データ、及び、前記関心領域に関連する血管を示す情報に基づいて、前記関心領域に関連する血管のうち、前記酸素化指標が閾値より大きい血管を前記動脈に相当する血管と判別し、前記酸素化指標が前記閾値未満の血管を静脈に相当する血管と判別することを特徴とする請求項２に記載の画像処理装置。
  4. 被検体内の酸素化指標の空間分布を示す画像データを取得する第１取得手段、
    前記被検体内の関心領域を示す情報を取得する第２取得手段、
    前記関心領域に関連する血管を示す情報を取得する第３取得手段、
    前記酸素化指標の空間分布を示す画像データ、及び、前記関心領域に関連する血管を示す情報に基づいて、前記関心領域に関連する血管の酸素化指標の違いを示す情報を取得する第４取得手段、及び前記関心領域に関連する血管の酸素化指標の違いを示す情報に基づいて、前記関心領域に存在する組織の状態を示す画像を表示手段に表示させる表示制御手段、を有し、
    前記第３取得手段は、前記関心領域に関連する、動脈に相当する血管及び静脈に相当する血管を示す情報を取得し、前記表示制御手段は、前記酸素化指標の空間分布を示す画像データ、及び、前記動脈及び静脈に相当する血管を示す情報に基づいて、前記動脈の酸素化指標の代表値と前記静脈の酸素化指標の代表値との違いを示す情報を取得し、前記違いを示す情報に基づいて、前記関心領域に存在する組織の状態を推定することを特徴とする画像処理装置。
  5. 前記第３取得手段は、前記酸素化指標の空間分布を示す画像データ、及び、前記関心領域を示す情報に基づいて、前記関心領域と所定の関係を有する領域を定義し、前記画像データのうち、当該領域と重なる画像を前記関心領域に関連する血管として決定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
  6. 前記第１取得手段は、前記被検体への光照射により発生する光音響波に由来する光音響画像データを取得し、
    前記表示制御手段は、前記光音響画像データに基づいた光音響画像を前記表示手段に表示させ、
    前記第２取得手段は、前記表示手段に表示された前記光音響画像に対するユーザーの指示に基づいて、前記関心領域を示す情報を取得することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
  7. 前記表示制御手段は、前記光音響画像と、前記関心領域に存在する組織の状態を示す画像との合成画像を前記表示手段に表示させることを特徴とする請求項６に記載の画像処理装置。
  8. 前記光音響画像データは、前記酸素化指標の空間分布を示す画像データであることを特徴とする請求項６に記載の画像処理装置。
  9. 前記第１取得手段は、前記被検体への超音波の送受信に由来する超音波画像データを取得し、
    前記表示制御手段は、前記超音波画像データに基づいた超音波画像を前記表示手段に表示させ、
    前記第２取得手段は、前記表示手段に表示された前記超音波画像に対するユーザーの指示に基づいて、前記関心領域を示す情報を取得することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
  10. 前記表示制御手段は、前記超音波画像と、前記関心領域に存在する組織の状態を示す画像との合成画像を前記表示手段に表示させることを特徴とする請求項９に記載の画像処理装置。
  11. 前記表示制御手段は、前記関心領域に存在する組織の状態をテキストで表した画像を前記表示手段に表示させることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
  12. 前記表示制御手段は、前記関心領域に関連する血管の酸素化指標に基づいて、前記関心領域に存在する組織のＢＩ－ＲＡＤＳカテゴリーの候補を決定し、前記ＢＩ－ＲＡＤＳカテゴリーの候補を示す画像を前記表示手段に表示させることを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
  13. 前記第１取得手段は、前記酸素化指標の空間分布を示す画像データとは異なる画像データを取得し、
    前記表示制御手段は、前記関心領域に存在する組織の状態を示す画像、および、前記酸素化指標の空間分布を示す画像データとは異なる画像データに基づいた画像を含み、かつ、前記酸素化指標の空間分布を示す画像データに基づいた画像を含まない画像を前記表示手段に表示させることを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
  14. 被検体内の酸素化指標の空間分布を示す画像データを取得する第１取得手段、
    前記被検体内の関心領域を示す情報を取得する第２取得手段、
    前記関心領域に関連する血管を示す情報を取得する第３取得手段、
    前記酸素化指標の空間分布を示す画像データ、及び、前記関心領域に関連する血管を示す情報に基づいて、前記関心領域に関連する血管の酸素化指標の違いを示す情報を取得する第４取得手段、及び前記関心領域に関連する血管の酸素化指標の違いを示す情報に基づいて、前記関心領域の画像の表示態様を決定し、当該表示態様で前記関心領域の画像を表示手段に表示させる表示制御手段、を有することを特徴とする画像処理装置。
  15. 前記表示制御手段は、前記関心領域に関連する血管の酸素化指標の違いを示す情報に基づいて、前記関心領域の画像の表示色を前記表示態様として決定することを特徴とする請求項１４に記載の画像処理装置。
  16. 前記酸素化指標は、酸素飽和度であることを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
  17. 前記第４取得手段は、前記関心領域に関連する血管の酸素化指標の違いを示す情報として、前記関心領域に関連する血管の酸素化指標の差、比、ばらつきの少なくとも一つを示す情報を取得することを特徴とする請求項１から１６のいずれか１項に記載の画像処理装置。
  18. 被検体内の酸素化指標の空間分布を示す画像データを取得し、
    前記被検体内の関心領域を示す情報を取得し、
    前記酸素化指標の空間分布を示す画像データ、及び、前記関心領域を示す情報に基づいて、前記画像データのうち、前記関心領域と重なる画像を前記関心領域に関連する血管として決定して、前記関心領域に関連する血管を示す情報を取得し、
    前記酸素化指標の空間分布を示す画像データ、及び、前記関心領域に関連する血管を示す情報に基づいて、前記関心領域に関連する血管の酸素化指標の違いを示す情報を取得し、
    前記関心領域に関連する血管の酸素化指標の違いを示す情報に基づいて、前記関心領域に存在する組織の状態を示す画像を表示することを特徴とする画像処理方法。
  19. 被検体内の酸素化指標の空間分布を示す画像データを取得し、
    前記被検体内の関心領域を示す情報を取得し、
    前記関心領域に関連する血管を示す情報を取得し、
    前記酸素化指標の空間分布を示す画像データ、及び、前記関心領域に関連する血管を示す情報に基づいて、前記関心領域に関連する血管の酸素化指標の違いを示す情報を取得し、
    前記関心領域に関連する血管の酸素化指標の違いを示す情報に基づいて、前記関心領域の画像の表示態様を決定し、
    前記表示態様で前記関心領域の画像を表示することを特徴とする画像処理方法。
  20. 請求項１８または１９に記載の画像処理方法をコンピュータに実行させるためのプログラム。
JP2018095569A 2017-06-01 2018-05-17 画像処理装置、画像処理方法、及びプログラム Active JP7134704B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017109252 2017-06-01
JP2017109252 2017-06-01

Publications (2)

Publication Number Publication Date
JP2018202147A JP2018202147A (ja) 2018-12-27
JP7134704B2 true JP7134704B2 (ja) 2022-09-12

Family

ID=64459171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018095569A Active JP7134704B2 (ja) 2017-06-01 2018-05-17 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US10945678B2 (ja)
JP (1) JP7134704B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6923129B2 (ja) * 2017-06-26 2021-08-18 タカノ株式会社 情報処理装置、プログラム、方法及びシステム
EP3671649A1 (en) * 2018-12-19 2020-06-24 Siemens Healthcare GmbH Method and computer system for generating a combined tissue-vessel representation
JPWO2022130794A1 (ja) 2020-12-17 2022-06-23
JP7159361B2 (ja) * 2021-01-06 2022-10-24 ジーイー・プレシジョン・ヘルスケア・エルエルシー 超音波画像表示システム及びその制御プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000325348A (ja) 1999-05-25 2000-11-28 Ge Yokogawa Medical Systems Ltd ３次元画像作成方法および超音波診断装置
US20110112391A1 (en) 2008-07-11 2011-05-12 Canon Kabushiki Kaisha Photoacoustic measurement apparatus
JP2014100569A (ja) 2012-11-16 2014-06-05 Samsung Electronics Co Ltd 診断装置及び診断方法
JP2014228719A (ja) 2013-05-23 2014-12-08 キヤノン株式会社 ファントム
JP2016013421A (ja) 2014-06-13 2016-01-28 キヤノン株式会社 光音響装置、信号処理方法、及びプログラム
JP2016144626A (ja) 2015-01-29 2016-08-12 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7962187B2 (en) * 2002-03-13 2011-06-14 Tufts University Optical imaging and oximetry of tissue
RU2278611C2 (ru) * 2003-10-07 2006-06-27 Негосударственное учреждение здравоохранения Дорожная клиническая больница на станции Новосибирск-Главный Открытого акционерного общества "Российские железные дороги" Способ дифференциальной диагностики типов отека головного мозга у нейрохирургических пациентов
DE102007008504A1 (de) * 2007-02-21 2008-08-28 Wabco Gmbh Feststellbremsmodul für druckmittelbetriebene Bremsanlage
WO2008106599A1 (en) * 2007-02-28 2008-09-04 Medtronic, Inc. Implantable tissue perfusion sensing system and method
US9126049B2 (en) * 2009-06-10 2015-09-08 Medtronic, Inc. Shock reduction using absolute calibrated tissue oxygen saturation and total hemoglobin volume fraction
JP5647583B2 (ja) * 2011-08-31 2015-01-07 富士フイルム株式会社 光音響分析装置および光音響分析方法
US10433732B2 (en) * 2011-11-02 2019-10-08 Seno Medical Instruments, Inc. Optoacoustic imaging system having handheld probe utilizing optically reflective material
JP5948831B2 (ja) * 2011-12-08 2016-07-06 ソニー株式会社 測定装置、測定方法、プログラム及び記録媒体
JP6146955B2 (ja) * 2012-03-13 2017-06-14 キヤノン株式会社 装置、表示制御方法、及びプログラム
JP6112861B2 (ja) * 2012-12-28 2017-04-12 キヤノン株式会社 被検体情報取得装置、信号処理装置および表示装置
JP6362420B2 (ja) * 2014-05-26 2018-07-25 キヤノン株式会社 被検体情報取得装置、被検体情報取得方法、および、プログラム
EP3056137B1 (en) 2015-02-13 2017-11-01 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt GmbH Device and method for multispectral optoacoustic imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000325348A (ja) 1999-05-25 2000-11-28 Ge Yokogawa Medical Systems Ltd ３次元画像作成方法および超音波診断装置
US20110112391A1 (en) 2008-07-11 2011-05-12 Canon Kabushiki Kaisha Photoacoustic measurement apparatus
JP2014100569A (ja) 2012-11-16 2014-06-05 Samsung Electronics Co Ltd 診断装置及び診断方法
JP2014228719A (ja) 2013-05-23 2014-12-08 キヤノン株式会社 ファントム
JP2016013421A (ja) 2014-06-13 2016-01-28 キヤノン株式会社 光音響装置、信号処理方法、及びプログラム
JP2016144626A (ja) 2015-01-29 2016-08-12 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム

Also Published As

Publication number Publication date
US10945678B2 (en) 2021-03-16
US20180344262A1 (en) 2018-12-06
JP2018202147A (ja) 2018-12-27

Similar Documents

Publication Publication Date Title
JP7134704B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6576424B2 (ja) 表示制御装置、画像表示方法、及びプログラム
CN106913314B (zh) 信息获取装置和信息获取方法
US20190029526A1 (en) Image processing apparatus, image processing method, and storage medium
JP6921782B2 (ja) 表示制御装置、画像表示方法、及びプログラム
EP3329843B1 (en) Display control apparatus, display control method, and program
JP2018126389A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018061716A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2018230409A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7013215B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6882108B2 (ja) 画像生成装置、画像生成方法、及びプログラム
WO2020039641A1 (ja) 画像処理装置、画像処理方法、画像表示方法、および、プログラム
JP7187336B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6929048B2 (ja) 表示制御装置、表示方法、及びプログラム
JP7277212B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2020040174A1 (ja) 画像処理装置、画像処理方法、プログラム
JP2020028670A (ja) 画像処理装置、システム、画像処理方法、プログラム
JP2020110362A (ja) 情報処理装置、情報処理方法、プログラム
JP2020162746A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210506

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220831

R151 Written notification of patent or utility model registration

Ref document number: 7134704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151