JP7156275B2 - 制御装置、制御方法、及びプログラム - Google Patents

制御装置、制御方法、及びプログラム Download PDF

Info

Publication number
JP7156275B2
JP7156275B2 JP2019519140A JP2019519140A JP7156275B2 JP 7156275 B2 JP7156275 B2 JP 7156275B2 JP 2019519140 A JP2019519140 A JP 2019519140A JP 2019519140 A JP2019519140 A JP 2019519140A JP 7156275 B2 JP7156275 B2 JP 7156275B2
Authority
JP
Japan
Prior art keywords
speckle
size
image
control device
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019519140A
Other languages
English (en)
Other versions
JPWO2018211902A1 (ja
Inventor
五郎 藤田
哲朗 桑山
健 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018211902A1 publication Critical patent/JPWO2018211902A1/ja
Application granted granted Critical
Publication of JP7156275B2 publication Critical patent/JP7156275B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/815Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • A61B5/02014Determining aneurysm
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Hematology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Optics & Photonics (AREA)
  • Neurosurgery (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Description

本技術は、生体組織の観察等に適用可能な制御装置、制御方法、及びプログラムに関する。
従来、生体組織等にレーザ光を照射してスペックルパターンを検出し、生体組織等を観察する技術が開発されている。例えば特許文献1には、空間領域での拡散スペックルコントラスト解析(sDSCA)システムについて記載されている。sDSCAシステムでは、サンプル内に照射されたレーザ光がサンプル内に分布する粒子の動き(血流)により散乱され、サンプル表面にはスペックルパターンが生じる。サンプル表面の所定の撮影位置に向けられたリレー光学系を介してスペックルパターンが撮影される。撮影された画像からスペックルコントラストが計算され、サンプル内を流れる血流の流速等が算出される。(特許文献1の明細書段落[0013][0018][0021][0027]図5等)。
特表2016-509509号公報
このようなスペックルパターンに基づいた生体組織の観察等は、外科手術や内科診断等の様々なシーンでの応用が期待されており、高い精度を発揮可能な技術が求められている。
以上のような事情に鑑み、本技術の目的は、生体組織をカメラの撮像条件が変わっても最適に計算処理することにより高い精度で観察することが可能となる制御装置、制御方法及びプログラムを提供することにある。
上記目的を達成するため、本技術の一形態に係る制御装置は、取得部と、ブロック制御部と、算出部とを具備する。
前記取得部は、レーザ光が照射されて撮像された生体組織の画像信号を取得する。
前記ブロック制御部は、前記生体組織に対する撮像の撮像条件に基づいて、画素ブロックのサイズを制御する。
前記算出部は、前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータを算出する。
この制御装置では、レーザ光が照射されて撮像された生体組織の画像信号が取得される。生体組織の撮像条件に基づいて画素ブロックのサイズが制御され、この画素ブロックを用いて生体組織の画像信号からスペックルデータが算出される。これにより撮像条件に応じたスペックルデータが算出可能となり、生体組織をカメラの撮像条件が変わっても最適に計算処理することにより高い精度で観察することが可能となる。
前記制御装置は、さらに、前記スペックルデータに基づいて、前記生体組織の観察像を生成する生成部を具備してもよい。
これにより、生体組織での血流の分布や強度等を高い精度で観察することが可能となる。
前記スペックルデータは、スペックルコントラストを含んでもよい。この場合、前記生成部は、前記スペックルコントラストに基づいて前記観察像を生成してもよい。
これにより、スペックルコントラストに基づいて生体組織での血流等を高い精度で観察することが可能となる。
前記撮像条件は、前記生体組織を撮像する撮像系のF値(絞り値)及び光学倍率の少なくとも1つに関する条件を含んでもよい。
これにより、生体組織を撮像する倍率や明るさに応じて画素ブロックのサイズを適宜制御することが可能となり、高精度な観察を実現することが可能となる。
前記ブロック制御部は、前記撮像条件に基づいて予測されるスペックルサイズを算出し、前記算出されたスペックルサイズに基づいて前記画素ブロックのサイズを制御してもよい。
これにより、スペックルサイズに合わせて画素ブロックのサイズを制御することが可能となり、所望のスペックルデータを算出することが可能となる。
前記制御装置は、さらに、前記撮像条件と前記画素ブロックのサイズとが関連付けられた制御テーブルを記憶する記憶部を具備してもよい。
例えばブロック制御部は、制御テーブルを使って画素ブロックのサイズを容易に制御することが可能となり、処理に要する負荷等を軽減することが可能となる。
前記ブロック制御部は、前記観察像の表示輝度に関する所定の表示パラメータが略一定に保たれるように前記画素ブロックのサイズを制御してもよい。
これにより、例えば観察像に表示される生体組織の明るさ等を略一定に保ちながら生体組織を観察することが可能となり、生体組織を高い精度で観察することが可能となる。
前記制御装置は、さらに、前記観察像の画質に関する画質モードの選択を受け付けるモード受付部を具備してもよい。この場合、前記ブロック制御部は、前記選択された画質モードに応じて前記画素ブロックのサイズを制御してもよい。
例えば画質モードに応じてスペックルコントラストが算出され、所望の画質で観察像を生成することが可能となる。これにより生体組織を高い精度で観察することが可能となる。
前記モード受付部は、前記観察像の表示解像度に関する画質モードを受け付けてもよい。
これにより、例えば画質モードに応じた表示解像度のレベルで観察像を生成することが可能となる。これにより生体組織を高い精度で観察することが可能となる。
前記モード受付部は、互いに異なる複数の画質モードの各々を受け付けてもよい。この場合、前記ブロック制御部は、前記観察像の表示輝度に関する所定の表示パラメータが、前記複数の画質モードの各々に対して互いに異なる範囲で略一定に保たれるように前記画素ブロックのサイズを制御してもよい。
これにより、例えば所望の表示解像度の範囲で観察像の表示輝度を略一定に保つといったことが可能となる。この結果、生体組織を十分に高い精度で観察することが可能となる。
前記複数の画質モードは、前記観察像の表示輝度及び表示解像度のうち、前記表示輝度を優先する第1の画質モードと、前記表示解像度を優先する第2の画質モードとを含んでもよい。
これにより、例えば生体組織の種類等に応じて互いに見え方の異なる観察像を適宜切り替えることが可能となり、観察精度を向上することが可能となる。
前記記憶部は、前記撮像条件と、前記画素ブロックのサイズと、前記観察像の画質に関する画質モードとの対応関係を記憶した前記制御テーブルを記憶してもよい。
例えばブロック制御部は、制御テーブルを使って画質モードに対応した画素ブロックのサイズを容易に制御することが可能となり、処理速度を向上することが可能となる。
前記制御テーブルは、所定の校正用対象物を用いて生成されてもよい。
これにより、制御テーブルを適正に校正することが可能となり、生体組織を十分に高い精度で観察することが可能となる。
前記ブロック制御部は、前記生体組織の撮像範囲における血管の太さに応じて、前記画素ブロックのサイズを制御してもよい。
これにより、例えば血管の太さに合わせた画質で観察像を生成するといったことが可能となる。この結果、ユーザの負担が軽減され操作性を大幅に向上することが可能となる。
前記制御装置は、内視鏡又は顕微鏡として構成されてもよい。
これにより内視鏡や顕微鏡等を用いた生体組織の観察精度を向上することが可能となる。
本技術の一形態に係る制御方法は、コンピュータシステムにより実行される制御方法であって、レーザ光が照射されて撮像された生体組織の画像信号を取得することを含む。
前記生体組織に対する撮像の撮像条件に基づいて、画素ブロックのサイズが制御される。
前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータが算出される。
本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
レーザ光が照射されて撮像された生体組織の画像信号を取得するステップ。
前記生体組織に対する撮像の撮像条件に基づいて、画素ブロックのサイズを制御するステップ。
前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータを算出するステップ。
以上のように、本技術によれば、生体組織をカメラの撮像条件が変わっても最適に計算処理することにより高い精度で観察することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る観察システムの構成例を示すブロック図である。 スペックルコントラストの算出例を説明するための模式図である。 スペックルコントラストの算出例を説明するための模式図である。 スペックルパターンの特性を説明するための図である。 スペックル画像の一例を示す模式図である。 図5に示すスペックル画像の輝度分布を表すグラフである。 スペックルコントラスト画像の一例を示す模式図である。 セルサイズとスペックルコントラストとの関係を表すグラフである。 セルサイズとスペックルコントラストとの関係を説明するための模式図である。 セルサイズとスペックルコントラスト画像との関係を説明するための図である。 スペックルコントラストの特性を説明するための図である。 スペックル画像におけるスペックルサイズについて説明するための図である。 スペックルサイズと撮像パラメータとの関係を示す図である。 スペックルサイズ及びセルサイズに関するスペックルコントラストのマップの一例を示す図である。 処理サイズテーブルの一例を示す表である。 観察システムの基本的な動作例を示すフローチャートである。 観察システムの校正の一例を示すフローチャートである。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
[観察システム]
図1は、本技術の一実施形態に係る観察システムの構成例を示すブロック図である。観察システム100は、例えば外科手術における術野の観察や、内科診断における患者の体内の観察等に用いられる。この他、任意の生体組織を観察する場合に本技術は適用可能である。
観察システム100は、レーザ照射部10、カメラ20、及びコントローラ30を有する。
レーザ照射部10は、患者1の観察部位2に向けて配置され、観察部位2にレーザ光11を照射する。レーザ光11が照射された観察部位2では、レーザ光11が散乱・反射されてスペックルと呼ばれる明暗の斑点模様が形成される。図1には、患者1の頭部(観察部位2)に向けて照射されるレーザ光11が模式的に図示されている。患者1の観察部位2は、本実施形態において、生体組織に相当する。
レーザ照射部10は、例えば図示しないレーザ光源により生成された所定の波長のレーザ光11を観察部位2の全体に照射可能である。従って観察部位2の全体に対してスペックルパターンが形成される。レーザ光11を照射する方法等は限定されず、例えばレーザ光11の光束(ビーム)を拡大するビームエキスパンダーや、照射領域を広げる屈折レンズ等が適宜用いられてよい。
カメラ20は、レンズ部21と、レンズ部21に接続された撮像部22とを有する。カメラ20は、レンズ部21が患者1の観察部位2に向くように配置され、レーザ光11が照射された観察部位2を撮像する。
カメラ20は、例えばCHU(Camera Head Unit)として構成され、所定のインターフェース等を介してコントローラ30と接続される。本実施形態では、カメラ20は、撮像系に相当する。
レンズ部21は、光学ズーム機能を備える。レンズ部21は、例えばF値(絞り値)及び光学倍率等の撮像パラメータを制御することで、光学的に拡大または縮小された観察部位2の光学像を生成する。光学ズーム機能を実現するための具体的な構成は限定されず、例えば電子制御による自動ズームや、手動でのズーム等が適宜実行可能であってよい。
撮像部22は、レンズ部21により生成された光学像を撮像して観察部位2の画像信号を生成する。ここで画像信号とは、画像を構成することが可能な信号である。画像信号には、例えば画素ごとの輝度値等の情報が含まれる。画像信号の種類や形式等は限定されず、例えば動画像や静止画像を構成可能な任意の形式が用いられてよい。撮像部22としては、例えばCMOS(Complementary Metal-Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等のイメージセンサが用いられる。
コントローラ30は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等のコンピュータの構成に必要なハードウェアを有する。本実施形態では、コントローラ30は、制御装置に相当する。
CPUが、ROMやHDDに格納された本技術に係るプログラムをRAMにロードして実行することにより、図1に示す各機能ブロックが実現される。そしてこれらの機能ブロックにより、本技術に係る制御方法が実行される。
プログラムは、例えば種々の記録媒体を介してコントローラ30にインストールされる。又はインターネット等を介してプログラムのインストールが実行されてもよい。
コントローラ30の具体的な構成は限定されず、例えばFPGA(Field Programmable Gate Array)、画像処理IC(Integrated Circuit)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。
図1に示すように、コントローラ30は、機能ブロックとして、光源制御部31、画像取得部32、カメラ制御部33、UI取得部34、ブロック制御部35、及びスペックル演算部36を有する。またコントローラ30のROM等により構成される記憶部37には処理サイズテーブル38が格納されている。なお各機能ブロックを実現するために、専用のハードウェアが適宜用いられてもよい。
光源制御部31は、レーザ照射部10から照射されるレーザ光11の照射強度等を制御する。光源制御部31は、例えば観察システム100を操作するオペレータが指定したレーザ光11の照射強度の情報を取得する。光源制御部31は、レーザ照射部10に対して指定された照射強度でレーザ光11を出力する旨の指示を出力する。これによりオペレータが所望する照射強度でレーザ光11を照射することが可能となる。
レーザ光11の照射強度を制御する方法等は限定されない。例えば、カメラ20の露光時間等に合わせてレーザ光11の照射強度が適宜制御されてもよい。なお光源制御部31により、レーザ光11の照射強度のみならず、レーザ光11の波長や照射領域等の任意のパラメータが適宜制御されてよい。
画像取得部32は、カメラ20により生成された画像信号を取得する。すなわち、画像取得部32は、レーザ光11が照射されて撮像された観察部位2の画像信号を取得する。画像取得部32により取得された画像信号は、スペックル演算部36に出力される。本実施形態では、画像取得部32は、取得部に相当する。
カメラ制御部33は、インターフェース等を介してカメラ20に接続され、カメラ20の動作を制御する。カメラ制御部33は、例えばカメラ20のズーム量(光学倍率)や絞り、あるいは露光時間等を指定する信号をカメラ20に対して出力する。カメラ20は、カメラ制御部33から出力された信号に基づいて観察部位2を撮像する。これによりカメラ20の動作を電子的に制御することが可能となる。
またカメラ制御部33は、観察部位2に対する撮像の撮像パラメータを取得する。撮像パラメータは、レンズ部21(カメラ20)のF値(絞り値)及び光学倍率等を含む。カメラ制御部33により取得された撮像パラメータは、ブロック制御部35に出力される。本実施形態では、撮像パラメータは、撮像条件に相当する。
例えばレンズ部21のズーム量あるいは絞り等がオペレータにより直接変更される手動ズームが行われる場合があり得る。この場合、カメラ制御部33は変更後の光学倍率あるいは絞り等の撮像パラメータを取得する。撮像パラメータを取得するタイミング等は限定されず、例えばカメラ制御部33によりカメラ20の撮像パラメータが常時モニタリングされてもよい。
UI取得部34は、図示しないユーザインターフェース(UI:User Interface)を介してオペレータにより入力された指示等を取得する。ユーザインターフェースとしては、例えばディスプレイ等の表示装置及びマウスやキーボード等の入力装置が適宜用いられる。オペレータは、例えば表示装置に表示された操作画面を見ながら入力装置を使って指示を入力する。ユーザインターフェースの種類等は限定されず、例えばタッチセンサを供えたディスプレイ、フットスイッチ、手元のコントロールスイッチ等が用いられてもよい。
本実施系形態では、UI取得部34は、後述する観察像の画質に関する画質モードの選択を受け付ける。すなわちUI取得部34は、オペレータが選択(指示)した画質モードが、どの画質モードであるかの情報を取得する。UI取得部34により取得された画質モードに関する指示は、ブロック制御部35に出力される。本実施形態では、UI取得部34は、モード受付部として機能する。
なおUI取得部34が取得する指示の内容等は限定されない。例えば上記したレーザ照射部10の照射強度に関する指示や、カメラ20の光学倍率等に関する指示等が適宜取得されてよい。この他、観察システム100に関する様々な指示がUI取得部34により取得されてよい。
ブロック制御部35は、予測されるスペックルサイズ算出部40及び処理サイズ制御部41を有する。予測されるスペックルサイズ算出部40は、カメラ制御部33から入力された撮像パラメータに基づいて、スペックルサイズを算出する。
スペックルサイズとは、スペックルを形成する個々の斑点の大きさである。一般にスペックルサイズは、スペックルパターンを撮像する撮像系に応じて変化する。例えばスペックルサイズdは、以下の式で与えられる。
d=F#×(1+M)×λ×1.22
ここで、F#はレンズ部21のF値であり、Mはレンズ部21の光学倍率Mである。またλは照射されたレーザ光11の波長である。以下ではこの式をスペックルサイズ算出式と記載する場合がある。
本実施形態では、予測されるスペックルサイズ算出部40により、撮像パラメータに含まれるF値F#及び光学倍率Mに基づいて、スペックルサイズ算出式を用いてスペックルサイズdが算出される。従って予測されるスペックルサイズ算出部40は、撮像されているスペックルパターンでのスペックルサイズdを算出することが可能である。算出されたスペックルサイズdは、処理サイズ制御部41に出力される。算出するスペックルサイズは予測値ではあるが、図13で示すようにほぼ実測値と合うことを確認している。
なお撮像パラメータに基づいてスペックルサイズdを算出する方法等は限定されず、他の方法でスペックルサイズdが算出されてもよい。例えばレンズ部21の絞り位置での開口サイズをもとに焦点距離からF値F#を表すことでスペックルサイズdが算出されてもよい。この他、スペックルサイズdを算出可能な任意の方法が用いられてよい。
処理サイズ制御部41は、画素ブロックであるセルのサイズ(セルサイズ)を制御する。セルは、例えばm×nの画素で構成された矩形ブロックであり、画像信号からスペックルコントラストを算出する際に用いられる。(横×縦)の画素数(m×n)がセルサイズに相当する。セルの形状等は限定されず、例えば任意の形状のセルが用いられてよい。セル及びスペックルコントラストについては後に詳しく説明する。
処理サイズ制御部41は、予測されるスペックルサイズ算出部40により算出されたスペックルサイズdに基づいてセルサイズを制御する。また処理サイズ制御部41は、UI取得部34により取得された画質モードに応じてセルサイズを制御する。従って処理サイズ制御部41により制御されるセルサイズは、スペックルサイズdと画質モードに応じたサイズとなる。
本実施形態では、セルのサイズを制御する際に、記憶部37に記憶された処理サイズテーブル38が用いられる。処理サイズテーブル38には、スペックルサイズdと、画質モードと、セルのサイズとの対応関係が記録されている。例えば処理サイズ制御部41は、算出されたスペックルサイズd及び指定された画質モードに対応するセルのサイズの値を処理サイズテーブル38から取得する。これにより容易にセルのサイズを制御することが可能となる。本実施形態では、処理サイズテーブル38は、制御テーブルに相当する。
このようにブロック制御部35は、撮像パラメータに基づいてスペックルサイズを算出し、算出されたスペックルサイズに基づいてセルサイズを制御する。すなわち、ブロック制御部35は、観察部位2に対する撮像の撮像パラメータに基づいて、セルのサイズを制御する。
スペックル演算部36は、処理サイズ制御部41(ブロック制御部35)によりサイズが制御されたセルを用いて、画像取得部32により取得された画像信号に基づいてスペックルデータを算出する。ここでスペックルデータとは、観察部位2のスペックルパターンに関するデータである。スペックルデータは、例えば画像信号に含まれる各画素の輝度値等の情報を適宜処理することで算出される。
本実施形態では、スペックル演算部36により、スペックルデータとしてスペックルコントラストが算出される。なおスペックルコントラストのみならず、例えばスペックルパターンでの輝度値の平均、分散、及び標準偏差等がスペックルデータとして算出されてもよい。算出されたスペックルデータは、処理サイズ制御部41及び処理サイズテーブル38に出力可能であり、処理サイズテーブル38の校正等に用いられる。
またスペックル演算部36により、算出されたスペックルコントラストに基づいて観察部位2の観察像が生成される。生成された観察像は、図示しないディスプレイ等の表示装置に出力される。本実施形態において、スペックル演算部36は、算出部及び生成部として機能する。
図2及び図3は、スペックルコントラストの算出例を説明するための模式図である。図2では、3×3のセル42に含まれる画素43の輝度値が明暗により模式的に図示されている。
図2に示すようにスペックルコントラストCsは、セル42に含まれる各画素43の輝度値I(m、n)の標準偏差σ及び平均値Aを用いて以下の式で与えられる。
Cs=σ/A
また輝度値I(m、n)の標準偏差σ及び平均値Aは以下の式で与えられる。
A=Ave(I(m、n))=Σ[I(m、n)]/N
σ=Stdev(I(m、n))=Sqrt((Σ[I(m、n)-Ave]^2)/N)
ここで総和記号Σは、セル42内の全ての画素43の輝度値に関する和を表す。またNはセル42に含まれる画素43の総数であり、図2ではN=3×3=9である。なおスペックルコントラストCsの算出方法は限定されず、例えば標準偏差σに代えて、輝度値I(m、n)の分散σ^2等が用いられてもよい。またスペックルコントラストCsとしてセル42内での輝度値I(m、n)の最大値及び最小値の差分(Imax(m、n)―Imin(m、n))が用いられてもよい。
図3Aには、3×3のセル42を用いてスペックルコントラストCsを算出する処理の一例が示されている。例えば図3に示すように、画像44の左上の画素43の位置を座標(0,0)とする。スペックル演算部36は、まず左上の画素43を含むセル42aを設定する。この場合、座標(1,1)にある画素43を中心とするセル42aが設定される(ステップ1A)。
スペックル演算部36は、座標(1,1)を中心とするセル42aでのスペックルコントラストCs(1,1)を算出する。すなわち中心の画素43とその周りの8つの画素43との輝度値からCs(1,1)が算出される。算出されたスペックルコントラストCs(1,1)は、座標(1,1)にある画素43に対応するスペックルコントラストCsとして記録される(ステップ1B)。
次にスペックル演算部36は、座標(1,1)から右方向に1画素だけ移動した座標(2,1)を中心とするセル42bを設定する(ステップ2A)。スペックル演算部36はセル42bでのスペックルコントラストCs(2,1)を算出し、座標(2,1)にある画素43のスペックルコントラスCsとして記録する(ステップ2B)。
このようにセル42の中心を1画素ずつ移動して、セル42の中心の画素43のスペックルコントラストCsを算出する処理が実行される。これにより画像信号に含まれる各画素43に対応するスペックルコントラストCsが順次算出される。
なお、セル42を使ってスペックルコントラストCsを算出する方法等は限定されない。例えば算出されたスペックルコントラストCsが、セル42内にある中心の画素43とは異なる他の画素43に割り当てられてもよい。またセル42を移動させる量、向き、及び順序等は限定されず、例えば画像処理に要する処理時間等に応じて適宜変更されてよい。
図3Bには、スペックルコントラストCsを算出する処理の全体像が模式的に図示されている。図3Bの左側の図は、カメラ20により撮像された画像(カメラ入力画像50)の模式図である。スペックル演算部36は、カメラ入力画像50の左上からスペックルコントラストCsの算出処理を開始する。以下では、スペックルコントラストCsを算出するための元画像、すなわちカメラ入力画像50をスペックル画像50と記載する。
スペックル演算部36は、算出されたスペックルコントラストCsに基づいて観察像となるスペックルコントラスト画像60を生成する。図3Bの右側の図は、スペックルコントラスト画像60の模式図である。
スペックルコントラスト画像60は、スペックルコントラストCsの値を輝度値に変換して生成される。例えば、スペックルコントラスCsの値が高い画素には明るい輝度値が設定され、Csの値が低い画素には暗い輝度値が設定される。スペックルコントラストCsを輝度値に変換する方法等は限定されず、任意の方法が用いられてよい。例えばスペックルコントラストCsの高低に対して明暗が反転した輝度値が設定されてもよい。
なお元画像(スペックル画像50)の周縁に位置する画素については、セル42が設定できないので、スペックルコントラストCsが算出されない。従ってスペックルコントラスト画像60では、表示に用いられる画素43の範囲(有効エリア)がスペックル画像50に比べ小さくなる。例えばスペックル画像50のサイズが1920×1080(Full-HD)であった場合、スペックルコントラスト画像60の有効エリアは以下の式で与えられる。
有効エリア=(1920-(m-1)/2)×(1080-(n-1)/2)
スペックルコントラストCsが算出されない周縁の画素43については、所定の輝度値が設定され余白として用いられる。
図4は、スペックルパターンの特性を説明するための図である。図4の右上に示す画像は、静止状態にある観察対象にレーザ光11を照射して撮像された原画像(スペックル画像50a)である。また左上に示す画像は、移動状態にある観察対象にレーザ光11を照射して撮像された原画像(スペックル画像50b)である。
一般にレーザ光11のような干渉性の高い光を観察対象に照射すると、観察対象で反射されるレーザ光11(反射光)の位相がランダムに変化する。位相がランダムになったレーザ光11が互いに干渉することで明暗のスペックルパターンが形成される。例えば観察対象が静止状態にある場合には、干渉が生じる位置等が安定するため、右側のスペックル画像50aに示すように明瞭なスペックルパターンが形成される。
一方でレーザ光11が移動する対象に照射される場合には、干渉が生じる位置等が変化してスペックルパターンの明暗のパターンが変化し、露光時間中に積分した結果、明暗のコントラストは低下する(左側のスペックル画像50b)。明暗のコントラストが低下する度合いは、例えばカメラ20の露光時間内での移動量に応じた値となる。すなわち明暗のコントラストの低下が速度を反映した指標となる。
図4の下側には、静止状態及び移動状態でのスペックル画像50a及び50bでの輝度分布を示すグラフが示されている。グラフの横軸は輝度値であり、縦軸は各輝度値の画素数(分布)である。静止状態及び移動状態でのスペックル画像50a及び50bでの輝度分布は、それぞれ点線及び実線で図示されている。
グラフに示すように、観察対象が静止状態である場合には、移動状態である場合と比べ、幅の広い輝度分布となる。すなわち静止状態でのスペックル画像50aは、明るい画素と暗い画素との輝度差が広く、明暗のコントラストが大きい画像となる。一方で、移動状態でのスペックル画像50bは、明るい画素と暗い画素との輝度差が狭く、明暗のコントラストが小さい画像となる。
輝度分布の幅(明暗のコントラスト)は、露光時間内の移動量、すなわち移動速度の逆数に略比例する。より正確にはスペックルコントラストCsは以下の関係で表される。
Cs=(β×(exp(-2X-1+2X))/(2X^2))^(1/2)
ここでβはノーマライズファクタであり、Xは露光時間T及びコリレーション時間τを用いてX=T/τと表される。なおコリレーション時間τは、血流の平均速度vに反比例(τ∝1/v)する。
従ってスペックル画像では、観察対象での移動速度が大きいほど明暗のコントラストが減少する。例えば、生体組織等において血流がある部位の輝度分布の幅は、血流の速度に対応する。また輝度分布の標準偏差に基づいて算出されるスペックルコントラストによっても血流速度を表現することが可能である。
なお、観察対象により反射されるレーザ光11の平均輝度(平均反射率)は、観察対象が移動状態である場合でも、静止状態である場合でも、互いに略同様となる。従って各状態での輝度分布は、略同様の輝度値(平均反射率)を中心とした分布となる。
図5は、スペックル画像の一例を示す模式図である。図5には、レーザ光11を照射して撮像された血管ファントム70のスペックル画像50が模式的に示されている。なお図5では、血管ファントムの内部の血流が早い部位と血流が遅い部位とが異なる色で示されている。
血管ファントム70では、右側の血管71aが画像中央の分岐点で上下の血管71b及び71cに分岐される。分岐点には動脈瘤72が形成されており、血管クリップ73を用いて動脈瘤72の血流74が遮断されている。なお図5では、右側から左側に向けて流れる血流74が模式的に図示されている。動脈瘤72の内部では血液は溜まっている状態である。
図6は、図5に示すスペックル画像50の輝度分布を表すグラフである。図6の右側には血液が流れている血管(下側の血管71b)での輝度分布を表すグラフが示されており、図6の左側には動脈瘤72での輝度分布を表すグラフが示されている。各グラフは、下側の血管71b及び動脈瘤72上の部分領域75及び76での輝度分布の結果である。
下側の血管71bは、内部を血液が移動するため移動状態となる。従って図6の右側のグラフに示すように、下側の血管71bでの輝度分布の幅は狭くなり、明暗のコントラストが抑えられる。一方で動脈瘤72は、血液が溜まっている静止状態となる。従って図6の左側のグラフに示すように、動脈瘤72での輝度分布の幅は広くなり明暗のコントラストが大きくなる。
なお、下側の血管71b及び動脈瘤72はともに同じ素材で構成されており、下側の血管71bでの平均輝度(23.52)及び動脈瘤72での平均輝度(23.82)は略同様の値となる。このように移動状態にある部位と静止状態にある部位とは、同様の平均輝度でありながら、それぞれの輝度分布、すなわちそれぞれの明暗のコントラストに差が生じる。
図7は、スペックルコントラスト画像の一例を示す模式図である。図7Aには、3×3のセル42を用いて生成されたスペックルコントラスト画像60aが模式的に示されている。スペックルコントラスト画像60aは、例えば図5等で説明したスペックル画像50を原画像として生成される。
スペックルコントラスト画像60aでは、血管71内の血液が流れている部分は暗い輝度となり、動脈瘤72の血液が溜まっている部分は、血流部分よりも明るい輝度となる。従って、血管71(血流部分)と動脈瘤72(溜まっている部分)とが異なる明るさで表示される。もちろん血管71が明るく表示され動脈瘤72が暗く表示される、明暗が反転したスペックルコントラスト画像60aが生成されてもよい。
上記したように、スペックルコントラストCsの値は、セル42に含まれる各画素43の輝度値I(m、n)の標準偏差σに比例した値である。例えば輝度分布の幅が大きい領域では、輝度値I(m、n)の標準偏差σが大きくなり、スペックルコントラストCsの値も大きくなる。逆に輝度分布の幅が小さい領域では、スペックルコントラストCsの値も小さくなる。
このように各画素43において、周辺の明暗のコントラスト(輝度分布の幅)に応じてスペックルコントラストCsが算出される。算出されたスペックルコントラストCsを輝度値に変換することで、スペックルコントラスト画像60aが生成される。従ってスペックルコントラスト画像60aの各画素43の明るさ(輝度値)は、各画素43の周辺の明暗のコントラストに応じた値となる。
この結果、例えば明暗のコントラストが高い部位(スペックルが明瞭な部位)と、低い部位(スペックルが識別しにくい部位)とが、互いに異なる明るさで表示されることになる。すなわち、スペックルコントラスト画像60aでは、移動状態である血管71と静止状態である動脈瘤72とを明るさの違いで視覚的に表現することが可能となる。
図7Bには、31×31のセル42を用いて生成されたスペックルコントラスト画像60bが模式的に示されている。セル42のサイズを大きくすると、各画素で算出されるスペックルコントラストCsの値が平滑化される。
例えば血管71(血流部分)において、各画素43のスペックルコントラストCsは、互いに略等しい値が算出される。同様に動脈瘤72(溜まっている部分)でも各画素43のスペックルコントラストCsは、互いに略等しい値が算出される。従って左側のスペックルコントラスト画像60aと比べると、血管71及び動脈瘤72の各々は、略均質な明るさで表示される。
図8は、セルサイズとスペックルコントラストとの関係を表すグラフである。図8に示すグラフでは、セルサイズと各セルサイズで算出されるスペックルコントラストCsの値との関係が模式的に示されている。以下では、スペックル画像50における明暗のコントラストが低い移動状態の部位(血管71)を低コントラスト部51と記載する。また明暗のコントラストが高い静止状態の部位(動脈瘤72)を高コントラスト部52と記載する。
点線で示されるグラフは、低コントラスト部51で算出されるスペックルコントラストCsの最大値53a、平均値53b、及び最小値53cである。また実線で示されるグラフは、高コントラスト部52で算出されるスペックルコントラストCsの最大値54a、平均値54b、及び最小値54cである。なお図8のグラフでは、セルサイズに応じたスペックルコントラスト画像の空間解像度55が一点鎖線で模式的に図示されている。
図8のグラフに示すように、セルサイズが小さい場合、高コントラスト部52の最大値54a及び最小値54bの間隔は広く、様々なスペックルコントラストCsの値が算出される。セルサイズが大きくなるにつれて、最大値54aは緩やかに増加する。最小値54bは最大値54aに向けて増加し、最小値54b及び最大値54aの間隔は小さくなる。従ってセルサイズの増加に伴い、高コントラスト部52で算出されるスペックルコントラストCs値は、最大値54aに近い値に収束する。
このため、大きいセルサイズで算出されたスペックルコントラスト画像60bでは、高コントラスト部52に含まれる各画素の輝度値は互いに近い値となり、高コントラスト部52は全体的に同じ明るさで表示される。また高コントラスト部52の輝度値はセルサイズの増加に伴い増加する。高コントラスト部52の輝度値とは、高コントラスト部52全体の明るさであり、例えば高コントラスト部52に含まれる各画素の輝度値の平均値である。
低コントラスト部51では、セルサイズが大きくなるにつれて、最大値53aは最小値53bに向けて減少する。従ってセルサイズの増加に伴い、低コントラスト部51で算出されるスペックルコントラストCs値は、最小値53bに近い値に収束する。この結果、スペックルコントラスト画像60bの低コントラスト部51の輝度値(例えば各画素の輝度値の平均値)は、セルサイズの増加に伴い減少する。
このようにスペックルコントラスト画像60では、セルサイズが大きくなるにつれて血流部分(低コントラスト部51)と血流がたまっている部分(高コントラスト部52)とが、それぞれの明るさで略一様に表示されるようになる。この結果、血流がある部分は一様に暗い領域となり、血流が少ない部分は一様に明るい領域として表示される。これにより、例えば血流の有無等を容易に識別することが可能となる。
なおセルサイズの増加に伴い、スペックルコントラストCsの値が平滑化され、スペックルコントラスト画像60の空間解像度55は低下する。例えば、図7に示すスペックルコントラスト画像60a及び60bでは、小さいセルサイズ(3×3)で生成された画像60aのほうが空間解像度55が高い。このように、スペックルコントラスト画像60では、コントラストと空間解像度55とがトレードオフの関係となっている。
図9は、セルサイズとスペックルコントラストとの関係を説明するための模式図である。図9A~図9Cでは、互いに異なる第1~第3のセルサイズを用いて、各セル42c~42eでのスペックルコントラストCsが算出される。なお図9A~図9Cでは、共通のスペックル画像50dが用いられる。スペックル画像50dは、例えば図7で説明した高コントラスト部52の画像である。
図9Aには、第1のセルサイズで区切られたスペックル画像50d(左側)と、各セル42c内での輝度分布(中央)と、セル42cごとに算出されたスペックルコントラストCs(右側)とが模式的に示されている。
第1のセルサイズはスペックル画像50dのスペックルサイズ(スペックル粒径)と同程度の大きさである。図9Aの左側に示すように、スペックル画像50dを区切る各セル42cには、1つのスペックルを囲うセル42cや、部分的にスペックルを含むセル42c、スペックルが含まれないセル42c等が含まれる。例えば座標(4,1)に位置するセル42cでは、セル42cが1つのスペックルに略占有される。また例えば座標(0,2)等に位置するセル42cでは、スペックルが含まれない。
図9Aの中央のグラフに示すように、第1のセルサイズで区切られた各セル42cの輝度分布は、各セル42cに含まれるスペックルの割合等に応じた分布を示す。例えばスペックルで占有されたセル42cは平均輝度が高く幅の狭い輝度分布となり、スペックルが含まれないセルは平均輝度が低く幅の狭い輝度分布となる。また例えば部分的にスペックルを含むセル42cは、幅の広い輝度分布となる。
図9Aの右側には、第1のセルサイズで区切られた各セル42cが、各セル42cのスペックルコントラストCsに応じた明るさで示されている。各セル42cは、スペックル画像50dのスペックルパターンに応じたランダムな明暗のパターンを形成する。また黒色となるセル42cの割合、すなわち輝度分布の幅が狭いセル42cの割合が高く、全体として暗い画面となる。
図9Bでは、第1のセルサイズよりも大きい第2のセルサイズが用いられる。第2のセルサイズは、第1のセルサイズの4倍程度のサイズである。図9Bの中央のグラフに示すように、第2のセルサイズで区切られた各セル42dの輝度分布は、第1のセルサイズを用いた場合と比べ、全体として幅の広い分布となる。この結果、各セル42dのスペックルコントラストCsの値は全体的に大きくなる。例えば図9Bの右側に示すように、第2のセルサイズを用いた場合、明るく表示されるセル42dの割合が多くなる。
図9Cでは、第2のセルサイズよりも大きい第3のセルサイズが用いられる。図9Cの左側に示すように、第3のセルサイズで区切られた全てのセル42eには、スペックルとスペックル周りの周辺領域とが含まれる。このため各セル42eの輝度分布は、互いに同様で幅の広い分布となる。従って図9Cの右側に示すように、第3のセルサイズで区切られた各セル42eのスペックルコントラストCsは、互いに略等しく大きい値(明るい値)となる。
このように、各セル42c~42eのスペックルコントラストCsの値は、各セル42c~42eに含まれるスペックルの面積の割合に応じた値となる。すなわち、スペックル画像50dでのスペックルサイズと、セルサイズとの比に応じてスペックルコントラストCsの値が定まる。この結果、例えばセルサイズを大きくすることで、ばらつきが小さく値の大きいスペックルコントラストCsを算出することが可能となる。
図10は、セルサイズとスペックルコントラスト画像との関係を説明するための図である。図10A~図10Fには、3×3、5×5、7×7、11×11、21×21、及び31×31のセルサイズで算出されたスペックルコントラスト画像60c~60hが示されている。図10の原画像(スペックル画像)は、図5等で説明した血管ファントム70を撮像した画像である。なお図10の原画像では血管クリップ73等は使用されていない。
また図10A~図10Fには、各スペックルコントラスト画像60c~60hでのスペックルコントラストCsのラインプロファイル61c~61hが示されている。各ラインプロファイル61c~61hは、右側の血管71と交差する直線45に沿ったラインプロファイルである。各ラインプロファイル61c~61hにおいて、中央の値の低い部分は血管71の領域に対応し、その両側の値の高い部分は背景77の領域に対応する。なお図10では、スペックルコントラストCsは最大値が1となるように規格化されている。
例えば3×3のセルサイズを用いた場合、ラインプロファイル61cに示すように、各画素で算出されるスペックルコントラストCsの値のばらつき(ノイズ)は大きくなる。このため3×3のセルサイズで生成されたスペックルコントラスト画像60cには、細かい明暗の斑点模様(ぎらつき)が生じる。
5×5のセルサイズを用いた場合、ラインプロファイル61dでのスペックルコントラストの値のばらつきの幅は、3×3のセルサイズでのばらつきと比べ小さくなる。なお5×5のラインプロファイル61dには、血管71に対応する領域Lと、血管71の両側の背景77に対応する領域H1及びH2が黒線で模式的に図示されている。
セルサイズが増加するに従って、各画素で算出されるスペックルコントラストCsの値のばらつきは減少する。例えば21×21のセルサイズで生成されたスペックルコントラスト画像60gでは、斑点模様によるぎらつきが略見えなくなる。
なおセルサイズの増加に伴い、スペックルコントラスト画像の解像度は低下する。例えば31×31のセルサイズでのラインプロファイル61hの血管71に対応する領域では、7×7及び11×11のラインプロファイル61e及び61f等に見えている細かい構造が見えなくなる。従って31×31のセルサイズで生成されたスペックルコントラスト画像60hでは、血管71内部での細かい明暗の分布等は識別が難しくなる。
図11は、スペックルコントラストの特性を説明するための図である。図11Aは、図10に示す各ラインプロファイル61c~61hでの、セルサイズとスペックルコントラストCsとの関係を示すグラフである。四角のデータポイントは、血管71に対応する領域LでのスペックルコントラストCsの平均値である。菱形のデータポイントは、背景77に対応する領域H1及びH2でのスペックルコントラストCsの平均値である。三角のデータポイントは、血管71及び背景77でのスペックルコントラストCsの平均値の差である。
血管71のスペックルコントラストCsの平均値は、セルサイズの増加に対して大きく変化しない。一方で、背景77のスペックルコントラストCsの平均値は、3×3のセルサイズから7×7のセルサイズにかけて大きく増加し、7×7以上のセルサイズでは緩やかに増加する。従って、例えば血液が流れている血管71と背景77との明るさの差(三角のデータポイント)は、セルサイズを7×7以上にしても大きく変化しない。
図11Bは、図10に示す各ラインプロファイル61c~61hでの、セルサイズとスペックルコントラストCsのノイズN及びシグナルノイズ比SNR(Signal-Noise Ratio)との関係を示すグラフである。グラフの左側の縦軸はスペックルコントラストCsのシグナルノイズ比に対応し、右側の縦軸はスペックルコントラストCsのノイズに対応する。
例えば、血管71のスペックルコントラストCsのノイズN(L)(四角のデータポイント)は、3×3のセルサイズから15×15のセルサイズ程度まで減少し、それよりも大きいセルサイズではノイズN(L)は略変化しない。血管71でのシグナルノイズ比SNR(L)(X印のデータポイント)は、ノイズN(L)の減少に伴い10dB程度増加する。
また、背景77のスペックルコントラストCsのノイズN(H)(菱形のデータポイント)は、3×3のセルサイズから30×30のセルサイズ程度まで減少し、それよりも大きいセルサイズではノイズN(L)は略変化しない。また背景77のスペックルコントラストCsとノイズの比をSNR(H)(三角のデータポイント)とすると、ノイズN(L)の減少に伴い20dB程度向上する。
このように、セルサイズの大きさに応じて、スペックルコントラスト画像での血管71及び背景77のぎらつき、明るさ、及び解像度等が変化し、スペックルコントラスト画像の見え方が変化する。従ってセルサイズを変えることで、観察像(スペックルコントラスト画像)の画質を変えて観察を行うことが可能である。例えば観察部位2を詳細に観察したい場合には、セルサイズを小さくして解像度の高い観察像を生成することが可能である。また例えば、血流がある部位(血管71)を大まかに把握したい場合には、セルサイズを大きくして血流がある領域とそうでない領域とをそれぞれの明るさで均質に表示するといったことも可能である。但し、観察する血管の幅以上に大きくすることは出来ないので限度はある。
図12は、スペックル画像におけるスペックルサイズについて説明するための図である。図12Aには、レンズ部21のF値が5.6で撮像されたスペックル画像50c(左側)と、F値が16で撮像されたスペックル画像50d(右側)とが示されている。図12Bは、F値が5.6で撮像されたスペックル画像50cにおけるセル42内の輝度分布を示すグラフである。
レンズ部21のF値が5.6の場合、画面全体に粒径の小さい斑点模様があるスペックル画像50cが撮像される。この斑点模様の1つ1つがスペックルに相当する。レンズ部21のF値が16で撮像されたスペックル画像50dでは、個々の斑点の大きさ(スペックルサイズ)はF値が5.6の場合と比べて全体的に大きくなる。なおスペックル画像50dには、1つのスペックルに対応する斑点が点線で模式的に図示されている。
図12Aの右側には、スペックル画像50に含まれるスペックルの粒径(スペックルサイズ)の分布を表すグラフが模式的に図示されている。スペックル粒径の分布は、中心粒径をピークとする山なりの分布である。なおスペックル粒径の最小値は、レンズ部21等の変調伝達関数(MTF:Modulation Transfer Function)等を用いて表される。
レンズ部21のF値等の撮像パラメータの変化に伴い、スペックル画像50でのスペックルの中心粒径が変化する。例えばF値が5.6から16に変化した場合、スペックル画像50に表れるスペックルのサイズは全体として大きくなる。この結果、スペックルの中心粒径は増大し、スペックル粒径の分布は全体的に右側にシフトする。このように、スペックル画像50に含まれるスペックルの大きさは、撮像パラメータ等に応じて変化する。
なお図9等で説明したように、スペックルコントラストCsは、セルサイズとスペックルのサイズとに応じたセル42内の輝度分布に基づいて算出される。例えば同じセルサイズを用いる場合、F値が5.6で撮像されたスペックル画像50cでのセル42内の輝度分布(図12B参照)と、F値が16で撮像されたスペックル画像50dでのセル42内の輝度分布とは異なる分布となる。従って、各スペックル画像50c及び50dでは互いに異なるスペックルコントラストCsがそれぞれ算出される。
図13は、光学倍率1倍、波長850nm、ピクセルサイズ5.8ミクロンにおける、スペックルサイズと撮像パラメータとの関係を示す図である。図13Aには、F値が2、5.6、及び16で撮像されたスペックル画像50e、50c、及び50dが示されている。図13Aに示すように、F値が増加するに従って、各スペックル画像50に表れるスペックルのサイズが大きくなる。
図13Bには、スペックルサイズとF値との関係を表すグラフが示されている。グラフの横軸は、スペックル画像50を撮像した際のF値である。また縦軸は、各F値で撮像されたスペックル画像50でのスペックルの全幅(スペックルのサイズ)である。ここでスペックルの全幅とは、例えば図13Aのグラフで説明したスペックルの中心粒径である。
図13Bに示すグラフでは、スペックルの全幅の実験値(菱形のデータポイント)及び計算値(四角のデータポイント)がそれぞれ示されている。スペックルの全幅の実験値は、例えばスペックル画像50をずらした画像とずらす前のスペックル画像50との相互相関をとることで算出される。またスペックルの全幅の計算値は、シミュレーション等に基づいて算出される。スペックルの全幅の実験値及び計算値を算出する方法等は限定されず、スペックルの粒径等を算出可能な任意の方法が適宜用いられてよい。
図13Bに示すように、F値が4以下の場合(例えばF#=1.4、2、2.8等)、スペックルの全幅の実験値及び計算値はともに1ピクセル程度である。この場合、スペックル画像50に現れるスペックルは1つの画素よりも小さい。
F値が4よりも大きい場合、F値の増加に伴いスペックルの全幅の実験値及び計算値はともに増加する。スペックルの全幅の増加量は、F値の増加量に対して略線形である。なお、F値以外の撮像パラメータが変化した場合であっても、スペックルの全幅が変化する場合があり得る。例えばレンズ部21の光学倍率が増加すると、スペックルの全幅も略線形に増加する。
また図13Bに示すように、スペックルの全幅の実験値及び計算値は高い精度で一致する。従って、例えば撮像に用いられたF値から、撮像されたスペックル画像50でのスペックルのサイズ(全幅)等を高い精度で算出することが可能である。もちろんスペックルのサイズを算出するために用いられる撮像パラメータはF値に限定されず、光学倍率等の他のパラメータが用いられてもよい。
このように、F値等の撮像パラメータが変化した場合、スペックル画像50に表れるスペックルのサイズは撮像パラメータに応じた値となる。従って撮像パラメータの変化(スペックルのサイズの変化)に伴い、スペックル画像50から算出されるスペックルコントラストCsの値も変化し、スペックルコントラスト画像60(観察像)の画質が変化する。
図14は、スペックルサイズ及びセルサイズに関するスペックルコントラストのマップ62の一例を示す図である。マップ62の横軸はスペックルサイズであり、縦軸はセルサイズである。なお図14では、縦と横の画素数が等しい正方形のセル42が用いられ、セルサイズは縦(横)の画素数に相当する。
図14に示すマップ62では、スペックルコントラストCsの値が0.05刻みの等値線で表されている。マップ62におけるスペックルコントラストCsの値は、例えば各スペックルサイズd及び各セルサイズsでのスペックルコントラストCsの値をそれぞれシミュレーションすることで算出される。以下では図14に示すマップ62をコントラストマップ62と記載する。またコントラストマップ62の各点の位置を、スペックルサイズd及びセルサイズsを用いて(d,s)と記載する。
なお、コントラストマップ62を生成する方法等は限定されず、例えば標準拡散体等の試料を実際に撮像したスペックル画像50等からスペックルコントラストCsが算出されてもよい。この場合、例えばスペックルサイズS(撮像パラメータ)ごとにセルサイズを変えてスペックルコントラストを算出することで、コントラストマップ62を生成することが可能である。この他、コントラストマップ62を生成可能な任意の方法が用いられてよい。
図14に示すように、コントラストマップ62では、スペックルコントラストCsの値が略一定となるようにスペックルサイズSとセルサイズCとの組み合わせを選択することが可能である。例えば点p1(3,13)及び点p2(6,16)をつなぐ直線状の第1の経路63a(図中の矢印63a)上の各点では、スペックルコントラストCsの値が略一定の値(約0.65)となる。
例えば第1の経路63a上の各点と同様の条件、すなわち第1の経路63a上の各点に対応するスペックルサイズ及びセルサイズでスペックルコントラスト画像60が生成されるとする。この場合、第1の経路63aでのスペックルコントラストCsの値(約0.65)が一定であるため、各条件で生成されるスペックルコントラスト画像60の明暗のコントラストは互いに略同じになる。本実施形態では、スペックルコントラスト画像60の明暗のコントラストは、観察像の表示輝度に関する所定の表示パラメータに相当する。
このように、スペックルコントラスト画像60を生成する際に、第1の経路63aに合わせてセルサイズCを選択することで、スペックルコントラスト画像60の明暗のコントラスト(表示パラメータ)を略一定に保つことが可能となる。この結果、例えばズーム機能等により撮像パラメータが変化してスペックルサイズが変わっても、それに合わせてセルサイズを設定する事により、同じコントラストのスペックルコントラスト画像60が得られる。
同様に、点p3(3,5)及び点p4(6,8)をつなぐ第2の経路63b(図中の矢印63b)においても、スペックルコントラストCsの値(約0.56)は略一定に保たれる。従って第2の経路63b上の各点と同様の条件で生成されるスペックルコントラスト画像60の明暗のコントラストは、第2の経路63bでのスペックルコントラストCsの値(約0.56)に応じた略一定の値となる。
なおコントラストマップ62において、スペックルコントラストの値を略一定に保つ経路は第1及び第2の経路63a及び63bに限定されない。例えば第1及び第2の経路63a及び63bの間の他の経路に沿ってスペックルコントラスト画像60を生成するといったことも可能である。
このように、コントラストマップ62でのスペックルコントラストCsの値が略一定となる経路に沿ってスペックルコントラスト画像60を生成することで、スペックルコントラスト画像60(観察像)の画質を制御することが可能となる。例えば、各経路に沿ってセルサイズを制御することで、互いに画質の異なる複数の画質モードで観察像を生成することが可能となる。
各経路に対応する画質モードでは、互いに異なるセルサイズの範囲で、スペックルコントラストCsの値が略一定に保たれる。従って各経路に対応する画質モードを選択することで、観察像の表示解像度の範囲を選択することが可能である。例えば、第2の経路63bに対応する画質モードの表示解像度(セルサイズs)の範囲は、5ピクセルから8ピクセルの範囲である。本実施形態において、各経路に対応する画質モードの各々は、表示解像度に関する画質モードに相当する。
例えば第2の経路63bに対応するセルサイズの範囲は、第1の経路63aと比べセルサイズの値が小さい範囲である。従って第2の経路63bに沿って生成されるスペックルコントラスト画像60は、第1の経路63aに沿って生成されるスペックルコントラスト画像60と比べ、表示解像度の高い高精細な画像となる。本実施形態において、第2の経路63bに対応する画質モードは、表示解像度を優先する第2の画質モードに対応する。
また例えば第1の経路63aは、第2の経路63bと比較してスペックルコントラストCsの値が高い経路となっている。従って第1の経路63aに沿って生成されるスペックルコントラスト画像60では、第2の経路63bに沿って生成されるスペックルコントラスト画像60と比べ、全体的に高いスペックルコントラストCsが算出され、明暗が大きいメリハリの利いた画像が得られる。つまり本実施形態において、第1の経路63aに対応する画質モードは、解像度よりコントラスト表示を優先する第1の画質モードに対応する。
なお第1の経路63aに対応する画質モードでは、大きいセルサイズCが用いられる。このため、第1の経路63aに沿って生成されるスペックルコントラスト画像60では、観察部位2の血管71や動脈瘤72等の各部がそれぞれの明るさで略一様に表示される(図8参照)。従って第1の経路63aに対応する画質モードを選択することで、例えば低コントラスト部51(血管71)と高コントラスト部52(動脈瘤72)との表示輝度の差が明瞭なコントラストの高い画像を生成することが可能となる。
図15は、処理サイズテーブル38の一例を示す表である。処理サイズテーブル38は、コントラストマップ62に基づいて生成され、記憶部37に記憶される。処理サイズテーブル38には、画質モードA~Eごとに、スペックルサイズに対応するセルサイズ(処理サイズ)が記録されている。
図15に示す例では、画質モードは、画質モードA~Eの5段階に分けられている。またスペックルサイズの範囲は3~6ピクセルの4段階に分けられている。画質モード及びスペックルサイズの分け方は限定されず、任意に設定されてよい。
例えば、画質モードBは、コントラストマップ62でのスペックルコントラストCsの値が約0.6となるような経路に対応した画質モードである。すなわち画質モードBは、各スペックルサイズに対して、コントラストマップ62でのスペックルコントラストが約0.6となるようにセルサイズを制御するモードである。なお、画質モードAは図14に示す第2の経路63bに対応する画質モードに相当し、画質モードEは第1の経路63aに対応する画質モードに相当する。
図16は、観察システム100の基本的な動作例を示すフローチャートである。まず、観察システム100を操作するオペレータにより、操作画面等を介して観察システム100での測定モードが選択される。選択された測定モードがUI取得部34により受け付けられる(ステップ100)。
測定モードには通常の観察を行う通常観察モードと、観察システム100の校正を行う校正モードとが含まれる。通常観察モードの選択が受け付けられた場合、ステップ101が実行される。また校正モードの選択が受け付けられた場合、ステップ201が実行され校正モードが開始される。校正モードについては後に詳しく説明する。
通常観察モードが選択された場合、操作画面には観察モードを選択するための選択画面が表示される。観察モードには、マニュアル設定モードと、デフォルト設定モードと、自動認識設定モードとが含まれる。オペレータにより観察モードが選択され、UI取得部34により受け付けられる(ステップ101)。
マニュアル設定モードが選択された場合、操作画面には解像度モードを選択するための選択画面が表示される。解像度モードには、図15に示す処理サイズテーブル38における画質モードA~Eが含まれる。オペレータにより、選択画面に表示された画質モードA~Eのうちいずれか1つが選択される。UI取得部34により、選択された画質モードが解像度モードとして受け付けられる(ステップ102)。
例えば、解像度の高い高精細な画質で観察像を生成したい場合には、画質モードAが選択される。また例えば、血管71と血管71以外の領域とを明るさの違いで識別したい場合、すなわち高いコントラストで観察したい場合には、画質モードEが選択される。もちろんこれに限定されず、オペレータが所望する画質モードが適宜選択されてよい。なお選択画面では、画質モードA~Eが各モードの特徴を現すアイコン等の図像を用いて表示されてもよい。これにより直感的に画質モードを選択することが可能となる。
デフォルト設定モードが選択された場合、観察システムにデフォルトで設定されている画質モードが解像度モードとして設定される(ステップ103)。デフォルトの画質モードとしては、例えば画質モードA~Eの中で、表示解像度の範囲が略中間となる画質モードCが設定される。もちろん、他の画質モードがデフォルトとして設定されてもよい。解像度モードがデフォルトの値に設定されると、ステップ105が実行される。
自動認識設定モードが選択された場合、観察部位2の画像に基づいて画質モードが選択される(ステップ104)。例えば、観察部位2の撮像範囲における血管71の太さに応じて、画質モードが選択される。選択された画質モードは、ステップ102で解像度モードとして設定される。なお、血管71の太さは、例えばICG(IndoCyanine Green)等の試薬を用いて撮像された観察部位2の画像から同定される。
ステップ104では、ICG等用いて撮像された観察部位2の画像から、観察部位2に含まれる血管71が、脳動脈瘤のような太い血管71であるのか、あるいは穿通枝のような細い血管71であるのかが判別される。観察部位2の画像から血管71の太さ等を判別する方法は限定されず、機械学習や画像処理等を用いた任意の方法が用いられてよい。
例えば脳動脈瘤等を含む太い血管71に対しては、血管71と脳動脈瘤とを明瞭に識別するために、表示輝度を優先する画質モード等が選択される。また細い血管71での血流観察を重視する場合には、解像度の高い画質モードが選択される。この他、血管71の状態や生体組織の種類等に応じて、観察部位2の画像から適切な画質モードが適宜選択されてよい。なお血管71の太さ等を同定するための画像は、ICG等を使って撮像される画像に限定されず、他の任意の方法で撮像された観察部位2の画像等が適宜用いられてよい。
なお、ステップ100、101、及び102での、測定モード、観察モード、及び解像度モードの選択は、任意のタイミングで実行されてよい。すなわちUI取得部34は、オペレータによる選択等を常時受け付けることが可能である。その場合、各モードが選択されたタイミングで、ステップ100、101、及び102からの処理が再開される。
ステップ102で設定された解像度モードに基づいて、処理サイズテーブル38の処理列が決定される(ステップ105)。例えば画質モードAが解像度モードとして設定されている場合には、処理列は1列目となる。決定された処理列の情報は処理サイズ制御部41(ブロック制御部35)に出力される。
観察部位2を撮像するカメラ20により、レーザ光が照射された観察部位2が撮像される(ステップ106)。カメラ20により観察部位2を撮像した画像信号が生成され、画像取得部32により取得される。カメラ制御部33により、カメラ20のF値F#及び光学倍率M等の撮像パラメータが取得される(ステップ107)。取得された撮像パラメータは、予測されるスペックルサイズ算出部40に出力される。
予測されるスペックルサイズ算出部40により、撮像パラメータに基づいてスペックルサイズが算出される(ステップ108)。スペックルサイズの算出には、上記したスペックルサイズ算出式が用いられる。なお、ステップ108で算出されるスペックルサイズは、ステップ106で撮像された画像信号により構成されるスペックル画像50でのスペックルの粒径に相当する。算出されたスペックルサイズは、処理サイズ制御部41に出力される。
処理サイズ制御部41により、セルサイズが決定される(ステップ109)。処理サイズ制御部41は、ステップ105で決定された処理列(画質モード)と、ステップ108で算出されたスペックルサイズとに基づいて、処理サイズテーブル38からセルサイズを決定する。決定されたセルサイズは、スペックル演算部36に出力される。
スペックル演算部36により、画像取得部32が取得した観察部位2の画像信号からスペックルコントラストが算出される(ステップ110)。スペックルコントラストCsの算出には、処理サイズ制御部41により決定されたセルサイズが用いられる。
スペックル演算部36は、算出されたスペックルコントラストCsに基づいて、観察部位2の観察像であるスペックルコントラスト画像60を生成する(ステップ111)。このように、処理サイズ制御部41により制御されたセルサイズを用いることで、設定された解像度モードに対応する画質で観察像を生成することが可能である。生成された観察像はディスプレイに出力される。これによりオペレータは所望の画質で観察部位2の観察像を観察することが可能となる。
図16に示すように、観察システム100では、ステップ107~ステップ111までの各ステップのループ処理が実行される。すなわち、ループ処理ごとに撮像パラメータが取得され、当該撮像パラメータに基づいて、設定されている解像度モードに対応する画質で観察像が生成される。
例えばオペレータがレンズ部21のズーム機能等を使って観察部位2を拡大して撮像する場合、光学倍率MやF値F#等の撮像パラメータが変化し、スペックル画像50でのスペックルサイズが変化する。処理サイズ制御部41は、解像度モードにおける表示解像度の範囲(セルサイズの範囲)で、スペックルサイズに応じたセルサイズを決定する。すなわち、処理サイズ制御部41により、観察像の表示輝度に関する表示パラメータが、複数の画質モードの各々に対して互いに表示解像度の範囲で略一定に保たれるようにセルサイズが制御される。
なおステップ107~ステップ111を含むループ処理は、例えば解像度モード等が更新されたタイミングで停止される。例えば、オペレータにより他の画質モードが選択された場合、ループ処理が停止されステップ102が実行される。これにより、オペレータは所望のタイミングで観察像の画質を変更することが可能となる。
図17は、観察システム100の校正の一例を示すフローチャートである。観察システム100の校正は、例えばレンズ部21の交換等のタイミングで実行される。これに限定されず、任意のタイミングで観察システム100が校正されてよい。
本実施形態では、観察システム100の校正として、処理サイズテーブル38が校正される。すなわちレンズ部21の交換等のタイミングで、交換後のレンズ部21の特性を反映した処理サイズテーブル38が新たに生成されるとも言える。処理サイズテーブル38は、標準散乱体を用いて校正される。標準散乱体としては、例えば粒径の均一な粒子が表面に固着された反射型の散乱体等が用いられる。標準散乱体の種類等は限定されず、任意の散乱体が用いられてよい。本実施形態では、標準散乱体は、所定の校正用対象物に相当する。
図16のフローチャートに示すステップ100で、測定モードとして校正モードが選択された場合、ステップ201が実行され校正モードでの処理が開始される。まず、標準散乱体が、カメラ20の撮像範囲に設置される(ステップ202)。標準散乱体は、例えば観察部位2と同様の位置に配置され、レーザ光11が照射される。標準散乱体が配置される位置等は限定されず、例えばレーザ光11を照射して撮像可能な任意の位置に配置されてもよい。
カメラ制御部33により、カメラ20のF値F#及び光学倍率M等の撮像パラメータが初期設定値等の所定の値に設定される(ステップ204)。撮像パラメータが設定される値は限定されず、例えばF値F#及び光学倍率Mの最低値等に設定されてもよい。
カメラ制御部33により、F値F#及び光学倍率Mの少なくとも一方が、各々に対応するステップ量だけ変更される(ステップ204)。ステップ204では、フローチャートでのループ処理の度に、F値F#及び光学倍率Mの異なる組み合わせがカメラ制御部33により設定される。すなわちステップ204では、ループ処理ごとのF値F#と光学倍率Mとの組み合わせが総当りとなるように、各撮像パラメータが設定される。各組み合わせが設定される順番等は限定されない。なお1度目の処理では、ステップ203で設定された所定の値が用いられる。
カメラ20により、レーザ光11が照射された標準散乱体が撮像される(ステップ205)。撮像された画像信号は、画像取得部32により取得され、画像処理部に出力される。画像処理部は、例えば画像信号により構成されるスペックル画像に対して任意の画像処理を実行可能である。なお図1では画像処理部の図示を省略している。画像処理部により、標準散乱体のスペックル画像に基づいて、スペックル画像でのスペックルサイズ(スペックル粒径)が算出される(ステップ206)。
算出されたスペックルサイズに基づいて、処理サイズテーブル38が校正される(ステップ207)。例えば、図14に示すコントラストマップ62に基づいて、ステップ206で算出されたスペックルサイズに対応するセルサイズが画素モードごとに取得され、処理サイズテーブル38に記録される。
処理サイズテーブル38に必要なデータが揃ったか否かが判定される(ステップ208)。例えば処理サイズテーブル38で必要とされるスペックルサイズの数が全てそろったか否かが判定される。例えば図15に示す処理サイズテーブルでは、4つのスペックルサイズが記録されている。処理サイズテーブル38に用いられるスペックルサイズの数は限定されず、例えば、処理サイズテーブル38の精度やレンズ部21の特性等に応じて適宜設定されてよい。
データが揃っていないと判定された場合(ステップ208のNo)には、ステップ204が再度実行される。すなわち、カメラ20の撮像パラメータを変えて再度スペックルサイズが算出される処理が実行される。またデータが揃ったと判定された場合(ステップ208のYes)、処理サイズテーブル38の校正モードの処理が終了する(ステップ209)。
このように処理サイズテーブル38には、ステップ206で設定されたF値F#と光学倍率Mに応じたスペックルサイズと、当該スペックルサイズに対応する画素モードごとのセルサイズが記録される。従って処理サイズテーブル38は、交換されたレンズ部21に適した値に校正される。
例えば、レンズ部21の交換により、撮像されるスペックルサイズの最大値や最小値等が変わる場合があり得る。この場合、レンズ部21の交換前に使用していた処理サイズテーブル38では、スペックルサイズを精度よく算出することが難しい。処理サイズテーブル38をレンズ部21に合わせて校正することで、撮像パラメータ(スペックルサイズ)の変化に十分に対応可能な処理を実行することが可能となる。
なお、図17に示すフローチャートでは、実際に測定したスペックル画像50からスペックルサイズが測定された。このスペックルサイズの測定値を使って、撮像パラメータからスペックルサイズを算出するスペックルサイズ算出式の補正等が実行されてもよい。これにより高精度にセルサイズ等を制御することが可能となる。
以上、本実施形態に係る観察システム100では、レーザ光11が照射されて撮像された観察部位2の画像信号が取得される。観察部位2の撮像パラメータに基づいてセル42のセルサイズが制御され、このセル42を用いて観察部位2の画像信号からスペックルコントラストCsが算出される。これにより撮像パラメータに応じたスペックルコントラストCsが算出可能となり、観察部位2をカメラの撮像条件が変わっても最適に計算処理することにより高い精度で観察することが可能となる。
スペックルパターンを使って生体組織を観察する方法として、一定のセルサイズで算出されたスペックルコントラストを用いて観察像を生成する方法が考えられる。この場合、生体組織の各部位の明暗や解像度等が固定された観察像が生成される。こうした方法では、例えば生体組織の種類の違いや光学系の特性の変化に対応することが難しく、観察の精度が下がる可能性がある。
例えば、特許文献1では「拡散スペックルコントラスト解析を用いた深部血流量測定」により、組織における血流の評価を目的として、空間領域のスペックルコントラストと時間領域のスペックルコントラストを併用している。時間領域のスペックルコントラストは空間領域のそれより時間分解能が低いが、小領域で使用可能で使い分けを提案している。しかしながら、空間領域のスペックルコントラストの算出において、計算対象となる空間範囲(セルサイズ)によりコントラスト値と空間解像度が変わることが触れられていない。
本来、適用する診療において必要なコントラストと空間解像度があるはずで、最適な計算条件でなければ良質な画像が得られず、適切な診断ができない可能性がある。また計算条件とコントラスト値と空間解像度の関係は光源の観察光学系のFナンバーや光学倍率に依存するため、一度最適化しても観察中にズームや絞り変更等の処理で最適計算条件から外れる可能性もある。またレンズを変更した場合は光学パラメータが変わる可能性あるため最適計算条件の情報を更新する校正モードが必要になるはずである。
本実施形態では、ブロック制御部35により、撮像パラメータに基づいてスペックルサイズが算出され、スペックルサイズに基づいてセルサイズが制御される。これにより、観察部位2で観察されるスペックルの大きさに合わせてセルサイズを最適化することが可能である。従って例えば、カメラ20等の光学系の特性に応じた適正なセルサイズで観察像を生成することが可能となる。この結果、観察部位2を高い精度で観察することが可能となる。
また本実施形態では、UI取得部34により、観察像の画質に関する画質モードの選択が受け付けられる。ブロック制御部35により、選択された画質モードに応じてセル42のサイズが制御される。例えばオペレータは、生体組織の種類等に応じて、解像度とコントラストとの重み付けが異なる複数の画質モードから、所望の画質モードを選択することが可能である。これにより、オペレータが所望する画質で観察像を生成することが可能となり、血管71や動脈瘤72等の注目部位を精度良く観察することが可能となる。
各画質モードでは、ブロック制御部35により、観察像の各部の表示輝度が略一定となるようにセルサイズが制御される。これにより、観察中にスペックル径を決定する光学要素(レンズ部21のF値やズーム倍率)が変化する場合であっても、セルサイズを逐次最適な値になるようにフィードバックして制御することが可能となる。従って、血管71や血管71の周辺の部位の表示輝度等を変えずに、観察の最中に観察部位2を拡大/縮小するといったことが可能となる。これにより、観察部位2を詳細に観察することが可能となり、観察精度を十分に向上させることが可能となる。
本実施形態では、観察システム100の処理サイズテーブル38が、標準拡散体を用いて校正される。これにより、例えばレンズ部21等が交換されて観察用の光学系が変化した場合であっても、光学系に合わせて処理サイズテーブル38を適正に校正することが可能である。これによりセルサイズを適正に制御することが可能となり、精度の高い観察像を提供することが可能となる。
また、自動認識設定モード(図16参照)を選択することで、観察対象となる血管71の太さ等に合わせて、最適なセルサイズを自動的に設定することが可能である。これにより、オペレータが自ら画質を選ぶことなく、観察部位2の特性に合った画質で観察をすることが可能となり、オペレータの負担を軽減することが可能である。
本技術は、例えば医療・生物分野において用いられる内視鏡や光学顕微鏡等に適用することが可能である。すなわち観察システム100を、内視鏡又は顕微鏡として構成することも可能である。
この場合、観察部位2としては、例えば生体の細胞、組織、臓器等の生体組織が挙げられる。本技術を用いることで、生体組織を高い精度で観察することが可能となる。例えば内視鏡や光学顕微鏡等に用いられるレンズ系におけるF値や光学倍率等の撮像パラメータを用いて、図16に示す処理を実行することで、生体組織を高精度に観察することが可能である。
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
上記では、撮像パラメータに基づいてスペックルサイズを算出され、当該スペックルサイズに基づいてセルサイズが制御された。スペックルサイズを算出する場合に限定されず、撮像パラメータを用いて直接セルサイズが制御されてもよい。
撮像パラメータとして例えばF値及び光学倍率が用いられるとする。この場合、処理サイズテーブルには、F値と光学倍率との複数の組み合わせの各々に対応するセルサイズが、各画質モードごとに記録される。すなわち処理サイズテーブルは、画質モード、F値、及び光学倍率の各値が定まると、対応するセルサイズが1つ定まるように構成される。
このようにセルサイズが各撮像パラメータごとに細かく設定された処理サイズテーブルを用いることで、レンズ部の挙動に合わせてセルサイズを細かく制御することが可能となる。これにより、観察像の画質等を高精度に制御することが可能となる。
また処理サイズテーブルに代えて、図14に示すコントラストマップを用いてセルサイズが制御されてもよい。例えば、処理サイズ制御部によりコントラストマップが参照される。処理サイズ制御部は、コントラストマップでの対象となる画質モードに対応する経路から、スペックルサイズに基づいてセルサイズを取得する。このような場合でもセルサイズは適正に制御され、所望の画質で観察像を生成することが可能である。
またオペレータ等により操作されるコンピュータと、ネットワーク等を介して通信可能な他のコンピュータとが連動することで、本技術に係る制御方法、及びプログラムが実行され、本技術に係る観察システムが構築されてもよい。
すなわち本技術に係る制御方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
コンピュータシステムによる本技術に係る制御方法、及びプログラムの実行は、例えば画像信号の取得、画素ブロックのサイズの制御、及びスペックルデータの算出等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
すなわち本技術に係る制御方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
なお、本技術は以下のような構成も採ることができる。
(1)レーザ光が照射されて撮像された生体組織の画像信号を取得する取得部と、
前記生体組織に対する撮像の撮像条件に基づいて、画素ブロックのサイズを制御するブロック制御部と、
前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータを算出する算出部と
を具備する制御装置。
(2)(1)に記載の制御装置であって、さらに、
前記スペックルデータに基づいて、前記生体組織の観察像を生成する生成部を具備する
制御装置。
(3)(2)に記載の制御装置であって、
前記スペックルデータは、スペックルコントラストを含み、
前記生成部は、前記スペックルコントラストに基づいて前記観察像を生成する
制御装置。
(4)(1)から(3)のうちいずれか1つに記載の制御装置であって、
前記撮像条件は、前記生体組織を撮像する撮像系のF値(絞り値)及び光学倍率の少なくとも1つに関する条件を含む
制御装置。
(5)(1)から(4)のうちいずれか1つに記載の制御装置であって、
前記ブロック制御部は、前記撮像条件に基づいてスペックルサイズを算出し、前記算出されたスペックルサイズに基づいて前記画素ブロックのサイズを制御する
制御装置。
(6)(2)から(5)のうちいずれか1つに記載の制御装置であって、さらに、
前記撮像条件と前記画素ブロックのサイズとが関連付けられた制御テーブルを記憶する記憶部を具備する
制御装置。
(7)(2)から(6)のうちいずれか1つに記載の制御装置であって、
前記ブロック制御部は、前記観察像の表示輝度に関する所定の表示パラメータが略一定に保たれるように前記画素ブロックのサイズを制御する
制御装置。
(8)(7)に記載の制御装置であって、さらに
前記観察像の画質に関する画質モードの選択を受け付けるモード受付部を具備し、
前記ブロック制御部は、前記選択された画質モードに応じて前記画素ブロックのサイズを制御する
制御装置。
(9)(8)に記載の制御装置であって、
前記モード受付部は、前記観察像の表示解像度に関する画質モードを受け付ける
制御装置。
(10)(9)に記載の制御装置であって、
前記モード受付部は、互いに異なる複数の画質モードの各々を受け付け、
前記ブロック制御部は、前記観察像の表示輝度に関する所定の表示パラメータが、前記複数の画質モードの各々に対して互いに異なる範囲で略一定に保たれるように前記画素ブロックのサイズを制御する
制御装置。
(11)(10)に記載の制御装置であって、
前記複数の画質モードは、前記観察像の表示輝度及び表示解像度のうち、前記表示輝度を優先する第1の画質モードと、前記表示解像度を優先する第2の画質モードとを含む
制御装置。
(12)(6)から(11)のうちいずれか1つに記載の制御装置であって、
前記記憶部は、前記撮像条件と、前記画素ブロックのサイズと、前記観察像の画質に関する画質モードとの対応関係を記憶した前記制御テーブルを記憶する
制御装置。
(13)(6)から(12)のうちいずれか1つに記載の制御装置であって、
前記制御テーブルは、所定の校正用対象物を用いて生成される
制御装置。
(14)(1)から(13)のうちいずれか1つに記載の制御装置であって、
前記ブロック制御部は、前記生体組織の撮像範囲における血管の太さに応じて、前記画素ブロックのサイズを制御する
制御装置。
(15)(1)から(14)のうちいずれか1つに記載の制御装置であって、
内視鏡又は顕微鏡として構成される
制御装置。
(16)レーザ光が照射されて撮像された生体組織の画像信号を取得し、
前記生体組織に対する撮像の撮像条件に基づいて、画素ブロックのサイズを制御し、
前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータを算出する
ことをコンピュータシステムが実行する制御方法。
(17)レーザ光が照射されて撮像された生体組織の画像信号を取得するステップと、
前記生体組織に対する撮像の撮像条件に基づいて、画素ブロックのサイズを制御するステップと、
前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータを算出するステップと
をコンピュータシステムに実行させるプログラム。
2…観察部位
11…レーザ光
20…カメラ
21…レンズ部
30…コントローラ
32…画像取得部
33…カメラ制御部
34…UI取得部
35…ブロック制御部
36…スペックル演算部
37…記憶部
38…処理サイズテーブル
40…予測されるスペックルサイズ算出部
41…処理サイズ制御部
42、42a~e…セル
50、50a~50d…スペックル画像
60、60a~h…スペックルコントラスト画像
62…コントラストマップ
71、71a~71c…血管
72…動脈瘤
100…観察システム

Claims (17)

  1. レーザ光が照射され生体組織を撮像した画像信号を取得する取得部と、
    前記生体組織に対する撮像の撮像条件に基づいて、前記取得された画像信号からスペックルデータを算出する処理範囲となる画素ブロックのサイズを制御するブロック制御部と、
    前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいた前記スペックルデータを算出する算出部と
    を具備する制御装置。
  2. 請求項1に記載の制御装置であって、さらに、
    前記スペックルデータに基づいて、前記生体組織の観察像を生成する生成部を具備する
    制御装置。
  3. 請求項2に記載の制御装置であって、
    前記スペックルデータは、スペックルコントラストを含み、
    前記生成部は、前記スペックルコントラストに基づいて前記観察像を生成する
    制御装置。
  4. 請求項1に記載の制御装置であって、
    前記撮像条件は、前記生体組織を撮像する撮像系のF値(絞り値)及び光学倍率の少なくとも1つに関する条件を含む
    制御装置。
  5. 請求項1に記載の制御装置であって、
    前記ブロック制御部は、前記撮像条件に基づいてスペックルサイズを算出し、前記算出されたスペックルサイズに基づいて前記画素ブロックのサイズを制御する
    制御装置。
  6. 請求項2に記載の制御装置であって、さらに、
    前記撮像条件と前記画素ブロックのサイズとが関連付けられた制御テーブルを記憶する記憶部を具備する
    制御装置。
  7. 請求項2に記載の制御装置であって、
    前記ブロック制御部は、前記観察像の表示輝度に関する所定の表示パラメータが略一定に保たれるように前記画素ブロックのサイズを制御する
    制御装置。
  8. 請求項7に記載の制御装置であって、さらに
    前記観察像の画質に関する画質モードの選択を受け付けるモード受付部を具備し、
    前記ブロック制御部は、前記選択された画質モードに応じて前記画素ブロックのサイズを制御する
    制御装置。
  9. 請求項8に記載の制御装置であって、
    前記モード受付部は、前記観察像の表示解像度に関する画質モードを受け付ける
    制御装置。
  10. 請求項9に記載の制御装置であって、
    前記モード受付部は、互いに異なる複数の画質モードの各々を受け付け、
    前記ブロック制御部は、前記観察像の表示輝度に関する所定の表示パラメータが、前記複数の画質モードの各々に対して互いに異なる範囲で略一定に保たれるように前記画素ブロックのサイズを制御する
    制御装置。
  11. 請求項10に記載の制御装置であって、
    前記複数の画質モードは、前記観察像の表示輝度及び表示解像度のうち、前記表示輝度を優先する第1の画質モードと、前記表示解像度を優先する第2の画質モードとを含む
    制御装置。
  12. 請求項6に記載の制御装置であって、
    前記記憶部は、前記撮像条件と、前記画素ブロックのサイズと、前記観察像の画質に関する画質モードとの対応関係を記憶した前記制御テーブルを記憶する
    制御装置。
  13. 請求項6に記載の制御装置であって、
    前記制御テーブルは、所定の校正用対象物を用いて生成される
    制御装置。
  14. 請求項1に記載の制御装置であって、
    前記ブロック制御部は、前記生体組織の撮像範囲における血管の太さに応じて、前記画素ブロックのサイズを制御する
    制御装置。
  15. 請求項1に記載の制御装置であって、
    内視鏡又は顕微鏡として構成される
    制御装置。
  16. レーザ光が照射され生体組織を撮像した画像信号を取得し、
    前記生体組織に対する撮像の撮像条件に基づいて、前記取得された画像信号からスペックルデータを算出する処理範囲となる画素ブロックのサイズを制御し、
    前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータを算出する
    ことをコンピュータシステムが実行する制御方法。
  17. レーザ光が照射され生体組織を撮像した画像信号を取得するステップと、
    前記生体組織に対する撮像の撮像条件に基づいて、前記取得された画像信号からスペックルデータを算出する処理範囲となる画素ブロックのサイズを制御するステップと、
    前記サイズが制御された前記画素ブロックを用いて、前記取得された画像信号に基づいたスペックルデータを算出するステップと
    をコンピュータシステムに実行させるプログラム。
JP2019519140A 2017-05-16 2018-04-18 制御装置、制御方法、及びプログラム Active JP7156275B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017097151 2017-05-16
JP2017097151 2017-05-16
PCT/JP2018/015959 WO2018211902A1 (ja) 2017-05-16 2018-04-18 制御装置、制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018211902A1 JPWO2018211902A1 (ja) 2020-03-19
JP7156275B2 true JP7156275B2 (ja) 2022-10-19

Family

ID=64273540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019519140A Active JP7156275B2 (ja) 2017-05-16 2018-04-18 制御装置、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US11050931B2 (ja)
JP (1) JP7156275B2 (ja)
WO (1) WO2018211902A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200257185A1 (en) * 2019-02-12 2020-08-13 The Regents Of The University Of California Motion stabilized laser speckle imaging
JP2020163037A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 医療システム、情報処理装置及び情報処理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009538210A (ja) 2006-05-24 2009-11-05 タリリアン レーザー テクノロジーズ,リミテッド 光学的バイタルサインの検出方法及び測定デバイス
JP2010117306A (ja) 2008-11-14 2010-05-27 Canon Inc 音響光学トモグラフィー測定装置および測定方法
JP2010532699A (ja) 2007-07-06 2010-10-14 インダストリアル リサーチ リミテッド レーザスペックル画像化システム及び方法
JP2012503996A (ja) 2008-09-30 2012-02-16 カール ツァイス メディテック アクチエンゲゼルシャフト 眼球運動、特に眼底の運動の測定装置および測定方法
US20120277559A1 (en) 2009-12-08 2012-11-01 Matthias Kohl-Bareis Apparatus for Measuring Blood Parameters
JP2015527096A (ja) 2012-06-13 2015-09-17 コーニンクレッカ フィリップス エヌ ヴェ 表面波の伝播速度の決定
JP2016005525A (ja) 2014-05-30 2016-01-14 ソニー株式会社 流体分析装置、流体分析方法、プログラム及び流体分析システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02268725A (ja) * 1989-04-10 1990-11-02 Kowa Co 眼科測定方法及び装置
EP0392744B1 (en) 1989-04-10 1995-03-01 Kowa Company Ltd. Ophthalmological measurement method and apparatus
JP2000193896A (ja) * 1998-12-28 2000-07-14 Asahi Optical Co Ltd 内視鏡の光量制御装置
US20080071180A1 (en) 2006-05-24 2008-03-20 Tarilian Laser Technologies, Limited Vital Sign Detection Method and Measurement Device
DE102008049881A1 (de) 2008-09-30 2010-04-01 Carl Zeiss Meditec Ag Anordnung und Verfahren zur Messung einer Augenbewegung, insbesondere einer Bewegung des Augenhintergrunds
DE102008049846A1 (de) 2008-09-30 2010-04-01 Carl Zeiss Meditec Ag Anordnung und Verfahren zur schnellen Messung einer Augenbewegung
KR101069255B1 (ko) * 2009-09-07 2011-10-04 숭실대학교산학협력단 대조비를 이용한 레이저 스펙클 이미지의 영상처리 방법 및 장치
US11206990B2 (en) 2013-01-23 2021-12-28 Pedra Technology Pte Ltd Deep tissue flowmetry using diffuse speckle contrast analysis
JP6581730B2 (ja) * 2016-08-31 2019-09-25 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009538210A (ja) 2006-05-24 2009-11-05 タリリアン レーザー テクノロジーズ,リミテッド 光学的バイタルサインの検出方法及び測定デバイス
JP2010532699A (ja) 2007-07-06 2010-10-14 インダストリアル リサーチ リミテッド レーザスペックル画像化システム及び方法
JP2012503996A (ja) 2008-09-30 2012-02-16 カール ツァイス メディテック アクチエンゲゼルシャフト 眼球運動、特に眼底の運動の測定装置および測定方法
JP2010117306A (ja) 2008-11-14 2010-05-27 Canon Inc 音響光学トモグラフィー測定装置および測定方法
US20120277559A1 (en) 2009-12-08 2012-11-01 Matthias Kohl-Bareis Apparatus for Measuring Blood Parameters
JP2015527096A (ja) 2012-06-13 2015-09-17 コーニンクレッカ フィリップス エヌ ヴェ 表面波の伝播速度の決定
JP2016005525A (ja) 2014-05-30 2016-01-14 ソニー株式会社 流体分析装置、流体分析方法、プログラム及び流体分析システム

Also Published As

Publication number Publication date
US11050931B2 (en) 2021-06-29
US20200112673A1 (en) 2020-04-09
WO2018211902A1 (ja) 2018-11-22
JPWO2018211902A1 (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
JP6850225B2 (ja) 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
JP6948311B2 (ja) 全視野干渉顕微鏡撮像方法およびシステム
JP5371638B2 (ja) 眼科撮影装置及びその方法
JP5090188B2 (ja) 顕微鏡装置
US10980416B2 (en) Blood flow measurement apparatus
US11426052B2 (en) Endoscopic system
JP5738564B2 (ja) 画像処理システム
JP4077754B2 (ja) 3次元形状測定装置
JP7156275B2 (ja) 制御装置、制御方法、及びプログラム
US20160157736A1 (en) System and Methods for Assessment of Relative Fluid Flow Using Laser Speckle Imaging
TW201133053A (en) Focusing device, focusing method, focusing program and microscope
WO2017163542A1 (ja) 画像解析装置、画像解析方法
US11163144B2 (en) Focusing of optical devices
WO2018211982A1 (ja) 画像処理装置および方法、並びに画像処理システム
US11179218B2 (en) Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
US20240037721A1 (en) Systems and methods for emulating far-range lighting for an operational scene illuminated by close-range light
US10481378B2 (en) Interactive graphical representation of image quality and control thereof
WO2018061429A1 (ja) 撮影画像評価装置および方法並びにプログラム
JP6499506B2 (ja) 撮像装置および方法並びに撮像制御プログラム
KR20230164104A (ko) 합성 다중 노출 스페클 영상화(syMESI) 방법 및 시스템
JP6771968B2 (ja) 情報取得装置、撮影装置及び情報取得方法
WO2022202051A1 (ja) 生体観察システム、生体観察方法、及び照射装置
US20220375089A1 (en) Endoscope apparatus, information processing method, and storage medium
US20230058111A1 (en) Systems and methods for providing live sample monitoring information with parallel imaging systems
JP2017202267A (ja) 情報取得装置、撮影装置及び情報取得方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220516

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220919

R151 Written notification of patent or utility model registration

Ref document number: 7156275

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151