JPWO2018211982A1 - 画像処理装置および方法、並びに画像処理システム - Google Patents

画像処理装置および方法、並びに画像処理システム Download PDF

Info

Publication number
JPWO2018211982A1
JPWO2018211982A1 JP2019519172A JP2019519172A JPWO2018211982A1 JP WO2018211982 A1 JPWO2018211982 A1 JP WO2018211982A1 JP 2019519172 A JP2019519172 A JP 2019519172A JP 2019519172 A JP2019519172 A JP 2019519172A JP WO2018211982 A1 JPWO2018211982 A1 JP WO2018211982A1
Authority
JP
Japan
Prior art keywords
image
processing
speckle
image processing
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2019519172A
Other languages
English (en)
Inventor
藤田　五郎
五郎 藤田
哲朗 桑山
哲朗 桑山
一木　洋
洋 一木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018211982A1 publication Critical patent/JPWO2018211982A1/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Abstract

本開示は、精度の高い観察を行うことができるようにする画像処理装置および方法、並びに画像処理システムに関する。フレーム内演算部は、画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行う。高精度演算部は、画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オフライン処理で、スペックルの画像処理を行う。本開示は、例えば、スペックルイメージング装置を含む画像処理システムに適用することができる。

Description

本開示は、画像処理装置および方法、並びに画像処理システムに関し、特に、精度の高い観察が可能となるようにした画像処理装置および方法、並びに画像処理システムに関する。
レーザ光を照射して生ずるスペックルを利用して、カメラ光学系などにより血流を観察する技術がある。特許文献１においては、スペックルのコントラスト演算処理として、時間依存の強度変化を利用する方法が、空間解像度が優れ、空間領域の分散を測定する方法が、時間応答に優れるとしており、目的に応じて手法を選択することが記載されている。
特表２０１６−５３３８１４号公報
しかしながら、特許文献１においては、スペックルのコントラスト演算処理をオンラインとオフラインに使い分けることについては記載されていない。
本開示は、このような状況に鑑みてなされたものであり、精度の高い観察が可能となるようにするものである。
本技術の一側面の画像処理装置は、画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行うか、前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかを制御する制御部を備える。
前記撮像画像が、画像の出力フレームレートと等しいサンプリングレートで取得された場合、前記制御部は、フレーム内で完結するスペックルの画像処理を前記オンライン処理で行い、フレーム間処理を要するスペックルの画像処理を前記オフライン処理で行うことができる。
前記撮像画像が、画像の出力フレームレートと等しいサンプリングレートで取得された場合、前記制御部は、該当フレーム前の複数フレームの情報により、前フレームと置換することで、フレーム間処理を要するスペックルの画像処理を前記オンライン処理で行うことができる。
前記撮像画像が、画像の出力フレームレートよりも高いサンプリングレートで取得された場合、前記制御部は、サンプリングフレーム内で完結するスペックルの画像処理に加え、前記出力フレーム内の複数のサンプルフレーム画像間の画像処理を前記出力フレームレート内で前記オンライン処理で行い、メモリに蓄積された前記撮像画像に対して、前記出力フレームレート内で収まらない演算処理を前記オフライン処理で行うことができる。
前記制御部は、前記撮像画像の前記メモリへの書き出しおよび前記オフライン処理での演算処理を、前記オンライン処理でのスペックルの画像処理と並列に行うことができる。
前記制御部は、前記撮像画像の前記メモリへの書き出しおよび前記オフライン処理での演算処理を、前記オンライン処理でのスペックルの画像処理の一定時間後に行うことができる。
前記フレーム間処理は、画像全体のスペックルコントラストが低下するフレームを除外し、前後フレームから補完または出力フレーム内の他の画像の平均化により最適なスペックルコントラストを出力する処理である。
前記フレーム間処理は、前記出力フレームレート内のサンプルフレームに対して複数の露光時間を設定し、予め設定されている露光時間毎の流速とコントラスト値の関係式より、露光時間毎のコントラスト値から流速を算出し、最も確からしい流速を演算し、画像に反映する処理である。
前記フレーム間処理は、異なる撮像画像により流体部分のサイズを検出し、検出されたサイズに応じた解像度になるように演算セルサイズを最適化する処理である。
前記フレーム間処理は、スペックルの時間方向の情報を用いた演算手法であるLSPI（Laser speckle perfusion imaging）、LSFG(Laser speckle flowgraphy)、またはFDLSI(Frequency domain laser speckle imaging)を含む処理である。
前記オンライン処理で画像処理が行われたスペックルの画像および前記オフライン処理で画像処理が行われたスペックルの画像のどちらか一方の表示を切り替える切り替え部をさらに備えることができる。
本技術の一側面の画像処理方法は、画像処理装置が、画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行うか、前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかを制御する。
本技術の他の側面の画像処理システムは、被写体の表面にレーザ光を照射する光源と、画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、前記光源からのレーザ光を照射して生ずるスペックルの画像処理を行うか、前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかを制御する制御部を備える画像処理装置とを有する。
本技術の一側面においては、画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行うか、前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかが制御される。
本技術の他の側面においては、光源により、被写体の表面にレーザ光が照射される。そして、画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、前記光源からのレーザ光を照射して生ずるスペックルの画像処理を行うか、前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかが制御される。
本技術によれば、画像を処理することができる。特に、精度の高い観察を行うことができる。
スペックルイメージングの原理を説明する図である。 スペックルイメージングの原理を説明する図である。 スペックルイメージングの原理を説明する図である。 本技術を適用した画像処理システムの基本的な構成例を示すブロック図である。 二次元画像の輝度イメージ像の例を示す図である。 スペックルコントラスト像の例を示す図である。 スペックルの識別性に対する処理を説明する図である。 ユーザIFの例を示す図である。 スペックルの振動の影響について説明する図である。 スペックル画像の流速判別について説明する図である。 スペックル画像の流速判別に関するグラフを示す図である。 スペックル画像の流速判別処理を説明するフローチャートである。 本技術を適用した画像処理システムの第１の構成例を示すブロック図である。 本技術を適用した画像処理システムの第２の構成例を示すブロック図である。 図１３のスペックルイメージング装置の動作例について説明する図である。 オンライン処理で、振動に対する処理を行う動作例について説明する図である。 本技術を適用した画像処理システムの第３の構成例を示すブロック図である。 図１７のスペックルイメージング装置の動作例について説明する図である。 露光制御を加えた動作例について説明する図である。 基本処理の最後に追加される閾値処理について説明する図である。 基本処理の最後に追加される閾値処理について説明する図である。 コンピュータの主な構成例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０．概要
１．実施の形態
２．コンピュータ
＜０．概要＞
＜本技術の概要＞
本技術の説明は、主に脳外科手術において血流観察を必要とする方法で説明をするが、診療科を特に限定するわけではなく、外科手術において血流、さらにリンパを含む体液の流れを観察するのに有効な技術または装置を対象としている。
脳外科手術において、スペックルイメージングは、血流の観察に用いることが研究されている。脳動脈瘤クリッピング術は、動脈瘤が脳のしわの間に埋まっているため、このしわを丁寧に剥離して、クリップをかけ破裂を予防する手術である。手術において、クリップで動脈瘤の根元の部分を閉塞すると動脈瘤を完全に血流が通わない状態にすることができる。その際、クリッピング部の完全閉塞の確認が必要であり、スペックルイメージングを用いることで、（効果１）として、クリッピングにより血流を止められたか観察しながら手術ができるとともに、（効果２）として、最後に完全閉塞の確認を行い、クリッピングを完了することができる。
一方、血管バイパス術では、巨大脳動脈瘤とは最大径25mm以上のものを指し、その治療は、開頭手術が主体になるが、動脈瘤自体にクリップをかけることが困難な場合が多く、その場合には、動脈瘤が発生している動脈自体を手前で止めて、代わりにバイパスを作成するという治療法が行われている。その際も、作成したバイパス部の血流の確認が必要になる。
血流の観察における画像の処理に関して、（効果１）のようなケースは、観察結果をその場でフィードバックするため、遅れのないリアルタイムのオンライン処理が望ましい。正確には、人が違和感なく操作できる標準的なリフレッシュレート内の処理が望ましい。
一方、（効果２）のようなケースは、術中に一旦手を止め完全閉塞の確認に入るため、リアルタイム性は必要なく、流れの観察をより精度よく行うためには、オフライン処理のほうが適している。また、この画像は、術後の解析に用いる場合も有用である。
次に後述する（具体例１）または（具体例２）ともに術中にオンライン処理とオフライン処理を任意に切り替えることができると、術者が逐次目的にあった情報を得ることができるため、手術精度の向上に寄与することができる。
まず、（具体例１）として、「術者が手術顕微鏡のビューファインダ上で観察しながら施術し、同じ視野像を顕微鏡内で分岐した光路に置かれたカメラにより、術場のモニタに表示する」場合で説明する。
脳外科手術における血流観察は、ICG(Indocyanine Green)がよく用いられる。ICGの場合はモニタにRGBカメラ像に加えてIR光カメラの蛍光像をモニタに映し、血流観察する。またビューファインダの像に蛍光像をオーバレイする装置もある。
そこで、本技術の場合にクリッピング術のケースで考えると、術中に手を止めて完全閉塞を術場のモニタで確認する場合は、リアルタイム性より流速を反映した精度のよい画像が有用となり、オフライン処理が適している。また、術野のビューファインダ内にスペックル像をオーバレイする場合は、表示遅れのないリアルタイムのオンライン処理により、スペックル画像を表示、あるいは、RGB画像にオーバレイする方が望ましい。
次に、（具体例２）として、「術者がビデオ顕微鏡で術野モニタを観察しながら施術し、大型モニタを併設して、助手の確認や術中の確認をする」場合で説明する。
血流観察は、RGBカメラ像に加えてIR光カメラの蛍光像を並列して術場の併設モニタに映し血流観察する。やはり術野のRGBモニタにIR像をオーバレイする場合も考えられる。
そこで、本技術の場合もクリッピング術のケースでは、術中に手を止めて完全閉塞を術野あるいは併設モニタで確認する場合は、リアルタイム性よりは流速を反映した精度のよい画像が必要となり、むしろフレーム間処理のしやすいオフライン処理が適している。また、術中に術野モニタでスペックル像をオーバレイするような場合は、表示遅れのないリアルタイムのオンライン処理が望ましい。
以上により、本技術においては、術野モニタあるいは術場のモニタの画像をオンライン処理したものにするかオフライン処理したものにするかは、手技に合わせて医師が任意に選択できると医学有用性が向上すると期待できる。
＜スペックルイメージングの原理＞
図１乃至図３は、本技術に用いられるスペックルイメージングの原理を説明する図である。
図１に示されるように、光源１１は、レーザ光のようなコヒーレント光１２を被写体面１３に照射する。コヒーレント光１２は被写体面１３に当たって反射し、その反射光はレンズ１４により結像し、ランダムな干渉縞１５を生じる。
ランダムな干渉縞（干渉パターン）１５は、観察することができる。ランダムな干渉縞１５においては、図２に示されるように、オブジェクトの速度V=0であれば、干渉縞の明暗のコントラストが高く、速度が普通であれば、同コントラストは中庸であり、速度が高速であれば、同コントラストが低い。すなわち、ランダムな干渉縞１５は、速度が速くなるに連れて、ぼやけるようになる。
以上のように、血流など動きがあるところはコントラストが低く、動きがあるところ以外は、ランダムな干渉パターン（スペックルパターンと称する）となるため、動きがある部分が、動きのない部分とは異なって見える。この干渉縞１５の明暗を、スペックルコントラストと呼ぶ。
図３には、スペックルコントラストの定義が示されている。ｎ行×ｎ列の画素が計算セルであり、その中のI番目のピクセルについてのスペックルコントラストは、次の式（１）で表される。
Figure 2018211982
 標準偏差は、画像の小さな領域における明暗の分布の広がりを表す。
＜スペックル演算原理＞
次に、スペックル演算原理について説明する。
スペックル演算には、LASCA(LaserSpectrumContrustAnalysis)と呼ばれる空間コントラスト演算と、LSI(LaserSpckleImaging)と呼ばれる時間コントラスト演算がある。
空間コントラスト演算は、計算セルがｍ行×ｎ列であるとき、
Ｓpeckle Contrast = σ(Im,n)/Ave(Im,n)
で表され、フレーム内で完結する処理である。また、空間コントラスト演算は、時間軸分解能が高く、m×nを増やすと、コントラストが増加するが、空間分解能は低下する。また、演算負荷として、メモリ量は少ない。したがって、空間コントラスト演算は、高速（オンライン処理）向きである。
一方、時間コントラスト演算は、時刻T=iのとき、
Ｓpeckle Contrast = σ(Ii)/Ave(Ii)
で表され、複数フレームの処理が必要である。また、時間コントラスト演算は、空間分解能が高く、速度検出が可能であるが、時間軸分解能が低く、また、複数のフレームメモリにより演算負荷が大きい。したがって、時間コントラスト演算は、高精度演算（オフライン処理）向きである。
さらに、空間コントラスト演算と時間コントラスト演算を組み合わせた手法がいくつか研究されている。例えば、LSPI（Laser speckle perfusion imaging）は、時間と空間の情報を用い、LASCAとLSIの方法を組み合わせた方法である。また、LSFG(Laser speckle flowgraphy)は、時間と空間の情報を用い、LASCAとLSIの方法を組み合わせた方法である。FDLSI(Frequency domain laser speckle imaging)は、動いている物体の統計的特性を散乱光の自己相関によって得る方法である。
なお、これらの方法は、何れも複数フレームの処理が必要であるので、高精度演算（オフライン処理）向きである。
ここで、術中の観察しながら手術に反映するリアルタイム性の高い観察は、オンライン処理がよい。これはフレーム内で完結する空間コントラスト演算(LASCA)が適している。
術中に一旦作業を中止して行う血流の閉塞診断のようなリアルタイム性よりも流速や解像度に関する精度が必要な場合は、フレーム間処理によるオフライン処理が有用となる。
フレーム間処理にはスペックル演算の原理的に異なる方式も有効だが、その他、様々な画像処理も適用できる。
オンラインでフレーム間処理を行う手法としては、観察用ディスプレイ出力のリフレッシュレートより高いサンプルレートで画像を取得し、フレーム間処理をディスプレイ出力フレーム内で完結する技術が提案できる。
本技術においては、術中の観察品質を上げるためにオンライン/オフラインの観察にフレーム間処理を効率よく盛り込み、使用者が適宜適切な処理法を選択できるようにすることができる。
ちなみにディスプレイ出力は、人間工学的には60Hz程度で十分であるのに対して、昨今のイメージセンサはより高いサンプリングレート（120Hz〜）に対応したものが出ており、今後のセンサの進化も考えると本技術の実現性は高いと言える。
＜１．実施の形態＞
＜画像処理システムの基本的な構成例＞
図４は、本技術を適用した画像処理装置としてのスペックルイメージング装置を含む画像処理システムの基本的な構成例を示すブロック図である。
図４の例において、画像処理システムは、光源５１、並びに、フィルタ５３、カメラ５４、CCU５５、および表示部５６を含むスペックルイメージング装置５０からなる。
光源５１は、例えば、狭帯域IR光源であり、レーザ光（コヒーレント光）を、被写体面５２に照射する。なお、コヒーレント光を照射するものであれば、どんな光源でもよい。カメラ５４は、例えば、CMOS,CCD,イメージャなどからなる。カメラ５４は、フィルタ５３を介して被写体面５２を撮像し、撮像した結果の画像をCCU５５に供給する。
CCU５５は、画像取得部６１、スペックル変換部６２、および画像出力部６３により構成されている。画像取得部６１は、カメラ５４からの画像を入力し、スペックル変換部６２に供給する。スペックル変換部６２は、画像取得部６１により入力された画像に対してスペックル変換を行い、スペックル変換後の画像を、画像出力部６３に出力する。画像出力部６３は、スペックル変換後の画像を、表示部５６に表示させる。
＜スペックル変換＞
次に、スペックル変換部６２におけるスペックル変換について説明する。カメラ５４により取得される二次元画像は、例えば、あるHD解像度センサの場合、w1920×h1080×d12(輝度)であり、二次元画像は、図５の各輝度イメージ像７１からなり、輝度イメージ像７１においては、血管における血流が示されており、右から上に血流が流れ、右から下への血流が止められている。なお、中央下部に示されている血管上の白いものは、血管を抑えるクリッピング用の鉗子である。
二次元画像を、スペックル変換（例えば、Ave(I0,0+I0,1・・I3,2)→Sqrt(Σ[(Im,n)-Ave]^2)→σ／AVE)すると、変換後は、HD解像度の場合1920-(m-1)/2×1080-(n-1)/2のスペックルコントラスト像７２となる。
次に、スペックルの観察品質をあげるための本技術について以下の３項目について説明する。これらのうち、（１）および（３）は、フレーム内処理が望ましく、（２）についてはフレーム間処理が望ましい。
（１）スペックルの識別性
（２）スペックルの振動の影響
（３）スペックル画像の流速判別
＜スペックルの識別性について＞
まず、スペックルの識別性について説明する。
観察対象の流体が白色雑音に近いのに対して、背景の固定部分のスペックルコントラストが大きい。そのため、スペックルの定義どおりに輝度に変換した画像は、図６に示されるように背景が明るくギラツキが残り、流体（血流部分）が暗く、ハイライトされない。
そこで、本技術については、図７のＡに示されるように、スペックルコントラスト像７２に対して、輝度の反転処理を行い、血流部分を見やすくするため、ハイライト（モノクロ）表示する。図７のＢの画像８１は、反転処理後のハイライト（モノクロ）表示画像である。また、反転処理に加えて、ハイライト（色相）表示するようにしてもよい。
表示後、さらに、閾値処理を行い、背景部分を閾値処理でマスクすると、図７のＣの画像８２に示されるように、血流部分を観察しやすくなる。画像８２は、反転処理後のハイライト（モノクロ）表示後の閾値処理画像である。
なお、図７を参照して上述した処理の制御要素のオフセット(Offset)、ゲイン(Gain)、閾値(HueやCell（サイズ）)は、図８に示されるように、例えば、画像９１とともに表示部に表示されるユーザIF（インタフェース）１０１から、オンラインでユーザが変更できてもよいし、画像から最適化してもよい。その際に閾値検出した流体部分のサイズからスペックル変換のセルサイズを決めてもよい。図８における画像９１は、反転処理後のハイライト（色相）表示画像である。例えば、血流部分のコントラストの低い部分が赤、固定部が青にされる。なお、画像９１についても表示後、さらに閾値処理を行い、背景部分を閾値処理でマスクすることも可能である。
＜スペックルの振動について＞
次に、図９を参照して、スペックルの振動の影響について説明する。観察対象あるいは撮像系が振動すると相対的にオブジェクトに速度が発生するためスペックルの明暗が低下する。
図９の例においては、スペックルの振動がない場合のスペックル演算反転後画像１１２が示されている。また、スペックルの振動がある場合のスペックル演算反転後画像１２２が示されている。
これらのスペックル演算反転後画像１１２およびスペックル演算反転後画像１２２に示されるように、血管を抑えるクリッピング用の鉗子の振動の影響によりオブジェクトが移動し、血流以外の部分もコントラストが低下するため、振動がある場合の血流部分の見分けが困難になる。移動の影響は画素単位でも起きるため、スペックルは振動に対する感度が高いと言える。一方、変換前のIR画像やRGB画像は、画素単位の変化を識別することが難しい。
そこで、本技術においては、各フレームの全体輝度を算出し、前後フレームと比較して著しく全体輝度の高いフレームを除く。そして、処理後に、例えば、前後のフレームからの補完を行う。ここで、スペックルコントラストは振幅を反転しているため、振動の影響でコントラストが低下し、輝度が上がる。
例えば、t0乃至t4の入力画像１３１−０乃至１３１−４に対してスペックル変換が行われ、変換画像１３２−０乃至１３２−４が生成される。変換画像１３２−０乃至１３２−４のピクセル輝度平均は、それぞれ、27.1、23.4、39.1、29.9、30.7であり、変換画像１３２−０乃至１３２−４の５フレーム平均との比は、それぞれ、0.90、0.78、1.30、0.99、1.02である。したがって、変換画像１３２−２の輝度が著しく高いと判定され、除かれた後に、前後フレームから補完される。すなわち、処理後画像１３３−０、１３３−１、１３３−３、１３３−４は、変換後画像１３２−０、１３２−１、１３２−３、１３２−４に相当するが、処理後画像１３３−２は、処理後画像１３３−１および１３３−４から補完されて生成されたものである。なお、処理後画像１３３−２は、補完ではなく、複数画像を平均化した画像であってもよい。
＜スペックル画像の流速判別＞
さらに、図１０を参照して、スペックル画像の流速判別について説明する。
スペックルコントラスト（以下、単にコントラストとも称する）により血流の速度を反映した像を得ることは可能である。図１０のグラフは、散乱体の動きの速度(mm/s)、露光時間を変化させて散乱体でスペックルコントラストを実測した結果を表している。図１０のグラフより、露光条件により速度とコントラストの関係が線形な領域または検出感度（傾き）の高い領域が異なることがわかる。
同じ観察ピクセルに３値の異なる露光時間Tを与えると、それぞれの露光時間毎のスペックルコントラストＣが得られる。予め露光時間毎の流速とコントラストの関係（CV曲線）がわかっていると、露光時間毎に予想流速Ｖが得られる。
図１１の例においては、Ａのピクセルに露光時間T1,T2,T3を与えて、コントラストCA1,CA2,CA3、血流速度VA1,VA2,VA3が得られ、Ｂのピクセルに露光時間T1,T2,T3を与えて、コントラストCB1,CB2,CB3、血流速度VB1,VB2,VB3が得られるグラフが示されている。図１１のグラフにおいて、測定可能な範囲Cppから外れているのは、コントラストCA2,CB1であることがわかる。
得られた３値の速度を基に、以下のように、最も確からしい流速が演算される。つまり、露光条件が１つの場合は速度が正しく検出できる線形な範囲が限られるのに対して、より精度の高い情報を得ることができる。
例えば、露光時間毎のコントラスト値が測定可能な範囲を外れた値は除外する。また、例えば、露光時間毎のコントラスト値よりスペックルコントラスト／速度感度の重心平均を取る。さらに、流体部と固定部で演算に用いられるCV曲線を変える。または、固定部は演算から除く、などの演算方法が用いられる。
具体的には、図１１のグラフを例として、図１２に示されるような流速判別処理が行われる。図１２の流速判別処理は、例えば、図４のスペックル変換部６２を用いて説明するが、実際には、後述する図１３のフレーム内演算部１６２などにより実行される処理である。
ステップＳ１１において、スペックル変換部６２は、スペックルコントラストCA1,CA2,CA3を取得する。ステップＳ１２において、スペックル変換部６２は、スペックルコントラストCA1,CA2,CA3が順次測定可能な範囲Cpp内であるか否かを判定する。ステップＳ１２において、測定可能な範囲Cpp内ではないと判定された場合、処理は、ステップＳ１３に進む。
ステップＳ１３において、スペックル変換部６２は、測定可能な範囲Cpp外のコントラストを除外する。ステップＳ１４において、スペックル変換部６２は、スペックルコントラストCA1,CA2,CA3すべてのCpp判定が終ったか否かを判定する。ステップＳ１４において、まだCpp判定が終っていないと判定された場合、処理は、ステップＳ１２に進む。ステップＳ１４において、もうCpp判定処理が全て終ったと判定された場合、処理は、ステップＳ１５に進む。
ステップＳ１２において、スペックルコントラストCA1,CA2,CA3が１つでも測定可能な範囲Cpp内であると判定された場合、処理は、ステップＳ１５に進む。
ステップＳ１５において、スペックル変換部６２は、測定可能な範囲Cpp内のコントラストが複数あるか否かを判定する。ステップＳ１５において、測定可能な範囲Cpp内のコントラストが複数あると判定された場合、処理は、ステップＳ１６に進む。ステップＳ１６において、スペックル変換部６２は、コントラストCA1,CA2,CA3から測定可能な範囲Cppのコントラストに対してT1,T2,T3の平均化処理を行う。スペックル変換部６２は、その平均値を最も確からしい流速とし、流速判別処理を終了する。
ステップＳ１５において、測定可能な範囲Cpp内のコントラストが複数ない、すなわち、１つだけであると判定された場合、スペックル変換部６２は、測定可能な範囲Cpp内のコントラストから速度を算出し、最も確からしい流速とし、流速判別処理を終了する。
以上の図７乃至図１２を参照して上述したスペックルの識別性に対する処理、スペックルの振動に対する処理、スペックル画像の流速判別処理を行うスペックルイメージング装置を含む画像処理システムについて、以下、具体的に説明する。
＜本技術の画像処理システムの第１の構成例＞
図１３は、本技術を適用した画像処理装置としてのスペックルイメージング装置を含む画像処理システムの第１の構成例を示すブロック図である。なお、図１３の例において、被写体面５２とフィルタ５３の図示は省略されている。
図１３の画像処理システムは、図４で上述した光源５１、並びに、カメラ５４、CCU５５、表示部５６に加えて、PC(パーソナルコンピュータ)１５１、表示部１５２、およびユーザIF１５３を含むスペックルイメージング装置５０からなる。
なお、以降のスペックルイメージング装置５０は、画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行い、撮像画像に対して、オフライン処理で、スペックルの画像処理を行う装置である。図１３のスペックルイメージング装置５０は、その中でも、画像出力のフレームレートと等しいサンプリングレートでカメラ画像を取得する装置である。
図１３の例において、CCU５５は、画像取得部６１、および画像出力部６３を備える点が、図４の例と共通している。図１３のCCU５５は、タイミング制御部１６１が追加された点と、スペックル変換部６２が、フレーム内演算部１６２に入れ替わった点とが図４の例と異なっている。CCU５５は、画像の出力フレームレートとサンプリングレートの関係性（図１３の場合、画像出力のフレームレートと等しいサンプリングレート）に応じて、撮像画像に対して、オンライン処理で、スペックルの画像処理を行う。
すなわち、図１３の例において、画像取得部６１は、カメラ５４からの画像を、フレーム内演算部１６２と、PC１５１のHDD１７１に供給する。タイミング制御部１６１は、カメラ５４の露光時間を制御する。フレーム内演算部１６２は、スペックル変換処理のうち、フレーム内で完結するフレーム内に関する演算を行う。画像出力部６３は、スペックル変換後の画像を、表示部５６に表示させるか、画像選択部１７３に供給する。表示部５６は、オンラインモニタやビューファインダのオーバレイ用の顕微鏡で構成される。
PC１５１は、画像の出力フレームレートとサンプリングレートの関係性（図１３の場合、画像出力のフレームレートと等しいサンプリングレート）に応じて、撮像画像に対して、オフライン処理で、スペックルの画像処理を行う。
PC１５１は、HDD(SSD)１７１、高精度演算部１７２、および画像選択部１７３を含むように構成されている。HDD１７１は、画像取得部６１からの画像を一旦蓄積する。高精度演算部１７２は、スペックル変換処理のうち、フレーム間処理を要するフレーム間に関する演算を行う。画像選択部１７３は、ユーザＩＦ１５３からの制御信号に応じて、画像出力部６３からの画像または高精度演算部１７２からの画像を選択して、選択した画像を、表示部１５２に表示させる。
表示部１５２は、モニタで構成される。ユーザIF１５３は、マウスやタッチパネル、キーボードなどで構成され、ユーザの操作に対応した制御信号を、画像選択部１７３に供給する。
なお、図１３のスペックルイメージング装置５０は、オフライン処理をCCU５５の外で行う構成であるが、例えば、図１４に示されるように、オフライン処理をCCU５５内で行う構成することもできる。
＜本技術の画像処理システムの第２の構成例＞
図１４は、本技術を適用した画像処理装置としてのスペックルイメージング装置を含む画像処理システムの第２の構成例を示すブロック図である。なお、図１４の例において、被写体面５２とフィルタ５３の図示は省略されている。
画像処理システムは、図４で上述した光源５１、並びに、カメラ５４、CCU５５、表示部５６、図１３のユーザＩＦ１５３を含むスペックルイメージング装置５０からなる。
図１４の例において、CCU５５は、画像出力部６３を備える点が、図４の例と共通である。図１４の例において、CCU５５は、オンライン処理用のFPGA２０１、オフライン処理用のFPGA２０２、画像メモリ２０３、セレクタ２０４が追加された点と、画像取得部６１、スペックル変換部６２が除かれた点とが図４の例と異なっている。CCU５５は、画像の出力フレームレートとサンプリングレートの関係性（図１４の場合も、画像出力のフレームレートと等しいサンプリングレート）に応じて、撮像画像に対して、オンライン処理で、スペックルの画像処理を行う。
すなわち、図１４の例において、FPGA２０１は、図１３においてCCU５５に備えられていた画像取得部６１、タイミング制御部１６１、およびフレーム内演算部１６２を有している。画像取得部６１は、カメラ５４からの画像を、フレーム内演算部１６２と画像メモリ２０３に供給する。フレーム内演算部１６２は、演算後の画像をセレクタ２０４に出力する。
FPGA２０２は、画像メモリ２０３に蓄積された画像に対して、スペックル変換処理のうち、フレーム間に関する演算を行うフレーム間演算部２１２を備えている。すなわち、図１５のフレーム間演算部２１２は、図１４の高精度演算部１７２と基本的に同様の処理を行う。画像メモリ２０３は、画像取得部６１からの画像を一旦蓄積する。フレーム間演算部２１２は、フレーム間に関する演算を行い、演算結果の画像を、セレクタ２０４に供給する。
セレクタ２０４は、ユーザIF１５３からの制御信号に応じて、フレーム内演算部１６２からの画像または画像メモリ２０３からの画像を選択して、選択された画像を画像出力部６３に供給する。ユーザIF１５３は、マウスやタッチパネル、キーボードなどで構成され、ユーザの操作に対応した制御信号を、セレクタ２０４に供給する。
＜スペックルイメージング装置の動作例＞
次に、図１５のタイミングチャートを参照して、図１３のスペックルイメージング装置の動作例について説明する。図１３のスペックルイメージング装置５０においては、図１６に示されるように、サンプルフレーム周期＝出力フレーム周期で処理が行われる。
カメラ５４は、タイミング制御部１６１からの露光時間分、露光することで撮像し、撮像された画像の画素を、CCU５５に転送する。CCU５５においては、画像取得部６１を介して、フレーム内演算部１６２により基本処理が行われ、画像出力部６３により処理後の画像が、外部メモリ（例えば、HDD(SSD)１７１）に転送されるとともに、出力フレームとして表示部５６に表示される。出力フレームが表示部５６に表示されている途中、カメラ５４による露光と、画素転送が行われ、CCU５５においては、基本処理が行われ、次のフレームの画像が、外部メモリへ転送されるとともに、出力フレームとして表示部５６に表示される。
以上がオンライン処理であり、例えば、基本処理として、上述した図７のスペックルの識別性に対する処理や図１２のスペックル画像の流速判別処理が行われる。
一方、外部メモリへ転送された画像は、外部メモリ（例えば、HDD(SSD)１７１）に転送され、高精度演算部１７２により、例えば、スペックル変換処理のうち、オフライン処理として、上述したスペックルの振動に対する処理、図１２のスペックル画像の流速判別処理、その他のフレーム間に関する演算が行われる。なお、外部メモリから読み出される以降のこれらのオフライン処理は、上述したオンライン処理と並行して行われてもよいし、一定時間経過後に開始されるようにしてもよい。以降のオフライン処理についても同様である。
なお、振動に対する処理は、次に、図１６のタイミングチャートを参照して、オンライン処理で、上述した図９の振動に対する処理を行う動作例について説明する。図１６においても、サンプルフレーム周期＝出力フレーム周期で処理が行われる例が示されている。
カメラ５４は、タイミング制御部１６１からの露光時間分、露光することで撮像し、撮像された画像の画素を、CCU５５に転送する。CCU５５においては、画像取得部６１を介して、フレーム内演算部１６２により基本処理、輝度演算、判定処理が行われ、判定処理結果に応じて、処理後の現在のフレームまたは前フレームの画像が、画像出力部６３により出力され、出力フレームとして表示部５６に表示される。
なお、この判定処理においては、演算した輝度値が前のNフレームの平均値よりG倍以上の場合、前フレームの画像が用いられ、演算した輝度値が前のNフレームの平均値よりG倍より少ない場合、現在のフレームの画像が用いられる。ここで、判定基準のフレーム数Nは、振動周波数特性で最適化され、判定の閾値を決めるGは、振動処理の必要性に応じて設定される。
前の出力フレームが表示部５６に表示されている途中、カメラ５４による露光と、画素転送が行われ、CCU５５においては、基本処理、輝度演算、演算された輝度値が前のNフレームの平均値よりG倍以上であると判定され、判定処理結果に応じて、前フレームの画像が、画像出力部６３により出力され、出力フレームとして表示部５６に表示される。
なお、図１５および図１６の例においては、図１３のスペックルイメージング装置５０を例に説明したが、オフライン処理を、CCUの外で行うか、内で行うか、だけの違いであり、図１４のスペックルイメージング装置５０においても基本的に同様の処理が行われ、同様の効果を得ることができる。
＜本技術の画像処理システムの第３の構成例＞
図１７は、本技術を適用した画像処理装置としてのスペックルイメージング装置を含む画像処理システムの第３の構成例を示すブロック図である。なお、図１７の例において、被写体面５２とフィルタ５３の図示は省略されている。図１７のスペックルイメージング装置５０は、画像出力のフレームレートより高いサンプリングレートでカメラ画像を取得する装置である。
図１７の画像処理システムは、図４で上述した光源５１、並びに、カメラ５４、CCU５５、表示部５６に加えて、図１３のPC１５１、表示部１５２、およびユーザIF１５３を含むスペックルイメージング装置５０からなる。
図１７の例において、CCU５５は、画像出力部６３を備える点が、図４の例と共通である。図１７の例において、CCU５５は、オンライン処理用のFPRA２０１、画像メモリ２０３、が追加された点と、画像取得部６１、スペックル変換部６２が除かれた点とが図４の例と異なっている。CCU５５は、画像の出力フレームレートとサンプリングレートの関係性（図１７の場合、画像出力のフレームレート＞サンプリングレート）に応じて、撮像画像に対して、オンライン処理で、スペックルの画像処理を行う。
すなわち、図１７の例において、FPRA２０１は、図１３においてCCU５５に備えられていた画像取得部６１、タイミング制御部１６１、およびフレーム内演算部１６２を有している。画像取得部６１は、カメラ５４からの画像を、フレーム内演算部１６２と画像メモリ２０３に供給する。フレーム内演算部１６２は、演算後の画像を画像出力部６３に出力する。
画像出力部６３は、図１３の例の場合と同様に、スペックル変換後の画像を、表示部５６に表示させるか、画像選択部１７３に供給する。表示部５５は、オンラインモニタやビューファインダのオーバレイ用の顕微鏡で構成される。
PC１５１は、図１３の例の場合と同様に、オフライン処理に用いられ、HDD(SSD)１７１、高精度演算部１７２、および画像選択部１７３を含むように構成されている。
＜スペックルイメージング装置の動作例＞
次に、図１８のタイムチャートを参照して、図１７のスペックルイメージング装置の動作例について説明する。図１７のスペックルイメージング装置５０においては、図１８に示されるように、サンプルフレーム周期＜出力フレーム周期で、例えば、出力フレーム内に収まる複数のサンプルフレーム画像間の処理として、振動対策の処理がオンライン処理で行われる例が示されている。
カメラ５４は、タイミング制御部１６１からの露光時間分、露光することで撮像し、撮像された画像の画素を、CCU５５に転送する。CCU５５においては、画像取得部６１を介して、フレーム内演算部１６２により基本処理（フレーム内処理など）が行われ、画像出力部６３により処理後の画像が、内蔵メモリ（例えば、画像メモリ２０３）に記録されるとともに、外部メモリ（例えば、HDD１７１）に転送される。以上の露光から記録、転送までの処理４回（すなわち、出力フレーム内に収まる４つのサンプルフレーム画像間の処理）が繰り返された後、CCU５５は、内蔵メモリから画像の読み出しを行い、内蔵メモリから読み出された画像に対してフレーム間処理を行い、フレーム間処理後の画像が出力され、外部メモリへ転送されるとともに、出力フレームとして表示部５６に表示される。
CCU５５におけるフレーム間処理の際に、次のフレームの露光と画素転送が行われる。
一方、外部メモリへ転送された画像は、外部メモリ（例えば、HDD(SSD)１７１）に転送され、高精度演算部１７２により、例えば、スペックル変換処理のうち、オフライン処理として、出力フレーム内に収まらない演算処理が行われる。
なお、オンライン処理で、流速判別処理を行う場合、図１８の処理に加えて、図１９に示されるように、CCU５５（のタイミング制御部１６１）により露光制御が行われる。
次に、図１８および図１９のタイミングチャートにおいて、CCU５５により行われたフレーム間処理の例について説明する。
例えば、フレーム間処理を行わない、未処理のケースにおいては、すべてのフレームsf01乃至sf04の平均のコントラストが用いられるが、フレーム間処理を行うケースにおいては、例えば、画像において、スペックルコントラストが異なるフレームが除かれて、コントラストが平均化される。その際の除去方法としては、各フレームの全体輝度を算出し、前後フレームから著しく高いフレームを除く方法や、各フレームの閾値以下の固定部分のコントラストが低下したフレームを除く方法が用いられる。
よって、フレーム間処理を行うケースにおいては、例えば、フレームsf13の全体輝度が、前後フレームの全体輝度から著しく高いと判定されて除かれ、その後、フレームsf11,sf12,sf14の平均のコントラストが用いられる。
なお、基本処理の最後に、図２０に示されるような閾値処理を追加するようにしてもよい。閾値処理について、図２０を参照して説明する。
＜スペックル画像の閾値処理＞
図２０に示されるように、基本処理の最後に行われる閾値処理により、点線に示される流動部と固定部の境界が得られる。そこで、流動部（流路ともいう）の幅を機械学習などにより認識することができる。なお、この処理もフレーム間処理の１つである。
さらに、観察対象の流動部の幅を基に必要な解像度を算出することができる。例えば、流動部幅100ピクセルでその５倍の解像度（→20ピクセル以下）が必要と仮定する。予めスペックルイメージング装置５０の光学系のＦ＃で決まるスペックルサイズと処理サイズで決まるコントラスト特性より最適なスペックル変換の処理サイズを決定しておく。光学系の仕様によりスペックルサイズが、例えば、4pixelとすると、図２１の点線上の処理サイズとコントラストの関係になる。上限は、解像度の20ピクセルでコントラストが0.6以上とすると10乃至20ピクセルが適した処理サイズとなる。
以上のように、本技術においては、画像出力のフレームレートとサンプリングレートの関係に応じて、撮像画像に対して、オンライン処理で、スペックルの画像処理が行われるか、撮像画像に対して、オフライン処理で、スペックルの画像処理が行われるかが制御される。
例えば、画像の出力フレームレートと等しいサンプリングレートである場合、フレーム内で完結するスペックルの画像処理がオンライン処理で行われ、フレーム間処理を要するスペックルの画像処理がオフライン処理で行われる。
例えば、画像の出力フレームレートよりも高いサンプリングレートである場合、オンライン処理で、サンプリングフレーム内で完結するスペックルの画像処理に加え、出力フレーム内の複数のサンプルフレーム画像間の画像処理が前記出力フレームレート内で行われる。一方、オフライン処理で、メモリに蓄積された撮像画像に対して、前記出力フレームレート内で収まらない演算処理が行われる。
これにより、リアルタイム性の高い観察と高精度の観察の両立が適切なコストで可能となり、医療品質が高まる。その結果、手術の成功率が向上、手術時間が短縮化、事故の減少が期待できる。
＜２．コンピュータ＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図２２に示されるコンピュータにおいて、CPU（Central Processing Unit）３０１、ROM（Read Only Memory）３０２、RAM（Random Access Memory）３０３は、バス３０４を介して相互に接続されている。
バス３０４にはまた、入出力インタフェース３０５も接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、およびドライブ３１０が接続されている。
入力部３０６は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部３０７は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部３０８は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部３０９は、例えば、ネットワークインタフェースよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３１１を駆動する。
以上のように構成されるコンピュータでは、CPU３０１およびバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部３０９で受信し、記憶部３０８にインストールすることができる。
その他、このプログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくこともできる。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１） 画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行うオンライン画像処理部と、
前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うオフライン画像処理部と
を備える画像処理装置。
（２） 前記撮像画像が、画像の出力フレームレートと等しいサンプリングレートで取得された場合、前記制御部は、フレーム内で完結するスペックルの画像処理を前記オンライン処理で行い、フレーム間処理を要するスペックルの画像処理を前記オフライン処理で行う
前記（１）に記載の画像処理装置。
（３） 前記撮像画像が、画像の出力フレームレートと等しいサンプリングレートで取得された場合、前記制御部は、該当フレーム前の複数フレームの情報により、前フレームと置換することで、フレーム間処理を要するスペックルの画像処理を前記オンライン処理で行う
前記（１）に記載の画像処理装置。
（４） 前記撮像画像が、画像の出力フレームレートよりも高いサンプリングレートで取得された場合、
前記制御部は、サンプリングフレーム内で完結するスペックルの画像処理に加え、前記出力フレーム内の複数のサンプルフレーム画像間の画像処理を前記出力フレームレート内で前記オンライン処理で行い、
メモリに蓄積された前記撮像画像に対して、前記出力フレームレート内で収まらない演算処理を前記オフライン処理で行う
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記制御部は、前記撮像画像の前記メモリへの書き出しおよび前記オフライン処理での演算処理を、前記オンライン処理でのスペックルの画像処理と並列に行う
前記（４）に記載の画像処理装置。
（６） 前記制御部は、前記撮像画像の前記メモリへの書き出しおよび前記オフライン処理での演算処理を、前記オンライン処理でのスペックルの画像処理の一定時間後に行う
前記（４）に記載の画像処理装置。
（７） 前記フレーム間処理は、画像全体のスペックルコントラストが低下するフレームを除外し、前後フレームから補完または出力フレーム内の他の画像の平均化により最適なスペックルコントラストを出力する処理である
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記フレーム間処理は、前記出力フレームレート内のサンプルフレームに対して複数の露光時間を設定し、予め設定されている露光時間毎の流速とコントラスト値の関係式より、露光時間毎のコントラスト値から流速を算出し、最も確からしい流速を演算し、画像に反映する処理である
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記フレーム間処理は、異なる撮像画像により流体部分のサイズを検出し、検出されたサイズに応じた解像度になるように演算セルサイズを最適化する処理である
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記フレーム間処理は、スペックルの時間方向の情報を用いた演算手法であるLSPI（Laser speckle perfusion imaging）、LSFG(Laser speckle flowgraphy)、またはFDLSI(Frequency domain laser speckle imaging)を含む処理である
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記オンライン処理で画像処理が行われたスペックルの画像および前記オフライン処理で画像処理が行われたスペックルの画像のどちらか一方の表示を切り替える切り替え部
をさらに備える前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 画像処理装置が、
画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行うか、
前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかを制御する
画像処理方法。
（１３） 被写体の表面にレーザ光を照射する光源と、
画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、前記光源からのレーザ光を照射して生ずるスペックルの画像処理を行うか、
前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかを制御する制御部
を備える画像処理装置と
を有する画像処理システム。
１０ スペックルイメージング装置， ５１ 光源， ５３ フィルタ， ５４ カメラ， ５５ CCU， ５６ 表示部、 ６１ 画像取得部， ６２ スペックル変換部， ６３ 画像出力部， ７１ 二次元画像， ７１−ｎ 輝度イメージ像， ７２ スペックルコントラスト像， ８１ 画像， ８２ 画像， ９１ 画像， ９２ 画像， １０１ ユーザIF， １１１ 変換前画像， １１２ スペックル演算反転後画像， １２１ 変換前画像， １２２ スペックル演算反転後画像， １３１−０乃至１３１−４ 入力画像， １３２−０乃至１３２−４ 変換画像， １３３−０乃至１３３−４ 処理後画像， １５１ パーソナルコンピュータ， １５２ 表示部， １５３ ユーザIF， １６１ タイミング制御部， １６２ フレーム内演算部， １７１ HDD(SSD)， １７２ 高精度演算部， １７３ 画像選択部， ２０１ FPGA， ２０２ FPGA， ２０３ 画像メモリ， ２０４ セレクタ

Claims (13)

  1. 画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行うか、
    前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかを制御する制御部
    を備える画像処理装置。
  2. 前記撮像画像が、画像の出力フレームレートと等しいサンプリングレートで取得された場合、前記制御部は、フレーム内で完結するスペックルの画像処理を前記オンライン処理で行い、フレーム間処理を要するスペックルの画像処理を前記オフライン処理で行う
    請求項１に記載の画像処理装置。
  3. 前記撮像画像が、画像の出力フレームレートと等しいサンプリングレートで取得された場合、前記制御部は、該当フレーム前の複数フレームの情報により、前フレームと置換することで、フレーム間処理を要するスペックルの画像処理を前記オンライン処理で行う
    請求項１に記載の画像処理装置。
  4. 前記撮像画像が、画像の出力フレームレートよりも高いサンプリングレートで取得された場合、
    前記制御部は、サンプリングフレーム内で完結するスペックルの画像処理に加え、前記出力フレーム内の複数のサンプルフレーム画像間の画像処理を前記出力フレームレート内で前記オンライン処理で行い、
    メモリに蓄積された前記撮像画像に対して、前記出力フレームレート内で収まらない演算処理を前記オフライン処理で行う
    請求項２に記載の画像処理装置。
  5. 前記制御部は、前記撮像画像の前記メモリへの書き出しおよび前記オフライン処理での演算処理を、前記オンライン処理でのスペックルの画像処理と並列に行う
    請求項４に記載の画像処理装置。
  6. 前記制御部は、前記撮像画像の前記メモリへの書き出しおよび前記オフライン処理での演算処理を、前記オンライン処理でのスペックルの画像処理の一定時間後に行う
    請求項４に記載の画像処理装置。
  7. 前記フレーム間処理は、画像全体のスペックルコントラストが低下するフレームを除外し、前後フレームから補完または出力フレーム内の他の画像の平均化により最適なスペックルコントラストを出力する処理である
    請求項２に記載の画像処理装置。
  8. 前記フレーム間処理は、前記出力フレームレート内のサンプルフレームに対して複数の露光時間を設定し、予め設定されている露光時間毎の流速とコントラスト値の関係式より、露光時間毎のコントラスト値から流速を算出し、最も確からしい流速を演算し、画像に反映する処理である
    請求項２に記載の画像処理装置。
  9. 前記フレーム間処理は、異なる撮像画像により流体部分のサイズを検出し、検出されたサイズに応じた解像度になるように演算セルサイズを最適化する処理である
    請求項２に記載の画像処理装置。
  10. 前記フレーム間処理は、スペックルの時間方向の情報を用いた演算手法であるLSPI（Laser speckle perfusion imaging）、LSFG(Laser speckle flowgraphy)、またはFDLSI(Frequency domain laser speckle imaging)を含む処理である
    請求項２に記載の画像処理装置。
  11. 前記オンライン処理で画像処理が行われたスペックルの画像および前記オフライン処理で画像処理が行われたスペックルの画像のどちらか一方の表示を切り替える切り替え部
    をさらに備える請求項１に記載の画像処理装置。
  12. 画像処理装置が、
    画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、レーザ光を照射して生ずるスペックルの画像処理を行うか、
    前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかを制御する
    画像処理方法。
  13. 被写体の表面にレーザ光を照射する光源と、
    画像の出力フレームレートとサンプリングレートの関係性に応じて、撮像画像に対して、オンライン処理で、前記光源からのレーザ光を照射して生ずるスペックルの画像処理を行うか、
    前記撮像画像に対して、オフライン処理で、前記スペックルの画像処理を行うかを制御する制御部
    を備える画像処理装置と
    を有する画像処理システム。
JP2019519172A 2017-05-16 2018-05-02 画像処理装置および方法、並びに画像処理システム Ceased JPWO2018211982A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017097164 2017-05-16
JP2017097164 2017-05-16
PCT/JP2018/017483 WO2018211982A1 (ja) 2017-05-16 2018-05-02 画像処理装置および方法、並びに画像処理システム

Publications (1)

Publication Number Publication Date
JPWO2018211982A1 true JPWO2018211982A1 (ja) 2020-03-19

Family

ID=64273624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019519172A Ceased JPWO2018211982A1 (ja) 2017-05-16 2018-05-02 画像処理装置および方法、並びに画像処理システム

Country Status (3)

Country Link
US (1) US20210145295A1 (ja)
JP (1) JPWO2018211982A1 (ja)
WO (1) WO2018211982A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116067A1 (ja) * 2018-12-04 2020-06-11 ソニー株式会社 医療システム、情報処理装置及び情報処理方法
CN115379791A (zh) * 2020-02-14 2022-11-22 艾科缇弗外科公司 用于处理激光散斑信号的系统和方法
US11819318B2 (en) * 2020-04-27 2023-11-21 Open Water Internet Inc. Optical imaging from light coherence

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120236310A1 (en) * 2009-09-22 2012-09-20 Corporation De L'ecole Polytechnique De Montreal Method and system for optical data acquisition and tomography imaging of a turbid medium object
JP2014233458A (ja) * 2013-06-03 2014-12-15 株式会社島津製作所 脳機能計測用動画生成装置および脳機能計測用動画生成システム
JP2016517322A (ja) * 2013-03-15 2016-06-16 イースト カロライナ ユニバーシティ スペックル撮像技術及び血行動態モデリングを用いた血流分布の非侵襲な決定方法、システム、及びコンピュータプログラム
WO2017062759A1 (en) * 2015-10-09 2017-04-13 Vasoptic Medical, Inc. System and method for rapid examination of vasculature and particulate flow using laser speckle contrast imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120236310A1 (en) * 2009-09-22 2012-09-20 Corporation De L'ecole Polytechnique De Montreal Method and system for optical data acquisition and tomography imaging of a turbid medium object
JP2016517322A (ja) * 2013-03-15 2016-06-16 イースト カロライナ ユニバーシティ スペックル撮像技術及び血行動態モデリングを用いた血流分布の非侵襲な決定方法、システム、及びコンピュータプログラム
JP2014233458A (ja) * 2013-06-03 2014-12-15 株式会社島津製作所 脳機能計測用動画生成装置および脳機能計測用動画生成システム
WO2017062759A1 (en) * 2015-10-09 2017-04-13 Vasoptic Medical, Inc. System and method for rapid examination of vasculature and particulate flow using laser speckle contrast imaging

Also Published As

Publication number Publication date
WO2018211982A1 (ja) 2018-11-22
US20210145295A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
JP6850225B2 (ja) 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
JP6222807B2 (ja) 医用画像処理装置、ｘ線診断装置及び医用画像処理プログラム
US9351650B2 (en) Image processing apparatus and image processing method
EP3416366B1 (en) Image pickup apparatus and image pickup method
JPWO2018211982A1 (ja) 画像処理装置および方法、並びに画像処理システム
US20160157736A1 (en) System and Methods for Assessment of Relative Fluid Flow Using Laser Speckle Imaging
US20190099089A1 (en) Image analysis apparatus and image analysis method
US11426052B2 (en) Endoscopic system
JPWO2019244255A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法およびプログラム
CN104867127A (zh) 图像处理设备、图像处理方法和程序
KR20220142465A (ko) 레이저 스펙클 신호들을 처리하기 위한 시스템들 및 방법들
CA3005242A1 (en) Detection of stent struts relative to side branches
JP2014018251A (ja) 眼科撮影装置及び眼科撮影プログラム
JPWO2019187049A1 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
US11050931B2 (en) Control device and control method
WO2021171464A1 (ja) 処理装置、内視鏡システム及び撮像画像の処理方法
US20150003742A1 (en) Image processing device, endoscope apparatus, and image processing method
JP2010099348A (ja) 医用画像処理装置
JP6838644B2 (ja) 画像診断装置、画像診断方法、及びプログラム
CN112334055A (zh) 医学观察系统、医学观察设备及医学观察设备的驱动方法
WO2017170825A1 (ja) 観察装置、観察システム、データ処理装置及びプログラム
KR20230164104A (ko) 합성 다중 노출 스페클 영상화(syMESI) 방법 및 시스템
US20170237885A1 (en) Method and Apparatus for High Contrast Imaging
JP2015128467A (ja) 医用画像処理装置、ｘ線診断装置及び医用画像処理プログラム
JP6416350B2 (ja) 医用画像処理装置、ｘ線診断装置及び医用画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220725

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20230328