JP7486331B2 - 制御装置および医療用観察システム - Google Patents

制御装置および医療用観察システム Download PDF

Info

Publication number
JP7486331B2
JP7486331B2 JP2020047013A JP2020047013A JP7486331B2 JP 7486331 B2 JP7486331 B2 JP 7486331B2 JP 2020047013 A JP2020047013 A JP 2020047013A JP 2020047013 A JP2020047013 A JP 2020047013A JP 7486331 B2 JP7486331 B2 JP 7486331B2
Authority
JP
Japan
Prior art keywords
focal length
image signal
image
light
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020047013A
Other languages
English (en)
Other versions
JP2021148886A (ja
JP2021148886A5 (ja
Inventor
和則 瀬川
正隆 加戸
公 後田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to JP2020047013A priority Critical patent/JP7486331B2/ja
Priority to US17/155,115 priority patent/US11684238B2/en
Publication of JP2021148886A publication Critical patent/JP2021148886A/ja
Publication of JP2021148886A5 publication Critical patent/JP2021148886A5/ja
Application granted granted Critical
Publication of JP7486331B2 publication Critical patent/JP7486331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Description

本開示は、制御装置および医療用観察システムに関する。
観察対象に各種特殊光を照射して観察を行う技術が知られている(例えば、特許文献1を参照)。この技術では、オートフォーカス機能を有する撮像装置が撮像した画像を用いて、医師等のユーザが観察対象である被検体の観察を行う。
特開2017-131559号公報
しかしながら、例えば特殊光として蛍光の励起光を照射し、観察対象に含まれる物質が発光する蛍光を観察する場合には、観察対象からの蛍光の明るさが十分でないと、オートフォーカスによって適切なピント合わせを行うことができなかった。このため、オートフォーカスによるピント合わせを観察対象によらず適切に行うことができる技術が求められていた。
本開示は、上記に鑑みてなされたものであって、オートフォーカスによるピント合わせを観察対象によらず適切に行うことができる制御装置および医療用観察システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示に係る制御装置は、オートフォーカス機能を有する撮像装置が、互いに波長帯域が異なる第1および第2の光が照射された観察対象をそれぞれ撮像して生成した第1および第2画像信号を取得する取得部と、前記第1および第2画像信号の検波情報を検出する信号処理部と、前記第1画像信号の検波情報に基づいて第1焦点距離を算出し、前記第2画像信号の検波情報に基づいて第2焦点距離を算出し、少なくとも前記第2画像信号の検波情報に基づいて、前記第2の光が照射された観察対象を前記撮像装置に撮像させる際の焦点距離を前記第1および第2焦点距離のいずれかに設定する制御部と、を備える。
本開示に係る医療用観察システムは、オートフォーカス機能を有し、観察対象を撮像して画像信号を生成する撮像装置と、前記撮像装置が生成した画像信号に対して処理を施す制御装置と、を備え、前記制御装置は、前記撮像装置が、互いに波長帯域が異なる第1および第2の光が照射された観察対象をそれぞれ生成した第1および第2画像信号を取得する取得部と、前記第1および第2画像信号の検波情報を検出する信号処理部と、前記第1画像信号の検波情報に基づいて第1焦点距離を算出し、前記第2画像信号の検波情報に基づいて第2焦点距離を算出し、少なくとも前記第2画像信号の検波情報に基づいて、前記第2の光が照射された観察対象を前記撮像装置に撮像させる際の焦点距離を前記第1および第2焦点距離のいずれかに設定する制御部と、を有する。
本開示によれば、オートフォーカスによるピント合わせを観察対象によらず適切に行うことができる。
図1は、本開示の実施の形態1に係る医療用観察システムを模式的に示す図である。 図2は、本開示の実施の形態1に係る医療用観察システムの機能構成を示すブロック図である。 図3は、本開示の実施の形態1に係る制御装置が行う処理の概要を示すフローチャートである。 図4は、本開示の実施の形態2に係る医療用観察システムの機能構成を示すブロック図である。 図5Aは、蛍光領域検出部と検波枠設定部の処理の概要を模式的に示す図(その1)である。 図5Bは、蛍光領域検出部と検波枠設定部の処理の概要を模式的に示す図(その2)である。 図6は、本開示の実施の形態2に係る制御装置が行う処理の概要を示すフローチャートである。 図7は、本開示の実施の形態3に係る医療用観察システムの機能構成を示すブロック図である。 図8は、第1フィルタおよび第2フィルタの透過特性を模式的に示す図である。 図9は、本開示の実施の形態3に係る制御装置が行う処理の概要を示すフローチャートである。 図10は、本開示の実施の形態4に係る医療用観察システムの機能構成を示すブロック図である。 図11は、本開示の実施の形態4に係る制御装置が行う処理の概要を説明する図である。 図12は、本開示の実施の形態4に係る制御装置が行う処理の概要を示すフローチャートである。
以下、添付図面を参照して、本開示を実施するための形態(以下、「実施の形態」という)を説明する。
(実施の形態1)
図1は、本開示の実施の形態1に係る医療用観察システムを模式的に示す図である。同図に示す医療用観察システム1は、医療用観察装置2と、表示装置3とを備える。
医療用観察装置2は、顕微鏡装置4と、制御装置5とを備える。顕微鏡装置4は、観察対象を撮像して画像信号を生成する撮像装置としての機能を有する。制御装置5は、顕微鏡装置4が生成した画像信号に対して画像処理を行う医療用画像処理装置としての機能を有する。本実施の形態に係る医療用観察装置2は、手術用顕微鏡である。
表示装置3は、制御装置5が生成した表示用の画像信号を制御装置5から受信し、該画像信号に対応する画像を表示する。表示装置3は、液晶または有機EL(Electro-Luminescence)からなる表示パネルを用いて構成される。
顕微鏡装置4の外観構成を説明する。顕微鏡装置4は、観察対象を撮像する顕微鏡部6と、顕微鏡部6を支持する支持部7と、支持部7の基端を保持するとともに制御装置5を内蔵するベース部8とを有する。
顕微鏡部6は、円柱状をなす筒状部を有する。本体部の下端部の開口面にはカバーガラスが設けられている(図示せず)。筒状部は、ユーザによって把持可能であり、ユーザが顕微鏡部6の撮像視野を変更する際に把持しながら移動させることが可能な大きさを有している。なお、筒状部の形状は円筒状に限られるわけではなく、多角筒状をなしていてもよい。
支持部7は、アーム部に複数のリンクを有し、隣接するリンク同士が関節部を介して回動可能に連結されている。支持部7の内部に形成された中空部には、顕微鏡部6と制御装置5との間で各種信号を伝送する伝送ケーブルおよび制御装置5が発生する照明光を顕微鏡部6に伝送するライトガイドが通っている。
図2は、医療用観察システム1の機能構成を示すブロック図である。まず、顕微鏡装置4の機能構成を説明する。顕微鏡装置4は、レンズユニット41と、レンズ駆動部42と、位置検出部43と、撮像部44と、アーム駆動部45と、入力部46と、通信部47と、制御部48とを備える。顕微鏡装置4は、オートフォーカス(AF)機能を有する。
レンズユニット41は、光軸に沿って移動可能な複数のレンズを用いて構成され、集光した被写体像を撮像部44が有する撮像素子の撮像面に結像する。レンズユニット41は、焦点を調整するフォーカスレンズ411と、画角を変更するズームレンズ412とを有する。フォーカスレンズ411およびズームレンズ412は、それぞれ1または複数のレンズを用いて構成される。
レンズ駆動部42は、制御部48の制御のもと、ズームレンズを動作させるアクチュエータと、アクチュエータを駆動するドライバとを有する。
位置検出部43は、フォーカスレンズ411およびズームレンズ412の位置をそれぞれ検出する2つ位置センサを有する。位置検出部43は、検出したフォーカスレンズ411およびズームレンズ412の位置を制御部48に出力する。
撮像部44は、レンズユニット41が集光した被写体像を結像して画像信号(アナログ信号)を生成する撮像素子と、撮像素子からの画像信号(アナログ信号)に対して、ノイズ除去やA/D変換等の信号処理を行う信号処理部とを有する。撮像素子は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などのイメージセンサを用いて構成される。なお、撮像部44は2つの撮像素子を有していてもよい。この場合、撮像部44は3次元画像(3D画像)を生成可能である。
アーム駆動部45は、制御部48の制御のもと、支持部7が有する複数のアームをそれぞれ動作させる。具体的には、アーム駆動部45は、アーム間の関節部に設けられたアクチュエータと、アクチュエータを駆動するドライバとを有する。
入力部46は、AFの起動信号を含む顕微鏡装置4の操作信号の入力を受け付ける。入力部46は、顕微鏡部6の筒状部の側面のうち、ユーザが顕微鏡部6を把持した状態で操作可能な位置に設けられた複数のスイッチやボタン等を有する。
通信部47は、制御装置5との間で通信を行うインターフェースである。通信部47は、撮像部44が生成したデジタルの画像信号(RAW信号)を制御装置5に対して送信するとともに、制御装置5からの制御信号を受信する。
制御部48は、制御装置5の制御部55と連携して顕微鏡装置4の動作を制御する。制御部48は、入力部46は入力を受け付けた操作指示信号や、制御装置5の制御部55から送られてくる操作指示信号に基づいて、顕微鏡装置4を動作させる。
制御部48は、CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)、およびASIC(Application Specific Integrated Circuit)等の少なくともいずれか一つのプロセッサを用いて構成される。
つぎに、制御装置5の機能構成を説明する。制御装置5は、通信部51と、入力部52と、光源部53と、信号処理部54と、制御部55と、記憶部56と、を備える。制御装置5は、顕微鏡装置4のAFを制御する機能を有する。なお、AFの方式は、コントラスト方式、位相差方式、像面位相差方式のいずれでもよい。
通信部51は、顕微鏡装置4が観察対象を撮像することによって生成し、伝送ケーブルを経由して伝送してくる画像信号を取得する。画像信号には、撮像時のゲイン調整値、フォーカスレンズ位置、ズームレンズ位置、シャッタ速度、絞り値等の情報が含まれる。以下、光源部53の第1光源531が発光した状態で生成された画像信号を第1画像信号といい、光源部53の第2光源532が発光した状態で生成された画像信号を第2画像信号という。この意味で、通信部51は、顕微鏡装置4が生成した第1および第2画像信号を取得する取得部としての機能を有する。また、第1画像信号および第2画像信号にそれぞれ対応する画像を第1画像および第2画像という。
入力部52は、各種情報の入力を受け付ける。入力部52は、キーボード、マウス、タッチパネル、フットスイッチ等のユーザインタフェースを用いて構成される。なお、入力部52に顕微鏡装置4の入力部46の少なくとも一部の機能を兼備させてもよい。
光源部53は、第1光源531と、第2光源532とを有する。光源部53が発生した光は、ライトガイドを介して顕微鏡装置4に供給され、その先端部から観察対象へ向けて照射される。
第1光源531は、例えば赤、青、緑の3つのLED(Light Emitting Diode)により構成されており、第1の光として白色光を発光する。
第2光源532は、第1の光とは異なる波長帯域を有する第2の光を発光する。本実施の形態1において、第2光源532は、第2の光として中心波長410nmの青色成分を有する狭帯域光(以下、青色光という)を発光する。この青色光は、観察対象である患者の体内にPpIXという物質がある場合に赤色(中心波長630nm)の蛍光を発光させる性質を有する。PpIXは、癌細胞に5-アミノレブリン酸(5-ALA:Aminolevulinic Acid)が取り込まれた場合、代謝されずにその中間産物として癌細胞に蓄積される物質である。これに対して、正常組織に5-ALAが取り込まれた場合には、血液原料(ヘム)に代謝されることが知られている。したがって、5-ALAが取り込まれた組織に青色光を照射することによって癌細胞の有無を診断することができる。この診断方法は、光線力学診断(Photodynamic Diagnosis:PDD)と呼ばれる。第2光源532は、例えばLEDまたはLD(Laser Diode)を用いて構成される。
信号処理部54は、通信部51が取得した画像信号(RAW信号)に対して信号処理を施す。また、信号処理部54は、顕微鏡装置4および制御装置5の同期信号およびクロックを生成する。信号処理部54が生成した同期信号やクロックは、通信部51を介して顕微鏡装置4に送られる。顕微鏡装置4は、受信した同期信号やクロックに基づいて駆動する。信号処理部54は、CPU、FPGA、およびASIC等の少なくともいずれか一つのプロセッサを用いて構成される。
信号処理部54は、画像処理部541と、検波処理部542とを有する。
画像処理部541は、各種画像処理を施すことによって表示用の画像信号を生成し、生成した表示用の画像信号を制御部55の制御のもと表示装置3へ出力する。具体的な画像処理として、ゲイン調整、補間処理、色補正処理、色強調処理、輪郭強調処理、ノイズリダクション等の公知の画像処理を挙げることができる。
検波処理部542は、画像処理部541が生成した表示用の画像信号に対して検波処理を実行する。検波処理部542は、撮像部44が撮像した1フレームの撮像画像に設定される検波枠内の画素毎の画素情報に基づいて、所定の検波枠内における画像の明るさ、コントラストおよび周波数成分等の検波情報を検出する。検波処理部542は、検波情報を制御部55に出力する。
制御部55は、制御装置5の動作を制御するとともに、顕微鏡装置4の制御部48と連携して医療用観察装置2の動作を統括して制御する。制御部55は、光源制御部551と、AF制御部552と、表示制御部553とを有する。
光源制御部551は、検波処理部542が検出した画像の明るさに応じて光源部53を制御する。光源制御部551は、青色光撮影の指示を受け付けた場合、またはAFの起動指示を受け付けた場合、または撮像部44を含む顕微鏡部6の移動が完了した場合、第1光源531の発光を所定時間継続させた後、第2光源532を発光させる。
AF制御部552は、検波処理部542が検出した検波情報に基づいてフォーカスレンズ411の位置を合焦位置に近づける制御信号を顕微鏡装置4の制御部48へ送信することによって自動的に合焦させるAF制御を行う。AF制御部552は、位置検出部43が検出したフォーカスレンズ411の合焦時の位置を用いて焦点距離を算出する。具体的には、AF制御部552は、観察対象に白色光を照射して撮像した画像(第1画像)の場合には赤(R)、緑(G)、青(B)の全成分を含む画像(RGB画像)をもとにAF制御を行って焦点距離(第1焦点距離)を算出する一方、観察対象に青色光を照射して撮像した画像(第2画像/青色光画像)の場合には蛍光成分である赤色成分(R成分)のみを含む画像をもとにAF制御を行って焦点距離(第2焦点距離)を算出する。
続いて、AF制御部552は、第1焦点距離(L1)と第2焦点距離(L2)とを比較し、比較結果に応じて青色光撮影における焦点距離を設定する。AF制御部552は、以下の3通りに場合分けして焦点距離を設定する。
1.2つの焦点距離の差の絶対値|L1-L2|が所定値ΔLより小さい(|L1-L2|<ΔL)場合、第1焦点距離L1を採用する。
2.2つの焦点距離の差の絶対値|L1-L2|が所定値ΔL以上(|L1-L2|≧ΔL)であり、かつ第2画像の蛍光成分の明るさBが閾値Thより小さい場合(B<Th)、第1焦点距離L1を採用する。
3.2つの焦点距離の差が所定値以上であり、かつ第2画像の蛍光成分の明るさBが閾値Th以上である場合(B≧Th)、第2焦点距離L2を採用する。
なお、AF制御部552が判定する際には、所定のサンプリング間隔で算出した複数の第1焦点距離の平均と、複数の第2焦点距離の平均とを比較してもよいし、所定の規則により定められる代表画像同士の焦点距離を比較してもよい。
この後、AF制御部552は、判定により設定した焦点距離に応じてフォーカスレンズ411の位置を調整する制御信号を顕微鏡装置4の制御部48へ送信するAF制御を行う。
表示制御部553は、表示装置3における表示を制御する。表示制御部553は、顕微鏡装置4が青色光撮影を行う場合、表示装置3に「青色光撮影オン」等のメッセージを表示させる。これにより、ユーザは青色光撮影がオン状態にあること、すなわち撮像部44が第2画像信号を生成中であることを表示装置3の表示画面上で視覚的に把握することができる。
制御部55は、CPU、FPGA、およびASIC等の少なくともいずれか一つのプロセッサを用いて構成される。なお、信号処理部54と制御部55を、共通のプロセッサを用いて構成してもよい。
記憶部56は、ズームレンズ412の位置に制御装置5が動作するための各種プログラムを記憶するとともに、制御装置5が演算処理中のデータを一時的に記憶する。記憶部56は、ROM(Read Only Memory)やRAM(Random Access Memory)等を用いて構成される。
図3は、制御装置5が行う処理の概要を示すフローチャートであって、入力部46が青色光撮影の指示を受け付けた場合、または入力部46がAF(ワンショットAF)の起動指示を受け付けた場合、または撮像部44を含む顕微鏡部6の移動が完了した場合に行う処理の概要を示すフローチャートである。図3では一連の処理を開始する時点で第1光源531が白色光を発光していることを前提としている。
通信部51が第1画像信号を取得すると(ステップS1)、信号処理部54が第1画像信号に対して信号処理を行う(ステップS2)。具体的には、画像処理部541が表示用の第1画像信号を生成し、検波処理部542は表示用の第1画像信号の検波枠内における検波情報を検出して制御部55へ出力する。
続いて、AF制御部552は、信号処理部54から取得した検波情報に基づいてAF制御を行い(ステップS3)、第1焦点距離L1を算出する(ステップS4)。
この後、光源制御部551は、第1光源531の発光を停止して、第2光源532の発光を開始させる(ステップS5)。これにより、観察対象には青色光が照射され始める。
ステップS5の後、通信部51が第2画像信号を取得すると(ステップS6)、信号処理部54が第2画像信号に対して信号処理を行う(ステップS7)。ステップS7において、画像処理部541は表示用の第2画像信号を生成し、検波処理部542は表示用の第2画像信号のうち検波枠内におけるR成分の検波情報を検出して制御部55へ出力する。
続いて、AF制御部552は、信号処理部54から取得した検波情報に基づいてAF制御を行い(ステップS8)、第2焦点距離L2を算出する(ステップS9)。
この後、AF制御部552は、AFを行う焦点距離を設定する(ステップS10~S13)。まず、AF制御部552は、第1焦点距離L1と第2焦点距離L2との差の絶対値|L1-L2|を算出して所定値ΔLと比較する(ステップS10)。比較の結果、|L1-L2|<ΔLである場合(ステップS10:Yes)、AF制御部552は第1焦点距離L1を青色光撮影における焦点距離Lに設定する(ステップS11)。
一方、ステップS10における比較の結果、|L1-L2|≧ΔLである場合(ステップS10:No)、AF制御部552は、第2画像信号の検波枠内のR成分の明るさBと閾値Thとを比較する(ステップS12)。B<Thである場合(ステップS12:Yes)、AF制御部552はステップS11へ移行する。これに対して、B≧Thである場合(ステップS12:No)、AF制御部552は第2焦点距離L2を青色光撮影における焦点距離Lに設定する(ステップS13)。
ステップS11またはS13の後、AF制御部552は焦点距離LとするAF制御を行う(ステップS14)。具体的には、AF制御部552は、ステップS9の判定結果に基づいてフォーカスレンズ411の位置を調整する制御信号を顕微鏡装置4の制御部48へ送信する。この後、制御装置5は一連の処理を終了する。
なお、AF制御部552が焦点距離の設定を行う際、上述したステップS10の処理を行うことなく、最初に第2画像信号の検波枠内のR成分の明るさBと閾値Thとを比較し、比較結果に応じて青色光撮影における焦点距離Lを設定するようにしてもよい。これにより、制御装置5の処理を簡素化することができる。
以上説明した本開示の実施の形態1によれば、第1画像信号の検波情報に基づいて第1焦点距離を算出し、第2画像信号の検波情報に基づいて第2焦点距離を算出し、少なくとも第2画像信号の検波情報をもとに前記撮像装置に撮像させる際の焦点距離を第1および第2焦点距離のいずれかに設定するため、より好ましい焦点距離を用いて、オートフォーカスによるピント合わせを観察対象によらず適切に行うことができる。
また、本実施の形態1によれば、第1焦点距離と第2焦点距離の差の絶対値が所定値より小さい場合、第2画像信号を取得する際の焦点距離を第1焦点距離に設定し、第1焦点距離と第2焦点距離の差の絶対値が所定値以上である場合、第2画像信号の赤色成分の明るさと閾値との比較結果に応じて第2画像信号を取得する際の焦点距離を第1および第2焦点距離のいずれかに設定するため、第2画像信号が暗い場合に第1画像信号の焦点距離に設定するため、ユーザは視認性のよい画像を見て手術等の医療行為を行うことができる。
(実施の形態2)
図4は、本開示の実施の形態2に係る医療用観察システムの機能構成を示すブロック図である。図4において、実施の形態1で説明した医療用観察システム1と同様の機能構成を有する部位には同じ符号を付している。
図4に示す医療用観察システム1Aは、医療用観察装置2Aと、表示装置3とを備える。医療用観察装置2Aは、顕微鏡装置4と、制御装置5Aとを備える。
以下、制御装置5Aの機能構成を説明する。制御装置5Aは、実施の形態1で説明した制御装置5と比較して、信号処理部および制御部の機能構成が異なる。
信号処理部54Aは、画像処理部541と、検波処理部542と、蛍光領域検出部543とを有する。蛍光領域検出部543は、青色光撮影により生成された第2画像信号において蛍光(R成分)が発光している蛍光領域を検出し、その蛍光領域を特定する画素位置等の情報(蛍光領域情報)を生成して制御部55Aに出力する。
制御部55Aは、光源制御部551と、AF制御部552と、表示制御部553と、検波枠設定部554とを有する。検波枠設定部554は、蛍光領域検出部543が生成した蛍光領域情報に基づいて検波枠を設定する。検波枠設定部554は、蛍光領域の面積に対して検波枠内に含まれる蛍光領域の面積の割合が所定の閾値以上となるように検波枠を設定する。
図5Aおよび図5Bは蛍光領域検出部543と検波枠設定部554の処理の概要を模式的に示す図である。図5Aに示す観察画像101は、画面中央部において被写体が紙面の裏側へ向けてくぼんでいる画像を模式的に示しており、蛍光領域102が略中央部に位置している。蛍光領域102は、あらかじめ設定された検波枠Fの内部に位置している。この場合、蛍光領域検出部543が蛍光領域102を検出して蛍光領域情報を生成すると、検波枠設定部554は蛍光領域情報に基づいて蛍光領域102が検波枠Fの内部に存在していると判定し、検波枠を移動しない。
これに対して、図5Bに示す観察画像201は、蛍光領域202が画面中央部の略左上方に位置している。比較のため、観察画像201も観察画像101と同様、画面中央部において被写体が紙面の裏側に向けてくぼんでいる画像を模式的に示している。この蛍光領域202は、あらかじめ設定された検波枠F(破線で表示)には一部しか含まれない。この場合、蛍光領域検出部543が蛍光領域202を検出して蛍光領域情報を生成すると、検波枠設定部554は蛍光領域情報に基づいて蛍光領域202が検波枠Fの内部に存在していないと判定し、検波枠を移動して蛍光領域202が枠内に収まる位置まで検波枠を移動する。図5Bでは、移動後の検波枠F’の内部に蛍光領域202が入っている状態を示している。
図6は、制御装置5Aが行う処理の概要を示すフローチャートであって、入力部46が青色光撮影の指示を受け付けた場合、または入力部46がAFの起動指示を受け付けた場合、または顕微鏡部6の移動が完了した場合に行う処理の概要を示すフローチャートである。図6においても、図3と同様に、一連の処理を開始する時点で第1光源531が白色光を発光していることを前提としている。
まず、ステップS21~S26の処理は、上述したステップS1~S6の処理に順次対応している。
ステップS27において、蛍光領域検出部543は、ステップS26で取得した第2画像信号を用いて蛍光領域を検出し、蛍光領域情報を生成して制御部55Aに出力する(ステップS27)。
この後、検波枠設定部554は、蛍光領域情報を参照して検波枠を設定する(ステップS28)。
続いて行われるステップS29~S36の処理は、上述したステップS7~S14の処理に順次対応している。なお、ステップS32における所定値やステップS34における閾値は、実施の形態1と同じ値である必要はない。
なお、本実施の形態2においても、AF制御部552が焦点距離の設定を行う際、第1焦点距離L1と第2焦点距離L2の差の絶対値|L1-L2|と所定値ΔLとの比較処理(ステップS32)を行うことなく、第2画像信号の検波枠内のR成分の明るさBと閾値Thとを比較し、比較結果に応じて青色光撮影における焦点距離Lを設定するようにしてもよい。
以上説明した本開示の実施の形態2によれば、実施の形態1と同様、オートフォーカスによるピント合わせを観察対象によらず適切に行うことができ、ユーザは視認性のよい画像を見ながら医療行為を行うことができる。
また、本実施の形態2によれば、蛍光の領域の検出結果に応じて検波枠を設定するため、撮像した被写体像に応じて適切なピント合わせを行うことができる。
なお、制御装置5Aが検波枠を自動で設定する代わりに、ユーザが画像を見て入力部46または入力部52を介して検波枠を手動で設定することができるようにしてもよい。また、検波枠の自動設定と手動設定を選択的に切り替えることができるようにしてもよい。検波枠の手動設定のみを可能とする場合には、蛍光領域検出部543は不要である。
(実施の形態3)
図7は、本開示の実施の形態3に係る医療用観察システムの機能構成を示すブロック図である。図7において、実施の形態1で説明した医療用観察システム1と同様の機能構成を有する部位には同じ符号を付している。
図7に示す医療用観察システム1Bは、医療用観察装置2Bと、表示装置3とを備える。医療用観察装置2Bは、顕微鏡装置4Bと、制御装置5Bとを備える。
まず、制御装置5Bについて説明する。制御装置5Bは、通信部51と、入力部52と、光源部53Bと、信号処理部54Bと、制御部55とを有する。
光源部53Bは、第1光源531と、第2光源533と、合成部534とを有する。第2光源533は、中心波長が774nm付近である狭帯域の赤外光を発光する。この赤外光は、インドシアニングリーン(ICG:Indocyanine Green)を励起して中心波長が805nm付近である蛍光を発光させる励起光としての性質を有する。第2光源533は、観察対象である患者の体内にICGを注入し、その体内に赤外光を照射して蛍光を観察することによって血流の有無を診断するために設けられている。この診断方法は、IRI(Infrared Imaging)と呼ばれる。第2光源532は、例えばLEDまたはLD(Laser Diode)を用いて構成される。
合成部534は、第1光源531が発光した白色光と第2光源533が発光した赤外光を合成し、合成した照明光を顕微鏡装置4Bへ供給する。合成部534は、プリズムおよびレンズを用いて構成される。これにより、第1光源531と第2光源533が同時に発光した場合には、観察対象に対して白色光と赤外光を同時に照射することができる。
信号処理部54Bは、第1画像処理部541Bと、第1検波処理部542Bと、第2画像処理部544Bと、第2検波処理部545Bとを有する。第1画像処理部541Bおよび第1検波処理部542Bは、通信部51が取得した第1画像信号に対して信号処理を施す。また、第2画像処理部544Bおよび第2検波処理部545Bは、通信部51が取得した第2画像信号に対して信号処理を施す。
第1画像処理部541Bは、第1画像信号に対して画像処理部541と同様の画像処理を行うことによって表示用の第1画像信号を生成する。第1検波処理部542Bは、第1画像信号に対して検波処理部542と同様の検波処理を行い、第1画像(白色光画像)の検波情報を制御部55へ出力する。
第2画像処理部544Bは、第2画像信号に対して画像処理部541と同様の画像処理を行うことによって表示用の第2画像信号を生成する。なお、第2画像処理部544Bは、蛍光成分に対して所定の色成分を重畳する処理を行うことによって表示用の第2画像信号を生成してもよい。
第2検波処理部545Bは、第2画像信号に対して検波処理部542と同様の検波処理を行う。第2検波処理部545Bは、第2画像信号に対して検波処理部542と同様の検波処理を行い、第2画像(蛍光画像)の検波情報を制御部55へ出力する。
制御部55の光源制御部551は、入力部46が受け付ける操作信号に応じて、第1光源531のみを発光させるモードと、第1光源531および第2光源533を同時に発光させるモードとを切り替える。
つぎに、顕微鏡装置4Bについて説明する。顕微鏡装置4Bは、撮像部44Bの機能構成が上述した顕微鏡装置4の撮像部44と異なる。撮像部44Bは、第1フィルタ441B、第2フィルタ442B、第1撮像素子443B、および第2撮像素子444Bを有する。
図8は、第1フィルタ441Bおよび第2フィルタ442Bの透過特性を模式的に示す図である。図8では横軸が波長、縦軸が強度である。曲線301は白色光のスペクトル、曲線302は赤外光のスペクトル、曲線303は蛍光のスペクトルをそれぞれ示している。波長帯域W1は、第1フィルタ441Bが透過する波長帯域を示している。また、波長帯域W2は、第2フィルタ442Bが透過する波長帯域を示している。図8から明らかなように、第1フィルタ441Bは白色光のみを透過して赤外光および蛍光をカットする。これに対し、第2フィルタ442Bは蛍光のみを透過して白色光と赤外光をカットする。なお、第2フィルタ442Bは、白色光をカットするフィルタと赤外光をカットするフィルタの2つのフィルタを用いて構成してもよい。
第1撮像素子443Bは、第1フィルタ441Bを透過した白色光を結像して第1画像信号を生成する。また、第2撮像素子444Bは、第2フィルタ442Bを透過した蛍光を結像して第2画像信号を生成する。なお、第1フィルタ441Bおよび第2フィルタ442Bを設ける代わりに、第1撮像素子443Bに第1フィルタ441Bと同様の透過特性を有するカラーフィルタを設ける一方、第2撮像素子444Bに第2フィルタ442Bと同様の透過特性を有するカラーフィルタを設けてもよい。
図9は、制御装置5Bが行う処理の概要を示すフローチャートであって、入力部46が赤外光撮影の指示を受け付けた場合、または入力部46がAFの起動指示を受け付けた場合、または撮像部44を含む撮像部44Bの移動が完了した場合に行う処理の概要を示すフローチャートである。図9においても、一連の処理を開始する時点で第1光源531が白色光を発光していることを前提としている。
まず、光源制御部551は、第1光源531を発光させたまま、第2光源533の発行を開始させる(ステップS41)。これにより、白色光と赤外光が観察対象に同時に照射され、第1撮像素子443Bおよび第2撮像素子444Bは並行して第1画像信号および第2画像信号をそれぞれ生成する。
この後、通信部51が第1画像信号を取得(ステップS42)してからAF制御部552が第1焦点距離L1を算出(ステップS45)するまでの処理は、実施の形態1で説明したステップS1~S4の処理に順次対応している。
また、通信部51が第2画像信号を取得(ステップS46)してからAF制御部552が第2焦点距離L2を算出(ステップS49)するまでの処理は、実施の形態1で説明したステップS6~S9の処理に順次対応している。
ステップS49の後に焦点距離Lを設定するための処理(ステップS50~S54)は、実施の形態1で説明したステップS10~S14の処理に順次対応している。ただし、ステップS52において、AF制御部552は、第2画像信号の検波枠内の明るさと所定の閾値とを比較する。また、ステップS51とステップS53において、AF制御部552は、赤外光撮影における焦点距離を設定する。なお、ステップS50における所定値やステップS52における閾値は、実施の形態1と同じ値である必要はない。
なお、ステップS46~S49の処理をステップS42~S45の処理よりも前に行ってもよい。また、ステップS42~S45の処理と、ステップS46~S49の処理を並列に行ってもよい。また、本実施の形態3においても、AF制御部552が焦点距離の設定を行う際、第1焦点距離L1と第2焦点距離L2の差の絶対値|L1-L2|と所定値ΔLとの比較処理(ステップS50)を行うことなく、第2画像信号の検波枠内の明るさBと閾値Thとを比較し、比較結果に応じて赤外光撮影における焦点距離Lを設定するようにしてもよい。
以上説明した本開示の実施の形態3によれば、白色光と赤外光を同時に照射する場合であっても、実施の形態1と同様、オートフォーカスによるピント合わせを観察対象によらず適切に行うことができる。
また、本実施の形態3によれば、第1焦点距離と第2焦点距離の差の絶対値が所定値より小さい場合、第2画像信号を取得する際の焦点距離を第1焦点距離に設定し、第1焦点距離と第2焦点距離の差の絶対値が所定値以上である場合、第2画像信号の明るさと閾値との比較結果に応じて第2画像信号を取得する際の焦点距離を第1および第2焦点距離のいずれかに設定するため、第2画像信号が暗い場合に第1画像信号の焦点距離に設定するため、ユーザは視認性のよい画像を見て手術等の医療行為を行うことができる。
なお、本実施の形態3においても、上述した実施の形態2と同様、制御装置が画像に応じて検波枠を自動または手動で設定変更する機能を具備してもよい。
(実施の形態4)
図10は、本開示の実施の形態4に係る医療用観察システムの機能構成を示すブロック図である。図10において、実施の形態1で説明した医療用観察システム1および実施の形態3で説明した医療用観察システム1Bと同様の機能構成を有する部位には同じ符号を付している。
図7に示す医療用観察システム1Cは、医療用観察装置2Cと、表示装置3とを備える。医療用観察装置2Cは、顕微鏡装置4Cと、制御装置5Cとを備える。
制御装置5Cは、通信部51と、入力部52と、光源部53Cと、信号処理部54と、制御部55とを有する。光源部53Cは、第1光源531と、第2光源533とを有する。本実施の形態4において、第1光源531と第2光源533は、赤外光撮影を行う際、光源制御部551の制御のもとで白色光と赤外光とを時分割で交互に発光する。
図11は、制御装置5Cが行う処理の概要を説明する図である。図11において時間t0に入力部46が赤外光撮影をオンにする操作を受け付けると、光源制御部551は、第1光源531と第2光源533を時分割で交互に発光させる制御を行う。このうち赤外光撮影を開始直後から時間t1までの第1時間帯ΔT1において、AF制御部552は白色光画像の焦点距離のみを算出する。一方、時間t1から時間t2までの第2時間帯ΔT2において、AF制御部552は赤外光画像の焦点距離のみを算出する。図11では、焦点距離を算出する画像のフレームを実線で示すとともに上向き矢印で指示するとともに、焦点距離を算出しないフレームを破線で示している。なお、第1時間帯ΔT1および第2時間帯ΔT2は、それぞれ焦点距離算出対象の画像を1フレーム以上含んでいればよく、時間帯の長さが互いに異なっていてもよい。また、赤外光撮影を開始した後の第1光源531と第2光源533の発光順序は逆でもよい。
この後、AF制御部552は、第1時間帯ΔT1で算出した白色光画像の焦点距離の平均と、第2時間帯ΔT2で算出した赤外光画像の焦点距離の平均を求め、これらの平均に対して実施の形態1と同様の比較を行うことにより、赤外光撮影における焦点距離を設定する。
図12は、制御装置5Cが行う処理の概要を示すフローチャートであって、入力部46が赤外光撮影の指示を受け付けた場合、または入力部46がAFの起動指示を受け付けた場合、または撮像部44の移動が完了した場合に行う処理の概要を示すフローチャートである。図12では一連の処理を開始する時点(図11に示す赤外光撮影の指示の場合には時間t0)で第1光源531が白色光を発光していることを前提としている。
まず、ステップS61~S63の処理は、実施の形態1で説明したステップS1~S3の処理に順次対応している。
ステップS63の後、制御部55は、ステップS61で取得した第1画像信号の撮影時刻が第1時間帯ΔT1に含まれるか否かを判定する(ステップS64)。判定の結果、第1画像信号の撮影時刻が第1時間帯ΔT1に含まれる場合(ステップS64:Yes)、AF制御部552は第1焦点距離L1を算出する(ステップS65)。この後のステップS66~S69は、実施の形態1で説明したステップS5~S8に順次対応している。なお、ステップS64における判定の結果、第1画像信号の撮影時刻が第1時間帯ΔT1に含まれない場合(ステップS64:No)、制御装置5CはステップS66へ移行する。
ステップS69の後、制御部55は、ステップS67で取得した第2画像信号の撮影時刻が第2時間帯ΔT2に含まれるか否かを判定する(ステップS70)。判定の結果、第2画像信号の撮影時刻が第2時間帯ΔT2に含まれる場合(ステップS70:Yes)、AF制御部552は第2焦点距離L2を算出する(ステップS71)。
続いて、AF制御部552は、第1および第2時間帯が終了したか否かを判定する(ステップS72)。判定の結果、第1および第2時間帯が終了していない場合(ステップS72:No)、光源制御部551は、第1光源531の発光を停止して、第2光源532の発光を開始させる(ステップS73)。その後、制御装置5CはステップS61に戻る。
ステップS72における判定の結果、第1および第2時間帯が終了した場合(ステップS72:Yes)、AF制御部552は、それまでに算出した第1焦点距離L1の平均<L1>、第2焦点距離L2の平均<L2>、および検波情報に含まれる赤外光画像の明るさBの平均<B>をそれぞれ算出する(ステップS74)。
この後、AF制御部552は、AFを行う焦点距離を設定する(ステップS75~S78)。まず、AF制御部552は、第1焦点距離の平均<L1>と第2焦点距離の平均<L2>との差の絶対値|<L1>-<L2>|を算出して所定値ΔLと比較する(ステップS75)。比較の結果、|<L1>-<L2>|<ΔLである場合(ステップS75:Yes)、AF制御部552は第1焦点距離の平均<L1>を赤外光撮影における焦点距離Lに設定する(ステップS76)。
一方、ステップS75における比較の結果、|<L1>-<L2>|≧ΔLである場合(ステップS75:No)、AF制御部552は、第2画像信号の検波枠内のR成分の明るさの平均<B>と閾値Thとを比較する(ステップS77)。<B><Thである場合(ステップS77:Yes)、AF制御部552はステップS76へ移行する。これに対して、<B>≧Thである場合(ステップS77:No)、AF制御部552は第2焦点距離の平均<L2>を赤外光撮影における焦点距離Lに設定する(ステップS78)。
ステップS76またはS78の後、AF制御部552は焦点距離LとするAF制御を行う(ステップS79)。
ステップS70の判定の結果、第2画像信号の撮影時刻が第2時間帯ΔT2に含まれない場合(ステップS70:No)、制御装置5CはステップS72へ移行する。
なお、本実施の形態4においても、AF制御部552が焦点距離の設定を行う際、第1焦点距離L1の平均<L1>と第2焦点距離L2の平均<L2>の差の絶対値|<L1>-<L2>|と所定値ΔLとの比較処理(ステップS75)を行うことなく、第2画像信号の検波枠内の明るさBの平均<B>と閾値Thとを比較し、比較結果に応じて赤外光撮影における焦点距離Lを設定するようにしてもよい。また、ステップS75における所定値やステップS77における閾値は、実施の形態1と同じ値である必要はない。
以上説明した本開示の実施の形態4によれば、白色光と赤外光を時分割で交互に照射する場合であっても、実施の形態3と同様、オートフォーカスによるピント合わせを観察対象によらず適切に行うことができ、ユーザは視認性のよい画像を見て手術等の医療行為を行うことができる。
また、本実施の形態4によれば、第1焦点距離を算出する第1時間帯と、第2焦点距離のみを算出する第2時間帯とに分けて第1および第2焦点距離を算出するため、簡易な構成により実現することができる。
なお、本実施の形態4においても、上述した実施の形態2と同様、制御装置が画像に応じて検波枠を自動または手動で設定変更する機能を具備してもよい。
(その他の実施の形態)
ここまで、本開示を実施するための形態を説明してきたが、本開示は、上述した実施の形態1~4によってのみ限定されるべきものではない。例えば、本開示を他の特殊光観察に適用してもよい。具体的な他の特殊光観察としては、波長415nmおよび540nmを中心波長とする狭帯域の照明光を照射して、各波長の光のヘモグロビンに対する吸収の差を利用して粘膜表層とそれより深い層との血管の状態を観察するNBI(Narrow Band Imaging)や、蛍光剤を被検体内に予め投与しておき、青色励起光(390~440nm)に対してヘモグロビンに吸収されやすい緑色光(540~560nm)を組み合わせた光を照射することによって、被検体の腫瘍部分を診断するAFI(Auto Fluorescence Imaging)等を挙げることができる。
また、本開示に係る医療用観察装置は、撮像装置を備えた内視鏡や外視鏡でもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
オートフォーカス機能を有する撮像装置が、互いに波長帯域が異なる第1および第2の光が照射された観察対象をそれぞれ撮像して生成した第1および第2画像信号を取得する取得部と、
前記第1および第2画像信号の検波情報を検出する信号処理部と、
前記第1画像信号の検波情報に基づいて第1焦点距離を算出し、前記第2画像信号の検波情報に基づいて第2焦点距離を算出し、少なくとも前記第2画像信号の検波情報に基づいて、前記第2の光が照射された観察対象を前記撮像装置に撮像させる際の焦点距離を前記第1および第2焦点距離のいずれかに設定する制御部と、
を備える制御装置。
(2)
前記制御部は、
前記第1焦点距離と前記第2焦点距離の差の絶対値が所定値より小さい場合、前記第2画像信号を取得する際の焦点距離を前記第1焦点距離に設定し、
前記第1焦点距離と前記第2焦点距離の差の絶対値が所定値以上である場合、前記第2画像信号の少なくとも一部の成分の明るさと閾値との比較結果に応じて前記第2画像信号を取得する際の焦点距離を前記第1および第2焦点距離のいずれかに設定する前記(1)に記載の制御装置。
(3)
前記制御部は、
前記第2画像信号の少なくとも一部の成分の明るさと閾値との比較結果に応じて前記第2画像信号を取得する際の焦点距離を設定する前記(1)に記載の制御装置。
(4)
前記制御部は、
前記明るさが前記閾値より小さい場合、前記第2画像信号を取得する際の焦点距離を前記第1焦点距離に設定し、
前記明るさが前記閾値以上である場合、前記第2画像信号を取得する際の焦点距離を前記第2焦点距離に設定する前記(2)または(3)に記載の制御装置。
(5)
前記第1の光は白色光であり、前記第2の光は青色光であり、
前記第1画像信号は白色光画像の信号であり、前記第2画像信号は前記青色光によって励起される物質が発光した赤色の蛍光を含む蛍光画像の信号であり、
前記制御部は、
前記第2画像信号の赤色成分の明るさと閾値とを比較する前記(2)~(4)のいずれか一項に記載の制御装置。
(6)
前記第1の光は白色光であり、前記第2の光は赤外光であり、
前記第1画像信号は白色光画像の信号であり、前記第2画像信号は前記赤外光によって励起される物質が発光した蛍光を含む蛍光画像の信号であり、
前記制御部は、
前記第2画像信号の明るさと閾値とを比較する前記(2)~(4)のいずれか一項に記載の制御装置。
(7)
前記第1および第2画像信号は、前記第1および第2の光を観察対象に同時に照射したときに前記撮像装置が生成した信号である前記(6)に記載の制御装置。
(8)
前記第1および第2画像信号は、前記第1および第2の光を観察対象に時分割で交互に照射したときに前記撮像装置が生成した信号であり、
前記制御部は、
前記第1および第2画像信号を取得して前記第1焦点距離のみを算出する第1時間帯と、前記第1および第2画像信号を取得して前記第2焦点距離のみを算出する第2時間帯とに分けて前記第1および第2焦点距離を算出する前記(6)に記載の制御装置。
(9)
前記制御部は、
画像信号における検波情報の検出範囲を定める検波枠を設定する前記(1)~(8)のいずれか一項に記載の制御装置。
(10)
前記信号処理部は、
前記蛍光が発光している蛍光領域を検出し、
前記制御部は、
前記蛍光領域の検出結果に応じて画像信号における検波情報の検出範囲を定める検波枠を設定する前記(5)~(8)のいずれか一項に記載の制御装置。
(11)
前記制御部は、
前記撮像装置が前記第2画像信号を生成している場合、前記第2画像信号を生成中であることを示す情報を表示装置に表示させる前記(1)~(10)のいずれか一項に記載の制御装置。
(12)
オートフォーカス機能を有し、観察対象を撮像して画像信号を生成する撮像装置と、
前記撮像装置が生成した画像信号に対して処理を施す制御装置と、
を備え、
前記制御装置は、
前記撮像装置が、互いに波長帯域が異なる第1および第2の光が照射された観察対象をそれぞれ生成した第1および第2画像信号を取得する取得部と、
前記第1および第2画像信号の検波情報を検出する信号処理部と、
前記第1画像信号の検波情報に基づいて第1焦点距離を算出し、前記第2画像信号の検波情報に基づいて第2焦点距離を算出し、少なくとも前記第2画像信号の検波情報に基づいて、前記第2の光が照射された観察対象を前記撮像装置に撮像させる際の焦点距離を前記第1および第2焦点距離のいずれかに設定する制御部と、
を有する医療用観察システム。
1、1A、1B、1C 医療用観察システム
2、2A、2B、2C 医療用観察装置
3 表示装置
4、4B、4C 顕微鏡装置
5、5A、5B、5C 制御装置
6 顕微鏡部
7 支持部
8 ベース部
41 レンズユニット
42 レンズ駆動部
43 位置検出部
44、44B 撮像部
45 アーム駆動部
46、52 入力部
47、51 通信部
48 制御部
53、53B、53C 光源部
54、54A、54B 信号処理部
55、55A 制御部
56 記憶部
101、201 観察画像
102、202 蛍光領域
301、302、303 曲線
411 フォーカスレンズ
412 ズームレンズ
441B 第1フィルタ
442B 第2フィルタ
443B 第1撮像素子
444B 第2撮像素子
531 第1光源
532、533 第2光源
534 合成部
541 画像処理部
541B 第1画像処理部
542 検波処理部
542B 第1検波処理部
543 蛍光領域検出部
544B 第2画像処理部
545B 第2検波処理部
551 光源制御部
552 AF制御部
553 表示制御部
554 検波枠設定部
F、F’ 検波枠

Claims (10)

  1. オートフォーカス機能を有する撮像装置が、互いに波長帯域が異なる第1および第2の光が照射された観察対象をそれぞれ撮像して生成した第1および第2画像信号を取得する取得部と、
    前記第1および第2画像信号の検波情報を検出する信号処理部と、
    前記第1画像信号の検波情報に基づいて第1焦点距離を算出し、前記第2画像信号の検波情報に基づいて第2焦点距離を算出し、少なくとも前記第2画像信号の検波情報に基づいて、前記第2の光が照射された観察対象を前記撮像装置に撮像させる際の焦点距離を前記第1および第2焦点距離のいずれかに設定する制御部と、
    を備え
    前記制御部は、
    前記第1焦点距離と前記第2焦点距離の差の絶対値が所定値より小さい場合、前記第2画像信号を取得する際の焦点距離を前記第1焦点距離に設定し、
    前記第1焦点距離と前記第2焦点距離の差の絶対値が所定値以上である場合、前記第2画像信号の少なくとも一部の成分の明るさと閾値との比較結果に応じて前記第2画像信号を取得する際の焦点距離を前記第1および第2焦点距離のいずれかに設定する制御装置。
  2. 前記制御部は、
    前記明るさが前記閾値より小さい場合、前記第2画像信号を取得する際の焦点距離を前記第1焦点距離に設定し、
    前記明るさが前記閾値以上である場合、前記第2画像信号を取得する際の焦点距離を前記第2焦点距離に設定する請求項に記載の制御装置。
  3. 前記第1の光は白色光であり、前記第2の光は青色光であり、
    前記第1画像信号は白色光画像の信号であり、前記第2画像信号は前記青色光によって励起される物質が発光した赤色の蛍光を含む蛍光画像の信号であり、
    前記制御部は、
    前記第2画像信号の赤色成分の明るさと閾値とを比較する請求項1または2に記載の制御装置。
  4. 前記第1の光は白色光であり、前記第2の光は赤外光であり、
    前記第1画像信号は白色光画像の信号であり、前記第2画像信号は前記赤外光によって励起される物質が発光した蛍光を含む蛍光画像の信号であり、
    前記制御部は、
    前記第2画像信号の明るさと閾値とを比較する請求項1または2に記載の制御装置。
  5. 前記第1および第2画像信号は、前記第1および第2の光を観察対象に同時に照射したときに前記撮像装置が生成した信号である請求項に記載の制御装置。
  6. 前記第1および第2画像信号は、前記第1および第2の光を観察対象に時分割で交互に照射したときに前記撮像装置が生成した信号であり、
    前記制御部は、
    前記第1および第2画像信号を取得して前記第1焦点距離のみを算出する第1時間帯と、前記第1および第2画像信号を取得して前記第2焦点距離のみを算出する第2時間帯とに分けて前記第1および第2焦点距離を算出する請求項に記載の制御装置。
  7. 前記制御部は、
    画像信号における検波情報の検出範囲を定める検波枠を設定する請求項1~のいずれか1つに記載の制御装置。
  8. 前記信号処理部は、
    前記蛍光が発光している蛍光領域を検出し、
    前記制御部は、
    前記蛍光領域の検出結果に応じて画像信号における検波情報の検出範囲を定める検波枠を設定する請求項3~6のいずれか1つに記載の制御装置。
  9. 前記制御部は、
    前記撮像装置が前記第2画像信号を生成している場合、前記第2画像信号を生成中であることを示す情報を表示装置に表示させる請求項1~のいずれか1つに記載の制御装置。
  10. オートフォーカス機能を有し、観察対象を撮像して画像信号を生成する撮像装置と、
    前記撮像装置が生成した画像信号に対して処理を施す制御装置と、
    を備え、
    前記制御装置は、
    前記撮像装置が、互いに波長帯域が異なる第1および第2の光が照射された観察対象をそれぞれ撮像して生成した第1および第2画像信号を取得する取得部と、
    前記第1および第2画像信号の検波情報を検出する信号処理部と、
    前記第1画像信号の検波情報に基づいて第1焦点距離を算出し、前記第2画像信号の検波情報に基づいて第2焦点距離を算出し、少なくとも前記第2画像信号の検波情報に基づいて、前記第2の光が照射された観察対象を前記撮像装置に撮像させる際の焦点距離を前記第1および第2焦点距離のいずれかに設定する制御部と、
    を有し、
    前記制御部は、
    前記第1焦点距離と前記第2焦点距離の差の絶対値が所定値より小さい場合、前記第2画像信号を取得する際の焦点距離を前記第1焦点距離に設定し、
    前記第1焦点距離と前記第2焦点距離の差の絶対値が所定値以上である場合、前記第2画像信号の少なくとも一部の成分の明るさと閾値との比較結果に応じて前記第2画像信号を取得する際の焦点距離を前記第1および第2焦点距離のいずれかに設定する医療用観察システム。
JP2020047013A 2020-03-17 2020-03-17 制御装置および医療用観察システム Active JP7486331B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020047013A JP7486331B2 (ja) 2020-03-17 2020-03-17 制御装置および医療用観察システム
US17/155,115 US11684238B2 (en) 2020-03-17 2021-01-22 Control device and medical observation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020047013A JP7486331B2 (ja) 2020-03-17 2020-03-17 制御装置および医療用観察システム

Publications (3)

Publication Number Publication Date
JP2021148886A JP2021148886A (ja) 2021-09-27
JP2021148886A5 JP2021148886A5 (ja) 2023-03-07
JP7486331B2 true JP7486331B2 (ja) 2024-05-17

Family

ID=77747066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020047013A Active JP7486331B2 (ja) 2020-03-17 2020-03-17 制御装置および医療用観察システム

Country Status (2)

Country Link
US (1) US11684238B2 (ja)
JP (1) JP7486331B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210290037A1 (en) * 2020-03-17 2021-09-23 Sony Olympus Medical Solutions Inc. Medical image processing apparatus and medical observation system
JP2023138025A (ja) 2022-03-18 2023-09-29 カシオ計算機株式会社 撮像装置、撮像制御方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276017A (ja) 2007-05-01 2008-11-13 Sony Corp 撮像装置および方法、並びにプログラム
WO2015012096A1 (ja) 2013-07-22 2015-01-29 オリンパスメディカルシステムズ株式会社 医療用観察装置
US20210267443A1 (en) 2020-03-02 2021-09-02 Karl Storz Se & Co Kg Medical Imaging Device With Multiple Imaging Modes

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5443802B2 (ja) * 2009-03-24 2014-03-19 オリンパス株式会社 蛍光観察装置
FR3036187B1 (fr) * 2015-05-12 2019-09-13 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de correction d’une image de fluorescence
JP2020156561A (ja) * 2019-03-25 2020-10-01 株式会社Jvcケンウッド 硬性内視鏡システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276017A (ja) 2007-05-01 2008-11-13 Sony Corp 撮像装置および方法、並びにプログラム
WO2015012096A1 (ja) 2013-07-22 2015-01-29 オリンパスメディカルシステムズ株式会社 医療用観察装置
US20210267443A1 (en) 2020-03-02 2021-09-02 Karl Storz Se & Co Kg Medical Imaging Device With Multiple Imaging Modes

Also Published As

Publication number Publication date
JP2021148886A (ja) 2021-09-27
US11684238B2 (en) 2023-06-27
US20210290036A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
US10362930B2 (en) Endoscope apparatus
JP4846042B2 (ja) 眼科撮像装置、眼科システム及びプログラム
WO2015012096A1 (ja) 医療用観察装置
JP6467746B1 (ja) 内視鏡システムおよび内視鏡システムの作動方法
US20200163538A1 (en) Image acquisition system, control apparatus, and image acquisition method
US10716463B2 (en) Endoscope and endoscope system
JP7486331B2 (ja) 制御装置および医療用観察システム
US20230308628A1 (en) Medical imaging system, medical imaging device, and operation method
JP2022027501A (ja) 撮像装置、位相差オートフォーカスの実行方法、内視鏡システム、およびプログラム
JPWO2018163500A1 (ja) 内視鏡装置
CN111093459A (zh) 内窥镜装置、图像处理方法以及程序
US20200405135A1 (en) Medical observation system
CN114414046A (zh) 观察辅助装置、信息处理方法以及程序
JP6293392B1 (ja) 生体観察システム
US11483489B2 (en) Medical control device and medical observation system using a different wavelength band than that of fluorescence of an observation target to control autofocus
US20210290035A1 (en) Medical control device and medical observation system
JP6288936B2 (ja) 癌診断装置
JP2013013589A (ja) 画像信号処理装置、撮像システム、及び電子内視鏡システム
JPWO2016059906A1 (ja) 内視鏡装置及び内視鏡用光源装置
JP4448320B2 (ja) 電子内視鏡装置
JP2013255857A (ja) 眼科撮像装置及び眼科撮像方法
US20230397801A1 (en) Medical imaging system, medical imaging device, and operation method
US20210266508A1 (en) Medical image processing device, medical observation system, and image processing method
JP2022082298A (ja) 医療用制御装置及び医療用観察システム
JP2000271088A (ja) 眼底撮影装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240507

R150 Certificate of patent or registration of utility model

Ref document number: 7486331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150