JP7454409B2 - 医療用制御装置及び医療用制御装置の制御方法 - Google Patents

医療用制御装置及び医療用制御装置の制御方法 Download PDF

Info

Publication number
JP7454409B2
JP7454409B2 JP2020036302A JP2020036302A JP7454409B2 JP 7454409 B2 JP7454409 B2 JP 7454409B2 JP 2020036302 A JP2020036302 A JP 2020036302A JP 2020036302 A JP2020036302 A JP 2020036302A JP 7454409 B2 JP7454409 B2 JP 7454409B2
Authority
JP
Japan
Prior art keywords
image
medical
display device
control
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020036302A
Other languages
English (en)
Other versions
JP2021137205A (ja
JP2021137205A5 (ja
Inventor
泰平 道畑
浩資 妙見
敏 三井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to JP2020036302A priority Critical patent/JP7454409B2/ja
Priority to US17/149,753 priority patent/US11980348B2/en
Publication of JP2021137205A publication Critical patent/JP2021137205A/ja
Publication of JP2021137205A5 publication Critical patent/JP2021137205A5/ja
Application granted granted Critical
Publication of JP7454409B2 publication Critical patent/JP7454409B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/00078Insertion part of the endoscope body with stiffening means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00105Constructional details of the endoscope body characterised by modular construction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112Connection or coupling means
    • A61B1/00114Electrical cables in or with an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112Connection or coupling means
    • A61B1/00117Optical cables in or with an endoscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20008Globally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本開示は、医療用制御装置及び医療用制御装置の制御方法に関する。
医療現場において、カメラヘッドに硬性鏡を接続し、硬性鏡の挿入部を患者の体内等に挿入して観察対象を撮像する内視鏡装置が知られている。内視鏡装置は、観察対象を撮像する際に、観察対象以外の鉗子やガーゼ等を被写体に含んで撮像してしまう場合が有り得る。表示装置に表示される撮像画像の明るさが鉗子やガーゼの明るさに合っていない場合には、表示装置に表示される画像の明るさが全体的に明るくなることがある。これにより、表示される画像に白飛びが生じ、術者が観察したい部分の情報や色が欠けてしまうことがある。
一般的に、白飛びを低減するために、イメージセンサのダイナミックレンジを拡大することが有効である。例えば、セルサイズが大きく大判のイメージセンサを用いることで、イメージセンサのダイナミックレンジを拡大することができる。これにより、広いダイナミックレンジに対応した画像を撮像することができるため、当該画像が表示装置に表示された際の白飛びを低減することができる。また、白飛びを低減するために、撮像時のシャッタースピードの変更により時間的に異なって撮像された複数枚の明暗画像が合成されるHDR(High Dynamic Range)撮影を行うことも有効である。これにより、広いダイナミックレンジに対応した画像を生成することができるため、当該画像が表示された際の白飛びを低減することができる。
参考までに、下記特許文献1には、広ダイナミックレンジ画像を狭ダイナミックレンジ画像に変換する際に、ユーザの操作に基づき画像中の任意の位置の輝度を最適化する技術が開示されている。
特開2002-135589号公報
内視鏡装置では、カメラヘッドの小型化が求められるため、大判のイメージセンサを用いることが難しい。また、長蓄積露光画像と短蓄積露光画像との2枚を合成してHDR画像を生成する撮影方法は、被写体と撮像素子との相対位置が変化すると画像にブレが生じてしまうため、撮像素子を移動させながら体内の様子を観察する内視鏡装置にこのような撮影方法を用いることは望ましくない。そこで、表示装置のダイナミックレンジが高い程、撮像画像の明るさがより暗くなるように撮像画像の明るさを制御することにより、表示装置にて医療用撮像画像の明るさを明るくして表示した際に生じる白飛びを低減することができる。
ところで、内視鏡装置には、カメラヘッドに対して、複数の異なる種類の硬性鏡を接続することができるものがある。硬性鏡の種類によっては、挿入部の径が異なる等の理由により、硬性鏡が取り込む光の量が異なる。カメラヘッドに接続する硬性鏡が取り込む光の量が少ないと、撮像画像の明るさが暗くなるため、撮像画像に対するゲインを大きくする必要がある。
しかしながら、従来の内視鏡の制御装置では、硬性鏡が取り込む光の量を考慮せずに撮像画像に画像処理を施していたため、硬性鏡の種類によっては撮像画像に適切な画像処理を行うことができないという課題があった。
本開示は、上記に鑑みてなされたものであって、硬性鏡が交換可能な内視鏡装置において、硬性鏡の種類によらず撮像画像に適切な画像処理を施すことができる医療用制御装置及び医療用制御装置の制御方法を提供することを目的とする。
本開示によれば、医療用制御装置は、被検体内に挿入される挿入部を有する硬性鏡が着脱自在に接続され、前記硬性鏡により取り込まれた被写体像を撮像した撮像画像に画像処理を施して、画像を表示する表示装置に表示させる医療用撮像画像を生成する制御装置であって、前記撮像画像に含まれる前記被写体像と該被写体像以外のマスク領域との境界点間の距離であるマスク幅を検出する検出部と、前記マスク幅に応じて前記画像処理に用いる第1のパラメータを算出する制御部と、を備える。
また、本開示によれば、前記制御部は、前記第1のパラメータにより、前記マスク幅が小さいほど前記画像処理におけるデジタルゲインを大きくする。
また、本開示によれば、前記制御部は、前記第1のパラメータにより、前記マスク幅が小さいほど前記画像処理におけるノイズリダクションを強くする。
また、本開示によれば、前記制御部は、前記第1のパラメータにより、前記マスク幅が小さいほど前記画像処理におけるシェーディングを強くする。
また、本開示によれば、前記制御部は、前記第1のパラメータにより、前記マスク幅が小さいほど前記画像処理における黒レベル調整の設定値を大きくする。
また、本開示によれば、前記制御部は、前記第1のパラメータにより、前記マスク幅が小さいほど前記画像処理におけるエンハンスを弱める。
また、本開示によれば、前記制御部は、前記表示装置のダイナミックレンジを特定し、特定された前記表示装置のダイナミックレンジに対応する前記第1のパラメータを算出する。
また、本開示によれば、前記制御部は、前記マスク幅に応じて、前記撮像画像の明るさの制御に用いる第2のパラメータを設定する。
また、本開示によれば、前記制御部は、前記第2のパラメータにより、前記マスク幅が小さいほど撮像部の信号処理におけるアナログゲインを大きくする。
また、本開示によれば、前記制御部は、前記第2のパラメータにより、前記マスク幅が小さいほど撮像部が有する撮像素子の各画素の露光時間を長くする。
また、本開示によれば、前記制御部は、前記第2のパラメータにより、前記マスク幅が小さいほど光源装置から前記挿入部に供給される光量を多くする。
また、本開示によれば、前記制御部は、前記表示装置のダイナミックレンジを特定し、特定された前記表示装置のダイナミックレンジに対応する前記第2のパラメータを算出する。
また、本開示によれば、被検体内に挿入される挿入部を有する硬性鏡が着脱自在に接続され、前記硬性鏡により取り込まれた被写体像を撮像した撮像画像に画像処理を施して、画像を表示する表示装置に表示させる医療用撮像画像を生成する制御装置の制御方法であって、前記撮像画像に含まれる前記被写体像と該被写体像以外のマスク領域との境界点間の距離であるマスク幅を検出する検出ステップと、前記マスク幅に応じて前記画像処理に用いる第1のパラメータを算出する制御ステップと、を含む。
また、本開示によれば、被検体内に挿入される挿入部を有する硬性鏡が着脱自在に接続され、前記硬性鏡により取り込まれた被写体像を撮像した撮像画像に画像処理を施して、画像を表示する表示装置に表示させる医療用撮像画像を生成する制御装置の制御方法であって、前記挿入部の径を取得する取得ステップと、前記挿入部の径に応じて前記画像処理に用いる第1のパラメータを算出する制御ステップと、を含む。
以上説明したように本開示によれば、硬性鏡が交換可能な内視鏡装置において、硬性鏡の種類によらず撮像画像に適切な画像処理を施すことができる医療用制御装置及び医療用制御装置の制御方法を実現することができる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
図1は、本実施の形態に係る概要を示す説明図である。 図2は、本実施の形態に係る医療用制御装置を含む内視鏡装置全体の構成を示す模式図である。 図3は、カメラヘッド及び制御装置の構成を示すブロック図である。 図4は、検出部の構成を示すブロック図である。 図5は、マスク幅を検出する処理を説明する図である。 図6は、医療用制御装置における入出力関係の例を示す説明図である。 図7は、表示装置における入出力関係の例を示す説明図である。 図8は、医療用撮像画像の明るさを説明する図である。 図9は、本実施の形態に係る医療用制御装置の動作の流れを示すシーケンス図である。 図10は、本実施の形態に係る判定処理における処理の流れを示すフローチャートである。 図11は、本実施の形態に係る補正処理における処理の流れを示すフローチャートである。 図12は、本実施の形態に係る表示処理における処理の流れを示すフローチャートである。 図13は、マスク幅を検出する処理を示すフローチャートである。 図14は、内視鏡装置の動作を説明する図である。 図15は、挿入部の径が異なる硬性鏡が接続された際の撮像画像の一例を表す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
(実施の形態)
〔概要〕
以下では、図1を参照しながら、本実施の形態に係る概要について説明する。図1は、本実施の形態に係る概要を示す説明図である。なお、以下では、本実施の形態に係る医療用制御装置が、医療現場で用いられる内視鏡装置に適用された例について説明する。ただし、当該医療用制御装置が適用される対象は内視鏡装置に限定されない。例えば、当該医療用制御装置は、撮像装置を用いて外部から患者等の観察対象を撮像する医療用観察装置に適用されてもよい。
内視鏡装置は、患者の体内等の観察対象を撮像する際に、観察対象以外の鉗子やガーゼ等を被写体に含んで撮像してしまう場合が有り得る。表示装置に表示される撮像画像の明るさが鉗子やガーゼの明るさに合っていない場合には、表示装置に表示される画像の明るさが全体的に明るくなることがある。これにより、表示される画像に白飛びが生じ、術者が観察したい部分の情報や色が欠けてしまうことがある。
一般的に、白飛びを低減するために、イメージセンサのダイナミックレンジを拡大することが有効である。例えば、セルサイズが大きく大判のイメージセンサを用いることで、イメージセンサのダイナミックレンジを拡大することができる。これにより、広いダイナミックレンジに対応した画像を撮像することができるため、当該画像が表示装置に表示された際の白飛びを低減することができる。また、白飛びを低減するために、撮像時のシャッタースピードの変更により時間的に異なって撮像された複数枚の明暗画像が合成されるHDR(High Dynamic Range)撮影を行うことも有効である。これにより、広いダイナミックレンジに対応した画像を生成することができるため、当該画像が表示された際の白飛びを低減することができる。
しかしながら、内視鏡装置では、カメラヘッドの小型化が求められるため、大判のイメージセンサを用いることが難しい。また、長蓄積露光画像と短蓄積露光画像との2枚を合成してHDR画像を生成する撮影方法は、被写体と撮像素子との相対位置が変化すると画像にブレが生じてしまうため、撮像素子を移動させながら体内の様子を観察する内視鏡装置にこのような撮影方法を用いることは望ましくない。
そこで、医療用制御装置は、表示装置のダイナミックレンジが高い程、撮像画像の明るさがより暗くなるように撮像画像の明るさを制御する。これは、ダイナミックレンジが高い範囲の表示装置ほど、医療用撮像画像の明るさを明るく表示でき、明るさを明るくするほど表示される医療用撮像画像に白飛びが生じる可能性が高いからである。医療用制御装置は、表示装置に表示される医療用撮像画像の明るさに応じて、観察対象を撮像する際の明るさを暗くして撮像することで、表示装置にて医療用撮像画像の明るさを明るくして表示した際に生じる白飛びを低減することができる。
本実施の形態では、ダイナミックレンジが高い範囲を示す表示装置は、ダイナミックレンジがハイダイナミックレンジ(HDR:High Dynamic Range)の表示装置である。ここで、HDRの表示装置とは、表示できる画像の最大輝度が1000nit以上である表示装置である。一方、ダイナミックレンジが低い範囲を示す表示装置は、ダイナミックレンジがスタンダードダイナミックレンジ(SDR:Standard Dynamic Range)の表示装置である。ここで、SDRの表示装置とは、表示できる画像の最大輝度が1000nit未満である表示装置である。なお、ダイナミックレンジに基づく表示装置の種類は、上述のHDRの表示装置とSDRの表示装置に限定されず、他のダイナミックレンジに基づく表示装置であってもよい。以下では、医療用撮像画像が表示される表示装置は、HDRの表示装置又はSDRの表示装置のいずれか一方である例について説明する。
また、内視鏡装置では、カメラヘッドに対して、複数の異なる種類の硬性鏡を接続することができるものがある。硬性鏡の種類によっては、挿入部の径が異なる等の理由により、硬性鏡が取り込む光の量が異なる。
本実施の形態では、表示装置のダイナミックレンジが高い程、撮像画像の明るさがより暗くなるように撮像画像の明るさを制御し、さらに、挿入部が取り込む光の量を撮像画像のマスク幅により検知し、撮像画像の明るさを制御するとともに、撮像画像に適切な画像処理を施す。
図1に示す実線のグラフは、SDRの表示装置における入出力関係を示しており、1点鎖線のグラフは、マスク幅が大きい(硬性鏡の挿入部の径が太い(太径))HDRの表示装置における入出力関係を示しており、2点鎖線のグラフは、マスク幅が小さい(硬性鏡の挿入部の径が細い(細径))HDRの表示装置における入出力関係を示している。本実施の形態に係る撮像画像は、図1に示すように、ガンマ補正及び逆ガンマ補正が行われた上で、最終的な医療用撮像画像として出力される。
例えば、医療用撮像画像を表示する表示装置がHDRの表示装置であり、硬性鏡が細径である場合、後述する第1のパラメータ(デジタルゲイン等)を制御する場合には、SDRよりも明るさを暗くするものの、硬性鏡が太径の場合よりも明るく観察対象を撮像する。その結果、図1の撮像時の撮像画像のグラフ(左側)が示すように、HDRの表示装置の出力はSDRの表示装置の出力よりも小さく、硬性鏡が太径の場合よりも大きい。また、例えば、医療用撮像画像を表示する表示装置がHDRの表示装置であり、硬性鏡が細径である場合、後述する第2のパラメータ(露光時間等)を制御する場合には、SDRよりも明るさを暗くするものの、硬性鏡が太径の場合と同じ明るさで観察対象を撮像する。その結果、図1の撮像時の撮像画像(右側)のグラフが示すように、HDRの表示装置の出力はSDRの表示装置の出力よりも小さく、硬性鏡が太径の場合と同じである。さらに、HDRの表示装置の場合の撮像画像に対してガンマ補正と逆ガンマ補正とが行われることで、図1の補正後の撮像画像のグラフが示すように、HDRの表示装置はSDRの表示装置の出力よりも大きく出力をすることができる。
さらに、撮像画像には、硬性鏡の径に応じた画像処理が施される。具体的には、硬性鏡の径に応じて、ゲイン調整やノイズリダクション等の画像処理に用いるパラメータが算出され、硬性鏡に適した画像処理が施される。
以上、図1を参照しながら、本実施の形態に係る概要について説明した。続いて、実施の形態について説明する。
〔内視鏡装置の概略構成〕
図2は、本実施の形態に係る医療用制御装置を含む内視鏡装置全体の構成を示す模式図である。内視鏡装置1は、医療分野において用いられ、生体内を観察する装置である。この内視鏡装置1は、図2に示すように、硬性鏡2と、光源装置3と、ライトガイド4と、カメラヘッド5と、第1伝送ケーブル6と、表示装置7と、第2伝送ケーブル8と、制御装置9と、第3伝送ケーブル10と、を備える。
硬性鏡2は、カメラヘッド5に着脱自在に接続される。硬性鏡2は、図2に示すように、接眼部21と、挿入部22と、を備える。
接眼部21には、カメラヘッド5が接続される。
挿入部22は、硬質又は少なくとも一部が軟質で細長形状を有し、生体内に挿入される。この硬性鏡2内には、1又は複数のレンズを用いて構成され、被写体像を集光する光学系が設けられている。挿入部22の径φは、例えば2.7mm、4mm、5mm、又は10mmであり、内視鏡観察の目的に応じてカメラヘッド5に接続する硬性鏡2を選択することができる。挿入部22の径φが大きい程、硬性鏡が取り込む光の量が多くなり、後述するマスク幅が大きい。
光源装置3は、ライトガイド4の一端が接続され、制御装置9による制御の下、当該ライトガイド4の一端に生体内を照明するための光を供給する。
ライトガイド4は、一端が光源装置3に着脱自在に接続されるとともに、他端が硬性鏡2に着脱自在に接続される。そして、ライトガイド4は、光源装置3から供給された光を一端から他端に伝達し、硬性鏡2に供給する。硬性鏡2に供給された光は、当該硬性鏡2の先端から出射され、生体内に照射される。生体内に照射され、当該生体内で反射された光(被写体像)は、硬性鏡2内の光学系により集光される。
カメラヘッド5は、硬性鏡2の基端(接眼部21(図2))に着脱自在に接続される。そして、カメラヘッド5は、制御装置9による制御の下、硬性鏡2にて取り込まれた被写体像を撮像し、当該撮像による撮像画像(RAW画像)を出力する。当該撮像画像は、例えば、4K以上の画像信号である。なお、カメラヘッド5の詳細な構成については、後述する。
第1伝送ケーブル6は、一端がコネクタCN1(図2)を介して制御装置9に着脱自在に接続され、他端がコネクタCN2(図2)を介してカメラヘッド5に着脱自在に接続される。そして、第1伝送ケーブル6は、カメラヘッド5から出力される画像信号等を制御装置9に伝送するとともに、制御装置9から出力される制御信号、同期信号、クロック、及び電力等をカメラヘッド5にそれぞれ伝送する。なお、第1伝送ケーブル6を介したカメラヘッド5から制御装置9への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第1伝送ケーブル6を介した制御装置9からカメラヘッド5への制御信号、同期信号、クロックの伝送も同様である。
表示装置7は、液晶又は有機EL(ElectroLuminescence)等を用いた表示ディスプレイを用いて構成され、制御装置9による制御の下、当該制御装置9からの医療用撮像画像に基づく画像を表示する。なお、表示装置7の詳細な構成については、後述する。
第2伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第2伝送ケーブル8は、制御装置9にて処理された医療用撮像画像を表示装置7に伝送する。
制御装置9は、CPU(CentralProcessingUnit)等を含んで構成され、光源装置3、カメラヘッド5、及び表示装置7の動作を統括的に制御する。また、制御装置9は、撮像画像に画像処理を施して、表示装置7に表示させる医療用撮像画像を生成する。なお、制御装置9の詳細な構成については、後述する。
第3伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第3伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
〔カメラヘッドの構成〕
次に、カメラヘッド5の構成について説明する。図3は、カメラヘッド及び制御装置の構成を示すブロック図である。なお、図3では、説明の便宜上、制御装置9及びカメラヘッド5と第1伝送ケーブル6との間のコネクタCN1,CN2、制御装置9及び表示装置7と第2伝送ケーブル8との間のコネクタ、制御装置9及び光源装置3と第3伝送ケーブル10との間のコネクタの図示を省略している。
カメラヘッド5は、図2に示すように、レンズユニット51と、レンズ駆動部52と、レンズ位置検出部53と、撮像部54と、通信部55と、を備える。
レンズユニット51は、光軸に沿って移動可能な複数のレンズを用いて構成され、硬性鏡2により取り込まれた被写体像を撮像部54(撮像素子541(図3))の撮像面に結像する。このレンズユニット51は、図3に示すように、フォーカスレンズ511と、ズームレンズ512と、を備える。
フォーカスレンズ511は、1又は複数のレンズを用いて構成され、光軸に沿って移動することにより、焦点を調整する。
ズームレンズ512は、1又は複数のレンズを用いて構成され、光軸に沿って移動することにより、画角を調整する。また、レンズユニット51には、フォーカスレンズ511を光軸に沿って移動させるフォーカス機構(図示略)やズームレンズ512を光軸に沿って移動させる光学ズーム機構(図示略)が設けられている。
レンズ駆動部52は、図3に示すように、上述したフォーカス機構や光学ズーム機構を動作させるモータ521と、当該モータ521を駆動するドライバ522と、を備える。そして、レンズ駆動部52は、制御装置9による制御の下、レンズユニット51の焦点や画角を調整するために、レンズユニット51を駆動する。
レンズ位置検出部53は、フォトインタラプタ等の位置センサを用いて構成され、フォーカスレンズ511のレンズ位置(以下、フォーカス位置と記載)やズームレンズ512のレンズ位置(以下、ズーム位置と記載)を検出する。そして、レンズ位置検出部53は、第1伝送ケーブル6を介して、フォーカス位置及びズーム位置に応じた検出信号を制御装置9に出力する。
撮像部54は、制御装置9による制御の下、生体内を撮像する。この撮像部54は、図2に示すように、撮像素子541と、信号処理部542と、を備える。
撮像素子541は、硬性鏡2により取り込まれ、レンズユニット51が結像した被写体像を受光して電気信号(アナログ信号)に変換するCCD(ChargeCoupledDevice)又はCMOS(ComplementaryMetalOxideSemiconductor)等で構成されている。
信号処理部542は、撮像素子541からの電気信号(アナログ信号)に対して信号処理を行って撮像画像(RAW画像(デジタル信号))を出力する。例えば、信号処理部542は、撮像素子541からの電気信号(アナログ信号)に対して、リセットノイズを除去する処理、当該アナログ信号を増幅するアナログゲインを乗算する処理、及びA/D変換等の信号処理を行う。
通信部55は、第1伝送ケーブル6を介して、撮像部54から出力される画像信号(RAW信号(デジタル信号))を制御装置9に送信するトランスミッタとして機能する。この通信部55は、例えば、第1伝送ケーブル6を介して、制御装置9との間で、1Gbps以上の伝送レートで画像信号の通信を行う高速シリアルインターフェースで構成されている。
〔制御装置の構成〕
次に、制御装置9の構成について図2を参照しながら説明する。制御装置9は、図3に示すように、通信部91と、画像処理部92と、検波処理部93と、検出部94と、制御部95と、表示制御部96と、入力部97と、出力部98と、記憶部99と、を備える。
通信部91は、第1伝送ケーブル6を介して、カメラヘッド5(通信部55)から出力される撮像画像(RAW画像(デジタル信号))を受信するレシーバとして機能する。この通信部91は、例えば、通信部55との間で、1Gbps以上の伝送レートで画像信号の通信を行う高速シリアルインターフェースで構成されている。
画像処理部92は、制御部95による制御の下、カメラヘッド5(通信部55)から出力され、通信部91にて受信した撮像画像(RAW画像(デジタル信号))を処理する。具体的には、画像処理部92は、パラメータ算出部952が算出した第1のパラメータを用いて、撮像画像に画像処理を施す。例えば、画像処理部92は、撮像画像(RAW画像(デジタル信号))に対して、当該デジタル信号を増幅するデジタルゲインを乗算する。また、画像処理部92は、黒レベル調整した後、デジタルゲインを乗算した撮像画像(RAW画像(デジタル信号))に対して、デモザイク処理等のRAW処理を施し、当該RAW画像(撮像画像)をRGB信号(画像信号)に変換する。さらに、画像処理部92は、当該RGB信号(画像信号)に対して、RGB値にそれぞれゲインを乗算するホワイトバランス調整処理、RGBガンマ補正、及びYC変換(RGB信号を輝度信号及び色差信号(Y,C/C信号)に変換)等のRGB処理を施す。また、画像処理部92は、当該Y,C/C信号(画像信号)に対して、色差補正、ノイズリダクション、シェーディング、エンハンス等のYC処理を実行する。
検波処理部93は、画像処理部92にて処理された画像信号(Y,C/C信号)を入力し、当該画像信号(Y,C/C信号)に基づいて、検波処理を実行する。例えば、検波処理部93は、撮像素子541にて撮像された1フレームの撮像画像全体における所定の領域(以下、検波領域と記載)の画素毎の画素情報(輝度信号(Y信号))に基づいて、当該検波領域内の画像のコントラストや周波数成分の検出、フィルタ等による当該検波領域内の輝度平均値や最大最小画素の検出、閾値との比較判定、ヒストグラム等の検出を実行する。そして、検波処理部93は、当該検出により得られた検波情報(コントラスト、周波数成分、輝度平均値、最大最小画素、及びヒストグラム等)を制御部95に出力する。
図4は、検出部の構成を示すブロック図である。検出部94は、画像処理部92にて処理された画像信号(Y,C/C信号)を構成する輝度信号(Y信号)に基づいて、マスクエッジ検出処理、及び第1,第2判定処理を実行する。この検出部94は、図4に示すように、エッジ検出部941と、抽出部942と、処理可否判定部943と、画素位置認識部944と、変化判定部945と、マスク幅算出部946と、を備える。
エッジ検出部941は、入力部97へのホワイトバランスのゲイン(画像処理部92によるホワイトバランス調整処理で用いられるゲイン)を算出させるユーザ操作(以下、ホワイトバランス設定操作と記載)及び処理可否判定部943による第1判定処理の判定結果に応じて、以下に示すマスクエッジ検出処理を実行する。
図5は、マスク幅を検出する処理を説明する図である。具体的には、図5の(a)は、撮像素子にて撮像された撮像画像CI1の一例を示す図である。図5の(b)は、図5の(a)に示した撮像画像CI1中の水平ラインL7での輝度値の分布を示す図である。
ここで、生体内で反射され、硬性鏡2内に取り込まれた光(被写体像)は、断面略円形である。このため、撮像画像CI1内の被写体像SI1は、図5の(a)に示すように、略円形となる。すなわち、撮像画像CI1は、被写体像SI1と、当該被写体像SI1以外のマスク領域MA1(図5の(a)の黒塗りの部分)とを含む。そして、エッジ検出部941は、マスクエッジ検出処理を実行することにより、被写体像SI1とマスク領域MA1との境界点BP(図5の(a))を検出する。
具体的に、エッジ検出部941は、図5の(a)に示すように、画像処理部92にて処理された画像信号(Y,C/C信号)のうち輝度信号(Y信号)を取得する。そして、エッジ検出部941は、当該輝度信号(Y信号)に基づいて、撮像画像CI1内の複数本(本実施の形態では14本)の水平ラインL1~L14での輝度値の分布をそれぞれ検出する。ここで、撮像画像CI1において、被写体像SI1の領域は、マスク領域MA1よりも輝度値が高い。すなわち、例えば、水平ラインL7での輝度分布は、図5の(b)に示すように、被写体像SI1とマスク領域MA1との2つの境界点BP間で輝度値が高くなり、その他の部分で輝度値が低くなる。このため、エッジ検出部941は、輝度値と第1輝度閾値SB11(図5の(b))とを比較し、第1輝度閾値SB11よりも高い輝度値を有する画素が連続して並ぶ領域を被写体像SI1と認識する。また、エッジ検出部941は、輝度値と第1輝度閾値SB11よりも低い第2輝度閾値SB12(図5の(b))とを比較し、第2輝度閾値SB12よりも低い輝度値を有する画素が連続して並ぶ領域をマスク領域MA1と認識する。そして、エッジ検出部941は、被写体像SI1とマスク領域MA1との境界点BP(図5の(a))を認識する。また、エッジ検出部941は、以上の処理を全ての水平ラインL1~L14について実行することで、被写体像SI1とマスク領域MA1との複数の境界点BPを認識する。
抽出部942は、画像処理部92にて処理された画像信号(Y,C/C信号)のうち輝度信号(Y信号)を取得する。そして、抽出部942は、当該輝度信号(Y信号)に基づいて、撮像画像CI1内の中央に位置する水平ラインL7(図5の(a))上の各画素の輝度値と第1輝度閾値SB11とを比較し、第1輝度閾値SB11よりも高い輝度値を有する第1画素を抽出する。また、抽出部942は、水平ラインL7での輝度値と第2輝度閾値SB12とを比較し、第2輝度閾値SB12よりも高い輝度値を有する第2画素を抽出する。
処理可否判定部943は、以下に示す第1判定処理を実行する。すなわち、処理可否判定部943は、抽出部942にて抽出された第1画素が水平ラインL7上で連続して並ぶ画素数(以下、第1連続画素数N1(図14参照)と記載)と第1画素数閾値SN1(図14の(a)参照)とを比較し、第1連続画素数N1が第1画素数閾値SN1以上である処理可能状態であるか、第1連続画素数N1が第1画素数閾値SN1未満である処理不可能状態であるかを判定する。また、処理可否判定部943は、抽出部942にて抽出された第2画素が水平ラインL7上で連続して並ぶ画素数(以下、第2連続画素数N2(図14参照)と記載)と第2画素数閾値SN2(図14の(a)参照)とを比較し、第2連続画素数N2が第2画素数閾値SN2以上である処理可能状態であるか、第2連続画素数N2が第2画素数閾値SN2未満である処理不可能状態であるかを判定する。そして、処理可否判定部943は、第1判定処理の判定結果に応じた検出信号を制御部95に出力する。
画素位置認識部944は、処理可否判定部943にて処理可能状態であると判定された場合に、第2連続画素数N2が第2画素数閾値SN2以上となる第2画素の画素位置を認識する。
変化判定部945は、以下に示す第2判定処理を実行する。すなわち、変化判定部945は、画素位置認識部944にて認識された画素位置の全ての画素がエッジ検出部941によるマスクエッジ検出処理の後、抽出部942にて第2画素として継続して抽出されているか否かを判定する。
マスク幅算出部946は、境界点BPの位置情報に基づいて、マスク幅MW1(図5の(b))を算出する。具体的には、マスク幅算出部946は、撮像画像CI1内の中央に位置する水平ラインL7上に位置する2つの境界点BPの間の距離をマスク幅MW1として算出する。マスク幅MW1は、硬性鏡2が取り込む光の量に対応しており、マスク幅MW1が大きいほど硬性鏡2が取り込む光の量が多い。硬性鏡2が取り込む光の量は、挿入部22の径や光学系等によって定まり、挿入部22の径が大きいほど硬性鏡2が取り込む光の量が多い。
制御部95は、例えば、CPU等を用いて構成され、第1~第3伝送ケーブル6,8,10を介して制御信号を出力することで、光源装置3、カメラヘッド5、及び表示装置7の動作を制御するとともに、制御装置9全体の動作を制御する。
この制御部95は、図3に示すように、レンズ制御部951と、パラメータ算出部952と、画像処理制御部953と、明るさ制御部954と、を備える。
レンズ制御部951は、レンズ駆動部52を動作させ、レンズユニット51の焦点や画角を調整(フォーカス位置やズーム位置を変更)する。例えば、レンズ制御部951は、検波処理部93から出力された検波情報(コントラストや周波数成分)に基づいて、撮像画像CI1に含まれる被写体像SI1の合焦状態を評価するための合焦評価値を算出する。ここで、レンズ制御部951は、検波処理部93にて検出されたコントラストや、検波処理部93にて検出された周波数成分のうち高周波成分の和を合焦評価値とする。なお、合焦評価値は、値が大きいほどフォーカスが合っていることを示す。そして、レンズ制御部951は、レンズ位置検出部53にて検出されたフォーカス位置と、当該合焦評価値とに基づいて、山登り法等により被写体像SI1が合焦状態となるフォーカス位置にフォーカスレンズ511を位置付けるAF処理を実行する。なお、当該AF処理は、常時、実行する所謂、コンティニュアスAFを採用してもよく、あるいは、カメラヘッド5等に設けられた操作ボタン(図示略)の操作に応じて実行する所謂、ワンタッチAFを採用しても構わない。
パラメータ算出部952は、マスク幅MW1と、表示装置7のダイナミックレンジとに応じて画像処理に用いる第1のパラメータ及び撮像画像CI1の明るさの制御に用いる第2のパラメータを算出する。本実施の形態では、パラメータ算出部952は、画像処理部92におけるデジタルゲイン、ノイズリダクション、シェーディング、黒レベル調整の設定値、及びエンハンス等の画像処理に関する第1のパラメータを算出する。また、パラメータ算出部952は、撮像部54の信号処理におけるアナログゲイン、撮像部54が有する撮像素子541の各画素の露光時間、及び光源装置3から挿入部22に供給される光量等の撮像画像CI1の明るさに関する第2のパラメータを算出する。また、パラメータ算出部952は、画像処理部92によるホワイトバランス調整処理でRGB値にそれぞれ乗算されるゲインを算出する。そして、パラメータ算出部952は、画像処理部92に制御信号を出力し、当該画像処理部92によるホワイトバランス調整処理でRGB値にそれぞれ乗算されるゲインを当該算出したゲインとする。
画像処理制御部953は、パラメータ算出部952にて算出された第1のパラメータに基づいて、画像処理部92の動作を制御する。具体的には、画像処理制御部953は、画像処理部92に制御信号を出力し、当該画像処理部92にて行われる各種の画像処理をパラメータ算出部952にて算出された第1のパラメータにより制御する。画像処理制御部953にて画像処理部92の動作が制御されることで、撮像画像CI1にマスク幅MW1及び表示装置7のダイナミックレンジに応じた適切な画像処理が施される。
明るさ制御部954は、パラメータ算出部952にて算出された第2のパラメータに基づいて、撮像素子541、信号処理部542、及び光源装置3の動作を制御する。具体的には、明るさ制御部954は、第1伝送ケーブル6を介して撮像部54に制御信号を出力し、撮像素子541の各画素の露光時間をパラメータ算出部952にて算出された第2のパラメータにより制御する。また、明るさ制御部954は、第1伝送ケーブル6を介して撮像部54に制御信号を出力し、信号処理部542にて乗算されるアナログゲインをパラメータ算出部952にて算出された第2のパラメータにより制御する。さらに、明るさ制御部954は、明るさ制御部954は、第3伝送ケーブル10を介して光源装置3に制御信号を出力し、当該光源装置3から硬性鏡2に供給される光の光量をパラメータ算出部952にて算出された第2のパラメータにより制御する。以上のように明るさ制御部954にて撮像素子541、信号処理部542、及び光源装置3の動作が制御されることで、撮像画像CI1の明るさを挿入部22の径及び表示装置7のダイナミックレンジに応じた適切な明るさにすることができる。
表示制御部96は、表示装置7における医療用撮像画像の表示を制御する。医療用撮像画像の表示の制御としては、例えば、表示制御部96は、表示制御処理を行い、医療用撮像画像が表示装置7に表示される際の明るさの制御を行う。
ここで、図6を参照しながら、ガンマ補正について説明する。図6は、医療用制御装置における入出力関係の例を示す説明図である。図6に示すグラフの横軸は、制御装置9に入力されるデータを示し、縦軸は、制御装置9から出力されるデータを示す。
通常、表示装置7には、入力された撮像画像に対応する画像がそのまま出力されることが理想である。当該理想のように画像が出力されるには、表示装置7における入出力関係を示すガンマ値が1.0に設定されている必要がある。しかしながら、一般的には、表示装置7におけるガンマ値は1.0ではなく2.2に設定されており、入力された撮像画像のRGBの値を小さくして撮像画像に対応する医療用撮像画像を暗くする逆ガンマ補正という処理が行われている。そのため、表示装置7に対して撮像画像を撮像時の状態のまま入力すると、表示装置7における逆ガンマ補正により医療用撮像画像が暗く表示される。そのため、撮像画像が表示装置7に入力される前に予めRGBの値を大きくしておくことで、表示装置7にて医療用撮像画像が暗く表示されることを防ぐことができる。上述のように、RGBの値を予め大きくする処理は、ガンマ補正と称される。
なお、ガンマ値が1.0である場合の入出力関係は、図6に示す破線のようになる。また、ガンマ値が2.2の場合の入出力関係は、図6に示す実線のようになり、当該関係はSDRの表示装置7における入出力関係に相当する。なお、マスク幅が大きい(挿入部22の径が太い)場合のHDRの表示装置7における入出力関係は、図6に示す1点鎖線のようになる。また、マスク幅が小さい(挿入部22の径が細い)場合のHDRの表示装置7における入出力関係は、図6に示す2点鎖線のようになる。当該1点鎖線及び2点鎖線は、HLG(Hybrid Log Gamma)方式に基づく入出力関係を示している。なお、HDRの表示装置7における入出力関係は、PQ(Perceptual Quantization)方式に基づく入出力関係であってもよい。
制御装置9では、表示制御部96が撮像画像に対して表示装置7が有するガンマ値に基づきガンマ補正を行い、ガンマ補正が行われた撮像画像から生成される医療用撮像画像を表示装置7に表示させる。例えば、表示制御部96は、表示装置7と所定のガンマ値を有する表示装置7とに表示される医療用撮像画像の中間の輝度値が同一となるように、撮像画像に対してガンマ補正を行う。具体的に、表示制御部96は、医療用撮像画像がHDRの表示装置7に表示される場合、HDRの表示装置7とガンマ値が2.2のSDRの表示装置7とに表示される医療用撮像画像の中間の輝度値が同一となるようにガンマ補正を行う。これにより、表示装置7は、HDRの表示装置7とSDRの表示装置7の両方における医療用撮像画像の視認性が同一となるように、各々の表示装置7に医療用撮像画像を表示することができる。
また、表示制御部96は、制御部95による制御の下、OSD(オンスクリーンディスプレイ)処理等により、画像処理部92にて処理された画像信号(Y,C/C信号)に基づく撮像画像CI1上に「もう一度、ホワイトバランス設定操作を行って下さい」等のメッセージを含む画像(警告情報に相当)を重畳した表示用の医療用撮像画像を生成する。そして、表示制御部96は、第2伝送ケーブル8を介して、当該医療用撮像画像を表示装置7に出力する。
入力部97は、マウス、キーボード、及びタッチパネル等の操作デバイスを用いて構成され、医師等のユーザによるユーザ操作(例えば、ホワイトバランス設定操作)を受け付ける。そして、入力部97は、ユーザ操作に応じた操作信号を制御部95に出力する。
出力部98は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部99は、制御部95が実行するプログラムや、制御部95の処理に必要な情報等を記憶する。
〔表示装置の構成〕
以下では、図7及び図8を参照しながら、表示装置7の機能構成例について説明する。図7は、表示装置における入出力関係の例を示す説明図である。に示すグラフの横軸は、表示装置7に入力されるデータを示し、縦軸は、表示装置7から出力されるデータを示す。
表示装置7は、少なくとも制御部(図示しない)を備える。当該制御部は、ガンマ補正によりRGBの値が予め大きくされた撮像画像に対して、逆ガンマ補正を行う。これにより、当該制御部は、撮像画像のRGBの値を小さくすることで、図7に破線で示されている理想的な入出力関係により近づけた上で、撮像画像を医療用撮像画像として表示装置7に表示させる。
医療用撮像画像がSDRの表示装置7に表示される場合、当該制御部は、図7の実線が示す入出力関係に基づき、逆ガンマ補正を行う。なお、実線が示す入出力関係は、ガンマ値が2.2の場合の入出力関係を示している。また、医療用撮像画像が、マスク幅が大きい(挿入部22の径が太い)場合のHDRの撮像画像に表示される場合、当該制御部は、図7に示す1点鎖線が示す入出力関係に基づき、逆ガンマ補正を行う。また、医療用撮像画像が、マスク幅が小さい(挿入部22の径が細い)場合のHDRの撮像画像に表示される場合、当該制御部は、図7に示す2点鎖線が示す入出力関係に基づき、逆ガンマ補正を行う。なお、1点鎖線及び2点鎖線が示す入出力関係は、HLG方式に基づく入出力関係を示している。なお、HDRの表示装置7における入出力関係は、PQ方式に基づく入出力関係であってもよい。
図8は、医療用撮像画像の明るさを説明する図である。図8には、SDRの表示装置7に表示された医療用撮像画像を基準値として、各条件の画像の明るさを図示した。まず、マスク幅が小さい(挿入部22の径が細い)場合には、マスク幅が大きい(挿入部22の径が太い)場合より硬性鏡2に取り込まれる光量が少ないため、マスク幅が大きい(挿入部22の径が太い)場合より暗い明るさ(例えば3倍であるが挿入部22の径により異なる)で撮像される。また、HDRの表示装置7に表示された医療用撮像画像は、HDRの表示装置7に表示されるため、SDRの表示装置7に表示された医療用撮像画像よりも暗い明るさ(例えば2~4倍)で撮像されている。この場合、マスク幅が小さく(挿入部22の径が細く)、かつHDRの表示装置7に表示された医療用撮像画像は、上記基準値より6~12倍暗い明るさで撮像される。
〔制御部における処理の概要〕
制御部95は、画像処理部92、撮像素子541、信号処理部542、及び光源装置3の動作を制御する。具体的に、制御部95は、判定情報に基づき、表示装置7のダイナミックレンジを特定する。次いで、制御部95は、判定情報に基づき、マスク幅MW1を特定する。そして、制御部95は、特定された表示装置7のダイナミックレンジ及びマスク幅MW1に対応する第1のパラメータ及び第2のパラメータを決定する。より具体的に、制御部95は、以下に示す判定情報取得処理、判定処理、及びパラメータ決定処理が行われる。
(判定情報取得処理)
制御部95は、まず、判定情報を取得する。判定情報は、制御装置9に接続されている表示装置7を判定するための情報と、カメラヘッド5に接続されている硬性鏡2を判定するための情報とを含み、操作情報とダイナミックレンジ情報とマスク幅の情報とを含み得る。
操作情報とは、ユーザによる所定の操作により入力される操作に関する情報である。例えば、ユーザは、医療用撮像画像を表示する表示装置7を選択する選択操作を行う。制御部95は、ユーザが選択した表示装置7に関する情報を操作情報(判定情報)として取得する。
ダイナミックレンジ情報とは、表示装置7のダイナミックレンジを示す情報である。制御部95は、例えば、制御装置9に接続されている表示装置7からダイナミックレンジ情報を取得する。また、制御部95は、制御装置9に接続されている表示装置7から識別情報を取得し、当該識別情報に基づき、表示装置7のダイナミックレンジ情報を取得してもよい。例えば、制御部95は、取得した識別情報に基づき、制御装置9の記憶部99に予め登録されている表示装置7のダイナミックレンジ情報を参照することで、表示装置7のダイナミックレンジ情報を取得する。
なお、制御部95は、制御装置9と表示装置7とが片方向通信のみ可能なケーブル等で接続されている場合、表示装置7からダイナミック情報又は識別情報を取得できないため、上述の操作情報を取得する。一方、制御部95は、制御装置9と表示装置7とが双方向通信可能なケーブル等で接続されている場合、上述のダイナミックレンジ情報又は識別情報を表示装置7から取得する。片方向通信のみ可能なケーブルは、例えば、SDI(Serial Digital Interface)ケーブル等である。また、双方向通信可能なケーブルは、例えば、HDMI(登録商標)(High-Difintiion Multimedia Interface)ケーブル又はDisplay Portケーブル等である。なお、SDIケーブルにより制御装置9と表示装置7が接続される場合、制御装置9は表示装置7へユーザIDを送信し、表示装置7は当該ユーザIDに応じて逆ガンマ補正及び明るさの調整を行ってもよい。この場合、ユーザIDは、ユーザが使用する表示装置7と対応付けられているものとする。
マスク幅とは、上述のマスク幅算出部946が算出した撮像画像CI1のマスク幅MW1である。マスク幅MW1は、挿入部22が被検体像を取り込む際に、挿入部22の鏡筒によって光が物理的に遮蔽されることにより撮像できない境域となるマスク領域MA1と被写体像SI1との境界点BPが描く円の直径である。従って、マスク領域MA1は、挿入部22の径φ(図2参照)によって大きさが異なる。制御部95は、検出部94からマスク幅MW1を表す情報(判定情報)を取得する。ただし、制御装置9が検出部94を有しない場合、制御部95は、ユーザが選択した硬性鏡2に関する操作情報により、マスク幅を取得してもよい。また、制御部95は、硬性鏡2から取得した識別情報によりマスク幅を取得してもよい。この場合、制御装置9の記憶部99には、硬性鏡2の識別情報とマスク幅との対応関係を表すテーブルが記録されている。
(判定処理)
制御部95は、取得した判定情報に基づき、表示装置7のダイナミックレンジとマスク幅MW1とを特定する。例えば、制御部95は、所定の選択操作に基づき、表示装置7のダイナミックレンジを特定する。具体的に、制御部95は、判定情報として取得した操作情報より、ユーザが選択操作により選択した表示装置7を確認する。そして、制御部95は、ユーザに選択された表示装置7のダイナミックレンジを、制御装置9に接続された表示装置7のダイナミックレンジとして特定する。また、制御部95は、判定情報として取得したダイナミックレンジ情報に基づき、表示装置7のダイナミックレンジを特定する。具体的に、制御部95は、判定情報として取得したダイナミックレンジ情報が示すダイナミックレンジを、制御装置9に接続された表示装置7のダイナミックレンジとして特定する。また、制御部95は、判定情報として取得したマスク幅MW1に基づき、マスク幅を確認する。具体的に、制御部95は、判定情報として取得したマスク領域MA1を、マスク幅として特定する。
制御部95は、判定処理にて特定した表示装置7のダイナミックレンジとマスク幅MW1とに基づき、撮像部54にどのように観察対象を撮像させるか、及び撮像画像にどのように画像処理を施すのかを決定する。例えば、表示装置7のダイナミックレンジがHDRである場合、表示装置7は、輝度を高くして医療用撮像画像を表示する。そのため、制御部95は、撮像部54に明るさを暗くして観察対象を撮像させると決定する。一方、表示装置7のダイナミックレンジがSDRである場合、表示装置7は、輝度を高くすることなく医療用撮像画像を表示する。そのため、制御部95は、撮像部54に明るさを暗くせずに観察対象を撮像させると決定する。例えば、マスク幅が小さい(挿入部22が細径)場合、図8で説明したように、マスク幅が大きい(挿入部22が太径)場合よりも明るさが暗く撮像される。そのため、制御部95は、画像処理部92におけるゲインをマスク幅が大きい(挿入部22が太径)の場合よりも小さくさせると決定する。
(パラメータ決定処理)
制御部95は、判定処理の結果に応じて、第1のパラメータ及び第2のパラメータを決定する。例えば、撮像部54に明るさを暗くして観察対象を撮像させると決定した場合、制御部95は、表示装置7のダイナミックレンジと、所定のダイナミックレンジとを比較し、比較の結果に基づき第2のパラメータを決定する。具体的に、制御部95は、表示装置7のダイナミックレンジの最大値と、所定のダイナミックレンジの最大値との差分を抽出し、当該差分に基づき、第2のパラメータを決定する。
例えば、制御部95は、表示装置7のダイナミックレンジの最大値が、所定のダイナミックレンジの最大値のn倍(nは実数)である場合、表示装置7における第2のパラメータにより定まる明るさ目標値を、所定のダイナミックレンジに対応する第2のパラメータにより定まる明るさ目標値の1/n倍とする。具体的に、制御装置9に接続された表示装置7のダイナミックレンジがHDRであり、HDRの表示装置7のダイナミックレンジの最大値がSDRの表示装置7のダイナミックレンジの最大値の2倍であったとする。この場合、制御部95は、HDRの表示装置7における第2のパラメータにより定まる明るさ目標値をSDRの表示装置7の第2のパラメータにより定まる明るさ目標値の1/2倍とする。
なお、第2のパラメータは、撮像部54が観察対象を撮像する際の明るさが明るくなるように決定されてもよい。また、表示装置7における明るさの目標値を算出する際の所定のダイナミックレンジに対応する目標値に乗算する倍率は、1/n倍に限定されず、任意の倍率が設定されてもよい。
例えば、制御部95は、画像処理部92におけるゲインを小さくさせると決定した場合、撮像画像CI1のマスク領域MA1と、所定のマスク幅とを比較し、比較の結果に基づき第1のパラメータを決定する。
(明るさの制御処理)
制御部95は、例えば、光源装置3が発光する光の光量を制御することで、撮像部54が観察対象を撮像する際の明るさを調整する。具体的に、撮像時の明るさを明るくしたい場合、制御部95は、光源装置3が発光する光の光量を多くする。これにより、観察対象に投射される光量が多くなるため、撮像時の明るさが明るくなり、撮像画像の明るさも明るくなる。一方、撮像時の明るさを暗くしたい場合、制御部95は、光源装置3が発光する光の光量を少なくする。これにより、観察対象に投射される光量が少なくなるため、撮像時の明るさが暗くなり、撮像画像の明るさも暗くなる。
また、制御部95は、例えば、撮像素子541の露光時間を制御することで、撮像部54が観察対象を撮像する際の明るさを調整してもよい。具体的に、撮像時の明るさを明るくしたい場合、制御部95は、撮像素子541の露光時間を長くする。これにより、観察対象からの受光量が多くなるため、撮像時の明るさが明るくなり、撮像画像の明るさも明るくなる。一方、撮像時の明るさを暗くしたい場合、制御部95は、撮像素子541の露光時間を短くする。これにより、観察対象からの受光量が少なくなるため、撮像時の明るさが暗くなり、撮像画像の明るさも暗くなる。
また、制御部95は、例えば、信号処理部542におけるアナログゲインを制御することで、撮像画像の明るさを調整してもよい。具体的に、撮像画像を明るくしたい場合、制御部95は、信号処理部542におけるアナログゲインを大きくする。これにより、撮像画像の明るさが明るくなる。一方、撮像画像を暗くしたい場合、制御部95は、信号処理部542におけるアナログゲインを小さくする。これにより、撮像画像の明るさが暗くなる。
(画像処理の制御処理)
制御部95は、例えば、画像処理部92による画像処理のデジタルゲイン、ノイズリダクション、シェーディング、黒レベル調整の設定値、エンハンス等に用いるパラメータを制御することで、撮像画像に対する画像処理を調整する。具体的に、画像処理部92におけるゲインを大きくした(挿入部22が細径)場合、撮像画像に含まれるノイズも増幅されるため、制御部95は、画像処理部92におけるノイズリダクションを強くする。これにより、撮像画像のノイズを低減させることができる。一方、ゲインを小さく(挿入部22が太径)した場合、制御部95は、画像処理部92におけるノイズリダクションを弱くし、ノイズリダクションによる解像度の低下や画像のボケを低減させる。
同様に、画像処理部92におけるゲインを大きくした(挿入部22が細径)場合、撮像画像の明るさのムラが増幅されるため、制御部95は、画像処理部92におけるシェーディングを強くする。これにより、撮像画像の明るさのムラを低減させることができる。一方、ゲインを小さく(挿入部22が太径)した場合、制御部95は、画像処理部92におけるシェーディングを弱くし、シェーディングによる解像度の低下や画像のボケを低減させる。なお、制御部95は、マスク幅MW1に応じて、シェーディングを行う領域を被写体像SI1に一致させることが好ましい。シェーディングを行う領域にマスク領域MA1が含まれると、適切なシェーディングを行うことができなくなるためである。
同様に、画像処理部92におけるゲインを大きくした(挿入部22が細径)場合、撮像画像の黒レベルも持ち上がるため、制御部95は、画像処理部92における黒レベル調整の設定値を大きくする。黒レベル調整では、設定値より暗い(輝度が小さい)部分をマスク領域MA1として黒く塗りつぶす。これにより、被写体像SI1とマスク領域MA1との境界が鮮明になる。一方、ゲインを小さく(挿入部22が太径)した場合、制御部95は、画像処理部92における黒レベル調整の設定値を小さくする。
同様に、画像処理部92におけるゲインを大きくした(挿入部22が細径)場合、制御部95は、画像処理部92におけるエンハンスを弱める。エンハンスを強くするとノイズが目立ちやすくなるためである。一方、ゲインを小さく(挿入部22が太径)した場合、制御部95は、画像処理部92におけるエンハンスを強くする。
〔その他の制御処理〕
また、制御部95は、例えば、ズーム機能(光学ズーム機能及び電子ズーム機能)を含む、AF機能の制御などの一般的に電子撮像式の顕微鏡部に備えられる1又は2以上の機能の制御を行ってもよい。
〔内視鏡装置の動作〕
以下では、図9~図12を参照しながら、本実施の形態に係る内視鏡装置1の動作例について説明する。
(1)内視鏡装置1全体の動作例
まず、内視鏡装置1が表示装置7に医療用撮像画像を表示するまでの一連の動作例について説明する。図9は、本実施の形態に係る医療用制御装置の動作の流れを示すシーケンス図である。
図9に示すように、まず、制御部95は、判定情報を取得する(ステップS1000)。次いで、制御部95は、取得した判定情報に基づき、制御装置9に接続されている表示装置7のダイナミックレンジ及びマスク幅MW1を判定する判定処理を行う(ステップS1002)。なお、判定処理の詳細処理については、後述される。次いで、制御部95は、判定処理の結果に基づき、第1のパラメータ及び第2のパラメータを決定する(ステップS1004)。そして、制御部95は、決定した第2のパラメータに対応する医療用撮像画像を撮像するように、撮像部54へ撮像指示を出力する(ステップS1006)。
制御部95から撮像指示を入力された撮像部54は、撮像指示に従い観察対象を撮像し(ステップS1008)、撮像によって得られた撮像画像を制御部95へ出力する(ステップS1010)。
撮像部54から撮像画像を入力された制御部95は、撮像画像に対して、撮像画像が送信される表示装置7に応じた補正処理を行う(ステップS1012)。なお、補正処理の詳細処理については後述される。補正処理後、制御部95は、表示制御部96を介して補正した撮像画像を表示装置7へ送信する(ステップS1014)。
撮像画像を受信した表示装置7は、撮像画像を医療用撮像画像として表示するための表示処理を行う(ステップS1016)。なお、表示処理の詳細処理については、後述される。内視鏡装置1は、当該表示処理にて表示装置7に医療用撮像画像が表示されると動作を終了する。
(2)判定処理
次いで、本実施の形態に係る制御部95における、判定処理の詳細処理について説明する。図10は、本実施の形態に係る判定処理における処理の流れを示すフローチャートである。
図10に示すように、まず、制御部95は、取得した判定情報より、制御装置9に接続されている表示装置7のダイナミックレンジを特定する(ステップS1200)。次いで、制御部95は、特定したダイナミックレンジがHDRであるか否かを確認する(ステップS1202)。特定したダイナミックレンジがHDRである場合(ステップS1202/YES)、制御部95は、取得した判定情報より、マスク幅MW1を特定する(ステップS1204)。なお、マスク幅MW1を算出する処理については後述される。次いで、制御部95は、特定したマスク幅MW1が大きいか否かを確認する(ステップS1206)。特定したマスク幅MW1が所定値より大きい場合(ステップS1206/YES)、制御部95は、硬性鏡2の挿入部22が太径であると判断し、太径HDR用の第2のパラメータを用いて撮像部54に観察対象を撮像させ、太径HDR用の第1のパラメータを用いて画像処理部92に撮像画像に対する画像処理を施させると決定する(ステップS1208)。一方、特定したマスク幅MW1が所定値以下である場合(ステップS1206/NO)、制御部95は、細径HDR用の第2のパラメータを用いて撮像部54に観察対象を撮像させ、細径HDR用の第1のパラメータを用いて画像処理部92に撮像画像に対する画像処理を施させると決定する(ステップS1210)。また、特定したダイナミックレンジがHDRでない場合(ステップS1202/NO)、制御部95は、SDR用の第2のパラメータを用いて撮像部54に観察対象を撮像させ、SDR用の第1のパラメータを用いて画像処理部92に撮像画像に対する画像処理を施させると決定する(ステップS1212:制御ステップ)。そして、制御部95は、判定処理を終了する。
(3)補正処理
次いで、本実施の形態に係る制御部95における、補正処理の詳細処理について説明する。図11は、本実施の形態に係る補正処理における処理の流れを示すフローチャートである。
図11に示すように、まず、制御部95は、入力された撮像画像にデジタルゲインを乗算した後、黒レベル調整、デモザイク処理等のRAW処理を施し、当該RAW画像(撮像画像)をRGB信号(画像信号)に変換し、ホワイトバランスを調整する(ステップS1400)。次いで、制御部95は、表示装置7のダイナミックレンジ及び挿入部22の径に応じたガンマ補正を行う(ステップS1402)。例えば、ダイナミックレンジがHDRであり、挿入部22の径が太径である場合、制御部95は、太径HDR用のガンマ値を用いて、撮像画像に対してガンマ補正を行う。また、ダイナミックレンジがHDRであり、挿入部22の径が細径である場合、制御部95は、細径HDR用のガンマ値を用いて、撮像画像に対してガンマ補正を行う。また、ダイナミックレンジがSDRである場合、制御部95は、SDR用のガンマ値を用いて、撮像画像に対してガンマ補正を行う。そして、制御部95は、ガンマ補正後の撮像画像をRGBからYCbCrへ変換し(ステップS1404)、当該Y,C/C信号対して、色差補正、ノイズリダクション、シェーディング、エンハンス等のYC処理を実行し、補正処理を終了する。補正処理において、デジタルゲイン、ノイズリダクション、シェーディング、黒レベル調整の設定値、及びエンハンス等の画像処理には、第1のパラメータが適宜用いられる。
(4)表示処理
次いで、本実施の形態に係る表示装置7における、表示処理の詳細処理について説明する。図12は、本実施の形態に係る表示処理における処理の流れを示すフローチャートである。
図12に示すように、まず、表示装置7は、受信した撮像画像をYCbCrからRGBへ変換する(ステップS1600)。次いで、表示装置7は、変換した撮像画像に対して、表示装置7のダイナミックレンジ及び挿入部22の径に応じた逆ガンマ補正を行う(ステップS1602)。例えば、ダイナミックレンジがHDRであり、挿入部22の径が太径である場合、表示装置7は、太径HDR用のガンマ値を用いて、撮像画像に対して逆ガンマ補正を行う。また、ダイナミックレンジがHDRであり、挿入部22の径が細径である場合、表示装置7は、細径HDR用のガンマ値を用いて、撮像画像に対して逆ガンマ補正を行う。また、ダイナミックレンジがSDRである場合、表示装置7は、SDR用のガンマ値を用いて、撮像画像に対して逆ガンマ補正を行う。そして、表示装置7は、補正された撮像画像に対応する医療用撮像画像を生成し、生成した医療用撮像画像を表示し(ステップS1604)、表示処理を終了する。
(マスク幅を算出する処理)
次に、上述した内視鏡装置1の動作(マスク幅を算出する処理)について説明する。図13は、マスク幅を検出する処理を示すフローチャートである。図14は、内視鏡装置の動作を説明する図である。具体的に、図14は、図5の(a)に示した撮像画像CI1中の中央に位置する水平ラインL7での輝度値の分布を示す図である。なお、以下では、検出部94、検波処理部93、表示制御部96、及び表示装置7の動作を主に説明する。
まず、医師等のユーザは、ガーゼ等の白色の被写体を硬性鏡2の先端に被せ、硬性鏡2の視野範囲に当該被写体を設置する(ステップS1261:被写体設置ステップ)。
そして、内視鏡装置1は、当該被写体の撮像を開始する(ステップS1262:撮像ステップ)。
ステップS1262の後、制御部95は、入力部97に対してホワイトバランス設定操作が有ったか否かを常時、監視する(ステップS1263:操作受付ステップ)。すなわち、ホワイトバランス設定操作がないと判断した場合(ステップS1263:No)には、ステップS1263での監視を継続する。
ホワイトバランス設定操作が有ったと判断された場合(ステップS1263:Yes)には、抽出部942は、画像処理部92にて処理された画像信号(Y,C/C信号)のうち輝度信号(Y信号)を取得する。そして、抽出部942は、当該輝度信号(Y信号)に基づいて、撮像画像CI1内の中央に位置する水平ラインL7上の各画素の輝度値と第1輝度閾値SB11とを比較し、第1輝度閾値SB11よりも高い輝度値を有する第1画素を抽出する(ステップS1264)。
ステップS1264の後、処理可否判定部943は、ステップS1263で抽出された第1画素が水平ラインL7上で連続して並ぶ第1連続画素数N1と第1画素数閾値SN1とを比較し、第1連続画素数N1が第1画素数閾値SN1以上であるか否か(処理可能状態であるか処理不可能状態であるか)を判定する(ステップS1265)。そして、処理可否判定部943は、当該判定結果に応じた信号を制御部95に出力する。
ここで、図14の(a)は、カメラヘッド5に硬性鏡2が装着され、かつ、ステップS1261で硬性鏡2の視野範囲に白色の被写体が設置された状態(以下、第1の状態と記載)での撮像画像CI1中の水平ラインL7での輝度値の分布を示している。そして、第1の状態では、被写体像SI1の輝度値が十分に高いものとなり、第1連続画素数N1が第1画素数閾値SN1以上となるため、ステップS1265では、処理可能状態であると判定される。
また、図14の(b)は、カメラヘッド5に硬性鏡2が装着されているが、ステップS1261で硬性鏡2の視野範囲に白色の被写体を設置していない状態(以下、第2の状態と記載)での撮像画像CI1中の水平ラインL7での輝度値の分布を示している。そして、第2の状態では、被写体像SI1の輝度値のバラつきが大きいものとなり、第1連続画素数N1が第1画素数閾値SN1未満となるため、ステップS1265では、処理不可能状態であると判定される。
さらに、図14の(c)は、カメラヘッド5に硬性鏡2が装着されていない状態(以下、第3の状態と記載)での撮像画像CI1中の水平ラインL7での輝度値の分布を示している。そして、第3の状態では、カメラヘッド5から硬性鏡2が取り外されているため、撮像画像CI1全体の輝度値のバラつきが大きいものなる。このため、第2の状態と同様に、第1連続画素数N1が第1画素数閾値SN1未満となり、ステップS1265では、処理不可能状態であると判定される。
第1連続画素数N1が第1画素数閾値SN1未満である(処理不可能状態である)と判定された場合(ステップS1265:No)には、第2,第3の状態である可能性があり、マスクエッジ検出処理で境界点BPを高精度に検出することができない。このため、表示制御部96は、制御部95による制御の下、撮像画像CI1上に「もう一度、ホワイトバランス設定操作を行って下さい」等のメッセージを含む画像(警告情報)を重畳した表示画像を表示装置7に表示させる(ステップS1266)。この後、内視鏡装置1は、ステップS1263に戻る。
一方、第1連続画素数N1が第1画素数閾値SN1以上である(処理可能状態である)と判定された場合(ステップS1265:Yes)には、抽出部942は、画像処理部92にて処理された画像信号(Y,C/C信号)のうち輝度信号(Y信号)を取得する。そして、抽出部942は、当該輝度信号(Y信号)に基づいて、撮像画像CI1内の中央に位置する水平ラインL7上の各画素の輝度値と第2輝度閾値SB12とを比較し、第2輝度閾値SB12よりも低い輝度値を有する第2画素を抽出する(ステップS1267)。なお、ステップS1267は、当該ステップS1267以降、他の処理と並行して常時、継続する。
ステップS1267の後、処理可否判定部943は、ステップS1267で抽出された第2画素が水平ラインL7上で連続して並ぶ第2連続画素数N2と第2画素数閾値SN2とを比較し、第2連続画素数N2が第2画素数閾値SN2以上であるか否か(処理可能状態であるか処理不可能状態であるか)を判定する(ステップS1268)。そして、処理可否判定部943は、当該判定結果に応じた信号を制御部95に出力する。
ここで、第1,第2の状態では、カメラヘッド5に硬性鏡2が装着されている。すなわち、図14の(a)又は図14の(b)に示すように、マスク領域MA1の輝度値が十分に低いものとなり、第2連続画素数N2が第2画素数閾値SN2以上となるため、ステップS1268では、処理可能状態であると判定される。
また、第3の状態では、カメラヘッド5に硬性鏡2が装着されていない。すなわち、図14の(c)に示すように、撮像画像CI1全体の輝度値のバラつきが大きいものとなり、第2連続画素数N2が第2画素数閾値SN2未満となるため、ステップS1268では、処理不可能状態であると判定される。
第2連続画素数N2が第2画素数閾値SN2未満である(処理不可能状態である)と判定された場合(ステップS1268:No)には、第3の状態である可能性があり、マスクエッジ検出処理で境界点BPを高精度に検出することができない。このため、内視鏡装置1は、ステップS1266に移行する。
一方、第2連続画素数N2が第2画素数閾値SN2以上である(処理可能状態である)と判定された場合(ステップS1268:Yes)には、画素位置認識部944は、ステップS1268の判定に用いられた第2連続画素数N2が第2画素数閾値SN2以上となる第2画素の画素位置(マスク領域MA1の各画素位置)を認識する(ステップS1269)。
ステップS1269の後、エッジ検出部941は、マスクエッジ検出処理を実行する(ステップS1270:マスクエッジ検出ステップ)。
ステップS1270の後、マスク幅算出部946は、水平ラインL7上に位置する2つの境界点BPの間の距離をマスク幅MW1として算出する(ステップS1271:検出ステップ)。
図15は、挿入部の径が異なる硬性鏡が接続された際の撮像画像の一例を表す図である。具体的には、図15の(a)は、図5に示す撮像画像CI1より挿入部22の径が細い場合に撮像素子にて撮像された撮像画像CI2の一例を示す図である。図15の(b)は、図15の(a)に示した撮像画像CI2中の水平ラインL7での輝度値の分布を示す図である。挿入部22の径が細い場合、図15に示すように、被写体像SI2が小さくなり、マスク領域MA2が拡大する。これは、挿入部22の径が細いことにより、視野がけられる領域が拡大するためである。その結果、撮像画像CI2における水平ラインL7の2つの境界点BP間の距離であるマスク幅MW2が小さくなる。なお、第1輝度閾値SB21及び第2輝度閾値SB22は、第1輝度閾値SB11及び第2輝度閾値SB12と同じ値であってもよいが異なる値を用いてもよい。
ステップS1271の後、変化判定部945は、ステップS1269で認識された画素位置の全ての画素がステップS1270の後、抽出部942にて第2画素として継続して抽出されているか否かを判定する(ステップS1273)。そして、変化判定部945は、当該判定結果に応じた信号を制御部95に出力する。
ここで、第1の状態でマスクエッジ検出処理が実行された後、第2の状態に移行した場合には、白色の被写体を硬性鏡2の先端から取り外しただけであるため、図14の(a)と図14の(b)とを比較して分かるように、マスク領域MA1内の各画素の輝度値に変化はない。このため、ステップS1273では、「Yes」と判定される。
一方、第1の状態でマスクエッジ検出処理が実行された後、第3の状態に移行した場合には、カメラヘッド5から硬性鏡2が取り外されるため、撮像画像CI1全体の輝度値のバラつきが大きいものとなる。すなわち、図14の(a)と図14の(c)とを比較して分かるように、第1の状態で認識されたマスク領域MA1の各画素位置の一部の画素が第2画素として抽出されなくなる(第2輝度閾値SB12以上となる)。このため、ステップS1273では、「No」と判定される。
第2画素として継続して抽出されていないと判定された場合(ステップS1273:No)には、第1の状態から第3の状態に移行し、硬性鏡2を当該硬性鏡2とは異なる硬性鏡2(例えば、径が異なり、撮像画像CI1中の被写体像SI1の径が異なるものとなる硬性鏡2)に交換される可能性がある。このため、内視鏡装置1は、ステップS1266に移行する。
一方、第2画素として継続して抽出されていると判定された場合(ステップS1273:Yes)には、内視鏡装置1は、ステップS1273を継続する。
以上説明した本実施の形態によれば、以下の効果を奏する。本実施の形態に係る制御装置9の制御部95は、マスク幅に応じて、画像処理部92による画像処理のデジタルゲイン、ノイズリダクション、シェーディング、黒レベル調整の設定値、エンハンス等に用いる第1のパラメータを制御する。その結果、硬性鏡2が交換可能な内視鏡装置1において、硬性鏡の種類によらず撮像画像に適切な画像処理を施すことができる。さらに、制御部95は、マスク幅に応じて、撮像画像CI1の明るさの制御に用いる第2のパラメータを制御する。その結果、硬性鏡2が交換可能な内視鏡装置1において、硬性鏡の種類によらず適切な明るさの撮像画像を取得することができる。
(その他の実施の形態)
ここまで、本開示を実施するための形態を説明してきたが、本開示は上述した実施の形態によってのみ限定されるべきものではない。上述した実施の形態において、カメラヘッド5に設けられていた構成(レンズユニット51、レンズ駆動部52、レンズ位置検出部53、及び撮像部54)の少なくとも一部を硬性鏡2内の先端に設けても構わない。
また、上述した実施の形態において、制御部95の機能の少なくとも一部を制御装置9の外部(カメラヘッド5、コネクタCN1,CN2等)に設けても構わない。さらに、上述した実施の形態において、各種操作を受け付ける入力部は、制御装置9に限らず、例えば、カメラヘッド5に設けてもよい。上述した実施の形態において、内視鏡装置1は、工業分野で用いられ、機械構造物等の被検体内部を観察する内視鏡装置としても構わない。
また、上述した実施の形態において、検出部94はマスク幅を検出して、制御部95は、マスク幅に応じて、画像処理部92による画像処理のデジタルゲイン、ノイズリダクション、シェーディング、黒レベル調整の設定値、エンハンス等に用いる第1のパラメータや、撮像画像CI1の明るさの制御に用いる第2のパラメータを制御しているが、これに代えて、ユーザが制御装置9に、硬性鏡2の挿入部22の径を入力し、入力された径に応じて、制御部95は、第1のパラメータを制御してもよい。さらに、制御部95は、入力された径に応じて、第2のパラメータを制御してもよい。すなわち、制御装置9は、硬性鏡2の挿入部22の径を取得し、取得した径に応じて、第1のパラメータを制御してもよいし、さらに、第2のパラメータを制御してもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部又は全部が別々の装置として実現されても良い。例えば、制御装置9、表示装置7及び医療用制御装置は、単独の装置として実現されてもよい。また、例えば、医療用制御装置が、制御装置9、表示装置7とネットワーク等で接続されたサーバ装置として実現されてもよい。
また、本明細書において説明した制御装置9は、各構成要素の一部又は全部が別々の装置として実現されることでシステムとして構成されてもよい。例えば、制御装置9は光源及び撮像装置を備え、制御部は外部装置により実現されるシステムであってもよい。
また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体(非一時的な媒体:non-transitory media)に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にRAMに読み込まれ、CPUなどのプロセッサにより実行される。
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
被検体内に挿入される挿入部を有する硬性鏡が着脱自在に接続され、前記硬性鏡により取り込まれた被写体像を撮像した撮像画像に画像処理を施して、画像を表示する表示装置に表示させる医療用撮像画像を生成する制御装置であって、
前記撮像画像に含まれる前記被写体像と該被写体像以外のマスク領域との境界点間の距離であるマスク幅を検出する検出部と、
前記マスク幅に応じて前記画像処理に用いる第1のパラメータを算出する制御部と、
を備える医療用制御装置。
(2)
前記制御部は、前記第1のパラメータにより、前記マスク幅が小さいほど前記画像処理におけるデジタルゲインを大きくする前記(1)に記載の医療用制御装置。
(3)
前記制御部は、前記第1のパラメータにより、前記マスク幅が小さいほど前記画像処理におけるノイズリダクションを強くする前記(1)又は(2)に記載の医療用制御装置。
(4)
前記制御部は、前記第1のパラメータにより、前記マスク幅が小さいほど前記画像処理におけるシェーディングを強くする前記(1)~(3)のいずれか一項に記載の医療用制御装置。
(5)
前記制御部は、前記第1のパラメータにより、前記マスク幅が小さいほど前記画像処理における黒レベル調整の設定値を大きくする前記(1)~(4)のいずれか一項に記載の医療用制御装置。
(6)
前記制御部は、前記第1のパラメータにより、前記マスク幅が小さいほど前記画像処理におけるエンハンスを弱める前記(1)~(5)のいずれか一項に記載の医療用制御装置。
(7)
前記制御部は、前記表示装置のダイナミックレンジを特定し、特定された前記表示装置のダイナミックレンジに対応する前記第1のパラメータを算出する前記(1)~(6)のいずれか一項に記載の医療用制御装置。
(8)
前記制御部は、前記マスク幅に応じて、前記撮像画像の明るさの制御に用いる第2のパラメータを設定する前記(1)~(7)のいずれか一項に記載の医療用制御装置。
(9)
前記制御部は、前記第2のパラメータにより、前記マスク幅が小さいほど撮像部の信号処理におけるアナログゲインを大きくする前記(8)に記載の医療用制御装置。
(10)
前記制御部は、前記第2のパラメータにより、前記マスク幅が小さいほど撮像部が有する撮像素子の各画素の露光時間を長くする前記(8)又は(9)に記載の医療用制御装置。
(11)
前記制御部は、前記第2のパラメータにより、前記マスク幅が小さいほど光源装置から前記挿入部に供給される光量を多くする前記(8)~(10)のいずれか一項に記載の医療用制御装置。
(12)
前記制御部は、前記表示装置のダイナミックレンジを特定し、特定された前記表示装置のダイナミックレンジに対応する前記第2のパラメータを算出する前記(8)~(11)のいずれか一項に記載の医療用制御装置。
(13)
被検体内に挿入される挿入部を有する硬性鏡が着脱自在に接続され、前記硬性鏡により取り込まれた被写体像を撮像した撮像画像に画像処理を施して、画像を表示する表示装置に表示させる医療用撮像画像を生成する制御装置の制御方法であって、
検出部が、前記撮像画像に含まれる前記被写体像と該被写体像以外のマスク領域との境界点間の距離であるマスク幅を検出する検出ステップと、
制御部が、前記マスク幅に応じて前記画像処理に用いる第1のパラメータを算出する制御ステップと、
を含む医療用制御装置の制御方法。
(14)
被検体内に挿入される挿入部を有する硬性鏡が着脱自在に接続され、前記硬性鏡により取り込まれた被写体像を撮像した撮像画像に画像処理を施して、画像を表示する表示装置に表示させる医療用撮像画像を生成する制御装置の制御方法であって、
前記挿入部の径を取得する取得ステップと、
前記挿入部の径に応じて前記画像処理に用いる第1のパラメータを算出する制御ステップと、
を含む医療用制御装置の制御方法。
1 内視鏡装置
2 硬性鏡
3 光源装置
4 ライトガイド
5 カメラヘッド
6 第1伝送ケーブル
7 表示装置
8 第2伝送ケーブル
9 制御装置
10 第3伝送ケーブル
21 接眼部
22 挿入部
51 レンズユニット
52 レンズ駆動部
53 レンズ位置検出部
54 撮像部
55 通信部
91 通信部
92 画像処理部
93 検波処理部
94 検出部
95 制御部
96 表示制御部
97 入力部
98 出力部
99 記憶部
100 警告情報報知部
511 フォーカスレンズ
512 ズームレンズ
521 モータ
522 ドライバ
541 撮像素子
542 信号処理部
941 エッジ検出部
942 抽出部
943 処理可否判定部
944 画素位置認識部
945 変化判定部
946 マスク幅算出部
951 レンズ制御部
952 パラメータ算出部
953 画像処理制御部
954 明るさ制御部
BP 境界点
CI1,CI2 撮像画像
CN1,CN2 コネクタ
L1~L14 水平ライン
MA1,MA2 マスク領域
MW1,MW2 マスク幅
N1,N2 第1,第2連続画素数
SB11,SB21 第1輝度閾値
SB12,SB22 第2輝度閾値
SN1,SN2 第1,第2画素数閾値
SI1,SI2 被写体像

Claims (13)

  1. 被検体内に挿入される挿入部を通じて取り込まれる被写体像を撮像した撮像画像に画像処理を施して、画像を表示する表示装置に表示させる医療用撮像画像を生成する制御装置であって、
    前記撮像画像に含まれる前記被写体像と該被写体像以外のマスク領域との境界点間の距離であるマスク幅を検出する検出部と、
    前記マスク幅に応じて前記画像処理に用いる第1のパラメータを算出する制御部と、
    を備え
    前記制御部は、前記第1のパラメータにより、前記マスク幅が小さいほど前記画像処理におけるノイズリダクションを強くする医療用制御装置。
  2. 被検体内に挿入される挿入部を通じて取り込まれる被写体像を撮像した撮像画像に画像処理を施して、画像を表示する表示装置に表示させる医療用撮像画像を生成する制御装置であって、
    前記撮像画像に含まれる前記被写体像と該被写体像以外のマスク領域との境界点間の距離であるマスク幅を検出する検出部と、
    前記マスク幅に応じて前記画像処理に用いる第1のパラメータを算出する制御部と、
    を備え、
    前記制御部は、前記第1のパラメータにより、前記マスク幅が小さいほど前記画像処理におけるシェーディングを強くする医療用制御装置。
  3. 被検体内に挿入される挿入部を通じて取り込まれる被写体像を撮像した撮像画像に画像処理を施して、画像を表示する表示装置に表示させる医療用撮像画像を生成する制御装置であって、
    前記撮像画像に含まれる前記被写体像と該被写体像以外のマスク領域との境界点間の距離であるマスク幅を検出する検出部と、
    前記マスク幅に応じて前記画像処理に用いる第1のパラメータを算出する制御部と、
    を備え、
    前記制御部は、前記第1のパラメータにより、前記マスク幅が小さいほど前記画像処理における黒レベル調整の設定値を大きくする医療用制御装置。
  4. 前記制御部は、前記第1のパラメータにより、前記マスク幅が小さいほど前記画像処理におけるデジタルゲインを大きくする請求項1~3のいずれか一項に記載の医療用制御装置。
  5. 前記制御部は、前記第1のパラメータにより、前記マスク幅が小さいほど前記画像処理におけるエンハンスを弱める請求項1~のいずれか一項に記載の医療用制御装置。
  6. 前記制御部は、前記表示装置のダイナミックレンジを特定し、特定された前記表示装置のダイナミックレンジに対応する前記第1のパラメータを算出する請求項1~のいずれか一項に記載の医療用制御装置。
  7. 前記制御部は、前記マスク幅に応じて、前記撮像画像の明るさの制御に用いる第2のパラメータを設定する請求項1~のいずれか一項に記載の医療用制御装置。
  8. 前記制御部は、前記第2のパラメータにより、前記マスク幅が小さいほど撮像部の信号
    処理におけるアナログゲインを大きくする請求項に記載の医療用制御装置。
  9. 前記制御部は、前記第2のパラメータにより、前記マスク幅が小さいほど撮像部が有する撮像素子の各画素の露光時間を長くする請求項又はに記載の医療用制御装置。
  10. 前記制御部は、前記第2のパラメータにより、前記マスク幅が小さいほど光源装置から前記挿入部に供給される光量を多くする請求項のいずれか一項に記載の医療用制御装置。
  11. 前記制御部は、前記表示装置のダイナミックレンジを特定し、特定された前記表示装置のダイナミックレンジに対応する前記第2のパラメータを算出する請求項10のいずれか一項に記載の医療用制御装置。
  12. 被検体内に挿入される挿入部を通じて取り込まれる被写体像を撮像した撮像画像に画像処理を施して、画像を表示する表示装置に表示させる医療用撮像画像を生成する制御装置の制御方法であって、
    検出部が、前記撮像画像に含まれる前記被写体像と該被写体像以外のマスク領域との境界点間の距離であるマスク幅を検出する検出ステップと、
    制御部が、
    前記マスク幅に応じて前記画像処理に用いる第1のパラメータにより、
    前記マスク幅が小さいほど前記画像処理におけるノイズリダクションを強くする、
    前記マスク幅が小さいほど前記画像処理におけるシェーディングを強くする、
    又は、前記マスク幅が小さいほど前記画像処理における黒レベル調整の設定値を大きくするように、前記第1のパラメータを算出する制御ステップと、
    を含む医療用制御装置の制御方法。
  13. 被検体内に挿入される挿入部を通じて取り込まれる被写体像を撮像した撮像画像に画像処理を施して、画像を表示する表示装置に表示させる医療用撮像画像を生成する制御装置の制御方法であって、
    前記制御装置が、前記挿入部の径を取得する取得ステップと、
    制御部が、前記挿入部の径に応じて前記画像処理に用いる第1のパラメータにより、
    前記挿入部の径が小さいほど前記画像処理におけるノイズリダクションを強くする、
    前記挿入部の径が小さいほど前記画像処理におけるシェーディングを強くする、
    又は、前記挿入部の径が小さいほど前記画像処理における黒レベル調整の設定値を大きくするように、前記第1のパラメータを算出する制御ステップと、
    を含む医療用制御装置の制御方法。
JP2020036302A 2020-03-03 2020-03-03 医療用制御装置及び医療用制御装置の制御方法 Active JP7454409B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020036302A JP7454409B2 (ja) 2020-03-03 2020-03-03 医療用制御装置及び医療用制御装置の制御方法
US17/149,753 US11980348B2 (en) 2020-03-03 2021-01-15 Medical control apparatus and method of controlling medical control apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020036302A JP7454409B2 (ja) 2020-03-03 2020-03-03 医療用制御装置及び医療用制御装置の制御方法

Publications (3)

Publication Number Publication Date
JP2021137205A JP2021137205A (ja) 2021-09-16
JP2021137205A5 JP2021137205A5 (ja) 2023-02-14
JP7454409B2 true JP7454409B2 (ja) 2024-03-22

Family

ID=77556067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020036302A Active JP7454409B2 (ja) 2020-03-03 2020-03-03 医療用制御装置及び医療用制御装置の制御方法

Country Status (2)

Country Link
US (1) US11980348B2 (ja)
JP (1) JP7454409B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210290037A1 (en) * 2020-03-17 2021-09-23 Sony Olympus Medical Solutions Inc. Medical image processing apparatus and medical observation system
US11743596B1 (en) * 2020-05-22 2023-08-29 Verily Life Sciences Llc Adaptive brightness non-uniformity correction in endoscope visualization
CN114529477A (zh) * 2022-02-28 2022-05-24 山东威高手术机器人有限公司 一种具有高动态范围的双目内窥镜、系统及成像方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046833A1 (en) 2015-08-10 2017-02-16 The Board Of Trustees Of The Leland Stanford Junior University 3D Reconstruction and Registration of Endoscopic Data
JP2018138141A (ja) 2017-02-24 2018-09-06 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置
JP2019033917A (ja) 2017-08-17 2019-03-07 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡システム
JP2019162280A (ja) 2018-03-20 2019-09-26 ソニー株式会社 内視鏡システム、制御方法、情報処理装置、およびプログラム
JP2020005844A (ja) 2018-07-06 2020-01-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察装置
WO2020039716A1 (ja) 2018-08-21 2020-02-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980227B2 (en) * 2001-10-01 2005-12-27 Pentax Corporation Electronic endoscope with light-amount adjustment apparatus
JP2009219573A (ja) * 2008-03-14 2009-10-01 Fujinon Corp 内視鏡用画像処理装置及び内視鏡用画像処理方法
US8279349B2 (en) * 2009-11-17 2012-10-02 Nice Systems Ltd. Automatic control of visual parameters in video processing
JP5830328B2 (ja) * 2011-09-26 2015-12-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置及び画像処理方法
JP5976342B2 (ja) * 2012-03-02 2016-08-23 Hoya株式会社 電子内視鏡システム
JP6711286B2 (ja) * 2015-02-12 2020-06-17 ソニー株式会社 画像処理装置、画像処理方法、プログラムおよび画像処理システム
JP6266179B2 (ja) * 2015-12-22 2018-01-24 オリンパス株式会社 内視鏡用画像処理装置及び内視鏡システム
JP2018138139A (ja) * 2017-02-24 2018-09-06 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置、及び医療用観察システム
US10485629B2 (en) * 2017-02-24 2019-11-26 Sony Olympus Medical Solutions Inc. Endoscope device
JP6873740B2 (ja) * 2017-02-24 2021-05-19 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置及びエッジ検出方法
US11418700B2 (en) * 2017-03-27 2022-08-16 Sony Olympus Medical Solutions Inc. Control device, endoscope system, processing method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046833A1 (en) 2015-08-10 2017-02-16 The Board Of Trustees Of The Leland Stanford Junior University 3D Reconstruction and Registration of Endoscopic Data
JP2018138141A (ja) 2017-02-24 2018-09-06 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置
JP2019033917A (ja) 2017-08-17 2019-03-07 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡システム
JP2019162280A (ja) 2018-03-20 2019-09-26 ソニー株式会社 内視鏡システム、制御方法、情報処理装置、およびプログラム
JP2020005844A (ja) 2018-07-06 2020-01-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察装置
WO2020039716A1 (ja) 2018-08-21 2020-02-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察装置

Also Published As

Publication number Publication date
US20210281731A1 (en) 2021-09-09
JP2021137205A (ja) 2021-09-16
US11980348B2 (en) 2024-05-14

Similar Documents

Publication Publication Date Title
JP7454409B2 (ja) 医療用制御装置及び医療用制御装置の制御方法
JP6247425B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2015146380A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP7036176B2 (ja) 表示制御装置、表示制御方法および表示制御プログラム
JP2008118383A (ja) デジタルカメラ
JP2009100935A (ja) 撮影装置および内視鏡システム
JP2011010194A (ja) ボカシ画像形成装置及びそれを備えたカメラ
US10548465B2 (en) Medical imaging apparatus and medical observation system
JP5953373B2 (ja) 内視鏡装置
JP6873740B2 (ja) 内視鏡装置及びエッジ検出方法
JP6071440B2 (ja) 撮像装置及びその制御方法
JP6904727B2 (ja) 内視鏡装置
JP7171274B2 (ja) 医療用画像処理装置及び医療用観察装置
JP7016681B2 (ja) 内視鏡システム
JP6430880B2 (ja) 内視鏡システム、及び、内視鏡システムの作動方法
JP6243629B2 (ja) 画像処理装置及び方法、及び撮像装置
JP6240813B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP2009273691A (ja) 内視鏡画像処理装置および方法
JP5245648B2 (ja) 画像処理装置、及び、プログラム
US11778325B2 (en) Image processing apparatus, image processing method, and image processing program
JP5088225B2 (ja) 映像信号処理装置、撮像装置及び映像信号処理方法
JP7433914B2 (ja) 撮像装置およびその制御方法
JP2022110536A (ja) 医療用制御装置及び医療用観察システム
JP2005303595A (ja) 撮像装置
JP2007020762A (ja) プロセッサ及び電子内視鏡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240311

R151 Written notification of patent or utility model registration

Ref document number: 7454409

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151