JPWO2017168986A1 - 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム - Google Patents

制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム Download PDF

Info

Publication number
JPWO2017168986A1
JPWO2017168986A1 JP2018508433A JP2018508433A JPWO2017168986A1 JP WO2017168986 A1 JPWO2017168986 A1 JP WO2017168986A1 JP 2018508433 A JP2018508433 A JP 2018508433A JP 2018508433 A JP2018508433 A JP 2018508433A JP WO2017168986 A1 JPWO2017168986 A1 JP WO2017168986A1
Authority
JP
Japan
Prior art keywords
image
angle
image quality
correction data
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018508433A
Other languages
English (en)
Other versions
JP7289653B2 (ja
Inventor
貴美 水倉
貴美 水倉
丈士 上森
丈士 上森
健太郎 深沢
健太郎 深沢
菊地 大介
大介 菊地
恒生 林
恒生 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017168986A1 publication Critical patent/JPWO2017168986A1/ja
Application granted granted Critical
Publication of JP7289653B2 publication Critical patent/JP7289653B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00183Optical arrangements characterised by the viewing angles for variable viewing angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0623Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for off-axis illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

【課題】可変視野内視鏡装置によって撮像される画像の画質劣化を低減することが可能な技術が提供されることが望まれる。【解決手段】内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御する画質制御部、を備える、制御装置が提供される。【選択図】図1

Description

本開示は、制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システムに関する。
近年、内視鏡装置に関する様々な技術が開示されている。例えば、撮像素子によって撮像された画像から検出される動きベクトルとジャイロセンサによって検出された角速度とに基づいて内視鏡装置の回転中心を推定し、推定した回転中心に基づいて、手振れ補正を行ったり、手振れ補正後の画像のスティッチング合成により広視野角画像を得たりする技術が開示されている(例えば、特許文献1参照。)。
特開2015−139646号公報
しかし、光軸方向が可変である内視鏡装置(以下、「可変視野内視鏡装置」とも言う。)が利用される場合には、光路変化に伴って生じる光学特性劣化に起因して、撮像される画像の画質が劣化してしまうことがある。そこで、可変視野内視鏡装置によって撮像される画像の画質劣化を低減することが可能な技術が提供されることが望まれる。
本開示によれば、内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御する画質制御部、を備える、制御装置が提供される。
本開示によれば、内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御すること、を含む、制御方法が提供される。
本開示によれば、コンピュータを、内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御する画質制御部、を備える制御装置として機能させるためのプログラムが提供される。
本開示によれば、内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御する画質制御部、を含む、制御装置と、前記内視鏡のスコープ軸を基準とする光源角度を制御する角度制御部と、術中に体腔内の被写体を撮像し画像信号を得る撮像部と、を具備し、前記制御装置に対して、前記光源角度を示す情報および前記画像信号を出力する、内視鏡撮像装置と、を有する、内視鏡システムが提供される。
以上説明したように本開示によれば、可変視野内視鏡装置によって撮像される画像の画質劣化を低減することが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1の実施形態に係る内視鏡システムの構成例を示す図である。 硬性鏡およびカメラヘッドの構成例を示す図である。 光軸角度の表現例を説明するための図である。 第4の角度検出手法を採用する場合における角度検出部の詳細構成例を示す図である。 本開示の第1の実施形態に係る制御装置の動作例を示すフローチャートである。 ぼけムラ補正用データの生成に利用可能なチャートの例を示す図である。 チャートの撮影例を説明するための図である。 硬性鏡の折り曲げ角度(Y軸周りの回転角)が30度の場合に得られるチャート撮影画像の例を示す図である。 硬性鏡の折り曲げ角度(Y軸周りの回転角)が50度の場合に得られるチャート撮影画像の例を示す図である。 硬性鏡の折り曲げ角度(Y軸周りの回転角)が70度の場合に得られるチャート撮影画像の例を示す図である。 フォーカスされている部分とぼけている部分の例を示す図である。 チャート撮影画像に写るドットの例を示す図である。 Pill Box関数の例を示す図である。 Gaussian関数の例を示す図である。 ぼけムラ補正データの例を示す図である。 チャートの他の撮影例を説明するための図である。 波長別の光路の例を示す図である。 RGB値すべてに対してぼけムラ補正がなされる前後の画像の例を示す図である。 本開示の第2の実施形態に係る内視鏡システムの構成例を示す図である。 本開示の第2の実施形態に係る制御装置の動作例を示すフローチャートである。 歪み補正用データの生成に利用可能なチャートの例を示す図である。 硬性鏡の折り曲げ角度(Y軸周りの回転角)が30度の場合に得られるチャート撮影画像の例を示す図である。 硬性鏡の折り曲げ角度(Y軸周りの回転角)が50度の場合に得られるチャート撮影画像の例を示す図である。 硬性鏡の折り曲げ角度(Y軸周りの回転角)が70度の場合に得られるチャート撮影画像の例を示す図である チャートと折り曲げ角度(Y軸周りの回転角)が70度の場合に得られるチャート撮影画像とを重ねて表した図である。 図17Aの一部を拡大して表した図である。 歪み補正用データの例を示す図である。 歪み補正の詳細動作の流れを示すフローチャートである。 ボリューム歪像補正による補正後画像の例を示す図である。 ディストーション補正による補正後画像の例を示す図である。 波長別の光路の例を示す図である。 RGB値すべてに対して歪み補正がなされる前後の画像の例を示す図である。 本開示の第3の実施形態に係る内視鏡システムの構成例を示す図である。 本開示の第3の実施形態に係る制御装置の動作例を示すフローチャートである。 輝度ムラ補正用データの生成に利用可能なチャートの例を示す図である。 硬性鏡の折り曲げ角度(Y軸周りの回転角)が30度の場合に得られるチャート撮影画像の例を示す図である。 硬性鏡の折り曲げ角度(Y軸周りの回転角)が50度の場合に得られるチャート撮影画像の例を示す図である。 硬性鏡の折り曲げ角度(Y軸周りの回転角)が70度の場合に得られるチャート撮影画像の例を示す図である。 輝度ムラ補正用データの生成手法の例について説明するための図である。 輝度ムラ補正用データの例を示す図である。 硬性鏡の折り曲げ角度(Y軸周りの回転角)が30度の場合にカラー撮影が考慮されずに得られるチャート撮影画像の例を示す図である。 本開示の第4の実施形態に係る内視鏡システムの構成例を示す図である。 本開示の第4の実施形態に係る制御装置の動作例を示すフローチャートである。 角度が可変な光源の例を示す図である。 光源角度の変化に伴って光源によって発せられる光の向きが変化する様子を示す図である。 配光ムラ補正用データの生成手法の例について説明するための図である。 配光ムラ補正用データの生成動作の流れを示すフローチャートである。 配光ムラ補正用データの例を示す図である。 配光ムラ補正用データの例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1.1.システム構成例
1.2.機能構成例
1.3.変形例
2.第2の実施形態
2.1.システム構成例
2.2.機能構成例
2.3.変形例
3.第3の実施形態
3.1.システム構成例
3.2.機能構成例
3.3.変形例
4.第4の実施形態
4.1.システム構成例
4.2.機能構成例
4.3.変形例
5.むすび
<1.第1の実施形態>
本開示の第1の実施形態について説明する。
[1.1.システム構成例]
まず、本開示の第1の実施形態に係る内視鏡システム(以下、「内視鏡装置」とも言う。)の構成例について説明する。図1は、本開示の第1の実施形態に係る内視鏡システムの構成例を示す図である。図1に示したように、本開示の第1の実施形態に係る内視鏡システム1Aは、制御装置(CCU:Camera Control Unit)10A、カメラヘッド20、照明装置30、硬性鏡(以下、「スコープ」とも言う。)40およびモニタ(表示装置)50を備える。
制御装置10Aは、補正用データ生成部110A、角度検出部120および画質制御部130Aを備える。画質制御部130Aは、補正処理部150Aを有する。なお、本開示の実施形態においては、制御装置10Aの機能は、記憶装置(例えば、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、光磁気記憶デバイスなど)から読み取られたプログラムが演算装置によって実行されることによって実現される場合を想定するが、制御装置10Aの機能は、専用のハードウェア(専用の電子回路)によって実現されてもよい。
モニタ50は、制御装置10Aによる制御に従って画面を表示する機能を有する。例えば、モニタ50は、液晶ディスプレイであってもよいし、有機EL(Electro−Luminescence)ディスプレイであってもよいし、プロジェクタであってもよい。しかし、モニタ50は、制御装置10Aによる制御に従って画面を表示する機能を有すれば、他の形態の表示装置であってもよい。
図2〜図4を参照しながら、内視鏡システム1Aの基本的な機能について説明する。図2は、硬性鏡40およびカメラヘッド20の構成例を示す図である。図2に示すように、照明装置30から発せられる光は、硬性鏡40の内部を通過し、硬性鏡40の外部に存在する被写体に照射される。ここで、本開示の実施形態においては、照明装置30の光源から発せられる光の所定方向を基準とした角度(以下、単に「光源角度」とも言う。)が可変である場合を想定するが、(本開示の第4の実施形態を除いて)光源角度は固定されていてもよい。
カメラヘッド20には撮像素子(撮像部)21が組み込まれており、撮像素子21は、被写体において反射して光軸L1に沿って硬性鏡40の内部を通過した光が入射されると、入射された光を電気信号に変換する。かかる撮像素子21の機能により被写体の撮像が実現される。ここで、本開示の実施形態においては、スコープ軸Zを基準とする光軸L1の折り曲げ角度および回転角度(以下、折り曲げ角度および回転角度の双方を「光軸角度」とも言う。)が、ユーザ操作に従って角度制御部の機能により変化し得る場合を想定する。また、本開示の実施形態においては、ユーザ操作がカメラヘッド20に対して入力される場合を想定するが、ユーザ操作が入力される位置は特に限定されない。
また、本開示の実施形態においては、撮像素子21が3D(dimension)撮像機能を有しており、距離情報算出部により、この3D撮像機能によって被写体までの距離情報(いわゆる撮影シーンのデプスマップ)を取得することが可能である場合を想定する。しかし、被写体までの距離情報を取得するための手法は特に限定されない。例えば、撮像素子21とは異なる所定の装置が、被写体までの距離情報を取得する機能を有していてもよい。光軸角度を示す情報(以下、「光軸角度」とも言う。)および撮像素子21によって撮像された画像は、制御装置10Aに出力される。このとき、撮像素子21によってR信号、G信号およびB信号が得られた場合、R信号、G信号およびB信号が制御装置10Aに出力される。また、撮像素子21によって、後に説明するチャートが撮像された場合、チャート画像信号が制御装置10Aに出力される。
ここで、光軸角度の表現例について説明する。図3は、光軸角度の表現例を説明するための図である。図3に示すように、被写体において反射された光は、硬性鏡40の内部を通過すると、撮像素子21に対して垂直に入射される。また、図3に示すように、スコープ軸Zに垂直な2つの軸をそれぞれX軸およびY軸とすると、光軸L1は、X軸周りの回転角θX、Y軸周りの回転角θYおよびZ軸周りの回転角θZによって表現される。
このような光軸角度の検出は、角度検出部120によって実行される。ここで、光軸角度の検出手法には様々な手法が適用され得る。第1の角度検出手法として、角度検出部120は、カメラヘッド20から送信される操作量に基づいて、光軸角度を検出することが可能である(光軸角度情報は、撮像装置によって制御された情報であってよい)。より具体的には、図1に示すように、角度検出部120は、ユーザ操作によって光軸角度が直接的に指定可能な場合には、指定された光軸角度(角度指定量)に基づいて、光軸角度を検出してもよい。
あるいは、角度検出部120は、押された時間の長さに伴って光軸角度が変化するボタンが設けられている場合には、そのボタンが押された時間の長さに基づいて、光軸角度を検出してもよい。あるいは、角度検出部120は、操作時間の長さに伴って光軸角度が変化する操作部がカメラヘッド20に設けられている場合、操作部に設けられた所定のセンサ(例えば、角度検出センサ、圧力センサなど)によって検出された操作時間の長さに基づいて、光軸角度を検出してもよい。
また、第2の角度検出手法として、角度検出部120は、カメラヘッド20から送信される機械的な情報(以下、「メカ情報」とも言う。)に基づいて、光軸角度を検出することが可能である(光軸角度情報は、角度検出装置によって検出された情報であってよい)。より具体的には、図1に示すように、角度検出部120は、光軸の回転駆動モータの動作量に基づいて、光軸角度を検出してもよい。あるいは、角度検出部120は、硬性鏡40に設けられた所定のセンサ(例えば、ジャイロセンサ、加速度センサ、方位角センサ、光学式または磁気式による位置取得センサなど)によって検出されたセンサ情報に基づいて、硬性鏡40の位置姿勢を算出することによって光軸角度を検出してもよい。
また、第3の角度検出手法として、角度検出部120は、カメラヘッド20から送信される画像に基づいて、光軸角度を検出することが可能である。より具体的には、撮影対象物が静止している場合、視点の異なる2枚の画像(第1の視点による画像、第2の視点による画像とする)を撮影し、2枚の画像間の対応点から外部カメラパラメータを求めることによって、第1の視点と第2の視点との相対的な位置姿勢が算出され得ることが一般的に知られている。
したがって、角度検出部120は、撮影対象物が静止している場合において、時間方向で逐次相対的な位置姿勢を検出し続け、その位置姿勢を積分することによって、ある開始時点を基準とした硬性鏡40の位置姿勢の変化量を得ることが可能である。このような自己位置推定と環境地図作成とを同時に行う技術はSLAM(Simultaneous Localization and Mapping)と称され、角度検出部120は、SLAM技術を用いることによって光軸角度を得ることが可能である。
また、第4の角度検出手法として、光軸角度が変化することによって生じる収差の変化を利用する手法が挙げられる。すなわち、角度検出部120は、収差の変化に基づいて、光軸角度を検出することが可能である。ここで、光軸角度が変化することによって変化が生じる収差としては、歪曲収差、像面湾曲収差、非点収差などが挙げられる。図4は、第4の角度検出手法を採用する場合における角度検出部120の詳細構成例を示す図である。図4に示すように、第4の角度検出手法を採用する場合における角度検出部120は、収差検出部121、収差比較部122および収差データベース123を有する。
収差検出部121は、撮像素子21によって撮像された画像信号(以下、「画像」とも言う。)を取得し、取得した画像を解析することによって収差情報を算出する。収差データベース123には、あらかじめ複数の光軸角度それぞれにおいて測定された収差情報が対応する光軸角度とともに記録されている。収差比較部122は、収差検出部121によって算出された収差情報と最も一致度の高い収差情報に対応する光軸角度を収差データベース123から取得する。例えば、収差検出部121は、画像解析によって画像の輝点周辺における色収差情報を取得し、収差比較部122は、収差検出部121によって取得された色収差情報と最も一致度の高い色収差情報に対応する光軸角度を収差データベース123から取得する。
[1.2.機能構成例]
以上、図2〜図4を参照しながら、内視鏡システム1Aの基本的な機能について説明した。ここで、上記したように、本開示の実施形態においては、光軸角度が可変である場合が想定されている。かかる場合には、光路変化に伴って生じる光学特性劣化に起因して、撮像素子21によって撮像される画像の画質が劣化してしまうことがある。本開示の実施形態においては、可変視野内視鏡装置によって撮像される画像の画質劣化を低減することが可能な技術を主に提案する。
より具体的に、光軸角度が可変である場合には、折り曲げ角度(X軸周りの回転角θX、Y軸周りの回転角θY)および回転角度(Z軸周りの回転角θZ)ごとに角度調節部分での光路が微妙に変化し、例えば、光の波長ごとに屈折率が異なったり、反射率に差が生じたり、光軸ずれが生じたりするという光学特性劣化が発生し得る。そして、これらの光学特性劣化による誤差の影響が重なり、折り曲げ角度および回転角度に依存して画質が劣化し得る。本開示の第1の実施形態においては、このような折り曲げ角度および回転角度に依存して生じる画質劣化(特に、ぼけムラ)を低減する技術を主に提案する。
図5は、本開示の第1の実施形態に係る制御装置10Aの動作例を示すフローチャートである。まず、図5に示すように、補正用データ生成部110A(図1)は、ぼけムラ補正用データ生成S110Aにおいて、ぼけムラ補正用データD21Aを生成する。ここで、補正用データ生成部110Aによるぼけムラ補正用データ生成S110Aの具体例について説明する。
図6は、ぼけムラ補正用データの生成に利用可能なチャートの例を示す図である。図6に示すように、ぼけムラ補正用データの生成に利用可能なチャートCh1には、複数のドットが配置されている。ここで、ドット色は白色であり、背景色は黒色であるのが望ましいが、ドットおよび背景それぞれの色は特に限定されない。また、複数のドットの配置の仕方も特に限定されない。また、図6に示した例では、複数のドットそれぞれの形状が円形状であるが、複数のドットそれぞれの形状は特に限定されない。
このようなチャートCh1があらかじめ撮像素子21によって撮像されることによって画像(以下、「チャート撮影画像」とも言う。)が得られる。チャートCh1の撮影例について説明する。図7は、チャートCh1の撮影例を説明するための図である。図7を参照すると、硬性鏡40の折り曲げ角度(Y軸周りの回転角θY)が角度Aの場合に、光軸に対して垂直な方向、かつ、硬性鏡40から撮影によく利用される距離WD(Working Distance)だけ離れた位置に置かれたチャートCh1−aが撮影されている。
同様にして、硬性鏡40の折り曲げ角度(Y軸周りの回転角θY)が角度Bの場合に、光軸に対して垂直な方向、かつ、硬性鏡40から撮影によく利用される距離WDだけ離れた位置に置かれたチャートCh1−bが撮影されている。図7には、折り曲げ角度(Y軸周りの回転角θY)を変化させながら、チャートCh1を2枚だけ撮影する例を示したが、同様な手法により、折り曲げ角度(Y軸周りの回転角θY)を変化させながら、チャートCh1を複数枚撮影する。
図8Aは、硬性鏡40の折り曲げ角度(Y軸周りの回転角θY)が30度の場合に得られるチャート撮影画像Ch1−30の例を示す図である。図8Bは、硬性鏡40の折り曲げ角度(Y軸周りの回転角θY)が50度の場合に得られるチャート撮影画像Ch1−50の例を示す図である。図8Cは、硬性鏡40の折り曲げ角度(Y軸周りの回転角θY)が70度の場合に得られるチャート撮影画像Ch1−70の例を示す図である。
図8Dは、フォーカスされている部分とぼけている部分の例を示す図である。図8Dにおいて説明されているように、フォーカスされている部分は、ドットの輪郭が鮮明に写る。一方、ぼけている部分は、ドットの外側から内側にかけて輝度が徐々に上昇する。このような特徴を考慮して、チャート撮影画像Ch1−30、チャート撮影画像Ch1−50、チャート撮影画像Ch1−70を参照すると、折り曲げ角度(Y軸周りの回転角θY)の変化に従ってぼけムラが変化することが把握される。
なお、図7および図8A〜図8Cにおいては、折り曲げ角度(Y軸周りの回転角θY)を変化させながら、チャートCh1を複数枚撮影する例を代表的に説明したが、変化される角度は折り曲げ角度(Y軸周りの回転角θY)だけでない。すなわち、図7および図8A〜図8Cを参照しながら説明した手法と同様な手法により、折り曲げ角度(X軸周りの回転角θX)を変化させながら、チャートCh1を複数枚撮影し、回転角度(Z軸周りの回転角θZ)を変化させながら、チャートCh1を複数枚撮影する。
補正用データ生成部110Aは、チャート撮影画像に基づいて、空間位置に依存して変化するぼけ関数(PSF:Point Spread Function)を推定する。ぼけ関数の推定手法は限定されない。ここでは、ぼけ関数の推定手法の一例について説明する。図9Aは、チャート撮影画像に写るドットの例を示す図である。図9Bは、Pill Box関数の例を示す図である。図9Cは、Gaussian関数の例を示す図である。例えば、補正用データ生成部110Aは、図9Aに示されたドットを、Pill Box関数(図9B)またはGaussian関数(図9C)に近似することによって、ぼけ関数を推定してもよい。
続いて、補正用データ生成部110Aは、推定したぼけ関数に基づいてぼけムラ補正用データD21Aを生成する。ここで、推定されたボケ関数をhとし、ぼけのない真の画像データをfとすると、補正用データ生成部110Aによって撮像素子21から取得される画像データgは、以下の(数式1)に示されるように、fとhのコンボリューション(数式2)によって表される。
Figure 2017168986

・・・(数式1)
Figure 2017168986

・・・(数式2)
hを固定タップ数で表現する行列をAとすると、補正用データ生成部110Aによって撮像素子21から取得される画像データgは、以下の(数式3)に示されるように表される。
Figure 2017168986

・・・(数式3)
補正用データ生成部110Aは、以下の(数式4)に示されるように、(数式3)の両辺にAの逆行列を乗じることによって、真の画像データの推定値(数式5)を得ることが可能である。
Figure 2017168986

・・・(数式4)
Figure 2017168986

・・・(数式5)
このようにして、補正用データ生成部110Aは、Aの逆行列をぼけムラ補正用データとして得ることが可能である。図10は、ぼけムラ補正データの例を示す図である。図10を参照すると、折り曲げ角度(Y軸周りの回転角θY)が30度、50度、70度、90度それぞれの場合において、真の画像データの推定値が画素ごとに示されている。
なお、ここでは、折り曲げ角度(X軸周りの回転角θX)および回転角度(Z軸周りの回転角θZ)を固定し、折り曲げ角度(Y軸周りの回転角θY)を変化させる例を示した。しかし、上記したように、折り曲げ角度(X軸周りの回転角θX)および回転角度(Z軸周りの回転角θZ)も折り曲げ角度(Y軸周りの回転角θY)と同様に変化され得る。
図5に戻って説明を続ける。角度検出部120は、折り曲げ角度/回転角度検出S120において、光軸角度(折り曲げ角度および回転角度)D11を検出する。続いて、画質制御部130Aは、撮像素子21によって撮像された画像D31Aの画質を光軸角度D11に基づいて制御する(画質制御部130Aは、撮像素子21によって撮像された画像D31Aと光軸角度情報とに基づき、表示用画像の画質を制御する)。かかる構成により、折り曲げ角度および回転角度に依存して生じる画質劣化を低減することが可能となる。
例えば、画質制御部130Aは、撮像素子21によって撮像された画像D31Aに対して少なくとも光軸角度に基づく所定の画像処理を行うことにより画像D31Aの画質を制御する。特に、本開示の第1の実施形態においては、画質制御部130Aは、画像D31Aのぼけムラを光軸角度に基づいて補正することにより、所定の画像処理を行う。かかる構成により、光軸角度に依存して生じるぼけムラを低減することが可能となる。
画質制御部130Aは、補正処理部150Aにより、あらかじめ生成されたぼけムラ補正用データD21Aに基づいて光軸角度に対応するデータ(光軸角度におけるぼけムラ補正用データD22A)を取得し、取得したデータと撮像素子21によって撮像された画像D31Aとに基づいて、ぼけムラ補正処理S150Aにおいて、画像D31Aのぼけムラを補正する。これにより、補正後画像D32Aが得られる。
より具体的には、画質制御部130Aは、補正処理部150Aにより、撮像素子21によって撮像された画像D31Aと図10に示したようなぼけムラ補正用データとを掛け合わせることによって(すなわち、逆PSFデータを画像D31Aに対して畳み込み演算する(Deconvolution)することにより)、ぼけムラを補正する。なお、ぼけムラ補正用データは空間に離散的に存在するため、ぼけムラ補正用データとして直接存在しないデータは、直接存在するぼけムラ補正用データから内挿または外挿によって得られる。
[1.3.変形例]
本開示の第1の実施形態には、様々な変形例が適用され得る。例えば、上記においては、Deconvolutionによって補正後画像D32−1を得る手法について説明した。しかし、Deconvolutionによって補正後画像D32−1を得る手法は、上記した例に限定されない。すなわち、本開示の第1の実施形態においては、補正後画像D32−1を得るために、あらゆる周知のDeconvolutionが適用され得る。
また、上記においては、平面形状のチャートを移動させながらチャートを複数枚撮影する例を説明した。しかし、チャートの形状は平面形状に限定されない。例えば、チャートの形状は曲面形状であってもよい。図11は、チャートCh1の他の撮影例を説明するための図である。図11に示すように、チャートCh1は曲面形状を有していてもよい。このとき、図11に示すように、曲面形状を有したチャートCh1は、硬性鏡40から撮影によく利用される距離WDだけ離れた位置に沿って置かれるとよい。
また、上記においては、硬性鏡40から撮影によく利用される距離WDだけ離れた位置に置かれたチャートが撮影される例を説明した。しかし、チャートが置かれる位置は、硬性鏡40から撮影によく利用される距離WDだけ離れた位置に限定されない。例えば、補正用データ生成部110Aは、チャート撮影時における光軸角度とぼけムラ補正用データに対して、チャート撮影時における硬性鏡40からの距離を対応付けてよい。
このとき、上記したように、被写体までの距離情報(いわゆる撮影シーンのデプスマップ)が取得可能であれば、画質制御部130Aは、補正処理部150Aにより、被写体までの距離を示す距離情報を取得し、ぼけムラ補正用データに基づいて距離情報と光軸角度とに対応するデータを取得することが可能である。このようにして距離情報も考慮されれば、ぼけムラ補正の精度が向上することが期待される。
また、上記においては、カラー撮影された場合については特に考慮していないが、カラー撮影された場合を考慮するようにしてもよい。図12Aは、波長別の光路の例を示す図である。図12Aを参照すると、青色光の光路がF(b)として示され、緑色光の光路がF(g)として示され、赤色光の光路がF(r)として示されている。このように、光の波長によってレンズ41を通過した光の焦点距離が変化するため、カラー撮影時には、軸上色収差による色にじみぼけが発生し得る。
したがって、画質制御部130Aは、画像がRGB値を有する場合、補正処理部150Aにより、RGB値すべてに対して画像処理(本開示の第1の実施形態においては、ぼけムラ補正)を行うとよい。そうすれば、軸上色収差による色にじみぼけを低減することが可能となる。図12Bは、RGB値すべてに対してぼけムラ補正がなされる前後の画像の例を示す図である。図12Bを参照すると、撮像素子21によって撮像された画像D31Aにおいては、色にじみぼけが発生しているのに対し、補正後画像D32Aにおいては、色にじみぼけが低減されているのが把握される。
以上、本開示の第1の実施形態について説明した。
<2.第2の実施形態>
続いて、本開示の第2の実施形態について説明する。
[2.1.システム構成例]
まず、本開示の第2の実施形態に係る内視鏡システムの構成例について説明する。図13は、本開示の第2の実施形態に係る内視鏡システムの構成例を示す図である。図1を参照すると、内視鏡システム1Aは制御装置10Aを備えるのに対し、図13を参照すると、内視鏡システム1Bは制御装置10Bを備える点において、本開示の第1の実施形態と本開示の第2の実施形態とは異なっている。その他の構成は、本開示の第1の実施形態と本開示の第2の実施形態とにおいて実質的に同一である。そこで、本開示の第2の実施形態においては、制御装置10Bについて主に説明する。
また、図1を参照すると、制御装置10Aは補正用データ生成部110Aおよび画質制御部130Aを備えるのに対し、図13を参照すると、制御装置10Bは補正用データ生成部110Bおよび画質制御部130Bを備える点において、本開示の第1の実施形態と本開示の第2の実施形態とは異なっている。その他の構成は、本開示の第1の実施形態と本開示の第2の実施形態とにおいて実質的に同一である。そこで、本開示の第2の実施形態においては、補正用データ生成部110Bおよび画質制御部130Bについて主に説明する。画質制御部130Bは、補正処理部150Bを備えている。
[2.2.機能構成例]
本開示の第2の実施形態においても、可変視野内視鏡装置によって撮像される画像の画質劣化を低減することが可能な技術を主に提案する。より具体的には、本開示の第1の実施形態においても説明したように、折り曲げ角度および回転角度に依存して画質が劣化し得る。本開示の第2の実施形態においては、このような折り曲げ角度および回転角度に依存して生じる画質劣化(特に、形状歪み)を低減する技術を主に提案する。
図14は、本開示の第2の実施形態に係る制御装置10Bの動作例を示すフローチャートである。まず、図14に示すように、補正用データ生成部110B(図13)は、歪み補正用データ生成S110Bにおいて、歪み補正用データD21Bを生成する。ここで、補正用データ生成部110Bによる歪み補正用データ生成S110Bの具体例について説明する。
図15は、歪み補正用データの生成に利用可能なチャートの例を示す図である。図15に示すように、歪み補正用データの生成に利用可能なチャートCh2には、縦横それぞれに複数本の直線(格子状に描かれた複数本の直線)が配置されている。このようなチャートCh2があらかじめ撮像素子21によって撮像されることによってチャート撮影画像が得られる。チャートCh2の撮影は、本開示の第1の実施形態において、図7を参照しながら説明したチャートCh1の撮影例と同様に行われればよい。
図16Aは、硬性鏡40の折り曲げ角度(Y軸周りの回転角θY)が30度の場合に得られるチャート撮影画像Ch2−30の例を示す図である。図16Bは、硬性鏡40の折り曲げ角度(Y軸周りの回転角θY)が50度の場合に得られるチャート撮影画像Ch2−50の例を示す図である。図16Cは、硬性鏡40の折り曲げ角度(Y軸周りの回転角θY)が70度の場合に得られるチャート撮影画像Ch2−70の例を示す図である。チャート撮影画像Ch2−30、チャート撮影画像Ch2−50、チャート撮影画像Ch2−70を参照すると、折り曲げ角度(Y軸周りの回転角θY)の変化に従って歪みが変化することが把握される。
なお、図15および図16A〜図16Cにおいては、折り曲げ角度(Y軸周りの回転角θY)を変化させながら、チャートCh2を複数枚撮影する例を代表的に説明したが、変化される角度は折り曲げ角度(Y軸周りの回転角θY)だけでない。すなわち、図15および図16A〜図16Cを参照しながら説明した手法と同様な手法により、折り曲げ角度(X軸周りの回転角θX)を変化させながら、チャートCh2を複数枚撮影し、回転角度(Z軸周りの回転角θZ)を変化させながら、チャートCh2を複数枚撮影する。
補正用データ生成部110Bは、チャート撮影画像に基づいて、歪み補正用データを生成する。歪み補正用データの生成手法は限定されない。ここでは、歪み補正用データの生成手法の一例について説明する。図17Aは、チャートCh2と折り曲げ角度(Y軸周りの回転角θY)が70度の場合に得られるチャート撮影画像Ch2−70とを重ねて表した図である。チャートCh2に対してチャート撮影画像Ch2−70が歪んでいることが把握される。また、図17Bは、図17Aの一部を拡大して表した図である。
図17Bを参照すると、チャートCh2における格子点P1(x1,y1)がチャート撮影画像Ch2−70においては格子点P0(x0,y0)にずれてしまっている。したがって、格子点P0(x0,y0)は格子点P1(x1,y1)に補正されるべきであるため、補正用データ生成部110Bは、格子点P0(x0,y0)のx座標に対する補正率(Compensation Ratio)CRxを(x1/x0)と算出し、格子点P0(x0,y0)のy座標に対する補正率CRyを(y1/y0)と算出する。以下、格子点P0に対する補正率(CRx,CRy)を単に補正率CRと称することがある。
このようにして、補正用データ生成部110Bは、折り曲げ角度(Y軸周りの回転角θY)が70度の場合においてすべての格子点について補正率CRを算出することが可能である。補正用データ生成部110Bは、補正率CRを歪み補正用データとして得ることが可能である。図18は、歪み補正用データの例を示す図である。図18を参照すると、折り曲げ角度(Y軸周りの回転角θY)が30度、50度、70度、90度それぞれの場合において、補正率CRが格子点ごとに示されている。
なお、ここでは、折り曲げ角度(X軸周りの回転角θX)および回転角度(Z軸周りの回転角θZ)を固定し、折り曲げ角度(Y軸周りの回転角θY)を変化させる例を示した。しかし、折り曲げ角度(X軸周りの回転角θX)および回転角度(Z軸周りの回転角θZ)も折り曲げ角度(Y軸周りの回転角θY)と同様に変化され得る。
図14に戻って説明を続ける。本開示の第2の実施形態においても、本開示の第1の実施形態と同様に、光軸角度(折り曲げ角度および回転角度)D11が検出される。続いて、本開示の第2の実施形態においても、画質制御部130Bは、撮像素子21によって撮像された画像D31Bの画質を光軸角度D11に基づいて制御する。かかる構成により、折り曲げ角度および回転角度に依存して生じる画質劣化を低減することが可能となる。
例えば、画質制御部130Bは、撮像素子21によって撮像された画像D31Bに対して少なくとも光軸角度に基づく所定の画像処理を行うことにより画像D31Bの画質を制御する。特に、本開示の第2の実施形態においては、画質制御部130Bは、画像D31Bの歪みを光軸角度に基づいて補正することにより、所定の画像処理を行う。かかる構成により、光軸角度に依存して生じる歪みを低減することが可能となる。
画質制御部130Bは、補正処理部150Bにより、あらかじめ生成された歪み補正用データD21Bに基づいて光軸角度に対応するデータ(光軸角度における歪み補正用データD22B)を取得し、取得したデータと撮像素子21によって撮像された画像D31Bとに基づいて、歪み補正処理S150Bにおいて、画像D31Bの歪みを補正する。これにより、補正後画像D32Bが得られる。
より具体的に説明する。図19は、歪み補正の詳細動作の流れを示すフローチャートである。画質制御部130Bは、補正処理部150Bにより、光軸角度における歪み補正用データD22B(図18)に基づいて、撮像素子21によって撮像された画像D31Bにおけるすべての画素位置(全入力画素位置)の歪み補正用データを算出する(S151B)。なお、歪み補正用データは空間に離散的に存在するため、歪み補正用データとして直接存在しないデータは、直接存在する歪み補正用データから内挿または外挿によって得られる。
続いて、画質制御部130Bは、補正処理部150Bにより、全入力画素位置それぞれに対して当該画素位置に対応する補正率CR(図18)を掛け合わせることによって、新画素位置を決定する(S152B)。このとき、画質制御部130Bは、補正処理部150Bにより、新画素位置に存在しない画素を補間によって作成する(S153B)。このようにして生成される補正後画像D32Bからは、歪みが軽減される。
[2.3.変形例]
本開示の第2の実施形態には、様々な変形例が適用され得る。例えば、上記においては、直線に対して生じた歪みに対する補正(いわゆるディストーション補正)の例を示した。しかし、用途によっては立体物の歪みに着目したボリューム歪像補正がより好適である場合もある。図20Aは、ボリューム歪像補正による補正後画像D32B−1の例を示す図である。また、図20Bは、ディストーション補正による補正後画像D32B−2の例を示す図である。ここで意味する歪み補正は形態補正方法すべての総称であり、ディストーション補正とボリューム歪像補正とは理論上両立できないが、場合によっては両者を適度な比率でミックスして本開示の第2の実施形態を実施することも可能である。
また、上記においては、平面形状のチャートを移動させながらチャートを複数枚撮影する例を説明した。しかし、本開示の第1の実施形態と同様に、チャートの形状は平面形状に限定されない。例えば、チャートの形状は曲面形状であってもよい。例えば、図11に示すように、チャートCh1は曲面形状を有していてもよい。このとき、図11に示すように、曲面形状を有したチャートCh1は、硬性鏡40から撮影によく利用される距離WDだけ離れた位置に沿って置かれるとよい。
また、上記においては、硬性鏡40から撮影によく利用される距離WDだけ離れた位置に置かれたチャートが撮影される例を説明した。しかし、本開示の第1の実施形態と同様に、チャートが置かれる位置は、硬性鏡40から撮影によく利用される距離WDだけ離れた位置に限定されない。例えば、補正用データ生成部110Bは、チャート撮影時における光軸角度と歪み補正用データに対して、チャート撮影時における硬性鏡40からの距離を対応付けてよい。
このとき、上記したように、被写体までの距離情報(いわゆる撮影シーンのデプスマップ)が取得可能であれば、画質制御部130Bは、補正処理部150Bにより、被写体までの距離を示す距離情報を取得し、歪み補正用データに基づいて距離情報と光軸角度とに対応するデータを取得することが可能である。このようにして距離情報も考慮されれば、歪み補正の精度が向上することが期待される。
また、上記においては、カラー撮影された場合については特に考慮していないが、カラー撮影された場合を考慮するようにしてもよい。図21Aは、波長別の光路の例を示す図である。図21Aを参照すると、ある波長を有する光の光路がF(A)として示され、他の波長を有する光の光路がF(B)として示されている。このように、光の波長によってレンズ41を通過した光の像面における合焦位置が変化するため、カラー撮影時には、倍率色収差による輝点およびエッジ色付きが発生し得る。
したがって、画質制御部130Bは、画像がRGB値を有する場合、補正処理部150Bにより、RGB値すべてに対して画像処理(本開示の第2の実施形態においては、歪み補正)を行うとよい。そうすれば、倍率色収差による輝点およびエッジ色付きを低減することが可能となる。図21Bは、RGB値すべてに対して歪み補正がなされる前後の画像の例を示す図である。図21Bを参照すると、撮像素子21によって撮像された画像D31Bにおいては、輝点およびエッジ色付きが発生しているのに対し、補正後画像D32Bにおいては、輝点およびエッジ色付きが低減されているのが把握される。
以上、本開示の第2の実施形態について説明した。
<3.第3の実施形態>
続いて、本開示の第3の実施形態について説明する。
[3.1.システム構成例]
まず、本開示の第3の実施形態に係る内視鏡システムの構成例について説明する。図22は、本開示の第3の実施形態に係る内視鏡システムの構成例を示す図である。図1を参照すると、内視鏡システム1Aは制御装置10Aを備えるのに対し、図22を参照すると、内視鏡システム1Cは制御装置10Cを備える点において、本開示の第1の実施形態と本開示の第3の実施形態とは異なっている。その他の構成は、本開示の第1の実施形態と本開示の第3の実施形態とにおいて実質的に同一である。そこで、本開示の第3の実施形態においては、制御装置10Cについて主に説明する。
また、図1を参照すると、制御装置10Aは補正用データ生成部110Aおよび画質制御部130Aを備えるのに対し、図22を参照すると、制御装置10Cは補正用データ生成部110Cおよび画質制御部130Cを備える点において、本開示の第1の実施形態と本開示の第3の実施形態とは異なっている。その他の構成は、本開示の第1の実施形態と本開示の第3の実施形態とにおいて実質的に同一である。そこで、本開示の第3の実施形態においては、補正用データ生成部110Cおよび画質制御部130Cについて主に説明する。画質制御部130Cは、補正処理部150Cを備えている。
[3.2.機能構成例]
本開示の第3の実施形態においても、可変視野内視鏡装置によって撮像される画像の画質劣化を低減することが可能な技術を主に提案する。より具体的には、光軸角度(折り曲げ角度および回転角度)毎に角度調節部分での光路が微妙に変化し、例えば、光軸のずれによりレンズの周辺光量落ちの影響の受け方が変化したり、同じ像面での光路長変化により空間的に透過する光量が変化したりするため、光学的輝度ムラが発生し得る。本開示の第3の実施形態においては、このような折り曲げ角度および回転角度に依存して生じる画質劣化(特に、輝度ムラ)を低減する技術を主に提案する。
図23は、本開示の第3の実施形態に係る制御装置10Cの動作例を示すフローチャートである。まず、図23に示すように、補正用データ生成部110C(図22)は、輝度ムラ補正用データ生成S110Cにおいて、輝度ムラ補正用データD21Cを生成する。ここで、補正用データ生成部110Cによる輝度ムラ補正用データ生成S110Cの具体例について説明する。
図24は、輝度ムラ補正用データの生成に利用可能なチャートの例を示す図である。図24に示すように、輝度ムラ補正用データの生成に利用可能なチャートCh3は、全波長域において分光反射率が均一となるような面(例えば、18%グレー色の面など)を有している。このようなチャートCh3があらかじめ撮像素子21によって撮像されることによってチャート撮影画像が得られる。チャートCh3の撮影は、本開示の第1の実施形態において、図7を参照しながら説明したチャートCh1の撮影例と同様に行われればよい。
図25Aは、硬性鏡40の折り曲げ角度(Y軸周りの回転角θY)が30度の場合に得られるチャート撮影画像Ch3−30の例を示す図である。図25Bは、硬性鏡40の折り曲げ角度(Y軸周りの回転角θY)が50度の場合に得られるチャート撮影画像Ch3−50の例を示す図である。図25Cは、硬性鏡40の折り曲げ角度(Y軸周りの回転角θY)が70度の場合に得られるチャート撮影画像Ch3−70の例を示す図である。チャート撮影画像Ch3−30、チャート撮影画像Ch3−50、チャート撮影画像Ch3−70を参照すると、折り曲げ角度(Y軸周りの回転角θY)の変化に従って輝度ムラが変化することが把握される。
なお、図24および図25A〜図25Cにおいては、折り曲げ角度(Y軸周りの回転角θY)を変化させながら、チャートCh3を複数枚撮影する例を代表的に説明したが、変化される角度は折り曲げ角度(Y軸周りの回転角θY)だけでない。すなわち、図24および図25A〜図25Cを参照しながら説明した手法と同様な手法により、折り曲げ角度(X軸周りの回転角θX)を変化させながら、チャートCh3を複数枚撮影し、回転角度(Z軸周りの回転角θZ)を変化させながら、チャートCh3を複数枚撮影する。
補正用データ生成部110Cは、チャート撮影画像に基づいて、輝度ムラ補正用データを生成する。輝度ムラ補正用データの生成手法は限定されない。ここでは、輝度ムラ補正用データの生成手法の一例について説明する。図26は、輝度ムラ補正用データの生成手法の例について説明するための図である。図26に示すように、硬性鏡40の折り曲げ角度(Y軸周りの回転角θY)が30度の場合に得られるチャート撮影画像Ch3−30の撮影シーンが分割されて得られる複数の空間(以下、「分割セル」とも言う。)を想定する。
ここで、補正用データ生成部110Cは、各分割セルの平均輝度Lxyを算出する。さらに、補正用データ生成部110Cは、画面の平均輝度を算出する。具体的には、補正用データ生成部110Cは、以下の(数式6)に示されるように、画面の平均輝度を画面内すべての分割セルの平均輝度Lxyの平均輝度Lmeanにより算出することが可能である。
Figure 2017168986

・・・(数式6)
ここで、輝度ムラ量は、各分割セルの平均輝度Lxyと画面内の平均輝度Lmeanとの差分によって定義される。また、各分割セルにおける補正率CLxyは、以下の(数式7)に示されるように定義される。補正用データ生成部110Cは、各分割セルにおける補正率CLxyを算出することによって、輝度ムラ補正用データを生成する。
Figure 2017168986

・・・(数式7)
このようにして、補正用データ生成部110Cは、折り曲げ角度(Y軸周りの回転角θY)が30度の場合においてすべての分割セルについて補正率CLxyを算出することが可能である。補正用データ生成部110Bは、補正率CLxyを輝度ムラ補正用データとして得ることが可能である。図27は、輝度ムラ補正用データの例を示す図である。図27を参照すると、折り曲げ角度(Y軸周りの回転角θY)が30度、50度、70度、90度それぞれの場合において、補正率CLxyが分割セルごとに示されている。
なお、ここでは、折り曲げ角度(X軸周りの回転角θX)および回転角度(Z軸周りの回転角θZ)を固定し、折り曲げ角度(Y軸周りの回転角θY)を変化させる例を示した。しかし、折り曲げ角度(X軸周りの回転角θX)および回転角度(Z軸周りの回転角θZ)も折り曲げ角度(Y軸周りの回転角θY)と同様に変化され得る。
図23に戻って説明を続ける。本開示の第3の実施形態においても、本開示の第1の実施形態と同様に、光軸角度(折り曲げ角度および回転角度)D11が検出される。続いて、本開示の第3の実施形態においても、画質制御部130Cは、撮像素子21によって撮像された画像D31Cの画質を光軸角度D11に基づいて制御する。かかる構成により、折り曲げ角度および回転角度に依存して生じる画質劣化を低減することが可能となる。
例えば、画質制御部130Cは、撮像素子21によって撮像された画像D31Cに対して少なくとも光軸角度に基づく所定の画像処理を行うことにより画像D31Cの画質を制御する。特に、本開示の第3の実施形態においては、画質制御部130Cは、画像D31Cの輝度ムラを光軸角度に基づいて補正することにより、所定の画像処理を行う。かかる構成により、光軸角度に依存して生じる輝度ムラを低減することが可能となる。
画質制御部130Cは、補正処理部150Cにより、あらかじめ生成された輝度ムラ補正用データD21Cに基づいて光軸角度に対応するデータ(光軸角度における輝度ムラ補正用データD22C)を取得し、取得したデータと撮像素子21によって撮像された画像D31Cとに基づいて、輝度ムラ補正処理S150Cにおいて、画像D31Cの輝度ムラを補正する。これにより、補正後画像D32Cが得られる。
より具体的には、画質制御部130Cは、補正処理部150Cにより、撮像素子21によって撮像された画像D31Cと図27に示したような輝度ムラ補正用データとを掛け合わせることによって、輝度ムラを補正する。これにより、分光反射率が均一となるような面が撮影されて得られる画像は輝度が均一となり、輝度ムラが補正される。
[3.3.変形例]
本開示の第3の実施形態には、様々な変形例が適用され得る。例えば、上記においては、輝度ムラの補正手法の一例を説明したが、輝度ムラの補正手法は特に限定されない。また、輝度の定義も特に限定されない。例えば、輝度は、例えば、輝度の定義も、YCbCrのYであってもよいし、CIELABのLであってもよいし、他の信号であってもよい。また、上記においては、画面内の輝度が平均輝度に合うように補正を行う例を説明したが、画面内の輝度が平均輝度とは異なる所定の基準輝度に合うように補正が行われてもよい。
また、上記においては、平面形状のチャートを移動させながらチャートを複数枚撮影する例を説明した。しかし、本開示の第1の実施形態と同様に、チャートの形状は平面形状に限定されない。例えば、チャートの形状は曲面形状であってもよい。例えば、図11に示すように、チャートCh1は曲面形状を有していてもよい。このとき、図11に示すように、曲面形状を有したチャートCh1は、硬性鏡40から撮影によく利用される距離WDだけ離れた位置に沿って置かれるとよい。
また、上記においては、硬性鏡40から撮影によく利用される距離WDだけ離れた位置に置かれたチャートが撮影される例を説明した。しかし、本開示の第1の実施形態と同様に、チャートが置かれる位置は、硬性鏡40から撮影によく利用される距離WDだけ離れた位置に限定されない。例えば、補正用データ生成部110Cは、チャート撮影時における光軸角度と輝度ムラ補正用データに対して、チャート撮影時における硬性鏡40からの距離を対応付けてよい。
このとき、上記したように、被写体までの距離情報(いわゆる撮影シーンのデプスマップ)が取得可能であれば、画質制御部130Cは、補正処理部150Cにより、被写体までの距離を示す距離情報を取得し、輝度ムラ補正用データに基づいて距離情報と光軸角度とに対応するデータを取得することが可能である。このようにして距離情報も考慮されれば、輝度ムラ補正の精度が向上することが期待される。
また、上記においては、カラー撮影された場合については特に考慮していないが、カラー撮影された場合を考慮するようにしてもよい。図28は、硬性鏡40の折り曲げ角度(Y軸周りの回転角θY)が30度の場合にカラー撮影が考慮されずに得られるチャート撮影画像Ch3−30の例を示す図である。図28を参照すると、カラー撮影が考慮されずに得られるチャート撮影画像Ch3−30には、不自然な色付きムラが発生している。
したがって、画質制御部130Cは、画像がRGB値を有する場合、補正処理部150Cにより、RGB値すべてに対して画像処理(本開示の第3の実施形態においては、輝度ムラ補正)を行うとよい。そうすれば、不自然な色付きムラを低減することが可能となる。
以上、本開示の第3の実施形態について説明した。
<4.第4の実施形態>
続いて、本開示の第4の実施形態について説明する。
[4.1.システム構成例]
まず、本開示の第4の実施形態に係る内視鏡システムの構成例について説明する。図29は、本開示の第4の実施形態に係る内視鏡システムの構成例を示す図である。図1を参照すると、内視鏡システム1Aは制御装置10Aを備えるのに対し、図29を参照すると、内視鏡システム1Dは制御装置10Dを備える点において、本開示の第1の実施形態と本開示の第4の実施形態とは異なっている。その他の構成は、(上記したように、本開示の第4の実施形態においては、照明装置30の光源角度が可変であるという点を除いて)本開示の第1の実施形態と本開示の第4の実施形態とにおいて実質的に同一である。そこで、本開示の第4の実施形態においては、制御装置10Dについて主に説明する。
また、図1を参照すると、制御装置10Aは補正用データ生成部110Aおよび画質制御部130Aを備えるのに対し、図29を参照すると、制御装置10Dは補正用データ生成部110Dおよび画質制御部130Dを備える点において、本開示の第1の実施形態と本開示の第4の実施形態とは異なっている。その他の構成は、本開示の第1の実施形態と本開示の第4の実施形態とにおいて実質的に同一である。そこで、本開示の第4の実施形態においては、補正用データ生成部110Dおよび画質制御部130Dについて主に説明する。画質制御部130Dは、照明制御部140を備えている。
[4.2.機能構成例]
本開示の第4の実施形態においても、可変視野内視鏡装置によって撮像される画像の画質劣化を低減することが可能な技術を主に提案する。より具体的には、光軸角度(折り曲げ角度および回転角度)の変化に伴って照明装置30から発せられる光の被写体への当たり具合が変化するため、配光ムラが発生し得る。本開示の第4の実施形態においては、このような折り曲げ角度および回転角度に依存して生じる画質劣化(特に、配光ムラ)を低減する技術を主に提案する。
図30は、本開示の第4の実施形態に係る制御装置10Dの動作例を示すフローチャートである。上記したように、本開示の第4の実施形態においては、照明装置30の光源角度が可変である。まず、光源角度が可変である照明装置30について説明する。図31Aは、角度が可変な光源の例を示す図である。図31Aに示すように、硬性鏡40の先端には、角度が可変な光源30−1〜30−8が設けられている。なお、図31Aに示した例では、光源の数が8つであるが、光源の数は特に限定されない。
また、図31Bは、光源角度の変化に伴って光源によって発せられる光の向きが変化する様子を示す図である。図31Bに示すように、角度が可変な光源30−4によって発せられる光の向きは、光源30−4の角度の変化に伴って変化する。同様に、角度が可変な光源30−6によって発せられる光の向きは、光源30−6の角度の変化に伴って変化する。なお、図31Bには、光源30−4、30−6が代表として示されているが、他の光源(光源30−1〜30−3、30−5、30−7、30−8)も同様に、角度変化に伴って光源によって発せられる光の向きが変化する。
図30に戻って、制御装置10Dの動作の説明を続ける。図30に示すように、補正用データ生成部110D(図29)は、配光ムラ補正用データ生成S110Dにおいて、配光ムラ補正用データD21Dを生成する。ここで、補正用データ生成部110Dによる配光ムラ補正用データ生成S110Dの具体例について説明する。
本開示の第4の実施形態において配光ムラ補正用データの生成には、本開示の第3の実施形態における輝度ムラ補正用データの生成に利用可能なチャート(図24)と同様なチャートを利用することが可能である。本開示の第4の実施形態においても、このようなチャートCh3(図24)があらかじめ撮像素子21によって撮像されることによってチャート撮影画像が得られる。チャートCh3の撮影は、本開示の第1の実施形態において、図7を参照しながら説明したチャートCh1の撮影例と同様に行われればよい。
このとき、本開示の第3の実施形態において説明したチャート撮影画像を参照すると(チャート撮影画像Ch3−30(図25A)、チャート撮影画像Ch3−50(図25B)、チャート撮影画像Ch3−70(図25C)を参照すると)、折り曲げ角度(Y軸周りの回転角θY)の変化に従って配光ムラが変化することが把握される。
なお、図24および図25A〜図25Cにおいては、折り曲げ角度(Y軸周りの回転角θY)を変化させながら、チャートCh3を複数枚撮影する例を代表的に説明したが、変化される角度は折り曲げ角度(Y軸周りの回転角θY)だけでない。すなわち、図24および図25A〜図25Cを参照しながら説明した手法と同様な手法により、折り曲げ角度(X軸周りの回転角θX)を変化させながら、チャートCh3を複数枚撮影し、回転角度(Z軸周りの回転角θZ)を変化させながら、チャートCh3を複数枚撮影する。
補正用データ生成部110Dは、チャート撮影画像に基づいて、照明装置30の光源角度ごとの配光ムラ評価値を算出し、配光ムラ評価値に基づいて配光ムラ補正用データを生成する。配光ムラ補正用データの生成手法は限定されない。ここで、配光ムラ補正用データの生成手法の一例について説明する。図32は、配光ムラ補正用データの生成手法の例について説明するための図である。図32に示すように、硬性鏡40の折り曲げ角度(Y軸周りの回転角θY)が30度の場合に得られるチャート撮影画像Ch3−30の撮影シーンが分割されて得られる複数の空間(以下、「分割セル」とも言う。)を想定する。
ここで、補正用データ生成部110Dは、下記の(数式8)に示すように、光源角度を変化させながら、すべての分割セルの平均輝度Lの標準偏差によって配光ムラ評価値を算出する。そして、補正用データ生成部110Dは、配光ムラ評価値が最小となる光源角度を配光ムラ補正用データとして生成する。このような配光ムラ補正用データの生成について、図33を参照しながら、詳細に説明する。
Figure 2017168986

・・・(数式8)
図33は、配光ムラ補正用データの生成動作の流れを示すフローチャートである。図33に示すように、まず、補正用データ生成部110Dは、光源角度の設定を変更して(S111D)、設定変更した光源角度におけるチャート撮影画像を取得し(S112D)、配光ムラ評価値を算出する(S113D)。
続いて、補正用データ生成部110Dは、算出した配光ムラ評価値が前回の光源角度設定の配光ムラ評価値より小さくない場合には(S114Dにおいて「No」)、S110Dに動作を移行させる。一方、補正用データ生成部110Dは、算出した配光ムラ評価値が前回の光源角度設定の配光ムラ評価値より小さい場合(あるいは、配光ムラ評価値の算出が初回である場合)には(S114Dにおいて「Yes」)、光源角度設定を配光ムラ補正用データとして更新する(S115D)。
続いて、補正用データ生成部110Dは、試していない光源角度設定がある場合には(S116Dにおいて「No」)、S110Dに動作を移行させる。一方、補正用データ生成部110Dは、全光源角度設定を試した場合には(S116Dにおいて「Yes」)、S115Dにおいて最後に更新された後の配光ムラ補正用データD21Dを得る。
このようにして、補正用データ生成部110Dは、折り曲げ角度(Y軸周りの回転角θY)が30度の場合において配光ムラ評価値が最小になる光源角度を配光ムラ補正用データとして得ることが可能である。図34Aおよび図34Bは、配光ムラ補正用データの例を示す図である。図34Aおよび図34Bを参照すると、折り曲げ角度(Y軸周りの回転角θY)が30度の場合、光源30−1〜30−4の角度は基準位置(例えば、正面)とは異なる角度a〜dであるのに対し、光源30−1〜30−4の角度は基準位置(例えば、正面)となっている。
一方、折り曲げ角度(Y軸周りの回転角θY)が70度の場合、光源30−3〜30−6の角度は基準位置(例えば、正面)とは異なる角度e〜hであるのに対し、光源30−1、30−2、30−7、30−8の角度は基準位置(例えば、正面)となっている。また、折り曲げ角度(Y軸周りの回転角θY)が90度の場合、光源30−5〜30−8の角度は基準位置(例えば、正面)とは異なる角度i〜lであるのに対し、光源30−1〜30−4の角度は基準位置(例えば、正面)となっている
なお、ここでは、折り曲げ角度(X軸周りの回転角θX)および回転角度(Z軸周りの回転角θZ)を固定し、折り曲げ角度(Y軸周りの回転角θY)を変化させる例を示した。しかし、折り曲げ角度(X軸周りの回転角θX)および回転角度(Z軸周りの回転角θZ)も折り曲げ角度(Y軸周りの回転角θY)と同様に変化され得る。
図30に戻って説明を続ける。本開示の第4の実施形態においても、本開示の第1の実施形態と同様に、光軸角度(折り曲げ角度および回転角度)D11が検出される。続いて、本開示の第4の実施形態においても、画質制御部130Dは、撮像素子21によって撮像された画像D31Dの画質を光軸角度D11に基づいて制御する。かかる構成により、折り曲げ角度および回転角度に依存して生じる画質劣化を低減することが可能となる。
例えば、画質制御部130Dは、少なくとも照明装置30を光軸角度に基づいて制御することにより画像D31Dの画質を制御する。特に、本開示の第4の実施形態においては、画質制御部130Dは、光軸角度に基づく照明装置30の制御により画像D31Dの配光ムラを補正することによって、画像D31Dの画質を制御する。かかる構成により、光軸角度に依存して生じる配光ムラを低減することが可能となる。
画質制御部130Dは、照明制御部140により、あらかじめ生成された配光ムラ補正用データD21Dに基づいて光軸角度に対応するデータ(光軸角度における配光ムラ補正用データD22D)を取得し、取得したデータに基づいて、配光ムラ補正処理S150Dにおいて、画像D31Dの配光ムラを補正する。これにより、補正後画像D32Dが得られる。
より具体的には、画質制御部130Dは、照明制御部140により、あらかじめ生成された配光ムラ補正用データD21Dに基づいて光軸角度に対応する光源角度を取得し、取得した光源角度に従って、照明装置30の光源30−1〜30−8の角度を調整する。これにより、角度が変更された光源によって照らされた被写体の撮影画像からは配光ムラが低減される。
[4.3.変形例]
本開示の第4の実施形態には、様々な変形例が適用され得る。例えば、上記においては、配光ムラを補正する手法を説明したが、配光ムラの補正と輝度ムラの補正とが組み合わされて実行されてもよい。すなわち、本開示の第3の実施形態と本開示の第4の実施形態とは組み合わされて実行されてもよい。例えば、照明装置30の制御によって配光ムラの補正を行った後、画像処理によって輝度ムラの補正を行ってもよい。同様に、上記した本開示の第1の実施形態から本開示の第4の実施形態までのいずれかは、適宜に組み合わされて実行されてもよい。
以上、本開示の第4の実施形態について説明した。
<2.むすび>
以上説明したように、本開示の実施形態によれば、内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御する画質制御部、を備える、制御装置が提供される。かかる構成によれば、可変視野内視鏡装置によって撮像される画像の画質劣化を低減することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、光軸角度に応じた画質制御が内視鏡装置によって実行される例を主に説明した。しかし、上記した画質制御は、内視鏡装置とは異なる機器によって実行されてもよい。例えば、上記した画質制御は、顕微鏡などによって実行されてもよい。また、上記した画質制御は、医療分野において利用される内視鏡装置に適用される場合を主に想定したが、上記した画質制御は、医療分野以外のあらゆる分野にも広く適用され得る。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御する画質制御部、
を備える、制御装置。
(2)
前記光軸角度情報は、角度検出装置によって検出した情報、または撮像装置によって制御された光源角度情報を取得した情報である、
前記(1)に記載の制御装置。
(3)
前記画質制御部は、前記光軸角度情報に対応する補正用データと前記画像信号とに基づき、前記表示用画像の画質を制御する、
前記(1)または(2)に記載の制御装置。
(4)
前記制御装置は、更に補正用データ生成部を有し、
前記補正用データ生成部は、所定のチャートを撮影して得たチャート画像信号に基づいて、前記補正用データの生成を行う、
前記(3)に記載の制御装置。
(5)
前記画質制御部は、被写体までの距離を示す距離情報と、前記光軸角度情報に対応する補正用データと前記画像信号に基づき、前記表示用画像の画質を制御する、
前記(1)〜(4)のいずれか一項に記載の制御装置。
(6)
前記画質制御部は、前記画像信号がR信号、G信号、B信号を有する場合、それぞれの画像信号に基づき、表示用画像の画質を制御する、
前記(1)〜(5)のいずれか一項に記載の制御装置。
(7)
前記画質制御部は、前記表示用画像のぼけムラ、歪み、または輝度ムラの少なくともひとつを制御する、
前記(1)〜(6)のいずれか一項に記載の制御装置。
(8)
前記補正用データ生成部は、
前記チャート画像信号に基づいて、空間位置に依存して変化するぼけ関数を推定し、前記ぼけ関数からぼけムラを制御するための補正用データを生成する、
前記(4)に記載の制御装置。
(9)
前記画質制御部は、前記光軸角度情報に基づき光源装置を調整し、前記表示用画像の画質を制御する、
前記(1)〜(8)のいずれか一項に記載の制御装置。
(10)
前記画質制御部は、前記表示用画像の配光ムラを制御する、
前記(9)に記載の制御装置。
(11)
前記補正用データ生成部は、
前記チャート画像信号に基づいて、照明装置の光源角度ごとの配光ムラ評価値を算出し、前記配光ムラ評価値から配光ムラを制御するための補正用データを生成する、
前記(4)に記載の制御装置。
(12)
内視鏡のスコープ軸を基準とする光源角度を制御する角度制御部と、
術中に体腔内の被写体を撮像し画像信号を得る撮像部と、
を具備し、
制御装置に対して、前記光源角度を示す情報および前記画像信号を出力する、
内視鏡撮像装置。
(13)
前記内視鏡撮像装置は、更に距離情報算出部を有し、
前記被写体までの距離情報を算出する、
前記(12)に記載の内視鏡撮像装置。
(14)
前記距離情報は、撮像装置条件、または前記画像信号から算出される
前記(13)に記載の内視鏡撮像装置。
(15)
前記撮像部は、R信号、G信号、B信号それぞれの画像信号を得て、
前記制御装置に対して、前記R信号、前記G信号および前記B信号を出力する、
前記(12)〜(14)のいずれか一項に記載の内視鏡撮像装置。
(16)
前記撮像部は、所定のチャートを撮像し、
前記制御装置に対して、前記撮像したチャート画像信号を出力する、
前記(12)〜(15)のいずれか一項に記載の内視鏡撮像装置。
(17)
内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御すること、
を含む、制御方法。
(18)
コンピュータを、
内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御する画質制御部、
を備える制御装置として機能させるためのプログラム。
(19)
内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御する画質制御部、を含む、制御装置と、
前記内視鏡のスコープ軸を基準とする光源角度を制御する角度制御部と、
術中に体腔内の被写体を撮像し画像信号を得る撮像部と、
を具備し、
前記制御装置に対して、前記光源角度を示す情報および前記画像信号を出力する、
内視鏡撮像装置と、
を有する、内視鏡システム。
1A〜1D 内視鏡システム
10A〜10D 制御装置
110A〜110D 補正用データ生成部
120 角度検出部
121 収差検出部
122 収差比較部
123 収差データベース
130A〜130D 画質制御部
140 照明制御部
150A〜150C 補正処理部
20 カメラヘッド
21 撮像素子
30 照明装置
40 硬性鏡
41 レンズ
50 モニタ

Claims (19)

  1. 内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御する画質制御部、
    を備える、制御装置。
  2. 前記光軸角度情報は、角度検出装置によって検出した情報、または撮像装置によって制御された光源角度情報を取得した情報である、
    請求項1に記載の制御装置。
  3. 前記画質制御部は、前記光軸角度情報に対応する補正用データと前記画像信号とに基づき、前記表示用画像の画質を制御する、
    請求項1に記載の制御装置。
  4. 前記制御装置は、更に補正用データ生成部を有し、
    前記補正用データ生成部は、所定のチャートを撮影して得たチャート画像信号に基づいて、前記補正用データの生成を行う、
    請求項3に記載の制御装置。
  5. 前記画質制御部は、被写体までの距離を示す距離情報と、前記光軸角度情報に対応する補正用データと前記画像信号に基づき、前記表示用画像の画質を制御する、
    請求項1に記載の制御装置。
  6. 前記画質制御部は、前記画像信号がR信号、G信号、B信号を有する場合、それぞれの画像信号に基づき、表示用画像の画質を制御する、
    請求項1に記載の制御装置。
  7. 前記画質制御部は、前記表示用画像のぼけムラ、歪み、または輝度ムラの少なくともひとつを制御する、
    請求項1に記載の制御装置。
  8. 前記補正用データ生成部は、
    前記チャート画像信号に基づいて、空間位置に依存して変化するぼけ関数を推定し、前記ぼけ関数からぼけムラを制御するための補正用データを生成する、
    請求項4に記載の制御装置。
  9. 前記画質制御部は、前記光軸角度情報に基づき光源装置を調整し、前記表示用画像の画質を制御する、
    請求項1に記載の制御装置。
  10. 前記画質制御部は、前記表示用画像の配光ムラを制御する、
    請求項9に記載の制御装置。
  11. 前記補正用データ生成部は、
    前記チャート画像信号に基づいて、照明装置の光源角度ごとの配光ムラ評価値を算出し、前記配光ムラ評価値から配光ムラを制御するための補正用データを生成する、
    請求項4に記載の制御装置。
  12. 内視鏡のスコープ軸を基準とする光源角度を制御する角度制御部と、
    術中に体腔内の被写体を撮像し画像信号を得る撮像部と、
    を具備し、
    制御装置に対して、前記光源角度を示す情報および前記画像信号を出力する、
    内視鏡撮像装置。
  13. 前記内視鏡撮像装置は、更に距離情報算出部を有し、
    前記被写体までの距離情報を算出する、
    請求項12に記載の内視鏡撮像装置。
  14. 前記距離情報は、撮像装置条件、または前記画像信号から算出される
    請求項13に記載の内視鏡撮像装置。
  15. 前記撮像部は、R信号、G信号、B信号それぞれの画像信号を得て、
    前記制御装置に対して、前記R信号、前記G信号および前記B信号を出力する、
    請求項12に記載の内視鏡撮像装置。
  16. 前記撮像部は、所定のチャートを撮像し、
    前記制御装置に対して、前記撮像したチャート画像信号を出力する、
    請求項12に記載の内視鏡撮像装置。
  17. 内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御すること、
    を含む、制御方法。
  18. コンピュータを、
    内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御する画質制御部、
    を備える制御装置として機能させるためのプログラム。
  19. 内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御する画質制御部、を含む、制御装置と、
    前記内視鏡のスコープ軸を基準とする光源角度を制御する角度制御部と、
    術中に体腔内の被写体を撮像し画像信号を得る撮像部と、
    を具備し、
    前記制御装置に対して、前記光源角度を示す情報および前記画像信号を出力する、
    内視鏡撮像装置と、
    を有する、内視鏡システム。
JP2018508433A 2016-03-31 2017-01-20 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム Active JP7289653B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016069872 2016-03-31
JP2016069872 2016-03-31
PCT/JP2017/001872 WO2017168986A1 (ja) 2016-03-31 2017-01-20 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2017168986A1 true JPWO2017168986A1 (ja) 2019-02-07
JP7289653B2 JP7289653B2 (ja) 2023-06-12

Family

ID=59964109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018508433A Active JP7289653B2 (ja) 2016-03-31 2017-01-20 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム

Country Status (4)

Country Link
US (1) US11602265B2 (ja)
EP (1) EP3437545A4 (ja)
JP (1) JP7289653B2 (ja)
WO (1) WO2017168986A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017221335A1 (ja) * 2016-06-21 2019-04-11 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
JP6898425B2 (ja) * 2017-03-03 2021-07-07 富士フイルム株式会社 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ
WO2018180249A1 (ja) 2017-03-28 2018-10-04 富士フイルム株式会社 計測支援装置、内視鏡システム、及びプロセッサ
CN110461204B (zh) 2017-03-28 2021-05-18 富士胶片株式会社 测量辅助装置、内窥镜系统及处理器
JP2020095069A (ja) 2017-03-31 2020-06-18 株式会社ニコン 撮像装置
KR102148433B1 (ko) * 2018-08-07 2020-08-26 서울대학교 산학협력단 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 평가 및 자동 추출 방법
JP7354608B2 (ja) 2019-06-21 2023-10-03 ソニーグループ株式会社 医療用観察システム、医療用観察方法、および情報処理装置
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
JP7426248B2 (ja) * 2020-01-29 2024-02-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察システム
JPWO2022230563A1 (ja) * 2021-04-28 2022-11-03
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5778834A (en) * 1980-11-06 1982-05-17 Olympus Optical Co Endoscope
JPH10165365A (ja) * 1996-12-10 1998-06-23 Fuji Photo Film Co Ltd 内視鏡
JPH11332820A (ja) * 1998-05-29 1999-12-07 Fuji Photo Film Co Ltd 蛍光内視鏡
JP2010226157A (ja) * 2009-03-19 2010-10-07 Nikon Corp カメラおよび画像補正方法
JP2012023498A (ja) * 2010-07-13 2012-02-02 Fujitsu Ltd 画像処理装置、画像処理プログラム
JP2014529389A (ja) * 2011-07-25 2014-11-06 ウニベルシダデ デ コインブラ 1つまたは複数のチェッカーボードパターンの画像を用いた自動カメラキャリブレーションの方法および装置
JP2016505315A (ja) * 2012-12-20 2016-02-25 アヴァテラメディカル ゲーエムベーハー 低侵襲手術のためのマルチカメラシステム付き内視鏡

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2715383B2 (ja) 1986-11-20 1998-02-18 オリンパス光学工業株式会社 内視鏡装置
JPH0210308A (ja) * 1988-06-29 1990-01-16 Toshiba Corp 内視鏡装置
JPH07359A (ja) 1993-06-11 1995-01-06 Olympus Optical Co Ltd 電子内視鏡装置
US6249315B1 (en) * 1997-03-24 2001-06-19 Jack M. Holm Strategy for pictorial digital image processing
JP3587433B2 (ja) * 1998-09-08 2004-11-10 シャープ株式会社 固体撮像素子の画素欠陥検出装置
US20030187319A1 (en) * 2002-03-29 2003-10-02 Olympus Optical Co., Ltd. Sentinel lymph node detecting apparatus, and method thereof
DE10352394B4 (de) 2003-11-10 2009-07-30 Ivoclar Vivadent Ag Intraorale Kameraeinrichtung sowie Verfahren zum Erzeugen eines ausgerichteten Bildes eines intraoralen Gegenstandes, insbesondere eines Patientenzahnes
US7809155B2 (en) * 2004-06-30 2010-10-05 Intel Corporation Computing a higher resolution image from multiple lower resolution images using model-base, robust Bayesian estimation
JP5257891B2 (ja) * 2007-12-05 2013-08-07 富士フイルム株式会社 画像処理システムおよびプログラム
US8758234B2 (en) * 2008-07-08 2014-06-24 Karl Storz Imaging, Inc. Solid state variable direction of view endoscope
EP2406682B1 (en) * 2009-03-13 2019-11-27 Ramot at Tel-Aviv University Ltd Imaging system and method for imaging objects with reduced image blur
WO2011053678A1 (en) * 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
JP5284537B2 (ja) * 2010-03-31 2013-09-11 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
US8459844B2 (en) 2010-07-01 2013-06-11 Welch Allyn, Inc. Replacement light assembly
WO2012041492A1 (en) * 2010-09-28 2012-04-05 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for recovering a digital image from a sequence of observed digital images
JP2012125293A (ja) 2010-12-13 2012-07-05 Olympus Corp 制御装置、内視鏡装置及びフォーカス制御方法
JP5919533B2 (ja) * 2011-12-15 2016-05-18 パナソニックIpマネジメント株式会社 内視鏡およびこれを備えた内視鏡システム
US9245328B2 (en) * 2012-03-29 2016-01-26 Nikon Corporation Algorithm for minimizing latent sharp image cost function and point spread function with a spatial mask in a fidelity term
WO2013148142A1 (en) * 2012-03-29 2013-10-03 Nikon Corporation Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
US9424629B2 (en) * 2013-02-01 2016-08-23 Canon Kabushiki Kaisha Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP5759085B2 (ja) * 2013-03-28 2015-08-05 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体
CN104704807B (zh) * 2013-03-28 2018-02-02 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
US9692939B2 (en) * 2013-05-29 2017-06-27 Yeda Research And Development Co. Ltd. Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
CN105432069B (zh) * 2013-07-25 2018-09-25 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及程序
WO2015017194A1 (en) * 2013-07-29 2015-02-05 Nikon Corporation Multiple phase method for image deconvolution
JP5864037B2 (ja) * 2013-08-02 2016-02-17 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US10210599B2 (en) * 2013-08-09 2019-02-19 Intuitive Surgical Operations, Inc. Efficient image demosaicing and local contrast enhancement
US9774865B2 (en) * 2013-12-16 2017-09-26 Samsung Electronics Co., Ltd. Method for real-time implementation of super resolution
JP6150130B2 (ja) 2014-01-30 2017-06-21 ソニー株式会社 内視鏡システム、内視鏡画像処理装置、画像処理方法、およびプログラム
JP5778834B2 (ja) 2014-07-17 2015-09-16 京楽産業.株式会社 遊技機
DE102014112666A1 (de) * 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
US9754360B2 (en) * 2014-12-22 2017-09-05 The Research Foundation For The State University Of New York Determination of spatial distribution of charged particle beams

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5778834A (en) * 1980-11-06 1982-05-17 Olympus Optical Co Endoscope
JPH10165365A (ja) * 1996-12-10 1998-06-23 Fuji Photo Film Co Ltd 内視鏡
JPH11332820A (ja) * 1998-05-29 1999-12-07 Fuji Photo Film Co Ltd 蛍光内視鏡
JP2010226157A (ja) * 2009-03-19 2010-10-07 Nikon Corp カメラおよび画像補正方法
JP2012023498A (ja) * 2010-07-13 2012-02-02 Fujitsu Ltd 画像処理装置、画像処理プログラム
JP2014529389A (ja) * 2011-07-25 2014-11-06 ウニベルシダデ デ コインブラ 1つまたは複数のチェッカーボードパターンの画像を用いた自動カメラキャリブレーションの方法および装置
JP2016505315A (ja) * 2012-12-20 2016-02-25 アヴァテラメディカル ゲーエムベーハー 低侵襲手術のためのマルチカメラシステム付き内視鏡

Also Published As

Publication number Publication date
US11602265B2 (en) 2023-03-14
JP7289653B2 (ja) 2023-06-12
EP3437545A4 (en) 2019-08-21
EP3437545A1 (en) 2019-02-06
WO2017168986A1 (ja) 2017-10-05
US20190069766A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
JP5108093B2 (ja) 撮像装置及び撮像方法
US10089737B2 (en) 3D corrected imaging
JP6478136B1 (ja) 内視鏡システム、内視鏡システムの作動方法
JP6996901B2 (ja) 内視鏡システム
WO2005002240A1 (ja) 表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置
US10820786B2 (en) Endoscope system and method of driving endoscope system
JP2015008785A (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP5911296B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP6377295B2 (ja) 距離計測装置及び距離計測方法
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
WO2017221507A1 (ja) 内視鏡システム
JP2015005237A (ja) 検出装置、学習装置、検出方法、学習方法及びプログラム
JP6479178B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
WO2013175816A1 (ja) 距離測定装置
US11030732B2 (en) Information processing device, information processing system, and image processing method for generating a sum picture by adding pixel values of multiple pictures
JP6757004B2 (ja) 画像処理装置及び方法、画像処理プログラム、並びに投影装置
WO2018016002A1 (ja) 画像処理装置、内視鏡システム、プログラム及び画像処理方法
US20210258507A1 (en) Method and system for depth-based illumination correction
JP2016201600A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6838608B2 (ja) 画像処理装置及び画像処理方法
WO2024122191A1 (ja) 画像処理装置及び方法、プログラム、記憶媒体
WO2022103408A1 (en) Method and system for depth-based illumination correction
JP2024050089A (ja) 画像処理装置および画像処理装置の制御方法
JP2004334056A (ja) プロジェクタのフォーカス調整方法およびフォーカス調整装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211126

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220523

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220523

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220531

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220607

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220722

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220726

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221101

C141 Inquiry by the administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C141

Effective date: 20230104

C54 Written response to inquiry

Free format text: JAPANESE INTERMEDIATE CODE: C54

Effective date: 20230217

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20230315

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230327

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230531

R150 Certificate of patent or registration of utility model

Ref document number: 7289653

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150