JP7289653B2 - 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム - Google Patents
制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム Download PDFInfo
- Publication number
- JP7289653B2 JP7289653B2 JP2018508433A JP2018508433A JP7289653B2 JP 7289653 B2 JP7289653 B2 JP 7289653B2 JP 2018508433 A JP2018508433 A JP 2018508433A JP 2018508433 A JP2018508433 A JP 2018508433A JP 7289653 B2 JP7289653 B2 JP 7289653B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- angle
- optical axis
- endoscope
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 88
- 238000000034 method Methods 0.000 title claims description 43
- 238000012937 correction Methods 0.000 claims description 210
- 230000003287 optical effect Effects 0.000 claims description 134
- 238000005452 bending Methods 0.000 claims description 86
- 238000003908 quality control method Methods 0.000 claims description 67
- 238000001514 detection method Methods 0.000 claims description 38
- 238000011156 evaluation Methods 0.000 claims description 15
- 230000004807 localization Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000001356 surgical procedure Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000011664 signaling Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 74
- 230000004075 alteration Effects 0.000 description 31
- 238000012545 processing Methods 0.000 description 31
- 230000006866 deterioration Effects 0.000 description 19
- 238000005286 illumination Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 102220580177 Non-receptor tyrosine-protein kinase TYK2_D31A_mutation Human genes 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000004040 coloring Methods 0.000 description 4
- 238000003702 image correction Methods 0.000 description 4
- 102220584653 Proline-, glutamic acid- and leucine-rich protein 1_D21A_mutation Human genes 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000006187 pill Substances 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 102200044937 rs121913396 Human genes 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 102220584652 Proline-, glutamic acid- and leucine-rich protein 1_D22A_mutation Human genes 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00183—Optical arrangements characterised by the viewing angles for variable viewing angles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0623—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for off-axis illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0669—Endoscope light sources at proximal end of an endoscope
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Astronomy & Astrophysics (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
Description
1.第1の実施形態
1.1.システム構成例
1.2.機能構成例
1.3.変形例
2.第2の実施形態
2.1.システム構成例
2.2.機能構成例
2.3.変形例
3.第3の実施形態
3.1.システム構成例
3.2.機能構成例
3.3.変形例
4.第4の実施形態
4.1.システム構成例
4.2.機能構成例
4.3.変形例
5.むすび
本開示の第1の実施形態について説明する。
まず、本開示の第1の実施形態に係る内視鏡システム(以下、「内視鏡装置」とも言う。)の構成例について説明する。図1は、本開示の第1の実施形態に係る内視鏡システムの構成例を示す図である。図1に示したように、本開示の第1の実施形態に係る内視鏡システム1Aは、制御装置(CCU:Camera Control Unit)10A、カメラヘッド20、照明装置30、硬性鏡(以下、「スコープ」とも言う。)40およびモニタ(表示装置)50を備える。
以上、図2~図4を参照しながら、内視鏡システム1Aの基本的な機能について説明した。ここで、上記したように、本開示の実施形態においては、光軸角度が可変である場合が想定されている。かかる場合には、光路変化に伴って生じる光学特性劣化に起因して、撮像素子21によって撮像される画像の画質が劣化してしまうことがある。本開示の実施形態においては、可変視野内視鏡装置によって撮像される画像の画質劣化を低減することが可能な技術を主に提案する。
本開示の第1の実施形態には、様々な変形例が適用され得る。例えば、上記においては、Deconvolutionによって補正後画像D32-1を得る手法について説明した。しかし、Deconvolutionによって補正後画像D32-1を得る手法は、上記した例に限定されない。すなわち、本開示の第1の実施形態においては、補正後画像D32-1を得るために、あらゆる周知のDeconvolutionが適用され得る。
続いて、本開示の第2の実施形態について説明する。
まず、本開示の第2の実施形態に係る内視鏡システムの構成例について説明する。図13は、本開示の第2の実施形態に係る内視鏡システムの構成例を示す図である。図1を参照すると、内視鏡システム1Aは制御装置10Aを備えるのに対し、図13を参照すると、内視鏡システム1Bは制御装置10Bを備える点において、本開示の第1の実施形態と本開示の第2の実施形態とは異なっている。その他の構成は、本開示の第1の実施形態と本開示の第2の実施形態とにおいて実質的に同一である。そこで、本開示の第2の実施形態においては、制御装置10Bについて主に説明する。
本開示の第2の実施形態においても、可変視野内視鏡装置によって撮像される画像の画質劣化を低減することが可能な技術を主に提案する。より具体的には、本開示の第1の実施形態においても説明したように、折り曲げ角度および回転角度に依存して画質が劣化し得る。本開示の第2の実施形態においては、このような折り曲げ角度および回転角度に依存して生じる画質劣化(特に、形状歪み)を低減する技術を主に提案する。
本開示の第2の実施形態には、様々な変形例が適用され得る。例えば、上記においては、直線に対して生じた歪みに対する補正(いわゆるディストーション補正)の例を示した。しかし、用途によっては立体物の歪みに着目したボリューム歪像補正がより好適である場合もある。図20Aは、ボリューム歪像補正による補正後画像D32B-1の例を示す図である。また、図20Bは、ディストーション補正による補正後画像D32B-2の例を示す図である。ここで意味する歪み補正は形態補正方法すべての総称であり、ディストーション補正とボリューム歪像補正とは理論上両立できないが、場合によっては両者を適度な比率でミックスして本開示の第2の実施形態を実施することも可能である。
続いて、本開示の第3の実施形態について説明する。
まず、本開示の第3の実施形態に係る内視鏡システムの構成例について説明する。図22は、本開示の第3の実施形態に係る内視鏡システムの構成例を示す図である。図1を参照すると、内視鏡システム1Aは制御装置10Aを備えるのに対し、図22を参照すると、内視鏡システム1Cは制御装置10Cを備える点において、本開示の第1の実施形態と本開示の第3の実施形態とは異なっている。その他の構成は、本開示の第1の実施形態と本開示の第3の実施形態とにおいて実質的に同一である。そこで、本開示の第3の実施形態においては、制御装置10Cについて主に説明する。
本開示の第3の実施形態においても、可変視野内視鏡装置によって撮像される画像の画質劣化を低減することが可能な技術を主に提案する。より具体的には、光軸角度(折り曲げ角度および回転角度)毎に角度調節部分での光路が微妙に変化し、例えば、光軸のずれによりレンズの周辺光量落ちの影響の受け方が変化したり、同じ像面での光路長変化により空間的に透過する光量が変化したりするため、光学的輝度ムラが発生し得る。本開示の第3の実施形態においては、このような折り曲げ角度および回転角度に依存して生じる画質劣化(特に、輝度ムラ)を低減する技術を主に提案する。
本開示の第3の実施形態には、様々な変形例が適用され得る。例えば、上記においては、輝度ムラの補正手法の一例を説明したが、輝度ムラの補正手法は特に限定されない。また、輝度の定義も特に限定されない。例えば、輝度は、例えば、輝度の定義も、YCbCrのYであってもよいし、CIELABのLであってもよいし、他の信号であってもよい。また、上記においては、画面内の輝度が平均輝度に合うように補正を行う例を説明したが、画面内の輝度が平均輝度とは異なる所定の基準輝度に合うように補正が行われてもよい。
続いて、本開示の第4の実施形態について説明する。
まず、本開示の第4の実施形態に係る内視鏡システムの構成例について説明する。図29は、本開示の第4の実施形態に係る内視鏡システムの構成例を示す図である。図1を参照すると、内視鏡システム1Aは制御装置10Aを備えるのに対し、図29を参照すると、内視鏡システム1Dは制御装置10Dを備える点において、本開示の第1の実施形態と本開示の第4の実施形態とは異なっている。その他の構成は、(上記したように、本開示の第4の実施形態においては、照明装置30の光源角度が可変であるという点を除いて)本開示の第1の実施形態と本開示の第4の実施形態とにおいて実質的に同一である。そこで、本開示の第4の実施形態においては、制御装置10Dについて主に説明する。
本開示の第4の実施形態においても、可変視野内視鏡装置によって撮像される画像の画質劣化を低減することが可能な技術を主に提案する。より具体的には、光軸角度(折り曲げ角度および回転角度)の変化に伴って照明装置30から発せられる光の被写体への当たり具合が変化するため、配光ムラが発生し得る。本開示の第4の実施形態においては、このような折り曲げ角度および回転角度に依存して生じる画質劣化(特に、配光ムラ)を低減する技術を主に提案する。
本開示の第4の実施形態には、様々な変形例が適用され得る。例えば、上記においては、配光ムラを補正する手法を説明したが、配光ムラの補正と輝度ムラの補正とが組み合わされて実行されてもよい。すなわち、本開示の第3の実施形態と本開示の第4の実施形態とは組み合わされて実行されてもよい。例えば、照明装置30の制御によって配光ムラの補正を行った後、画像処理によって輝度ムラの補正を行ってもよい。同様に、上記した本開示の第1の実施形態から本開示の第4の実施形態までのいずれかは、適宜に組み合わされて実行されてもよい。
以上説明したように、本開示の実施形態によれば、内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御する画質制御部、を備える、制御装置が提供される。かかる構成によれば、可変視野内視鏡装置によって撮像される画像の画質劣化を低減することが可能となる。
(1)
内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御する画質制御部、
を備える、制御装置。
(2)
前記光軸角度情報は、角度検出装置によって検出した情報、または撮像装置によって制御された光源角度情報を取得した情報である、
前記(1)に記載の制御装置。
(3)
前記画質制御部は、前記光軸角度情報に対応する補正用データと前記画像信号とに基づき、前記表示用画像の画質を制御する、
前記(1)または(2)に記載の制御装置。
(4)
前記制御装置は、更に補正用データ生成部を有し、
前記補正用データ生成部は、所定のチャートを撮影して得たチャート画像信号に基づいて、前記補正用データの生成を行う、
前記(3)に記載の制御装置。
(5)
前記画質制御部は、被写体までの距離を示す距離情報と、前記光軸角度情報に対応する補正用データと前記画像信号に基づき、前記表示用画像の画質を制御する、
前記(1)~(4)のいずれか一項に記載の制御装置。
(6)
前記画質制御部は、前記画像信号がR信号、G信号、B信号を有する場合、それぞれの画像信号に基づき、表示用画像の画質を制御する、
前記(1)~(5)のいずれか一項に記載の制御装置。
(7)
前記画質制御部は、前記表示用画像のぼけムラ、歪み、または輝度ムラの少なくともひとつを制御する、
前記(1)~(6)のいずれか一項に記載の制御装置。
(8)
前記補正用データ生成部は、
前記チャート画像信号に基づいて、空間位置に依存して変化するぼけ関数を推定し、前記ぼけ関数からぼけムラを制御するための補正用データを生成する、
前記(4)に記載の制御装置。
(9)
前記画質制御部は、前記光軸角度情報に基づき光源装置を調整し、前記表示用画像の画質を制御する、
前記(1)~(8)のいずれか一項に記載の制御装置。
(10)
前記画質制御部は、前記表示用画像の配光ムラを制御する、
前記(9)に記載の制御装置。
(11)
前記補正用データ生成部は、
前記チャート画像信号に基づいて、照明装置の光源角度ごとの配光ムラ評価値を算出し、前記配光ムラ評価値から配光ムラを制御するための補正用データを生成する、
前記(4)に記載の制御装置。
(12)
内視鏡のスコープ軸を基準とする光源角度を制御する角度制御部と、
術中に体腔内の被写体を撮像し画像信号を得る撮像部と、
を具備し、
制御装置に対して、前記光源角度を示す情報および前記画像信号を出力する、
内視鏡撮像装置。
(13)
前記内視鏡撮像装置は、更に距離情報算出部を有し、
前記被写体までの距離情報を算出する、
前記(12)に記載の内視鏡撮像装置。
(14)
前記距離情報は、撮像装置条件、または前記画像信号から算出される
前記(13)に記載の内視鏡撮像装置。
(15)
前記撮像部は、R信号、G信号、B信号それぞれの画像信号を得て、
前記制御装置に対して、前記R信号、前記G信号および前記B信号を出力する、
前記(12)~(14)のいずれか一項に記載の内視鏡撮像装置。
(16)
前記撮像部は、所定のチャートを撮像し、
前記制御装置に対して、前記撮像したチャート画像信号を出力する、
前記(12)~(15)のいずれか一項に記載の内視鏡撮像装置。
(17)
内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御すること、
を含む、制御方法。
(18)
コンピュータを、
内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御する画質制御部、
を備える制御装置として機能させるためのプログラム。
(19)
内視鏡のスコープ軸を基準とする光軸角度情報と、撮像素子によって取得した画像信号とに基づき、表示用画像の画質を制御する画質制御部、を含む、制御装置と、
前記内視鏡のスコープ軸を基準とする光源角度を制御する角度制御部と、
術中に体腔内の被写体を撮像し画像信号を得る撮像部と、
を具備し、
前記制御装置に対して、前記光源角度を示す情報および前記画像信号を出力する、
内視鏡撮像装置と、
を有する、内視鏡システム。
10A~10D 制御装置
110A~110D 補正用データ生成部
120 角度検出部
121 収差検出部
122 収差比較部
123 収差データベース
130A~130D 画質制御部
140 照明制御部
150A~150C 補正処理部
20 カメラヘッド
21 撮像素子
30 照明装置
40 硬性鏡
41 レンズ
50 モニタ
Claims (19)
- 光軸角度が可変である内視鏡の制御装置であって、
SLAM(Simultaneous Localization and Mapping)により前記内視鏡のスコープの自己位置推定と環境地図作成とを行うことで時間方向で逐次相対的な視点の位置姿勢を検出し続け、前記位置姿勢を積分することである開始時点を基準とした前記位置姿勢の変化量を算出し、前記変化量に基づき前記スコープの長手方向に沿ったスコープ軸を基準とする、前記スコープの先端の斜視面における光軸角度情報を検出する検出部と、
前記光軸角度情報と、撮像素子によって取得した画像信号とに基づき、出力画像の画質を制御する画質制御部と、
を備える、制御装置。 - 前記光軸角度情報は、前記スコープ軸を基準とする光軸の折り曲げ角度および回転角を示す情報である、
請求項1に記載の制御装置。 - 前記画質制御部は、前記光軸角度情報に対応する補正用データと前記画像信号とに基づき、前記出力画像の画質を制御する、
請求項1または2に記載の制御装置。 - 前記制御装置は、更に補正用データ生成部を有し、
前記補正用データ生成部は、所定のチャートを撮影して得たチャート画像信号に基づいて、前記補正用データの生成を行う、
請求項3に記載の制御装置。 - 前記画質制御部は、被写体までの距離を示す距離情報と、前記光軸角度情報に対応する補正用データと前記画像信号に基づき、前記出力画像の画質を制御する、
請求項1~4のいずれか一項に記載の制御装置。 - 前記画質制御部は、前記画像信号がR信号、G信号、B信号を有する場合、それぞれの画像信号に基づき、前記出力画像の画質を制御する、
請求項1~5のいずれか一項に記載の制御装置。 - 前記画質制御部は、前記出力画像のぼけムラ、歪み、または輝度ムラの少なくともひとつを制御する、
請求項1~6のいずれか一項に記載の制御装置。 - 前記補正用データ生成部は、
前記チャート画像信号に基づいて、空間位置に依存して変化するぼけ関数を推定し、前記ぼけ関数からぼけムラを制御するための補正用データを生成する、
請求項4に記載の制御装置。 - 前記画質制御部は、前記光軸角度情報に基づき光源角度を調整し、前記出力画像の画質を制御する、
請求項1~8のいずれか一項に記載の制御装置。 - 前記画質制御部は、前記出力画像の配光ムラを制御する、
請求項9に記載の制御装置。 - 前記補正用データ生成部は、
前記チャート画像信号に基づいて、照明装置の光源角度ごとの配光ムラ評価値を算出し、前記配光ムラ評価値から前記光源角度の補正により配光ムラを制御するための他の補正用データを生成する、
請求項4に記載の制御装置。 - 光軸角度が可変である内視鏡のスコープ軸を基準とする光源角度を制御する角度制御部と、
術中に体腔内の被写体を撮像し画像信号を得る撮像部と、
前記内視鏡の制御装置と、
を具備し、
前記撮像部は、前記制御装置に対して、前記画像信号を出力し、
前記制御装置は、
SLAM(Simultaneous Localization and Mapping)により前記内視鏡のスコープの自己位置推定と環境地図作成とを行うことで時間方向で逐次相対的な視点の位置姿勢を検出し続け、前記位置姿勢を積分することである開始時点を基準とした前記位置姿勢の変化量を算出し、前記変化量に基づき前記スコープの長手方向に沿ったスコープ軸を基準とする、前記スコープの先端の斜視面における光軸角度情報を検出する検出部と、
前記光軸角度情報と、前記画像信号とに基づき、出力画像の画質を制御する画質制御部と、
を備える、
内視鏡撮像装置。 - 前記内視鏡撮像装置は、更に距離情報算出部を有し、
前記被写体までの距離情報を算出する、
請求項12に記載の内視鏡撮像装置。 - 前記距離情報は、撮像装置条件、または前記画像信号から算出される
請求項13に記載の内視鏡撮像装置。 - 前記撮像部は、R信号、G信号、B信号それぞれの画像信号を得て、
前記制御装置に対して、前記R信号、前記G信号および前記B信号を出力する、
請求項12~14のいずれか一項に記載の内視鏡撮像装置。 - 前記撮像部は、所定のチャートを撮像し、
前記制御装置に対して、前記撮像したチャート画像信号を出力し、
前記画質制御部は、前記光軸角度情報に対応する補正用データと前記画像信号とに基づき、前記出力画像の画質を制御し、
前記制御装置は、更に補正用データ生成部を有し、
前記補正用データ生成部は、前記チャート画像信号に基づいて、前記補正用データの生成を行う、
請求項12~15のいずれか一項に記載の内視鏡撮像装置。 - 光軸角度が可変である内視鏡を備える内視鏡撮像装置と、前記内視鏡撮像装置の動作を制御する制御装置とを有する内視鏡システムにおける前記制御装置により実行される制御方法であって、
SLAM(Simultaneous Localization and Mapping)により前記内視鏡のスコープの自己位置推定と環境地図作成とを行うことで時間方向で逐次相対的な視点の位置姿勢を検出し続け、前記位置姿勢を積分することである開始時点を基準とした前記位置姿勢の変化量を算出し、前記変化量に基づき前記スコープの長手方向に沿ったスコープ軸を基準とする、前記スコープの先端の斜視面における光軸角度情報を検出することと、
前記光軸角度情報と、撮像素子によって取得した画像信号とに基づき、出力画像の画質を制御することと、
を含む、制御方法。 - 光軸角度が可変である内視鏡の制御装置であるコンピュータに、
SLAM(Simultaneous Localization and Mapping)により前記内視鏡のスコープの自己位置推定と環境地図作成とを行うことで時間方向で逐次相対的な視点の位置姿勢を検出し続け、前記位置姿勢を積分することである開始時点を基準とした前記位置姿勢の変化量を算出し、前記変化量に基づき前記スコープの長手方向に沿ったスコープ軸を基準とする、前記スコープの先端の斜視面における光軸角度情報を検出し、
前記光軸角度情報と、撮像素子によって取得した画像信号とに基づき、出力画像の画質を制御する、
処理を実行させるプログラム。 - 光軸角度が可変である内視鏡の制御装置であって、SLAM(Simultaneous Localization and Mapping)により前記内視鏡のスコープの自己位置推定と環境地図作成とを行うことで時間方向で逐次相対的な視点の位置姿勢を検出し続け、前記位置姿勢を積分することである開始時点を基準とした前記位置姿勢の変化量を算出し、前記変化量に基づき前記スコープの長手方向に沿ったスコープ軸を基準とする、前記スコープの先端の斜視面における光軸角度情報を検出する検出部と、前記光軸角度情報と、撮像素子によって取得した画像信号とに基づき、出力画像の画質を制御する画質制御部と、を含む、制御装置と、
前記内視鏡のスコープ軸を基準とする光源角度を制御する角度制御部と、術中に体腔内の被写体を撮像し前記画像信号を得る撮像部と、を具備し、前記制御装置に対して、前記画像信号を出力する、内視鏡撮像装置と、
を有する、内視鏡システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016069872 | 2016-03-31 | ||
JP2016069872 | 2016-03-31 | ||
PCT/JP2017/001872 WO2017168986A1 (ja) | 2016-03-31 | 2017-01-20 | 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017168986A1 JPWO2017168986A1 (ja) | 2019-02-07 |
JP7289653B2 true JP7289653B2 (ja) | 2023-06-12 |
Family
ID=59964109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018508433A Active JP7289653B2 (ja) | 2016-03-31 | 2017-01-20 | 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11602265B2 (ja) |
EP (1) | EP3437545A4 (ja) |
JP (1) | JP7289653B2 (ja) |
WO (1) | WO2017168986A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2017221335A1 (ja) * | 2016-06-21 | 2019-04-11 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN110325098A (zh) | 2016-11-28 | 2019-10-11 | 适内有限责任公司 | 具有可分离一次性轴的内窥镜 |
JP6898425B2 (ja) * | 2017-03-03 | 2021-07-07 | 富士フイルム株式会社 | 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ |
JP6666518B2 (ja) | 2017-03-28 | 2020-03-13 | 富士フイルム株式会社 | 計測支援装置、内視鏡システム、及びプロセッサ |
WO2018180250A1 (ja) | 2017-03-28 | 2018-10-04 | 富士フイルム株式会社 | 計測支援装置、内視鏡システム、及びプロセッサ |
JP2020095069A (ja) | 2017-03-31 | 2020-06-18 | 株式会社ニコン | 撮像装置 |
KR102148433B1 (ko) * | 2018-08-07 | 2020-08-26 | 서울대학교 산학협력단 | 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 평가 및 자동 추출 방법 |
JP7354608B2 (ja) | 2019-06-21 | 2023-10-03 | ソニーグループ株式会社 | 医療用観察システム、医療用観察方法、および情報処理装置 |
USD1018844S1 (en) | 2020-01-09 | 2024-03-19 | Adaptivendo Llc | Endoscope handle |
JP7426248B2 (ja) * | 2020-01-29 | 2024-02-01 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用制御装置及び医療用観察システム |
WO2022230563A1 (ja) * | 2021-04-28 | 2022-11-03 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
USD1031035S1 (en) | 2021-04-29 | 2024-06-11 | Adaptivendo Llc | Endoscope handle |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010226157A (ja) | 2009-03-19 | 2010-10-07 | Nikon Corp | カメラおよび画像補正方法 |
JP2014529389A (ja) | 2011-07-25 | 2014-11-06 | ウニベルシダデ デ コインブラ | 1つまたは複数のチェッカーボードパターンの画像を用いた自動カメラキャリブレーションの方法および装置 |
JP5778834B2 (ja) | 2014-07-17 | 2015-09-16 | 京楽産業.株式会社 | 遊技機 |
JP2016505315A (ja) | 2012-12-20 | 2016-02-25 | アヴァテラメディカル ゲーエムベーハー | 低侵襲手術のためのマルチカメラシステム付き内視鏡 |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5778834A (en) * | 1980-11-06 | 1982-05-17 | Olympus Optical Co | Endoscope |
JP2715383B2 (ja) * | 1986-11-20 | 1998-02-18 | オリンパス光学工業株式会社 | 内視鏡装置 |
JPH0210308A (ja) * | 1988-06-29 | 1990-01-16 | Toshiba Corp | 内視鏡装置 |
JPH07359A (ja) * | 1993-06-11 | 1995-01-06 | Olympus Optical Co Ltd | 電子内視鏡装置 |
JP3532368B2 (ja) | 1996-12-10 | 2004-05-31 | 富士写真フイルム株式会社 | 内視鏡 |
US6249315B1 (en) * | 1997-03-24 | 2001-06-19 | Jack M. Holm | Strategy for pictorial digital image processing |
JP3394447B2 (ja) | 1998-05-29 | 2003-04-07 | 富士写真フイルム株式会社 | 蛍光内視鏡 |
JP3587433B2 (ja) * | 1998-09-08 | 2004-11-10 | シャープ株式会社 | 固体撮像素子の画素欠陥検出装置 |
US20030187319A1 (en) * | 2002-03-29 | 2003-10-02 | Olympus Optical Co., Ltd. | Sentinel lymph node detecting apparatus, and method thereof |
DE10352394B4 (de) | 2003-11-10 | 2009-07-30 | Ivoclar Vivadent Ag | Intraorale Kameraeinrichtung sowie Verfahren zum Erzeugen eines ausgerichteten Bildes eines intraoralen Gegenstandes, insbesondere eines Patientenzahnes |
US7809155B2 (en) * | 2004-06-30 | 2010-10-05 | Intel Corporation | Computing a higher resolution image from multiple lower resolution images using model-base, robust Bayesian estimation |
EP2067432A3 (en) * | 2007-12-05 | 2012-12-26 | FUJIFILM Corporation | Image processing system, image processing method, and program |
US8758234B2 (en) * | 2008-07-08 | 2014-06-24 | Karl Storz Imaging, Inc. | Solid state variable direction of view endoscope |
WO2010103527A2 (en) * | 2009-03-13 | 2010-09-16 | Ramot At Tel-Aviv University Ltd. | Imaging system and method for imaging objects with reduced image blur |
JP2013509820A (ja) * | 2009-10-28 | 2013-03-14 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | 符号化ローリングシャッタの方法およびシステム |
WO2011122283A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
US8459844B2 (en) | 2010-07-01 | 2013-06-11 | Welch Allyn, Inc. | Replacement light assembly |
JP5633218B2 (ja) * | 2010-07-13 | 2014-12-03 | 富士通株式会社 | 画像処理装置、画像処理プログラム |
WO2012041492A1 (en) * | 2010-09-28 | 2012-04-05 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Method and device for recovering a digital image from a sequence of observed digital images |
JP2012125293A (ja) * | 2010-12-13 | 2012-07-05 | Olympus Corp | 制御装置、内視鏡装置及びフォーカス制御方法 |
JP5919533B2 (ja) * | 2011-12-15 | 2016-05-18 | パナソニックIpマネジメント株式会社 | 内視鏡およびこれを備えた内視鏡システム |
WO2013148139A1 (en) * | 2012-03-29 | 2013-10-03 | Nikon Corporation | Algorithm for minimizing latent sharp image and point spread function cost functions with spatial mask fidelity |
WO2013148142A1 (en) * | 2012-03-29 | 2013-10-03 | Nikon Corporation | Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term |
CN104956661B (zh) * | 2013-02-01 | 2018-08-17 | 佳能株式会社 | 图像拾取装置、图像处理装置、图像处理方法 |
WO2014155755A1 (ja) * | 2013-03-28 | 2014-10-02 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体 |
DE112013004435T5 (de) * | 2013-03-28 | 2015-06-11 | Fujifilm Corp. | Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren, Programm und Aufzeichnungsmedium |
US9692939B2 (en) * | 2013-05-29 | 2017-06-27 | Yeda Research And Development Co. Ltd. | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence |
JP5897776B2 (ja) * | 2013-07-25 | 2016-03-30 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
CN105765607B (zh) * | 2013-07-29 | 2019-09-10 | 株式会社尼康 | 用于图像反卷积的多阶段方法及系统 |
JP5864037B2 (ja) * | 2013-08-02 | 2016-02-17 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
US10210599B2 (en) * | 2013-08-09 | 2019-02-19 | Intuitive Surgical Operations, Inc. | Efficient image demosaicing and local contrast enhancement |
US9774865B2 (en) * | 2013-12-16 | 2017-09-26 | Samsung Electronics Co., Ltd. | Method for real-time implementation of super resolution |
JP6150130B2 (ja) | 2014-01-30 | 2017-06-21 | ソニー株式会社 | 内視鏡システム、内視鏡画像処理装置、画像処理方法、およびプログラム |
DE102014112666A1 (de) * | 2014-08-29 | 2016-03-03 | Carl Zeiss Ag | Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme |
US9754360B2 (en) * | 2014-12-22 | 2017-09-05 | The Research Foundation For The State University Of New York | Determination of spatial distribution of charged particle beams |
-
2017
- 2017-01-20 EP EP17773536.2A patent/EP3437545A4/en active Pending
- 2017-01-20 JP JP2018508433A patent/JP7289653B2/ja active Active
- 2017-01-20 US US16/078,395 patent/US11602265B2/en active Active
- 2017-01-20 WO PCT/JP2017/001872 patent/WO2017168986A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010226157A (ja) | 2009-03-19 | 2010-10-07 | Nikon Corp | カメラおよび画像補正方法 |
JP2014529389A (ja) | 2011-07-25 | 2014-11-06 | ウニベルシダデ デ コインブラ | 1つまたは複数のチェッカーボードパターンの画像を用いた自動カメラキャリブレーションの方法および装置 |
JP2016505315A (ja) | 2012-12-20 | 2016-02-25 | アヴァテラメディカル ゲーエムベーハー | 低侵襲手術のためのマルチカメラシステム付き内視鏡 |
JP5778834B2 (ja) | 2014-07-17 | 2015-09-16 | 京楽産業.株式会社 | 遊技機 |
Also Published As
Publication number | Publication date |
---|---|
EP3437545A4 (en) | 2019-08-21 |
EP3437545A1 (en) | 2019-02-06 |
WO2017168986A1 (ja) | 2017-10-05 |
US20190069766A1 (en) | 2019-03-07 |
JPWO2017168986A1 (ja) | 2019-02-07 |
US11602265B2 (en) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7289653B2 (ja) | 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム | |
JP5108093B2 (ja) | 撮像装置及び撮像方法 | |
US9595243B2 (en) | Image processing apparatus and image processing method | |
US10089737B2 (en) | 3D corrected imaging | |
JP6168879B2 (ja) | 内視鏡装置、内視鏡装置の作動方法及びプログラム | |
WO2005002240A1 (ja) | 表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置 | |
WO2018230098A1 (ja) | 内視鏡システム、内視鏡システムの作動方法 | |
JP5911296B2 (ja) | 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム | |
JP4156893B2 (ja) | 画像処理装置、方法及びプログラム | |
US10943333B2 (en) | Method and apparatus of sharpening of gastrointestinal images based on depth information | |
US11030732B2 (en) | Information processing device, information processing system, and image processing method for generating a sum picture by adding pixel values of multiple pictures | |
JP6377295B2 (ja) | 距離計測装置及び距離計測方法 | |
US20240196099A1 (en) | Apparatuses, systems, and methods for gaze-based auto-exposure management of images | |
JPWO2017221507A1 (ja) | 内視鏡システム | |
US11354783B2 (en) | Method and apparatus of sharpening of gastrointestinal images based on depth information | |
JP6479178B2 (ja) | 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム | |
JP6757004B2 (ja) | 画像処理装置及び方法、画像処理プログラム、並びに投影装置 | |
US20210258507A1 (en) | Method and system for depth-based illumination correction | |
WO2018016002A1 (ja) | 画像処理装置、内視鏡システム、プログラム及び画像処理方法 | |
WO2020084894A1 (ja) | マルチカメラシステム、制御値算出方法及び制御装置 | |
JP2004120600A (ja) | デジタル双眼鏡 | |
JP2019129469A (ja) | 画像処理装置 | |
JP6838608B2 (ja) | 画像処理装置及び画像処理方法 | |
WO2022103408A1 (en) | Method and system for depth-based illumination correction | |
JP2024050089A (ja) | 画像処理装置および画像処理装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211126 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220523 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220523 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220531 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220607 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20220722 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20220726 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20221101 |
|
C141 | Inquiry by the administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C141 Effective date: 20230104 |
|
C54 | Written response to inquiry |
Free format text: JAPANESE INTERMEDIATE CODE: C54 Effective date: 20230217 |
|
C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20230315 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20230322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230327 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230531 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7289653 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |