TWI718805B - 內視鏡立體成像裝置 - Google Patents

內視鏡立體成像裝置 Download PDF

Info

Publication number
TWI718805B
TWI718805B TW108145270A TW108145270A TWI718805B TW I718805 B TWI718805 B TW I718805B TW 108145270 A TW108145270 A TW 108145270A TW 108145270 A TW108145270 A TW 108145270A TW I718805 B TWI718805 B TW I718805B
Authority
TW
Taiwan
Prior art keywords
lens group
image
light beam
image sensor
microlens array
Prior art date
Application number
TW108145270A
Other languages
English (en)
Other versions
TW202122030A (zh
Inventor
王淇霖
王嚴璋
徐智誠
曹孝岳
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW108145270A priority Critical patent/TWI718805B/zh
Priority to US16/712,993 priority patent/US11051680B1/en
Application granted granted Critical
Publication of TWI718805B publication Critical patent/TWI718805B/zh
Publication of TW202122030A publication Critical patent/TW202122030A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00195—Optical arrangements with eyepieces
    • A61B1/00197—Optical arrangements with eyepieces characterised by multiple eyepieces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/055—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances having rod-lens arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2453—Optical details of the proximal end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

一種內視鏡立體成像裝置包括內視鏡組以及成像模組。成像模組包括第一、第二及第三鏡組、分光元件、第一及第二影像感測器以及微透鏡陣列。來自內視鏡組的光束在通過第一鏡組後傳遞至分光元件並被分成第一以及第二部分光束。第一部分光束經由第二鏡組傳遞至第一影像感測器並形成二維影像。第二部分光束依序經由第三鏡組以及微透鏡陣列傳遞至第二影像感測器並形成第一三維影像。

Description

內視鏡立體成像裝置
本揭露是有關於一種內視鏡，且特別是有關於一種內視鏡立體成像裝置。
近年來，「微創手術」因傷口小、恢復時間短等好處而成為趨勢。絕大部分的微創手術是使用二維(two-dimensional，2D)攝影技術來進行。透過內視鏡將2D影像傳輸到螢幕上，讓外科醫師進行手術。由於2D影像缺乏深度資訊，因此利用二維攝影技術來進行的微創手術在精細手術(例如縫合)的處理上存在難度。為了克服二維攝影技術帶來的技術問題，後來發展出三維(three-dimensional，3D)攝影技術。由於3D影像能呈現深度和距離資訊，讓外科醫師在執行精細手術時，有更精確的空間定位，因此能提高手術精準度、縮短手術時間以及降低手術風險。
然而，目前的3D內視鏡由雙內視鏡組所組成，其利用雙內視鏡組擷取兩個不同視角的影像來形成3D影像。由於兩個不同視角的角度須固定，即雙內視鏡組之間的設置關係必須固定，因此目前的3D內視鏡難以實現直徑小型化。
本揭露的實施例提供一種內視鏡立體成像裝置，其具有內視鏡直徑小型化的潛力。
本揭露的實施例的一種內視鏡立體成像裝置包括內視鏡組以及成像模組。內視鏡組用於接收並傳遞光束。成像模組設置在光束的傳遞路徑上且包括第一鏡組、分光元件、第二鏡組、第一影像感測器、第三鏡組、微透鏡陣列以及第二影像感測器。來自內視鏡組的光束在通過第一鏡組後傳遞至分光元件並被分光元件分成第一部分光束以及第二部分光束。第一部分光束經由第二鏡組傳遞至第一影像感測器並形成二維影像。第二部分光束依序經由第三鏡組以及微透鏡陣列傳遞至第二影像感測器並形成第一三維影像。
為讓本揭露的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
實施方式中所提到的方向用語，例如：「上」、「下」、「前」、「後」、「左」、「右」等，僅是參考附圖的方向。因此，使用的方向用語是用來說明，而並非用來限制本揭露。
在附圖中，各圖式繪示的是特定示範實施例中所使用的方法、結構或材料的通常性特徵。然而，這些圖式不應被解釋為界定或限制由這些示範實施例所涵蓋的範圍或性質。舉例來說，為了清楚起見，各膜層、區域或結構的相對尺寸、厚度及位置可能縮小或放大。
在實施方式中，相同或相似的元件將採用相同或相似的標號，且將省略其贅述。此外，不同示範實施例中的特徵在沒有衝突的情況下可相互組合，且依本說明書或申請專利範圍所作之簡單的等效變化與修飾，皆仍屬本專利涵蓋之範圍內。
本說明書或申請專利範圍中提及的「第一」、「第二」等用語僅用以命名分立（discrete）的元件或區別不同實施例或範圍，而並非用來限制元件數量上的上限或下限，也並非用以限定元件的製造順序或設置順序。
圖1是依照本揭露的一實施例的內視鏡立體成像裝置1的示意圖。請參照圖1，內視鏡立體成像裝置1包括用於接收並傳遞光束B的內視鏡組10、設置在來自內視鏡組10的光束B的傳遞路徑上的成像模組11以及與成像模組11耦接的處理器12。
內視鏡組10呈條狀且具有第一端X1以及第二端X2，其中第二端X2與第一端X1相對且位於第一端X1與成像模組11之間。在實務操作上，可將第一端X1鄰近待測目標(未繪示)設置，以接收待測目標所反射的光束(如光束B)，從而獲得待測目標的影像。待測目標可以是待處理的器官或組織，也可以是病變位置及其周圍相關的神經、血管或組織等。
在一些實施例中，內視鏡組10可包括物鏡組100以及用於延像的中繼鏡組101。物鏡組100以及中繼鏡組101沿著內視鏡組10的光軸OA從第一端X1至第二端X2依序排列。在一些實施例中，物鏡組100以及中繼鏡組101各自包括一個或多個透鏡元件，於此不多加限制物鏡組100以及中繼鏡組101各自的組成及其光參數設計。在其他實施例中，內視鏡組10可省略中繼鏡組101。
成像模組11接收來自內視鏡組10的光束B並據此形成影像。在一些實施例中，成像模組11可包括第一鏡組110、設置在來自第一鏡組110的光束B的傳遞路徑上的分光元件111、設置在來自分光元件111的光束(如第一部分光束BP1)的傳遞路徑上的第二鏡組112、設置在來自第二鏡組112的光束(如第一部分光束BP1)的傳遞路徑上的第一影像感測器113、設置在來自分光元件111的光束(如第二部分光束BP2)的傳遞路徑上的第三鏡組114、設置在來自第三鏡組114的光束(如第二部分光束BP2)的傳遞路徑上的微透鏡陣列115以及設置在來自微透鏡陣列115的光束(如第二部分光束BP2)的傳遞路徑上的第二影像感測器116。
圖2是圖1中成像模組11的放大示意圖。圖2進一步繪示出圖1中光束B的三種不同視場角度的光束(以光束B1、光束B2及光束B3表示)、圖1中第一部分光束BP1的三種不同視場角度的光束(以第一部分光束BP11、第一部分光束BP12及第一部分光束BP13表示)以及圖1中第二部分光束BP2的三種不同視場角度的光束(以第二部分光束BP21、第二部分光束BP22及第二部分光束BP23表示)，其中第一部分光束BP11以及第二部分光束BP21源自於光束B1，第一部分光束BP12以及第二部分光束BP22源自於光束B2，且第一部分光束BP13以及第二部分光束BP23源自於光束B3。
請參照圖1及圖2，光束B(包括光束B1、光束B2及光束B3)進入內視鏡組10後依序通過物鏡組100以及中繼鏡組101而傳遞至成像模組11。來自內視鏡組10的光束B(包括光束B1、光束B2及光束B3)經由第一鏡組110進入成像模組11。在一些實施例中，第一鏡組110與內視鏡組10可採用共光軸設計。在一些實施例中，第一鏡組110可包括一個或多個透鏡元件，於此不多加限制第一鏡組110的組成及其光參數設計。
來自內視鏡組10的光束B(包括光束B1、光束B2及光束B3)在通過第一鏡組110後傳遞至分光元件111並被分光元件111分成第一部分光束BP1(包括第一部分光束BP11、第一部分光束BP12及第一部分光束BP13)以及第二部分光束BP2(包括第二部分光束BP21、第二部分光束BP22及第二部分光束BP23)。在一些實施例中，分光元件111可包括分光稜鏡、分光鏡或其他合適的分光元件。此外，分光元件111可依波長或能量進行分光。若依能量進行分光，分光比可依需求改變，而不限定為各50%。在一些實施例中，分光元件111讓第一部分光束BP1穿過且將第二部分光束BP2反射。在其他實施例中，分光元件111讓第二部分光束BP2穿過且將第一部分光束BP1反射。
第一部分光束BP1經由第二鏡組112傳遞至第一影像感測器113並形成二維影像(未繪示)。在一些實施例中，第二鏡組112可包括一個或多個透鏡元件，於此不多加限制第二鏡組112的組成及其光參數設計。在一些實施例中，第一影像感測器113可包括電荷耦合裝置(Charge Coupled Device，CCD)感測元件、互補金屬氧化物半導體(Complementary Metal Oxide Semiconductor，CMOS)或其他合適的感測元件1130。在一些實施例中，第一影像感測器113還可包括透光保護蓋1131(參照圖2)。透光保護蓋1131可設置在第二鏡組112與感測器元件1130之間，以保護感測元件1130(如防刮或防塵)。
第二部分光束BP2依序經由第三鏡組114以及微透鏡陣列115傳遞至第二影像感測器116。如圖2所示，微透鏡陣列115可將每一個視場角度的光束(如第二部分光束BP21、第二部分光束BP22及第二部分光束BP23)分散成多個子光束。這些子光束分別成像在第二影像感測器116的不同位置處，以形成第一三維影像。
在一些實施例中，第三鏡組114可包括一個或多個透鏡元件，於此不多加限制第三鏡組114的組成及其光參數設計。在一些實施例中，微透鏡陣列115的物側面S1以及像側面S2的其中至少一者為凸的微透鏡陣列表面。換句話說，物側面S1以及像側面S2的其中至少一者包括多個凸起的微透鏡1150(參照圖3)，且這些微透鏡1150排列成陣列。在一些實施例中，第二影像感測器116可包括電荷耦合裝置感測元件、互補金屬氧化物半導體或其他合適的感測元件1160。在一些實施例中，第二影像感測器116還可包括透光保護蓋1161。透光保護蓋1161可設置在第三鏡組114與感測元件1160之間，以保護感測元件1160(如防刮或防塵)。
如圖1所示，在一些實施例中，第二鏡組112、第一鏡組110、物鏡組100以及中繼鏡組101可採用共光軸設計，且第三鏡組114與微透鏡陣列115可採用共光軸設計，其中第三鏡組114與微透鏡陣列115的光軸OA’可垂直於光軸OA，但不以此為限。在其他實施例中，第二鏡組112以及第一影像感測器113可與第三鏡組114、微透鏡陣列115以及第二影像感測器116對調，即第三鏡組114、微透鏡陣列115、第一鏡組110、物鏡組100以及中繼鏡組101可採用共光軸設計。
圖3及圖4分別是二維影像IM1及三維影像IM2的示意圖，用於說明三維影像IM2的空間解析度降低的原因。在圖3中，以多種(如四種)底色分別表示多種(如四種)視場角度的光束所投射到的畫素P1。圖2中每一個視場角度的光束(如第二部分光束BP21、第二部分光束BP22或第二部分光束BP23)被微透鏡陣列115分散成多個子光束，並且這些子光束分別投射至第二影像感測器116中的N個(如四個)畫素P1(參見圖3)中，且這N個(如四個)畫素P1對應於不同微透鏡1150的不同位置。圖4中三維影像IM2的每一個畫素P2由圖3中二維影像IM1的N個(如四個)相同底色的畫素P1組合而成，因此重建的三維影像IM2(即圖1及圖2中第二影像感測器116所產生的第一三維影像)的解析度是第一影像感測器113的二維影像的解析度的N分之一。圖3及圖4以N=4為例說明，但N可以是大於1的其他整數。N越大，三維影像IM2的空間解析度越低，即影像越不清楚，因此越容易造成誤判。
為了改善上述三維影像空間解析度低的問題，請參照圖1，處理器12耦接於第一影像感測器113以及第二影像感測器116。所述耦接可以是以有線或無線的方式進行訊號傳輸。處理器12可根據二維影像(第一影像感測器113所生成的影像)以及第一三維影像(第二影像感測器116所生成的影像)產生第二三維影像，且第二三維影像的解析度可高於第一三維影像的解析度。具體地，處理器12可比對二維影像以及第一三維影像，並藉由演算法補償不足的畫素，例如用2D影像補償3D影像缺少的資訊，進而提升3D影像的解析度。在一些實施例中，第二三維影像的解析度可等於二維影像(第一影像感測器113所生成的影像)的解析度。
在一些實施例中，處理器12可包括算數邏輯單元、控制單元、記憶單元或其他所需的單元。舉例來說，算數邏輯單元、控制單元及記憶單元可分別為中央處理器(Central Processing Unit，CPU)、控制器(controller)及暫存記憶體，但不以此為限。
利用微透鏡陣列115接收多種視場角度的光束來重建3D影像(第二影像感測器116所生成的第一三維影像)，並利用第一影像感測器113所生成的2D影像來提升重建3D影像的解析度，藉此獲得解析度較高的3D影像(第二三維影像)。由於可以不用使用雙內視鏡組來形成3D影像，因此具有內視鏡直徑R(參見圖1)小型化的潛力。此外，由於3D影像能呈現深度和距離資訊，因此外科醫師在執行精細手術時，可以更精確進行空間定位，進而提高手術精準度、縮短手術時間以及降低手術風險。
圖5及圖6分別是表示微透鏡陣列115、微透鏡陣列115的有效焦距F及第二影像感測器116三者之間的兩種相對關係的示意圖。在圖5及圖6中，D1為微透鏡陣列115的像側面S2的最凸點與第二影像感測器116之間的距離，而F為微透鏡陣列115的有效焦距(Effective Focal Length，EFL)。
如圖5所示，內視鏡立體成像裝置若符合1.21F>D1>1.5F，微透鏡陣列115的物平面為實像且微透鏡陣列115的像平面在第二影像感測器116上成實像。此實像具有理想的光學解析度及像差，而足以進行後續影像處理。如圖6所示，內視鏡立體成像裝置若符合0.4F>D1>0.84F，微透鏡陣列115的物平面為虛像且微透鏡陣列115的像平面在第二影像感測器116上成實像。此實像具有理想的光學解析度及像差，而足以進行後續影像處理。在圖5及圖6的架構下，若距離D1低於關係式的下限，則光學解析度會不足；若距離D1高於關係式的上限，則會因像差過大而導致影像不清晰。此外，在微透鏡陣列115的物平面為實像的架構下，可獲得較高的亮度均勻度，而在微透鏡陣列115的物平面為虛像的架構下，可獲得較高的光學解析度或較高的清晰度。
圖7及圖8分別是表示微透鏡陣列115的物平面及微透鏡陣列115的有效焦距兩者之間的兩種相對關係的示意圖。在圖7及圖8中，D2為微透鏡陣列115的物平面與微透鏡陣列115的物側面S1的最凸點之間的距離。以光路行進方向為由左至右為例，距離D2為負值表示微透鏡陣列115的物平面在微透鏡陣列115的左方，而距離D2為正值表示微透鏡陣列115的物平面在微透鏡陣列115的右方。
如圖7所示，內視鏡立體成像裝置若符合-8.78F>D2>-3.76F，微透鏡陣列115的物平面是實像且位於微透鏡陣列115的左方。如圖8所示，內視鏡立體成像裝置若符合0.75F>D2>5.03F，微透鏡陣列115的物平面是虛像且位於微透鏡陣列115的右方。在圖7及圖8的架構下，若距離D2低於關係式的下限，則在第二影像感測器116上的實像的光學解析度會不足；若距離D2高於關係式的上限，則在第二影像感測器116上的實像會因像差過大而導致影像不清晰。此外，在微透鏡陣列115的物平面為實像的架構下，可獲得較高的亮度均勻度，而在微透鏡陣列115的物平面為虛像的架構下，可獲得較高的光學解析度或較高的清晰度。
圖9是依照本揭露的第一實施例的成像模組11A的示意圖。圖10是圖9的成像模組11A的實例的示意圖。請參照圖9，在一些實施例中，如圖2所示，微透鏡陣列115的物平面(如物平面OP1所示)可位於第三鏡組114與微透鏡陣列115之間。在其他實施例中，如圖10所示，微透鏡陣列115的物平面(如物平面OP2所示)可位於微透鏡陣列115遠離第三鏡組114的一側的任何位置。
圖11是依照本揭露的第二實施例的成像模組11B的示意圖。請參照圖11，在來自第一鏡組110的光束B可在第一鏡組110與第二鏡組112之間(或第一鏡組110與第三鏡組114之間)形成實像，然後再經由第二鏡組112或第三鏡組114形成實像(如在物平面OP3所示的位置處形成實像)。在一些實施例中，微透鏡陣列115的物平面(如物平面OP3所示)可位於第三鏡組114與微透鏡陣列115之間。在其他實施例中，微透鏡陣列115的物平面(如物平面OP4所示)可位於微透鏡陣列115遠離第三鏡組114的一側的任何位置。
圖12是依照本揭露的第三實施例的成像模組11C的示意圖。圖13是圖12的成像模組11C的實例的示意圖。請參照圖12及圖13，微透鏡陣列115的物平面(如物平面OP5所示)可位於第三鏡組114中，且第二部分光束BP2可在微透鏡陣列115的物平面(如物平面OP5所示)形成實像。詳細來說，第三鏡組114包含有多個透鏡元件，微透鏡陣列115的物平面位於多個透鏡元件之間，但並不以此為限。
圖14是依照本揭露的第四實施例的成像模組11D的示意圖。圖15是圖14的成像模組11D的實例的示意圖。請參照圖14及圖15，微透鏡陣列115的物平面(如物平面OP6所示)可位於第三鏡組114中，且第二部分光束BP2可在微透鏡陣列115的物平面(如物平面OP6所示)形成虛像。詳細來說，第三鏡組114包含有多個透鏡元件，微透鏡陣列115的物平面位於多個透鏡元件之間，但並不以此為限。
在本揭露的實施例中，利用微透鏡陣列接收多種視場角度的光束來重建3D影像(第二影像感測器所生成的第一三維影像)，並利用第一影像感測器所生成的2D影像（二維影像）來提升重建3D影像的解析度，藉此獲得解析度較高的3D影像(第二三維影像)。由於可以不用使用雙內視鏡組來形成3D影像，因此具有內視鏡直徑小型化的潛力。此外，由於3D影像能呈現深度和距離資訊，因此外科醫師在執行精細手術時，可以更精確進行空間定位，進而提高手術精準度、縮短手術時間以及降低手術風險。
在一些實施例中，第一影像感測器與第二影像感測器上的成像面積可相同或不同。在一些實施例中，第二影像感測器上的成像面積可小於第一影像感測器上的成像面積。
在一些實施例中，內視鏡立體成像裝置符合1.21F>D1>1.5F或0.4F>D1>0.84F，以具有理想的光學解析度及像差。在一些實施例中，內視鏡立體成像裝置符合-8.78F>D2>-3.76F或0.75F>D2>5.03F，以具有理想的光學解析度及像差。
在一些實施例中，第二鏡組與第三鏡組的焦距可相同或不同。在一些實施例中，第一鏡組與第二鏡組可產生與內視鏡組10相反的畸變，使形成於第一影像感測器的二維影像的總畸變>30%。在一些實施例中，第一鏡組與第三鏡組可產生與內視鏡組10相反的畸變，使形成於第二影像感測器的第一三維影像的總畸變>30%。在一些實施例中，二維影像與第一三維影像的總畸變差異量小於±1%，以利三維影像解析度的提升。
在一些實施例中，微透鏡陣列的有效焦距大於0。在一些實施例中，微透鏡陣列的放大倍率在0.166至0.5的範圍內，即0.166≦微透鏡陣列的放大倍率≦0.5。當微透鏡陣列的放大倍率超過0.5，會因視場角度資訊不足而難以形成3D影像。另一方面，當微透鏡陣列的放大倍率小於0.166，重建的3D影像的空間解析度會過低而導致後續影像處理(提升3D影像解析度的步驟)困難。
在一些實施例中，內視鏡立體成像裝置可切換2D影像與3D影像(解析度較高的第二三維影像)。在一些實施例中，從第三鏡組到微透鏡陣列之間，第二部分光束的主光線(chief ray)與光軸的夾角隨著視場角度的增加而增加。在一些實施例中，從第三鏡組到微透鏡陣列之間，第二部分光束的主光線與光軸平行或接近平行(即主光線與光軸之間的夾角接近0度)，以使微透鏡陣列對於不同視場角度的光束的放大倍率一致，避免因放大倍率的不同而導致後續影像處理的困難。主光線與光軸之間的夾角的偏差容忍度與微透鏡陣列的放大倍率及其他光學設計參數相關，於此不多加限制。在一些實施例中，不同視場角度光束在第三鏡組的像側的數值孔徑(Numerical Aperture，NA)是一致的，以讓投射在第二影像感測器上的多個子光束的位置及面積符合預設值，避免因位置或面積的偏差而導致後續影像處理的困難。
雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。
1:內視鏡立體成像裝置 10:內視鏡組 100:物鏡組 101:中繼鏡組 11、11A、11B、11C、11D:成像模組 110:第一鏡組 111:分光元件 112:第二鏡組 113:第一影像感測器 1130、1160:感測元件 1131、1161:透光保護蓋 114:第三鏡組 115:微透鏡陣列 1150:微透鏡 116:第二影像感測器 12:處理器 B、B1、B2、B3:光束 BP1、BP11、BP12、BP13:第一部分光束 BP2、BP21、BP22、BP23:第二部分光束 D1、D2:距離 F:有效焦距 IM1:二維影像 IM2:三維影像 OA、OA’:光軸 OP1、OP2、OP3、OP4、OP5、OP6:物平面 P1、P2:畫素 R:直徑 S1:物側面 S2:像側面 X1:第一端 X2:第二端
圖1是依照本揭露的一實施例的內視鏡立體成像裝置的示意圖。 圖2是圖1中成像模組的放大示意圖。 圖3及圖4分別是二維影像及三維影像的示意圖，用於說明三維影像空間解析度降低的原因。 圖5及圖6分別是表示微透鏡陣列、微透鏡陣列的有效焦距及第二影像感測器三者之間的兩種相對關係的示意圖。 圖7及圖8分別是表示微透鏡陣列的物平面及微透鏡陣列的有效焦距兩者之間的兩種相對關係的示意圖。 圖9是依照本揭露的第一實施例的成像模組的示意圖。 圖10是圖9的成像模組的實例的示意圖。 圖11是依照本揭露的第二實施例的成像模組的示意圖。 圖12是依照本揭露的第三實施例的成像模組的示意圖。 圖13是圖12的成像模組的實例的示意圖。 圖14是依照本揭露的第四實施例的成像模組的示意圖。 圖15是圖14的成像模組的實例的示意圖。
1:內視鏡立體成像裝置
10:內視鏡組
100:物鏡組
101:中繼鏡組
11:成像模組
110:第一鏡組
111:分光元件
112:第二鏡組
113:第一影像感測器
114:第三鏡組
115:微透鏡陣列
116:第二影像感測器
12:處理器
B:光束
BP1:第一部分光束
BP2:第二部分光束
OA、OA’:光軸
R:直徑
S1:物側面
S2:像側面
X1:第一端
X2:第二端

Claims (13)

  1. 一種內視鏡立體成像裝置，包括： 一內視鏡組，用於接收並傳遞一光束；以及 一成像模組，設置在該光束的傳遞路徑上且包括一第一鏡組、一分光元件、一第二鏡組、一第一影像感測器、一第三鏡組、一微透鏡陣列以及一第二影像感測器，其中來自該內視鏡組的該光束在通過該第一鏡組後傳遞至該分光元件並被該分光元件分成一第一部分光束以及一第二部分光束，該第一部分光束經由該第二鏡組傳遞至該第一影像感測器並形成一二維影像，該第二部分光束依序經由該第三鏡組以及該微透鏡陣列傳遞至該第二影像感測器並形成一第一三維影像。
  2. 如申請專利範圍第1項所述的內視鏡立體成像裝置，更包含：一處理器，耦接於該第一影像感測器以及該第二影像感測器，其中該處理器根據該二維影像以及該第一三維影像產生一第二三維影像，且該第二三維影像的解析度高於該第一三維影像的解析度。
  3. 如申請專利範圍第1項所述的內視鏡立體成像裝置，其中該微透鏡陣列的像側面的最凸點與該第二影像感測器之間的距離為D1，該微透鏡陣列的有效焦距為F，且該內視鏡立體成像裝置符合1.21F>D1>1.5F或0.4F>D1>0.84F。
  4. 如申請專利範圍第1項所述的內視鏡立體成像裝置，其中該微透鏡陣列的物平面與該微透鏡陣列的物側面的最凸點之間的距離為D2，該微透鏡陣列的有效焦距為F，且該內視鏡立體成像裝置符合-8.78F>D2>-3.76F或0.75F>D2>5.03F。
  5. 如申請專利範圍第1項所述的內視鏡立體成像裝置，其中該微透鏡陣列的物平面位於該第三鏡組與該微透鏡陣列之間或該微透鏡陣列遠離該第三鏡組的一側。
  6. 如申請專利範圍第5項所述的內視鏡立體成像裝置，其中通過該第一鏡組的該光束在該第一鏡組與該第二鏡組之間或該第一鏡組與該第三鏡組之間形成實像。
  7. 如申請專利範圍第1項所述的內視鏡立體成像裝置，其中該微透鏡陣列的物平面位於該第三鏡組中，且該第二部分光束在該微透鏡陣列的該物平面形成實像或虛像。
  8. 如申請專利範圍第1項所述的內視鏡立體成像裝置，其中該微透鏡陣列的有效焦距大於0。
  9. 如申請專利範圍第1項所述的內視鏡立體成像裝置，其中該微透鏡陣列的物側面以及像側面的其中至少一者為凸的微透鏡陣列表面。
  10. 如申請專利範圍第1項所述的內視鏡立體成像裝置，其中該微透鏡陣列的放大倍率在0.166至0.5的範圍內。
  11. 如申請專利範圍第1項所述的內視鏡立體成像裝置，其中不同視場角度光束在該第三鏡組的像側的數值孔徑是一致的。
  12. 如申請專利範圍第1項所述的內視鏡立體成像裝置，其中該第一影像感測器與該第二影像感測器上的成像面積相同。
  13. 如申請專利範圍第1項所述的內視鏡立體成像裝置，其中該第二影像感測器上的成像面積小於該第一影像感測器上的成像面積。
TW108145270A 2019-12-11 2019-12-11 內視鏡立體成像裝置 TWI718805B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108145270A TWI718805B (zh) 2019-12-11 2019-12-11 內視鏡立體成像裝置
US16/712,993 US11051680B1 (en) 2019-12-11 2019-12-13 Endoscope stereo imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108145270A TWI718805B (zh) 2019-12-11 2019-12-11 內視鏡立體成像裝置

Publications (2)

Publication Number Publication Date
TWI718805B true TWI718805B (zh) 2021-02-11
TW202122030A TW202122030A (zh) 2021-06-16

Family

ID=75745744

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108145270A TWI718805B (zh) 2019-12-11 2019-12-11 內視鏡立體成像裝置

Country Status (2)

Country Link
US (1) US11051680B1 (zh)
TW (1) TWI718805B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115381381B (zh) * 2022-10-26 2023-03-03 北京航空航天大学 内窥镜装置
CN116327092B (zh) * 2023-05-29 2023-11-21 北京凡星光电医疗设备股份有限公司 光学系统和成像单元一体化设计的可旋转3d内窥镜及成像系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009031682A (ja) * 2007-07-30 2009-02-12 Olympus Corp 撮像システム及び画像信号処理プログラム
CN104321005A (zh) * 2012-05-24 2015-01-28 奥林巴斯株式会社 立体视觉内窥镜装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7061532B2 (en) 2001-03-27 2006-06-13 Hewlett-Packard Development Company, L.P. Single sensor chip digital stereo camera
JP4898121B2 (ja) 2003-01-08 2012-03-14 エクスプレイ エルティーディー 画像投影装置
IL188169A (en) 2006-12-18 2011-06-30 Visionsense Ltd High resolution endoscope
DE102013209956A1 (de) 2013-05-28 2014-12-04 Xion Gmbh Videoendoskopische Vorrichtung
CN103417181B (zh) 2013-08-01 2015-12-09 北京航空航天大学 一种光场视频摄像机内窥方法
CN103887708A (zh) 2014-03-04 2014-06-25 中国科学院上海光学精密机械研究所 具有功率监测的光纤耦合垂直腔面发射激光器
JP5881777B2 (ja) * 2014-06-24 2016-03-09 オリンパス株式会社 顕微鏡
KR20170094350A (ko) * 2014-12-09 2017-08-17 바스프 에스이 광학 검출기
CN205181290U (zh) 2015-01-14 2016-04-27 白欣立 具有拍照后聚焦功能的光场式胶囊内窥镜相机
CN104883555B (zh) 2015-05-06 2017-01-11 四川大学 一种增强现实的集成成像3d显示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009031682A (ja) * 2007-07-30 2009-02-12 Olympus Corp 撮像システム及び画像信号処理プログラム
CN104321005A (zh) * 2012-05-24 2015-01-28 奥林巴斯株式会社 立体视觉内窥镜装置

Also Published As

Publication number Publication date
TW202122030A (zh) 2021-06-16
US20210177246A1 (en) 2021-06-17
US11051680B1 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
JP6480508B2 (ja) 外科手術器具の画像取込み装置
JP6004235B2 (ja) 撮像装置および撮像システム
JP7462890B2 (ja) プレノプティック・カメラ・システムを較正するための方法及びシステム
EP2755544B1 (en) Proximal high definition endoscope
TWI718805B (zh) 內視鏡立體成像裝置
US6471642B1 (en) Rigid endoscope optical system
JP2017536171A (ja) 軸上色収差を有するレンズを含む撮像システム、内視鏡及び撮像方法
CN105242393B (zh) 一种立体内窥镜电子成像光学系统
CN105301757A (zh) 一种立体内窥镜光学系统
WO2017073292A1 (ja) 内視鏡撮像ユニット
KR101512110B1 (ko) 다중 각도 후시 내시경 및 그 작동 방법
JP2018200417A (ja) 撮像装置及び内視鏡装置
CN210742609U (zh) 基于单透镜的多目三维内窥成像系统
JP7169363B2 (ja) 撮像装置
JP2019052857A (ja) 撮像装置
CN106725245A (zh) 一种用于立体内窥镜的物镜结构
CN110623626A (zh) 用于二维腹腔镜的二维-三维成像转换器
TW202305446A (zh) 帶外光瞳的超廣角透鏡系統
WO2021084835A1 (ja) 光学系及び光学機器
CN110623625A (zh) 用于二维腹腔镜的三维成像转换器
Kwan et al. Tri-Aperture Monocular Laparoscopic Objective for Stereoscopic and Wide Field of View Acquisition
US20220346635A1 (en) Endoscope
WO2015182306A1 (ja) 撮像装置及び合成画像表示装置
Kwan Advancements in Light Field-Based Laparoscopes
WO2015194410A1 (ja) 画像入力装置及び顕微鏡装置