TWI707193B - 遙測衛星的聚焦面組合件及其影像處理方法 - Google Patents

遙測衛星的聚焦面組合件及其影像處理方法 Download PDF

Info

Publication number
TWI707193B
TWI707193B TW108117739A TW108117739A TWI707193B TW I707193 B TWI707193 B TW I707193B TW 108117739 A TW108117739 A TW 108117739A TW 108117739 A TW108117739 A TW 108117739A TW I707193 B TWI707193 B TW I707193B
Authority
TW
Taiwan
Prior art keywords
image
focal plane
semi
focusing surface
sensor
Prior art date
Application number
TW108117739A
Other languages
English (en)
Other versions
TW202043904A (zh
Inventor
林喆
葉銘源
Original Assignee
財團法人國家實驗研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人國家實驗研究院 filed Critical 財團法人國家實驗研究院
Priority to TW108117739A priority Critical patent/TWI707193B/zh
Priority to US16/450,148 priority patent/US20200371373A1/en
Application granted granted Critical
Publication of TWI707193B publication Critical patent/TWI707193B/zh
Publication of TW202043904A publication Critical patent/TW202043904A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00—Cosmonautic vehicles
    • B64G1/10—Artificial satellites; Systems of such satellites; Interplanetary vehicles
    • B64G1/1021—Earth observation satellites
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00—Cosmonautic vehicles
    • B64G1/10—Artificial satellites; Systems of such satellites; Interplanetary vehicles
    • B64G1/1021—Earth observation satellites
    • B64G1/1028—Earth observation satellites using optical means for mapping, surveying or detection, e.g. of intelligence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00—Cosmonautic vehicles
    • B64G1/22—Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
    • B64G1/66—Arrangements or adaptations of apparatus or instruments, not otherwise provided for
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4069—Super resolution, i.e. output image resolution higher than sensor resolution by subpixel displacement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Abstract

一種遙測衛星的聚焦面組合件，用以接收一透鏡所提供之聚焦面影像，包括一分光鏡，將該聚焦面影像分為一第一半聚焦面影像及一第二半聚焦面影像；一第一線型影像感測器放置於半聚焦面邊緣，接收該第一半聚焦面影像以產生一第一影像；以及一第二線型影像感測器放置於另一聚焦面邊緣，接收該第二半聚焦面影像以產生一第二影像；其中，該第一影像與該第二影像間具有一錯位關係。

Description

遙測衛星的聚焦面組合件及其影像處理方法
本發明是關於一種聚焦面組合件(Focal Plane Assembly,FPA)，特別是關於遙測衛星中的聚焦面組合件及其影像處理方法。
在光學遙測衛星中，光機的設計很大程度決定了整顆衛星的重量及取像能力，換言之，直接決定了衛星的發射成本及效能。
聚焦面組合件(Focal Plane Assembly,FPA)是光機中的主要構成部分，由CMOS感測元件、多光譜濾光片(Multi-spectrum band pass filter)等相關電路及機構所組成，更詳細的說明可參照中華民國申請案號103117407「CMOS影像感測器及其製造方法」或申請案號103117403的「巨型CMOS影像感測器及其製造方法」。
本發明提出一種聚焦面組合件，在不增加過多成本的前提下，改善遙測衛星的光學感測能力，大幅提高光學影像的解析度。
本發明還提出一種對應此聚焦面組合件的影像處理方法，在FPA中設置兩個感測器，分別同步接收兩組對應相同聚焦面但存在錯位的半聚焦面影像，再利用該二組半聚焦面影像進行內插運算，產生具高解析度之合成影像。
根據本發明，一種用以接收一透鏡所提供之聚焦面影像的 聚焦面組合件包括：一分光鏡，將該聚焦面影像分為一第一半聚焦面影像及一第二半聚焦面影像；一第一感測器放置於半聚焦面邊緣，接收該第一半聚焦面影像以產生一第一影像；以及一第二感測器放置於另一半聚焦面邊緣，接收該第二半聚焦面影像以產生一第二影像；其中，該第一影像與該第二影像間具有至少半個像素以上的錯位。
根據本發明，一種影像處理方法，用來從一聚焦面組合件接收一第一影像及一第二影像，該第一影像及該第二影像間具有一錯位，該影像處理方法包括接收該第一影像；接收該第二影像；取得該錯位的對應參數；以及根據該參數、該第一影像及該第二影像進行內插運算，以產生一合成影像；其中，該第一影像及該第二影像分別為對應相同聚焦面影像的半聚焦面影像。
10‧‧‧聚焦面組合件
12‧‧‧透鏡
102、104‧‧‧感測器
106‧‧‧分光鏡
108‧‧‧聚焦面組合件框架
20‧‧‧第一CMOS感測元件
22‧‧‧第一數位電路
24‧‧‧第二CMOS感測元件
26‧‧‧第二數位電路
28‧‧‧處理電路
第一圖為本發明提出之聚焦面組合件一實施例的示意圖；以及第二圖為對應第一圖之實施例的影像處理系統的方塊圖。
第一圖為本發明提出之聚焦面組合件一實施例的示意圖，聚焦面組合件10設置在一光機中，包括感測器102、104及分光鏡106，由FPA框架108乘載，其中感測器102及104實際上還包含了對應的影像處理電路，為避免使圖式過於雜亂，在本圖中僅繪示與本案設計直接相關的元件，省略與本發明非直接相關的部件。
透鏡12收集遙測衛星觀測點的光線而產生聚焦面影像並輸入到聚焦面組合件10，分光鏡106將該聚焦面影像分光，在其一側生成第一半聚焦面影像，並在其另一側生成第二半聚焦面影像，分別由設置在對應方向上的感測器102及104接收及處理後產生第一影像及第二影像。在一實施例中，感測器102及104以線型的全色感測器(Panchromatic,PAN)實現，其中，第一影像及第二影像間具有一錯位關係，換言之，第一影像及第二影像皆對應相同聚焦面影像，但兩者為不完全相同的影像。
藉由設計感測器102及104的位置，可使第一影像及第二影像間具有固定的錯位關係，較佳者，該錯位關係為0.5像素。例如將感測器102設置在第一半聚焦面影像的邊緣，將感測器104設置在第二半聚焦面影像的邊緣但錯位0.5像素，即可使第一影像及第二影像間固定存在0.5像素的錯位關係。
請參閱第二圖，第二圖為對應第一圖之實施例的影像處理系統的方塊圖，其中，第一COMS感測元件可對應感測器102，第二COMS感測元件可對應感測器104，第一CMOS感測元件20接收其所在位置，例如在分光鏡106一側的半聚焦面邊緣，對應的第一半聚焦面影像而成像，經由第一數位電路22處理後，產生第一影像；第二CMOS感測元件接收其所在位置，例如在分光鏡106另一側的另一聚焦面邊緣，所對應的第二半聚焦面影像，經第二數位電路26處理後產生第二影像；由於第一影像及第二影像的錯位關係是被設計好的，處理電路28已預先得知該第一影像及該第二影像間的錯位關係，例如0.5像素或0.8像素，及其對應參數，利用該第一影像及該第二影像進行內插運算，配合各種影像處理技術，包括內 插、反迴旋(de-convolution)、以及去雜訊等過程將影像處理成解析度加倍之合成影像。前述之影像處理技術乃屬本領域熟悉本發明技術領域之人所常用之影像處理方法，在此不再贅述。其中，處理電路28通常設置於地面，遠距接收第一影像及第二影像後進行相關影像處理。
本案與中華民國申請案號103117407之「CMOS影像感測器及其製造方法」同樣利用了錯位設置取得具有錯位關係的兩幅影像進行內插運算，然而，前案的兩個感測器及所有相關電路皆須設置在同一晶圓上，雖然可以精準設置兩個感測器間的錯位關係，卻使得製造複雜度極高，成本高昂；與之相較，本案之聚焦面組合件的設計使得感測器102及感測器104可以設置在不同位置，換言之，感測器102及104不需要製作在同一晶圓上，能夠有足夠的空間配置各自需要的處理電路，製造的難度大幅改善。此外，本案中的感測器102及104因距離較遠，兩個半聚焦面影像之間的錯位關係可能較不精準，與期望值略有落差，但這些差異仍可藉由調整運算軟體來克服。
以上僅為本發明的較佳實施例，凡依本發明權利要求範圍所做的均等變化與修飾，皆應屬本發明的涵蓋範圍，而不以前述實施例內容為限。
10‧‧‧聚焦面組合件
12‧‧‧透鏡
102、104‧‧‧感測器
106‧‧‧分光鏡
108‧‧‧聚焦面組合件框架

Claims (5)

  1. 一種聚焦面組合件，用以接收一透鏡所提供之聚焦面影像，包括：一分光鏡，將該聚焦面影像分為一第一半聚焦面影像及一第二半聚焦面影像；一第一線型影像感測器，設置在該分光鏡的一側，接收該第一半聚焦面影像以產生一第一影像；以及一第二線型影像感測器，設置在該分光鏡的另一側，接收該第二半聚焦面影像以產生一第二影像；其中，該第一影像與該第二影像間具有0.5像素的錯位。
  2. 如申請專利範圍第1項之聚焦面組合件，其中該第一感測器及該第二感測器為全色感測器。
  3. 如申請專利範圍第1項之聚焦面組合件，其中該第一感測器及該第二感測器分別設置在該第一半聚焦面影像及該第二半聚焦面影像的邊緣。
  4. 一種影像處理方法，用來從遙測衛星上的一聚焦面組合件接收一第一影像及一第二影像，該聚焦面組合件包括一分光鏡，用來將一透鏡所提供之聚焦面影像分成一第一半聚焦面影像及一第二半聚焦面影像，該第一半聚焦面影像及該第二半聚焦面影像分別由一第一線型感測器及一第二線型感測器接收而分別產生該第一影像及該第二影像，該第一影像及該第二影像間具有一錯位關係，該影像處理方法包括下列步驟： 接收該第一影像；接收該第二影像；以及根據該錯位關係對應的參數、該第一影像及該第二影像進行內插運算，以產生一合成影像；其中，該第一影像及該第二影像分別為對應相同聚焦面影像的半聚焦面影像，但不完全相同。
  5. 如申請專利範圍第5項之影像處理方法，其中該錯位關係為0.5像素。
TW108117739A 2019-05-22 2019-05-22 遙測衛星的聚焦面組合件及其影像處理方法 TWI707193B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108117739A TWI707193B (zh) 2019-05-22 2019-05-22 遙測衛星的聚焦面組合件及其影像處理方法
US16/450,148 US20200371373A1 (en) 2019-05-22 2019-06-24 Focal plane assembly of remote sensing satellite and image processing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108117739A TWI707193B (zh) 2019-05-22 2019-05-22 遙測衛星的聚焦面組合件及其影像處理方法

Publications (2)

Publication Number Publication Date
TWI707193B true TWI707193B (zh) 2020-10-11
TW202043904A TW202043904A (zh) 2020-12-01

Family

ID=73456824

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108117739A TWI707193B (zh) 2019-05-22 2019-05-22 遙測衛星的聚焦面組合件及其影像處理方法

Country Status (2)

Country Link
US (1) US20200371373A1 (zh)
TW (1) TWI707193B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103415807A (zh) * 2011-03-02 2013-11-27 富士胶片株式会社 3d图像拍摄装置
US20160142617A1 (en) * 2013-06-11 2016-05-19 Hamamatsu Photonics K.K. Image acquisition device and image acquisition device focusing method
CN108391033A (zh) * 2012-04-05 2018-08-10 奇跃公司 具有主动中央凹能力的宽视场（fov）成像设备
TW201910748A (zh) * 2017-08-11 2019-03-16 菱光科技股份有限公司 光學檢測系統及影像處理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103415807A (zh) * 2011-03-02 2013-11-27 富士胶片株式会社 3d图像拍摄装置
CN108391033A (zh) * 2012-04-05 2018-08-10 奇跃公司 具有主动中央凹能力的宽视场（fov）成像设备
US20160142617A1 (en) * 2013-06-11 2016-05-19 Hamamatsu Photonics K.K. Image acquisition device and image acquisition device focusing method
TW201910748A (zh) * 2017-08-11 2019-03-16 菱光科技股份有限公司 光學檢測系統及影像處理方法

Also Published As

Publication number Publication date
US20200371373A1 (en) 2020-11-26
TW202043904A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
KR100415681B1 (ko) 향상된 다크 프레임 감산법
JP5463718B2 (ja) 撮像装置
CN102326380B (zh) 有行缓冲区高效透镜畸变校正功能的图像传感器装置和方法
JP6053347B2 (ja) 撮像装置およびその制御方法ならびにプログラム
US7742087B2 (en) Image pickup device
JP2009177727A (ja) 撮像装置
JP2011120138A (ja) カメラモジュール
US8620102B2 (en) Methods, apparatuses and systems for piecewise generation of pixel correction values for image processing
WO2018150925A1 (ja) 焦点検出装置、焦点検出方法、および焦点検出プログラム
US9277151B2 (en) Solid-state image sensor with an effective pixel area, and image pickup apparatus
JP6173065B2 (ja) 撮像装置、画像処理装置、撮像方法及び画像処理方法
US11647302B2 (en) Method of calibrating image sensor and device for calibrating image sensor
TWI707193B (zh) 遙測衛星的聚焦面組合件及其影像處理方法
US11593958B2 (en) Imaging device, distance measurement method, distance measurement program, and recording medium
US10877357B2 (en) Signal processing apparatus and imaging apparatus
JP2017059998A (ja) 画像処理装置およびその方法、並びに、撮像装置
US10891716B2 (en) Process allowing the removal through digital refocusing of fixed-pattern noise in effective images formed by electromagnetic sensor arrays in a light field
US9596402B2 (en) Microlens array for solid-state image sensing device, solid-state image sensing device, imaging device, and lens unit
JP6186573B2 (ja) 画像処理装置及び画像処理方法
US20220365391A1 (en) Image processing device, imaging device, image processing method, and image processing program
CN108429872A (zh) 用于校正图像渐晕的方法、成像装置及成像系统
JP7083912B2 (ja) 撮像素子、撮像装置、撮像方法およびプログラム
WO2018128011A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JPH09289605A (ja) 撮像装置
CN112991244A (zh) 图像融合方法装置设备和摄像机以及存储介质与程序产品