KR20200067020A - 캘리브레이션 방법 및 장치 - Google Patents

캘리브레이션 방법 및 장치 Download PDF

Info

Publication number
KR20200067020A
KR20200067020A KR1020180153867A KR20180153867A KR20200067020A KR 20200067020 A KR20200067020 A KR 20200067020A KR 1020180153867 A KR1020180153867 A KR 1020180153867A KR 20180153867 A KR20180153867 A KR 20180153867A KR 20200067020 A KR20200067020 A KR 20200067020A
Authority
KR
South Korea
Prior art keywords
lens
spots
sensor
determining
information
Prior art date
Application number
KR1020180153867A
Other languages
English (en)
Inventor
최규환
강덕영
조양호
윤대건
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180153867A priority Critical patent/KR20200067020A/ko
Priority to US16/557,557 priority patent/US10873693B2/en
Publication of KR20200067020A publication Critical patent/KR20200067020A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30—Collimators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/021—Mountings, adjusting means, or light-tight connections, for optical elements for lenses for more than one lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems

Abstract

캘리브레이션 방법 및 장치가 개시된다. 개시된 캘리브레이션 방법은 멀티 렌즈를 통과한 시준광이 센서에 결상되는 스팟들을 센싱하고, 스팟들에 기초하여 멀티 렌즈로 촬영한 영상을 복원시키기 위한 변환 매트릭스를 결정한다.

Description

캘리브레이션 방법 및 장치{METHOD AND APPARATUS FOR CALIBRATION}
아래 실시예들은 캘리브레이션 방법 및 장치에 관한 것이다.
최근 스마트 폰 등 소형 기기에 포함된 카메라의 활용도가 급속도로 증대되고 있다. 일반적으로, 스마트 폰에는 단일 렌즈로 구성된 카메라가 포함되는데, 단일 렌즈의 경우 초점거리에 해당하는 물리적인 거리로 인해 소형화에 제약이 있다. 이러한 초점거리를 감소시키기 위해 멀티 렌즈로 구성된 멀티 렌즈 카메라가 제안되고 있다.
일실시예에 따른 캘리브레이션 방법은 멀티 렌즈를 통과한 시준광(collimated light)이 센서에 결상되는 스팟들을 센싱하는 단계; 및 상기 스팟들에 기초하여 상기 멀티 렌즈로 촬영한 영상을 복원시키기 위한 변환 매트릭스를 결정하는 단계를 포함한다.
일실시예에 따른 캘리브레이션 방법은 상기 시준광이 상기 멀티 렌즈로 입사하는 각도 또는 상기 멀티 렌즈를 통과한 시준광이 센서로 입사하는 각도를 제어할 필요가 있는지 판단하는 단계; 및 각도 제어가 필요한 것으로 판단되는 경우, 상기 시준광이 상기 멀티 렌즈로 입사하는 각도 또는 상기 멀티 렌즈를 통과한 시준광이 센서로 입사하는 각도를 제어하는 단계를 더 포함하고, 상기 스팟들을 센싱하는 단계는 상기 제어된 각도로 상기 멀티 렌즈 또는 센서에 입사되는 시준광에 대응하는 스팟들을 센싱할 수 있다.
일실시예에 따른 캘리브레이션 방법에서 상기 센서에 결상되는 스팟들은 상기 센서에 포함된 픽셀보다 작은 사이즈를 가질 수 있다.
일실시예에 따른 캘리브레이션 방법에서 상기 스팟들을 센싱하는 단계는 상기 멀티 렌즈의 FOV 범위 내에서 최소 각도 변화량만큼 변화된 각도로 입사된 시준광이 센서에 결상되는 스팟들을 센싱할 수 있다.
일실시예에 따른 캘리브레이션 방법에서 상기 각도를 제어하는 단계는 상기 멀티 렌즈의 FOV 범위 내에서 최소 각도 변화량만큼 상기 시준광이 상기 멀티 렌즈로 입사하는 각도 또는 상기 멀티 렌즈를 통과한 시준광이 센서로 입사하는 각도를 제어할 수 있다.
일실시예에 따른 캘리브레이션 방법에서 상기 변환 매트릭스를 결정하는 단계는 상기 스팟들을 센싱한 센서의 픽셀 정보에 기초하여 상기 변환 매트릭스를 결정할 수 있다.
일실시예에 따른 캘리브레이션 방법에서 상기 스팟들을 센싱하는 단계는 상기 멀티 렌즈의 FOV 범위 내에서 선택된 일부 각도로 입사된 시준광이 센서에 결상되는 스팟들을 센싱하고, 상기 변환 매트릭스를 결정하는 단계는 상기 스팟들을 센싱한 결과에 선형 피팅을 적용하여 상기 변환 매트릭스를 결정할 수 있다.
일실시예에 따른 캘리브레이션 방법은 상기 스팟들에 기초하여 상기 멀티 렌즈에 대한 정보를 결정하는 단계를 더 포함하고, 상기 변환 매트릭스를 결정하는 단계는 상기 멀티 렌즈에 대한 정보에 기초하여 상기 변환 매트릭스를 결정할 수 있다.
일실시예에 따른 캘리브레이션 방법에서 상기 멀티 렌즈에 대한 정보는 상기 멀티 렌즈의 회전 정보, 피치 정보, 수차 정보, 상기 멀티 렌즈와 센서 간 갭 정보 및 상기 멀티 렌즈로 촬영된 영상의 블러 정보 중 적어도 하나를 포함할 수 있다.
일실시예에 따른 캘리브레이션 방법에서 상기 멀티 렌즈에 대한 정보를 결정하는 단계는 상기 스팟들을 연결하는 연결선의 기울기에 기초하여 상기 멀티 렌즈의 회전 정보를 결정할 수 있다.
일실시예에 따른 캘리브레이션 방법에서 상기 멀티 렌즈에 대한 정보를 결정하는 단계는 상기 스팟들 간 거리에 기초하여 상기 멀티 렌즈의 피치 정보를 결정할 수 있다.
일실시예에 따른 캘리브레이션 방법에서 상기 멀티 렌즈에 대한 정보를 결정하는 단계는 상기 스팟들의 사이즈 변화에 기초하여 상기 멀티 렌즈와 센서 간 갭 정보를 결정할 수 있다.
일실시예에 따른 캘리브레이션 방법에서 상기 멀티 렌즈에 대한 정보를 결정하는 단계는 상기 스팟들의 사이즈에 기초하여 상기 멀티 렌즈의 수차 정보를 결정할 수 있다.
일실시예에 따른 캘리브레이션 방법에서 상기 멀티 렌즈에 대한 정보를 결정하는 단계는 상기 스팟들에 대한 센서 픽셀 분석을 통해 상기 멀티 렌즈로 촬영된 영상의 블러 정보를 결정할 수 있다.
일실시예에 따른 캘리브레이션 방법에서 상기 변환 매트릭스는 상기 센서에 기록된 광입자를 모델링하여 영상을 복원하는데 이용될 수 있다.
일실시예에 따른 캘리브레이션 방법에서 상기 멀티 렌즈는 복수의 렌즈들이 포함된 마이크로 렌즈 어레이를 포함할 수 있다.
일실시예에 따른 캘리브레이션 장치는 프로세서; 및 상기 프로세서에 의해 실행 가능한 적어도 하나의 명령어를 포함하는 메모리를 포함하고, 상기 적어도 하나의 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 멀티 렌즈를 통과한 시준광이 센서에 결상되는 스팟들을 센싱하고, 상기 스팟들에 기초하여 상기 멀티 렌즈로 촬영한 영상을 복원하기 위한 변환 매트릭스를 결정한다.
도 1은 일실시예에 따른 캘리브레이션 장치를 설명하기 위한 도면이다.
도 2는 일실시예에 따른 변환 매트릭스를 설명하기 위한 도면이다.
도 3 내지 도 5는 일실시예에 따라 변환 매트릭스를 결정하는 과정을 설명하기 위한 도면이다.
도 6 내지 도 13은 다른 일실시예에 따라 변환 매트릭스를 결정하는 과정을 설명하기 위한 도면이다.
도 14는 일실시예에 따라 캘리브레이션 장치의 예시를 나타낸 도면이다.
도 15 및 도 16은 일실시예에 따라 각도를 제어하는 예시를 설명하기 위한 도면이다.
도 17은 일실시예에 따른 제어에 의한 스팟의 이동 변위량을 계산하는 과정을 설명하기 위한 도면이다.
도 18은 일실시예에 따른 캘리브레이션 방법을 나타낸 도면이다.
도 19는 일실시예에 따른 캘리브레이션 장치를 나타낸 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 실시예의 범위가 본문에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 관련 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타내며, 공지된 기능 및 구조는 생략하도록 한다.
도 1은 일실시예에 따른 캘리브레이션 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 일실시예에 따라 광학 소스(110), 멀티 렌즈 카메라(120) 및 프로세서(130)가 도시된다.
일실시예에 따른 광학 소스(110)는 캘리브레이션을 위한 시준광(collimated light)을 생성하여 멀티 렌즈 카메라(120)로 제공할 수 있다. 시준광은 평행한 광으로서 일정한 각도로 멀티 렌즈 카메라(120)에 도달할 수 있다. 예를 들어, 광학 소스(110)는 광원 및 시준 렌즈(collimated lens)를 포함할 수 있다. 광원은 광을 생성하고, 시준 렌즈는 생성된 광이 일정한 각도로 멀티 렌즈 카메라(120)에 도달하도록 굴절시킬 수 있다. 시준광은 특정 방향과 평행하도록 출사되는 광으로 이해될 수 있다.
일실시예에 따른 멀티 렌즈 카메라(120)는 카메라의 초박형화를 목적으로 곤충의 복눈 구조를 모방하여 렌즈의 초점거리를 최소화한 카메라로서, 멀티 렌즈 및 센서를 포함할 수 있다.
멀티 렌즈는 복수의 렌즈들이 포함된 마이크로 렌즈 어레이(micro lens array; MLA)를 포함할 수 있다. 싱글 렌즈의 경우, 싱글 렌즈 및 센서 간 초점거리에 해당하는 물리적인 거리가 제법 확보될 필요가 있는 반면, N개의 렌즈들로 구성된 멀티 렌즈의 초점거리는 동일 FOV(field of view) 조건에서 1/N배로 감소될 수 있다. 멀티 렌즈에 포함된 복수의 렌즈들 각각의 위치에 따라 다른 영상 정보가 통과될 수 있다.
센서는 멀티 렌즈를 통과하여 수신되는 광을 센싱할 수 있다. 예를 들어, 센서는 멀티 렌즈를 통과한 시준광이 센서에 결상되는 스팟(spot)을 하나 이상의 픽셀을 통해 센싱할 수 있다. 센서는 스팟을 감지한 픽셀의 값 및 위치를 출력할 수 있다.
프로세서(130)는 멀티 렌즈 카메라(110)의 센서가 감지한 결과를 수신하여 멀티 렌즈로 촬영한 영상을 복원시키기 위한 변환 매트릭스를 결정할 수 있다. 예를 들어, 프로세서(130)는 멀티 렌즈를 통과한 시준광이 센서에 결상된 스팟을 센싱한 센서의 출력 값(예컨대, 픽셀 정보 등)을 저장할 수 있다. 그리고, 시준광이 멀티 렌즈나 센서로 입사하는 각도가 멀티 렌즈의 FOV 범위 내에서 변경된 후 스팟이 다시 센싱될 수 있다. 이 때, 프로세서(130)는 스팟을 센싱한 센서의 출력 값을 저장할 수 있다. 그리고, 프로세서(130)는 저장된 값들에 기초하여 변환 매트릭스를 결정할 수 있다. 다시 말해, 프로세서(130)는 멀티 렌즈를 통과한 시준광이 센서에 결상된 스팟들을 분석하여 변환 매트릭스를 결정함으로써, 멀티 렌즈 카메라에 대한 캘리브레이션을 수행할 수 있다.
도 2는 일실시예에 따른 변환 매트릭스를 설명하기 위한 도면이다.
도 2를 참조하면, 일실시예에 따른 라이트 필드 방향에 따라 멀티 렌즈를 통과한 시준광의 스팟 위치 정보에 기초하여 변환 매트릭스가 결정되는 예시가 도시된다.
도 2의 상단에는 초점거리 f로 이격된 멀티 렌즈, 센서 픽셀 S1~S5, 시준광 X1~X5이 도시된다.
일실시예에 따른 시준광 X1~X5는 서로 다른 각도로 멀티 렌즈에 입사하는 광을 나타낸다. 예를 들어, 시준광 X1는 멀티 렌즈를 통과하여 센서 픽셀 S1, S3에 결상될 수 있다. 또한, 시준광 X2는 멀티 렌즈를 통과하여 센서 픽셀 S1, S4에 결상될 수 있다. 다시 말해, 시준광은 혼재 또는 혼합되어 센서 픽셀에 도달하게 되며, 시준광에 따라 시준광이 결상되는 센서 픽셀이 다를 수 있다. 이러한 상관 관계는 도 2의 하단에 도시된 행렬식으로 나타낼 수 있으며, 시준광과 센서 픽셀 간의 연관성을 나타내는 변환 매트릭스(210)를 통해 멀티 렌즈 카메라로 촬영한 저해상도의 마이크로 렌즈 어레이 영상으로부터 고해상도 원본 영상이 복원될 수 있다. 변환 매트릭스(210)는 라이트 필드 센싱 모델링일 수 있다.
따라서, 멀티 렌즈를 통과한 시준광이 센서에 결상되는 스팟들의 위치를 확인하는 과정은 변환 매트릭스(210)를 결정하는 데 중요할 수 있으며, 이에 관해서는 아래의 도면들을 참조하여 상세히 설명한다.
도 3 내지 도 5는 일실시예에 따라 변환 매트릭스를 결정하는 과정을 설명하기 위한 도면이다.
일실시예에 따른 캘리브레이션 장치는 멀티 렌즈의 FOV 범위 내에서 시준광의 입사각을 세밀하게 조정하고, 이 때 센서에 결상되는 스팟들을 센싱하는 과정을 반복하여 변환 매트릭스를 결정할 수 있다. 예를 들어, 시준광의 입사각을 최대한 세밀하게 조정한 후 해당 입사각에서 스팟들의 위치를 센싱하는 동작을 멀티 렌즈의 FOV 범위에 대해 전부 수행하고, 센싱 결과에 기초하여 변환 매트릭스가 결정될 수 있다. 또한, 캘리브레이션 장치는 센서에 포함된 픽셀들 전체에 대해 상술된 과정을 반복해서 수행할 수 있다.
이러한 캘리브레이션 방법은 이하 도 6 내지 도 13에서 설명할 실시예와 달리 멀티 렌즈의 회전(rotation), 피치(pitch), 수차(aberration), 멀티 렌즈와 센서 간 갭(gap) 및 멀티 렌즈로 촬영된 영상의 블러(blur) 등과 무관하게 수행할 수 있으며, 멀티 렌즈를 통과한 모든 시준광에 대응하는 스팟들에 대한 정보를 이용하여 변환 매트릭스를 결정하는 근원적인 캘리브레이션 기법일 수 있다.
일실시예에 따른 캘리브레이션 장치는 멀티 렌즈의 FOV 범위 내에서 세밀하게 조정하기 위한 시준광의 입사각에 대한 최소 각도 변화량은 다음과 같이 결정될 수 있다.
우선, 단일 렌즈 카메라에서 초점거리를 F, 센서의 픽셀의 피치를 P, 인접한 센서 픽셀들의 중심으로 향하는 시준광의 입사각 차이를
Figure pat00001
라고 한다면, 아래의 수학식이 성립할 수 있다.
Figure pat00002
단일 렌즈 카메라와 멀티 렌즈 카메라의 초점거리는 F = f x L로 나타낼 수 있다. 여기서, f는 멀티 렌즈 카메라의 초점거리를 나타내고, L은 멀티 렌즈에 포함된 렌즈 개수를 나타낸다.
따라서, 멀티 렌즈 카메라에서 시준광의 입사각에 대한 최소 각도 변화량은 아래와 같을 수 있다.
Figure pat00003
예를 들어, 센서의 해상도가 1200x1200이고, 센서 내 픽셀들 간 피치가 4
Figure pat00004
이고, 멀티 렌즈의 초점거리가 0.3mm인 경우, 최소 각도 변화량은 약 0.03도로 결정될 수 있다.
도 3은 시준광 X1이 센서에 결상된 스팟들이 센서 픽셀 S1, S3에 의해 센싱되어 변환 매트릭스에 반영되는 예시를 나타내고, 도 4는 시준광 X3이 센서에 결상된 스팟들이 센서 픽셀 S2, S4에 의해 센싱되어 변환 매트릭스에 반영되는 예시를 나타내며, 도 5는 시준광 X5가 센서에 결상된 스팟들이 센서 픽셀 S3, S5에 의해 센싱되어 변환 매트릭스에 반영되는 예시를 나타낸다.
도 6 내지 도 13은 다른 일실시예에 따라 변환 매트릭스를 결정하는 과정을 설명하기 위한 도면이다.
다른 일실시예에 따른 캘리브레이션 장치는 멀티 렌즈의 FOV 범위 내에서 시준광의 입사각을 러프하게 조정하고, 이 때 센서에 결상되는 스팟들의 위치를 센싱하는 동작을 반복한 결과에 선형 피팅(linear fitting) 또는 기하적 삼각방법을 적용하여 변환 매트릭스를 결정할 수 있다. 다시 말해, 캘리브레이션 장치는 멀티 렌즈의 FOV 범위 내에서 시준광의 일부 입사각에 대응하는 스팟들을 센싱하고, 센싱된 결과를 선형 피팅하여 변환 매트릭스를 결정할 수 있다. 또한, 캘리브레이션 장치는 센서에 포함된 픽셀들 중에서 선택된 일부 픽셀에 대해 스팟들을 센싱하고, 센싱된 결과를 선형 피팅하여 변환 매트릭스를 결정할 수도 있다. 이를 통해, 도 3 내지 도 5에서 설명한 실시예보다 요구되는 연산량을 효과적으로 감소시킬 수 있다.
이를 위해서는 센싱된 스팟들로부터 결정된 멀티 렌즈에 대한 정보를 이용할 필요가 있다. 다시 말해, 캘리브레이션 장치는 스팟들에 기초하여 멀티 렌즈에 대한 정보를 결정하고, 멀티 렌즈에 대한 정보에 기초하여 변환 매트릭스를 최종적으로 결정할 수 있다. 예를 들어, 멀티 렌즈에 대한 정보는 멀티 렌즈의 회전 정보, 피치 정보, 수차 정보, 멀티 렌즈와 센서 간 갭 정보 및 멀티 렌즈로 촬영된 영상의 블러 정보 중 적어도 하나를 포함할 수 있다. 이하에서는 도면을 참조하여 멀티 렌즈에 대한 정보를 결정하는 과정에 대해 설명한다.
도 6을 참조하면, 일실시예에 따라 스팟들에 기초하여 멀티 렌즈의 회전이 결정되는 과정을 설명하기 위한 예시가 도시된다. 예를 들어, 캘리브레이션 장치는 특정 입사각으로 입사하는 시준광이 센서에 결상된 스팟들을 센싱하여 스팟들의 위치를 결정할 수 있다. 그리고, 캘리브레이션 장치는 스팟들의 중심을 연결하는 연결선의 기울기
Figure pat00005
를 결정함으로써, 멀티 렌즈의 회전을 결정할 수 있다.
도 7을 참조하면, 일실시예에 따라 스팟들 간 거리에 기초하여 멀티 렌즈의 피치가 결정되는 과정을 설명하기 위한 예시가 도시된다. 예를 들어, 캘리브레이션 장치는 특정 입사각으로 입사하는 시준광이 센서에 결상된 스팟들을 센싱하여 스팟들의 위치를 결정할 수 있다. 그리고, 캘리브레이션 장치는 스팟들의 중심 간 거리를 결정함으로써, 멀티 렌즈의 피치를 결정할 수 있다.
도 8 내지 도 10을 참조하면, 일실시예에 따라 스팟들의 사이즈에 기초하여 멀티 렌즈와 센서 간 갭이 결정되는 과정을 설명하기 위한 예시가 도시된다. 예를 들어, 캘리브레이션 장치는 특정 입사각으로 입사하는 시준광이 센서에 결상된 스팟들을 센싱하여 스팟들의 사이즈를 결정할 수 있다. 그리고, 캘리브레이션 장치는 스팟들의 사이즈 변화에 기초하여 멀티 렌즈와 센서 간 갭을 결정할 수 있다.
도 8에서는 멀티 렌즈와 센서 간 갭이 일정한 예시가 도시된다. 이 경우, 스팟들의 사이즈는 일정하다는 것을 알 수 있다. 반면, 도 9에서는 멀티 렌즈와 센서 간 갭이 일정하지 않은 예시가 도시된다. 이 경우, 스팟들의 사이즈가 일정하지 않고 왼쪽에 위치한 스팟일수록 사이즈가 커지는 것을 알 수 있다. 이를 통해, 캘리브레이션 장치는 스팟들의 사이즈 변화에 기초하여 멀티 렌즈와 센서 간 갭을 결정할 수 있다.
도 9에서는 센서가 기울어진 예시가 도시되지만 실시예가 이에 제한되지 않으며 멀티 렌즈가 기울어진 실시예에도 제한 없이 적용될 수 있다.
도 10에서는 멀티 렌즈와 센서 간 갭을 결정하는 과정을 설명하기 위한 예시가 도시된다.
일실시예에 따라 멀티 렌즈와 센서 간 갭은 멀티 렌즈를 통과한 시준광이 센서에 결상된 스팟의 사이즈에 기반하여 결정될 수 있다. 다시 말해, 스팟의 사이즈에 기반하여 멀티 렌즈와 센서 간 갭이 결정될 수 있으며, 이 때 Paraxial Ray Tracing Equation (PRTE) 기법이 적용될 수 있다.
우선, 멀티 렌즈가 렌즈 위치 1에 위치한 경우를 고려할 수 있다. 도 10에 도시된 시준광에서 가장 좌측에 위치한 광선은 렌즈 중심을 통과하고, 가장 우측에 위치한 광선은 렌즈 경계를 통과하는 광선을 나타낸다. 다시 말해, 도 10에서 t는 렌즈 중심에서 렌즈 경계까지의 거리를 나타낸다. 이 경우, 스팟 사이즈 s 및 멀티 렌즈와 센서 간 갭 g는 아래와 같이 표현될 수 있다.
Figure pat00006
여기서, u는 렌즈 경계를 통과한 광선을 굴절시키는 렌즈 파워(lens power)를 나타낸다.
이 때, 갭이 g'로 변경되면, 다시 말해 멀티 렌즈가 렌즈 위치 2에 위치하게 되면, 센서에 결상되는 스팟의 사이즈도 바뀐다. 렌즈 위치 1, 2에 위치한 멀티 렌즈는 동일한 렌즈이므로, 렌즈 파워도 동일하다. 갭이 g'인 경우에 스팟 사이즈 s'와의 관계식은 아래와 같이 표현될 수 있다.
Figure pat00007
위의 수학식 4를 갭 g'에 대해 정리하고, t=t'인 점을 고려하면 아래와 같이 정리될 수 있다.
Figure pat00008
여기서, u는 렌즈 파워로서, 초점거리에 기반하여 계산될 수 있고, t는 렌즈 직경의 1/2이며, s'는 측정 가능한 스팟의 사이즈이다. 따라서, 스팟 사이즈에 기반하여 멀티 렌즈와 센서 간 갭이 결정될 수 있다.
도 11을 참조하면, 일실시예에 따라 스팟들의 사이즈에 기초하여 멀티 렌즈의 수차가 결정되는 과정을 설명하기 위한 예시가 도시된다. 예를 들어, 캘리브레이션 장치는 특정 입사각으로 입사하는 시준광이 센서에 결상된 스팟들을 센싱하여 스팟들의 사이즈를 결정할 수 있다. 그리고, 캘리브레이션 장치는 스팟들의 사이즈에 기초하여 멀티 렌즈의 수차를 결정할 수 있다. 이 때, 멀티 렌즈와 센서 간 갭이 미리 결정될 필요가 있다.
일실시예에 따라 렌즈 바깥쪽을 통과하는 제1 광선은 렌즈 안쪽을 통과하는 제2 광선보다 굴절이 커서 광선들이 한 점에 만나지 않게 되는 수차가 존재할 수 있다. 이로 인해, 제2 광선이 센서에 결상된 스팟의 사이즈는 제1 광선이 센서에 결상된 스팟의 사이즈보다 클 수 있다. 캘리브레이션 장치는 센서에 결상된 스팟의 사이즈에 기초하여 멀티 렌즈의 수차를 결정할 수 있다.
도 12 및 도 13을 참조하면, 일실시예에 따라 스팟들에 대한 센서 픽셀 분석을 통해 멀티 렌즈로 촬영된 영상의 블러가 결정되는 과정을 설명하기 위한 예시가 도시된다. 예를 들어, 캘리브레이션 장치는 특정 입사각으로 입사하는 시준광이 센서에 결상된 스팟들에 대해 센서 픽셀 분석을 수행함으로써 변환 매트릭스를 결정할 수 있다. 이 때, 블러를 결정하기에 앞서 멀티 렌즈와 센서 간 갭이 미리 결정될 필요가 있다.
도 12에서는 블러가 없는 예시가 도시된다. 이 경우, 시준광이 센서에 결상된 스팟의 사이즈 A는 센서 픽셀의 사이즈보다 작거나 동일하여 해당 스팟이 센서 픽셀 S1 내에 위치 가능하다. 반면, 도 13에서는 블러가 발생한 예시가 도시된다. 이 경우, 시준광이 센서에 결상된 스팟의 사이즈 A'는 센서 픽셀의 사이즈보다 크므로 해당 스팟이 센서 픽셀 S1 내에 위치하기 불가능하다. 이러한 사항을 이용하여 캘리브레이션 장치는 스팟들에 대한 영상 픽셀 분석을 통해 변환 매트릭스를 결정할 수 있다.
도 14는 일실시예에 따라 캘리브레이션 장치의 예시를 나타낸 도면이다.
도 14를 참조하면, 일실시예에 따라 광학 소스(1410), 공간 마스크(spatial mask)(1420), 멀티 렌즈(1430), 센서(1440) 및 컴퓨팅 장치(1450)가 도시된다.
광학 소스(1410)는 시준광을 출력하는 장치로서, 예를 들어, 광원 및 시준 렌즈를 포함할 수 있다. 광원은 레이저 소스, LED 소스 등을 포함할 수 있다. 또한, 광학 소스(1410)는 핀홀, 공간 필터(spatial filter) 및 렌즈로 구성될 수도 있다.
공간 마스크(1420)는 노이즈 광원을 차단하기 위한 마스트로서, 광학 소스(1410) 및 멀티 렌즈(1430) 사이 또는 멀티 렌즈(1430)의 표면에 배치될 수 있다. 또는, 공간 마스트(1420)는 빛을 차단(block)하는 것으로 필름 형태로 구성되거나, 렌즈 면에 코팅 형태로 구성될 수도 있으며, 조리개 역할을 수행할 수 있다.
멀티 렌즈(1430)는 다수의 렌즈들로 구성되어 각 렌즈의 위치에 따라 통과되는 광선이 서로 다를 수 있다. 예를 들어, 멀티 렌즈(1430)는 단면이 렌즈 형태를 가지는 마이크로 렌즈 어레이 또는 양면이 렌즈의 형태를 가지는 마이크로 렌즈 어레이일 수 있다.
센서(1440)는 멀티 렌즈(1430)를 통과하여 수신되는 광을 센싱할 수 있다. 예를 들어, 센서(1440)는 영상을 기록하기 위한 디텍터(detector)를 포함할 수 있다.
컴퓨팅 장치(1460)는 센서(1440)가 감지한 결과를 수신하여 영상을 복원할 수 있으며, 이를 위해 변환 매트릭스를 결정할 수 있다. 예를 들어, 컴퓨팅 장치(1460)는 멀티 렌즈(1430)를 통과한 시준광이 센서(1440)에 결상된 스팟들을 센싱한 센서의 출력 값을 저장할 수 있다. 그리고, 컴퓨팅 장치(1460)는 시준광이 멀티 렌즈(1430)로 입사하는 각도 또는 멀티 렌즈(1430)를 통과한 시준광이 센서(1440)로 입사하는 각도를 변경시키고 이 때 스팟들을 센싱한 센서의 출력 값을 저장할 수 있다. 그리고, 컴퓨팅 장치(1460)는 저장된 값에 기초하여 변환 매트릭스를 결정할 수 있다.
시준광이 멀티 렌즈(1430) 또는 센서(1440)로 입사하는 각도를 제어하기 위해, 위치 및/또는 각도에 대한 제어 장치가 제공될 수 있다. 제어 장치는 시준광을 x, y, z 축 중 적어도 하나의 방향으로 센서의 픽셀 단위로 이동하도록 제어할 수 있다. 또한, 제어 장치는 시준광을
Figure pat00009
(x, z 축 방면의 각도),
Figure pat00010
(y, z 축 방면의 각도),
Figure pat00011
(x, y 축 방면의 각도) 중 어느 하나의 각도로 제어할 수 있다. 예를 들어, 제어 장치는 광학 소스(1410)에 부착되어 광학 소스(1410)의 위치 및/또는 각도를 제어할 수 있다. 또는, 제어 장치는 멀티 렌즈(1430) 또는 센서(1440)에 부착되어 해당 부분의 위치 및/또는 각도를 제어할 수도 있다.
도 15 및 도 16은 일실시예에 따라 각도를 제어하는 예시를 설명하기 위한 도면이다.
도 15를 참조하면, 일실시예에 따라 제어 장치(1510)가 광학 소스의 위치 및/또는 각도를 제어할 때 센서에 결상되는 스팟들의 위치 변화를 나타낸 예시이다. 일실시예에 따라 제어 장치(1510)는 다양한 각도에서 입사되는 시준광을 센싱하기 위해 광학 소스에 부착되어 광학 소스의 위치 및/또는 각도를 제어할 수 있다. 제어 장치(1510)에 의해 시준광의 입사각이
Figure pat00012
만큼 변경되기 전/후의 스팟들이 도 15의 우측에 도시된다. 점선으로 그려진 스팟들은 제어 전을 나타내고, 실선으로 그려진 스팟들은 제어 후를 나타낼 수 있다.
도 16을 참조하면, 일실시예에 따라 제어 장치(1610)가 멀티 렌즈의 위치 및/또는 각도를 제어할 때 센서에 결상되는 스팟들의 위치 변화를 나타낸 예시이다. 이 때, 센서도 멀티 렌즈와 함께 제어될 수 있다. 일실시예에 따라 제어 장치(1610)는 다양한 각도에서 입사되는 시준광을 센싱하기 위해 멀티 렌즈에 부착되어 멀티 렌즈의 위치 및/또는 각도를 제어할 수 있다. 제어 장치(1610)에 의해 멀티 렌즈와 센서의 각도가
Figure pat00013
만큼 변경되기 전/후의 스팟들이 도 16의 우측에 도시된다. 점선으로 그려진 스팟들은 제어 전을 나타내고, 실선으로 그려진 스팟들은 제어 후를 나타낼 수 있다.
이와 같이, 제어 장치로 광학 소스, 멀티 렌즈 및 센서 중 적어도 하나를 제어함으로써, 다양한 각도로 입사되는 시준광을 구현 가능하며, 다양한 입사각으로 입사되는 시준광이 결상된 스팟들이 센싱되어 변환 매트릭스가 결정될 수 있다. 도 15 및 도 16에서는 설명의 편의를 위해 한 각도에 대해서만 제어가 수행된 실시예를 설명하였으나, 제어 장치를 통해 제어될 수 있는 위치 및/또는 각도의 범위는 멀티 렌즈의 FOV 범위에 해당될 수 있다.
도 17은 일실시예에 따른 제어에 의한 스팟의 이동 변위량을 계산하는 과정을 설명하기 위한 도면이다.
도 17을 참조하면, 일실시예에 따라 제어 장치가 둘 이상의 축에 대해 제어를 수행함으로써 센서에 결상되는 스팟이 이동된 예시가 도시된다. 예를 들어, 스팟은 x축으로 x1만큼 이동하고 y축으로 y1만큼 이동할 수 있다. 도 17에서 점선은 제어 전의 스팟을 나타내고, 실선은 제어 후의 스팟을 나타낼 수 있다. 이와 같이 스팟의 이동 변위량을 계산함으로써 시준광의 입사각이 바뀜에 따라 스팟이 어느 센서 픽셀에 도달하는지가 판단될 수 있다.
앞서 설명한 것처럼, 시준광이 멀티 렌즈로 입사하는 각도 또는 멀티 렌즈를 통과한 시준광이 센서로 입사하는 각도를 멀티 렌즈의 FOV 범위 내에서 제어하면서 스팟을 센싱함으로써, 영상 복원을 위한 변환 매트릭스를 도출할 수 있다.
도 18은 일실시예에 따른 캘리브레이션 방법을 나타낸 도면이다.
도 18을 참조하면, 일실시예에 따른 캘리브레이션 방법은 캘리브레이션 장치에 구비된 프로세서에 의해 수행될 수 있다. 우선, 캘리브레이션 장치가 멀티 렌즈의 FOV 범위 내에서 시준광의 입사각을 최소 각도 변화량만큼 변화시키면서 센서에 결상되는 스팟들을 센싱하여 변환 매트릭스를 결정하는 예시에 대해 설명한다.
단계(1810)에서, 캘리브레이션 장치는 멀티 렌즈를 통과한 시준광이 센서에 결상되는 스팟들을 센싱한다. 캘리브레이션 장치는 센싱된 결과를 메모리에 저장할 수 있다.
단계(1820)에서, 캘리브레이션 장치는 각도 제어가 필요한지 여부를 판단할 수 있다. 예를 들어, 캘리브레이션 장치는 시준광이 멀티 렌즈로 입사하는 각도 또는 멀티 렌즈를 통과한 시준광이 센서로 입사하는 각도를 제어할 필요가 있는지 여부를 판단할 수 있다. 멀티 렌즈의 FOV 범위 내에서 스팟 센싱이 수행되지 않은 각도가 존재한다면, 캘리브레이션 장치는 각도 제어가 필요한 것으로 판단할 수 있으며, 이어서 단계(1830)가 수행될 수 있다. 반대로 멀티 렌즈의 FOV 범위 내에서 스팟 센싱이 수행되지 않은 각도가 없다면, 캘리브레이션 장치는 각도 제어가 필요 없는 것으로 판단할 수 있으며, 이어서 단계(1850)가 수행될 수 있다.
단계(1830)에서, 캘리브레이션 장치는 시준광이 멀티 렌즈 또는 센서로 입사하는 각도를 제어 장치를 통해 제어할 수 있다. 각도 제어 후 단계(1810)가 다시 수행되어 해당 각도에서 스팟들이 센싱될 수 있다.
단계(1850)에서, 캘리브레이션 장치는 센싱된 스팟들에 기초하여 멀티 렌즈로 촬영한 영상을 복원시키기 위한 변환 매트릭스를 결정한다. 예를 들어, 캘리브레이션 장치는 멀티 렌즈의 FOV 범위 내에서 최소 각도 변화량만큼 변화된 각도에서 각각 센싱된 결과들을 이용하여, 변환 매트릭스를 결정할 수 있다.
이하에서는 캘리브레이션 장치가 멀티 렌즈의 FOV 범위 내 시준광의 일부 입사각에 대응하는 스팟들을 센싱하여 변환 매트릭스를 결정하는 예시에 대해 설명한다.
단계(1810)에서, 캘리브레이션 장치는 멀티 렌즈를 통과한 시준광이 센서에 결상되는 스팟들을 센싱한다. 캘리브레이션 장치는 센싱된 결과를 메모리에 저장할 수 있다.
단계(1820)에서, 캘리브레이션 장치는 각도 제어가 필요한지 여부를 판단할 수 있다. 다만, 앞서 설명한 실시예와는 달리 멀티 렌즈의 FOV 범위 내에서 선택된 일부 입사각이 센싱 대상으로 선택될 수 있고, 선택된 일부 입사각 중에서 아직 스팟 센싱이 수행되지 않은 각도가 존재한다면, 캘리브레이션 장치는 각도 제어가 필요한 것으로 판단할 수 있으며, 이어서 단계(1830)가 수행될 수 있다. 반대로, 선택된 일부 입사각 중에서 스팟 센싱이 수행되지 않은 각도가 없다면, 캘리브레이션 장치는 각도 제어가 필요 없는 것으로 판단할 수 있으며, 이어서 단계(1840)가 수행될 수 있다.
단계(1830)에서, 캘리브레이션 장치는 아직 스팟 센싱이 수행되지 않은 일부 입사각으로 시준광이 입사하도록 각도 제어를 수행할 수 있다. 그리고, 단계(1810)가 다시 수행되어, 해당 일부 입사각에 대한 스팟들이 센싱될 수 있다.
단계(1840)에서, 캘리브레이션 장치는 센싱된 결과에 기초하여 멀티 렌즈에 대한 정보를 결정할 수 있다. 여기서, 멀티 렌즈에 대한 정보는 멀티 렌즈의 회전 정보, 피치 정보, 수차 정보, 멀티 렌즈와 센서 간 갭 정보 및 멀티 렌즈로 촬영된 영상의 블러 정보 중 적어도 하나를 포함할 수 있다.
단계(1850)에서, 캘리브레이션 장치는 멀티 렌즈에 대한 정보에 기초하여 멀티 렌즈로 촬영한 영상을 복원시키기 위한 변환 매트릭스를 결정할 수 있다.
도 18에 도시된 각 단계들에는 도 1 내지 도 17을 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.
도 19는 일실시예에 따른 캘리브레이션 장치를 나타낸 도면이다.
도 19를 참조하면, 일실시예에 따른 캘리브레이션 장치(1900)는 메모리(1910) 및 프로세서(1920)를 포함한다. 캘리브레이션 장치(1900)는 광학 소스(1930) 및 위치 및/또는 각도에 대한 제어 장치(1940)를 더 포함할 수 있다. 메모리(1910), 프로세서(1920), 광학 소스(1930) 및 제어 장치(1940)는 버스(bus)(1950)를 통하여 서로 통신할 수 있다.
메모리(1910)는 컴퓨터에서 읽을 수 있는 명령어를 포함할 수 있다. 프로세서(1920)는 메모리(1910)에 저장된 명령어가 프로세서(1920)에서 실행됨에 따라 앞서 언급된 동작들을 수행할 수 있다. 메모리(1910)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.
프로세서(1920)는 멀티 렌즈를 통과한 시준광이 센서에 결상되는 스팟들을 센싱하고, 스팟들에 기초하여 멀티 렌즈로 촬영한 영상을 복원시키기 위한 변환 매트릭스를 결정한다.
광학 소스(1930)는 시준광을 생성하여 멀티 렌즈 카메라로 제공할 수 있다.
제어 장치(1940)는 광학 소스(1930), 멀티 렌즈, 센서 중 적어도 하나의 위치 및/또는 각도를 제어할 수 있다.
캘리브레이션 장치(1900)는 멀티 렌즈와 센서 간 관계에 기초하여 캘리브레이션을 수행할 수 있다. 캘리브레이션 장치(1900)는 다양한 각도에서 멀티 렌즈를 통과한 시준광이 센서에 결상되는 스팟들을 센싱함으로써, 영상 복원에 필요한 변환 매트릭스를 결정할 수 있다. 그 밖에, 캘리브레이션 장치(1900)에 관해서는 상술된 동작을 처리할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (18)

  1. 멀티 렌즈를 통과한 시준광(collimated light)이 센서에 결상되는 스팟들을 센싱하는 단계; 및
    상기 스팟들에 기초하여 상기 멀티 렌즈로 촬영한 영상을 복원시키기 위한 변환 매트릭스를 결정하는 단계
    를 포함하는 캘리브레이션 방법.
  2. 제1항에 있어서,
    상기 시준광이 상기 멀티 렌즈로 입사하는 각도 또는 상기 멀티 렌즈를 통과한 시준광이 센서로 입사하는 각도를 제어할 필요가 있는지 판단하는 단계; 및
    각도 제어가 필요한 것으로 판단되는 경우, 상기 시준광이 상기 멀티 렌즈로 입사하는 각도 또는 상기 멀티 렌즈를 통과한 시준광이 센서로 입사하는 각도를 제어하는 단계
    를 더 포함하고,
    상기 스팟들을 센싱하는 단계는
    상기 제어된 각도로 상기 멀티 렌즈 또는 센서에 입사되는 시준광에 대응하는 스팟들을 센싱하는, 캘리브레이션 방법.
  3. 제1항에 있어서,
    상기 센서에 결상되는 스팟들은
    상기 센서에 포함된 픽셀보다 작은 사이즈를 가지는, 캘리브레이션 방법.
  4. 제1항에 있어서,
    상기 스팟들을 센싱하는 단계는
    상기 멀티 렌즈의 FOV 범위 내에서 최소 각도 변화량만큼 변화된 각도로 입사된 시준광이 센서에 결상되는 스팟들을 센싱하는, 캘리브레이션 방법.
  5. 제1항에 있어서,
    상기 변환 매트릭스를 결정하는 단계는
    상기 스팟들을 센싱한 센서의 픽셀 정보에 기초하여 상기 변환 매트릭스를 결정하는, 캘리브레이션 방법.
  6. 제1항에 있어서,
    상기 스팟들을 센싱하는 단계는
    상기 멀티 렌즈의 FOV 범위 내에서 선택된 일부 각도로 입사된 시준광이 센서에 결상되는 스팟들을 센싱하고,
    상기 변환 매트릭스를 결정하는 단계는
    상기 스팟들을 센싱한 결과에 선형 피팅을 적용하여 상기 변환 매트릭스를 결정하는, 캘리브레이션 방법.
  7. 제1항에 있어서,
    상기 스팟들에 기초하여 상기 멀티 렌즈에 대한 정보를 결정하는 단계
    를 더 포함하고,
    상기 변환 매트릭스를 결정하는 단계는
    상기 멀티 렌즈에 대한 정보에 기초하여 상기 변환 매트릭스를 결정하는, 캘리브레이션 방법.
  8. 제7항에 있어서,
    상기 멀티 렌즈에 대한 정보는
    상기 멀티 렌즈의 회전 정보, 피치 정보, 수차 정보, 상기 멀티 렌즈와 센서 간 갭 정보 및 상기 멀티 렌즈로 촬영된 영상의 블러 정보 중 적어도 하나를 포함하는, 캘리브레이션 방법.
  9. 제7항에 있어서,
    상기 멀티 렌즈에 대한 정보를 결정하는 단계는
    상기 스팟들을 연결하는 연결선의 기울기에 기초하여 상기 멀티 렌즈의 회전 정보를 결정하는, 캘리브레이션 방법.
  10. 제7항에 있어서,
    상기 멀티 렌즈에 대한 정보를 결정하는 단계는
    상기 스팟들 간 거리에 기초하여 상기 멀티 렌즈의 피치 정보를 결정하는, 캘리브레이션 방법.
  11. 제7항에 있어서,
    상기 멀티 렌즈에 대한 정보를 결정하는 단계는
    상기 스팟들의 사이즈 변화에 기초하여 상기 멀티 렌즈와 센서 간 갭 정보를 결정하는, 캘리브레이션 방법.
  12. 제7항에 있어서,
    상기 멀티 렌즈에 대한 정보를 결정하는 단계는
    상기 스팟들의 사이즈에 기초하여 상기 멀티 렌즈의 수차 정보를 결정하는, 캘리브레이션 방법.
  13. 제7항에 있어서,
    상기 멀티 렌즈에 대한 정보를 결정하는 단계는
    상기 스팟들에 대한 센서 픽셀 분석을 통해 상기 멀티 렌즈로 촬영된 영상의 블러 정보를 결정하는, 캘리브레이션 방법.
  14. 제1항에 있어서,
    상기 변환 매트릭스는
    상기 센서에 기록된 광입자를 모델링하여 영상을 복원하는데 이용되는, 캘리브레이션 방법.
  15. 제1항에 있어서,
    상기 멀티 렌즈는
    복수의 렌즈들이 포함된 마이크로 렌즈 어레이를 포함하는, 캘리브레이션 방법.
  16. 제1항 내지 제15항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 저장 매체.
  17. 프로세서; 및
    상기 프로세서에 의해 실행 가능한 적어도 하나의 명령어를 포함하는 메모리
    를 포함하고,
    상기 적어도 하나의 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 멀티 렌즈를 통과한 시준광이 센서에 결상되는 스팟들을 센싱하고, 상기 스팟들에 기초하여 상기 멀티 렌즈로 촬영한 영상을 복원하기 위한 변환 매트릭스를 결정하는,
    캘리브레이션 장치.
  18. 제17항에 있어서,
    상기 프로세서는
    상기 시준광이 상기 멀티 렌즈로 입사하는 각도 또는 상기 멀티 렌즈를 통과한 시준광이 센서로 입사하는 각도를 제어할 필요가 있는지 판단하고, 각도 제어가 필요한 것으로 판단되는 경우 상기 시준광이 상기 멀티 렌즈로 입사하는 각도 또는 상기 멀티 렌즈를 통과한 시준광이 센서로 입사하는 각도를 제어하는, 캘리브레이션 장치.
KR1020180153867A 2018-12-03 2018-12-03 캘리브레이션 방법 및 장치 KR20200067020A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180153867A KR20200067020A (ko) 2018-12-03 2018-12-03 캘리브레이션 방법 및 장치
US16/557,557 US10873693B2 (en) 2018-12-03 2019-08-30 Calibration method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180153867A KR20200067020A (ko) 2018-12-03 2018-12-03 캘리브레이션 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20200067020A true KR20200067020A (ko) 2020-06-11

Family

ID=70850930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180153867A KR20200067020A (ko) 2018-12-03 2018-12-03 캘리브레이션 방법 및 장치

Country Status (2)

Country Link
US (1) US10873693B2 (ko)
KR (1) KR20200067020A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030724B2 (en) 2018-09-13 2021-06-08 Samsung Electronics Co., Ltd. Method and apparatus for restoring image

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11307367B2 (en) * 2020-08-17 2022-04-19 X Development Llc Method of precision beam collimation using fiber-optic circulator and wavelength tunable source
CN115326037B (zh) * 2022-10-18 2022-12-13 无锡超强伟业科技有限公司 一种准直光三维空间自动调向装置及方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6639201B2 (en) 2001-11-07 2003-10-28 Applied Materials, Inc. Spot grid array imaging system
US7202466B2 (en) 2003-08-25 2007-04-10 Cadent Ltd. Apparatus and method for providing high intensity non-coherent light and for speckle reduction
US7496241B1 (en) * 2005-09-08 2009-02-24 Goodrich Corporation Precision optical systems with performance characterization and uses thereof
KR100790689B1 (ko) 2006-06-01 2008-01-02 삼성전기주식회사 샤크-하트만 파면 센서를 이용한 렌즈를 검사하는 방법
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
WO2009020977A1 (en) * 2007-08-06 2009-02-12 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
TWI393072B (zh) * 2008-07-23 2013-04-11 Pixart Imaging Inc 廣角感測器陣列模組及其影像校正方法、運作方法與應用
US8831377B2 (en) * 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
JP5968102B2 (ja) 2012-06-15 2016-08-10 キヤノン株式会社 画像記録装置および画像再生装置
CN102798849B (zh) * 2012-08-14 2014-03-26 中国科学院光电技术研究所 一种消除由于串扰引起光斑质心偏移的方法
US9153026B2 (en) * 2012-11-26 2015-10-06 Ricoh Co., Ltd. Calibration of plenoptic imaging systems
KR101704859B1 (ko) 2013-06-18 2017-02-08 주식회사 엘지화학 마이크로렌즈의 초점 거리 측정 방법 및 초점 거리 측정 장치
JP6494205B2 (ja) 2013-07-31 2019-04-03 キヤノン株式会社 波面計測方法、形状計測方法、光学素子の製造方法、光学機器の製造方法、プログラム、波面計測装置
US9804424B2 (en) 2014-03-21 2017-10-31 FundacióInstitut de Ciències Fotòniques Adaptive photothermal lens
CN104198164B (zh) 2014-09-19 2017-02-15 中国科学院光电技术研究所 一种基于哈特曼波前检测原理的检焦方法
EP3026884A1 (en) * 2014-11-27 2016-06-01 Thomson Licensing Plenoptic camera comprising a light emitting device
US9544583B2 (en) * 2015-01-09 2017-01-10 Ricoh Company, Ltd. Object space calibration of plenoptic imaging systems
EP3065394A1 (en) 2015-03-05 2016-09-07 Thomson Licensing Light field metadata
EP3094076A1 (en) * 2015-05-13 2016-11-16 Thomson Licensing Method for obtaining a refocused image from a 4D raw light field data using a shift correction parameter
EP3144889A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing Method and system for calibrating an image acquisition device and corresponding computer program product
EP3144890A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for calibrating an optical acquisition system
KR20180053724A (ko) * 2015-09-17 2018-05-23 톰슨 라이센싱 명시야 콘텐츠를 인코딩하기 위한 방법
BR112018005399A2 (pt) * 2015-09-17 2018-10-09 Thomson Licensing representação de dados de campo de luz
EP3188123A1 (en) * 2015-12-30 2017-07-05 Thomson Licensing A method and an apparatus for generating data representative of a pixel beam
US20170221223A1 (en) * 2016-01-28 2017-08-03 Thomson Licensing Method for obtaining a position of a main lens optical center of a plenoptic camera
WO2017162596A1 (en) * 2016-03-21 2017-09-28 Thomson Licensing Method for correcting aberration affecting light-field data
EP3279864B1 (en) * 2016-08-05 2019-03-06 Thomson Licensing A method for obtaining parameters defining a pixel beam associated with a pixel of an image sensor comprised in an optical device
CN106373152B (zh) * 2016-09-18 2019-02-01 清华大学深圳研究生院 一种基于手持式光场相机的距离估计方法
KR20190065432A (ko) * 2016-10-18 2019-06-11 포토닉 센서즈 앤드 알고리즘즈 에스.엘. 뷰로부터 거리 정보를 획득하는 장치 및 방법
KR102570277B1 (ko) 2016-11-16 2023-08-24 삼성전자주식회사 3d 영상 장치의 왜곡 보정 방법 및 그 방법을 이용하는 장치
US10043289B1 (en) * 2017-03-08 2018-08-07 Ricoh Company, Ltd. Automatic centroid determination of microlens arrays in plenoptic imaging systems

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030724B2 (en) 2018-09-13 2021-06-08 Samsung Electronics Co., Ltd. Method and apparatus for restoring image
US11663699B2 (en) 2018-09-13 2023-05-30 Samsung Electronics Co., Ltd. Method and apparatus for restoring image

Also Published As

Publication number Publication date
US10873693B2 (en) 2020-12-22
US20200177794A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
KR102646437B1 (ko) 멀티 렌즈 기반의 촬영 장치 및 방법
JP7133554B2 (ja) 焦点調整可能な画像センサを含む距離センサ
US20190361258A1 (en) Structured light projection and imaging
KR101953813B1 (ko) 통합 메모리 및 프로세서를 갖는 스마트 이미지 센서
KR20200067020A (ko) 캘리브레이션 방법 및 장치
US20200036964A1 (en) 3D Test Chart, Adjusting Arrangement, Forming Method and Adjusting Method Thereof
JP2021072615A (ja) 映像復元装置及び方法
KR102564478B1 (ko) 3d 영상 렌더링 방법 및 장치
JP6214271B2 (ja) 距離検出装置、撮像装置、距離検出方法、プログラム及び記録媒体
KR20210066366A (ko) 영상 복원 방법 및 장치
WO2019099297A1 (en) Structured light illuminators including a chief ray corrector optical element
EP3144894B1 (en) Method and system for calibrating an image acquisition device and corresponding computer program product
US20170180702A1 (en) Method and system for estimating the position of a projection of a chief ray on a sensor of a light-field acquisition device
Li et al. Camera geometric calibration using dynamic single-pixel illumination with deep learning networks
KR102606835B1 (ko) 뎁스 맵을 생성하는 전자 장치 및 방법
Anisimov et al. A compact light field camera for real-time depth estimation
EP3194886A1 (en) Positional shift amount calculation apparatus and imaging apparatus
CN210093321U (zh) 一种摄像头和摄像头控制装置
KR102655810B1 (ko) 3d 영상 렌더링 방법 및 장치
CN112912929A (zh) 鱼眼红外深度检测
JP2021507321A (ja) 改良された屈折率分布型レンズのための焦点面角度−空間発光体／検出器（ｆａｓｉｄ）設計のためのシステムおよび方法
KR102611481B1 (ko) 이미지 내의 좌표들 간의 실제 거리를 계산하는 방법 및 장치
EP4362484A1 (en) Method and apparatus with autofocus
US20240147065A1 (en) Method and apparatus with autofocus
KR101938824B1 (ko) 렌즈의 초점을 제어하기 위한 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal