KR102068992B1 - 렌즈 캘리브레이션 방법 및 영상 복원 방법 - Google Patents

렌즈 캘리브레이션 방법 및 영상 복원 방법 Download PDF

Info

Publication number
KR102068992B1
KR102068992B1 KR1020130071260A KR20130071260A KR102068992B1 KR 102068992 B1 KR102068992 B1 KR 102068992B1 KR 1020130071260 A KR1020130071260 A KR 1020130071260A KR 20130071260 A KR20130071260 A KR 20130071260A KR 102068992 B1 KR102068992 B1 KR 102068992B1
Authority
KR
South Korea
Prior art keywords
image
distortion
lens
calibration data
distorted
Prior art date
Application number
KR1020130071260A
Other languages
English (en)
Other versions
KR20140147989A (ko
Inventor
이형구
백준기
김태찬
김동균
김선영
Original Assignee
삼성전자 주식회사
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사, 중앙대학교 산학협력단 filed Critical 삼성전자 주식회사
Priority to KR1020130071260A priority Critical patent/KR102068992B1/ko
Priority to US13/950,586 priority patent/US9443291B2/en
Publication of KR20140147989A publication Critical patent/KR20140147989A/ko
Application granted granted Critical
Publication of KR102068992B1 publication Critical patent/KR102068992B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)

Abstract

본 발명의 실시예에 따른 영상 복원 방법은 (a) 입력 영상을 렌즈 캘리브레이션 데이터를 이용하여 열화하여 열화 영상을 생성하는 단계, (b) 상기 입력 영상에서 상기 열화 영상을 차감한 결과에 따라 차감 영상을 생성하는 단계, 및 (c) 상기 차감 영상에 따라 상기 입력 영상을 보상하는 단계를 포함한다.

Description

렌즈 캘리브레이션 방법 및 영상 복원 방법{LENS CALIBRATION METHOD AND IMAGE RESTORATION METHOD}
본 발명은 렌즈 캘리브레이션 방법 및 영상 복원 방법에 관한 것이다.
광각렌즈는 표준렌즈보다 초점거리가 짧은 렌즈를 의미하며, 원근감을 과장시키고 심도를 깊게 하는 효과가 있어 다양하게 응용되고 있다.
광각렌즈를 통해 촬영된 영상은 기하학적 왜곡을 포함하며, 기하학적 왜곡을 제거하면 영상 주변부의 해상도가 낮아져 블러(blur) 현상이 발생한다.
한편, 촬영된 영상을 보정하기 위해서는 렌즈에 의해 영상이 얼마나 왜곡되는지를 나타내는 데이터가 필요하다. 상기 데이터를 구하는 과정을 렌즈 캘리브레이션이라 한다.
렌즈 캘리브레이션 시 격자 패턴을 이용할 경우, 기준점(예컨대, 영상의 중심)과 복수의 격자점들 간의 거리가 같을 수 있다. 이에 따라 캘리브레이션 정확성이 낮아지고 계산량이 증가한다.
본 발명이 이루고자 하는 기술적인 과제는 렌즈 캘리브레이션의 계산량을 감소시키거나 정확도를 증가시키는 렌즈 캘리브레이션 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적인 과제는 촬영된 영상의 화질을 개선하는 영상 복원 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 렌즈 캘리브레이션 방법은 p(p은 2 이상의 정수)개의 기준점들을 포함하고, 각 기준점은 영상의 중심으로부터 서로 다른 거리를 갖는 패턴 영상을 왜곡하는 단계, 및 상기 패턴 영상 및 상기 왜곡한 영상을 비교하여 렌즈 캘리브레이션 데이터를 생성하는 단계를 포함한다.
상기 패턴 영상은 나선형 패턴 영상일 수 있다.
상기 왜곡된 영상은 각각이 기설정된 크기를 갖는 복수의 왜곡 마스크들을 포함하며, 상기 렌즈 캘리브레이션 데이터를 생성하는 단계는 상기 복수의 왜곡 마스크들을 이용하여 각각이 상기 각 기준점에 상응하는 p개의 왜곡점들의 좌표를 계산하는 단계, 및 상기 패턴 영상의 중심 및 상기 각 기준점 사이의 거리 및 상기 촬영한 영상의 중심으로부터 상기 각 왜곡점 사이의 거리의 비율을 계산하는 단계를 포함할 수 있다.
상기 p개의 왜곡점들의 좌표를 계산하는 단계는 상기 각 왜곡 마스크 내의 화소들의 좌표를 상기 각 화소들의 밝기 값에 따라 가중평균하는 단계를 포함할 수 있다.
상기 패턴 영상을 왜곡하는 단계는 렌즈 시뮬레이터를 이용할 수 있다.
상기 렌즈 캘리브레이션 방법은 PC(personal computer), 데이터 서버, 랩탑 컴퓨터, 휴대용 장치 또는 이미지 프로세서 중 어느 하나에 의해 수행될 수 있다.
본 발명의 다른 실시예에 따른 컴퓨터로 판독 가능한 기록 매체에는 상기 렌즈 캘리브레이션 방법을 구현하는 프로그램이 저장될 수 있다.
본 발명의 또 다른 실시예에 따른 영상 복원 방법은 (a) 입력 영상을 렌즈 캘리브레이션 데이터를 이용하여 열화하여 열화 영상을 생성하는 단계, (b) 상기 입력 영상에서 상기 열화 영상을 차감한 결과에 따라 차감 영상을 생성하는 단계, 및 (c) 상기 차감 영상에 따라 상기 입력 영상을 보상하는 단계를 포함한다.
상기 영상 복원 방법은 (d) 상기 차감 영상이 기설정된 조건을 만족시키지 않는 경우, 상기 보상한 입력 영상에 대하여 상기 (a) 단계 내지 상기 (c) 단계를 반복하여 수행하는 단계를 더 포함할 수 있다.
상기 (a) 단계는 렌즈 캘리브레이션 데이터에 따라 상기 입력 영상을 왜곡하여 왜곡 영상을 생성하는 단계, 및 상기 왜곡 영상을 보상하여 상기 열화 영상을 생성하는 단계를 포함할 수 있다.
상기 왜곡 영상 생성 단계는 상승 코사인 필터(raised cosine filter)를 이용할 수 있다.
상기 상승 코사인 필터는 수학식 1의 함수를 갖고, 상기 수학식 1은
Figure 112013055275495-pat00001
이며,
Figure 112013055275495-pat00002
이고, T는 상기 상승 코사인 필터의 반경이며, ρ는 상기 입력 영상의 중심으로부터의 거리이고, α는 상기 렌즈 캘리브레이션 데이터이며, β는 0 이상 1 이하의 기설정된 값일 수 있다.
상기 (b) 단계는 상기 입력 영상을 라플라시안 필터에 통과시켜 필터링 영상을 생성하는 단계, 및 상기 입력 영상에서 상기 열화 영상 및 상기 필터링 영상을 차감하고, 베타 배 스케일링하여 상기 차감 영상을 생성하는 단계를 포함할 수 있다.
상기 렌즈 캘리브레이션 데이터는 기설정된 나선형 패턴 영상을 왜곡하고, 상기 나선형 패턴 영상 및 상기 왜곡된 영상을 비교하여 생성될 수 있다.
상기 입력 영상은 어안 렌즈를 통해 촬영되고 기하학적 보상된(geometrically compensated) 영상일 수 있다.
본 발명의 일 실시예에 따르면, 나선형 패턴을 이용함으로써 보다 적은 계산량 또는 더 높은 정확도를 갖는 렌즈 캘리브레이션이 가능하다.
본 발명의 다른 실시예에 따르면, 렌즈 캘리브레이션 데이터를 이용하는 열화 모델에 따라 영상을 복원함으로써 영상에 나타나는 블러 현상이 감소한다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 렌즈 캘리브레이션 시스템을 나타낸 블록도이다.
도 3은 도 2의 캘리브레이션 데이터 생성기를 보다 자세히 나타낸 블록도이다.
도 4는 도 3의 렌즈 시뮬레이터의 동작을 나타낸 도면이다.
도 5는 기준점의 중심으로부터의 거리에 따른 렌즈의 왜곡률을 나타낸 표이다.
도 6은 본 발명의 일 실시예에 따른 렌즈 캘리브레이션 방법을 나타낸 순서도이다.
도 7은 원본 영상, 렌즈에 의해 왜곡된 영상 및 기하학적 보상에 의해 블러링된 영상을 나타낸다.
도 8은 도 1의 영상 복원부를 보다 자세히 나타낸 블록도이다.
도 9는 도 8의 왜곡부 동작의 일례를 나타낸 도면이다.
도 10은 상승 코사인 필터에 따른 확률 함수를 나타낸 그래프이다.
도 11은 확률 함수의 왜곡에 따른 필터 반경의 변화를 나타낸다.
도 12는 확률 함수의 왜곡에 따른 필터 형상의 왜곡을 나타낸다.
도 13은 본 발명의 일 실시예에 따른 영상 복원 방법을 나타낸 순서도이다.
도 14는 본 발명의 일 실시 예에 따른 카메라 시스템을 나타내는 블록도이다.
도 15는 본 발명의 일 실시 예에 따른 컴퓨팅 시스템을 나타내는 블록도이다.
도 16은 도 15의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치를 나타내는 블록도이다.
도 1을 참조하면, 이미지 처리 장치(1)는 이미지 센서(10), 이미지 프로세서(20), 렌즈(30) 및 디스플레이 장치(40)를 포함할 수 있다.
렌즈(30)는 영상(f)을 이미지 센서(10)로 전달한다. 렌즈(30)는 예컨대 광각 렌즈 또는 어안 렌즈일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
이미지 센서(10)는 렌즈(30)를 통해 왜곡된 영상을 전기 신호인 영상 신호(f_d)로 변환하여 이미지 프로세서(20)로 출력할 수 있다.
이미지 센서(10)는 실시예에 따라 CMOS(Complementary metal-oxide-semiconductor) 이미지 센서 또는 CCD(Charge-Coupled Device) 이미지 센서일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
이미지 프로세서(20)는 영상 신호(f_d)를 가공/처리한 복원 신호(g')를 디스플레이 장치(40)로 출력할 수 있다.
그러나 실시예에 따라, 이미지 처리 장치(1)는 별도의 이미지 프로세서(20)를 포함하지 않고, 상기 가공/처리는 이미지 프로세서(20)가 아닌 이미지 센서(10) 내에서 수행될 수도 있다.
이미지 프로세서(20)는 I2C(Inter-Integrated Circuit)를 이용하여 이미지 센서(10)를 제어할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
이미지 프로세서(20)는 기하학적 보상부(21) 및 영상 복원부(23)를 포함할 수 있다. 이미지 프로세서(20)는 메모리 장치(25)를 더 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 실시예에 따라 메모리 장치(25)는 이미지 프로세서(20) 외부에 위치할 수 있다.
기하학적 보상부(21)는 렌즈 캘리브레이션 데이터(α)를 이용하여 영상 신호(f_d)에서 기하학적 왜곡을 제거한 블러 신호(g)를 생성하고 출력할 수 있다. 예컨대 기하학적 보상부(21)는 영상 신호(f_d)를 양선형 보간하여 블러 신호(g)를 생성하고 출력할 수 있다.
렌즈 캘리브레이션 데이터(α)는 렌즈의 왜곡률에 대한 데이터일 수 있으며, 렌즈 캘리브레이션 데이터(α)에 관하여는 도 4 및 도 5를 참조하여 후술한다.
영상 복원부(23)는 렌즈 캘리브레이션 데이터(α)를 이용하여 블러 신호(g)를 복원한 복원 신호(g')를 생성하고 출력할 수 있다.
메모리(25)는 렌즈 캘리브레이션 데이터(α)를 저장할 수 있다. 메모리(25)는 휘발성 메모리 장치 또는 불휘발성 메모리 장치로 구현될 수 있다.
상기 휘발성 메모리 장치는 DRAM(dynamic random access memory), SRAM (static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)으로 구현될 수 있다.
상기 불휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive bridging RAM(CBRAM), FeRAM (Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM: RRAM), 나노튜브 RRAM(nanotube RRAM), 폴리머 RAM(Polymer RAM: PoRAM), 나노 부유 게이트 메모리(nano Floating Gate Memory: nFGm), 홀로그래픽 메모리 (holographic memory), 분자 전자 메모리 소자(molecular Electronics Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.
디스플레이 장치(40)는 수신한 복원 신호(g')를 디스플레이할 수 있다. 디스플레이 장치(40)는 영상을 출력할 수 있는 모든 장치를 포함한다. 예컨대, 디스플레이 장치(40)은 컴퓨터, 휴대폰 및 기타 영상 출력 단말을 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 렌즈 캘리브레이션 시스템을 나타낸 블록도이다.
도 1 및 도 2를 참조하면, 렌즈 캘리브레이션 시스템(2)은 메모리(25) 및 캘리브레이션 데이터 생성기(50)를 포함할 수 있다.
캘리브레이션 데이터 생성기(50)는 렌즈 캘리브레이션 데이터(α)를 생성하고 출력할 수 있다.
메모리(25)는 렌즈 캘리브레이션 데이터(α)를 수신하여 저장할 수 있다.
실시예에 따라, 캘리브레이션 데이터 생성기(50)는 PC(personal computer), 데이터 서버, 랩탑 컴퓨터 또는 휴대용 장치일 수 있다.
다른 실시예에 따라, 캘리브레이션 데이터 생성기(50)는 이미지 처리 장치(1) 내에 포함되거나, 또는 이미지 프로세서(20) 내에 포함될 수 있다.
실시예에 따라, 캘리브레이션 데이터 생성기(50)는 이미지 프로세서(20) 제조 시 렌즈 캘리브레이션 데이터(α)를 메모리(25)에 저장할 수 있다. 이때 메모리(25)는 비휘발성 메모리 장치일 수 있다.
다른 실시예에 따라, 캘리브레이션 데이터 생성기(50)는 이미지 처리 장치(1)에 전원이 공급될 때마다 렌즈 캘리브레이션 데이터(α)를 메모리(25)로 출력할 수 있다. 이때 메모리(25)는 비휘발성 또는 휘발성 메모리 장치일 수 있다.
도 3은 도 2의 캘리브레이션 데이터 생성기를 보다 자세히 나타낸 블록도이다.
도 3을 참조하면, 캘리브레이션 데이터 생성기(50)는 패턴 생성기(51), 렌즈 시뮬레이터(53) 및 비교부(55)를 포함할 수 있다.
패턴 생성기(51)는 패턴 영상(PTN)을 생성할 수 있다. 패턴 영상(PTN)은 p(p는 2 이상의 정수)개의 기준점들을 포함하고, 각 기준점은 영상의 중심으로부터 서로 다른 거리를 가질 수 있다.
실시예에 따라 패턴 영상(PTN)은 나선형 패턴 영상일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
렌즈 시뮬레이터(53)는 렌즈에 의한 촬영을 시뮬레이션하여 패턴 영상(PTN)을 기하학적으로 왜곡시킬 수 있다. 렌즈 시뮬레이터(53)는 특정의 시뮬레이션 프로그램(예컨대, 코드 브이(Code V))으로 구현될 수 있으나, 본 발명의 실시예가 이에 한정되는 것은 아니다.
비교부(55)는 패턴 영상(PTN) 및 왜곡한 영상(D_PTN)을 비교하여 렌즈 캘리브레이션 데이터(α)를 생성할 수 있다.
도 4는 도 3의 렌즈 시뮬레이터의 동작을 나타낸 도면이다.
도 3 및 도 4를 참조하고, 기준점들의 개수(p)가 6이라고 가정한다. P1~P6은 패턴 영상(PTN)의 기준점들이고, P1'~P6'는 각각이 기준점들(P1~P6) 각각에 상응하는 왜곡된 영상(D_PTN)의 왜곡점들이다. O는 패턴 영상(PTN)의 중심을 나타내고, O'는 왜곡된 영상(D_PTN)의 중심을 나타낸다.
기준점들(P1~P6) 및 왜곡점들(P1'~P6')을 영상의 중심(O, O')을 기준점으로 하는 극좌표계로 나타내면, 이하의 수학식 1의 관계가 성립한다.
Figure 112013055275495-pat00003
상기 수학식 1에서, (ρU, θU)는 각 기준점(예컨대, P1)의 극좌표계에서의 좌표를 나타내고, (ρD, θD)는 각 왜곡점(예컨대, P1')의 극좌표계에서의 좌표를 나타낸다.
패턴 영상(PTN)과 왜곡된 영상(D_PTN)의 상관관계는 이하의 수학식 2와 같을 수 있다.
Figure 112013055275495-pat00004
k는 패턴 영상(PTN)의 길이(ρU)에 관한 함수이다.
즉, 패턴 영상(PTN)과 왜곡된 영상(D_PTN)에서의 각도(θU, θD)는 동일하고, 왜곡된 영상(D_PTN)의 길이(ρD)는 함수(k)의 값에 따라 달라진다.
왜곡된 영상(D_PTN)은 패턴 영상(PTN)보다 영상의 중심부는 확대되고 주변부는 작고 흐려지게 된다. 따라서 패턴 영상(PTN)의 각 기준점(예컨대, P1)에서의 밝기는 각 왜곡점(P1')을 포함하는 왜곡 마스크(M1) 내의 영역으로 분산될 수 있다.
기준점들(P1~P6)과 왜곡점들(P1'~P6')을 비교하기 위해서 왜곡점(P1'~P6')의 좌표를 구하여야 한다. 실시예에 따라, 왜곡점들(P1'~P6')의 좌표는 각 왜곡 마스크(M1, M2, ...) 내의 화소들의 좌표를 상기 각 화소들의 밝기 값에 따라 가중평균하여 구할 수 있다.
왜곡된 영상(D_PTN)은 기설정된 크기, 예컨대 MxN(M, N은 2 이상의 정수) 크기를 갖는 복수의 왜곡 마스크들(M1, M2, ...)을 포함할 수 있다.
예컨대, 왜곡된 영상(D_PTN)이 1000x1000 화소를 갖고, M=N=31, 즉 왜곡 마스크가 31x31의 크기를 갖는다고 가정한다. 이때 왜곡된 영상(D_PTN)은 970x970개의 서로 다른 왜곡 마스크들을 포함할 수 있다.
각 왜곡 마스크 내에서 각 화소들의 좌표를 각 화소들의 밝기 값에 따라 가중평균하여 각 왜곡 마스크의 중심 좌표를 구한다. 중심 좌표는 이하의 수학식 3에 따라 구할 수 있다.
Figure 112013055275495-pat00005
상기 수학식 3에서, i 및 j는 중심 좌표의 가로축 및 세로축 좌표를 나타내고, m 및 n은 마스크 내에서 좌표를 재설정했을 때의 가로축 및 세로축 좌표를 나타낸다. B는 마스크 내 (m, n) 좌표에 있는 화소의 밝기 값을 나타낸다.
각 왜곡 마스크의 전체 픽셀이 다크(dark)인 경우를 제외하면, 왜곡 마스크들의 중심 좌표는 기준점들(P1~P6)의 개수(p)와 동일한 수만큼 산출되며, 왜곡 마스크들의 중심 좌표가 왜곡점(P1'~P6')이 된다.
이때 패턴 영상(PTN)의 중심(O)에 q(q는 1 이상 p 이하의 정수)번째로 가까운 제q 기준점이 왜곡된 영상(PTN')의 중심(O)에 q번째로 가까운 제q 왜곡점에 대응될 수 있다.
도 5는 기준점의 중심으로부터의 거리에 따른 렌즈의 왜곡률을 나타낸 표이다.
도 3 내지 도 5를 참조하면, 비교부(55)는 패턴 영상(PTN)의 중심(O) 및 각 기준점(P1~P6) 사이의 거리(ρU) 및 왜곡된 영상(D_PTN)의 중심(O')으로부터 각 왜곡점(P1'~P6') 사이의 거리(ρD)의 비율을 계산하여 렌즈 캘리브레이션 데이터(α)을 생성한다.
렌즈 캘리브레이션 데이터(α)는 렌즈의 왜곡률일 수 있으며, 이하의 수학식 4에 따라 구할 수 있다.
Figure 112013055275495-pat00006
α=1일 때(①) 왜곡된 영상(PTN')은 패턴 영상(PTN)과 동일하나, α가 1에서 벗어날수록(②, ③) 왜곡된 영상(PTN')은 패턴 영상(PTN)에 비해 많이 왜곡된다.
렌즈 캘리브레이션 데이터(α)는 기준점들(P1~P6)의 수만큼의 값을 갖는 이산적인 데이터일 수 있다. 실시예에 따라, 비교부(55)는 렌즈 캘리브레이션 데이터(α)의 각 값들을 선형 보간하여 출력할 수 있다.
도 6은 본 발명의 일 실시예에 따른 렌즈 캘리브레이션 방법을 나타낸 순서도이다. 도 6의 렌즈 캘리브레이션 방법은 도 3의 캘리브레이션 데이터 생성기(50)에 의해 수행될 수 있다.
도 3 및 도 6을 참조하면, 렌즈 시뮬레이터(53)는 p(p은 2 이상의 정수)개의 기준점들을 포함하고, 각 기준점은 영상의 중심으로부터 서로 다른 거리를 갖는 패턴 영상(PTN)을 왜곡한다(S61).
비교부(55)는 패턴 영상(PTN) 및 왜곡한 영상(D_PTN)을 비교하여 렌즈 캘리브레이션 데이터(α)를 생성한다(S63).
도 7은 원본 영상, 렌즈에 의해 왜곡된 영상 및 기하학적 보상에 의해 블러링된 영상을 나타낸다.
도 1 및 도 7을 참조하면, 렌즈(30)를 통해 촬영되어 생성된 영상 신호(f_d)가 포함하는 영상(f_d)은 원본 영상(f)에 비해 기하학적으로 왜곡된다.
기하학적 보상부(21)는 원본 영상(f_d)에서 기하학적 왜곡을 제거한 블러 영상(g)를 생성한다. 이때 영상의 중심(O)에서 대각선 방향(D1)으로 블러 현상이 발생하며, 상기 블러 현상은 영상의 중심(O)에서 먼 가장자리 영역(S1)에서 심하게 나타난다.
예컨대, 영상(f)에 포함된 사물들의 경계가 대각선 방향(D1)의 법선 방향(E)일 경우, 상기 경계는 블러 영상(g)에서 흐려지게 된다.
도 8은 도 1의 영상 복원부를 보다 자세히 나타낸 블록도이다.
도 1 및 도 8을 참조하면, 영상 복원부(23)는 버퍼(110), 제1 연산부(120), 수렴 판단부(130), 열화부(140), 라플라시안 필터(150), 제2 연산부(160) 및 스케일러(170)를 포함할 수 있다. 이하에서는 영상 복원부(23)의 동작을 시간 순서대로 설명한다.
버퍼(110)는 블러 영상(또는 입력 영상이라 칭함, g)을 수신하여 저장하고, 제1 연산부(120)로 출력한다.
제1 연산부(120)는 입력 영상(g)을 수렴 판정부(130)로 출력한다.
수렴 판정부(130)는 입력 영상(g)을 0차 처리 영상(f0)으로 저장하고, 0차 처리 영상(f0)을 버퍼(110), 열화 모델(140) 및 라플라시안 필터(150)로 출력한다.
버퍼(110)는 0차 처리 영상(f0)을 수신하여 저장한다. 이때 버퍼(110)는 이전에 저장하였던 영상을 삭제할 수 있다.
열화부(140)는 0차 처리 영상(f0)을 렌즈 캘리브레이션 데이터(α)를 이용하여 열화한 1차 열화 영상(f1_c)을 생성하고 출력한다.
열화부(140)는 왜곡부(141) 및 보상부(143)를 포함할 수 있다.
왜곡부(141)는 렌즈 캘리브레이션 데이터(α)에 따라 0차 처리 영상(f0)을 왜곡하여 1차 왜곡 영상(f1_d)을 생성한다. 렌즈 캘리브레이션 데이터(α)는 도 3의 캘리브레이션 데이터 생성기(50)에 의해 생성될 수 있다.
왜곡부(141)에 의한 왜곡은 렌즈(30)에 의한 왜곡에 상응할 수 있다. 설명의 편의를 위하여 왜곡부(141)의 동작에 대하여는 도 9 내지 도 12를 참조하여 후술한다.
보상부(143)는 1차 왜곡 영상(f1_d)을 보상하여 1차 열화 영상(f1_c)을 생성한다. 보상부(143)는 양선형 보간법을 이용하여 1차 왜곡 영상(f1_d)을 보상할 수 있다. 보상부(143)의 구성 및 기능은 기하학적 보상부(21)와 동일할 수 있다.
라플라시안 필터(150)는 0차 처리 영상(f0)을 라플라시안 필터링하여 1차 필터링 영상(f1_l)을 생성한다.
제2 연산부(160)는 0차 처리 영상(f0)에서 1차 열화 영상(f1_c) 및 1차 필터링 영상(f1_l)을 차감하고 출력한다.
스케일러(170)는 차감된 영상을 β배 스케일링하여 차감 영상(d)을 생성한다. β는 롤오프 팩터(roll-off factor)로서, 0 이상 1 이하의 기설정된 값일 수 있다.
제1 연산부(120)는 버퍼(110)로부터 수신한 0차 처리 영상(f0)에서 차감 영상(d)을 빼어 1차 처리 영상(f1)으로 출력한다.
수렴 판단부(130)는 1차 처리 영상(f1)이 기저장하였던 0차 처리 영상(f0)에 수렴하는지 판단한다. 실시예에 따라 수렴 판단부(130)는 스케일러(170)로부터 차감 영상(d)을 수신하여 차감 영상(d)이 기설정된 조건을 만족하는지, 예컨대 차감 영상(d)이 0에 수렴하는지 판단할 수도 있다.
1차 처리 영상(f1)이 저장하였던 0차 처리 영상(f0)에 수렴하면, 수렴 판단부(130)는 1차 처리 영상(f1)을 복원 영상(g')으로 출력한다.
1차 처리 영상(f1)이 저장하였던 0차 처리 영상(f0)에 수렴하지 않으면, 수렴 판단부(130)는 1차 처리 영상(f1)을 저장하고, 버퍼(110), 열화 모델(140) 및 라플라시안 필터(150)로 출력할 수 있다.
이후 임의의 자연수 k에 대하여 k+1차 처리 영상(fk +1)이 k차 처리 영상(fk)에 수렴할 때까지 동일한 과정이 반복적으로 수행될 수 있다.
도 9는 도 8의 왜곡부 동작의 일례를 나타낸 도면이다.
도 8 및 도 9를 참조하면, 왜곡부(141)는 렌즈 캘리브레이션 데이터(α)에 따라 k차 처리 영상(fk)을 왜곡하여 k차 왜곡 영상(fk_d)을 생성한다.
왜곡부(141)는 k차 처리 영상(fk)의 특정한 영역(이하에서 가중평균 영역이라 칭함, A1) 내의 화소들의 밝기 값을 가중치에 따라 가중평균하여 상응하는 k차 왜곡 영상(fk_d)의 각 화소(예컨대, pd1)의 밝기 값을 구할 수 있다.
왜곡부(141)는 가중평균 영역(A1) 및 가중치를 상승 코사인 필터(raised cosine filter)를 이용하여 구할 수 있다. 상승 코사인 필터는 각 화소(pd1)의 영상 중심(O)으로부터의 거리(ρ)에 대한 함수일 수 있다.
예컨대, k차 왜곡 영상(fk_d)은 1000x1000 화소들로 구성되고, k차 왜곡 영상(fk_d)의 (1,1) 위치의 화소의 밝기를 구하는 경우, 영상 중심(O)은 (500, 500) 위치의 화소이므로 ρ를 구할 수 있다. 따라서 상승 코사인 필터를 이용하여 k차 처리 영상(fk)에서 (1,1) 위치를 중심으로 하는 가중평균 영역(A1)을 구할 수 있고, 가중평균 영역(A1) 내의 화소들의 밝기 값을 가중평균하여 k차 왜곡 영상(fk_d)의 (1,1) 위치의 화소의 밝기를 구할 수 있다.
도 10은 상승 코사인 필터에 따른 확률 함수를 나타낸 그래프이다.
도 9 및 도 10을 참조하면, 가중치(H)는 중심으로부터의 거리(ρ)에 대한 함수이며, 확률 함수이므로 전체 총합은 1이다. 그래프의 형태는 롤오프 팩터(β)에 따라 달라질 수 있다.
확률 함수의 식은 이하의 수학식 5에 따라 구할 수 있다.
Figure 112013055275495-pat00007
상기 수학식 5에서, T는 필터의 반경이며, T=T', ρ=ρ'일 경우 일반적인 상승 코사인 필터의 식이 된다.
본 발명에서는 일반적인 상승 코사인 필터를 이하의 수학식 6에 따라 왜곡하여 사용한다.
Figure 112013055275495-pat00008
도 11은 확률 함수의 왜곡에 따른 필터 반경의 변화를 나타내고, 도 12는 확률 함수의 왜곡에 따른 필터 형상의 왜곡을 나타낸다.
도 11을 참조하면, 상기 수학식 6의 왜곡에 따라 필터의 사이즈는 필터의 위치가 영상의 중심에서 멀어질수록 커지며, 사이즈가 커짐에 따라 블러가 증가한다.
도 12를 참조하면, 상기 수학식 6의 왜곡에 따라 필터의 형상은 필터의 위치가 영상의 중심에서 멀어질수록 원형에서 타원형으로 왜곡된다.
도 13은 본 발명의 일 실시예에 따른 영상 복원 방법을 나타낸 순서도이다. 도 13의 영상 복원 방법은 도 8의 영상 복원부에 의해 수행될 수 있다.
도 8 및 도 13을 참조하면, 열화부(140)는 입력 영상(g)을 렌즈 캘리브레이션 데이터(α)를 이용하여 열화하여 열화 영상(fk_c)을 생성한다(S201).
제2 연산부(160) 및 스케일러(170)는 입력 영상(g)에서 열화 영상(fk_c)을 차감한 결과에 따라 차감 영상(d)을 생성한다(S203).
제1 연산부(120)는 차감 영상(d)에 따라 입력 영상(g)을 보상한다(S205).
수렴 판단부(130)는 차감 영상(d)이 기설정된 조건을 만족하는지 판단한다(S207). 기설정된 조건을 만족하지 않는 경우, 보상한 입력 영상(fk)에 대하여 S201 내지 S205 단계를 반복하여 수행한다.
기설정된 조건을 만족하는 경우, 보상한 입력 영상(fk)을 복원 영상(g)으로 출력한다.
도 14는 본 발명의 일 실시 예에 따른 카메라 시스템을 나타내는 블록도이다. 여기서, 카메라 시스템은 일 예로 디지털 카메라를 포함할 수 있다.
도 14를 참조하면, 카메라 시스템(300)은 렌즈(310)와 이미지 센서(320)와 모터부(330) 및 엔진부(340)를 포함할 수 있다. 이때, 이미지 센서(320)는 도 1의 이미지 센서(10) 및 이미지 프로세서(20)를 포함할 수 있다.
렌즈(310)는 이미지 센서(320)의 수광 영역(예컨대, 포토다이오드)으로 입사 광을 집광시킨다.
이미지 센서(320)는 렌즈(310)를 통하여 입사된 광에 기초하여 이미지 데이터를 생성한다. 이미지 센서(320)는 클록 신호(CLK)에 기초하여 이미지 데이터를 제공할 수 있다. 실시 예에 따라, 이미지 센서(320)는 MIPI(Mobile Industry Processor Interface) 및/또는 CSI(Camera Serial Interface)를 통하여 엔진부(340)와 인터페이싱할 수 있다.
모터부(330)는 엔진부(340)로부터 수신된 제어 신호(CTRL)에 응답하여 렌즈(310)의 포커스(Focus)를 조절하거나, 셔터링(Shuttering)을 수행할 수 있다.
엔진부(340)는 이미지 센서(320) 및 모터부(330)를 제어한다. 또한, 엔진부(340)는 이미지 센서(320)로부터 수신된 거리 및/또는 이미지 데이터에 기초하여 피사체와의 거리, 휘도 성분, 상기 휘도 성분과 청색 성분의 차, 및 휘도 성분과 적색 성분의 차를 포함하는 YUV 데이터(YUV)를 생성하거나, 압축 데이터, 예를 들어 JPEG(Joint Photography Experts Group) 데이터를 생성할 수 있다. 엔진부(340)는 호스트/어플리케이션(350)에 연결될 수 있으며, 엔진부(340)는 마스터 클록(MCLK)에 기초하여 YUV 데이터(YUV) 또는 JPEG 데이터를 호스트/어플리케이션(350)에 제공할 수 있다. 또한, 엔진부(340)는 SPI(Serial Peripheral Interface) 및/또는 I2C(Inter Integrated Circuit)를 통하여 호스트/어플리케이션(350)과 인터페이싱할 수 있다.
도 15는 본 발명의 일 실시 예에 따른 컴퓨팅 시스템을 나타내는 블록도이다.
도 15를 참조하면, 컴퓨팅 시스템(400)은 프로세서(410), 메모리 장치(420), 저장 장치(430), 입출력 장치(440), 파워 서플라이(450) 및 이미지 센서(460)를 포함할 수 있다. 이때, 이미지 센서(460)는 도 1의 이미지 센서(10) 및 이미지 프로세서(20)를 포함할 수 있다.
한편, 도 15에는 도시되지 않았지만, 컴퓨팅 시스템(400)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(Port)들을 더 포함할 수 있다.
프로세서(410)는 특정 계산들 또는 태스크(Task)들을 수행할 수 있다. 실시 예에 따라, 프로세서(410)는 마이크로프로세서(Micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)를 포함할 수 있다. 프로세서(410)는 어드레스 버스(Address bus), 제어 버스(Control bus) 및 데이터 버스(Data bus)를 통하여 메모리 장치(420), 저장 장치(430) 및 입출력 장치(440)와 통신을 수행할 수 있다.
실시 예에 따라, 프로세서(410)는 PCI(Peripheral Component Interconnect) 버스와 같은 확장 버스에도 연결될 수 있다.
메모리 장치(420)는 컴퓨팅 시스템(400)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(420)는 디램(Dynamic RAM), 모바일 DRAM(Mobile DRAM), SRAM(Static RAM), PRAM(Phase change RAM), FRAM(Ferroelectric RAM), 저항성 메모리(Resistive RAM: RRAM 또는 ReRAM) 및/또는 MRAM(Magnetic RAM) 등으로 구현될 수 있다.
저장 장치(430)는 SSD(Solid State Drive), HDD(Hard Disk Drive), 씨디 롬(CD-ROM) 등을 포함할 수 있다.
입출력 장치(440)는 키보드(Keyboard), 키 패드(Keypad), 마우스(Mouse) 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다.
파워 서플라이(450)는 컴퓨팅 시스템(400)의 동작에 필요한 동작 전압을 공급할 수 있다.
이미지 센서(460)는 상기 버스들 또는 다른 통신 링크를 통해서 프로세서(410)와 연결되어 통신을 수행할 수 있다. 이미지 센서(460)는 프로세서(410)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다.
한편, 컴퓨팅 시스템(400)은 이미지 센서(460)를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(400)은 디지털 카메라, 이동 전화기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 스마트 폰(Smart phone) 등을 포함할 수 있다.
도 16은 도 15의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
도 16을 참조하면, 컴퓨팅 시스템(500)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치로 구현될 수 있고, AP(Application Processor, 510), 이미지 센서(540) 및 디스플레이(550) 등을 포함할 수 있다.
AP(510)의 CSI 호스트(Camera Serial Interface Host, 512)는 CSI를 통하여 이미지 센서(540) 내의 CSI 장치(541)와 시리얼 통신을 수행할 수 있다. 일 실시 예에서, CSI 호스트(512)는 DES(DESerializer)를 포함할 수 있고, CSI 장치(541)는 SER(SERializer)을 포함할 수 있다. 이때, 이미지 센서(540)는 도 1의 이미지 센서(10) 및 이미지 프로세서(20)를 포함할 수 있다.
AP(510)의 DSI 호스트(Display Serial Interface Host, 411)는 DSI를 통하여 디스플레이(550)의 DSI 장치(551)와 시리얼 통신을 수행할 수 있다. 일 실시 예에서, DSI 호스트(511)는 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(551)는 디시리얼라이저(DES)를 포함할 수 있다.
컴퓨팅 시스템(500)은 AP(510)와 통신을 수행할 수 있는 RF(Radio Frequency) 칩(560)을 더 포함할 수 있다. AP(510)의 PHY(Physical layer, 413)와 RF 칩(560)의 PHY(561)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다. 또한, AP(510)는 PHY(513)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(514)를 더 포함할 수 있다.
컴퓨팅 시스템(500)은 GPS(Global Positioning System, 520), 스토리지(570), 마이크(580), DRAM(Dynamic Random Access Memory, 585) 및 스피커(590)를 포함할 수 있다.
또한, 컴퓨팅 시스템(500)은 UWB(Ultra WideBand, 610), WLAN(Wireless Local Area Network, 600) 및 WIMAX(Worldwide Interoperability for Microwave Access, 630) 등을 이용하여 통신을 수행할 수 있다. 다만, 컴퓨팅 시스템(500)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 본 발명에 따른 객체 정보 추정 방법을 수행하기 위한 프로그램 코드는 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 전송될 수도 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
1: 이미지 처리 장치 10: 이미지 센서
20: 이미지 프로세서 30: 렌즈
40: 디스플레이 장치 f: 원본 영상
f_d: 영상 신호 g: 블러 신호
α: 렌즈 캘리브레이션 데이터 g': 복원 신호
2: 렌즈 캘리브레이션 시스템 50: 캘리브레이션 데이터 생성기
51: 패턴 생성기 53: 렌즈 시뮬레이터
55: 비교부 PTN: 패턴 영상
D_PTN: 왜곡한 영상 21: 기하학적 보상부
23: 영상 복원부 25: 메모리 장치
110: 버퍼 120: 제1 연산부
130: 수렴 판단부 140: 열화부
150: 라플라시안 필터 160: 제2 연산부
170: 스케일러
141: 왜곡부 143: 보상부

Claims (10)

  1. p(p은 2 이상의 정수)개의 기준점들을 포함하고, 각 기준점은 영상의 중심으로부터 서로 다른 거리를 갖는 패턴 영상을 왜곡하는 단계; 및
    상기 패턴 영상 및 상기 왜곡한 영상을 비교하여 렌즈 캘리브레이션 데이터를 생성하는 단계를 포함하고,
    상기 왜곡된 영상은 각각이 기설정된 크기를 갖는 복수의 왜곡 마스크들을 포함하며,
    상기 렌즈 캘리브레이션 데이터를 생성하는 단계는
    상기 복수의 왜곡 마스크들을 이용하여 각각이 상기 각 기준점에 상응하는 p개의 왜곡점들의 좌표를 계산하는 단계; 및
    상기 패턴 영상의 중심 및 상기 각 기준점 사이의 거리 및 상기 왜곡된 영상의 중심으로부터 상기 각 왜곡점 사이의 거리의 비율을 계산하는 단계를 포함하는 렌즈 캘리브레이션 방법.
  2. 제1항에 있어서, 상기 패턴 영상은
    나선형 패턴 영상인 렌즈 캘리브레이션 방법.
  3. 삭제
  4. 제1항에 있어서, 상기 p개의 왜곡점들의 좌표를 계산하는 단계는
    상기 각 왜곡 마스크 내의 화소들의 좌표를 상기 각 화소들의 밝기 값에 따라 가중평균하는 단계를 포함하는 렌즈 캘리브레이션 방법.
  5. (a) 입력 영상을 렌즈 캘리브레이션 데이터를 이용하여 열화하여 열화 영상을 생성하는 단계;
    (b) 상기 입력 영상에서 상기 열화 영상을 차감한 결과에 따라 차감 영상을 생성하는 단계; 및
    (c) 상기 차감 영상에 따라 상기 입력 영상을 보상하는 단계를 포함하는 영상 복원 방법.
  6. 제5항에 있어서, 상기 영상 복원 방법은
    (d) 상기 차감 영상이 기설정된 조건을 만족시키지 않는 경우, 상기 보상한 입력 영상에 대하여 상기 (a) 단계 내지 상기 (c) 단계를 반복하여 수행하는 단계를 더 포함하는 영상 복원 방법.
  7. 제5항에 있어서, 상기 (a) 단계는
    렌즈 캘리브레이션 데이터에 따라 상기 입력 영상을 왜곡하여 왜곡 영상을 생성하는 단계; 및
    상기 왜곡 영상을 보상하여 상기 열화 영상을 생성하는 단계를 포함하는 영상 복원 방법.
  8. 제7항에 있어서, 상기 왜곡 영상 생성 단계는
    상승 코사인 필터(raised cosine filter)를 이용하는 영상 복원 방법.
  9. 제8항에 있어서, 상기 상승 코사인 필터는
    수학식 1의 함수를 갖고,
    상기 수학식 1은
    Figure 112013055275495-pat00009
    이며,
    Figure 112013055275495-pat00010
    이고,
    T는 상기 상승 코사인 필터의 반경이며, ρ는 상기 입력 영상의 중심으로부터의 거리이고, α는 상기 렌즈 캘리브레이션 데이터이며, β는 0 이상 1 이하의 기설정된 값인 영상 복원 방법.
  10. 제5항에 있어서, 상기 (b) 단계는
    상기 입력 영상을 라플라시안 필터에 통과시켜 필터링 영상을 생성하는 단계; 및
    상기 입력 영상에서 상기 열화 영상 및 상기 필터링 영상을 차감하고, 베타 배 스케일링하여 상기 차감 영상을 생성하는 단계를 포함하는 영상 복원 방법.
KR1020130071260A 2013-06-20 2013-06-20 렌즈 캘리브레이션 방법 및 영상 복원 방법 KR102068992B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130071260A KR102068992B1 (ko) 2013-06-20 2013-06-20 렌즈 캘리브레이션 방법 및 영상 복원 방법
US13/950,586 US9443291B2 (en) 2013-06-20 2013-07-25 Methods for lens calibration and image restoration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130071260A KR102068992B1 (ko) 2013-06-20 2013-06-20 렌즈 캘리브레이션 방법 및 영상 복원 방법

Publications (2)

Publication Number Publication Date
KR20140147989A KR20140147989A (ko) 2014-12-31
KR102068992B1 true KR102068992B1 (ko) 2020-01-22

Family

ID=52110618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130071260A KR102068992B1 (ko) 2013-06-20 2013-06-20 렌즈 캘리브레이션 방법 및 영상 복원 방법

Country Status (2)

Country Link
US (1) US9443291B2 (ko)
KR (1) KR102068992B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9262801B2 (en) 2014-04-01 2016-02-16 Gopro, Inc. Image taping in a multi-camera array
KR102041647B1 (ko) * 2014-06-30 2019-11-07 삼성전기주식회사 카메라의 보정 시스템 및 그 보정방법
KR102311741B1 (ko) * 2015-01-14 2021-10-12 삼성디스플레이 주식회사 머리 장착형 디스플레이 장치
TWI591377B (zh) * 2015-12-11 2017-07-11 財團法人工業技術研究院 廣角鏡頭校正系統及其方法
KR101785027B1 (ko) * 2016-01-14 2017-11-06 주식회사 라온텍 화면 왜곡 보정이 가능한 디스플레이 장치 및 이를 이용한 화면 왜곡 보정 방법
WO2019049331A1 (ja) * 2017-09-08 2019-03-14 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
SE1950837A1 (en) * 2019-07-03 2021-01-04 Fingerprint Cards Ab Sensor displacement compensation
CN113191959B (zh) * 2021-03-08 2022-06-17 浙江大学 一种基于退化标定的数字成像系统极限像质提升方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057345A1 (en) 2000-09-05 2002-05-16 Riken Image lens distortion correcting method
JP2007034985A (ja) * 2005-07-29 2007-02-08 Canon Inc 情報処理方法および装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7443597B2 (en) 2005-12-27 2008-10-28 Tessera, Inc. Liquid lens with piezoelectric voltage converter
US7889234B2 (en) * 2008-01-10 2011-02-15 Delphi Technologies, Inc. Automatic calibration for camera lens distortion correction
TWI579800B (zh) * 2013-04-10 2017-04-21 國立清華大學 適用於廣角變焦鏡頭拍攝到之影像的影像處理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057345A1 (en) 2000-09-05 2002-05-16 Riken Image lens distortion correcting method
JP2007034985A (ja) * 2005-07-29 2007-02-08 Canon Inc 情報処理方法および装置

Also Published As

Publication number Publication date
KR20140147989A (ko) 2014-12-31
US20140375845A1 (en) 2014-12-25
US9443291B2 (en) 2016-09-13

Similar Documents

Publication Publication Date Title
KR102068992B1 (ko) 렌즈 캘리브레이션 방법 및 영상 복원 방법
US8471928B2 (en) Apparatus and method for generating high ISO image
KR102144994B1 (ko) 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
JP5980294B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
CN102687500B (zh) 图像恢复装置以及图像恢复方法
WO2021114868A1 (zh) 降噪方法、终端及存储介质
KR102010712B1 (ko) 왜곡 보정 방법 및 단말기
CN106603941B (zh) 计算复杂度自适应的hdr图像转换方法及其系统
JP2015225665A (ja) 画像ノイズ除去方法及び画像ノイズ除去装置
JP6308748B2 (ja) 画像処理装置、撮像装置及び画像処理方法
KR20150142812A (ko) 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서
KR20210110679A (ko) 이미지 융합 프로세싱 모듈
JP6678376B2 (ja) 動き検出装置および動き検出方法
US11699218B2 (en) Method controlling image sensor parameters
CN103826064A (zh) 图像处理方法、装置及手持电子设备
WO2018058476A1 (zh) 一种图像校正方法及装置
JP6075294B2 (ja) 画像処理システム及び画像処理方法
TWI524782B (zh) 影像處理裝置與影像處理方法
US20180225811A1 (en) Image processing apparatus, image processing method, and storage medium
US9697593B2 (en) System and method for tone mapping on high dynamic range images
CN111383184B (zh) 图像的处理方法及装置
JP2019165434A (ja) 減少したクリップ領域を有するｈｄｒイメージを生成する方法及び装置
JP2015076676A (ja) 画像処理装置、画像処理方法及びプログラム
US9208544B2 (en) Image processing apparatus and image fine-tuning method thereof
JP2018117346A (ja) 効率的なパッチベースのビデオノイズ除去方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant