KR102003460B1 - 왜곡제거장치 및 방법 - Google Patents

왜곡제거장치 및 방법 Download PDF

Info

Publication number
KR102003460B1
KR102003460B1 KR1020130102021A KR20130102021A KR102003460B1 KR 102003460 B1 KR102003460 B1 KR 102003460B1 KR 1020130102021 A KR1020130102021 A KR 1020130102021A KR 20130102021 A KR20130102021 A KR 20130102021A KR 102003460 B1 KR102003460 B1 KR 102003460B1
Authority
KR
South Korea
Prior art keywords
image
input image
point
blended
reference image
Prior art date
Application number
KR1020130102021A
Other languages
English (en)
Other versions
KR20150024733A (ko
Inventor
유연걸
박상지
이활석
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020130102021A priority Critical patent/KR102003460B1/ko
Priority to US14/226,153 priority patent/US9438804B2/en
Priority to CN201410408855.8A priority patent/CN104427212B/zh
Publication of KR20150024733A publication Critical patent/KR20150024733A/ko
Application granted granted Critical
Publication of KR102003460B1 publication Critical patent/KR102003460B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Abstract

본 발명에서는 기준영상과 와블링된 입력영상 간의 지역움직임벡터 값만을 이용하여 와블링된 입력영상의 왜곡정도를 표시하는 와블링파라미터세트를 추정한다. 추정된 와블링파라미터세트를 이용하여 와블링된 입력영상을 복원하는 특징이 있다.

Description

왜곡제거장치 및 방법{Device and Method for dewobbling}
본 발명은 왜곡제거 방법에 관한 것으로, 상세히 CMOS 영상 센서에서 사용하는 롤링셔터(rolling shutter) 방식으로 인하여 발생하는 wobbling 왜곡을 제거하는 방법에 관한 것이다
롤링 셔터는 위에서 아래로 차과되는 상하 주행식 셔터를 응용한 셔터 방식으로, 센서의 윗 픽셀부터 아랫 픽셀까지 연속적으로 연계되어 한 픽셀씩 연쇄적으로 오프(OFF) 됨으로써 빛을 제어한다.
롤링 셔터는 위에서 아래로 차과되는 상하 주행식 셔터에서 윗부분과 아랫부분의 촬상 타이밍 차이로 인하여 스큐(skew) 또는 와블링(wobbling) 등과 같은 왜곡이 발생한다.
이러한 왜곡현상을 제거하기 위한 일 예로 매 프레임에서 2차원 또는 3차원 공간상의 카메라 위치를 계산한 후, 프레임 레이트(frame rate), 판독 시간(read out time), 프레임 지연 시간(frame delay time) 등과 같은 CMOS 센서의 파라미터 값을 이용하여 스캔라인별로 각각 카메라의 위치를 계산하여 롤링 셔터의 왜곡을 보정하는 방법이 있다. 그러나, 이 방법의 경우 롤링 셔터의 왜곡 보정 처리 이전에 CMOS센서의 캘리브레이션이 선행되어야 하고, CMOS 센서의 캘리브레이션 결과의 정확도에 따라 롤링 셔터의 왜곡 보정 성능이 영향을 받는 문제점이 있다.
Younggeun Kim, Venkata RavisanKar Jayanthi, In So Kweon, "System-on-Chip Solution of Video Stabilization for CMOS Image Sensors in Hand-Held Devices," IEEE Transactions on Circuits and Systems for Video Technology (CSVT), October 2011
본 발명에서는 CMOS 영상센서에서 사용하는 롤링 셔터 방식으로 인해 발생하는 스큐(skew) 또는 와블링(wobbling) 왜곡을 제거하고자 한다.
본 발명의 바람직한 일 실시예로서, 왜곡제거장치는 롤링셔터 방식으로 복수의 프레임을 연속적으로 촬영하는 촬영부; 상기 복수의 프레임의 촬영 영상을 저장하는 저장부;상기 촬영영상들 중 기준영상과 와블링된 입력영상 간의 지역움직임벡터를 생성하는 지역움직임벡터 생성부; 상기 지역움직임벡터를 기초로 상기 기준영상과 상기 와블링된 입력영상 간의 왜곡 변수량을 표시하는 와블링파라미터세트를 추정하는 와블링파라미터추정부; 및 추정된 와블링파라미터세트 및 상기 와블링된 입력영상 정보를 이용하여 복원영상을 생성하는 영상복원부;를 포함하는 것을 특징으로 한다.
바람직하게, 상기 와블링파라미터추정부는 상기 기준영상 내의 임의의 스캔라인 Iref에 대응하는 선분 Iwobbled이 상기 와블링된 입력영상 내에 존재하는 특성을 기초로 상기 와블링파라미터세트를 추정하고, 이 경우 상기 와블링파라미터세트는 상기 와블링된 입력영상 내의 선분 Iwobbled의 시작점과 끝점의 좌표를 표시하는 변수들인 것을 특징으로 한다.
바람직하게, 상기 와블링파라미터추정부는 상기 기준영상 내의 임의의 스캔라인 Iref내의 임의의 점 PR에 대응하는 점 PW이 상기 와블링된 입력영상 내에 대응되는 선분 Iwobbled내에 존재하는 특성을 기초로 상기 와블링파라미터세트를 추정하는 것을 특징으로 한다.
바람직하게, 상기 와블링파라미터추정부는 상기 지역움직임벡터를 기초로 상기 기준영상 내의 점 PR에 대응하는 상기 와블링된 입력영상 내의 점 PW을 파악하는 것을 특징으로 한다.
바람직하게, 상기 와블링파라미터추정부는 상기 기준영상 내의 점 PR과 상기 와블링된 입력영상 내의 점 PW은 각각 상기 기준영상 내의 임의의 스캔라인 Iref과 상기 와블링된 입력영상 내에 대응되는 선분 Iwobbled내에 동일한 내분 비율 (m:1-m)을 갖는 위치에 존재하는 특성을 기초로 상기 와블링파라미터세트를 추정하는 것을 특징으로 한다.
바람직하게, 상기 와블링파라미터추정부에서는
상기 임의의 스캔라인 Iref위의 모든 점은 동일 시간에 판독되고 동일한 y 좌표를 지니므로, 상기 와블링된 입력영상 내에 대응되는 선분 Iwobbled위의 모든 점은 상기 스캔라인의 y 좌표의 함수로 표현이 가능한 특성을 기초로 상기 와블링파라미터세트를 추정하는 것을 특징으로 한다.
바람직하게, 상기 와블링파라미터추정부에서는 상기 와블링된 입력영상 내의 점 PW의 좌표를 Ax=b 형태의 선형방정식을 이용하여 구하고, 이 경우 A는 상기 스캔라인의 y 좌표의 함수로 표현된 행렬, x는 상기 와블링파라미터세트 그리고 b는 상기 와블링된 입력영상 내의 점 PW의 좌표를 각각 표시하는 것을 특징으로 한다.
바람직하게, 상기 영상복원부는 상기 추정된 와블링파라미터세트를 이용하여 상기 복원영상 내의 임의의 점 Ps에 대응하는 상기 와블링된 입력영상 내의 점 Pw를 검색하고, 검색된 Pw의 픽셀값을 이용하여 상기 복원영상을 생성하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 왜곡제거장치에서 와블링된 입력영상의 왜곡을 제거하는 방법은 촬영부에서 롤링셔터 방식으로 연속적으로 촬영된 복수의 프레임을 저장부에 저장하는 단계; 지역움직임벡터생성부에서 상기 촬영영상들 중 기준영상과 와블링된 입력영상 간의 지역움직임벡터를 생성하는 단계; 와블링파라미터추정부에서 상기 지역움직임벡터를 기초로 상기 기준영상과 상기 와블링된 입력영상 간의 왜곡 변수량을 파악하기 위하여 와블링파라미터세트를 추정하는 단계; 및 영상복원부에서 추정된 와블링파라미터세트를 기초로 상기 와블링된 입력영상 정보를 이용하여 복원영상을 생성하는 단계;를 포함하는 것을 특징으로 한다.
바람직하게, 상기 와블링파라미터세트 추정 단계는 상기 기준영상 내의 임의의 스캔라인 Iref에 대응하는 선분 Iwobbled이 상기 와블링된 입력영상 내에 존재하는 특성을 기초로 상기 와블링파라미터세트를 추정하고, 이 경우 상기 와블링파라미터세트는 상기 와블링된 입력영상 내의 선분 Iwobbled의 시작점과 끝점의 좌표를 표시하는 변수들인 것을 특징으로 한다.
바람직하게, 상기 와블링파라미터세트 추정 단계는 상기 기준영상 내의 임의의 스캔라인 Iref내의 임의의 점 PR에 대응하는 점 PW이 상기 와블링된 입력영상 내에 대응되는 선분 Iwobbled내에 존재하는 특성을 기초로 상기 와블링파라미터세트를 추정하는 것을 특징으로 한다.
바람직하게, 상기 와블링파라미터세트 추정 단계는 상기 지역움직임벡터를 기초로 상기 기준영상 내의 점 PR에 대응하는 상기 와블링된 입력영상 내의 점 PW을 파악하는 것을 특징으로 한다.
바람직하게, 상기 와블링파라미터세트 추정 단계는 상기 기준영상 내의 점 PR과 상기 와블링된 입력영상 내의 점 PW은 각각 상기 기준영상 내의 임의의 스캔라인 Iref과 상기 와블링된 입력영상 내에 대응되는 선분 Iwobbled내에 동일한 내분 비율 (m:1-m)을 갖는 위치에 존재하는 특성을 기초로 상기 와블링파라미터세트를 추정하는 것을 특징으로 한다.
바람직하게, 상기 와블링파라미터세트 추정 단계는 상기 임의의 스캔라인 Iref위의 모든 점은 동일 시간에 판독되고 동일한 y 좌표를 지니므로, 상기 와블링된 입력영상 내에 대응되는 선분 Iwobbled위의 모든 점은 상기 스캔라인의 y 좌표의 함수로 표현이 가능한 특성을 기초로 상기 와블링파라미터세트를 추정하는 것을 특징으로 한다.
바람직하게, 상기 와블링파라미터세트 추정 단계는 상기 와블링된 입력영상 내의 점 PW의 좌표를 Ax=b 형태의 선형방정식을 이용하여 구하고, 이 경우 A는 상기 스캔라인의 y좌표의 함수로 표현된 행렬, x는 상기 와블링파라미터세트 그리고 b는 상기 와블링된 입력영상 내의 점 PW의 좌표를 각각 표시하는 것을 특징으로 한다.
바람직하게, 상기 영상복원 단계는 상기 추정된 와블링파라미터세트를 이용하여 상기 복원영상 내의 임의의 점 Ps에 대응하는 상기 와블링된 입력영상 내의 점 Pw를 검색하고, 검색된 Pw의 픽셀값을 이용하여 상기 복원영상을 생성하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서 왜곡제거 장치 및 방법은 영상촬영장치에서 발생하는 모든 형태의 종류의 왜곡을 제거할 수 있는 특징이 있다. 특히, 3차원 공간에서 발생하는 3축 회전과 3축 병진 움직임과 같은 카메라의 흔들림과 카메라 줌에 의해서 발생하는 영상의 병진(translation), 회전(in-plane rotation), 크기변화(scale), 기울어짐(shearing), Projectivity 흔들림에 대응 할 수 있는 효과가 있다.
본 발명의 바람직한 일 실시예로서 왜곡제거 장치 및 방법은 CMOS 센서 정보와 움직임 추정을 수행하지 않고도, 지역적 움직임 벡터만을 이용하여 와블링으로 인해 왜곡된 영상을 복원하는 효과가 있다.
본 발명의 바람직한 일 실시예로서 왜곡제거 장치 및 방법에서는 와블링 파라미터 추정(wobbling parameter estimation)에 있어서, Ax=b 형태의 선형 방정식(linear equation) 형태로 표현하고 유사 역행렬(pseudo inverse matrix)를 이용하여 해(solution)을 찾을 수 있다. 따라서 별도의 최적화 기법(optimization method)을 사용할 필요가 없다. 그 결과 폐형(closed form) 와블링 파라미터 추정 방식을 제공한다.
이로써, 본 발명의 바람직한 일 실시예로서 왜곡제거 장치 및 방법은 공항 군사, 항만, 도로, 교량 등 주요 국가시설, 지하철, 버스, 빌딩 옥상, 경기장, 주차장, 자동차 및 모바일 기기, 로봇에 이르기까지 CMOS 카메라를 이용하는 다양한 지능형 영상 감시 시스템에서 왜곡을 제거하는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 디지털 카메라의 구성을 나타낸 블럭도이다.
도 2는 본 발명의 바람직한 일 실시예에서, CMOS 센서에서 이미지를 획득하는 일 실시예를 도시한다.
도 3 은 와블링이 발생한 와블링 입력영상의 일 예를 도시한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 왜곡제거장치의 내부 구성도를 도시한다.
도 5는 본 발명의 바람직한 일 실시예로서, CMOS 센서의 스캔라인의 첫 번째 속성을 도시한다.
도 6는 본 발명의 바람직한 일 실시예로서, CMOS 센서의 스캔라인의 두 번째 속성을 도시한다.
도 7은 본 발명의 바람직한 일 실시예로서, 기준영상 내의 스캔라인에 대응되는 와블링된 입력영상 내의 선분을 파악하기 위해 추정된 와블링파라미터세트를 도시한다.
도 8 은 본 발명의 바람직한 일 실시예로서, 와블링파라미터세트를 이용하여 영상을 복원하는 일 예를 도시한다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
도 1은 본 발명의 일 실시 예에 따른 디지털 카메라의 구성을 나타낸 블럭도이다.
도 1을 참조하면, 상기 디지털 카메라(100)는 피사체로부터의 광학 신호를 입력하는 광학부(11), 상기 광학부(11)를 통해 입력된 광학 신호를 전기 신호로 변환하는 촬상 소자(12), 촬상 소자(12)로부터 제공된 전기 신호에 대해 노이즈 저감 처리, 디지털 신호로 변환 처리 등의 신호 처리를 행하는 입력 신호 처리부(13)를 구비한다. 상기 광학부(11)를 구동하는 모터(14) 및 모터(14)의 동작을 제어하는 구동부(15)를 구비한다.
또한, 상기 디지털 카메라(100)는 사용자의 조작 신호를 입력하는 사용자 입력부(UI, 20), 입력 영상의 데이터, 연산 처리를 위한 데이터, 처리 결과 등을 임시 저장하는 SDRAM(30), 디지털 카메라(100)의 동작에 필요한 알고리즘, 설정 데이터 등을 저장하는 플래시 메모리(40), 영상 파일을 저장하는 기록 장치로서 SD/CF/SM 카드(50)를 구비할 수 있다.
그리고 상기 디지털 카메라(100)는 디스플레이 장치로서 액정 디스플레이 장치(LCD, 60)가 장착되어 있다. 또한, 소리를 디지털 신호로 변환하거나 또는 음원의 디지털 신호를 아날로그 신호를 변화하는 처리, 오디오 파일을 생성하는 처리 등을 수행하는 오디오 신호 처리부(71), 소리를 출력하는 스피커(72), 소리를 입력하는 마이크(73)를 구비할 수 있다. 그리고, 상기 디지털 카메라(100)는 상기 디지털 카메라(100)의 동작을 제어하는 디지털 신호 처리부(DSP, 80)를 구비한다.
각 구성부에 대해 더욱 구체적으로 살펴본다.
상기 광학부(11)는 광학 신호를 집광하는 렌즈, 상기 광학 신호의 양(광량)을 조절하는 조리개, 광학 신호의 입력을 제어하는 셔터 등을 포함할 수 있다. 상기 렌즈는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등을 포함하며, 이들 렌즈들은 각각 하나의 렌즈로 구성될 수도 있지만, 복수 렌즈들의 군집으로 이루어질 수도 있다. 셔터로 가리개가 위아래로 움직이는 기계식 셔터를 구비할 수 있다. 또는 별도의 셔터 장치 대신 촬상 소자(11)에 전기 신호의 공급을 제어하여 셔터 역할을 행할 수도 있다.
상기 광학부(11)를 구동하는 모터(14)는 오토 포커스, 자동 노출 조정, 조리개 조정, 줌, 초점 변경 등의 동작을 실행하기 위하여 렌즈의 위치, 조리개의 개폐, 셔터의 동작 등을 구동할 수 있다.
상기 모터(14)는 구동부(15)에 의해 제어된다. 상기 구동부(15)는 DSP(80)로부터 입력된 제어 신호에 따라 상기 모터(14)의 동작을 제어한다.
촬상 소자(12)는 광학부(11)로부터 입력된 광학 신호를 수광하여, 피사체의 상을 결상한다. 촬상 소자(12)로 CMOS(Complementary Metal Oxide Semiconductor) 등을 사용할 수 있다.
입력 신호 처리부(13)는 CCD로부터 공급된 전기 신호는 아날로그 신호로서 이를 디지털화하는 A/D 컨버터를 더 구비할 수 있다. 또한, 촬상 소자(12)로부터 제공된 전기 신호에 대해 게인(gain) 조정이나 파형을 정형화하는 신호 처리를 행하는 회로를 구비할 수 있다.
DSP(80)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 컬렉션(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement), 와블링파라미터 추정 및 추정된 와블링파라미터 기반 영상 복원 등의 영상 신호 처리를 수행할 수 있다. 또한, 영상 신호 처리하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축 형식은 가역 형식 또는 비 가역 형식이어도 된다.
DSP(80)는 상술한 바와 같은 영상 신호 처리를 수행하며, 상기 처리 결과에 따라 각 구성부를 제어할 수 있다. 또한 UI(20)를 통해 입력된 사용자의 제어 신호에 따라 각 구성부를 제어할 수 있다.
도 2는 본 발명의 바람직한 일 실시예에서, CMOS 센서에서 이미지를 획득하는 일 실시예를 도시한다. 도 2 에 도시된 바와 같이 CMOS 센서에서는 일정시간 간격으로 각 라인별로 이미지를 획득한다. 도 3 을 참고하면, CMOS 센서에서는 롤링셔터 방식을 이용하고 있어, 셔터의 윗부분과 아랫부분의 촬상 타이밍 차이로 인해 인해 skew 혹은 wobbling, 부분 노출 불량 등의 현상이 발생되어 영상의 내용이 왜곡되는 문제점이 발생한다.
본 발명의 바람직한 일 실시예로서, CMOS 센서에서 사용하는 롤링 셔터 방식으로 인해 발생하는 스큐(skew) 또는 와블링(wobbling) 왜곡을 제거하는 방법을 개시한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 왜곡제거장치의 내부 구성도를 도시한다.
왜곡제거장치(400)는 촬영부(410), 저장부(미도시), 지역움직임벡터 생성부(420), 와블링파라미터추정부(430) 및 영상복원부(440)를 포함한다.
본 발명의 바람직한 일 실시예에서, 왜곡제거장치(400)는 촬영부(410)에서 촬영된 영상을 저장부에 저장하고, 이 후 지역움직임벡터 생성부(420)를 통해 기준영상과 와블링된 입력영상 간의 지역움직임벡터를 구한다. 지역움직임벡터 값을 이용하여 기준영상 내의 임의의 스캔라인이 와블링된 입력 영상 내의 어떤 선분으로 이동하였는지 파악이 가능하다.
와블링파라미터추정부(430)는 지역움직임벡터를 기초로, 와블링된 입력영상 간이 기준 영상과 비교할 때 왜곡된 정도를 나타내는 변수들의 세트인 와블링파라미터세트를 추정한다. 와블링파라미터세트를 추정하는 과정은 도 5 및 6 그리고 수학식 1 내지 16을 참고한다.
이 후, 와블링된 입력영상의 왜곡 정도를 나타내는 와블링파라미터 세트를 추정하면 영상복원부(440)에서는 추정된 와블링파라미터세트값을 기초로 와블링된 입력영상을 복원한다. 와블링된 입력영상을 복원하는 실시예는 도 7, 수학식 17 내지 18을 참고한다.
본 발명의 바람직한 일 실시예로서, 와블링파라미터추정부(430)에서 와블링파라미터세트를 추정하기 위해서는 CMOS 센서의 스캔라인의 2가지 불변량 속성을 이용한다.
도 5는 본 발명의 바람직한 일 실시예로서, CMOS 센서의 스캔라인의 첫 번째 속성을 도시한다.
CMOS 센서의 스캔라인의 경우 첫 번째로, 기준 영상(100)에서 임의의 스캔라인
Figure 112013078267222-pat00001
(Iref,110)에 대응되는 선분
Figure 112013078267222-pat00002
(Iwobbled,210) 이 현재 와블링된 입력영상(200) 내에 존재하는 특징이 있다. 이러한 특징으로 인하여, 카메라의 움직임에 따라 Iref(110)와 Iwobbled(210) 사이에는 2차원 상에서 병진(translation), 회전(in-plane rotation), 크기변화(scale) 에 있어 대응되는 관계를 지닐 수 있다.
도 6는 본 발명의 바람직한 일 실시예로서, CMOS 센서의 스캔라인의 두 번째 속성을 도시한다.
CMOS 센서의 스캔라인의 경우 두 번째로, 기준 영상(100)에서 임의의 스캔라인
Figure 112013078267222-pat00003
(Iref,110) 위의 임의의 점 Pref(120)(이하, PR)에 대응하는 점 Pwobbled(220)(이하, PW)은 현재 와블링된 입력영상(200) 내에 대응되는 선분
Figure 112013078267222-pat00004
(Iwobbled,210) 위에 존재한다.
또한, 두 점 PR(120) 및 PW(220)은 각각 기준 영상(100)의 스캔라인
Figure 112013078267222-pat00005
(110)과 이에 대응하는 와블링된 입력영상(200) 내의 선분
Figure 112013078267222-pat00006
(210) 위에 존재하고, 두 점 PR(120) 및 PW(220)은 각각 스캔라인
Figure 112013078267222-pat00007
(110)과 이에 대응하는 선분
Figure 112013078267222-pat00008
(210) 위에 같은 내분 비율 (m:1-m)을 갖는 위치에 존재한다.
이상과 같은 CMOS 센서의 스캔라인의 2가지 불변량 속성을 수학식으로 표현하기 위하여, PR(120),PR,left(121),PR,right(122)와 PW(220),PW,left(221),PW,right(222)는 각각 수학식 1과 같이 정의가 가능하다.
Figure 112013078267222-pat00009
첫째로, 기준 영상(100)에서 임의의 스캔라인
Figure 112013078267222-pat00010
(Iref,110)에 대응되는 현재 와블링된 입력영상(200) 내의 선분
Figure 112013078267222-pat00011
(Iwobbled,210)의 양쪽 끝점 PW,left(221),PW,right(222)는 각각 임의의 곡선(231, 232)를 구성하는 점으로, 수학식 2와 같이 모델링이 가능하다.
이 경우, 양쪽 끝점 PW,left(221),PW,right(222)이 임의의 곡선(231, 232)의 일부가 되는 이유는 카메라의 흔들림에 따라 기준 영상이 다양한 형태의 곡선의 형태로 왜곡되기 때문이다. 그러나, 기준 영상(100)에서 임의의 스캔라인
Figure 112013078267222-pat00012
(Iref,110)에 대응되는 현재 와블링된 입력영상(200) 내의 선분
Figure 112013078267222-pat00013
(Iwobbled,210)은 위치,각도 및 크기가 변할 수는 있으나, 항상 직선 형태를 유지하는 특성이 있다.
스캔라인 위의 모든 점은 같은 시간에 읽혀(read out)지고 동일한 y좌표를 가지게 되므로, 현재 와블링된 입력영상(200) 내의 선분
Figure 112013078267222-pat00014
(Iwobbled,210) 내의 점 PW,left(221),PW,right(222)는 각각 수학식 2와 같이 스캔라인의 y좌표 yR 만의 함수
Figure 112013078267222-pat00015
와
Figure 112013078267222-pat00016
로 표현할 수 있다.
Figure 112013078267222-pat00017
수학식 2는 수학식 3과 같이 N차 다항식으로 표현이 가능하다.
Figure 112013078267222-pat00018
수학식 3에서 N은 N 차 다항식을 의미하고, ax,left,i와 ay,left,i는 각각 현재 와블링된 입력영상(200)의 PW,left(221) 점을 표시하는 x좌표 xW,left와 y좌표 yW,left 의 N차 다항식의 i번째 차수의 계수를 나타낸다. 또한, ax,right,i와 ay,right,i는 각각 현재 와블링된 입력영상(200)의 PW,right(222) 점을 표시하는 x좌표 xW,right와 y좌표 yW,right 의 N차 다항식의 i번째 차수의 계수를 나타낸다.
두번째로, 두 점 PR(120) 및 PW(220)은 각각
Figure 112013078267222-pat00019
(110)와
Figure 112013078267222-pat00020
(210) 위에 m:1-m 을 지니는 내분점에 위치하므로, 수학식 4와 같이 표시가 가능하다.
Figure 112013078267222-pat00021
수학식 4에서 m 은 수학식 5와 같이 표현이 가능하다.
Figure 112013078267222-pat00022
여기서, width 는 기준 영상(100)의 가로 크기를 나타낸다.
수학식 4 및 5를 통해, 기준 영상(100) 내의 스캔라인(110) 위의 한점 PR(120)에 대응되는 현재 와블링된 입력영상(200)의 한 점 PW(220)는 수학식 6과 같이 표시가 가능하다. 또한, 수학식 6을 x좌표 xW와 y좌표 yW로 풀어쓰면 수학식 7과 같이 표시할 수 있다.
Figure 112013078267222-pat00023
Figure 112013078267222-pat00024
수학식 7을 K개의 대응점에 대해 적용하면 수학식 8과 같이 표시가 가능하다. 다만, 수학식 8은 수학식 3에서 N=2를 적용하여 2차 다항식의 형태로 표시한 예이다. 수학식 8에서 yR,k 는 기준 영상(100)에서 k번째 대응점의 y좌표를 표시한다.
Figure 112013078267222-pat00025
수학식 8에서 mk은 수학식 9와 같이 표시할 수 있다.
Figure 112013078267222-pat00026
여기서, width 는 기준 영상(100)의 가로 크기를 나타낸다.
수학식 8을 간단한 선형방정식(Linear Equation)의 형태로 표시하면 수학식 10과 같다.
Figure 112013078267222-pat00027
수학식 10의 매트릭스 A와 벡터 bx,xx,by,xy는 각각 수학식 11-15와 같다.
Figure 112013078267222-pat00028
Figure 112013078267222-pat00029
Figure 112013078267222-pat00030
Figure 112013078267222-pat00031
Figure 112013078267222-pat00032
수학식 10은 수학식 16과 같은 최소자승해(Least Square Solution) 최적화 기법으로 풀 수 있고, 그 해(Solution)의 형태는 수학식 12와 같이 폐형(closed form)이 된다.
Figure 112013078267222-pat00033
도 7은 본 발명의 바람직한 일 실시예로서, 기준영상 내의 스캔라인(110)에 대응되는 와블링된 입력영상 내의 선분(210)을 파악하기 위해 수학식 1내지 16을 통해 계산된 와블링파라미터세트를(711, 712, 713, 714) 도시한다.
기준영상 내의 스캔라인(110)의 시작점 PR,left(121)과 끝점PR,right(122)에 대응되는 와블링된 입력 영상내의 선분(210)의 시작점 PW,left(221)과 끝점PW,right(222)을 각각 와블링파라미터세트를(711, 712, 713, 714)를 이용하여 표시할 수 있다.
도 8 은 본 발명의 바람직한 일 실시예로서, 와블링파라미터세트를 이용하여 영상을 복원하는 일 예를 도시한다.
본 발명의 바람직한 일 실시예에서는 와블링된 입력영상을 변환(warp)하여 최종적으로 왜곡이 없는 안정된 영상을 복원한다. 도 8 을 참고하면, 본원 발명의 바람직한 일 실시예에서는 와블링파라미터세트를 이용하여 복원될 영상(300) 내에 임의의 점 Ps(330)에 대응되는 와블링된 입력영상 내의 점 Pw(230)을 검색할 수 있다(S810).
와블링된 입력영상 내의 점 Pw(230)이 검색되면, Pw(230)의 픽셀값 정보를 복사하여 복원될 영상(300)의 Ps(330)의 픽셀값을 채운다(S820).
보다 상세히, 복원될 영상(300) 내에 임의의 점 Ps(330)과 이에 대응되는 와블링된 입력 영상(200)내의 점 Pw(230)을 좌표를 각각 Ps(330)=(xs,ys)와 Pw(230)=(xW,yW)로 표시할 수 있다. 이 경우, 복원될 영상(300)과 와블링된 입력 영상(200) 간에는 수학식 5 및 7과 같은 관계가 성립한다. 이를 다시 표현하면, 수학식 17과 같이 표현할 수 있다.
따라서, 영상복원부(도 4, 400)에서는 수학식 17을 이용하여 복원될 영상(300) 내에 임의의 점 Ps(330)에 대응되는 와블링된 입력영상 내의 점 Pw(230)을 검색할 수 있다(S810).
Figure 112013078267222-pat00034
영상복원부(도 4, 400)에서는 복원될 영상(300) 내에 임의의 점 Ps(330)에 대응되는 와블링된 입력영상 내의 점 Pw(230)을 검색되면(S810), 수학식 18과 같은 보간법(interpolation)을 통해여, Pw(230)의 픽셀값 정보를 복사하여 복원될 영상(300) 내의 대응되는 점 Ps(330)의 픽셀값으로 이용한다.
Figure 112013078267222-pat00035
수학식 18에서 img(xs,ys)와 img(xW,yW)는 각각 복원된 영상(300)에서의 (xs,ys) 위치에서의 픽셀값(xW,yW)과 와블링된 입력영상(200)에서의 (xW,yW)위치의 픽셀값을 의미한다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (16)

  1. 롤링셔터 방식으로 복수의 프레임을 연속적으로 촬영하는 촬영부;
    상기 복수의 프레임의 촬영 영상을 저장하는 저장부;
    상기 촬영영상들 중 기준영상과 와블링된 입력영상 간의 지역움직임벡터를 생성하는 지역움직임벡터 생성부;
    상기 지역움직임벡터를 기초로 상기 기준영상과 상기 와블링된 입력영상 간의 왜곡 변수량을 표시하는 와블링파라미터세트를 추정하는 와블링파라미터추정부; 및
    추정된 와블링파라미터세트 및 상기 와블링된 입력영상 정보를 이용하여 복원영상을 생성하는 영상복원부;를 포함하고,
    상기 와블링파라미터추정부는 상기 기준영상 내의 적어도 하나 이상의 임의의 스캔라인과 그에 대응하는 상기 와블링된 입력 영상 내의 적어도 하나 이상의 라인을 선택하여 와블링파라미터세트를 추정하고, 이 경우 카메라 진동으로 인해 상기 기준영상이 다양한 곡선 형태로 왜곡되어 상기 와블링된 입력 영상 내의 적어도 하나 이상의 라인의 양 끝점은 임의의 곡선의 일부인 것을 특징으로 하는 왜곡제거장치.
  2. 제 1 항에 있어서, 상기 와블링파라미터추정부는
    상기 기준영상 내의 임의의 스캔라인 Iref에 대응하는 선분 Iwobbled이 상기 와블링된 입력영상 내에 존재하는 특성을 기초로 상기 와블링파라미터세트를 추정하고, 이 경우 상기 와블링파라미터세트는 상기 와블링된 입력영상 내의 선분 Iwobbled의 시작점과 끝점의 좌표를 표시하는 변수들인 것을 특징으로 하는 왜곡제거장치.
  3. 제 2 항에 있어서, 상기 와블링파라미터추정부는
    상기 기준영상 내의 임의의 스캔라인 Iref내의 임의의 점 PR에 대응하는 점 PW이 상기 와블링된 입력영상 내에 대응되는 선분 Iwobbled내에 존재하는 특성을 기초로 상기 와블링파라미터세트를 추정하는 것을 특징으로 하는 왜곡제거장치.
  4. 제 3 항에 있어서, 상기 와블링파라미터추정부는
    상기 지역움직임벡터를 기초로 상기 기준영상 내의 점 PR에 대응하는 상기 와블링된 입력영상 내의 점 PW을 파악하는 것을 특징으로 하는 왜곡제거장치.
  5. 제 3 항에 있어서, 상기 와블링파라미터추정부는
    상기 기준영상 내의 점 PR과 상기 와블링된 입력영상 내의 점 PW은 각각 상기 기준영상 내의 임의의 스캔라인 Iref과 상기 와블링된 입력영상 내에 대응되는 선분 Iwobbled내에 동일한 내분 비율 (m:1-m)을 갖는 위치에 존재하는 특성을 기초로 상기 와블링파라미터세트를 추정하는 것을 특징으로 하는 왜곡제거장치.
  6. 제 3 항에 있어서, 상기 와블링파라미터추정부에서는
    상기 임의의 스캔라인 Iref위의 모든 점은 동일 시간에 판독되고 동일한 y 좌표를 지니므로, 상기 와블링된 입력영상 내에 대응되는 선분 Iwobbled위의 모든 점은 상기 스캔라인의 y 좌표의 함수로 표현이 가능한 특성을 기초로 상기 와블링파라미터세트를 추정하는 것을 특징으로 하는 왜곡제거장치.
  7. 제 6 항에 있어서, 상기 와블링파라미터추정부에서는
    상기 와블링된 입력영상 내의 점 PW의 좌표를 Ax=b 형태의 선형방정식을 이용하여 구하고, 이 경우 A는 상기 스캔라인의 y 좌표의 함수로 표현된 행렬, x는 상기 와블링파라미터세트 그리고 b는 상기 와블링된 입력영상 내의 점 PW의 좌표를 각각 표시하는 것을 특징으로 하는 왜곡제거장치.
  8. 제 1 항에 있어서, 상기 영상복원부는
    상기 추정된 와블링파라미터세트를 이용하여 상기 복원영상 내의 임의의 점 Ps에 대응하는 상기 와블링된 입력영상 내의 점 Pw를 검색하고, 검색된 Pw의 픽셀값을 이용하여 상기 복원영상을 생성하는 것을 특징으로 하는 왜곡제거장치.
  9. 왜곡제거장치에서 와블링된 입력영상의 왜곡을 제거하는 방법으로
    촬영부에서 롤링셔터 방식으로 연속적으로 촬영된 복수의 프레임을 저장부에 저장하는 단계;
    지역움직임벡터생성부에서 상기 촬영영상들 중 기준영상과 와블링된 입력영상 간의 지역움직임벡터를 생성하는 단계;
    와블링파라미터추정부에서 상기 지역움직임벡터를 기초로 상기 기준영상과 상기 와블링된 입력영상 간의 왜곡 변수량을 파악하기 위하여 와블링파라미터세트를 추정하는 단계;및
    영상복원부에서 추정된 와블링파라미터세트를 기초로 상기 와블링된 입력영상 정보를 이용하여 복원영상을 생성하는 단계;를 포함하고,
    상기 와블링파라미터추정부는 상기 기준영상 내의 적어도 하나 이상의 임의의 스캔라인과 그에 대응하는 상기 와블링된 입력 영상 내의 적어도 하나 이상의 라인을 선택하여 와블링파라미터세트를 추정하고, 이 경우 카메라 진동으로 인해 상기 기준영상이 다양한 곡선 형태로 왜곡되어 상기 와블링된 입력 영상 내의 적어도 하나 이상의 라인의 양 끝점은 임의의 곡선의 일부인 것을 특징으로 하는 방법.
  10. 제 9 항에 있어서, 상기 와블링파라미터세트 추정 단계는
    상기 기준영상 내의 임의의 스캔라인 Iref에 대응하는 선분 Iwobbled이 상기 와블링된 입력영상 내에 존재하는 특성을 기초로 상기 와블링파라미터세트를 추정하고, 이 경우 상기 와블링파라미터세트는 상기 와블링된 입력영상 내의 선분 Iwobbled의 시작점과 끝점의 좌표를 표시하는 변수들인 것을 특징으로 하는 방법.
  11. 제 10 항에 있어서, 상기 와블링파라미터세트 추정 단계는
    상기 기준영상 내의 임의의 스캔라인 Iref내의 임의의 점 PR에 대응하는 점 PW이 상기 와블링된 입력영상 내에 대응되는 선분 Iwobbled내에 존재하는 특성을 기초로 상기 와블링파라미터세트를 추정하는 것을 특징으로 하는 방법.
  12. 제 11 항에 있어서, 상기 와블링파라미터세트 추정 단계는
    상기 지역움직임벡터를 기초로 상기 기준영상 내의 점 PR에 대응하는 상기 와블링된 입력영상 내의 점 PW을 파악하는 것을 특징으로 하는 방법.
  13. 제 11 항에 있어서, 상기 와블링파라미터세트 추정 단계는
    상기 기준영상 내의 점 PR과 상기 와블링된 입력영상 내의 점 PW은 각각 상기 기준영상 내의 임의의 스캔라인 Iref과 상기 와블링된 입력영상 내에 대응되는 선분 Iwobbled내에 동일한 내분 비율 (m:1-m)을 갖는 위치에 존재하는 특성을 기초로 상기 와블링파라미터세트를 추정하는 것을 특징으로 하는 방법.
  14. 제 11 항에 있어서, 상기 와블링파라미터세트 추정 단계는
    상기 임의의 스캔라인 Iref위의 모든 점은 동일 시간에 판독되고 동일한 y 좌표를 지니므로, 상기 와블링된 입력영상 내에 대응되는 선분 Iwobbled위의 모든 점은 상기 스캔라인의 y 좌표의 함수로 표현이 가능한 특성을 기초로 상기 와블링파라미터세트를 추정하는 것을 특징으로 하는 방법.
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제 14 항에 있어서, 상기 와블링파라미터세트 추정 단계는
    상기 와블링된 입력영상 내의 점 PW의 좌표를 Ax=b 형태의 선형방정식을 이용하여 구하고, 이 경우 A는 상기 스캔라인의 y좌표의 함수로 표현된 행렬, x는 상기 와블링파라미터세트 그리고 b는 상기 와블링된 입력영상 내의 점 PW의 좌표를 각각 표시하는 것을 특징으로 하는 방법.
  16. 제 9 항에 있어서, 상기 영상복원 단계는
    상기 추정된 와블링파라미터세트를 이용하여 상기 복원영상 내의 임의의 점 Ps에 대응하는 상기 와블링된 입력영상 내의 점 Pw를 검색하고, 검색된 Pw의 픽셀값을 이용하여 상기 복원영상을 생성하는 것을 특징으로 하는 방법.



KR1020130102021A 2013-08-27 2013-08-27 왜곡제거장치 및 방법 KR102003460B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130102021A KR102003460B1 (ko) 2013-08-27 2013-08-27 왜곡제거장치 및 방법
US14/226,153 US9438804B2 (en) 2013-08-27 2014-03-26 Device and method for removing distortion
CN201410408855.8A CN104427212B (zh) 2013-08-27 2014-08-19 用于消除失真的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130102021A KR102003460B1 (ko) 2013-08-27 2013-08-27 왜곡제거장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150024733A KR20150024733A (ko) 2015-03-09
KR102003460B1 true KR102003460B1 (ko) 2019-07-24

Family

ID=52582691

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130102021A KR102003460B1 (ko) 2013-08-27 2013-08-27 왜곡제거장치 및 방법

Country Status (3)

Country Link
US (1) US9438804B2 (ko)
KR (1) KR102003460B1 (ko)
CN (1) CN104427212B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210089654A (ko) * 2018-10-01 2021-07-16 오피 솔루션즈, 엘엘씨 지수 파티셔닝의 방법들 및 시스템들
CN112308783A (zh) * 2019-07-24 2021-02-02 株式会社理光 一种卷帘效应校正方法、装置及计算机可读存储介质
KR20210092012A (ko) * 2020-01-15 2021-07-23 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 이미지를 보정하는 방법
US11694311B2 (en) * 2020-03-04 2023-07-04 Nec Corporation Joint rolling shutter image stitching and rectification
CN111915464B (zh) * 2020-07-04 2022-06-28 西南交通大学 一种基于考虑常规公交线网的地铁中断区间乘客接驳模型系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006058945A (ja) * 2004-08-17 2006-03-02 Optex Fa Co Ltd ローリングシャッタ画像の補正方法および装置
JP2008160547A (ja) * 2006-12-25 2008-07-10 Sanyo Electric Co Ltd 動き検出装置及び方法並びに撮像装置
JP2013017155A (ja) * 2011-07-06 2013-01-24 Morpho Inc 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4509917B2 (ja) * 2005-11-21 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム
JP4509925B2 (ja) * 2005-12-27 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法
US8279937B2 (en) * 2008-04-22 2012-10-02 Core Logic, Inc. Correcting moving image wavering
JP2011114649A (ja) * 2009-11-27 2011-06-09 Sanyo Electric Co Ltd 撮像装置
US8350922B2 (en) 2010-04-30 2013-01-08 Ecole Polytechnique Federale De Lausanne Method to compensate the effect of the rolling shutter effect
JP5548552B2 (ja) 2010-08-03 2014-07-16 キヤノン株式会社 撮像装置
US8810692B2 (en) 2010-10-19 2014-08-19 Apple Inc. Rolling shutter distortion correction
TWI453696B (zh) * 2011-02-25 2014-09-21 Altek Corp 影像處理裝置及其處理方法
US8648919B2 (en) * 2011-06-06 2014-02-11 Apple Inc. Methods and systems for image stabilization
CN103503432B (zh) * 2011-07-06 2016-11-02 株式会社摩如富 图像处理装置、图像处理方法
US20130076940A1 (en) * 2011-09-27 2013-03-28 Samsung Electronics Co., Ltd Photographing apparatus and method of detecting distortion thereof
KR20130031308A (ko) 2013-02-15 2013-03-28 주식회사 유빅스 카메라의 영상 왜곡을 보정한 차량번호 인식기

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006058945A (ja) * 2004-08-17 2006-03-02 Optex Fa Co Ltd ローリングシャッタ画像の補正方法および装置
JP2008160547A (ja) * 2006-12-25 2008-07-10 Sanyo Electric Co Ltd 動き検出装置及び方法並びに撮像装置
JP2013017155A (ja) * 2011-07-06 2013-01-24 Morpho Inc 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体

Also Published As

Publication number Publication date
US9438804B2 (en) 2016-09-06
CN104427212B (zh) 2019-05-03
CN104427212A (zh) 2015-03-18
KR20150024733A (ko) 2015-03-09
US20150062357A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
US8428390B2 (en) Generating sharp images, panoramas, and videos from motion-blurred videos
JP4500875B2 (ja) モーションブラー効果を除去する方法および装置
JP5045674B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US20130101177A1 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
KR102003460B1 (ko) 왜곡제거장치 및 방법
US11356604B2 (en) Methods and systems for image processing with multiple image sources
JP2011217044A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US9838604B2 (en) Method and system for stabilizing video frames
TWI542201B (zh) 降低視訊畫面抖動的方法與裝置
WO2013151873A1 (en) Joint video stabilization and rolling shutter correction on a generic platform
JP6202879B2 (ja) ローリングシャッタ歪み補正と映像安定化処理方法
US11295427B2 (en) Methods and systems for image processing with multiple image sources
US9172870B2 (en) Real-time image processing method and device enhancing the resolution of successive images
CN111127347A (zh) 降噪方法、终端及存储介质
JP4958806B2 (ja) ぶれ検出装置、ぶれ補正装置及び撮像装置
JP2011114407A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
Kim et al. Dynamic scene deblurring using a locally adaptive linear blur model
JP2010193476A (ja) 撮像装置及び画像再生装置
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
KR20150146424A (ko) 이미지에서 추정된 깊이를 결정하기 위한 방법 및 시스템
KR101480626B1 (ko) 스테레오 카메라를 이용한 물체 추적 장치 및 방법
JP2012085205A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2018174461A (ja) 画像処理装置、画像処理方法、及びプログラム
KR101248225B1 (ko) 팬, 틸트, 줌 기능을 갖는 돔 카메라에서의 영상 디블러링 방법
Xu et al. Interlaced scan CCD image motion deblur for space-variant motion blurs

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant