KR101041366B1 - 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법 - Google Patents

객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법 Download PDF

Info

Publication number
KR101041366B1
KR101041366B1 KR1020070111485A KR20070111485A KR101041366B1 KR 101041366 B1 KR101041366 B1 KR 101041366B1 KR 1020070111485 A KR1020070111485 A KR 1020070111485A KR 20070111485 A KR20070111485 A KR 20070111485A KR 101041366 B1 KR101041366 B1 KR 101041366B1
Authority
KR
South Korea
Prior art keywords
image
digital
comparison
exposure
motion
Prior art date
Application number
KR1020070111485A
Other languages
English (en)
Other versions
KR20090045585A (ko
Inventor
이영신
Original Assignee
주식회사 코아로직
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코아로직 filed Critical 주식회사 코아로직
Priority to KR1020070111485A priority Critical patent/KR101041366B1/ko
Priority to DE602008006329T priority patent/DE602008006329D1/de
Priority to EP08019001A priority patent/EP2059028B1/en
Priority to US12/262,968 priority patent/US7952614B2/en
Priority to CN200810170411XA priority patent/CN101426092B/zh
Priority to JP2008283548A priority patent/JP4898761B2/ja
Publication of KR20090045585A publication Critical patent/KR20090045585A/ko
Application granted granted Critical
Publication of KR101041366B1 publication Critical patent/KR101041366B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/73—
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • H04N1/6047—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis wherein the test pattern is part of an arbitrary user image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Abstract

본 발명은 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및 방법을 개시한다. 본 발명에 따른 디지털 영상의 손떨림 보정 장치는, 제1노출도 조건에 대응되는 제1디지털 영상 데이터와 제2노출도 조건에 대응되는 복수의 제2디지털 영상 데이터를 출력하는 영상신호 처리부; 객체 추적을 통하여 기준 제2디지털 영상(기준 영상)을 기준으로 다른 제2디지털 영상(비교 영상)의 움직임을 보정하고 기준 영상과 보정된 비교 영상을 중첩시켜 손떨림 보정 영상을 생성하는 손떨림 보정부; 및 상기 제1디지털 영상의 속성을 기준으로 상기 손떨림 보정 영상의 속성을 보정하는 영상속성 보정부를 포함한다. 본 발명에 따르면, 별도의 하드웨어가 없이도 손떨림에 의한 영상의 번짐 현상이 배제된 양호한 품질의 디지털 정지 영상을 얻을 수 있고, 밝고 선명하며 잡음이 없는 영상 획득이 가능하다.
손떨림 보정, 미리보기 영상, 정지 영상, 색상 보정, 밝기 보정, 잡음 제거

Description

객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및 방법{Apparatus for digital image stabilizing using object tracking and Method thereof}
본 발명은 디지털 영상 처리에 대한 것으로서, 보다 상세하게는 디지털 영상의 획득 시 사용자의 손떨림에 의한 영상의 번짐 현상을 방지할 수 있는 손떨림 보정 장치 및 그 방법에 대한 것이다.
최근 CCD(Charge Coupled Device)나 CMOS(Complementary Metal-Oxide Semiconductor)등의 이미지 센서를 이용한 디지털 카메라가 널리 보급되어 사용되고 있다. 디지털 카메라는 카메라 전용 제품으로 상용화되기도 하지만, 휴대폰이나 PDA와 같은 핸드 헬드 단말기(hand-held terminal)와 결합된 형태로도 상용화되고 있다.
그런데 핸드 헬드 단말기에 있어서는 중앙연산처리기의 클럭 속도와 메모리의 용량이 퍼스널 컴퓨터용으로 개발되는 것에 비해 우수하지 않다. 그리고, 단말기의 개발 방향이 얇은 두께와 작은 크기를 지향하고 있으므로, 카메라 등의 부가장치가 탑재되는데 있어서 공간적 제약이 많이 따른다. 따라서, 카메라 전용 제품에 적용되는 여러 가지 영상 처리 기술이 핸드 헬드 단말기에 접목되는데 한계가 있을 수밖에 없는데, 그 중 하나가 촬영자의 손떨림에 의한 디지털 영상의 열화를 방지할 수 있는 손떨림 보정 기술이다.
잘 알려진 바와 같이, 디지털 카메라는 일반적으로 자동 노출(auto exposure) 모드를 지원한다. 자동 노출 모드에서는, 촬영 장소의 조도에 따라 노출도(EV: Exposure Value)가 자동으로 변경된다. 즉 어두운 장소에서는 노출도가 증가되고, 밝은 장소에서는 노출도가 감소된다.
그런데 노출도의 증가는 피사체에 대한 카메라의 노출시간 증가를 가져온다. 이러한 경우, 손떨림에 의한 초점의 미세한 움직임이 촬영된 영상에 반영되어 영상이 번져 보이는 블러링(blurring) 현상이 발생한다. 따라서, 종래에는 DIS(Digital Image Stabilization) 방법, EIS(Electrical Image Stabilization) 방법, OIS(Optical Image Stabilization) 방법 등의 다양한 손떨림 보정 기술을 적용하여 블러링 현상을 방지하고 있다.
DIS 방법은 메모리에 저장된 영상 신호를 이용하여 손떨림을 검출/보정하는 방법이다. DIS 방법에서는, 촬상 소자에서 생성되어 메모리에 저장된 영상 신호를 이용하여 움직임 벡터를 검출하고, 검출된 움직임 벡터를 이용하여 메모리의 읽기 타이밍을 변경함으로써 손떨림을 보정한다.
DIS 방법은 간단하게 손떨림을 보정할 수 있다는 장점이 있다. 하지만, 변경된 읽기 타이밍에 의해 메모리로부터 읽어낼 수 있는 영상의 크기가 유효 화소영역의 크기와 동일하므로 메모리로부터 읽어낸 영상을 디지털 줌(Digital Zoom)으로 확대하여 재생/기록해야 하는 한계가 있다. 디지털 줌에 의한 확대 과정을 거쳐 영 상이 재생/기록되면 영상의 화질 열화가 발생하는 문제가 있다.
EIS 방법은 각속도 센서와 고화소 촬상 소자를 이용하여 손떨림을 검출/보정하는 방법이다. EIS 방법에서는, 수평/수직 각속도 센서를 이용하여 손떨림량과 손떨림 방향을 검출한다. 그리고, 검출된 손떨림량과 손떨림 방향을 이용하여 고화소 촬상소자의 출력 타이밍을 변경함으로써 손떨림을 보정한다.
EIS 방법의 경우, 변경된 출력 타이밍에 의해 고화소 촬상소자에서 출력되는 영상 신호에 의해 구성되는 영상은 원 영상과 같은 크기이다. EIS 방법에 사용되는 고화소 촬상소자는 전체 화소수가 유효 화소수보다 훨씬 더 많기 때문이다. 따라서, EIS 방법에 의하면, 재생/기록되는 영상의 화질열화가 발생하지 않는다. 그러나, EIS 방법을 적용하기 위해서는, 각속도 센서가 더 필요하고 촬상소자도 고화소여야 하므로, 제조단가의 상승을 초래하는 문제가 있다.
OIS 방법은 각속도 센서와 프리즘을 이용하여 손떨림을 검출/보정하는 방법이다. OIS 방법은 수평/수직 각속도 센서를 이용하여 손떨림량과 손떨림 방향을 검출한다는 측면에서 EIS방법과 동일하다. 하지만, OIS 방법은 손떨림을 보정하기 위해 촬상소자로 입사되는 광로를 변경할 수 있는 프리즘을 이용한다는 점에서 EIS 방법과 다르다.
OIS 방법의 경우, 재생/기록되는 영상의 화질열화가 발생하지 않고, 고화소의 촬상소자를 요하지 않는 장점이 있다. 하지만, OIS 방법을 위해서는 각속도 센서와 프리즘이 필요하기 때문에 촬영장치의 부피가 커지고 제조단가가 상승하게 된다. 뿐만 아니라, 프리즘 제어의 어려움도 OIS 방법의 단점으로 지적되고 있다.
본 발명은 상술한 종래기술의 문제를 해결하기 위하여 창안된 것으로서, 손떨림 보정을 위해 가속도 센서나 프리즘 등 별도의 하드웨어를 필요로 하지 않는 디지털 영상의 손떨림 보정 장치 및방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은, 휴대폰이나 PDA 등 제한된 하드웨어 자원을 갖는 단말기에 탑재된 디지털 카메라에서도 DIS 방법과 같이 화질 열화가 수반되지 않으면서도 손떨림에 의한 블러링 현상을 방지할 수 있는 디지털 영상의 손떨림 보정 장치 및 방법을 제공하는데 있다.
상기 기술적 과제를 달성하기 위한 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치는, 제1노출도 조건에 대응되는 제1디지털 영상 데이터와 제2노출도 조건에 대응되는 복수의 제2디지털 영상 데이터를 출력하는 영상신호 처리부; 객체 추적을 통하여 기준 제2디지털 영상(기준 영상)을 기준으로 다른 제2디지털 영상(비교 영상)의 움직임을 보정하고 기준 영상과 보정된 비교 영상을 중첩시켜 손떨림 보정 영상을 생성하는 손떨림 보정부; 및 상기 제1디지털 영상의 속성을 기준으로 상기 손떨림 보정 영상의 속성을 보정하는 영상속성 보정부를 포함한다.
본 발명에 따르면, 상기 제1노출도 조건으로부터 제2노출도 조건을 적응적으로 결정하여 이미지 센서의 노출 속성을 제1노출도 조건으로부터 제2노출도 조건으로 변경하는 노출모드 전환부를 더 포함한다.
바람직하게, 상기 제1노출도는 자동 노출 모드의 노출도이고, 상기 제2노출도는 자동 노출 모드에 대응되는 조도보다 낮은 조도에 대응되는 노출도이다.
바람직하게, 상기 제1디지털 영상 데이터는 자동 노출 모드에서 획득된 미리보기 영상 데이터이다. 그리고, 상기 제2디지털 영상 데이터는 정지 영상 캡쳐 모드에서 일정한 시간 간격을 두고 연속적으로 생성된 풀 사이즈의 정지 캡쳐 영상 데이터이다.
본 발명에 따르면, 상기 손떨림 보정부는, 복수의 제2디지털 영상을 기준 영상과 비교 영상 군으로 분류하고, 객체 추적을 통해 기준 영상과 각 비교 영상으로부터 객체를 라벨링하는 객체 라벨링부; 각 비교 영상의 객체와 기준 영상의 객체를 상호 매칭시켜 매칭된 객체의 파라미터를 산출하고, 산출된 파라미터에 의해 기준 영상을 기준으로 각 비교 영상의 움직임량을 산출하는 움직임량 산출부; 산출된 각 움직임량을 해당하는 비교 영상에 적용하여 비교 영상의 움직임을 보정하는 움직임 보정부; 및 상기 움직임이 보정된 각 비교 영상과 기준 영상을 중첩시켜 손떨림 보정 영상을 생성하는 보정영상 생성부를 포함한다.
바람직하게, 상기 객체 라벨링부는, 기준 영상과 각 비교 영상을 이진 영상으로 변환하는 영상 이진화기; 및 이진 영상으로 변환된 기준 영상과 각 비교 영상으로부터 객체를 추출하여 라벨링하는 객체 라벨러를 포함한다. 보다 바람직하게, 상기 객체 라벨링부는, 기준 영상과 각 비교 영상을 필터링하여 경계를 선명화하는 영상 여파기; 및 상기 영상 여파기로부터 출력되는 경계 선명화 영상과 이진 영상을 합성하는 영상 합성기를 더 포함한다. 이런 경우, 상기 객체 라벨러는 합성된 영상으로부터 객체를 라벨링한다.
본 발명에 따르면, 상기 객체 라벨링부의 전단에, 복수의 제2디지털 영상의 크기를 일정한 크기로 스케일링하거나 일정 폭의 영상 바운더리를 클리핑하여 영상을 리사이징하는 영상 리사이저; 또는 기준 영상으로 입력되는 제2디지털 영상과 비교 영상으로 입력되는 제2디지털 영상 사이의 움직임 벡터를 산출하였을 때 움직임 벡터의 크기가 임계치를 초과하거나, 기준 영상으로 입력되는 제2디지털 영상과 비교 영상으로 입력되는 제2디지털 영상 사이의 밝기 차이가 임계치를 초과하지 않는 비교 영상을 객체 라벨링의 대상에서 제외시키는 영상 선별부를 더 포함할 수 있다.
본 발명에서, 각 비교 영상에 대해 산출되는 움직임량은 수평 이동(translation)에 따른 움직임량, 점회전(rotation)에 따른 움직임량, 스케일링(scaling)에 따른 움직임량 및 축회전(shear)에 따른 움직임량을 포함하는 그룹에서 선택된 어느 하나 또는 이들의 조합을 포함한다.
바람직하게, 상기 영상속성 보정부는, 상기 제1디지털 영상과 손떨림 보정 영상의 크기 비율을 고려하여 손떨림 보정 영상의 픽셀 데이터를 제1디지털 영상의 픽셀 데이터로 치환 또는 보간하여 손떨림 보정 영상의 색상을 보정하는 색상보정부; 또는 상기 제1디지털 영상과 손떨림 보정 영상의 밝기 차이를 정량화하여 밝기 보정의 강도를 적응적으로 선택한 후 선택된 강도에 의해 손떨림 보정 영상의 밝기를 보정하는 밝기보정부;를 포함한다.
본 발명의 다른 목적은 상술한 객체 추적을 이용한 디지털 영상의 손떨림 보 정 장치의 동작 방법에 의해서도 구현될 수 있다.
본 발명의 일 측면에 따르면, EIS 또는 OIS법과 달리 손떨림의 정도를 측정할 수 있는 각속도 센서나 프리즘 등의 하드웨어가 없이도 손떨림에 의한 영상 번짐 현상을 배제할 수 있으므로 디지털 영상 촬영장치의 제조 원가를 절감할 수 있으면서도 양호한 품질의 디지털 정지 영상을 획득할 수 있다.
본 발명의 다른 측면에 따르면, DIS법과 달리 정지 캡쳐 영상의 저장시 디지털 줌 과정이 수반되지 않으므로 DIS법에 비해 양호한 품질의 디지털 정지 영상을 얻을 수 있다.
본 발명의 또 다른 측면에 따르면, 피사체에 대한 밝기와 색상 속성을 잘 보존하고 있는 미리보기 영상을 이용하여 정지 캡쳐 영상의 속성을 보정하므로 보다 선명하고 밝은 디지털 정지 영상을 얻을 수 있다.
본 발명의 또 다른 측면에 따르면, 필터를 이용하여 미리보기 영상의 색상 데이터에 의해 정지 캡쳐 영상의 색상 데이터를 보정하는 과정에서 파생되는 잡음을 제거함으로써 잡음에 의한 영상의 품질 열화를 방지할 수 있다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명에 따른 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치는 각종 디지털 영상 촬영장치에 결합되어 사용된다. 여기서, 상기 디지털 영상 촬영장치는 디지털 카메라, 디지털 캠코더, 디지털 카메라가 장착된 휴대폰, PDA, 개인 멀티미디어 재생기 등을 포함하며, 사용자의 셔터 조작에 따라 피사체의 영상을 획득하여 디지털 이미지로 변환한 후 저장매체에 저장하는 기능을 수행하는 장치를 일컫는다.
상용화되어 있는 디지털 영상 촬영장치는 전통적인 카메라와 달리 LCD 등의 디스플레이로 구성된 뷰 파인더(view finder)를 통해 촬영 영상에 포함될 대상을 미리 보여주는 미리보기(preview) 기능을 지원한다. 따라서, 사용자는 미리보기 모드에서 촬영장치의 이동에 따라 짧은 프레임 간격으로 변화되는 영상을 뷰 파인더를 통해 미리 확인하면서 촬영자가 원하는 최적의 영상이 포착되면 셔터를 동작시켜 피사체에 대한 디지털 정지 영상을 획득하게 된다.
본 발명에 따른 손떨림 보정 장치는 셔터가 동작되면 제1노출도에서 촬상된 제1디지털 영상과 제2노출도(제1노출도보다 작다)에서 촬상된 복수의 제2디지털 영상을 획득한 후 객체 추적에 의해 기준이 되는 제2디지털 영상을 기준으로 다른 제 2디지털 영상의 움직임량을 계산하고 계산된 각 움직임량에 따라 대응되는 제2디지털 영상의 움직임을 보정한 후 기준 영상과 움직임 보정 영상(들)을 하나로 중첩시켜 손떨림 보정 영상을 생성하고 제1디지털 영상의 속성을 이용해 상기 손떨림 보정 영상의 속성을 보정하는 것을 특징으로 한다.
이하에서 설명되는 실시예에서는, 제1디지털 영상을 미리보기 영상으로, 제2디지털 영상을 정지 캡쳐 영상으로 명명할 것이다. 미리보기 영상은 셔터가 동작되기 전에 뷰파인더를 통해 짧은 프레임 주기로 출력되는 디지털 영상을, 정지 캡쳐 영상은 셔터가 동작되었을 때 사용자가 지정한 해상도로 촬상되는 피사체의 정지 디지털 영상을 의미한다. 하지만, 본 발명은 이에 한정되지 않으며, 제1디지털 영상은 제2디지털 영상에 비해 노출도가 높고 손떨림의 영향을 무시할 수 있을 정도의 짧은 프레임 주기로 촬상된 디지털 영상을 의미하는 것으로 해석되어야 한다.
도 1은 본 발명의 바람직한 실시예에 따른 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치의 블록 다이어그램이다.
도 1을 참조하면, 본 발명에 따른 손떨림 보정 장치는 각종 디지털 영상 촬영장치에 장착되어 손떨림 보정 기능을 구현하는 것으로서, 이미지 센서(10), 영상신호 처리부(20), 센서 컨트롤부(30), 영상 응용처리 모듈(40), 영상 표시 모듈(50) 및 사용자 인터페이스(60)를 포함한다.
상기 이미지 센서(10)는 피사체의 영상을 촬상하여 아날로그 영상 신호를 영상신호 처리부(20)로 출력한다. 바람직하게, 상기 이미지 센서(10)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor)로 구성된 촬상소자이다. 하지만, 본 발명이 이미지 센서(10)의 종류에 의해 한정되는 것은 아니다.
상기 이미지 센서(10)는 디지털 영상 촬영장치의 셔터가 동작되기 전에는 매우 짧은 프레임 주기(예컨대, 30f/s)로 피사체의 미리보기 영상(AP)을 생성하여 출력한다. 한편, 디지털 영상 촬영장치의 셔터가 동작되면, 일정한 주기로 피사체에 대한 복수의 정지 캡쳐 영상(AC)을 출력한다. 복수의 정지 캡쳐 영상(AC)은 미리보기 영상(AP)보다 큰 프레임 주기로 출력된다. 상기 미리보기 영상(AP)과 복수의 정지 캡쳐 영상(AC)은 각각 제1 및 제2노출도 조건에서 생성된다. 여기서, 노출도라 함은 EV(Exposure Value)를 의미하며, 이미지 센서(10)의 셔터 스피드를 나타내는 f와 센서의 감광도를 나타내는 ISO 게인(이하, I로 칭함)을 포함하는 파라미터에 의해 정의된다. 이미지 센서(10)의 노출도는 센서 컨트롤부(30)에 의해 설정된다. 노출도가 증가하면 이미지 센서(10)의 노광 시간도 함께 증가한다. 특정한 노출도에 대응되는 구체적인 f 값과 I 값은 이미지 센서(10)의 제조사에 의해 미리 정의되어 룩업 테이블의 형태로 참조된다.
바람직하게, 상기 제1노출도는 제2노출도보다 크다. 즉, 제1노출도를 EV1이라 하고 제2노출도를 EV2라 할 때, 'EV1 > EV2'라는 조건을 만족한다. 바람직하게, 제1노출도는 디지털 촬영장치의 자동 노출(Auto Exposure) 모드에 대응되는 노출도이다. 대안적으로, 제1노출도는 사용자 인터페이스(60)를 통해 사용자가 임의로 설정할 수도 있고, 자동 노출 모드에 대응되는 노출도를 기준으로 미리 정해진 폭만큼 상승시키거나 감소시킬 수 있다. 상승 또는 증가 폭은 디지털 영상 촬영장치의 제조사에 의해 바람직한 값으로 설정된다.
바람직하게, 상기 제1노출도 조건에서 생성된 미리보기 영상(AP)은 디지털 영상 촬영장치의 셔터가 동작되기 전의 미리보기 모드에서 디스플레이 모듈(50)의 뷰 파인더(90)를 통해 제공되는 피사체 동영상 중 셔터가 동작된 시점을 기준으로 가장 최근에 생성된 영상이다. 참고로, 미리보기 영상은 영상 응용처리 모듈(40)에 의해 디스플레이 메모리(70)에 저장되며, 저장된 미리보기 영상은 디스플레이 구동부(80)에 의해 동영상의 형태로 뷰 파인더(90)에 구비된 디스플레이를 통해 출력된다.
상기 미리보기 영상(AP)은 매우 짧은 프레임 간격을 두고 연속적으로 생성된다. 따라서, 제1노출도 조건에서 획득되는 미리보기 영상(AP)은 촬영자의 손떨림 영향에 의한 영상의 번짐 현상이 거의 없고, 셔터의 동작을 통해 획득되는 복수의 정지 캡쳐 영상(AC)과 비교하여 볼 때 영상 내에 포함되는 피사체의 범위가 실질적으로 동일하고, 자동 노출 모드에서 생성되는 영상이므로 피사체의 밝기 및 색상 속성을 잘 보존하고 있다.
한편, 제2노출도 조건에서 획득된 영상은 셔터가 동작된 시점에 획득되는 피사체의 정지 캡쳐 영상(AC)이다. 정지 캡쳐 영상(AC)은 미리보기 영상(AP)이 획득된 제1노출도 조건에 비해 피사체에 대한 노출시간이 충분히 작은 조건에서 획득된다. 따라서, 정지 캡쳐 영상(AC)은 영상 촬영자의 손떨림 영향이 거의 없는 영상이다. 이미지 센서(10)의 노광시간이 작아지면, 손떨림 영향이 감소되기 때문이다. 하지만, 정지 캡쳐 영상(AC)의 획득시 노출시간이 작아지면 미리보기 영상(AP)에 비해 피사체에 대한 밝기 및 색상 속성이 상대적으로 잘 보존되지 않는다.
상기 영상신호 처리부(20)는 이미지 센서(10)로부터 출력되는 아날로그 영상 신호를 입력 받아 디지털 영상 신호로 변환한 후 영상 응용처리 모듈(40)로 출력한다. 상기 디지털 영상 신호는 영상 내에 포함된 픽셀의 휘도 신호(Y)와 색차 신호(Cb, Cr)를 포함한다. 디지털 영상 신호는 YVU 색 좌표계 이외에 RGB 등의 다른 색 좌표계에 의한 신호로 구성될 수도 있다.
상기 영상신호 처리부(20)는 디지털 영상 촬영장치의 셔터가 동작되기 전까지는 일정한 프레임 간격으로 이미지 센서(10)에서 생성되는 미리보기 영상(AP)을 입력받아 디지털 신호로 변환한 후 뷰 파인더(90)에 구비된 디스플레이의 해상도 규격(예컨대, 320*240, 240*320 등)에 맞도록 다운 스케일링한다. 한편, 디지털 영상 촬영장치의 셔터가 동작되면 영상신호 처리부(20)는 이미지 센서(10)에서 일정한 프레임 간격으로 연속적으로 생성된 복수의 정지 캡쳐 영상(AC)을 입력 받아 디지털 신호로 변환하고 영상 촬영자가 지정한 이미지 해상도(320*240, 256*192 등)로 다운 스케일링을 한다. 영상신호 처리부(20)에 의해 처리된 미리보기 영상(DP)과 복수의 정지 캡쳐 영상(DC)은 영상 응용처리 모듈(40)로 출력된다. 미리보기 영상(DP)은 디스플레이 규격에 맞도록 다운 스케일링되므로 정지 캡쳐 영상(DC)보다 영상의 크기가 작다. 한편, 미리보기 영상(DP)과 정지 캡쳐 영상(DC)의 다운 스케일링은 후술하는 영상 응용처리 모듈(40)에 의해 이루어져도 무방하다.
상기 영상신호 처리부(20)는 디지털 영상 신호를 압축 부호화하는 영상 인코딩부(100)를 더 포함할 수 있다. 바람직하게, 영상 인코딩부(100)는 JPEG 표준에 의해 디지털 영상 신호를 압축 부호화한다. 하지만, 본 발명이 인코딩 방식에 의해 한정되는 것은 아니다. 상기 영상 인코딩부(100)는 디지털 신호로 변환된 정지 캡쳐 영상(DC)에 한해 압축 부호화를 수행할 수 있는데, 경우에 따라서, 영상 인코딩 과정은 생략되어도 무방하다. 영상신호 처리부(20)가 정지 캡쳐 영상(DC)을 인코딩하여 출력하는 경우, 후술하는 영상 응용처리 모듈(40)은 정지 캡쳐 영상(DC)을 신장하는 디코딩부(110)를 포함하는 것이 바람직하다.
상기 영상신호 처리부(20)는 본 발명이 속한 기술분야에서 ISP(Image Signal Processor)로 널리 알려져 있고, 영상 신호의 디지털 변환 과정은 당업자에게 공지되어 있으므로 상세한 설명은 생략한다.
상기 센서 컨트롤부(30)는 영상 응용처리 모듈(40)의 제어에 의해 이미지 센서(10)의 노출도 조건을 설정한다. 상기 센서 컨트롤부(30)는 디지털 영상 촬영장치의 셔터가 동작되기 전까지는 제1노출도 조건으로 이미지 센서(10)를 설정한다. 그리고, 셔터가 동작되면 제2노출도 조건으로 이미지 센서(10)를 설정한다. 상기 제1 및 제2노출도 조건에 대응되는 파라미터는 영상 응용처리 모듈(40)로부터 수신한다. 상기 파라미터는 상술한 바와 같이 셔터 스피드 f와 ISO 게인 I를 포함한다.
상기 영상 응용처리 모듈(40)은 셔터가 동작되기 전에는 미리보기 모드로, 셔터가 동작되면 정지 영상의 캡쳐 모드로 동작한다. 이를 위해, 상기 영상 응용처리 모듈(40)은 모드 전환부(120)를 포함한다. 모드 전환부(120)는 셔터의 동작이 있기 전까지는 센서 컨트롤부(30)를 제어하여 이미지 센서(10)를 제1노출도 조건으로 설정하고 미리보기 모드로 이미지 센서(10)를 동작시킨다. 이에 따라, 이미지 센서(10)는 소정의 프레임 간격으로 미리보기 영상(AP)을 생성하여 영상신호 처리부(20)로 출력한다. 그러면, 영상 응용처리 모듈(40)은 영상신호 처리부(20)로부터 주기적으로 제1노출도 조건에서 생성되어 디지털화된 미리보기 영상(DP)을 수신하여 디스플레이 메모리(70)에 저장한다. 이렇게 저장된 미리보기 영상(DP)은 뷰 파인더(90)의 디스플레이를 통해 동영상의 형태로 출력된다.
한편, 사용자 인터페이스(60)의 셔터가 동작되면, 상기 모드 전환부(120)는 셔터가 동작된 시점을 기준으로 최근접 시점에 생성된 미리보기 영상(DP)을 디스플레이 메모리(70)로부터 리드하여 획득한다. 그런 다음, 제1노출도 조건으로부터 제2노출도 조건을 적응적으로 결정한 후, 센서 컨트롤부(30)를 제어하여 이미지 센서(10)의 노출도 조건을 제1노출도 조건에서 제2노출도 조건으로 변경하여 정지 영상의 캡쳐 모드로 모드 전환을 한다.
여기서, 노출도 조건을 적응적으로 결정한다는 것은 제1노출도 조건에 따라 제2노출도 조건을 미리 정해진 레퍼런스를 참조하여 가변적으로 결정하는 것을 의미한다. 이를 위해, 제1노출도 조건을 정의하는 파라미터인 f와 I 값에 따라 제2노출도 조건을 정의하는 파라미터인 f' 및 I' 값을 1:1로 맵핑할 수 있는 센서 데이터 시트(130)가 제공되는 것이 바람직하다. 상기 센서 데이트 시트(130)는 영상 응용처리 모듈(40)이 기동될 때 레지스트리에 로딩되어 참조된다. 한편, 본 발명은 제1노출도 조건에 따라 제2노출도 조건을 적응적으로 결정하는데 특징이 있으므로, 노출도 조건을 적응적으로 결정하기 위한 기술적 구성은 상술한 바에 한정되지 않고 여러 가지 변형이 가능함은 물론이다.
이미지 센서(10)의 노출도 조건이 제2노출도 조건으로 변경되면, 영상 응용처리모듈(40)은 센서 컨트롤부(30)를 제어하여 이미지 센서(10)에 복수 정지 영상의 캡쳐 신호를 송신한다. 그러면, 이미지 센서(10)는 피사체에 대한 복수의 정지 캡쳐 영상(AC)을 일정한 프레임 주기로 연속적으로 생성하여 영상신호 처리부(20)로 출력한다. 영상신호 처리부(20)는 복수의 정지 캡쳐 영상(AC)을 연속적으로 수신하여 디지털 처리와 스케일링을 수행한 후 영상 응용처리 모듈(40)로 출력한다.
영상 응용처리 모듈(40)은, 객체 추적을 통해 복수의 정지 캡쳐 영상(DC) 중 한 영상(기준 영상)을 기준으로 나머지 영상(비교 영상)의 움직임을 보정하고, 기준 영상과 움직임이 보정된 영상(들)을 하나의 영상으로 중첩시켜 손떨림 보정 영상을 생성하는 손떨림 보정부(140)를 포함한다. 여기서, 객체 추적을 통해 기준 영상을 기준으로 비교 영상의 움직임량을 보정한다는 것은 기준 영상과 비교 영상에 포함된 객체를 추출하여 라벨링하고 라벨링 된 객체를 상호 대응시킨 상태에서 객체(들)의 움직임 정도를 정량화하고, 정량화된 움직임량을 비교 영상에 적용하여 기준 영상을 기준으로 비교 영상의 움직임을 보정하는 것을 의미한다.
도 2는 본 발명의 일 실시예에 따른 손떨림 보정부(140)의 구성을 도시한 블록 다이어그램이다.
도면에 도시된 바와 같이, 손떨림 보정부(140)는, 객체 라벨링부(141), 움직임량 산출부(142), 움직임 보정부(143) 및 보정영상 생성부(144)를 포함한다.
상기 객체 라벨링부(141)는, 영상신호 처리부(20)로부터 복수의 정지 캡쳐 영상(DC)을 입력받는다. 그리고, 복수의 정지 캡쳐 영상(DC) 중 한 영상을 기준 영상으로, 나머지 영상을 비교 영상으로 분류한다. 여기서, 비교 영상은 적어도 1개 이상이다. 그런 다음, 기준 영상과 각 비교 영상을 이진 영상으로 변환하여 기준 영상과 각 비교 영상으로부터 객체를 추출하여 라벨링한다.
바람직하게, 기준 영상은 정지 캡쳐 영상(DC) 중 가장 먼저 촬상된 영상으로 선정한다. 대안적으로, 기준 영상은 정지 캡쳐 영상(DC) 중 가장 마지막으로 촬상된 영상 또는 중간에 촬상된 영상으로 선정한다. 일 예로, 5개의 정지 캡쳐 영상(DC)이 촬상되었다면, 기준 영상은 첫번째, 세번째, 다섯번째 영상 중 어느 하나가 될 수 있다.
객체는 이진화된 영상에서 상호 연결된 백색 픽셀의 집합을 의미한다. 객체를 구성하는 픽셀의 수가 임계치(예컨대, 30000)를 넘으면 해당 객체는 배경으로 간주할 수 있다. 바람직하게, 객체는 4-연결 성분 추적 또는 8-연결 성분 추적을 이용하여 추출한다. 4-연결 성분 추적은 관찰 대상 픽셀의 상하좌우 4개 픽셀을 추적하여 객체를 추출하는 방식이고, 8-연결 성분 추적은 관찰 대상 픽셀의 상하좌우 4개 픽셀과 대각선 방향의 4개 픽셀을 추적하여 객체를 추출하는 방식이다. 이 이외에도 객체는 폐쇄 윤곽 객체 스캔법 또는 개방 윤곽 객체 스캔법에 의해서도 추출할 수 있다. 여기서 기술된 객체 추출법들은 당업자에게 이미 공지된 기술이므로 상세한 설명은 생략하기로 한다.
도 3 및 도 4는 각각 제1 및 제2실시예에 따른 객체 라벨링부(141)의 블록 다이어그램들이다.
도 3을 참조하면, 제1실시예에 따른 객체 라벨링부(141)는 기준 영상과 각 비교 영상을 이진화(binarization)화하여 흑백 이진 영상으로 변환하는 영상 이진화기(1411)와, 각 이진 영상을 입력받아 각 영상마다 객체를 추출하여 라벨링하는 객체 라벨러(1412)를 포함한다.
영상의 이진화는 영상에 대한 히스토그램 분포를 계산한 후 특정 문턱치값 이상의 밝기를 갖는 픽셀을 백색으로, 특정 문턱치값 이하의 밝기를 갖는 픽셀을 흑색으로 설정하는 것에 의해 이루어진다. 이하에서는 특정 문턱치값을 기준으로 각 픽셀의 밝기를 백색 또는 흑색으로 변환하는 과정을 영상의 문턱치화라고 명명한다. 상기 특정 문턱치값은 히스토그램 분포로부터 계산된 영상의 평균 밝기값일 수 있다. 하지만, 본 발명이 이에 한하는 것은 아니다.
도 4를 참조하면, 제2실시예에 따른 객체 라벨링부(141)는 문턱치화를 통해 기준 영상과 각 비교 영상을 이진 영상으로 변환하는 영상 이진화기(1411)와, 기준 영상과 각 비교 영상을 필터링하여 경계를 선명화하는 영상 여파기(1413)와, 상기 영상 여파기(1413)로부터 출력되는 경계 선명화 영상과 상기 영상 이진화기(1411)로부터 출력되는 대응 이진 영상을 합성하는 영상 합성기(1414)와, 영상 합성기(1414)로부터 출력되는 합성 기준 영상과 각 합성 비교 영상으로부터 객체를 추출하여 라벨링하는 객체 라벨러(1412)를 포함한다. 여기서, 합성 기준 영상은 기준 영상의 이진 영상과 경계 선명화 영상의 합성 영상을, 합성 비교 영상은 비교 영상의 이진 영상과 경계 선명화 영상의 합성 영상을 지칭한다.
위와 같이 경계 선명화 영상과의 영상 합성을 수행한 후 기준 영상과 각 비교 영상으로부터 객체를 추출하면 객체의 경계가 강화되어 객체 추출이 더욱 용이해진다. 바람직하게, 상기 영상 여파기(1413)는 2차 라플라시안 여파기 또는 소벨 엣지(Sobel edge) 여파기이다. 하지만, 본 발명은 영상 여파기(1413)의 종류에 의해 한정되지 않는다.
다시 도 2를 참조하면, 상기 움직임량 산출부(142)는 객체 라벨링부(141)로부터 기준 영상과 각 비교 영상의 라벨링된 객체 데이터를 입력받는다. 그런 다음, 기준 영상의 객체와 각 비교 영상의 객체를 상호 매칭시키고, 각 객체의 파라미터를 계산한다.
도 7은 움직임량 산출부(142)에 의해 계산되는 객체의 파라미터를 개념적으로 나타낸 도면이다.
도면에 도시된 바와 같이, 객체의 파라미터는 객체의 면적(S), 객체의 경계 길이(바운더리의 둘레 길이), 일정한 마진을 두고 객체를 포함하는 사각형 바운더리를 형성했을 때 사각형 중심좌표(O: center coordinate), 객체의 무게중심 좌표(C: centroid coordinate), 객체의 사각형 중심좌표(O)를 통과하고 양 끝단이 객체의 경계와 만나는 라인 중 길이가 가장 긴 최장축의 길이(MaxO: Major axis length) 및 기울기와 길이가 가장 짧은 최단축의 길이(MinO: Minor axis length) 및 기울기, 객체 무게중심(C)을 통과하고 양 끝단이 객체의 경계와 만나는 라인 중 길이가 가장 긴 최장축의 길이(MaxC: Major axis length) 및 기울기와 길이가 가장 짧은 최단축의 길이(MinC: Minor axis length) 및 기울기, 라벨링 순서에 따라 객체 무게중심을 연결했을 때 각 연결라인(L)의 길이 및 기울기 등을 포함한다.
그 다음, 상기 움직임량 산출부(142)는 계산된 파라미터를 이용하여 각 비교 영상에 대한 움직임량을 산출한다. 각 비교 영상의 움직임량은 기준 영상을 기준으로 산출한다. 즉, 기준 영상을 기준으로 할 때 비교 영상이 어느 정도 움직였는지 파악한다. 움직임량은 평행 이동(translation)에 따른 움직임량, 점회전(rotation) 에 따른 움직임량, 스케일링(scaling) 따른 움직임량 및 축회전(shear)에 따른 움직임량으로 이루어진 군에서 선택된 어느 하나 또는 이들의 조합을 포함한다.
비교 영상의 움직임량은 상호 매칭된 기준 영상의 객체 파라미터와 비교 영상의 객체 파라미터를 기하학적으로 연산하여 산출한다.
일예로, 평행이동에 따른 움직임량은 기준 영상과 비교 영상의 상호 매칭된 객체 간의 중심좌표 또는 무게중심 좌표의 차이를 평균내어 산출한다.
점회전에 따른 움직임량은 기준 영상과 비교 영상의 각 무게 중심 연결라인을 매칭시킨 후 매칭된 무게중심 연결라인이 이루는 각의 평균을 내어 산출한다. 대안적으로, 기준 영상과 비교 영상의 각 무게 중심 연결라인을 매칭시킨 후 미리 정한 기준 축과 상호 매칭된 각 무게중심 연결라인이 이루는 각의 차이를 평균내어 산출한다.
스케일링에 따른 움직임량은 기준 영상과 비교 영상의 상호 매칭된 객체 간의 장축 길이 비율, 단축 길이 비율, 경계선 길이 비율 또는 면적 비율의 평균을 내어 산출한다.
축회전에 따른 움직임량은 기준 영상과 비교 영상의 상호 매칭된 객체 간의 장축 길이 비율, 단축 길이 비율, 경계선 길이 비율, 면적 비율 또는 미리 정한 기준 축과 무게중심 연결라인의 사이각 차이의 분포를 영상의 수평방향과 수직방향으로 구하고 분포의 프로파일이 갖는 기울기를 이용하여 산출한다.
기준 영상과 비교 영상의 다양한 객체 파라미터가 주어졌을 때, 기준 영상을 기준으로 한 비교 영상의 움직임량을 산출하는 방식은 상술한 방식 이외에도 여러 가지 변형이 가능할 것임은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명하다.
상기 움직임량 산출부(142)는 각 비교 영상에 대해 산출한 움직임량 데이터를 움직임 보정부(143)로 출력한다. 움직임 보정부(143)는 각 비교 영상에 대한 움직임량을 보정하기 위한 행렬 매트릭스를 산출한다.
바람직하게, 상기 행렬 매트릭스는 어핀 변환(affin transformation)을 위한 행렬 매트릭스이다. 하지만, 본 발명은 행렬 매트릭스의 종류에 의해 한정되지 않는다. 어핀 변환 행렬은 영상의 평행 이동, 회전, 스케일링 및 축회전 변환을 처리하는 공지의 변환 행렬이다. 행렬 매트릭스를 구성하는 계수는 산출된 움직임량에 의해 연산 가능하다. 움직임량에 의해 행렬 매트릭스를 도출하는 기술은 본 발명이 속한 기술분야에 널리 알려져 있으므로 여기에서 상세한 설명은 생략하기로 한다.
상기 움직임 보정부(143)는 각 비교 영상에 대한 변환 행렬 매트릭스를 도출한 후, 도출된 행렬 매트릭스에 의해 이진화되기 전의 원 비교 영상을 행렬 연산하여 각 비교 영상의 움직임을 보정한다. 그 다음, 움직임이 보정된 각 비교 영상과 기준 영상을 보정영상 생성부(144)로 출력한다.
비교 영상의 움직임 보정은 수평 이동에 따른 움직임량 보정, 점회전에 따른 움직임량 보정, 스케일링에 따른 움직임량 보정 및 축회전에 따른 움직임량의 보정으로 이루어진 군에서 선택된 어느 하나 또는 이들의 조합을 포함한다. 비교 영상의 움직임 보정과 관련된 연산량을 줄이기 위해서는 축회전 -> 스케일링 -> 회전 -> 수평 이동에 따른 움직임량 보정 순으로 연산을 수행하는 것이 바람직하다. 하 지만, 본 발명이 이에 한하는 것은 아니다.
상기 보정영상 생성부(144)는 움직임 보정부(143)를 통해 움직임이 보정된 비교 영상과 기준 영상을 입력받는다. 그런 다음, 기준 영상에 모든 비교 영상을 중첩시켜 손떨림 보정 영상을 생성하여 출력한다.
여기서, 영상을 중첩시킨다는 것은 색상 채널별로 기준 영상과 비교 영상(들)의 색상 데이터에 대한 평균을 구한 후 색상 데이터의 평균값으로 기준 영상의 색상 데이터를 채널별로 치환하는 것을 말한다. 한편, 경우에 따라서는 영상을 겹치기 위해 색상 채널별로 색상 데이터의 평균을 구할 때 기준 영상의 색상 데이터는 배제할 수도 있다.
도 5는 본 발명의 다른 실시예에 따른 손떨림 보정부(140)의 구성을 도시한 블록 다이어그램이다.
도면을 참조하면, 상기 손떨림 보정부(140)는 객체 라벨링부(141)의 전단에 영상 리사이저(145)를 더 포함할 수 있다. 영상 리사이저(145)는 영상신호 처리부(20)로부터 입력되는 미리보기 영상(DP)과 복수의 정지 캡쳐 영상(DC)을 다운 스케일링하거나 영상의 가장자리를 클리핑하여 영상을 크기를 감소시킨다. 영상의 리사이징시 영상의 가장자리를 클리핑하는 목적은 영상의 중앙 부분에 객체가 집중되는 경향이 있기 때문이다. 손떨림 보정부(140)에 영상 리사이저(145)가 포함되면, 영상 이진화기(1411), 객체 라벨러(1412), 영상 여파기(1413) 등의 논리 블록은 리사이징된 영상을 기준으로 연산을 수행하므로 각 논리 블록의 연산량을 줄일 수 있다. 한편, 상기 움직임량 산출부(142)는 다운 스케일링에 의해 리사이징된 비교 영 상을 이용하여 움직임량을 산출한 경우, 다운 스케일링 팩터를 고려하여 움직임량을 원래의 비교 영상 기준으로 환산할 수 있다.
도 6은 본 발명의 또 다른 실시예에 따른 손떨림 보정부(140)의 구성을 도시한 블록도이다.
도면을 참조하면, 상기 손떨림 보정부(140)는 객체 라벨링부(141)의 전단에 영상 선별부(146)를 더 포함한다. 영상 선별부(146)는 복수의 정지 캡쳐 영상(DC) 중 하나를 기준 영상으로 나머지 영상을 비교 영상으로 분류한다. 기준 영상 선택 기준은 이미 상술하였다. 그리고, 기준 영상을 기준으로 각 비교 영상의 움직임 벡터를 산출한다. 각 비교 영상의 움직임 벡터는 기준 영상을 기준으로 비교 영상의 움직임 정도를 나타내는 척도로서, MPEG이나 H.26x와 같은 공지된 영상 압축 표준 등에 널리 이용되고 있는 방식을 채용하여 산출한다. 그런 다음, 영상 선별부(146)는 각 비교 영상의 움직임 벡터 크기가 너무 크거나 움직임 벡터가 산출되지 않으면 기준 영상에 포함된 피사체와 비교 영상에 포함된 피사체가 서로 다른 것으로 판단하여 손떨림 보정에 사용되는 영상에서 배제시킨다. 이러한 경우는 손떨림 양이 과도한 경우 또는 비교 영상의 촬상시 갑자기 다른 피사체가 영상 촬상 범위에 들어온 경우이다. 반면, 비교 영상의 움직임 벡터 크기가 일정한 수준 범위 이내에면 손떨림 보정에 사용될 수 있는 영상으로 판단하여 상술한 객체 라벨링부(141)로 미리보기 영상(DP)과 정지 캡쳐 영상(DC)을 입력한다. 그러면, 객체 라벨링부(141)는 상술한 바에 따라 객체 라벨링을 수행한다.
추가적으로, 상기 영상 선별부(146)는 기준 영상과 비교 영상의 밝기 차이를 정량적으로 계산하여 그 값이 일정 수준보다 작으면 해당 비교 영상을 손떨림 보정에 사용되는 영상에서 배제시킨다. 예를 들어, 영상 선별부(146)는 기준 영상과 비교 영상 간의 XOR 연산 영상을 산출한 후 영상의 밝기 평균을 구하고 밝기 평균을 기준 영상과 비교 영상 간의 밝기 차이로 정의한다. 그런 다음, 기준 영상과 비교 영상의 밝기 차이가 일정한 수준(예컨대, 0.85)보다 작으면 유의미한 객체의 움직임이 없다고 판단하여 해당 비교 영상을 객체 라벨링부(141)로 출력시키지 않는다. 반면, 기준 영상과 비교 영상의 밝기 차이가 일정한 수준(예컨대, 0.85)을 넘으면 유의미한 객체의 움직임이 있다고 판단하여 해당 비교 영상을 객체 라벨링부(141)로 출력시킨다. 이처럼 기준 영상과 각 비교 영상 간의 밝기 차이를 통해 영상을 선별하면, 객체 라벨링을 위한 연산량을 감소시킬 수 있는 이점이 있다.
한편, 상기 영상 선별부(146)는 도 5에 도시된 영상 리사이저(145)와 객체 라벨링부(141) 사이에 개재될 수 있다. 이런 경우, 영상 선별부(146)는 리사이징된 기준 영상과 비교 영상에 대해 상술한 동작을 수행한다.
도 8은 본 발명에 따른 손떨림 보정부(140)의 바람직한 동작 흐름을 개략적으로 나타낸 순서도이다. 하기 설명에서 각 단계의 수행주체는 손떨림 보정부(140)이다.
먼저, 단계(P10)에서 첫번째로 촬상된 정지 캡쳐 영상을 입력받는다. 그런 다음, 단계(P20)에서 입력받은 정지 캡쳐 영상을 기준 영상으로 지정한다. 여기서 기준 영상으로 사용되는 정지 캡쳐 영상은 임의로 변경 가능하다. 기준 영상이 정해지면 두번째 이후부터 촬상된 나머지 정지 캡쳐 영상은 비교 영상이 된다.
이어서, 단계(P30)에서 두번째 촬상된 정지 캡쳐 영상(k=2)을 비교 영상으로 입력받는다. 그러고 나서, 단계(P40)에서 기준 영상을 기준으로 비교 영상의 움직임 벡터를 계산한다. 그 이후, 단계(P50)에서 움직임 벡터의 산출이 가능한지 산출이 가능하다면 움직임 벡터의 크기가 미리 정한 임계치를 초과하는지 검사한다.
만약, 단계(P50)에서 움직임 벡터가 산출되지 않거나 산출된 움직임 벡터의 크기가 임계치를 초과하는 것으로 판별되면, 비교 영상의 객체 라벨링 과정으로 이행하지 않고 프로세스를 단계(P60)으로 이행한다. 반면, 산출된 움직임 벡터가 임계치를 초과하지 않으면, 단계(P70)으로 이행하여 기준 영상과 비교 영상의 밝기 차이를 정량적으로 산출한다. 예를 들어, 기준 영상과 비교 영상의 XOR 연산 영상을 산출한 후 영상의 밝기 평균을 계산하고 밝기 평균을 기준 영상과 비교 영상의 밝기 차이로 정의한다.
그러고 나서, 단계(P80)에서 계산된 기준 영상과 비교 영상의 밝기 차이가 미리 정한 임계치를 초과하는지 검사한다. 만약, 임계치를 초과하면 비교 영상에 유의미한 객체의 이동이 있는 것으로 판별하여 단계(P90)의 객체 라벨링 과정으로 이행한다. 반면, 임계치를 초과하지 않으면 비교 영상의 객체 라벨링 과정을 생략하고 프로세스를 단계(P60)으로 이행한다.
단계(P90)에서는 기준 영상과 비교 영상으로부터 객체를 추출하여 기하학적 연산에 의해 객체 파라미터를 계산한다. 영상으로부터 객체를 추출할 때에는, 객체 추출 대상 영상을 이진 영상으로 변환하고, 변환된 이진 영상으로부터 상호 연결된 백색 픽셀의 집합을 객체로 인식하여 추출하는 것이 바람직하다. 보다 바람직하게는, 객체 추출 대상 영상을 필터링하여 경계를 선명화하고 경계 선명화 영상과 이진 영상을 합성한 영상에서 객체로 인식하여 추출한다. 한편, 상기 객체 파라미터를 추출하기 위한 영상 처리 과정은 이미 상술하였으므로 반복적인 설명은 생략한다. 단계(P100)에서는 기준 영상으로부터 추출된 객체 파라미터와 비교 영상으로부터 추출된 객체 파라미터를 상호 매칭시킨 후 기준 영상을 기준으로 비교 영상의 움직임량을 계산한다. 여기서, 각 비교 영상에 대한 움직임량은 기준 영상을 기준으로 한 비교 영상의 수평 이동에 따른 움직임량, 점회전에 따른 움직임량, 스케일링에 따른 움직임량 및 축회전에 따른 움직임량을 포함하는 그룹에서 선택된 어느 하나 또는 이들의 조합을 포함한다. 그러고 나서, 단계(P110)에서 계산된 움직임량을 이용하여 움직임 보정을 위한 행렬 매트릭스를 산출하고 어핀 변환에 의해 비교 영상의 움직임을 보정한다.
그 다음, 단계(P120)에서 움직임량이 보정된 비교 영상의 순서 k가 미리 설정한 수 N에 도달되었는지 검사한다. 여기서, N은 영상의 손떨림을 보정하기 위해 사용하는 정지 캡쳐 영상의 수로서 그 값은 미리 정해진다. 단계(P120)에서의 판단 결과, k가 N보다 작거나 같으면 단계(P60)으로 이행하여 비교 영상의 순서를 1증가시키고 단계(P30)으로 프로세스를 이행한다. 그러면, 2번째 내지 N 번째의 정지 캡쳐 영상을 비교 영상으로 입력받아 영상의 움직임량을 산출하여 비교 영상의 움직임을 보정하는 상술한 과정이 반복된다. 반면, k가 N보다 크면 영상의 손떨림 보정을 위해 사용되는 정지 캡쳐 영상의 움직임 보정이 완료되었다는 것을 의미하므로 프로세스를 단계(P130)로 이행한다.
단계(P130)에서는 기준 영상과 움직임이 보정된 비교 영상과 단계(P80)에서객체의 움직임이 실질적으로 없는 것으로 판정된 비교 영상을 중첩시켜 손떨림 보정 영상을 생성한다. 여기서, 영상을 중첩한다는 의미는 이미 상술한 바 있다. 한편, 경우에 따라 객체의 움직임이 없는 것으로 판정된 비교 영상은 중첩 대상 영상에서 배제할 수 있고, P40 단계 내지 P80 단계는 손떨림 보정부(140)의 연산량을 고려하여 생략하여도 무방하다. 한편 도면에 도시하지는 않았지만, 본 발명은 기준 영상과 비교 영상으로부터 객체를 추출하기에 앞서 기준 영상과 비교 영상을 다운 스케일링하거나 영상의 바운더리를 클립핑하여 영상의 크기를 리사이징하는 단계를 더 포함할 수 있다. 또한 본 발명은 기준 영상을 기준으로 비교 영상의 움직임 벡터를 산출하였을 때 움직임 벡터의 크기가 임계치를 초과하거나, 기준 영상과 비교 영상의 밝기 차이를 정량화하였을 때 그 값이 임계치를 넘지 않는 경우, 해당 비교 영상을 움직임 보정의 대상에서 제외하는 영상 선별 단계를 더 포함할 수 있다. 이러한 영상 리사이징 단계 또는 영상 선별 단계를 진행하면 객체 추출에 필요한 연산량을 감소시킬 수 있다.
그러면, 이하에서는 손떨림 보정 영상이 획득되고 난 이후에 진행되는 영상 속성 보정에 관한 구성을 상세하게 설명하기로 한다.
다시 도 1을 참조하면, 상기 손떨림 보정부(140)에 의해 손떨림 보정 영상이 생성되면, 미리보기 모드에서 획득된 미리보기 영상(DP)을 이용하여 손떨림 보정 영상의 여러 가지 영상 속성을 보정한다.
바람직하게, 미리보기 영상(DP)에 의해 보정되는 손떨림 보정 영상의 속성은 영상의 색상, 잡음 및 밝기를 포함한다. 이를 위해, 영상 응용처리 모듈(40)은 색상보정부(151), 잡음보정부(152) 및 밝기보정부(153)를 포함하는 영상속성 보정부(150)를 구비한다. 바람직하게, 손떨림 보정 영상의 3가지 영상 속성을 보정하는 순서는 영상색상, 영상잡음 및 영상밝기의 순이다. 하지만, 본 발명은 영상 속성의 보정 순서에 의해 한정되는 것은 아니므로, 임의의 순서로 보정 순서를 변경할 수도 있음은 자명하다.
도 9는 색상보정부(151)가 미리보기 영상(DP)을 기초로 손떨림 보정 영상의 색상을 보정하는 과정을 상세하게 설명한 순서도이다.
도 1 및 도 9를 참조하여 색상 보정 과정을 설명하면, 먼저 단계(S10)에서 색상보정부(151)는 손떨림 보정 영상을 미리보기 영상(DP)의 크기로 스케일링하여 축소 영상을 생성한다. 그런 다음, 단계(S20)에서 미리보기 영상(DP)을 참조 영상으로 하여 축소 영상의 움직임 벡터를 계산한다. 움직임 벡터는 미리보기 영상(DP)을 기준으로 축소 영상 내에 포함된 객체의 이동 방향과 이동량을 나타낸다. 움직임 벡터는 MPEG이나 H.26x와 같은 공지된 영상 압축 표준 등에 널리 이용되고 있는 방식을 채용하여 산출할 수 있다. 즉, 축소 영상을 일정한 크기의 블록으로 세분한 후 각 블록이 참조 영상의 어떤 영역으로부터 움직여 왔는지를 추정하여 움직임 벡터를 계산한다. 움직임 벡터가 계산되면, 단계(S30)에서 색상보정부(151)는 미리보기 영상(DP)의 각 픽셀 데이터를 움직임 벡터에 따라 위치를 이동시킨다. 그러고 나서, 단계(S40)에서 픽셀의 위치 이동이 완료된 미리보기 영상을 기초로 보간 법(interpolation)을 이용하여 손떨림 보정 영상의 픽셀 데이터를 보정한다. 즉, 미리보기 영상(DP)의 각 픽셀 위치(xi, yj)를 스케일링 팩터(축소 영상 생성시 적용했던 팩터임)를 감안하여 손떨림 보정 영상의 위치(XI, YJ)로 환산한다. 그런 다음, 손떨림 보정 영상의 (XI, YJ) 위치에 있는 픽셀 데이터를 미리보기 영상(DP)의 (xi, yj) 위치에 있는 픽셀 데이터로 치환한다. 한편, 미리보기 영상(DP)의 픽셀 수는 손떨림 보정 영상의 픽셀 수보다 작으므로, 손떨림 보정 영상의 모든 픽셀 데이터가 미리보기 영상(DP)의 픽셀 데이터로 치환되지는 않는다. 따라서, 손떨림 보정 영상의 픽셀 데이터 중 미리보기 영상(DP)의 픽셀 데이터로 치환되지 않은 픽셀 데이터는 치환이 완료된 인접 픽셀 데이터를 이용하여 보간한다. 사용될 수 있는 보간법으로는 Bi-liner 법, Bi-Cubic 법, B-spline 법 등이 있는데, 본 발명이 이에 한정되는 것은 아니다.
상술한 각 단계를 거쳐 색상 보정이 완료된 손떨림 보정 영상은 영상 응용처리 모듈(40)의 잡음보정부(152)로 입력된다. 그러면, 잡음보정부(152)는 여러 가지 공지된 잡음제거 필터를 이용하여 손떨림 보정 영상의 잡음과 칼라 오류를 제거한다. 상기 필터로는 저역 통과 필터(Low pass filter), 메디안 필터(Median filter), 가우시안 필터(Gaussian filter), 라플라스-가우시안 필터(Laplacian of Gaussian filter), 가우시안 차분 필터(Difference of Gaussian filter) 등이 채용될 수 있다. 하지만, 본 발명이 이에 한정되는 것은 아니며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자에게 영상 잡음을 제거할 수 있는 것으로 알려진 다 른 방식의 필터링 기술도 채용될 수 있음은 자명하다.
상기한 바에 따라 잡음과 칼라 오류가 제거된 손떨림 보정 영상은 밝기보정부(153)로 입력된다. 그러면, 밝기보정부(153)는 미리보기 영상(DP) 및 손떨림 보정 영상의 밝기 차이를 정량화한 후 손떨림 보정 영상의 밝기 보정 강도를 적응적으로 결정하여 손떨림 보정 영상의 밝기를 보정한다.
도 10은 밝기보정부(153)가 미리보기 영상(DP)을 기초로 손떨림 보정 영상의 밝기를 보정하는 과정을 상세하게 설명한 순서도이다.
도 1 및 도 10을 참조하여 밝기 보정 과정을 설명하면, 먼저 단계(S50)에서 밝기보정부(153)는 손떨림 보정 영상의 크기를 미리보기 영상(DP)의 크기로 다운 스케일링하여 축소 영상을 생성한다. 이 때, S50 단계를 별도로 진행하지 않고, 손떨림 보정 영상의 색상 보정을 위해 생성한 축소 영상을 그대로 사용하여도 무방하다. 다음으로, 단계(S60)에서 밝기보정부(153)는 축소 영상과 미리보기 영상(DP)의 밝기 차이를 정량화한다. 밝기 차이는 두 영상의 히스토그램 분포를 계산한 후 히스토그램 평균 값 위치의 차분에 의해 계산 가능하다. 예를 들어, 축소 영상 및 미리보기 영상(DP)에 대해 계산한 히스토그램의 평균값 위치가 각각 85 및 140이라면, 평균 값 위치의 차분은 55이다. 그런 다음, 단계(S70)에서 밝기보정부(153)는 평균 값 위치의 차분에 따라 밝기 보정의 강도를 적응적으로 결정한 후 결정된 강도에 의해 손떨림 보정 영상의 밝기를 보정한다. 밝기 보정은 감마 함수 또는 레티넥스(Retinex) 알고리즘의 적용에 의해 이루어질 수 있다. 이러한 경우, 밝기 보정의 강도는 감마 함수 또는 레티넥스 알고리즘의 강도가 된다. 밝기 보정 알고리즘 의 강도를 적응적으로 선택하기 위해, 평균 값 위치의 차분 값에 따라 선택 가능한 강도 레벨을 룩업 테이블(170)의 형태로 준비한 후 참조하는 것이 바람직하다.
한편, 손떨림 보정 영상과 미리보기 영상(DP)의 밝기 차분은 제1노출도와 제2노출도를 정의하는 파라미터의 차분에 의해서도 정량화할 수 있다. 즉, 제1노출도 및 제2노출도를 정의하는 파라미터인 f와 I의 차분에 의해 밝기 차이를 정량화한다. 예를 들어, 제1노출도에 해당하는 f와 I가 1/30 및 200이고, 제2노출도에 해당하는 f'와 I'가1/60 및 100이라면, 셔터 스피드와 ISO 게인의 차분은 각각 1/60 및 100으로 정량화할 수 있다. 그런 다음, f 및 I의 차분에 의해 밝기 보정의 강도를 적응적으로 결정하여 손떨림 보정 영상의 밝기를 보정할 수 있다. 밝기 보정은 상기한 바와 마찬가지로 감마 함수 또는 레티넥스 알고리즘의 적용에 의해 이루어질 수 있다. 이러한 경우, 밝기 보정의 강도는 감마 함수 또는 레티넥스 알고리즘의 강도가 된다. 밝기 보정 알고리즘의 강도를 적응적으로 선택하기 위해, f 및 I의 차분 값에 따라 선택 가능한 강도 레벨을 룩업 테이블의 형태로 준비한 후 참조하는 것이 바람직하다.
한편, 본 발명에서 손떨림 보정 영상의 밝기를 보정하는데 사용되는 감마 함수 또는 레티넥스 알고리즘은 본 발명이 속한 기술분야에 널리 알려져 있다. 따라서, 이에 대한 구체적인 설명은 생략한다. 한편, 본 발명은 밝기 보정시 적용되는 함수 또는 알고리즘의 구체적인 종류에 의해 한정되지 않으므로 영상의 밝기를 조정할 수 있다고 알려진 다른 기법들도 얼마든지 적용될 수 있다.
상술한 색상보정부(151), 잡음보정부(152) 및 밝기보정부(153)에 의해 손떨 림 보정 영상의 색상, 잡음 및 밝기의 보정이 완료되면, 손떨림 보정 영상은 압축 부호화되어 외부로 출력된다. 이를 위해, 영상 응용처리 모듈(40)은 보정이 완료된 손떨림 보정 영상을 압축 부호화하는 인코딩부(160)를 더 포함한다. 바람직하게, 인코딩부(160)는 JPEG 표준에 의해 손떨림 보정 영상을 압축 부호화하여 이미지 파일을 생성한 후 외부로 출력한다. 하지만, 본 발명이 손떨림 보정 영상을 압축 부호화하는 방식에 의해 한정되는 것은 아니다. 외부로 출력된 이미지 파일은 디지털 영상 촬영장치에 구비된 플래쉬 메모리와 같은 불활성 저장매체에 수록될 수 있다.
상기 사용자 인터페이스(60)는 디지털 카메라의 초점, 광학 또는 디지털 줌인/줌아웃, 화이트 밸런스, 노출 모드 등 디지털 영상을 촬영하기 위해 필요한 각종 파라미터의 조정과 셔터 조작을 하기 위해 디지털 영상 촬영장치에 구비되는 일반적인 인터페이스이다. 디지털 영상 촬영장치가 휴대폰 등의 핸드 헬드 단말기에 장착되는 경우, 사용자 인터페이스(60)는 헤드 헬드 단말기에 구비되는 키 패드 등에 의해 구현될 수도 있다.
다음으로, 상술한 구성을 가진 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치를 이용하여 디지털 영상이 촬영되는 과정을 보다 구체적으로 설명하기로 한다. 하기의 설명은 디지털 영상 촬영장치가 구동된 후 사용자 인터페이스의 조작을 통해 영상 촬영 모드가 시작된 것을 가정하고 있음을 미리 밝혀둔다.
도 11은 미리보기 모드에서 미리보기 영상이 생성되어 뷰 파인더를 통해 출력되기까지의 제어 흐름을 도시한 도면이다.
도 1 및 도 11을 참조하면, 영상 응용처리 모듈(40)은 디지털 영상 촬영장치의 구동이 시작되면 제1노출도 조건에 따라 선택 가능한 제2노출도 조건을 정의하고 있는 센서 데이터 시트(130)를 레지스트리에 로딩한다. 그런 후 영상 촬영 모드가 시작되면 영상 응용처리 모듈(40)은 센서 컨트롤부(30)를 제어하여 이미지 센서(10)를 제1노출도 조건으로 설정한다(F10). 노출도를 정의하는 셔터 스피드 f, ISO 게인 I 등의 파라미터는 상기 센서 데이터 시트(130)를 참조한다. 바람직하게, 제1노출도 조건은 자동 노출 모드에 따른 노출도 조건이다. 대안적으로, 제1노출도 조건은 사용자 인터페이스를 통해 사용자가 임의로 설정한 노출도 조건일 수도 있다.
제1노출도 조건으로 이미지 센서(10)가 설정되면, 영상 응용처리 모듈(40)은 센서 컨트롤부(30) 측으로 미리보기 영상의 생성을 요청한다(F20). 그러면, 센서 컨트롤부(30)는 이미지 센서(10)로 미리보기 영상(AP)의 생성 신호를 주기적으로 송신한다(F30). 이에 따라, 이미지 센서(10)는 일정한 프레임 간격으로 피사체에 대한 미리보기 영상(AP)을 아날로그 신호의 형태로 영상신호 처리부(20) 측에 출력한다(F40). 영상신호 처리부(20)는 이미지 센서(10)로부터 주기적으로 출력되는 미리보기 영상(AP) 신호를 디지털화하고 뷰 파인더(90)에 구비된 디스플레이의 규격에 맞도록 영상을 다운 스케일링하여 영상 응용처리 모듈(40)로 출력시킨다(F50). 그러면, 영상응용 처리 모듈(40)은 다운 스케일링된 미리보기 영상(DP)을 입력받아 디스플레이 메모리(70)에 주기적으로 저장한다(F60). 한편, 디스플레이 구동부(80)는 디스플레이 메모리(70)에 주기적으로 저장되는 미리보기 영상(DP)을 독출한다(F70). 그런 다음, 미리보기 영상(DP)을 아날로그 신호로 변환하여 뷰 파인더(90)에 구비된 디스플레이를 통해 일정한 프레임 간격으로 출력시킨다(F80).
도 12는 디지털 영상 촬영장치의 셔터가 동작되었을 때 미리보기 영상(DP)과 손떨림 보정 영상을 생성한 후 미리보기 영상(DP)에 의해 손떨림 보정 영상의 속성을 보정하여 정지 캡쳐 영상의 손떨림을 보정하는 과정의 제어 흐름을 나타낸 도면이다.
도 1 및 도 12를 참조하면, 뷰 파인더(90)의 디스플레이를 통해 출력되는 미리보기 영상 중 최적의 영상이 포착되어 촬영자가 셔터를 동작시키면, 먼저 응용 영상처리 모듈(40)은 미리보기 모드에서 정지 영상 캡쳐 모드로 영상 처리 모드를 전환한다. 그런 다음, 영상 응용처리 모듈(40)은 셔터 동작 시점을 기준으로 가장 최 근접 시점에 생성된 미리보기 영상(DP)을 디스플레이 메모리(70)로부터 리드하여 획득한다(F100). 그 다음, 레지스트리에 로딩된 센서 데이터 시트를 참조하여 제1노출도 조건으로부터 제2노출도 조건을 적응적으로 결정한 후, 센서 컨트롤부(30)를 제어하여 이미지 센서(10)를 제2노출도 조건으로 설정한다(F110). 제1노출도 조건으로부터 제2노출도 조건을 산출하는 구성에 대해서는 이미 상술한 바 있다.
이미지 센서(10)가 제2노출도 조건으로 설정되고 나면, 영상 응용처리 모듈(40)은 센서 컨트롤부(30) 측으로 복수의 정지 캡쳐 영상 생성을 요청한다(F120). 그러면, 센서 컨트롤부(30)는 이미지 센서(10)로 복수의 정지 캡쳐 영상 생성 신호를 송신한다(F130). 이에 따라, 이미지 센서(10)는 피사체의 정지 캡쳐 영상(AC)을 일정한 간격으로 연속적으로 촬상하여 아날로그 신호의 형태로 영상신호 처리부(20) 측에 순차적으로 출력한다(F140). 영상신호 처리부(20)는 이미지 센서(10)로부터 출력되는 복수의 정지 캡쳐 영상(AC)을 디지털화하고 촬영자가 사용자 인터페이스(60)를 통하여 설정한 영상의 크기에 맞도록 영상을 스케일링하여 영 상 응용처리 모듈(40)로 출력시킨다(F150).
그러면, 영상응용 처리 모듈(40)은 다수의 정지 캡쳐 영상(DC) 중 어느 하나를 기준 영상으로, 나머지를 비교 영상으로 분류한 후 기준 영상을 기준으로 나머지 비교 영상의 움직임을 보정하고, 움직임 보정이 완료된 비교 영상과 기준 영상을 상호 중첩시켜 손떨림 보정 영상을 생성한다. 그런 다음, 미리보기 영상(DP)의 색상 및 밝기 속성을 이용하여 손떨림 보정 영상의 색상과 밝기를 보정하고 손떨림 보정 영상으로부터 각종 잡음과 칼라 오류를 제거함으로써 손떨림에 의한 영상 번짐 현상이 배제된 양호한 품질의 정지 캡쳐 영상을 완성하게 된다. 이렇게 완성된 정지 캡쳐 영상은 인코딩 과정을 거쳐 저장매체에 파일의 형태로 수록될 수도 있고, 뷰 파인더(90)를 통해서도 출력 가능하다.
도 13은 본 발명에 따른 객체 추적을 이용한 디지털 영상의 손떨림 보정 방법이 적용된 디지털 영상 촬영 장치를 이용하여 촬영한 영상(B)과 손떨림 보정 기능이 지원되지 않는 일반 디지털 영상 촬영 장치를 이용하여 자동 노출 모드에서 촬영한 영상(A)을 비교한 사진이다. 도면에 도시된 바와 같이, 본 발명에 따른 손떨림 보정 방법이 적용된 영상 쪽이 번짐 현상이 없을 뿐만 아니라 더 밝고 선명하다는 것을 확인할 수 있다.
한편, 상술한 실시예에서, 영상신호 처리부과 영상 응용처리 모듈은 기능적인 구분에 불과하다. 따라서, 영상신호 처리부와 영상 응용처리 모듈은 하나의 모듈로 통합될 수도 있고, 영상 응용처리 모듈 내에 포함된 하나 또는 2 이상의 서브 구성요소들은 별도의 모듈로 분리될 수도 있다. 아울러, 미리보기 영상의 스케일링 팩터는 뷰 파인더에 구비된 디스플레이 규격에 의해 제한되지 않는다. 따라서, 손떨림 보정의 대상이 되는 정지 캡쳐 영상의 크기에 따라 미리보기 영상의 스케일링 팩터는 여러 가지로 변형이 가능하다. 예를 들어, 정지 캡쳐 영상이 갖는 폭과 높이가 미리보기 영상이 갖는 폭과 높이의 정수배가 되도록 미리보기 영상의 스케일링 팩터를 조절할 수 있다. 이러한 경우, 정지 캡쳐 영상의 색상 보정시 미리보기 영상과 정지 캡쳐 영상의 픽셀 위치를 매핑시키는데 있어서 연산량을 줄일 수 있는 이점이 있다.
상술한 본 발명에 따른 손떨림 보정 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 손떨림 보정 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지 식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 바람직한 실시예에 따른 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치의 블록 다이어그램이다.
도 2는 본 발명의 일 실시예에 따른 손떨림 보정부의 구성을 도시한 블록 다이어그램이다.
도 3은 본 발명의 일 실시예에 따른 객체 라벨링부의 블록 다이어그램이다.
도 4는 본 발명의 다른 실시예에 따른 객체 라벨링부의 블록 다이어그램이다.
도 5는 발명의 다른 실시예에 따른 손떨림 보정부의 구성을 도시한 블록 다이어그램이다.
도 6은 본 발명의 또 다른 실시예에 따른 손떨림 보정부의 구성을 도시한 블록 다이어그램이다.
도 7은 움직임량 산출부에 의해 계산되는 객체의 파라미터를 개념적으로 나타낸 도면이다.
도 8은 본 발명에 따른 손떨림 보정부의 바람직한 동작 흐름을 개략적으로 나타낸 순서도이다.
도 9는 영상 응용처리 모듈의 색상보정부가 미리보기 영상을 기초로 손떨림 보정 영상의 색상을 보정하는 과정을 상세하게 설명한 순서도이다.
도 10은 영상 응용처리 모듈의 밝기보정부가 미리보기 영상을 기초로 손떨림 보정 영상의 밝기를 보정하는 과정을 상세하게 설명한 순서도이다.
도 11은 미리보기 모드에서 미리보기 영상이 생성되어 뷰 파인더를 통해 출력되기까지의 제어 흐름을 도시한 도면이다.
도 12는 디지털 영상 촬영장치의 셔터가 동작되었을 때 미리보기 영상(DP)과 손떨림 보정 영상을 생성한 후 미리보기 영상(DP)에 의해 손떨림 보정 영상의 속성을 보정하여 정지 캡쳐 영상의 손떨림을 보정하는 과정의 제어 흐름을 나타낸 도면이다.
도 13은 본 발명에 따른 객체 추적을 이용한 디지털 영상의 손떨림 보정 방법이 적용된 디지털 영상 촬영 장치를 이용하여 촬영한 영상(B)과 손떨림 보정 기능이 지원되지 않는 일반 디지털 영상 촬영 장치를 이용하여 자동 노출 모드에서 촬영한 영상(A)을 비교한 사진이다.

Claims (24)

  1. 이미지 센서로부터 제1노출도 조건에서 영상 신호를 입력받고 제2노출도 조건에서 복수의 영상 신호를 입력 받으며, 상기 제1노출도 조건에 대응되는 제1디지털 영상과 상기 제2노출도 조건에 대응되는 복수의 제2디지털 영상을 출력하는 영상신호 처리부;
    상기 이미지 센서의 노출도 조건을 변경하는 센서 컨트롤부;
    상기 제1노출도 조건에 따라 선택 가능한 상기 제2노출도 조건을 정의하고 있는 센서 데이터 시트;
    상기 센서 데이터 시트를 참조하여 상기 제1노출도 조건으로부터 상기 제2노출도 조건을 적응적으로 결정하여 상기 센서 컨트롤부를 제어하여 상기 이미지 센서의 노출 속성을 상기 제1노출도 조건으로부터 상기 제2노출도 조건으로 변경하는 노출모드 전환부;
    객체 추적을 통하여 복수의 상기 제2디지털 영상 중의 어느 하나인 기준 제2디지털 영상(기준 영상)을 기준으로 다른 제2디지털 영상(비교 영상)의 움직임을 보정하고 기준 영상과 보정된 비교 영상을 중첩시켜 손떨림 보정 영상을 생성하는 손떨림 보정부; 및
    상기 제1디지털 영상의 속성을 기준으로 상기 손떨림 보정 영상의 속성을 보정하는 영상속성 보정부;를 포함하는 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1노출도는 자동 노출 모드의 노출도이고,
    상기 제2노출도는 자동 노출 모드에 대응되는 조도보다 낮은 조도에 대응되는 노출도인 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 제1디지털 영상은 자동 노출 모드에서 획득된 미리보기 영상 데이터인 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치.
  6. 제5항에 있어서,
    상기 미리보기 영상 데이터는 미리보기 모드에서 일정한 프레임 간격으로 생 성되는 미리보기 영상 중 셔터의 동작 시점을 기준으로 최근접 시점에 생성된 미리보기 영상 데이터인 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치.
  7. 제1항에 있어서,
    상기 제2디지털 영상은 정지 영상 캡쳐 모드에서 일정한 시간 간격을 두고 연속적으로 생성된 풀 사이즈의 정지 캡쳐 영상 데이터인 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치.
  8. 제1항에 있어서, 상기 손떨림 보정부는,
    복수의 제2디지털 영상을 기준 영상과 비교 영상 군으로 분류하고, 객체 추적을 통해 기준 영상과 각 비교 영상으로부터 객체를 라벨링하는 객체 라벨링부;
    각 비교 영상의 객체와 기준 영상의 객체를 상호 매칭시켜 매칭된 객체의 파라미터를 산출하고, 산출된 파라미터에 의해 기준 영상을 기준으로 각 비교 영상의 움직임량을 산출하는 움직임량 산출부;
    산출된 각 움직임량을 해당하는 비교 영상에 적용하여 비교 영상의 움직임을 보정하는 움직임 보정부; 및
    상기 움직임이 보정된 각 비교 영상과 기준 영상을 중첩시켜 손떨림 보정 영상을 생성하는 보정영상 생성부를 포함하는 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치.
  9. 제8항에 있어서, 상기 객체 라벨링부는,
    기준 영상과 각 비교 영상을 이진 영상으로 변환하는 영상 이진화기; 및
    이진 영상으로 변환된 기준 영상과 각 비교 영상으로부터 객체를 추출하여 라벨링하는 객체 라벨러를 포함하는 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치.
  10. 제9항에 있어서,
    기준 영상과 각 비교 영상을 필터링하여 경계를 선명화하는 영상 여파기; 및
    상기 영상 여파기로부터 출력되는 경계 선명화 영상과 이진 영상을 합성하는 영상 합성기를 더 포함하고,
    상기 객체 라벨러는 합성된 영상으로부터 객체를 라벨링하는 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치.
  11. 제9항에 있어서, 상기 객체 라벨링부의 전단에,
    복수의 제2디지털 영상의 크기를 일정한 크기로 스케일링하거나 일정 폭의 영상 바운더리를 클리핑하여 영상을 리사이징하는 영상 리사이저; 또는
    기준 영상으로 입력되는 제2디지털 영상과 비교 영상으로 입력되는 제2디지털 영상 사이의 움직임 벡터를 산출하였을 때 움직임 벡터의 크기가 임계치를 초과하거나, 기준 영상으로 입력되는 제2디지털 영상과 비교 영상으로 입력되는 제2디지털 영상 사이의 밝기 차이가 임계치를 초과하지 않는 비교 영상을 객체 라벨링의 대상에서 제외시키는 영상 선별부를 더 포함하는 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치.
  12. 제9항에 있어서,
    각 비교 영상에 대해 산출되는 움직임량은 수평 이동(translation)에 따른 움직임량, 점회전(rotation)에 따른 움직임량, 스케일링(scaling)에 따른 움직임량 및 축회전(shear)에 따른 움직임량을 포함하는 그룹에서 선택된 어느 하나 또는 이들의 조합을 포함하는 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치.
  13. 제1항에 있어서, 상기 영상속성 보정부는,
    상기 제1디지털 영상과 손떨림 보정 영상의 크기 비율을 고려하여 손떨림 보정 영상의 픽셀 데이터를 제1디지털 영상의 픽셀 데이터로 치환 또는 보간하여 손떨림 보정 영상의 색상을 보정하는 색상보정부; 또는
    상기 제1디지털 영상과 손떨림 보정 영상의 밝기 차이를 정량화하여 밝기 보정의 강도를 적응적으로 선택한 후 선택된 강도에 의해 손떨림 보정 영상의 밝기를 보정하는 밝기보정부;를 포함하는 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치.
  14. 제1 노출도 조건에 따라 선택 가능한 제2노출도 조건을 정의하고 있는 센서 데이터 시트를 로딩하는 단계;
    제1디지털 영상이 촬상된 제1노출도 조건을 감지하는 단계;
    상기 센서 데이터 시트를 참조하여 상기 제1노출도 조건으로부터 상기 제2노출도 조건을 적응적으로 결정하여 이미지 센서의 노출 속성을 상기 제1노출도 조건으로부터 제2노출도 조건으로 변경하는 단계;
    상기 제1노출도 조건에 대응되는 상기 제1디지털 영상과 상기 제2노출도 조건에 대응되는 복수의 제2디지털 영상을 입력받는 단계;
    객체 추적을 통하여 복수의 상기 제2디지털 영상 중의 어느 하나인 기준 제2디지털 영상(기준 영상)을 기준으로 다른 제2디지털 영상(비교 영상)의 움직임을 보정하고 기준 영상과 보정된 비교 영상을 중첩시켜 손떨림 보정 영상을 생성하는 단계; 및
    상기 제1디지털 영상의 속성을 기준으로 상기 손떨림 보정 영상의 속성을 보정하는 단계;를 포함하는 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 방법.
  15. 삭제
  16. 제14항에 있어서,
    상기 제1노출도는 자동 노출 모드의 노출도이고,
    상기 제2노출도는 자동 노출 모드에 대응되는 조도보다 낮은 조도에 대응되는 노출도인 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 방법.
  17. 제14항에 있어서,
    상기 제1디지털 영상은 자동 노출 모드에서 일정한 프레임 간격으로 생성되는 미리보기 영상 중 셔터의 동작 시점을 기준으로 최근접 시점에 생성된 미리보기 영상 데이터인 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 방법.
  18. 제14항에 있어서,
    상기 제2디지털 영상은 정지 영상 캡쳐 모드에서 일정한 시간 간격을 두고 연속적으로 생성된 정지 캡쳐 영상 데이터인 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 방법.
  19. 제14항에 있어서, 상기 보정 영상 생성 단계는,
    복수의 제2디지털 영상을 기준 영상과 비교 영상 군으로 분류하는 단계;
    상기 기준 영상과 각각의 비교 영상으로부터 객체를 추출하여 라벨링하고 라벨링된 객체의 파라미터를 계산하는 단계;
    각 비교 영상의 객체와 기준 영상의 객체를 상호 매칭시킨 후 매칭된 객체의 파라미터를 이용하여 각 비교 영상의 움직임량을 산출하는 단계;
    산출된 각 움직임량을 해당하는 각 비교 영상에 적용하여 영상의 움직임을 보정하는 단계; 및
    상기 움직임이 보정된 비교 영상과 기준 영상을 중첩시켜 손떨림 보정 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 방법.
  20. 제19항에 있어서, 상기 파라미터 계산 단계는,
    객체 추출 대상 영상을 이진 영상으로 변환하는 단계; 및
    변환된 이진 영상으로부터 상호 연결된 백색 픽셀의 집합을 객체로 인식하여 추출하는 단계를 포함하는 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 방법.
  21. 제19항에 있어서, 상기 파라미터 계산 단계는,
    객체 추출 대상 영상을 필터링하여 경계를 선명화하는 단계;
    객체 추출 대상 영상을 이진 영상으로 변환하는 단계;
    상기 경계 선명화 영상과 이진 영상을 합성하는 단계; 및
    합성 영상으로부터 상호 연결된 백색 픽셀의 집합을 객체로 인식하여 추출하는 단계를 포함하는 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 방법.
  22. 제19항에 있어서, 상기 파라미터 계산 단계 전에,
    비교 영상으로 입력된 각각의 제2디지털 영상을 일정한 크기로 스케일링 또는 바운더리 클리핑을 하여 영상의 크기를 리사이징하는 단계; 또는
    기준 영상과 각 비교 영상 사이의 움직임 벡터를 산출하였을 때 움직임 벡터의 크기가 임계치를 초과하거나, 기준 영상과 각 비교 영상 사이의 밝기 차이가 임계치를 넘지 않는 비교 영상을 움직임 보정 대상에서 제외시키는 단계를 진행하는 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 방법.
  23. 제19항에 있어서,
    각 비교 영상에 대해 산출되는 움직임량은 수평 이동(translation)에 따른 움직임량, 점회전(rotation)에 따른 움직임량, 스케일링(scaling)에 따른 움직임량 및 축회전(shear)에 따른 움직임량을 포함하는 그룹에서 선택된 어느 하나 또는 이들의 조합을 포함하는 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 방법.
  24. 제14항에 있어서, 상기 영상 속성 보정 단계는,
    상기 제1디지털 영상과 손떨림 보정 영상의 크기 비율을 고려하여 손떨림 보정 영상의 픽셀 데이터를 제1디지털 영상의 픽셀 데이터로 치환 또는 보간하여 손떨림 보정 영상의 색상을 보정하는 단계; 또는
    상기 제1디지털 영상과 손떨림 보정 영상의 밝기 차이를 정량화하여 밝기 보정의 강도를 적응적으로 선택한 후 선택된 강도에 의해 손떨림 보정 영상의 밝기를 보정하는 단계를 포함하는 것을 특징으로 하는 객체 추적을 이용한 디지털 영상의 손떨림 보정 방법.
KR1020070111485A 2007-11-02 2007-11-02 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법 KR101041366B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020070111485A KR101041366B1 (ko) 2007-11-02 2007-11-02 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
DE602008006329T DE602008006329D1 (de) 2007-11-02 2008-10-30 Vorrichtung und Verfahren zur digitalen Bildstabilisierung mit Objektverfolgung
EP08019001A EP2059028B1 (en) 2007-11-02 2008-10-30 Apparatus and method for digital image stabilization using object tracking
US12/262,968 US7952614B2 (en) 2007-11-02 2008-10-31 Apparatus and method for digital image stabilization using object tracking
CN200810170411XA CN101426092B (zh) 2007-11-02 2008-11-03 使用对象跟踪的用于数字图像稳定的设备和方法
JP2008283548A JP4898761B2 (ja) 2007-11-02 2008-11-04 オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070111485A KR101041366B1 (ko) 2007-11-02 2007-11-02 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법

Publications (2)

Publication Number Publication Date
KR20090045585A KR20090045585A (ko) 2009-05-08
KR101041366B1 true KR101041366B1 (ko) 2011-06-14

Family

ID=40130575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070111485A KR101041366B1 (ko) 2007-11-02 2007-11-02 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법

Country Status (6)

Country Link
US (1) US7952614B2 (ko)
EP (1) EP2059028B1 (ko)
JP (1) JP4898761B2 (ko)
KR (1) KR101041366B1 (ko)
CN (1) CN101426092B (ko)
DE (1) DE602008006329D1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190057847A (ko) 2017-11-21 2019-05-29 (주)호모미미쿠스 반려견 견착 촬영 영상의 흔들림 보정 장치, 방법 및 시스템

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5036482B2 (ja) * 2007-10-19 2012-09-26 シリコン ヒフェ ベー．フェー． 画像処理装置及び画像処理方法、画像処理プログラム
JP2010141653A (ja) * 2008-12-12 2010-06-24 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
JP5106432B2 (ja) * 2009-01-23 2012-12-26 株式会社東芝 画像処理装置、方法、及びプログラム
KR101599872B1 (ko) * 2009-02-25 2016-03-04 삼성전자주식회사 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
US20110019018A1 (en) * 2009-07-22 2011-01-27 National Chung Cheng University Image comprssion system in coordination with camera motion
EP2474156A1 (en) * 2009-09-04 2012-07-11 Tannhäuser, Gunter Mobile wide-angle video recording system
JP5424835B2 (ja) * 2009-11-30 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
TWI444753B (zh) * 2010-11-16 2014-07-11 Altek Corp 影像擷取裝置及其曝光時間調整方法
KR101692401B1 (ko) * 2011-01-21 2017-01-03 삼성전자주식회사 영상 처리 방법 및 장치
JP5050256B1 (ja) * 2011-06-21 2012-10-17 オリンパス株式会社 撮像装置及び撮像方法
JP5240349B2 (ja) 2011-11-14 2013-07-17 カシオ計算機株式会社 画像合成装置、及びプログラム
KR101657525B1 (ko) * 2012-01-11 2016-09-19 한화테크윈 주식회사 기준 영상 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치
KR101657526B1 (ko) * 2012-01-11 2016-09-19 한화테크윈 주식회사 특징점 검사영역 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치
KR101986108B1 (ko) * 2012-12-06 2019-06-05 엘지이노텍 주식회사 선명도 향상장치
JP2014138242A (ja) * 2013-01-16 2014-07-28 Sony Corp 画像処理装置および画像処理方法
US9762848B2 (en) * 2013-03-15 2017-09-12 Google Inc. Automatic adjustment of video orientation
US9454827B2 (en) 2013-08-27 2016-09-27 Qualcomm Incorporated Systems, devices and methods for tracking objects on a display
JP6335058B2 (ja) * 2013-09-24 2018-05-30 キヤノン株式会社 撮像装置及び撮像方法
KR101403937B1 (ko) * 2014-01-24 2014-06-09 (주)인펙비전 흔들림 보정효율을 높인 동영상 안정화 장치 및 방법
US9524440B2 (en) 2014-04-04 2016-12-20 Myscript System and method for superimposed handwriting recognition technology
US9384403B2 (en) 2014-04-04 2016-07-05 Myscript System and method for superimposed handwriting recognition technology
KR20160051390A (ko) * 2014-11-03 2016-05-11 삼성전자주식회사 전자장치 및 전자장치의 필터 제공 방법
CN106303225A (zh) * 2016-07-29 2017-01-04 努比亚技术有限公司 一种图像处理方法及电子设备
JP6904843B2 (ja) * 2017-08-03 2021-07-21 キヤノン株式会社 撮像装置およびその制御方法
CN109660728B (zh) * 2018-12-29 2021-01-08 维沃移动通信有限公司 一种拍照方法及装置
WO2021025445A1 (en) * 2019-08-06 2021-02-11 Samsung Electronics Co., Ltd. Local histogram matching with global regularization and motion exclusion for multi-exposure image fusion
US11200653B2 (en) 2019-08-06 2021-12-14 Samsung Electronics Co., Ltd. Local histogram matching with global regularization and motion exclusion for multi-exposure image fusion
CN110675343B (zh) * 2019-09-24 2023-02-24 西安科技大学 一种井下输煤图像的图像增强方法
CN111798658A (zh) * 2019-11-08 2020-10-20 方勤 行驶车道通行效率检测平台

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060017837A1 (en) * 2004-07-22 2006-01-26 Sightic Vista Ltd. Enhancing digital photography
KR20070088528A (ko) * 2004-12-24 2007-08-29 가시오게산키 가부시키가이샤 영상 프로세서 및 영상 처리 프로그램

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985172B1 (en) * 1995-12-01 2006-01-10 Southwest Research Institute Model-based incident detection system with motion classification
US20010017650A1 (en) * 1999-12-23 2001-08-30 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for transmitting a video image
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
US7245320B2 (en) * 2002-06-04 2007-07-17 Micron Technology, Inc. Method and apparatus for automatic gain and exposure control for maintaining target image brightness in video imager systems
JP2006157568A (ja) 2004-11-30 2006-06-15 Konica Minolta Holdings Inc 撮像装置およびプログラム
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
JP4378272B2 (ja) * 2004-12-15 2009-12-02 キヤノン株式会社 撮影装置
JP2006191305A (ja) 2005-01-05 2006-07-20 Mitsubishi Electric Corp カメラ付き携帯端末装置
JP4741650B2 (ja) * 2005-03-17 2011-08-03 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー ビデオシーケンスにおけるオブジェクト追跡の方法
US7692696B2 (en) * 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
JP2006325274A (ja) 2006-09-11 2006-11-30 Olympus Corp 撮像装置
JP2007274731A (ja) * 2007-06-15 2007-10-18 Fujifilm Corp 手振れ補正方法
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060017837A1 (en) * 2004-07-22 2006-01-26 Sightic Vista Ltd. Enhancing digital photography
KR20070088528A (ko) * 2004-12-24 2007-08-29 가시오게산키 가부시키가이샤 영상 프로세서 및 영상 처리 프로그램

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190057847A (ko) 2017-11-21 2019-05-29 (주)호모미미쿠스 반려견 견착 촬영 영상의 흔들림 보정 장치, 방법 및 시스템

Also Published As

Publication number Publication date
CN101426092B (zh) 2011-11-23
JP2009118483A (ja) 2009-05-28
JP4898761B2 (ja) 2012-03-21
EP2059028B1 (en) 2011-04-20
US20090115858A1 (en) 2009-05-07
EP2059028A1 (en) 2009-05-13
KR20090045585A (ko) 2009-05-08
DE602008006329D1 (de) 2011-06-01
US7952614B2 (en) 2011-05-31
CN101426092A (zh) 2009-05-06

Similar Documents

Publication Publication Date Title
KR101041366B1 (ko) 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
KR101023946B1 (ko) 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
KR100793284B1 (ko) 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
US7990429B2 (en) Imaging device with blur enhancement
US8189960B2 (en) Image processing apparatus, image processing method, program and recording medium
US8294812B2 (en) Image-shooting apparatus capable of performing super-resolution processing
JP5113171B2 (ja) イメージ情報にフィルタをかけるための適応空間イメージフィルタ
US20160371821A1 (en) Image processing device, imaging device, image processing method, and program
US9113059B2 (en) Image pickup apparatus and image region discrimination method
US8472747B2 (en) Image composition device, image composition method, and storage medium storing program
US10298853B2 (en) Image processing apparatus, method of controlling image processing apparatus, and imaging apparatus
US20180061029A1 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program of image processing apparatus
JP5861924B2 (ja) 撮像装置
US10235742B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer-readable storage medium for adjustment of intensity of edge signal
JP6020904B2 (ja) 画像処理装置および撮像装置
JP5158069B2 (ja) 画像処理装置、及び、画像加工プログラム
US8498494B2 (en) Method and apparatus for processing a digital image signal, and a recording medium having recorded thereon a program for executing the method
JP5179859B2 (ja) 撮像装置及び撮像方法
JP5158167B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2018181070A (ja) 画像処理装置および画像処理方法
JP5539098B2 (ja) 画像処理装置及びその制御方法、及びプログラム
JP2004159087A (ja) スキャナシステム、画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140402

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151207

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160404

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170403

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee