KR100793284B1 - 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체 - Google Patents

디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체 Download PDF

Info

Publication number
KR100793284B1
KR100793284B1 KR1020070046024A KR20070046024A KR100793284B1 KR 100793284 B1 KR100793284 B1 KR 100793284B1 KR 1020070046024 A KR1020070046024 A KR 1020070046024A KR 20070046024 A KR20070046024 A KR 20070046024A KR 100793284 B1 KR100793284 B1 KR 100793284B1
Authority
KR
South Korea
Prior art keywords
image
size
exposure
brightness
condition
Prior art date
Application number
KR1020070046024A
Other languages
English (en)
Inventor
이영신
Original Assignee
주식회사 코아로직
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코아로직 filed Critical 주식회사 코아로직
Priority to KR1020070046024A priority Critical patent/KR100793284B1/ko
Application granted granted Critical
Publication of KR100793284B1 publication Critical patent/KR100793284B1/ko
Priority to US12/152,010 priority patent/US8125528B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을 프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체를 개시한다. 본 발명에 따른 디지털 영상의 손떨림 보정 장치는, 이미지 센서로부터 제1 및 제2노출도 조건(제1노출도 > 제2노출도)에서 생성된 영상 신호를 입력받아 제1 및 제2노출도 조건에 각각 대응되는 제1사이즈 및 제2사이즈(제1사이즈 < 제2사이즈)의 디지털 영상 신호를 출력하는 영상신호 처리 모듈 및 상기 제1노출도 조건으로부터 제2노출도 조건을 적응적으로 결정하여 이미지 센서의 노출 속성을 제1노출도 조건으로부터 제2노출도 조건으로 변경하고, 상기 제1사이즈 및 제2사이즈 영상 신호를 입력받아 제1사이즈의 영상 신호에 의해 제2사이즈의 영상 신호 속성을 보정하는 영상 응용처리 모듈을 포함한다.
본 발명에 따르면, 별도의 하드웨어가 없이도 손떨림에 의한 영상의 번짐 현상이 배제된 양호한 품질의 디지털 정지 영상을 얻을 수 있고, 밝고 선명하며 잡음이 없는 영상 획득이 가능하다.
손떨림 보정, 미리보기 영상, 정지 영상, 색상 보정, 밝기 보정, 잡음 제거

Description

디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을 프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체{Apparatus for digital image stabilizing, Method using the same and Computer readable medium stored thereon computer executable instruction for performing the method}
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 바람직한 실시예에 따른 디지털 영상의 손떨림 보정 장치의 블록 다이어그램이다.
도 2는 영상 응용처리 모듈의 색상보정부가 미리보기 영상을 기초로 정지 캡쳐 영상의 색상을 보정하는 과정을 상세하게 설명한 순서도이다.
도 3은 영상 응용처리 모듈의 밝기보정부가 미리보기 영상을 기초로 정지 캡쳐 영상의 밝기를 보정하는 과정을 상세하게 설명한 순서도이다.
도 4는 미리보기 모드에서 미리보기 영상이 생성되어 뷰 파인더를 통해 출력되기까지의 제어 흐름을 도시한 도면이다.
도 5는 디지털 영상 촬영장치의 셔터가 동작되어 피사체에 대한 정지 캡쳐 영상과 함께 정지 캡쳐 영상 보정시 참조 영상으로 활용되는 미리보기 영상이 획득되기까지의 제어 흐름을 나타낸 도면이다.
<도면의 주요 참조 번호>
10: 이미지 센서 20: 영상신호 처리 모듈
30: 센서 컨트롤부 40: 영상 응용처리 모듈
40a: 모드 전환부 40b: 색상보정부
40c: 잡음보정부 40d: 밝기보정부
50: 영상 표시 모듈 60: 사용자 인터페이스
70, 110: 인코딩부 80: 센서 데이터 시트
90: 디코딩부 100: 룩업 테이블
본 발명은 디지털 영상 처리에 대한 것으로서, 보다 상세하게는 디지털 영상의 획득 시 사용자의 손떨림에 의한 영상의 번짐 현상을 방지할 수 있는 손떨림 보정 방법 및 그 장치에 대한 것이다.
최근 CCD(Charge Coupled Device)나 CMOS(Complementary Metal-Oxide Semiconductor)등의 이미지 센서를 이용한 디지털 카메라가 널리 보급되어 사용되고 있다. 디지털 카메라는 카메라 전용 제품으로 상용화되기도 하지만, 휴대폰이나 PDA와 같은 핸드 헬드 단말기(hand-held terminal)와 결합된 형태로도 상용화되고 있다.
그런데 핸드 헬드 단말기에 있어서는 중앙연산처리기의 클럭 속도와 메모리의 용량이 퍼스널 컴퓨터용으로 개발되는 것에 비해 우수하지 않다. 그리고 단말기의 개발 방향이 얇은 두께와 작은 크기를 지향하고 있으므로, 카메라 등의 부가장치가 탑재되는데 있어서 공간적 제약이 많이 따른다. 따라서 카메라 전용 제품에 적용되는 여러 가지 영상 처리 기술이 핸드 헬드 단말기에 접목되는데 한계가 있을 수밖에 없는데, 그 중 하나가 촬영자의 손떨림에 의한 디지털 영상의 열화를 방지할 수 있는 손떨림 보정 기술이다.
잘 알려진 바와 같이, 디지털 카메라는 일반적으로 자동 노출(auto exposure) 모드를 지원한다. 자동 노출 모드에서는, 촬영 장소의 조도에 따라 노출도(EV: Exposure Value)가 자동으로 변경된다. 즉 어두운 장소에서는 노출도가 증가되고, 밝은 장소에서는 노출도가 감소된다.
그런데 노출도의 증가는 피사체에 대한 카메라의 노출시간 증가를 가져온다. 이러한 경우, 손떨림에 의한 초점의 미세한 움직임이 촬영된 영상에 반영되어 영상이 번져 보이는 블러링(blurring) 현상이 발생한다. 따라서 종래에는 DIS(Digital Image Stabilization) 방법, EIS(Electrical Image Stabilization) 방법, OIS(Optical Image Stabilization) 방법 등의 다양한 손떨림 보정 기술을 적용하여 블러링 현상을 방지하고 있다.
DIS 방법은 메모리에 저장된 영상 신호를 이용하여 손떨림을 검출/보정하는 방법이다. DIS 방법에서는, 촬상 소자에서 생성되어 메모리에 저장된 영상 신호 를 이용하여 움직임 벡터를 검출하고, 검출된 움직임 벡터를 이용하여 메모리의 읽기 타이밍을 변경함으로써 손떨림을 보정한다.
DIS 방법은 간단하게 손떨림을 보정할 수 있다는 장점이 있다. 하지만 변경된 읽기 타이밍에 의해 메모리로부터 읽어낼 수 있는 영상의 크기가 유효 화소영역의 크기와 동일하므로 메모리로부터 읽어낸 영상을 디지털 줌(Digital Zoom)으로 확대하여 재생/기록해야 하는 한계가 있다. 디지털 줌에 의한 확대 과정을 거쳐 영상이 재생/기록되면 영상의 화질 열화가 발생하는 문제가 있다.
EIS 방법은 각속도 센서와 고화소 촬상 소자를 이용하여 손떨림을 검출/보정하는 방법이다. EIS 방법에서는, 수평/수직 각속도 센서를 이용하여 손떨림량과 손떨림 방향을 검출한다. 그리고, 검출된 손떨림량과 손떨림 방향을 이용하여 고화소 촬상소자의 출력 타이밍을 변경함으로써 손떨림을 보정한다.
EIS 방법의 경우, 변경된 출력 타이밍에 의해 고화소 촬상소자에서 출력되는 영상 신호에 의해 구성되는 영상은 원 영상과 같은 크기이다. EIS 방법에 사용되는 고화소 촬상소자는 전체 화소수가 유효 화소수보다 훨씬 더 많기 때문이다. 따라서, EIS 방법에 의하면, 재생/기록되는 영상의 화질열화가 발생하지 않는다. 그러나, EIS 방법을 적용하기 위해서는, 각속도 센서가 더 필요하고 촬상소자도 고화소여야 하므로, 제조단가의 상승을 초래하는 문제가 있다.
OIS 방법은 각속도 센서와 프리즘을 이용하여 손떨림을 검출/보정하는 방법이다. OIS 방법은 수평/수직 각속도 센서를 이용하여 손떨림량과 손떨림 방향을 검출한다는측면에서 EIS방법과 동일하다. 하지만, OIS 방법은 손떨림을 보정하기 위해 촬상소자로 입사되는 광로를 변경할 수 있는 프리즘을 이용한다는 점에서 EIS 방법과 다르다.
OIS 방법의 경우, 재생/기록되는 영상의 화질열화가 발생하지 않고, 고화소의 촬상소자를 요하지 않는 장점이 있다. 하지만, OIS 방법을 위해서는 각속도 센서와 프리즘이 필요하기 때문에 촬영장치의 부피가 커지고 제조단가가 상승하게 된다. 뿐만 아니라, 프리즘 제어의 어려움도 OIS 방법의 단점으로 지적되고 있다.
본 발명은 상술한 종래기술의 문제를 해결하기 위하여 창안된 것으로서, 손떨림 보정을 위해 가속도 센서나 프리즘 등 별도의 하드웨어를 필요로 하지 않는 디지털 영상의 손떨림 보정 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은, 휴대폰이나 PDA 등 제한된 하드웨어 자원을 갖는 단말기에 탑재된 디지털 카메라에서도 DIS 방법과 같이 화질 열화가 수반되지 않으면서도 손떨림에 의한 블러링 현상을 방지할 수 있는 디지털 영상의 손떨림 보정 방법을 제공하는데 있다.
본 발명의 또 다른 목적은, 상기 손떨림 보정 방법을 구현하는 장치 및 이 장치가 탑재된 디지털 촬영장치를 제공하는데 있다.
본 발명의 또 다른 목적은 상기 손떨림 보정 방법을 프로그램화하여 수록한 컴퓨터로 읽을 수있는 기록매체를 제공하는데 있다.
상기 기술적 과제를 달성하기 위한 본 발명에 따른 디지털 영상의 손떨림 보정 장치는, 이미지 센서로부터 제1 및 제2노출도 조건(제1노출도 > 제2노출도)에서 생성된 영상 신호를 입력받아 제1 및 제2노출도 조건에 각각 대응되는 제1사이즈 및 제2사이즈(제1사이즈 < 제2사이즈)의 디지털 영상 신호를 출력하는 영상신호 처리 모듈 및 상기 제1노출도 조건으로부터 제2노출도 조건을 적응적으로 결정하여 이미지 센서의 노출 속성을 제1노출도 조건으로부터 제2노출도 조건으로 변경하고, 상기 제1사이즈 및 제2사이즈 영상 신호를 입력받아 제1사이즈의 영상 신호에 의해 제2사이즈의 영상 신호 속성을 보정하는 영상 응용처리 모듈을 포함한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 디지털 영상의 손떨림 보정 방법은, 이미지 센서로부터 제1노출도 조건에서 제1사이즈의 디지털 영상을 획득하는 단계, 상기 제1노출도 조건으로부터 제2노출도(제1노출도보다 작음) 조건을 적응적으로 결정하는 단계, 이미지 센서로부터 상기 제2노출도 조건에서 제2사이즈(제1사이즈보다 큼)의 디지털 영상을 획득하는 단계, 및 제1사이즈의 영상 신호를 기초로 제2사이즈의 영상 신호 속성을 보정하는 단계를 포함한다.
바람직하게, 상기 제1노출도는 자동 노출 모드의 노출도이고, 상기 제2노출도는 자동 노출 모드에 대응되는 조도보다 낮은 조도에 대응되는 노출도이다. 상기 제1 및 제2노출도 조건은 셔터 스피드 f 및 ISO 게인 I를 포함하는 파라미터에 의해 정의된다.
바람직하게, 상기 제1사이즈의 영상 신호는 자동 노출 모드에서 획득된 미리보기 영상 신호로서, 미리보기 모드에서 일정한 프레임 간격으로 생성되는 미리보기 영상 중 셔터의 동작 시점을 기준으로 최근접 시점에 생성된 미리보기 영상 신 호이다.
바람직하게, 상기 제2사이즈의 영상 신호는 영상 캡쳐 모드에서 획득된 풀 사이즈의 정지캡쳐 영상 신호이다.
본 발명에 따른 디지털 영상의 손떨림 보정 장치는, 상기 이미지 센서의 노출도 조건을 변경하는 센서 컨트롤부와 상기 제1노출도 조건에 따라 선택 가능한 제2노출도 조건을 정의하고 있는 센서 데이터 시트를 더 포함하고, 상기 영상 응용처리 모듈은 상기 센서 데이터 시트를 참조하여 제1노출도 조건에 대응되는 제2노출도 조건을 적응적으로 결정한 후 센서 컨트롤부를 제어하여 이미지 센서의 노출도를 제2노출도 조건으로 변경한다.
본 발명에 있어서, 상기 영상신호 처리 모듈은 제2사이즈의 영상 신호에 한해 인코딩을 수행하고, 상기 영상 응용처리 모듈은 제2사이즈의 영상 신호 속성에 대한 보정에 앞서 디코딩을 수행할 수 있다. 바람직하게, 상기 인코딩과 디코딩은 JPEG 표준에 의해 실행된다.
바람직하게, 상기 영상 응용처리 모듈은 제1사이즈 영상의 색상을 기초로 제2사이즈 영상의 색상을 보정하는 단계를 수행하는 색상보정부를 더 포함한다. 상기 색상보정부는 제2사이즈 영상과 제1사이즈 영상의 크기 비율을 고려하여 제2사이즈 영상의 픽셀 데이터를 제1사이즈 영상의 픽셀 데이터로 치환 또는 보간하여 제2사이즈 영상의 색상을 보정한다.
보다 구체적으로, 상기 색상보정부는, 제2사이즈 영상의 크기를 제1사이즈 영상의 크기로 스케일링하여 축소 영상을 생성하는 단계, 제1사이즈 영상을 참조 영상으로 하여 축소 영상의 움직임 벡터를 계산하는 단계, 및 계산된 움직임 벡터와 축소 영상의 스케일링 팩터를 고려하여 제2사이즈 영상의 픽셀 데이터를 제1사이즈 영상의 픽셀 데이터로 치환 또는 보간하는 단계를 수행한다.
바람직하게, 상기 영상 응용처리 모듈은 제1사이즈 영상의 밝기를 기초로 제2사이즈 영상의 밝기를 보정하는 단계를 수행하는 밝기보정부를 더 포함한다. 상기 밝기보정부는 제1사이즈 영상과 제2사이즈 영상의 밝기 차이를 정량화하여 밝기 보정의 강도를 적응적으로 선택한 후 선택된 강도에 의해 제2사이즈 영상의 밝기를 보정한다.
본 발명의 일 측면에 따르면, 상기 밝기보정부는 제2사이즈 영상의 크기를 제1사이즈 영상의 크기로 스케일링하여 축소 영상을 생성하는 단계, 축소 영상과 제1사이즈 영상의 히스토그램 평균값 위치의 차분을 계산하는 단계, 및 계산된 밝기 차분에 의해 밝기 보정의 강도를 적응적으로 선택한 후 선택된 강도에 의해 제2사이즈 영상의 밝기를 보정하는 단계를 수행한다.
본 발명의 다른 측면에 따르면, 상기 밝기보정부는 제1사이즈 영상과 제2사이즈 영상의 생성시 적용된 노출도 조건을 정의하는 파라미터의 차분을 계산하는 단계 및 계산된 파라미터 차분에 의해 밝기 보정의 강도를 적응적으로 선택한 후 선택된 강도에 의해 제2사이즈 영상의 밝기를 보정하는 단계를 수행한다.
바람직하게, 상기 영상 응용처리 제2사이즈 영상으로부터 잡음과 칼라 오류를 제거하는 잡음보정부를 더 포함한다. 상기 잡음보정부는 필터를 이용하여 제2사이즈의 영상으로부터 잡음과 칼라오류를 제거한다.
본 발명의 또 다른 기술적 과제는 상술한 본 발명에 따른 디지털 영상의 손떨림 보정장치를 포함하는 디지털 영상 촬영장치와, 상기 디지털 영상의 손떨림 보정 방법을 프로그램화하여 기록한 컴퓨터로 읽을 수 있는 기록매체에 의해서도 달성될 수 있다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명에 따른 디지털 영상의 손떨림 보정 장치는 각종 디지털 영상 촬영장치에 결합되어 사용된다. 여기서, 상기 디지털 영상 촬영장치는 디지털 카메라, 디지털 캠코더, 디지털 카메라가 장착된 휴대폰, PDA, 개인멀티미디어 재생기 등을 포함하며, 사용자의 셔터 조작에 따라 피사체의 영상을 획득하여 디지털 이미지로 변환한 후 저장매체에 저장하는 기능을 수행하는 장치를 일컫는다. 상용화되어 있는 디지털 영상 촬영장치는 전통적인 카메라와 달리 LCD 등의 디스플레이로 구성된 뷰 파인더(view finder)를 통해 촬영 영상에 포함될 대상을 미리 보여주는 미리보기(preview) 기능을 지원한다. 따라서 사용자는 미리보기 모드에서 촬영장치의 이동에 따라 짧은 프레임 간격으로 변화되는 영상을 뷰 파인더를 통해 미리 확인하면서 촬영자가 원하는 최적의 영상이 포착되면 셔터를 동작시켜 피사체에 대한 디지털 정지 영상을 획득하게 된다. 본 발명에 따른 손떨림 보정 장치는 셔터가 동작된 시점에 획득된 미리보기 영상을 이용하여 손떨림에 의한 디지털 정지 영상의 품질 저하를 방지하는 것을 특징으로 한다.
도 1은 본 발명의 바람직한 실시예에 따른 디지털 영상의 손떨림 보정 장치의 블록 다이어그램이다.
도 1을 참조하면, 본 발명에 따른 손떨림 보정 장치는 각종 디지털 영상 촬영장치에 장착되어 손떨림 보정 기능을 구현하는 것으로서, 이미지 센서(10), 영상신호 처리 모듈(20), 센서 컨트롤부(30), 영상 응용처리 모듈(40), 영상 표시 모듈(50) 및 사용자 인터페이스(60)를 포함한다.
상기 이미지 센서(10)는 피사체의 영상을 촬상하여 아날로그 영상 신호를 영상신호 처리 모듈(20)로 출력한다. 바람직하게, 상기 이미지 센서(10)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor)로 구성된 촬상소자이다. 하지만 본 발명이 이미지 센서(10)의 종류에 의해 한정되는 것은 아니다.
상기 이미지 센서(10)는 디지털 영상 촬영장치의 셔터가 동작되기 전에는 매우 짧은 프레임 주기로 피사체의 미리보기 영상(AP)을 생성하여 출력한다. 한편 디 지털 영상 촬영장치의 셔터가 동작되면, 피사체의 정지 캡쳐 영상(AC)을 출력한다. 미리보기 영상(AP)과 정지 캡쳐 영상(AC)은 각각 제1 및 제2노출도 조건에서 생성된다. 여기서, 노출도라 함은 EV(Exposure Value)를 의미하며, 이미지 센서(10)의 셔터 스피드를 나타내는 f와 센서의 감광도를 나타내는 ISO 게인(이하, I로 칭함)을 포함하는 파라미터에 의해 정의된다. 이미지 센서(10)의 노출도는 센서 컨트롤부(30)에 의해 설정된다. 노출도가 증가하면 이미지 센서(10)의 노광 시간도 함께 증가한다. 특정한 노출도에 대응되는 구체적인 f 값과 I 값은 이미지 센서(10)의 제조사에 의해 미리 정의되어 룩업 테이블의 형태로 참조된다.
바람직하게, 상기 제1노출도는 제2노출도보다 크다. 즉 제1노출도를 EV1이라 하고 제2노출도를 EV2라 할 때, 'EV1 > EV2'라는 조건을 만족한다. 바람직하게, 제1노출도는 디지털 촬영장치의 자동 노출(Auto Exposure) 모드에 대응되는 노출도이다. 대안적으로, 제1노출도는 사용자 인터페이스(60)를 통해 사용자가 임의로 설정할 수도 있고, 자동 노출 모드에 대응되는 노출도를 기준으로 미리 정해진 폭만큼 상승시키거나 감소시킬 수 있다. 상승 또는 증가 폭은 디지털 영상 촬영장치의 제조사에 의해 바람직한 값으로 설정된다.
바람직하게, 상기 제1노출도 조건에서 생성된 미리보기 영상(AP)은 디지털 영상 촬영장치의 셔터가 동작되기 전의 미리보기 모드에서 디스플레이 모듈(50)의 뷰 파인더(50c)를 통해 제공되는 피사체 동영상 중 셔터가 동작된 시점을 기준으로 가장 최근에 생성된 영상이다. 참고로, 미리보기 영상은 영상 응용처리 모듈(40)에 의해 디스플레이 메모리(50a)에 저장되며, 저장된 미리보기 영상은 디스플레이 구 동부(50b)에 의해 동영상의 형태로 뷰 파인더(50c)에 구비된 디스플레이를 통해 출력된다.
미리보기 영상(AP)은 매우 짧은 프레임 간격을 두고 연속적으로 생성된다. 따라서 제1노출도 조건에서 획득되는 미리보기 영상(AP)은 촬영자의 손떨림 영향에 의한 영상의 번짐 현상이 거의 없고, 셔터의 동작을 통해 획득되는 영상과 비교하여 볼 때 영상 내에 포함되는 피사체의 범위가 실질적으로 동일하고, 자동 노출 모드에서 생성되는 영상이므로 피사체의 밝기 및 색상 속성을 잘 보존하고 있다.
한편 제2노출도 조건에서 획득된 영상은 셔터가 동작된 시점에 획득되는 피사체의 정지 캡쳐 영상(AC)이다. 정지 캡쳐 영상(AC)은 미리보기 영상(AP)이 획득된 제1노출도 조건에 비해 피사체에 대한 노출시간이 충분히 작은 조건에서 획득된다. 따라서 정지 캡쳐 영상(AC)은 영상 촬영자의 손떨림 영향이 거의 없는 영상이다. 이미지 센서(10)의 노광시간이 작아지면, 손떨림 영향이 감소되기 때문이다. 하지만 정지 캡쳐 영상(AC)의 획득시 노출시간이 작아지면 미리보기 영상(AP)에 비해 피사체에 대한 밝기 및 색상 속성이 상대적으로 잘 보존되지 않는다.
상기 영상신호 처리 모듈(20)은 이미지 센서(10)로부터 출력되는 아날로그 영상 신호를 입력받아 디지털 영상 신호로 변환한 후 영상 응용처리 모듈(40)로 출력한다. 상기 디지털 영상 신호는 영상 내에 포함된 픽셀의 휘도 신호(Y)와 색차 신호(Cb, Cr)를 포함한다. 디지털 영상 신호는 YVU 색 좌표계 이외에 RGB 등의 다른 색 좌표계에 의한 신호로 구성될 수도 있다.
상기 영상신호 처리 모듈(20)은 디지털 영상 촬영장치의 셔터가 동작되기 전 까지는 일정한 프레임 간격으로 이미지 센서(10)에서 생성되는 미리보기 영상(AP)을 입력받아 디지털 신호로 변환한 후 뷰 파인더(50c)에 구비된 디스플레이의 해상도 규격(예컨대, 320*240, 240*320 등)에 맞도록 다운 스케일링한다. 한편 디지털 영상 촬영장치의 셔터가 동작되면 영상신호 처리 모듈(20)은 이미지 센서(10)에서 생성된 정지 캡쳐 영상(AC)을 입력 받아 디지털 신호로 변환하고 영상 촬영자가 지정한 이미지 해상도(320*240, 256*192 등)로 다운 스케일링을 한다. 영상신호 처리 모듈(20)에 의해 처리된 미리보기 영상(DP)과 정지 캡쳐 영상(DC)은 영상 응용처리 모듈(40)로 출력된다. 미리보기 영상(DP)은 디스플레이 규격에 맞도록 다운 스케일링되므로 정지 캡쳐 영상(DC)보다 영상의 크기가 작다. 한편 미리보기 영상(DP)과 정지 캡쳐 영상(DC)의 다운 스케일링은 후술하는 영상 응용처리 모듈(40)에 의해 이루어져도 무방하다.
상기 영상신호 처리 모듈(20)은 디지털 영상 신호를 압축 부호화하는 영상 인코딩부(70)를 더 포함할 수 있다. 바람직하게, 영상 인코딩부(70)는 JPEG 표준에 의해 디지털 영상 신호를 압축 부호화한다. 하지만 본 발명이 인코딩 방식에 의해 한정되는 것은 아니다. 상기 영상 인코딩부(70)는 디지털 신호로 변환된 정지 캡쳐 영상(DC)에 한해 압축 부호화를 수행할 수 있는데, 경우에 따라서 영상 인코딩 과정은 생략되어도 무방하다.
상기 영상신호 처리 모듈(20)은 본 발명이 속한 기술분야에서 ISP(Image Signal Processor)로 널리 알려져 있고, 영상 신호의 디지털 변환 과정은 당업자에게 공지되어 있으므로 상세한 설명은 생략한다.
상기 센서 컨트롤부(30)는 영상 응용처리 모듈(40)의 제어에 의해 이미지 센서(30)의 노출도 조건을 설정한다. 상기 센서 컨트롤부(30)는 디지털 영상 촬영장치의 셔터가 동작되기 전까지는 제1노출도 조건으로 이미지 센서(10)를 설정한다. 그리고 셔터가 동작되면 제2노출도 조건으로 이미지 센서(10)를 설정한다. 상기 제1 및 제2노출도 조건에 대응되는 파라미터는 영상 응용처리 모듈(40)로부터 수신한다. 상기 파라미터는 상술한 바와 같이 셔터 스피드 f와 ISO 게인 I를 포함한다.
상기 영상 응용처리 모듈(40)은 셔터가 동작되기 전에는 미리보기 모드로, 셔터가 동작되면 정지 영상의 캡쳐 모드로 동작한다. 이를 위해, 상기 영상 응용처리 모듈(40)은 모드 전환부(40a)를 포함한다. 모드 전환부(40a)는 셔터의 동작이 있기 전까지는 센서 컨트롤부(30)를 제어하여 이미지 센서(10)를 제1노출도 조건으로 설정하고 미리보기 모드로 이미지 센서(10)를 동작시킨다. 이에 따라, 이미지 센서(10)는 소정의 프레임 간격으로 미리보기 영상(AP)을 생성하여 영상신호 처리 모듈(20)로 출력한다. 그러면 영상 응용처리 모듈(40)은 영상신호 처리 모듈(20)로부터 주기적으로 제1노출도 조건에서 생성되어 디지털화된 미리보기 영상(DP)을 수신하여 디스플레이 메모리(50a)에 저장한다. 이렇게 저장된 미리보기 영상(DP)은 뷰 파인더(50c)의 디스플레이를 통해 동영상의 형태로 출력된다.
한편 사용자 인터페이스(60)의 셔터가 동작되면, 상기 모드 전환부(40a)는 셔터가 동작된 시점을 기준으로 최근접 시점에 생성된 미리보기 영상(DP)을 디스플레이 메모리(50a)로부터 리드하여 획득한다. 그런 다음, 제1노출도 조건으로부터 제2노출도 조건을 적응적으로 결정한 후, 센서 컨트롤부(30)를 제어하여 이미지 센 서(10)의 노출도 조건을 제1노출도 조건에서 제2노출도 조건으로 변경하여 정지 영상의 캡쳐 모드로 모드 전환을 한다.
여기서, 노출도 조건을 적응적으로 결정한다는 것은 제1노출도 조건에 따라 제2노출도 조건을 미리 정해진 레퍼런스를 참조하여 가변적으로 결정하는 것을 의미한다. 이를 위해, 제1노출도 조건을 정의하는 파라미터인 f와 I 값에 따라 제2노출도 조건을 정의하는 파라미터인 f' 및 I' 값을 1:1로 맵핑할 수 있는 센서 데이터 시트(80)가 제공되는 것이 바람직하다. 상기 센서 데이트 시트(80)는 영상 응용처리 모듈(40)이 기동될 때 레지스트리에 적재되어 참조된다. 한편, 본 발명은 제1노출도 조건에 따라 제2노출도 조건을 적응적으로 결정하는데 특징이 있으므로, 노출도 조건을 적응적으로 결정하기 위한 기술적 구성은 상술한 바에 한정되지 않고 여러 가지 변형이 가능함은 물론이다.
이미지 센서(10)의 노출도 조건이 제2노출도 조건으로 변경되면, 영상 응용처리모듈(40)은 센서 컨트롤부(30)를 제어하여 이미지 센서(10)에 정지 영상의 캡쳐 신호를 송신한다. 그러면 이미지 센서(10)는 피사체에 대한 정지 캡쳐 영상(AC)을 생성하여 영상신호 처리 모듈(20)로 출력한다. 영상신호 처리 모듈(20)은 정지 캡쳐 영상(AC)을 수신하여 디지털 처리와 스케일링을 수행한 후 영상 응용처리 모듈(40)로 출력한다. 영상 응용처리 모듈(40)은 정지 캡쳐 영상(DC)을 수신한 후 미리보기 모드에서 획득된 미리보기 영상(DP)을 이용하여 정지 캡쳐 영상(DC)의 여러 가지 영상 속성을 보정한다. 한편 영상신호 처리 모듈(20)은 상술한 바와 같이 정지 캡쳐 영상(DC)을 인코딩하여 출력할 수 있다. 이러한 경우, 정지 캡쳐 영상(DC) 의 속성을 보정하기에 앞서 정지 캡쳐 영상(DC)을 디코딩하는 것이 바람직하다. 이를 위해, 영상 응용처리 모듈(40)은 영상신호 처리 모듈(20)로부터 출력된 정지 캡쳐 영상(DC) 신호를 복호 신장하는 디코딩부(90)를 더 포함할 수 있다.
바람직하게, 미리보기 영상(DP)에 의해 보정되는 정지 캡쳐 영상(DC)의 속성은 영상의 색상, 잡음 및 밝기를 포함한다. 이를 위해, 영상 응용처리 모듈(40)은 색상보정부(40b), 잡음보정부(40c) 및 밝기보정부(40d)를 포함한다. 바람직하게, 정지 캡쳐 영상(DC)의 3가지 영상 속성을 보정하는 순서는 영상색상, 영상잡음 및 영상밝기의 순이다. 하지만 본 발명은 영상 속성의 보정 순서에 의해 한정되는 것은 아니므로, 임의의 순서로 보정 순서를 변경할 수도 있음은 자명하다.
도 2는 영상 응용처리 모듈(40)의 색상보정부(40b)가 미리보기 영상(DP)을 기초로 정지 캡쳐 영상(DC)의 색상을 보정하는 과정을 상세하게 설명한 순서도이다.
도 1 및 도 2를 참조하여 색상 보정 과정을 설명하면, 먼저 색상보정부(40b)는 정지 캡쳐 영상(DC)을 미리보기 영상(DP)의 크기로 스케일링하여 축소 캡쳐 영상을 생성한다(S10). 그런 다음, 미리보기 영상(DP)을 참조 영상으로 하여 축소 캡쳐 영상의 움직임 벡터를 계산한다(S20). 움직임 벡터는 미리보기 영상(DP)을 기준으로 축소 캡쳐 영상 내에 포함된 객체의 이동 방향과 이동량을 나타낸다. 움직임 벡터는 MPEG이나H.26x와 같은 공지된 영상 압축 표준 등에 널리 이용되고 있는 방식을 채용하여 산출할 수 있다. 즉 축소 캡쳐 영상을 일정한 크기의 블록으로 세분한 후 각 블록이 참조 영상의 어떤 영역으로부터 움직여 왔는지를 추정하여 움직임 벡터를 계산한다. 움직임 벡터가 계산되면, 색상보정부(40b)는 미리보기 영상(DP)의 각 픽셀 데이터를 움직임 벡터에 따라 위치를 이동시킨다(S30). 그러고 나서 픽셀의 위치 이동이 완료된 미리보기 영상을 기초로 보간법(interpolation)을 이용하여 정지 캡쳐 영상(DC)의 픽셀 데이터를 보정한다(S40). 즉, 미리보기 영상(DP)의 각 픽셀 위치(xi, yj)를 스케일링 팩터(축소 캡쳐 영상 생성시 적용했던 팩터임)를 감안하여 정지 캡쳐 영상(DC)의 위치(XI, YJ)로 환산한다. 그런 다음, 정지 캡쳐 영상(DC)의 (XI, YJ) 위치에 있는 픽셀 데이터를 미리보기 영상(DP)의 (xi, yj) 위치에 있는 픽셀 데이터로 치환한다. 한편 미리보기 영상(DP)의 픽셀 수는 정지 캡쳐 영상(DC)의 픽셀 수보다 작으므로, 정지 캡쳐 영상(DC)의 모든 픽셀 데이터가 미리보기 영상(DP)의 픽셀 데이터로 치환되지는 않는다. 따라서 정지 캡쳐 영상(DC)의 픽셀 데이터 중 미리보기 영상(DP)의 픽셀 데이터로 치환되지 않은 픽셀 데이터는 치환이 완료된 인접 픽셀 데이터를 이용하여 보간한다. 사용될 수 있는 보간법으로는 Bi-liner 법, Bi-Cubic 법, B-spline 법 등이 있는데, 본 발명이 이에 한정되는 것은 아니다.
상술한 각 단계를 거쳐 색상 보정이 완료된 정지 캡쳐 영상(DC)은 영상 응용처리 모듈(40)의 잡음보정부(40c)로 입력된다. 그러면, 잡음보정부(40c)는 여러 가지 공지된 잡음제거 필터를 이용하여 정지 캡쳐 영상(DC)의 잡음과 칼라 오류를 제거한다. 상기 필터로는 저역 통과 필터(Low pass filter), 메디안 필터(Median filter), 가우시안 필터(Gaussian filter), 라플라스-가우시안 필터(Laplacian of Gaussian filter), 가우시안 차분 필터(Difference of Gaussian filter) 등이 채용될 수 있다. 하지만 본 발명이 이에 한정되는 것은 아니며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자에게 영상 잡음을 제거할 수 있는 것으로 알려진 다른 방식의 필터링 기술도 채용될 수 있음은 자명하다.
상기한 바에 따라 잡음과 칼라 오류가 제거된 정지 캡쳐 영상(DC)은 밝기 보정부(40d)로 입력된다. 그러면, 밝기보정부(40d)는 미리보기 영상(DP) 및 정지 캡쳐 영상(DC)의 밝기 차이를 정량화한 후 정지 캡쳐 영상(DC)의 밝기 보정 강도를 적응적으로 결정하여 정지 캡쳐 영상(DC)의 밝기를 보정한다.
도 3은 영상 응용처리 모듈(40)의 밝기보정부(40d)가 미리보기 영상(DP)을 기초로 정지 캡쳐 영상(DC)의 밝기를 보정하는 과정을 상세하게 설명한 순서도이다.
도 1 및 도 3을 참조하여 밝기 보정 과정을 설명하면, 먼저 밝기보정부(40d)는 정지 캡쳐 영상(DC)의 크기를 미리보기 영상(DP)의 크기로 다운 스케일링하여 축소 캡쳐 영상을 생성한다(S50). 이 때, S50 단계를 별도로 진행하지 않고, 정지 캡쳐 영상(DC)의 색상 보정을 위해 생성한 축소 캡쳐 영상을 그대로 사용하여도 무방하다. 다음으로, 밝기보정부(40d)는 축소 캡쳐 영상과 미리보기 영상(DP)의 밝기 차이를 정량화한다(S60). 밝기 차이는 두 영상의 히스토그램 분포를 계산한 후 히스토그램 평균 값 위치의 차분에 의해 계산 가능하다. 예를 들어, 축소 캡쳐 영상 및 미리보기 영상(DP)에 대해 계산한 히스토그램의 평균값 위치가 각각 85 및 140이라면, 평균 값 위치의 차분은 55이다. 그런 다음, 밝기보정부(40d)는 평균 값 위 치의 차분에 따라 밝기 보정의 강도를 적응적으로 결정한 후 결정된 강도에 의해 정지 캡쳐 영상의 밝기를 보정한다(S70). 밝기 보정은 감마 함수 또는 레티넥스(Retinex) 알고리즘의 적용에 의해 이루어질 수 있다. 이러한 경우, 밝기 보정의 강도는 감마 함수 또는 레티넥스 알고리즘의 강도가 된다. 밝기 보정 알고리즘의 강도를 적응적으로 선택하기 위해, 평균 값 위치의 차분 값에 따라 선택 가능한 강도 레벨을 룩업 테이블(100)의 형태로 준비한 후 참조하는 것이 바람직하다.
한편, 정지 캡쳐 영상(DC)과 미리보기 영상(DP)의 밝기 차분은 제1노출도와 제2노출도를 정의하는 파라미터의 차분에 의해서도 정량화할 수 있다. 즉 제1노출도 및 제2노출도를 정의하는 파라미터인 f와 I의 차분에 의해 밝기 차이를 정량화한다. 예를 들어, 제1노출도에 해당하는 f와 I가 1/30 및 200이고, 제2노출도에 해당하는 f'와 I'가 1/60 및 100이라면, 셔터 스피드와 ISO 게인의 차분은 각각 1/60 및 100으로 정량화할 수 있다. 그런 다음, f 및 I의 차분에 의해 밝기 보정의 강도를 적응적으로 결정하여 캡쳐 영상의 밝기를 보정할 수 있다. 밝기 보정은 상기한 바와 마찬가지로 감마 함수 또는 레티넥스 알고리즘의 적용에 의해 이루어질 수 있다. 이러한 경우, 밝기 보정의 강도는 감마 함수 또는 레티넥스 알고리즘의 강도가 된다. 밝기 보정 알고리즘의 강도를 적응적으로 선택하기 위해, f 및 I의 차분 값에 따라 선택 가능한 강도 레벨을 룩업 테이블(100)의 형태로 준비한 후 참조하는 것이 바람직하다.
한편, 본 발명에서 정지 캡쳐 영상(DC)의 밝기를 보정하는데 사용되는 감마 함수 또는 레티넥스 알고리즘은 본 발명이 속한 기술분야에 널리 알려져 있다. 따 라서 이에 대한 구체적인 설명은 생략한다. 한편 본 발명은 밝기 보정시 적용되는 함수 또는 알고리즘의 구체적인 종류에 의해 한정되지 않으므로 영상의 밝기를 조정할 수 있다고 알려진 다른 기법들도 얼마든지 적용될 수 있다.
상술한 색상보정부(40b), 잡음보정부(40c) 및 밝기보정부(40d)에 의해 정지 캡쳐 영상(DC)의 색상, 잡음 및 밝기의 보정이 완료되면, 정지 캡쳐 영상(DC)는 압축 부호화되어 외부로 출력된다. 이를 위해, 영상 응용처리 모듈(40)은 보정이 완료된 정지 캡쳐 영상(DC)을 압축 부호화하는 인코딩부(110)를 더 포함한다. 바람직하게, 인코딩부(110)는 JPEG 표준에 의해 정지 캡쳐 영상(DC)를 압축 부호화하여 이미지 파일을 생성한 후 외부로 출력한다. 하지만 본 발명이 정지 캡쳐 영상(DC)을 압축 부호화하는 방식에 의해 한정되는 것은 아니다. 외부로 출력된 이미지 파일은 디지털 영상 촬영장치에 구비된 플래쉬 메모리와 같은 불활성 저장매체에 수록될 수 있다.
상기 사용자 인터페이스(60)는 디지털 카메라의 초점, 광학 또는 디지털 줌인/줌아웃, 화이트 밸런스, 노출 모드 등 디지털 영상을 촬영하기 위해 필요한 각종 파라미터의 조정과 셔터 조작을 하기 위해 디지털 영상 촬영장치에 구비되는 일반적인 인터페이스이다. 디지털 영상 촬영장치가 휴대폰 등의 핸드 헬드 단말기에 장착되는 경우, 사용자 인터페이스(60)는 헤드 헬드 단말기에 구비되는 키 패드 등에 의해 구현될 수도 있다.
다음으로, 상술한 구성을 가진 디지털 영상의 손떨림 보정 장치를 이용하여 디지털 영상이 촬영되는 과정을 보다 구체적으로 설명하기로 한다. 하기의 설명은 디지털 영상 촬영장치가 구동된 후 사용자 인터페이스의 조작을 통해 영상 촬영 모드가 시작된 것을 가정하고 있음을 미리 밝혀둔다.
도 4는 미리보기 모드에서 미리보기 영상이 생성되어 뷰 파인더를 통해 출력되기까지의 제어 흐름을 도시한 도면이다.
도 1 및 도 4를 참조하면, 영상 응용처리 모듈(40)은 영상 촬영 모드가 시작되면 센서 컨트롤부(30)를 제어하여 이미지 센서(10)를 제1노출도 조건으로 설정한다(P10). 노출도를 정의하는 셔터 스피드 f, ISO 게인 I 등의 파라미터는 디지털 영상 촬영장치의 구동 초기화시 레지스트리에 등록된 센서 데이터 시트(80)를 참조한다. 바람직하게, 제1노출도 조건은 자동 노출 모드에 따른 노출도 조건이다. 대안적으로, 제1노출도 조건은 사용자 인터페이스를 통해 사용자가 임의로 설정한 노출도 조건일 수도 있다.
제1노출도 조건으로 이미지 센서(10)가 설정되면, 영상 응용처리 모듈(40)은 센서 컨트롤부(30) 측으로 미리보기 영상의 생성을 요청한다(P20). 그러면 센서 컨트롤부(30)는 이미지 센서(10)로 미리보기 영상(AP)의 생성 신호를 주기적으로 송신한다(P30). 이에 따라, 이미지 센서(10)는 일정한 프레임 간격으로 피사체에 대한 미리보기 영상(AP)을 아날로그 신호의 형태로 영상신호 처리 모듈(20) 측에 출력한다(P40). 영상신호 처리 모듈(20)은 이미지 센서(10)로부터 주기적으로 출력되는 미리보기 영상(AP) 신호를 디지털화하고 뷰 파인더(50c)에 구비된 디스플레이의 규격에 맞도록 영상을 다운 스케일링하여 영상 응용처리 모듈(40)로 출력시킨다(P50). 그러면, 영상응용 처리 모듈(40)은 다운 스케일링된 미리보기 영상(DP)을 입력받아 디스플레이 메모리(50a)에 주기적으로 저장한다(P60). 한편 디스플레이 구동부(50b)는 디스플레이 메모리(50a)에 주기적으로 저장되는 미리보기 영상(DP)을 독출한다(P70). 그런 다음 미리보기 영상(DP)을 아날로그 신호로 변환하여 뷰 파인더(50c)에 구비된 디스플레이를 통해 일정한 프레임 간격으로 출력시킨다(P80).
도 5는 디지털 영상 촬영장치의 셔터가 동작되어 피사체에 대한 정지 캡쳐 영상(DC)과 함께 정지 캡쳐 영상(DC) 보정시 참조 영상으로 활용되는 미리보기 영상(DP)이 획득되기까지의 제어 흐름을 나타낸 도면이다.
도 1 및 도 5를 참조하면, 뷰 파인더(50c)의 디스플레이를 통해 출력되는 미리보기 영상 중 최적의 영상이 포착되어 촬영자가 셔터를 동작시키면, 먼저 응용 영상처리 모듈(40)은 미리보기 모드에서 정지 영상 캡쳐 모드로 영상 처리 모드를 전환한다. 그런 다음, 영상 응용처리 모듈(40)은 셔터 동작 시점을 기준으로 가장 최근접 시점에 생성된 미리보기 영상(DP)을 디스플레이 메모리(50a)로부터 리드하여 획득한다(P100). 그 다음, 제1노출도 조건으로부터 제2노출도 조건을 적응적으로 결정한 후, 센서 컨트롤부(30)를 제어하여 이미지 센서(10)를 제2노출도 조건으로 설정한다(P110). 제1노출도 조건으로부터 제2노출도 조건을 산출하는 구성에 대해서는 이미 상술한 바 있다.
이미지 센서(10)가 제2노출도 조건으로 설정되고 나면, 영상 응용처리 모듈(40)은 센서 컨트롤부(30) 측으로 정지 캡쳐 영상의 생성을 요청한다(P120). 그러면 센서 컨트롤부(30)는 이미지 센서(10)로 정지 캡쳐 영상의 생성 신호를 송신 한다(P130). 이에 따라, 이미지 센서(10)는 피사체에 대한 풀 사이즈의 정지 캡쳐 영상(AC)을 아날로그 신호의 형태로 영상신호 처리 모듈(20) 측에 출력한다(P140). 영상신호 처리 모듈(20)은 이미지 센서(10)로부터 출력되는 정지 캡쳐 영상(AC)을 디지털화하고 촬영자가 사용자 인터페이스(60)를 통하여 설정한 영상의 크기에 맞도록 영상을 스케일링하여 영상 응용처리 모듈(40)로 출력시킨다(P150). 그러면, 영상응용 처리 모듈(40)은 스케일링된 정지 캡쳐 영상(DC)을 입력받게 되며, 이로써 영상 보정시 참조 영상으로 활용되는 미리보기 영상(DP)과 정지 캡쳐 영상(DC)의 획득이 모두 완료된다.
위와 같은 과정을 거쳐 영상 응용처리 모듈(40)이 제1노출도 조건에서 생성된 미리보기 영상(DP)과 제2노출도 조건에서 생성된 정지 캡쳐 영상(DC)을 획득하면, 미리보기 영상(DP)을 기초로 한 정지 캡쳐 영상(DC)의 보정 과정이 진행된다.
즉, 상술한 바와 같이, 정지 캡쳐 영상(DC)을 미리보기 영상(DP)의 사이즈로 다운 스케일링한 후 미리보기 영상(DP)을 참조 영상으로 하여 축소 캡쳐 영상의 움직임 벡터를 계산하고, 움직임 벡터와 축소 캡쳐 영상의 생성시 적용된 스케일링 팩터를 고려하여 정지 캡쳐 영상(DC)의 픽셀 데이터를 미리보기 영상(DP)의 픽셀 데이터로 치환 또는 보간한다. 그런 다음, 공지된 잡음 제거 필터를 이용하여 정지 캡쳐 영상(DC)의 각종 잡음과 칼라 오류를 제거한다. 그러고 나서, 미리보기 영상(DP)과 정지 캡쳐 영상(DC)의 밝기 또는 노출도를 정의하는 파라미터의 차분에 의해 밝기 보정의 강도를 선택하여 정지 캡쳐 영상(DC)의 밝기를 보정한다.
위와 같이, 본 발명은 손떨림의 영향이 적은 노출도 조건에서 정지 캡쳐 영 상을 획득하고, 짧은 프레임 간격으로 생성되어 손떨림의 영향이 거의 없고 피사체의 밝기 및 색상 속성을 잘 보존하고 있는 미리보기 영상을 이용하여 정지 캡쳐 영상의 색상 및 밝기를 보정하고 색상 보정시 파생되는 잡음과 칼라 오류를 필터를 통해 제거함으로써 손떨림에 의한 영상 번짐 현상이 없는 양호한 품질의 디지털 영상을 얻을 수 있다.
도 6은 본 발명에 따른 디지털 영상의 손떨림 보정 방법이 적용된 디지털 영상 촬영 장치를 이용하여 촬영한 영상(B)과 손떨림 보정 기능이 지원되지 않는 일반 디지털 영상 촬영 장치를 이용하여 자동 노출 모드에서 촬영한 영상(A)을 비교한 사진이다. 도면에 도시된 바와 같이, 본 발명에 따른 손떨림 보정 방법이 적용된 영상 쪽이 번짐 현상이 없을 뿐만 아니라 더 밝고 선명하다는 것을 확인할 수 있다.
한편, 상술한 실시예에서, 영상신호 처리 모듈과 영상 응용처리 모듈은 기능적인 구분에 불과하다. 따라서 영상신호 처리 모듈과 영상 응용처리 모듈은 하나의 모듈로 통합될 수도 있고, 영상 응용처리 모듈 내에 포함된 하나 또는 2 이상의 서브 구성요소들은 별도의 모듈로 분리될 수도 있다. 아울러, 미리보기 영상의 스케일링 팩터는 뷰 파인더에 구비된 디스플레이 규격에 의해 제한되지 않는다. 따라서 보정 대상이 되는 정지 캡쳐 영상의 크기에 따라 미리보기 영상의 스케일링 팩터는 여러 가지로 변형이 가능하다. 예를 들어, 정지 캡쳐 영상이 갖는 폭과 높이가 미리보기 영상이 갖는 폭과 높이의 정수배가 되도록 미리보기 영상의 스케일링 팩터를 조절할 수 있다. 이러한 경우, 정지 캡쳐 영상의 색상 보정시 미리보기 영상과 정지 캡쳐 영상의 픽셀 위치를 매핑시키는데 있어서 연산량을 줄일 수 있는 이점이 있다.
상술한 본 발명에 따른 손떨림 보정 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 손떨림 보정 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 발명의 일 측면에 따르면, EIS 또는 OIS법과 달리 손떨림의 정도를 측정할 수 있는 각속도 센서나 프리즘 등의 하드웨어가 없이도 손떨림에 의한 영상 번 짐 현상을 배제할 수 있으므로 디지털 영상 촬영장치의 제조 원가를 절감할 수 있으면서도 양호한 품질의 디지털 정지 영상을 획득할 수 있다.
본 발명의 다른 측면에 따르면, DIS법과 달리 정지 캡쳐 영상의 저장시 디지털 줌 과정이 수반되지 않으므로 DIS법에 비해 양호한 품질의 디지털 정지 영상을 얻을 수 있다.
본 발명의 또 다른 측면에 따르면, 피사체에 대한 밝기와 색상 속성을 잘 보존하고 있는 미리보기 영상을 이용하여 정지 캡쳐 영상을 보정하므로 보다 선명하고 밝은 디지털 정지 영상을 얻을 수 있다.
본 발명의 또 다른 측면에 따르면, 필터를 이용하여 미리보기 영상의 색상 데이터에 의해 정지 캡쳐 영상의 색상 데이터를 보정하는 과정에서 파생되는 잡음을 제거함으로써 잡음에 의한 영상의 품질 열화를 방지할 수 있다.

Claims (28)

  1. 이미지 센서로부터 제1 및 제2노출도 조건(제1노출도 > 제2노출도)에서 생성된 영상 신호를 입력받아 제1 및 제2노출도 조건에 각각 대응되는 제1사이즈 및 제2사이즈(제1사이즈 < 제2사이즈)의 디지털 영상 신호를 출력하는 영상신호 처리 모듈 및
    상기 제1노출도 조건 및 제2노출도 조건의 상관 관계를 정의한 레퍼런스를 참조하여 상기 제1노출도 조건으로부터 제2노출도 조건을 적응적으로 결정하여 이미지 센서의 노출 속성을 제1노출도 조건으로부터 제2노출도 조건으로 변경하고, 상기 제1사이즈 및 제2사이즈 영상 신호를 입력받아 제1사이즈의 영상 신호에 의해 제2사이즈의 영상 신호 속성을 보정하는 영상 응용처리 모듈을 포함하는 것을 특징으로 하는 디지털 영상의 손떨림 보정 장치.
  2. 제1항에 있어서,
    상기 제1노출도는 자동 노출 모드의 노출도이고,
    상기 제2노출도는 자동 노출 모드에 대응되는 조도보다 낮은 조도에 대응되는 노출도인 것을 특징으로 하는 디지털 영상의 손떨림 보정 장치.
  3. 제1항에 있어서,
    상기 이미지 센서의 노출도 조건을 변경하는 센서 컨트롤부 및
    상기 제1노출도 조건에 대응되는 제2노출도 조건을 정의하고 있는 센서 데이터 시트를 레퍼런스로서 더 포함하고,
    상기 영상 응용처리 모듈은 상기 센서 데이터 시트를 참조하여 제1노출도 조건에 대응되는 제2노출도 조건을 결정한 후 센서 컨트롤부를 제어하여 이미지 센서의 노출도를 제2노출도 조건으로 변경하는 것을 특징으로 하는 디지털 영상의 손떨림 보정 장치.
  4. 제1항에 있어서,
    상기 제1사이즈의 영상 신호는 자동 노출 모드에서 획득된 미리보기 영상 신호인 것을 특징으로 하는 디지털 영상의 손떨림 보정 장치.
  5. 제4항에 있어서,
    상기 미리보기 영상 신호는 미리보기 모드에서 일정한 프레임 간격으로 생성되는 미리보기 영상 중 셔터의 동작 시점을 기준으로 최근접 시점에 생성된 미리보기 영상 신호인 것을 특징으로 하는 디지털 영상의 손떨림 보정 장치.
  6. 제1항에 있어서,
    상기 제2사이즈의 영상 신호는 영상 캡쳐 모드에서 획득된 정지캡쳐 영상 신호인 것을 특징으로 하는 디지털 영상의 손떨림 보정 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제1 및 제2노출도 조건은 셔터 스피드 f 및 ISO 게인 I를 포함하는 파라미터에 의해 정의되는 것을 특징으로 하는 디지털 영상의 손떨림 보정 장치.
  8. 제1항에 있어서,
    상기 영상신호 처리 모듈은 제2사이즈의 영상 신호에 한해 인코딩을 수행하고,
    상기 영상 응용처리 모듈은 제2사이즈의 영상 신호 속성에 대한 보정에 앞서 디코딩을 수행하는 것을 특징으로 하는 디지털 영상의 손떨림 보정 장치.
  9. 제8항에 있어서,
    상기 인코딩과 디코딩은 JPEG 표준에 의해 실행되는 것을 특징으로 하는 디지털 영상의 손떨림 보정 장치.
  10. 제1항에 있어서,
    상기 영상 응용처리 모듈은 색상보정부를 더 포함하고,
    상기 색상보정부는 제2사이즈 영상과 제1사이즈 영상의 크기 비율을 고려하여 제2사이즈 영상의 픽셀 데이터를 제1사이즈 영상의 픽셀 데이터로 치환 또는 보간하여 제2사이즈 영상의 색상을 보정하는 것을 특징으로 하는 디지털 영상의 손떨림 보정 장치.
  11. 제10항에 있어서, 상기 색상보정부는,
    제2사이즈 영상의 크기를 제1사이즈 영상의 크기로 스케일링하여 축소 영상을 생성하고, 제1사이즈 영상을 참조 영상으로 하여 축소 영상의 움직임 벡터를 계산하고, 움직임 벡터와 축소 영상의 스케일링 팩터를 고려하여 제2사이즈 영상의 픽셀 데이터를 제1사이즈 영상의 픽셀 데이터로 치환 또는 보간하는 것을 특징으로 하는 디지털 영상의 손떨림 보정 장치.
  12. 제1항에 있어서,
    상기 영상 응용처리 모듈은 밝기보정부를 더 포함하고,
    상기 밝기보정부는 제1사이즈 영상과 제2사이즈 영상의 밝기 차이를 정량화하여 밝기 보정의 강도를 적응적으로 선택한 후 선택된 강도에 의해 제2사이즈 영상의 밝기를 보정하는 것을 특징으로 하는 디지털 영상의 손떨림 보정 장치.
  13. 제12항에 있어서, 상기 밝기보정부는,
    제2사이즈 영상의 크기를 제1사이즈 영상의 크기로 스케일링하여 축소 영상을 생성하고, 축소 영상과 제1사이즈 영상의 히스토그램 평균값 위치의 차분을 계산하여 밝기 보정의 강도를 적응적으로 선택한 후 선택된 강도에 의해 제2사이즈 영상의 밝기를 보정하는 것을 특징으로 하는 디지털 영상의 손떨림 보정 장치.
  14. 제12항에 있어서, 상기 밝기보정부는,
    제1사이즈 영상과 제2사이즈 영상의 생성시 적용된 노출도 조건을 정의하는 파라미터의 차분에 의해 밝기 보정의 강도를 적응적으로 선택한 후 선택된 강도에 의해 제2사이즈 영상의 밝기를 보정하는 것을 특징으로 하는 디지털 영상의 손떨림 보정 장치.
  15. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 영상 응용처리 모듈은 잡음보정부를 더 포함하고,
    상기 잡음보정부는 필터를 이용하여 제2사이즈의 영상으로부터 잡음과 칼라오류를 제거하는 것을 특징으로 하는 디지털 영상의 손떨림 보정 장치.
  16. 제1항 내지 제6항 및 제8항 내지 제14항 중 어느 한 항에 따른 장치를 포함하는 디지털 영상 촬영장치.
  17. (a) 이미지 센서로부터 제1노출도 조건에서 제1사이즈의 디지털 영상을 획득하는 단계
    (b) 상기 제1노출도 조건 및 제2노출도 조건의 상관 관계를 정의한 레퍼런스를 참조하여 상기 제1노출도 조건으로부터 제2노출도(제1노출도보다 작음) 조건을 적응적으로 결정하는 단계
    (c) 이미지 센서로부터 상기 제2노출도 조건에서 제2사이즈(제1사이즈보다 큼)의 디지털 영상을 획득하는 단계 및
    (d) 제1사이즈의 영상 신호를 기초로 제2사이즈의 영상 신호 속성을 보정하는 단계를 포함하는 것을 특징으로 하는 디지털 영상의 손떨림 보정 방법.
  18. 제17항에 있어서,
    상기 레퍼런스는 상기 제1노출도 조건에 대응되는 제2노출도 조건을 정의하고 있는 센서 데이터 시트이고,
    상기 (b) 단계는, 상기 센서 데이터 시트를 참조하여, 제1노출도 조건에 대응되는 제2노출도 조건을 결정하는 단계임을 특징으로 하는 디지털 영상의 손떨림 보정 방법.
  19. 제17항에 있어서, 상기 (a) 단계에서,
    상기 제1노출도 조건은 자동 노출 모드에 해당하는 노출도 조건이고,
    상기 제1사이즈의 디지털 영상은 미리보기 모드에서 일정한 프레임 주기로 생성되는 미리보기 영상 중 셔터동작 시점을 기준으로 최근접 시점에 생성된 미리보기 영상임을 특징으로 하는 디지털 영상의 손떨림 보정 방법.
  20. 제17항에 있어서, 상기 (c) 단계에서,
    상기 제2노출도 조건은 자동 노출 모드의 노출시간보다 노출시간이 작은 저 노출 모드에 해당하는 노출도 조건이고,
    상기 제2사이즈의 디지털 영상은 셔터 동작시 획득되는 정지 캡쳐 영상임을 특징으로 하는 디지털 영상의 손떨림 보정 방법.
  21. 제17항에 있어서, 상기 (d) 단계는,
    상기 제2사이즈 영상과 제1사이즈 영상의 크기 비율을 고려하여 제2사이즈 영상의 픽셀 데이터를 제1사이즈 영상의 픽셀 데이터로 치환 또는 보간하여 제2사이즈 영상의 색상을 보정하는 단계임을 특징으로 하는 디지털 영상의 손떨림 보정 방법.
  22. 제21항에 있어서, 상기 (d) 단계는,
    상기 제2사이즈 영상을 제1사이즈로 스케일링하여 축소 영상을 생성하는 단계
    제1사이즈 영상을 참조 영상으로 하여 축소 영상의 움직임 벡터를 계산하는 단계 및
    상기 계산된 움직임 벡터와 축소 영상의 생성시 적용된 스케일링 팩터를 고려하여 제2사이즈 영상의 픽셀 데이터를 제1사이즈 영상의 픽셀 데이터로 치환 또는 보간하는 단계를 포함하는 것을 특징으로 하는 디지털 영상의 손떨림 보정 방법.
  23. 제17항에 있어서, 상기 (d) 단계는,
    상기 제1사이즈 영상과 제2사이즈 영상의 밝기 차이를 정량화하는 단계
    정량화된 밝기 차이에 의해 제2사이즈 영상의 밝기 보정 강도를 적응적으로 결정하는 단계 및
    결정된 밝기 보정 강도에 의해 제2사이즈 영상의 밝기를 보정하는 단계를 포 함하는 것을 특징으로 하는 디지털 영상의 손떨림 보정 방법.
  24. 제23항에 있어서, 상기 (d) 단계는,
    상기 제2사이즈 영상의 크기를 제1사이즈로 스케일링하여 축소 영상을 생성하는 단계
    상기 축소 영상과 제1사이즈 영상의 히스토그램을 계산하고, 각 영상의 히스토그램 평균치의 위치 차분에 의해 제1 및 제2사이즈 영상의 밝기 차이를 정량화하는 단계
    정량화된 밝기 차이에 의해 제2사이즈 영상의 밝기 보정 강도를 적응적으로 결정하는 단계 및
    결정된 밝기 보정 강도에 의해 제2사이즈 영상의 밝기를 보정하는 단계를 포함하는 것을 특징으로 하는 디지털 영상의 손떨림 보정 방법.
  25. 제23항에 있어서, 상기 (d) 단계는,
    상기 제1사이즈 영상과 제2사이즈 영상의 생성시 적용된 노출도 조건을 정의하는 f 또는 ISO 게인의 차분에 의해 제1 및 제2사이즈 영상의 밝기 차이를 정량화하는 단계
    정량화된 밝기 차이에 의해 제2사이즈 영상의 밝기 보정 강도를 적응적으로 결정하는 단계 및
    결정된 밝기 보정 강도에 의해 제2사이즈 영상의 밝기를 보정하는 단계를 포함하는 것을 특징으로 하는 디지털 영상의 손떨림 보정 방법.
  26. 제21항 내지 제25항 중 어느 한 항에 있어서,
    상기 (d) 단계는, 필터를 이용하여 제2사이즈 영상의 잡음과 칼라 오류를 제거하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상의 손떨림 보정 방법.
  27. 제17항 내지 제25항 중 어느 한 항에 있어서,
    상기 제1 및 제2노출도 조건은 셔터 스피드 f 및 ISO 게인 I를 포함하는 파라미터에 의해 정의되는 것을 특징으로 하는 디지털 영상의 손떨림 보정 방법.
  28. 제17항 내지 제25항 중 어느 한 항에 따른 방법을 프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020070046024A 2007-05-11 2007-05-11 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체 KR100793284B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070046024A KR100793284B1 (ko) 2007-05-11 2007-05-11 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
US12/152,010 US8125528B2 (en) 2007-05-11 2008-05-12 Apparatus for digital image stabilization, method using the same and computer readable medium stored thereon computer executable instructions for performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070046024A KR100793284B1 (ko) 2007-05-11 2007-05-11 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체

Publications (1)

Publication Number Publication Date
KR100793284B1 true KR100793284B1 (ko) 2008-01-10

Family

ID=39217358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070046024A KR100793284B1 (ko) 2007-05-11 2007-05-11 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체

Country Status (2)

Country Link
US (1) US8125528B2 (ko)
KR (1) KR100793284B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101141844B1 (ko) 2010-11-15 2012-05-07 한양대학교 산학협력단 저조도 환경에서의 영상 개선 방법 및 장치
KR101411325B1 (ko) 2008-01-24 2014-06-25 삼성전자주식회사 모션 커스텀 화이트 밸런스 기능을 구비하는 디지털 영상처리장치 및 그 제어방법
KR101905648B1 (ko) * 2012-02-27 2018-10-11 삼성전자 주식회사 카메라 장치의 동영상 촬영방법 및 장치
CN113347504A (zh) * 2021-05-31 2021-09-03 北京达佳互联信息技术有限公司 图像防抖处理的方法、装置和系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI376942B (en) * 2007-10-19 2012-11-11 Altek Corp Camera and method and system for stabilizing vibration and calibration method thereof
JP5180916B2 (ja) * 2008-06-25 2013-04-10 株式会社半導体エネルギー研究所 画像処理システム、及び画像処理方法
US8705887B2 (en) * 2008-08-22 2014-04-22 Weyerhaeuser Nr Company Method and apparatus for filling in or replacing image pixel data
JP5106432B2 (ja) * 2009-01-23 2012-12-26 株式会社東芝 画像処理装置、方法、及びプログラム
KR101599872B1 (ko) * 2009-02-25 2016-03-04 삼성전자주식회사 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
KR102482067B1 (ko) * 2015-11-27 2022-12-28 삼성전자주식회사 전자 장치 및 그의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050022748A (ko) * 2003-08-29 2005-03-08 삼성전자주식회사 조도차가 큰 사진의 화질 개선 장치 및 방법
KR20050023549A (ko) * 2003-08-28 2005-03-10 엠텍비젼 주식회사 손떨림 움직임 보상 카메라폰
KR20050076824A (ko) * 2004-01-23 2005-07-28 소니 가부시끼 가이샤 화상 처리 방법, 및 화상 처리 장치, 및 컴퓨터 프로그램

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5420635A (en) * 1991-08-30 1995-05-30 Fuji Photo Film Co., Ltd. Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
US7176962B2 (en) * 2001-03-01 2007-02-13 Nikon Corporation Digital camera and digital processing system for correcting motion blur using spatial frequency
US7639888B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
US20080259175A1 (en) * 2005-07-19 2008-10-23 Sharp Kabushiki Kaisha Imaging Device
EP2007133A2 (en) * 2006-04-11 2008-12-24 Panasonic Corporation Image pickup device
KR100761246B1 (ko) * 2006-10-04 2007-09-27 삼성전자주식회사 휴대용 단말기에서 손떨림 보정 방법 및 장치
US7602418B2 (en) * 2006-10-11 2009-10-13 Eastman Kodak Company Digital image with reduced object motion blur
KR100843098B1 (ko) * 2007-01-17 2008-07-02 삼성전자주식회사 이미지 촬상 장치의 손떨림을 보상하기 위한 장치 및 방법
US8379066B2 (en) * 2007-06-27 2013-02-19 Christie Digital Systems Usa, Inc. Method and apparatus for scaling an image to produce a scaled image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050023549A (ko) * 2003-08-28 2005-03-10 엠텍비젼 주식회사 손떨림 움직임 보상 카메라폰
KR20050022748A (ko) * 2003-08-29 2005-03-08 삼성전자주식회사 조도차가 큰 사진의 화질 개선 장치 및 방법
KR20050076824A (ko) * 2004-01-23 2005-07-28 소니 가부시끼 가이샤 화상 처리 방법, 및 화상 처리 장치, 및 컴퓨터 프로그램

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101411325B1 (ko) 2008-01-24 2014-06-25 삼성전자주식회사 모션 커스텀 화이트 밸런스 기능을 구비하는 디지털 영상처리장치 및 그 제어방법
KR101141844B1 (ko) 2010-11-15 2012-05-07 한양대학교 산학협력단 저조도 환경에서의 영상 개선 방법 및 장치
KR101905648B1 (ko) * 2012-02-27 2018-10-11 삼성전자 주식회사 카메라 장치의 동영상 촬영방법 및 장치
CN113347504A (zh) * 2021-05-31 2021-09-03 北京达佳互联信息技术有限公司 图像防抖处理的方法、装置和系统
CN113347504B (zh) * 2021-05-31 2022-10-11 北京达佳互联信息技术有限公司 图像防抖处理的方法、装置和系统

Also Published As

Publication number Publication date
US20080284859A1 (en) 2008-11-20
US8125528B2 (en) 2012-02-28

Similar Documents

Publication Publication Date Title
KR101041366B1 (ko) 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
KR100793284B1 (ko) 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
KR101023946B1 (ko) 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
US8581992B2 (en) Image capturing apparatus and camera shake correction method, and computer-readable medium
US8111300B2 (en) System and method to selectively combine video frame image data
US7853134B2 (en) Imaging device with image blurring reduction function
JP4987355B2 (ja) 撮像装置および撮像方法
US9113059B2 (en) Image pickup apparatus and image region discrimination method
JP5612017B2 (ja) カメラの手ぶれ低減システム
CN110475067B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP3974634B2 (ja) 撮像装置および撮像方法
WO2015011707A1 (en) Digital image processing
JP2010200179A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体
JP2007324770A (ja) 撮像装置および撮像方法
JP5861924B2 (ja) 撮像装置
JP6020904B2 (ja) 画像処理装置および撮像装置
JP5179859B2 (ja) 撮像装置及び撮像方法
JP5482428B2 (ja) 撮像装置、手ブレ補正方法、プログラム
JP5482427B2 (ja) 撮像装置、手ブレ補正方法、プログラム
JP2011155420A (ja) 手ぶれ補正装置、撮像処理方法及びプログラム
JP2009290588A (ja) 動きベクトル検出装置およびその方法、並びに撮像装置
JP2008118379A (ja) 撮影装置
JP2006109046A (ja) 撮像装置
JP2020005093A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP2004336243A (ja) 補正装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20130102

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140102

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee