KR20120124784A - 흔들림 보정 장치 및 이를 포함하는 디지털 촬영장치 - Google Patents

흔들림 보정 장치 및 이를 포함하는 디지털 촬영장치 Download PDF

Info

Publication number
KR20120124784A
KR20120124784A KR1020110042628A KR20110042628A KR20120124784A KR 20120124784 A KR20120124784 A KR 20120124784A KR 1020110042628 A KR1020110042628 A KR 1020110042628A KR 20110042628 A KR20110042628 A KR 20110042628A KR 20120124784 A KR20120124784 A KR 20120124784A
Authority
KR
South Korea
Prior art keywords
correction
amount
image
movement amount
movement
Prior art date
Application number
KR1020110042628A
Other languages
English (en)
Other versions
KR101675797B1 (ko
Inventor
타로 와타나베
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020110042628A priority Critical patent/KR101675797B1/ko
Publication of KR20120124784A publication Critical patent/KR20120124784A/ko
Application granted granted Critical
Publication of KR101675797B1 publication Critical patent/KR101675797B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 흔들림 보정 장치 및 이를 포함하는 디지털 촬영장치에 관한 것으로, 칼만 필터를 사용하여 순차적으로 입력되는 영상에서의 흔들림을 보정하는 흔들림 보정 장치로서, 순차적으로 입력되는 영상들 중, 이전 프레임의 영상과 현재 프레임의 영상 사이의 이동량을 계산하는 이동량 계산부와, 계산한 이동량을 순차적으로 합산하여 총 이동량을 계산하는 합산부와, 총 이동량에서 미리 설정된 변환값을 더하거나 빼서 수정 이동량을 계산하는 이동량 수정부와, 수정 이동량 및 칼만 필터를 사용하여 영상을 촬영한 촬영장치의 의도적 움직임인 트렌드(trend) 성분을 추출하는 트렌드 추출부와, 수정 이동량과 트렌드 성분의 차이로부터 보정량을 계산하는 보정량 계산부를 포함하는, 흔들림 보정 장치를 제공하여, 영상의 흔들림을 제거하여 선명한 영상을 얻을 수 있게 된다.

Description

흔들림 보정 장치 및 이를 포함하는 디지털 촬영장치{Shaking correction apparatus and digital imaging apparatus comprising thereof}
본 발명은 흔들림 보정 장치 및 이를 포함하는 디지털 촬영장치에 관한 것이다.
최근, 디지털 카메라, 캠코더, 감시 카메라 등의 디지털 촬영장치는 선명한 영상을 촬영하기 위하여 다양한 부품이나 기능을 추가하고 있다. 이때, 디지털 촬영장치 자체의 흔들림에 의하여 영상이 흐리게 번지는 경우가 있기 때문에, 이러한 번짐을 제거하는 다양한 연구도 수행되고 있다.
영상의 번짐을 제거하는 방법으로는 촬상소자 등의 흔들림을 제거하여 애초에 영상에 번짐이 발생하지 않게 하는 방법과 흔들림이 발생한 영상을 나중에 보정하여 영상을 선명하게 하는 방법이 있다.
본 발명의 실시 예들이 해결하고자 하는 기술적 과제는 영상의 흔들림을 제거하여 선명한 영상을 얻을 수 있는 흔들림 보정 장치 및 이를 포함하는 디지털 촬영장치를 제공하는데 있다.
상기 기술적 과제를 해결하기 위하여, 본 발명에 따른 실시 예들의 일 측면에 의하면, 칼만 필터를 사용하여 순차적으로 입력되는 영상에서의 흔들림을 보정하는 흔들림 보정 장치로서, 순차적으로 입력되는 영상들 중, 이전 프레임의 영상과 현재 프레임의 영상 사이의 이동량을 계산하는 이동량 계산부와, 계산한 이동량을 순차적으로 합산하여 총 이동량을 계산하는 합산부와, 총 이동량에서 미리 설정된 변환값을 더하거나 빼서 수정 이동량을 계산하는 이동량 수정부와, 수정 이동량 및 칼만 필터를 사용하여 영상을 촬영한 촬영장치의 의도적 움직임인 트렌드(trend) 성분을 추출하는 트렌드 추출부와, 수정 이동량과 트렌드 성분의 차이로부터 보정량을 계산하는 보정량 계산부를 포함하는, 흔들림 보정 장치를 제공한다.
이러한 본 실시 예의 다른 특징에 의하면, 이동량 수정부는, 총 이동량의 절대값이 기준치 이상일 때 수정 이동량을 계산할 수 있다.
본 실시 예의 또 다른 특징에 의하면, 이동량 수정부는, 미리 설정된 주기로 수정 이동량을 계산할 수 있다.
본 실시 예의 또 다른 특징에 의하면, 이동량 수정부는, 매 프레임마다 수정 이동량을 계산할 수 있다.
본 실시 예의 또 다른 특징에 의하면, 보정량의 크기에 따라서 칼만 필터의 상태 노이즈의 분산치를 변경할 수 있다.
본 실시 예의 또 다른 특징에 의하면, 보정량의 절대값이 클수록 노이즈 분산치를 증가시킬 수 있다.
본 실시 예의 또 다른 특징에 의하면, 수정 이동량의 주파수 분포에 따라서 칼만 필터의 상태 노이즈의 분산치 변경할 수 있다.
본 실시 예의 또 다른 특징에 의하면, 수정 이동량의 저주파수 성분 비율이 낮을수록 노이즈 분산치를 감소시킬 수 있다.
상기 기술적 과제를 해결하기 위하여, 본 발명에 따른 실시 예들의 다른 측면에 의하면, 피사체의 영상을 촬영하는 영상 촬영부와 촬영한 영상의 흔들림을 보정하는 흔들림 보정 장치를 포함하는, 디지털 촬영장치로서, 흔들림 보정 장치는, 순차적으로 촬영되는 영상들 중, 이전 프레임의 영상과 현재 프레임의 영상 사이의 이동량을 계산하는 이동량 계산부와, 계산한 이동량을 순차적으로 합산하여 총 이동량을 계산하는 합산부와, 총 이동량에서 미리 설정된 변환값을 더하거나 빼서 수정 이동량을 계산하는 이동량 수정부와, 수정 이동량 및 칼만 필터를 사용하여 디지털 촬영장치의 의도적 움직임인 트렌드(trend) 성분을 추출하는 트렌드 추출부와, 수정 이동량과 트렌드 성분의 차이로부터 보정량을 계산하는 보정량 계산부를 포함하는, 디지털 촬영장치를 제공한다.
상기와 같은 구성에 의하여, 영상의 흔들림을 제거하여 선명한 영상을 얻을 수 있는 흔들림 보정 장치 및 이를 포함하는 디지털 촬영장치를 제공할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 디지털 촬영장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 흔들림 보정 장치의 구성을 나타내는 블록도이다.
도 3은 영상의 총 이동량을 나타내는 그래프이다.
도 4는 본 발명의 일 실시 예에 따른 총 이동량의 수정 방법을 나타내는 그래프이다.
도 5는 본 발명의 다른 실시 예에 따른 총 이동량의 수정 방법을 나타내는 그래프이다.
도 6은 본 발명의 일 실시 예에 따른 상태 노이즈의 분산치를 변경하는 방법을 나타내는 그래프이다.
도 7은 본 발명의 다른 실시 예에 따른 상태 노이즈의 분산치를 변경하는 방법을 나타내는 그래프이다.
도 8은 본 발명의 일 실시 예에 따른 흔들림 보정 방법을 나타내는 흐름도이다.
도 9는 본 발명의 다른 실시 예에 따른 흔들림 보정 방법을 나타내는 흐름도이다.
이하, 본 발명에 따른 실시 예들을 첨부도면을 참조하여 상세히 설명하기로 한다. 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 수 있다. 또한, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 디지털 촬영장치(100)의 구성을 나타내는 블록도이다.
도 1을 참조하면, 본 실시 예에 따른 디지털 촬영장치(100)는, 렌즈부(110), 촬상소자(111), 촬상소자 제어부(112), 드라이버(113), 모터(114), 사전 처리부(120), 영상신호 처리부(121), 압축 신장부(122), CPU(130), ROM(131), RAM(132), 메모리 콘트롤러(133), 메모리(134), 조작부(140), 디스플레이부(150), 통신부(160) 등을 포함할 수 있다.
렌즈부(110)는 외부의 광 정보를 촬상소자(111)에 결상시키는 광학계 시스템으로, 피사체로부터의 광을 촬상소자(111)까지 투과시킨다. 렌즈부(110)는 초점거리를 변화시키는 줌 렌즈, 초점을 조절하는 포커스 렌즈 등의 렌즈군과 투과하는 광량을 조절하는 조리개 등으로 이루어진다.
렌즈부(110)에 포함되는 줌 렌즈, 조리개, 포커스 렌즈 등은 드라이버(113)로부터 구동신호를 인가받은 모터(114)에 의해 구동된다.
촬상소자(111)는 광전변환소자의 일례로서, 렌즈부(110)를 투과하여 입사된 영상광을 촬상하여 전기신호로 변환하는 광전 변환이 가능한 복수의 소자로 구성된다. 각 소자는 입사된 빛에 따른 전기신호를 생성하여 영상신호를 생성한다. 이때, 촬상소자(11)는 촬상소자 제어부(112)로부터의 타이밍 신호에 따라서 미리 설정된 주기로 프레임 영상을 촬상하여 영상신호를 주기적으로 생성한다. 촬상소자(111)는 CCD(charge coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서 등을 적용할 수 있다. 촬상소자(111)는 광전변환 및 Analog/Digital 변환에 의하여 생성한 디지털 신호를 사전 처리부(120)로 출력한다.
촬상소자 제어부(112)는 타이밍 신호를 생성하고, 타이밍 신호에 동기하여 상기 촬상소자(111)가 촬상하도록 제어한다.
사전 처리부(120)는 촬상소자(111)로부터 출력된 디지털 신호에 대해 처리를 하여 영상처리가 가능하게 되는 영상신호를 생성한다. 사전 처리부(120)는, 영상신호를 영상 신호 처리부(121)로 출력한다. 또한, 사전 처리부(120)는 RAM(132)으로의 영상 데이터의 읽기 및 쓰기를 제어한다.
상기 렌즈부(110), 촬상소자(111), 촬상소자 제어부(112), 사전 처리부(120)는 피사체 혹은 감시 영역을 촬영하는 촬영부의 일례일 수 있다.
영상 신호 처리부(121)는 사전 처리부(120)로부터 영상신호를 받아 WB 제어값, γ값, 윤곽 강조 제어값 등에 기초하여 영상 처리된 영상신호를 생성한다. 영상 처리된 영상신호는 압축 신장부(122)에 인가될 수 있다. 또는 영상 처리된 영상신호는 라이브 뷰 영상으로 사용될 수 있으며, RAM(132)을 거쳐서 디스플레이부(150)로 전송될 수도 있다.
한편, 본 실시 예에 따른 영상 신호 처리부(121)는 디지털 촬영장치(100)의 흔들림에 의하여 영상에 번짐이 발생한 경우, 이러한 번짐을 제거하는 흔들림 방지 기능을 포함할 수 있다. 즉, 영상 신호 처리부(121)는 흔들림 보정 장치의 일례일 수 있다. 영상의 흔들림을 보정하는 구체적인 방법에 대하여는 후술하도록 한다.
압축 신장부(122)는 압축 처리 전의 영상신호를 수신하여, 예를 들면 MPEG, ACI, MOV, ASD 등의 압축 형식으로 영상신호를 압축 처리한다. 디지털 촬영장치(100)가 촬영한 영상을 저장할 수 있는 메모리(134)를 구비하는 경우, 압축 신장부(122)는 압축 처리로 생성한 영상 데이터를 포함하는 영상 파일을 메모리 콘트롤러(133)로 전송하여 메모리(134)에 저장한다. 또는 압축 신장부(122)는 영상 파일을 통신부(160)에 입력하고, 통신부(160)를 통하여 디지털 촬영장치(100)를 제어하는 서버(미도시) 등으로 전송할 수도 있다. 또한 압축 신장부(122)는 디스플레이부(150)를 구비하는 경우, 메모리(134)에 저장된 영상 파일을 추출한 후 신장 처리를 수행하여 디스플레이부(150)에서 재생될 수 있도록 한다.
CPU(130)는, 프로그램에 의해 연산처리장치 및 제어장치로서 기능하고, 디지털 촬영장치(100) 내에 설치된 각 구성요소의 처리를 제어한다. CPU(130)는, 예를 들면 포커스 제어나 노출 제어에 기초하여 드라이버(113)로 신호를 출력하여 모터(114)를 구동시킨다. 또한, CPU(130)는 조작부(140)로부터의 신호에 기초하여 디지털 촬영장치(100)의 각 구성요소를 제어한다. 또, 본 실시 예에서는, CPU(130)가 하나만으로 이루어진 구성이지만, 신호계의 명령과 조작계의 명령을 별도의 CPU에서 행하는 등 복수의 CPU로 구성되어도 된다.
ROM(read only memory, 131)은 촬영 조건 등과 관련된 사용자의 설정 데이터가 저장될 수 있다. 또한 ROM(131)은 CPU(130)에서 디지털 촬영장치(100)를 제어하기 위하여 사용하는 알고리즘이 저장될 수 있다. 이러한 ROM(131)으로는 EEPROM(electrically erasable and programmable read only memory) 등이 사용될 수 있다.
RAM(random access memory, 132)은 사전 처리부(120)에서 출력된 영상신호, 영상 신호 처리부(121)에서 신호 처리 과정에서 생성되는 데이터 등, 각종 데이터를 일시적으로 저장하는 부분이다. RAM(132)으로 DRAM(dynamic RAM)을 사용할 수 있다.
메모리 컨트롤러(133)는 메모리(134)로의 영상 데이터의 기입, 또는 상기 메모리(134)에 기록된 영상 데이터나 설정 정보 등의 독출을 제어한다. 메모리(134)는, 예를 들면 광디스크(CD, DVD, 블루레이 디스크 등), 광자기 디스크, 자기 디스크, 반도체 기억 매체 등으로서, 촬영된 영상 데이터를 기록한다. 상기 영상 데이터는 압축 신장부(122)에서 생성된 영상 파일에 포함된 것일 수 있다. 메모리 콘트롤러(133), 메모리(134)는 디지털 촬영장치(100)로부터 착탈 가능하게 구성되어도 좋다.
그러나 메모리 콘트롤러(133) 및 메모리(134)는 디지털 촬영장치(100)에 반드시 설치되어야 하는 것은 아니며, 디지털 촬영장치(100)가 네트워크를 통하여 서버와 연결되는 네트워크 카메라, 감시 카메라 등일 경우에는 디지털 촬영장치(100)를 제어하는 서버 측에 영상 데이터 등을 저장하기 위한 서버 메모리가 구비될 수 있을 것이다. 이때, 영상 데이터 등은 통신부(160)에 의하여 네트워크를 통하여 디지털 촬영장치(100)로부터 서버로 전송될 수 있을 것이다.
조작부(140)는, 예를 들면 디지털 촬영장치(100)에 설치된 각종 버튼이나 레버 등을 포함하며, 사용자에 의한 조작에 기초하여 조작신호를 CPU(130) 등에 전송한다. 조작부(140)는 디지털 촬영장치(100)에 반드시 설치되어야 하는 것은 아니며, 디지털 촬영장치(100)가 네트워크로 연결된 네트워크 카메라, 감시 카메라 등일 경우에는 디지털 촬영장치(100)를 제어하는 서버 측에 서버 조작부를 구비하고, 이를 통하여 인가되는 신호를 통하여 디지털 촬영장치(100)의 동작을 제어할 수도 있을 것이다.
디스플레이부(150)는 촬영된 영상이나 촬영되어 메모리(134)에 저장된 영상, 또는 압축 신장부(122)에서 신장 처리된 영상 등을 표시한다. 또한 디스플레이부(150)는 디지털 촬영장치(100)의 제어를 위한 각종 설정 화면 등이 표시될 수 있다.
디스플레이부(150)는 디지털 촬영장치(100)에 반드시 설치되어야 하는 것은 아니며, 디지털 촬영장치(100)가 네트워크로 연결된 네트워크 카메라, 감시 카메라 등일 경우에는 디지털 촬영장치(100)를 제어하는 서버 측에 서버 디스플레이부를 구비하여 촬영된 영상이나 각종 설정 화면 등을 표시할 수 있을 것이다.
통신부(160)는 디지털 촬영장치(100)에서 촬영된 라이브 뷰 영상이나 촬영되어 메모리(134)에 저장된 영상을 유선 또는 무선 네트워크를 통하여 외부 장치, 예를 들어 서버로 전송한다. 또한 통신부(160)는 네트워크를 통하여 서버로부터 전송되는 각종 명령 신호를 수신한다.
이하, 흔들림 보정 장치 및 방법에 대하여 구체적으로 살펴보도록 한다.
도 2는 본 발명의 일 실시 예에 따른 흔들림 보정 장치(200)의 구성을 나타내는 블록도이다.
도 2를 참조하면, 흔들림 보정 장치(200)는 이동량 계산부(210), 합산부(220), 이동량 수정부(230), 트렌드 추출부(240), 보정량 계산부(250)를 포함할 수 있다.
이동량 계산부(210)에는 촬영된 영상 혹은 외부로부터 전송된 영상이 순차적으로 입력된다. 여기서 순차적으로 입력되는 영상이란 프레임 순서대로 입력되는 영상을 의미할 수 있다. 이동량 계산부(210)는 입력되는 영상들 중에서, 이전 프레임의 영상과 현재 프레임의 영상 사이의 이동량을 계산한다. 여기서 영상의 이동량은 디지털 촬영장치(100)의 이동에 따라서 발생하는 값이다.
합산부(220)는 이동량 계산부(210)에서 계산한 매 프레임마다의 이동량을 합산하여 총 이동량을 계산한다. 총 이동량은 어느 특정 기준 시점으로부터 디지털 촬영장치(100)가 이동한 총 양을 의미한다.
이동량 수정부(230)는 미리 설정된 조건을 만족할 때에, 총 이동량에서 미리 설정된 변환값을 더하거나 빼서 수정 이동량을 계산한다. 이때, 총 이동량이 양수일 때에는 총 이동량에서 변환값을 빼도록 하며, 총 이동량이 음수일 때에는 총 이동량에서 변환값을 더하도록 한다.
여기서 미리 설정된 조건이란 총 이동량의 절대값이 기준치 이상일 때를 의미할 수 있다. 총 이동량의 절대값이 기준치 이상일 때에는 총 이동량에 미리 설정된 변환값을 더하거나 빼서 수정 이동량을 계산한다. 이때 변환값은 기준치가 된다.
혹은 미리 설정된 조건이란 미리 설정된 주기를 경과했을 때를 의미할 수 있다. 이동량을 합산한 기간이 기준 시간 이상일 때에는 총 이동량을 0으로 변환하고, 이를 수정 이동량으로 할 수 있다. 즉, 이때의 변환값은 총 이동량일 수 있다.만약, 매 프레임마다 총 이동량을 수정할 것으로 설정한 경우, 기준 시간은 영상의 한 프레임의 길이가 된다.
물론 이동량 수정부(230)는 미리 설정된 조건이 만족되지 않은 경우에는 입력된 총 이동량을 수정 이동량으로 하여 출력한다.
트렌드 추출부(240)는 수정 이동량 및 칼만 필터(Kalman Filter)를 사용하여 디지털 촬영장치(100)의 의도적인 움직임인 트렌드(trend) 성분을 추출한다. PTZ 카메라의 경우, 트렌드 성분은 예를 들어, 팬/틸트 동작일 수 있다.
여기서 칼만 필터를 사용하여 트렌드 성분을 구하는 것을 설명한다.
기준 영상을 0프레임으로 하며, n-1프레임에서 n프레임으로의 영상 이동량을 dx(n), dy(n)으로 하면, n 프레임에서의 영상의 총 이동량은 다음과 같이 나타낼 수 있다.
[수학식 1]
Figure pat00001
Figure pat00002
여기서 (x(n), y(n))은 시계열 신호이다. 시계열 신호를 장기적 변동 경향을 나타내는 성분, 즉 트렌드 성분인 (tx (n),ty(n))과 백색 잡음(white noise)인 (wx(n),wy(n))로 이루어진 모델로 생각한다. 그러면 (x(n), y(n))을 다음과 같이 나타낼 수 있다.
[수학식 2]
x(n) = tx(n) + wx(n)
y(n) = ty(n) + wy(n)
총 이동량 중에서 트렌드 성분을 (tx (n),ty(n))라고 하였으므로, 흔들림 보정량인 (cx (n),cy(n))은 다음과 같이 나타낼 수 있다.
[수학식 3]
cx(n) = x(n) - tx(n)
cy(n) = y(n) - ty(n)
그런데 수평방향의 흔들림과 수직방향의 흔들림은 독립적으로 취급할 수 있다. 따라서 이하에서는 수평방향의 흔들림에 대해서 설명하도록 한다.
우선 트렌드 성분인 tx(n)의 시계열 모델을 구한다. tx(n)가 k-1차 다항식이라고 가정하면, 그 시계열 모델은 다음과 같이 나타낼 수 있다.
[수학식 4]
Figure pat00003
,
Figure pat00004
여기서 vx(n)은 프로세스 노이즈(process noise)로서, 평균이 0이고 분산이 qx인 정규 백색 잡음(normal white noise)이다. 따라서 상태공간 모델은 다음과 같이 나타낼 수 있다.
[수학식 5]
Figure pat00005
Figure pat00006
Figure pat00007
Figure pat00008
Figure pat00009
Figure pat00010
여기서 wx(n)은 관측 노이즈(measurment noise)로서, 평균이 0이고 분산이 rx인 정규 백색 잡음(normal white noise)이다.
상기와 같이 상태공간 모델을 만든 후, 칼만 필터를 적용하여 sx(n)을 추정하게 된다. 우선 상태 sx(n)의 조건부 평균과 공분산 행렬을 각각 다음과 같이 나타낸다.
[수학식 6]
Figure pat00011
Figure pat00012
Figure pat00013
칼만 필터는 j=n-1인 경우(1기 선 예측)와 j=n(필터)인 경우를 반복하는 것에 의하여 sx(n)을 구할 수 있다.
j=n-1인 경우는 다음과 같다.
[수학식 7]
Figure pat00014
Figure pat00015
j=n인 경우는 다음과 같다.
[수학식 8]
Figure pat00016
Figure pat00017
Figure pat00018
각 변수의 초기치(n=0)는 다음과 같이 나타낸다.
[수학식 9]
Figure pat00019
,
Figure pat00020
qx = 적당한 양의 수 (0 < qx < 1), rx = 1
상기 수식들에 의하여 칼만 필터를 적용하는 경우, 총 이동량 및 보정량에 대해서 설명하도록 한다.
도 3은 영상의 총 이동량을 나타내는 그래프이다. 가로축은 영상의 프레임(혹은 시간)을 나타내며, 세로축은 영상 이동량을 합산한 총 이동량을 나타낸다.
도 3을 참조하면, 프레임이 지날수록, 즉 시간이 경과할수록 영상의 총 이동량이 증가한다. 이때, 총 이동량이 증가하는 원인으로는 트렌드 성분과 흔들림 성분이 있을 것이다. 실선으로 나타낸 부분이 실제 측정된 총 이동량이며, 점선으로 나타낸 부분이 트렌드 성분이다.
종래에는 총 이동량으로부터 트렌드 성분을 추출하고, 총 이동량과 트렌드 성분의 차이만큼을 보정량으로 하여 흔들림 보정을 수행하였다. 그러나, 시간이 경과할수록 총 이동량은 점점 누적되어 매우 큰 값이 된다. 예를 들어, 감시 카메라가 동일한 방향으로 계속 회전하는 경우, 수평방향으로 영상 이동량이 발생하며, 총 이동량은 점점 증가하게 된다. 이러한 경우 CPU 등에서의 연산에 큰 부하가 걸리게 되어 연산 능력이 저하되는 문제가 있었다.
또한, 보정 성분에서 트렌드 성분을 완벽하게 제거하려면 흔들림 성분의 일부까지 제거되어 흔들림 보정 정밀도가 저하된다. 반면에, 보정 성분에서 트렌드 성분을 남겨두고 흔들림 보정 밀도를 높이면 보정량이 보정 범위를 넘어서서 오히려 보정이 전혀 이루어지지 않은 것과 같이 되어버리는 경우가 발생한다. 더욱이, 흔들림이 없어졌을 때 영상의 중심이 광축에 오도록 보정량을 제어하여야 하지만, 흔들림 보정 감도를 높게 하면 영상의 중심이 광축에 올 때까지의 시간이 길어지는 문제가 발생한다.
따라서 본 발명의 실시 예들에서는 다음과 같은 방식에 의하여 보정량이 계산될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 총 이동량의 수정 방법을 나타내는 그래프이다. 본 실시 예는 총 이동량을 기준치 미만으로 유지하는 방법에 대해서 설명한다.
도 4를 참조하면, t1에서 총 이동량이 미리 설정된 기준치인 Tmax가 되었다. 따라서 총 이동량에 상기 기준치를 뺀 값을 새로운 총 이동량, 즉 수정 이동량으로 한다. 기준치인 Tmax만큼이 총 이동량에서 제거되었으며, 따라서 t1에서 다시 총 이동량을 0으로 하여 새로 총 이동량을 계산하기 시작한다.
도 4와 같은 방법을 칼만 필터에 관한 수식으로 다시 설명한다.
기준치를 Tmax로 한다. 총 이동량 x(n)의 절대값이 Tmax보다 클 때 다음과 같이 처리한다.
1) x(n) ≥ 0 일 때
x(n) - Tmax -> x(n)
Figure pat00021
여기서 1은 모든 요소가 1인 벡터
2) x(n) ≤ 0 일 때
x(n) + Tmax -> x(n)
Figure pat00022
여기서 1은 모든 요소가 1인 벡터
도 5는 본 발명의 다른 실시 예에 따른 총 이동량의 수정 방법을 나타내는 그래프이다. 본 실시 예는 총 이동량을 일정 주기마다 수정하는 방법에 대해서 설명한다.
도 5를 참조하면, t1, t2,...t8와 같이 일정 간격마다 총 이동량을 다시 원점으로 되돌린다. 즉 수정 이동량을 0으로 하고 새로 총 이동량을 계산하기 시작한다. 여기서 일정 간격은 한 프레임이 촬영되는데 걸리는 시간일 수 있다.
도 5와 같은 방법을 칼만 필터에 관한 수식으로 다시 설명한다.
x(n)=0으로 일정 간격마다(예를 들어, 매 프레임마다) 설정.
Figure pat00023
여기서 1은 모든 요소가 1인 벡터
한편, 트렌드 추출부(240)는 칼만 필터에서의 프로세스 노이즈(process noise)의 분산값을 변경하여 보정량의 감도를 조절할 수 있다.
칼만 필터에 있어서, 프로세스 노이즈의 분산값이 크면 칼만 게인(K)의 크기가 작아지며, 이로 인하여 새로 측정된 값에 대한 의존도가 낮아지게 되며 시스템의 상태 예측 공식에 대한 의존도가 높아지게 된다. 반대로, 프로세스 노이즈의 분산값이 작으면 칼만 게인(K)의 크기가 커지며, 이로 인하여 새로 측정된 값에 대한 의존도가 높아지게 되며 시스템의 상태 예측 공식에 대한 의존도가 낮아지게 된다. 다시 말해, 노이즈의 분산값이 작을수록 보정량에 트렌드 성분이 포함되는 양이 많아지게 되며, 결과적으로 영상에서 트렌드 성분이 제거된다.
따라서 트렌드 추출부(240)는 보정량의 절대값이 클수록 분산값을 크게 하여 보정량에 트렌드 성분이 포함되지 않도록 한다. 이를 위하여 트렌드 추출부(240)는 후술하는 보정량 계산부(250)로부터 보정량을 피드백 받을 수 있다.
도 6은 본 발명의 일 실시 예에 따른 상태 노이즈의 분산치를 변경하는 방법을 나타내는 그래프이다.
도 6을 참조하면, 상술한 바와 같이 보정량의 절대값이 커질수록 분산값을 증가시킨다. 구체적으로 보정량이 작을 때에는 분산값을 a1으로 하며, 보정량이 증가할수록 분산값을 증가시키며, 보정량이 보정 최대치일 때에는 분산값을 a2로 한다. 도 6에서 나타낸 그래프는 예시적인 것으로, 분산값의 변화 형태는 흔들림 보정 장치(200)의 상태에 따라서 다양하게 변경될 수 있을 것이다.
한편, 트렌드 추출부(240)는 다른 예로서, 영상 이동량의 주파수 분포에 따라서 분산값을 변경할 수도 있다. 영상 이동량에 저주파수 성분이 많은 것은 의도적인 움직임인 트렌드 성분이 많다는 것을 의미한다. 반대로 영상 이동량에 고주파수 성분이 많은 것은 손떨림이나 바람에 의한 진동 등, 흔들림 성분이 많다는 것을 의미한다.
따라서 트렌드 추출부(240)는 영상 이동량의 주파수 분포에 있어서 저주파수 성분의 비율이 높은 경우에는 흔들림이 적다고 판단하고, 이로부터 프로세스 노이즈의 분산값을 크게 할 수 있다. 반대로 트렌드 추출부(240)는 영상 이동량에서 고주파수 성분의 비율이 높은 경우에는 흔들림이 많다고 판단하고, 이로부터 프로세서 노이즈의 분산값을 작게 할 수 있다. 주파수 분포의 분석을 위하여 트렌드 추출부(240)는 퓨리에 변환 등을 사용할 수 있을 것이다.
도 7은 본 발명의 다른 실시 예에 따른 상태 노이즈의 분산치를 변경하는 방법을 나타내는 그래프이다.
도 7을 참조하면, 상술한 바와 같이 영상 이동량의 저주파수 성분의 비율이 높을수록 분산값을 증가시킨다.
구체적으로 저주파수 성분의 비율이 낮을 때에는 분산값을 b1으로 하며, 저주파수 성분의 비율이 증가할수록 분산값을 증가시키며, 저주파수 성분의 비율이 소정의 값 이상일 때에는 분산값을 b2로 한다. 도 7에서 나타낸 그래프는 예시적인 것으로, 분산값의 변화 형태는 흔들림 보정 장치(200)의 상태에 따라서 다양하게 변경될 수 있을 것이다.
다시 도 2로 돌아와서 설명을 계속한다.
보정량 계산부(250)는 수정 이동량과 트렌드 성분의 차이로부터 실제 보정량을 계산한다. 상술한 바와 같이, 트렌드 추출부(240)에서 상태 노이즈를 보정량의 절대치에 따라서 변경하는 경우, 보정량 계산부(250)는 계산한 보정량을 트렌드 추출부(240)로 피드백할 수도 있을 것이다.
보정량 계산부(250)에 의하여 실제 보정량이 산출되면, 산출된 보정량에 따라서 영상을 보정한다.
도 2에서는 흔들림 보정 장치(200)가 복수의 부분으로 구성된 것으로 도시하였으나, 이는 예시적인 것으로 이에 한정되는 것은 아니다. 예를 들어, 흔들림 보정 장치(200)는 IC로 구현된 하나의 칩 형태일 수도 있을 것이다.
다음으로, 흔들림 보정 장치(200)에 의한 흔들림 보정 방법을 구체적으로 살펴보도록 한다.
도 8은 본 발명의 일 실시 예에 따른 흔들림 보정 방법을 나타내는 흐름도이다.
도 8을 참조하면, 이동량 계산부(210)에 영상이 순차적으로 입력된다(S10). 입력되는 영상을 디지털 촬영장치(100)에 의하여 실시간으로 촬영되는 영상일 수도 있으며, 촬영이 완료되어 저장된 영상일 수도 있다.
이동량 계산부(210)는 입력되는 영상들로부터 영상 이동량을 계산한다(S11). 영상의 이동량이란 이전 프레임의 영상과 현재 프레임의 영상 사이의 차이를 의미할 수 있다.
이동량 계산부(210)는 입력되는 매 프레임 영상마다 영상 이동량을 계산하게 되며, 합산부(220)는 이동량 계산부(210)에서 산출된 영상 이동량을 합산하여 총 이동량을 계산한다(S12).
총 이동량의 절대값이 기준치 이상인지를 판단하고(S13), 기준치 이상인 경우 이동량 수정부(230)에서 수정 이동량을 계산한다(S14). 수정 이동량은 상술한 바와 같이, 총 이동량이 양수일 때에는 총 이동량에서 변환값을 뺀 값이며, 총 이동량이 음수일 때에는 총 이동량에서 변환값을 더한 값이다. 한편, 총 이동량의 절대값이 기준치 미만인 경우에는 이동량 계산부(210)에서 산출한 총 이동량을 수정 이동량으로 한다.
트렌드 추출부(240)는 수정 이동량 및 칼만 필터를 사용하여 트렌드 성분을 추출한다(S15). 그리고 수정 이동량으로부터 트렌드 성분을 제거하여 보정량을 계산하며(S16), 계산한 보정량에 따라서 영상의 보정을 수행한다(S17).
도 9는 본 발명의 다른 실시 예에 따른 흔들림 보정 방법을 나타내는 흐름도이다.
도 9를 참조하면, 이동량 계산부(210)에 영상이 순차적으로 입력된다(S20). 입력되는 영상을 디지털 촬영장치(100)에 의하여 실시간으로 촬영되는 영상일 수도 있으며, 촬영이 완료되어 저장된 영상일 수도 있다.
이동량 계산부(210)는 입력되는 영상들로부터 영상 이동량을 계산한다(S21). 영상의 이동량이란 이전 프레임의 영상과 현재 프레임의 영상 사이의 차이를 의미할 수 있다.
이동량 계산부(210)는 입력되는 매 프레임 영상마다 영상 이동량을 계산하게 되며, 합산부(220)는 이동량 계산부(210)에서 산출된 영상 이동량을 합산하여 총 이동량을 계산한다(S22).
다음으로 이전에 총 이동량을 수정한 때로부터, 혹은 흔들림 보정이 처음 수행된 경우 흔들림 보정의 개시시점부터 기준 시간 이상 경과 하였는지 판단한다(S23). 이때, 기준 시간 이상 경과한 경우 이동량 수정부(230)에서 수정 이동량을 계산한다(S24). 수정 이동량은 상술한 바와 같이, 0으로 설정한다. 한편, S23 단계에서 기준 시간 이상 경과하지 않았다고 판단한 경우에는 이동량 계산부(210)에서 산출한 총 이동량을 수정 이동량으로 한다.
트렌드 추출부(240)는 수정 이동량 및 칼만 필터를 사용하여 트렌드 성분을 추출한다(S25). 그리고 수정 이동량으로부터 트렌드 성분을 제거하여 보정량을 계산하며(S26), 계산한 보정량에 따라서 영상의 보정을 수행한다(S27).
상술한 바와 같이, 본 발명의 실시 예들에 의한 흔들림 보정 장치(200) 또는 이를 포함하는 디지털 촬영장치(100)에서는 영상의 흔들림을 제거하여 선명한 영상을 얻을 수 있다. 또한 흔들림을 보정하기 위한 보정량을 계산하는데 걸리는 부하를 감소시킬 수 있게 되어 흔들림 보정 기능의 성능을 향상시킬 수 있게 된다.
이상에서 언급된 본 실시 예 및 그 변형 예들에 따른 제어방법을 영상 처리 장치에서 실행시키기 위한 알고리즘 등의 프로그램은 기록매체에 저장될 수 있다. 여기서 기록매체는 반도체 기록매체(예를 들어, 플래시 메모리(Flash memory)) 등이 사용될 수 있다.
한편, 본 실시 예에서는 흔들림 보정 장치(200)가 영상 신호 처리부(121)에 포함된 것으로 설명하였으나, 이는 예시적인 것으로 반드시 이에 한정되는 것은 아니다. 예를 들어, 흔들림 보정 장치(200)는 CPU(130)에 의하여 구현될 수도 있다. 혹은 예를 들어, 흔들림 보정 장치(200)는 디지털 촬영장치(100) 외부에 마련되며, 디지털 촬영장치(100)로부터 촬영된 영상을 수신하여 수신한 영상에 대하여 흔들림을 보정할 수도 있을 것이다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 디지털 촬영장치 110 렌즈부
111 촬상소자 112 촬상소자 제어부
113 드라이브 114 모터
120 사전 처리부 121 영상 신호 처리부
122 압축 신장부 130 CPU
131 ROM 132 RAM
133 메모리 컨트롤러 134 메모리
140 조작부 150 디스플레이부
160 통신부
200 흔들림 보정 장치 210 이동량 계산부
220 합산부 230 이동량 수정부
240 트렌드 추출부 250 보정량 계산부

Claims (9)

  1. 칼만 필터를 사용하여 순차적으로 입력되는 영상에서의 흔들림을 보정하는 흔들림 보정 장치로서,
    상기 순차적으로 입력되는 영상들 중, 이전 프레임의 영상과 현재 프레임의 영상 사이의 이동량을 계산하는 이동량 계산부;
    상기 계산한 이동량을 순차적으로 합산하여 총 이동량을 계산하는 합산부;
    상기 총 이동량에서 미리 설정된 변환값을 더하거나 빼서 수정 이동량을 계산하는 이동량 수정부;
    상기 수정 이동량 및 상기 칼만 필터를 사용하여 상기 영상을 촬영한 촬영장치의 의도적 움직임인 트렌드(trend) 성분을 추출하는 트렌드 추출부; 및
    상기 수정 이동량과 상기 트렌드 성분의 차이로부터 보정량을 계산하는 보정량 계산부;
    를 포함하는, 흔들림 보정 장치.
  2. 제1항에 있어서,
    상기 이동량 수정부는, 상기 총 이동량의 절대값이 기준치 이상일 때 상기 수정 이동량을 계산하는, 흔들림 보정 장치.
  3. 제1항에 있어서,
    상기 이동량 수정부는, 미리 설정된 주기로 상기 수정 이동량을 계산하는, 흔들림 보정 장치.
  4. 제3항에 있어서,
    상기 이동량 수정부는, 매 프레임마다 상기 수정 이동량을 계산하는, 흔들림 보정 장치.
  5. 제1항에 있어서,
    상기 보정량의 크기에 따라서 상기 칼만 필터의 상태 노이즈의 분산치를 변경하는, 흔들림 보정 장치.
  6. 제5항에 있어서,
    상기 보정량의 절대값이 클수록 상기 노이즈 분산치를 증가시키는, 흔들림 보정 장치.
  7. 제1항에 있어서,
    상기 수정 이동량의 주파수 분포에 따라서 상기 칼만 필터의 상태 노이즈의 분산치 변경하는, 흔들림 보정 장치.
  8. 제7항에 있어서,
    상기 수정 이동량의 저주파수 성분 비율이 낮을수록 상기 노이즈 분산치를 감소시키는, 흔들림 보정 장치.
  9. 피사체의 영상을 촬영하는 영상 촬영부; 및
    상기 촬영한 영상의 흔들림을 보정하는 흔들림 보정 장치;를 포함하는, 디지털 촬영장치로서,
    상기 흔들림 보정 장치는,
    순차적으로 촬영되는 영상들 중, 이전 프레임의 영상과 현재 프레임의 영상 사이의 이동량을 계산하는 이동량 계산부;
    상기 계산한 이동량을 순차적으로 합산하여 총 이동량을 계산하는 합산부;
    상기 총 이동량에서 미리 설정된 변환값을 더하거나 빼서 수정 이동량을 계산하는 이동량 수정부;
    상기 수정 이동량 및 칼만 필터를 사용하여 상기 디지털 촬영장치의 의도적 움직임인 트렌드(trend) 성분을 추출하는 트렌드 추출부; 및
    상기 수정 이동량과 상기 트렌드 성분의 차이로부터 보정량을 계산하는 보정량 계산부;를 포함하는, 디지털 촬영장치.
KR1020110042628A 2011-05-04 2011-05-04 흔들림 보정 장치 및 이를 포함하는 디지털 촬영장치 KR101675797B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110042628A KR101675797B1 (ko) 2011-05-04 2011-05-04 흔들림 보정 장치 및 이를 포함하는 디지털 촬영장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110042628A KR101675797B1 (ko) 2011-05-04 2011-05-04 흔들림 보정 장치 및 이를 포함하는 디지털 촬영장치

Publications (2)

Publication Number Publication Date
KR20120124784A true KR20120124784A (ko) 2012-11-14
KR101675797B1 KR101675797B1 (ko) 2016-11-14

Family

ID=47510063

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110042628A KR101675797B1 (ko) 2011-05-04 2011-05-04 흔들림 보정 장치 및 이를 포함하는 디지털 촬영장치

Country Status (1)

Country Link
KR (1) KR101675797B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1177979A (ja) * 1997-09-04 1999-03-23 Dainippon Printing Co Ltd 画像入力方法及び装置
JP2008259076A (ja) * 2007-04-06 2008-10-23 Canon Inc 画像防振装置、撮像装置及び画像防振方法
JP2008544674A (ja) * 2005-06-30 2008-12-04 ノキア コーポレイション 映像安定化のための動きフィルタ処理
JP2009505477A (ja) * 2005-08-12 2009-02-05 エヌエックスピー ビー ヴィ ディジタル画像安定化のための方法及びシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1177979A (ja) * 1997-09-04 1999-03-23 Dainippon Printing Co Ltd 画像入力方法及び装置
JP2008544674A (ja) * 2005-06-30 2008-12-04 ノキア コーポレイション 映像安定化のための動きフィルタ処理
JP2009505477A (ja) * 2005-08-12 2009-02-05 エヌエックスピー ビー ヴィ ディジタル画像安定化のための方法及びシステム
JP2008259076A (ja) * 2007-04-06 2008-10-23 Canon Inc 画像防振装置、撮像装置及び画像防振方法

Also Published As

Publication number Publication date
KR101675797B1 (ko) 2016-11-14

Similar Documents

Publication Publication Date Title
KR101721226B1 (ko) 사용자가 원하는 시점의 정지 영상을 획득할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법
US9066011B2 (en) Image synthesizing apparatus that synthesizes multiple images to obtain moving image, control method therefor, and storage medium
US20100157102A1 (en) Electronic camera
US11722788B2 (en) Image processing apparatus and method, and image capturing apparatus
US10425602B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US11653107B2 (en) Image pick up apparatus, image pick up method, and storage medium
JP2006166108A (ja) 撮像装置および撮像制御方法
KR20120116181A (ko) 흔들림 보정 장치 및 이를 포함하는 디지털 촬영장치
US20180084209A1 (en) Image pickup apparatus, signal processing method, and signal processing program
JP5760654B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5213604B2 (ja) 撮像装置
KR101675797B1 (ko) 흔들림 보정 장치 및 이를 포함하는 디지털 촬영장치
JP6631589B2 (ja) 撮像装置
JP5341536B2 (ja) 撮像装置
JP2007028496A (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
WO2012011484A1 (ja) 撮像装置
JP2015109502A (ja) イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム
US11050928B2 (en) Image capturing control apparatus, image capturing apparatus, control method, and storage medium
US11832020B2 (en) Image pickup apparatus, image pickup method, and storage medium
JP5721552B2 (ja) 撮像装置および画像合成方法
JP7214424B2 (ja) 撮像装置およびその制御方法
JP2017163233A (ja) 撮影装置及び撮影方法
JP3206826U (ja) 画像処理装置
JP2022093912A (ja) 撮像装置、撮像方法およびプログラム
US9794464B2 (en) Image capturing system, image capturing apparatus, control method, and recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 4