KR100792960B1 - 휴대 단말기에서의 흔들림 움직임 보상 장치 및 방법 - Google Patents

휴대 단말기에서의 흔들림 움직임 보상 장치 및 방법 Download PDF

Info

Publication number
KR100792960B1
KR100792960B1 KR1020060013615A KR20060013615A KR100792960B1 KR 100792960 B1 KR100792960 B1 KR 100792960B1 KR 1020060013615 A KR1020060013615 A KR 1020060013615A KR 20060013615 A KR20060013615 A KR 20060013615A KR 100792960 B1 KR100792960 B1 KR 100792960B1
Authority
KR
South Korea
Prior art keywords
image
data
correlation coefficient
motion vector
motion
Prior art date
Application number
KR1020060013615A
Other languages
English (en)
Other versions
KR20070081589A (ko
Inventor
박형만
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020060013615A priority Critical patent/KR100792960B1/ko
Publication of KR20070081589A publication Critical patent/KR20070081589A/ko
Application granted granted Critical
Publication of KR100792960B1 publication Critical patent/KR100792960B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K19/00—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits
    • H03K19/20—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits characterised by logic function, e.g. AND, OR, NOR, NOT circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 카메라가 장착된 휴대 단말기에 관한 것으로, 특히 휴대 단말기의 흔들림에 의해 발생되는 움직임을 보정할 수 있도록 하는 휴대 단말기에서의 흔들림 움직임 보상 장치에 관한 것이다.
본 발명에 따른 흔들림 움직임 보상 방법은, 입력되는 영상 이미지를 디지털 이미지 데이터로 변환하여 현재 프레임 데이터로 출력하고, 행 픽셀값을 열단위로 순서를 바꾸어 참조 프레임 데이터로 저장하는 단계; 영상의 현재 프레임 데이터와 상기 저장된 참조 프레임 데이터를 비교하여 상관계수를 계산하고 이를 저장하는 단계; 상기 상관계수의 최대값을 검색하고 그에 해당하는 로컬 움직임 벡터를 출력하는 단계; 상기 로컬 움직임 벡터를 이용하여 전체 영상의 움직임 벡터를 구하고 움직임을 보상하는 단계를 포함하는 것을 특징으로 한다.
흔들림 보상, 움직임 벡터

Description

휴대 단말기에서의 흔들림 움직임 보상 장치 및 방법{Compensation apparatus for motion in the mobile terminal}
도 1은 본 발명의 실시 예에 따른 흔들림 움직임 보상 장치를 나타내는 구성도.
도 2는 본 발명의 실시 예에 따른 로컬 윈도우 분할을 보여주는 도면.
도 3은 본 발명의 실시 예에 따른 로컬 움직임 벡터를 구하는 동작원리를 보여주는 도면.
도 4는 본 발명의 실시 예에 따른 움직임 검출부를 나타내는 구성도.
도 5는 본 발명의 실시 예에 따른 흔들림 움직임 보상 방법을 나타내는 플로우 차트.
도 6은 본 발명의 실시 예에 따른 메모리 매핑 방법을 보여주는 도면.
도 7은 본 발명의 실시 예에 따른 프레임 메모리의 맵을 보여주는 도면.
도 8은 본 발명의 실시 예에 따른 레지스터 어레이를 나타내는 상세 구성도.
도 9는 본 발명의 실시 예에 따른 매칭 엘리먼트를 나타내는 상세 구성도.
도 10은 본 발명의 실시 예에 따른 상관계수 메모리 맵을 보여주는 도면.
<도면의 주요 부분에 대한 부호의 설명>
41...프레임 메모리 #1 42...프레임 메모리 #2
43...레지스터 타이밍 제어부 44...레지스터 어레이
45...상관계수 메모리 46...상관계수 메모리 제어부
47...움직임 벡터 검출부
본 발명은 카메라가 장착된 휴대 단말기에 관한 것으로, 특히 휴대 단말기의 흔들림에 의해 발생되는 움직임을 보정할 수 있도록 하는 휴대 단말기에서의 흔들림 움직임 보상 장치에 관한 것이다.
오늘날 휴대 단말기는 단순한 전화로서의 기능뿐만 아니라, 다양한 부가적인 기능들이 제공되고 있다. 특히 휴대 단말기에 전화 기능과 다른 부가적인 기능이 복합된 카메라가 장착된 휴대폰, 스마트 폰, PDA 등의 복합 휴대 단말기(이하 휴대 단말기라 함)들이 개발되고 있다. 그 중에서 카메라와 휴대 전화기가 복합된 휴대 단말기는 영상을 촬영한 후 저장하고 필요시 재생하고, 배경 화면으로 사용할 수 도 있으며 이메일이나 전화번호를 이용하여 다른 기기에 전송할 수 있다.
이에 따라 기존의 디지털 카메라 시장에 카메라 폰 등 카메라를 갖는 휴대 단말기가 대중화되어, 개인이 하나의 카메라를 보유하는 1인 1카메라 시대에 접어들고 있다. 이런 휴대 단말기에 내장된 카메라는 고 화소, 고 기능의 추세로 개발되고 있다.
이러한 휴대 단말기에 장착된 카메라 모듈은 크게 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 등으로 이루어진 이미지 센서(Image sensor)부와 영상 처리 및 제어부로 구성된다. 상기 이미지 센서부는 빛을 전기적 신호로 바꾸어 출력하게 되며, 영상 처리 및 제어부는 상기 이미지 센서부의 출력 영상을 가공하고 모터 등을 제어하게 된다.
이러한 영상 처리 및 제어부는 ISP(Image Signal Processor) 또는 카메라 제어 프로세서(camera control processor)라고 하며, 이미지 센서와 결합하여 하나의 칩으로 구현되기도 하고, 독립적인 칩으로 구현되기도 한다.
최근 들어서는 정지 영상이나 동영상 촬영시에 카메라 외부 진동에 의한 손떨림 발생에 의해 이미지의 번짐이나 흔들림 현상을 방지하기 위하여, 카메라 모듈용 이미지 처리기 칩(ISP chip)에 손떨린 보정 기능이 요구되고 있는 상황이다.
손떨림 보정을 하는 방법으로는 크게 광학적 영상 안정화(OIS: Optical Image Stabilization) 방식과 디지털 영상 처리 방식의 디지털 영상 안정화(DIS: Digital Image Stabilization) 방식이 있다.
상기 광학적 영상 안정화 방식은 광학적으로 움직이는 영상의 움직임을 검출하는 방식으로서, 기구적으로 자이로 센서와 같은 별도의 장치가 필요하므로 가격이나 사이즈 측면에서 PDA 등의 휴대 단말기에는 적합하지 않게 된다. 반면, 디지털 영상 안정화 방식은 별도의 광학 장치가 필요하지 않고 단순히 디지털 영상 프로세서(DSP: Digital Signal Processing)로 보정을 수행하기 때문에 휴대 단말기에서 손떨림 보정을 위해 일반적으로 사용되고 있다.
하지만 상기 디지털 영상 처리 방식의 디지털 영상 안정화 방식은 이전 영상 과 현 영상을 비교하여 움직임 벡터를 검출하고 이를 이용하여 움직임을 보정하기 때문에 그에 따라 메모리의 크기도 증가해야 하고 그 연산량 또한 복잡해지는 문제점이 있다.
또한 입력되는 영상의 움직임 보상을 실시간으로 처리하는 하드웨어를 구현하는 것 역시 쉽지 않다.
본 발명은 상기 문제점을 해결하기 위해 안출된 것으로서, 움직임 보상을 위한 움직임 벡터 검출과 메모리 제어를 최적화하여 흔들리는 움직임을 실시간으로 보상할 수 있도록 하는 휴대 단말기에서의 흔들림 움직임 보상 장치 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위해 본 발명에 따른 휴대 단말기에서의 흔들림 움직임 보상 방법은,
입력되는 영상 이미지를 디지털 이미지 데이터로 변환하여 현재 프레임 데이터로 출력하고, 행 픽셀값을 열단위로 순서를 바꾸어 참조 프레임 데이터로 저장하는 단계;
영상의 현재 프레임 데이터와 상기 저장된 참조 프레임 데이터를 비교하여 상관계수를 계산하고 이를 저장하는 단계;
상기 상관계수의 최대값을 검색하고 그에 해당하는 로컬 움직임 벡터를 출력하는 단계;
상기 로컬 움직임 벡터를 이용하여 전체 영상의 움직임 벡터를 구하고 움직임을 보상하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서, 상기 변환된 디지털 이미지 데이터는 1 비트의 휘도 데이터인 것을 특징으로 한다.
본 발명에서, 상기 프레임 데이터는 read 모드와 write 모드에 따라 읽어오거나 저장되는 것을 특징으로 한다.
본 발명에서, 상기 상관계수는 현재 프레임 데이터와 참조 프레임 데이터를 블록 단위로 매칭시켜 계산되는 것을 특징으로 한다.
또한 본 발명에 따른 휴대 단말기에서의 흔들림 움직임 보상 장치는,
입력되는 영상 이미지를 1 비트의 휘도 데이터로 변환하여 출력하는 이미지 센서와;
상기 1 비트의 휘도 데이터의 현재 프레임과 참조 프레임을 블록 단위로 매칭시켜 로컬 움직임 벡터를 계산하는 움직임 검출부와;
상기 로컬 움직임 벡터를 통해 전체 이미지에 대한 최종 움직임 벡터를 추출하여 움직임을 보상하는 움직임 보상부를 포함하는 것을 특징으로 한다.
본 발명에서, 상기 움직임 검출부는, 상기 현재 프레임 데이터의 행 픽셀값을 열단위로 순서를 바꾸어 참조 프레임으로 저장하는 적어도 두개 이상의 프레임 메모리와;
이후, 다시 입력되는 현재 프레임 데이터와 상기 저장된 참조 프레임 데이터를 동시에 입력받아 블럭 단위로 매칭시키고 상관계수를 구하는 레지스터 어레이 와;
상기 상관계수 메모리에 저장된 상관계수를 이용하여 최종 움직 벡터를 검출하는 움직임 벡터 검출부를 포함하는 것을 특징으로 한다.
본 발명에서, 상기 레지스터 어레이의 리셋과 인에이블 신호를 제어하기 위한 타이밍 신호를 발생시키는 레시지터 타이밍 제어부와;
상기 상관계수를 저장하는 상관계수 메모리와;
상기 상관계수를 해당 메모리 번지에 저장되도록 제어하는 상관계수 메모리 제어부를 더 포함하는 것을 특징으로 한다.
본 발명에서, 상기 프레임 메모리는 write 모드 일때 하나의 프레임 메모리에 저장되고 read 모드일 때 다른 하나의 프레임 메모리에 저장된 데이터를 출력하는 것을 특징으로 한다.
본 발명에서, 상기 프레임 메모리는 입/출력단의 스위치를 이용하여 write 모드와 read 모드 동작을 수행하는 것을 특징으로 한다.
본 발명에서, 상기 레지스터 에레이는 현재 프레임의 타켓 영역의 1 비트 휘도 데이터를 행단위 픽셀값으로 입력받고, 참조 프레임의 탐색 영역의 1 비트 휘도 데이터를 열단위 픽셀값으로 입력받아 상관계수를 구하는 것을 특징으로 한다.
본 발명에서, 상기 레지스터 어레이는 1 비트 레지스터, XNOR, 덧셈기, N 비트 레지스터를 포함하는 M*N의 매칭 엘리먼트로 구성되는 것을 특징으로 한다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하면 다음과 같다.
도 1은 본 발명의 실시 예에 따른 흔들림 움직임 보상 장치를 나타내는 구성 도이다.
도 1을 참조하면, 카메라 렌즈(11)를 통해 반사되는 빛을 전기적인 신호로 검출하고, 디지털 이미지 데이터로 변환하여 출력하는 이미지 센서(12)와, 상기 이미지 센서(12)로부터 입력되는 이미지 데이터를 처리하여 움직임 벡터(Motion Vector)를 계산하는 움직임 검출부(13-1)와, 상기 움직임 검출부(13-1)에서 계산된 움직임 벡터를 이용하여 영상의 손떨림 보정을 수행하는 움직임 보상부(13-2)를 포함하는 이미지 신호 처리부(13)를 포함하여 구성된다.
상기 카메라 렌즈(11)를 통해 반사 입력되는 빛은 이미지 센서(12)에 의해 전기적인 신호로 검출되고, 전기적인 신호를 디지털 이미지 데이터로 변환하여 출력하게 된다.
여기서, 상기 이미지 센서(12)는 촬영된 피사체의 영상 이미지를 획득하기 위해서, CCD 또는 CMOS 등의 센서를 포함하며, 전기적인 신호 처리하는 부분과, 디지털 신호로 변환하는 부분이 일체로 구성되거나 독립적으로 구성될 수도 있다.
또한 상기 이미지 데이터는 시간적으로 변하는 영상의 프레임(frame) 또는 필드(field)가 될 수 있으며, 본 발명에서는 프레임으로 지칭하여 설명한다.
상기 이미지 신호 처리부(13)를 구성하는 움직임 검출부(13-1)는 손떨림 등에 의해 움직임이 발생하였을 경우 이미지 데이터의 현재 프레임과 참조 프레임(예:현재 프레임의 이전 프레임)간 비교를 통해 움직임 추정(motion estimation)하여 움직임 벡터(moving vector)를 계산하고 이를 움직임 보상부(13-2)로 출력하게 된다.
상기 움직임 보상부(13-2)는 상기 움직임 벡터와 크기는 같고 방향은 반대 방향으로 입력 이미지 데이터를 쉬프트하여 손떨림 보정을 수행하게 된다.
여기서 움직임 벡터란 2차원 정보로, 참조 프레임과 현재 프레임에서 물체의 이동을 X-Y 이차원 좌표상의 이동량으로 표시한것으로서 움직임 벡터는 가로 방향의 움직임 크기와 세로 방향의 움직임 크기로 구성된다.
상기 움직임 벡터를 추정하는 방법에는 블럭매칭방식(Block Matching Algorithm)이 있으며, 상기 블럭매칭방식은 참조 프레임과 현재 프레임처럼 연속되는 두 장의 이미지를 블럭단위로 비교하여, 신호 유형의 정합도에 기초한 움직임을 추정하는 것을 말한다.
도 2는 본 발명의 실시 예에 따른 로컬 윈도우 분할을 보여주는 도면이고, 도 3은 본 발명의 실시 예에 따른 로컬 움직임 벡터를 구하는 동작원리를 보여주는 도면이다.
도 2를 참조하면, T-1 시간과 T 시간에 해당하는 참조 프레임(20)과 현재 프레임(30) 각각의 이미지에 대한 로컬 윈도우 분할을 각각 보여준다. 현재 프레임(30)에서 Wt*Ht 크기의 N개 윈도우 영역 TW1~TWn을 타켓 윈도우(target window)(31)라고 하고, 참조 프레임(20)에서 타켓 윈도우(31) 주위로 p픽셀만큼 둘러싸고 있는 Hs*Ws 크기의 N개 윈도우 영역 SW1~SWn을 탐색 윈도우(search window)(21)라고 한다.
도 3을 참조하면, 로컬 움직임 벡터를 구하기 위해 타켓 윈도우(31)를 탐색 윈도우(21) 위에서 픽셀 단위로 움직이면서 각 좌표 [0][0]~[M][N]에서의 매칭계수 를 구하게 된다.
즉, 상기 매칭계수는 각 좌표에서의 타켓 윈도우(31)와 탐색 윈도우(21)가 겹쳐지는 영역에 대해서 현재 프레임(30)의 픽셀값과 참조 프레임(20)의 픽셀값을 비교하는 방법으로 구해지고, 상기 매칭계수가 가장 큰 좌표가 로컬 움직임 벡터가 된다.
이러한 블럭매칭방식에 의해 현재 프레임(30)과 참조 프레임(20)을 비교하여 움직임 벡터를 추정하고, 추정된 움직임 벡터를 이용하여 움직임 보상예측(motion compensation prediction)을 수행하게 된다.
따라서, 본 발명에서는 움직임 벡터를 구할 때 발생되는 메모리 용량의 오버헤드(overhead)를 줄이고 하드웨어 사이즈를 최소화시켜 움직임 벡터를 검출할 수 있도록 제안하고, 이를 통해 동영상 이미지 데이터 등의 흔들리는 움직임을 실시간으로 보상할 수 있도록 한다.
또한 상기 이미지 신호 처리부(13)는 예를 들면, 휴대 단말기의 이미지 신호 처리(ISP:Image Signal Processor) 칩(chip)에 구현되어 이미지 센서 및 카메라 렌즈를 포함하는 카메라 모듈이 될 수 있다.
도 4는 본 발명의 실시 예에 따른 움직임 검출부를 나타내는 구성도이다.
도 4를 참조하면, 움직임 검출부(13-1)는 이미지 데이터의 참조 프레임을 저장하고 저장된 데이터를 읽어올 수 있는 제 1프레임 메모리(41), 제 2프레임 메모리(42)와; 레지스터의 리셋과 인에이블 신호를 제어하기 위한 타이밍 신호를 발생시키는 레시지스 타이밍 제어부(43)와; 현재 프레임과 참조 프레임 데이터를 블럭 단위로 매칭하여 상관계수를 구하는 레지스터 어레이(44)와; 상기 상관계수를 저장하는 상관계수 메모리(45)와; 상기 상관계수를 해당 메모리 번지에 저장되도록 제어하는 상관계수 메모리 제어부(46)와; 상기 상관계수 메모리에 저장된 상관계수를 이용하여 최종 움직 벡터를 검출하는 움직임 벡터 검출부(47)를 포함하여 구성된다
도 5는 본 발명의 실시 예에 따른 흔들림 움직임 보상 방법을 나타내는 플로우 차트이다.
도 1, 도 4 및 도 5를 참조하면, 카메라 렌즈(11)를 통해 반사 입력되는 빛은 이미지 센서(12)에 의해 전기적인 신호로 검출되고, 전기적인 신호를 디지털 이미지 데이터로 변환하여 피사체의 이미지를 이미지 신호 처리부(13)로 출력하게 된다(S11).
여기서, 상기 이미지 센서(12)는 촬영된 피사체의 영상 이미지를 획득하기 위해서, CCD 또는 CMOS 등의 센서를 포함하며, 전기적인 신호 처리하는 부분과, 디지털 신호로 변환하는 부분이 일체로 구성되거나 독립적으로 구성될 수도 있다.
상기 출력되는 디지털 이미지 데이터는 다시 1 비트(bit) Y(휘도:이하 휘도로 지칭) 이미지의 픽셀값으로 변환되어 움직임 검출부(13-1)로 입력된다.
예를 들면, CCIR-601 표준에 의하면 휘도 데이터는 8 비트 값으로 표현가능하지만, 8 비트 데이터 처리시 로직 게이트 카운드(logic gate count)와 메모리 사이즈가 입력 이미지의 크기의 증가에 따라서 커지게 되고 비용(cost) 또한 현저한 증가를 초래하게 된다.
따라서 본 발명에서는 이미지의 에지(edge) 데이터를 구해서 소정의 문턱값 (threshold)을 기준으로 이진화 시키거나, 8 비트 데이터를 그레이 코드(gray code)형태로 변환시킨 후 소정의 비트를 기준으로 1 비트 데이터로 변환하고, 이를 통해 하드웨어 자원을 최소화시키고 비용을 감소시키면서 움직임 보상을 실시할 수 있게 된다.
상기와 같이 출력된 1 비트의 휘도 데이터는 움직임 검출부(13-1)로 입력되고, 상기 휘도 데이터의 행(row) 픽셀값을 열(colum)단위로 순서를 바꾸어 프레임 메모리에 저장한다(S12).
여기서, 움직임 벡터를 실시간으로 구하기 위해서 참조 프레임과 현재 프레임 데이터를 저장하기 위한 적어도 두개 이상의 프레임 메모리를 사용한다.
도 4를 참조하면, 프레임 메모리의 입출력단에 스위치를 두고 프레임 메모리 #1(41)이 read 모드일 때는 프레임 메모리 #2(42)가 write 모드가 되고, 상기 프레임 메모리 #1(41)이 write 모드일 때는 프레임 메모리 #2(42)가 read 모드가 된다.
상기 write 모드일 때는 현재 프레임의 실시간 1 비트 휘도 데이터를 프레임 메모리에 저장시키고, read 모드일 때는 참조 프레임의 1 비트 휘도 데이터를 프레임 메모리로부터 읽어와 현재 프레임 데이터와 함께 로컬 움직임 벡터를 구하는데 사용된다.
예를 들면, 먼저 시간상으로 T-1 프레임이 입력되면 프레임 메모리의 입력단은 write 모드가 되어 프레임 메모리 #1(41)에 상기 T-1 프레임의 1 비트 휘도 데이터를 저장한다.
이후, T 프레임이 입력되면 프레임 메모리의 출력단은 read 모드가 되어 프 레임 메모리 #1(41)에 저장되어 있던 T-1 프레임의 휘도 데이터를 출력하게 되고, 이때 프레임 메모리의 입력단은 write 모드가 되어 프레임 메모리 #2(42)에 T 프레임의 1 비트 휘도 데이터를 저장하게 된다.
여기서 T-1 프레임이 참조 프레임이 되고, T 프레임이 현재 프레임이 된다.
따라서, 레지스터 어레이(44)로 현재 프레임과 참조 프레임이 동시에 입력되어 로컬 움직임 벡터를 계산하도록 할 수 있으며, 프레임 메모리의 입/출력단 스위치를 이용하여 이미지 데이터의 실시간 처리를 가능하게 하고 메모리 용량의 오버헤드(overhead)를 줄일 수 있게 된다.
도 6은 본 발명의 실시 예에 따른 메모리 매핑 방법을 보여주는 도면이고, 도 7은 본 발명의 실시 예에 따른 프레임 메모리의 맵을 보여주는 도면이다.
상기의 프레임 메모리에 휘도 데이터가 저장될 때는 이미지 데이터의 행(row)픽셀값을 열(colum)단위로 순서를 바꾸어 저장하게 되는데 이는 데이터의 실시간 처리를 가능하도록 레지스터 어레이(44)로 출력된다.
예를 들면, 도 6은 이미지 데이터를 프레임 메모리에 순서를 바꾸어 저장하는 메모리 매핑(memory mapping)방법을 상세하게 보여준다.
탐색 윈도우 영역에 해당하는 이미지 데이터의 배열이 도 6(a)와 같다면, 프레임 메모리에 매핑되는 데이터 배열은 도 6(b)와 같이 행 픽셀값을 열단위로 순서를 바꾸어 프레임 메모리에 저장한다.
또한 상기 열 단위로 바뀐 N 개의 탐색 윈도우 영역 데이터는 도 7과 같이 프레임 메모리의 해당 번지에 순차적으로 저장되고, 프레임 메모리의 read 모드시 블록 매칭을 하기 위해 레지스터 어레이(44)로 출력된다.
상기와 같이 입력되는 현재 프레임과 참조 프레임 데이터는 레지스터 어레이(44)에서 상관계수가 계산되고 이를 이용하여 로컬 움직임 벡터를 추정하게 된다(S13).
도 8은 본 발명의 실시 예에 따른 레지스터 어레이를 나타내는 상세 구성도 이다.
도 8을 참조하면, 레지스터 어레이(44)는 M*N 개의 매칭 엘리먼트(matching element)(50)로 구성되어 현재 프레임과 참조 프레임에 대한 매칭을 수행하고 상관계수(correlation coefficient)를 계산하여 로컬 움직임 벡터를 추정한다.
상기 레지스터 어레이(44)의 현재 프레임 입력단에는 타켓 영역의 1 비트의 휘도 데이터가 입력되고, 참조 프레임 입력단에는 프레임 메모리로부터 읽어온 탐색 영역의 1 비트 휘도 데이터가 입력된다.
여기서, 상기 레지스터 어레이(44)의 현재 프레임 입력단에는 이미지 데이터가 행단위 형태로 입력되고, 참조 프레임 입력단에는 열단위 형태로 입력되어 M*N 개의 매칭 엘리먼트(51)를 이용하여 데이터를 쉬프트(shift)시키면서 해당 좌표에서의 상관계수를 계산하게 된다.
도 9는 본 발명의 실시 예에 따른 매칭 엘리먼트를 나타내는 상세 구성도이다.
도 9을 참조하면, 상기 매칭 엘리먼트(50)는 1 비트 레지스터(61)와, XNOR(Exclusive NOR)(62), 덧셈기(63), N 비트 레지스터(64)를 포함하여 구성된다.
상기 1 비트 레지스터(61)는 타켓 영역의 데이터를 클럭(clock) 단위로 쉬프트 시키는 기능을 한다.
또한 XNOR(Exclusive NOR)(62), 덧셈기(63), N 비트 레지스터(64)는 탐색 영역의 데이터와 타켓 영역 데이터를 비교하여 비교 결과를 클럭 단위로 누적(accumulation)하는 기능을 수행한다.
이때 레지스터 타이밍 제어부(43)에서는 상기 1 비트 레지스터와 N 비트 레지스터의 리셋(reset)과 인에이블(enable)신호를 제어하기 위한 타이밍 신호를 출력한다.
여기서, 비교된 데이터가 같으면 '1'을 누적하고, 다르면 '0'을 누적하게 되고 모든 탐색 영역에 대하여 비교와 누적이 끝나는 N 비트 레지스터(64)에 저장된 데이터가 각 좌표의 상관계수가 되며, 가장 큰 값을 가지는 상관계수에 해당되는 좌표가 해당 로컬 윈도우에서의 로컬 움직임 벡터로 추정된다.
또한 상관계수 메모리 제어부(46)는 각 매칭 엘리먼트(50)의 N 비트 레지스터에서 상관계수가 출력되면, 도 10과 같이 상관계수 메모리맵에 순차적으로 저장시키고 M*N의 모든 상관계수 저장이 종료되면 상관계수 메모리로부터 상관계수를 읽어서 움직임 벡터 검출부(47)로 출력한다.
상기 움직임 벡터 검출부(47)는 N 개의 탐색 윈도우에 대하여 N 개의 움직임 벡터 (X1,Y1)~(Xn,Yn)를 구하게 되고, 상관계수 메모리에 저장된 모든 상관계수를 스캔(scan)하면서 최대값 상관계수를 찾은 후 해당하는 좌표값의 로컬 움직임 벡터를 움직임 보상부(13-2)로 출력하게 된다(S14).
상기 움직임 보상부(13-2)는 본 발명의 실시 예에 따라 구해진 로컬 움직임 벡터에 소정의 가중치 등을 두어 전체 이미지에 대한 최종 움직임 벡터를 추출하여 움직임을 보상하게 된다(S15).
예를 들면, 상기 최종 움직임 벡터와 크기는 같고 방향은 반대 방향으로 입력되는 이미지를 쉬프트하여 움직임 보상을 수행한다.
이와 같이 본 발명에서는 프레임 메모리의 입/출력단에 스위치를 두어 메모리 용량의 오버헤드(overhead)를 줄일 수 있다.
또한 본 발명에서 제안한 흔들림 보상 장치 및 방법을 통해 하드웨어 사이즈를 최소화 시킬 수 있으며, 하나의 이미지 신호 처리(ISP) 칩으로 구현되어 실시간으로 디지털 영상 안정화(DIS)방식의 흔들림 보상을 수행할 수 있다.
예를 들면, 휴대 단말기의 이미지 신호 처리(ISP:Image Signal Processor) 칩(chip)에 구현되어 이미지 센서 및 렌즈를 포함하는 카메라 모듈을 구성하여 실시간으로 흔들림 보상을 수행할 수 있게 된다.
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 기술 범위 내에서 상기 본 발명의 상세한 설명과 다른 형태의 실시 예들을 구현할 수 있을 것이다. 여기서 본 발명의 본질적 기술범위는 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명에 따른 휴대 단말기에서의 흔들림 움직임 보상 장치 및 방법에 의하 면, 움직임 보상을 위한 로컬 움직임 벡터 검출과 메모리 제어를 최적화하여 흔들리는 움직임을 실시간으로 보상할 수 있는 효과가 있다.
또한 본 발명의 움직임 보상 장치 및 방법을 이용하여 하드웨어 사이즈를 최소화 시킬 수 있으며 하나의 이미지 신호 처리(ISP) 칩으로 구현할 수 있는 효과가 있다.
또한 프레임 메모리의 입/출력단에 스위치를 두어 메모리 용량의 오버헤드(overhead)를 줄일 수 있는 효과가 있다.

Claims (11)

  1. 입력되는 영상 이미지를 디지털 이미지 데이터로 변환하여 현재 프레임 데이터로 출력하고, 행 픽셀값을 열단위로 순서를 바꾸어 참조 프레임 데이터로 저장하는 단계;
    영상의 현재 프레임 데이터와 상기 저장된 참조 프레임 데이터를 비교하여 상관계수를 계산하고 이를 저장하는 단계;
    상기 상관계수의 최대값을 검색하고 그에 해당하는 로컬 움직임 벡터를 출력하는 단계;
    상기 로컬 움직임 벡터를 이용하여 전체 영상의 움직임 벡터를 구하고 움직임을 보상하는 단계를 포함하는 것을 특징으로 하는 휴대 단말기에서의 흔들림 움직임 보상 방법.
  2. 제 1항에 있어서,
    상기 변환된 디지털 이미지 데이터는 1 비트의 휘도 데이터인 것을 특징으로 하는 휴대 단말기에서의 흔들림 움직임 보상 방법.
  3. 제 1항에 있어서,
    상기 프레임 데이터는 read 모드와 write 모드에 따라 프레임 메모리에서 읽어오거나 저장되는 것을 특징으로 하는 휴대 단말기에서의 흔들림 움직임 보상 방 법.
  4. 제 1항에 있어서,
    상기 상관계수는 현재 프레임 데이터와 참조 프레임 데이터를 블록 단위로 매칭시켜 계산되는 것을 특징으로 하는 휴대 단말기에서의 흔들림 움직임 보상 방법.
  5. 입력되는 영상 이미지를 1 비트의 휘도 데이터로 변환하여 출력하는 이미지 센서와;
    상기 1 비트의 휘도 데이터의 현재 프레임과 참조 프레임을 블록 단위로 매칭시켜 로컬 움직임 벡터를 계산하는 움직임 검출부와;
    상기 로컬 움직임 벡터를 통해 전체 이미지에 대한 최종 움직임 벡터를 추출하여 움직임을 보상하는 움직임 보상부를 포함하는 것을 특징으로 하는 휴대 단말기에서의 흔들림 움직임 보상 장치.
  6. 제 5항에 있어서, 상기 움직임 검출부는
    상기 현재 프레임 데이터의 행 픽셀값을 열단위로 순서를 바꾸어 참조 프레임으로 저장하는 적어도 두개 이상의 프레임 메모리와;
    이후, 다시 입력되는 현재 프레임 데이터와 상기 저장된 참조 프레임 데이터를 동시에 입력받아 블럭 단위로 매칭시키고 상관계수를 구하는 레지스터 어레이와;
    상기 상관계수 메모리에 저장된 상관계수를 이용하여 최종 움직 벡터를 검출하는 움직임 벡터 검출부를 포함하는 것을 특징으로 하는 휴대 단말기에서의 흔들림 움직임 보상 장치.
  7. 제 6항에 있어서,
    상기 레지스터 어레이의 리셋과 인에이블 신호를 제어하기 위한 타이밍 신호를 발생시키는 레시지터 타이밍 제어부와;
    상기 상관계수를 저장하는 상관계수 메모리와;
    상기 상관계수를 해당 메모리 번지에 저장되도록 제어하는 상관계수 메모리 제어부를 더 포함하는 것을 특징으로 하는 휴대 단말기에서의 흔들림 움직임 보상 장치.
  8. 제 6항에 있어서,
    상기 프레임 메모리는 write 모드 일때 하나의 프레임 메모리에 저장되고 read 모드일 때 다른 하나의 프레임 메모리에 저장된 데이터를 출력하는 것을 특징으로 하는 휴대 단말기에서의 흔들림 움직임 보상 장치.
  9. 제 6항에 있어서,
    상기 프레임 메모리는 입/출력단의 스위치를 이용하여 write 모드와 read 모 드 동작을 수행하는 것을 특징으로 하는 휴대 단말기에서의 흔들림 움직임 보상 장치.
  10. 제 6항에 있어서,
    상기 레지스터 에레이는 현재 프레임의 타켓 영역의 1 비트 휘도 데이터를 행단위 픽셀값으로 입력받고, 참조 프레임의 탐색 영역의 1 비트 휘도 데이터를 열단위 픽셀값으로 입력받아 상관계수를 구하는 것을 특징으로 하는 휴대 단말기에서의 흔들림 움직임 보상 장치.
  11. 제 6항에 있어서,
    상기 레지스터 어레이는 1 비트 레지스터, XNOR, 덧셈기, N 비트 레지스터를 포함하는 M*N의 매칭 엘리먼트로 구성되는 것을 특징으로 하는 휴대 단말기에서의 흔들림 움직임 보상 장치.
KR1020060013615A 2006-02-13 2006-02-13 휴대 단말기에서의 흔들림 움직임 보상 장치 및 방법 KR100792960B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060013615A KR100792960B1 (ko) 2006-02-13 2006-02-13 휴대 단말기에서의 흔들림 움직임 보상 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060013615A KR100792960B1 (ko) 2006-02-13 2006-02-13 휴대 단말기에서의 흔들림 움직임 보상 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20070081589A KR20070081589A (ko) 2007-08-17
KR100792960B1 true KR100792960B1 (ko) 2008-01-08

Family

ID=38611467

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060013615A KR100792960B1 (ko) 2006-02-13 2006-02-13 휴대 단말기에서의 흔들림 움직임 보상 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100792960B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8279937B2 (en) 2008-04-22 2012-10-02 Core Logic, Inc. Correcting moving image wavering

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003078808A (ja) 2001-08-31 2003-03-14 Sony Corp 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
KR20040004297A (ko) * 2003-12-17 2004-01-13 황정현 씨모스 영상 센서 왜곡 보정 방법 및 장치
JP2004048390A (ja) 2002-07-11 2004-02-12 Matsushita Electric Ind Co Ltd 動画像符号化装置及び方法
KR20050023549A (ko) * 2003-08-28 2005-03-10 엠텍비젼 주식회사 손떨림 움직임 보상 카메라폰

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003078808A (ja) 2001-08-31 2003-03-14 Sony Corp 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
JP2004048390A (ja) 2002-07-11 2004-02-12 Matsushita Electric Ind Co Ltd 動画像符号化装置及び方法
KR20050023549A (ko) * 2003-08-28 2005-03-10 엠텍비젼 주식회사 손떨림 움직임 보상 카메라폰
KR20040004297A (ko) * 2003-12-17 2004-01-13 황정현 씨모스 영상 센서 왜곡 보정 방법 및 장치

Also Published As

Publication number Publication date
KR20070081589A (ko) 2007-08-17

Similar Documents

Publication Publication Date Title
US8587636B2 (en) Image processing apparatus and method, and program
KR100864999B1 (ko) 손떨림 보정 장치
US20100208086A1 (en) Reduced-memory video stabilization
US20110096143A1 (en) Apparatus for generating a panoramic image, method for generating a panoramic image, and computer-readable medium
WO2011129249A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US20080101710A1 (en) Image processing device and imaging device
US8320452B2 (en) Imaging apparatus with motion vector detecting function
US20160182866A1 (en) Selective high frame rate video capturing in imaging sensor subarea
US20100209009A1 (en) Image capturing device, image capturing method, and storage medium having stored therein image capturing program
Chun et al. Suppressing rolling-shutter distortion of CMOS image sensors by motion vector detection
US8629908B2 (en) Method for detecting a moving object in a sequence of images captured by a moving camera, computer system and computer program product
JP2007281555A (ja) 撮像装置
KR102592745B1 (ko) 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램
KR102429337B1 (ko) 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법
KR20150146424A (ko) 이미지에서 추정된 깊이를 결정하기 위한 방법 및 시스템
KR100792960B1 (ko) 휴대 단말기에서의 흔들림 움직임 보상 장치 및 방법
CN110930440A (zh) 图像对齐方法、装置、存储介质及电子设备
JP4052348B2 (ja) 画像処理装置、及び画像処理方法
JP2009065283A (ja) 画像ぶれ補正装置
KR100748174B1 (ko) 동영상의 손떨림 검출 및 보정 장치
US8619149B2 (en) Camera with an image sensor that doubles as a motion sensor
KR100562334B1 (ko) 씨모스 영상 센서 왜곡 보정 방법 및 장치
CN113763437B (zh) 图像处理方法、装置、电子设备及存储介质
US20240348921A1 (en) Image processing device and image processing method
US20240292100A1 (en) Camera module including video stabilizer, video stabilizer, and method of operating the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee