KR100684009B1 - 휴대 단말기에서의 움직임 보상 장치 및 방법 - Google Patents

휴대 단말기에서의 움직임 보상 장치 및 방법 Download PDF

Info

Publication number
KR100684009B1
KR100684009B1 KR1020050090605A KR20050090605A KR100684009B1 KR 100684009 B1 KR100684009 B1 KR 100684009B1 KR 1020050090605 A KR1020050090605 A KR 1020050090605A KR 20050090605 A KR20050090605 A KR 20050090605A KR 100684009 B1 KR100684009 B1 KR 100684009B1
Authority
KR
South Korea
Prior art keywords
motion vector
image
motion
row
region
Prior art date
Application number
KR1020050090605A
Other languages
English (en)
Inventor
손성민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020050090605A priority Critical patent/KR100684009B1/ko
Application granted granted Critical
Publication of KR100684009B1 publication Critical patent/KR100684009B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 휴대 단말기에 있어서, 특히 단말기의 흔들림에 의해 발생되는 움직임을 보정할 수 있도록 한 휴대 단말기에서의 흔들림 보정장치 및 방법에 관한 것이다.
본 발명에 따른 휴대 단말기에서의 움직임 보정장치는, 행 및 열의 구동이 가능한 픽셀을 구비한 픽셀 어레이와; 상기 행 및 열 픽셀의 구동을 위한 드라이버와; 상기 행 및 열의 픽셀 구동에 따른 행/열 픽셀로부터 전기적인 신호를 검출하고 디지털 데이터로 변환하여 출력하는 신호 처리수단과; 상기 신호 처리수단로부터 디지털 데이터를 입력받아, 샘플링할 각 라인 데이터를 추출한 후 이전 프레임에서 추출된 데이터와 비교하여 각 영역의 움직임 벡터를 계산하여 출력하는 이미지 안정화 수단과; 상기 드라이버의 제어 및 상기 계산된 각 영역의 움직임 벡터를 이용하여 전체 영상의 움직임 벡터를 구하고 움직임 벡터가 보상된 시작점을 현재 영상 프레임에 적용하여 출력하는 제어부를 포함하는 것을 특징으로 한다.
단말기, 이미지 센서, CMOS, 움직임 벡터

Description

휴대 단말기에서의 움직임 보상 장치 및 방법 {Compensation apparatus and method for motion in the mobile terminal}
도 1은 본 발명 실시 예에 따른 휴대 단말기에서의 움직임 보상 장치를 나타낸 구성도.
도 2는 본 발명에 따른 움직임 벡터 보상을 위한 이미지 안정화부 및 메인 제어부의 상세 구성도.
도 3은 본 발명에 따른 픽셀의 구조를 종래(a) 및 본 발명(b)으로 나타낸 도면.
도 4는 본 발명에 따른 휴대 단말기에서의 움직임 보상 방법을 나타낸 도면.
도 5는 본 발명에 따른 시간에 따른 움직임 벡터 보상 상태를 나타낸 도면.
도 6은 본 발명에 따른 윈도우 영역 및 라인 설정 예를 나타낸 도면.
도 7은 본 발명에 따른 움직임 벡터 추출 예를 나타낸 도면.
도 8은 본 발명에 따른 시작점 설정 및 영상 출력 예를 나타낸 도면.
도 9는 본 발명에 따른 움직임 벡터 결정 예를 나타낸 도면.
<도면의 주요 부분에 대한 부호의 설명>
10...픽셀 어레이 11...로 드라이버
12...칼럼 드라이버
13,14...아날로그 신호 처리 및 디지털 변환부
15...메인제어부/타이밍 제어부
16...PLL 17...이미지 안정화부
본 발명은 휴대 단말기에 있어서, 특히 단말기의 흔들림에 의해 발생되는 움직임을 보정할 수 있도록 한 휴대 단말기에서의 흔들림 보정장치 및 방법에 관한 것이다.
또한 본 발명은 이미지 센서, 특히 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서를 이용하여 움직임 보상을 수행할 수 있도록 한 움직임 보상 장치 및 방법에 관한 것이다.
최근 핸드폰이나 PDA와 같은 기기에 카메라가 장착되면서 빠르게 카메라 시스템이 보급되고 있다. 지금까지는 30만 화소에서 300만 화소까지 이미지의 화소 수(Resolution) 증가가 기술 발전의 중심이었다면 이제는 영상의 질을 향상시키는 것이 중요한 기술 과제이다.
화질을 향상시키기 위해서 이미지 센서의 빛을 받아들이는 픽셀(Pixel)의 공정 기술개발에서 영상 처리를 위한 프로세서에 이르기까지 카메라 시스템의 전 영역에서 여러 가지 기술을 적용하고 있다. 특히 휴대용 카메라 시스템의 급격한 보급에 따라 여러 환경에서도 흔들림이 없는 안정화된 영상을 얻기 위한 움직임 보정 기능 개발에 많은 노력을 기울이고 있다.
기존에는 카메라 시스템에서 움직임 보정을 위해서 크게 두 가지 기술이 사용되었는데, 첫 번 째는 자이로 센서를 이용하여 기구적으로 움직임을 보정하는 방법이 있고, 두 번째는 이미지 신호 처리 칩과 같이 영상 처리 프로세서에서 이전(T-1) 영상과 현 영상(T)을 비교하여 움직임을 보정하는 방법등이 사용되었다.
예를 들어 국내 특허출원 10-2003-0075036 또는 국내 특허출원 10-2002-0066159와 같이 자이로 센서 등을 이용하여 기구적으로 움직임을 제어하는 방법이 있고, 국내 특허출원 1995-0061860 와 같이 영상 메모리를 두어 영상 처리 프로세서에서 이전(T-1) 영상과 현 영상(T)을 비교하여 움직임을 보정하는 방법 등의 종래 기술이 있다.
상기 자이로 센서 등을 이용한 기구적 움직임 보정 방법은 고기능의 비디오 카메라 등에 적용 할 수 는 있지만 휴대용 카메라 시스템에는 적합하지 않으며 두 번째의 영상 메모리를 이용한 보정 방법은 화소 수가 증가하면서 그에 따라 메모리의 크기도 증가해야 하고 그 연산량 또한 엄청나기 때문에 핸드폰과 같은 휴대 단말기에 적용하기 어려운 점이 있다. 공통적으로 기존의 움직임 보정 기술은 복잡한 기구적 방법이나 큰 메모리를 사용하고 많은 연산량을 필요로 하므로 제품 단가가 상승하고 크기가 커지는 단점을 가지고 있다.
본 발명의 제1목적은 상기한 문제를 해결하기 위해, 이미지 센서 자체에서 움직임 보정이 가능하도록 한 움직임 보정 장치 및 방법을 제공함에 있다.
본 발명의 제2목적은 행과 열과 동작이 가능한 CMOS 이미지 센서를 이용하여 움직임 보정을 수행할 수 있도록 한 움직임 보정장치 및 방법을 제공함에 있다.
본 발명의 제3목적은 입력 영상에 대해 일정 개의 영역으로 분할한 후 각 영역에서 샘플링 라인의 영상 정보를 얻어, 이전 영상의 정보와 현재 영상의 정보를 비교하여 각 영역의 움직임 벡터를 추출한 후 각 영역의 움직임 벡터에 가중치를 주어 전체 영상의 움직임 벡터를 추출할 수 있도록 한 움직임 보정 장치 및 방법을 제공함에 있다.
본 발명의 제4목적은 전체 해상도에서 움직임 보정 기능 동작을 위한 해상도를 설정하고, 움직임 벡터를 보상하여 시작점을 이동하여 전체 영상의 중심점이 항상 일정하도록 한 움직임 보정 장치 및 방법을 제공함에 있다.
상기한 목적 달성을 위한 본 발명에 따른 휴대 단말기에서의 움직임 보정장치는,
행 및 열의 구동이 가능한 픽셀을 구비한 픽셀 어레이와;
상기 행 및 열 픽셀의 구동을 위한 드라이버와;
상기 행 및 열의 픽셀 구동에 따른 행/열 픽셀로부터 전기적인 신호를 검출하고 디지털 데이터로 변환하여 출력하는 신호 처리수단과;
상기 신호 처리수단로부터 디지털 데이터를 입력받아, 샘플링할 각 라인 데이터를 추출한 후 이전 프레임에서 추출된 데이터와 비교하여 각 영역의 움직임 벡터를 계산하여 출력하는 이미지 안정화 수단과;
상기 드라이버의 제어 및 상기 계산된 각 영역의 움직임 벡터를 이용하여 전체 영상의 움직임 벡터를 구하고 움직임 벡터가 보상된 시작점을 현재 영상 프레임에 적용하여 출력하는 제어부를 포함하는 것을 특징으로 한다.
바람직하게, 상기 이미지 안정화부는 각 윈도우 영역의 라인 데이터를 추출하는 라인 데이터 추출부와, 상기 라인 데이터에 의해 추출된 프레임과 이전 영상 프레임을 비교하는 비교부와, 상기 비교부의 비교 결과에 따라 각 영역의 움직임 벡터를 계산하는 움직임 벡터 추출부를 포함하는 것을 특징으로 한다.
바람직하게, 상기 움직임 벡터 추출부는 상기 각 영역의 움직임 벡터 중 특정 영역의 움직임 벡터에 가중치를 주어, 전체 움직임 벡터를 구하는 것을 특징으로 한다.
바람직하게, 상기 특정 영역은 중심 영역인 것을 특징으로 한다.
한편, 본 발명에 따른 휴대 단말기에서의 움직임 보상을 위한 이미지 센서는, 휴대 단말기에 구비된 카메라 렌즈를 통해 입력되는 빛을 전기적 신호로 검출하고 디지털 데이터로 변환하는 이미지 센서에 있어서, 행 및 열의 구동이 가능한 픽셀을 구비한 픽셀 어레이와; 상기 행 및 열 픽셀의 구동을 위한 드라이버와; 상기 행 및 열의 픽셀 구동에 따른 행/열 픽셀로부터 전기적인 신호를 검출하고 디지털 데이터로 변환하여 출력하는 신호 처리수단과; 상기 신호 처리수단으로부터 디 지털 데이터를 입력받아, 샘플링할 각 라인 데이터를 추출한 후 이전 프레임에서 추출된 데이터와 비교하여 각 영역의 움직임 벡터를 계산하여 출력하는 이미지 안정화 수단과; 상기 드라이버의 구동 제어 및 상기 계산된 각 영역의 움직임 벡터를 이용하여 전체 영상의 움직임 벡터를 구하고 움직임 벡터가 보상된 시작점을 현재 영상 프레임에 적용하여 출력하는 제어부를 포함하는 것을 특징으로 한다.
바람직하게, 상기 이미지 센서는 CMOS인 것을 특징으로 한다.
바람직하게, 상기 이미지 센서에는 상기 각 부의 타이밍 제어를 위한 타이밍 제어부 및 클럭을 제공하는 클럭 발생부를 더 포함하는 것을 특징으로 한다.
한편, 본 발명의 다른 실시 예에 따른 휴대 단말기에서의 움직임 보정방법은, 움직임 보정을 위한 해상도 및 윈도우 영역, 그리고 각 영역의 샘플링할 행 및 열 라인을 설정하는 단계; 카메라 렌즈를 통해 빛이 입력되면, 상기 설정된 각 윈도우 영역의 행 및 열에 해당되는 각 라인 데이터를 추출하는 단계; 상기 추출된 라인 데이터와 이전 영상 데이터를 비교하는 단계; 상기 비교결과에 따라 각 영역별 움직임 벡터를 추출하는 단계; 상기 추출된 각 영역별 움직임 벡터를 이용하여 전체 움직임 벡터를 구한 후, 행과 열에 움직임 벡터의 변위만큼 보상하여 영상의 시작점을 설정하여, 이전 영상과 중심점이 같은 현재 영상을 출력하는 단계를 포함하는 것을 특징으로 한다.
바람직하게, 상기 각 영역별 움직임 벡터 중에서 중심 영역의 움직임 벡터에 가중치를 주는 것을 특징으로 한다.
본 발명에 따른 휴대 단말기에서의 이미지 센서를 이용한 움직임 보정방법 은, 휴대 단말기에 구비된 카메라 렌즈를 통해 입력되는 빛을 전기적 신호로 검출하고 디지털 데이터로 변환하는 이미지 센서에 있어서, 행 및 열의 구동에 의해 카메라 렌즈를 통해 입력되는 빛을 전기적 신호로 검출하고 디지털 데이터로 변환하는 단계; 상기 디지털 데이터로부터 각 라인 데이터를 추출한 후 이전 영상 데이터와 비교하여 움직임 벡터를 추출하는 단계; 상기 움직임 벡터를 이용하여 현재 영상의 시작점을 이동시키는 단계; 상기 시작점이 이동된 현재 영상을 출력하는 단계를 포함하는 것을 특징으로 한다.
이하 첨부된 도면을 참조하여 설명하면 다음과 같다.
도 1은 본 발명 실시 예에 따른 휴대 단말기에서의 움직임 보정 장치를 나타낸 구성도이다.
도 1을 참조하면, 행과 열 방향으로 배열된 다수개의 픽셀(Pixel) 구조로 이루어지며, 행과 열 동작이 가능한 픽셀 어레이(10)와; 상기 행 및 열 방향으로 배열된 픽셀의 구동을 위한 로/칼럼 드라이버(11,12)와; 상기 픽셀 어레이(10)로부터 입력되는 전기적인 신호를 검출하고 디지털 데이터로 각각 변환하는 로/칼럼 아날로그 신호 처리 및 디지털 변환부(ASP/ADC)(13,14)와; 상기 디지털 데이터를 이용하여 움직임 보정을 수행하는 이미지 안정화부(17)와, 상기 이미지 안정화부(17)로부터 출력된 움직임 벡터를 이용하여 상기 드라이버 제어 및 타이밍 제어를 수행하는 메인제어부/타이밍발생부(15)와; 클럭 신호 발생을 위한 위상동기루프(16)를 포함하는 구성이다.
상기 이미지 안정화부(17)는 도 2에 도시된 바와 같이, 픽셀 어레이(10)의 픽셀 구동에 따른 아날로그 신호 처리 및 디지털 변환부(13,14)로부터 입력된 디지털 데이터로부터 라인 데이터를 추출하는 라인 데이터 추출부(21)와, 상기 라인 데이터 추출부(21)에 의해 추출된 결과를 프레임 저장부(23)에 저장된 이전 영상 데이터와 비교하는 비교부(22)와, 상기 비교결과에 따라 움직임 벡터를 추출하는 움직임 벡터 추출부(24)를 포함하며,
상기 메인 제어부에는 상기 움직임 벡터 추출부(24)에 의해 추출된 움직임 벡터에 의해 시작 포인터를 이동시켜 주는 시작 포인터 보상부(25)와, 상기 시작 포인터 보상된 영상을 출력하는 영상 출력부(26)를 포함하는 구성이다.
상기와 같이 구성된 본 발명 실시 예에 따른 휴대 단말기에서의 움직임 보정장치에 대하여 첨부된 도면을 참조하여 설명하면 다음과 같다.
도 1을 참조하면, 픽셀 어레이(pixel array)(10)에는 행 및 열 방향으로 다수개의 픽셀들이 배열되어 있으며, 칼럼 드라이버(column driver)(12) 및 로 드라이버(row driver)(11)에 의해 행 및 열 픽셀들이 구동된다.
각각의 픽셀 구조는 도 3에 도시된 바와 같이, (a)는 종래 픽셀 구조이며, (b)는 본 발명의 픽셀 구조이다. (a)에서는 발광 다이오드 영역의 외측으로 전원전압 라인(VDD, VSS), 리셋 라인(Reset), 셀렉트 라인(select), 열 방향으로 출력 라인(Output)이 배치된다. 이러한 종래 픽셀 구조에서는 선택 신호(select)가 행 방향으로만 형성되어 있어, 수평 라인에 대해서만 구동을 수행하게 되며, 이의 출력을 받는 구조이다.
본 발명의 픽셀 구조(b)는 행 및 열 방향의 선택 라인과, 행 및 열의 출력 라인을 배치함으로써, 행 및 열의 구동에 의해 행 및 열의 출력 라인으로 픽셀 값이 각각 검출된다. 즉, 본 발명은 행 및 열의 동작이 가능한 픽셀 어레이 구조를 포함한 것이다.
행 및 로 픽셀 구동에 의해 로/칼럼 아날로그 신호 처리(ASP: Analog signal processor) 및 디지털 변환부(ADC)(13,14)에서는 행 픽셀 및 열 픽셀들에 대해 라인 데이터를 각각 입력받아, 전기적인 신호로 검출한 후, 전기적 신호로 검출된 아날로그 신호를 디지털 데이터로 변환하게 된다.
상기 디지털 데이터로 변환된 신호는 이미지 안정화부(17)에 입력된다. 상기 이미지 안정화부(17)는 상기 디지털 데이터의 움직임 보정을 위한 움직임 벡터를 추출하여 출력하게 된다.
메인 제어부/타이밍 발생부(15)는 상기 움직임 벡터를 이용하여 로 및 칼럼 드라이버(11,12)를 제어하며, 상기 각 부의 동작 제어를 위한 타이밍 제어를 수행하게 된다. 그리고, 최종 움직임 벡터에 의해 시작점이 반영된 현재의 영상 데이터를 출력하게 된다. 위상동기루프(PLL)(16)는 상기 각 부에서 필요한 클럭 신호를 발생하여 제공하게 된다.
이러한 움직임 보상 장치는 이미지 센서 내에 구비되며, 이미지 센서에서 자체적으로 움직임 보정이 가능하게 된다. 상기 이미지 센서는 CM0S(Complementary Metal-Oxide Semiconductor) 이미지 센서로 구성되며, 행/열의 구동이 가능한 픽셀 어레이를 갖는 구조이다.
이러한 이미지 안정화부(17)는 도 1 및 도 2에 도시된 바와 같이, 픽셀 어레 이(10)로부터 샘플링할 행 및 열 각각에 대해 라인 데이터를 추출하는 라인 데이터 추출부(21)와, 상기 라인 데이터 추출부(21)에 의해 추출된 라인 데이터를 이전 영상 프레임에서 추출된 데이터와 비교하는 비교부(22)와, 상기 비교부(22)에 의해 비교 결과에 따라 움직임 벡터를 계산하는 움직임 벡터 추출부(24)를 포함하며,
상기 메인 제어부(15)에는 상기 움직임 벡터 추출부(17)에 의해 추출된 움직임 벡터만큼 시작 포인터를 이동시켜는 시작 포인터 보상부(25)와, 상기 시작 포인터 보상부(25)에 의해 움직임이 보상된 현재 영상 데이터를 출력하는 영상 출력부(26)를 포함하는 구성이다.
이러한 이미지 안정화부 및 메인 제어부의 동작을 설명하면, 메인 제어부(15)에서는 카메라 시스템이 구동되고 움직임 보정 기능이 시작되면, 움직임 보정을 위해 픽셀 어레이의 해상도(예: 660*500)가 결정된다. 이때, 움직임 보정을 위한 변위를 고려하여 전체 해상도보다 작은 해상도(예: 640*480)가 결정된다. 이는 픽셀 어레이의 실제 크기는 화면에 보여지는 크기 보다 크기 때문에 작은 해상도를 결정하게 된다. 그리고, 움직임 벡터 추출을 위한 윈도우 영역이 설정하고, 각 윈도우 영역에서 샘플링할 행/열 라인을 설정하게 된다.
이와 같이 초기 설정 과정이 수행되면, 이미지 안정화부(17)의 라인 데이터 추출부(21)는 각각의 샘플링할 라인의 데이터를 추출하고, 비교부(22)에서 프레임 저장부(23)에 저장된 이전 영상 프레임의 데이터와 상기 추출된 라인 데이터를 비교하게 된다. 움직임 벡터 추출부(24)는 상기 비교부(22)의 출력에 따라 움직임 벡터를 추출하게 된다.
상기 움직임 벡터 추출부(24)에 의해 추출된 움직임 벡터는 메인 제어부(15)에 전달되며, 메인 제어부(15)의 시작 포인터 보상부(25)는 상기 움직임 벡터의 변위 만큼 시작 포인터를 반영하여 영상의 시작점을 이동시키고, 이전 영상과 중심점이 같은 현재의 영상 데이터를 영상 출력부(26)를 통해 출력하게 된다.
본 발명은 입력 영상에 대해 일정 개의 윈도우 영역으로 분할한 후 각 영역에서 샘플링 행/열 라인의 영상 정보를 얻어, 이전 영상의 정보와 현재 영상의 정보를 비교하여 각 영역의 움직임 벡터를 추출한 후 각 영역의 움직임 벡터를 이용하여 전체 영상의 움직임 벡터를 추출할 수 있도록 함으로써, 이전 영상 프레임과의 차이에 의한 움직임 벡터를 보상하여 현재 영상 프레임에 반영할 수 있도록 한다.
또한 전체 해상도에서 움직임 보정 기능 동작을 위한 해상도를 설정하고, 움직임 벡터를 보상을 위한 시작점을 이동하여 전체 영상의 중심점이 항상 일정하도록 한다.
또한 각 영역의 움직임 벡터 중에서 중심 영역의 움직임 벡터에 가중치를 줌으로써, 중심 영역의 움직임을 고려하여 영상 움직임을 보상할 수 있도록 해 준다.
도 4는 본 발명에 따른 움직임 보정 방법을 나타낸 플로우 챠트이다.
먼저, 움직임 보정을 위한 해상도를 설정하게 된다(S21). 여기서, 도 6에 도시된 바와 같이 해상도는 움직임 보정을 위한 변위를 감안하여 전체 해상도(31) 보다 작은 해상도(32)로 결정된다. 그리고, 움직임 벡터를 추출하기 위한 윈도우 영 역(33)을 설정하며(S22), 각 윈도우 영역(33)에서 샘플링할 행/열 라인(34)을 설정하게 된다(S23).
이후, 상기 설정된 샘플링할 각 라인의 데이터를 추출하고(S24), 추출된 라인 데이터를 누적하여 이전 영상 프레임에서 추출된 데이터와 비교하게 된다(S25).
이때, 상기 비교 결과에 따라 움직임 벡터를 계산하고(S26), 계산된 움직임 벡터만큼 시작 포인터(SO)를 이동시켜 준다(S27). 최종, 상기 움직임 벡터가 반영된 영상이 출력된다(S27). 상기 행과 열에 움직임 벡터의 변위만큼 반영되어 영상의 시작점(SO)이 재 설정되고, 이전 영상과 중심점이 같은 영상 정보를 출력하게 되므로, 움직임이 보상된 안정된 영상을 얻을 수 있다.
도 5는 본 발명에 따른 시간 기준으로 움직임 보정을 나타낸 동작 상태도이다. 도 5에 도시된 바와 같이 이전 영상 프레임(T-1)에 의해 현재 영상 출력의 움직임 벡터가 추출되고, 추출된 움직임 벡터를 이용하여 시작점을 이동하여 설정하게 되며, 설정된 시작점에 해당되는 현재 영상(T)을 출력하게 된다.
도 7은 본 발명에 따른 움직임 벡터 추출 과정을 나타낸 것으로, 각 영역의 행/열 데이터(R1~R)(C1~C3)에 해당되는 움직임 벡터(△)를 각각 추출하게 된다. 그리고, 이전 영상(T-1)과 현재 영상(T)을 비교함으로써 움직임 벡터(△)를 구할 수 있다.
상기 움직임 벡터를 이용한 시작점 설정 과정은 도 8과 같이 전체 해상도 영역(40)에서 실제 영상 크기에 맞는 영상 출력을 위해 각 영역의 행 및 열 라인 데이터에 의해 이전 영상(T-1)(41)과 현재 영상(T)(42)의 비교를 통해 움직임 벡터( △x,△y)를 추출하며, 상기 추출된 움직임 벡터를 이용하여 전체 움직임 벡터를 구하고 전체 움직임 벡터로부터 시작점(SO')이 이동 설정되며, 이전 영상과 중심(P0=PO')이 일치한 현재 영상(42)이 출력된다.
도 9는 본 발명에 따른 움직임 벡터가 결정되는 과정을 나타내고 있다. 도 9에 도시된 바와 같이, 먼저 움직임 보정 기능을 위한 해상도(42)가 결정되고 상기 결정된 해상도(42)를 몇 개의 영역(43)으로 나눈 후 각 영역의 이전 영상(T-1)과 현재 영상(T)의 비교를 통해 움직임 벡터(△X,△Y)를 구한다. 각 영역에서 행/열의 샘플링 라인이 결정된 후 각 라인의 영상 정보가 구해진다. 이때 구해진 각 라인의 영상정보에서 움직임 벡터 추출에 적합한 비트(예를 들면 8비트의 영상 정보라면, 움직임이 많은 상위 4~6비트)를 저장한 후, 이전 영상(T-1)의 저장된 값과 비교되어 움직임 벡터(△X,△Y)를 구하게 된다. 이렇게 하여 얻어진 각 영역의 움직임 벡터(△X,△Y)에 가중치를 주어 전체 영상의 움직임 벡터를 구할 수 있다. 이때 중심영역에 가중치를 주는 등의 기능 향상을 위한 기능 등을 넣을 수 있다. 이렇게 하면 전체 작은 메모리 공간을 이용하여 하드웨어적으로 빠른 움직임 벡터를 구할 수 있으며 하드웨어적으로 간단하게 구현할 수 있다. 또한 움직임 벡터에 의해 보정이 다음 영상 프레임이 아닌 현 영상 프레임에 적용되어 출력되는 장점이 있다.
여기서, 상기 가중치는 각 윈도우 영역 중에서 중심 영역에 해당되는 움직임 벡터에 가중치를 줌으로써, 전체 영역의 평균적인 움직임 벡터에 대해 중심 영역이 다른 영역 보다 고려될 수 있도록 한다. 즉, 다른 영역의 움직임 벡터에 1이라는 가중치를 줄 때, 중심 영역의 움직임 벡터에 3이라는 가중치를 할당할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예를 중심으로 살펴보았으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 기술 범위 내에서 상기 본 발명의 상세한 설명과 다른 형태의 실시 예들을 구현할 수 있을 것이다. 여기서 본 발명의 본질적 기술범위는 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명에 따른 휴대 단말기에서의 움직임 보정 장치 및 방법에 의하면, 이미지 센서를 이용하여 움직임 보정이 가능한 효과가 있다.
또한 본 발명은 CMOS 이미지 센서를 이용하여 휴대 단말기 등에서 움직임 보정을 자체적으로 수행함으로써, 정지영상뿐만 아니라 동영상에서 손떨림과 같은 움직임에 따라 화질의 감쇠를 보상하는 효과가 있다.

Claims (10)

  1. 행 및 열의 구동이 가능한 픽셀을 구비한 픽셀 어레이와;
    상기 행 및 열 픽셀의 구동을 위한 드라이버와;
    상기 행 및 열의 픽셀 구동에 따른 행/열 픽셀로부터 전기적인 신호를 검출하고 디지털 데이터로 변환하여 출력하는 신호 처리수단과;
    상기 신호 처리수단으로부터 디지털 데이터를 입력받아, 상기 픽셀 어레이의 소정 영역에서 샘플링할 행 및 열에 대해 라인 데이터를 추출하고, 이전 프레임의 해당 영역에서 추출된 데이터와 비교하여 각 영역의 움직임 벡터를 계산하는 이미지 안정화 수단과;
    상기 드라이버의 제어 및 상기 계산된 각 영역의 움직임 벡터를 이용하여 전체 영상의 움직임 벡터를 구하고 움직임 벡터가 보상된 시작점을 현재 영상 프레임에 적용하여 출력하는 제어부를 포함하는 것을 특징으로 하는 휴대 단말기에서의 움직임 보정장치.
  2. 제 1항에 있어서,
    상기 이미지 안정화부는 각 윈도우 영역의 라인 데이터를 추출하는 라인 데이터 추출부와, 상기 라인 데이터에 의해 추출된 프레임과 이전 영상 프레임을 비교하는 비교부와, 상기 비교부의 비교 결과에 따라 각 영역의 움직임 벡터를 계산하는 움직임 벡터 추출부를 포함하는 것을 특징으로 하는 휴대 단말기에서의 움직임 보정장치.
  3. 제 2항에 있어서,
    상기 움직임 벡터 추출부는 상기 각 영역의 움직임 벡터 중 특정 영역의 움직임 벡터에 가중치를 주어, 전체 움직임 벡터를 구하는 것을 특징으로 하는 휴대 단말기에서의 움직임 보정장치.
  4. 제 3항에 있어서,
    상기 특정 영역은 중심 영역인 것을 특징으로 하는 휴대 단말기에서의 움직임 보정장치.
  5. 휴대 단말기에 구비된 카메라 렌즈를 통해 입력되는 빛을 전기적 신호로 검출하고 디지털 데이터로 변환하는 이미지 센서에 있어서,
    행 및 열의 구동이 가능한 픽셀을 구비한 픽셀 어레이와;
    상기 행 및 열 픽셀의 구동을 위한 드라이버와;
    상기 행 및 열의 픽셀 구동에 따른 행/열 픽셀로부터 전기적인 신호를 검출하고 디지털 데이터로 변환하여 출력하는 신호 처리수단과;
    상기 신호 처리수단으로부터 디지털 데이터를 입력받아, 상기 픽셀 어레이의 소정 영역에서 샘플링할 행 및 열에 대한 라인 데이터를 추출하고, 이전 프레임의 해당 영역에서 추출된 데이터와 비교하여 각 영역의 움직임 벡터를 계산하여 출력하는 이미지 안정화 수단과;
    상기 드라이버의 구동 제어 및 상기 계산된 각 영역의 움직임 벡터를 이용하여 전체 영상의 움직임 벡터를 구하고 움직임 벡터가 보상된 시작점을 현재 영상 프레임에 적용하여 출력하는 제어부를 포함하는 것을 특징으로 하는 휴대 단말기에서의 움직임 보정을 위한 이미지 센서.
  6. 제 5항에 있어서,
    상기 이미지 센서는 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서인 것을 특징으로 하는 휴대 단말기에서의 움직임 보정을 위한 이미지 센서.
  7. 제 5항에 있어서,
    상기 이미지 센서에는 상기 각 부의 타이밍 제어를 위한 타이밍 제어부 및 클럭을 제공하는 클럭 발생부를 더 포함하는 것을 특징으로 하는 휴대 단말기에서의 움직임 보정을 위한 이미지 센서.
  8. 움직임 보정을 위한 해상도 및 윈도우 영역, 그리고 각 영역의 샘플링할 행 및 열 라인을 설정하는 단계;
    카메라 렌즈를 통해 빛이 입력되면, 상기 설정된 각 윈도우 영역의 행 및 열에 해당되는 각 라인 데이터를 추출하는 단계;
    상기 추출된 라인 데이터와 이전 영상 데이터를 비교하는 단계;
    상기 비교결과에 따라 각 영역별 움직임 벡터를 추출하는 단계;
    상기 추출된 각 영역별 움직임 벡터를 이용하여 전체 움직임 벡터를 구한 후 , 행과 열에 움직임 벡터의 변위만큼 보상하여 영상의 시작점을 설정하여, 이전 영상과 중심점이 같은 현재 영상을 출력하는 단계를 포함하는 것을 특징으로 하는 휴대 단말기에서의 움직임 보정방법.
  9. 제 8항에 있어서,
    상기 각 영역별 움직임 벡터 중에서 중심 영역의 움직임 벡터에 가중치를 주는 것을 특징으로 하는 휴대 단말기에서의 움직임 보정방법.
  10. 휴대 단말기에 구비된 카메라 렌즈를 통해 입력되는 빛을 전기적 신호로 검출하고 디지털 데이터로 변환하는 이미지 센서에 있어서,
    행 및 열의 구동에 의해 카메라 렌즈를 통해 입력되는 빛을 전기적 신호로 검출하고 디지털 데이터로 변환하는 단계;
    상기 디지털 데이터로부터 각 라인 데이터를 추출한 후 이전 영상 데이터와 비교하여 움직임 벡터를 추출하는 단계;
    상기 움직임 벡터를 이용하여 현재 영상의 시작점을 이동시키는 단계;
    상기 시작점이 이동된 현재 영상을 출력하는 단계를 포함하는 것을 특징으로 하는 휴대 단말기에서의 이미지 센서를 이용한 움직임 보정방법.
KR1020050090605A 2005-09-28 2005-09-28 휴대 단말기에서의 움직임 보상 장치 및 방법 KR100684009B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050090605A KR100684009B1 (ko) 2005-09-28 2005-09-28 휴대 단말기에서의 움직임 보상 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050090605A KR100684009B1 (ko) 2005-09-28 2005-09-28 휴대 단말기에서의 움직임 보상 장치 및 방법

Publications (1)

Publication Number Publication Date
KR100684009B1 true KR100684009B1 (ko) 2007-02-20

Family

ID=38103885

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050090605A KR100684009B1 (ko) 2005-09-28 2005-09-28 휴대 단말기에서의 움직임 보상 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100684009B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180015549A (ko) * 2016-08-03 2018-02-13 삼성전자주식회사 이미지 센서, 카메라 모듈 및 이를 포함하는 기기
WO2019156308A1 (ko) * 2018-02-07 2019-08-15 삼성전자 주식회사 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261530A (ja) * 1996-03-19 1997-10-03 Toshiba Corp 映像記録装置
JP2000106664A (ja) * 1998-09-29 2000-04-11 Canon Inc 画像処理装置、画像処理方法、記録再生装置及びコンピュータ読み取り可能な記憶媒体
KR20000037945A (ko) * 1998-12-03 2000-07-05 구자홍 영상의 윤곽선을 고려한 효율적인 움직임 추정 장치
KR20020001331A (ko) * 2000-06-28 2002-01-09 윤종용 디지털 영상 안정화 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261530A (ja) * 1996-03-19 1997-10-03 Toshiba Corp 映像記録装置
JP2000106664A (ja) * 1998-09-29 2000-04-11 Canon Inc 画像処理装置、画像処理方法、記録再生装置及びコンピュータ読み取り可能な記憶媒体
KR20000037945A (ko) * 1998-12-03 2000-07-05 구자홍 영상의 윤곽선을 고려한 효율적인 움직임 추정 장치
KR20020001331A (ko) * 2000-06-28 2002-01-09 윤종용 디지털 영상 안정화 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180015549A (ko) * 2016-08-03 2018-02-13 삼성전자주식회사 이미지 센서, 카메라 모듈 및 이를 포함하는 기기
KR102530761B1 (ko) * 2016-08-03 2023-05-11 삼성전자주식회사 이미지 센서, 카메라 모듈 및 이를 포함하는 기기
WO2019156308A1 (ko) * 2018-02-07 2019-08-15 삼성전자 주식회사 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법
KR20190095795A (ko) * 2018-02-07 2019-08-16 삼성전자주식회사 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법
US11363199B2 (en) 2018-02-07 2022-06-14 Samsung Electronics Co., Ltd. Apparatus and method for estimating optical image stabilization motion
KR102452564B1 (ko) * 2018-02-07 2022-10-11 삼성전자주식회사 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법

Similar Documents

Publication Publication Date Title
US7230558B2 (en) Column analog-to-digital conversion apparatus and method supporting a high frame rate in a sub-sampling mode
US9986172B2 (en) Semiconductor device including control signal generating circuit
KR102191245B1 (ko) 이미지 센서 구동 방법, 이를 채용한 이미지 센서 및 이를 포함하는 휴대용 전자 기기
US7746521B2 (en) Analog-to-digital conversion in CMOS image sensor
US7483067B2 (en) Column-parallel sigma-delta analog-to-digital conversion for imagers
US20100208086A1 (en) Reduced-memory video stabilization
KR20080048950A (ko) 고체 촬상 장치 및 촬상 장치
GB2421374A (en) Ramp generators for imager analogue-to-digital converters
KR20120044493A (ko) 온도 센서, 이를 포함하는 장치 및 이미지 센싱 시스템
US10728483B2 (en) Comparator with correlated double sampling scheme, CMOS image sensor including the same, and operating method thereof
CN111629159A (zh) 斜坡信号稳定减少电路
KR20130106636A (ko) 이미지 촬영 장치 및 이미지 촬영 장치의 신호 보정 방법
US20150163435A1 (en) Device, image sensor, method for driving device, and method for driving image sensor
KR100684009B1 (ko) 휴대 단말기에서의 움직임 보상 장치 및 방법
US20150181146A1 (en) Ad converter, ad conversion device, photoelectric conversion apparatus, imaging system, and ad conversion method
WO2016147887A1 (ja) 固体撮像装置およびその制御方法、並びに電子機器
US7061413B2 (en) Analog to digital conversion with offset cancellation
KR102514432B1 (ko) 비교 장치 및 그 동작 방법과 그를 이용한 씨모스 이미지 센서
KR101012481B1 (ko) 동영상 손떨림 보정 장치 및 방법
JP6198567B2 (ja) イメージセンサおよびその動作方法、並びに電子機器
WO2022188120A1 (en) Event-based vision sensor and method of event filtering
KR20100004800A (ko) 노이즈를 제거할 수 있는 아날로그 디지털 변환 장치,이미지 촬상 장치, 및 이미지 촬상 장치의 신호 처리 방법
EP2822268B1 (en) Scanning circuit, photoelectric conversion apparatus, and image pickup system
CN116132805A (zh) 成像元件、摄像装置、成像元件的工作方法及存储介质
WO2018131521A1 (ja) 撮像素子および電子機器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20091230

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee