KR100683998B1 - 디지털 이미지 캡쳐 장치 및 방법 - Google Patents

디지털 이미지 캡쳐 장치 및 방법 Download PDF

Info

Publication number
KR100683998B1
KR100683998B1 KR1020050017470A KR20050017470A KR100683998B1 KR 100683998 B1 KR100683998 B1 KR 100683998B1 KR 1020050017470 A KR1020050017470 A KR 1020050017470A KR 20050017470 A KR20050017470 A KR 20050017470A KR 100683998 B1 KR100683998 B1 KR 100683998B1
Authority
KR
South Korea
Prior art keywords
image
motion vector
value
pixel boundary
offset
Prior art date
Application number
KR1020050017470A
Other languages
English (en)
Other versions
KR20060096745A (ko
Inventor
김대식
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020050017470A priority Critical patent/KR100683998B1/ko
Publication of KR20060096745A publication Critical patent/KR20060096745A/ko
Application granted granted Critical
Publication of KR100683998B1 publication Critical patent/KR100683998B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 휴대 단말기에 있어서, 특히 단말기에 장착된 카메라의 이미지 캡쳐시, 움직임 레벨에 따라 픽셀 경계 오프셋 값을 적응적으로 조절함으로써, 불필요한 데이터 프로세싱을 줄여 이미지 프로세싱 효율을 높여 줄 수 있도록 한 디지털 이미지 캡쳐 장치 및 방법에 관한 것이다.
본 발명에 따른 디지털 이미지 캡쳐 장치는, 카메라 렌즈로부터 입사되는 이미지 광원을 센싱하고, 상기 센싱된 이미지를 디지털 신호로 처리한 후 출력하는 카메라 모듈과; 상기 카메라 모듈로부터 입력되는 이미지를 코딩하는 코덱부와; 상기 코딩된 이미지로부터 인접 프레임 간의 모션 벡터를 추정하는 모션 벡터 추정부와; 상기 모션 벡터 추정부에 의해 추정된 모션 벡터 값에 의해 상기 센싱된 이미지의 픽셀 경계 오프셋 값을 적응적으로 조절하는 가변 오프셋 제어부를 포함하는 것을 특징으로 한다.
단말기, 카메라, 모션 추정, 픽셀 경계

Description

디지털 이미지 캡쳐 장치 및 방법{Capture apparatus and method of digital image}
도 1은 종래 디지털 이미지 캡쳐 장치를 나타낸 구성도.
도 2는 캡쳐되는 이미지의 예를 나타낸 구성도.
도 3은 본 발명 실시 예에 따른 디지털 이미지 캡쳐 장치를 나타낸 구성도.
도 4는 본 발명 실시 예에 따른 디지털 이미지 캡쳐 방법을 나타낸 플로우 챠트.
<도면의 주요부분에 대한 부호의 설명>
101...카메라 렌즈 110...카메라 모듈
111...이미지 센서 112...AFE/ADC
113...이미지 처리부 114...디지털 신호 프로세서
115....타이밍 제너레이터 116...인터페이스부
117...DC-DC 컨버터 118...가변오프셋 제어부
120...코덱부 121...비디오 코덱
122...이미지 코덱 123...모션 벡터 추정부
본 발명은 휴대 단말기에 있어서, 특히 카메라에서 움직임 레벨에 따라 사용자 눈으로 인지하는 정도를 이용하여 불필요한 데이터 프로세싱을 줄여 이미지 프로세싱 효율을 높여 줄 수 있도록 한 디지털 이미지 캡쳐 장치 및 방법에 관한 것이다.
최근의 휴대 단말기는 초소형 디지털 카메라가 장착되어 있어 사진을 찍을 수 있도록 만들어진 카메라 폰으로 출시되어 사용되고 있다. 이러한 휴대 단말기에서의 카메라는 외장형과 내장형으로 구분되는데, 외장형은 별도로 판매하는 초소형 디지털 카메라를 구입해 휴대 전화기 본체에 부착하는 방식이고, 내장형은 전화기 자체에 소형 카메라 렌즈가 달려 있는 방식이다.
이러한 휴대 단말기는 작동원리나 저장방식은 디지털 카메라와 비슷하지만, 기능은 떨어진다. 즉, 저장용량이 작기 때문에 찍은 사진 또는 동영상을 자주 퍼스널컴퓨터에 옮겨 놓거나, 따로 출력해서 보관하게 된다. 또 대부분의 휴대 단말기는 빛이 없는 곳에서는 사진을 찍기 힘들기 때문에 이러한 단점을 보완하기 위해 플래시가 장착된 제품도 출시되고 있다.
휴대 단말기에 장착되어 있어 항상 가지고 다닐 수 있고, 별다른 기술 없이도 자유 자재로 사진을 찍을 수 있기 때문에 일반 휴대폰보다 상대적으로 고가임에도 갈수록 구매자들은 늘어나고 있는 추세이다. 단순한 사진만을 찍을 수 있는 카메라 폰부터 30분 길이의 동영상을 찍을 수 있는 카메라 폰, 26만 컬러 액정화면과 디지털 줌 기능을 갖춘 카메라 폰 등 종류와 성능도 다양하다.
일반적으로 영상처리장치는 영상을 촬영하는 카메라와, 상기 카메라로부터 촬영된 영상신호를 표시하는 표시부를 구비한다. 여기서 상기 카메라는 CCD나 CMOS 센서를 사용할 수 있으며, 표시부는 LCD를 사용할 수 있다. 또한 상기 카메라 장치의 소형화에 따라 상기 영상을 촬영하는 장치는 점점 소형화되는 추세에 있다. 그리고 상기 카메라 장치는 휴대용 단말기에도 장착되는 추세이다. 상기 휴대용 단말기는 영상 화면을 촬영하여 동영상(moving picture) 및 정지영상(still picture)으로 표시할 수 있으며, 또한 촬영된 영상 화면을 기지국에 전송할 수도 있다.
종래 휴대 단말기의 디지털 이미지 캡쳐 장치는 도 1에 도시된 바와 같다.
도 1에 도시된 바와 같이, 카메라 모듈(10)과 코덱부(20)로 구성되며, 카메라 모듈(10)은 카메라 렌즈(Camera lens)(1)와 그 렌즈를 통해 들어오는 이미지 광원(Image light source)을 감지하는 이미지 센서(image sensor)(11)와, 상기 이미지 센서에 의해 센싱된 아날로그 이미지 신호를 소정의 제어 이득율에 따라 증폭 감쇄를 수행한 후 디지트화된 신호를 변환 출력하기 위한 AFE(Analog Front End)/ADC(Analog Digital Convertor)부(12)와, 상기 디지트화된 이미지 데이터를 처리하여 출력하는 이미지 처리부(13)로 구성된다.
상기 이미지 처리부(13)는 상기 디지트화(Digitized)된 이미지 데이터를 가지고 이미지 신호의 프로세싱 처리를 하는 디지털 신호 프로세서(DSP)(14)와, 소정의 타이밍 신호들을 발생하는 타이밍 제너레이터(Timing Generator: TG, 15)와, 이미지 압축(Image compress)을 위해 메인 프로세서로 데이터를 전송하는 인터페이스부(16)와, 전원 공급을 위한 DC-DC 컨버터(17)를 포함한다. 상기 디지털 신호 프로 세서(14)는 이미지 신호 프로세서(ISP: Image Signal Processor)로 구성할 수도 있다.
상기 코덱부(20)는 캡쳐 이미지 데이터를 전송 및 저장에 용이한 형태로 이미지 압축(Image compressing)을 수행하기 위한 비디오 이미지 인코딩 및 디코딩을 수행하는 비디오 코덱(Video CODEC)(21)과, 정지 이미지(still image) 인코딩 및 디코딩을 수행하는 이미지 코덱(Image CODEC)(22)으로 구분되며, 상기 비디오 코덱(21)은 MPEG(Moving Picture Experts Group) 및 H.264 코덱 등을 포함하며, 이미지 코덱(22)은 예를 들면 JPEG 코덱을 포함하게 된다.
이러한 종래의 디지털 이미지 캡쳐 장치를 보면, 이미지 캡쳐를 위해서 이미지 센서(11)는 도 2와 같은 3개 정도의 픽셀 경계(pixel boundary)로 구분되며, 이는 물리적 픽셀 경계인 프레임 경계(A1), 파이널(final) 캡쳐 이미지 프로세싱을 위한 오프셋을 가지는 픽셀 경계(A2)와, 리얼(real) 이미지 캡쳐 사이즈인 윈도우 경계(A3)이다. 여기서, 이미지 센서가 CIF(352*288)급 해상도(Resolution)를 제공하는 것을 예로 한 것이다.
그리고, 렌즈(1)로부터 입사되는 이미지 광원을 이미지 센서(11)로 센싱하기 위해 물리적 픽셀 경계(Frame boundary : 500*350 -> white area)내 임의의 포인트에서 픽셀 경계를 정의하는데, 이 픽셀 경계는 일반적으로 파이널 이미지 경계인 윈도우 경계 보다 크게 세팅되며, 이때 정의되는 추가적인 경계인 오프셋 값은 수직 오프셋(VO: Vertical Offset -> 12lines), 수평 오프셋(HO : Horizontal Offset: 12lines)이라 한다.
이렇게 정의된 픽셀 경계(364*300 : Yellow Area) 내의 모든 픽셀 데이터는 이미지 센서(11)에서 광원을 센싱한 후, 디지털 신호 프로세서(DSP)(14)에서 이미지 신호 프로세싱을 위해 메모리(미도시)에 모두 버퍼링하게 된다.
이미지 센서(11)로부터 이미지 광원의 센싱이 완료되면, 디지털 신호 프로세서(13)는 메모리로부터 프레임 단위로 저장된 픽셀 경계 데이터(364*300)에서 윈도우 경계(CIF: 352*288) 영역의 데이터만큼만 액세스하여 이미지 프로세싱을 진행하게 된다.
이미지 센서(11)는 윈도우 경계 사이즈(예: CIF: 353*288)의 이미지 캡쳐를 위해 프레임 경계(500*350) 및 픽셀 경계(364*300)의 물리적 픽셀 영역을 가지고 있어야 하고, 오프셋 예를 들면, 수평 및 수직 오프셋(HO, VO)을 각각 12라인을 가지는 픽셀 경계 데이터를 모두 메모리에 기록하는데, 이러한 데이터는 이미지 프로세싱시 항상 필요한 것이 아니며, 이미지의 에지 경계 프로세싱 등 필요한 경우에만 제한적으로 사용된다.
즉, CIF(352*288)의 이미지 캡쳐를 위해 VO/HO가 12개의 오프셋 라인들을 가지고, 이는 픽셀 경계-윈도우 경계의 차[(364*300)-(352*288) = 7824 pixels ]에 대한 추가적인 이미지 센서의 광원 센싱 동작 및 메모리 기록 동작을 필요로 하고, 이는 저 전력 및 높은 처리율을 구현해야 하는 디지털 카메라 시스템에 있어서, 큰 문제점으로 작용하게 된다.
최근 디지털 카메라 시스템에 있어서 이미지 캡쳐 및 디스플레이 시스템의 경향은 QCIF(176*174)-> QVGA(320*240), CIF(352*288)->VGA(640*488)로 진행되고 있어서, 고 해상도 및 저 전력을 요구하고 있기 때문에 수평 및 수직 오프셋 값에 따른 널 데이터 사이즈도 증가되고 있어, 그 영향은 더욱 커진다. 예를 들면 12라인을 기준으로 CIF(352*288)급은 7824 픽셀이며, VGA급은 12584 픽셀로 나타나게 된다.
본 발명은 이미지 데이터의 모션 벡터를 추정하여, 그 추정 정보에 따라 픽셀 경계 오프셋을 적응적으로 제어할 수 있도록 함에 있다.
상기한 목적 달성을 위한 본 발명에 따른 디지털 이미지 캡쳐 장치는,
카메라 렌즈로부터 입사되는 이미지 광원을 센싱하고, 상기 센싱된 이미지를 디지털 신호로 처리한 후 출력하는 카메라 모듈과;
상기 카메라 모듈로부터 입력되는 이미지를 코딩하는 코덱부와;
상기 코딩된 이미지로부터 인접 프레임 간의 모션 벡터를 추정하는 모션 벡터 추정부와;
상기 모션 벡터 추정부에 의해 추정된 모션 벡터 값에 의해 상기 센싱된 이미지의 픽셀 경계 오프셋 값을 적응적으로 조절하는 가변 오프셋 제어부를 포함하는 것을 특징으로 한다.
바람직하게, 상기 모션 벡터 추정부는 코덱부 내부에 구비되는 것을 특징으로 한다.
바람직학, 상기 가변 오프셋 제어부는 카메라 모듈 내부에 구비된 것을 특징 으로 한다.
바람직하게, 상기 가변 오프셋 제어부는 상기 모션 벡터 값에 의해 현재 캡쳐되는 이미지의 움직임 레벨이 기준치를 초과할 경우 픽셀 경계 오프셋 값을 최소화하도록 제어하는 것을 특징으로 한다.
바람직하게, 상기 가변 오프셋 제어부는 상기 모션 벡터 값에 의해 현재 캡쳐되는 이미지의 움직임 레벨이 기준치 이하일 경우, 픽셀 경계 오프셋 값을 최대화하도록 제어하는 것을 특징으로 한다.
바람직하게, 상기 가변 오프셋 제어부는 복수개의 픽셀 경계 오프셋 값을 갖는 룩업 테이블을 구비하고, 상기 모션 벡터 값을 룩업 테이블의 인덱스로 사용하는 것을 특징으로 한다.
바람직하게, 상기 가변 오프셋 제어부는 로직 제어 방식으로 구현되는 것을 특징으로 한다.
바람직하게, 상기 가변 오프셋 제어부는 특정 프레임에 대해 선택하여 픽셀 경계 오프셋 값을 제어하는 것을 특징으로 한다.
바람직하게, 상기 가변 오프셋 제어부는 홀수 프레임, 짝수 프레임, 랜덤 프레임 중에서 적어도 하나를 선택하여 해당 순서의 프레임별로 픽셀 경계 오프셋 값을 제어하는 것을 특징으로 한다.
본 발명 실시 예에 따른 디지털 이미지 캡쳐 방법은,
카메라 모듈로부터 센싱된 이미지를 인코딩하는 단계; 상기 인코딩된 이미지의 인접 프레임간 차이에 해당되는 모션 벡터 추정 정보를 추정하는 단계; 상기 모 션 벡터 추정 정보에 따라 미리 설정된 픽셀 경계 오프셋 값으로 현재 센싱된 이미지의 픽셀 경계 오프셋 값을 적응적으로 조절하는 단계를 포함하는 것을 특징으로 한다.
바람직하게, 상기 센싱된 이미지 조절 단계는, 상기 모션 벡터 추정 정보가 미리 설정된 픽셀 경계 오프셋 기준치를 초과하면, 현재 센싱된 이미지의 픽셀 경계 오프셋 값을 최소가 되도록 조절하는 단계와; 상기 모션 벡터 추정 정보가 미리 설정된 픽셀 경계 오프셋 기준치 이하이면, 현재 센싱된 이미지의 픽셀 경계 오프셋 값을 최대가 되도록 조절하는 단계를 포함하는 것을 특징으로 한다.
이하 첨부된 도면을 참조하여 설명하면 다음과 같다.
도 3은 본 발명 실시 예에 따른 디지털 이미지 캡쳐 장치를 나타낸 블록 구성도이다.
도 3을 참조하면, 카메라 모듈(110)과 코덱부(120)로 구성되며, 카메라 모듈(110)은 카메라 렌즈(Camera lens)(101)와 그 렌즈를 통해 들어오는 이미지 광원(Image light source)을 감지하는 이미지 센서(image sensor)(111)와, 상기 이미지 센서에 의해 센싱된 아날로그 이미지 신호를 소정의 제어 이득율에 따라 증폭 감쇄를 수행한 후 디지트화된 신호를 변환 출력하기 위한 AFE(Analog Front End)/ADC(Analog Digital Convertor)부(112)와, 상기 디지트화된 이미지 데이터를 처리하여 출력하는 이미지 처리부(113)로 구성된다.
상기 이미지 처리부(113)는 상기 디지트화(Digitized)된 이미지 데이터를 가지고 이미지 신호의 프로세싱 처리를 하는 디지털 신호 프로세서(DSP)(114)와, 소 정의 타이밍 신호들을 발생하는 타이밍 제너레이터(Timing Generator: TG, 115)와, 이미지 압축(Image compress)을 위해 메인 프로세서로 데이터를 전송하는 인터페이스부(116)와, 전원 공급을 위한 DC-DC 컨버터(117)를 포함한다. 상기 디지털 신호 프로세서(114)는 이미지 신호 프로세서(ISP: Image Signal Processor)로 구성할 수도 있다.
상기 코덱부(120)는 캡쳐 이미지 데이터를 전송 및 저장에 용이한 형태로 이미지 압축(Image compressing)을 수행하기 위한 비디오 이미지 인코딩 및 디코딩을 수행하는 비디오 코덱(Video CODEC)(121)과, 정지 이미지(still image) 인코딩 및 디코딩을 수행하는 이미지 코덱(Image CODEC)(122)으로 구분되며, 상기 비디오 코덱(121)은 MPEG(Moving Picture Experts Group) 및 H.264 코덱 등을 포함하며, 이미지 코덱(122)은 예를 들면 JPEG 코덱을 포함하게 된다.
또한 코덱부(120)에는 상기 카메라 모듈(110)로부터 전해지는 이미지 데이터의 모션 벡터를 추정하는 모션 벡터 추정부(123)가 구성되며, 상기 카메라 모듈(110)에는 상기 모션 벡터 추정부(123)의 모션 벡터 정보를 카메라 모듈(110)의 픽셀 경계 오프셋을 다양하게 제어하는 가변 오프셋 제어부(118)를 더 포함한 구성이다.
상기와 같이 구성되는 본 발명 실시 예에 따른 디지털 이미지 캡쳐 장치에 대하여 설명하면 다음과 같다.
먼저, 디지털 이미지 캡쳐 장치는 크게 카메라 모듈(110)과 코덱부(120)로 구성된다. 상기 카메라 모듈(101)은 카메라 렌즈(101), 이미지 센서(111), AFE/ADC(112), 이미지 처리부(113), 가변 오프셋 제어부(118)로 구성되며, 코덱부(120)는 비디오 코덱(121), 이미지 코덱(122), 모션 벡터 추정부(123)로 구성된다.
먼저 카메라 모듈(101)의 동작을 보면, 이미지 센서(111)는 CMOS 또는 CCD 센서로 구성되며, 카메라 렌즈(110)로부터 입사되는 이미지 광원을 센싱하게 되며, AFE/ADC(112)는 상기 센싱된 아날로그 이미지 신호를 소정의 제어 이득율에 따라 증폭 감쇄를 수행한 후 디지트화된 신호를 변환 출력하게 된다.
이때, 이미지 처리부(113)는 디지털 신호 프로세서(114), 타이밍 제너레이터(115), 인터페이스부(116), DC-DC 컨버터(117)로 구성되며, 상기 이미지 처리부(113)는 상기 디지트화(Digitized)된 이미지 데이터를 가지고 이미지 신호의 프로세싱 처리를 하며, 타이밍 제너레이터(115)는 소정의 타이밍 신호들을 발생하여 각 부에 공급하며, 인터페이스부(116)는 이미지 압축(Image compress)을 위해 메인 프로세서 또는 코덱부(120)로 데이터를 전송하며, DC-DC 컨버터(117)는 각부에 필요한 전원을 공급하게 된다. 여기서, 상기 디지털 신호 프로세서(114)는 이미지 신호 프로세서(ISP: Image Signal Processor)로 구성할 수도 있다.
한편, 코덱부(120)는 비디오 코덱(121), 이미지 코덱(122), 모션 벡터 추정부(123)로 구성되며, 비디오 코덱(121)는 입력되는 동영상 데이터를 코딩하게 되며, 이미지 코덱(122)은 입력되는 정지 영상을 코딩하게 된다.
상기 모션 벡터 추정부(123)는 상기 카메라 모듈(110)로부터 전해지는 이미지 데이터의 모션 벡터를 추정하게 된다. 그리고, 추정된 모션 벡터 정보를 가변 오프셋 제어부(118)에 전달함으로써, 가변 오프셋 제어부(118)는 카메라 모듈(110) 의 픽셀 경계 오프셋을 다양하게 제어하게 된다.
이와 같은 카메라모듈(110)은 비디오 이미지 캡쳐의 경우 프레임간 모션 벡터(Motion vector) 값의 변화는 크지 않는다. 그러나 스포츠 비디오와 같은 모션 변화가 많은 비디오 이미지 캡쳐의 경우에는 모션 벡터의 변화가 상당하게 크며, 코덱부(120)의 처리율을 결정하는 요소(Factor)가 되기도 한다.
이러한 프레임 간 모션 벡터 값의 차이에 따라 코덱부(120)에서는 적절한 알고리즘의 적용을 통해 비디오 인코딩 동작을 수행하게 된다.
이를 위해 모션 벡터 추정부(123)는 프레임 간의 모션 벡터를 추정하게 되는데, 모션 벡터의 변화가 큰 비디오 영상은 사용자의 비디오 이미지 품질 검출(Quality Detection)을 떨어뜨린다. 즉, 모션 벡터의 차이가 적은 안정적인 비디오 이미지 캡쳐의 경우 약간의 이미지 왜곡(Image Distortion)에도 사용자는 민감하게 반응하지만, 스포츠와 같은 모션 벡터의 차이가 큰 비디오 이미지 캡쳐의 경우 약간의 이미지 왜곡에는 사용자가 민감하게 반응하지 않게 된다.
이러한 인간의 눈의 민감도(Human Eye Sensitivity)에 근거한 효과적인 이미지 캡쳐를 위해 모션 벡터 추정부(123) 및 가변 오프셋 제어부(118)를 추가한 구성이다.
이에 따라 카메라 렌즈(101)로부터 들어오는 이미지 광원을 이미지 센서(111)가 픽셀 경계 영역 전체를 센싱하게 되며, 디지털 신호 프로세서(114)에서 이미지 신호 프로세싱을 수행하여 인터페이스부(116)를 통해 코덱부(120)로 영상 데이터(YUV, RGB)를 전달하게 된다. 코덱부(120)에서는 영상 인코딩 동작을 수행하게 된다.
이때, 모션 벡터 추정부(Motion Vector Estimator)123)는 연속적으로 인가되는 비디오 이미지의 현재 프레임과 이전 프레임 간의 모션 벡터 차이(Motion Vector Difference)를 지속적으로 계산한다. 즉, 모션 벡터 추정부(123)는 이전 프레임과 현재 프레임간의 모션 벡터 값의 차이 값을 계산하게 된다. 이렇게 계산된 모션 벡터 추정 정보는 카메라 모듈(110) 내의 가변 오프셋 제어부(118)로 전달하게 되며, 이미지 센서(111)의 픽셀 경계 세팅시 필요한 오프셋 값을 결정하는데 사용된다.
상기 가변 오프셋 제어부(118)는 AFE/ADC(112)로 상기 결정된 오프셋 값을 전달함으로써, AFE/ADC(112)에서 이미지 센서(111)로부터 센싱된 이미지의 픽셀 오프셋 값을 조정하게 된다. 이러한 이미지의 픽셀 오프셋 값 조정은 실제적으로 캡쳐된 이미지의 사이즈가 변경된다.
만약, 가변 오프셋 제어부(118)는 모션 벡터 추정 정보가 크면 현재 캡쳐 이미지가 움직임이 많은 캡쳐 이미지로 인식하여, 픽셀 경계 오프셋 값으로 최소화하도록 AFE/ADC(112)를 제어하여 이미지 센서의 센싱 영역 및 캡쳐된 데이터의 메모리 기록 동작을 최소화하게 된다.
디지털 카메라 시스템을 이용한 일반적인 이미지 캡쳐의 경우 프레임간 모션 벡터의 값의 변화는 그리 크지 않게 된다.
이러한 동작을 통해 카메라 모듈(110) 전체의 성능을 향상시키고, 결과적으로 코덱부(120)의 이미지 프로세싱에 필요한 시간 마진을 확복하여 보다 안정적인 인코딩 동작을 수행할 수 있게 된다.
반대로, 가변 오프셋 제어부(118)는 전달되는 모션 벡터의 값이 작으면 현재 캡쳐 이미지가 움직임이 적은 안정적인 이미지 캡쳐로 인식하여, 픽셀 경계 오프셋 값을 최대화하도록 AFE/ADC(112)를 제어하여 이미지 센서의 센싱 및 캡쳐된 데이터의 메모리 기록 동작을 최대화(Maximize) 또는 정상적으로 처리한다.
이렇게 하여 카메라 모듈(110)의 성능을 이미지의 품질 향상을 위한 동작으로 전환하고, 결과적으로 코덱부(120)의 고 품질 이미지 프로세스에 필요한 부가적인 이미지 데이터를 확보하여 보다 안정적인 인코딩 동작을 수행할 수 있게 된다.
도 4는 본 발명 실시 예에 따른 디지털 이미지 캡쳐 방법을 나타낸 플로우 챠트이다.
도 4를 참조하면, 캡쳐되는 비디오 이미지의 인코딩을 수행하고(S101), 상기 인코딩된 비디오 이미지로부터 인접 프레임간의 모션 벡터를 추정하여 모센 벡터 차이를 계산하게 된다(S103).
상기 모션 벡터 차이 정보를 오프셋 제어부에 전달하게 되면(S105), 오프셋 제어부는 모션 벡터 정보를 기준치(Tm)가 비교를 수행하게 된다(S107). 상기 비교결과, 모션 벡터 정보가 기준치를 초과하면 센싱된 이미지의 픽셀 경계 값을 최소화로 세팅하여 센싱 이미지 영역 및 캡쳐된 데이터 크기를 최소화시켜 준다(S109).
그러나, 모션 벡터 정보가 기준치 이하이면 픽셀 경계값을 최대화로 세팅하여 센싱 이미지 영역 및 캡쳐된 데이터 크기를 최대화로 세팅하게 된다(S111).
그리고, 도시하지 않았지만, 모션 벡터 정보가 기준치와 동일한 범위에 있다 면 픽셀 경계 오프셋 값을 현재 상태로 유지하여 동작을 제어하게 된다.
한편, 본 발명에서는 가변 픽셀 경계 오프셋 제어를 위해서 다양한 실시 예로 구현이 가능하게 되는데, 그에 따른 동작 설명을 한다.
첫째로, 가변 오프셋 제어부(118)는 룩업 테이블(Look-Up Table)방식으로 구성할 수 있다. 가변 오프셋 제어부(118)에서 모션 벡터 추정부(123)로부터 전달되는 모션 벡터 추정 값을 인덱스로 사용하여 테이블 값을 오프셋 값으로 사용하게 된다. 이를 위해서 가변 오프셋 제어부(123)는 룩업 테이블의 구성을 위한 메모리가 요구된다.
둘째로, 로직 제어(Logic Control) 방식으로 가변 오프셋 제어부(118)를 구성할 수 있다. 가변 오프셋 제어부(118)는 모션 벡터 추정부(123)로부터 전달되는 모션 벡터 값을 기준으로 하여 적당한 오프셋 값을 세팅하게 된다. 이를 위해서는 테이블을 사용하는 경우마다 오프셋 값을 다양하게 제어할 수 있으며, 테이블 구성을 위한 메모리가 필요 없다.
셋째로, 가변 오프셋 제어부를 상기의 첫 번째 및 두 번째 방식을 모두 적용한 형태로 구성할 수 있다. 가변 오프셋 제어부(118)는 모션 벡터 추정부(123)로부터 전달되는 모션 벡터 값을 디코딩하여 테이블 방식의 인덱스와 같이 사용하고, 별도의 테이블을 사용하는 것이 아니라 인덱스 값을 보고 사전에 정의한 범위(range)에 따라 오프셋 값을 세팅하게 된다. 이 경우 테이블 메모리가 필요 없으며 가변 오프셋 제어부(118)의 로직 구성도 두 번째 방식보다 간략하게 구성할 수 있다.
이러한 모션 벡터 추정부(123)와 가변 오프셋 제어부(118)에 의한 가변 오프셋 제어는 디지털 카메라 시스템이 예컨대, 30fps(Frame/sec)이기에 짝수/홀수 프레임별로 제어가 가능하고, 또한 랜덤 프레임 제어도 가능하게 된다.
즉, 모션 벡터 추정부(123)의 정보를 카메라 모듈(110)에서 적용 여부를 판단하여, 매 프레임별 혹은 홀수/짝수 프레임별 또는 랜덤 프레임별로 픽셀 경계 오프셋 값을 달리 제어할 수 있게 된다. 이는 로직으로 구현이 가능하게 된다.
또한 본 발명은 픽셀 경계의 오프셋 값을 적응적으로 조절하거나, 윈도우 경계 또는 프레임 경계를 제어하여 캡쳐된 이미지 사이즈를 변경할 수도 있으며, 오프셋 조정 값을 AFE/ADC 또는 이미지 센서 등으로 전달할 수도 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예를 중심으로 살펴보았으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 기술 범위 내에서 상기 본 발명의 상세한 설명과 다른 형태의 실시 예들을 구현할 수 있을 것이다. 여기서 본 발명의 본질적 기술범위는 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
상술한 바와 같이 본 발명은 디지털 이미지 캡쳐 장치에 의하면, 기존과 같이 픽셀 경계 오프셋 값을 모든 프레임에 대해 동일하게 적용하지 않고, 프레임의 움직임 정보에 따라 적응적으로 픽셀 경계 오프셋 값을 조절함으로써, 요구되는 이 미지 캡쳐 상태(Performance, Quality, Power)에 따른 효율적인 시스템 환경이 가능해 지고, 결과적으로 디지털 카메라 시스템의 처리율 향상 및 전력 소모량을 줄일 수 있는 효과가 있다.
또한 메가 픽셀급 이상의 정지 이미지 캡쳐 및 VGA급 이상의 비디오 이미지 캡쳐에서 요구되는 처리율 향상 및 전력 소모량 감소라는 효과를 더욱 기대할 수 있다.

Claims (15)

  1. 카메라 렌즈로부터 입사되는 이미지 광원을 센싱하고, 상기 센싱된 이미지를 디지털 신호로 처리한 후 출력하는 카메라 모듈과;
    상기 카메라 모듈로부터 입력되는 이미지를 코딩하는 코덱부와;
    상기 코딩된 이미지로부터 인접 프레임 간의 모션 벡터를 추정하는 모션 벡터 추정부와;
    상기 모션 벡터 추정부에 의해 추정된 모션 벡터 값에 의해 상기 센싱된 이미지의 픽셀 경계 오프셋 값을 적응적으로 조절하는 가변 오프셋 제어부를 포함하는 것을 특징으로 하는 디지털 이미지 캡쳐 장치.
  2. 제 1항에 있어서,
    상기 모션 벡터 추정부는 코덱부 내부에 구비되는 것을 특징으로 하는 디지털 이미지 캡쳐 장치.
  3. 제 1항에 있어서,
    상기 가변 오프셋 제어부는 카메라 모듈 내부에 구비된 것을 특징으로 하는 디지털 이미지 캡쳐 장치.
  4. 제 1항에 있어서,
    상기 가변 오프셋 제어부는 상기 모션 벡터 값에 의해 현재 캡쳐되는 이미지의 움직임 레벨이 기준치를 초과할 경우 픽셀 경계 오프셋 값을 최소화하도록 제어하는 것을 특징으로 하는 디지털 이미지 캡쳐 장치.
  5. 제 1항에 있어서,
    상기 가변 오프셋 제어부는 상기 모션 벡터 값에 의해 현재 캡쳐되는 이미지의 움직임 레벨이 기준치 이하일 경우, 픽셀 경계 오프셋 값을 최대화하도록 제어하는 것을 특징으로 하는 디지털 이미지 캡쳐 장치.
  6. 제 1항에 있어서,
    상기 가변 오프셋 제어부는 복수개의 픽셀 경계 오프셋 값을 갖는 룩업 테이블을 구비하고, 상기 모션 벡터 값을 룩업 테이블의 인덱스로 사용하는 것을 특징으로 하는 디지털 이미지 캡쳐 장치.
  7. 제 1항에 있어서,
    상기 가변 오프셋 제어부는 로직 제어 방식으로 구현되는 것을 특징으로 하는 디지털 이미지 캡쳐 장치.
  8. 제 1항에 있어서,
    상기 가변 오프셋 제어부는 특정 프레임에 대해 선택하여 픽셀 경계 오프셋 값을 제어하는 것을 특징으로 하는 디지털 이미지 캡쳐 장치.
  9. 제 8항에 있어서,
    상기 가변 오프셋 제어부는 홀수 프레임, 짝수 프레임, 랜던 프레임 중에서 적어도 하나를 선택하여 해당 순서의 프레임별로 픽셀 경계 오프셋 값을 제어하는 것을 특징으로 하는 디지털 이미지 캡쳐 장치.
  10. 삭제
  11. 이미지를 센싱하기 위한 이미지 센서와, 상기 센싱된 이미지 신호를 소정의 신호 이득으로 증폭하고 디지털로 변환하기 위한 AFE/ADC(Analog Front End)/ADC(Analog Digital Convertor)부를 구비한 카메라 모듈과;
    상기 카메라 모듈에서 출력되는 이미지 정보로부터 이미지 프레임간의 모션 정보를 추정하는 모션 추정부와;
    상기 모션 추정부에 의해 추정된 모션 정보 값에 해당되는 값으로 상기 센싱된 이미지의 픽셀 오프셋 값을 조절하는 가변 오프셋 조정부;를 포함하는 것을 특징으로 하는 디지털 이미지 캡쳐 장치.
  12. 제 11항에 있어서,
    상기 조절된 픽셀 오프셋 값은 AFE/ADC부로 출력하는 것을 특징으로 하는 디지털 이미지 캡쳐 장치.
  13. 제 11항에 있어서,
    상기 가변 오프셋 조정부는 홀수 또는 짝수 프레임별 또는 랜덤 프레임별로 이미지 캡쳐 사이즈의 변경을 제어하는 것을 특징으로 하는 디지털 이미지 캡쳐 장치.
  14. 카메라 모듈로부터 센싱된 이미지를 인코딩하는 단계;
    상기 인코딩된 이미지의 인접 프레임간 차이에 해당되는 모션 벡터 추정 정보를 추정하는 단계;
    상기 모션 벡터 추정 정보에 따라 미리 설정된 픽셀 경계 오프셋 값으로 현재 센싱된 이미지의 픽셀 경계 오프셋 값을 적응적으로 조절하는 단계를 포함하는 것을 특징으로 하는 디지털 이미지 캡쳐 방법.
  15. 제 14항에 있어서,
    상기 센싱된 이미지 조절 단계는, 상기 모션 벡터 추정 정보가 미리 설정된 픽셀 경계 오프셋 기준치를 초과하면, 현재 센싱된 이미지의 픽셀 경계 오프셋 값이 최소가 되도록 조절하는 단계와; 상기 모션 벡터 추정 정보가 미리 설정된 픽셀 경계 오프셋 기준치 이하이면, 현재 센싱된 이미지의 픽셀 경계 오프셋 값이 최대가 되도록 조절하는 단계를 포함하는 것을 특징으로 하는 디지털 이미지 캡쳐 방법.
KR1020050017470A 2005-03-02 2005-03-02 디지털 이미지 캡쳐 장치 및 방법 KR100683998B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050017470A KR100683998B1 (ko) 2005-03-02 2005-03-02 디지털 이미지 캡쳐 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050017470A KR100683998B1 (ko) 2005-03-02 2005-03-02 디지털 이미지 캡쳐 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20060096745A KR20060096745A (ko) 2006-09-13
KR100683998B1 true KR100683998B1 (ko) 2007-02-20

Family

ID=37624224

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050017470A KR100683998B1 (ko) 2005-03-02 2005-03-02 디지털 이미지 캡쳐 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100683998B1 (ko)

Also Published As

Publication number Publication date
KR20060096745A (ko) 2006-09-13

Similar Documents

Publication Publication Date Title
US7791641B2 (en) Systems and methods for utilizing activity detection information in relation to image processing
CN109040609B (zh) 曝光控制方法、装置、电子设备和计算机可读存储介质
US7840085B2 (en) Electronic video image stabilization
JP6175587B2 (ja) 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
KR100760458B1 (ko) 영상처리장치 및 컴퓨터-판독가능 기록매체
JP6574878B2 (ja) 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
US11508046B2 (en) Object aware local tone mapping
JP2003189290A (ja) 映像圧縮アルゴリズムを用いるカメラ制御方法と装置
EP1924969B1 (en) Camera system
JP4079375B2 (ja) 手ぶれ補正装置
US20230336686A1 (en) Method and apparatus for in-camera night lapse video
US20240223763A1 (en) Device and method for adaptive quantization based on video capturing mode
KR20120128472A (ko) 디지털 촬영 장치 및 이의 전력 제어 방법
JP6450107B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
KR100683998B1 (ko) 디지털 이미지 캡쳐 장치 및 방법
US11356611B2 (en) Image capture apparatus and control method thereof
JP2003319386A (ja) モバイル端末機への撮影画像伝送システム
WO2020066332A1 (ja) 撮影装置、撮影方法、及びプログラム
KR100765730B1 (ko) 손떨림 방지 카메라폰 및 그 촬영 방법
JP2000196949A (ja) カメラ装置
KR20040103720A (ko) 카메라의 광량 보정 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130128

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140124

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee