KR20070070626A - 촬영 장치 및 영상 보정 방법 - Google Patents

촬영 장치 및 영상 보정 방법 Download PDF

Info

Publication number
KR20070070626A
KR20070070626A KR1020050133374A KR20050133374A KR20070070626A KR 20070070626 A KR20070070626 A KR 20070070626A KR 1020050133374 A KR1020050133374 A KR 1020050133374A KR 20050133374 A KR20050133374 A KR 20050133374A KR 20070070626 A KR20070070626 A KR 20070070626A
Authority
KR
South Korea
Prior art keywords
image data
image
time
pixel
data
Prior art date
Application number
KR1020050133374A
Other languages
English (en)
Other versions
KR100771138B1 (ko
Inventor
박승규
정종식
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020050133374A priority Critical patent/KR100771138B1/ko
Publication of KR20070070626A publication Critical patent/KR20070070626A/ko
Application granted granted Critical
Publication of KR100771138B1 publication Critical patent/KR100771138B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 효율적인 영상 압축을 위해 영상 촬영 장치로부터 획득된 영상 데이터를 보정하는 것에 관한 것이다. 본 발명의 일 측면에 따르면, t시점의 영상 데이터와 t-1 시점의 영상 데이터의 임의의 픽셀에 대한 밝기 성분의 차이값을 산출하여 임계값과 비교하여 상기 픽셀에 대한 움직임 여부를 판단하여 움직임이 없는 경우, t-1 시점의 영상 데이터의 픽셀값으로 변경할 수 있는 영상 촬영 장치가 제공된다. 따라서, 본 발명에 의해, 촬영된 영상 데이터의 시간적인 움직임 예측 효율을 높일 수 있다.
영상 데이터, 밝기 성분, YUV

Description

촬영 장치 및 영상 보정 방법{Imaging device and image correcting method}
도 1은 본 발명의 바람직한 일 실시예에 따른 영상 촬영 장치의 블록도.
도 2 내지 도 3은 본 발명의 바람직한 일 실시예에 따른 영상 데이터.
도 4는 본 발명의 바람직한 일 실시예에 따른 밝기 성분 데이터 비트 저장 형식을 예시한 도면.
도 5는 본 발명의 바람직한 일 실시예에 따른 t시점의 영상 데이터를 저장하는 과정을 나타낸 순서도.
도 6은 본 발명의 바람직한 일 실시예에 따른 t시점의 영상 데이터와 t-1 시점의 영상 데이터를 비교하는 과정을 상세히 나타난 순서도.
도 7은 본 발명의 바람직한 일 실시예에 따른 t시점의 영상 데이터와 t-1시 점의 영상 데이터의 비교에 따른 영상 데이터 갱신 상태를 나타낸 표.
<도면의 주요 부분에 대한 부호의 설명>
110 : 이미지 센서
115 : 이미지 신호 처리부
120 : 제1 저장부
125 : 이미지 비교부
130 : 신호 처리부
150 : 제어부
본 발명은 영상 촬영 장치에 관한 것으로, 특히 효율적인 영상 압축을 위해 영상 촬영 장치로부터 획득된 영상 데이터를 보정하는 것에 관한 것이다.
일반적으로, 촬영 환경의 주변 환경적인 요인에 의해 카메라에 의해 촬영된 외부 정보의 영상 데이터는 같은 외부 정보를 촬영한 것일지라도 노이즈(noise)가 추가되어 다른 영상 데이터인 것으로 인식된다. 즉, 촬영 환경에 설치된 조명에 상응하여 카메라의 위치에 따라 동일한 외부 정보를 같은 장소에서 촬영하더라도 조명의 변화에 의해 다른 영상 데이터로 인식하게 되어 동영상을 압축 저장하는데 있 어 효율이 떨어지는 문제점이 발생한다.
즉, 영상 압축은 DCT(discrete cosine transform) 변환을 통한 양자화계수 조정을 통한 공간적인(spatial) 압축과 움직임 예측(motion estimation)을 통한 시간적인(temporary) 압축으로 구분되어 질 수 있다. 촬영시의 주변 환경의 요인에 의한 노이즈 추가로 인해 동일한 외부 정보를 촬상하였더라도 상이한 다른 값이 저장됨으로 인해 압축 효율이 떨어지게 된다.
따라서, 상술한 문제점을 해결하기 위한 본 발명의 목적은 촬영된 영상 데이터의 시간적인 움직임 예측 효율을 높일 수 있는 영상 촬영 장치 및 저장 방법을 제공하는 것이다.
본 발명의 다른 목적은 영상 압축률을 높여 저장 공간에 더 많은 영상 데이터를 저장할 수 있는 영상 촬영 장치 및 저장 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 움직임 벡터(motion vector)의 값 및 이전 영상 데이터와의 차이를 최소가 되게 할 수 있는 영상 촬영 장치 및 저장 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 한 프레임의 영상 데이터의 비교로 두 프레임의 영상 데이터를 비교한 것과 동일한 효과를 갖는 영상 촬영 장치 및 저장 방법을 제공하는 것이다.
이외의 본 발명의 목적들은 하기의 실시예에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위하여, 본 발명의 일 측면에 따르면, t시점의 영상 데이터와 t-1 시점의 영상 데이터의 임의의 픽셀에 대한 밝기 성분의 차이값을 산출하여 임계값과 비교하여 상기 픽셀에 대한 움직임 여부를 판단하여 움직임이 없는 경우, t-1 시점의 영상 데이터의 픽셀값으로 변경할 수 있는 영상 촬영 장치가 제공된다.
본 발명의 바람직한 일 실시예에 따르면, 카메라를 구비한 영상 촬영 장치에 있어서, t-1시점의 영상 데이터를 저장하고 있는 저장부; 외부 영상에 상응하는 빛을 결상하여 t시점의 영상 데이터를 생성하는 이미지 센서; 및 상기 t시점의 영상 데이터와 t-1시점의 영상 데이터를 임의의 픽셀의 밝기 성분에 대한 차이값을 산출하고, 밝기 성분의 차이값이 임계값 미만이며, 상기t-1시점의 영상 데이터의 픽셀의 플래그 비트가 '1'이면 움직임이 없는 것으로 판단하여 t시점의 영상 데이터의 픽셀값을 t-1시점의 영상 데이터의 픽셀값으로 변환하는 이미지 비교부를 포함하는 영상 촬영 장치가 제공될 수 있다.
상기 영상 데이터는 로우 포맷(raw format)의 YUV 형식의 영상 데이터이며, 상기 영상 데이터의 밝기 성분의 최하위 비트는 상기 플래그 비트일 수 있다.
상기 플래그 비트는 픽셀의 움직임 여부를 알려주는 정보 비트일 수 있다.
상기 영상 데이터를 YUV 형식의 영상 데이터로 변환하며, 상기 변환된 영상 데이터의 밝기 성분을 저장하는 데이터 비트열의 최하위 비트를 플래그 비트로 설정하는 이미지 신호 처리부를 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 카메라를 구비한 영상 촬영 장치에서 t시점의 영상 데이터를 획득하여 보정 하는 방법이 제공된다.
본 발명의 바람직한 일 실시예에 따르면, 카메라를 구비한 영상 촬영 장치에서 t시점의 영상 데이터를 획득하여 보정 하는 방법에 있어서, (a) 외부 영상에 상응하는 빛을 결상하여 상기 t시점의 영상 데이터를 생성하는 단계; (b) t-1 시점의 영상 데이터를 저장부로부터 독출하는 단계; (c) 상기 t시점의 영상 데이터와 상기 t-1시점의 영상 데이터의 임의의 픽셀의 밝기 성분의 차이값을 산출하는 단계; (d) 상기 밝기 성분의 차이값을 임계값과 비교하여 움직임이 있는지 여부를 판단하는 단계; 및 (e) 움직임이 없다고 판단되면, 상기 t시점의 영상 데이터의 픽셀값을 상기 t-1시점의 영상 데이터의 픽셀값으로 변환하는 단계를 포함하는 획득 영상 보정 방법이 제공될 수 있다.
상기 (d) 단계는 상기 밝기 성분의 차이값이 임계값 이상인지 여부를 판단하는 단계; 및 상기 픽셀의 플래그 비트를 추출하여 분석하는 단계를 더 포함할 수 있다.
상기 영상 데이터를 YUV 형식의 영상 데이터로 변환하는 단계; 및 상기 변환된 영상 데이터의 밝기 성분의 데이터 비트열의 최하위 비트를 플래그 비트로 설정하는 단계를 더 포함할 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
또한, 이하에서는 첨부 도면을 참조하여 설명함에 있어서 동일하거나 대응하는 구성요소는 도면 부호에 상관없이 동일한 참조번호를 부여하여 설명하기로 한다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 영상 촬영 장치의 블록도이며, 도 2 내지 도 3은 본 발명의 바람직한 일 실시예에 따른 영상 데이터이고, 도 4는 본 발명의 바람직한 일 실시예에 따른 밝기 성분 데이터 비트 저장 형식을 예시한 도면이며, 도 7은 본 발명의 바람직한 일 실시예에 따른 t시점의 영상 데이터와 t-1시점의 영상 데이터의 비교에 따른 영상 데이터 갱신 상태를 나타낸 표이다.
도 1에서 보여지는 바와 같이, 본 발명에 따른 영상 촬영 장치(100)는 이미지 센서(110), 이미지 신호 처리부(115), 제1 저장부(120), 이미지 비교부(125), 신호 처리부(130), 제2 저장부(135), 입력부(140), 표시부(145) 및 제어부(150)를 포함하여 구성된다.
이미지 센서(110)는 렌즈부로부터 외부 영상에 상응하는 광상이 결상되는 촬 상 소자로서, 광상에 관한 빛 신호를 전기 신호인 아날로그 신호로 변환하고 이를 이미지 센서(110)에 포함된 A/D 변환부(미도시)를 통해 디지털 신호로 변환한다. 여기서, 렌즈부는 이미지 센서(110)의 전단에 구비되어 피사체의 수광을 수행하는 수단이다.
예를 들어, 이미지 센서(110)는 전하결합소자(CCD : Charge Coupled Device, 이하에서는 "CCD"라 칭함) 또는 상보성금속산화물 반도체(CMOS : Complementary Metal Oxide Semiconductor, 이하에서는 "CMOS"라 칭함)로 구현될 수 있다.
예를 들어, 이미지 센서(110)는 빛 신호가 변환되어 수집된 각 픽셀의 베이어 데이터(예를 들어, RGB 베이어 데이터)를 이미지 신호 처리부(115)로 출력할 수 있다. 이미지 센서(110)에는 RGB를 각각 인식하는 필터를 갖는 픽셀이 배치되는데 RGB 필터는 총 픽셀 수에서 사람 눈에 민감한 녹색을 50%, 적색 및 청색이 각각 25%가 되도록 하는 베이어 패턴에 따라 배치될 수 있다. 이러한 베이어 패턴을 갖는 이미지 센서(110)에서 출력되는 데이터를 베이어 데이터라고 하며, 이미지 센서(110)는 이와 같은 베이어 데이터를 이미지 신호 처리부(ISP : Image Signal Process)로 예를 들어, 8비트 RGB 베이어 데이터로 출력할 수 있다.
즉, 이미지 센서(110)는 외부 영상을 촬상하여 영상 데이터를 생성하여 이미지 신호 처리부(115)로 전달한다.
이미지 신호 처리부(115)는 이미지 센서(110)로부터 입력된 RGB 형식의 영상 데이터를 에러 제거, 왜곡 보정 등과 같은 전처리 과정을 수행하고 YUV 형식으로 변환하는 기능을 수행한다.
예를 들어, 이미지 신호 처리부(115)는 이미지 센서(110)를 통해 획득된 영상 데이터에 대한 인터폴레이션(interpolation), 자동 화이트 밸런스(auto white balance), 감마 보정(Gamma correction), 밝기 보정(Brightness correction), 색 영역 보정(color space correction)등을 수행하여 YUV 형식으로 변환할 수 있다. 예를 들어, 이미지 신호 처리부(115)는 하기 수학식 1을 이용하여 이미지 센서(110)로부터 입력된 RGB 형식의 영상 데이터를 YUV 형식으로 변환할 수 있다.
Y= 0.3R + 0.59G + 0.11B
U= (B-Y)
Figure 112005077791684-PAT00001
0.493
V= (R-Y)
Figure 112005077791684-PAT00002
0.877
또는
Y = 0.299fR + 0.587fG + 0.114fB
U = -0.168fR - 0.3313fG + 0.5fB + 128
V = 0.5fR - 0.4187fG - 0.0813fB + 128
예를 들어, 이미지 신호 처리부(115)는 이미지 센서(110)로부터 입력된 RGB 형식의 영상 데이터를 4:4:4, 4:2:2, 4:2:0 등의 YUV 형식으로 변환하여 이미지 비교부(125)로 전달할 수 있다. 여기서, 4:4:4, 4:2:2, 4:2:0 등의 YUV 형식으로의 변환 방법은 당업자에게는 자명한 사항이므로 이에 대한 상세한 설명은 생략하기로 한다.
또한, 이미지 신호 처리부(115)는 이미지 센서(110)로부터 입력된 영상 데이터에 대해 로우 패스 필터(LPF : low pass filter)를 수행하여 고주파 성분을 제거할 수도 있다.
또한, 이미지 신호 처리부(115)는 YUV 형식으로 변환된 영상 데이터의 Y 성분의 최하위 비트(LSB : least significant bit)를 플래그 비트(flag bit)로 할당할 수 있다.
본 명세서에서, "플래그 비트"는 t시점의 영상 데이터와 t-1시점의 영상 데이터를 비교하여 움직임이 있다고 판단되는 픽셀의 상태정보를 나타내기 위한 비트로 정의하기로 한다.
따라서, 이미지 신호 처리부(115)는 영상 데이터의 각각의 픽셀별 밝기 성분(즉, Y 성분)을 나타내는 데이터 비트의 최하위 비트(LSB)를 디폴트 값(예를 들어, "0"으로 설정하여 밝기 성분 데이터를 생성하여 이미지 비교부(125)로 전달할 수 있다.
예를 들어, 이미지 신호 처리부(115)에서 밝기 성분(Y 성분) 데이터를 8비트로 표현한다고 가정하자. 이미지 신호 처리부(115)는 도 4에서 보여지는 바와 같이, 최하위 비트(0번째 비트)를 플래그 비트로 할당하여 디폴트 값으로 설정할 수 있다.
또한, 본 명세서에서는 이미지 센서(110)와 이미지 신호 처리부(115)가 각각 독립적인 구성 요소로 존재하는 것을 가정하여 설명하고 있으나, 구현 방법에 따라 이미지 신호 처리부(115)가 이미지 센서(110)에 포함되어 하나의 구성 요소로 존재 할 수도 있다.
제1 저장부(120)는 이미지 신호 처리부(115)로부터 출력된 로우 포맷(raw format)의 YUV 데이터를 일시적으로 저장하고 있다. 예를 들어, 현재 시점을 편의상 t시점이라 하고, 이전 시점을 t-1시점이라 하며, t시점 이후 시점을 t+1시점이라고 하자. 이때, 이미지 센서(110)로부터 촬상되어 생성된 후 이미지 신호 처리부(115)를 통해 YUV 형식으로 변환된 영상 데이터가 t시점의 영상 데이터라고 가정하면, 제1 저장부(120)는 t-1시점의 로우 포맷의 YUV 영상 데이터를 저장하고 있다. 여기서, 제1 저장부(120)는 예를 들어, 3 프레임(frame) 미만의 로우 포맷 YUV 영상 데이터를 일시적으로 저장할 수 있는 저장 매체이며, DRAM(dynamic RAM), SDRAM(synchronous dynamic RAM), EDORAM(extended data output RAM) 등일 수 있다.
본 명세서에서는 제1 저장부(120)가 적어도 3 프레임(frame)의 영상 데이터를 저장할 수 있는 저장 공간을 지닌 것을 가정하여 설명하기로 한다.
도 2 내지 도 3에 보여지는 바와 같이, 210 영역과 310 영역은 변화가 없는 고정된 위치 또는 배경 부분이며, 220 영역만이 320 영역으로 변화된 것을 알 수 있다. 그러나, 실제로 이미지 센서(110)에 의해 촬상되는 순간의 주변 환경의 요인들에 의해 노이즈가 추가되어 210 영역과 310 영역도 다른 영상 데이터 값을 포함하게 된다. 결과적으로 영상 압축 효율을 떨어뜨리게 된다. 따라서, 두 영상 데이터에서 동일한 영상 영역을 획득한 후 보정하여 영상 압축 효율을 높일 수 있다. 이에 대해서는 이하의 설명에 의해 명확하게 이해될 것이다.
이미지 비교부(125)는 이미지 신호 처리부(115)로부터 입력된 t시점의 영상 데이터와 제1 저장부에 저장된 t-1시점의 영상 데이터를 각각의 픽셀별 밝기 성분(Y 성분)을 비교하여 임계값 이상이면 t시점의 영상 데이터의 해당 픽셀값을 t-1시점의 영상 데이터의 픽셀값으로 변환한다.
즉, 이미지 비교부(125)는 t시점의 영상 데이터와 t-1시점의 영상 데이터의 각각의 픽셀별 밝기 성분의 차를 산출하여 정해진 임계값 이상인지 여부와 플래그 비트(즉, Y 성분 최하위 비트)를 분석하여 해당 픽셀의 움직임 여부를 결정하여 움직임이 없다고 판단되면 t시점의 영상 데이터의 해당 픽셀값을 t-1 시점의 영상 데이터의 픽셀 값으로 변환하는 기능을 수행한다. 우선 도 7을 참조하여 t시점의 영상 데이터를 변환하는 것에 대해 상세히 설명하기로 한다.
예를 들어, 이미지 비교부(125)는 제어부(150)의 제어에 의해 제1 저장부(120)에 저장된 t-1 시점의 영상 데이터를 독출하여 t시점의 영상 데이터와의 각각의 픽셀의 밝기 성분의 차의 절대값을 산출한다. 이미지 비교부(125)는 밝기 성분의 차의 절대값이 임계값 이상이면 움직임이 있는 것으로 판단하여 t시점의 영상 데이터를 갱신하지 않도록 할 수 있다. 그러나, 만일 밝기 성분의 차의 절대값이 임계값 미만이면 움직임이 없는 픽셀로 판단하여, t 시점의 영상 데이터의 픽셀값을 t-1 시점의 영상 데이터로 변경한다. 또한 이미지 비교부(125)는 t-1 시점의 영상 데이터의 각 픽셀의 플래그 비트를 분석하여 t시점의 영상 데이터의 각 픽셀의 플래그 비트를 갱신할 수도 있다. 도 7에 이에 대한 상태표가 예시되어 있으며, 이에 대해서는 도 6을 참조하여 하기에서 상세히 설명하기로 한다.
이와 같이, 이미지 비교부(125)를 통해 이전 시점의 로우 포맷의 영상 데이터와 현재 시점의 영상 데이터를 비교하여 움직임이 없는 픽셀에 상응하는 픽셀값은 이전 시점의 영상 데이터의 픽셀 값으로 변경하여 저장함으로써 신호 처리부(130)에서의 영상 부호화시 압축 효율을 높일 수 있는 이점이 있다.
신호 처리부(130)는 이미지 비교부(125)로부터 입력된 영상 데이터를 미리 정해진 영상 포맷(예를 들어, MPEG-1, MPEG-2, MPEG-4, AVC, H.263, H.264, avi, divx 등) 으로 변환하여 제어부(150)로 전달한다. 즉, 신호 처리부(130)는 입력된 영상 데이터를 정해진 영상 포맷으로 부호화 또는 복호화(encoding or decoding)를 수행할 수 있다. 또한, 신호 처리부(130)는 영상을 확대, 축소, 로테이션(rotation) 등을 수행할 수도 있다.
또한, 신호 처리부(130)는 제어부(150)의 제어에 의해 표시부(145)로 데이터를 출력하기 위해 YUV 형식의 영상 데이터를 RGB 형식으로 변환할 수도 있다. 예를 들어, 신호 처리부(130)는 하기 수학식 2를 이용하여 RGB 형식으로 영상 데이터를 변환할 수 있다.
R = Y + 0.956U + 0.621V
G = Y + 0.272U + 0.647V
B = Y + 1.1061U + 1.703V
예를 들어, 표시부(145)를 데이터를 출력하기 위한 데이터 라인이 16비트 데이터 라인이라고 가정하면, 신호 처리부(130)는 YUV 영상 데이터를 각각 5비트, 6 비트, 5비트의 RGB 데이터로 변환하여 제어부(150)의 제어에 의해 표시부(145)로 전달하여 출력되도록 할 수도 있다.
제2 저장부(135)는 본 발명에 따른 영상 촬영 장치(100)의 운용 프로그램, 미리 설정된 알고리즘 등이 저장된다. 여기서, 운용 프로그램은 영상 촬영 장치(100)의 전반적인 동작을 제어하기 위한 프로그램 및 영상 처리를 위한 프로그램뿐만이 아니라 프로그램들을 수행하는 도중에 발생되는 임시 데이터를 일시적으로 저장하는 기능도 수행할 수 있다. 또한, 제2 저장부(135)는 신호 처리부(130)에 의해 부호화된 영상 데이터를 저장할 수도 있다.
입력부(140)는 사용자로부터 본 발명에 따른 영상 촬영 장치(100)의 동작을 제어하기 위한 제어 명령, 파라미터 등을 입력받기 위한 수단이다. 예를 들어, 입력부는 하나 이상의 기능 키(예를 들어, 메뉴키, 확인키 등)로 구현되거나 터치 스크린 등의 형태로 구현될 수 있다. 예를 들어, 입력부(140)는 사용자로부터 영상 촬영 장치(100)의 모드 선택 명령(예를 들어, 인터뷰 모드 등)을 입력받아 제어부(150)로 전달할 수도 있다.
표시부(145)는 제어부(150)의 제어에 의해 영상 데이터, 문자 데이터, 숫자 데이터 등을 출력하는 수단으로 예를 들어, 액정화면(LCD : liquid crystal display)일 수 있다.
제어부(150)는 본 발명에 따른 영상 촬영 장치(100)의 내부 구성 요소들(예를 들어, 이미지 센서(110), 이미지 신호 처리부(115), 저장부(), 입력부(140), 표시부(145) 등)을 제어하는 기능을 수행한다.
도 5는 본 발명의 바람직한 일 실시예에 따른 t시점의 영상 데이터를 저장하는 과정을 나타낸 순서도이며, 도 6은 본 발명의 바람직한 일 실시예에 따른 t시점의 영상 데이터와 t-1 시점의 영상 데이터를 비교하는 과정을 상세히 나타난 순서도이다. 이하에서는 제1 저장부(120)에 t-1시점의 영상 데이터가 t-2 시점의 영상 데이터와 각각의 픽셀의 밝기 성분 및 플래그 비트를 비교하여 변환되어 저장되어 있으며, 이미지 센서(110)를 통해 입력되는 영상은 t시점의 영상 데이터인 것으로 가정하여 설명하기로 한다. 또한, 영상 촬영 장치(100)에 구비된 기능 버튼을 통해 사용자로부터 선택 모드(예를 들어, 인터뷰모드)가 설정되어 이에 상응하는 어플리케이션이 구동중인 것을 가정하기로 한다.
단계 510에서 이미지 센서(110)는 외부 영상을 촬상하여 영상 데이터를 생성하여 이미지 신호 처리부(115)로 전달한다.
예를 들어, 영상 촬영 장치(100)에 구비된 입력부(140)를 통해 사용자로부터 예를 들어 인터뷰 모드에 상응하는 모드 선택 명령을 입력받아 인터뷰 모드에 상응하여 동작하도록 기능이 설정되어 있다고 가정하자.
이미지 센서(110)는 일정한 시간 간격으로 외부 영상을 촬상하여 영상 데이터를 생성하여 이미지 신호 처리부(115)로 전달할 수 있다. 상술한 바와 같이, 이미지 센서(110)는 RGB 형식의 영상 데이터를 이미지 신호 처리부(115)로 전달할 수 있다. 이하에서는 현재 시점에 이미지 센서(110)에 의해 촬상되어 생성된 영상 데이터를 t시점의 영상 데이터로 칭하기로 한다.
단계 515에서 이미지 신호 처리부(115)는 이미지 센서(110)로부터 입력된 RGB 형식의 영상 데이터를 에러 제거, 왜곡 보정 등의 전처리 과정을 수행하고 YUV 형식의 영상 데이터로 변환하여 이미지 비교부(125)로 전달한다.
예를 들어, 이미지 신호 처리부(115)가 밝기 성분(Y성분)을 예를 들어, 8비트로 저장한다고 가정하자. 그리고, 플래그 비트의 디폴트 값이 예를 들어, '0'이라고 가정하자. 이미지 신호 처리부(115)는 이미지 센서(110)로부터 입력된 RGB 형식의 영상 데이터를 YUV 형식의 영상 데이터로 변환한다. 여기서, 이미지 신호 처리부(115)는 밝기 성분(Y 성분)의 데이터 비트의 최하위 비트를 플래그 비트로 설정하고, 플래그 비트 이외의 7비트에 밝기 성분 값을 저장할 수 있다. 여기서, 플래그 비트는 해당 픽셀의 움직임 여부를 알려주는 정보 비트 일 수 있다. 도 4에 밝기 성분 데이터 형식이 예시되어 있다.
단계 520에서 이미지 비교부(125)는 제어부(150)의 제어에 의해 제1 저장부(120)로부터 t-1시점의 영상 데이터를 독출하여 이미지 신호 처리부(115)로부터 입력된 t시점의 영상 데이터를 비교하여 임계값 이상이면 t시점의 영상 데이터의 픽셀 값을 t-1시점의 영상 데이터의 픽셀 값으로 변경한다.
우선, 이해와 설명의 편의를 위해, 도 6을 참조하여 이미지 비교부(125)의 동작과정에 대해 상세히 설명하기로 한다.
여기서, 이미지 비교부(125)가 제1 저장부(120)로부터 독출한 t-1시점의 영상 데이터는 YUV 형식의 로우 데이터이며, 이미지 신호 처리부(115)로부터 입력된 t시점의 영상 데이터 또한 YUV 형식의 로우 데이터이다. 이미지 비교부(125)에서 비교하는 각각의 두 영상 데이터(즉, t-1시점의 영상 데이터와 t시점의 영상 데이터)는 각각 동일한 형식의 영상 데이터인 것으로 가정하기로 한다. 물론, 각각 상이한 형식일 수도 있으며, 이 경우 이미지 비교부(125)는 제어부(150)의 제어에 의해 동일한 영상 포맷으로 변환할 수도 있다.
단계 610에서 이미지 비교부(125)는 t시점의 영상 데이터의 임의의 한 픽셀에 대한 밝기 성분 값과 t-1시점의 영상 데이터의 t시점의 영상 데이터의 픽셀과 동일한 위치의 픽셀에 대한 밝기 성분 값의 차이 값을 산출하여 절대값(이하에서는 "밝기 성분의 차이값"이라 칭하기로함)을 취한다. 그리고, 이미지 비교부(125)는 산출한 밝기 성분의 차이값이 정해진 임계값 이상이며, t-1시점의 영상 데이터의 해당 픽셀의 플래그 비트가 '0'인지 여부를 판단한다.
만일, 밝기 성분의 차이값이 임계값 이상이며, 플래그 비트가 '0'이라면 단계 615에서 이미지 비교부(125)는 움직임이 있는 것으로 판단하여 해당 픽셀 값을 변경하지 않는다.
그러나 만일 밝기 성분의 차이값이 임계값 이상이며, 플래그 비트가 '0'이 아니면, 단계 620에서 이미지 비교부(125)는 밝기 성분의 차이값이 임계값 이상이며, 플래그 비트가 '1'인지 여부를 판단한다.
만일, 밝기 성분의 차이값이 임계값 이상이며, 플래그 비트가 '1'이라면 단계 625에서 이미지 비교부(125)는 움직임이 있는 것으로 판단하여 t시점의 영상 데이터의 해당 픽셀 값을 변경하지 않는다.
그러나, 만일 밝기 성분의 차이값이 임계값 이상이며, 플래그 비트가 '1'이 아니라면, 단계 630에서 이미지 비교부(125)는 밝기 성분의 차이값이 임계값 미만이고 플래그 비트가 '0'인지 여부를 판단한다.
만일, 밝기 성분의 차이값이 임계값 미만이고, 플래그 비트가 '0'이라면, 단계 635에서 이미지 비교부(125)는 움직임이 없는 것으로 판단하여 t시점의 영상 데이터의 해당 픽셀 값 중 밝기 성분의 데이터 값은 변경하지 않으며, 움직임이 없으므로 이에 상응하여 플래그 비트를 '1'로 변경한다.
그러나, 만일 밝기 성분의 차이값이 임계값 미만이고, 플래그 비트가 '0'이라면, 단계 640에서 이미지 비교부(125)는 밝기 성분의 차이값이 임계값 미만이고, 플래그 비트가 '1'인지 여부를 판단한다.
만일 밝기 성분의 차이값이 임계값 미만이고 플래그 비트가 '1'이라면, 단계 645에서 이미지 비교부(125)는 t시점의 영상 데이터의 해당 픽셀은 움직임이 없는 것으로 판단하여 t-1시점의 영상 데이터의 밝기 성분값으로 변경한다. 그리고, 플래그 비트도 '1'로 설정하여 움직임이 없음을 인식하도록 할 수 있다.
결과적으로 플래그 비트를 사용함으로써, t시점의 영상 데이터는 한번의 비교로 2프레임(frame) 영상 데이터를 비교하는 것과 동일한 효과를 보이게 된다. 이와 같이, 한 프레임의 영상 데이터에 움직임에 상응하는 정보 비트인 플래그 비트를 추가함으로써, 한 프레임의 영상 데이터와 비교함으로써 두 프레임의 영상 데이터와 비교하는 것과 같은 효과를 얻을 수 있다. 또한, 제1 저장부(120)는 한 프레임의 영상 데이터만을 저장할 수 있는 저장 공간만을 필요로 하므로(즉, t시점의 영상 데이터 측면에서 t-2시점의 영상 데이터를 제1 저장부(120)에 저장할 필요가 없으므로) 저장 공간을 효율적으로 사용할 수 있으며, 저장 공간을 줄일 수 있는 이점이 있다.
다시 도 5를 참조하여 단계 525에서 이미지 비교부(125)는 t시점의 영상 데이터와 t-1시점의 영상 데이터의 밝기 성분의 차이값을 산출하여 정해진 임계값과 비교하여 움직임이 있는지 여부를 판단한다.
만일 움직임이 없다고 판단되면, 단계 530에서 이미지 비교부(125)는 t시점의 영상 데이터의 픽셀 값을 t-1 시점의 영상 데이터의 픽셀 값으로 변경할 수 있다.
그러나 만일 움직임이 있다고 판단되면, t시점의 영상 데이터를 변경하지 않으며 단계 535로 진행한다.
단계 535에서 이미지 비교부(125)는 t시점의 영상 데이터와 t-1시점의 영상 데이터의 모든 픽셀들에 대해서 밝기 성분의 차이값을 산출하여 정해진 임계값과 비교하였는지 판단한다.
만일 모든 픽셀들에 대해 비교하였다면, 단계 540에서 이미지 비교부(125)는 변경된 t시점의 영상 데이터를 제1 저장부(120)에 일시적으로 저장하고 신호 처리부(130)로 전달한다. 이미지 비교부(125)로부터 t시점의 영상 데이터를 입력받은 신호 처리부(130)는 정해진 영상 압축 부호화 알고리즘을 이용하여 영상 데이터를 부호화한다. 물론, 동영상 파일인 경우, 신호 처리부(130)는 모든 프레임을 입력받은 후 영상 데이터를 압축할 수도 있다. 그리고, 신호 처리부(130)는 정해진 알고리즘(예를 들어, H.263, MPEG-4등)에 의해 압축 부호화된 영상 데이터를 제어부 (150)를 통해 제2 저장부(135)에 저장할 수 있다. 그리고, 사용자에 의해 해당 동영상 파일의 재생에 상응하는 명령이 입력부(140)를 통해 입력되면, 제어부(150)의 제어에 의해 제2 저장부(135)로부터 해당 영상 데이터를 독출하여 신호 처리부(130)를 통해 정해진 알고리즘(예를 들어, H.263, MPEG-4)에 의해 복호화하여 제어부(150)의 제어에 의해 표시부(145)로 전달하여 출력되도록 할 수 있다.
예를 들어, 표시부(145)로 데이터를 출력하기 위한 데이터 라인이 16비트 데이터 라인인 경우, 신호 처리부(130)는 제2 저장부(135)로부터 독출되어 입력된 영상 데이터를 복호화하여 각각 5비트, 6비트, 5비트의 RGB 신호로 변환하여 제어부(150)의 제어에 의해 표시부(145)로 전달하여 출력되도록 할 수 있다.
그러나 만일 모든 픽셀들에 대해 비교하지 않았다면, 단계 525 내지 단계 535를 반복 수행한다.
상술한 바와 같이, 본 발명에 따른 영상 촬영 장치 및 저장 방법을 제공함으로써, 촬영된 영상 데이터의 시간적인 움직임 예측 효율을 높일 수 있는 효과가 있다.
또한, 본 발명은 영상 압축률을 높여 저장 공간에 더 많은 영상 데이터를 저장할 수 있는 효과도 있다.
또한, 본 발명은 움직임 벡터(motion vector)의 값 및 이전 영상 데이터와의 차이를 최소가 되게 할 수 있는 효과도 있다.
본 발명의 또 다른 목적은 한 프레임의 영상 데이터의 비교로 두 프레임의 영상 데이터를 비교한 것과 동일한 효과를 갖을 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (7)

  1. 카메라를 구비한 영상 촬영 장치에 있어서,
    t-1시점의 영상 데이터를 저장하고 있는 저장부;
    외부 영상에 상응하는 빛을 결상하여 t시점의 영상 데이터를 생성하는 이미지 센서; 및
    상기 t시점의 영상 데이터와 t-1시점의 영상 데이터를 임의의 픽셀의 밝기 성분에 대한 차이값을 산출하고, 밝기 성분의 차이값이 임계값 미만이며, 상기 t-1시점의 영상 데이터의 픽셀의 플래그 비트가 '1'이면 움직임이 없는 것으로 판단하여 t시점의 영상 데이터의 픽셀값을 t-1시점의 영상 데이터의 픽셀값으로 변환하는 이미지 비교부를 포함하는 영상 촬영 장치.
  2. 제1 항에 있어서,
    상기 영상 데이터는 로우 포맷(raw format)의 YUV 형식의 영상 데이터이며, 상기 영상 데이터의 밝기 성분의 최하위 비트는 상기 플래그 비트인 영상 촬영 장치.
  3. 제2 항에 있어서,
    상기 플래그 비트는 픽셀의 움직임 여부를 알려주는 정보 비트인 영상 촬영 장치.
  4. 제1 항에 있어서,
    상기 영상 데이터를 YUV 형식의 영상 데이터로 변환하며, 상기 변환된 영상 데이터의 밝기 성분을 저장하는 데이터 비트열의 최하위 비트를 플래그 비트로 설정하는 이미지 신호 처리부를 더 포함하는 영상 촬영 장치.
  5. 카메라를 구비한 영상 촬영 장치에서 t시점의 영상 데이터를 획득하여 보정 하는 방법에 있어서,
    (a) 외부 영상에 상응하는 빛을 결상하여 상기 t시점의 영상 데이터를 생성하는 단계;
    (b) t-1 시점의 영상 데이터를 저장부로부터 독출하는 단계;
    (c) 상기 t시점의 영상 데이터와 상기 t-1시점의 영상 데이터의 임의의 픽셀의 밝기 성분의 차이값을 산출하는 단계;
    (d) 상기 밝기 성분의 차이값을 임계값과 비교하여 움직임이 있는지 여부를 판단하는 단계; 및
    (e) 움직임이 없다고 판단되면, 상기 t시점의 영상 데이터의 픽셀값을 상기 t-1시점의 영상 데이터의 픽셀값으로 변환하는 단계를 포함하는 획득 영상 보정 방법.
  6. 제5 항에 있어서,
    상기 (d) 단계는 상기 밝기 성분의 차이값이 임계값 이상인지 여부를 판단하는 단계; 및
    상기 픽셀의 플래그 비트를 추출하여 분석하는 단계를 더 포함하는 획득 영상 보정 방법.
  7. 제5 항에 있어서,
    상기 영상 데이터를 YUV 형식의 영상 데이터로 변환하는 단계; 및
    상기 변환된 영상 데이터의 밝기 성분의 데이터 비트열의 최하위 비트를 플래그 비트로 설정하는 단계를 더 포함하는 획득 영상 보정 방법.
KR1020050133374A 2005-12-29 2005-12-29 촬영 장치 및 영상 보정 방법 KR100771138B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050133374A KR100771138B1 (ko) 2005-12-29 2005-12-29 촬영 장치 및 영상 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050133374A KR100771138B1 (ko) 2005-12-29 2005-12-29 촬영 장치 및 영상 보정 방법

Publications (2)

Publication Number Publication Date
KR20070070626A true KR20070070626A (ko) 2007-07-04
KR100771138B1 KR100771138B1 (ko) 2007-10-29

Family

ID=38505898

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050133374A KR100771138B1 (ko) 2005-12-29 2005-12-29 촬영 장치 및 영상 보정 방법

Country Status (1)

Country Link
KR (1) KR100771138B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101391024B1 (ko) * 2007-12-28 2014-04-30 삼성전자주식회사 카메라 설정 관리 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100429107B1 (ko) * 2001-09-19 2004-04-29 전자부품연구원 웨이블릿 압축 데이터를 이용한 피사체의 움직임 검출방법및 검출장치
EP1536633A1 (en) * 2003-11-27 2005-06-01 Sony Corporation Photographing apparatus and method, supervising system, program and recording medium
KR100621005B1 (ko) * 2003-12-24 2006-09-08 엘지전자 주식회사 영상 오류 복구장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101391024B1 (ko) * 2007-12-28 2014-04-30 삼성전자주식회사 카메라 설정 관리 방법 및 장치

Also Published As

Publication number Publication date
KR100771138B1 (ko) 2007-10-29

Similar Documents

Publication Publication Date Title
US8233060B2 (en) Image data processing apparatus, image data processing method, and program
US8428120B2 (en) Method and apparatus of Bayer pattern direct video compression
JP4799438B2 (ja) 画像記録装置、画像記録方法、画像符号化装置、及びプログラム
JP4194479B2 (ja) 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JPWO2010004726A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、及び集積回路
JP2018101863A (ja) 画像処理装置、画像処理方法及びプログラム
US10735724B2 (en) Method and device for compressing image on basis of photography information
US20080267495A1 (en) Image compressing method and image compressing apparatus
US11336896B2 (en) Image encoding apparatus and image decoding apparatus, methods of controlling the same, and non-transitory computer-readable storage medium
US8488892B2 (en) Image encoder and camera system
KR101248902B1 (ko) 주변 조도에 따른 영상 보정 기능을 갖는 영상 처리 장치 및 영상 처리 방법
US8189102B2 (en) Image processing apparatus using interpolation direction
JP2023052939A (ja) 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
KR100771138B1 (ko) 촬영 장치 및 영상 보정 방법
JP6152642B2 (ja) 動画像圧縮装置、動画像復号装置およびプログラム
JP5165084B2 (ja) 画像符号化装置
JP2017200199A (ja) 動画像圧縮装置、動画像復号装置およびプログラム
JP6066583B2 (ja) 動画像符号化装置及び動画像符号化方法
JP5924262B2 (ja) 画像処理装置および画像処理プログラム
WO2016047250A1 (ja) 信号処理装置、撮像装置および信号処理方法
JP2018191136A (ja) 符号化装置、符号化方法およびプログラム
KR100715512B1 (ko) 이미지 처리 장치 및 그 방법
JP2009033629A (ja) 撮像装置及びその制御方法、並びにプログラム及び媒体、画像処理装置
JP2019036992A (ja) 圧縮装置、復号装置およびプログラム
JP2023030585A (ja) 画像符号化装置及び方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121011

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130926

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151001

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 12