KR101409769B1 - 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법 - Google Patents

영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법 Download PDF

Info

Publication number
KR101409769B1
KR101409769B1 KR1020070077542A KR20070077542A KR101409769B1 KR 101409769 B1 KR101409769 B1 KR 101409769B1 KR 1020070077542 A KR1020070077542 A KR 1020070077542A KR 20070077542 A KR20070077542 A KR 20070077542A KR 101409769 B1 KR101409769 B1 KR 101409769B1
Authority
KR
South Korea
Prior art keywords
image data
image
unit
frame
encoded
Prior art date
Application number
KR1020070077542A
Other languages
English (en)
Other versions
KR20090013435A (ko
Inventor
오성조
김석주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070077542A priority Critical patent/KR101409769B1/ko
Priority to US12/179,570 priority patent/US8081228B2/en
Publication of KR20090013435A publication Critical patent/KR20090013435A/ko
Application granted granted Critical
Publication of KR101409769B1 publication Critical patent/KR101409769B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

본 발명은 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법에 관한 것으로, 이미지 센서에서 출력되는 영상 데이터를 신속하게 처리하면서 버퍼 메모리의 사용량을 줄이기 위한 것이다. 본 발명은 이미지 센서부에서 한 프레임의 제 1 영상 데이터를 처리하여 제 2 영상 데이터로 변환하고, 상기 변환된 제 2 영상 데이터를 복수의 저장영역을 갖는 복수 버퍼 메모리에 시간의 흐름에 따라 순차적으로 저장하고, 상기 복수 버퍼 메모리의 상기 제 2 영상 데이터를 시간의 흐름에 따라 순차적으로 읽어들여 인코딩하는 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법을 제공한다.
Figure R1020070077542
영상, 버퍼, 프레임, 라인, 화면

Description

영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법{Apparatus and method for processing image}
본 발명은 영상 처리 장치 및 그의 영상 처리 방법에 관한 것으로, 더욱 상세하게는 이미지 센서에서 출력되는 영상 데이터를 처리하는 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법에 관한 것이다.
휴대 단말기 시장은 소비자의 구매를 자극하는 새로운 기술 및 기능으로 인하여 짧은 기간에 대단히 빠른 성장을 하고 있다. 특히 휴대 단말기는 그 기술의 발달로 인하여 단순한 기능을 수행하는 단계를 넘어서서 사용자들의 요구에 맞는 다양한 응용 프로그램들이 설치되고 있다. 이로 인해 사용자는 휴대 단말기를 통하여 음성 정보, 문자 정보, 화상 정보, MP3(MPEG(Moving Picture Experts Group) layer 3), 게임 등을 이용할 수 있다. 특히 피사체를 촬영할 수 있는 이미지 센서(image sensor)가 장착된 휴대 단말기의 보급이 확대되어 있다.
이와 같이 이미지 센서를 구비한 휴대 단말기는 이미지 센서에서 출력된 영상 데이터를 프레임 단위 즉 한 화면씩 처리하기 때문에, 버퍼 메모리의 사용량이 크고 영상 데이터 처리에 많은 시간이 소요된다. 예컨대, 이미지 센서가 1.3메가픽 셀(mega pixel)인 경우, 영상 데이터를 버퍼링하기 위해서 2.3메가바이트(Mbyte)의 버퍼 메모리를 사용한다. 이미지 센서가 5메가픽셀인 경우, 영상 데이터를 버퍼링하기 위해서 9.3메가바이트의 버퍼 메모리를 사용한다.
따라서, 본 발명의 제 1 목적은 이미지 센서에서 출력되는 영상 데이터를 신속하게 처리하는 영상 데이터 처리 장치 및 그의 영상 처리 방법을 제공하는 데 있다.
본 발명의 제 2 목적은 영상 데이터 처리시 버퍼 메모리의 사용량을 줄일 수 있는 영상 데이터 처리 장치 및 그의 영상 처리 방법을 제공하는 데 있다.
상기 목적을 달성하기 위하여, 본 발명은 이미지 센서부에서 한 프레임의 제 1 영상 데이터를 처리하여 제 2 영상 데이터로 변환하는 과정과, 상기 변환된 제 2 영상 데이터를 복수의 저장영역을 갖는 복수 버퍼 메모리에 시간의 흐름에 따라 순차적으로 저장하는 과정과, 상기 복수 버퍼 메모리의 상기 제 2 영상 데이터를 시간의 흐름에 따라 순차적으로 읽어들여 인코딩하는 과정을 포함하는 영상 데이터 처리 방법을 제공한다.
한편 본 발명은 이미지 센서부에서 한 프레임의 일부 라인 단위로 출력되는 제 1 영상 데이터를 처리하여 제 2 영상 데이터로 변환하는 과정과, 상기 변환된 제 2 영상 데이터를 복수의 저장영역을 갖는 복수 버퍼 메모리에 시간의 흐름에 따라 순차적으로 저장하는 과정과, 상기 복수 버퍼 메모리의 상기 제 2 영상 데이터를 시간의 흐름에 따라 순차적으로 읽어들여 한 프레임이 되면 화면에 표시하는 과정을 포함하는 영상 데이터 처리 방법을 제공한다.
한편 본 발명은 이미지 센서부, 영상 전처리부, 복수 버퍼 메모리 및 영상 후처리부를 포함하여 구성되는 영상 데이터 처리 장치를 제공한다. 상기 이미지 센서부는 촬영한 한 프레임을 제 1 영상 데이터로 출력한다. 상기 영상 전처리부는 상기 출력된 제 1 영상 데이터를 처리하여 제 2 영상 데이터로 변환한다. 상기 복수 버퍼 메모리는 상기 변환된 제 2 영상 데이터가 시간의 흐름에 따라 순차적으로 저장되는 복수의 저장영역을 갖는다. 그리고 영상 후처리부는 상기 복수 버퍼 메모리의 상기 제 2 영상 데이터를 시간의 흐름에 따라 순차적으로 읽어들여 인코딩한다.
본 발명에 따른 영상 데이터 처리 장치는 상기 복수 버퍼 메모리의 제 2 영상 데이터를 시간의 흐름에 따라 순차적으로 읽어들여 한 프레임이 되면 출력하는 크기 조정부를 더 포함하여 구성된다. 상기 크기 조정부는 상기 복수 버퍼 메모리의 제 2 영상 데이터를 시간의 흐름에 따라 순차적으로 읽어들여 화면의 규격에 맞게 크기를 조정하여 버퍼링하고, 상기 버퍼링된 제 2 영상 데이터들이 한 프레임이 되면 출력한다.
그리고 본 발명에 따른 영상 데이터 처리 장치는 상기 크기 조정부에서 출력된 프레임의 제 2 영상 데이터를 표시하는 표시부를 더 포함하여 구성된다.
본 발명에 따르면 이미지 센서부에서 출력되는 일부 라인 단위의 제 1 영상 데이터를 변환한 제 2 영상 데이터를 복수 버퍼 메모리의 저장영역에 교대로 저장하고, 저장영역에 저장이 완료된 제 2 영상 데이터를 교대로 읽어들여 크기 조정 또는 인코딩하는 과정을 시간의 흐름에 따라 함께 진행함으로써, 버퍼 메모리의 사용량은 줄이면서 이미지 센서부에서 출력된 영상 데이터를 신속하게 처리할 수 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
제 1 실시예에 따른 영상 데이터 처리 장치(100)는, 도 1에 도시된 바와 같이, 제어부(10), 입력부(20), 메모리부(30), 이미지 센서부(40) 및 표시부(50)를 포함하여 구성된다.
제 1 실시예에 따른 영상 데이터 처리 장치(100)는 영상 촬영 기능을 구비한 휴대 단말기에 적용될 수 있다. 이러한 휴대 단말기는 디지털 카메라(digital camera), 이동통신 단말기(wireless terminal), PDA(Personal Digital Assistant), PMP(Portable Multimedia Player) 등이 있다.
제어부(10)는 영상 데이터 처리 장치(100)의 전반적인 동작을 수행하는 마이크로프로세서이다. 제어부(10)는 촬영된 피사체의 영상 데이터의 처리를 제어하는 영상 전처리부(13), 영상 후처리부(15) 및 크기 조정부(17)를 포함하여 구성된다.
입력부(20)는 영상 데이터 처리 장치(100)의 조작을 위한 복수의 키를 제공하며, 사용자의 키선택에 따른 키데이터를 발생하여 제어부(10)에 전달한다. 입력부(20)를 통해 발생되는 사용자의 명령은 피사체 촬영, 촬영된 영상 데이터의 저장, 저장된 영상 데이터의 표시 등이 될 수 있다. 입력부(20)로는 키패드, 터치패 드와 같은 포인팅 장치, 터치스크린(touch screen) 등의 입력장치가 사용될 수 있다.
메모리부(30)는 영상 데이터 처리 장치(100)의 동작 제어시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장하며, 하나 이상의 휘발성 메모리 소자와 비휘발성 메모리 소자로 이루어진다. 특히 메모리부(30)는 촬영된 영상 데이터의 처리를 위한 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장한다. 메모리부(30)는 인코딩된 영상 데이터를 저장한다.
이미지 센서부(40)는 피사체를 촬영하여 생성한 영상 데이터(이하 '제 1 영상 데이터'라 한다)를 출력한다.
그리고 표시부(50)는 촬영 모드에서 프리뷰 상태의 영상, 촬영된 영상 및 메모리부(30)에 저장된 영상 데이터를 표시한다. 이때 표시부(50)로는 LCD(Liquid Crystal Display)나 터치스크린이 사용될 수 있다. 터치스크린은 표시장치와 입력장치으로서의 역할을 동시에 수행한다.
특히 이미지 센서부(40)는 이미지 센서(41; image sensor), 이미지 센서 프로세서(43; Image Sensor Processor; ISP) 및 동기부(45: Synchronizer)를 포함하여 구성된다. 이미지 센서(41)는 피사체의 광신호를 획득하여 아날로그 신호로 변환한다. 이미지 센서 프로세서(43)는 변환된 아날로그 신호를 디지털 신호인 제 1 영상 데이터로 변환시킨다. 그리고 동기부(45)는 이미지 센서 프로세서(43)로부터 수신한 제 1 영상 데이터의 수직 및 수평 레퍼런스 신호를 동기화하여 영상 전처리부(13)로 전송한다. 동기부(45)는 한 프레임의 일정 라인 단위의 제 1 영상 데이터 를 출력한다. 이때 일정 라인 단위는 8라인의 배수이며, 제 1 실시예에서는 8라인이다. 동기부(45)는 또한 제 1 영상 데이터를 타이밍 겐(timing gen), 윈도윙(windowing), 서브-셈플링(sub-sampling)과 같은 데시메이션(decimation) 처리하여 출력한다.
이때 도시되지 않았지만, 동기부(45)에서 출력된 제 1 영상 데이터는 DMA(Direct Memory Access) 버스 제어부(DMA bus controller)의 제어에 따라 영상 전처리부(13)로 전송된다. 즉 DMA 버스 제어부는 동기부(45)에서 연속적으로 출력되는 제 1 영상 데이터를 DMA 버스를 통하여 메모리부(30)에 저장한다. 그리고 메모리부(30)에 8라인의 제 1 영상 데이터가 저장되면, DMA 버스 제어부는 8라인의 제 1 영상 데이터를 영상 전처리부(13)로 순차적으로 전송한다.
메모리부(30)는 촬영 모드에서 제 2 영상 데이터의 입출을 위한 복수 버퍼 메모리(33)와, 인코딩된 제 2 영상 데이터를 버퍼링하는 버퍼 메모리(35)를 포함하여 구성된다. 복수 버퍼 메모리(33)는 제 1 저장영역(32)과, 제 2 저장영역(33)을 구비하며, 교대로 제 2 영상 데이터를 저장한다. 여기서 복수 버퍼 메모리(33)와 버퍼 메모리(35)는 휘발성 메모리 소자이다. 제 2 영상 데이터에 대해서는 영상 전처리부(13)에서 설명하도록 하겠다.
한편 제 1 실시예에서는 복수 버퍼 메모리로(33)가 두 개의 저장영역(32, 34)을 갖는 예를 개시하였지만 이에 한정되는 것은 아니며, 두 개 이상의 저장영역을 가질 수도 있다.
제어부(10)의 영상 전처리부(13)는 동기부(45)에서 수신한 제 1 영상 데이터 를 처리하여 제 2 영상 데이터로 변환시킨다. 영상 전처리부(13)는 변환된 제 2 영상 데이터를 복수 버퍼 메모리(33)의 제 1 및 제 2 저장 영역(2, 34)에 시간의 흐름에 따라 교대로 저장한다. 이때 영상 전처리부(13)는 제 1 영상 데이터를 러 포맷(raw format)의 제 2 영상 데이터로 변환하여 복수 버퍼 메모리(33)에 저장한다. 복수 버퍼 메모리(33)에 저장되는 제 2 영상 데이터의 크기는 이미지 센서(41)의 화소수의 두 배에 해당된다. 예컨대, 이미지 센서(41)가 1.3메가픽셀인 경우, 제 2 영상 데이터의 크기는 2킬로바이트(Kbyte)(1280ㅧ8ㅧ2byte=20Kbyte)이다. 이미지 센서(41)가 5메가픽셀인 경우, 제 2 영상 데이터의 크기는 40킬로바이트(2560ㅧ8ㅧ2byte=40Kbyte)이다. 즉 영상 전처리부는 8라인 단위로 제 1 영상 데이터를 처리하기 때문에, 버퍼링에 사용되는 복수 버퍼 메모리(33)의 용량을 줄일 수 있다.
제어부(10)의 영상 후처리부(15)는 복수 버퍼 메모리(33)의 제 2 영상 데이터를 시간의 흐름에 따라 교대로 읽어들여 인코딩(encoding)하여 버퍼 메모리(35)에 저장한다. 즉 영상 후처리부(15)가 제 1 저장영역(32)의 제 2 영상 데이터를 읽어갈 때, 영상 전처리부(13)는 제 2 저장영역(34)에 변환한 제 2 영상 데이터를 저장한다. 그리고 영상 후처리부(15)가 제 1 저장 영역(32)의 제 2 영상 데이터에 대한 인코딩을 완료하면, 제 2 저장 영역(34)의 제 2 영상 데이터를 읽어가며, 영상 전처리부(13)는 제 1 저장 영역(32)에 제 2 영상 데이터를 저장한다. 이때 영상 후처리부(15)는 한 프레임에 대한 인코딩이 완료될 때까지 인코딩을 수행한다. 영상 전처리부(13)는 영상 후처리부(15)가 복수 버퍼 메모리(33)의 한쪽 저장영역(32, 34)의 제 2 영상 데이터를 인코딩하는 동안 다른쪽 저장영역(32, 34)에 제 2 영상 데이터의 저장을 완료한다.
또한 영상 후처리부(15)는 메모리부(30)에 저장된 제 2 영상 데이터를 디코딩(decoding)할 수 있다. 디코딩된 제 2 영상 데이터는 크기 조정부(17)를 거쳐 표시부(50)의 화면에 표시될 수 있다. 이때 영상 후처리부(15)는 제 2 영상 데이터를 인코딩/디코딩하기 위한 영상 코덱으로 JPEG(Joint Photographic Expert Group) 코덱, MPEG 코덱, 및 Wavelet 코덱 등을 사용할 수 있다.
그리고 제어부(10)의 크기 조정부(17)는 촬영 모드에서 프리뷰 상태의 영상 및 촬영된 영상의 크기를 조정하여 표시부(50)의 화면으로 출력한다. 크기 조정부(17)는 복수 버퍼 메모리(33)의 제 2 영상 데이터를 시간의 흐름에 따라 순차적으로 읽어들여 표시부(50)의 화면의 규격에 맞게 크기를 조정하여 버퍼링한다. 그리고 크기 조정부(17)는 버퍼링된 제 2 영상 데이터가 한 프레임이 되면, 표시부(50)의 화면으로 출력한다.
한편 제 1 실시예에서는 제어부(10)에 영상 전처리부(13), 영상 후처리부(15) 및 크기 조정부(17)가 포함된 예를 개시하였지만, 도 4에 도시된 바와 같이 제 2 실시예에 따른 영상 데이터 처리 장치(200)는 영상 전처리부(113), 영상 후처리부(115) 및 크기 조정부(117)를 제어부(110)와 별도로 구성할 수 있다. 또는 도시하진 않았지만, 영상 전처리부(113), 영상 후처리부(115) 및 크기 조정부(117)를 하나의 모듈로도 구현할 수 있음은 물론이다. 그리고 메모리부(130)는 메모리(131), 복수 버퍼 메모리(133) 및 버퍼 메모리(135)로 분리된 형태를 가질 수도 있고, 하나의 패키지 형태나 멀티 칩 모듈 형태를 가질 수 있다. 또한 이미지 센서 부(140)에 동기부(145)에 설치된 예를 개시하였지만, 동기부(145)를 별도로 구성할 수도 있고, 동기부(145), 영상 전처리부(113), 영상 후처리부(115) 및 크기 조정부(117)를 하나의 모듈 형태로 구현할 수도 있다.
영상 데이터 처리 방법
본 발명의 실시예에 따른 영상 데이터 장치(100)의 영상 데이터 처리 방법에 대해서 도 1 내지 도 3을 참조하여 설명하면 다음과 같다.
사용자의 키선택에 따라 촬영 모드가 선택되면(S61), 제어부(10)는 촬영 모드를 실행하여 표시부(50)에 프리뷰 화면을 표시한다(S63). 이때 사용자는 프리뷰 화면이나 뷰파인더(view finder)를 통해 피사체를 확인할 수 있다. S63과정의 프리뷰 화면을 표시하는 과정은 후술하도록 하겠다.
다음으로 사용자가, 프리뷰 화면 또는 뷰파인더를 통해 촬영할 피사체의 영상을 확인한 이후에, 셔터에 대응되는 키를 선택하면, 이미지 센서부(40)는 제어부(10)의 제어에 따라 피사체를 촬영하여 제 1 영상 데이터를 생성한다(S65).
이미지 센서부(40)의 동기부(45)는 일부 라인 예컨대, 8라인 단위로 제 1 영상 데이터를 영상 전처리부(13)로 출력한다(S67). 영상 전처리부(13)는 8라인 단위의 제 1 영상 데이터를 러 포맷의 제 2 영상 데이터로 변환하여(S69), 복수 버퍼 메모리(33)의 제 1 및 제 2 저장 영역(32, 34)에 교대로 저장한다(S71). 예컨대 영상 전처리부(13)가 제 2 영상 데이터의 저장 영역(32, 34)을 바꾸는 시점은 8라인 단위의 제 2 영상 데이터의 저장이 완료되는 시점이다.
다음으로 제어부(10)는 복수 버퍼 메모리(33)를 크기 조정부(17)에 연결한 다(S73). 즉 제어부(10)는 촬영된 영상을 사용자가 확인할 수 있도록 화면으로 출력하기 위해서, 복수 버퍼 메모리(33)를 크기 조정부(17)에 연결한다. 크기 조정부(17)는 복수 버퍼 메모리(33)의 제 2 영상 데이터를 시간의 흐름에 따라 순차적으로 읽어들여 화면의 규격에 맞게 크기를 조정하여 버퍼링한다(S75).
다음으로 제어부(10)는 복수 버퍼 메모리(33)를 영상 후처리부(15)에 연결한다(S77). 영상 후처리부(15)는 복수 버퍼 메모리(33)의 제 2 영상 데이터를 시간의 흐름에 따라 순차적으로 읽어들여 인코딩하여 버퍼 메모리(35)에 버퍼링한다(S79). 이때 크기 조정부(17)와 영상 후처리부(15)는 복수 버퍼 메모리(33)의 동일한 저장영역(32, 34)에서 제 2 영상 데이터를 읽어들인다. 물론 크기 조정부(17)와 영상 후처리부(15)는 8라인 단위의 제 2 영상 데이터의 저장이 완료된 저장영역(32, 34)의 제 2 영상 데이터를 읽어들인다.
다음으로 제어부(10)는 크기 조정부(17) 및 영상 후처리부(15)에서 버퍼링된 제 2 영상 데이터가 각각 한 프레임이 되었는 지의 여부를 판단한다(S81). S81과정의 판단 결과 한 프레임이 되지 않은 경우, 제어부(10)는 한 프레임이 될 때까지 S67과정 내지 S79과정을 반복하여 수행한다.
이때 크기 조정부(17) 및 영상 후처리부(15)가 제 1 저장영역(32)의 제 2 영상 데이터를 읽어들인다면, 영상 전처리부(13)는 제 2 저장영역(32)에 제 2 영상 데이터를 저장한다. 그리고 S81과정의 판단 결과 한 프레임이 되지 않아 S67과정 내지 S79과정을 다시 수행할 때는, 크기 조정부(17) 및 영상 후처리부(15)는 제 2 저장영역(34)의 제 2 영상 데이터를 읽어들인다. 물론 이 경우 영상 전처리부(13) 는 제 1 저장영역(32)에 제 2 영상 데이터를 저장한다. 즉 복수 버퍼 메모리(33)의 한쪽의 저장영역(32, 34)에는 제 2 영상 데이터의 저장이 이루어지고, 다른쪽의 저장영역(32, 34)에서는 제 2 영상 데이터의 읽기가 동시에 이루어진다.
그리고 S81과정의 판단 결과 한 프레임이 되면, 크기 조정부(17)는 버퍼링된 한 프레임의 제 2 영상 데이터를 표시부(50)로 출력한다(S83). 표시부(50)는 한 프레임의 제 2 영상 데이터 즉 촬영된 영상을 화면에 표시한다. 또한 제어부(10)는 촬영된 영상의 저장 여부를 화면을 통하여 사용자에게 요청한다(S85). 사용자가 키입력을 통하여 촬영된 영상의 저장을 요구하면, 제어부(10)는 버퍼 메모리(35)에 저장된 인코딩된 제 2 영상 데이터를 저장한다(S87). 하지만 반대의 경우, 제어부(10)는 버퍼 메모리(35)에 저장된 인코딩된 제 2 영상 데이터를 삭제한다(S89).
이어서 제어부(10)는 S91과정에서 촬영 모드의 종료 여부를 판단한다. 제어부(10)는 촬영 모드가 종료될 때까지 S61과정 내지 S89과정을 반복하여 수행한다.
한편 S63과정의 프리뷰 화면의 표시 과정을 살펴보면 다음과 같다. S63과정은 촬영된 영상을 화면에 표시하는 과정과 거의 동일한 과정으로 진행된다.
즉 S61과정에서 촬영 모드가 선택되면, 이미지 센서부(40)는 제어부(10)의 제어에 따라 피사체를 촬영하여 제 1 영상 데이터를 생성한다(S631).
이미지 센서부(40)의 동기부(45)는 8라인 단위로 제 1 영상 데이터를 영상 전처리부(13)로 출력한다(S633). 영상 전처리부(13)는 8라인 단위의 제 1 영상 데이터를 제 2 영상 데이터로 변환하여(S635), 복수 버퍼 메모리(33)의 제 1 및 제 2 저장영역(32, 34)에 교대로 저장한다(S637).
다음으로 제어부(10)는 복수 버퍼 메모리(33)를 크기 조정부(17)에 연결한다(S639). 즉 제어부(10)는 촬영할 피사체의 영상을 사용자가 확인할 수 있도록 화면으로 출력하기 위해서, 복수 버퍼 메모리(33)를 크기 조정부(17)에 연결한다. 크기 조정부(17)는 복수 버퍼 메모리(33)의 제 2 영상 데이터를 시간의 흐름에 따라 순차적으로 읽어들여 화면의 규격에 맞게 크기를 조정하여 버퍼링한다(S641).
다음으로 제어부(10)는 크기 조정부(17)에서 버퍼링된 제 2 영상 데이터가 각각 한 프레임이 되었는 지의 여부를 판단한다(S643). S643과정의 판단 결과 한 프레임이 되지 않은 경우, 제어부(10)는 한 프레임이 될 때까지 S633과정 내지 S641과정을 반복하여 수행한다.
이때 크기 조정부(17)가 제 1 저장영역(32)의 제 2 영상 데이터를 읽어들인다면, 영상 전처리부(13)는 제 2 저장영역(34)에 제 2 영상 데이터를 저장한다. 그리고 S643과정의 판단 결과 한 프레임이 되지 않아 S633과정 내지 S641과정을 다시 수행할 때는, 크기 조정부(17)는 제 2 저장영역의 제 2 영상 데이터를 읽어들인다. 물론 이 경우 영상 전처리부(13)는 제 1 저장영역(32)에 제 2 영상 데이터를 저장한다. 즉 복수 버퍼 메모리(33)의 한쪽의 저장영역(32, 34)에는 제 2 영상 데이터의 저장이 이루어지고, 다른쪽의 저장영역(32, 34)에서는 제 2 영상 데이터의 읽기가 동시에 이루어진다.
그리고 S643과정의 판단 결과 한 프레임이 되면, 크기 조정부(17)는 한 프레임의 제 2 영상 데이터를 표시부(50)로 출력한다(S83). 표시부(50)는 한 프레임의 제 2 영상 데이터에 대응되는 촬영할 피사체의 영상을 화면에 표시한다.
한편 제 1 실시예에 따른 영상 데이터 처리 방법에서는 제어부(10)가 복수 버퍼 메모리(33)를 크기 조정부(17), 영상 후처리부(15) 순으로 연결하여 크기 조정과 크기 조정 과정 순으로 진행하는 예를 개시하였지만, 반대로 영상 후처리부(15), 크기 조정부(17) 순으로 연결하여 인코딩과 크기 조정 과정 순으로 진행할 수도 있다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
도 1은 본 발명의 제 1 실시예에 따른 영상 데이터 처리 장치의 구성을 보여주는 블록도이다.
도 2a 및 도 2b는 본 발명의 실시예에 따른 영상 데이터 처리 방법에 따른 흐름도이다.
도 3은 도 2a의 프리뷰 화면을 표시하는 과정을 보여주는 흐름도이다.
도 4는 본 발명의 제 2 실시예에 다른 영상 데이터 처리 장치의 구성을 보여주는 블록도이다.

Claims (21)

  1. 이미지 센서부에서 한 프레임의 제1 영상 데이터를 제2 영상 데이터로 변환하는 과정과;
    상기 변환된 제2 영상 데이터를 버퍼 메모리 내 저장영역들 중 일부에 저장하는 과정과;
    상기 저장영역들 중 다른 일부에 저장된 제2 영상 데이터를 인코딩하는 과정을 포함하고,
    상기 다른 일부에 저장된 제2 영상 데이터를 인코딩하는 동안, 상기 일부에 제2 영상 데이터를 저장하는, 영상 데이터 처리 방법.
  2. 제1항에 있어서,
    상기 이미지 센서부에서 한 프레임의 제1 영상 데이터는 라인 단위로 출력되는, 영상 데이터 처리 방법.
  3. 제1항에 있어서,
    상기 인코딩된 제2 영상 데이터가 한 프레임이 되면 화면에 표시하는 과정을 더 포함하는, 영상 데이터 처리 방법.
  4. 제3항에 있어서, 상기 표시 과정은,
    상기 인코딩된 제2 영상 데이터를 화면의 규격에 맞게 크기를 조정하여 버퍼링하는 과정과;
    상기 버퍼링된 제2 영상 데이터가 한 프레임이 되면 화면에 표시하는 과정을 포함하는, 영상 데이터 처리 방법.
  5. 삭제
  6. 제1항에 있어서, 상기 인코딩 과정은,
    상기 다른 일부에 저장이 완료된 제2 영상 데이터를 인코딩하는 과정을 포함하는, 영상 데이터 처리 방법.
  7. 제1항에 있어서,
    상기 인코딩은 한 프레임 단위로 진행되며, 상기 한 프레임에 대한 인코딩이 완료되면, 상기 인코딩된 제2 영상 데이터의 저장 여부를 요구하는 과정과;
    저장 요구가 입력되면, 상기 인코딩된 제2 영상 데이터를 저장하는 과정을 더 포함하는, 영상 데이터 처리 방법.
  8. 제2항에 있어서, 상기 라인 단위는 8라인의 배수인, 영상 데이터 처리 방법.
  9. 이미지 센서부에서 한 프레임의 라인 단위로 출력되는 제1 영상 데이터를 제2 영상 데이터로 변환하는 과정과;
    상기 변환된 제2 영상 데이터를 버퍼 메모리 내 저장영역들 중 일부에 저장하는 과정과;
    상기 저장영역들 중 다른 일부에 저장된 제2 영상 데이터가 한 프레임이 되면 화면에 표시하는 과정을 포함하고,
    상기 다른 일부에 저장된 제2 영상 데이터를 인코딩하는 동안, 상기 일부에 제2 영상 데이터를 저장하는, 영상 데이터 처리 방법.
  10. 제9항에 있어서, 상기 표시 과정은,
    상기 인코딩된 제2 영상 데이터를 화면의 규격에 맞게 크기를 조정하여 버퍼링하는 과정과;
    상기 버퍼링된 제2 영상 데이터가 한 프레임이 되면 화면에 표시하는 과정을 포함하는 영상 데이터 처리 방법.
  11. 삭제
  12. 제9항에 있어서, 상기 라인 단위는 8라인의 배수인, 영상 데이터 처리 방법.
  13. 촬영한 한 프레임을 제1 영상 데이터로 출력하는 이미지 센서부와;
    상기 출력된 제1 영상 데이터를 제2 영상 데이터로 변환하는 영상 전처리부와;
    상기 변환된 제2 영상 데이터를 저장영역들 중 일부에 저장하는 버퍼 메모리와;
    상기 저장영역들 중 다른 일부에 저장된 제2 영상 데이터를 인코딩하는 영상 후처리부를 포함하고,
    상기 영상 후처리부가 상기 다른 일부에 저장된 제2 영상 데이터를 인코딩하는 동안, 상기 영상 전처리부는 상기 일부에 제2 영상 데이터를 저장하는, 영상 데이터 처리 장치.
  14. 제13항에 있어서, 상기 이미지 센서부는 상기 제1 영상 데이터를 라인 단위로 출력하는, 영상 데이터 처리 장치.
  15. 제13항에 있어서, 상기 이미지 센서부는,
    촬영한 피사체의 광신호를 아날로그 신호를 변환하는 이미지 센서와;
    상기 아날로그 신호를 디지털 제1 영상 데이터로 변환하는 이미지 센서 프로세서와;
    상기 변환된 제1 영상 데이터의 수직 및 수평 레퍼런스 신호를 동기화하여 상기 영상 전처리부로 상기 제1 영상 데이터를 전송하는 동기부를 포함하는 영상 데이터 처리 장치.
  16. 제13항에 있어서,
    상기 인코딩된 제2 영상 데이터가 한 프레임이 되면 출력하는 크기 조정부를 더 포함하는 영상 데이터 처리 장치.
  17. 제16항에 있어서, 상기 크기 조정부는,
    상기 인코딩된 제2 영상 데이터를 화면의 규격에 맞게 크기를 조정하여 버퍼링하고, 상기 버퍼링된 제2 영상 데이터가 한 프레임이 되면 출력하는, 영상 데이터 처리 장치.
  18. 제17항에 있어서,
    상기 출력된 프레임의 제2 영상 데이터를 표시하는 표시부를 더 포함하는 영상 데이터 처리 장치.
  19. 삭제
  20. 제13항에 있어서, 상기 영상 후처리부는 상기 제2 영상 데이터에 대한 인코딩을 한 프레임에 대한 인코딩이 완료될 때까지 진행하는, 영상 데이터 처리 장치.
  21. 제14항에 있어서, 상기 라인 단위는 8라인의 배수인, 영상 데이터 처리 장치.
KR1020070077542A 2007-08-01 2007-08-01 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법 KR101409769B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070077542A KR101409769B1 (ko) 2007-08-01 2007-08-01 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법
US12/179,570 US8081228B2 (en) 2007-08-01 2008-07-24 Apparatus and method for processing image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070077542A KR101409769B1 (ko) 2007-08-01 2007-08-01 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법

Publications (2)

Publication Number Publication Date
KR20090013435A KR20090013435A (ko) 2009-02-05
KR101409769B1 true KR101409769B1 (ko) 2014-06-19

Family

ID=40337695

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070077542A KR101409769B1 (ko) 2007-08-01 2007-08-01 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법

Country Status (2)

Country Link
US (1) US8081228B2 (ko)
KR (1) KR101409769B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199414A (ja) * 2010-03-17 2011-10-06 Toshiba Corp 素材収録装置及び素材収録方法
JP5630146B2 (ja) * 2010-08-23 2014-11-26 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム。
CA2826675C (en) 2011-02-25 2018-04-10 Photonis Netherlands B.V. Acquiring and displaying images in real-time
US10148936B2 (en) * 2013-07-01 2018-12-04 Omnivision Technologies, Inc. Multi-band image sensor for providing three-dimensional color images
KR101511758B1 (ko) * 2013-09-04 2015-04-13 주식회사 모브릭 여러 대의 액션캠 영상을 재생하기 위한 버퍼관리 방법 및 그에 따른 재생장치
US10142640B2 (en) * 2013-11-12 2018-11-27 Mediatek Inc. Method and apparatus for using small-sized buffer in compression/decompression with block prediction
US10841491B2 (en) 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
WO2019075473A1 (en) * 2017-10-15 2019-04-18 Analog Devices, Inc. METHODS AND SYSTEMS FOR PROCESSING FLIGHT TIME DEPTH IMAGE

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990072731A (ko) * 1998-02-23 1999-09-27 다카노 야스아키 디지털카메라
JP2004147008A (ja) * 2002-10-23 2004-05-20 Sanyo Electric Co Ltd 電子カメラ

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3320859B2 (ja) * 1993-09-24 2002-09-03 旭光学工業株式会社 Ｃｃｄディジタルカメラ
JP3610195B2 (ja) * 1997-07-04 2005-01-12 キヤノン株式会社 撮像装置
JP2001320610A (ja) * 2000-05-02 2001-11-16 Nikon Corp 電子スチルカメラ
US20040169895A1 (en) * 2003-02-28 2004-09-02 Kabushiki Kaisha Toshiba Image reading apparatus
EP1677513A1 (en) * 2003-09-30 2006-07-05 Mitsubishi Denki Kabushiki Kaisha Image pickup device and image pickup method
JP2005150952A (ja) * 2003-11-12 2005-06-09 Fujinon Corp 画像再生装置および撮像装置
US7719579B2 (en) * 2005-05-24 2010-05-18 Zoran Corporation Digital camera architecture with improved performance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990072731A (ko) * 1998-02-23 1999-09-27 다카노 야스아키 디지털카메라
JP2004147008A (ja) * 2002-10-23 2004-05-20 Sanyo Electric Co Ltd 電子カメラ

Also Published As

Publication number Publication date
US20090033760A1 (en) 2009-02-05
US8081228B2 (en) 2011-12-20
KR20090013435A (ko) 2009-02-05

Similar Documents

Publication Publication Date Title
KR101409769B1 (ko) 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법
US7573504B2 (en) Image recording apparatus, image recording method, and image compressing apparatus processing moving or still images
JP3535693B2 (ja) 携帯電子機器、画像処理方法、撮像装置及びコンピュータ読み取り可能な記録媒体
KR100810310B1 (ko) 조도차가 다른 영상의 재구성 장치 및 방법
JP4250543B2 (ja) 撮像装置及び情報処理装置及びそれらの制御方法
KR101023945B1 (ko) Ｊｐｅｇ 캡쳐 시간 단축을 위한 영상 처리 장치 및 그영상 처리 장치에서 ｊｐｅｇ 캡쳐 방법
TWI325721B (ko)
EP1988705A1 (en) Improvements in or relating to image sensors
JP5321070B2 (ja) 撮影装置、撮影方法及びプログラム
US20080316331A1 (en) Image processing apparatus and method for displaying captured image without time delay and computer readable medium stored thereon computer executable instructions for performing the method
US20060215915A1 (en) Device and method for generating thumbnail JPEG image and medium for storing thumbnail JPEG image
KR20070092582A (ko) 영상 표시 및 저장 장치와 방법
KR100902419B1 (ko) 캡쳐 영상을 시간 지연 없이 표시할 수 있는 영상 처리장치, 방법 및 상기 방법을 프로그램화하여 수록한컴퓨터로 읽을 수 있는 기록매체
KR100821407B1 (ko) 화상 정보 처리 시스템 및 화상 정보 처리 방법
JP2004304387A (ja) 画像処理装置
KR20100077940A (ko) 디지털 이미지 처리 장치 및 방법
US20070065022A1 (en) Image signal processing apparatus and method
JP2006014221A (ja) 撮像装置及び撮像方法
KR100624473B1 (ko) 이미지 처리장치 및 그 방법
JP6021594B2 (ja) 撮像装置及びプログラム
KR20050006063A (ko) 화상 신장표시방법, 화상 신장표시장치, 및화상신장표시용 프로그램
JP2013240098A (ja) 撮影装置、撮影方法及びプログラム
KR100872346B1 (ko) 카메라 모듈과, 그를 갖는 휴대 단말기 및 그의 이미지처리 방법
US20050286803A1 (en) Image processing apparatus, display device, image processing method, and image processing program
JP2001024929A (ja) ディジタルカメラ

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 6