KR20130109588A - 카메라의 이미지처리 장치 및 방법 - Google Patents

카메라의 이미지처리 장치 및 방법 Download PDF

Info

Publication number
KR20130109588A
KR20130109588A KR1020120031445A KR20120031445A KR20130109588A KR 20130109588 A KR20130109588 A KR 20130109588A KR 1020120031445 A KR1020120031445 A KR 1020120031445A KR 20120031445 A KR20120031445 A KR 20120031445A KR 20130109588 A KR20130109588 A KR 20130109588A
Authority
KR
South Korea
Prior art keywords
image
display
camera
frame
images
Prior art date
Application number
KR1020120031445A
Other languages
English (en)
Other versions
KR101893406B1 (ko
Inventor
이용구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120031445A priority Critical patent/KR101893406B1/ko
Priority to AU2013201746A priority patent/AU2013201746B2/en
Priority to CN2013100989739A priority patent/CN103369239A/zh
Priority to RU2014143240A priority patent/RU2014143240A/ru
Priority to PCT/KR2013/002488 priority patent/WO2013147488A1/en
Priority to US13/852,915 priority patent/US20130258136A1/en
Priority to EP13161613.8A priority patent/EP2645703A3/en
Publication of KR20130109588A publication Critical patent/KR20130109588A/ko
Application granted granted Critical
Publication of KR101893406B1 publication Critical patent/KR101893406B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • H04N1/2141—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer
    • H04N1/2145—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer of a sequence of images for selection of a single frame before final recording, e.g. from a continuous sequence captured before and after shutter-release
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 실시예에 따른 카메라장치가, 카메라 구동시 동작되어 풀해상도 이미지를 발생하는 카메라와, 카메라에서 생성되는 이미지를 매 프레임 주기에서 스케일링하여 표시이미지로 변환하는 표시이미지 처리부와, 카메라에서 생성되는 이미지를 버퍼링하며 캡쳐 요구시 상기 버퍼링된 이미지들에서 셔터 온시점의 이미지를 부호화하여 셔터지연시간이 보상된 캡쳐이미지를 생성하는 캡쳐이미지 처리부와, 표시이미지를 표시하는 표시부와, 캡쳐이미지를 저장하는 저장부로 구성된다.

Description

카메라의 이미지처리 장치 및 방법{APPARATUS AND MEHOD FOR PROCESSING A IMAGE IN CAMERA DEVICE}
본 발명은 카메라의 이미지처리 장치 및 방법에 관한 것으로, 특히 셔터 지연을 보상할 수 있는 이미지처리 장치 및 방법에 관한 것이다.
카메라 장치 및 카메라를 포함하는 휴대단말 장치는 고화질 이미지를 제공하며, 또한 다양한 사용자 편의 기능을 제공하고 있다. 현재 카메라 장치의 이미지 센서(image sensor 또는 카메라 센서라 칭할 수도 있다)는 풀 HD급 이상의 해상도(full High Definition resolution)를 가지는 이미지들을 센싱할 수 있다.
이때 상기 카메라 장치는 프리뷰 모드에서 카메라로부터 감지되는 이미지를 프리뷰 이미지(preview image)를 표시하고, 사용자가 셔터 버튼(shutter button)을 누르면 상기 카메라 센서에서 획득되는 이미지를 저장한다. 이때, 사용자가 셔터 버튼을 누르면(shutter on), 카메라에서 이미지를 센싱하여 캡쳐(capture)하기까지 지연 시간(shutter delay 또는 shutter lag)이 존재한다. 즉, 사용자의 셔터 온 시점으로부터 카메라 센서가 피사체를 촬영하는 시점까지의 시간 차가 존재하며, 이런 시간 차는 피사체의 촬영환경 및 이미지처리부의 처리 시간 등에 의해 발생될 수 있다. 따라서 사용자는 셔터 딜레이(셔터 렉)에 의해 원하는 시점에서의 이미지를 획득할 수 없었던 문제점이 있었다.
또한 상기 이미지를 캡쳐하는 시점에서, 카메라가 흔들렸거나 또는 피사체의 인물이 눈을 감는 등의 불필요한 동작이 촬영된 경우, 상기 캡쳐된 이미지를 수정하는데 한계가 있으며, 이런 경우 촬영시의 상황은 다시 재현할 수가 없으므로, 카메라 촬영의 한계를 가지는 문제점이 있었다
따라서 본 발명은 카메라장치 또는 카메라를 포함하는 단말장치에서 셔터 지연없이 촬영 시점의 이미지를 캡쳐할 수 있는 장치 및 방법을 제안한다.
이를 위하여 본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 카메라로부터 획득되는 이미지를 처리하여 매 프레임에서 복수의 이미지들을 생성하고, 생성되는 이미지들을 각각 프리뷰 이미지 및 캡쳐 이미지로 사용할 수 있는 장치 및 방법을 제안한다.
또한 본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 매 프레임에서 카메라로부터 획득되는 이미지를 프리뷰 및 캡쳐용 이미지로 생성하고, 프리뷰 용 이미지 및 캡쳐 이미지를 분리 처리할 수 있는 장치 및 방법을 제안한다.
본 발명의 실시예에 따른 카메라장치가, 카메라 구동시 동작되어 풀해상도 이미지를 발생하는 카메라와, 상기 카메라에서 생성되는 이미지를 매 프레임 주기에서 스케일링하여 표시이미지로 변환하는 표시이미지 처리부와, 상기 카메라에서 생성되는 이미지를 버퍼링하며, 캡쳐 요구시 상기 버퍼링된 이미지들에서 셔터 온시점의 이미지를 부호화하여 셔터지연시간이 보상된 캡쳐이미지를 생성하는 캡쳐이미지 처리부와, 상기 표시이미지를 표시하는 표시부와, 상기 캡쳐이미지를 저장하는 저장부로 구성된 것을 특징으로 한다.
또한 본 발명의 실시예에 따른 단말장치가, 카메라 구동시 동작되어 풀해상도 이미지를 발생하는 카메라와, 상기 카메라에서 생성되는 풀해상도 매 프레임 주기에서 이미지를 버퍼링하는 동시에 상기 풀해상도 이미지를스케일링하여 표시이미지로 변환하며, 캡쳐 요구시 상기 버퍼링된 이미지들에서 셔터 온시점의 이미지를 부호화하여 셔터지연시간이 보상된 캡쳐이미지를 생성하는 이미지 처리부와, 상기 이미지처리부에서 출력되는 표시이미지 및 캡쳐이미지를 버퍼링하며, 프리뷰 모드시 상기 표시이미지를 표시하며 캡쳐모드시 상기 표시이미지를 표시하며 상기 캡쳐이미지를 저장하도록 제어하는 어플리케이션처리부와, 상기 어플리케이션처리부의 제어하에 표시이미지를 표시하는 표시부와, 상기 어플리케이션처리부의 제어하에 캡쳐이미지를 저장하는 저장부로 구성된 것을 특징으로 한다.
또한 본 발명의 실시예에 따른 카메라장치의 이미지처리방법이, 카메라 구동시 매 프레임 주기에서 카메라의 풀해상도 이미지를 버퍼링 및 표시이미지로 변환하여 표시하는 과정과, 캡쳐 요구시 상기 버퍼링된 이미지들에서 셔터 온시점의 이미지를 부호화하여 셔터지연시간이 보상된 캡쳐이미지를 생성 및 저장하는 과정으로 이루어짐을 특징으로 한다.
또한 본 발명의 다른 실시예에 따른 카메라장치에 있어서, 카메라 구동시 동작되어 풀해상도 이미지를 발생하는 카메라와, 상기 카메라에서 발생되는 매 프레임의 이미지들을 버퍼링하는 제1버퍼와, 상기 제1버퍼에서 설정된 번호의 프레임 이미지들을 처리하여 풀해상도 이미지 및 표시이미지들을 생성하는 적어도 2개의 이미지처리부들과, 상기 이미지처리부들에서 출력되는 표시이미지들을 프레임 번호 순서대로 버퍼링하는 제2버퍼와, 상기 제2버퍼에서 출력되는 표시이미지들을 표시하는 표시부와, 상기 이미지처리부들에서 출력되는 풀해상도 이미지들을 프레임 번호 순서대로 버퍼링하는 제3버퍼와, 캡쳐 요구시 상기 제3버퍼에 버퍼링된 이미지들에서 셔터 온시점의 이미지를 부호화하는 정지영상 코덱과, 상기 부호화된 이미지를 저장하는 저장부로 구성된 것을 특징으로 한다.
또한 본 발명의 다른 실시예에 따른 카메라장치의 이미지처리방법이, 상기 카메라에서 발생되는 매 프레임의 이미지들을 제1버퍼에 버퍼링하는 과정과, 복수의 이미지처리부들을 구비하며, 상기 이미지처리부들을 통해 상기 제1버퍼에서 설정된 번호의 프레임 이미지들을 처리하여 풀해상도 이미지 및 표시이미지들을 생성하는 과정과, 상기 이미지처리부들에서 출력되는 표시이미지들을 프레임 번호 순서대로 제2버퍼에 버퍼링하며, 상기 제2버퍼에서 출력되는 표시이미지들을 표시하고, 상기 이미지처리부들에서 출력되는 풀해상도 이미지들을 프레임 번호 순서대로 제3버퍼에 버퍼링하는 과정과, 캡쳐 요구시 상기 제3버퍼에 버퍼링된 이미지들에서 셔터 온시점의 이미지를 부호화하여 저장하는 과정으로 이루어짐을 특징으로 한다.
본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 매 프레임에서 카메라 센서로부터 획득되는 이미지를 처리하여 프리뷰 및 캡쳐 이미지를 생성하고, 촬영되는 이미지를 원하는 시점에서 캡쳐하여 제로 셔터렉을 구현할 수 있으며, 또한 촬영된 이미지들 중에서 원하는 이미지를 선택하여 저장할 수 있는 이점이 있다. 또한 카메라장치 및 카메라를 포함하는 단말장치에서 캡쳐 이미지 및 프리뷰 이미지를 처리하는 구성을 분리 구성하므로써, 프리뷰 이미지를 처리하는 구성을 상대적으로 간단하게 구성할 수 있으며, 이로인해 카메라장치 및 카메라를 구비하는 단말장치에서 소모전력을 절약할 수 있는 이점이 있다.
도 1은 본 발명의 실시예에 따른 카메라 장치의 구성을 도시하는 도면
도 2는 도 1에서 본 발명의 실시예에 따른 이미지처리부의 구성을 도시하는 도면으로, 이미지스케일러를 리사이저로 구성한 예를 도시하는 도면
도 3은 도 1에서 본 발명의 실시예에 따른 이미지처리부의 다른 구성을 도시하는 도면으로, 이미지스케일러를 평균화부로 구성한 예를 도시하는 도면
도 4a 및 도 4b는 도 3의 평균화부 동작을 설명하기 위한 도면
도 5는 도 1에서 본 발명의 실시예에 따른 이미지처리부의 또 다른 구성을 도시하는 도면으로, 이미지스케일러를 리사이저310 및 평균화부320로 구성한 예를 도시하는 도면
도 6은 도 1에서 본 발명의 실시예에 따른 이미지처리부의 또 다른 구성을 도시하는 도면으로, 캡쳐이미지를 생성할 때 선택적으로 프레임율을 조정할 수 있는 구성 예를 도시하는 도면
도 7은 도 6의 이미지처리장치가 선택된 동작클럭에 따라 캡쳐 이미지를 생성하는 예를 설명하기 위한 도면
도 8은 도 1에서 본 발명의 실시예에 따른 이미지처리부의 또 다른 구성을 도시하는 도면으로, 이미지처리부에서 캡쳐이미지를 생성할 때 프레임 이미지를 분할하여 처리하고, 이후 분할된 이미지들을 결합하여 캡처 이미지로 생성하는 예를 도시하는 도면
도 9a - 도 9c는 도 8의 이미지처리 동작을 설명하기 위한 도면
도 10은 도 1에서 본 발명의 실시예에 따른 이미지처리부의 또 다른 구성을 도시하는 도면으로, 이미지처리부에서 캡쳐이미지를 생성할 때 선택적으로 프레임율을 조정하며, 캡쳐이미지를 생성할 때 프레임 이미지를 분할하여 처리하고, 이후 분할된 이미지들을 결합하여 캡처 이미지로 생성하는 예를 도시하는 도면
도 11은 본 발명의 다른 실시예에 따른 카메라 장치의 구성을 도시하는 도면
도 12는 도 11과 같은 구성을 가지는 카메라장치에서 이미지처리부의 다른 구성을 도시하는 도면으로, 이미지처리부에서 캡쳐이미지를 생성할 때 선택적으로 프레임율을 조정할 수 있는 구성 예를 도시하는 도면
도 13은 도 11과 같은 구성을 가지는 카메라장치에서 이미지처리부의 다른 구성을 도시하는 도면으로, 이미지처리부에서 캡쳐이미지를 생성할 때 프레임 이미지를 분할하여 처리하고, 이후 분할된 이미지들을 결합하여 캡처 이미지로 생성하는 예를 도시하는 도면
도 14는 본 발명의 실시예에 따른 또 다른 카메라장치의 구성을 도시하는 도면
도 15는 도 14에서 이미지처리부의 구성을 도시하는 도면
도 16은 도 14에서 어플리케이션처리부1420의 구성을 도시하는 도면
도 17은 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치의 이미지 처리 방법을 도시하는 흐름도
도 18은 본 발명의 실시예에 따른 카메라장치에서 프리뷰 모드의 이미지를 처리하는 절차를 도시하는 흐름도
도 19는 도 18에서 표시이미지를 생성하여 처리하는 표시하는 절차를 도시하는 흐름도
도 20은 도 17에서 캡쳐 요구시 캡쳐 이미지를 처리하는 절차를 도시하는 흐름도
도 21은 도 20에서 캡쳐 이미지 처리시, 사용자의 선택에 따라 고속 또는 저속으로 캡쳐 이미지를 처리하는 방법을 도시하는 흐름도
도 22는 도 20에서 캡쳐 이미지 처리시, 캡쳐 이미지를 분할하고 분할된 이미지들을 처리한 후 가산하여 프레임 이미지를 재생성하는 절차를 도시하는 흐름도
도 23은 프리뷰모드에서 표시이미지 처리 및 캡쳐 이미지처리부가 카메라의 풀해상도 이미지를 각각 처리하는 절차를 도시하는 흐름도
도 24는 본 발명의 실시예에 카메라 장치에서 또 다른 방법으로 캡쳐 이미지를 처리하는 절차를 도시하는 흐름도
도 25는 본 발명의 따른 실시예에 따른 카메라장치의 구성을 도시하는 도면
이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.
또한, 하기 설명에서는 카메라의 화소수, 프레임 율 등과 같은 구체적인 특정 사항들이 나타내고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 상세한 설명을 생략한다.
본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치는 카메라 구동시(예를들면 preview mode) 카메라센서로부터 획득되는 매 프레임의 이미지를 처리하여 표시 또는 동영상 저장을 위한 표시 이미지 및 정지이미지로 저장하기 위한 캡쳐 이미지를 생성한다. 여기서 상기 표시이미지는 상기 캡쳐이미지에 작은 크기를 가진다. 이런 경우, 카메라 구동시, 카메라장치는 매 프레임 주기에서 카메라로부터 이미지를 획득하며, 획득되는 이미지를 프리뷰 이미지 및 캡쳐를 위한 이미지를 생성하며, 프리뷰 이미지는 표시부에 표시하고 캡쳐를 위한 이미지는 버퍼링한다. 상기와 같은 상태에서 캡쳐 요구가 발생되면, 카메라장치는 버퍼링된 프레임 이미지들에서 캡쳐 요구된 시점의 프레임 이미지를 선택하여 압축 부호화한 후 저장한다.
상기한 바와 같이 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치는 매프레임에서 카메라로부터 이미지를 획득하며, 획득되는 프레임이미지를 표시부에 표시하기 위한 이미지로 스케일링 및 이미지 처리하여 표시하는 동시에 카메라의 풀 해상도 이미지를 버퍼링한다. 그리고 사용자로부터 캡쳐 요구가 발생되면, 카메라장치 또는 카메라를 구비하는 단말장치는 버퍼링 중인 프레임 이미지들 중에서 촬영 시점에 대응되는 프레임이미지를 선택하여 이미지처리한 후 부호화하여 저장한다. 촬상 소자는 display 또는 mecha-shutter와 동기화 시킬수도 있다.
일반적으로 카메라장치는 셔터 온 시점에서 카메라가 이미지 획득까지의 지연시간(셔터 지연, 셔터렉)을 가진다. 따라서 본 발명의 실시예에 따른 카메라장치는 표시이미지와 독립적으로 카메라의 풀 해상도 이미지를 일시 저장하기 위한 버퍼를 구비하며, 카메라 구동시 상기 버퍼에 풀해상 이미지들을 버퍼링한다. 그리고 촬영 요구시 버퍼링 중인 프레임 이미지들 중에서 촬영 요구 시점의 프레임 이미지를 선택하여 처리하므로써 제로 셔터렉을 구현할 수 있다. 본 발명의 실시예에서 상기 버퍼는 설정된 수의 프레임 이미지들을 저장할 수 있는 크기로 구성할 있으며, 상기 셔터렉을 없앨 수 있는 정도의 프레임 크기로 갖도록 설정하면 된다. 일반적으로 셔터렉은 2프레임 전후로 발생될 수 있다. 따라서 상기 버퍼링 프레임은 5프레임 이내로 설정할 수 있다.
이하의 설명에서 풀해상도 이미지라는 용어는 카메라에서 획득되는 이미지를 의미하는 용어로, 이미지 스케일링되지 않은 이미지를 의미한다. 또한 표시이미지라는 용어는 프리뷰모드에서 표시부에 표시되는 이미지 또는 동영상 저장을 위한 이미지로써, 상기 카메라에서 획득되는 이미지를 설정된 크기(또는 해상도)로 스케일링된 이미지를 의미한다. 여기서 상기 표시이미지의 경우, 프리뷰 이미지 및 동영상 이미지의 해상도(크기)가 같을 수 있으며, 또한 서로 다른 크기(해상도)를 가질 수 있다. 그리고 캡쳐 이미지라는 용어는 정지 이미지로 저장하기 위한 이미지로써, 상기 카메라에서 획득되는 풀해상도의 이미지 또는 상기 카메라에서 획득된 이미지를 설정된 크기로 스케일링하는 이미지가 될 수 있다. 본 발명의 실시예에서 상기 캡쳐이미지는 상기 카메라의 풀해상도 이미지인 경우를 가정하여 설명될 것이다.
또한 이미지 스케일링이라는 용어는 상기 풀해상도의 이미지를 설정된 크기(또는 해상도)로 조절하는 것을 의미한다. 본 발명의 실시예에서 상기 이미지스케일링은 리사이징 및 가산 및 평균 방법으로 구현할 수 있다. 여기서 상기 리사이징은 이미지를 데시메이션, 인터폴레이션 및 크롭하여 이미지 크기를 조절하는 방법을 의미하며, 가산 및 평균화 방법은 인접한 화소들을 하나의 화소로 생성하여 화소수를 조절하는 방법을 의미한다.
도 1은 본 발명의 실시예에 따른 카메라 장치의 구성을 도시하는 도면이다.
상기 도 1을 참조하면, 카메라110은 카메라 구동시 내부의 센서를 통해 이미지를 획득하는 기능을 수행한다. 상기 카메라110은 광학부, 이미지 센서 및 신호처리부 등을 구비한다. 상기 광학부는 mecha-shutter, 모터 및 액츄에이터에 의해 구동되며, 상기 액츄에이터에 의해 주밍(zooming) 및 포커싱(focusing) 등의 동작을 수행한다. 상기 광학부는 주변의 이미지를 촬상하며, 이미지센서는 상기 광학부에 의해 촬상되는 이미지를 감지하여 전기적인 신호로 변환한다. 여기서 상기 이미지 센서은 CMOS 또는 CCD센서가 될 수 있으며, 고해상도의 이미지 센서가 될 수 있다. 카메라의 이미지 센서는 global shutter를 내장할 수도 있다. 상기 Global shutter는 센서에 내장된 메카셔터와 유사한 기능을 수행한다. 그리고 카메라110은 viewfinder가 구비할 수도 있다.
본 발명의 실시예에서 상기 이미지 센서는 UHD(Ultra High Definition)급 이상의 이미지를 감지할 수 있는 센서가 될 수 있다. 그리고 상기 이미지센서220에서 감지되는 이미지는 신호처리부에에서 통해 디지털 이미지로 변환되어 출력된다. 상기 카메라110에서 출력데이터는 Bayer data(raw data)가 될 수 있다.
본 발명의 실시예에 따른 이미지처리부200은 제어부, 전처리부, 표시이미지처리부(preview/movie ISP) 및 캡쳐 이미지처리부(still capture image ISP)로 구성될 수 있다.
전처리부210은 상기 카메라110으로부터 획득되는 이미지를 전처리하는 기능을 수행한다. 여기서 상기 전처리 기능은 3A(AWB(auto white balance), AE(auto exposure), AF(Auto focusing)) 추출 및 처리, 렌즈 셰이딩 보상(lens shading correction), 데드픽셀 보정(dead pixel correction), knee 보정 등이 될 수 있다.
상기 전처리된 이미지 데이터는 각각 표시 이미지처리부(preview/movie ISP) 및 캡쳐 이미지처리부(still capture image ISP)에 각각 인가된다.
표시 이미지처리부(preview/movie ISP)의 구성을 살펴보면, 이미지스케일러(image scaler)220은 상기 전처리부210에서 출력되는 카메라110의 풀해상도 이미지를 표시부130에 표시하기 위한 크기의 이미지 및/또는 동영상 저장을 위한 이미지 크기로 조절하는 기능을 수행한다. 후처리부230은 상기 이미지 스케일링된 베이어 데이터를 색보간(color interpolation) 및 잡음제거, 색보정등을 처리하고, 색변환(image conversion)하여 YUV 데이터를 생성한다. 상기 후처리부230에서 출력되는 이미지는 표시부130에 표시되는 화면 크기로 스케일링된 YUV 데이터가 된다.
또한 상기 표시이미지는 동영상 저장 이미지로 사용될 수 있다. 이런 경우, 동영상 촬영 요구가 발생되면, 동영상 코덱270은 상기 표시이미지를 부호화하여 저장부120에 저장한다. 여기서 상기 표시이미지는 프리뷰모드의 표시이미지와 동일한 크기를 가질 수 있다. 또한 상기 동영상이미지는 상기 프리뷰 표시이미지보다 더 큰 화소들로 구성되는 표시이미지가 될 수 있다. 이런 경우, 상기 이미지스케일러220은 프리뷰모드시의 이미지 스케일러와 동영상 모드의 스케일러로 구성하거나, 또는 모드 제어에 따라 스케일링 비율을 다르게 설정할 수도 있도록 구성하여야 한다. 그리고 동영상 저장이 요구되면, 제어부100은 이미지스케일러220을 제어하여 동영상 표시이미지의 크기로 스케일링되도록 제어하며, 이에 따라 이미지 스케일러220은 상기 전처리부210에서 출력되는 풀 해상도의 이미지를 동영상 표시 이미지 크기로 스케일링한다. 여기서 상기 동영상 부호화는 H.264 등 다양한 형태로 수행할 수 있다.
상기 캡쳐 이미지처리부의 구성을 살펴보면, 버퍼240은 상기 전처리부210에서 출력되는 카메라110의 풀해상도 이미지를 버퍼링한다. 여기서 상기 버퍼240은 카메라장치의 셔터렉을 보상할 수 있는 정도의 프레임 이미지들을 저장할 수 있는 크기로 설정될 수 있으며, 본 발명의 실시예에서는 5프레임 이하의 이미지들을 저장할 수 있는 크기로 구성할 수 있으며, 링버퍼(ring buffer) 구조를 가질 수 있다. 상기 버퍼240은 매프레임에서 상기 전처리부210에서 출력되는 풀해상도 이미지를 버퍼링하며, 캡쳐 요구시 상기 제어부100의 제어에 의해 선택되는 버퍼의 이미지가 억세스된다. 후처리부250은 상기 버퍼240에서 선택되는 풀해상도 이미지를 색보간 및 잡음제거, 색보정등을 처리하고, 색변환하여 YUV 데이터로 생성한다. 정지영상 코덱260은 상기 후처리부250에서 출력되는 풀해상도 이미지를 압축 부호화한다.
제어부100은 입력부140을 통해 입력되는 제어명령에 따라 카메라장치의 동작을 제어한다. 상기 입력부140을 통해 카메라 구동명령이 발생되면, 상기 카메라110 및 이미지처리부200을 제어하여 프리뷰 모드의 동작을 수행한다. 그리고 입력부140을 통해 캡쳐 요구가 발생되면, 캡쳐요구가 발생된 시점의 풀해상도 이미지를 상기 버퍼240에 선택하며, 상기 선택된 풀해상도 이미지를 부호화하여 저장부120에 저장한다.
저장부120은 카메라장치에서 촬영되는 이미지들을 저장하는 메모리로써, 본 발명의 실시예에서는 정지이미지를 저장하는 것을 예로들어 설명될 것이지만, 동영상 이미지들도 저장할 수 있다. 표시부130은 LCD 또는 LED 등과 같은 표시장치가 될 수 있으며, 카메라장치에서 촬영되는 이미지들 및 촬영중의 정보들을 표시하는 기능을 수행한다. 상기 입력부140은 카메라장치의 각 기능들의 설정 및 동작을 수행하기 위한 명령어들을 발생하는 버튼들로 구성될 수 있다. 여기서 상기 입력부140의 버튼은 카메라장치의 외부에 버튼 형태로 설정될 수 있으며, 일부 버튼들은 터치패널로 구성할 수도 있다. 이런 경우, 상기 표시부130 및 입력부140의 일부 버튼들은 터치스크린 형태로 구성할 수 있다.
상기와 같은 구성을 가지는 카메라장치의 동작을 살펴보면, 사용자가 입력부140를 통해 카메라 구동명령을 발생하면, 제어부100은 카메라110을 구동한다. 그리고 상기 카메라110에서 출력되는 이미지는 카메라110에서 획득되는 풀해상도의 베이어 이미지가 될 수 있으며, 상기 이미지는 전처리부2100에 입력된다. 또한 전처리부210은 상기 제어부100의 제어하에 매 프레임 주기의 프레임 이미지를 생성한다. 여기서 상기 프레임율은 30fps(frame per sec) 또는 그 이상의 프레임율(예를들면 60fps)을 가질 수 있다. 상기 전처리부210은 상기 프레임이미지에 3A (AWB(auto white balance), AE(auto exposure), AF(Auto focusing))를 추출하여 처리하고, 렌즈 셰이딩 보상, 데드 픽셀, knee 보정 등을 수행한다. 상기와 같이 전처리된 이미지는 풀해상도 이미지로써, 각각 이미지스케일러220 및 버퍼240에 인가된다.
상기 이미지스케일러220은 입력되는 풀 해상도 이미지를 표시부130에 표시하기 위한 크기로 스케일링한다. 여기서 상기 이미지 스케일링은 리사이즈(resize), 데시메이션(decimation), 인터폴레이션(interpolation), 크롭(crop), 가산 및 평균 등의 다양한 방법들 중에 한 가지 이상의 방법을 사용하여 구현할 수 있다. 상기 이미지 스케일링은 카메라110에서 획득되는 풀 해상도 이미지의 화소수를 줄여 표시부130에 표시할 수 있는 적정 크기로 스케일링하며, 또한 표시부130의 화면비에 맞도록 상기 이미지를 스케일링할 수 있다. 여기서 상기 이미지스케일링은 다양한 비율로 스케일링할 수 있으며, 본 발명의 실시예에서는 4:1의 비율로 스케일링할 수 있다. 이런 경우, 상기 카메라110에서 8Mbyte의 이미지를 획득하는 경우, 상기 이미지스케일러220은 2Mbyte의 표시이미지 크기로 스케일링할 수 있다.
상기와 같이 스케일링된 이미지는 후처리부230에서 후처리된다. 상기 후처리과정에서는 컬러 인터폴레이션, 노이즈 보정(noise reduction), 감마 보정 및 색변환 등의 기능을 수행할 수 있다. 즉, 상기 컬러인터폴레이션 동작을 수행하여 각 화소 데이터를 RGB 성분을 포함하는 데이터로 생성하고, 컬러 인터폴레이션된 각 화소데이타들의 노이즈 등을 보정한 후, 이를 다시 YUV 데이터로 변환하는 기능을 수행한다. 상기와 같이 후처리된 표시 이미지는 표시부130을 통해 표시된다.
그리고 상기 버퍼240은 매 프레임 주기에서 상기 전처리부210에서 출력되는 풀해상도 이미지를 버퍼링한다. 이때 버퍼240은 상기한 바와 같이 링버퍼 구조를 가지며, 설정된 수의 프레임 이미지들을 버퍼링할 수 있다. 즉 버퍼240은 N 프레임의 이미지 데이터를 저장할 수 있는 N개의 링버퍼 구조를 가지며, 매 프레임마다 전처리부210에서 출력되는 프레임 이미지 데이터를 버퍼링한다. 즉, 매프레임에서 생성되는 프레임 이미지 데이터들은 버퍼240의 첫번째 버퍼에서부터 순차적으로 버퍼링되며, 마지막 버퍼에 까지 프레임 이미지 데이터가 버퍼링되면 상기 제어부100은 다시 첫번째 버퍼에 전처리부210에서 출력되는 프레임 이미지데이터를 오버라이트한다. 여기서 상기 N은 5 이하가 될 수 있으며, 이런 경우 상기 버퍼240의 링버퍼는 5 프레임 이하의 이미지 데이터를 저장할 수 있는 구조로 구성하면된다. 예를들어 셔터 지연(셔터렉)이 2 프레임이라고 가정하면, 상기 버퍼260은 3프레임 이미지( N=3)를 저장할 수 있는 링버퍼로 구성하면 된다. 이때 프리뷰 모드에서 상기 제어부100은 상기 버퍼240을 제어하면서 매 프레임 주기에서 생성되는 고 해상도의 프레임 이미지들을 버퍼링하지만, 후처리부250 및 정지영상 코덱260은 구동하지 않는다.
본 발명의 실시예에 따른 카메라장치는 프리뷰 모드에서 전처리부210, 이미지스케일러220 및 후처리부230이 구동되어 상기 카메라110에서 획득되는 매 프레임 이미지를 표시부130에 표시하기 위한 이미지로 처리하는 동작을 수행하며, 상기 버퍼240에 풀해상도의 이미지들을 버퍼링한다. 즉, 이미지처리부200은 표시이미지를 생성하여 표시하는 동작을 수행하지만, 이미지를 저장하기 위한 처리 동작은 수행하지 않는다. 이때 상기 표시이미지는 작은 이미지크기로 스케일링된 상태이며, 캡쳐를 위한 고 해상도의 이미지는 버퍼링만 하고 있는 상태이므로, 카메라장치에서 소모되는 전류 및 발열은 크기 않은 상태가 된다.
일반적으로 카메라장치는 셔터 온시 셔터 딜레이에 의해 사용자가 뷰파인더 또는 표시부130으로 확인된 이미지를 캡쳐하지 못하고 일정 프레임 지연된 이미지를 획득하게 된다. 즉, 카메라장치는 셔터 버튼이 눌려질 때 사용자가 셔터를 온시키는 시점에서 실제 카메라장치의 셔터가 동작하기까지의 시간 지연(shutter lag, time lag)이 발생된다. 이런 시간 지연은 카메라장치에 따라 다를 수 있으며, 제어부100은 실험적으로 상기 지연시간을 측정하여 이를 알고 있어야 한다. 본 발명의 실시예에서는 셔터 온 감지시 상기 지연시간을 감안하여 버퍼링된 프레임 이미지들 중에서 대응되는 프레임 프레임이미지를 선택하여 처리하므로써 제로 셔터렉을 구현한다.
상기 프리뷰 모드에서 입력부140을 통해 캡쳐 요구가 발생되면, 상기 제어부100은 후처리부250 및 정지영상 코덱260을 구동한다. 그리고 상기 제어부100은 상기 셔터 온 시점을 감지하고, 상기 버퍼240에서 버퍼링된 이미지들 중에서 설정된 지연시간을 고려하여 대응되는 프레임 이미지를 억세스한 후, 이를 후처리부250에 인가한다. 그러면 후처리부250은 상기 버퍼240에서 출력되는 프레임 이미지를 후처리(컬러 인터폴레이션, 노이즈 보정, 감마보정, 이미지변환 등)하며, 정지영상 코덱260은 상기 후처리부250에서 출력되는 이미지를 부호화하여 저장부120에 저장한다. 이때 상기 후처리부250에서 출력되는 YUV 이미지가 될 수 있으며, 정지영상 코덱260은 정지이미지 부호기로써 JPEG부호기가 될 수 있다. 본 발명의 실시예에서 상기 정지 이미지는 JPEG(Joint Photographic Expert Group)인 경우를 예로들어 설명하고 있지만, 상기 정지이미지는 다른 정지 부호화 방법(예를들면 TIFF(Tagged-Image File Format))을 사용할 수도 있다. 상기와 같이 압축 부호화된 정지 이미지는 저장부120에 저장된다.
여기서 상기 캡쳐이미지는 상기 카메라110의 풀해상도 이미지를 이용하는 것으로 설명되고 있지만, 필요에 따라 상기 풀해상도 이미지를 스케일링할 수도 있다. 즉, 카메라장치의 사용자는 정지이미지를 캡쳐할 때 풀 해상도 이미지 보다 작은 크기(또는 낮은 해상도)를 가지는 캡쳐할 수도 있다. 이런 경우, 카메라장치의 사용자는 캡쳐 이미지의 크기(또는 화소수)를 작게하여 촬영할 수도 있다. 본 발명의 실시예에서는 풀해상도 이미지를 버퍼링하는 버퍼를 구비하여 풀해상도 이미지를 캡쳐하는 구성을 도시하고 있지만, 상기 버퍼240의 뒷단에 상기 이미지스케일러220과 다른 이미지스케일러를 더 구비하고 상기 버퍼240의 출력을 더 구비된 이미지스케일러에 전달하는 구성으로 캡쳐이미지 처리부를 구성할 수 있다. 이런 경우, 사용자가 입력부140을 통해 이미지의 크기(또는 화소수)를 지정하는 캡쳐 요구 명령을 발생하면, 제어부100은 상기 버퍼240의 출력을 뒷단에 위치되는 이미지스케일러(이미지스케일러220과 다른)에 전달되도록 하고, 상기 이미지스케일러를 제어하여 풀해상도의 이미지를 사용자가 원하는 이미지 크기(또는 해상도)로 스케일링한 후 후처리하도록 구성할 수도 있다. 이하 설명되는 본 발명의 실시예에서는 상기 캡쳐 이미지가 풀해상도 이미지인 경우를 가정하여 설명하기로 한다.
상기와 같이 프리뷰모드를 수행하는 상태에서 캡쳐요구가 발생되면, 본 발명의 실시예에 따른 카메라장치는 제로 셔터렉을 구현하기 위하여 셔터 온 시점에 대응되는 프레임의 이미지를 상기 버퍼240에서 억세스하며, 상기 억세스된 이미지를 후처리 및 부호화하여 저장한다. 이때 표시이미지를 생성하는 전처리부210, 이미지스케일러220 및 후처리부230은 프리뷰 모드에서의 동작과 동일한 동작을 수행하며, 이렇게 생성되는 표시이미지는 표시부130을 통해 표시된다.
상기한 바와 같이 본 발명의 실시예에 따른 카메라장치는 제로 셔터렉을 구현할 수 있다. 카메라장치에서 셔터 온시 카메라110에서 획득되는 이미지는 지연시간(shutter lag, time lag, shutter delay)에 의해 사용자가 원하는 캡쳐 이미지 이후에 획득되는 프레임 이미지가 된다. 즉, 캡쳐할 이미지는 상기 카메라110에서 획득되는 프레임 이미지의 이전 프레임이 된다. 따라서 셔터 지연을 해소(zero shutter lag)하기 위하여, 본 발명의 실시예에서는 캡쳐 요구시 버퍼240에 버퍼링하고 있는 이전 프레임의 이미지를 선택하여 캡쳐이미지로 처리한다.
또한 사용자에 의해 캡쳐 요구 발생시, 캡쳐할 사진이 정상적으로 촬영되지 않은 사진일 수 있다. 예를들면 인물 사진을 촬영한 경우, 인물이 눈을 감거나 흔들린 사진이 촬영될 수 있다. 이런 경우 사용자는 다른 프레임의 이미지를 캡쳐하는 것이 바람직하다. 본 발명의 실시예에 따른 카메라장치는 버퍼240에서 설정된 수의 프레임 이미지들을 버퍼링하고 있으므로, 필요시 버퍼링된 이미지들 중에서 다른 프레임 이미지를 선택할 수도 있다. 즉, 본 발명의 실시예에 따른 카메라장치는 복수 프레임 이미지들을 버퍼링하고 있으므로, 촬영된 이미지가 맘에 들지 않는 경우 다른 프레임 이미지로 대체할 수 있는 이점이 있다.
또한 사용자가 연속 촬영(연사모드, burst shot mode)을 요구하면, 상기 제어부100은 연사 촬영을 요구한 시점에서 버퍼링된 프레임 이미지들을 연속적으로 억세스하며, 상기 후처리부250은 상기 연속 억세스되는 프레임이미지들을 처리하고 정지영상코덱260은 이를 연속 부호화하여 상기 저장부120에 저장할 수 있다. 즉, 연속촬영 모드시 상기 카메라110에서 촬영되는 풀해상도의 이미지들은 매 프레임 주기에서 상기 버퍼240에 버퍼링되며, 상기 제어부100은 상기 버퍼링되는 풀 해상도 이미지들을 연속적으로 억세스하여 이미지 처리 및 부호화시켜 저장할 수 있다.
상기와 같은 상태에서, 입력부140을 통해 정지 이미지 재생이 요구되면, 상기 제어부100은 저장부120에서 요구된 정지이미지를 억세스하며, 정지영상코덱260은 상기 억세스되는 정지이미지를 복호하여 상기 표시부130에 표시한다. 또한 입력부140을 통해 동영상 재생이 요구되면, 상기 제어부100은 저장부120에서 요구된 동영상을 억세스하여 동영상코덱270에 인가하며, 동영상코덱270은 해당 동영상을 복호하여 표시부130을 통해 표시한다.
도 2는 상기 도 1에서 본 발명의 실시예에 따른 이미지처리부200의 구성을 도시하는 도면이다. 상기 도 2은 상기 이미지스케일러220을 리사이저(resize)310으로 구성한 예를 도시하는 도면이다.
상기 도 2를 참조하면, 전처리부210은 상기 카메라110으로부터 획득되는 풀해상도 이미지를 전처리한다. 리사이저310은 상기 전처리부210에서 출력되는 풀해상도 이미지를 상기 표시부130에 표시하기 위한 이미지의 용량 및 크기로 리사이징한다. 이때 리사이징은 데시메이션에서 의해 수행될 수 있으며, 또한 표시부130의 화면비에 맞도록 인터폴레이션 및 데시메이션을 수행할 수도 있다. 상기 리사이저310에서 이미지 스케일링된 표시이미지는 후처리부230에 인가한다.
상기 후처리부230은 색보간기(color interpolator)231, IPC(image processing chain)233, 색변환부(image converter)235로 구성될 수 있다. 먼저 상기 색보간기231은 상기 카메라110에서 출력되는 이미지(Bayer data)를 컬러 이미지로 변환하는 색 보간 기능을 수행한다. 상기한 바와 같이 카메라110의 이미지센서는 CCD 또는 CMOS 이미지센서가 될 수 있다. 이때 상기 CCD/CMOS 이미지 센서는 컬러필터 배열(color filter array)를 사용하며, 이로인해 각 화소 센서들은 컬러 이미지를 만들기 위한 3가지 색 채널들 중에서 한가지 채널만 가지게 된다. 색보간(color interpolation)은 카메라110에서 출력되는 이미지를의 화소들이 3가지 색상의 RGB를 포함하는 색으로 변환(full color 변환)하는 기능을 수행한다. 상기 색보간기231은 인접한 화소들 간의 상관관계를 이용하여 색보간 기능을 수행한다. 일반적으로 이미지처리장치에서 색보간 이전의 이미지처리를 전처리라 칭하고 색보간 이후의 이미지처리를 후처리라 칭한다. 두번째로 IPC233은 상기 색보간된 이미지들의 노이즈 감소(noise reduction), 감마 보정(gramma correction), 휘도 보정(luminence correction) 등을 수행한다. 세번째로 색변환부235는 상기 후처리된 이미지를 YUV 이미지로 변환한다. 즉, 상기 후처리부230은 리사이징되어 스케일링된 이미지를 색보간, 후처리한 후 YUV 이미지로 변환하는 기능을 수행한다.
그리고 상기와 같이 후처리된 YUV 이미지는 표시부130에서 인가되어 프리뷰 이미지로 표시된다.
또한 상기 전처리부210에서 출력되는 풀해상도의 이미지는 버퍼240에 인가되어 버퍼링된다. 이때 버퍼240은 링버퍼 구조를 가지며, 이로인해 버퍼링되는 프레임 이미지는 설정된 프레임 수 동안 유지되며, 해당 프레임 수가 초과되면 해당 버퍼에 입력되는 다른 프레임 이미지가 오버라이트된다. 그리고 프리뷰 상태에서 후처리부250 및 정지영상코덱260은 구동되지 않으며, 따라서 프리뷰 모드에서의 동작 전원을 절약할 수 있게 된다.
상기 프리뷰 모드를 수행하는 중에 입력부140을 통해 캡쳐 요구가 발생되면, 상기 제어부100은 셔터렉을 감안하여 상기 버퍼240에 버퍼링된 프레임 이미지들 중에서 미리 설정된 프레임 이미지를 억세스한다. 즉, 상기 제어부100은 셔터렉의 프레임 주기(즉, 셔터 지연 시간)을 알고 있으며, 이는 상기한 바와 같이 셔터 온 시점에서 소정 수의 프레임 주기(즉, 프레임 수)를 가질 수 있다. 본 발명의 실시예에서는 상기 셔터렉이 2 프레임(또는 3프레임) 주기를 갖는다고 가정한다. 이런 경우, 캡쳐 요구가 발생되면, 상기 제어부100은 상기 버퍼240에서 2프레임(또는 3프레임) 전에 수신되어 버퍼링된 프레임 이미지를 억세스하며, 상기 억세스된 프레임 이미지를 후처리부250에 전달한다. 따라서 상기 후처리부250에 전달되는 캡쳐 이미지는 셔터렉이 보상된 이미지 (zero shutter lag image)가 된다.
상기 후처리부250은 상기 후처리부230과 동일한 구성을 가지며, 그 크기는 다른 구성을 가진다. 즉, 상기 후처리부230은 표시이미지 크기(예를들면 풀해상도 이미지의 1/4 크기(또는 해상도)를 가지는 이미지)로 구성되며, 상기 후처리부250은 풀해상도 이미지 크기로 구성되어야 한다. 상기 후처리부250은 풀해상도의 이미지를 색보간 및 IPC 처리하고, 이를 YUV 이미지로 변환한다. 그리고 상기 변환된 YUV 이미지는 정지영상코덱260에서 압축 부호화되며, 상기 부호화된 캡쳐이미지는 저장부120에 저장된다. 여기서 상기 부호화된 캡쳐 이미지는 JPEG 이미지가 될 수 있다.
도 3은 상기 도 1에서 본 발명의 실시예에 따른 이미지처리부200의 다른 구성을 도시하는 도면이다. 상기 도 3은 상기 이미지스케일러220을 평균화부320으로 구성한 예를 도시하는 도면이다. 그리고 도 4a 및 도 4b는 상기 평균화부320의 동작을 설명하기 위한 도면이다.
상기 도 3 - 도 4b를 참조하면, 전처리부210은 상기 카메라110으로부터 획득되는 풀해상도 이미지를 전처리한다. 평균화부320은 전처리부210에서 출력되는 풀해상도 이미지의 인접 화소들을 평균화하여 표시이미지의 화소수를 감축한다. 여기서 상기 평균화부320은 의사-Foveon(psudo-Foveon) 방법을 사용하여 신호대 잡음 및 해상도 향상을 이룰 수 있다. 상기 카메라110에서 출력되는 이미지의 화소들은 도 4a와 같은 구조를 가진다. 상기 도 4a의 구성에서 인접한 4개의 화소들을 살펴보면 한 개의 R 화소, 한 개의 B 화소 및 2개의 G 화소들로 구성됨을 알 수 있다.
따라서 4개의 화소들을 한 개의 화소로 평균화하면 4:1 화소로 이미지 스케일링할 수 있음을 알 수 있다. 상기 평균화부(summing average)320은 4개의 화소들을 가산 및 평균화하여 1개의 화소들을 생성한다. 이를 위하여 본 발명의 실시예에서는 두개의 G화소들을 가산한 후 이를 평균값을 구하여 하나의 G화소를 생성하고, 평균화된 G, R 및 B 화소들을 하나의 화소로 생성한다. 예를들어 도 4a에서 G11, B12, R21 및 G22 화소들을 하나의 화소로 생성하는 경우, R=R21, B=B12, G=(G11+G22)/2로 하여 RGB 값을 가지는 하나의 화소로 생성한다. 상기와 같이 평균화 동작을 수행하면 4개의 화소가 도 4b와 같이 하나의 화소로 생성되며, 또한 색보간 동작도 함께 수행된다. 상기와 같은 방법으로 도 4a와 같은 구성을 가지는 16개의 화소들을 평균화하면 도 4b와 같이 4개의 화소들로 스케일링되며, 이때 상기 화소들은 색보간 동작도 함께 이루어진다.
상기와 같이 평균화부320에서 이미지 스케일링된 화소들은 후처리부230에 인가되며, 상기 후처리부230에서 색보간, IPC 처리 및 이미지 변환되어 YUV 이미지로 생성된다. 이때 상기 도 3과 같은 평균화부320을 이용하여 이미지 스케일링 동작을 수행하는 경우, 후처리230에서 색보간기231은 각 화소 데이터들을 풀칼러(full color)로 변환하는 동작을 생략하고 다른 기능의 색보간 기능만을 수행하면 된다. 상기 색보간을 제외한 상기 후처리부230의 동작은 상기 도 2에서의 동작과 동일한 과정으로 수행된다.
그리고 상기와 같이 후처리된 YUV 이미지는 표시부130에서 인가되어 프리뷰 이미지로 표시된다.
또한 상기 전처리부210에서 출력되는 풀해상도의 이미지는 버퍼240에 인가되어 버퍼링된다. 그리고 프리뷰 상태에서 후처리부250 및 정지영상코덱260은 구동되지 않으며, 따라서 프리뷰 모드에서의 동작 전원을 절약할 수 있게 된다.
상기 프리뷰 모드를 수행하는 중에 입력부140을 통해 캡쳐 요구가 발생되면, 상기 제어부100은 셔터렉을 고려하여 상기 버퍼240에 버퍼링된 프레임 이미지들 중에서 셔터지연을 보상하는 프레임이미지를 억세스하며, 상기 억세스된 프레임 이미지를 후처리 및 부호화하여 부호화된 캡쳐 이미지를 생성한 후, 이를 저장한다. 상기 캡쳐 이미지처리부의 동작은 상기 도 2에서의 동작과 동일하게 수행된다.
도 5는 상기 도 1에서 본 발명의 실시예에 따른 이미지처리부200의 또 다른 구성을 도시하는 도면이다. 상기 도 5는 상기 이미지스케일러220이 리사이저310 및 평균화부320을 모두 구성한 예를 도시하는 도면이다.
상기 도 5를 참조하면, 전처리부210은 상기 카메라110으로부터 획득되는 풀해상도 이미지를 전처리한다. 그리고 상기 전처리된 이미지는 각각 리사이저310 및 평균화부320에 인가된다.
상기 도 5에서 이미지스케일러220은 전처리된 카메라110의 풀해상도 이미지를 리사이징하여 표시이미지 크기로 변환하는 리사이저310과, 상기 전처리된 카메라110의 풀해상도 이미지의 화소들을 가산 및 평균화하여 표시 이미지의 화소수로 변환하는 평균화부320과, 상기 리사이저3100 및 평균화부320의 출력을 선택하여 후처리부230에 전달하는 선택부로 구성될 수 있다.
여기서 상기 리사이저310은 상기 전처리부210에서 출력되는 풀해상도 이미지를 상기 표시부130에 표시하기 위한 이미지의 용량 및 크기로 리사이징한다. 이때 리사이징은 데시메이션에서 의해 수행될 수 있으며, 또한 표시부130의 화면비에 맞도록 인터폴레이션 및 데시메이션을 수행할 수도 있다. 또한 상기 평균화부(summing average)320은 인접한 화소들을 가산 및 평균화하여 화소수를 줄이는 스케일링 동작을 수행한다. 본 발명의 실시예에서 상기 평균화부320은 4개의 화소들을 하나의 화소로 생성하는 경우를 가정하며, 이런경우 상기 평균화부320은 인접한 4개의 화소들에서 두개의 G화소들을 가산한 후 이를 평균값을 구하여 하나의 G화소를 생성하고, 평균화된 G, R 및 B 화소들을 하나의 화소로 생성한다. 그리고 상기와 같은 리사이저310 및 평균화부320의 출력은 선택부330으로 인가되며, 상기 선택부330은 상기 제어부100의 제어에 의해 상기 리사이저310 또는 평균화부320의 출력을 선택하여 후처리부230에 인가한다.
그러면 상기 후처리부230은 상기 이미지 스케일러310에서 표시이미지 크기(또는 화소수)로 스케일링된 이미지를 색보간, IPC 처리 및 이미지 변환 동작을 수행하며, 상기 후처리 동작에 의해 생성되는 YUV 표시이미지를 표시부130에 출력한다.
또한 상기 전처리부210에서 출력되는 풀해상도의 이미지는 버퍼240에 인가되어 버퍼링된다. 그리고 프리뷰 상태에서 후처리부250 및 정지영상코덱260은 구동되지 않으며, 따라서 프리뷰 모드에서의 소모전력을 절약할 수 있게 된다.
상기 프리뷰 모드를 수행하는 중에 입력부140을 통해 캡쳐 요구가 발생되면, 상기 제어부100은 셔터렉을 고려하여 상기 버퍼240에 버퍼링된 프레임 이미지들 중에서 셔터지연을 보상하는 프레임이미지를 억세스하며, 상기 억세스된 프레임 이미지를 후처리 및 부호화하여 부호화된 캡쳐 이미지를 생성한 후, 이를 저장한다. 상기 캡쳐 이미지처리부의 동작은 상기 도 2 및 도 3에서의 동작과 동일하게 수행된다
이때 상기 도 5와 같은 구성을 이미지 처리장치의 경우, 사용자는 입력부140을 통해 원하는 종류의 이미지스케일러220을 선택할 수 있다. 이때 사용자가 리사이저310을 선택하면, 상기 제어부100은 상기 선택부330을 제어하여 상기 리사이저310의 출력을 선택하고 리사이저310의 구동을 온시킨다. 또한 상기 사용자가 평균화부320을 선택하면, 상기 제어부100은 상기 선택부330을 제어하여 상기 평균화부320의 출력을 선택하고 상기 평균화부320의 구동을 온시킨다. 이때 상기 선택되지 않은 이미지스케일러(평균화부320 또는 리사이저310)의 구동은 오프시킬 수 있다.
또한 상기 도 5의 구성에서 전처리부210과 리사이저310 및 평균화부320의 사이에 선택부를 연결하고, 사용자의 선택에 따라 전처리부210의 출력을 해당 이미지스케일러220 (리사이저310 또는 평균화부320)에 전달되도록 제어할 수도 있다. 또한 상기 도 5의 구성에서, 이미지스케일러220을 구성할 때 선택부 330을 제거하고 리사이저310(또는 평균화부320)의 출력단에 평균화부320(또는 리사이저 310)을 연결하여 상기 카메라110의 풀해상도 이미지를 리사이징 및 평균화하여 스케일링하는 방법을 사용할 수도 있다.
도 6은 상기 도 1에서 본 발명의 실시예에 따른 이미지처리부200의 또 다른 구성을 도시하는 도면이다. 상기 도 6은 이미지처리부200에서 캡쳐이미지를 생성할 때 선택적으로 동작주파수를 변화시켜 프레임율을 조정할 수 있는 구성 예를 도시하고 있다. 또 7은 도 6의 이미지처리장치가 선택된 동작클럭에 따라 캡쳐 이미지를 생성하는 예를 설명하기 위한 도면이다.
상기 도 6 및 도 7을 참조하면, 전처리부210은 상기 카메라110으로부터 획득되는 풀해상도 이미지를 전처리한다. 그리고 상기 전처리된 이미지는 이미지스케일러220에 전달되어 표시이미지의 크기 및/또는 화소수로 스케일링된다. 이때 상기 이미지스케일러220은 리사이저310 및/또는 평균화부320으로 구성될 수 있다. 그러면 상기 후처리부230은 상기 이미지 스케일러310에서 표시이미지 크기(또는 화소수)로 스케일링된 이미지를 색보간, IPC 처리 및 이미지 변환 동작을 수행하며, 상기 후처리 동작에 의해 생성되는 YUV 표시이미지를 표시부130에 출력한다. 상기 표시 이미지를 처리하는 구성 및 동작은 상기 도 2 및 도 3에서 설명된 바와 같이 이루어질 수 있다.
그리고 상기 프리뷰 모드를 수행하는 상태에서 상기 전처리부210에서 출력되는 풀해상도의 이미지는 버퍼240에 인가되어 버퍼링된다. 이때 상기 프리뷰 상태에서 후처리부250 및 정지영상코덱260은 구동되지 않으며, 따라서 프리뷰 모드에서의 소모전력을 절약할 수 있게 된다.
여기서 상기 이미지처리부200에서 처리되는 이미지의 프레임율은 30fps 또는 그 이상의 프레임율을 가질 수 있다. 여기서 상기 이미지처리부200의 프레임율이 30fps라고 가정하면, 상기 표시이미지는 1초 당 30 프레임의 이미지로 생성된다. 이때 상기 표시이미지는 상기한 바와 같이 스케일링되지만 상기 캡쳐이미지는 카메라110의 풀 해상도 이미지로 처리된다. 따라서 캡쳐이미지 처리부의 동작은 상기 표시이미지 처리부의 동작에 비해 상대적으로 많은 전류를 소모하게 된다. 상기 캡쳐 이미지처리부는 캡쳐 이미지 요구가 발생되는 경우에 동작하며, 셔터렉 지연시간을 보상하기 위하여 프리뷰 모드 또는 동영상 저장 동작을 수행하는 중에 카메라110의 풀해상도 이미지(또는 이미지스케일러를 구비하는 경우, 사용자에 의해 설정된 크기이의 이미지)를 버퍼링하는 동작을 수행한다. 따라서 상기 캡쳐이미지처리부의 동작 클럭보다 상기 표시이미지처리부의 동작 클럭을 상대적으로 낮은 클럭을 사용하여도 상기 셔터렉 지연시간을 보상할 수 있다.
상기 도 6은 상기 캡쳐이미지처리부의 동작 클럭을 사용자의 선택에 의해 제공하며, 상기 동작클럭은 상기 표시이미지 처리부의 동작클럭과 동일한 고속클럭과 이보다 상대적으로 낮은 저속클럭을 사용하는 예를 도시하고 있다. 여기서 상기 고속클럭은 30fps 프레임율을 처리할 수 있는 클럭이고, 상기 저속클럭은 이보다 낮은 15fps 프레임율을 처리할 수 있는 클럭이라고 가정한다.
클럭발생부는 상기 표시이미지처리부의 동작클럭과 동일한 고속클럭610과, 상기 고속클럭보다 낮은 저속클럭620과, 제어부100의 제어하에 상기 고속클럭610 또는 저속클럭620을 선택하여 상기 캡쳐이미지처리부의 동작 클럭으로 공급한다. 여기서 상기 버퍼240은 상기 표시이미지처리부의 프레임율로 동작한다. 즉, 상기 버퍼240은 이미지처리부200에서 처리되는 프레임율(예를들면 30 fps)로 생성되는 프레임 이미지를 매 프레임 주기에서 버퍼링한다.
먼저 고속클럭610이 선택된 경우를 살펴본다. 그러면 상기 제어부100은 선택기630을 제어하여 상기 고속클럭610을 캡쳐 이미지를 처리하는 버퍼240, 후처리부250 및 정지영상 코덱260에 공급한다. 정지영상 코덱은 클럭 변경없이 사용할 수도 있다. 그리고 상기 캡쳐 요구가 발생되면, 상기 제어부100은 셔터렉을 고려하여 상기 버퍼240에 버퍼링된 프레임 이미지들 중에서 셔터지연을 보상하는 프레임이미지를 억세스하며, 상기 억세스된 프레임 이미지를 후처리 및 부호화하여 부호화된 캡쳐 이미지를 생성한 후, 이를 저장한다. 이때 상기 제어부100은 고속클럭610에 의해 상기 버퍼240에 버퍼링된 프레임 이미지를 리드하며, 따라서 도 7의 710과 같이 매 프레임 주기에서 버퍼링된 프레임 이미지를 리드할 수 있으며, 도 7의 710과 같은 타이밍으로 후처리부250 및 정지영상 코덱260은 상기 고속클럭610에 의해 동작되므로 프레임 구간에서 캡쳐할 이미지를 후처리 및 부호화할 수 있다.
두번째로 저속클럭 620이 선택된 경우를 살펴본다. 이런 경우에도 상기 버퍼240은 매 프레임에서 발생되는 카메라110의 풀해상도 이미지를 버퍼링한다. 즉, 상기 버퍼240은 상기 고속클럭610 또는 저속클럭620의 선택에 상관없이 상기 전처리부210에서 출력되는 매 프레임 이미지를 버퍼링한다. 이때 상기 캡쳐 요구가 발생되면, 상기 제어부100은 저속클럭620에 의해 상기 버퍼240에 버퍼링된 프레임 이미지를 720과 같이 리드한다. 즉, 상기 저속클럭720을 선택하는 경우, 상기 제어부100은 상기 저속클럭620에 의해 상기 버퍼240의 리드 억세스를 수행한다. 상기 도 7의 경우, 상기 저속클럭620은 상기 고속클럭의 1/2 속도를 가지는 클럭을 가정하고 있으며, 따라서 도 7의 720에 도시된 바와 같이 고속클럭의 2 프레임 구간에서 1프레임의 프레임 이미지를 억세스할 수 있다. 그리고 상기 후처리부250 및 정지영상 코덱260에서 저속클럭620이 공급되므로, 도 7의 720과 같은 타이밍으로 후처리부250 및 정지영상 코덱260은 상기 저속클럭620에 의해 동작되어 캡쳐할 이미지를 후처리 및 부호화할 수 있다. 정지영상 코덱은 클럭 변경없이 사용할 수도 있다.
따라서 상기와 같이 저속클럭620을 선택하는 경우, 상기 고속클럭610에 비해 프레임율이 저하되는 캡쳐이미지를 생성하지만, 어느 정도 셔터렉 지연을 보상하는 캡쳐 이미지를 생성할 수 있다. 즉, 상기 셔터렉 지연 시간은 상기 저속클럭의 지연 시간보다 더 큰 시간을 가지므로, 상기 저속클럭에 의해 캡쳐이미지를 생성하는 경우에 셔터렉이 보상(도 7의 경우, 저속클럭이 고속클럭의 1/2 주파수를 가지는 경우, 저속 클럭의 프레임 처리 시간은 상기 고속클럭의 2배 시간을 가지게 되며, 따라서 프레임 이미지 처리시 최대 1프레임이 지연될 수 있음)됨을 알 수 있다.
도 8은 상기 도 1에서 본 발명의 실시예에 따른 이미지처리부200의 또 다른 구성을 도시하는 도면이다. 상기 도 8은 이미지처리부200에서 캡쳐이미지를 생성할 때 프레임 이미지를 분할하여 처리하고, 이후 분할된 이미지들을 결합하여 캡처 이미지로 생성하는 예를 도시하고 있다. 도 9a - 도 9c는 상기 도 8의 이미지처리 동작을 설명하기 위한 도면이다.
상기 도 8 - 도 9c를 참조하면, 전처리부210은 상기 카메라110으로부터 획득되는 풀해상도 이미지를 전처리한다. 그리고 상기 전처리된 이미지는 이미지스케일러220에 전달되어 표시이미지의 크기 및/또는 화소수로 스케일링된다. 이때 상기 이미지스케일러220은 리사이저310 및/또는 평균화부320으로 구성될 수 있다. 그러면 상기 후처리부230은 상기 이미지 스케일러310에서 표시이미지 크기(또는 화소수)로 스케일링된 이미지를 색보간, IPC 처리 및 이미지 변환 동작을 수행하며, 상기 후처리 동작에 의해 생성되는 YUV 표시이미지를 표시부130에 출력한다. 상기 표시 이미지를 처리하는 구성 및 동작은 상기 도 2 및 도 3에서 설명된 바와 같이 이루어질 수 있다.
그리고 상기 프리뷰 모드를 수행하는 상태에서 상기 전처리부210에서 출력되는 풀해상도의 이미지는 버퍼240에 인가되어 버퍼링된다. 이때 상기 프리뷰 상태에서 후처리부250 및 정지영상코덱260은 구동되지 않으며, 따라서 프리뷰 모드에서의 동작 전원을 절약할 수 있게 된다.
상기와 같은 상태에서 캡쳐 요구가 발생되면, 상기 제어부100은 셔터렉을 고려하여 상기 버퍼240에 버퍼링된 프레임 이미지들 중에서 셔터지연을 보상하는 프레임이미지를 선택한다. 이때 상기 선택되는 프레임 이미지는 도 9a와 같은 구성을 가질 수 있다. 상기 도 9a는 프레임 이미지의 한 예로써 m*y 크기를 가지는 프레임 이미지의 구성예이며, m=2n, y=2x인 경우를 가정하고 있다. 상기 도 8은 캡쳐 요구시 상기 버퍼240에 저장된 프레임 이미지를 리드할 때 설정된 블록 크기로 분할하여 리드하고, 상기 분할된 프레임이미지(tiler image)를 후처리한 후, 가산부810에서 상기 분할이미지(tiler image)들을 더하여 하나의 프레임 이미지로 재생성한다. 상기와 같이 프레임 이미지를 분할하여 후처리하는 이유는 상기 후처리부250의 게이트 수를 감소시켜 하드웨어 구성 및 전원 소모를 줄이기 위함이다. 이때 상기 도 9a와 같은 프레임 이미지를 2분할하여 억세스하는 경우, 상기 제어부100은 도 9b의 910 및 920과 같이 리드한다.
먼저 상기 프레임 이미지를 2분할하여 후처리하는 동작을 살펴본다. 상기 도 9a와 같은 크기를 가지는 프레임 이미지를 2분할하는 경우, 상기 2분할된 이미지는 각각 n*y 크기를 가지며, 이때 분할 이미지는 (1)-(n), (n+1)-(m) 라인으로 분할할 수 있다. 그러나 상기 프레임 이미지를 후처리할 때 인접화소를 이용하여 색보간 및 IPC 처리 기능을 수행하므로, 상기 버퍼240에서 프레임 이미지를 분할할 때 상기 도 9b의 910 및 920과 같이 각각 (1)-(n+a), (n-a+1)-(m)으로 분할하며, 후처리부 처리 형식에 따라 a의 값은 달라진다. a은 중복되는 라인의 수이며, 이후 a=1인 경우의 예이다, 상기 제어부100은 상기 도 9b의 910과 같은 분할된 이미지를 리드하여 후처리부250에 인가하며, 상기 후처리부250은 상기와 같은 분할된 이미지를 후처리하여 가산부810에 인가한다. 이후 상기 제어부100은 상기 도 9b의 920과 같은 분할된 이미지를 리드하여 후처리부250에 전달하며, 상기 후처리부250은 전달되는 분할된 이미지를 처리하여 상기 가산부810에 전달한다. 이때 전달되는 분할된 이미지는 후처리시 인접화소의 정보를 이용하기 위하여 인접화소들을 더 포함하고 있으므로(도 9b의 910의 경우에는 n+1 라인의 화소들, 도 9b의 920의 경우에는 n 라인의 화소들), 해당 라인의 화소들을 제거한 후 가산하여야 한다. 따라서 상기 가산부810은 상기 도 9b의 910과 같이 후처리된 분할 이미지들을 수신하는 경우 n+1 라인의 화소들을 제거하고, 또한 상기 도 9b의 920과 같이 후처리된 분할 이미지들을 수신하는 경우 n 라인의 화소들을 제거한 후, 이들 분할된 이미지들을 가산하여 프레임 이미지를 재생성한다. 이후 상기 가산부810에서 출력되는 프레임 이미지는 정지영상코덱260에 인가되어 정지이미지로 압축 부호화되며, 상기 정지영상 코덱260에서 출력되는 이미지는 저장부120에 캡쳐 이미지로 저장된다.
두번째로 상기 프레임 이미지를 4분할하여 후처리하는 동작을 살펴본다. 상기 도 9a와 같은 크기를 가지는 프레임 이미지를 4분할하는 경우, 상기 4분할된 이미지는 각각 n*x 크기를 가지며, 4분할된 분할 이미지들은 {(1)-(n), (1)-(x); {(n+1)-(m), (1)-(x); (1)-(n), (x+1)-(y); {(n+1)-(m), (x+1)-(y)}이 될 수 있다
그러나 상기 프레임 이미지를 후처리할 때 인접화소를 이용하여 색보간 및 IPC 처리 기능을 수행하므로, 상기 버퍼240에서 프레임 이미지를 분할할 때 상기 도 9c의 950-980과 같이 각각 {(1)-(n+1), (1)-(x+1); {(n)-(m), (1)-(x+1); (1)-(n+1), (x)-(y); {(n)-(m), (x)-(y)}로 분할한다. 이후 상기 제어부100은 상기 도 9c의 950과 같은 분할된 이미지를 리드하여 후처리부250에 인가하며, 상기 후처리부250은 상기와 같은 분할된 이미지를 후처리하여 가산부810에 인가한다. 상기와 같은 방법으로 상기 제어부100은 상기 도 9c의 960 - 980과 같은 분할된 이미지를 순차적으로 리드하여 후처리부250에 전달하며, 상기 후처리부250은 순차적으로 전달되는 분할된 이미지를 처리하여 상기 가산부810에 전달한다. 이때 전달되는 분할된 이미지는 후처리시 인접화소의 정보를 이용하기 위하여 인접화소들을 더 포함하고 있으므로(도 9b의 950의 경우에는 n+1, x+1, 라인의 화소들, 960의 경우에는 n, x+1 라인의 화소들, 970의 경우 n, x+1 라인의 화소들, 980의 경우 n, x라인의 화소들), 해당 라인의 화소들을 제거한 후 가산하여야 한다. 따라서 상기 가산부810은 상기 도 9c의 950-980과 같은 후처리된 분할 이미지들을 수신하는 경우 해당 분할이미지 영역의 인접화소 라인들의 화소들을 제거한 후, 이들 분할된 이미지들을 가산하여 프레임 이미지를 재생성한다. 이후 상기 가산부810에서 출력되는 프레임 이미지는 정지영상코덱260에 인가되어 정지이미지로 압축 부호화되며, 상기 정지영상 코덱260에서 출력되는 이미지는 저장부120에 캡쳐 이미지로 저장된다.
상기한 바와 같이 도 9b와 같이 프레임 이미지를 2분할하여 처리하는 경우에는 상기 후처리부250은 1/2 크기 프레임의 이미지들을 처리하면 되며, 도 9c와 같이 프레임 이미지를 4분할하여 처리하는 경우에는 상기 후처리부250은 1/4 크기 프레임의 이미지들을 처리하면 된다. 따라서 카메라110의 풀해상도 이미지를 설정된 크기로 분할하여 처리하므로, 상기 캡쳐이미지처리부의 후처리부250의 로직 게이트 수를 대폭 줄일 수 있으며, 이로인해 전력소모도 줄일 수 있게 된다.
도 10은 상기 도 1에서 본 발명의 실시예에 따른 이미지처리부200의 또 다른 구성을 도시하는 도면이다. 상기 도 10은 이미지처리부200에서 캡쳐이미지를 생성할 때 선택적으로 프레임율을 조정하며, 캡쳐이미지를 생성할 때 프레임 이미지를 분할하여 처리하고, 이후 분할된 이미지들을 결합하여 캡처 이미지로 생성하는 예를 도시하고 있다.
상기 도 10을 참조하면, 전처리부210은 상기 카메라110으로부터 획득되는 풀해상도 이미지를 전처리한다. 그리고 상기 전처리된 이미지는 이미지스케일러220에 전달되어 표시이미지의 크기 및/또는 화소수로 스케일링된다. 이때 상기 이미지스케일러220은 리사이저310 및/또는 평균화부320으로 구성될 수 있다. 그러면 상기 후처리부230은 상기 이미지 스케일러310에서 표시이미지 크기(또는 화소수)로 스케일링된 이미지를 색보간, IPC 처리 및 이미지 변환 동작을 수행하며, 상기 후처리 동작에 의해 생성되는 YUV 표시이미지를 표시부130에 출력한다. 상기 표시 이미지를 처리하는 구성 및 동작은 상기 도 2 및 도 3에서 설명된 바와 같이 이루어질 수 있다.
그리고 상기 프리뷰 모드를 수행하는 상태에서 상기 전처리부210에서 출력되는 풀해상도의 이미지는 버퍼240에 인가되어 버퍼링된다. 이때 상기 프리뷰 상태에서 후처리부250 및 정지영상코덱260은 구동되지 않으며, 따라서 프리뷰 모드에서의 동작 소모전력을 절약할 수 있게 된다.
클럭발생부는 상기 표시이미지처리부의 동작클럭과 동일한 고속클럭610과, 상기 고속클럭보다 낮은 저속클럭620과, 제어부100의 제어하에 상기 고속클럭610 또는 저속클럭620을 선택하여 상기 캡쳐이미지처리부의 동작 클럭으로 공급한다. 여기서 상기 버퍼240은 상기 표시이미지처리부의 프레임율로 동작한다. 즉, 상기 버퍼240은 이미지처리부200에서 처리되는 프레임율(예를들면 30 fps)로 생성되는 프레임 이미지를 매 프레임 주기에서 버퍼링한다. 그리고 상기 캡쳐이미지처리부의 동작 클럭을 사용자의 선택에 의해 제공하며, 상기 동작클럭은 상기 표시이미지 처리부의 동작클럭과 동일한 고속클럭과 이보다 상대적으로 낮은 저속클럭을 사용할 수 있다. 여기서 상기 도 7에 도시된 바와 같이 상기 고속클럭은 30fps 프레임율을 처리할 수 있는 클럭이고, 상기 저속클럭은 이보다 낮은 15fps 프레임율을 처리할 수 있는 클럭이 될 수 있다.
상기와 같은 상태에서 캡쳐 요구가 발생되면, 상기 제어부100은 셔터렉을 고려하여 상기 버퍼240에 버퍼링된 프레임 이미지들 중에서 셔터지연을 보상하는 프레임이미지를 선택한다. 이때 상기 선택되는 프레임 이미지는 도 9a와 같은 구성을 가질 수 있다. 또한 상기 캡쳐 요구시 상기 제어부100은 버퍼240에 저장된 프레임 이미지를 리드할 때 설정된 블록 크기로 분할하여 리드하며, 상기 버퍼240에서 출력되는 분할 이미지는 후처리부250에서 후처리된 후, 가산부810에서 상기 분할이미지(tiler image)들이 가산되어 하나의 프레임 이미지로 재생성된다. 그리고 상기와 같이 가산부810에서 가산되어 생성되는 프레임 이미지는 정지영상 코덱260에서 부호화된 후 저장부120에 캡쳐 이미지로 저장된다.
상기와 같이 캡쳐 이미지 처리시 상기 표시이미지처리부와 다른 저속의 클럭을 사용하므로써 제로 셔터렉을 구현하면서 전류 소모를 줄일 수 있고, 또한 프레임 이미지를 분할하여 처리하므로써 캡처 이미지처리부의 후처리부250의 게이트 수를 감소시켜 하드웨어 구성 및 소모전력를 줄일 수 있다.
도 11은 본 발명의 다른 실시예에 따른 카메라 장치의 구성을 도시하는 도면이다.
상기 도 11을 참조하면, 카메라110은 카메라 구동시 내부의 센서를 통해 이미지를 획득하는 기능을 수행한다. 상기 카메라110은 광학부, 이미지 센서 및 신호처리부 등을 구비한다. 사이 카메라110의 구성 및 동작은 상기 도 1에서 설명된 바와 같이 카메라110와 동일한 구성을 가질 수 있으며, 동작도 동일하다. .
상기 도 11에서 이미지처리부200은 제어부, 표시이미지처리부(preview/movie ISP) 및 캡쳐 이미지처리부(still capture image ISP)로 구성될 수 있다. 여기서 상기 도 11과 같은 구성을 가지는 이미지처리부200은 전처리부가 각각 표시이미지처리부 및 캡쳐이미지처리부에 각각 구성되는 특징을 가진다.
먼저 표시이미지처리부의 구성을 살펴보면, 이미지스케일러(image scaler)220은 상기 카메라110에서 출력되는 풀해상도 이미지를 표시부130에 표시하기 위한 크기의 이미지 및/또는 동영상 저장을 위한 이미지 크기로 조절하는 기능을 수행한다. 전처리부1110은 상기 이미지스케일러220에서 출력되는 표시이미지를 전처리하는 기능을 수행한다. 여기서 상기 전처리 기능은 상기한 바와 같이 3A(AWB(auto white balance), AE(auto exposure), AF(Auto focusing)) 추출 및 처리, 렌즈 셰이딩 보상(lens shading correction), 데드픽셀 보정(dead pixel correction), knee 보정 등을 수행한다. 그리고 후처리부230은 상기 이미지 스케일링된 베이어 데이터를 색보간(color interpolation) 및 잡음제거, 색보정등을 처리하고, 색변환(image conversion)하여 YUV 데이터를 생성한다. 상기 후처리부230에서 출력되는 이미지는 표시부130에 표시되는 화면 크기로 스케일링된 YUV 데이터가 된다.
또한 상기 표시이미지는 동영상 저장 이미지로 사용될 수 있다. 이런 경우, 동영상 촬영 요구가 발생되면, 동영상 코덱270은 상기 표시이미지를 부호화하여 저장부120에 저장한다. 여기서 상기 표시이미지는 상기한 바와 같이 프리뷰모드의 표시이미지와 동일한 크기를 가질 수 있으며, 상기 프리뷰 표시이미지보다 더 큰 화소들로 구성되는 표시이미지가 될 수 있다. 이런 경우, 상기 이미지스케일러220은 프리뷰모드시의 이미지 스케일러와 동영상 모드의 스케일러로 구성하거나, 또는 모드 제어에 따라 스케일링 비율을 다르게 설정할 수도 있도록 구성된다. 이런 경우 동영상 저장이 요구되면, 제어부100은 이미지스케일러220을 제어하여 동영상 표시이미지의 크기로 스케일링되도록 제어하며, 이에 따라 이미지 스케일러220은 상기 카메라110에서 출력되는 풀 해상도의 이미지를 동영상 표시 이미지 크기로 스케일링한다. 여기서 상기 동영상 부호화는 H.264 등 다양한 형태로 수행할 수 있다.
두번째로 캡쳐이미지처리부의 구성을 살펴보면, 버퍼240은 상기 전처리부210에서 출력되는 카메라110의 풀해상도 이미지를 버퍼링한다. 여기서 상기 버퍼240은 카메라장치의 셔터렉을 보상할 수 있는 정도의 프레임 이미지들을 저장할 수 있는 크기로 설정될 수 있다. 본 발명의 실시예에서 상기 버퍼240은 5프레임 이하의 이미지들을 저장할 수 있는 크기로 구성할 수 있으며, 링버퍼(ring buffer) 구조를 가질 수 있다. 상기 버퍼240은 매프레임에서 상기 카메라110에서 출력되는 풀해상도 이미지를 버퍼링하며, 캡쳐 요구시 상기 제어부100은 상기 버퍼240에서 제로 셔터렉의 프레임 이미지를 억세스하여 전처리부1120에 인가한다. 그러면 상기 전처리부1120은 상기 버퍼240에서 선택 출력되는 풀해상도 이미지를 전처리하여 출력하며, 상기 전처리 동작은 상기 전처리부1110의 동작과 동일한 과정으로 수행한다. 그리고 후처리부250은 상기 전처리부1120에서 출력되는 풀해상도 이미지를 색보간 및 잡음제거, 색보정등을 처리하고, 색변환하여 YUV 데이터로 생성한다. 정지영상 코덱260은 상기 후처리부250에서 출력되는 풀해상도 이미지를 압축 부호화한다. 그리고 상기 정지영상코덱260에서 부호화된 캡쳐 이미지는 저장부120에 저장된다.
저장부120은 카메라장치에서 촬영되는 이미지들을 저장하는 메모리로써, 본 발명의 실시예에서는 정지이미지를 저장하는 것을 예로들어 설명될 것이지만, 동영상 이미지들도 저장할 수 있다. 표시부130은 LCD 또는 LED 등과 같은 표시장치가 될 수 있으며, 카메라장치에서 촬영되는 이미지들 및 촬영중의 정보들을 표시하는 기능을 수행한다. 상기 입력부140은 카메라장치의 각 기능들의 설정 및 동작을 수행하기 위한 명령어들을 발생하는 버튼들로 구성될 수 있다. 여기서 상기 입력부140의 버튼은 카메라장치의 외부에 버튼 형태로 설정될 수 있으며, 일부 버튼들은 터치패널로 구성할 수도 있다. 이런 경우, 상기 표시부130 및 입력부140의 일부 버튼들은 터치스크린 형태로 구성할 수 있다.
상기 도 11과 같은 구성을 가지는 카메라장치는 표시이미지 및 캡쳐이미지를 처리하기 위한 전처리부1110 및 1120을 각각 구비하고, 상기 전처리부1110 및 1120은 각각 표시이미지의 크기 및 캡쳐 이미지의 크기를 처리할 수 있는 구성을 가진다. 이때 상기 표시이미지 처리부는 카메라 구동시 항상 구동되며, 캡쳐이미지 처리부는 캡쳐 요구시에만 구동된다. 따라서 상기 도 11에서 전처리부1110은 카메라 구동시 구동되어 표시이미지 크기로 스케일링된 이미지를 전처리하며, 전처리부1120은 캡쳐 요구시에만 구동되어 카메라110의 풀해상도 이미지를 전처리하므로써, 전처리 동작을 효율적으로 수행할 수 있다.
상기와 같은 구성을 가지는 카메라장치의 동작을 살펴보면, 사용자가 입력부140를 통해 카메라 구동명령을 발생하면, 제어부100은 카메라110을 구동한다. 그리고 상기 카메라110에서 출력되는 이미지는 카메라110에서 획득되는 풀해상도의 베이어 이미지가 될 수 있으며, 상기 이미지는 이미지스케일러220에 입력된다. 그러면 상기 이미지스케일러220은 상기 제어부100의 제어하에 매 프레임 주기에서 풀 해상도 이미지를 표시부130에 표시하기 위한 크기로 스케일링한다. 여기서 상기 이미지 스케일링은 리사이즈(resize), 데시메이션(decimation), 인터폴레이션(interpolation), 크롭(crop), 가산 및 평균 등의 다양한 방법들 중에 한 가지 이상의 방법을 사용하여 구현할 수 있다. 그리고 전처리부1110은 상기 이미지스케일링된 표시이미지를 전처리한다. 즉, 상기 전처리부1110은 표시이미지를 처리할 수 있는 크기로 구성할 수 있다. 그리고 상기 전처리된 표시이미지는 후처리부230에서 후처리된다. 상기 후처리과정에서는 컬러 인터폴레이션, 노이즈 보정(noise reduction), 감마 보정 및 색변환 등의 기능을 수행할 수 있다. 즉, 상기 컬러인터폴레이션 동작을 수행하여 각 화소 데이터를 RGB 성분을 포함하는 데이터로 생성하고, 컬러 인터폴레이션된 각 화소데이타들의 노이즈 등을 보정한 후, 이를 다시 YUV 데이터로 변환하는 기능을 수행한다. 상기와 같이 후처리된 표시 이미지는 표시부130을 통해 표시된다.
또한 상기 버퍼240은 상기 카메라110의 풀해상도 이미지를 매 프레임 주기에서 버퍼링한다. 이때 버퍼240은 상기한 바와 같이 링버퍼 구조를 가지며, 설정된 수의 프레임 이미지들을 버퍼링할 수 있다. 이때 프리뷰 모드에서 상기 제어부100은 상기 버퍼240을 제어하면서 매 프레임 주기에서 생성되는 고 해상도의 프레임 이미지들을 버퍼링하지만, 전처리부1120, 후처리부250 및 정지영상 코덱260은 구동하지 않는다.
본 발명의 실시예에 따른 카메라장치는 프리뷰 모드에서 표시이미지 처리부의 이미지스케일러220, 전처리부1110 및 후처리부230이 구동되어 상기 카메라110에서 획득되는 매 프레임 이미지를 표시부130에 표시하기 위한 이미지로 처리하는 동작을 수행하며, 상기 버퍼240에 풀해상도의 이미지들을 버퍼링한다. 즉, 이미지처리부200은 표시이미지를 생성하여 표시하는 동작을 수행하지만, 이미지를 저장하기 위한 처리 동작은 수행하지 않는다. 이때 상기 표시이미지는 작은 이미지크기로 스케일링된 상태에서 전처리, 후처리 및 이미지 변환 동작을 수행하며, 캡쳐를 위한 고 해상도의 이미지는 버퍼링만 하고 있는 상태에서 전처리, 후처리 및 부호화 동작은 수행되지 않으므로, 카메라장치에서 소모되는 전류 및 발열은 크기 않은 상태가 된다.
상기 프리뷰 모드에서 입력부140을 통해 캡쳐 요구가 발생되면, 상기 제어부100은 전처리부1120, 후처리부250 및 정지영상 코덱260을 구동한다. 그리고 상기 제어부100은 상기 셔터 온 시점을 감지하고, 상기 버퍼240에서 버퍼링된 이미지들 중에서 제로 셔터렉에 대응되는 프레임 이미지를 억세스한 후, 이를 전처리부1120에 인가한다. 그러면 전처리부1120은 캡쳐할 이미지만을 전처리하게 되며, 이후 후처리부250 및 정지영상 코덱260에서 후처리 및 부호화된 캡쳐이미지가 저장부120에 저장된다. 따라서 상기 전처리, 후처리 및 부호화 동작은 캡쳐 요구시에만 동작됨을 알 수 있다.
여기서 상기 캡쳐이미지는 상기 카메라110의 풀해상도 이미지를 이용하는 것으로 설명되고 있지만, 필요에 따라 상기 풀해상도 이미지를 스케일링할 수도 있다. 즉, 카메라장치의 사용자는 정지이미지를 캡쳐할 때 풀 해상도 이미지 보다 작은 크기(또는 낮은 해상도)를 가지는 캡쳐할 수도 있다. 이런 경우, 상기 버퍼240의 뒷단에 상기 이미지스케일러220과 다른 이미지스케일러를 더 구비하고 상기 버퍼240의 출력을 더 구비된 이미지스케일러에 전달하는 구성으로 캡쳐이미지 처리부를 구성할 수 있다.
상기한 바와 같이 본 발명의 실시예에 따른 카메라장치는 제로 셔터렉을 구현할 수 있다. 본 발명의 실시예에서는 상기 카메라장치의 셔터 지연을 해소(zero shutter lag)하기 위하여, 캡쳐 요구시 버퍼240에 버퍼링하고 있는 이전 프레임의 이미지를 선택하여 캡쳐이미지로 처리한다.
또한 사용자에 의해 캡쳐 요구 발생시, 캡쳐할 사진이 정상적으로 촬영되지 않은 사진일 수 있다. 예를들면 인물 사진을 촬영한 경우, 인물이 눈을 감거나 흔들린 사진이 촬영될 수 있다. 이런 경우 사용자는 다른 프레임의 이미지를 캡쳐하는 것이 바람직하다. 본 발명의 실시예에 따른 카메라장치는 복수 프레임 이미지들을 버퍼링하고 있으므로, 촬영된 이미지가 맘에 들지 않는 경우 다른 프레임 이미지로 대체할 수 있는 이점이 있다.
상기와 같은 상태에서, 입력부140을 통해 정지 이미지 재생이 요구되면, 상기 제어부100은 저장부120에서 요구된 정지이미지를 억세스하며, 정지영상코덱260은 상기 억세스되는 정지이미지를 복호하여 상기 표시부130에 표시한다. 또한 입력부140을 통해 동영상 재생이 요구되면, 상기 제어부100은 저장부120에서 요구된 동영상을 억세스하여 동영상코덱270에 인가하며, 동영상코덱270은 해당 동영상을 복호하여 표시부130을 통해 표시한다.
도 12는 상기 도 11과 같은 구성을 가지는 카메라장치에서 이미지처리부의 다른 구성을 도시하는 도면이다. 상기 도 12는 이미지처리부에서 캡쳐이미지를 생성할 때 선택적으로 프레임율을 조정할 수 있는 구성 예를 도시하고 있다.
상기 도 12를 참조하면, 상기 도 12는 상기 도 11의 구성에서 고속클럭발생부610 및 저속클럭클럭발생부620을 더 구비하고, 상기 제어부100의 제어하에 선택부630을 제어하여 캡쳐이미지 처리부의 동작 클럭을 선택하는 구성을 도시하고 있다. 즉, 상기 도 12와 같은 구성을 가지는 카메라장치의 이미지처리부는 사용자의 선택에 따라 이미지처리부의 동작 클럭을 선택할 수 있다. 이때 상기 이미지처리부의 동작은 상기 도 11과 같이 동작하며, 이때 상기 클럭선택부에 의해 캡쳐이미지를 처리하는 동작은 상기 도 6 및 도 7과 같은 방법으로 실행될 수 있다.
도 13은 상기 도 11과 같은 구성을 가지는 카메라장치에서 이미지처리부의 다른 구성을 도시하는 도면이다. 상기 도 13은 이미지처리부에서 캡쳐이미지를 생성할 때 프레임 이미지를 분할하여 처리하고, 이후 분할된 이미지들을 결합하여 캡처 이미지로 생성하는 예를 도시하고 있다
상기 도 13과 같은 구성을 이미지처리부는 상기 도 11의 구성에서 가산부810을 더 구비하고, 제어부100이 상기 도 9a - 도 9c와 같이 프레임 이미지를 분할하여 전처리, 후처리한 후, 분할된 이미지들을 가산하여 프레임 이미지로 생성하여 처리한다. 이때 상기 이미지처리부의 동작은 상기 도 11과 같이 동작하며, 상기 분할 이미지를 처리하는 동작은 상기 도 8 및 도 9a - 도 9c와 같은 방법으로 실행될 수 있다.
상기와 같은 구성을 가지는 카메라장치의 경우, 동영상을 저장하는 상태에서도 캡쳐 이미지를 저장할 수 있다. 즉, 상기 표시이미지는 동영상으로 저장할 수 있는 이미지이며, 상기 동영상 저장모드시 상기와 같은 구성을 가지는 이미지처리장치는 매 프레임 구간에서 표시이미지를 생성한다. 이때 상기 표시이미지는 상기한 바와 같이 동영상으로 저장할 수 있는 이미지이다. 따라서 동영상 저장모드시 상기 이미지처리장치는 상기 매 프레임의 표시이미지를 상기 표시부130에 표시하는 동시에 동영상코덱270을 부호화하여 저장부120에 저장한다. 상기와 같은 상태에서 캡쳐 요구 명령이 발생되면, 상기 이미지처리장치는 상기 표시이미지와 함께 제로 셔터렉의 프레임 이미지를 부호화한다. 그리고 상기 이미지처리장치는 상기 표시이미지를 표시부130에 표시하는 동시에 동영상코덱270을 통해 부호화하여 상기 저장부120에 저장하고, 또한 상기 부호화된 캡쳐이미지를 저장부120에 저장한다. 따라서 동영상 촬영 중에 스냅 샷 촬영도 동시에 수행할 수 있다.
도 14는 본 발명의 실시예에 따른 또 다른 카메라장치의 구성을 도시하는 도면이다.
상기 도 14를 참조하면, 카메라110은 카메라 구동시 센서를 통해 이미지를 획득하는 기능을 수행한다.
이미지처리부1410은 상기 카메라부110으로부터 획득되는 이미지를 처리하여 표시부130에 표시하기 위한 표시 이미지 및 캡쳐 요구시 저장하기 위한 캡쳐 이미지를 생성한다. 여기서 상기 표시이미지는 YUV 이미지가 될 수 있으며, 캡쳐이미지는 압축 부호화된 이미지로써 JPEG 이미지가 될 수 있다. 상기 이미지처리부1410은 상기 카메라110에서 획득되는 이미지를 상기 표시부130에 표시하기 위한 크기로 이미지 스케일링하며, 상기 표시부130에 표시될 수 있도록 YUV 이미지로 변환한다. 또한 상기 이미지처리부1410은 상기 카메라110에서 출력되는 풀해상도 이미지를 버퍼링하며, 셔터온 시 셔터 지연시간을 보상하는 프레임 이미지를 선택하여 압축 부호화한다. 여기서 상기 캡쳐 이미지는 카메라110의 풀해상도를 가지는 이미지가 될 수 있다. 상기 이미지처리부1410은 매 프레임 주기에서 상기 표시이미지를 생성하며, 캡쳐 이미지를 버퍼링한다.
어플리케이션 처리부1420은 카메라 구동시 상기 이미지처리부1410에서 생성되는 표시이미지를 버퍼링하며, 또한 캡쳐 요구시 상기 표시이미지 및 캡쳐이미지를 버퍼링한다. 그리고 상기 어플리케이션처리부1420은 상기 버퍼링되는 표시이미지를 표시부130에 출력하여 표시되도록 제어하며, 캡쳐 요구시 버퍼링된 캡쳐이미지를 저장부120에 저장한다.
상기 입력부140은 상기 어플리케이션처리부1420에 카메라 구동명령, 캡쳐 명령을 발생할 수 있다. 표시부130은 프리뷰 모드시 상기 어플리케이션처리부1420에서 출력되는 표시 이미지를 표시한다. 여기서 상기 입력부140은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부130은프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부140 및 표시부130은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부140은 카메라장치의 외부에 위치되는 버튼들을 포함할 수 있다.
저장부120은 캡쳐 요구시 상기 어플리케이션 처리부1420에 출력되는 캡쳐이미지를 저장한다.또한 상기와 같은 카메라장치를 구비하는 단말장치인 경우, 상기 어플리케이션처리부140은 통신부1430을 구비할 수 있다. 이런 경우 상기 통신부1430은 외부장치 또는 기지국과 통신기능을 수행한다. 상기 통신부1430은 송신신호를 RF 대역으로 상승시키는 변환기(frequency up converter)와 전력증폭기 등으로 구성되는 송신부와, RF 수신호를 저잡음 증폭하는 증폭기와 RF신호를 기저대역으로 하강 변환하는 변환기(frequency down converter)와, 상기 송신신호를 변조하여 송신부에 전달하는 변조부 및 상기 수신부에서 출력되는 신호를 복조하는 복조부를 구비할 수 있다. 여기서 상기 변복조부는 통신 방식에 따라 WCDMA, GSM, LTE 방식의 변복조부가 될 수 있으며, 또한 WIFI, WIBRO 등의 변복조부가 될 수 있다. 상기 통신부1430을 구비하는 경우, 상기 어플리케이션처리부1420은 통신처리부(mobile processor: MP) 및 어플리케이션처리부(application processor)로 구성될 수 있다.
본 발명의 실시예에서는 상기 어플리케이션처리부1420이 카메라의 이미지를 처리하는 구성 및 동작을 중심으로 살펴본다.
도 15는 상기 도 14에서 이미지처리부1410의 구성을 도시하는 도면이다.
상기 도 15를 참조하면, 이미지처리제어부1510은 도 15와 같은 구성을 가지는 이미지처리부 및 카메라110의 동작을 제어한다.
전처리부210은 상기 카메라110에서 출력되는 이미지를 3A(AWB(auto white balance), AE(auto exposure), AF(Auto focusing)) 추출 및 처리하며, 렌즈 셰이딩 보상(lens shading correction), 데드픽셀 보정(dead pixel correction), knee 보정 등의 전처리 동작을 수행한다. 이미지스케일러220은 상기 전처리된 이미지를 표시이미지 크기로 스케일링한다. 후처리부230은 상기 표시이미지로 스케일링된 베이어 데이터를 색보간(color interpolation) 및 잡음제거, 색보정등을 처리하고, 색변환(image conversion)하여 YUV 데이터를 생성한다.
또한 상기 버퍼240은 상기 전처리부210에서 출력되는 카메라110의 풀해상도 이미지를 버퍼링한다. 여기서 상기 버퍼240은 카메라장치의 셔터렉을 보상할 수 있는 정도의 프레임 이미지들을 저장할 수 있는 크기로 설정될 수 있으며, 링버퍼(ring buffer) 구조를 가질 수 있다. 상기 버퍼240은 매프레임에서 상기 전처리부210에서 출력되는 풀해상도 이미지를 버퍼링하며, 캡쳐 요구시 상기 이미지처리제어부1510의 제어에 의해 선택되는 버퍼의 이미지가 억세스된다. 후처리부250은 상기 버퍼240에서 선택되는 풀해상도 이미지를 색보간 및 잡음제거, 색보정등을 처리하고, 색변환하여 YUV 데이터로 생성한다. 정지영상 코덱260은 상기 후처리부250에서 출력되는 풀해상도 이미지를 압축 부호화한다.
다중화부1520은 상기 이미저처리제어부1510의 제어하에 상기 후처리부230의 출력 및 정지영상코덱260의 출력을 다중화하여 출력한다.
상기와 같은 구성을 가지는 이미지처리부의 동작을 살펴보면, 프리뷰모드시 상기 이미지처리제어부1501은 상기 카메라110을 구동하여 이미지들을 획득한다. 상기 프리뷰 표시 모드에서 상기 전처리부210은 매 프레임 이미지들을 전처리하며, 이미지스케일러220은 상기 전처리된 프레임 이미지를 표시이미지로 스케일링하고, 상기 후처리부230은 상기 표시이미지를 후처리하여 YUV 이미지로 변환 출력한다. 또한 상기 버퍼240은 상기 전처리부210에서 출력되는 카메라110의 풀해상도 이미지를 버퍼링한다. 이때 상기 프리뷰모드시 상기 후처리부250 및 정지영상코덱260은 동작하지 않으므로, 상기 다중화부1520을 통해 출력되는 데이터는 표시이미지만 출력된다.
상기와 같은 상태에서 캡쳐 요구가 발생되면, 상기 이미지처리제어부1510은 상기 버퍼240에서 제로셔터렉의 프레임 이미지를 버퍼링하는 버퍼의 이미지를 억세스하며, 상기 버퍼240에서 억세스되는 캡쳐 이미지는 후처리부250에서 YUV 이미지로 변환되고 정지영상 코덱260에서 압축부호화되어 다중화부1502에 인가된다. 그러면 상기 다중화부1520은 상기 표시이미지와 상기 캡쳐이미지를 다중화하여 출력한다. 이때 상기 캡쳐 이미지는 정지이미지이며, 캡쳐 요구된 시점에서 제로 셔터렉의 이미지(카메라110의 풀해상도 이미지)가 출력된다.
여기서 상기 도 15와 같은 이미지처리부의 이미지스케일러220은 상기 도 2, 도 3 또는 도 5와 같이 리사이저 및/또는 평균화부로 구성될 수 있다. 또한 상기 도 15와 같은 구성을 가지는 이미지처리부는 도 6과 같이 복수의 동작 클럭으로 구성될 수 있으며, 도 8과 같이 프레임 이미지를 분할하여 처리할 수 있고, 도 10과 같이 복수의 동작클럭 및 분할된 프레임이미지로 이미지를 처리할 수도 있다.
또한 상기 도 15와 같은 이미지처리부는 도 11과 같이 표시이미지 처리부 및 캡쳐이미지 처리부가 각각 전처리부1110 및 1120을 구비할 수 있다. 이런 경우, 상기한 바와 같이 카메라110에서 출력되는 풀해상도 이미지는 이미지스케일러220 및 버퍼240에 인가되며, 상기 전처리부1110 및 1120은 각각 다른 이미지크기(또는 화소수)를 가지는 표시이미지 및 캡쳐 이미지를 전처리하는 동작을 수행하게 된다. 이때 상기 이미지스케일러220은 상기한 바와 같이 리사이저 및/또는 평균화부로 구성될 수 있다. 또한 상기 도 15와 같은 구성을 가지는 이미지처리부는 전처리부1110 및 1120을 각각 독립적으로 구성하는 경우, 도 12와 같이 복수의 동작 클럭으로 구성될 수 있으며, 도 13과 같이 프레임 이미지를 분할하여 처리할 수 있고, 또한 복수의 동작클럭 및 분할된 프레임이미지로 이미지를 처리할 수도 있다.
도 16은 상기 도 14에서 어플리케이션처리부1420의 구성을 도시하는 도면이다. 상기 도 14의 어플리케이션처리부1420의 구성은 도 16과 같은 구성을 가지는 이미지처리부에서 출력되는 이미지를 처리하는 구성만을 도시하고 있다. 그러나 상기 어플리케이션처리부1420은 상기 통신부1430을 통해 외부 통신망과 무선 통신 기능을 수행할 수 있다. 이하의 설명에서는 카메라110의 이미지를 처리하는 동작을 중심으로 살펴본다.
상기 도 16을 참조하면, 어플리케이션처리제어부1600은 입력부140의 명령에 따라 상기 이미지처리부1410의 동작을 제어하며, 상기 이미지처리부1410에서 출력되는 이미지를 버퍼링 및 표시부130을 통해 표시하고, 캡쳐 명령 발생시 상기 버퍼링된 캡처 이미지를 저장부120에 저장한다. 역다중화부1610은 상기 어플리케이션처리제어부1600의 제어에 의해 상기 이미지처리부1410에서 전송되는 표시이미지 또는 표시이미지 및 캡쳐이미지를 역다중화하여 출력한다. 버퍼1620은 상기 어플리케이션처리제어부1600의 제어하에 각각 표시이미지 또는 표시이미지 및 압축이미지를 버퍼링한다. 또한 상기 어플리케이션처리부1420은 동영상 저장 요구시 동영상 데이터를 압축하기 위한 동영상코덱1630을 구비할 수 있으며, 상기 동영상코덱1630은 H.264 등 다양한 동영상 부호화기로 구성할 수 있다. 또한 상기 어플리케이션처리부1420은 정지영상 코덱1640을 구비할 수 있다.
상기와 같은 구성을 가지는 어플리케이션처리부1410의 동작을 살펴보면, 사용자가 입력부140를 통해 카메라 구동명령을 발생하면, 어플리케이션처리제어부1600은 상기 이미지처리부1410에 이를 알리며, 상기 이미지처리제어부1510은 상기 카메라110을 구동한다. 그리고 상기 이미지처리부1410은 상기 카메라110에서 출력되는 이미지를 표시이미지로 변환하여 출력하며, 카메라110의 풀해상도 이미지를 버퍼링한다. 즉, 상기 이미지처리부1410은 표시이미지만을 출력하게 된다. 그러면 상기 어플리케이션처리부1420은 상기 표시이미지를 표시이미지버퍼1623에 버퍼링하며, 어플리케이션처리제어부1600은 상기 버퍼링된 표시이미지를 표시부130에 출력하여 표시한다.
상기와 같이 프리뷰 모드를 수행하는 상태에서 캡쳐 요구가 발생되면, 상기 어플리케이션처리제어부1600은 이를 상기 이미지처리제어부1510에 알린다. 그러면 상기 이미지처리제어부1510은 상기 버퍼240에서 버퍼링된 프레임 이미지들 중에서 설정된 제로 셔터렉의 프레임이미지를 억세스하며, 상기 이미지처리부1410은 상기 억세스되는 프레임 이미지를 처리하여 YUV 이미지로 변환하고, 이를 압축부호화한다. 그리고 이미지처리부1410은 상기 다중화부1520을 통해 상기 표시이미지 및 상기 캡쳐이미지를 다중화하여 전송한다. 여기서 상기 이미지처리부1410은 캡쳐 이미지 요구시에만 표시이미지 및 캡쳐이미지를 다중화하여 전송하며, 그 이외의 프레임 구간들에서는 표시이미지만 전송한다. 그리면 상기 어플리케이션처리부1510은 역다중화부1610에서 상기 표시이미지 및 캡쳐이미지를 역다중화하고 이들을 각각 표시이미지버퍼1623 및 압축이미지버퍼1625에 버퍼링한다. 그리고 상기 어플리케이션처리부1420은 상기 버퍼링된 표시이미지를 상기 표시부130을 통해 표시하고, 상기 버퍼링된 캡쳐이미지를 저장부120에 저장한다.
상기와 같은 구성을 가지는 카메라장치의 경우, 동영상을 저장하는 상태에서도 캡쳐 이미지를 저장할 수 있다. 즉, 상기 표시이미지는 동영상으로 저장할 수 있는 이미지이며, 상기 동영상 저장모드시 이미지처리부1410은 상기한 바와 같이 매 프레임 구간에서 표시이미지를 생성하여 어플리케이션처리부1420에 전송한다. 그러면 상기 어플리케이션처리부1420은 상기 표시이미지버퍼1623에 버퍼링되는 표시이미지를 표시부130에 표시하는 동시에 동영상코덱1630을 통해 부호화하여 저장부120에 저장한다. 상기와 같은 상태에서 캡쳐 요구 명령이 발생되면, 상기 이미지처리부1410은 상기 표시이미지와 함께 제로 셔터렉의 프레임 이미지를 부호화하여 전송한다. 그러면 상기 어플리케이션처리부1420은 상기 표시이미지버퍼1623에 버퍼링되는 표시이미지를 표시부130에 표시하는 동시에 동영상코덱1630을 통해 부호화하여 저장하고, 또한 상기 압축이미지 버퍼1625에 버퍼링된 캡쳐이미지를 저장부120에 저장한다. 따라서 동영상 촬영 중에 스냅 샷 촬영도 동시에 수행할 수 있다.
상기한 바와 같이 본 발명의 실시예에 따른 카메라장치는 프리뷰/동영상의 표시이미지 처리부와 캡쳐이미지 처리부를 분리하여 구성하며, 이로인해 카메라장치의 전류 소모 및 발열 문제를 해결할 수 있다. 여기서 상기 카메라110은 풀해상도의 이미지를 발생하며, 이는 각각 표시이미지 처리부 및 캡쳐이미지처리부에 인가된다. 그러면 매 프레임 주기에서 상기 표시이미지 처리부는 상기 풀해상도 이미지를 표시이미지로 스케일링 및 이미지 처리하여 표시부130의 표시 이미지 포맷(color format)에 맞게 변환한 후, 표시부130에 출력하여 표시한다.
그리고 상기 카메라110에서 생성되는 풀해상도 이미지는 캡쳐 요구시 제로 셔터렉 프레임 이미지를 출력할 수 있도록 버퍼240에 버퍼링된다. 여기서 상기 버퍼240은 링버퍼로 구성될 수 있으며, 상기 버퍼240에 저장 속도는 상기 매 프레임 주기에서 풀 프레임 이미지를 저장할 수 있도록 설정한다. 상기 버퍼링되는 프레임 이미지는 셔터 온 시점에 표시 또는 촬영시간에 동기화된 프레임 이미지를 선택하기 위한 이미지이며, 촬영 요구시 상기 동기화된 프레임 이미지(즉, 제로 셔터렉의 이미지)를 선택할 수 있도록 한다. 또한 상기 버퍼240에 저장되는 프레임 메시지들은 연속 촬영시에도 사용될 수 있다. 즉, 사용자가 연속촬영(예를들면 연사모드, burst shooting mode 등)을 요구한 경우, 상기 제어부100은 상기 버퍼240에 버퍼링된 프레임 이미지들을 연속으로 억세스하며, 캡쳐 이미지처리부는 상기 연속 억세스되는 프레임 이미지들을 처리 및 부호화하여 저장부120에 저장할 수 있다. 또한 상기 표시이미지 처리부에서 처리되는 표시이미지는 동영상 저장을 위한 이미지로 사용될 수 있으며, 상기 동영상 저장모드에서 캡쳐 요구가 발생되는 경우에도 상기 캡쳐이미지 처리부를 이용하여 정지 이미지를 생성 및 저장할 수 있다(video snap shot).
상기 캡쳐이미지 처리부의 처리 속도는 상기 표시이미지 처리부의 처리 속도와 동일하게 처리할 수 있으며, 또한 다른 속도로 처리할 수도 있다. 이런 경우, 저속 클럭 및 고속 클럭을 구비하고, 클럭을 선택하여 상기 표시이미지 처리부와 동일한 프레임율(예를들면 30 fps)로 처리할 수 있으며, 따른 프레임율(예를들면 15 fps)로 처리할 수도 있다.
또한 캡쳐 이미지처리부에서 캡쳐 이미지 처리시 설정된 크기로 이미지를 분할하고, 분할된 이미지들을 순차적으로 처리한 후 이들을 다시 가산하여 프레임 이미지로 재생성할 수 있다. 이런 경우 상기 캡쳐이미지 처리부의 각 구성요소들을 간단하게 구성(게이트 절감)할 수 있다.
본 발명의 실시예에 따른 캡쳐이미지 처리부는 매 프레임 주기에서 버퍼링 동작만 수행하며, 캡쳐 요구시점 이외에는 동작하지 않으므로, 이미지처리 과정에서 불필요하게 소모될 수 있는 전류를 절약할 수 있다. 그리고 상기 버퍼링된 이미지는 풀 해상도의 베이어 데이터이며, 필요에 따라 다른 영상 알고리즘을 이용하여 처리할 수도 있다. 상기와 같은 방법으로 표시이미지 및 캡쳐이미지를 분리 처리하므로써 제로 셔터랙을 구현하면서 동시에 불필요한 전류 소모를 줄일 수 있다.
도 17은 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치의 이미지 처리 방법을 도시하는 흐름도이다. 이때 상기 카메라장치의 구성은 도 1 또는 도 11과 같은 구성을 가질 수 있다. 이하의 설명에서는 상기 도 1과 같은 카메라장치의 구성을 중심으로 살펴본다.
상기 도 17을 참조하면, 입력부140을 통해 카메라 구동명령이 발생되면, 제어부100은 1711단계에서 상기 카메라110을 구동하며, 1713단계에서 프리뷰 모드를 실행한다. 상기 프리뷰모드에서 상기 제어부100은 도 18과 같은 절차로 상기 이미지를 처리한다. 도 18은 본 발명의 실시예에 따른 카메라장치에서 프리뷰 모드의 이미지를 처리하는 절차를 도시하는 흐름도이다.
상기 도 18을 참조하면, 상기 제어부100은 1811단계에서 상기 카메라110에서 획득되는 풀해상도 이미지를 전처리한다. 이때 상기 전처리 동작은 상기한 바와 같이 110으로부터 획득되는 이미지를 전처리하는 기능을 수행한다. 여기서 상기 전처리 기능은 3A(AWB(auto white balance), AE(auto exposure), AF(Auto focusing)) 추출 및 처리, 렌즈 셰이딩 보상(lens shading correction), 데드픽셀 보정(dead pixel correction), knee 보정 등이 될 수 있다.
이후 상기 제어부100은 1813단계에서 상기 전처리된 풀해상도의 이미지를 스케일링하여 표시이미지로 생성하는 동시에 버퍼링한다. 이후 상기 제어부100은 상기 스케일링된 표시이미지를 1815단계에서 후처리한 후, 1817단계에서 상기 표시부130을 통해 표시한다. 도 19는 도 18에서 표시이미지를 생성하여 처리하는 표시하는 절차를 도시하는 흐름도이다.
상기 도 19을 참조하면, 본 발명의 실시예에서 이미지 스케일링은 리사이징 또는 평균화 동작을 통해 수행될 수 있다. 이때 상기 이미지스케일러가 리사이저로 구현된 경우, 상기 제어부100은 1911단계에서 이를 감지하고, 1913단계에서 리사이징을 동작을 수행하여 풀해상도의 이미지를 표시이미지로 스케일링한다. 이때 상기 1913단계에서 상기 제어부100은 풀해상도 이미지를 데시메이션, 인터폴레이션 및 크롭 등의 동작을 수행하여 표시이미지로 생성하게 된다. 또한 상기 이미지스케일러가 평균화부로 구현된 경우, 상기 제어부100은 1911단계에서 이를 감지하고, 1915단계에서 풀해상도 이미지에서 인접 화소들을 가산 및 평균화하여 화소수를 줄인다. 이때 상기 평균화 동작은 상기 도 4a 및 도 4b와 같은 방법으로 수행할 수 있다.
상기와 같이 이미지 스케일링을 수행한 후, 상기 제어부100은 1917단계 - 1921단계를 수행하면서 후처리 동작을 수행하여 표시이미지를 생성한다. 여기서 상기 후처리 동작은 상기한 바와 같이 색보간, IPC 처리 및 이미지 변환 동작을 수행하게 되며, 상기 후처리 과정을 수행하면 YUV 표시이미지를 생성한다. 이후 상기 제어부100은 1923단계에서 상기 YUV 표시이미지를 표시부130에 출력하여 표시한다.
따라서 상기 1713단계에서 프리뷰 모드 수행시, 상기 제어부100은 매 프레임 주기에서 상기 도 19와 같은 절차로 카메라110의 풀해상도 이미지를 표시이미지 크기로 스케일링하고, 스케일링된 이미지를 후처리하여 표시부130에 표시하는 동시에 상기 풀해상도 이미지를 버퍼링하는 동작을 수행한다.
이때 캡쳐 요구가 발생되면, 상기 제어부100은 1715단계에서 이를 감지하고, 상기 버퍼링된 풀해상도 이미지들 중에서 제로 셔터렉의 이미지를 선택하여 저장한다. 도 20은 도 17에서 캡쳐 요구시 캡쳐 이미지를 처리하는 절차를 도시하는 흐름도이다.
상기 도 20을 참조하면, 캡쳐 요구시 상기 제어부100은 2011단계에서 상기 버퍼240에 버퍼링된 이미지들 중에서 제로 셔터렉의 프레임 이미지를 확인하여 억세스하며, 2013단계에서 상기 프레임 이미지를 후처리하며, 21015단계에서 상기 후처리된 이미지를 부호한 후, 2017단계에서 저장부120에 저장한다. 이때 상기 후처리 과정은 상기 표시이미지의 후처리 과정과 동일한 방법으로 진행되며, 이때 후처리되는 이미지는 상기 카메라110의 풀해상도 이미지가 될 수 있다.
이때 상기 도 20과 같은 캡쳐 이미지 처리는 상기 표시이미지와 같이 매 프레임에서 처리하지 않고 저속으로 처리할 수 있다. 이는 상기 캡쳐 이미지는 카메라110의 풀해상도 이미지이므로, 카메라장치의 이미지 처리 구성을 작게하고 또한 캡쳐 이미지처리시 전류 소모를 줄이기 위하여 프레임율을 낮춰 처리할 수도 있다. 도 21은 도 20에서 캡쳐 이미지 처리시, 사용자의 선택에 따라 고속 또는 저속으로 캡쳐 이미지를 처리하는 방법을 도시하는 흐름도이다.
상기 도 21을 참조하면, 캡쳐 요구시 상기 제어부100은 2111단계에서 셔터 온시점의 프레임 이미지(즉, 제로 셔터렉 이미지)를 확인한다. 이후 상기 제어부100은 선택된 클럭이 고속클럭이면 2113단계에서 이를 감지하고 2115단계 - 2119단계에서 에서 상기 고속 클럭에 의해 상기 프레임 이미지를 선택 및 처리한 후 부호화한다. 이때 상기 고속 클럭은 매 프레임에 이미지를 처리할 수 있는 속도(예를들면 30 fps의 프레임들을 처리할 수 있는 클럭)를 가지는 클럭이 될 수 있다. 그리고 상기 제어부110은 고속 클럭으로 처리된 캡쳐 이미지를 2121단계에서 저장부120에 저장한다. 따라서 상기 고속클럭으로 캡쳐 이미지를 처리하는 경우, 상기 제어부100은 캡쳐 요구시 프레임 지연없이 제로 셔터렉을 가지는 프레임 이미지를 캡쳐 이미지로 저장할 수 있다.
그러나 저속클럭이 선택된 경우, 상기 제어부100은 2113단계에서 이를 감지하고, 2123단계 - 2127단계에서 저속으로 제로 셔터렉의 프레임 이미지를 선택 및 처리한 후 부호화한다. 이때 상기 저속클럭은 매 프레임에서 이미지를 처리할 수 없는 클럭이 될 수 있다. 도 7은 프레임율이 표시이미지의 프레임율의 1/2(15 fps)인 예를 도시하고 있다. 이런 경우, 상기 저속클럭으로 캡쳐 이미지를 생성하는 경우, 상기 캡쳐 이미지는 2프레임 주기에서 처리되어 생성될 수 있다. 그리고 상기와 같이 생성되는 캡쳐 이미지는 2121단계에서 저장부120에 저장된다.
또한 상기 도 20과 같은 캡쳐 이미지는 분할하여 처리할 수 있다. 이는 상기 캡쳐 이미지가 카메라110의 풀해상도 이미지를 처리할 수 있어야 하므로, 후처리부250을 상기 표시이미지를 처리하는 후처리부230보다 더 크게 구성하여야 한다. 이런 경우 후처리부250의 구성이 복잡해지며 이로인해 전류소모가 커질 수 있다. 따라서 상기 캡쳐 이미지 처리시 설정된 크기로 분할하고, 상기 후처리부250이 상기 분할된 이미지를 처리할 수 있는 크기로 구성하며, 후처리된 이미지를 가산하여 처리하는 방법이 효율적일 수 있다. 도 22는 도 20에서 캡쳐 이미지 처리시, 캡쳐 이미지를 분할하고 분할된 이미지들을 처리한 후 가산하여 프레임 이미지를 재생성하는 절차를 도시하는 흐름도이다.
상기 도 22를 참조하면, 캡쳐 요구시 상기 제어부100은 2211단계에서 셔터 온 시점의 프레임 이미지(제로 셔터렉 이미지)를 확인하고, 2213단계에서 상기 버퍼240에서 해당 프레임 이미지를 선택한다. 이후 상기 제어부100은 2215단계에서 설정된 크기로 이미지를 분할 억세스하며, 2217단계에서 상기 억세스한 이미지를 후처리한다. 이때 상기 분할이미지는 상기 도 9a - 도 9c와 같은 방법으로 이미지를 분할할 수 있다. 이후 상기 후처리된 분할 이미지는 이전에 처리된 분할이미지와 가산되며, 프레임 이미지의 처리가 완료되지 않았으면(즉, 처리할 분할 이미지가 더 있는 경우) 상기 제어부100은 2221단계에서 이를 감지하고 2223단계에서 다음에 억세스할 분할 이미지를 설정한 후 상기 2215단계로 되돌아간다. 상기와 같은 동작을 반복하면서 분할 이미지들의 처리를 완료하면 하나의 프레임 이미지로 생성되며, 이런경우 상기 제어부100은 2221단계에서 이를 감지하고 2225단계에서 상기 프레임 이미지를 부호화한 후, 2217단계에서 저장부120에 저장한다.
이때 상기 도 20 - 도 22와 같이 캡쳐 이미지를 처리할 때, 상기 제어부100은 도 18 및 도 19와 같이 매 프레임 구간에서 표시이미지를 생성 및 처리하여 표시하는 동작을 수행한다.
도 23은 본 발명의 실시예에 따른 카메라장치에서 또 다른 프리뷰 모드의 이미지를 처리하는 절차를 도시하는 흐름도이다. 상기 도 23은 프리뷰모드에서 표시이미지 처리 및 캡쳐 이미지처리부가 카메라110의 풀해상도 이미지를 각각 처리하는 절차를 도시하는 흐름도이다.
상기 도 23을 참조하면, 프리뷰 모드시 상기 카메라110에서 생성되는 풀해상도 이미지는 각각 표시이미지 처리부 및 캡쳐 이미지처리부로 인가된다. 그러면 상기 제어부100은 2319단계에서 상기 카메라110의 풀해상도 이미지를 버퍼240에 버퍼링한다. 그리고 또한 상기 제어부100은 2311단계에서 상기 카메라110의 풀해상도 이미지를 표시이미지로 스케일링하며, 2313단계에서 상기 표시이미지를 전처리하고 2315단계에서 후처리한 후, 2317단계에서 표시부130에 출력하여 표시한다. 즉, 프리뷰모드에서 카메라장치는 매 프레임 주기에서 카메라110에서 생성되는 풀해상도 이미지를 버퍼링하면서 표시이미지를 생성하여 표시한다. 이때 상기 표시이미지를 생성하는 절차는 상기 카메라110의 풀해상도 이미지를 표시이미지로 스케일링한 후, 이를 전처리 및 후처리한 후 표시부130을 표시한다. 따라서 상기 표시이미지처리부는 표시이미지의 크기로 변환된 이미지를 전처리 및 후처리하므로써, 이미지처리부(전처리 및 후처리)를 간단하게 구성할 수 있으며, 이로인해 이미지처리시 전류 소모를 줄일 수 있다.
상기와 같은 상태에서 캡쳐 요구가 발생되면, 상기 제어부100은 이를 감지하고 도 24와 같은 캡쳐 이미지 처리 절차를 수행한다. 도 24는 본 발명의 실시예에 카메라 장치에서 또 다른 방법으로 캡쳐 이미지를 처리하는 절차를 도시하는 흐름도이다.
상기 도 24를 참조하면, 캡쳐 요구시 상기 제어부100은 2411단계에서 제로 셔터렉의 프레임을 확인하고, 2413단계에서 버퍼240에 버퍼링된 해당 프레임 이미지를 억세스한한다. 이후 상기 제어부100은 2415단계에서 상기 억세스된 프레임 이미지를 전처리하고, 2417단계에서 상기 전처리된 프레임 이미지를 후처리하며, 2419단계에서 후처리된 이미지를 부호화한 후 2421단계에서 저장부120에 저장한다. 이때 상기 표시이미지 처리는 상기 도 23과 같은 절차로 동시에 수행된다.
상기 도 23 및 도 24에 도시된 바와 같이, 본 발명의 실시예에 따른 카메라장치의 또 다른 이미지 처리 방법은 카메라100에서 생성되는 풀해상도 이미지를 버퍼링하는 동시에 표시이미지로 스케일링하며, 상기 표시이미지를 전처리 및 후처리하여 표시한다. 그리고 캡쳐 요구가 발생되면, 상기 제어부100은 버퍼링된 풀해상도 이미지를 전처리, 후처리 및부호화하여 저장한다. 따라서 카메라장치에서 이미지 처리시 표시이미지 처리와 캡쳐 이미지를 구분하여 처리하므로써, 카메라 구동시 항상 동작되는 표시이미지처리부의 구성을 간단하게 구성할 수 있으며, 이로인해 카메라장치의 이미지 처리부를 간단하게 구성할 수 있는 동시에 전류 소모를 줄일 수 있다.
도 25는 본 발명의 따른 실시예에 따른 카메라장치의 구성을 도시하는 도면이다.
현재 카메라110의 이미지센서는 고화소의 이미지들을 생성한다. 이때 이미지처리부가 상기 카메라110에서 생성되는 고 화소 이미지를 처리할 수 없을 수 있다. 이런 경우 이미지처리부는 상기 카메라110에서 생성되는 이미지의 프레임율을 낮추거나 또는 이미지를 적절한 크기로 스케일링하여 처리하여야한다. 이런 경우 상기 카메라장치는 두개 이상의 이미지처리부들을 구비하고, 상기 카메라110에서 생성되는 이미지를 병렬처리하여 원하는 프레임율로 고화소 이미지를 처리할 수 있다. 도 25는 두개의 병렬 구성되는 이미지처리부들을 구비하여 카메라110의 이미지를 처리하는 예를 도시하고 있다.
상기 도 25를 참조하면, 이미지처리부는 전처리부2521, 후처리부2523, 이미지스케일러2525로 구성되는 제1이미지처리부와, 전처리부2531, 후처리부2533, 이미지스케일러2535로 구성되는 제2이미지처리부로 구성되며, 상기 제1 및 제2이미지처리부가 각각 이미지들을 처리할 시간을 보상하기 위한 버퍼2510, 2540 및 2545를 구비한다.
상기와 같은 구성을 가지는 이미지처리부의 동작을 살펴보면, 버퍼2510은 상기 카메라110에서 생성되는 이미지들을 버퍼링한다. 여기서 상기 버퍼2510은 링버퍼로 구성될 수 있다. 그러면 상기 제어부100은 상기 버퍼2510을 제어하여 홀수 프레임 이미지들은 제1이미지처리부 측에 인가하고 짝수 프레임이미지들은 제2이미지처리부에 전달한다. 그러면 상기 제1이미지처리부2520은 홀수 프레임 이미지들(odd frame image, 1,3,5,….)을 수신하며, 수신되는 프레임이미지들을 각각 전처리부2521, 후처리부2523 및 이미지스케일러2525를 통해 처리하여 홀수 프레임들의 표시이미지를 생성한다. 또한 상기 제2이미지처리부2530은 짝수 프레임 이미지들(even frame image, 2,4,6,….)을 수신하며, 수신되는 프레임이미지들을 각각 전처리부2531, 후처리부2533 및 이미지스케일러2535를 통해 처리하여 짝수 프레임들의 표시이미지를 생성한다. 여기서 상기 전처리부2521 및 2531, 후처리부2523 및 2533, 이미지스케일러2525 및 2535는 상기의 전처리부210, 후처리부230 및 이미지스케일러220과 동일한 구성을 가질 수 있으며, 그 동작도 동일하다. 그리고 상기 버퍼2510에서 버퍼링되는 이미지는 카메라110의 풀 해상도 이미지가 될 수 있으며, 따라서 상기 후처리부2523 및 2533에서 출력되는 이미지들도 풀 해상도의 이미지가 될 수 있다.
상기와 같은 상태에서 버퍼2540은 상기 이미지스케일러2525 및 2535에서 출력되는 홀수 및 짝수 표시이미지들을 버퍼링하며, 상기 제어부100의 제어하에 순서대로 억세스(즉, 홀수 및 짝수 프레임들의 표시이미지가 생성된 순서대로 interlacing)되어 표시부130에 인가된다. 따라서 상기 표시부130은 매 프레임 구간에서 상기 카메라110에서 생성되는 이미지들을 표시할 수 있게 된다. 또한 상기 버퍼2545는 상기 후처리부2523 및 2533에서 처리되는 풀해상도 이미지들을 버퍼링한다. 여기서 상기 버퍼2540 및 2545는 링버퍼로 구성할 수 있다.
상기와 같은 상태에서 입력부140이 캡쳐 요구신호를 발생하면, 상기 제어부110은 이를 감지하고 상기 버퍼2545에서 캡쳐 요구시점의 프레임 이미지를 억세스하며, 정지영상코덱2550은 상기 억세스되는 풀 해상도 이미지를 압축 부호화하며, 이를 저장부120에 저장한다. 즉, 상기 버퍼2545는 상기 카메라110에서 촬영되는 풀 해상도 이미지를 설정 프레임 수로 버퍼링하며, 상기 제어부100은 셔터 온시 제로 셔터렉에 대응되는 프레임이미지를 선택하여 부호화한 후 저장될 수 있도록 제어한다.
상기한 바와 같이 카메라장치의 제1이미지처리부2520 및 제2이미지처리부2530이 센서 출력을 처리할 수 없는 저속처리기인 경우, 버퍼2510에서 순환적으로 저장된 이미지 1, 2, 3, 4, 5, 6, 7,…을 odd (1,3,5,7,..)와 even(2,4,6,7,…)로 나누고, 상기 제1 및 제2이미지처리부2520 및 2530이 각각 나뉘어진 프레임 이미지들을 처리하도록 제어한다. 상기 제1 및 제2이미지처리부2520 및 2530을 구비하는 경우에는 상기 카메라110에서 생성되는 이미지들을 1/2씩 처리할 수 있으며, 따라서 상기 제1 및 제2이미지처리부2520 및 2530의 이미지 처리속도가 상기 카메라110의 1/2이상의 처리 성능를 가지면 실시간으로 프레임 이미지를 처리할 수 있다. 여기서 상기 이미지처리부는 2개로 구성된 경우를 가정하여 설명하고 있지만, 필요에 따라 그 이상으로 구성할 수도 있다.
이때 상기 제1 및 제2이미지처리부2520 및 2530에서 후처리부2523 및 2533의 출력은 카메라110의 풀해상도 이미지가 되며, 이미지스케일러2525 및 2535는 이들 각각을 상기 표시부130의 크기로 스케일링하며, 버퍼2540을 통해 상기 카메라110에서 생성된 이미지들과 동일한 순서 1, 2, 3, 4, 5, 6, 7,…로 재정렬되어 표시부130으로 출력하면 영상이 끊김없이 출력된다. 또한, 상기 후처리부2523 및 2533에서 출력되는 풀해상도 이미지는 버퍼2545에서 카메라110의 출력과 동일한 순서 1, 2, 3, 4, 5, 6, 7,…로 정렬되어 저장된다. 그리고 캡쳐 요구가 발생되면, 캡쳐요구가 발생된 시점의 풀해상도 이미지를 버퍼2545에서 선택하여 저장부120에 저장할 수 있다.
상기한 바와 같이 본 발명의 실시예에 따른 카메라장치는 프리뷰/동영상 이미지처리부와 캡쳐이미지 처리부를 분리 구성하고, 이를 각각 독립적으로 구동하므로써 전류 소모를 줄일 수 있으며, 또한 발열 문제를 해결할 수 있다.
본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (30)

  1. 카메라장치에 있어서,
    카메라 구동시 동작되어 풀해상도 이미지를 발생하는 카메라와,
    상기 카메라에서 생성되는 이미지를 매 프레임 주기에서 스케일링하여 표시이미지로 변환하는 표시이미지 처리부와,
    상기 카메라에서 생성되는 이미지를 버퍼링하며, 캡쳐 요구시 상기 버퍼링된 이미지들에서 셔터 온시점의 이미지를 부호화하여 셔터지연시간이 보상된 캡쳐이미지를 생성하는 캡쳐이미지 처리부와,
    상기 표시이미지를 표시하는 표시부와,
    상기 캡쳐이미지를 저장하는 저장부로 구성된 것을 특징으로 하는 장치.
  2. 제1항에 있어서, 상기 카메라의 출력단에 연결되는 전처리부를 더 구비하며,
    상기 전처리부는 상기 카메라에서 출력되는 이미지의 데드픽셀 보정 및 렌즈 셰이딩을 보상하여 상기 표시이미지처리부 및 캡쳐이미지처리부에 인가하는 것을 특징으로 하는 장치.
  3. 제2항에 있어서, 상기 표시이미지 처리부는,
    상기 전처리된 이미지를 표시이미지로 스케일링하는 이미지스케일러와,
    상기 스케일링된 표시이미지를 색보간하여 YUV 이미지로 변환하는 후처리부로 구성된 것을 특징으로 하는 장치.
  4. 제3항에 있어서, 상기 이미지스케일러는 상기 전처리된 풀해상도 이미지를 상기 표시부의 표시이미지 크기로 스케이링하는 리사이저인 것을 특징으로 하는 장치.
  5. 제3항에 있어서, 상기 이미지스케일러는 상기 전처리된 풀해상도 이미지의 인접화소들을 가산 및 평균화하여 상기 표시부의 표시이미지 크기로 화소수를 감축하는 평균화부인 것을 특징으로 하는 장치.
  6. 제3항에 있어서, 상기 캡쳐 이미지 처리부는
    복수의 풀해상도 이미지들을 버퍼링할 수 있는 링버퍼와,
    캡쳐 요구시 상기 링버퍼에서 억세스되는 셔터온 시점의 프레임 이미지를 색보간 및 잡음제거, 색보정등을 처리하고, 이미지변환하여 YUV 이미지를 생성하는 후처리부와,
    상기 후처리부에서 출력되는 이미지를 부호화하는 정지영상코덱으로 구성된 것을 특징으로 하는 장치.
  7. 제6항에 있어서, 상기 캡쳐이미지 처리부는 클럭발생부를 더 구비하며,
    상기 클럭발생부는 상기 표시이미지처리부의 클럭과 동일한 주파수를 가지는 고속클럭과, 상기 고속 클럭보다 낮은 주파수를 가지는 저속클럭과, 상기 고속클럭 및 저속클럭을 선택하는 선택부로 구성되며,
    상기 저속클럭 선택시 상기 캡쳐이미지처리부가 상기 표시이미지 처리부보다 낮은 프레임율로 캡쳐이미지를 생성하는 것을 특징으로 하는 장치.
  8. 제3항에 있어서, 상기 캡쳐 이미지를 처리부는
    복수의 풀해상도 이미지들을 버퍼링할 수 있는 링버퍼와,
    캡쳐 요구시 상기 링버퍼에서 억세스되는 셔터온 시점의 프레임 이미지를 분할하여 억세스하며, 상기 분할된 이미지들을 색보간 및 잡음제거, 색보정등을 처리하고, 이미지변환하여 YUV 이미지를 생성하는 후처리부와,
    상기 후처리부에서 처리되는 분할된 이미지들을 하나의 프레임 이미지로 가산하는 가산부와,
    상기 가산부에서 출력되는 프레임 이미지를 부호화하는 정지영상코덱으로 구성된 것을 특징으로 하는 장치.
  9. 제2항에 있어서, 상기 표시이미지 처리부는,
    상기 카메라의 풀해상도 이미지를 표시이미지로 스케일링하는 이미지스케일러와,
    상기 표시이미지의 데드픽셀 보정 및 렌즈 셰이딩을 보상하는 전처리부와,
    상기 전처리된 표시이미지를 색보간하여 YUV 이미지로 변환하는 후처리부로 구성된 것을 특징으로 하는 장치.
  10. 제9항에 있어서, 상기 이미지스케일러는 상기 카메라의 풀해상도 이미지를 상기 표시부의 표시이미지 크기로 스케이링하는 리사이저인 것을 특징으로 하는 장치.
  11. 제9항에 있어서, 상기 이미지스케일러는 상기 카메라의 풀해상도 이미지의 인접화소들을 가산 및 평균화하여 상기 표시부의 표시이미지 크기로 화소수를 감축하는 평균화부인 것을 특징으로 하는 장치.
  12. 제9항에 있어서, 상기 캡쳐 이미지 처리부는
    상기 카메라에서 출력되는 복수의 풀해상도 이미지들을 버퍼링할 수 있는 링버퍼와,
    캡쳐 요구시 상기 링버퍼에서 억세스되는 셔터온 시점의 프레임 이미지의 데드픽셀 보정 및 렌즈 셰이딩을 보상하는 전처리부와,
    상기 전처리된 이미지를 색보간 및 이미지변환하여 YUV 이미지를 생성하는 후처리부와,
    상기 후처리부에서 출력되는 이미지를 부호화하는 정지영상코덱으로 구성된 것을 특징으로 하는 장치.
  13. 제12항에 있어서, 상기 캡쳐이미지 처리부는 클럭발생부를 더 구비하며,
    상기 클럭발생부는 상기 표시이미지처리부의 클럭과 동일한 주파수를 가지는 고속클럭과, 상기 고속 클럭보다 낮은 주파수를 가지는 저속클럭과, 상기 고속클럭 및 저속클럭을 선택하는 선택부로 구성되며,
    상기 저속클럭 선택시 상기 캡쳐이미지처리부가 상기 표시이미지 처리부보다 낮은 프레임율로 캡쳐이미지를 생성하는 것을 특징으로 하는 장치.
  14. 제9항에 있어서, 상기 캡쳐 이미지를 처리부는
    상기 카메라에서 출력되는 복수의 풀해상도 이미지들을 버퍼링할 수 있는 링버퍼와,
    캡쳐 요구시 상기 링버퍼에서 억세스되는 셔터온 시점의 프레임 이미지를 분할하여 억세스하며, 상기 분할된 이미지들의 데드픽셀 보정 및 렌즈 셰이딩을 보상하는 전처리부와,
    상기 전처리된 분할 이미지들을 색보간 및 잡음제거, 색보정등을 처리하고 이미지변환하여 YUV 이미지를 생성하는 후처리부와,
    상기 후처리부에서 처리되는 분할된 이미지들을 하나의 프레임 이미지로 가산하는 가산부와,
    상기 가산부에서 출력되는 프레임 이미지를 부호화하는 정지영상코덱으로 구성된 것을 특징으로 하는 장치.
  15. 단말장치에 있어서,
    카메라 구동시 동작되어 풀해상도 이미지를 발생하는 카메라와,
    상기 카메라에서 생성되는 풀해상도 매 프레임 주기에서 이미지를 버퍼링하는 동시에 상기 풀해상도 이미지를스케일링하여 표시이미지로 변환하며, 캡쳐 요구시 상기 버퍼링된 이미지들에서 셔터 온시점의 이미지를 부호화하여 셔터지연시간이 보상된 캡쳐이미지를 생성하는 이미지 처리부와,
    상기 이미지처리부에서 출력되는 표시이미지 및 캡쳐이미지를 버퍼링하며, 프리뷰 모드시 상기 표시이미지를 표시하며 캡쳐모드시 상기 표시이미지를 표시하며 상기 캡쳐이미지를 저장하도록 제어하는 어플리케이션처리부와,
    상기 어플리케이션처리부의 제어하에 표시이미지를 표시하는 표시부와,
    상기 어플리케이션처리부의 제어하에 캡쳐이미지를 저장하는 저장부로 구성된 것을 특징으로 하는 장치.
  16. 제15항에 있어서, 상기 어플리케이션처리부에 연결되는 통신부를 더 구비하며,
    상기 통신부는 기지국 및/또는 인터넷 망과 무선 접속되어 상기 어플리케이션처리부에서 처리되는 어플리케이션 정보를 통신하는 것을 특징으로 하는 장치.
  17. 제16항에 있어서, 상기 이미지처리부가,
    상기 카메라에서 생성되는 이미지를 매 프레임 주기에서 스케일링하여 표시이미지로 변환하는 표시이미지 처리부와,
    상기 카메라에서 생성되는 이미지를 버퍼링하며, 캡쳐 요구시 상기 버퍼링된 이미지들에서 셔터 온시점의 이미지를 부호화하여 셔터지연시간이 보상된 캡쳐이미지를 생성하는 캡쳐이미지 처리부로 구성된 것을 특징으로 하는 장치.
  18. 카메라장치의 이미지처리방법에 있어서,
    카메라 구동시 매 프레임 주기에서 카메라의 풀해상도 이미지를 버퍼링 및 표시이미지로 변환하여 표시하는 과정과,
    캡쳐 요구시 상기 버퍼링된 이미지들에서 셔터 온시점의 이미지를 부호화하여 셔터지연시간이 보상된 캡쳐이미지를 생성 및 저장하는 과정으로 이루어짐을 특징으로 하는 방법.
  19. 제18항에 있어서, 상기 표시이미지로 변환하는 과정이,
    상기 카메라에서 출력되는 이미지의 데드픽셀 보정 및 렌즈 셰이딩을 보상하는 전처리과정과,
    상기 전처리된 이미지를 표시이미지로 스케일링하는 과정과,
    상기 스케일링된 표시이미지를 색보간하여 YUV 이미지로 변환하는 후처리과정으로 이루어짐을 특징으로 하는 방법.
  20. 제19항에 있어서, 상기 스케일링하는 과정은 상기 전처리된 풀해상도 이미지를 상기 표시부의 표시이미지 크기로 데시메이션 및 인터폴레이션하여 리사이징하는 것을 특징으로 하는 방법.
  21. 제19항에 있어서, 상기 스케일링하는 과정은 상기 전처리된 풀해상도 이미지의 인접화소들을 가산 및 평균화하여 상기 표시부의 표시이미지 크기로 화소수를 감축하는 것을 특징으로 하는 방법.
  22. 제19항에 있어서, 상기 캡쳐이미지를 생성하는 과정은
    캡쳐 요구시 버퍼링 프레임 이미지들 중에서 셔터온 시점의 프레임 이미지를 억세스하는 과정과,
    상기 억세스된 프레임 이미지를 색보간 및 이미지변환하여 YUV 이미지를 생성하는 후처리과정과,
    후처리된 프레임 이미지를 부호화하는 과정으로 이루어짐을 특징으로 하는 방법.
  23. 제19항에 있어서, 캡쳐이미지를 생성하는 과정은
    캡쳐 요구시 버퍼링 프레임 이미지들 중에서 셔터온 시점의 프레임 이미지를 분할하여 억세스하는 과정과,
    상기 분할된 이미지들을 색보간 및 이미지변환하여 YUV 이미지를 생성하는 후처리 과정과,
    후처리된 분할 이미지들을 하나의 프레임 이미지로 가산하는 과정과,
    상기 프레임 이미지를 부호화하는 과정으로 이루어짐을 특징으로 하는 방법.
  24. 제18항에 있어서, 표시이미지로 변환하는 과정이,
    상기 카메라의 풀해상도 이미지를 표시이미지로 스케일링하는 과정과,
    상기 표시이미지의 데드픽셀 보정 및 렌즈 셰이딩을 보상하는 전처리과정과,
    전처리된 표시이미지를 색보간하여 YUV 이미지로 변환하는 후처리과정으로 이루어짐을 특징으로 하는 방법.
  25. 제24항에 있어서, 상기 스케일링하는 과정은 상기 카메라의 풀해상도 이미지를 표시이미지 크기로 데시메이션 및 인터폴레이션하여 리사이징하는 것을 특징으로 하는 방법.
  26. 제24항에 있어서, 상기 스케일링하는 과정은 상기 카메라의 풀해상도 이미지의 인접화소들을 가산 및 평균화하여 상기 표시부의 표시이미지 크기로 화소수를 감축하는 것을 특징으로 하는 방법.
  27. 제24항에 있어서, 캡쳐 이미지를 생성하는 과정은
    캡쳐 요구시 버퍼링된 프레임 이미지들 중에서 셔터온 시점의 프레임 이미지를 억세스하는 과정과,
    상기 억세스한 프레임 이미지의 데드픽셀 보정 및 렌즈 셰이딩을 보상하는 전처리과정과,,
    전처리된 이미지를 색보간 및 이미지변환하여 YUV 이미지를 생성하는 후처리과정과,
    후처리된 이미지를 부호화하는 과정으로 이루어짐을 특징으로 하는 방법.
  28. 제24항에 있어서, 캡쳐 이미지를 생성하는 과정은
    캡쳐 요구시 버퍼링된 프레임 이미지들 중에서 셔터온 시점의 프레임 이미지를 분할하여 억세스하는 과정과,
    분할된 이미지들의 데드픽셀 보정 및 렌즈 셰이딩을 보상하는 전처리과정과,
    전처리된 분할 이미지들을 색보간 및 이미지변환하여 YUV 이미지를 생성하는 후처리과정과,
    후처리된 분할된 이미지들을 하나의 프레임 이미지로 가산하는 과정과,
    상기 프레임 이미지를 부호화하는 과정으로 이루어짐을 특징으로 하는 방법.
  29. 카메라장치에 있어서,
    카메라 구동시 동작되어 풀해상도 이미지를 발생하는 카메라와,
    상기 카메라에서 발생되는 매 프레임의 이미지들을 버퍼링하는 제1버퍼와,
    상기 제1버퍼에서 설정된 번호의 프레임 이미지들을 처리하여 풀해상도 이미지 및 표시이미지들을 생성하는 적어도 2개의 이미지처리부들과,
    상기 이미지처리부들에서 출력되는 표시이미지들을 프레임 번호 순서대로 버퍼링하는 제2버퍼와,
    상기 제2버퍼에서 출력되는 표시이미지들을 표시하는 표시부와,
    상기 이미지처리부들에서 출력되는 풀해상도 이미지들을 프레임 번호 순서대로 버퍼링하는 제3버퍼와
    캡쳐 요구시 상기 제3버퍼에 버퍼링된 이미지들에서 셔터 온시점의 이미지를 부호화하는 정지영상 코덱과,
    상기 부호화된 이미지를 저장하는 저장부로 구성된 것을 특징으로 하는 장치.
  30. 카메라장치의 이미지처리방법에 있어서,
    상기 카메라에서 발생되는 매 프레임의 이미지들을 제1버퍼에 버퍼링하는 과정과,
    복수의 이미지처리부들을 구비하며, 상기 이미지처리부들을 통해 상기 제1버퍼에서 설정된 번호의 프레임 이미지들을 처리하여 풀해상도 이미지 및 표시이미지들을 생성하는 과정과,
    상기 이미지처리부들에서 출력되는 표시이미지들을 프레임 번호 순서대로 제2버퍼에 버퍼링하며, 상기 제2버퍼에서 출력되는 표시이미지들을 표시하고, 상기 이미지처리부들에서 출력되는 풀해상도 이미지들을 프레임 번호 순서대로 제3버퍼에 버퍼링하는 과정과,
    캡쳐 요구시 상기 제3버퍼에 버퍼링된 이미지들에서 셔터 온시점의 이미지를 부호화하여 저장하는 과정으로 이루어짐을 특징으로 하는 방법.
KR1020120031445A 2012-03-28 2012-03-28 카메라의 이미지처리 장치 및 방법 KR101893406B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020120031445A KR101893406B1 (ko) 2012-03-28 2012-03-28 카메라의 이미지처리 장치 및 방법
AU2013201746A AU2013201746B2 (en) 2012-03-28 2013-03-21 Image processing apparatus and method of camera device
CN2013100989739A CN103369239A (zh) 2012-03-28 2013-03-26 摄像机设备的图像处理装置和方法
RU2014143240A RU2014143240A (ru) 2012-03-28 2013-03-26 Способ и устройство обработки изображений устройства камеры
PCT/KR2013/002488 WO2013147488A1 (en) 2012-03-28 2013-03-26 Image processing apparatus and method of camera device
US13/852,915 US20130258136A1 (en) 2012-03-28 2013-03-28 Image processing apparatus and method of camera device
EP13161613.8A EP2645703A3 (en) 2012-03-28 2013-03-28 Image processing apparatus and method of camera device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120031445A KR101893406B1 (ko) 2012-03-28 2012-03-28 카메라의 이미지처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130109588A true KR20130109588A (ko) 2013-10-08
KR101893406B1 KR101893406B1 (ko) 2018-08-30

Family

ID=48092694

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120031445A KR101893406B1 (ko) 2012-03-28 2012-03-28 카메라의 이미지처리 장치 및 방법

Country Status (7)

Country Link
US (1) US20130258136A1 (ko)
EP (1) EP2645703A3 (ko)
KR (1) KR101893406B1 (ko)
CN (1) CN103369239A (ko)
AU (1) AU2013201746B2 (ko)
RU (1) RU2014143240A (ko)
WO (1) WO2013147488A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150098094A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
US9894275B2 (en) 2014-02-11 2018-02-13 Samsung Electronics Co., Ltd. Photographing method of an electronic device and the electronic device thereof
KR102544747B1 (ko) * 2023-03-17 2023-06-20 주식회사 노비텍 복수개의 독립된 Ethernet 인터페이스를 지원하는 카메라

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6029003B2 (ja) * 2012-11-15 2016-11-24 パナソニックＩｐマネジメント株式会社 撮像装置
US8830367B1 (en) 2013-10-21 2014-09-09 Gopro, Inc. Frame manipulation to reduce rolling shutter artifacts
GB2520319A (en) * 2013-11-18 2015-05-20 Nokia Corp Method, apparatus and computer program product for capturing images
CN103841328B (zh) * 2014-02-27 2015-03-11 深圳市中兴移动通信有限公司 慢速快门拍摄方法和拍摄装置
US20150271471A1 (en) * 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
WO2015170503A1 (ja) * 2014-05-08 2015-11-12 ソニー株式会社 情報処理装置及び情報処理方法
CN105975046A (zh) * 2016-04-29 2016-09-28 乐视控股（北京）有限公司 拍照预览方法和装置
US9992467B2 (en) * 2016-06-30 2018-06-05 Apple Inc. Parallel computer vision and image scaling architecture
KR102176723B1 (ko) * 2016-09-23 2020-11-10 삼성전자주식회사 영상처리 장치, 디스플레이 장치, 및 그 제어방법
US10313594B2 (en) 2017-01-05 2019-06-04 Qualcomm Incorporated Dynamically configuring memory bandwidth for image generation
CN107592450B (zh) * 2017-08-30 2021-07-20 珠海豹趣科技有限公司 一种媒体数据处理方法及装置
KR102499033B1 (ko) 2018-01-31 2023-02-13 삼성전자주식회사 스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치
US11431941B2 (en) 2018-06-12 2022-08-30 Carl Zeiss Ag Method, apparatus, and system for processing digital images
US10681266B2 (en) * 2018-06-12 2020-06-09 Carl Zeiss Ag Method, apparatus, and system for processing digital images
CN108961165B (zh) * 2018-07-06 2021-03-09 北京百度网讯科技有限公司 用于加载图像的方法和装置
CN111726513A (zh) * 2019-03-19 2020-09-29 杭州海康威视数字技术股份有限公司 成像设备的变焦方法、装置及成像设备
CN110278373A (zh) * 2019-06-26 2019-09-24 Oppo广东移动通信有限公司 图像处理器、图像处理方法、拍摄装置和电子设备
US11223762B2 (en) 2019-12-06 2022-01-11 Samsung Electronics Co., Ltd. Device and method for processing high-resolution image
CN111428560B (zh) * 2020-02-20 2023-09-12 重庆创通联达智能技术有限公司 视频图像处理方法、装置、电子设备及存储介质
CN111970451B (zh) * 2020-08-31 2022-01-07 Oppo（重庆）智能科技有限公司 图像处理方法、图像处理装置及终端设备
CN114500819B (zh) * 2020-10-23 2023-09-15 北京小米移动软件有限公司 拍摄方法、拍摄装置以及计算机可读存储介质
US11961206B2 (en) * 2021-09-09 2024-04-16 Samsung Electronics Co., Ltd. Image generation using non-linear scaling and tone-mapping based on cubic spline curves
CN116709042A (zh) * 2022-02-24 2023-09-05 荣耀终端有限公司 一种图像处理方法和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060086294A (ko) * 2005-01-25 2006-07-31 샤프 가부시키가이샤 휘도 레벨 변환장치, 휘도 레벨 변환방법, 고체 촬상장치,휘도 레벨 변환 프로그램, 및 기록매체
KR20080067963A (ko) * 2007-01-17 2008-07-22 소니 가부시끼가이샤 고체 상태 촬상 장치 및 촬상 장치
JP2010074266A (ja) * 2008-09-16 2010-04-02 Nikon Corp デジタルカメラ
KR20100118458A (ko) * 2009-04-28 2010-11-05 엘지전자 주식회사 이미지 처리 방법 및 이를 적용한 카메라가 장착된 이동 통신 단말기
KR20100136404A (ko) * 2009-06-18 2010-12-28 삼성전자주식회사 디지털 카메라 셔터 랙을 감소시키는 장치 및 방법
KR20110051344A (ko) * 2009-11-10 2011-05-18 삼성전자주식회사 셔터-딜레이를 줄이기 위한 카메라 모듈

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060197849A1 (en) * 2005-03-02 2006-09-07 Mats Wernersson Methods, electronic devices, and computer program products for processing images using multiple image buffers
US7620304B2 (en) * 2006-04-24 2009-11-17 Hewlett-Packard Development Company, L.P. Method and apparatus for reducing shutter lag in a digital imaging device
US8068140B2 (en) * 2006-08-07 2011-11-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Still image stabilization suitable for compact camera environments
US7948526B2 (en) * 2006-11-14 2011-05-24 Casio Computer Co., Ltd. Imaging apparatus, imaging method and program thereof
KR100831661B1 (ko) * 2006-12-06 2008-05-22 삼성전자주식회사 이미지 센서를 구비하는 촬영 장치와 그 사진 촬영 방법
JP2008283629A (ja) * 2007-05-14 2008-11-20 Sony Corp 撮像装置、撮像信号処理方法、プログラム
JP4720859B2 (ja) * 2008-07-09 2011-07-13 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム
US8681236B2 (en) * 2009-06-18 2014-03-25 Samsung Electronics Co., Ltd. Apparatus and method for reducing shutter lag of a digital camera
US8897602B2 (en) * 2009-07-22 2014-11-25 Aptina Imaging Corporation Imaging system with multiframe scaler
KR101106296B1 (ko) * 2009-11-26 2012-01-18 삼성전자주식회사 손떨림 보정 방법 및 이를 적용한 촬영 장치
US8446484B2 (en) * 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
TWI418210B (zh) * 2010-04-23 2013-12-01 Alpha Imaging Technology Corp 避免快門延遲之影像擷取模組及影像擷取方法
US20120033103A1 (en) * 2010-08-05 2012-02-09 Apple Inc. Raw-Split Mode Image Capture
TWI459814B (zh) * 2011-09-28 2014-11-01 Altek Corp 可自動切換記憶體時脈之影像擷取裝置及其控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060086294A (ko) * 2005-01-25 2006-07-31 샤프 가부시키가이샤 휘도 레벨 변환장치, 휘도 레벨 변환방법, 고체 촬상장치,휘도 레벨 변환 프로그램, 및 기록매체
KR20080067963A (ko) * 2007-01-17 2008-07-22 소니 가부시끼가이샤 고체 상태 촬상 장치 및 촬상 장치
JP2010074266A (ja) * 2008-09-16 2010-04-02 Nikon Corp デジタルカメラ
KR20100118458A (ko) * 2009-04-28 2010-11-05 엘지전자 주식회사 이미지 처리 방법 및 이를 적용한 카메라가 장착된 이동 통신 단말기
KR20100136404A (ko) * 2009-06-18 2010-12-28 삼성전자주식회사 디지털 카메라 셔터 랙을 감소시키는 장치 및 방법
KR20110051344A (ko) * 2009-11-10 2011-05-18 삼성전자주식회사 셔터-딜레이를 줄이기 위한 카메라 모듈

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9894275B2 (en) 2014-02-11 2018-02-13 Samsung Electronics Co., Ltd. Photographing method of an electronic device and the electronic device thereof
KR20150098094A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
KR102544747B1 (ko) * 2023-03-17 2023-06-20 주식회사 노비텍 복수개의 독립된 Ethernet 인터페이스를 지원하는 카메라

Also Published As

Publication number Publication date
AU2013201746B2 (en) 2015-12-03
AU2013201746A1 (en) 2013-10-17
WO2013147488A1 (en) 2013-10-03
CN103369239A (zh) 2013-10-23
US20130258136A1 (en) 2013-10-03
EP2645703A2 (en) 2013-10-02
RU2014143240A (ru) 2016-05-20
KR101893406B1 (ko) 2018-08-30
EP2645703A3 (en) 2015-01-28

Similar Documents

Publication Publication Date Title
KR101893406B1 (ko) 카메라의 이미지처리 장치 및 방법
EP2654288B1 (en) Image processing apparatus and method of camera
KR101899851B1 (ko) 이미지 처리 장치 및 방법
US10616511B2 (en) Method and system of camera control and image processing with a multi-frame-based window for image data statistics
US8446484B2 (en) Image processing architecture with pre-scaler
US7415166B2 (en) Image processing device
US8102436B2 (en) Image-capturing apparatus and method, recording apparatus and method, and reproducing apparatus and method
KR101953614B1 (ko) 카메라장치의 이미지처리장치 및 방법
EP2629503B1 (en) Apparatus and method for transmitting a frame image of a camera
KR101921935B1 (ko) 카메라의 동영상 촬영장치 및 방법.
US8264587B2 (en) Increasing frame rate for imaging
KR101931631B1 (ko) 카메라 장치의 이미지 부호화장치 및 방법
KR102058860B1 (ko) 카메라의 이미지 처리 장치 및 방법
JP2006033123A (ja) 撮像装置
JP6118118B2 (ja) 撮像装置およびその制御方法
US10244199B2 (en) Imaging apparatus
KR101652117B1 (ko) 디지털 카메라 셔터 랙을 감소시키는 장치 및 방법
US20130100313A1 (en) Image processing device and storage medium storing image processing program
JP2016129284A (ja) 撮像装置
JP2006094134A (ja) 撮像装置
JP2012028836A (ja) 画像処理装置およびそれを用いた撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right