KR20130116796A - Apparatus and mehod for processing a image in camera device - Google Patents
Apparatus and mehod for processing a image in camera device Download PDFInfo
- Publication number
- KR20130116796A KR20130116796A KR1020130005222A KR20130005222A KR20130116796A KR 20130116796 A KR20130116796 A KR 20130116796A KR 1020130005222 A KR1020130005222 A KR 1020130005222A KR 20130005222 A KR20130005222 A KR 20130005222A KR 20130116796 A KR20130116796 A KR 20130116796A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camera
- display
- output
- post
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
본 발명은 카메라의 이미지처리 장치 및 방법에 관한 것으로, 특히 셔터 지연을 보상할 수 있는 이미지처리 장치 및 방법에 관한 것이다.The present invention relates to an image processing apparatus and method of a camera, and more particularly, to an image processing apparatus and method capable of compensating for a shutter delay.
카메라 장치 및 카메라를 포함하는 휴대단말 장치는 고화질 이미지를 제공하며, 또한 다양한 사용자 편의 기능을 제공하고 있다. 현재 카메라 장치의 이미지 센서(image sensor 또는 카메라 센서라 칭할 수도 있다)는 풀 HD급 이상의 해상도(full High Definition resolution)를 가지는 이미지들을 센싱할 수 있다. A mobile terminal device including a camera device and a camera provides high quality images and also provides various user convenience functions. An image sensor (also referred to as an image sensor or a camera sensor) of a current camera device may sense images having a full high definition resolution.
이때 상기 카메라 장치는 프리뷰 모드에서 카메라로부터 감지되는 이미지로 프리뷰 이미지(preview image)를 표시하고, 사용자가 셔터 버튼(shutter button)을 누르면 상기 카메라 센서에서 획득되는 이미지를 저장한다. 이때, 사용자가 셔터 버튼을 누르면(shutter on), 카메라에서 이미지를 센싱하여 캡쳐(capture)하기까지 지연 시간(shutter delay 또는 shutter lag)이 존재한다. 즉, 사용자의 셔터 온 시점으로부터 카메라 센서가 피사체를 촬영하는 시점까지의 시간 차가 존재하며, 이런 시간 차는 피사체의 촬영환경 및 이미지처리장치의 처리 시간 등에 의해 발생될 수 있다. 따라서 사용자는 셔터 딜레이(셔터 렉)에 의해 원하는 시점에서의 이미지를 획득할 수 없었던 문제점이 있었다. In this case, the camera device displays a preview image as an image detected by the camera in the preview mode, and stores the image acquired by the camera sensor when the user presses the shutter button. At this time, when the user presses the shutter button (shutter on), there is a delay time (shutter delay or shutter lag) until the camera senses and captures the image. That is, there is a time difference from the user's shutter-on time point to the time when the camera sensor photographs the subject, and this time difference may be generated by the photographing environment of the subject and the processing time of the image processing apparatus. Therefore, the user was unable to acquire an image at a desired time point due to the shutter delay (shutter lag).
또한 상기 이미지를 캡쳐하는 시점에서, 카메라가 흔들렸거나 또는 피사체의 인물이 눈을 감는 등의 불필요한 동작이 촬영된 경우, 상기 캡쳐된 이미지를 수정하는데 한계가 있으며, 이런 경우 촬영시의 상황은 다시 재현할 수가 없으므로, 카메라 촬영의 한계를 가지는 문제점이 있었다In addition, at the time of capturing the image, when an unnecessary motion such as a camera shake or a person of the subject is closed is captured, there is a limit to correcting the captured image. Since it could not be reproduced, there was a problem with the limitation of camera photography.
따라서 본 발명은 카메라장치 또는 카메라를 포함하는 단말장치에서 셔터 지연없이 촬영 시점의 이미지를 캡쳐할 수 있는 장치 및 방법을 제안한다.Accordingly, the present invention proposes an apparatus and method capable of capturing an image of a photographing time point without a shutter delay in a camera apparatus or a terminal apparatus including a camera.
이를 위하여 본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 카메라로부터 획득되는 이미지를 처리하여 매 프레임에서 복수의 이미지들을 생성하고, 생성되는 이미지들을 각각 프리뷰 이미지 및 캡쳐 이미지로 사용할 수 있는 장치 및 방법을 제안한다. To this end, a camera apparatus or a terminal apparatus including a camera according to an embodiment of the present invention may process an image obtained from a camera to generate a plurality of images in each frame, and use the generated images as a preview image and a captured image, respectively. Propose a device and method.
또한 본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 매 프레임에서 카메라로부터 획득되는 이미지를 프리뷰 이미지로 생성 및 캡쳐용 이미지로 버퍼링하고, 프리뷰모드 시 프리뷰 이미지를 표시하며 캡쳐 이미지를 버퍼링하고, 캡쳐요구시 상기 표시이미지 및 버퍼링된 캡쳐이미지를 시분할 처리하여 셔터지연이 보상된 캡쳐이미지를 저장할 수 있는 장치 및 방법을 제안한다.In addition, a camera apparatus or a terminal apparatus including a camera according to an embodiment of the present invention generates an image obtained from the camera in every frame as a preview image and buffers it as an image for capturing, displays a preview image in preview mode, and captures a captured image. The present invention proposes an apparatus and method for buffering and storing a captured image compensated for shutter delay by time-dividing the display image and the buffered captured image upon capture request.
본 발명의 실시예에 따른 이미지 처리장치가, 카메라 이미지를 스케일링하여 표시이미지로 변환하는 이미지스케일러와, 상기 카메라 이미지를 버퍼링하는 버퍼와, 상기 이미지스케일러 및 버퍼의 출력을 다중화하는 다중화부와, 상기 다중화부의 출력 이미지를 처리하는 이미지처리부와, 상기 이미지처리부의 출력을 역다중화하여 표시이미지를 표시부에 출력하는 역다중화부와, 상기 역다중화부에서 출력되는 카메라 이미지를 부호화하여 캡쳐이미지로 출력하는 코덱으로 구성되며, 캡쳐 모드시 상기 다중화부 및 역다중화부를 시분할 제어하여 프레임 구간에서 상기 이미지처리부가 표시이미지 및 카메라 이미지를 순차적으로 처리하도록 제어하는 제어부로 구성된 것을 특징으로 한다.An image processing apparatus according to an embodiment of the present invention, an image scaler for scaling a camera image into a display image, a buffer for buffering the camera image, a multiplexer for multiplexing the output of the image scaler and the buffer, An image processor which processes the output image of the multiplexer, a demultiplexer which demultiplexes the output of the image processor, and outputs a display image to the display unit, and a codec which encodes a camera image output from the demultiplexer and outputs it as a captured image The control unit is configured to control the image processing unit to sequentially process the display image and the camera image in the frame section by time-division control of the multiplexer and the demultiplexer in the capture mode.
또한 본 발명의 실시예에 따른 카메라 이미지의 처리방법이, 프리뷰모드시 이미지처리부를 표시이미지 처리 경로로 제어하여 카메라 이미지를 버퍼링하고, 상기 이미지를 표시이미지로 변환하여 처리 및 표시하는 표시이미지 처리과정과, 캡쳐 모드시 프레임 구간에서 상기 이미지처리부를 시분할 제어하여 표시이미지 처리 경로 및 캡쳐 이미지 처리 경로를 순차적으로 설정하며, 표시이미지 처리경로시 상기 표시이미지 처리과정을 수행하며, 상기 캡쳐 이미지 처리 경로가 설정되면 버퍼링된 카메라 이미지에서 설정된 프레임의 카메라 이미지를 선택하여 처리하는 캡쳐 이미지 처리과정을 수행하는 것을 특징으로 한다.In addition, in the method of processing a camera image according to an embodiment of the present invention, a display image processing process of controlling the image processing unit to a display image processing path in the preview mode to buffer the camera image, converting the image into a display image, and processing and displaying the image. And time divisionally controlling the image processor in the frame mode in the capture mode to sequentially set the display image processing path and the capture image processing path, and perform the display image processing process in the display image processing path. If set, the capture image processing process of selecting and processing the camera image of the set frame from the buffered camera image is performed.
또한 본 발명의 실시예에 따른 카메라장치가, 카메라 구동시 동작되어 풀해상도 이미지를 발생하는 카메라와, 표시이미지를 표시하는 표시부와, 프리뷰 모드 및 캡쳐모드 신호를 발생하는 입력부와, 캡쳐이미지를 저장하는 저장부와, 프리뷰모드 신호 감지시 표시이미지 처리 경로 설정을 제어하며, 상기 캡쳐모드 신호 감지시 프레임 구간을 시분할 제어하여 상기 표시이미지 처리 경로 및 캡쳐이미지 처리 경로를 순차적으로 설정하는 제어부와, 상기 제어부의 제어에 의해 프리뷰모드시 표시이미지 처리 경로를 설정하여 상기 카메라 이미지를 버퍼링 및 표시이미지로 변환 및 처리하여 상기 표시부에 출력하며, 캡쳐모드시 프레임 구간에서 상기 표시이미지 처리 경로를 설정하여 상기 카메라 이미지를 버퍼링 및 표시이미지 변환 및 처리하여 상기 표시부에 출력한 후, 상기 캡쳐 이미지 경로를 설정하여 버퍼링된 카메라 이미지에서 설정된 프레임의 카메라를 억세스 및 처리하여 캡쳐 이미지로 압축 부호화한 후 상기 저장부에 출력하는 이미지처리부로 구성된 것을 특징으로 한다.In addition, the camera device according to an embodiment of the present invention, the camera is operated when driving the camera to generate a full resolution image, the display unit for displaying the display image, the input unit for generating the preview mode and capture mode signal, and stores the captured image A storage unit configured to control the display image processing path setting when the preview mode signal is detected, and to sequentially set the display image processing path and the captured image processing path by time-dividing the frame section when the capture mode signal is detected; Under the control of the control unit, a display image processing path is set in the preview mode, and the camera image is converted into a buffer and a display image, and the image is output to the display unit. In the capture mode, the display image processing path is set in the frame section. Buffer and display images to convert and process images After outputting to the display unit, the image processing unit is configured to access and process the camera of the frame set in the buffered camera image by setting the captured image path, compression-encoded into a captured image and output to the storage unit.
또한 본 발명의 실시예에 따른 휴대단말 장치가, 카메라 구동시 동작되어 풀해상도 이미지를 발생하는 카메라와, 표시이미지를 표시하는 표시부와, 프리뷰 모드 및 캡쳐모드 신호를 발생하는 입력부와, 캡쳐이미지를 저장하는 저장부와, 상기 휴대단말장치의 어플리케이션들을 처리하며, 상기 카메라의 프리뷰모드 신호 감지시 표시이미지 처리 경로 설정을 제어하며, 상기 캡쳐모드 신호 감지시 프레임 구간을 시분할 제어하여 상기 표시이미지 처리 경로 및 캡쳐이미지 처리 경로를 순차적으로 설정하는 어플리케이션처리부와, 통신부를 제어하여 장치의 통신 기능을 수행하며, 상기 어플리케이션처리부와 통신하는 단말제어부와, 상기 어플리케이션처리부의 제어에 의해 프리뷰모드시 표시이미지 처리 경로를 설정하여 상기 카메라 이미지를 버퍼링 및 표시이미지로 변환 및 처리하여 상기 표시부에 출력하며, 캡쳐모드시 프레임 구간에서 상기 표시이미지 처리 경로를 설정하여 상기 카메라 이미지를 버퍼링 및 표시이미지 변환 및 처리하여 상기 표시부에 출력한 후, 상기 캡쳐 이미지 경로를 설정하여 버퍼링된 카메라 이미지에서 설정된 프레임의 카메라를 억세스 및 처리하여 캡쳐 이미지로 압축 부호화한 후 상기 저장부에 출력하는 이미지처리부로 구성된 것을 특징으로 한다.In addition, the portable terminal device according to an embodiment of the present invention, the camera is operated when the camera generates a full resolution image, the display unit for displaying the display image, the input unit for generating the preview mode and capture mode signal, and capture the image And a storage unit to store and process the applications of the portable terminal device, to control the setting of the display image processing path when the preview mode signal is detected by the camera, and to time-division control the frame section when the capture mode signal is detected. And an application processor configured to sequentially set a capture image processing path, a communication unit to perform a communication function of the device, and a terminal controller to communicate with the application processor, and a display image processing path in the preview mode under the control of the application processor. Buffer the camera image by setting And converting and processing the display image into the display unit, and setting the display image processing path in the frame section in the capture mode, buffering and processing the camera image, converting and processing the display image, and outputting the captured image to the display unit. And an image processor configured to access and process a camera of a frame set in a buffered camera image by setting a path, compressing and encoding the captured image into a captured image, and outputting the compressed image to the storage unit.
본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 매 프레임에서 카메라 센서로부터 획득되는 이미지를 처리하여 프리뷰 및 캡쳐 이미지를 생성하고, 촬영되는 이미지를 원하는 시점에서 캡쳐하여 제로 셔터렉을 구현할 수 있으며, 또한 촬영된 이미지들 중에서 원하는 이미지를 선택하여 저장할 수 있는 이점이 있다. 또한 카메라장치 및 카메라를 포함하는 단말장치에서 캡쳐 이미지 및 프리뷰 이미지를 시분할 처리하여 생성하므로써, 이미지를 처리하는 구성을 상대적으로 간단하게 구성할 수 있으며, 이로인해 카메라장치 및 카메라를 구비하는 단말장치에서 소모전력을 절약할 수 있는 이점이 있다.The camera device or the terminal device including the camera according to an embodiment of the present invention processes the image obtained from the camera sensor in every frame to generate a preview and a captured image, and captures the captured image at a desired time point to generate a zero shutter rack. In addition, there is an advantage in that the desired image can be selected and stored among the photographed images. Also, by time-division processing of the captured image and the preview image in the camera apparatus and the terminal apparatus including the camera, the configuration of processing the image can be relatively simple. There is an advantage to save power consumption.
도 1은 본 발명의 실시예에 따른 카메라 장치의 구성을 도시하는 도면
도 2a - 도 2d는 본 발명의 제1실시예에 따른 이미지처리부의 구성을 도시하는 도면
도 3a 및 도 3b는 이미지처리부의 이미지 스케일러를 평균화부로 구성할 때, 평균화부의 동작을 설명하기 위한 도면
도 4a - 도 4c는 본 발명의 제2실시예에 따른 이미지처리부의 구성을 도시하는 도면
도 5는 도 4a - 도 4c와 같은 구성을 가지는 이미지처리부에가 선택된 동작 클럭에 따라 이미지를 처리하는 동작을 설명하기 위한 도면
도 6a - 도 6c는 본 발명의 제3실시예에 따른 이미지처리부의 구성을 도시하는 도면
도 7a - 도 7c는 도 6a - 도 6c와 같은 구성을 가지는 이미지처리부의 동작을 설명하기 위한 도면
도 8a - 도 8c는 본 발명의 제4실시예에 따른 이미지처리부의 구성을 도시하는 도면
도 9는 도 8a - 도 8c와 같은 구성을 가지는 이미지처리부의 동작을 설명하기 위한 도면
도 10a 및 도 10b는 본 발명의 실시예에 따른 이미지처리부의 구체적인 구성 예를 도시하는 도면
도 11은 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치의 이미지 처리 방법을 도시하는 흐름도
도 12a - 도 12d는 본 발명의 실시예에 다른 카메라장치 또는 카메라를 구비하는 휴대단말기에서 표시 이미지를 처리하는 절차를 도시하는 흐름도
도 13은 도 12a - 도 12d에서 표시이미지를 생성하는 스케일링 과정 및 표시이미지를 후처리하여 표시하는 절차를 도시하는 흐름도
도 14 - 도 17은 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 휴대단말기에서 캡쳐 이미지를 처리하는 절차를 도시하는 흐름도
도 18은 본 발명의 실시예에 따른 카메라를 구비하는 휴대단말장치의 구성을 도시하는 도면1 is a view showing a configuration of a camera device according to an embodiment of the present invention;
2A to 2D are diagrams showing the configuration of an image processing unit according to the first embodiment of the present invention.
3A and 3B are diagrams for describing an operation of an averaging unit when the image scaler of the image processing unit is configured as an averaging unit.
4A to 4C are diagrams showing the configuration of an image processing unit according to the second embodiment of the present invention.
FIG. 5 is a diagram for describing an operation of processing an image according to an operation clock selected by an image processing unit having the configuration as illustrated in FIGS. 4A to 4C.
6A to 6C are diagrams showing the configuration of an image processing unit according to the third embodiment of the present invention.
7A to 7C are diagrams for describing an operation of an image processing unit having a configuration as illustrated in FIGS. 6A to 6C.
8A to 8C are diagrams showing the configuration of an image processing unit according to a fourth embodiment of the present invention.
9 is a view for explaining an operation of an image processing unit having the configuration as shown in FIGS. 8A to 8C.
10A and 10B show an example of a specific configuration of an image processing unit according to an embodiment of the present invention.
11 is a flowchart illustrating an image processing method of a camera apparatus or a terminal apparatus having a camera according to an embodiment of the present invention.
12A to 12D are flowcharts illustrating a procedure of processing a display image in a camera device or a portable terminal having a camera according to an embodiment of the present invention.
FIG. 13 is a flowchart illustrating a scaling process of generating a display image and a process of post-processing and displaying a display image in FIGS. 12A to 12D;
14 to 17 are flowcharts illustrating a procedure of processing a captured image in a camera device or a portable terminal including a camera according to an embodiment of the present invention.
18 is a diagram showing the configuration of a portable terminal apparatus having a camera according to an embodiment of the present invention.
이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. It should be noted that the same configurations of the drawings denote the same reference numerals as possible whenever possible.
또한, 하기 설명에서는 카메라의 화소수, 프레임 율 등과 같은 구체적인 특정 사항들이 나타내고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 상세한 설명을 생략한다.
In addition, in the following description, specific details such as the number of pixels of the camera, the frame rate, etc. are shown, which are provided to help a more general understanding of the present invention, and the present invention may be practiced without these specific matters. It is self-evident to those of ordinary knowledge in Esau. In the following description of the present invention, detailed descriptions of related well-known functions or configurations will be omitted when it is determined that the detailed descriptions may unnecessarily obscure the subject matter of the present invention.
본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치는 카메라 구동시(예를들면 preview mode) 카메라센서로부터 획득되는 매 프레임의 이미지를 처리하여 프리뷰 표시 또는 동영상 저장을 위한 이미지(이하 표시이미지라 칭한다) 및 정지이미지(still image)로 저장하기 위한 이미지(이하 캡쳐 이미지라 칭한다)를 생성한다. 여기서 상기 표시이미지는 상기 캡쳐이미지보다 작은 크기를 가진다. 이런 경우, 카메라 구동시, 카메라장치는 매 프레임 주기에서 카메라로부터 이미지를 획득하여 버퍼링한다. 그리고 상기 카메라장치 또는 카메라를 구비하는 단말장치는 프리뷰모드이면 카메라에서 획득되는 이미지를 표시이미지로 변환 및 처리하여 표시하며, 캡쳐 모드이면 버퍼링된 이미지들 중에서 셔터 지연을 보상하는 이미지를 선택하여 캡쳐이미지로 처리한다. 일반적으로 카메라장치는 셔터 온 시점에서 카메라가 이미지 획득까지의 지연시간(셔터 지연, 셔터렉)을 가진다. 따라서 본 발명의 실시예에 따른 카메라장치는 표시이미지와 독립적으로 카메라의 풀 해상도 이미지를 일시 저장하기 위한 버퍼를 구비하며, 카메라 구동시 상기 버퍼에 카메라에서 촬영되는 이미지들을 버퍼링한다. 그리고 캡쳐 요구시 버퍼링 중인 프레임 이미지들 중에서 캡쳐 요구 시간의 프레임 이미지를 선택하여 처리하므로써 제로 셔터렉(zero shutter lag)을 구현할 수 있다. 본 발명의 실시예에서 상기 버퍼는 설정된 수의 프레임 이미지들을 저장할 수 있는 크기로 구성할 있으며, 상기 셔터렉을 없앨 수 있는 정도의 프레임 크기로 갖도록 설정하면 된다. 예를들어 카메라장치 또는 카메라를 구비하는 단말장치에서 셔터렉이 2프레임 전후라고 가정하면, 상기 버퍼는 5프레임 정도의 프레임 이미지를 저장할 수 있는 크기로 설정할 수 있다. 이하의 설명에서 카메라 이미지라는 용어는 카메라에서 획득되는 이미지를 의미하는 용어로, 카메라 이미지의 사이즈(화소수)는 카메라110의 이미지 센서(획득되는 화소수)에 의해 결정된다. 또한 표시이미지라는 용어는 프리뷰모드에서 표시부에 표시되는 이미지 또는 동영상 저장을 위한 이미지로써, 상기 카메라에서 획득되는 이미지를 설정된 크기(또는 해상도)로 스케일링된 이미지를 의미한다. 여기서 상기 표시이미지의 경우, 프리뷰 이미지 및 동영상 이미지의 해상도(크기)가 같을 수 있으며, 또한 서로 다른 크기(해상도)를 가질 수 있다. 그리고 캡쳐 이미지라는 용어는 정지 이미지(still image)로 저장하기 위한 이미지로써, 상기 카메라 이미지 또는 상기 카메라에서 획득된 이미지를 설정된 크기로 스케일링하는 이미지가 될 수 있다. 본 발명의 실시예에서 상기 캡쳐이미지는 상기 카메라 이미지인 경우를 가정하여 설명될 것이다. A camera device or a terminal device having a camera according to an embodiment of the present invention processes an image of every frame obtained from a camera sensor when the camera is driven (for example, a preview mode) to display a preview image or an image for storing a video. And an image (hereinafter referred to as a capture image) for storage as a still image. The display image has a smaller size than the captured image. In this case, when driving the camera, the camera device acquires and buffers an image from the camera at every frame period. In the preview mode, the camera apparatus or the terminal apparatus including the camera converts and displays an image acquired from the camera into a display image, and in the capture mode, selects an image that compensates for a shutter delay from among the buffered images and selects a captured image. To be processed. In general, the camera device has a delay time (shutter delay, shutter lag) from the shutter-on time until the camera acquires an image. Therefore, the camera apparatus according to the embodiment of the present invention includes a buffer for temporarily storing a full resolution image of the camera independently of the display image, and buffers the images photographed by the camera in the buffer when the camera is driven. When the capture request is performed, a zero shutter lag may be realized by selecting and processing a frame image having a capture request time from among the frame images being buffered. In an embodiment of the present invention, the buffer may be configured to a size capable of storing a predetermined number of frame images, and may be set to have a frame size such that the shutter can be eliminated. For example, in a camera apparatus or a terminal apparatus having a camera, it is assumed that the shutter rack is about 2 frames, and the buffer may be set to a size capable of storing a frame image of about 5 frames. In the following description, the term camera image refers to an image acquired by the camera, and the size (pixel count) of the camera image is determined by the image sensor (pixel count acquired) of the
또한 이미지 스케일링이라는 용어는 상기 카메라 이미지를 설정된 크기(또는 해상도)로 조절하는 것을 의미한다. 본 발명의 실시예에서 상기 이미지스케일링은 리사이징 또는 가산 및 평균 방법으로 구현할 수 있다. 여기서 상기 리사이징은 이미지를 데시메이션, 인터폴레이션 및 크롭하여 이미지 크기를 조절하는 방법을 의미한다. 그리고 가산 및 평균화 방법은 인접한 화소들을 하나의 화소로 생성하여 화소수를 조절하는 방법을 의미하며, 상기 평균화 동작을 수행한 후 상기 데시메이션, 인터폴레이션 및 크롭 등을 수행할 수도 있다.In addition, the term image scaling refers to adjusting the camera image to a predetermined size (or resolution). In an embodiment of the present invention, the image scaling may be implemented by a resizing or adding and averaging method. Here, the resizing means a method of adjusting the image size by decimating, interpolating, and cropping the image. The adding and averaging method is a method of adjusting the number of pixels by generating adjacent pixels as one pixel, and may perform the decimation, interpolation and cropping after performing the averaging operation.
이하의 설명에서 전처리부 및 후처리부는 영상처리부라는 용어로 병행되어 사용될 것이다. 도 1은 본 발명의 실시예에 따른 카메라 장치의 구성을 도시하는 도면이다. In the following description, the preprocessor and the post processor will be used in parallel with the term image processor. 1 is a diagram showing a configuration of a camera apparatus according to an embodiment of the present invention.
상기 도 1을 참조하면, 카메라110은 카메라 구동시 내부의 센서를 통해 이미지를 획득하는 기능을 수행한다. 상기 카메라110은 광학부, 이미지 센서 및 신호처리부 등을 구비할 수 있다. 상기 광학부는 mecha-shutter, 모터 및 액츄에이터에 의해 구동되며, 상기 액츄에이터에 의해 주밍(zooming) 및 포커싱(focusing) 등의 동작을 수행한다. 상기 광학부는 주변의 이미지를 촬상하며, 이미지센서는 상기 광학부에 의해 촬상되는 이미지를 감지하여 전기적인 신호로 변환한다. 여기서 상기 이미지 센서은 CMOS 또는 CCD센서가 될 수 있으며, 고해상도의 이미지 센서가 될 수 있다. 카메라의 이미지 센서는 global shutter를 내장할 수도 있다. 상기 Global shutter는 센서에 내장된 메카셔터와 유사한 기능을 수행한다. 그리고 카메라110은 viewfinder가 구비할 수도 있다. 본 발명의 실시예에서 상기 이미지 센서는 UHD(Ultra High Definition)급 이상의 이미지를 감지할 수 있는 센서가 될 수 있다. 그리고 상기 이미지센서에서 출력되는 이미지는 신호처리부를 통해 디지털 이미지로 변환되어 출력된다. 상기 카메라110에서 출력데이터는 Bayer data(raw data)가 될 수 있다. Referring to FIG. 1, the
이미지처리부120은 상기 카메라110에서 출력되는 프레임 이미지들을 버퍼링하며, 프리뷰모드시 상기 카메라110에서 출력되는 프레임 이미지를 표시이미지 크기로 스케일링 및 처리하며, 캡쳐모드시 상기 버퍼링된 프레임 이미지들 중에서 설정된 프레임 이미지를 선택 및 압축 부호화하여 출력한다. 여기서 상기 압축부호화되는 이미지는 제로 셔터렉을 가지는 프레임의 이미지가 될 수 있다. The
제어부100은 본 발명의 실시예에 따른 카메라장치의 전반적인 동작을 제어한다. 상기 제어부100은 입력부150을 통해 입력되는 제어명령에 따라 카메라장치의 동작을 제어한다. 상기 입력부150을 통해 카메라 구동명령이 발생되면, 상기 카메라110 및 이미지처리장치 120을 제어하여 프리뷰 모드의 동작을 수행한다. 그리고 입력부150을 통해 캡쳐 요구가 발생되면, 상기 제어부100의 제어하에 이미지처리부120은 캡쳐요구가 발생된 시점의 카메라이미지를 선택하여 압축 부호화하며, 상기 압축부호화된 이미지는 저장부130에 저장된다. 특히 본 발명의 실시예에서 상기 제어부100은 프리뷰모드시 상기 이미지처리부120을 제어하여 표시이미지를 처리하도록 제어하며, 캡쳐 모드시 상기 이미지처리부120의 처리를 시분할 제어하여 표시이미지 및 캡쳐이미지를 표시 및 저장할 수 있도록 제어한다.The
저장부130은 카메라장치에서 촬영되는 이미지들을 저장하는 메모리로써, 본 발명의 실시예에서는 정지이미지를 저장하는 것을 예로들어 설명될 것이지만, 동영상 이미지들도 저장할 수 있다. 표시부140은 LCD 또는 OLED 등과 같은 표시장치가 될 수 있으며, 카메라장치에서 촬영되는 이미지들 및 촬영중의 정보들을 표시하는 기능을 수행한다. 상기 입력부150은 카메라장치의 각 기능들의 설정 및 동작을 수행하기 위한 명령어들을 발생하는 버튼들로 구성될 수 있다. 여기서 상기 입력부150의 버튼은 카메라장치의 외부에 버튼 형태로 설정될 수 있으며, 일부 버튼들은 터치패널로 구성할 수도 있다. 이런 경우, 상기 표시부140 및 입력부150의 일부 버튼들은 터치스크린 형태로 구성할 수 있다. The
상기 도 1과 같은 구성을 가지는 카메라장치에서 이미지처리부120은 캡쳐 요구시 표시이미지 및 캡쳐이미지를 시분할하여 처리한다. 이를 위하여 본 발명의 실시예에 따른 이미지처리부120은 1프레임 구간에서 표시이미지 및 캡쳐이미지를 시분할하여 처리한다. 상기 이미지처리부120에서 카메라110으로부터 획득되는 이미지를 처리하는 영상처리부는 전처리부 및 후처리부로 구성할 수 있다. 그리고 상기 표시이미지를 생성하기 위하여 이미지스케일러를 구비하며, 제로셔터렉을 수행하기 위하여 설정된 수의 프레임 이미지들을 버퍼링하는 버퍼를 구비할 수 있다. 이때 상기 이미지처리부120은 상기와 같은 구성요소들을 다양한 형태로 구성하여 상기 표시이미지 및 캡쳐이미지를 시분할하여 처리할 수 있다.In the camera device having the configuration as shown in FIG. To this end, the
도 2a - 도 2d는 본 발명의 제1실시예에 따른 이미지처리부120의 구성을 도시하는 도면이다. 여기서 도 2a는 카메라110으로부터 획득되는 이미지를 먼저 전처리한 후 이를 표시이미지로 처리하고 이를 캡쳐이미지로 버퍼링하며, 이후 상기 전처리 이미지 및 버퍼링된 전처리이미지를 각각 표시이미지 및 캡쳐이미지로 시분할 처리하는 예의 구성을 도시하는 도면이다. 도 2b는 카메라110으로부터 획득되는 이미지를 버퍼링하는 동시에 표시이미지로 스케일링하여 시분할 처리하는 예의 구성을 도시하는 도면이다. 그리고 도 2c 및 도 2d는 상기 카메라110으로부터 획득되는 이미지를 버퍼링한 후, 버퍼링된 이미지를 시분할하여 표시이미지 및 캡쳐이미지로 처리하는 예의 구성을 도시하는 도면이다. 2A to 2D are diagrams showing the configuration of the
먼저 상기 도 2a를 참조하면, 전처리부210은 상기 카메라110에서 출력되는 이미지를 전처리하는 기능을 수행한다. 여기서 상기 전처리 기능은 3A(AWB(auto white balance), AE(auto exposure), AF(Auto focusing)) 추출 및 처리, 렌즈 셰이딩 보상(lens shading correction), 데드픽셀 보정(dead pixel correction), knee 보정 등이 될 수 있다. 여기서 상기 전처리부210은 상기 제어부100의 제어하에 표시이미지 또는 캡쳐이미지를 전처리할 수 있어야 한다. 즉, 상기 전처리부210은 카메라110에서 획득되는 이미지(카메라의 이미지센서에 센싱되는 카메라의 풀해상도 이미지)를 전처리하며, 상기 전처리부210에서 전처리된 이미지는 스케일러220에 인가되는 동시에 버퍼240에 인가되어 버퍼링된다. First, referring to FIG. 2A, the
스케일러220은 상기 전처리부210에서 출력되는 카메라110의 풀 해상도 이미지를 표시부140에 표시하기 위한 크기로 스케일링한다. 여기서 상기 이미지 스케일링은 리사이즈(resize), 데시메이션(decimation), 인터폴레이션(interpolation), 크롭(crop), 가산 및 평균 등의 다양한 방법들 중에 한 가지 또는 두개 이상의 방법을 사용하여 구현할 수 있다. 상기 이미지 스케일링은 카메라110에서 획득되는 풀 해상도 이미지의 화소수를 줄여 표시부140에 표시할 수 있는 적정 크기로 스케일링하며, 또한 표시부140의 화면비에 맞도록 상기 이미지를 스케일링할 수 있다. 여기서 상기 이미지스케일링은 다양한 비율로 스케일링할 수 있다. 예를들어 카메라110에서 8Mbyte의 이미지를 획득하고, 상기 스케일링 비율이 4:1이라고 가정하면, 상기 스케일러220은 2Mbyte의 표시이미지 크기로 스케일링할 수 있다. The
버퍼240은 상기 전처리부210에서 출력되는 이미지를 버퍼링하며, 상기 제어부100의 제어하에 캡쳐모드에서 설정된 프레임의 카메라 이미지를 출력한다. 이때 버퍼240은 설정된 수의 프레임 이미지들을 버퍼링할 수 있다. 상기 버퍼240은 N 프레임의 이미지 데이터를 저장할 수 있는 N개의 링버퍼 구조를 가질 수 있다. 이런 경우, 상기 버퍼240은 상기 카메라110에서 출력되는 이미지들을 첫번째 버퍼에서부터 마지막 버퍼에 순차적으로 버퍼링하며, 마지막 버퍼까지 프레임 이미지 데이터가 버퍼링되면 다시 첫번째 버퍼에 프레임 이미지데이터를 오버라이트한다. 본 발명의 실시예에서는 상기 N은 5가 될 수 있으며, 이런 경우 상기 버퍼240의 링버퍼는 5 프레임의 이미지 데이터를 저장할 수 있는 구조를 가진다. 여기서 상기 설정된 이미지는 카메라장치의 셔터렉을 보상하는 프레임 이미지가 될 수 있다.The
다중화부250은 상기 버퍼240 및 스케일러220의 출력을 입력하며, 상기 제어부100의 제어하에 상기 스케일러220에서 출력되는 표시이미지 및/또는 상기 버퍼240에서 버퍼링된 버퍼링된 카메라 이미지를 선택하여 출력한다. 즉, 상기 다중화부250은 프리뷰 모드시 상기 제어부100의 제어하에 상기 스케일러220의 출력을 선택 출력한다. 그리고 캡쳐모드시 상기 다중화부250은 상기 제어부100의 제어하에 해당 프레임 구간(캡쳐이미지를 처리하는 프레임 구간)에서 상기 버퍼240에서 출력되는 카메라110의 이미지를 출력하거나, 또는 스케일러220에서 출력되는 표시이미지 및 상기 버퍼240에서 출력되는 캡쳐이미지를 시분할하여 출력한다. 즉, 다중화부100은 캡쳐 모드시 상기 제어부100의 제어에 의해 캡쳐이미지만 선택하여 출력할 수 있으며, 또한 표시이미지 및 캡쳐이미지를 시분할 선택하여 출력할 수 있다. The
후처리부230은 상기 다중화부250에서 출력되는 이미지를 후처리한다. 여기서 상기 후처리는 전처리된 이미지의 색보간(color interpolation) 및 잡음제거, 색보정, 그리고 색변환(image conversion)하여 YUV 데이터를 생성하는 동작을 의미한다. 또한 상기 후처리부230도 프리뷰모드시 표시이미지 사이즈의 이미지를 후처리하며, 캡쳐모드시 카메라이미지를 후처리한다. 이때 상기 후처리부230은 캡쳐모드시 1프레임 구간에서 상기 다중화부230에서 시분할 선택되어 출력되는는 표시이미지 및 캡쳐이미지를 연속적으로 후처리할 수 있다.The
역다중화부255은 상기 제어부100의 제어하에 상기 후처리부230의 출력을 역다중화하여 출력한다. 이때 상기 역다중화부255는 프리뷰모드시 상기 후처리부230에서 출력되는 표시이미지를 상기 표시부140에 출력하며, 캡쳐모드시 상기 후처리부230에서 출력되는 캡쳐이미지를 정지영상코덱260에 출력한다. 이때 캡쳐모드시 상기 역다중화부255는 상기 제어부100의 제어하에 상기 후처리부230에서 처리되는 표시이미지 및 캡쳐이미지를 시분할 역다중화하여 각각 표시부140 및 정지영상 코덱260에 출력할 수 있다. 상기 역다중화부255은 디멀티플렉서로 구현할 수 있다. The
상기 정지영상코덱260은 상기 역다중화부255에서 출력되는 캡쳐이미지를 압축부호화하여 저장부130에 저장한다. 여기서 상기 정지영상코덱은 JPEG 코덱이 될 수 있다. 또한 상기 표시이미지는 동영상 저장을 위한 이미지로 사용될 수 있다. 이런 경우, 동영상 촬영 요구가 발생되면, 동영상 코덱270은 상기 역다중화부255에서 출력되는 표시이미지를 부호화하여 저장부130에 저장한다. 여기서 상기 표시이미지는 프리뷰모드의 표시이미지와 동일한 크기를 가질 수 있다. 또한 상기 동영상이미지는 상기 프리뷰 표시이미지보다 더 큰 화소들로 구성되는 표시이미지가 될 수 있다. 이런 경우, 상기 스케일러220은 프리뷰모드시의 스케일러와 동영상 모드의 스케일러로 구성하거나, 또는 모드 제어에 따라 스케일링 비율을 다르게 설정할 수도 있도록 구성하여야 한다. 그리고 동영상 저장이 요구되면, 제어부100은 스케일러220을 제어하여 동영상 표시이미지의 크기로 스케일링되도록 제어하며, 이에 따라 스케일러220은 상기 전처리부210에서 출력되는 풀 해상도의 이미지를 동영상 표시 이미지 크기로 스케일링한다. 여기서 상기 동영상 부호화는 H.264 등 다양한 형태로 수행할 수 있다.The
상기 도 2a와 같은 구성을 가지는 이미지처리부120의 동작을 살펴보면, 사용자가 입력부150를 통해 카메라 구동명령을 발생하면, 제어부100은 카메라110을 구동하며 프리뷰 모드를 수행한다. 상기 프리뷰모드에서, 상기 제어부100은 상기 다중화부250을 제어하여 상기 스케일러220의 출력을 후처리부230에 인가되도록 하며, 상기 역다중화부255를 제어하여 상기 후처리부230의 출력이 상기 표시부140에 인가되도록 제어한다. 또한 상기 제어부100은 프리뷰모드에서 상기 후처리부230을 제어하여 표시이미지 사이즈의 이미지를 후처리하도록 제어한다. Referring to the operation of the
상기 카메라110에서 출력되는 이미지는 베이어 이미지가 될 수 있으며, 상기 풀해상도 이미지는 전처리부210에서 전처리된다. 이때 상기 전처리부210은 상기 카메라 이미지에서 3A (AWB(auto white balance), AE(auto exposure), AF(Auto focusing)) 추출하고, 상기 카메라 이미지의 렌즈 셰이딩 보상, 데드 픽셀, knee 보정 등을 수행한다. 그리고 상기 전처리부210에서 출력되는 전처리된 카메라 이미지는 버퍼240 및 스케일러220에 입력된다. 즉, 프리뷰 모드시 상기 카메라110에서 촬영되는 카메라 이미지는 전처리된 후 상기 버퍼240에 버퍼링되는 동시에 상기 스케일러220에 입력되어 표시이미지로 스케일링된다. 그리고 상기 프리뷰모드에서 상기 버퍼240은 상기 카메라110에서 출력되는 이미지를 N 프레임의 이미지들을 버퍼링하며, 따라서 상기 버퍼240은 현재 프레임에서 이전 N 프레임 까지의 이미지들을 버퍼링하며, N 프레임 이전의 프레임 이미지들은 버린다. 이는 캡쳐 모드에서 설정된 프레임의 카메라 이미지(여기서는 제로 셔터렉의 이미지)들을 캡쳐할 수 있도록 하기 위함이다. The image output from the
상기 스케일러220은 입력되는 풀 해상도 이미지를 표시부140에 표시하기 위한 크기로 스케일링한다. 여기서 상기 이미지 스케일링은 리사이즈(resize), 데시메이션(decimation), 인터폴레이션(interpolation), 크롭(crop), 가산 및 평균 등의 다양한 방법들 중에 한 가지 이상의 방법을 사용하여 구현할 수 있다. 상기 이미지 스케일링은 카메라110에서 획득되는 풀 해상도 이미지의 화소수를 줄여 표시부140에 표시할 수 있는 적정 크기로 스케일링하며, 또한 표시부140의 화면비에 맞도록 상기 이미지를 스케일링할 수 있다. 여기서 상기 스케일러220은 리사이저(resizer) 및/또는 평균화부(summing and averaging part)로 구성될 수 있다. 상기 스케일러220을 리사이저로 구현하는 경우, 상기 리사이저는 상기 카메라110에서 출력되는 이미지를 상기 표시부140에 표시하기 위한 이미지의 크기로 리사이징한다. 이때 리사이징은 데시메이션(decimation), 인터폴레이션(interpolation) 및/또는 크롭(crop) 등에 수행될 수 있다. 또한 상기 스케일러220을 평균화부로 구현하는 경우, 상기 평균화부는 이미지의 인접화소들을 가산 및 평균화하여 이미지의 화소수를 감축한다. 도 3a 및 도 3b는 상기 스케일러220의 평균화부의 동작을 설명하기 위한 도면이다.The
상기 도 3a - 도 3b를 참조하면, 평균화부는 상기 카메라110의 이미지의 인접 화소들을 평균화하여 표시이미지의 화소수를 감축한다. 여기서 상기 평균화부는 의사-포베넌(psudo-Foveon) 방법을 사용하여 신호대 잡음 및 해상도 향상을 이룰 수 있다. 상기 카메라110에서 출력되는 이미지의 화소들은 도 3a와 같은 구조를 가진다. 상기 도 3a의 구성에서 인접한 4개의 화소들은 한 개의 R 화소, 한 개의 B 화소 및 2개의 G 화소들로 구성됨을 알 수 있다. 따라서 4개의 화소들을 한 개의 화소로 평균화하면 4:1 화소로 이미지 스케일링할 수 있음을 알 수 있다. 상기 본 발명의 실시에에서 평균화부(summing and averaging)는 4개의 화소들을 가산 및 평균화하여 1개의 화소로 감축하는 경우를 가정하여 설명하기로 한다. 이를 위하여 본 발명의 실시예에서는 두개의 G화소들을 가산한 후 이를 평균값을 구하여 하나의 G화소를 생성하고, 평균화된 G, R 및 B 화소들을 하나의 화소로 생성한다. 예를들어 도 3a에서 G11, B12, R21 및 G22 화소들을 하나의 화소로 생성하는 경우, R=R21, B=B12, G=(G11+G22)/2로 하여 RGB 값을 가지는 하나의 화소로 생성한다. 상기와 같이 평균화 동작을 수행하면 4개의 화소가 도 3b와 같이 하나의 화소로 생성되며, 또한 색보간 동작도 함께 수행된다. 상기와 같은 방법으로 도 3a와 같은 구성을 가지는 16개의 화소들을 평균화하면 도 3b와 같이 4개의 화소들로 스케일링되며, 이때 상기 화소들은 색보간 동작도 함께 이루어진다. 상기와 같이 평균화부에서 이미지 스케일링된 화소들은 이후 다중화부250을 통해 후처리부230에 인가되며, 상기 후처리부230에서 색보간, IPC 처리 및 이미지 변환되어 YUV 이미지로 생성된다. 이때 상기 스케일러220에서 평균화부를 이용하여 이미지 스케일링 동작을 수행하는 경우, 후처리250의 색보간기231은 각 화소 데이터들을 풀칼러(full color)로 변환하는 동작을 생략하고 다른 기능의 색보간 기능만을 수행할 수도 있다. 3A to 3B, the averaging unit reduces the number of pixels of the display image by averaging adjacent pixels of the image of the
또한 상기 스케일러220은 카메라110의 이미지를 리사이징하여 표시이미지 크기로 변환하는 리사이저와, 상기 전처리된 카메라110의 이미지의 화소들을 가산 및 평균화하여 표시 이미지의 화소수로 변환하는 평균화부를 모두 이용하여 구성할 수도 있다. 이런 경우, 상기 스케일러220은 리사이징 후 평균화 동작을 수행하거나, 평균화 동작 후 리사이징을 수행하거나 또는 리사이저 및 평균화부의 출력들 중에서 어느 하나를 선택하여 출력하는 방법으로 구현할 수 있다.The
상기와 같이 표시이미지 사이즈로 스케일링된 이미지는 다중화부250에 인가되며, 상기 다중화부250은 상기 스케일러220에서 출력되는 표시이미지를 선택하여 상기 후처리부230에 출력한다. 상기 후처리부230은 프리뷰모드시 상기 제어부100의 제어하에 표시이미지를 처리하기 위한 크기로 후처리할 이미지들의 사이즈를 설정할 수 있다. 이런 경우 상기 후처리부230은 상기 이미지스케일러220에서 출력되는 전처리된 표시 이미지를 후처리하며, 이때 상기 후처리는 컬러 인터폴레이션, 노이즈 보정(noise reduction), 감마 보정 및 색변환 등이 될 수 있다. The image scaled as the display image size is applied to the
상기 후처리부230은 색보간기(color interpolator), IPC(image processing chain), 색변환부(image converter) 등을 구비할 수 있다. 먼저 상기 색보간기는 상기 베이어 이미지(Bayer data)를 컬러 이미지로 변환하는 색 보간 기능을 수행한다. 상기한 바와 같이 카메라110의 이미지센서는 CCD 또는 CMOS 이미지센서가 될 수 있다. 이때 상기 CCD/CMOS 이미지 센서는 컬러필터 배열(color filter array)를 사용하며, 이로인해 각 화소 센서들은 컬러 이미지를 만들기 위한 3가지 색 채널들 중에서 한가지 채널만 가지게 된다. 색보간(color interpolation)은 카메라110에서 출력되는 이미지를의 화소들이 3가지 색상의 RGB를 포함하는 색으로 변환(full color 변환)하는 기능을 수행한다. 상기 색보간기는 인접한 화소들 간의 상관관계를 이용하여 색보간 기능을 수행한다. 일반적으로 이미지처리장치에서 색보간 이전의 이미지처리를 전처리라 칭하고 색보간 이후의 이미지처리를 후처리라 칭한다. 두번째로 IPC는 상기 색보간된 이미지들의 노이즈 감소(noise reduction), 감마 보정(gramma correction), 휘도 보정(luminence correction) 등을 수행한다. 세번째로 색변환부는 상기 후처리된 이미지(raw data, Bayer data)를 YUV 이미지로 변환한다. 즉, 상기 후처리부230은 전처리된 이미지를 색보간 등의 후처리 및 YUV 이미지로 변환하는 기능을 수행한다. 그리고 상기와 같이 후처리된 표시이미지는 역다중화부255를 통해 표시부140에 인가되어 표시된다.The
본 발명의 실시예에 따른 카메라장치는 프리뷰 모드에서 다중화부250 및 역다중화부255에 의해 표시이미지 처리 경로가 설정되며, 이로인해 전처리부210, 이미지 스케일러220 및 후처리부230을 통해 상기 카메라110에서 획득되는 매 프레임 이미지를 표시부140에 표시하기 위한 표시이미지로 처리한다. 또한 상기 전처리부210에서 전처리된 카메라 이미지는 상기 버퍼240에 버퍼링된다. 즉, 이미지처리부120은 표시이미지를 생성하여 표시하는 동작을 수행하지만, 이미지를 저장하기 위한 처리 동작은 수행하지 않는다. 이때 상기 표시이미지는 작은 이미지크기로 스케일링된 상태이며, 캡쳐를 위한 고 해상도의 이미지는 버퍼링만 하고 있는 상태이므로, 카메라장치에서 소모되는 전류 및 발열은 크지 않다. In the camera apparatus according to the embodiment of the present invention, the display image processing path is set by the
일반적으로 카메라장치는 셔터 온시 셔터 딜레이에 의해 사용자가 뷰파인더 또는 표시부140으로 확인된 이미지를 캡쳐하지 못하고 일정 프레임 지연된 이미지를 획득하게 된다. 즉, 카메라장치는 셔터 버튼이 눌려질 때 사용자가 셔터를 온시키는 시점에서 실제 카메라장치의 셔터가 동작하기까지의 시간 지연(shutter lag, time lag)이 발생된다. 이런 시간 지연은 카메라장치에 따라 다를 수 있으며, 제어부100은 실험적으로 상기 지연시간을 측정하여 이를 알고 있어야 한다. 본 발명의 실시예에 따른 카메라장치는 상기 셔터 지연시간을 감안하여 카메라110의 이미지를 버퍼링하며, 캡쳐 요구시 버퍼링된 카메라 이미지들 중에서 셔터 온 시점의 프레임 이미지를 선택하여 처리한다. 즉, 본 발명의 실시예에 따른 카메라장치는 프리뷰 모드시 카메라110에서 획득되는 이미지들을 버퍼링하여 제로 셔터렉을 구현한다.In general, the camera device does not capture an image confirmed by the viewfinder or the
상기와 같이 프리뷰 모드를 수행하는 중에 입력부150을 통해 캡쳐 요구가 발생되면, 상기 제어부100은 상기 셔터 온 시점을 감지하고, 상기 버퍼240에서 버퍼링된 이미지들 중에서 셔터 온 시점의 프레임 이미지(즉, 제로 셔터렉을 가지는 이미지)를 캡쳐 이미지로 억세스한다. 또한 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 상기 캡쳐이미지를 처리하기 위한 경로를 형성한다. 즉, 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 캡쳐이미지를 처리하기 위한 경로를 설정하며, 상기 후처리부230을 제어하여 카메라110의 이미지를 후처리할 수 있도록 제어한다. 여기서 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 1프레임 구간에서 캡쳐이미지만 처리할 수 있으며, 또한 1프레임 구간에서 표시이미지 및 캡쳐이미지를 시분할 제어하여 모두 처리할 수도 있다.When the capture request is generated through the
상기 캡쳐 이미지 처리시, 상기 제어부100은 다중화부250 및 역다중화부255를 제어하여 캡쳐이미지의 처리 경로를 선택하고, 상기 버퍼240에서 셔터 지연이 보상된 프레임 이미지(즉, 제로 셔터렉을 가지는 셔터온 시점의 프레임 이미지)를 억세스한다. 그리고 상기 다중화부250은 상기 버퍼240에서 출력되는 이미지를 선택하여 후처리부230에 출력하며, 상기 후처리부230은 상기 버퍼240에서 억세스되는 캡쳐 이미지(즉, 카메라110의 이미지)를 후처리한다. 그리고 상기 역다중화부255은 상기 후처리된 카메라 이미지를 캡쳐 이미지로 정지영상코덱260에 출력하며, 상기 정지영상코덱260은 상기 캡쳐이미지를 부호화하여 저장부130에 저장한다. 이때 상기 정지영상 코덱260은 정지이미지 부호기로써 JPEG부호기가 될 수 있다. 본 발명의 실시예에서 상기 정지 이미지는 JPEG(Joint Photographic Expert Group)인 경우를 예로들어 설명하고 있지만, 상기 정지이미지는 다른 정지 부호화 방법(예를들면 TIFF(Tagged-Image File Format))을 사용할 수도 있다. 상기와 같이 압축 부호화된 정지 이미지는 저장부130에 저장된다. When processing the captured image, the
여기서 상기 캡쳐이미지는 상기 카메라110의 이미지를 이용하는 것으로 설명되고 있지만, 필요에 따라 상기 카메라 이미지를 스케일링할 수도 있다. 즉, 카메라장치의 사용자는 정지이미지를 캡쳐할 때 풀 해상도 이미지 보다 작은 크기(또는 낮은 해상도)를 가지는 캡쳐할 수도 있다. 이런 경우, 카메라장치의 사용자는 캡쳐 이미지의 크기(또는 화소수)를 작게하여 촬영할 수도 있다. 본 발명의 실시예에서는 카메라 이미지를 버퍼링하는 버퍼를 구비하여 카메라 이미지를 캡쳐하는 구성을 도시하고 있지만, 상기 버퍼240의 뒷단에 상기 스케일러220과 다른 스케일러를 더 구비하고 상기 버퍼240의 출력을 더 구비된 스케일러에 전달하는 구성으로 캡쳐이미지 처리부를 구성할 수 있다. 이런 경우, 사용자가 입력부150을 통해 이미지의 크기(또는 화소수)를 지정하는 캡쳐 요구 명령을 발생하면, 제어부100은 상기 버퍼240의 출력을 뒷단에 위치되는 스케일러(스케일러220과 다른)에 전달되도록 하고, 상기 스케일러를 제어하여 카메라 이미지를 사용자가 원하는 이미지 크기(또는 해상도)로 스케일링한 후 후처리하도록 구성할 수도 있다. 이하 설명되는 본 발명의 실시예에서는 상기 캡쳐 이미지가 카메라 이미지인 경우를 가정하여 설명하기로 한다.Although the captured image is described as using an image of the
상기한 바와 같이 이미지처리부120은 1프레임 구간에서 표시이미지 및 캡쳐이미지를 동시에 처리할 수 있는 경우, 상기 제어부100은 상기 다중화부250 및 역다중화부255를 시분할 제어하여 1프레임 구간에서 상기 표시이미지 및 캡쳐이미지를 순차적으로 처리할 수 있다. 이런 경우, 상기 표시이미지 처리 주기는 상기 캡쳐이미지 처리 주기에서 상대적으로 짧게 설정한다. 또한 상기 후처리부230의 구성은 상기 제어부100의 제어하에 표시이미지 및 캡쳐이미지를 각각 다른 이미지 크기로 처리할 수 있도록 구성할 수 있다.As described above, when the
이런 경우 상기 캡쳐요구가 발생되면, 상기 제어부100은 다중화부250 및 역다중화부255를 제어하여 1 프레임 구간에서 표시이미지 처리 경로와 캡쳐이미지 처리 경로를 시분할하여 형성한다. 그리고 표시이미지 처리 경로 형성시 이미지 스케일링된 표시이미지를 처리하여 표시하며, 캡쳐 이미지 경로 형성시 제로 셔터렉을 구현하기 위하여 셔터 온 시점에 대응되는 프레임의 이미지를 상기 버퍼240에서 억세스하며, 상기 억세스된 이미지를 후처리 및 부호화하여 저장한다. In this case, when the capture request is generated, the
상기한 바와 같이 본 발명의 실시예에 따른 카메라장치는 제로 셔터렉을 구현할 수 있다. 카메라장치에서 셔터 온시 카메라110에서 획득되는 이미지는 지연시간(shutter lag, time lag, shutter delay)에 의해 사용자가 원하는 캡쳐 이미지 이후에 획득되는 프레임 이미지가 된다. 즉, 캡쳐할 이미지는 상기 카메라110에서 획득되는 프레임 이미지의 이전 프레임이 된다. 따라서 셔터 지연을 해소(zero shutter lag)하기 위하여, 본 발명의 실시예에서는 캡쳐 요구시 버퍼240에 버퍼링하고 있는 이전 프레임의 이미지를 선택하여 캡쳐이미지로 처리한다.As described above, the camera apparatus according to the embodiment of the present invention may implement zero shutter. The image obtained by the
또한 사용자에 의해 캡쳐 요구 발생시, 캡쳐할 사진이 정상적으로 촬영되지 않은 사진일 수 있다. 예를들면 인물 사진을 촬영한 경우, 인물이 눈을 감거나 흔들린 사진이 촬영될 수 있다. 이런 경우 사용자는 다른 프레임의 이미지를 캡쳐하는 것이 바람직하다. 본 발명의 실시예에 따른 카메라장치는 버퍼240에서 설정된 수의 프레임 이미지들을 버퍼링하고 있으므로, 필요시 버퍼링된 이미지들 중에서 다른 프레임 이미지를 선택할 수도 있다. 즉, 본 발명의 실시예에 따른 카메라장치는 복수 프레임 이미지들을 버퍼링하고 있으므로, 촬영된 이미지가 맘에 들지 않는 경우 다른 프레임 이미지로 대체할 수 있는 이점이 있다.In addition, when a capture request is generated by the user, the picture to be captured may be a picture that is not normally taken. For example, when a portrait is taken, a picture in which the person closes his eyes or shakes may be taken. In this case, the user preferably captures an image of another frame. Since the camera device according to the embodiment of the present invention buffers the number of frame images set in the
또한 사용자가 연속 촬영(연사모드, burst shot mode)을 요구하면, 상기 제어부100은 연사 촬영을 요구한 시점에서 버퍼링된 프레임 이미지들을 연속적으로 억세스하며, 상기 후처리부230은 상기 연속 억세스되는 프레임이미지들을 처리하고 정지영상코덱260은 이를 연속 부호화하여 상기 저장부130에 저장할 수 있다. 즉, 연속촬영 모드시 상기 카메라110에서 촬영되는 이미지들은 매 프레임 주기에서 상기 버퍼240에 버퍼링되며, 상기 제어부100은 상기 버퍼링되는 풀 해상도 이미지들을 연속적으로 억세스하여 이미지 처리 및 부호화시켜 저장할 수 있다.When the user requests continuous shooting (burst shot mode), the
상기와 같은 상태에서, 입력부150을 통해 정지 이미지 재생이 요구되면, 상기 제어부100은 저장부130에 저장된 이미지를 억세스하며, 정지영상코덱260은 상기 억세스되는 이미지를 복호하여 상기 표시부140에 표시한다. 또한 입력부150을 통해 동영상 재생이 요구되면, 상기 제어부100은 저장부130에서 요구된 동영상을 억세스하여 동영상코덱270에 인가하며, 동영상코덱270은 해당 동영상을 복호하여 표시부140을 통해 표시한다.In the above state, when still image reproduction is requested through the
도 2b는 이미지처리부120의 다른 구성을 도시하는 도면이다. 상기 도 2b에 도시된 이미지처리부120은 카메라110에서 출력되는 이미지를 버퍼링 및 스케일링하며, 상기 버퍼링된 이미지 또는 스케일링된 표시이미지를 전처리 및 후처리하는 구성을 가진다. 상기 도 2b를 참조하면, 스케일러220은 카메라110에서 출력되는 풀 해상도 이미지를 표시부140에 표시하기 위한 크기로 스케일링한다. 버퍼240은 상기 카메라110에서 출력되는 이미지를 버퍼링하며, 상기 제어부100의 제어하에 캡쳐모드에서 설정된 프레임의 카메라 이미지를 출력한다. 2B is a diagram illustrating another configuration of the
다중화부250은 상기 버퍼240 및 스케일러220의 출력을 입력하며, 상기 제어부100의 제어하에 상기 스케일러220에서 출력되는 표시이미지 및/또는 상기 버퍼240에서 버퍼링된 버퍼링된 카메라 이미지를 선택하여 출력한다. 즉, 상기 다중화부250은 프리뷰 모드시 상기 제어부100의 제어하에 상기 스케일러220의 출력을 선택 출력한다. 그리고 캡쳐모드시 상기 다중화부250은 상기 제어부100의 제어하에 해당 프레임 구간(캡쳐이미지를 처리하는 프레임 구간)에서 상기 버퍼240에서 출력되는 카메라110의 이미지를 출력하거나, 또는 스케일러220에서 출력되는 표시이미지 및 상기 버퍼240에서 출력되는 캡쳐이미지를 시분할하여 출력한다. The
전처리부210은 상기 다중화부250에서 출력되는 이미지를 전처리하며, 후처리부230은 상기 다중화부250에서 출력되는 이미지를 후처리한다. 상기 전처리부210 및 후처리부230은 상기 제어부100의 제어하에 표시이미지 사이즈 또는 캡쳐이미지 사이즈를 가지는 이미지를 처리할 수 있도록 제어한다. 즉, 상기 전처리부210 및 후처리부230은 프리뷰모드시 표시이미지를 처리하며, 캡쳐모드시 캡쳐이미지 또는 시분할되어 입력되는 표시이미지 및 캡쳐이미지를 처리한다. The
역다중화부255은 상기 제어부100의 제어하에 상기 후처리부230의 출력을 역다중화하여 출력한다. 이때 상기 역다중화부255는 프리뷰모드시 상기 후처리부230에서 출력되는 표시이미지를 상기 표시부140에 출력하며, 캡쳐모드시 상기 후처리부230에서 출력되는 캡쳐이미지를 정지영상코덱260에 출력한다. 이때 캡쳐모드시 상기 역다중화부255는 상기 제어부100의 제어하에 상기 후처리부230에서 처리되는 표시이미지 및 캡쳐이미지를 시분할 역다중화하여 각각 표시부140 및 정지영상 코덱260에 출력할 수 있다. 상기 역다중화부255은 디멀티플렉서로 구현할 수 있다. The
상기 정지영상코덱260은 상기 역다중화부255에서 출력되는 캡쳐이미지를 압축부호화하여 저장부130에 저장한다. 또한 동영상 촬영모드시 동영상 코덱270은 상기 역다중화부255에서 출력되는 표시이미지를 부호화하여 저장부130에 저장한다. The
상기 도 2b와 같은 구성을 가지는 이미지처리부120의 동작을 살펴보면, 사용자가 입력부150를 통해 카메라 구동명령이 발생되면, 제어부100은 카메라110을 구동하며, 상기 카메라110에서 출력되는 이미지는 각각 이미지스케일러220 및 버퍼240에 인가된다. 그러면 상기 버퍼240은 상기 카메라110에서 출력되는 이미지를 버퍼링한다.Referring to the operation of the
그리고 상기 이미지스케일러220은 입력되는 풀 해상도 이미지를 표시부140에 표시하기 위한 크기로 스케일링한다. 이때 프리뷰모드에서 상기 다중화부250은 상기 제어부100의 제어에 의해 이미지스케일러220의 출력을 선택하며, 역다중화부255는 후처리부230의 출력을 선택하여 표시부140에 출력한다. 즉, 상기 프리뷰 모드에서 상기 제어부100은 다중화부250 및 역다중화부255를 제어하여 프리뷰 이미지의 경로를 설정하며, 캡쳐 이미지의 경로는 형성하지 않는다. 상기와 같은 상태에서 이미지스케일러220에서 출력되는 표시이미지는 다중화부250을 통해 전처리부210에 인가되며, 전처리부210은 상기 표시이미지를 전처리하고, 후처리부230은 상기 전처리된 표시이미지를 후처리한다. 즉, 제어부100은 프리뷰 모드에서 다중화부250 및 역다중화부255을 제어하여 표시이미지 처리 경로를 설정하며, 이로인해 이미지스케일러220, 전처리부210 및 후처리부230이 구동되어 상기 카메라110에서 획득되는 매 프레임 이미지를 표시부140에 표시하기 위한 이미지로 처리하며, 상기 버퍼240은 카메라 이미지들이 버퍼링한다. 이후 입력부150을 통해 캡쳐 요구가 발생되면, 상기 제어부100은 상기 버퍼240의 버퍼링된 이미지들 중에서 셔터 지연시간을 고려하여 대응되는 프레임 이미지를 캡쳐 이미지로 억세스한다. 또한 상기 제어부100은 상기 다중화부250 및 역다중화부255를 시분할 제어하여 표시이미지 및 상기 캡쳐이미지를 처리하기 위한 경로를 형성한다. 즉, 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 먼저 표시이미지(또는 캡쳐이미지)를 처리하기 위한 경로를 설정하고, 이후 캡쳐이미지(또는 표시이미지)를 처리하기 위한 경로를 설정한다.The
먼저 상기 제어부100은 다중화부250 및 역다중화부255를 제어하여 표시이미지의 처리 경로를 선택한다. 그러면 상기 이미지스케일러220에서 출력되는 표시이미지는 전처리부210 및 후처리부230에서 각각 전처리 및 후처리되어 YUV 이미지로 변환되며, 상기 YUV 이미지로 변환된 표시이미지는 표시부140에 인가되어 표시된다. 이후 상기 제어부100은 다중화부250 및 역다중화부255를 제어하여 캡쳐이미지의 처리 경로를 선택하고, 상기 버퍼240에서 셔터 지연이 보상된 프레임 이미지(즉, 제로 셔터렉을 가지는 셔터온 시점의 프레임 이미지)를 억세스한다. 그리고 상기 버퍼240에서 억세스되는 캡쳐 이미지(즉, 카메라110의 이미지)는 역시 상기 전처리부210 및 후처리부230에서 각각 전처리 및 후처리되어 YUV 이미지로 변환되며, 역다중화부255를 통해 정지영상코덱260에 인가된다. 그러면 상기 정지영상코덱260은 상기 캡쳐이미지를 부호화하여 저장부130에 저장한다.First, the
이때 상기 캡쳐 요구시, 상기 제어부100은 상기 다중화부250 및 역다중화부255를 시분할 제어하여 1프레임 구간에서 상기 표시이미지 및 캡쳐이미지가 처리될 수 있도록 이미지 처리 경로를 설정하여야 한다. 이런 경우, 상기 표시이미지 처리 주기는 상기 캡쳐이미지 처리 주기에서 상대적으로 짧게 설정한다. 또한 상기 전처리부210 및 후처리부230의 구성은 상기 제어부100의 제어하에 표시이미지 및 캡쳐이미지를 각각 다른 이미지 크기로 처리할 수 있도록 구성할 수 있다. In this case, when the capture request is made, the
상기 도 2b와 같은 구성을 가지는 이미지처리부120은 카메라110의 이미지를 이미지스케일러220 및 버퍼240이 각각 입력하며, 전처리부210이 상기 다중화부250 및 후처리부230 사이에 연결되는 구성을 가진다. 그리고 상기 도 2b와 같은 구성을 가지는 이미지처리부120의 각 구성(전처리부, 후처리부, 이미지스케일러, 버퍼, 다중화부 및 역다중화부)의 동작은 상기 도 2a에서 설명된 것과 동일한 기능을 수행한다. 이때 상기 도 2a의 상기 전처리부210은 카메라 이미지만을 전처리하는데 반하여, 상기 도 2b의 전처리부210은 표시이미지 사이즈 및 캡쳐 이미지 사이즈의 이미지들을 모두 처리할 수 있다. In the
도 2c는 이미지처리부120의 또 다른 구성을 도시하는 도면이다. 상기 도 2c에 도시된 이미지처리부120은 카메라110에서 출력되는 이미지를 버퍼링하며, 상기 버퍼링된 이미지를 스케일링하며, 다중화부는 상기 스케일링된 이미지 또는 버퍼링된 이미지를 전처리 및 후처리하도록 다중화하는 구성을 가진다. 2C is a diagram illustrating still another configuration of the
상기 도 2c를 참조하면, 버퍼240은 매 프레임 주기에서 상기 카메라110에서 출력되는 이미지를 버퍼링하며, 상기 제어부100의 제어하에 캡쳐모드에서 설정된 이미지를 출력한다. 이때 버퍼240은 설정된 수의 프레임 이미지들을 버퍼링할 수 있다. 이미지스케일러220은 상기 버퍼240에 버퍼링된 카메라110의 풀 해상도 이미지를 표시부140에 표시하기 위한 크기로 스케일링한다. Referring to FIG. 2C, the
다중화부250은 상기 버퍼240 및 이미지스케일러220의 출력을 입력하며, 상기 제어부100의 제어하에 상기 이미지스케일러220에서 출력되는 표시이미지 및/또는 상기 버퍼240에서 버퍼링된 버퍼링된 카메라 이미지를 선택하여 출력한다. 전처리부210은 상기 다중화부250에서 출력되는 이미지를 전처리하는 기능을 수행한다. 후처리부230은 상기 전처리부210에서 출력되는 이미지를 후처리한다. 역다중화부255은 상기 제어부100의 제어하에 상기 후처리부230의 출력을 역다중화하여 출력한다. 이때 상기 역다중화부255은 프리뷰모드시 상기 후처리부230에서 출력되는 표시이미지를 상기 표시부140에 출력하며, 캡쳐모드시 상기 후처리부230에서 출력되는 캡쳐이미지를 정지영상코덱260에 출력한다. 상기 정지영상코덱260은 상기 역다중화부255에서 출력되는 캡쳐이미지를 압축부호화하여 저장부130에 저장한다. The
상기 도 2c와 같은 구성을 가지는 이미지처리부120은 상기 카메라110에서 출력되는 이미지를 버퍼240에 버퍼링하며, 상기 이미지스케일러220이 상기 버퍼240에 버퍼링된 카메라110의 이미지를 스케일링하는 구성을 가진다. 이후의 구성은 상기 도 2b의 이미지처리부와 동일한 구성을 가지며, 동작도 동일하게 수행할 수 있다. 이때 상기 이미지스케일러220은 상기 카메라110에서 촬영되어 버퍼240에 버퍼링되는 이미지들 중에서 현재 프레임의 이미지(즉, 카메라110에서 촬영된 가장 최근의 프레임 이미지)를 입력하여 표시이미지로 스케일링할 수 있다.The
도 2d는 이미지처리부120의 또 다른 구성을 도시하는 도면이다. 상기 도 2d에 도시된 이미지처리부120은 카메라110에서 출력되는 이미지를 버퍼링하며, 상기 버퍼링된 이미지를 전처리 및 스케일링하며, 다중화부는 상기 스케일링된 이미지 또는 버퍼링된 이미지를 후처리하도록 다중화하는 구성을 가진다.2D is a diagram illustrating still another configuration of the
상기 도 2d를 참조하면, 버퍼240은 상기 카메라110에서 출력되는 이미지를 버퍼링한다. 전처리부210은 상기 버퍼240에서 출력되는 카메라 이미지를 전처리한다. 이미지스케일러220은 상기 전처리부220에서 출력되는 카메라 이미지를 표시이미지로 스케일링한다. 다중화부250은 상기 제어부100의 제어하에 프리뷰모드시 상기 이미지스케일러220의 출력을 선택 출력하며, 캡쳐모드시 상기 전처리부210에서 전처리되는 카메라 이미지를 선택 출력한다. 후처리부230은 상기 다중화부250의 출력을 입력하며, 상기 제어부100의 제어하에 프리뷰모드시 전처리된 표시이미지를 후처리하며, 캡쳐모드시 전처리된 이미지를 후처리한다. 역다중화부255은 상기 제어부100의 제어하에 프리뷰모드시 상기 후처리부230에서 출력되는 표시이미지를 표시부140에 출력하며, 캡쳐모드시 상기 후처리부230에서 출력되는 이미지를 정지영상 코덱260에 출력한다. 상기 도 2d와 같은 구성은 상기 도 2c의 구성에서 버퍼240의 출력단에 전처리부210에 연결되고, 상기 이미지스케일러220은 전처리된 이미지를 표시이미지 사이즈로 스케일링하며, 다중화부250이 상기 제어부100의 제어하에 전처리된 표시이미지 및/또는 캡쳐 이미지를 다중화출력하는 구성 이외에 다른 구성은 상기 도 2c와 같은 이미지처리부의 구성과 동일하며, 그 동작도 동일하다.Referring to FIG. 2D, the
도 4a - 도 4c는 상기 도 1에서 본 발명의 제2실시예에 따른 이미지처리부120의 또 다른 구성을 도시하는 도면이다. 상기 도 4a - 도 4c는 이미지처리부120에서 이미지를 처리할 때 동작클럭을 변경하여 이미지 처리속도를 가변하는 구성을 도시하고 있다. 도 5는 상기 도 4a - 도 4c와 같은 구성을 가지는 이미지처리부가 선택된 동작클럭에 따라 이미지를 처리하는 동작을 설명하기 위한 도면이다.4A to 4C are diagrams illustrating still another configuration of the
상기 도 4a 및 도 5를 참조하면, 전처리부210은 상기 카메라110으로부터 획득되는 이미지를 전처리한다. 그리고 상기 전처리된 이미지는 이미지스케일러220에 전달되어 표시이미지의 크기 및/또는 화소수로 스케일링된다. 이때 상기 이미지스케일러220은 상기한 바와 같이 리사이저 및/또는 평균화부로 구성될 수 있다. 그리고 상기 전처리부210에서 출력되는 카메라 이미지는 버퍼240에 인가되어 버퍼링된다.4A and 5, the
여기서 상기 이미지처리장치 200에서 처리되는 이미지의 프레임율은 30fps 또는 그 이상의 프레임율을 가질 수 있다. 여기서 상기 이미지처리장치 200의 프레임율이 30fps라고 가정하면, 상기 표시이미지는 1초 당 30 프레임의 이미지로 생성된다. 이때 상기 표시이미지는 상기한 바와 같이 스케일링되지만 상기 캡쳐이미지는 카메라110의 풀 해상도 이미지로 처리된다. 이런 경우 프리뷰 모드에서는 저속으로 이미지를 처리하고, 캡쳐 모드에서 표시이미지 및 캡쳐이미지를 처리하기 위해 고속으로 처리하는 방법을 사용할 수 있다. 또한 표시이미지를 처리하는 프리뷰모드와, 표시 이미지 및 캡쳐이미지를 시분할하여 처리하는 캡쳐모드에서 모두 고속으로 이미지를 처리할 수도 있다. The frame rate of the image processed by the image processing apparatus 200 may have a frame rate of 30 fps or more. Herein, if the frame rate of the image processing apparatus 200 is 30 fps, the display image is generated as an image of 30 frames per second. In this case, the display image is scaled as described above, but the captured image is processed as a full resolution image of the
클럭발생부400은 고속클럭을 발생하는 고속클럭발생부410과, 상기 고속클럭보다 낮은 저속클럭을 발생하는 저속클럭발생부420과, 제어부100의 제어하에 상기 고속클럭 또는 저속클럭을 선택하여 상기 캡쳐이미지처리시의 동작 클럭으로 공급하는 선택기430로 구성된다. 상기 버퍼240은 카메라110의 이미지를 버퍼링한다. 먼저 카메라110은 도 5의 511과 같이 수직동기신호 Vsync 단위로 한 프레임의 이미지를 생성하여 출력한다. 즉, 상기 수직동기신호 Vsync는 1프레임 주기가 된다. 상기, 프리뷰모드에서 표시이미지를 처리하기 위한 동작클럭을 저속클럭 또는 고속클럭으로 설정할 수 있다. 먼저 고속클럭을 선택하면, 상기 선택기430은 고속클럭발생부410의 출력을 선택하며, 상기 선택된 고속클럭은 버퍼240 및 후처리부230의 동작클럭으로 공급된다. 이때 상기 프리뷰모드에서 상기 제어부100은 다중화부250 및 역다중화부255를 제어하여 표시이미지를 처리하기 위한 경로를 설정하며, 이때 상기 버퍼240의 억세스 동작은 수행하지 않게된다. 그러면 상기 다중화부250은 이미지 스케일러220의 출력을 선택하며, 역다중화부255는 상기 후처리부230의 출력을 선택하여 표시부140에 출력하며, 이로인해 표시이미지 처리 경로가 설정된다. 상기 도 5의 511과 같은 주기로 상기 카메라110에서 출력되는 이미지는 전처리부210에서 전처리된 후, 이미지스케일러220에서 표시이미지 사이즈로 스케일링되며, 상기 표시이미지는 다중화부250을 통해 후처리부230으로 전달된다. 그러면 상기 후처리부230은 상기 표시이미지를 상기 고속클럭에 의해 도 5의 513과 같이 처리한 후 역다중화부255에 출력하며, 상기 역다중화부255는 상기 후처리된 표시이미지를 표시부140에 전달하여 표시되도록 한다. The
상기와 같은 상태에서 캡쳐요구가 발생되면, 상기 제어부100은 먼저 프레임 주기의 시작부분(도 5의 521 프레임 구간)에서 먼저 다중화부250 및 역다중화부255를 제어하여 참조번호 551과 같이 표시이미지를 처리하기 위한 경로를 설정하며, 상기 클럭발생부400을 제어하여 상기 버퍼240 및 후처리부230에 고속클럭을 동작클럭으로 공급한다. 그러면 상기한 바와 같이 다중화부250 및 역다중화부255가 각각 표시이미지를 선택하고 처리된 표시이미지를 표시부140에 출력하는 표시이미지 처리 경로를 선택한다. 그러면 상기 전처리부210에서 전처리된 이미지는 이미지스케일러200에서 표시이미지 사이즈로 스케일링되고, 상기 표시이미지는 후처리부230에서 후처리된 후 표시부140에 출력되어 표시된다.When the capture request is generated in the above state, the
상기 표시이미지 처리후, 상기 제어부100은 프레임 나머지 주기(도 5의 521 프레임 구간)에서 상기 다중화부250 및 역다중화부255를 제어하여 참조번호 553과 같은 캡쳐이미지 처리 경로를 형성하고, 클럭발생부400에서 고속클럭을 선택하여 버퍼240 및 후처리부230의 동작클럭으로 공급한다. 또한 제어부100은 버퍼240에서 버퍼링된 카메라110의 이미지에서 설정된 이미지를 억세스한다. 이때 상기 버퍼240에서 억세스되는 이미지는 셔터지연을 고려한 이미지(즉, zero shutterlag image)가 될 수 있다. 상기 버퍼240에서 억세스되는 이미지는 다중화부250을 통해 후처리부230에 인가되어 상기 도 5의 553 구간에서 후처리되며, 상기 후처리되는 이미지는 역다중화부255에서 정지영상코덱260으로 인가된다. 그리고 상기 정지영상코덱260은 상기 후처리된 이미지를 부호화하며, 저장부130은 상기 정지영상코덱260에서 출력되는 켭쳐 이미지를 저장한다.After processing the display image, the
따라서 이미지 캡쳐가 요구되면, 상기 이미지처리부120은 1 프레임 구간에서 먼저 표시이미지 처리경로를 형성하여 표시이미지를 처리하고, 나머저 프레임 구간에서 캡쳐이미지 처리경로를 형성하여 캡쳐이미지를 처리한다.Therefore, if image capture is required, the
두번째로 저속클럭을 선택하면, 상기 선택기430은 저속클럭발생부420의 출력을 선택하며, 상기 선택된 저속클럭은 후처리부230의 동작클럭으로 공급된다. 이때 표시이미지를 처리하는 프리뷰모드에서 상기 제어부100은 다중화부250 및 역다중화부255를 표시이미지 처리 경로로 설정하며, 상기 버퍼240의 억세스 동작은 수행하지 않게된다. 그러면 상기 도 5의 511과 같은 주기로 상기 카메라110에서 생성되는 프레임 이미지는 전처리부210 및 이미지스케일러220을 통해 전처리 및 표시이미지로 변환되며, 상기 표시이미지는 다중화부250을 통해 후처리부230으로 전달된다. 그리고 상기 후처리부230은 상기 저속클럭에 의해 도 5의 515와 같이 처리되어 역다중화부255에 인가되며, 상기 역다중화부255는 상기 후처리된 표시이미지를 표시부140에 출력한다. 즉, 상기 저속클럭이 선택되는 경우, 상기 이미지처리부120은 표시이미지 처리 경로를 형성하여 해당 프레임의 표시이미지를 도 5의 515와 같이 저속으로 처리한다. 이런 경우 표시이미지 처리시 전력 소모를 줄일 수 있다. Secondly, when the low speed clock is selected, the
그리고 이미지 캡쳐요구가 발생되면, 상기 제어부100은 상기 선택기430을 제어하여 고속클럭발생부410의 출력을 선택하며, 상기 선택된 고속클럭은 버퍼240 및 후처리부230의 동작클럭으로 공급된다. 즉, 도 5의 521 구간의 프레임 주기에서 상기 제어부100은 선택기430을 제어하여 고속클럭을 이미지처리부120에 공급한다. 그리고 상기 제어부100은 참조번호 521의 프레임의 시작 구간에서 먼저 해당 프레임 주기에서 다중화부250 및 역다중화부255를 제어하여 551과 같이 표시이미지를 처리하기 위한 경로를 설정하고, 상기한 바와 같이 표시이미지를 도 5의 551과 같이 같이 고속으로 처리한다. 이후 해당 프레임의 남아있는 주기(즉, 도 5의 프레임 구간 521에서 553 구간)에서 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 캡쳐이미지를 처리하기 위한 경로를 형성하고, 상기 버퍼240에서 셔터지연을 고려한 제로 셔터렉의 프레임이미지를 억세스하여 출력한다. 그러면 상기 버퍼240에서 억세스되는 이미지는 다중화부250을 통해 후처리부230에 인가되어 도 5의 521 구간에서 553과 같이 후처리되며, 상기 후처리되는 이미지는 역다중화부255에서 정지영상코덱260으로 인가된다. 그리고 상기 정지영상코덱260은 상기 후처리된 이미지를 부호화하여 캡쳐 이미지로 상기 저장부130에 저장한다. 따라서 상기 캡쳐 요구시 상기 이미지처리장치 200의 동작클럭은 저속클럭에서 고속클럭으로 전환되고, 캡쳐 이미지를 처리하는 프레임 구간에서 먼저 표시이미지 처리경로를 형성하여 고속으로 표시이미지를 처리하고, 나머저 프레임 구간에서 캡쳐이미지 처리경로를 형성하여 고속으로 캡쳐이미지를 처리한다. When an image capture request is generated, the
상기 도4b 및 도 5를 참조하면, 상기 카메라110의 이미지는 각각 이미지스케일러220 및 버퍼240에 입력된다. 그러면 상기 버퍼240은 상기 카메라110의 이미지를 버퍼링하며, 이미지스케일러220은 상기 카메라110의 이미지를 표시이미지 사이즈로 스케일링한다. 여기서 상기 이미지스케일러220은 상기한 바와 같이 리사이저 및/또는 평균화부로 구성될 수 있다. 또한 상기 클럭발생부400은 저속클럭 또는 고속클럭을 발생하여 버퍼240, 전처리부210 및 후처리부230의 동작클럭으로 공급한다. 4B and 5, an image of the
이때 표시이미지를 처리하는 프리뷰 모드이면, 제어부100은 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 상기 표시이미지 처리 경로가 설정되면, 상기 다중화부250은 상기 이미지스케일러220에서 생성되는 표시이미지를 선택하여 전처리부210에 출력하며, 역다중화부255는 상기 후처리부230의 출력을 선택하여 표시부140에 출력한다. 이때 고속클럭이 상기 전처리부210 및 후처리부230의 동작클럭으로 공급되면, 전처리부210 및 후처리부230은 각각 도 5의 513과 같이 해당 프레임 구간의 일부 구간에서 상기 이미지스케일러220에서 생성되는 표시이미지를 전처리 및 후처리하며, 상기와 같은 처리된 표시이미지는 표시부140에서 표시된다. 이때 저속클럭이 상기 전처리부210 및 후처리부230의 동작클럭으로 공급되면, 전처리부210 및 후처리부230은 각각 도 5의 515와 같이 해당 프레임 구간에서 상기 이미지스케일러220에서 생성되는 표시이미지를 전처리 및 후처리하며, 상기와 같은 처리된 표시이미지는 표시부140에서 표시된다.In this case, in the preview mode for processing the display image, the
또한 도 5의 521 프레임 구간에서 이미지 캡쳐 요구가 발생되면, 상기 제어부100은 클럭발생부400을 제어하여 고속클럭을 상기 버퍼240, 전처리부210 및 후처리부230의 동작클럭으로 공급한다. 그리고 프레임 구간 521의 시작 부분에서 상기 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 그러면 다중화부250은 상기 이미지스케일러200에 처리되는 현재 프레임의 표시이미지를 선택하여 전처리부210에 출력하며, 상기 전처리부210 및 후처리부230은 도 5의 551과 같은 구간에서 표시이미지를 처리하며, 상기 표시이미지는 역다중화부255를 통해 표시부140에 표시된다. 이후 상기 제어부100은 프레임 521의 나머지 구간 553에서 캡쳐 이미지 처리 경로를 설정하며, 버퍼240에서 설정된 프레임 이미지(예를들면 제로 셔터렉을 가지는 이미지)를 억세스하여 출력한다. 그러면 상기 다중화부250은 상기 버퍼240의 출력을 선택하여 상기 전처리부210에 출력하며, 상기 전처리부210 및 후처리부230에서 처리되는 캡쳐 이미지는 역다중화부255를 통해 정지영상 코덱260에 출력한다. 그러면 상기 정지영상 코덱은 상기 캡쳐 이미지를 압축 부호화하여 저장부130에 저장한다. 상기한 바와 같이 캡쳐 이미지 처리시, 상기 이미지처리부120은 프레임 구간에서 현재 프레임의 표시이미지 및 설정된 프레임캡쳐이미지(예를들면 제로 셔터렉을 가지는 카메라 이미지)를 시분할 처리한다. 따라서 이미지 캡쳐 요구시 이미지처리부120은 카메라110에서 현재 프레임의 표시이미지를 생성하여 표시부140을 통해 표시하는 동시에 버퍼240에 버퍼링된 카메라 이미지들 중에서 설정된 제로 셔터렉을 가지는 이미지 또는 사용자에 의해 선택되는 이미지를 압축부호화하여 저장부130에 저장한다. In addition, when an image capture request is generated in the 521 frame section of FIG. 5, the
상기 도 4c를 참조하면, 클럭발생부400은 고속클럭410 및 저속클럭420를 생성하며, 상기 제어부100의 제어하에 고속클럭 또는 저속클럭을 상기 버퍼240, 전처리부210 및 후처리부230의 동작 클럭으로 공급한다. 버퍼240은 상기 카메라110에서 출력되는 이미지를 버퍼링한다. 이미지스케일러220은 상기 버퍼240에서 출력되는 현재 프레임의 카메라 이미지를 표시이미지로 스케일링한다. 다중화부250은 상기 제어부100의 제어하에 표시이미지를 처리하는 프리뷰모드시 상기 이미지스케일러220의 출력을 선택 출력하며, 카메라110의 이미지를 캡쳐하는 캡쳐모드시 1프레임 구간에서 상기 이미지스케일러220에서 출력되는 표시이미지 및 상기 버퍼240에서 출력되는 캡쳐 이미지를 시분할 선택하여 순차적으로 출력한다. 전처리부210은 상기 제어부100의 제어하에 다중화부250에서 시분할되어 출력되는 표시이미지 및 캡쳐 이미지를 전처리한다. 후처리부230은 상기 제어부100의 제어하에 상기 전처리된 표시이미지 및 캡쳐 이미지를 후처리한다. 역다중화부255은 상기 제어부100의 제어하에 프리뷰모드시 상기 후처리부230에서 출력되는 표시이미지를 표시부140에 출력하며, 캡쳐모드시 상기 후처리부230에서 출력되는 표시이미지 및 캡쳐 이미지를 시분할 선택하여 각각 표시부140 및 정지영상 코덱260에 순차적으로 출력한다. Referring to FIG. 4C, the
여기서 상기 이미지처리부120은 프리뷰 모드에서 상기 표시이미지를 저속으로 처리하고, 캡쳐 모드에서 표시이미지 및 캡쳐이미지를 고속으로 처리할 수 있다. 또한 상기 이미지처리부120은 상기 카메라 이미지를 프리뷰모드 및 캡쳐모드에서 모두 고속으로 처리할 수도 있다. The
표시이미지를 처리하는 프리뷰 모드이면, 상기 제어부100의 제어하에 버퍼240은 상기 카메라 이미지를 버퍼링하며, 이미지 스케일러220은 상기 버퍼240에서 현재 프레임의 카메라 이미지를 표시이미지로 스케일링하여 출력하다. 또한 제어부100은 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 상기 표시이미지 처리 경로가 설정되면, 상기 다중화부250은 상기 이미지스케일러220에서 생성되는 표시이미지를 선택하여 전처리부210에 출력하며, 역다중화부255는 상기 후처리부230의 출력을 선택하여 표시부140에 출력한다. 이때 고속클럭이 상기 전처리부210 및 후처리부230의 동작클럭으로 공급되면, 전처리부210 및 후처리부230은 각각 도 5의 513과 같이 해당 프레임 구간의 일부 구간에서 상기 이미지스케일러220에서 생성되는 표시이미지를 전처리 및 후처리하며, 상기와 같은 처리된 표시이미지는 표시부140에서 표시된다. 또한 저속클럭이 상기 전처리부210 및 후처리부230의 동작클럭으로 공급되면, 전처리부210 및 후처리부230은 각각 도 5의 515와 같이 해당 프레임 구간에서 상기 이미지스케일러220에서 생성되는 표시이미지를 전처리 및 후처리하며, 상기와 같은 처리된 표시이미지는 표시부140에서 표시된다.In the preview mode for processing a display image, the
또한 도 5의 521 프레임 구간에서 이미지 캡쳐 요구가 발생되면, 상기 제어부100은 클럭발생부400을 제어하여 고속클럭을 상기 버퍼240, 전처리부210 및 후처리부230의 동작클럭으로 공급한다. 그리고 프레임 구간 521의 시작 부분에서 상기 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 그러면 다중화부250은 상기 이미지스케일러240에 처리되는 현재 프레임의 표시이미지를 선택하여 전처리부210에 출력하며, 상기 전처리부210 및 후처리부230은 도 5의 551과 같은 구간에서 표시이미지를 처리하며, 상기 표시이미지는 역다중화부255를 통해 표시부140에 표시된다. 이후 상기 제어부100은 프레임 521의 나머지 구간 553에서 캡쳐 이미지 처리 경로를 설정하며, 버퍼240에서 설정된 프레임의 카메라 이미지(예를들면 제로 셔터렉을 가지는 이미지)를 억세스하여 출력한다. 그러면 상기 다중화부250은 상기 버퍼240의 출력을 선택하여 상기 전처리부210에 출력하며, 상기 전처리부210 및 후처리부230에서 처리되는 캡쳐 이미지는 역다중화부255를 통해 정지영상 코덱260에 출력한다. 그러면 상기 정지영상 코덱은 상기 캡쳐 이미지를 압축 부호화하여 저장부130에 저장한다. In addition, when an image capture request is generated in the 521 frame section of FIG. 5, the
또한 도시하지 않았지만, 상기 이미지처리부120은 도 4c에서 상기 버퍼240의 출력이 전처리부210에 연결되고, 전처리부240 및 버퍼240의 출력이 다중화부250에 연결되며, 다중화부240의 출력이 이미지스케일러220에 연결되고, 상기 이미지스케일러240의 출력이 후처리부230에 연결되는 구성을 가질 수 있다. In addition, although not shown, in the
도 6a - 도 6c는 상기 도 1에서 본 발명의 실시예에 따른 이미지처리부120의 또 다른 구성을 도시하는 도면이다. 상기 도 6a - 도 6c는 이미지처리부120에서 캡쳐이미지를 생성할 때 프레임 이미지를 분할하여 처리하고, 이후 분할된 이미지들을 결합하여 캡처 이미지로 생성하는 실시예들을 도시하고 있다. 도 7a - 도 7c는 상기 도 6a - 도 6c의 이미지처리 동작을 설명하기 위한 도면이다.6A to 6C are diagrams illustrating still another configuration of the
상기 도 6a 및 도 7a - 도 7c를 참조하면, 전처리부210은 상기 카메라110으로부터 획득되는 이미지를 전처리한다. 그리고 상기 전처리된 이미지는 이미지스케일러220에 전달되어 표시이미지의 크기 및/또는 화소수로 스케일링된다. 이때 상기 이미지스케일러220은 리사이저 및/또는 평균화부로 구성될 수 있다. 그리고 상기 표시이미지를 처리하는 프리뷰모드에서 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 상기 이미지스케일러220의 출력이 표시부140에 전달되는 표시 이미지 경로를 설정한다. 그러면 상기 다중화부250은 이미지스케일러220에서 출력되는 표시이미지를 후처리부230에 전달한다. 그리고 상기 후처리부230은 상기 이미지 스케일러220에서 표시이미지 크기(또는 화소수)로 스케일링된 이미지를 색보간, IPC 처리 및 이미지 변환 동작을 수행한다. 그리고 상기 역다중화부255는 상기 후처리된 표시이미지를 표시부140에 전달하며, 표시부140은 상기 표시이미지를 표시한다. 그리고 상기 프리뷰 모드를 수행하는 상태에서 상기 전처리부210에서 출력되는 카메라 이미지는 버퍼240에 인가되어 버퍼링된다. 이때 상기 프리뷰 상태에서 상기 제어부100은 버퍼240에 버퍼링된 이미지 처리 동작을 수행하지 않으므로서 프리뷰 모드에서의 동작 전원을 절약할 수 있게 된다. 6A and 7A to 7C, the
상기와 같은 상태에서 캡쳐 요구가 발생되면, 상기 제어부100은 캡쳐 이미지 프레임 구간에서 표시이미지 및 캡쳐이미지를 처리하기 위하여 상기 다중화부250 및 역다중화부255를 시분할 제어한다. 그러면 상기 다중화부250 및 역다중화부255는 상기 제어부100의 시분할 제어에 의해 먼저 표시이미지를 선택하고 이후 프레임의 나머지 구간에서 상기 캡쳐이미지를 선택한다. 여기서 상기 캡쳐 이미지 처리 구간은 상기 표시이미지 처리 구간보다 길게 설정될 수 있다. 그리고 상기 표시이미지 처리 구간에서는 이미지스케일러220, 다중화부250, 후처리부230 및 역다중화부255를 경유하는 표시이미지가 표시부140에 출력되어 표시되며, 캡쳐이미지 처리 구간에서는 버퍼240, 다중화부250, 후처리부230, 역다중화부255를 경유하는 캡쳐이미지가 가산부600에 인가된다.When the capture request is generated in the above state, the
상기 캡쳐이미지 프레임에서의 이미지 처리 동작을 살펴보면, 상기 제어부100은 이미지처리부120을 시분할제어하여 표시이미지 및 캡쳐이미지를 처리한다. 먼저 상기 제어부100은 표시이미지 처리 경로를 형성하며, 이로인해 전처리부210에서 전처리된 카메라 이미지는 버퍼240에 버퍼링되는 동시에 이미지스케일러220에서 표시이미지로 스케일링된다. 그리고 상기 표시이미지는 다중화부250에 의해 후처리부230에 인가되며, 상기 후처리부230에서 후처리된 표시이미지는 역다중화부255를 통해 표시부140에 인가되어 표시된다. 상기와 같은 표시 이미지 처리 절차는 상기 프리뷰 모드에서의 절차와 동일한 방법으로 수행된다. 이후 상기 제어부100은 캡쳐 프레임의 나머지 구간에서 캡쳐 이미지를 처리한다.Referring to the image processing operation of the captured image frame, the
상기 캡쳐 이미지 처리 구간에서 상기 제어부100은 상기 버퍼240에서 설정된 프레임의 카메라 이미지를 캡쳐 이미지로 억세스한다. 여기서 상기 캡쳐 이미지는 셔터렉을 고려하여 상기 버퍼240에 버퍼링된 프레임 이미지들 중에서 셔터지연을 보상하는 카메라 이미지가 될 수 있다. 이때 상기 선택되는 카메라이미지는 도 7a와 같은 구성을 가질 수 있다. 상기 도 7a는 카메라 이미지의 한 예로써 m*y 크기를 가지는 프레임 이미지의 구성예이며, m=2n, y=2x인 경우를 가정하고 있다. 상기 제어부100은는 캡쳐 이미지를 처리할 때 상기 버퍼240에 저장된 캡쳐 이미지를 리드할 때 설정된 블록 크기로 분할하여 리드하고, 상기 분할된 이미지(tile image)는 다중화부250을 통해 후처리부230에 인가된다. 그러면 상기 후처리부230은 상기 분할 이미지를 후처리하며, 역다중화부255는 상기 후처리된 분할 이미지를 가산부600에 출력한다. 그러면 상기 가산부600에서 상기 분할이미지(tile image)들을 더하여 하나의 프레임 이미지로 재생성한다. 상기와 같이 카메라 이미지를 분할하여 후처리하는 이유는 상기 후처리부250의 게이트 수를 감소시켜 하드웨어 구성 및 전원 소모를 줄이기 위함이다. 또한 상기와 같이 카메라 이미지를 분할하여 이미지 처리하는 이유는 상기 카메라 이미지의 사이즈가 커서(즉, 고화소의 이미지) 1프레임 구간에서 표시이미지 및 카메라 이미지를 동시에 처리할 수 없는 경우에도 유용하게 사용될 수 있다. In the capture image processing section, the
먼저 상기 도 7a와 같은 카메라 이미지를 2분할하여 프레임 이미지를 2분할하여 후처리하는 동작을 살펴본다. 상기 도 7a와 같은 크기를 가지는 카메라 이미지를 2분할하는 경우, 상기 2분할된 이미지는 각각 n*y 크기를 가지며, 이때 분할 이미지는 (1)-(n), (n+1)-(m) 라인으로 분할할 수 있다. 그러나 상기 프레임 이미지를 후처리할 때 인접화소를 이용하여 색보간 및 IPC 처리 기능을 수행하므로, 상기 버퍼240에서 프레임 이미지를 분할할 때 상기 도 7b의 710 및 720과 같이 각각 (1)-(n+a), (n-a+1)-(m)으로 분할하며, 후처리부 처리 형식에 따라 a의 값은 달라진다. 여기서 상기 a는 중복되는 라인의 수이며, 본 발명의 실시예에서는 a=1인 경우로 가정한다. 상기 제어부100은 상기 도 7b의 710과 같은 첫번째 분할 이미지를 리드하여 다중화부250을 통해 후처리부230에 인가하며, 상기 후처리부230은 상기와 같은 분할된 이미지를 후처리하며, 상기 후처리된 분할 프레임 이미지는 역다중화부255를 통해 가산부600에 인가한다. 이후 상기 제어부100은 상기 도 7b의 720과 같은 두번째 분할 이미지를 리드하여 다중화부250을 통해 후처리부250에 전달하며, 상기 후처리부250은 전달되는 분할된 이미지를 처리하며, 상기 후처리된 분할 이미지는 역다중화부255를 통해 상기 가산부600에 전달한다. 상기 도 7a와 같은 카메라 이미지를 도 7b의 710 및 720과 같은두개의 분할 이미지로 전송하는 경우, 상기 분할 이미지들은 하나의 프레임 구간에서 전송될 수 있으며, 또한 분할이미지의 프레임 수 만큼 나누어 전송할 수 있다. 이때 후자의 경우, 상기 2개의 분할 이미지들은 2프레임 구간에서 처리된다. 따라서 상기 가산부600은 2개의 프레임 구간에서 수신되는 두개의 분할 이미지들을 가산하여 하나의 프레임 이미지로 생성한다.First, an operation of dividing the camera image as shown in FIG. 7A by dividing the frame image into 2 and post-processing will be described. In the case of dividing a camera image having the same size as that of FIG. 7A, the two divided images each have an size of n * y, wherein the divided images are (1)-(n) and (n + 1)-(m ) Can be split into lines. However, since the interpolation and IPC processing functions are performed using adjacent pixels when post-processing the frame image, when the frame image is divided in the
이때 상기 역다중화부255를 통해 전달되는 분할 이미지는 후처리시 인접화소의 정보를 이용하기 위하여 인접화소들을 더 포함하고 있으므로(도 7b의 710의 경우에는 n+1 라인의 화소들, 도 7b의 720의 경우에는 n 라인의 화소들), 해당 라인의 화소들을 제거한 후 가산하여야 한다. 따라서 상기 가산부600은 상기 도 7b의 710과 같이 후처리된 분할 이미지들을 수신하는 경우 n+1 라인의 화소들을 제거하고, 또한 상기 도 7b의 720과 같이 후처리된 분할 이미지들을 수신하는 경우 n 라인의 화소들을 제거한 후, 이들 분할된 이미지들을 가산하여 프레임 이미지를 재생성한다. 이후 상기 가산부600에서 출력되는 프레임 이미지는 정지영상코덱260에 인가되어 정지이미지로 압축 부호화되며, 상기 정지영상 코덱260에서 출력되는 이미지는 저장부130에 캡쳐 이미지로 저장된다. In this case, the divided image transmitted through the
두번째로 상기 프레임 이미지를 4분할하여 후처리하는 동작을 살펴본다. 상기 도 7a와 같은 크기를 가지는 프레임 이미지를 4분할하는 경우, 상기 4분할된 이미지는 각각 n*x 크기를 가지며, 4분할된 분할 이미지들은 {(1)-(n), (1)-(x); {(n+1)-(m), (1)-(x); (1)-(n), (x+1)-(y); {(n+1)-(m), (x+1)-(y)}이 될 수 있다Secondly, an operation of post-processing by dividing the frame image into four will be described. In the case of dividing the frame image having the same size as that of FIG. 7A, the quadrant divided images have n * x sizes, respectively. x); {(n + 1)-(m), (1)-(x); (1)-(n), (x + 1)-(y); can be {(n + 1)-(m), (x + 1)-(y)}
그러나 상기 프레임 이미지를 후처리할 때 인접화소를 이용하여 색보간 및 IPC 처리 기능을 수행하므로, 상기 버퍼240에서 프레임 이미지를 분할할 때 상기 도 7c의 750-780과 같이 각각 {(1)-(n+1), (1)-(x+1); {(n)-(m), (1)-(x+1); (1)-(n+1), (x)-(y); {(n)-(m), (x)-(y)}로 분할한다. 이후 상기 제어부100은 상기 도 7c의 750과 같은 분할된 이미지를 리드하여 다중화부250을 통해 후처리부250에 인가하며, 상기 후처리부250은 상기와 같은 분할된 이미지를 후처리하며, 상기 후처리된 분할 프레임 이미지는 역다중화부255를 통해 가산부600에 인가된다. 상기와 같은 방법으로 상기 제어부100은 상기 도 7c의 760 - 780과 같은 분할된 이미지를 순차적으로 리드하여 후처리부250에 전달하며, 상기 후처리부250은 순차적으로 전달되는 분할된 이미지를 처리하여 상기 가산부600에 전달한다. 상기 도 7 a와 같은 1 프레임 이미지를 도 7c와 같이 4분할 이미지로 처리하는 경우, 상기 분할 이미지들을 4프레임 구간에서 처리된다. 따라서 상기 가산부600은 4 프레임 구간에서 수신되는 4개의 분할 프레임이미지들을 가산하여 하나의 프레임이미지로 생성한다. However, since the interpolation and IPC processing functions are performed using adjacent pixels when post-processing the frame image, when the frame image is divided in the
이때 전달되는 분할된 이미지는 후처리시 인접화소의 정보를 이용하기 위하여 인접화소들을 더 포함하고 있으므로(도 7b의 750의 경우에는 n+1, x+1, 라인의 화소들, 760의 경우에는 n, x+1 라인의 화소들, 770의 경우 n, x+1 라인의 화소들, 780의 경우 n, x라인의 화소들), 해당 라인의 화소들을 제거한 후 가산하여야 한다. 따라서 상기 가산부600은 상기 도 7c의 750-780과 같은 후처리된 분할 이미지들을 수신하는 경우 해당 분할이미지 영역의 인접화소 라인들의 화소들을 제거한 후, 이들 분할된 이미지들을 가산하여 프레임 이미지를 재생성한다. 이후 상기 가산부600에서 출력되는 프레임 이미지는 정지영상코덱260에 인가되어 정지이미지로 압축 부호화되며, 상기 정지영상 코덱260에서 출력되는 이미지는 저장부130에 캡쳐 이미지로 저장된다. In this case, the transmitted divided image further includes adjacent pixels in order to use information of the adjacent pixels in post-processing (n + 1, x + 1 in the case of 750 of FIG. 7B, pixels in the line, and in the case of 760). Pixels of n, x + 1 lines, n of 770, pixels of x + 1 lines, n of x780 pixels, and pixels of x lines) must be removed and added. Therefore, when the
상기한 바와 같이 도 7b와 같이 프레임 이미지를 2분할하여 처리하는 경우에는 상기 후처리부230은 1/2 크기의 카메라 이미지들을 처리하면 되며, 도 7c와 같이 프레임 이미지를 4분할하여 처리하는 경우에는 상기 후처리부230은 1/4 크기의 카메라 이미지들을 처리하면 된다. 따라서 카메라110의 이미지를 설정된 크기로 분할하여 처리하므로, 상기 캡쳐이미지처리를 위한 후처리부230의 로직 게이트 수를 대폭 줄일 수 있으며, 이로인해 전력소모도 줄일 수 있게 된다.As described above, when the frame image is divided into two processes as shown in FIG. 7B, the
도 6b는 이미지처리부120에서 캡쳐이미지를 생성할 때 카메라 이미지를 분할하여 전처리 및 후처리하고, 이후 이미지 처리된 분할 이미지들을 결합하여 캡처 이미지로 생성하는 예를 도시하고 있다FIG. 6B illustrates an example in which a camera image is divided into pre-processing and post-processing when the
상기 도 6b와 같은 구성을 가지는 이미지처리부120의 구성 및 동작을 살펴보면, 상기 카메라110의 이미지는 각각 이미지스케일러220 및 버퍼240에 입력된다. 그러면 상기 버퍼240은 상기 카메라110의 이미지를 버퍼링하며, 이미지스케일러220은 상기 카메라110의 이미지를 표시이미지 사이즈로 스케일링한다. 여기서 상기 이미지스케일러240은 상기한 바와 같이 리사이저 및/또는 평균화부로 구성될 수 있다. Referring to the configuration and operation of the
이때 표시이미지를 처리하는 프리뷰 모드이면, 제어부100은 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 상기 표시이미지 처리 경로가 설정되면, 상기 다중화부250은 상기 이미지스케일러220에서 생성되는 표시이미지를 선택하여 전처리부210에 출력하며, 역다중화부255는 상기 후처리부230의 출력을 선택하여 표시부140에 출력한다. 그리고 상기 전처리부210 및 후처리부230은 상기 표시이미지를 전처리 및 후처리하며, 상기와 같은 처리된 표시이미지는 표시부140에서 표시된다. In this case, in the preview mode for processing the display image, the
상기와 같은 상태에서 캡쳐 요구가 발생되면, 상기 제어부100은 캡쳐 이미지 프레임 구간에서 표시이미지 및 캡쳐이미지를 처리하기 위하여 상기 다중화부250 및 역다중화부255를 시분할 제어한다. 그러면 상기 다중화부250 및 역다중화부255는 상기 제어부100의 시분할 제어에 의해 먼저 표시이미지를 선택하고 이후 프레임의 나머지 구간에서 상기 캡쳐이미지를 선택한다. 여기서 상기 캡쳐 이미지 처리 구간은 상기 표시이미지 처리 구간보다 길게 설정될 수 있다. 그리고 상기 표시이미지 처리 구간에서 이미지스케일러220에서 출력되는 표시이미지는 다중화부250, 전처리부210, 후처리부230 및 역다중화부255를 통해 표시부140에 출력되어 표시된다. 그리고 캡쳐이미지 처리 구간에서 버퍼240에서 분할되어 억세스되는 분할이미지는 다중화부250, 전처리부210, 후처리부230 및 역다중화부255를 통해 가산부600에 인가된다. 즉, 상기 도 6a에서 설명된 바와 같이 캡쳐 이미지처리시 상기 7a와 같은 카메라 이미지는 상기 버퍼240에서 상기 도 7b 또는 도 7c와 같이 분할되어 억세스되며, 상기 분할 이미지는 전처리부210 및 후처리부230에서 각각 전처리 및 후처리되어 가산부600에 인가된다. 그러면 상기 가산부600은 이미지 처리된 상기 분할 이미지들을 가산하여 프레임 이미지로 생성하며, 정지영상코덱260은 상기 가산부600에서 가산된 1프레임의 카메라 이미지를 압축부호화하며, 상기 부호화된 카메라 이미지는 저장부130에 저장된다. 이때 상기 이미지처리부120에서 캡쳐 이미지 처리시 카메라 이미지를 분할 및 가산하는 동작은 상기 도 6a에서 설명된 방법으로 수행할 수 있다.When the capture request is generated in the above state, the
상기 도 6c를 참조하면, 버퍼240은 상기 카메라110에서 출력되는 이미지를 버퍼링한다. 또한 상기 제어부100은 캡쳐 모드시 상기 버퍼240에서 선택된 프레임의 카메라 이미지를 설정된 크기로 분할 억세스하여 출력한다. 이미지스케일러220은 상기 버퍼240에서 출력되는 현재 프레임의 카메라 이미지를 표시이미지로 스케일링한다. 다중화부250은 상기 제어부100의 제어하에 표시이미지를 처리하는 프리뷰모드시 상기 이미지스케일러220의 출력을 선택 출력하며, 카메라110의 이미지를 캡쳐하는 캡쳐모드시 1프레임 구간에서 상기 이미지스케일러220에서 출력되는 표시이미지 및 상기 버퍼240에서 출력되는 카메라 이미지의 분할 이미지를 시분할 선택하여 순차적으로 출력한다. 전처리부210은 상기 제어부100의 제어하에 다중화부250에서 시분할되어 출력되는 표시이미지 및 분할 이미지를 전처리한다. 후처리부230은 상기 제어부100의 제어하에 상기 전처리된 표시이미지 및 분할 이미지를 후처리한다. 역다중화부255은 상기 제어부100의 제어하에 프리뷰모드시 상기 후처리부230에서 출력되는 표시이미지를 표시부140에 출력하며, 캡쳐모드시 상기 후처리부230에서 출력되는 표시이미지 및 분할 이미지를 시분할 선택하여 각각 표시부140 및 가산부600에 순차적으로 출력한다. 가산부600은 상기 분할 이미지를 가산하여 1프레임의 카메라 이미지를 생성하며, 정지영상코덱260은 상기 가산부600에서 출력되는 카메라 이미지를 압축부호화하여 저장부130에 저장한다.Referring to FIG. 6C, the
표시이미지를 처리하는 프리뷰 모드에서 상기 버퍼240은 상기 제어부100의 제어하에 상기 카메라 이미지를 버퍼링하며, 이미지 스케일러220은 상기 버퍼240에서 현재 프레임의 카메라 이미지를 표시이미지로 스케일링하여 출력한다. 또한 제어부100은 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 상기 표시이미지 처리 경로가 설정되면, 상기 다중화부250은 상기 이미지스케일러220에서 생성되는 표시이미지를 선택하여 전처리부210에 출력하며, 역다중화부255는 상기 후처리부230의 출력을 선택하여 표시부140에 출력한다. In the preview mode for processing a display image, the
또한 카메라 이미지 캡쳐 요구가 발생되면, 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 그러면 다중화부250은 상기 이미지스케일러240에 처리되는 현재 프레임의 표시이미지를 선택하여 전처리부210에 출력하며, 상기 전처리부210 및 후처리부230은 표시이미지를 처리하며, 상기 표시이미지는 역다중화부255를 통해 표시부140에 표시된다. 이후 상기 제어부100은 다중화부250 및 역다중화부255를 제어하여 캡쳐 이미지 처리 경로를 설정하며, 버퍼240에서 설정된 프레임(예를들면 제로 셔터렉을 가지는 이미지)의 카메라 이미지에서 설정된 크기의 분할이미지를 억세스하여 출력한다. 그러면 상기 다중화부250은 상기 버퍼240에서 출력되는 분할이미지를 전처리부210에 출력하며, 상기 전처리부210 및 후처리부230에서 처리되는 분할 이미지는 역다중화부255를 통해 가산부600에 인가된다. 상기와 같은 캡쳐 이미지의 처리 동작은 1프레임의 카메라이미지에서 분할되는 이미지의 수(즉, 분할 이미지의 수)만큼 반복 수행되며, 분할이미지들의 처리 완료시 상기 가산부600은 1프레임의 카메라 이미지를 생성하여 정지영상 코덱260에 출력한다. 그러면 상기 정지영상 코덱260은 상기 가산된 캡쳐용 카메라 이미지를 압축 부호화하여 저장부130에 저장한다. 이때 카메라 이미지를 분할하여 이미지 처리한 후 가산하는 동작은 상기 도 6a 및 도 7a - 도 7c에서 설명된 방법과 같다. 또한 도시하지 않았지만, 상기 이미지처리부120은 상기 도 6c에서 버퍼240의 출력이 전처리부210에 연결되고, 전처리부210 및 버퍼240의 출력이 다중화부250에 연결되며, 다중화부240의 출력이 이미지스케일러220에 연결되고, 상기 이미지스케일러240의 출력이 후처리부230에 연결되는 구성을 가질 수 있다. When a camera image capture request is generated, the
상기 도 6a - 도 6c와 같은 구성을 가지는 이미지처리부120은 캡쳐 요구시 설정된 프레임의 카메라 이미지를 분할하여 처리한다. 이는 이미지처리부120의 하드웨어 구성을 간략화(즉, 전처리부210 및/또는 후처리부230의 게이트 수를 감소시킴) 하고, 또한 이미지처리부120의 전원 소모를 줄이기 위함이다. 또한 상기와 같이 카메라 이미지를 분할하여 이미지 처리(전처리 및/또는 후처리)하는 이유는 상기 카메라 이미지의 사이즈가 커서(즉, 고화소의 이미지) 1프레임 구간에서 표시이미지 및 카메라 이미지를 동시에 처리할 수 없는 경우에도 유용하게 사용될 수 있다. 즉, 캡쳐를 위한 카메라 이미지를 분할하여 처리하므로써, 카메라 이미지가 대용량 및 고화소의 이미지인 경우에도 안정되게 캡쳐할 수 있다. The
도 8a - 도 8c는 상기 도 1에서 본 발명의 실시예에 따른 이미지처리부120의 또 다른 구성을 도시하는 도면이다. 상기 도 8a - 도 8c는 이미지처리부120이 복수의 동작 클럭들을 사용하며, 캡쳐이미지를 생성할 때 프레임 이미지를 분할하여 처리하고, 이후 분할된 이미지들을 결합하여 캡처 이미지로 생성하는 실시예들을 도시하고 있다. 그리고 도 9는 상기 도 8a - 도 8c와 같은 구성을 가지는 이미지처리부120 동작을 설명하기 위한 도면이다. 또한 상기 도 7a - 도 7c에 도시된 바와 같이 캡쳐 이미지 처리시 1프레임의 카메라 이미지를 설정된 크기의 이미지로 분할하고, 분할 이미지를 처리하며, 처리된 분할 이미지들을 가산하여 캡쳐 이미지로 처리한다.8A to 8C are diagrams illustrating still another configuration of the
상기 도 8a, 도 7a - 도 7c 및 도 9를 참조하면, 전처리부210은 상기 카메라110으로부터 획득되는 이미지를 전처리한다. 그리고 상기 전처리된 이미지는 이미지스케일러220에 전달되어 표시이미지의 크기 및/또는 화소수로 스케일링된다. 이때 상기 이미지스케일러220은 리사이저 및/또는 평균화부로 구성될 수 있다. 그리고 상기 프리뷰 모드를 수행하는 상태에서 상기 전처리부210에서 출력되는 이미지는 버퍼240에 인가되어 버퍼링된다. 이때 상기 프리뷰 상태에서 후처리부230 및 정지영상코덱260은 구동되지 않으며, 따라서 프리뷰 모드에서의 동작 소모전력을 절약할 수 있게 된다. 8A, 7A, 7C, and 9, the
클럭발생부400는 고속클럭발생부410과, 상기 고속클럭보다 낮은 저속클럭을 발생하는 저속클럭발생부420과, 제어부100의 제어하에 상기 고속클럭발생부410 또는 저속클럭발생부420의 출력을 선택하여 상기 이미지처리부120의 동작 클럭으로 공급하는 선택부430로 구성된다. 먼저 카메라110은 도 9의 911과 같이 수직동기신호 Vsync 단위로 한 프레임의 이미지를 생성하여 출력한다. 즉, 상기 수직동기신호 Vsync는 1프레임 주기가 된다. 이런경우, 프리뷰모드에서 상기 이미지처리부120은 저속클럭 또는 고속클럭을 동작클럭으로 사용할 수 있다. 먼저 고속클럭을 선택하면, 상기 선택부430은 고속클럭발생부410의 출력을 선택하며, 상기 선택된 고속클럭은 버퍼240 및 후처리부230의 동작클럭으로 공급된다. 이때 상기 프리뷰모드에서 상기 제어부100은 다중화부250 및 역다중화부255를 표시이미지 처리 경로로 설정하며, 상기 버퍼240의 억세스 동작은 수행하지 않게된다. 그러면 상기 도 9의 911과 같은 주기로 상기 카메라110에서 생성되는 프레임 이미지는 전처리부210 및 이미지스케일러220을 통해 전처리 및 표시이미지로 변환되며, 상기 표시이미지는 다중화부250을 통해 후처리부230으로 전달된다. 그러면 상기 후처리부230은 상기 고속클럭에 의해 도 9의 913과 같이 처리되어 역다중화부255에 인가되며, 상기 역다중화부255는 상기 후처리된 표시이미지를 표시부140에 전달하여 표시되도록 한다. 두번째로 저속클럭이 선택되면, 상기 선택부430은 저속클럭을 버퍼240 및 후처리부230의 동작클럭으로 공급한다. 그러면 상기 후처리부230은 상기 고속클럭에 의해 도 9의 915과 같이 처리되어 역다중화부255에 인가되며, 상기 역다중화부255는 상기 후처리된 표시이미지를 표시부140에 전달하여 표시되도록 한다.The
상기와 같은 상태에서 캡쳐요구가 발생되면, 상기 제어부100은 먼저 캡쳐 프레임 주기에서 먼저 다중화부250 및 역다중화부255를 제어하여 참조번호 951 및 953과 같이 표시이미지를 처리하기 위한 경로를 설정하여 고속으로 처리한다. 이후 상기 제어부100은 캡쳐 프레임 주기(도 9의 921 및 923 프레임 구간)에서 상기 다중화부250 및 역다중화부255를 제어하여 참조번호 953 및 963)과 같은 캡쳐이미지 처리 경로를 형성하고, 상기 버퍼240에서 설정된 프레임의 카메라이미지, 예를들면 셔터지연을 고려한 제로 셔터렉의 프레임이미지를 억세스하여 출력한다. 이때 상기 제어부100은 상기 버퍼240에서 프레임 이미지를 리드할 때 상기 도 7a - 도 7c에 도시된 바와 같은 방법으로 1프레임의 카메라 이미지에서 설정된 크기를 가지는 분할이미지를 억세스한다. 즉, 캡쳐 요구시 상기 제어부100은 상기 버퍼240에 저장된 프레임 이미지를 리드할 때 설정된 블록 크기로 분할하여 리드하고, 상기 분할 이미지(tile image)는 다중화부250을 통해 후처리부230에 인가된다. 그러면 상기 후처리부230은 상기 분할 이미지를 후처리하며, 역다중화부255는 상기 후처리된 분할 이미지를 가산부600에 출력한다. 그러면 상기 가산부600에서 상기 분할이미지(tile image)들을 더하여 한 프레임 카메라 이미지로 재생성한다. When the capture request is generated in the above state, the
이때 상기 도 7a와 같은 카메라 이미지를 2분할하여 억세스하는 경우, 상기 제어부100은 도 7b의 710 및 720과 같이 리드한다. 그러면 먼저 도 9의 프레임 921 구간에서 상기 버퍼240으로부터 억세스되는 도 7b의 710과 같은 분할 프레임이미지는 다중화부250을 통해 도 9의 953과 같이 후처리부230에 인가되어 후처리되며, 상기 후처리되는 분할 이미지는 역다중화부255에서 가산부600에 인가된다. 이후 다음 프레임 구간(도 9의 923 프레임 구간)에서 상기 버퍼240으로부터 억세스되는 도 7b의 720과 같은 분할 이미지는 다중화부250을 통해 도 9의 963과 같이 후처리부230에 인가되어 후처리되며, 상기 후처리되는 분할 이미지는 역다중화부255에서 가산부600에 인가된다.In this case, when accessing by dividing the camera image as shown in FIG. 7A into two, the
이때 상기 역다중화부255를 통해 전달되는 분할된 이미지는 후처리시 인접화소의 정보를 이용하기 위하여 인접화소들을 더 포함하고 있으므로(도 7b의 710의 경우에는 n+1 라인의 화소들, 도 7b의 720의 경우에는 n 라인의 화소들), 해당 라인의 화소들을 제거한 후 가산하여야 한다. 따라서 상기 가산부600은 상기 도 7b의 710과 같이 후처리된 분할 이미지들을 수신하는 경우 n+1 라인의 화소들을 제거하고, 또한 상기 도 7b의 720과 같이 후처리된 분할 이미지들을 수신하는 경우 n 라인의 화소들을 제거한 후, 이들 분할된 이미지들을 가산하여 1 프레임의 카메라 이미지를 재생성한다. 이후 상기 가산부600에서 출력되는 카메라 이미지는 정지영상코덱260에 인가되어 압축 부호화되며, 상기 정지영상 코덱260에서 출력되는 이미지는 저장부130에 캡쳐 이미지로 저장된다. 상기와 같은 방법으로 프리뷰모드에서 상기 이미지처리장치는 선택 클럭에 따라 도 9의 913 또는 915와 같이 표시이미지를 처리한다. 그리고 캡쳐 요구시 상기 제어부100은 고속 클럭을 선택하며, 1 프레임 구간에서 표시이미지 및 캡쳐 이미지를 처리할 수 있도록 다중화부250 및 역다중화부255를 제어한다. 그리고 상기 카메라 이미지를 분할하며, 분할된 이미지의 수에 따른 프레임 구간들에서 분할된 이미지들을 고속으로 처리한다. 이때 분할된 이미지의 수가 3개이면 3개의 프레임 구간들에서 분할 이미지들을 처리할 수 있으며, 4개이면(도 7c와 같은 경우) 4개의 프레임 구간들에서 분할 이미지들을 처리할 수 있다. 도 8b를 참조하면, 상기 카메라110의 이미지는 각각 이미지스케일러220 및 버퍼240에 입력된다. 그러면 상기 버퍼240은 상기 카메라110의 이미지를 버퍼링하며, 이미지스케일러220은 상기 카메라110의 이미지를 표시이미지 사이즈로 스케일링한다. 여기서 상기 이미지스케일러220은 상기한 바와 같이 리사이저 및/또는 평균화부로 구성될 수 있다. 또한 클럭발생부400은 선택된 클럭(저속클럭 또는 고속 클럭)을 상기 이미지처리부120의 동작클럭으로 공급한다. In this case, the divided image transmitted through the
표시이미지를 처리하는 프리뷰 모드인 경우, 제어부100은 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 또한 상기 제어부100은 클럭발생부400을 제어하여 저속클럭 또는 고속클럭을 이미지처리부120의 동작 클럭으로 공급한다. 이때 상기 표시이미지 처리 경로가 설정되면, 상기 다중화부250은 상기 이미지스케일러220에서 생성되는 표시이미지를 선택하여 전처리부210에 출력하며, 역다중화부255는 상기 후처리부230의 출력을 선택하여 표시부140에 출력한다. 그리고 상기 전처리부210 및 후처리부230은 상기 표시이미지를 전처리 및 후처리하며, 상기와 같은 처리된 표시이미지는 표시부140에서 표시된다. 이런 경우 상기 이미지처리부120은 저속클럭이 동작클럭으로 공급되면 도 9의 915와 같이 표시이미지를 처리하며, 고속클럭이 동작클럭으로 공급되면 도 9의 913과 같이 표시이미지를 처리한다.In the preview mode for processing the display image, the
상기와 같은 상태에서 캡쳐 요구가 발생되면, 상기 제어부100은 캡쳐 이미지 프레임 구간에서 표시이미지 및 캡쳐이미지를 처리하기 위하여 상기 다중화부250 및 역다중화부255를 시분할 제어한다. 또한 상기 제어부100은 클럭발생부400을 제어하여 고속클럭을 상기 이미지처리부120의 동작클럭으로 공급한다. 그러면 상기 다중화부250 및 역다중화부255는 상기 제어부100의 시분할 제어에 의해 먼저 표시이미지를 선택하고 이후 프레임의 나머지 구간에서 상기 캡쳐이미지를 선택한다. 이때 카메라 이미지를 2분할하여 처리하는 경우, 상기 도 9의 951 및 961과 같은 표시이미지 처리 구간에서 이미지스케일러220에서 출력되는 표시이미지는 다중화부250, 전처리부210, 후처리부230 및 역다중화부255를 통해 표시부140에 출력되어 표시된다. 이후 도 9의 953 및 963과 같은 캡쳐이미지 처리 구간에서 버퍼240에서 분할되어 억세스되는 분할이미지는 다중화부250, 전처리부210, 후처리부230 및 역다중화부255를 통해 가산부600에 인가된다. 즉, 상기 도 8a에서 설명된 바와 같이 캡쳐 이미지처리시 상기 7a와 같은 카메라 이미지는 상기 버퍼240에서 상기 도 7b 또는 도 7c와 같이 분할되어 억세스되며, 상기 분할 이미지는 전처리부210 및 후처리부230에서 각각 전처리 및 후처리되어 가산부600에 인가된다. 그러면 상기 가산부600은 이미지 처리된 상기 분할 이미지들을 가산하여 프레임 이미지로 생성하며, 정지영상코덱260은 상기 가산부600에서 가산된 1프레임의 카메라 이미지를 압축부호화하며, 상기 부호화된 카메라 이미지는 저장부130에 저장된다. 이때 상기 이미지처리부120에서 캡쳐 이미지 처리시 카메라 이미지를 분할 및 가산하는 동작은 상기 도 6a 및 도 8a에서 설명된 방법으로 수행할 수 있다.When the capture request is generated in the above state, the
상기 도 8c를 참조하면, 버퍼240은 상기 카메라110에서 출력되는 이미지를 버퍼링한다. 또한 상기 제어부100은 캡쳐 모드시 상기 버퍼240에서 선택된 프레임의 카메라 이미지를 설정된 크기로 분할 억세스하여 출력한다. 이미지 스케일러220은 상기 버퍼240에서 출력되는 현재 프레임의 카메라 이미지를 표시이미지로 스케일링한다. 클럭발생부400은 상기 제어부100의 제어하여 저속클럭 또는 고속클럭을 선택하여 상기 이미지처리부120의 동작클럭으로 공급한다. 다중화부250은 상기 제어부100의 제어하에 표시이미지를 처리하는 프리뷰모드시 상기 이미지스케일러220의 출력을 선택 출력하며, 카메라110의 이미지를 캡쳐하는 캡쳐모드시 1프레임 구간에서 상기 이미지스케일러220에서 출력되는 표시이미지 및 상기 버퍼240에서 출력되는 카메라 이미지의 분할 이미지를 시분할 선택하여 순차적으로 출력한다. 전처리부210은 상기 제어부100의 제어하에 다중화부250에서 시분할되어 출력되는 표시이미지 및/또는 분할 이미지를 전처리한다. 후처리부230은 상기 제어부100의 제어하에 상기 전처리된 표시이미지 및/또는 분할 이미지를 후처리한다. 역다중화부255은 상기 제어부100의 제어하에 프리뷰모드시 상기 후처리부230에서 출력되는 표시이미지를 표시부140에 출력하며, 캡쳐모드시 상기 후처리부230에서 출력되는 표시이미지 및 분할 이미지를 시분할 선택하여 각각 표시부140 및 가산부600에 순차적으로 출력한다. 가산부600은 상기 분할 이미지를 가산하여 1프레임의 카메라 이미지를 생성하며, 정지영상코덱260은 상기 가산부600에서 출력되는 카메라 이미지를 압축부호화하여 저장부130에 저장한다.Referring to FIG. 8C, the
표시이미지를 처리하는 프리뷰 모드에서 상기 버퍼240은 상기 제어부100의 제어하에 상기 카메라 이미지를 버퍼링하며, 이미지 스케일러220은 상기 버퍼240에서 현재 프레임의 카메라 이미지를 표시이미지로 스케일링하여 출력한다. 또한 제어부100은 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정하고, 상기 클럭발생부40을 제어하여 저속클럭 또는 고속클럭을 이미지처리부120의 동작클럭으로 공급한다. 상기 표시이미지 처리 경로가 설정되면, 상기 다중화부250은 상기 이미지스케일러220에서 생성되는 표시이미지를 선택하여 전처리부210에 출력하며, 역다중화부255는 상기 후처리부230의 출력을 선택하여 표시부140에 출력한다. 이때 상기 이미지처리부120은 저속클럭이 동작클럭으로 공급되면 도 9의 915와 같이 표시이미지를 처리하며, 고속클럭이 동작클럭으로 공급되면 도 9의 913과 같이 표시이미지를 처리한다.In the preview mode for processing a display image, the
또한 카메라 이미지 캡쳐 요구가 발생되면, 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정하며, 상기 클럭발생부400을 제어하여 상기 이미지처리부120에 고속클럭을 동작클럭으로 공급한다. 그러면 다중화부250은 상기 이미지스케일러240에 처리되는 현재 프레임의 표시이미지를 선택하여 전처리부210에 출력하며, 상기 전처리부210 및 후처리부230은 도 9의 951 및 961 구간에서 표시이미지를 처리하며, 상기 표시이미지는 역다중화부255를 통해 표시부140에 표시된다. 이후 상기 제어부100은 다중화부250 및 역다중화부255를 제어하여 캡쳐 이미지 처리 경로를 설정하며, 버퍼240에서 설정된 프레임(예를들면 제로 셔터렉을 가지는 이미지)의 카메라 이미지에서 설정된 크기의 분할이미지를 억세스하여 출력한다. 그러면 상기 다중화부250은 상기 버퍼240에서 출력되는 분할이미지를 전처리부210에 출력하며, 상기 전처리부210 및 후처리부230은 도 9의 953 및 963 구간에서 분할 이미지를 이미지를 처리하며, 역다중화부255는 상기 후처리된 분할이미지들을 가산부600에 출력한다. 상기와 같은 캡쳐 이미지의 처리 동작은 1프레임의 카메라이미지에서 분할되는 이미지의 수(즉, 분할 이미지의 수)만큼 반복 수행되며, 분할이미지들의 처리 완료시 상기 가산부600은 1프레임의 카메라 이미지를 생성하여 정지영상 코덱260에 출력한다. 그러면 상기 정지영상 코덱260은 상기 가산된 캡쳐용 카메라 이미지를 압축 부호화하여 저장부130에 저장한다. 이때 카메라 이미지를 분할하여 이미지 처리한 후 가산하는 동작은 상기 도 6a 및 도 7a - 도 7c에서 설명된 방법과 같다. In addition, when a camera image capture request is generated, the
또한 도시하지 않았지만, 상기 이미지처리부120은 상기 도 8c에서 버퍼240의 출력이 전처리부210에 연결되고, 전처리부240 및 버퍼240의 출력이 다중화부250에 연결되며, 다중화부240의 출력이 이미지스케일러220에 연결되고, 상기 이미지스케일러240의 출력이 후처리부230에 연결되는 구성을 가질 수 있다. Also, although not shown, the
상기 도 8a - 도 8c와 같은 구성을 가지는 이미지처리부120은 캡쳐 요구시 고속으로 설정된 프레임의 카메라 이미지를 분할하여 처리한다. 이는 이미지처리부120의 하드웨어 구성을 간략화(즉, 전처리부210 및/또는 후처리부230의 게이트 수를 감소시킴) 하고, 또한 이미지처리부120의 전원 소모를 줄이기 위함이다. 또한 상기와 같이 고속으로 카메라 이미지를 분할하여 이미지 처리(전처리 및/또는 후처리)하면, 이미지처리부120은 대용량의 고화소를 가지는 카메라 이미지인 경우에도 표시이미지 및 카메라 이미지를 시분할하여 동시에 처리할 수 있다.The
상기와 같은 구성을 가지는 이미지처리부120(도 2a - 도 2d, 도 4a - 도 4c, 도 6a - 도 6c, 도 8a - 도 8c)을 구비하는 카메라장치의 경우, 동영상 및 캡쳐 이미지를 함께 처리할 수 있다. 즉, 상기 표시이미지는 동영상으로 저장할 수 있는 이미지이다. 따라서 상기 동영상 저장모드시 상기와 같은 구성을 가지는 이미지처리부120은 매 프레임 구간에서 표시이미지를 생성하며, 이를 표시부140에 출력하는 동시에 동영상코덱270에 출력한다. 따라서 동영상 저장모드시 상기 이미지처리부120은 상기 매 프레임의 표시이미지를 상기 표시부140에 표시하는 동시에 동영상코덱270을 부호화하여 저장부130에 저장한다. 상기와 같은 상태에서 캡쳐 요구 명령이 발생되면, 상기 이미지처리장치는 상기 표시이미지와 함께 제로 셔터렉의 프레임 이미지를 부호화한다. 그리고 상기 이미지처리부120은 상기 표시이미지를 표시부140에 표시하는 동시에 동영상코덱270을 통해 부호화하여 상기 저장부130에 저장하고, 또한 상기 부호화된 캡쳐이미지를 저장부130에 저장한다. 따라서 동영상 촬영 중에 스냅 샷 촬영도 동시에 수행할 수 있다.In the case of the camera device having the image processing unit 120 (FIGS. 2A to 2D, 4A to 4C, 6A to 6C, and 8A to 8C) having the above-described configuration, a video and a captured image may be processed together. Can be. That is, the display image is an image that can be stored as a video. Therefore, in the video storage mode, the
도 10a 및 도 10b는 본 발명의 실시예에 따른 이미지처리부120의 구체적인 구성 예를 도시하고 있다. 10A and 10B illustrate an example of a specific configuration of the
상기 도 10a는 도 8a와 같은 구성을 가지는 이미지처리부120의 구체적인 구성 예를 도시하는 도시하는 도면이다. 상기 도 10a는 상기 도 8a의 구성에서 5개의 카메라 이미지를 저장할 수 있는 링버퍼로 구성되는 버퍼240과, 상기 전처리부210에서 출력되는 표시이미지를 버퍼링할 수 있는 링버퍼910과, 상기 가산부600의 출력을 저장할 데이터의 크기로 스케일링하는 스케일러920과, 상기 표시이미지를 표시부140의 표시 크기에 맞도록 스케일링하는 스케일러930을 더 구비하는 예를 도시하고 있다. 또한 상기 도 10a는 클럭발생부400 및 가산부600을 구비하는 이미지처리부120의 구성 예를 도시하고 있지만, 여기서 상기 클럭발생부400 및/또는 가산부600은 포함되지 않을 수도 있다. 즉, 상기 도 10a와 같은 이미지처리부의 구성은 도 2a, 4a, 도 6a와 같은 구성의 이미지처리부120으로도 구성할 수 있다.10A is a diagram illustrating a specific configuration example of the
상기 도 10a를 참조하면, 먼저 프리뷰모드시 상기 제어부100은 다중화부250을 제어하여 링버퍼910의 출력이 후처리부230에 전달되도록 하고, 역다중화부255를 제어하여 후처리부230의 출력이 스케일러930에 전달되도록 하다. 상기와 같은 상태에서 카메라110으로부터 획득되는 이미지는 전처리부210에서 전처리되고, 이미지스케일러220에서 표시부140의 표시 크기로 스케일링된 후 링버퍼910에 인가된다. 여기서 상기 링버퍼910은 표시이미지를 버퍼링하며, 2 내지 3 프레임의 표시이미지를 버퍼링할 수 있도록 크기를 설정할 수 있다. 여기서 상기 링버퍼910을 사용하는 이유는 캡쳐 이미지 처리시 발생될 수 있는 프레임 지연을 보상하기 위함이다. 즉, 상기 캡쳐이미지는 카메라110의 이미지로써, 상기 캡쳐이미지 처리시 프레임 지연이 발생될 수 있다. 이런 경우, 상기 링버퍼910에 표시이미지를 버퍼링하고, 상기 캡쳐 이미지를 처리한 후 링버퍼910에 버퍼링된 표시이미지를 처리할 수 있도록 한다. 따라서 캡쳐 이미지 처리시 발생될 수 있는 표시이미지의 끊김 현상을 방지할 수 있다. 상기 링버퍼910에서 출력되는 표시이미지는 다중화부250을 통해 후처리부230에 인가되어 후처리되며, 역다중화부255를 통해 스케일러930에 인가된다. 그러면 상기 스케일러930은 상기 후처리된 표시이미지를 상기 표시부140의 크기에 맞도록 최종적으로 스케일링하여 출력하며, 표시부140은 상기 스케일러930에서 출력되는 표시이미지를 표시한다. 또한 상기 프리뷰모드시 상기 전처리부210에서 전처리된 카메라110의 이미지는 버퍼240에 인가되어 버퍼링된다. 이때 상기 도 10에서 버퍼240은 5 프레임 카메라 이미지들을 버퍼링할 수 있는 링버퍼로 구성된 예를 도시하고 있다. 여기서 상기 링버퍼240의 버퍼 개수는 카메라장치의 셔터렉을 보상할 수 있는 정도의 크기로 설정하면 된다. 그리고 상기 프리뷰 모드에서 상기 제어부100은 상기 버퍼240에 카메라110에서 촬영되는 이미지들을 버퍼링하지만 억세스하지는 않는다.Referring to FIG. 10A, first, in the preview mode, the
여기서 상기 이미지처리부120은 프리뷰모드시 저속 클럭을 사용하며, 캡쳐이미지 처리모드시 고속 클럭을 사용하며 1프레임의 카메라 이미지는 2개의 분할이미지로 처리한다고 가정한다. 그리고 캡쳐요구시 셔터렉을 보상하는 프레임 이미지는 Raw data4라고 가정한다. 상기와 같은 상태에서 캡쳐요구가 발생되면, 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 1 프레임 구간에서 상기 도 9의 921 및 923 프레임 구간에서 표시이미지 및 캡쳐이미지 처리 구간으로 시분할하여 이미지처리 경로를 형성한다. 또한 상기 제어부100은 선택부430을 제어하여 고속 클럭을 선택한다. Here, it is assumed that the
그리고 도 9의 921 프레임구간의 951 구간에서 상기 이미지처리부120은 상기 제어부100의 제어하에 표시이미지 처리 경로를 선택하여 상기한 바와 같이 표시이미지를 처리한다. 이후 상기 제어부100은 도 9의 921 프레임 구간의 953구간에서 상기 버퍼240에서 버퍼링된 Raw data4에서 도 7b의 710과 같이 1/2 프레임 이미지 크기를 가지는 분할 이미지를 억세스하며, 상기 억세스되는 분할 이미지는 상기 도 9의 953구간에서 후처리된 후 가산부600에 인가된다. 이후 다음 프레임인 도 9의 923 프레임 구간의 961구간에서 상기 이미지처리부120은 다시 표시이미지 처리 경로를 선택하여 다음 프레임의 표시 이미지를 처리한다. 이후 상기 제어부100은 도 9의 923 프레임 구간의 963구간에서 상기 버퍼240에서 버퍼링된 Raw data4에서 도 7b의 720과 같이 1/2 프레임 이미지 크기를 가지는 분할 이미지를 억세스하며, 상기 억세스되는 분할 이미지는 상기 도 9의 963구간에서 후처리된 후 가산부600에 인가된다. The
그러면 상기 가산부600은 두 개의 분할 이미지를 가산하여 1프레임의 카메라 이미지를 생성하고, 스케일러920은 상기 카메라 이미지를 저장할 캡쳐 이미지의 크기로 스케일링하며, 정지영상 코덱260은 상기 스케일링된 캡쳐이미지를 부호화하여 저장부130에 저장한다. 이때 상기 표시부140은 상기 캡쳐이미지 처리시 상기 캡쳐되는 이미지를 표시할 수 있다. 즉, 상기 제어부100은 상기 표시부140에서 캡쳐 이미지를 표시할 수 있으며, 이런 경우 설정된 시간동안 또는 사용자가 카메라장치를 프리뷰모드로 되돌릴때까지(예를들면 사진 이름등을 포함하여 저장을 완료할 때 까지) 상기 캡쳐 이미지를 표시할 수 있으며, 이런 경우 상기 표시이미지는 표시되지 않을 수 있다.The
도 10b는 도 8b와 같은 구성을 가지는 이미지처리부120의 구체적인 구성 예를 도시하는 도시하는 도면이다. 상기 도 10b는 상기 도 8b의 구성에서 5개의 카메라 이미지를 저장할 수 있는 링버퍼로 구성되는 버퍼240과, 이미지 스케일러220에서 출력되는 표시이미지를 버퍼링할 수 있는 버퍼910과, 상기 가산부600의 출력을 저장할 데이터의 크기로 스케일링하는 스케일러920과, 상기 표시이미지를 표시부140의 표시 크기에 맞도록 스케일링하는 스케일러930을 더 구비하는 예를 도시하고 있다. 또한 상기 도 10b는 클럭발생부400 및 가산부600을 구비하는 이미지처리부120의 구성 예를 도시하고 있지만, 여기서 상기 클럭발생부400 및/또는 가산부600은 포함되지 않을 수도 있다. FIG. 10B is a diagram illustrating a specific configuration example of the
상기 도 10b를 참조하면, 먼저 프리뷰모드시 상기 제어부100은 다중화부250을 제어하여 링버퍼910의 출력을 전처리부210에 전달되도록 하고, 역다중화부255를 제어하여 후처리부230의 출력이 스케일러930에 전달되도록 하다. 상기와 같은 상태에서 카메라110으로부터 획득되는 이미지는 이미지스케일러220에서 표시부140의 표시 크기로 스케일링된 후 링버퍼910에 인가된다. 그러면 상기 링버퍼910은 표시이미지를 버퍼링하며, 2 내지 3 프레임의 표시이미지를 버퍼링할 수 있도록 크기를 설정할 수 있다. 여기서 상기 링버퍼910을 사용하는 이유는 캡쳐 이미지 처리시 발생될 수 있는 프레임 지연을 보상하기 위함이다. 즉, 상기 캡쳐이미지는 카메라110의 이미지로써, 상기 캡쳐이미지 처리시 프레임 지연이 발생될 수 있다. 이런 경우, 상기 링버퍼910에 표시이미지를 버퍼링하고, 상기 캡쳐 이미지를 처리한 후 링버퍼910에 버퍼링된 표시이미지를 처리할 수 있도록 한다. 따라서 캡쳐 이미지 처리시 발생될 수 있는 표시이미지의 끊김 현상을 방지할 수 있다. 상기 링버퍼910에서 출력되는 표시이미지는 다중화부250을 통해 전처리부210에서 인가되어 전처리되며, 전처리된 표시이미지는 후처리부230에 인가되어 후처리된 후, 역다중화부255를 통해 스케일러930에 인가된다. 그러면 상기 스케일러930은 상기 후처리된 표시이미지를 상기 표시부140의 크기에 맞도록 최종적으로 스케일링하여 출력하며, 표시부140은 상기 스케일러930에서 출력되는 표시이미지를 표시한다. 또한 상기 프리뷰모드시 상기 카메라110에서 출력되는 카메라 이미지는 버퍼240에 인가되어 버퍼링된다. 이때 상기 도 10b에서 버퍼240은 5개의 프레임이미지를 버퍼링할 수 있는 링버퍼로 도시하고 있다. 여기서 상기 버퍼240의 버퍼 개수는 카메라장치의 셔터렉을 보상할 수 있는 정도의 크기로 설정하면 된다.Referring to FIG. 10B, in the preview mode, the
상기와 같은 상태에서 캡쳐요구가 발생되면, 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 1 프레임 구간(예를들면 도 9의 921 및 923 프레임 구간)에서 표시이미지 및 캡쳐이미지 처리 구간으로 시분할하여 이미지처리 경로를 형성한다. 또한 상기 제어부100은 선택부430을 제어하여 고속 클럭을 선택한다. 그리고 상기 이미지처리부120은 도 9의 921 프레임구간의 951 구간에서 상기 제어부100의 제어하에 표시이미지 이미지 경로를 선택하여 상기한 바와 같이 표시이미지를 처리한다. 이후 이미지처리부120은 도 9의 921 프레임 구간의 953구간에서 상기 버퍼240에서 버퍼링된 설정된 프레임의 카메라이미지(예를들면 raw data 4)의 분할 이미지를 억세스하며, 상기 분할 이미지는 전처리 및 후처리되어 가산부600에 인가된다. 이후 이미지처리부120은 다음 프레임 구간인 도 9의 923 프레임 구간의 961구간에서 상기 제어부100의 제어하에 다시 표시이미지 경로를 선택하여 다음 프레임의 표시 이미지를 처리한다. 이후 상기 제어부100은 도 9의 923 프레임 구간의 963구간에서 상기 버퍼240에서 카메라 이미지의 다음 분할 이미지를 억세스하며, 상기 억세스되는 분할 이미지는 전처리 및 후처리된 후 가산부600에 인가된다. 그러면 상기 가산부600은 두 개의 분할 이미지를 가산하여 1 프레임의 카메라 이미지를 생성하고, 스케일러920은 상기 프레임이미지를 저장할 이미지의 크기로 스케일링하며, 정지영상 코덱260은 상기 스케일링된 캡쳐이미지를 부호화하여 저장부130에 저장한다. When the capture request is generated in the above state, the
도 11은 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치의 이미지 처리 방법을 도시하는 흐름도이다. 11 is a flowchart illustrating an image processing method of a camera apparatus or a terminal apparatus including a camera according to an exemplary embodiment of the present invention.
상기 도 11을 참조하면, 입력부150을 통해 카메라 구동명령이 발생되면, 제어부100은 1111단계에서 상기 카메라110을 구동하며, 1113단계에서 표시이미지를 처리하기 위한 프리뷰 모드를 실행한다. 상기 프리뷰모드에서 상기 제어부100은 도 12a - 도 12d와 같은 절차로 상기 표시 이미지를 처리한다. 또한 상기 표시이미지를 처리하는 과정에서 캡쳐 요구가 발생되면, 상기 제어부100은 1115단계에서 이를 감지하고 1117단계에서 캡쳐 이미지를 처리한다. 이때 상기 제어부100은 캡쳐 이미지 처리시 도 14 - 도 17과 같은 절차로 표시이미지 및 캡쳐 이미지를 시분할 제어하여 처리한다. 상기와 같은 프리뷰 모드 또는 캡쳐 모드는 카메라 구동을 종료할 때까지 수행되며, 사용자가 입력부150을 통해 종료 요구를 발생하면, 상기 제어부100은 1119단계에서 이를 감지하고, 1121단계에서 카메라110의 구동을 종료한다.Referring to FIG. 11, when a camera driving command is generated through the
도 12a - 도 12d는 본 발명의 실시예에 다른 카메라장치 또는 카메라를 구비하는 휴대단말기에서 표시 이미지를 처리하는 절차를 도시하는 흐름도이다.12A to 12D are flowcharts illustrating a procedure of processing a display image in a camera device or a portable terminal having a camera according to an embodiment of the present invention.
상기 도 12a를 참조하면, 상기 제어부100은 프리뷰 모드시 1211단계에서 이미지처리부120의 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 이후 상기 제어부100은 1213단계에서 카메라110으로부터 출력되는 카메라 이미지를 전처리한다. 여기서 상기 전처리 과정에서 이미지처리부120은 상기 카메라 이미지로부터 3A(AWB(auto white balance), AE(auto exposure), AF(Auto focusing))를 추출하고, 상기 카메라이미지의 렌즈 셰이딩 보상(lens shading correction), 데드픽셀 보정(dead pixel correction), knee 보정 등을 수행한다.12A, in the preview mode, the
이후 상기 제어부100은 1215단계에서 상기 전처리된 카메라 이미지를 버퍼240에 버퍼링하며, 또한 상기 카메라 이미지를 표시부140에서 표시할 수 있는 사이즈로 스케일링하여 표시이미지를 생성한다. 이후 상기 제어부100은 1217단계에서 다중화되는 표시이미지를 후처리한 후, 1219단계에서 상기 표시부140을 통해 표시한다. In
도 13은 상기 도 12a - 도 12d에서 표시이미지를 생성하는 스케일링 과정 및 표시이미지를 후처리하여 표시하는 절차를 도시하는 흐름도이다. 상기 도 13을 참조하면, 본 발명의 실시예에서 이미지 스케일링은 리사이징 또는 평균화 동작을 통해 수행될 수 있다. 이때 상기 이미지스케일러220이 리사이저로 구현된 경우, 상기 제어부100은 1311단계에서 이를 감지하고, 1313단계에서 리사이징을 동작을 수행하여 카메라 이미지를 표시이미지로 스케일링한다. 이때 상기 1313단계에서 상기 제어부100은 카메라 이미지를 데시메이션, 인터폴레이션 및 크롭 등의 동작을 수행하여 표시이미지로 생성하게 된다. 또한 상기 이미지스케일러220이 평균화부로 구현된 경우, 상기 제어부100은 1311단계에서 이를 감지하고, 1315단계에서 카메라 이미지에서 인접 화소들을 가산 및 평균화하여 화소수를 줄인다. 이때 상기 평균화 동작은 상기 도 3a 및 도 3b와 같은 방법으로 수행할 수 있다.FIG. 13 is a flowchart illustrating a scaling process of generating a display image and a process of post-processing and displaying the display image in FIGS. 12A to 12D. Referring to FIG. 13, image scaling may be performed through a resizing or averaging operation in an embodiment of the present invention. In this case, when the
상기와 같이 이미지 스케일링을 수행한 후, 상기 제어부100은 상기 표시이미지를 전처리 및/또는 후처리한다. 이때 표시이미지의 후처리 동작은 1317단계 - 1321단계와 같이 수행될 수 있다. 여기서 상기 이미지의 후처리 동작은 상기한 바와 같이 색보간, IPC 처리 및 이미지 변환 동작을 수행하게 되며, 상기 후처리 과정을 수행하면 YUV 표시이미지를 생성한다. 이후 상기 제어부100은 1323단계에서 상기 YUV 표시이미지를 표시부140에 출력하여 표시한다.After performing image scaling as described above, the
따라서 상기 1613단계에서 프리뷰 모드 수행시, 상기 제어부100은 매 프레임 주기에서 상기 도 13과 같은 절차로 카메라110의 이미지를 표시이미지 크기로 스케일링하고, 스케일링된 이미지를 후처리하여 표시부140에 표시하는 동시에 상기 풀해상도 이미지를 버퍼링하는 동작을 수행한다. Therefore, when the preview mode is performed in
상기 도 13은 이미지 스케일링 후 후처리 동작을 수행하는 예를 도시하고 있다. 그러나 표시이미지 처리시 상기 제어부100은 1313단계 수행 후 표시이미지를 전처리하며, 상기 전처리된 표시이미지를 1317-1321 과정을 통해 후처리할 수도 있다.13 illustrates an example of performing post-processing after image scaling. However, when the display image is processed, the
도 12b를 참조하면, 프리뷰 모드시 상기 제어부100은 1231단계에서 이미지처리부120의 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 이후 상기 제어부100은 1233단계에서 카메라110으로부터 출력되는 카메라 이미지를 표시이미지로 스케일링하며, 또한 상기 카메라 이미지를 버퍼240에 버퍼링한다. 이후 상기 제어부100은 상기 표시이미지를 1235단계에서 전처리하며, 1237단계에서 상기 전처리된 표시이미지를 후처리하며, 상기 후처리된 표시이미지를 1239단계에서 상기 표시부140을 통해 표시한다. 12B, in the preview mode, the
도 12c를 참조하면, 프리뷰 모드시 상기 제어부100은 1251단계에서 이미지처리부120의 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 그리고 상기 제어부100은 1253단계에서 카메라110으로부터 출력되는 카메라 이미지를 버퍼링하며, 1255단계에서 상기 버퍼링된 카메라 이미지에서 현재 프레임의 카메라 이미지를 표시이미지로 스케일링한다. 이후 상기 제어부100은 1257단계에서 상기 표시이미지를 전처리하며, 1259단계에서 상기 전처리된 표시이미지를 후처리하고, 1261단계에서 상기 후처리된 표시이미지를 상기 표시부140을 통해 표시한다.12C, in the preview mode, the
도 12d를 참조하면, 프리뷰 모드시 상기 제어부100은 1271단계에서 이미지처리부120의 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 그리고 상기 제어부100은 1273단계에서 카메라110으로부터 출력되는 카메라 이미지를 버퍼링하며, 1275단계에서 상기 버퍼링된 카메라 이미지에서 현재 프레임의 카메라 이미지를 전처리한다. 이후 상기 제어부100은 상기 전처리된 카메라 이미지를 표시이미지로 스케일링하며, 1279단계에서 상기 표시이미지를 후처리하고, 1281단계에서 상기 후처리된 표시이미지를 상기 표시부140을 통해 표시한다.12D, in the preview mode, the
상기와 같은 방법으로 표시이미지를 처리하는 과정에서 사용자는 이미지 캡쳐를 요구할 수 있다. 이때 캡쳐 요구가 발생되면, 상기 제어부100은 1프레임 구간에서 표시이미지 및 캡쳐 이미지 경로를 시분할하여 형성하며, 또한 상기 버퍼링된 카메라 이미지들 중에서 설정된 프레임의 카메라 이미지(예를들면 제로 셔터렉의 카메라 이미지)를 선택하여 캡쳐 이미지로 처리할 수 있다. 도 14 - 도 17은 각각 본 발명의 제1실시예 - 제4실시예에 따른 카메라장치 또는 카메라를 구비하는 휴대단말기에서 캡쳐 이미지를 처리하는 절차를 도시하는 흐름도이다.In the process of processing the display image as described above, the user may request an image capture. In this case, when a capture request is generated, the
상기 도 14를 참조하면, 캡쳐 요구시 상기 제어부100은 1411단계에서 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 형성한다. 이후 상기 제어부100은 1413단계에서 상기 표시이미지 처리 경로를 통해 상기 카메라110에서 촬영되는 이미지를 표시이미지로 스케일링하며, 또한 상기 이미지를 전처리 및 후처리하여 표시부140을 통해 표시한다. 상기 1413단계의 표시 이미지 처리 방법은 상기 도 12a - 도 12d 중의 한가지 방법으로 수행할 수 있다. 이후 상기 제어부100은 1415단계에서 캡쳐이미지 처리 경로를 형성하며, 1417단계에서 상기 버퍼240에 버퍼링된 이미지들 중에서 설정된 프레임의 카메라 이미지(예를들면 제로 셔터렉의 프레임 이미지)를 억세스하며, 1419단계에서 상기 억세스된 카메라 이미지를 전처리 및 후처리한다. 이후 상기 제어부100은 1421단계에서 상기 후처리된 이미지를 부호한 후, 1423단계에서 저장부130에 저장한다. 이때 상기 캡쳐 이미지처리 방법은 상기 표시이미지의 처리 과정과 동일한 방법으로 수행할 수 있다. Referring to FIG. 14, when a capture request is made, the
상기 도 15를 참조하면, 제어부100은 캡쳐 이미지 처리시 고속 클럭을 이미지처리부120의 동작 클럭으로 공급할 수 있다. 이런 경우 이미지처리부120은 상기 제어부100의 제어하에 1프레임 구간에서 표시이미지 처리 경로 및 캡쳐 이미지 경로를 시분할하여 형성하고, 상기 고속 클럭에 의해 표시이미지 및 캡쳐 이미지를 고속으로 처리할 수 있다. 이런 경우, 상기 제어부100은 캡쳐 요구시 1511단계에서 고속 클럭을 이미지처리부120의 동작 클럭으로 공급하며, 1513단계에서 상기 이미지처리부120의 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 형성한다. 이후 상기 제어부100은 1515단계에서 상기 표시이미지 처리 경로를 통해 상기 카메라110에서 촬영되는 이미지를 표시이미지로 스케일링하며, 또한 상기 이미지를 고속클럭에 의해 전처리 및 후처리하여 표시부140을 통해 표시한다. 상기 1515단계의 표시 이미지 처리 방법은 상기 도 12a - 도 12d 중의 한가지 방법으로 수행할 수 있다. 이후 상기 제어부100은 1517단계에서 캡쳐이미지 처리 경로를 형성하며, 1519단계에서 상기 버퍼240에 버퍼링된 이미지들 중에서 설정된 프레임의 카메라 이미지(예를들면 제로 셔터렉의 프레임 이미지)를 억세스하며, 1521단계에서 상기 억세스된 카메라 이미지를 고속 클럭에 의해 전처리 및 후처리한다. 이후 상기 제어부100은 1523단계에서 상기 후처리된 카메라 이미지를 부호한 후, 1525단계에서 저장부130에 저장한다. 이때 상기 캡쳐 이미지처리 방법은 상기 표시이미지의 처리 과정과 동일한 방법으로 수행할 수 있다.Referring to FIG. 15, the
또한 상기 캡쳐 이미지는 분할하여 처리할 수 있다. 이는 상기 캡쳐 이미지는 카메라110의 이미지가 될 수 있으며, 상기 카메라 이미지가 고화소 이미지이면 상기 전처리부210 및/또는 후처리부230의 구성이 복잡해지고, 또한 상기 카메라 이미지 처리에 따라 카메라장치의 전류소모가 커질 수 있다. 따라서 상기 캡쳐 이미지 처리시 카메라 이미지를 설정된 크기로 분할하고, 상기 전처리부210 및/또는 후처리부230이 상기 분할된 이미지를 처리할 수 있는 크기로 구성하며, 후처리된 이미지를 가산하여 처리하는 방법이 효율적일 수 있다. 도 16은 이미지처리부120에서 캡쳐 이미지 처리시, 카메라 이미지를 분할하고 분할된 이미지들을 처리한 후 가산하여 1 프레임의 카레라 이미지를 재생성하는 절차를 도시하는 흐름도이다.In addition, the captured image may be divided and processed. The captured image may be an image of the
상기 도 16을 참조하면, 캡쳐 요구시 상기 제어부100은 1611단계에서 상기 카메라110에서 획득되는 이미지를 표시이미지로 처리하기 위한 표시이미지 경로를 설정한다. 이후 상기 제어부100은 1613단계에서 상기 카메라 이미지를 스케일링하여 표시이미지로 변환하고, 상기 표시이미지를 전처리 및/또는 후처리하여 표시한다. 여기서 상기 1613단계의 표시이미지 처리 방법은 상기 도 12a - 도 12d의 방법들 중에서 한가지 방법을 사용할 수 있다.Referring to FIG. 16, when a capture request is made, the
이후 상기 제어부100은 1615단계에서 해당 프레임 구간의 나머지 프레임 구간에서 상기 카메라에서 획득된 이미지를 저장하기 위한 캡쳐 이미지 처리 경로를 설정한다. 이후 상기 제어부100은 1617단계에서 상기 버퍼링된 카메라 이미지들 중에서 설정 된 프레임(예를들면 셔터 온 시점의 프레임 이미지(제로 셔터렉 이미지))를 선택하고, 상기 선택된 프레임의 카메라 이미지에서 설정된 크기의 이미지를 분할 억세스한다. 상기 제어부100은 카메라 이미지에서 상기 도 7a - 도 7c와 같은 방법으로 분할 이미지를 억세스할 수 있다. 이후 상기 제어부100은 1619단계에서 상기 분할 이미지를 전처리 및/또는 후처리한다. 이때 상기 분할 이미지를 전처리 및/또는 후처리하는 방법은 상기 표시이미지의 처리 방법과 동일한 방법으로 수행할 수 있다. 상기 분할이미지 처리후 상기 제어부100은 1621단계에서 1 프레임의 카메라 이미지를 모두 처리하였는가 검사한다. 이때 상기 1 프레임 카메라 이미지의 처리가 완료되지 않았으면(즉, 처리할 분할 이미지가 더 있는 경우) 상기 제어부100은 1621단계에서 이를 감지하고 1623단계에서 상기 후처리된 분할 이미지를 이전 상태(예를들면 이전 프레임 구간)에 처리된 분할이미지와 가산하며, 1625단계에서 다음에 억세스할 분할 이미지를 설정한 후 상기 1611단계로 되돌아간다. 상기와 같은 동작을 반복하면서 분할 이미지들의 처리를 완료하면 하나의 프레임 이미지로 생성되며, 이런경우 상기 제어부100은 1621단계에서 이를 감지하고, 1627단계에서 상기 후처리된 분할 이미지를 가산하며, 1629단계에서 상기 프레임의 카메라 이미지를 부호화한 후, 1637단계에서 저장부130에 저장한다. In
상기 도 16은 캡쳐 모드시 카메라 이미지를 분할 이미지로 억세스하여 처리하는 방법으로써, 도 9에 도시된 바와 같이 1프레임 구간에서 하나의 분할이미지를 처리하는 예를 도시하고 있다. 그러나 상기 분할이미지들을 하나의 프레임 구간에서 처리할 수 있는 경우, 상기 제어부100은 1625단계에서 1617단계로 진행하여 바로 다음 분할이미지를 억세스한 후 처리하는 동작을 수행할 수 있다. 이런 경우, 상기 이미지처리부120은 1 프레임 구간에서 시분할 제어되어 표시이미지 및 캡쳐 이미지 처리 경로를 형성하며, 상기 표시이미지를 처리한 후 캡쳐 이미지 경로가 형성된 구간에서 복수의 분할이미지(즉, 1프레임의 카메라 이미지들의 분할이미지들)들을 연속적으로 처리할 수 있다.FIG. 16 illustrates a method of accessing and processing a camera image as a divided image in a capture mode, and illustrates an example of processing one divided image in one frame section as shown in FIG. 9. However, when the divided images may be processed in one frame section, the
또한 상기 캡쳐 이미지 처리시 이미지처리부120의 동작클럭을 고속 클럭으로 설정하고, 카메라 이미지를 설정된 크기로 분할하여 처리할 수 있다. 도 17은 이미지처리부120에서 캡쳐 이미지 처리시, 이미지처리부120의 동작클럭을 고속클럭으로 선택하고, 카메라 이미지를 분할하여 처리하는 절차를 도시하는 흐름도이다.In addition, during the capture image processing, the operation clock of the
상기 도 17을 참조하면, 캡쳐 요구시 상기 제어부100은 1711단계에서 상기 이미지처리부120의 동작 클럭을 고속 클럭으로 설정한다. 이는 캡쳐모드에서 이미지처리부120이 표시이미지 및 캡쳐 이미지를 고속으로 처리할 수 있도록 하기 위함이다. 그리고 상기 제어부100은 1713단계에서 상기 카메라110에서 획득되는 이미지를 표시이미지로 처리하기 위한 표시이미지 경로를 설정한다. 이후 상기 제어부100은 1715단계에서 상기 카메라 이미지를 스케일링하여 표시이미지로 변환하고, 상기 표시이미지를 고속으로 전처리 및/또는 후처리하여 표시한다. 여기서 상기 1715단계의 표시이미지 처리 방법은 상기 도 12a - 도 12d의 방법들 중에서 한가지 방법을 사용할 수 있다.Referring to FIG. 17, when a capture request is made, the
이후 상기 제어부100은 1717단계에서 해당 프레임 구간의 나머지 프레임 구간에서 상기 카메라에서 획득된 이미지를 저장하기 위한 캡쳐 이미지 처리 경로를 설정한다. 그리고 상기 제어부100은 1719단계에서 상기 버퍼링된 카메라 이미지들 중에서 설정 된 프레임(예를들면 셔터 온 시점의 프레임 이미지(제로 셔터렉 이미지))를 선택하고, 상기 선택된 프레임의 카메라 이미지에서 설정된 크기의 이미지를 분할 억세스한다. 상기 제어부100은 카메라 이미지에서 상기 도 7a - 도 7c와 같은 방법으로 분할 이미지를 억세스할 수 있다. 이후 상기 제어부100은 1721단계에서 상기 분할 이미지를 고속으로 전처리 및/또는 후처리한다. 이때 상기 분할 이미지를 전처리 및/또는 후처리하는 방법은 상기 표시이미지의 처리 방법과 동일한 방법으로 수행할 수 있다. 상기 분할이미지 처리후, 1 프레임 카메라 이미지의 처리가 완료되지 않았으면(즉, 처리할 분할 이미지가 더 있는 경우) 상기 제어부100은 1723단계에서 이를 감지하고, 1725단계에서 상기 후처리된 분할 이미지를 이전 상태(예를들면 이전 프레임 구간)에 처리된 분할이미지와 가산하며, 1727단계에서 다음에 억세스할 분할 이미지를 설정한 후 상기 1711단계로 되돌아간다. 상기와 같은 동작을 반복하면서 분할 이미지들의 처리를 완료하면 하나의 프레임 이미지로 생성되며, 이런경우 상기 제어부100은 1723단계에서 이를 감지하고, 1729단계에서 상기 후처리된 분할 이미지를 가산하며, 1731단계에서 상기 프레임의 카메라 이미지를 부호화한 후, 1733단계에서 저장부130에 저장한다. In
상기 도 17은 캡쳐 모드시 카메라 이미지를 분할 이미지로 억세스하여 처리하는 방법으로써, 도 9에 도시된 바와 같이 1프레임 구간에서 하나의 분할이미지를 처리하는 예를 도시하고 있다. 그러나 상기 분할이미지들을 하나의 프레임 구간에서 처리할 수 있는 경우, 상기 제어부100은 1727단계에서 1719단계로 진행하여 바로 다음 분할이미지를 억세스한 후 처리하는 동작을 수행할 수 있다. 이런 경우, 상기 이미지처리부120은 1 프레임 구간에서 시분할 제어되어 표시이미지 및 캡쳐 이미지 처리 경로를 형성하며, 상기 표시이미지를 처리한 후 캡쳐 이미지 경로가 형성된 구간에서 복수의 분할이미지(즉, 1프레임의 카메라 이미지들의 분할이미지들)들을 연속적으로 처리할 수 있다.FIG. 17 illustrates a method of accessing and processing a camera image as a split image in a capture mode, and illustrates an example of processing one split image in one frame section as shown in FIG. 9. However, when the divided images can be processed in one frame section, the
상기 도 14 - 도 17과 같은 방법들 중에 한가지 방법으로 캡쳐 이미지를 처리할 때, 상기 제어부100은 프레임 구간에서 이미지처리부120을 시분할제어하며, 이로인해 상기 이미지처리부120은 1 프레임 구간에서 표시이미지 및 캡쳐이미지를 순차적으로 처리한다. 이때 상기 표시부140은 표시이미지를 표시하며, 저장부130은 캡쳐 이미지를 저장하게 된다 이때 상기 제어부100은 캡쳐 이미지처리시 상기 표시부130을 제어하여 상기 캡쳐되는 이미지를 표시할 수도 있다. 이런 경우 설정된 시간동안 또는 사용자가 카메라장치를 프리뷰모드로 되돌릴때까지(예를들면 사진 이름 등을 포함하여 저장을 완료할 때 까지) 상기 캡쳐 이미지를 표시할 수 있으며, 이런 경우 상기 표시이미지는 표시되지 않을 수도 있다. When the captured image is processed by one of the methods shown in FIGS. 14 to 17, the
상기한 바와 같이 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 휴대단말기는 프리뷰/동영상 이미지처리 및 캡쳐이미지 처리를 시분할하여 처리하므로써 이미지처리장치의 구성을 소형으로 구성할 수 있다. As described above, the camera apparatus or the portable terminal including the camera according to the embodiment of the present invention can configure the image processing apparatus in a compact manner by time-division processing the preview / video image processing and the captured image processing.
도 18은 본 발명의 실시예에 따른 카메라장치를 구비하는 휴대단말장치의 구성을 도시하는 도면이다. 여기서 상기 휴대단말장치는 카메라를 구비하는 휴대전화기, 스마트 폰, 태블릿, 휴대용 컴퓨터, 음악재생기(MP, music player) 등을 포함한다. 18 is a diagram showing the configuration of a portable terminal device including a camera device according to an embodiment of the present invention. The portable terminal device may include a mobile phone having a camera, a smart phone, a tablet, a portable computer, a music player (MP), and the like.
상기 도 18을 참조하면, 카메라110은 이미지 센서를 구비하며, 카메라 구동시 센서를 통해 카메라 이미지를 획득한다. Referring to FIG. 18, the
이미지처리부120은 상기 카메라110으로부터 획득되는 카메라 이미지를 표시부140에 표시하기 위한 표시 이미지 및 캡쳐 요구시 저장하기 위한 캡쳐 이미지를 생성한다. 여기서 상기 표시이미지는 YUV 이미지가 될 수 있으며, 상기 캡쳐 이미지는 JPEG 이미지가 될 수 있다. The
어플리케이션처리부1810은 휴대단말장치의 다양한 어플리케이션 기능을 수행한다. 또한 상기 어플리케이션처리부1810은 본 발명의 실시예에 따라 카메라 구동시 상기 이미지처리부120에서 생성되는 표시이미지 및/또는 캡쳐 이미지를 처리한다. 이때 상기 어플리케이션처리부1810은 프리뷰 모드시 상기 표시이미지를 표시부140에 출력하여 표시되도록 제어하며, 사용자의 캡쳐 요구 명령이 발생되면 버퍼링 중인 카메라 이미지들 중에서 설정된 프레임의 카메라 이미지를 선택하여 처리하도록 상기 이미지처리부120을 제어한다. 여기서 상기 어플리케이션처리부1810은 상기 카메라장치의 제어부 기능을 포함한다. The
통신부1830은 외부장치 또는 기지국과 통신기능을 수행한다. 상기 통신부1830은 송신신호를 RF 대역으로 상승시키는 변환기(frequency up converter)와 전력증폭기 등으로 구성되는 송신부와, RF 수신신호를 저잡음 증폭하는 증폭기와 RF신호를 기저대역으로 하강 변환하는 변환기(frequency down converter) 등을 구비할 수 있다. 또한 상기 통신부1830은 상기 송신신호를 변조하여 송신부에 전달하는 변조부 및 상기 수신부에서 출력되는 신호를 복조하는 복조부를 구비할 수 있다. 여기서 상기 변복조부는 통신 방식에 따라 WCDMA, GSM, LTE 방식의 변복조부가 될 수 있으며, 또한 WIFI, WIBRO 등의 변복조부가 될 수 있다. The
단말제어부1820은 휴대단말장치의 전반적인 동작을 제어하며, 음성 통화 및 데이터 통신의 기능을 수행한다. 여기서 상기 단말제어부1820은 상기 통신부1830의 변복조부를 포함할 수 있으며, 이런 경우 상기 통신부1830은 RF통신부만을 구비할 수 있다. 상기 단말제어부1820은 이런 경우 상기 통신신호를 변복조 및 부호/복호화하는 기능을 수행할 수 있다. 오디오처리부1840은 휴대단말기의 송수화기(마이크 및 스피커)와 연결되어 상기 단말제어부1820의 제어하에 음성 통신시 통화 음성을 처리한다. The
상기 입력부150은 단말제어부1820 및 어플리케이션처리부1810에 휴대단말장치의 각종 동작 명령 및 데이터 입력신호를 발생한다. 특히 상기 어플리케이션처리부1810에 카메라 구동명령, 캡쳐 명령을 발생할 수 있다. 표시부140은 단말제어부1820 및 어플리케이션처리부1810의 제어하에 휴대단말장치의 통신 및 어플리케이션 실행 상태를 표시한다. 또한 상기 표시부140은 본 발명의 실시예에 따라 프리뷰 모드시 상기 이미지처리부120에서 처리되는 표시 이미지를 표시한다. 여기서 상기 입력부150은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부140은 프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부150 및 표시부140은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부150은 휴대단말기의 외부에 위치되는 버튼들을 포함할 수 있다.The
저장부130은 휴대단말장치의 동작 프로그램 및 본 발명의 실시예에 따른 프로그램들을 저장하는 프로그램 메모리와, 프로그램 수행을 위한 데이터들 및 프로그램 수행 중에 발생되는 데이터를 저장하기 위한 데이터 메모리로 구성될 수 있다. 상기 저장부130은 플래시 메모리등과 같은 비휘발성 메모리(non volatile memrory) 및 램 등의 휘발성 메모리로 구성할 수 있다. 특히 상기 저장부130은 캡쳐 요구시 상기 어플리케이션처리부1810의 제어에 의해 상기 이미지처리부120에서 압축부호화된 카메라 이미지 또는 스케일링된 이미지를 캡쳐 이미지로 저장한다.The
상기 도 18과 같은 휴대단말기의 경우, 어플리케이션처리부1810은 이미지처리부120의 제어부 기능을 수행한다. 그리고 이미지처리부120은 상기 도 2a - 도 2d, 도 4a - 도 4c, 도 6a - 도 6c, 도 8a - 도 8c 중의 어느 하나가 될 수 있으며, 역다중화부255에서 출력되는 표시이미지 및 정지영상 코덱260의 출력을 다중화하는 제2다중화부를 더 구비할 수 있다. 그리고 어플리케이션처리부1810은 상기 이미지처리부120의 제2다중화부에서 다중화되는 표시이미지 및 캡쳐 이미지를 역다중화하는 제2역다중화부를 구비하며, 상기 역다중화되는 표시이미지를 표시부140에 출력하며, 상기 캡쳐이미지를 저장부130에 저장한다. 또한 상기 이미지처리부120의 동영상 코덱270은 어플리케이션처리부1810에 구비될 수 있다.In the case of the portable terminal as shown in FIG. 18, the
상기 도 18을 참조하면, 휴대단말장치는 착발신 통화 및 통신 서비스를 수행할 수 있으며, 카메라 촬영모드시 본 발명의 실시예에 따라 카메라부110에서 촬영되는 이미지를 처리한다. Referring to FIG. 18, the portable terminal device can perform an incoming / outgoing call and communication service, and processes an image captured by the
상기 어플리케이션처리부1810은 본 발명의 실시예에 따른 카메라110의 이미지 처리 어플리케이션과 휴대단말장치의 다양한 어플리케이션들을 처리한다. The
발신통화시, 사용자는 입력부150을 통해 발신전화번호 및 통화 요구신호를 발생할 수 있으며, 이를 감지하는 단말제어부1820은 통신부1830을 제어하여 통화로를 형성하며, 기지국을 통해 발신 통화 기능을 수행한다. 또한 착신 통화가 발생되면, 상기 단말제어부1820은 통신부1830을 통해 이를 감지하고 오디오처리부1840을 통해 착신 경보를 하며 표시부140을 통해 착신 정보를 표시한다. 이때 사용자가 입력부150을 통해 응답을 하면, 상기 단말제어부1820은 통신부1830을 통해 착신 통화로를 형성하여 통화 서비스를 수행한다. 데이터 통신의 경우에도 상기 통화와 유사한 동작으로 통신로를 형성한다.During an outgoing call, the user may generate an outgoing call number and a call request signal through the
또한 상기 휴대단말장치는 다양한 어플리케이션들을 실행할 수 있다. 이때 사용자가 입력부150을 통해 특정 어플리케이션의 실행을 요구하면, 상기 어플리케이션처리부1810은 해당 어플리케이션을 실행하며, 그 결과를 상기 표시부140에 표시한다. 이때 사용자가 카메라 구동 요구 명령을 발생하면, 상기 어플리케이션처리부1810은 이를 감지하고, 상기 이미지처리부120을 통해 카메라부110을 구동한다. 그러면 상기 이미지처리부120은 상기 어플리케이션처리부1810의 제어하에 프리뷰 모드시 표시이미지 처리경로가 형성되며, 캡쳐 모드시 시분할 제어되어 프레임 구간에서 표시이미지 처리 경로 및 캡쳐 이미지처리 경로를 순차적으로 형성한다. In addition, the portable terminal apparatus can execute various applications. At this time, if the user requests the execution of a specific application through the
이때 표시이미지를 처리하는 상기 이미지처리부120은 상기 카메라 이미지를 버퍼240에 버퍼링하고, 또한 상기 카메라 이미지를 표시이미지로 변환 및 변환 표시이미지를 처리하여 어플리케이션처리부1810에 출력한다. 그러면 상기 어플리케이션처리부1810은 상기 표시이미지를 표시부140에 표시한다. 이때 상기 표시이미지 처리는 이미지처리부120은 상기한 바와 같이 카메라 이미지 전처리하고, 전처리된 카메라 이미지를 스케일링하여 표시이미지로 변환한 후 변환된 표시이미지를 후처리할 수 있다. 또한 상기 이미지처리부120은 카메라 이미지를 스케일링하여 표시 이미지로 변환하고, 변환된 표시이미지를 전처리 및 후처리할 수 있다. 또한 상기 이미지처리부120은 카메라 이미지를 버퍼링하고, 버퍼링된 카메라 이미지를 표시이미지로 스케일링하며, 표시이미지를 전처리 및 후처리할 수 있다. 또한 상기 이미지처리부120은 카메라를 이미지를 버퍼링하고, 버퍼링된 이미지를 전처리하며, 상기 전처리된 이미지를 표시이미지로 스케일링한 후 표시이미지를 후처리할 수 있다. 상기 표시이미지를 처리한 후, 상기 이미지처리부120은 처리된 표시이미지를 어플리케이션처리부1810에 출력하며, 상기 어플리케이션처리부1810은 상기 표시부140을 통해 표시한다.In this case, the
또한 캡쳐모드시 상기 이미지처리부120은 상기 어플리케이션처리부1810의 제어하에 상기한 바와 같이 프레임 구간에서 시분할 제어되어 표시이미지 처리 경로 및 캡쳐이미지 처리 경로를 순차적으로 형성한다. 그리고 상기 표시이미지 처리 방법은 상기와 같은 방법으로 수행한다. 그리고 캡쳐이미지 처리시 상기 이미지처리부120은 상기 어플리케이션처리부1810의 제어하에 버퍼링된 카메라이미지들 중에서 설정된 프레임의 카메라 이미지를 선택하며, 상기 선택된 카메라 이미지를 전처리 및 후처리한 후, 캡쳐이미지로 변환한다. 이때 상기 캡쳐이미지를 처리하는 방법은 상기한 바와 같이 고속클럭을 사용할 수 있으며, 또한 분할이미지로 처리할 수 있으며, 또한 고속클럭을 사용하여 분할이미지로 처리할 수도 있다. 그리고 상기와 같이 이미지처리부120에서 시분할되어 순차적으로 출력되는 표시이미지 및 캡쳐이미지는 다중화되어 어플리케이션처리부1810에 출력하며, 상기 어플리케이션처리부1810은 상기 다중화되는 표시이미지 및 캡쳐이미지를 역다중화한 후, 상기 표시이미지를 표시부140을 통해 표시하고 상기 캡쳐이미지를 저장부130에 저장한다. In addition, in the capture mode, the
또한 상기 휴대단말기의 이미지처리부120은 도 2a - 도 2d, 도 4a - 도 4c, 도 6a - 도 6c, 도 8a - 도 8c 중의 어느 하나와 같은 구성에서 전처리부210, 이미지스케일러220, 후처리부230 및 버퍼240의 구성을 가지며, 역다중화부255 및 정지영상코덱260(캡쳐이미지를 분할 이미지로 처리하는 경우에는 가산부600 포함)의 구성은 어플리케이션처리부1810에 구성할 수도 있다. 이미지처리부120이 상기와 같은 구성을 가지는 경우, 이미지처리부120은 후처리부230에서 출력되는 이미지(표시이미지 또는 표시이미지/캡쳐이미지)를 어플리케이션처리부1810에 출력하며, 어플리케이션처리부1810은 상기 후처리된 이미지(표시이미지 또는 표시이미지/캡쳐이미지)를 역다중화하여 표시이미지는 표시부140에 표시하고 캡쳐이미지는 정지영상코덱을 통해 압축부호화한 후 저장부130에 저장한다. 이때 상기 이미지처리부120에서 상기 카메라 이미지를 분할이미지로 처리하는 경우, 상기 어플리케이션처리부1810은 가산부를 구비하여 이미지처리부120에서 출력되는 분할이미지들을 가산하며, 1프레임의 카메라 이미지로 처리되었음을 확인하면 이를 압축부호화한 후 저장한다. In addition, the
본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.The embodiments of the present invention disclosed in the present specification and drawings are merely illustrative of specific embodiments of the present invention and are not intended to limit the scope of the present invention in order to facilitate understanding of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.
Claims (36)
카메라 이미지를 스케일링하여 표시이미지로 변환하는 이미지스케일러와,
상기 카메라 이미지를 버퍼링하는 버퍼와,
상기 이미지스케일러 및 버퍼의 출력을 다중화하는 다중화부와,
상기 다중화부의 출력 이미지를 처리하는 이미지처리부와,
상기 이미지처리부의 출력을 역다중화하는 표시이미지를 표시부에 출력하는 역다중화부와,
상기 역다중화부에서 출력되는 카메라 이미지를 부호화하여 캡쳐이미지로 출력하는 코덱으로 구성되며,
캡쳐 모드시 상기 다중화부 및 역다중화부를 시분할 제어하여 프레임 구간에서 상기 이미지처리부가 표시이미지 및 카메라 이미지를 순차적으로 처리하도록 제어하는 제어부로 구성된 것을 특징으로 하는 장치. An image processing apparatus comprising:
An image scaler that scales the camera image to a display image,
A buffer for buffering the camera image,
A multiplexer which multiplexes the output of the image scaler and the buffer;
An image processor which processes an output image of the multiplexer;
A demultiplexer for outputting a display image to demultiplex the output of the image processor;
A codec for encoding a camera image output from the demultiplexer and outputting the captured image as a captured image,
And a controller configured to control the multiplexer and the demultiplexer to time-divisionally control the display image and the camera image in a frame section in a capture mode.
상기 이미지를 전처리하는 전처리부와,
상기 전처리된 이미지를 후처리하는 후처리부로 구성된 것을 특징을 특징으로 하는 장치.The method of claim 1, wherein the image processing unit
A preprocessor for preprocessing the image;
And a post processor configured to post-process the preprocessed image.
상기 제어부는 프리뷰모드시 상기 다중화부 및 역다중화부를 제어하여 표시이미지 처리 경로를 설정하며,
상기 표시이미지 처리 경로 설정시 이미지 스케일러에서 생성되는 표시이미지가 상기 전처리부 및 후처리부를 통해 처리된 후 표시부에 출력되는 것을 특징으로 하는 장치.3. The method of claim 2,
The control unit sets the display image processing path by controlling the multiplexer and the demultiplexer in the preview mode.
And a display image generated by the image scaler when the display image processing path is set is output through the pre-processing unit and the post-processing unit.
상기 제어부는 캡쳐모드시 1프레임 구간에서 상기 다중화부 및 역다중화부를 시분할 제어하여 표시이미지 처리 경로 및 캡쳐이미지 처리 경로를 순차적으로 설정하며,
상기 표시이미지 처리 경로 설정시 이미지 스케일러에서 생성되는 표시이미지가 상기 전처리부 및 후처리부를 통해 처리된 후 표시부에 출력되고,
상기 캡쳐이미지 처리경로 설정시 상기 버퍼에 버퍼링된 카메라 이미지들 중에서 설정된 프레임의 카메라이미지가 억세스되며, 상기 억세스된 카메라 이미지가 상기 전처리부 및 후처리부를 통해 처리된 후 코덱으로 출력되어 캡쳐 이미지로 부호화되는 것을 특징으로 하는 장치.3. The method of claim 2,
The controller sequentially sets the display image processing path and the captured image processing path by time division controlling the multiplexer and the demultiplexer in one frame section in the capture mode.
When the display image processing path is set, the display image generated by the image scaler is processed through the preprocessor and the post processor and then output to the display unit.
When setting the capture image processing path, a camera image of a set frame is accessed among the camera images buffered in the buffer, and the accessed camera image is processed through the preprocessor and the post processor and then output to a codec to be encoded as a capture image. Apparatus characterized in that the.
상기 제어부의 제어에 의해 고속클럭 또는 저속클럭을 발생하는 클럭발생부를 더 구비하며,
상기 클럭발생부의 출력은 상기 버퍼, 전처리부 및 후처리부의 동작클럭으로 공급되는 것을 특징으로 하는 장치.The method of claim 5,
Further comprising a clock generator for generating a high speed clock or a low speed clock under the control of the controller,
And the output of the clock generator is supplied to the operation clocks of the buffer, the preprocessor and the post processor.
상기 제어부는 상기 클럭발생부를 제어하여 프리뷰모드시 저속클럭을 동작클럭으로 선택하고, 캡쳐모드시 고속클럭을 동작클럭으로 선택하는 것을 특징으로 하는 장치. The method of claim 6, wherein
And the controller controls the clock generator to select the low speed clock as the operation clock in the preview mode and the high speed clock as the operation clock in the capture mode.
상기 후처리부에서 처리되는 분할된 이미지들을 하나의 프레임 이미지로 가산하는 가산부를 더 구비하며,
상기 제어부는 캡쳐모드시 상기 버퍼에서 설정된 프레임의 카메라 이미지를 설정된 크기의 분할이미지로 억세스하며,
상기 가산부는 상기 후처리된 분할이미지를 가산하고, 1프레임의 카메라 이미지로 가산될 때 상기 코덱에 출력하는 것을 특징으로 하는 장치.The method of claim 5,
And an adder configured to add the divided images processed by the post processor to one frame image.
The control unit accesses the camera image of the frame set in the buffer as the divided image of the set size in the capture mode,
The adder adds the post-processed split image and outputs the added image to the codec when added to a camera image of one frame.
상기 제어부는 캡쳐모드시 상기 버퍼를 제어하여 1프레임 구간에서 1개의 분할이미지를 출력하며,
상기 이미지처리부는 1프레임 구간에서 1개의 분할이미지를 처리하는 것을 특징으로 하는 장치.9. The method of claim 8,
The control unit controls the buffer to output one divided image in one frame section in the capture mode,
The image processing unit is characterized in that for processing one divided image in one frame interval.
상기 제어부의 제어에 의해 고속클럭 또는 저속클럭을 발생하는 클럭발생부와,
상기 후처리부에서 처리되는 분할된 이미지들을 하나의 프레임 이미지로 가산하는 가산부를 더 구비하며,
상기 제어부는 캡쳐모드시 상기 고속클럭을 동작클럭으로 선택하며, 상기 버퍼에서 설정된 프레임의 카메라 이미지를 설정된 크기의 분할이미지로 억세스하고,
상기 가산부는 상기 후처리된 분할이미지를 가산하고, 1프레임의 카메라 이미지로 가산될 때 상기 코덱에 출력하는 것을 특징으로 하는 장치.The method of claim 5,
A clock generator for generating a high speed clock or a low speed clock under the control of the controller;
And an adder configured to add the divided images processed by the post processor to one frame image.
The control unit selects the fast clock as the operation clock in the capture mode, accesses the camera image of the frame set in the buffer as a divided image of a set size,
The adder adds the post-processed split image and outputs the added image to the codec when added to a camera image of one frame.
프리뷰 모드시 상기 클럭발생부를 제어하여 저속클럭을 동작클럭으로 선택하고,
캡쳐모드시 상기 제어부는 캡쳐모드시 상기 버퍼를 제어하여 1프레임 구간에서 1개의 분할이미지를 출력하며, 상기 이미지처리부는 1프레임 구간에서 1개의 분할이미지를 처리하는 것을 특징으로 하는 장치.11. The apparatus of claim 10, wherein the control unit
In the preview mode, the clock generator is controlled to select a low speed clock as an operation clock.
In the capture mode, the controller controls the buffer to output one divided image in one frame section in the capture mode, the image processing unit is characterized in that for processing one divided image in one frame section.
상기 전처리부는 상기 입력되는 이미지의 데드픽셀 보정 및 렌즈 셰이딩을 보상하며,
상기 후처리부는 상기 전처리된 이미지를 색보간하여 YUV 이미지로 변환하는 것을 특징으로 하는 장치.The method of claim 5,
The preprocessor compensates for dead pixel correction and lens shading of the input image,
And the post processor converts the preprocessed image into a YUV image by color interpolation.
상기 이미지스케일러는 리사이저인 것을 특징으로 하는 장치.The method of claim 5,
And the image scaler is a resizer.
프리뷰모드시 이미지처리부를 표시이미지 처리 경로로 제어하여 카메라 이미지를 버퍼링하고, 상기 이미지를 표시이미지로 변환하여 처리 및 표시하는 표시이미지 처리과정과,
캡쳐 모드시 프레임 구간에서 상기 이미지처리부를 시분할 제어하여 표시이미지 처리 경로 및 캡쳐 이미지 처리 경로를 순차적으로 설정하며, 표시이미지 처리경로시 상기 표시이미지 처리과정을 수행하며, 상기 캡쳐 이미지 처리 경로가 설정되면 버퍼링된 카메라 이미지에서 설정된 프레임의 카메라 이미지를 선택하여 처리하는 캡쳐 이미지 처리과정을 수행하는 것을 특징으로 하는 방법.In the camera image processing method,
A display image processing process of buffering a camera image by controlling the image processing unit as a display image processing path in the preview mode, converting the image into a display image, and processing and displaying the image;
In the capture mode, time-division control of the image processing unit in the frame section sets the display image processing path and the capture image processing path sequentially, and performs the display image processing process in the display image processing path, and when the capture image processing path is set And a capture image processing process of selecting and processing a camera image of a set frame from the buffered camera image.
이미지처리부의 표시이미지 처리 경로를 설정하는 과정과,
카메라 이미지를 버퍼링하고, 상기 설정된 표시이미지 경로를 통해 상기 카메라 이미지를 표시이미지로 변환하여 처리 및 표시하는 표시이미지 처리과정과
상기 이미지처리부의 캡쳐이미지 처리경로를 설정하는 과정과,
상기 버퍼링된 카메라이미지들 중에서 설정된 프레임의 카메라 이미지를 선택하며, 상기 선택된 카메라 이미지를 설정된 표시이미지 경로를 통해 처리한 후 압축부호화하여 저장하는 캡쳐 이미지 처리과정으로 이루어짐을 특징으로 하는 방법.The method of claim 15, wherein the image processing of the capture mode is performed.
Setting a display image processing path of the image processing unit;
A display image processing process of buffering a camera image and converting and processing and displaying the camera image into a display image through the set display image path;
Setting a capture image processing path of the image processor;
Selecting a camera image of a set frame from among the buffered camera images, and processing the selected camera image through a set display image path and then compressing and storing the captured image process.
카메라 이미지를 버퍼링 및 표시이미지로 스케일링하는 과정과,
상기 표시이미지를 전처리하는 과정과,
전처리된 표시이미지를 후처리하는 과정으로 이루어짐을 특징으로 하는 방법.The method of claim 16, wherein the processing of the display image comprises:
Scaling the camera image into buffering and display images,
Preprocessing the display image;
And post-processing the preprocessed display image.
카메라 이미지를 전처리하는 과정과,
상기 전처리된 카메라 이미지를 버퍼링 및 표시이미지로 스케일링하는 과정과,
상기 표시이미지를 후처리하는 과정으로 이루어짐을 특징으로 하는 방법.The method of claim 16, wherein the processing of the display image comprises:
Preprocessing the camera image,
Scaling the preprocessed camera image into a buffering and display image;
And post-processing the display image.
카메라 이미지를 버퍼링하는 과정과,
상기 버퍼링된 현재 프레임의 카메라 이미지를 표시이미지로 스케일링하는 과정과,
상기 표시이미지를 전처리하는 과정과,
전처리된 표시이미지를 후처리하는 과정으로 이루어짐을 특징으로 하는 방법.The method of claim 16, wherein the processing of the display image comprises:
Buffering camera images,
Scaling a camera image of the buffered current frame into a display image;
Preprocessing the display image;
And post-processing the preprocessed display image.
카메라 이미지를 버퍼링하는 과정과
상기 버퍼링된 현재 프레임의 카메라 이미지를 전처리하는 과정과,
상기 전처리된 카메라 이미지를 버퍼링 및 표시이미지로 스케일링하는 과정과,
상기 표시이미지를 후처리하는 과정으로 이루어짐을 특징으로 하는 방법.The method of claim 16, wherein the processing of the display image comprises:
The process of buffering camera images
Preprocessing the camera image of the buffered current frame;
Scaling the preprocessed camera image into a buffering and display image;
And post-processing the display image.
고속클럭 또는 저속클럭을 구비하며,
상기 캡쳐모드시 상기 고속클럭을 이미지처리부의 동작클럭으로 공급하는 과정을 더 구비하는 것을 특징으로 하는 방법.17. The method of claim 16,
Equipped with high speed clock or low speed clock,
And supplying the high speed clock to the operation clock of the image processor in the capture mode.
상기 프리뷰모드시 저속클럭을 상기 이미지처리부의 동작클럭으로 공급하는 과정을 더 구비하는 것을 특징으로 하는 방법.The method of claim 22,
And supplying a low speed clock to the operation clock of the image processor in the preview mode.
상기 버퍼에서 설정된 프레임의 카메라 이미지를 설정된 크기의 분할이미지로 억세스하는 과정과,
상기 후처리된 분할이미지를 가산하고, 1프레임의 카메라 이미지로 가산될 때 상기 코덱에 출력하는 과정을 더 구비하는 것을 특징으로 하는 방법.The method of claim 16, wherein the captured image processing process,
Accessing a camera image of a frame set in the buffer as a split image having a predetermined size;
And adding the post-processed split image and outputting the split image to the codec when added to a camera image of one frame.
상기 분할 이미지의 억세스는 1프레임 구간에서 1회 억세스되는 것을 특징으로 하는 방법.25. The method of claim 24,
The access of the divided image is accessed once in one frame period.
고속클럭 또는 저속클럭을 구비하며, 상기 캡쳐모드시 상기 고속클럭을 이미지처리부의 동작클럭으로 공급하는 과정을 더 구비하며,
상기 캡쳐이미지 처리과정이,
상기 버퍼에서 설정된 프레임의 카메라 이미지를 설정된 크기의 분할이미지로 억세스하는 과정과,
상기 후처리된 분할이미지를 가산하고, 1프레임의 카메라 이미지로 가산될 때 상기 코덱에 출력하는 과정을 더 구비하는 것을 특징으로 하는 방법.17. The method of claim 16,
And a high speed clock or a low speed clock, and supplying the high speed clock to the operation clock of the image processor in the capture mode.
The capture image processing process,
Accessing a camera image of a frame set in the buffer as a split image having a predetermined size;
And adding the post-processed split image and outputting the split image to the codec when added to a camera image of one frame.
카메라 구동시 동작되어 풀해상도 이미지를 발생하는 카메라와,
표시이미지를 표시하는 표시부와,
프리뷰 모드 및 캡쳐모드 신호를 발생하는 입력부와,
캡쳐이미지를 저장하는 저장부와,
프리뷰모드 신호 감지시 표시이미지 처리 경로 설정을 제어하며, 상기 캡쳐모드 신호 감지시 프레임 구간을 시분할 제어하여 상기 표시이미지 처리 경로 및 캡쳐이미지 처리 경로를 순차적으로 설정하는 제어부와,
상기 제어부의 제어에 의해 프리뷰모드시 표시이미지 처리 경로를 설정하여 상기 카메라 이미지를 버퍼링 및 표시이미지로 변환 및 처리하여 상기 표시부에 출력하며, 캡쳐모드시 프레임 구간에서 상기 표시이미지 처리 경로를 설정하여 상기 카메라 이미지를 버퍼링 및 표시이미지 변환하 및 처리하여 상기 표시부에 출력한 후, 상기 캡쳐 이미지 경로를 설정하여 버퍼링된 카메라 이미지에서 설정된 프레임의 카메라를 억세스 및 처리하여 캡쳐 이미지로 압축 부호화한 후 상기 저장부에 출력하는 이미지처리부로 구성된 것을 특징으로 하는 장치.In the camera device,
A camera which is operated when the camera is driven to generate a full resolution image;
A display unit for displaying a display image,
An input unit for generating a preview mode and a capture mode signal,
A storage unit for storing the captured image,
A control unit configured to control the display image processing path setting when the preview mode signal is detected, and to sequentially set the display image processing path and the capture image processing path by time-dividing the frame section when detecting the capture mode signal;
Under the control of the controller, a display image processing path is set in the preview mode, and the camera image is converted into a buffering and a display image and processed. The display image is output to the display unit. A camera image is buffered and converted into a display image and output to the display unit, and then the captured image path is set to access and process the camera of the set frame in the buffered camera image to compress-encode the captured image into a captured image, Apparatus comprising an image processing unit for outputting to.
상기 카메라이미지를 버퍼링하는 버퍼와,
상기 카메라 이미지를 표시이미지로 스케일링하는 이미지스케일러와,
상기 버퍼 및 이미지스케일러의 출력을 다중화하는 다중화부와,
상기 다중화부의 출력을 전처리하는 전처리부와,
상기 전처리부의 출력을 후처리하는 후처리부와,
후처리된 카메라이미지를 압축부호화하여 캡쳐이미지로 출력하는 정지영상 코덱과,
상기 후처리부의 출력을 역다중화하여 상기 표시부 및 정지영상 코덱에 출력하는 역다중화부로 구성되어,
상기 제어부의 제어에 의해 프리뷰 모드시 상기 다중화부가 이미지스케일러의 출력을 선택하고 역다중화부가 후처리부의 출력을 표시부에 출력하는 표시이미지처리 경로를 설정하며, 캡쳐모드시 프레임 구간을 시분할제어하여 상기 표시이미지 처리 경로를 설정하여 표시이미지를 처리한 후 캡쳐이미지 처리 경로를 설정하여 상기 다중화부가 상기 버퍼의 출력을 선택하고 상기 역다중화부가 상기 후처리부의 출력을 정지영상 코덱에 출력하는 캡쳐이미지 경로를 설정하는 것을 특징으로 하는 장치.The method of claim 27, wherein the image processing unit,
A buffer for buffering the camera image;
An image scaler for scaling the camera image into a display image;
A multiplexer which multiplexes the output of the buffer and the image scaler;
A preprocessor for preprocessing the output of the multiplexer;
A post-processing unit for post-processing the output of the pre-processing unit;
A still image codec that compresses and encodes a post-processed camera image as a captured image,
And a demultiplexer for demultiplexing the output of the post-processing unit and outputting the demultiplexer to the display unit and the still image codec.
Under the control of the control unit, the multiplexer selects the output of the image scaler in the preview mode, and the demultiplexer sets the display image processing path for outputting the output of the post-processing unit to the display unit. An image processing path is set to process a display image, a capture image processing path is set to select a multiplexer output of the buffer, and a demultiplexer sets a capture image path for outputting the output of the post-processor to a still image codec Device characterized in that.
상기 카메라 이미지를 전처리하는 전처리부와,
전처리된 카메라이미지를 버퍼링하는 버퍼와,
전처리된 카메라 이미지를 표시이미지로 스케일링하는 이미지스케일러와,
상기 버퍼 및 이미지스케일러의 출력을 다중화하는 다중화부와,
상기 다중화부의 출력을 후처리하는 후처리부와,
후처리된 카메라이미지를 압축부호화하여 캡쳐이미지로 출력하는 정지영상 코덱과,
상기 후처리부의 출력을 역다중화하여 상기 표시부 및 정지영상 코덱에 출력하는 역다중화부로 구성되어,
상기 제어부의 제어에 의해 프리뷰 모드시 상기 다중화부가 이미지스케일러의 출력을 선택하고 역다중화부가 후처리부의 출력을 표시부에 출력하는 표시이미지처리 경로를 설정하며, 캡쳐모드시 프레임 구간을 시분할제어하여 상기 표시이미지 처리 경로를 설정하여 표시이미지를 처리한 후 캡쳐이미지 처리 경로를 설정하여 상기 다중화부가 상기 버퍼의 출력을 선택하고 상기 역다중화부가 상기 후처리부의 출력을 정지영상 코덱에 출력하는 캡쳐이미지 경로를 설정하는 것을 특징으로 하는 장치.The method of claim 27, wherein the image processing unit,
A preprocessor for preprocessing the camera image;
A buffer that buffers the preprocessed camera image,
An image scaler that scales the preprocessed camera image to the display image,
A multiplexer which multiplexes the output of the buffer and the image scaler;
A post processor configured to post-process the output of the multiplexer;
A still image codec that compresses and encodes a post-processed camera image as a captured image,
And a demultiplexer for demultiplexing the output of the post-processing unit and outputting the demultiplexer to the display unit and the still image codec.
Under the control of the control unit, the multiplexer selects the output of the image scaler in the preview mode, and the demultiplexer sets the display image processing path for outputting the output of the post-processing unit to the display unit. After setting the image processing path to process the display image and setting the capture image processing path, the multiplexer selects the output of the buffer, and the demultiplexer sets the capture image path for outputting the output of the post-processing part to the still image codec. Device characterized in that.
상기 카메라이미지를 버퍼링하는 버퍼와,
상기 버퍼링되는 현재 프레임의 카메라 이미지를 표시이미지로 스케일링하는 이미지 스케일러와,
상기 버퍼 및 이미지스케일러의 출력을 다중화하는 다중화부와,
상기 다중화부의 출력을 전처리하는 전처리부와,
상기 전처리부의 출력을 후처리하는 후처리부와,
후처리된 카메라이미지를 압축부호화하여 캡쳐이미지로 출력하는 정지영상 코덱과,
상기 후처리부의 출력을 역다중화하여 상기 표시부 및 정지영상 코덱에 출력하는 역다중화부로 구성되어,
상기 제어부의 제어에 의해 프리뷰 모드시 상기 다중화부가 이미지스케일러의 출력을 선택하고 역다중화부가 후처리부의 출력을 표시부에 출력하는 표시이미지처리 경로를 설정하며, 캡쳐모드시 프레임 구간을 시분할제어하여 상기 표시이미지 처리 경로를 설정하여 표시이미지를 처리한 후 캡쳐이미지 처리 경로를 설정하여 상기 다중화부가 상기 버퍼의 출력을 선택하고 상기 역다중화부가 상기 후처리부의 출력을 정지영상 코덱에 출력하는 캡쳐이미지 경로를 설정하는 것을 특징으로 하는 장치.The method of claim 27, wherein the image processing unit,
A buffer for buffering the camera image;
An image scaler for scaling a camera image of the buffered current frame into a display image;
A multiplexer which multiplexes the output of the buffer and the image scaler;
A preprocessor for preprocessing the output of the multiplexer;
A post-processing unit for post-processing the output of the pre-processing unit;
A still image codec that compresses and encodes a post-processed camera image as a captured image,
And a demultiplexer for demultiplexing the output of the post-processing unit and outputting the demultiplexer to the display unit and the still image codec.
Under the control of the control unit, the multiplexer selects the output of the image scaler in the preview mode, and the demultiplexer sets the display image processing path for outputting the output of the post-processing unit to the display unit. After setting the image processing path to process the display image and setting the capture image processing path, the multiplexer selects the output of the buffer, and the demultiplexer sets the capture image path for outputting the output of the post-processing part to the still image codec. Device characterized in that.
상기 카메라이미지를 버퍼링하는 버퍼와,
상기 버퍼에서 출력되는 카메라 이미지를 전처리하는 전처리부와,
전처리된 카메라 이미지를 표시이미지로 스케일링하는 이미지스케일러와,
상기 전처리부 및 이미지스케일러의 출력을 다중화하는 다중화부와,
상기 다중화부의 출력을 후처리하는 후처리부와,
후처리된 카메라이미지를 압축부호화하여 캡쳐이미지로 출력하는 정지영상 코덱과,
상기 후처리부의 출력을 역다중화하여 상기 표시부 및 정지영상 코덱에 출력하는 역다중화부로 구성되어,
상기 제어부의 제어에 의해 프리뷰 모드시 상기 다중화부가 이미지스케일러의 출력을 선택하고 역다중화부가 후처리부의 출력을 표시부에 출력하는 표시이미지처리 경로를 설정하며, 캡쳐모드시 프레임 구간을 시분할제어하여 상기 표시이미지 처리 경로를 설정하여 표시이미지를 처리한 후 캡쳐이미지 처리 경로를 설정하여 상기 다중화부가 상기 전처리부의 출력을 선택하고 상기 역다중화부가 상기 후처리부의 출력을 정지영상 코덱에 출력하는 캡쳐이미지 경로를 설정하는 것을 특징으로 하는 장치.The method of claim 27, wherein the image processing unit,
A buffer for buffering the camera image;
A preprocessor for preprocessing the camera image output from the buffer;
An image scaler that scales the preprocessed camera image to the display image,
A multiplexer which multiplexes the output of the preprocessor and the image scaler;
A post processor configured to post-process the output of the multiplexer;
A still image codec that compresses and encodes a post-processed camera image as a captured image,
And a demultiplexer for demultiplexing the output of the post-processing unit and outputting the demultiplexer to the display unit and the still image codec.
Under the control of the control unit, the multiplexer selects the output of the image scaler in the preview mode, and the demultiplexer sets the display image processing path for outputting the output of the post-processing unit to the display unit. After setting the image processing path to process the display image and setting the capture image processing path, the multiplexer selects the output of the preprocessor and the demultiplexer sets the capture image path to output the output of the postprocessor to the still image codec. Device characterized in that.
카메라 구동시 동작되어 풀해상도 이미지를 발생하는 카메라와,
표시이미지를 표시하는 표시부와,
프리뷰 모드 및 캡쳐모드 신호를 발생하는 입력부와,
캡쳐이미지를 저장하는 저장부와,
상기 휴대단말장치의 어플리케이션들을 처리하며, 상기 카메라의 프리뷰모드 신호 감지시 표시이미지 처리 경로 설정을 제어하며, 상기 캡쳐모드 신호 감지시 프레임 구간을 시분할 제어하여 상기 표시이미지 처리 경로 및 캡쳐이미지 처리 경로를 순차적으로 설정하는 어플리케이션처리부와,
통신부를 제어하여 장치의 통신 기능을 수행하며, 상기 어플리케이션처리부와 통신하는 단말제어부와,
상기 어플리케이션처리부의 제어에 의해 프리뷰모드시 표시이미지 처리 경로를 설정하여 상기 카메라 이미지를 버퍼링 및 표시이미지로 변환 및 처리하여 상기 표시부에 출력하며, 캡쳐모드시 프레임 구간에서 상기 표시이미지 처리 경로를 설정하여 상기 카메라 이미지를 버퍼링 및 표시이미지 변환하 및 처리하여 상기 표시부에 출력한 후, 상기 캡쳐 이미지 경로를 설정하여 버퍼링된 카메라 이미지에서 설정된 프레임의 카메라를 억세스 및 처리하여 캡쳐 이미지로 압축 부호화한 후 상기 저장부에 출력하는 이미지처리부로 구성된 것을 특징으로 하는 장치.In a mobile terminal device,
A camera which is operated when the camera is driven to generate a full resolution image;
A display unit for displaying a display image,
An input unit for generating a preview mode and a capture mode signal,
A storage unit for storing the captured image,
And controls the display image processing path setting when the preview mode signal is sensed by the camera, and controls the display image processing path and the captured image processing path by time-division controlling the frame period when the capture mode signal is sensed. An application processing unit which is set sequentially;
A terminal control unit controlling a communication unit to perform a communication function of the device, and communicating with the application processing unit;
By setting the display image processing path in the preview mode under the control of the application processing unit, converts and processes the camera image into a buffering and display image and outputs it to the display unit, and sets the display image processing path in the frame section in the capture mode. The camera image is buffered and converted into a display image, processed and outputted to the display unit, and the captured image path is set to access and process a camera of a frame set in the buffered camera image to compress and encode the captured image into the captured image. Apparatus comprising an image processing unit for outputting to the unit.
상기 카메라이미지를 버퍼링하는 버퍼와,
상기 카메라 이미지를 표시이미지로 스케일링하는 이미지스케일러와,
상기 버퍼 및 이미지스케일러의 출력을 다중화하는 다중화부와,
상기 다중화부의 출력을 전처리하는 전처리부와,
상기 전처리부의 출력을 후처리하는 후처리부와,
후처리된 카메라이미지를 압축부호화하여 캡쳐이미지로 출력하는 정지영상 코덱과,
상기 후처리부의 출력을 역다중화하여 상기 표시부 및 정지영상 코덱에 출력하는 역다중화부로 구성되어,
상기 제어부의 제어에 의해 프리뷰 모드시 상기 다중화부가 이미지스케일러의 출력을 선택하고 역다중화부가 후처리부의 출력을 표시부에 출력하는 표시이미지처리 경로를 설정하며, 캡쳐모드시 프레임 구간을 시분할제어하여 상기 표시이미지 처리 경로를 설정하여 표시이미지를 처리한 후 캡쳐이미지 처리 경로를 설정하여 상기 다중화부가 상기 버퍼의 출력을 선택하고 상기 역다중화부가 상기 후처리부의 출력을 정지영상 코덱에 출력하는 캡쳐이미지 경로를 설정하는 것을 특징으로 하는 장치.The method of claim 32, wherein the image processing unit,
A buffer for buffering the camera image;
An image scaler for scaling the camera image into a display image;
A multiplexer which multiplexes the output of the buffer and the image scaler;
A preprocessor for preprocessing the output of the multiplexer;
A post-processing unit for post-processing the output of the pre-processing unit;
A still image codec that compresses and encodes a post-processed camera image as a captured image,
And a demultiplexer for demultiplexing the output of the post-processing unit and outputting the demultiplexer to the display unit and the still image codec.
Under the control of the control unit, the multiplexer selects the output of the image scaler in the preview mode, and the demultiplexer sets the display image processing path for outputting the output of the post-processing unit to the display unit. After setting the image processing path to process the display image and setting the capture image processing path, the multiplexer selects the output of the buffer, and the demultiplexer sets the capture image path for outputting the output of the post-processing part to the still image codec. Device characterized in that.
상기 카메라 이미지를 전처리하는 전처리부와,
전처리된 카메라이미지를 버퍼링하는 버퍼와,
전처리된 카메라 이미지를 표시이미지로 스케일링하는 이미지스케일러와,
상기 버퍼 및 이미지스케일러의 출력을 다중화하는 다중화부와,
상기 다중화부의 출력을 후처리하는 후처리부와,
후처리된 카메라이미지를 압축부호화하여 캡쳐이미지로 출력하는 정지영상 코덱과,
상기 후처리부의 출력을 역다중화하여 상기 표시부 및 정지영상 코덱에 출력하는 역다중화부로 구성되어,
상기 제어부의 제어에 의해 프리뷰 모드시 상기 다중화부가 이미지스케일러의 출력을 선택하고 역다중화부가 후처리부의 출력을 표시부에 출력하는 표시이미지처리 경로를 설정하며, 캡쳐모드시 프레임 구간을 시분할제어하여 상기 표시이미지 처리 경로를 설정하여 표시이미지를 처리한 후 캡쳐이미지 처리 경로를 설정하여 상기 다중화부가 상기 버퍼의 출력을 선택하고 상기 역다중화부가 상기 후처리부의 출력을 정지영상 코덱에 출력하는 캡쳐이미지 경로를 설정하는 것을 특징으로 하는 장치.The method of claim 32, wherein the image processing unit,
A preprocessor for preprocessing the camera image;
A buffer that buffers the preprocessed camera image,
An image scaler that scales the preprocessed camera image to the display image,
A multiplexer which multiplexes the output of the buffer and the image scaler;
A post processor configured to post-process the output of the multiplexer;
A still image codec that compresses and encodes a post-processed camera image as a captured image,
And a demultiplexer for demultiplexing the output of the post-processing unit and outputting the demultiplexer to the display unit and the still image codec.
Under the control of the control unit, the multiplexer selects the output of the image scaler in the preview mode, and the demultiplexer sets the display image processing path for outputting the output of the post-processing unit to the display unit. After setting the image processing path to process the display image and setting the capture image processing path, the multiplexer selects the output of the buffer, and the demultiplexer sets the capture image path for outputting the output of the post-processing part to the still image codec. Device characterized in that.
상기 카메라이미지를 버퍼링하는 버퍼와,
상기 버퍼링되는 현재 프레임의 카메라 이미지를 표시이미지로 스케일링하는 이미지 스케일러와,
상기 버퍼 및 이미지스케일러의 출력을 다중화하는 다중화부와,
상기 다중화부의 출력을 전처리하는 전처리부와,
상기 전처리부의 출력을 후처리하는 후처리부와,
후처리된 카메라이미지를 압축부호화하여 캡쳐이미지로 출력하는 정지영상 코덱과,
상기 후처리부의 출력을 역다중화하여 상기 표시부 및 정지영상 코덱에 출력하는 역다중화부로 구성되어,
상기 제어부의 제어에 의해 프리뷰 모드시 상기 다중화부가 이미지스케일러의 출력을 선택하고 역다중화부가 후처리부의 출력을 표시부에 출력하는 표시이미지처리 경로를 설정하며, 캡쳐모드시 프레임 구간을 시분할제어하여 상기 표시이미지 처리 경로를 설정하여 표시이미지를 처리한 후 캡쳐이미지 처리 경로를 설정하여 상기 다중화부가 상기 버퍼의 출력을 선택하고 상기 역다중화부가 상기 후처리부의 출력을 정지영상 코덱에 출력하는 캡쳐이미지 경로를 설정하는 것을 특징으로 하는 장치.The method of claim 32, wherein the image processing unit,
A buffer for buffering the camera image;
An image scaler for scaling a camera image of the buffered current frame into a display image;
A multiplexer which multiplexes the output of the buffer and the image scaler;
A preprocessor for preprocessing the output of the multiplexer;
A post-processing unit for post-processing the output of the pre-processing unit;
A still image codec that compresses and encodes a post-processed camera image as a captured image,
And a demultiplexer for demultiplexing the output of the post-processing unit and outputting the demultiplexer to the display unit and the still image codec.
Under the control of the control unit, the multiplexer selects the output of the image scaler in the preview mode, and the demultiplexer sets the display image processing path for outputting the output of the post-processing unit to the display unit. After setting the image processing path to process the display image and setting the capture image processing path, the multiplexer selects the output of the buffer, and the demultiplexer sets the capture image path for outputting the output of the post-processing part to the still image codec. Device characterized in that.
상기 카메라이미지를 버퍼링하는 버퍼와,
상기 버퍼에서 출력되는 카메라 이미지를 전처리하는 전처리부와,
전처리된 카메라 이미지를 표시이미지로 스케일링하는 이미지스케일러와,
상기 전처리부 및 이미지스케일러의 출력을 다중화하는 다중화부와,
상기 다중화부의 출력을 후처리하는 후처리부와,
후처리된 카메라이미지를 압축부호화하여 캡쳐이미지로 출력하는 정지영상 코덱과,
상기 후처리부의 출력을 역다중화하여 상기 표시부 및 정지영상 코덱에 출력하는 역다중화부로 구성되어,
상기 제어부의 제어에 의해 프리뷰 모드시 상기 다중화부가 이미지스케일러의 출력을 선택하고 역다중화부가 후처리부의 출력을 표시부에 출력하는 표시이미지처리 경로를 설정하며, 캡쳐모드시 프레임 구간을 시분할제어하여 상기 표시이미지 처리 경로를 설정하여 표시이미지를 처리한 후 캡쳐이미지 처리 경로를 설정하여 상기 다중화부가 상기 전처리부의 출력을 선택하고 상기 역다중화부가 상기 후처리부의 출력을 정지영상 코덱에 출력하는 캡쳐이미지 경로를 설정하는 것을 특징으로 하는 장치.The method of claim 32, wherein the image processing unit,
A buffer for buffering the camera image;
A preprocessor for preprocessing the camera image output from the buffer;
An image scaler that scales the preprocessed camera image to the display image,
A multiplexer which multiplexes the output of the preprocessor and the image scaler;
A post processor configured to post-process the output of the multiplexer;
A still image codec that compresses and encodes a post-processed camera image as a captured image,
And a demultiplexer for demultiplexing the output of the post-processing unit and outputting the demultiplexer to the display unit and the still image codec.
Under the control of the control unit, the multiplexer selects the output of the image scaler in the preview mode, and the demultiplexer sets the display image processing path for outputting the output of the post-processing unit to the display unit. After setting the image processing path to process the display image and setting the capture image processing path, the multiplexer selects the output of the preprocessor and the demultiplexer sets the capture image path to output the output of the postprocessor to the still image codec. Device characterized in that.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/862,748 US9313378B2 (en) | 2012-04-16 | 2013-04-15 | Image processing apparatus and method of camera |
CN201310128730.5A CN103379275B (en) | 2012-04-16 | 2013-04-15 | The image processing apparatus and method of video camera |
EP13163758.9A EP2654288B1 (en) | 2012-04-16 | 2013-04-15 | Image processing apparatus and method of camera |
PCT/KR2013/003166 WO2013157802A1 (en) | 2012-04-16 | 2013-04-16 | Image processing apparatus and method of camera |
RU2014141673A RU2014141673A (en) | 2012-04-16 | 2013-04-16 | DEVICE AND METHOD FOR PROCESSING CAMERA IMAGES |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20120039076 | 2012-04-16 | ||
KR1020120039076 | 2012-04-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130116796A true KR20130116796A (en) | 2013-10-24 |
KR102058860B1 KR102058860B1 (en) | 2019-12-26 |
Family
ID=49635790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130005222A KR102058860B1 (en) | 2012-04-16 | 2013-01-17 | Apparatus and mehod for processing a image in camera device |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102058860B1 (en) |
RU (1) | RU2014141673A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170071941A (en) * | 2015-12-16 | 2017-06-26 | 삼성전자주식회사 | Apparatus for processing image and image processing system adopting the same |
KR20170116388A (en) * | 2016-04-11 | 2017-10-19 | 삼성전자주식회사 | Imaging device and operating method thereof |
US10038845B2 (en) | 2013-11-18 | 2018-07-31 | Apple Inc. | Modeless video and still frame capture |
WO2024076101A1 (en) * | 2022-10-04 | 2024-04-11 | 삼성전자 주식회사 | Artificial-intelligence-based image processing method and electronic device for supporting same |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002142149A (en) * | 2000-11-06 | 2002-05-17 | Mega Chips Corp | Picture processing circuit |
US20040070679A1 (en) * | 2002-10-15 | 2004-04-15 | Pope David R. | Compensating for delays inherent in digital still camera imaging |
US7212214B2 (en) * | 2004-09-03 | 2007-05-01 | Seiko Epson Corporation | Apparatuses and methods for interpolating missing colors |
-
2013
- 2013-01-17 KR KR1020130005222A patent/KR102058860B1/en active IP Right Grant
- 2013-04-16 RU RU2014141673A patent/RU2014141673A/en not_active Application Discontinuation
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10038845B2 (en) | 2013-11-18 | 2018-07-31 | Apple Inc. | Modeless video and still frame capture |
US10498960B2 (en) | 2013-11-18 | 2019-12-03 | Apple Inc. | Modeless video and still frame capture |
US10911673B2 (en) | 2013-11-18 | 2021-02-02 | Apple Inc. | Modeless video and still frame capture |
KR20170071941A (en) * | 2015-12-16 | 2017-06-26 | 삼성전자주식회사 | Apparatus for processing image and image processing system adopting the same |
KR20170116388A (en) * | 2016-04-11 | 2017-10-19 | 삼성전자주식회사 | Imaging device and operating method thereof |
WO2024076101A1 (en) * | 2022-10-04 | 2024-04-11 | 삼성전자 주식회사 | Artificial-intelligence-based image processing method and electronic device for supporting same |
Also Published As
Publication number | Publication date |
---|---|
KR102058860B1 (en) | 2019-12-26 |
RU2014141673A (en) | 2016-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101893406B1 (en) | Apparatus and mehod for processing a image in camera device | |
EP2654288B1 (en) | Image processing apparatus and method of camera | |
KR101953614B1 (en) | Apparatus and method for processing a image of camera device and terminal equipment having a camera | |
KR101899851B1 (en) | Apparatus and mehod for processing a image in camera device | |
US7415166B2 (en) | Image processing device | |
KR101905621B1 (en) | Apparatus and method for transmitting a frame image of camera using a hybrid interleaved data | |
KR101921935B1 (en) | Apparatus and method for shooting a moving picture in camera device | |
US8526685B2 (en) | Method and apparatus for selectively supporting raw format in digital image processor | |
JP2013168942A (en) | Data processing device and method for camera | |
KR102058860B1 (en) | Apparatus and mehod for processing a image in camera device | |
KR101931631B1 (en) | Apparatus and method for encoding a image in camera device | |
KR20130094632A (en) | Apparatus and method for processing a continuous shooting mode in camera device | |
US10244199B2 (en) | Imaging apparatus | |
JP6118118B2 (en) | Imaging apparatus and control method thereof | |
JP2018074523A (en) | Imaging device, control method thereof, program, and recording medium | |
KR20130094662A (en) | Apparatus and method for processing a continuous shooting using a multi-preset data in camera device | |
KR100697626B1 (en) | Mobile device with dual camera module and method of taking serial photographs using the same | |
KR101652117B1 (en) | Apparatus and method for reducing digital camera shutter lag | |
US9554108B2 (en) | Image processing device and storage medium storing image processing program | |
KR20050041589A (en) | Method for taking moving picture in wireless phone | |
JP2005191697A (en) | Moving picture photographing apparatus, moving picture recording method, and moving picture recording program | |
JP2004248156A (en) | Image recording apparatus and digital video camera device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |