KR101931631B1 - Apparatus and method for encoding a image in camera device - Google Patents

Apparatus and method for encoding a image in camera device Download PDF

Info

Publication number
KR101931631B1
KR101931631B1 KR1020120046514A KR20120046514A KR101931631B1 KR 101931631 B1 KR101931631 B1 KR 101931631B1 KR 1020120046514 A KR1020120046514 A KR 1020120046514A KR 20120046514 A KR20120046514 A KR 20120046514A KR 101931631 B1 KR101931631 B1 KR 101931631B1
Authority
KR
South Korea
Prior art keywords
image
camera
compression ratio
unit
processing unit
Prior art date
Application number
KR1020120046514A
Other languages
Korean (ko)
Other versions
KR20130123229A (en
Inventor
임성준
김명원
김문수
김재동
이강민
한종흠
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120046514A priority Critical patent/KR101931631B1/en
Priority to US13/870,640 priority patent/US9300856B2/en
Publication of KR20130123229A publication Critical patent/KR20130123229A/en
Application granted granted Critical
Publication of KR101931631B1 publication Critical patent/KR101931631B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

카메라의 이미지처리장치가 카메라로부터 획득되는 이미지의 자동초점 필터 값을 추출하여 이미지 복잡도에 따른 압축율 조절 값을 결정하는 압축율결정부와, 카메라로부터 획득되는 이미지를 라인 단위로 이미지 처리하는 처리부와, 이미지처리부에서 출력되는 라인 이미지를 압축율 조절값에 의해 압축하는 정지영상코덱으로 구성된다.A compression ratio determination unit for extracting an auto focus filter value of an image obtained from a camera and determining a compression ratio adjustment value according to image complexity, a processing unit for image-processing an image obtained from the camera line by line, And a still image codec for compressing the line image output from the processing unit according to a compression rate adjustment value.

Description

카메라 장치의 이미지 부호화장치 및 방법{APPARATUS AND METHOD FOR ENCODING A IMAGE IN CAMERA DEVICE}[0001] APPARATUS AND METHOD FOR ENCODING IMAGE IN CAMERA DEVICE [0002]

본 발명은 카메라장치의 이미지 부호화장치 및 방법에 관한 것으로, 특히 이미지의 사이즈를 분석하여 압축율을 조정할 수 있는 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and method for encoding an image of a camera apparatus, and more particularly, to an apparatus and method for adjusting a compression ratio by analyzing an image size.

일반적으로 카메라 장치에서 이미지를 압축하는 방법은 카메라의 이미지 센서에서 획득되는 이미지 데이터를 이미지처리부에 전달하며, 이미지처리부는 내부의 부호화기를 이용하여 압축 부호화하는 방법을 사용하고 있다. 이때 상기 이미지처리부는 카메라의 이미지 센서에서 획득되는 이미지가 복잡한 이미지이면 압축률을 높여 이미지의 전체적인 용량을 줄이고, 단순한 이미지일 경우 압축률을 낮추어 화질을 높이는 방법을 사용하고 있다.Generally, a method of compressing an image in a camera device transmits image data obtained by an image sensor of a camera to an image processing unit, and the image processing unit uses a compression encoding method using an internal encoder. At this time, if the image obtained from the image sensor of the camera is a complex image, the image processing unit increases the compression ratio to reduce the overall capacity of the image, and if the image is a simple image, the image quality is improved by lowering the compression ratio.

일반적으로 카메라장치의 상기 이미지처리부는 이미지 데이터를 프레임 단위로 버퍼링하여 처리하는 방법을 사용하고 있다. 이런 경우 상기 이미지처리부는 압축률 조절을 위하여 상기 카메라로부터 수신되는 이미지 데이터를 프레임 단위로 분석하고, 프레임 단위의 이미지 복잡도를 분석하여 압축 부호화율을 조정하게 된다. 그러나 상기 이미지처리부가 프레임 버퍼를 사용하지 않고 라인(Line) 별로 이미지 데이터를 처리하는 라인 버퍼(Line Buffer) 타입을 사용할 경우, 상기 이미지처리부는 사전에 이미지의 복잡도를 알 수가 없기 때문에 미리 압축률을 결정하는 것이 불가능하게 된다. 따라서 카메라장치에서 프레임 버퍼(Frame Buffer) 타입이 아닌 라인 버퍼(Line Buffer) 타입을 사용하는 경우, 상기 이미지처리부는 미리 압축률을 조절하기 힘들고 이미지의 Size가 정해진 전송속도를 초과할 정도로 큰 경우 이미지에 에러가 발생하는 문제가 발생할 수 있다.Generally, the image processing unit of the camera apparatus uses a method of buffering and processing image data on a frame basis. In this case, the image processing unit analyzes the image data received from the camera in units of frames to adjust the compression rate, and analyzes the image complexity on a frame basis to adjust the compression coding rate. However, when the image processing unit uses a line buffer type that processes image data for each line without using a frame buffer, the image processing unit determines the compression rate in advance because it can not know the complexity of the image in advance . Therefore, when a line buffer (not a frame buffer) type is used in a camera apparatus, the image processing unit can not control the compression rate in advance and if the size of the image is large enough to exceed a predetermined transmission speed, An error may occur.

본 발명은 카메라장치에서 카메라로부터 획득되는 이미지를 라인 단위로 처리하는 라인버퍼 타입의 이미지처리부를 사용하는 경우에도 획득되는 이미지 데이터의 복잡도를 분석하여 효율적으로 이미지를 압축 부호화할 수 있는 장치 및 방법을 제안한다. 이를 위하여 본 발명의 실시예에 따른 이미지처리부는 카메라로부터 이미지 획득시 자동촛점 결과값으로부터 이미지의 크기를 추정하고, 이를 이용하여 압축률을 조절하는 장치 및 방법을 제안한다.The present invention relates to an apparatus and method for efficiently compressing and encoding an image by analyzing the complexity of image data obtained even when a line buffer type image processing unit for processing an image obtained from a camera in a camera unit in a line unit is used I suggest. To this end, the image processing unit according to an embodiment of the present invention proposes an apparatus and method for estimating the size of an image from an automatic focus result value at the time of acquiring an image from a camera, and adjusting the compression rate using the image size.

본 발명의 실시예에 따른 카메라의 이미지처리장치는, 카메라로부터 획득되는 이미지에서 일부 영역을 이미지의 복잡도를 측정하기 위한 윈도우로 설정하고 상기 윈도우 내의 픽셀들을 필터링하여, 자동초점 필터 값을 추출하여 이미지 복잡도에 따른 압축율 조절 값을 결정하는 압축율결정부와, 상기 카메라로부터 획득되는 이미지를 라인 단위로 처리하되, 상기 자동초점 필터 값을 추출하는 과정에서 얻은 이미지의 윤곽 데이터를 이용하여 복잡도를 판단하는 이미지처리부와, 상기 이미지처리부에서 출력되는 라인 이미지를 상기 압축율 조절값에 의해 압축하는 정지영상코덱으로 구성되고, 상기 압축율결정부는, 상기 카메라로부터 획득되는 이미지의 압축율 조절 값을 결정하기 위한 다수의 팩터(factor)를 저장하는 테이블을 포함하되, 상기 추출된 자동초점 필터 값과 미리 설정된 기준 값을 비교하여 상기 이미지 복잡도에 대응하는 팩터를 상기 테이블에서 확인하는 것을 특징으로 한다.The image processing apparatus of a camera according to an embodiment of the present invention sets a portion of an image obtained from a camera as a window for measuring the complexity of an image and filters pixels in the window to extract an auto- A compression ratio determination unit for determining a compression ratio adjustment value in accordance with the complexity of the image; an image processing unit for processing the image obtained from the camera in units of lines and determining the complexity using the outline data of the image obtained in the process of extracting the auto- And a still image codec for compressing the line image output from the image processing unit according to the compression ratio adjustment value, wherein the compression ratio determination unit includes a plurality of factors for determining a compression ratio adjustment value of the image obtained from the camera and a table for storing a factor, By comparing the auto-focus filter value and the preset reference value is a factor corresponding to the image complexity, characterized in that to determine in said table.

또한 본 발명의 실시예에 따른 카메라 장치의 이미지처리방법은, 카메라로부터 획득되는 이미지에서 일부 영역을 이미지의 복잡도를 측정하기 위한 윈도우로 설정하고 상기 윈도우 내의 픽셀들을 필터링하여, 자동초점 필터 값을 추출하여 이미지 복잡도에 따른 압축율 조절 값을 결정하는 과정과, 상기 카메라로부터 획득되는 이미지를 이미지 처리부를 이용하여 라인 단위로 처리하되, 상기 자동초점 필터 값을 추출하는 과정에서 얻은 이미지의 윤곽 데이터를 이용하여 복잡도를 판단하는 과정과, 상기 이미지 처리된 라인 이미지를 상기 압축율 조절값에 의해 압축하는 과정으로 이루어지되, 상기 압축율 조절 값을 결정하는 과정은, 압축율결정부를 통해 수행되고, 상기 압축율결정부는, 상기 카메라로부터 획득되는 이미지의 압축율 조절 값을 결정하기 위한 다수의 팩터(factor)를 저장하는 테이블을 포함하되, 상기 추출된 자동초점 필터 값과 미리 설정된 기준 값을 비교하여 상기 이미지 복잡도에 대응하는 팩터를 상기 테이블에서 확인하는 것을 특징으로 한다.Also, the image processing method of the camera device according to the embodiment of the present invention sets a part of an image obtained from a camera as a window for measuring the complexity of an image, filters pixels in the window, extracts an auto- Determining a compression ratio adjustment value according to the image complexity; processing the image obtained from the camera in units of lines using an image processing unit, using the outline data of the image obtained in the process of extracting the auto focus filter value, Wherein the step of determining the compression ratio adjustment value is performed by a compression ratio determination unit, and the compression ratio determination unit determines the compression ratio of the image, Adjust the compression ratio adjustment value of the image obtained from the camera Comprising: a table for storing the plurality of factors (factor) for, characterized in that by comparing the extracted autofocus filter value with a preset reference value to determine a factor corresponding to the image complexity in the table.

또한 본 발명의 실시예에 따른 카메라장치는, 이미지를 획득하는 카메라와, 카메라로부터 획득되는 이미지에서 일부 영역을 이미지의 복잡도를 측정하기 위한 윈도우로 설정하고 상기 윈도우 내의 픽셀들을 필터링하여, 자동초점 필터 값을 추출하여 이미지 복잡도에 따른 압축율 조절 값을 결정하는 압축율결정부를 구비하며, 상기 카메라로부터 획득되는 라인 이미지를 표시이미지 및 상기 압축율 조절값에 의해 압축하여 압축이미지로 출력하되, 상기 자동초점 필터 값을 추출하는 과정에서 얻은 이미지의 윤곽 데이터를 이용하여 복잡도를 판단하는 이미지처리부와, 상기 이미지처리부에서 출력되는 표시이미지 및 압축이미지를 프레임 단위로 버퍼링하며, 캡쳐요구시 상기 버퍼링된 프레임 단위의 압축이미지를 저장하도록 제어하는 어플리케이션처리부와, 상기 어플리케이션처리부에서 출력되는 프레임 단위의 표시이미지를 표시하는 표시부와, 상기 어플리케이션처리부에서 출력되는 프레임 단위의 압축이미지를 저장하는 저장부로 구성되고, 상기 압축율결정부는, 상기 카메라로부터 획득되는 이미지의 압축율 조절 값을 결정하기 위한 다수의 팩터(factor)를 저장하는 테이블을 포함하되, 상기 추출된 자동초점 필터 값과 미리 설정된 기준 값을 비교하여 상기 이미지 복잡도에 대응하는 팩터를 상기 테이블에서 확인하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a camera apparatus including a camera for acquiring an image, a camera for setting a part of the image obtained from the camera as a window for measuring the complexity of the image, And a compression ratio determination unit for determining a compression ratio adjustment value according to image complexity by extracting a value of the auto-focus filter value from the camera, and compressing the line image obtained from the camera according to the display image and the compression ratio adjustment value, An image processing unit for determining the complexity using the outline data of the image obtained in the process of extracting the compressed image, Which controls to store A display unit for displaying a display image in a frame unit output from the application processing unit, and a storage unit for storing a compressed image in units of frames output from the application processing unit, wherein the compression ratio determination unit determines an image obtained from the camera And a table for storing a plurality of factors for determining a compression ratio adjustment value of the auto focus filter, wherein the extracted auto focus filter value is compared with a preset reference value, and a factor corresponding to the image complexity is confirmed in the table .

라인단위로 이미지를 처리하는 이미지처리부를 구비하는 카메라장치에서 오토 포커스(Auto Focus) 기능을 이용하여 라인 이미지의 압축율을 조절한다. 이를 위하여 카메라장치에서 이미지처리부는 카메라로부터 이미지 획득시 자동촛점 결과값으로부터 이미지의 크기를 추정하고, 이를 이용하여 압축률을 조절하며, 이로인해 효율적으로 이미지를 압축부호화할 수 있다. A camera apparatus having an image processing unit for processing an image in units of lines adjusts a compression ratio of a line image by using an auto focus function. For this purpose, the image processing unit in the camera apparatus estimates the size of the image from the auto focus result value when acquiring an image from the camera, and adjusts the compression ratio using the image size, thereby efficiently compressing and encoding the image.

도 1은 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 휴대단말기 장치의 구성을 도시하는 도면
도 2는 도 1의 이미지처리부의 구성을 도시하는 도면
도 3은 도 2의 압축율결정부의 구성을 도시하는 도면
도 4a는 본 발명의 실시예에 따라 압축율 결정을 위한 윈도우 설정 예를 도시하는 도면이며, 도 4b는 설정된 윈도우 영역에서 추출되는 필터 값에 따라 Q 테이블 조정의 예를 도시하는 도면
도 5는 본 발명의 실시예에 따른 카메라장치에서 이미지의 압축율을 조정하는 절차를 도시하는 흐름도
도 6은 본 발명의 실시예에 따른 카메라장치의 다른 구성 예를 도시하는 도면
1 is a diagram showing a configuration of a portable terminal device having a camera device or a camera according to an embodiment of the present invention
Fig. 2 is a diagram showing the configuration of the image processing unit of Fig. 1
3 is a diagram showing the configuration of the compression ratio determining unit of Fig. 2
FIG. 4A is a diagram illustrating an example of window setting for determining a compression ratio according to an embodiment of the present invention, and FIG. 4B is a diagram illustrating an example of Q table adjustment according to a filter value extracted in a set window region
5 is a flowchart illustrating a procedure for adjusting the compression ratio of an image in a camera apparatus according to an embodiment of the present invention.
6 is a view showing another configuration example of the camera device according to the embodiment of the present invention

이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. It should be noted that the same configurations of the drawings denote the same reference numerals as possible whenever possible.

또한, 하기 설명에서는 오토 포커스 필터 값 등과 같은 구체적인 특정 사항들이 나타내고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 상세한 설명을 생략한다.In the following description, specific details such as an autofocus filter value and the like are provided. However, it should be understood that the present invention is not limited to the above-described embodiments. It will be self-evident to those who have knowledge. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

본 발명은 라인 이미지를 처리하는 이미지처리부를 구비하는 카메라 장치에서 이미지처리부가 자동 초점(Auto Focus) 과정에서 얻은 이미지의 윤곽 데이터(Edge Data)를 이용해서 이미지의 복잡도를 판단하고, 상기와 같이 판단되는 복잡도를 이용하여 이미지 데이터의 압축 부호화율을 조절한다. 여기서 상기 라인 이미지는 1 라인 이미지(one line image)가 될 수 있으며, 또한 복수의 라인 이미지들이 될 수 있다. 즉, 본 발명의 이미지처리부에서 처리하는 라인 이미지라는 용어는 1개 라인 이미지 또는 2개의 이상의 복수 라인 이미지가 될 수 있다. In the camera device having the image processing unit for processing the line image, the image processing unit determines the complexity of the image using the edge data of the image obtained in the auto focus process, The compression ratio of the image data is adjusted. Here, the line image may be a line image or a plurality of line images. That is, the term line image processed by the image processing unit of the present invention may be a one line image or two or more plural line images.

또한 본 발명의 실시예에서 설명되는 용어에서 처리부는 전처리부 및 후처리부를 포함하는 용어로 사용될 것이며, 프리뷰 모드 및 동영상 녹화모드는 표시부에서 동영상 이미지를 표시하는 모드이며, 캡쳐모드는 동영상 이미지를 표시하는 중에 정지영상을 캡쳐하여 저장하는 모드를 의미한다. 또한 본 발명의 실시예에서 정지영상 이미지의 압축율을 결정하는 압축율결정부는 전처리부 내에서 구성되는 것을 가정하여 설명될 것이다. 그러나 상기 압축율결정부는 이미지처리부 내에 독립적으로 구성될 수도 있다. In the term described in the embodiment of the present invention, the processing unit will be used as a term including a preprocessing unit and a post-processing unit, and a preview mode and a movie recording mode are modes in which a moving image is displayed on a display unit, And the still image is captured and stored. Further, in the embodiment of the present invention, it will be described on the assumption that the compression ratio determining unit for determining the compression ratio of the still image is configured in the preprocessing unit. However, the compression ratio determination unit may be configured independently in the image processing unit.

본 발명의 실시예에 따른 이미지처리부는 카메라의 이미지 센서에 획득된 이미지를 Auto Focusing할 때 AF Filter Value를 추출하고, 상기 추출된 AF Filter Value를 판단하여 이미지 압축에 필요한 Default Q factor로 사용해도 괜찮은 간단한 이미지인지 아닌지를 판단한다. 그리고 상기 이미지처리부는 상기 AF Filter Value에서 이미지가 Default Q factor를 사용해도 되는 간단한 이미지로 판단되면 기존 기본 압축률로 JPEG 압축을 실행하고, AF Filter Value에서 이미지가 복잡한 이미지로 판단되면 JPEG Q Factor를 조절하여 압축률을 조정한 후 이미지의 압축 부호화를 실행한다.The image processing unit according to the embodiment of the present invention extracts the AF Filter Value when auto focusing the image obtained by the image sensor of the camera and determines the extracted AF Filter Value to use as the default Q factor necessary for image compression Determine if it is a simple image or not. If it is determined that the image is a simple image that can use the default Q factor in the AF Filter Value, the JPEG processor performs JPEG compression with the existing basic compression ratio. If the image is judged to be a complex image in the AF Filter Value, And compresses and compresses the image.

도 1은 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 휴대단말기 장치의 구성을 도시하는 도면이다. 이하의 설명에서 카메라장치는 카메라를 구비하는 휴대단말기 장치를 포함하는 용어로 사용될 것이다.BRIEF DESCRIPTION OF DRAWINGS FIG. 1 is a diagram showing a configuration of a portable terminal device having a camera device or a camera according to an embodiment of the present invention; FIG. In the following description, the camera device will be used in the term including a portable terminal device having a camera.

상기 도 1을 참조하면, 카메라110은 이미지센서를 구비하며, 카메라 구동시 이미지 센서를 통해 이미지를 획득하는 기능을 수행한다. 상기 카메라110은 광학부, 이미지 센서 및 신호처리부 등을 구비한다. 상기 광학부는 mecha-shutter, 모터 및 액츄에이터에 의해 구동되며, 상기 액츄에이터에 의해 주밍(zooming) 및 포커싱(focusing) 등의 동작을 수행한다. 상기 광학부는 주변의 이미지를 촬상하며, 이미지센서는 상기 광학부에 의해 촬상되는 이미지를 감지하여 전기적인 신호로 변환한다. 여기서 상기 이미지 센서는 CMOS 또는 CCD센서가 될 수 있으며, 고해상도의 이미지 센서가 될 수 있다. 카메라의 이미지 센서는 global shutter를 내장할 수도 있다. 상기 Global shutter는 센서에 내장된 메카셔터와 유사한 기능을 수행한다. Referring to FIG. 1, the camera 110 includes an image sensor, and acquires an image through an image sensor when the camera is driven. The camera 110 includes an optical unit, an image sensor, and a signal processing unit. The optical unit is driven by a mecha-shutter, a motor, and an actuator, and performs operations such as zooming and focusing by the actuator. The optical unit captures an image of a surrounding area, and the image sensor senses an image captured by the optical unit and converts the sensed image into an electrical signal. The image sensor may be a CMOS or a CCD sensor, and may be a high-resolution image sensor. The camera's image sensor may also incorporate a global shutter. The Global shutter performs a similar function to the mechanical shutter incorporated in the sensor.

본 발명의 실시예에서 상기 이미지 센서는 UHD(Ultra High Definition)급 이상의 이미지를 감지할 수 있는 센서가 될 수 있다. 그리고 상기 이미지센서에서 감지되는 이미지는 신호처리부에서 통해 디지털 이미지로 변환되어 출력된다. 상기 카메라110에서 출력데이터는 Bayer data(raw data)가 될 수 있다. In the embodiment of the present invention, the image sensor may be a sensor capable of detecting an image of UHD (Ultra High Definition) or higher. An image sensed by the image sensor is converted into a digital image through a signal processing unit and output. The output data from the camera 110 may be Bayer data (raw data).

이미지처리부(Image Signal Processor: ISP)120은 상기 카메라110에서 획득되는 이미지를 라인단위로 입력하며, 상기 라인 단위 이미지를 처리하여 표시이미지 및 압축부호화한 이미지를 생성한다. 이때 이미지처리부120은 상기 카메라110을 자동초점(Auto Focusin, AF) 제어할 때 상기 카메라110으로부터 획득되는 이미지의 AF Filter Value를 추출하며, 상기 AF Filter Value를 분석하여 상기 획득된 이미지가 Default Q factor를 사용해도 되는 간단한 이미지로 판단되면 기본 압축률로 수신된 라인이미지들을 압축부호화하며, 복잡한 이미지로 판단되면 Q Factor를 조절하여 압축률을 조정한 후 라인 이미지들의 압축 부호화를 실행한다. 상기 이미지처리부120은 상기 이미지 처리된 표시이미지와 압축 부호화된 이미지(이하 압축이미지라 칭한다)를 라인 단위로 다중화하여 출력한다. 이때 상기 이미지처리부120은 라인 단위의 표시이미지 및 압축이미지에 각각 표시이미지 및 압축이미지임을 식별하기 위한 헤더 정보를 포함하여 출력한다.An image processing unit (ISP) 120 inputs an image obtained by the camera 110 on a line-by-line basis, and processes the line-by-line image to generate a display image and a compression-coded image. At this time, the image processor 120 extracts the AF Filter Value of the image obtained from the camera 110 when the camera 110 is controlled by Auto Focusin (AF), and analyzes the AF Filter Value to determine whether the acquired image has a default Q factor If it is determined that the image is a simple image that can be used, the received line images are compressed and coded based on the basic compression ratio. If it is determined that the image is a complicated image, the Q factor is adjusted to compress the line images. The image processing unit 120 multiplexes the image-processed display image and a compression-encoded image (hereinafter referred to as a compressed image) in units of lines and outputs the multiplexed image. At this time, the image processing unit 120 outputs header information for identifying a display image and a compressed image to a display image and a compressed image on a line basis, respectively.

어플리케이션처리부(Application Processor, AP)130은 상기 이미지처리부120에서 다중화되는 라인단위의 표시이미지 및 압축이미지들을 각각 역다중화(demultiplexing and/or parsing)하여 프레임 단위로 버퍼링하며, 상기 프레임 단위의 표시이미지 표시부150에 출력한다. 이때 상기 어플리케이션처리부130은 프레임 단위의 압축이미지를 저장하기 위한 프레임 버퍼를 구비할 수 있으며, 이때 상기 압축 이미지를 저장하는 프레임버퍼는 2-5프레임 이미지를 저장할 수 있는 크기로 설정할 수 있다. 여기서 상기 압축이미지를 2-5프레임 버퍼링하는 이유는 제로 셔터렉을 구현하기 위함이다. 일반적으로 카메라 장치는 셔터 온시 셔터 딜레이에 의해 사용자가 뷰파인더 또는 표시부130으로 확인된 이미지를 캡쳐하지 못하고 일정 프레임 지연된 이미지를 획득하게 된다. 즉, 카메라장치는 셔터 버튼이 눌려질 때 사용자가 셔터를 온시키는 시점에서 실제 카메라장치의 셔터가 동작하기까지의 시간 지연(shutter delay, shutter lag, time lag)이 발생된다. 이런 시간 지연은 카메라장치에 따라 다를 수 있으며, 제어부100은 실험적으로 상기 지연시간을 측정하여 이를 알고 있어야 한다. 본 발명의 실시예에서는 셔터 온 감지시 상기 지연시간을 감안하여 버퍼링된 프레임 이미지들 중에서 대응되는 프레임이미지를 선택하여 처리하므로써 제로 셔터렉을 구현한다. 예를 들어 셔터 지연(셔터렉)이 2 프레임이라고 가정하면, 상기 압축이미지를 저장하는 프레임버퍼는 3프레임 이미지를 저장할 수 있는 링버퍼로 구성하면 된다. 이런 경우 프리뷰 모드에서 상기 압축이미지를 버퍼링하는 프레임 버퍼는 매 프레임 주기에서 생성되는 고 해상도의 프레임 이미지들을 설정된 프레임 수만큼 유지되도록 오버 라이팅된다. 그리고 상기 프리뷰 모드에서 셔터 온시(즉, 캡쳐 이미지 요구시) 상기 어플리케이션처리부130은 상기 압축이미지 프레임 버퍼에서 셔터 지연시간이 고려된 압축이미지를 리드하여 저장부140에 저장한다. An application processor (AP) 130 demultiplexes and / or parses the display image and the compressed image in the line unit multiplexed by the image processing unit 120 and buffers the display image and the compressed image in units of frames, . In this case, the application processor 130 may include a frame buffer for storing a compressed image in units of frames. In this case, the frame buffer for storing the compressed image may be set to a size capable of storing 2-5 frame images. Here, the reason why the compressed image is buffered by 2 to 5 frames is to implement zero shutter rake. Generally, the camera apparatus can not capture an image confirmed by the viewfinder or the display unit 130 due to shutter delay at the time of shutter-on, and obtains a predetermined frame-delayed image. That is, a shutter delay, a shutter lag, and a time lag are generated in the camera device from when the shutter button is pressed to when the user turns on the shutter, until the shutter of the actual camera device operates. Such a time delay may vary depending on the camera apparatus, and the control unit 100 must experimentally determine the delay time by measuring it. In the embodiment of the present invention, a zero shutter cycle is implemented by selecting and processing a corresponding frame image from the buffered frame images in consideration of the delay time when the shutter-ON is detected. For example, assuming that the shutter delay (shutter delay) is two frames, the frame buffer storing the compressed image may be configured as a ring buffer capable of storing three frames of images. In this case, the frame buffer for buffering the compressed image in the preview mode is overwritten so as to keep the high resolution frame images generated in each frame period for the set number of frames. In the preview mode, when the shutter is on (i.e., when a captured image is requested), the application processing unit 130 reads the compressed image considering the shutter delay time in the compressed image frame buffer and stores the read compressed image in the storage unit 140.

저장부140은 카메라장치에서 촬영되는 이미지들을 저장하는 메모리로써, 본 발명의 실시예에서는 정지이미지를 저장하는 것을 예로들어 설명될 것이지만, 동영상 이미지들도 저장할 수 있다. 표시부150은 LCD 또는 LED 등과 같은 표시장치가 될 수 있으며, 카메라장치에서 촬영되는 이미지들 및 촬영 중의 정보들을 표시하는 기능을 수행한다. 입력부160은 카메라장치의 각 기능들의 설정 및 동작을 수행하기 위한 명령어들을 발생하는 버튼들로 구성될 수 있다. 여기서 상기 입력부160의 버튼은 카메라장치의 외부에 버튼 형태로 설정될 수 있으며, 일부 버튼들은 터치패널로 구성할 수도 있다. 이런 경우, 상기 표시부150 및 입력부160의 일부 버튼들은 터치스크린 형태로 구성할 수 있다. The storage unit 140 is a memory for storing images photographed by the camera device. In the embodiment of the present invention, motion images can be stored as well as storing still images. The display unit 150 may be a display device such as an LCD or an LED, and displays images taken by the camera device and information during shooting. The input unit 160 may include buttons for generating commands for performing setting and operation of each function of the camera apparatus. Here, the button of the input unit 160 may be set as a button on the outside of the camera device, and some buttons may be configured as a touch panel. In this case, some buttons of the display unit 150 and the input unit 160 may be configured as a touch screen.

도 2는 도 1의 이미지처리부의 구성을 도시하는 도면이다.2 is a diagram showing a configuration of the image processing unit of FIG.

상기 도 2를 참조하면, 전처리부210은 상기 카메라110으로부터 획득되는 라인 이미지를 전처리하는 기능을 수행한다. 여기서 상기 전처리 기능은 3A(AWB(auto white balance), AE(auto exposure), AF(Auto focusing)) 추출 및 처리, 렌즈 셰이딩 보상(lens shading correction), 데드픽셀 보정(dead pixel correction), knee 보정 등이 될 수 있다. 또한 상기 전처리부210은 AF시 상기 카메라110으로부터 획득되는 이미지의 AF Filter Value를 추출하며, 상기 AF Filter Value를 분석하여 상기 획득된 이미지의 압축부호화를 수행하기 위한 Q factor를 설정하는 압축율결정부215를 구비한다. Referring to FIG. 2, the preprocessing unit 210 preprocesses a line image obtained from the camera 110. The preprocessing function may include 3A (auto white balance), AE (auto exposure), AF (auto focusing) extraction and processing, lens shading correction, dead pixel correction, And the like. The preprocessing unit 210 extracts an AF Filter Value of an image obtained from the camera 110 at the time of AF and sets a Q factor for performing compression encoding of the obtained image by analyzing the AF Filter Value. Respectively.

상기 후처리부230은 상기 전처리된 라인 이미지들을 후처리하는 기능을 수행한다. 상기 후처리부230은 색보간기(color interpolator), IPC(image processing chain), 색변환부(image converter)를 구비할 수 있다. 먼저 상기 색보간기는 상기 카메라110에서 출력되는 이미지(Bayer data)를 컬러 이미지로 변환하는 색 보간 기능을 수행한다. 상기한 바와 같이 카메라110의 이미지센서는 CCD 또는 CMOS 이미지센서가 될 수 있다. 이때 상기 CCD/CMOS 이미지 센서는 컬러필터 배열(color filter array)을 사용하며, 이로인해 각 화소 센서들은 컬러 이미지를 만들기 위한 3가지 색 채널들 중에서 한가지 채널만 가지게 된다. 색보간(color interpolation)은 카메라110에서 출력되는 이미지를의 화소들이 3가지 색상의 RGB를 포함하는 색으로 변환(full color 변환)하는 기능을 수행한다. 상기 색보간기는 인접한 화소들 간의 상관관계를 이용하여 색보간 기능을 수행하며, 일반적으로 이미지처리장치에서 색보간 이전의 이미지처리를 전처리라 칭하고 색보간 이후의 이미지처리를 후처리라 칭한다. 두번째로 IPC는 상기 색보간된 이미지들의 노이즈 감소(noise reduction), 감마 보정(gamma correction), 휘도 보정(luminance correction) 등을 수행한다. 세번째로 색변환부는 상기 후처리된 이미지를 YUV 이미지로 변환한다. 즉, 상기 후처리부230은 상기 이미지를 색보간, 후처리한 후 YUV 이미지로 변환하는 기능을 수행한다. The post-processing unit 230 performs post-processing of the preprocessed line images. The post-processing unit 230 may include a color interpolator, an image processing chain (IPC), and an image converter. First, the color interpolator performs a color interpolation function for converting the image (Bayer data) output from the camera 110 into a color image. As described above, the image sensor of the camera 110 may be a CCD or a CMOS image sensor. At this time, the CCD / CMOS image sensor uses a color filter array, so that each pixel sensor has only one channel among three color channels for producing a color image. The color interpolation performs a function of converting an image output from the camera 110 into a color including RGB of three colors (full color conversion). The color interpolator performs a color interpolation function using the correlation between adjacent pixels. Generally, image processing before color interpolation is called preprocessing in the image processing apparatus, and image processing after color interpolation is called after-processing. Secondly, the IPC performs noise reduction, gamma correction, luminance correction, and the like of the color interpolated images. Thirdly, the color conversion unit converts the post-processed image into a YUV image. That is, the post-processing unit 230 performs color interpolation, post-processing, and then converts the image into a YUV image.

정지영상 코덱230은 상기 후처리된 라인 이미지들을 수신하며, 상기 전처리부210의 압축율결정부215에서 결정된 Q factor에 의해 상기 수신되는 라인이미지들을 압축 부호화한다. 여기서 상기 정지영상코덱230은 상기 압축율결정부215에서 출력되는 Q factor에 의해 라인이미지의 압축율이 설정되어 수신되는 라인이미지들을 부호화하며, 상기 압축율 조정시 조정된 Q테이블도 함께 출력한다. The still image codec 230 receives the post-processed line images and compresses and encodes the received line images according to a Q factor determined by the compression ratio determination unit 215 of the preprocessing unit 210. Herein, the still image codec 230 encodes the received line images with the line image compression ratio set by the Q factor output from the compression ratio determination unit 215, and also outputs the adjusted Q table when the compression ratio adjustment is performed.

다중화부240은 상기 후처리된 표시이미지(즉, YUV 이미지) 및 상기 정지영상코덱230에서 출력되는 압축이미지를 다중화하여 어플리케이션처리부130에 출력한다. 이때 상기 다중화부240은 상기 표시이미지 및 압축이미지를 다중화할 때 표시이미지 및 압축이미지임을 식별하기 위한 헤더 정보를 추가하여 다중화할 수 있다. 상기 다중화되는 라인이미지는 직렬데이터로 변환하여 어플리케이션처리부130에 전달된다.The multiplexer 240 multiplexes the post-processed display image (i.e., YUV image) and the compressed image output from the still image codec 230, and outputs the multiplexed image to the application processor 130. At this time, when multiplexing the display image and the compressed image, the multiplexer 240 may multiplex the display image and the compressed image by adding header information for identifying the display image and the compressed image. The multiplexed line image is converted into serial data and transmitted to the application processor 130.

도 3은 도 2의 압축율결정부215의 구성을 도시하는 도면이다.3 is a diagram showing the configuration of the compression ratio determination unit 215 of FIG.

상기 도 3을 참조하면, 휘도발생부(Y generator)310은 상기 카메라110으로 출력되는 R,G,B 데이터를 이용하여 휘도 데이터(Y 데이터, Luminance data)를 발생한다. 여기서 상기 휘도데이타를 발생하는 이유는 이미지의 에지(edge) 성분을 검출하여 이미지의 복잡도를 결정하기 위함이다. 필터320은 상기 휘도발생기310에서 출력되는 휘도 데이터 (또는 휘도 데이터 및 G 데이터)를 AF 필터링하여 AF 필터 값(Auto Focusing filter value)을 구한다. 또한 상기 필터420은 상기 카메라100에서 발생되는 이미지의 G 데이터를 필터링하여 AF 필터값을 구할 수도 있다. 이런 경우 상기 휘도발생부(Y 발생부)310은 생략될 수 있다. 또한 상기 필터420은 프레임 이미지 구간에서 설정된 윈도우 영역의 데이터(Y 데이터 및/또는 G 데이터)를 필터링할 수 있다. 이런 경우 설정된 윈도우는 전체 프레임 이미지 또는 프레임 이미지 영역의 특정 구간(영역)의 이미지들이 될 수 있다. 이때 상기 특정 구간(영역)은 프레임 이미지의 특정 라인 이미지(적어도 하나의 라인이미지) 또는 프레임 영역의 특정 영역이 될 수 있다. . 여기서 상기 필터320은 FIR 필터(Finite Impulse Response filter) 및/또는 IIR 필터(Infinite Impulse Response filter)로 구성할 수 있다. 즉, 상기 필터320은 AF 필터시 저주파 성분 및/또는 고주파 성분을 필터링하여 노이즈를 제거하며 이미지의 에지 성분을 검출하기 위한 AF 필터 값(Auto Focusing filter value)을 발생한다. 여기서 상기 필터320은 모든 라인 이미지들의 AF 필터링할 수 있으며, 또는 설정된 영역 또는 라인의 이미지들을 AF 필터링할 수 있다. 가산부(AF sum)330은 상기 필터320에서 출력되는 각 화소(pixel)들의 AF 필터 값들을 가산한다. Q 테이블350은 이미지의 복잡도에 따라 이미지의 압축율을 결정하는 Q factor들을 저장하고 있다. 여기서 상기 Q 테이블은 디폴트 Q factor 및 압축율을 조정하는 다수의 Q factor들을 구비할 수 있다. 판정부340은 상기 가산부330에서 출력되는 AF 가산값과 미리 설정된 기준값을 비교 분석하며, 상기 분석 결과에 따라 이미지의 복잡도에 대응되는 Q factor를 상기 Q테이블에서 결정하여 상기 정지영상코덱230에 출력한다. Referring to FIG. 3, a Y generator 310 generates luminance data (Y data, luminance data) using R, G, and B data output from the camera 110. The reason for generating the luminance data is to detect the edge component of the image to determine the complexity of the image. The filter 320 AF filters the luminance data (or luminance data and G data) output from the luminance generator 310 to obtain an auto-focusing filter value. The filter 420 may filter the G data of the image generated by the camera 100 to obtain an AF filter value. In this case, the brightness generating unit (Y generating unit) 310 may be omitted. Further, the filter 420 may filter the data (Y data and / or G data) of the window region set in the frame image section. In this case, the set window may be a full frame image or images of a specific region (region) of the frame image region. Here, the specific region (region) may be a specific line image of the frame image (at least one line image) or a specific region of the frame region. . The filter 320 may be a FIR filter (Finite Impulse Response filter) and / or an IIR filter (Infinite Impulse Response filter). That is, the filter 320 filters low-frequency components and / or high-frequency components during the AF filter to remove noise and generates an auto-focusing filter value for detecting an edge component of an image. Where the filter 320 can AF filter all line images, or AF filter the images of the set area or line. The AF sum value 330 adds the AF filter values of the pixels output from the filter 320. The Q table 350 stores Q factors that determine the image compression ratio according to the image complexity. Here, the Q table may have a plurality of Q factors for adjusting a default Q factor and a compression ratio. The determination unit 340 compares and analyzes the AF added value output from the addition unit 330 with a predetermined reference value, determines a Q factor corresponding to the complexity of the image in the Q table according to the analysis result, and outputs the Q factor to the still image codec 230 do.

도 4a 및 도 4b는 상기 도 3과 같은 구성을 가지는 압축율 결정부215의 동작을 설명하기 위한 도면이다. 도 4a는 본 발명의 실시예에 따라 압축율 결정을 위한 윈도우 설정 예를 도시하는 도면이며, 도 4b는 설정된 윈도우 영역에서 추출되는 필터 값의 예를 도시하는 도면이다.FIGS. 4A and 4B are views for explaining the operation of the compression ratio determining unit 215 having the configuration shown in FIG. FIG. 4A is a diagram illustrating an example of a window setting for determining a compression ratio according to an embodiment of the present invention, and FIG. 4B is a diagram illustrating an example of a filter value extracted from a set window area.

상기 도 4a 및 도 4b를 참조하면, 상기 압축율결정부215는 프레임 이미지 크기에서 전체 영역 또는 일부 영역을 이미지의 복잡도를 측정하기 위한 윈도우로 설정하고, 설정된 윈도우 내의 픽셀들을 필터링한다. 이때 상기 윈도우를 설정하는 방법은 프레임의 전체 이미지(즉, 카메라 110에서 획득되는 프레임의 전체 이미지)가 될 수 있으며, 또는 도 4a의 410 또는 420과 같이 프레임 이미지 영역 내의 일부 구간들을 설정할 수 있으며, 430과 같이 하나 이상의 라인 이미지 영역을 설정할 수도 있다. Referring to FIGS. 4A and 4B, the compression ratio determination unit 215 sets the entire area or a partial area of the frame image size as a window for measuring the complexity of an image, and filters pixels in the set window. In this case, the method of setting the window may be the entire image of the frame (i.e., the entire image of the frame obtained in the camera 110), or may set some intervals within the frame image area, such as 410 or 420 in FIG. One or more line image areas may be set as shown in 430. [

먼저 Y발생부 310은 카메라100으로 획득되는 라인 단위이미지들을 이용하여 Y 데이터들을 발생한다. 그러면 필터320은 자동 초점 조정시의 이미지(상기 Y 데이터 및/또는 상기 카메라110에서 출력되는 이미지의 G 데이터)들을 필터링하는데, 상기 라인 이미지가 도 4a와 같이 설정되는 윈도우 내의 이미지들인 경우, 이를 필터링하여 AF 필터값을 추출한다. 이때 상기 필터320에서 추출되는 AF 필터 값은 도 4b와 같은 값을 가질 수 있다. 그러면 가산부330은 상기 도 4b와 같은 AF 필터값을 가산하며, 판정부340은 상기 가산된 AF 필터값을 설정된 기준값과 비교분석하여 이미지의 복잡도 여부를 판정하며, 판정된 결과에 따른 Q factor를 Q테이블에서 읽어 상기 정지영상코덱230에 인가한다. First, the Y generator 310 generates Y data using line-by-line images acquired by the camera 100. [ Then, the filter 320 filters the image (the Y data and / or the G data of the image output from the camera 110) at the time of automatic focus adjustment, and if the line image is an image in a window set as shown in FIG. 4A, And extracts the AF filter value. At this time, the AF filter value extracted from the filter 320 may have a value as shown in FIG. 4B. The adder 330 adds the AF filter value as shown in FIG. 4B. The determining unit 340 compares the added AF filter value with the set reference value to determine whether the image is complex or not. The Q factor according to the determined result is Q table and applies the same to the still picture codec 230.

즉, 상기 압축율결정부215는 카메라의 이미지 센서에 획득된 이미지를 오토 포커싱할 때 필터320을 통해 설정된 윈도우 내의 자동초점 필터값을 추출하고, 가산부330은 이를 가산하며, 판정부340을 상기 가산된 AF Filter Value를 분석하여 이미지 압축에 필요한 Q factor를 결정한다. 이때 상기 압축율결정부215는 상기 자동초점 필터 값에서 이미지가 디폴트 Q factor를 사용해도 되는 간단한 이미지로 판단되면 기본 압축률로 JPEG 압축을 실행하도록 압축율을 결정하며, 복잡한 이미지로 판단되면 압축율을 결정하는 Q Factor를 조절하여 압축률을 조정한다.That is, the compression ratio determination unit 215 extracts an auto focus filter value in a window set through the filter 320 when autofocusing an image obtained by the image sensor of the camera, adds the same to the addition unit 330, The AF filter value is analyzed to determine the Q factor required for image compression. In this case, the compression ratio determination unit 215 determines a compression ratio to perform JPEG compression with a basic compression ratio if the image is judged as a simple image that can use a default Q factor at the auto-focus filter value. If the compression ratio is determined to be a complex image, Adjust the factor to adjust the compression rate.

도 5는 본 발명의 실시예에 따른 카메라장치에서 이미지의 압축율을 조정하는 절차를 도시하는 흐름도이다.5 is a flowchart showing a procedure for adjusting the compression ratio of an image in a camera apparatus according to an embodiment of the present invention.

상기 도 1 - 도 4와 같은 카메라장치의 구성 및 도 5와 같은 흐름도를 참조하면, 본 발명의 실시예에 따른 카메라장치에서 사용자가 입력부160을 통해 카메라 구동명령을 발생하면, 511단계에서 이를 감지하고 어플리케이션처리부130은 이미지처리부120을 제어하여 카메라110을 구동한다. 이때 상기 카메라110은 513단계에서 이미지를 획득하며, 이때 획득되는 이미지는 풀해상도의 베이어 이미지가 될 수 있다. 그리고 상기 이미지처리부120은 513단계에서 상기 카메라110에서 획득되는 이미지를 처리하며, 이때 상기 이미지의 프레임율은 30fps(frame per sec) 또는 그 이상의 프레임율(예를들면 60fps)을 가질 수 있다. Referring to FIGS. 1 to 4 and the flowchart of FIG. 5, when the user generates a camera driving command through the input unit 160 in the camera apparatus according to the embodiment of the present invention, And the application processing unit 130 controls the image processing unit 120 to drive the camera 110. At this time, the camera 110 acquires an image in step 513, and the obtained image may be a full-resolution Bayer image. In step 513, the image processor 120 processes the image obtained by the camera 110, and the frame rate of the image may have a frame rate of 30 fps (frame per second) or more (for example, 60 fps).

상기와 같은 이미지를 수신하는 이미지처리부120의 전처리부210은 상기 카메라110으로부터 출력되는 이미지를 라인 단위로 전처리하며, 상기 전처리는 3A (AWB(auto white balance), AE(auto exposure), AF(Auto focusing))를 추출하여 처리하고, 렌즈 셰이딩 보상, 데드 픽셀, knee 보정 등이 될 수 있다. 그리고 상기 전처리된 이미지는 후처리부220에 인가된다.The preprocessing unit 210 of the image processing unit 120 receiving the image as described above preprocesses the image output from the camera 110 in units of lines, and the preprocessing process includes 3A (auto white balance), auto exposure (AE) focusing, etc.) and extracting and processing lens shading compensation, dead pixels, and knee correction. The preprocessed image is applied to the post-processing unit 220.

또한 상기 전처리부210은 오토 포커싱을 수행하는 과정에서 획득되는 이미지의 복잡도를 분석하여 이미지의 압축율을 결정한다. 즉, 상기 이미지처리부120은 압축율 결정부215를 통해 라인단위로 압축 부호화할 이미지의 압축율을 결정한다. 이를 위하여 이미지처리부120은 515단계에서 프레임 이미지에서 도 5a와 같이 설정된 윈도우 내의 휘도데이터를 필터링(FIR and/or IIR filtering)하여 도 5b와 같은 AF 필터값을 추출하며, 상기 추출된 AF 필터값을 가산한다. 이후 상기 가산된 AF 필터값을 분석하여 517단계에서 디폴트 Q factor로 부호화가 가능한가 검사한다. 이때 상기 디폴트 Q factor로 부호화가 가능하면 상기 이미지처리부120은 519단계에서 디폴트 Q factor로 설정하며, 상기 디폴트 Q factor로 부호화가 불가능하면 상기 이미지처리부120은 521단계에서 상기 AF 필터값에 대응되는 Q factor로 한다. 이후 상기 이미지처리부120은 523단계에서 상기와 같이 설정되는 Q factor를 정지영상 코덱230에 인가하며, 정지영상 코덱230은 상기 인가되는 Q factor에 의해 입력되는 라인이미지를 압축 부호화한다.In addition, the preprocessing unit 210 analyzes the complexity of the image obtained in the course of performing autofocusing to determine the compression ratio of the image. That is, the image processing unit 120 determines the compression ratio of the image to be compression-encoded in units of lines through the compression ratio determination unit 215. [ In step 515, the image processor 120 filters (FIR and / or IIR filtering) the luminance data in the window as shown in FIG. 5A in step 515, extracts the AF filter value as shown in FIG. 5B, Is added. Then, the added AF filter value is analyzed and it is determined in step 517 whether the default Q factor can be encoded. If the default Q factor can be coded, the image processor 120 sets a default Q factor in step 519. If the default Q factor is not available, the image processor 120 determines Q (k) corresponding to the AF filter value in step 521 factor. In step 523, the image processor 120 applies the Q factor set as described above to the still image codec 230, and the still image codec 230 compresses and encodes the line image input by the applied Q factor.

상기와 같이 같이 설정되는 압축율로 이미지를 처리하는 과정을 살펴보면, 상기 전처리부210에서 전처리되는 라인이미지는 후처리부220에 인가된다. 그러면 상기 후처리부220은 상기 전처리된 라인 이미지들을 입력하여 라인 이미지를 컬러 인터폴레이션, 노이즈 보정(noise reduction), 감마 보정 및 색변환 등의 후처리 동작을 한다. 즉, 상기 컬러인터폴레이션 동작을 수행하여 각 화소 데이터를 RGB 성분을 포함하는 데이터로 생성하고, 컬러 인터폴레이션된 각 화소데이타들의 노이즈 등을 보정한 후, 이를 다시 YUV 데이터로 변환하는 기능을 수행한다. In the process of processing the image with the compression rate set as described above, the line image to be preprocessed in the preprocessing unit 210 is applied to the post-processing unit 220. Then, the post-processing unit 220 receives the preprocessed line images and performs a post-processing operation such as color interpolation, noise reduction, gamma correction, and color conversion on the line image. That is, the color interpolation operation is performed to generate each pixel data as data including RGB components, to correct noise of each color interpolated pixel data, and then convert the noise into YUV data.

그리고 상기 정지영상 코덱230은 상기 도 5와 같은 절차에 의해 결정된 Q factor에 의해 압축 부호화율이 설정되며, 상기 후처리부220에서 출력되는 라인이미지들을 설정된 압축부호화율로 압축 부호화한다. 여기서 상기 정지영상코덱230은 정지이미지 부호기로써 JPEG부호기가 될 수 있다. 본 발명의 실시예에서 상기 정지 이미지는 JPEG(Joint Photographic Expert Group)인 경우를 예로들어 설명하고 있지만, 상기 정지이미지는 다른 정지 부호화 방법(예를들면 TIFF(Tagged-Image File Format))을 사용할 수도 있다. The still picture codec 230 compresses and encodes the line images output from the post-processing unit 220 at a predetermined compression coding rate, according to a Q factor determined by the procedure of FIG. The still image codec 230 may be a still image encoder and a JPEG encoder. In the embodiment of the present invention, the still image is JPEG (Joint Photographic Expert Group). However, the still image may use another still encoding method (for example, TIFF (Tagged-Image File Format)) have.

이때 상기 후처리부220에서 출력되는 이미지는 YUV 이미지로써 프리뷰모드 또는 동영상 녹화모드시 표시부150에 표시되는 표시이미지가 될 수 있으며, 상기 정지영상 코덱230에서 출력되는 압축 이미지는 사용자가 캡쳐 요구시 저장부230에 저장하기 위한 정지영상 이미지가 될 수 있다. 이후 다중화부240은 상기 표시이미지 및 압축이미지를 다중화하여 어플리케이션처리부130에 출력한다. 이때 상기 다중화부240은 라인 단위의 표시이미지 및 압축이미지에 각각 표시이미지 및 압축이미지임을 식별하기 위한 헤더 정보를 포함하여 출력한다.At this time, the image output from the post-processing unit 220 may be a YUV image, a display image displayed on the display unit 150 in a preview mode or a movie recording mode, and the compressed image output from the still image codec 230 may be stored in a storage unit 230 as shown in FIG. The multiplexer 240 multiplexes the display image and the compressed image, and outputs the multiplexed image to the application processor 130. At this time, the multiplexer 240 outputs header information for identifying the display image and the compressed image to the display image and the compressed image on a line basis, respectively.

그러면 상기 어플리케이션처리부(AP)130은 상기 이미지처리부120에서 다중화되는 라인단위의 표시이미지 및 압축이미지들을 각각 역다중화(demultiplexing and/or parsing)하여 프레임 단위로 버퍼링하며, 상기 프레임 표시이미지를 표시부150에 출력하여 표시한다. 이때 상기 표시이미지는 프리뷰 이미지가 될 수 있다. 또한 상기 어플리케이션처리부130은 설정된 수의 프레임 이미지를 버퍼링하기 위한 프레임 버퍼를 구비한다. 따라서 상기 어플리케이션처리부130은 상기 이미지처리부120에서 압축되어 전송되는 라인 이미지들을 프레임 단위로 버퍼링하며, 이때 버퍼링되는 프레임 이미지들의 수는 제로 셔터렉을 구현할 수 있을 정도의 프레임 수가 된다. 그러므로 상기 어플리케이션처리부130은 상기 이미지처리부120에서 전달되는 압축이미지들을 설정 프레임 수로 유지될 수 있도록 오버라이트한다. Then, the application processor 130 demultiplexes and / or parses the display image and the compressed image in the line unit multiplexed by the image processing unit 120, and buffers the display image and the compressed image in units of frames, and displays the frame display image on the display unit 150 And displays it. At this time, the display image may be a preview image. The application processor 130 includes a frame buffer for buffering a predetermined number of frame images. Accordingly, the application processing unit 130 buffers the line images compressed and transmitted by the image processing unit 120 in units of frames, and the number of frame images to be buffered at that time is the number of frames that can implement a zero shutter cycle. Therefore, the application processing unit 130 overwrites the compressed images transferred from the image processing unit 120 so that the compressed images can be maintained at the set frame number.

상기와 같이 프리뷰모드 또는 동영상 녹화모드를 수행하는 상태에서 캡쳐요구가 발생되면, 상기 어플리케이션처리부130은 제로 셔터렉을 구현하기 위하여 셔터 온 시점에 대응되는 프레임의 압축 이미지를 프레임 버퍼에서 억세스하며, 상기 억세스된 이미지를 저장부140에 저장한다. When a capture request is generated in the preview mode or the moving picture recording mode, the application processing unit 130 accesses the compressed image of the frame corresponding to the shutter-on time in the frame buffer to implement the zero shutter cycle, And stores the accessed image in the storage unit 140.

도 6은 본 발명의 실시예에 따른 카메라장치의 다른 구성 예를 도시하는 도면이다.6 is a diagram showing another configuration example of the camera apparatus according to the embodiment of the present invention.

상기 도 6을 참조하면, 카메라장치에서 상기 표시이미지와 압축이미지는 서로 다른 이미지 사이즈를 가질 수 있다. 즉, 상기 표시이미지는 표시부130에 표시되는 이미지 또는 동영상 녹화시 저장되는 이미지를 의미하며, 상기 압축이미지는 사용자가 캡쳐 요구시 정지 이미지로 저장되는 이미지를 의미하다. 따라서 상기 정지 이미지는 상기 카메라110의 풀해상도 이미지 또는 이보다 작은 사이즈를 가지는 YUV 이미지를 압축한 이미지가 될 수 있다. 따라서 일반적으로 카메라 장치의 이미지처리부120은 도 6과 같이 표시이미지를 생성하기 위한 카메라110으로부터 획득되는 이미지를 작은 사이즈로 스케일링하는 이미지 스케일러를 구비할 수 있다.Referring to FIG. 6, in the camera device, the display image and the compressed image may have different image sizes. That is, the display image refers to an image displayed on the display unit 130 or an image stored during movie recording, and the compressed image refers to an image stored as a still image when a user requests capture. Accordingly, the still image may be a full resolution image of the camera 110 or an image obtained by compressing a YUV image having a smaller size. Therefore, in general, the image processing unit 120 of the camera device may have an image scaler for scaling an image obtained from the camera 110 for generating a display image to a small size as shown in FIG.

상기 도 6과 같은 구성을 가지는 이미지처리부120의 동작을 살펴보면, 카메라 구동명령을 발생하면, 카메라110은 풀해상도의 이미지를 획득하여 전처리부610에 인가한다. 그러면 상기 전처리부610은 상기 획득되는 카메라110의 이미지를 전처리하며, 동시에 상기 도 3과 같은 압축율결정부615는 설정된 윈도우 내의 화소들을 필터링하여 이미지의 복잡도를 분석한 후 이에 따른 Q factor를 생성하여 정지영상코덱650에 인가하다. 이때 상기 전처리부610은 상기한 바와 같이 입력되는 라인 단위의 이미지들을 전처리하며, 상기 전처리는 3A (AWB(auto white balance), AE(auto exposure), AF(Auto focusing))를 추출하여 처리하고, 렌즈 셰이딩 보상, 데드 픽셀, knee 보정 등이 될 수 있다. 6, when a camera driving command is generated, the camera 110 acquires an image of a full resolution and applies the image to the preprocessing unit 610. FIG. The pre-processing unit 610 preprocesses the obtained image of the camera 110. At the same time, the compression ratio determination unit 615 as shown in FIG. 3 analyzes the complexity of the image by filtering the pixels in the set window, To the video codec 650. The preprocessing unit 610 preprocesses the input images in the line unit as described above. The preprocessing unit extracts and processes 3A (auto white balance (AWB), auto exposure (AE), and auto focusing Lens shading compensation, dead pixels, and knee correction.

그러면 이미지스케일러620은 상기 전처리된 라인 단위의 이미지를 설정된 이미지 사이즈로 스케일링하며, 이때 상기 이미지는 카메라110의 풀 해상도 이미지로써 상기 이미지 스케일링은 표시부130에 표시하기 위한 크기로 수행할 수 있다. 여기서 상기 이미지 스케일링은 리사이즈(resize), 데시메이션(decimation), 인터폴레이션(interpolation), 크롭(crop), 가산 및 평균 등의 다양한 방법들 중에 한 가지 이상의 방법을 사용하여 구현할 수 있다. 상기 이미지 스케일러620은 카메라110에서 획득되는 풀 해상도 이미지의 화소수를 줄여 표시부150에 표시할 수 있는 적정 크기로 스케일링하며, 또한 표시부150의 화면비에 맞도록 상기 이미지를 스케일링할 수 있다. 여기서 상기 이미지스케일링은 다양한 비율로 스케일링할 수 있다. Then, the image scaler 620 scales the preprocessed line-by-line image to a set image size, wherein the image is a full-resolution image of the camera 110, and the image scaling can be performed for displaying on the display unit 130. The image scaling may be implemented using one or more of various methods such as resize, decimation, interpolation, crop, addition, and averaging. The image scaler 620 reduces the number of pixels of the full resolution image obtained by the camera 110 and scales the image to an appropriate size to be displayed on the display unit 150 and scales the image to fit the aspect ratio of the display unit 150. Where the image scaling may be scaled at various ratios.

상기와 같이 스케일링된 라인 단위의 이미지는 후처리부630에서 후처리된다. 상기 후처리과정에서는 컬러 인터폴레이션, 노이즈 보정(noise reduction), 감마 보정 및 색변환 등의 기능을 수행할 수 있다. The scaled line-by-line image is post-processed in the post-processing unit 630. The post-processing can perform functions such as color interpolation, noise reduction, gamma correction, and color conversion.

또한 상기 전처리된 라인 단위의 풀해상도 이미지는 후처리부640에 인가된다. 여기서 상기 후처리부640은 상기 후처리부630과 동일한 동작을 수행할 수 있으며, 처리되는 이미지 사이즈는 다르다. 즉, 상기 후처리부630은 이미지 스케일링된 라인 단위의 이미지를 후처리하며, 상기 후처리부650은 상기 카메라110에서 획득된 풀 해상도 이미지(또는 사용자에 의해 설정된 크기의 이미지)를 후처리한다. 그러면 정지영상 코덱650은 상기 압축율결정부615에 의해 결정된 부호화율(압축율)로 상기 후처리부640에서 출력되는 이미지를 압축 부호화한다.In addition, the preprocessed full resolution image in line units is applied to the post-processing unit 640. Here, the post-processing unit 640 can perform the same operation as the post-processing unit 630, and the processed image size is different. That is, the post-processing unit 630 post-processes the image in the unit of the image-scaled line, and the post-processing unit 650 processes the full resolution image (or the image of the size set by the user) Then, the still image codec 650 compresses and encodes the image output from the post-processing unit 640 at the coding rate (compression rate) determined by the compression rate determination unit 615.

이후 다중화부660은 상기 표시이미지 및 압축이미지를 다중화하여 어플리케이션처리부130에 출력한다. 이때 상기 다중화부660은 라인 단위의 표시이미지 및 압축이미지에 각각 표시이미지 및 압축이미지임을 식별하기 위한 헤더 정보를 포함하여 출력한다.The multiplexer 660 multiplexes the display image and the compressed image, and outputs the multiplexed image to the application processor 130. At this time, the multiplexer 660 outputs header information for identifying the display image and the compressed image to the display image and the compressed image on a line basis, respectively.

본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.The embodiments of the present invention disclosed in the present specification and drawings are merely illustrative of specific embodiments of the present invention and are not intended to limit the scope of the present invention in order to facilitate understanding of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

Claims (14)

카메라의 이미지처리장치에서 있어서,
카메라로부터 획득되는 이미지에서 일부 영역을 이미지의 복잡도를 측정하기 위한 윈도우로 설정하고 상기 윈도우 내의 픽셀들을 필터링하여, 자동초점 필터 값을 추출하여 이미지 복잡도에 따른 압축율 조절 값을 결정하는 압축율결정부와,
상기 카메라로부터 획득되는 이미지를 라인 단위로 처리하되, 상기 자동초점 필터 값을 추출하는 과정에서 얻은 이미지의 윤곽 데이터를 이용하여 복잡도를 판단하는 이미지처리부와,
상기 이미지처리부에서 출력되는 라인 이미지를 상기 압축율 조절값에 의해 압축하는 정지영상코덱으로 구성되고,
상기 압축율결정부는,
상기 카메라로부터 획득되는 이미지의 압축율 조절 값을 결정하기 위한 다수의 팩터(factor)를 저장하는 테이블을 포함하되, 상기 추출된 자동초점 필터 값과 미리 설정된 기준 값을 비교하여 상기 이미지 복잡도에 대응하는 팩터를 상기 테이블에서 확인하는 것을 특징으로 하는 장치.
In an image processing apparatus of a camera,
A compression ratio determination unit configured to set a certain area as a window for measuring an image complexity in an image obtained from a camera and to filter pixels in the window to determine a compression ratio adjustment value according to image complexity by extracting an auto focus filter value,
An image processor for processing an image obtained from the camera in units of lines and determining complexity using outline data of the image obtained in the process of extracting the auto focus filter value;
And a still image codec for compressing the line image output from the image processing unit according to the compression rate adjustment value,
Wherein the compression ratio determination unit
And a table storing a plurality of factors for determining a compression ratio adjustment value of an image obtained from the camera, wherein the comparison unit compares the extracted auto-focus filter value with a preset reference value, and calculates a factor corresponding to the image complexity Is identified in the table.
제1항에 있어서, 상기 압축율결정부는
상기 카메라에서 획득되는 이미지의 휘도데이터 또는 G 데이터를 필터링하여 자동초점 필터 값을 발생하는 필터와,
상기 자동초점 필터값을 가산하는 가산부와,
상기 가산된 필터값을 분석하여 이미지 복잡도에 따라 압축율을 조절하기 위한 팩터를 결정하는 판정부로 구성된 것을 특징으로 하는 장치.
2. The apparatus of claim 1, wherein the compression ratio determining unit
A filter for filtering luminance data or G data of an image obtained by the camera to generate an auto-focus filter value;
An adder for adding the auto-focus filter value,
And a determiner for analyzing the added filter value to determine a factor for adjusting a compression ratio according to image complexity.
제2항에 있어서, 상기 판정부는 테이블을 구비하며, 상기 가산된 필터값을 상기 테이블과 비교 분석하여 팩터로 결정하는 것을 특징으로 하는 장치. 3. The apparatus of claim 2, wherein the determination unit includes a table, and determines the factor by comparing and analyzing the added filter value with the table. 제3항에 있어서, 상기 이미지처리부는
상기 카메라에서 획득되는 이미지의 자동 노출 및 초점, 렌즈 셰이딩 및 데드픽셀 등을 보정하는 전처리부와,
상기 전처리된 이미지를 색보간 및 색변환하는 후처리부로 구성된 것을 특징으로 하는 장치.
The image processing apparatus according to claim 3, wherein the image processing unit
A preprocessing unit for correcting automatic exposure of an image obtained by the camera, focus, lens shading and dead pixels,
And a post-processing unit for performing color interpolation and color conversion on the preprocessed image.
제3항에 있어서, 상기 이미지처리부는
상기 카메라에서 획득되는 이미지의 자동 노출 및 초점, 렌즈 셰이딩 및 데드픽셀 등을 보정하는 전처리부와,
상기 전처리된 이미지를 표시부의 크기로 스케일링하는 이미지스케일러와,
상기 스케일링된 이미지를 색보간 및 색변환하는 표시이미지 후처리부와,
상기 전처리된 이미지를 색보간 및 색변환하여 상기 정지영상 코덱에 전송하는 압축이미지 후처리부로 구성된 것을 특징으로 하는 장치.
The image processing apparatus according to claim 3, wherein the image processing unit
A preprocessing unit for correcting automatic exposure of an image obtained by the camera, focus, lens shading and dead pixels,
An image scaler for scaling the preprocessed image to a size of a display unit,
A display image post-processor for performing color interpolation and color conversion on the scaled image;
And a compressed image post-processing unit for performing color interpolation and color conversion on the pre-processed image and transmitting the color-interpolated and color-converted image to the still image codec.
카메라의 이미지처리방법에서 있어서,
카메라로부터 획득되는 이미지에서 일부 영역을 이미지의 복잡도를 측정하기 위한 윈도우로 설정하고 상기 윈도우 내의 픽셀들을 필터링하여, 자동초점 필터 값을 추출하여 이미지 복잡도에 따른 압축율 조절 값을 결정하는 과정과,
상기 카메라로부터 획득되는 이미지를 이미지 처리부를 이용하여 라인 단위로 처리하되, 상기 자동초점 필터 값을 추출하는 과정에서 얻은 이미지의 윤곽 데이터를 이용하여 복잡도를 판단하는 과정과,
상기 이미지 처리된 라인 이미지를 상기 압축율 조절값에 의해 압축하는 과정으로 이루어지되,
상기 압축율 조절 값을 결정하는 과정은, 압축율결정부를 통해 수행되고,
상기 압축율결정부는,
상기 카메라로부터 획득되는 이미지의 압축율 조절 값을 결정하기 위한 다수의 팩터(factor)를 저장하는 테이블을 포함하되, 상기 추출된 자동초점 필터 값과 미리 설정된 기준 값을 비교하여 상기 이미지 복잡도에 대응하는 팩터를 상기 테이블에서 확인하는 것을 특징으로 하는 방법.
In an image processing method of a camera,
Determining a compression ratio adjustment value according to image complexity by extracting an auto-focus filter value by filtering pixels in the window and setting a partial area of the image obtained from the camera as a window for measuring the complexity of the image;
Determining a complexity using the outline data of the image obtained in the process of extracting the auto focus filter value by processing an image obtained from the camera in units of lines using an image processing unit,
Compressing the image processed line image according to the compression ratio adjustment value,
The process of determining the compression ratio adjustment value is performed through a compression ratio determination unit,
Wherein the compression ratio determination unit
And a table storing a plurality of factors for determining a compression ratio adjustment value of an image obtained from the camera, wherein the comparison unit compares the extracted auto-focus filter value with a preset reference value, and calculates a factor corresponding to the image complexity Is identified in the table.
제6항에 있어서, 상기 압축율 조절 값을 결정하는 과정은,
상기 카메라에서 출력되는 이미지의 휘도데이터 또는 G 데이터를 필터링하여 자동초점 필터 값을 발생하는 과정과,
상기 자동초점 필터값을 가산하는 과정과,
상기 가산된 필터값을 분석하여 이미지 복잡도에 따라 압축율을 조절하기 위한 팩터를 결정하는 과정으로 이루어짐을 특징으로 하는 방법.
7. The method of claim 6, wherein the step of determining the compression ratio adjustment value comprises:
Generating an auto focus filter value by filtering luminance data or G data of an image output from the camera;
Adding the auto-focus filter value,
And analyzing the added filter value to determine a factor for adjusting the compression ratio according to the image complexity.
제7항에 있어서, 상기 팩터를 결정하는 과정은 상기 가산된 필터값을 상기 테이블과 비교 분석하여 팩터로 결정하는 것을 특징으로 하는 방법. The method of claim 7, wherein the determining of the factor comprises determining the factor by comparing the added filter value with the table. 제8항에 있어서, 상기 이미지처리과정은
상기 카메라에서 획득되는 이미지의 자동 노출 및 초점, 렌즈 셰이딩 및 데드픽셀 등을 보정하는 전처리 과정과,
상기 전처리된 이미지를 색보간 및 색변환하는 후처리과정으로 이루어짐을 특징으로 하는 방법.
9. The method according to claim 8,
A preprocessing step of correcting automatic exposure of an image obtained by the camera, focus, lens shading and dead pixels,
And post-processing a color interpolation and a color conversion of the preprocessed image.
제8항에 있어서, 이미지처리과정은
상기 카메라에서 획득되는 이미지의 자동 노출 및 초점, 렌즈 셰이딩 및 데드픽셀 등을 보정하는 전처리과정과,
상기 전처리된 이미지를 표시부의 크기로 스케일링하는 과정과,
상기 스케일링된 이미지를 색보간 및 색변환하는 표시이미지 후처리과정과,
상기 전처리된 이미지를 색보간 및 색변환하여 압축할 이미지로 생성하는 압축이미지 후처리과정으로 이루어짐을 특징으로 하는 방법.
9. The method according to claim 8,
A preprocessing step of correcting automatic exposure of an image obtained by the camera, focus, lens shading and dead pixels,
Scaling the preprocessed image to a size of a display unit;
A display image post-processing step of performing color interpolation and color conversion on the scaled image;
And a compressed image post-processing step of generating the image to be compressed by performing color interpolation and color conversion on the pre-processed image.
카메라장치에 있어서,
이미지를 획득하는 카메라와,
카메라로부터 획득되는 이미지에서 일부 영역을 이미지의 복잡도를 측정하기 위한 윈도우로 설정하고 상기 윈도우 내의 픽셀들을 필터링하여, 자동초점 필터 값을 추출하여 이미지 복잡도에 따른 압축율 조절 값을 결정하는 압축율결정부를 구비하며, 상기 카메라로부터 획득되는 라인 이미지를 표시이미지 및 상기 압축율 조절값에 의해 압축하여 압축이미지로 출력하되, 상기 자동초점 필터 값을 추출하는 과정에서 얻은 이미지의 윤곽 데이터를 이용하여 복잡도를 판단하는 이미지처리부와,
상기 이미지처리부에서 출력되는 표시이미지 및 압축이미지를 프레임 단위로 버퍼링하며, 캡쳐요구시 상기 버퍼링된 프레임 단위의 압축이미지를 저장하도록 제어하는 어플리케이션처리부와,
상기 어플리케이션처리부에서 출력되는 프레임 단위의 표시이미지를 표시하는 표시부와,
상기 어플리케이션처리부에서 출력되는 프레임 단위의 압축이미지를 저장하는 저장부로 구성되고,
상기 압축율결정부는,
상기 카메라로부터 획득되는 이미지의 압축율 조절 값을 결정하기 위한 다수의 팩터(factor)를 저장하는 테이블을 포함하되, 상기 추출된 자동초점 필터 값과 미리 설정된 기준 값을 비교하여 상기 이미지 복잡도에 대응하는 팩터를 상기 테이블에서 확인하는 것을 특징으로 하는 장치.
In the camera device,
A camera for acquiring an image,
And a compression ratio determining unit for setting a certain area in the image obtained from the camera as a window for measuring the complexity of the image, filtering the pixels in the window, and determining the compression ratio adjustment value according to the image complexity by extracting the auto- An image processing unit for compressing the line image obtained from the camera according to the display image and the compression ratio adjustment value and outputting the compressed image as a compressed image and determining the complexity using the outline data of the image obtained in the process of extracting the auto focus filter value, Wow,
An application processing unit for buffering the display image and the compressed image output from the image processing unit on a frame basis and storing the compressed image in the buffered frame unit upon a capture request,
A display unit for displaying a display image in frame units output from the application processing unit;
And a storage unit for storing a compressed image in units of frames output from the application processing unit,
Wherein the compression ratio determination unit
And a table storing a plurality of factors for determining a compression ratio adjustment value of an image obtained from the camera, wherein the comparison unit compares the extracted auto-focus filter value with a preset reference value, and calculates a factor corresponding to the image complexity Is identified in the table.
제11항에 있어서, 상기 이미지처리부는
상기 카메라로부터 획득되는 이미지를 라인 단위로 이미지 처리하여 표시이미지를 생성하는 처리부와,
상기 이미지처리부에서 출력되는 라인 단위의 이미지를 상기 압축율 조절값에 의해 압축하여 압축이미지를 출력하는 정지영상코덱과,
상기 라인 단위의 표시이미지 및 압축이미지들을 다중화하여 상기 어플리케이션처리부에 전송하는 다중화부로 구성된 것을 특징으로 하는 장치.
The image processing apparatus according to claim 11, wherein the image processing unit
A processing unit for processing an image obtained from the camera in units of lines to generate a display image;
A still image codec for compressing an image in a line unit output from the image processing unit according to the compression rate adjustment value and outputting a compressed image;
And a multiplexing unit for multiplexing the display image and the compressed image in the line unit and transmitting the multiplexed image to the application processing unit.
제12항에 있어서, 상기 압축율결정부는
상기 카메라에서 출력되는 이미지의 휘도데이터를 필터링하여 자동초점 필터 값을 발생하는 필터와,
상기 자동초점 필터값을 가산하는 가산부와,
상기 가산된 필터값을 분석하여 이미지 복잡도에 따라 압축율을 조절하기 위한 팩터를 결정하는 판정부로 구성된 것을 특징으로 하는 장치.
13. The apparatus of claim 12, wherein the compression ratio determination unit
A filter for filtering luminance data of an image output from the camera to generate an auto-focus filter value;
An adder for adding the auto-focus filter value,
And a determiner for analyzing the added filter value to determine a factor for adjusting a compression ratio according to image complexity.
제13항에 있어서, 상기 판정부는 테이블을 구비하며, 상기 가산된 필터값을 상기 테이블과 비교 분석하여 팩터로 결정하는 것을 특징으로 하는 장치. 14. The apparatus of claim 13, wherein the determination unit comprises a table, and determines the factor by comparing and analyzing the added filter value with the table.
KR1020120046514A 2012-05-02 2012-05-02 Apparatus and method for encoding a image in camera device KR101931631B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120046514A KR101931631B1 (en) 2012-05-02 2012-05-02 Apparatus and method for encoding a image in camera device
US13/870,640 US9300856B2 (en) 2012-05-02 2013-04-25 Image encoding apparatus and method of camera device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120046514A KR101931631B1 (en) 2012-05-02 2012-05-02 Apparatus and method for encoding a image in camera device

Publications (2)

Publication Number Publication Date
KR20130123229A KR20130123229A (en) 2013-11-12
KR101931631B1 true KR101931631B1 (en) 2018-12-21

Family

ID=49512256

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120046514A KR101931631B1 (en) 2012-05-02 2012-05-02 Apparatus and method for encoding a image in camera device

Country Status (2)

Country Link
US (1) US9300856B2 (en)
KR (1) KR101931631B1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2786590A4 (en) * 2011-12-02 2015-07-15 Hewlett Packard Development Co Video clone for a display matrix
KR101997085B1 (en) 2014-11-25 2019-10-01 한화디펜스 주식회사 Image transmission apparatus
EP3258689A4 (en) 2015-03-02 2018-01-31 Samsung Electronics Co., Ltd. Method and device for compressing image on basis of photography information
JP6628625B2 (en) * 2015-03-17 2020-01-15 キヤノン株式会社 Imaging device, control method thereof, and computer program
JP6355595B2 (en) * 2015-06-02 2018-07-11 キヤノン株式会社 IMAGING ELEMENT, IMAGING DEVICE, IMAGING ELEMENT CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
WO2019177906A1 (en) * 2018-03-11 2019-09-19 Google Llc Static video recognition

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007232793A (en) * 2006-02-27 2007-09-13 Fujifilm Corp Imaging apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3438741B2 (en) * 1994-02-22 2003-08-18 ヤマハ株式会社 Keyboard instrument
KR100601475B1 (en) * 2004-12-09 2006-07-18 삼성전기주식회사 Image compressor having variable quantization parameter in accordance with image complexity and method thereof
KR20100011288A (en) * 2008-07-24 2010-02-03 삼성디지털이미징 주식회사 Method of compressing images, computer-readable medium storing program to perform the same and apparatus of photographing digital images
US8319864B2 (en) * 2008-09-11 2012-11-27 Ricoh Company, Ltd. Imaging apparatus and imaging method
JP5565226B2 (en) * 2010-09-10 2014-08-06 富士通株式会社 Image data processing apparatus and image data processing method
US8948253B2 (en) * 2011-12-15 2015-02-03 Flextronics Ap, Llc Networked image/video processing system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007232793A (en) * 2006-02-27 2007-09-13 Fujifilm Corp Imaging apparatus

Also Published As

Publication number Publication date
US9300856B2 (en) 2016-03-29
US20130293737A1 (en) 2013-11-07
KR20130123229A (en) 2013-11-12

Similar Documents

Publication Publication Date Title
KR101893406B1 (en) Apparatus and mehod for processing a image in camera device
KR101953614B1 (en) Apparatus and method for processing a image of camera device and terminal equipment having a camera
US8633998B2 (en) Imaging apparatus and display apparatus
JP5131257B2 (en) Display control apparatus and display control program
KR101899851B1 (en) Apparatus and mehod for processing a image in camera device
US8325268B2 (en) Image processing apparatus and photographing apparatus
JP5036410B2 (en) Imaging apparatus and control method thereof
US20110234881A1 (en) Display apparatus
KR101931631B1 (en) Apparatus and method for encoding a image in camera device
EP2629503B1 (en) Apparatus and method for transmitting a frame image of a camera
WO2015045144A1 (en) Electronic device, method for controlling electronic device, and control program
JP2013168942A (en) Data processing device and method for camera
JP2009010616A (en) Imaging device and image output control method
KR101894531B1 (en) Apparatus and method for processing a continuous shooting mode in camera device
US8363128B2 (en) Image processing apparatus and image processing method
KR102058860B1 (en) Apparatus and mehod for processing a image in camera device
JP2023100811A (en) Image processing device
EP2515543A2 (en) Image capturing apparatus and image capturing method
JP6242244B2 (en) Imaging apparatus, imaging method, and program
JP5407651B2 (en) Image processing apparatus and image processing program
JP5673137B2 (en) Imaging apparatus and imaging method
JP2008182486A (en) Photographing device, and image processing method
JP2013081101A (en) Image processing apparatus, imaging apparatus, and program
KR101652117B1 (en) Apparatus and method for reducing digital camera shutter lag
JP5924262B2 (en) Image processing apparatus and image processing program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant