KR20070047729A - Method for outputting deferred vertical synchronous signal and image signal processor performing the method - Google Patents

Method for outputting deferred vertical synchronous signal and image signal processor performing the method Download PDF

Info

Publication number
KR20070047729A
KR20070047729A KR1020060117767A KR20060117767A KR20070047729A KR 20070047729 A KR20070047729 A KR 20070047729A KR 1020060117767 A KR1020060117767 A KR 1020060117767A KR 20060117767 A KR20060117767 A KR 20060117767A KR 20070047729 A KR20070047729 A KR 20070047729A
Authority
KR
South Korea
Prior art keywords
output
data
frame
control command
image
Prior art date
Application number
KR1020060117767A
Other languages
Korean (ko)
Inventor
노요환
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020060117767A priority Critical patent/KR20070047729A/en
Publication of KR20070047729A publication Critical patent/KR20070047729A/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/142Edging; Contouring
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03KPULSE TECHNIQUE
    • H03K5/00Manipulating of pulses not covered by one of the other main groups of this subclass
    • H03K2005/00013Delay, i.e. output pulse is delayed after input pulse and pulse length of output pulse is dependent on pulse length of input pulse

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는 이미지 시그널 프로세서가 개시된다. 본 발명의 일 실시예에 따른 수직 동기 신호 지연 출력 방법은 캡쳐 명령이 입력되고, 인코딩부로부터 k번째 프레임에 대한 수직 동기 신호가 입력되면, k+1번째 프레임에 대한 지연 제어 명령을 이미지 센서로 전송하고 k번째 프레임에 대한 인코딩 처리가 완료되면, 이미지 센서로 복귀 제어 명령을 전송한다. 본 발명에 의해, 이미지 데이터의 완전한 인코딩 처리가 수행될 수 있다.A vertical synchronization signal delay output method and an image signal processor performing the method are disclosed. In the vertical synchronization signal delay output method according to an embodiment of the present invention, when a capture command is input and a vertical synchronization signal for a k-th frame is input from an encoder, a delay control command for a k + 1 th frame is sent to the image sensor. When the encoding process for the k-th frame is completed, the return control command is transmitted to the image sensor. By the present invention, a complete encoding process of image data can be performed.

인코딩, 이미지, JPEG, 이미지 센서 Encoding, image, JPEG, image sensor

Description

수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는 이미지 시그널 프로세서{Method for outputting deferred vertical synchronous signal and image signal processor performing the method}Method for outputting deferred vertical synchronous signal and image signal processor performing the method}

도 1은 일반적인 촬상 장치의 구성의 간략하게 나타낸 도면.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a simplified diagram of a configuration of a general imaging device.

도 2는 일반적인 JPEG 인코딩 과정을 나타낸 도면.2 is a diagram illustrating a general JPEG encoding process.

도 3은 종래의 이미지 시그널 프로세서(ISP, Image Signal Processor)가 인코딩된 데이터를 출력하기 위한 신호 형태를 나타낸 도면.FIG. 3 is a diagram illustrating a signal form for outputting encoded data by a conventional image signal processor (ISP). FIG.

도 4는 본 발명의 바람직한 일 실시예에 따른 촬상 장치의 구성을 간략히 나타낸 도면.4 is a diagram schematically showing a configuration of an imaging device according to an embodiment of the present invention.

도 5는 본 발명의 바람직한 일 실시예에 따른 데이터 출력부의 구성을 간략히 나타낸 도면.5 is a view briefly showing a configuration of a data output unit according to an exemplary embodiment of the present invention.

도 6 및 도 7은 본 발명의 바람직한 일 실시예에 따른 각 구성 요소의 출력 신호 파형을 예시한 도면.6 and 7 illustrate output signal waveforms of each component according to a preferred embodiment of the present invention.

본 발명은 데이터 인코딩(encoding)에 관한 것으로, 보다 상세하게는 인코딩된 데이터의 전달을 위한 수직 동기 신호의 출력에 관한 것이다.The present invention relates to data encoding, and more particularly to the output of a vertical synchronization signal for the delivery of encoded data.

최근, 소형 및 박형의 촬상 소자가 휴대 전화기나 PDA(Personal Digital Assistant) 등의 소형 및 박형의 휴대용 단말기에 탑재됨으로써, 휴대용 단말기가 촬상 장치로서 기능할 수 있고, 이에 의해 원격지로 음성 정보뿐만 아니라 화상 정보도 전송할 수 있게 되었다. 촬상 소자는 휴대 전화기나 PDA 뿐 아니라 MP3 플레이어 등의 휴대용 단말기에도 구비되어 다양한 장치에서 외부 영상을 전자적인 데이터로 보유할 수 있도록 구현되어 있다. In recent years, small and thin image pickup devices have been mounted in small and thin portable terminals such as mobile phones and PDAs (Personal Digital Assistants), whereby the portable terminals can function as image pickup devices, thereby enabling not only audio information but also images to be remotely located. Information can also be transmitted. The imaging device is provided not only in a mobile phone or a PDA but also in a portable terminal such as an MP3 player so as to hold external images as electronic data in various devices.

이러한 촬상 장치에는 일반적으로 CCD(Charge Coupled Device)형 이미지 센서나 CMOS(Complementary Metal-0xide Semiconductor)형 이미지 센서 등의 고체 촬상 소자가 사용되고 있다.Generally, solid-state imaging devices, such as a charge coupled device (CCD) type image sensor and a complementary metal-0xide semiconductor (CMOS) type image sensor, are used for such an imaging device.

도 1은 일반적인 촬상 장치의 구성의 간략하게 나타낸 도면이고, 도 2는 일반적인 JPEG 인코딩 과정을 나타낸 도면이며, 도 3은 종래의 이미지 시그널 프로세서(ISP, Image Signal Processor)가 인코딩된 데이터를 출력하기 위한 신호 형태를 나타낸 도면이다.FIG. 1 is a diagram schematically illustrating a configuration of a general image capturing apparatus, FIG. 2 is a diagram illustrating a general JPEG encoding process, and FIG. 3 is a conventional image signal processor (ISP) for outputting encoded data. It is a figure which shows the signal form.

도 1에 도시된 바와 같이, 외부 영상을 전기적인 데이터로 변환하여 표시부(150)에 디스플레이하는 촬상 장치는 이미지 센서(110), 이미지 시그널 프로세서(120, ISP(Image Signal Processor)), 백엔드 칩(130, Back-end chip), 베이스밴드 칩(140, Baseband Chip) 및 표시부(150)를 포함한다. 이외에, 촬상 장치는 변환된 전기적인 데이터를 저장하기 위한 메모리, 아날로그 신호를 디지털 신호로 변환 하는 AD 변환기 등을 더 포함할 수 있다.As illustrated in FIG. 1, an image pickup device that converts an external image into electrical data and displays the same on the display unit 150 includes an image sensor 110, an image signal processor 120 (ISP), and a backend chip ( 130, a back-end chip, a baseband chip 140, and a display unit 150. In addition, the imaging apparatus may further include a memory for storing the converted electrical data, an AD converter for converting an analog signal into a digital signal, and the like.

이미지 센서(110)는 베이어 패턴(Bayer Pattern)을 가지는 센서로서, 단위 픽셀별로 렌즈를 통해 입력된 빛의 양에 상응하는 전기 신호를 출력한다. The image sensor 110 is a sensor having a Bayer pattern, and outputs an electric signal corresponding to the amount of light input through the lens for each unit pixel.

이미지 시그널 프로세서(120)는 이미지 센서(110)로부터 입력된 전기 신호(raw data)를 YUV값으로 변환하고, 변환된 YUV 값을 백엔드 칩(130)으로 입력한다. YUV방식은 사람의 눈이 색상보다는 밝기에 민감하다는 사실에 착안한 방식으로, 색을 밝기(Luminance)인 Y성분과 색상(Chrominance)인 U와 V 성분으로 구분한다. Y성분은 오차에 민감하므로 색상 성분인 U와 V보다 많은 비트를 코딩한다. 전형적인 Y:U:V의 비율은 4:2:2 이다. The image signal processor 120 converts an electrical signal (raw data) input from the image sensor 110 into a YUV value, and inputs the converted YUV value to the back end chip 130. The YUV method focuses on the fact that the human eye is more sensitive to brightness than color, and the color is divided into Y component, which is luminance, and U and V, which are chroma. Since the Y component is sensitive to error, we code more bits than the color components U and V. A typical Y: U: V ratio is 4: 2: 2.

이미지 시그널 프로세서(120)는 변환한 YUV값을 FIFO에 순차적으로 저장시킴으로써 백엔드 칩(130)이 해당 정보를 입력받을 수 있도록 한다.The image signal processor 120 sequentially stores the converted YUV values in the FIFO so that the back end chip 130 may receive the corresponding information.

백엔드 칩(130)은 입력된 YUV값을 미리 지정된 인코딩 방법에 의해 JPEG나 BMP로 변환하여 메모리에 저장하거나 이를 디코딩하여 표시부(150)에 디스플레이한다. 백엔드 칩(130)은 이미지의 확대, 축소, 로테이션 등의 기능도 수행할 수 있다. 물론, 도 1에 도시된 바와 같이, 베이스밴드 칩(140)이 백엔드 칩(130)으로부터 디코딩된 데이터를 입력받아 표시부(150)에 디스플레이할 수도 있다. The back end chip 130 converts the input YUV value into JPEG or BMP by using a predetermined encoding method and stores the same in the memory or decodes the displayed YUV value on the display unit 150. The back end chip 130 may also perform functions such as enlargement, reduction, and rotation of an image. Of course, as shown in FIG. 1, the baseband chip 140 may receive decoded data from the backend chip 130 and display the decoded data on the display unit 150.

베이스밴드 칩(140)은 촬상 장치의 동작을 전반적으로 제어하는 기능을 수행한다. 예를 들어, 키 입력부(도시되지 않음)를 통해 사용자로부터 촬상 명령이 입력되면 베이스밴드 칩(140)은 백엔드 칩(130)으로 이미지 생성 명령을 전송함으로써 백엔드 칩(130)이 입력된 외부 영상에 상응하는 인코딩된 데이터를 생성하도록 할 수도 있다. The baseband chip 140 performs a function of controlling the overall operation of the imaging device. For example, when an imaging command is input from a user through a key input unit (not shown), the baseband chip 140 transmits an image generation command to the backend chip 130 to the external image to which the backend chip 130 is input. It is also possible to generate corresponding encoded data.

표시부(150)는 백엔드 칩(130) 또는 베이스밴드 칩(140)의 제어에 의해 제공받은 디코딩된 데이터를 디스플레이한다.The display unit 150 displays decoded data provided by the control of the back end chip 130 or the baseband chip 140.

도 2에는 백엔드 칩(130)에 의해 수행되는 일반적인 JPEG 인코딩(encoding) 과정이 도시되어 있다. JPEG 인코딩 과정(200)은 당업자에게 자명한 사항이므로 간략히 설명하기로 한다.2 illustrates a general JPEG encoding process performed by the back end chip 130. Since the JPEG encoding process 200 is obvious to those skilled in the art, it will be briefly described.

도 2에 도시된 바와 같이, 입력된 YUV값들의 이미지는 8 x 8 픽셀 크기의 블록으로 나뉘어지고, 각 블록에 대해 DCT(이산 코사인 변환, Discrete Cosine Transform)를 수행한다(210). -128~127사이의 8 비트 정수 형태로 입력된 각 픽셀의 화소값은 DCT에 의해 -1024 ~ 1023 사이의 값으로 변환된다.As shown in FIG. 2, the input YUV values are divided into blocks of 8 × 8 pixel size, and a DCT (Discrete Cosine Transform) is performed on each block (210). The pixel value of each pixel input in the form of an 8-bit integer between -128 and 127 is converted into a value between -1024 and 1023 by the DCT.

이어서, 양자화기(Quantizer)는 각 블록의 DCT계수를 시각에 미치는 영향에 따라 가중치를 두어 양자화한다(220). 이 가중치의 테이블을 양자화 테이블이라 한다. 양자화 테이블 값은 DC 근처에서 작은 값을 취하고, 높은 주파수에서는 큰 값을 취하여 정보량이 많은 DC 근처의 데이터를 적은 손실로 보내고 고주파수에서는 높은 압축율을 유도한다.Subsequently, the quantizer quantizes the DCT coefficient of each block with weights according to the effect on time (220). This table of weights is called a quantization table. The quantization table values take small values near DC, and large values at high frequencies, resulting in small loss of data near DC with a large amount of information, and high compression at high frequencies.

이어서, 무손실 코더(Lossless coder)인 엔트로피 인코더(entropy encoder)에 의해 최종 압축된 데이터가 생성된다(230). The final compressed data is then generated 230 by an entropy encoder, which is a lossless coder.

상술한 과정을 통해 인코딩된 데이터는 메모리에 적재된다. 백엔드 칩(130)은 메모리에 적재된 데이터를 복호화하여 표시부(150)에 디스플레이하는 등의 처리를 수행한다.The data encoded through the above-described process is loaded into the memory. The back end chip 130 decodes the data loaded in the memory and displays the same on the display unit 150.

메모리에 적재된 데이터들이 복호화 등의 처리를 위해 순차적으로 입력되는 과정의 신호 파형이 도 3에 도시되어 있다. 일반적으로, 백엔드 칩(130)은 YUV/BAYER 포맷의 데이터를 입력받도록 구현되어 있으며, 이런 데이터를 입력받기 위한 인터페이스로서 P_CLK, V_sync, H_REF, DATA 신호를 이용하고 있다.A signal waveform of a process of sequentially inputting data loaded in a memory for processing such as decoding is shown in FIG. 3. In general, the back end chip 130 is implemented to receive data in YUV / BAYER format, and uses the P_CLK, V_sync, H_REF, and DATA signals as an interface for receiving such data.

도 3에 도시된 바와 같이, 종래의 백엔드 칩(130)은 하나의 프레임에 대한 인코딩 처리를 수행하는 중에 후속하는 프레임에 대한 수직 동기 신호(V_sync2) 및/또는 이미지 데이터를 입력받도록 구성되어 있어 이미지 데이터 인코딩시 오류가 발생할 여지가 많은 문제점이 있었다. As shown in FIG. 3, the conventional back-end chip 130 is configured to receive a vertical sync signal V_sync2 and / or image data for a subsequent frame while performing an encoding process for one frame. There was a lot of problems that can occur when encoding data.

즉, 이 경우, 백엔드 칩(130)은 현재 처리되고 있는 프레임에 대한 인코딩 처리뿐 아니라 다음 프레임에 대한 인코딩 처리를 함께 수행하는 경우가 있어 정확한 데이터 인코딩이 완료되지 못하는 문제점도 있었다.That is, in this case, the back end chip 130 may perform not only the encoding process for the frame currently being processed but also the encoding process for the next frame, thereby preventing accurate data encoding from being completed.

또한, 백엔드 칩(130)의 인코딩부가 인코딩된 데이터를 디코딩부로 전달하거나 메모리에 저장할 때, 새로운 수직 동기 신호(V_sync2)를 수신한 이후에는 현재 프레임에 대하여 인코딩된 데이터가 정상적으로 입력되지 못하는 문제점도 있었다.In addition, when the encoding unit of the back end chip 130 transmits the encoded data to the decoding unit or stores the encoded data in the memory, after receiving the new vertical sync signal V_sync2, the encoded data for the current frame may not be input normally. .

따라서 본 발명은 상술한 문제점을 해결하기 위한 것으로, 백엔드 칩의 처리 효율을 증진시킬 수 있는 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는 이미지 시그널 프로세서를 제공하는 것이다.Accordingly, an object of the present invention is to provide a vertical synchronization signal delay output method capable of improving processing efficiency of a backend chip and an image signal processor performing the method.

본 발명의 다른 목적은 인코더에 의해 인코딩된 데이터를 수신단(예를 들어, 백엔드 칩, 베이스밴드 칩 등)으로 전달함에 있어, 최적의 시점에 수직 동기 신호를 출력(즉, 새로운 프레임의 입력을 인식)할 수 있도록 하는 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는 이미지 시그널 프로세서를 제공하는 것이다.Another object of the present invention is to transmit data encoded by an encoder to a receiving end (e.g., back-end chip, baseband chip, etc.) to output a vertical synchronization signal at an optimal time point (i.e., recognize input of a new frame). To provide a vertical synchronization signal delay output method and an image signal processor performing the method.

본 발명의 또 다른 목적은 수신단에서 인코딩된 데이터를 입력받을 때 새로운 프레임의 입력을 나타내는 수직 동기 신호의 입력에 의해 현재 프레임에 대해 처리된 데이터의 입력이 방해받지 않는 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는 이미지 시그널 프로세서를 제공하는 것이다.It is still another object of the present invention to provide a vertical synchronization signal delay output method in which an input of processed data for a current frame is not interrupted by an input of a vertical synchronization signal representing an input of a new frame when receiving encoded data at a receiving end, and It is to provide an image signal processor that performs the method.

본 발명의 또 다른 목적은 이미지 시그널 프로세서가 인코딩된 데이터를 백엔드 칩으로 제공함에 있어 일반적인 인터페이스 구조를 이용함으로써 하드웨어 설계 및 제어 측면에서 유리한 효과를 가지는 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는 이미지 시그널 프로세서를 제공하는 것이다.It is still another object of the present invention to provide a vertical synchronization signal delay output method having an advantageous effect in terms of hardware design and control by using a general interface structure when an image signal processor provides encoded data to a backend chip, and an image for performing the method. It provides a signal processor.

본 발명의 또 다른 목적은 이미지 시그널 프로세서가 인코딩 속도에 따라 입력되는 프레임의 인코딩 여부를 결정할 수 있어 원활한 인코딩 동작 수행이 가능한 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는 이미지 시그널 프로세서를 제공하는 것이다.It is still another object of the present invention to provide a vertical synchronization signal delay output method and an image signal processor performing the method, by which an image signal processor can determine whether to encode an input frame according to an encoding speed and thus perform a smooth encoding operation. .

그 외의 다른 본 발명의 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.Other objects of the present invention will become more apparent through the preferred embodiments described below.

상술한 목적을 달성하기 위하여 본 발명의 일 측면에 따르면, 이미지 시그널 프로세서 및/또는 상기 이미지 시그널 프로세서를 포함하는 촬상 장치가 제공된다.According to an aspect of the present invention to achieve the above object, there is provided an image signal processor and / or an imaging device including the image signal processor.

본 발명의 바람직한 일 실시예에 따르면, 촬상 장치에 있어서, 외부 영상에 상응하는 전기 신호를 출력하는 이미지 센서; 상기 전기 신호에 대해 필터링(filtering), 인터폴레이션(interpolation) 중 적어도 어느 하나에 상응하는 전처리를 수행하는 서브 ISP(Image Signal Processor); 상기 전처리된 전기 신호에 상응하도록 인코딩하여 인코딩된 이미지 데이터를 생성하는 인코딩부; 및 상기 인코딩된 이미지 데이터를 수신단-여기서, 상기 수신단은 백엔드 칩 또는 베이스밴드 칩임-으로 출력하는 데이터 출력부를 포함하되, 상기 서브 ISP는 캡쳐 명령의 입력 직후 처리될 k(자연수)번째 프레임에 후속하는 k+1번째 프레임에 상응하는 수직 동기 신호의 출력 구간을 확장하기 위한 지연 제어 명령을 상기 이미지 센서로 출력하고, 상기 이미지 센서는 지연 제어 명령에 상응하여 상기 수직 동기 신호의 출력 구간을 확장하여 출력하는 것을 특징으로 하는 촬상 장치가 제공된다.According to a preferred embodiment of the present invention, an imaging device comprising: an image sensor for outputting an electrical signal corresponding to an external image; A sub-ISP (Image Signal Processor) for performing preprocessing corresponding to at least one of filtering and interpolation of the electrical signal; An encoding unit encoding the preprocessed electrical signal to generate encoded image data; And a data output unit configured to output the encoded image data to a receiver, wherein the receiver is a backend chip or a baseband chip, wherein the sub-ISP is followed by a k (natural number) frame to be processed immediately after the input of the capture command. output a delay control command for extending the output period of the vertical synchronization signal corresponding to the k + 1th frame to the image sensor, and the image sensor outputs the output period of the vertical synchronization signal in response to the delay control command An imaging device is provided.

상기 이미지 센서에서 출력하는 상기 수직 동기 신호의 출력 구간의 종단점은 상기 인코딩부에 의해 상기 k번째 프레임의 인코딩이 완료된 시점과 동일하거나 후속하여 출력되고, 상기 종단점은 폴링 엣지(falling edge) 또는 라이징 엣지(rising edge)인 것을 특징으로 한다.An end point of the output period of the vertical synchronization signal output from the image sensor is output the same as or subsequent to the time point when the encoding of the k-th frame is completed by the encoding unit, and the end point is a falling edge or a rising edge. It is characterized in that (rising edge).

상기 데이터 출력부가 상기 k번째 프레임의 인코딩 처리가 완료되었음을 감지하여 상기 서브 ISP로 통지하면, 상기 서브 ISP는 상기 이미지 센서로 복귀 제어 명령을 출력하되, 상기 복귀 제어 명령은 k+2번째 프레임에 상응하는 수직 동기 신호의 출력 구간의 길이를 디폴트로 재설정하고, 게인(gain) 값을 디폴트로 재조정 하는 것을 특징으로 한다.When the data output unit detects that the encoding process of the k-th frame is completed and notifies the sub-ISP, the sub-ISP outputs a return control command to the image sensor, and the return control command corresponds to the k + 2th frame. The length of the output section of the vertical synchronization signal is reset to a default value, and the gain value is adjusted to the default value.

상기 k번째 프레임에 대해 출력되는 인코딩된 이미지 데이터는 'START MARKER'로부터 'STOP MARKER'까지인 것을 특징으로 한다.The encoded image data output for the k-th frame is characterized by being from 'START MARKER' to 'STOP MARKER'.

상기 데이터 출력부는 상기 인코딩부로부터 입력되는 인코딩된 이미지 데이터를 미리 지정된 클럭만큼 지연하여 출력하는 레지스터를 포함할 수 있다.The data output unit may include a register for delaying and outputting the encoded image data input from the encoding unit by a predetermined clock.

상기 데이터 출력부는, 유효 데이터 인에이블 제어 명령에 따라 하이(High) 또는 로우(Low) 상태의 상기 유효 데이터 인에이블 신호를 생성하여 출력하는 H_sync 발생기; 데이터 출력 제어 명령에 따라 상기 인코딩부로부터 입력된 유효 데이터와, 무효 데이터 또는 미리 생성된 더미 데이터를 출력하는 전송 지연부; 및 상기 유효 데이터 인에이블 제어 명령, 상기 데이터 출력 제어 명령을 생성하여 출력하는 전송 제어부를 포함할 수 있다.The data output unit may include an H_sync generator configured to generate and output the valid data enable signal in a high or low state according to a valid data enable control command; A transmission delay unit for outputting valid data input from the encoding unit and invalid data or pre-generated dummy data according to a data output control command; And a transmission controller configured to generate and output the valid data enable control command and the data output control command.

상기 유효 데이터 인에이블 신호는 상기 수신단에서 기록 인에이블(write enable) 신호로 해석될 수 있다.The valid data enable signal may be interpreted as a write enable signal at the receiving end.

상술한 목적을 달성하기 위하여 본 발명의 다른 측면에 따르면, 이미지 시그널 프로세서에서 수행되는 수직 동기 신호 지연 출력 방법 및/또는 그 방법을 수행하기 위한 프로그램이 기록된 기록매체가 제공된다. According to another aspect of the present invention for achieving the above object, there is provided a vertical synchronization signal delay output method performed in an image signal processor and / or a recording medium on which a program for performing the method is recorded.

본 발명의 바람직한 일 실시예에 따르면, 이미지 센서를 구비한 촬상 장치의 이미지 시그널 프로세서에서 수행되는 수직 동기 신호 지연 출력 방법에 있어서, 캡쳐 명령을 입력받는 단계; 인코딩부로부터 k(자연수)번째 프레임에 대한 수직 동 기 신호를 입력받는 단계; k+1번째 프레임에 대한 지연 제어 명령을 상기 이미지 센서로 전송하는 단계; 및 상기 k번째 프레임에 대한 인코딩 처리가 완료되면, 상기 이미지 센서로 복귀 제어 명령을 전송하는 단계를 포함하되, 상기 지연 제어 명령에 의해 상기 이미지 센서는 k+1번째 프레임에 상응하는 수직 동기 신호의 출력 구간을 확장하여 출력하고, 상기 복귀 제어 명령에 의해 상기 이미지 센서는 k+2번째 프레임에 대한 수직 동기 신호의 출력 구간의 길이 재조정 및 게인 값 재조정을 수행할 수 있다.According to one preferred embodiment of the present invention, a vertical synchronization signal delay output method performed in an image signal processor of an image pickup device having an image sensor, the method comprising: receiving a capture command; Receiving a vertical synchronization signal for a k (natural number) -th frame from the encoding unit; transmitting a delay control command for a k + 1th frame to the image sensor; And when the encoding process for the k-th frame is completed, transmitting a return control command to the image sensor, wherein the delay control command causes the image sensor to output a vertical sync signal corresponding to the k + 1 th frame. The output period may be extended and output, and the image sensor may adjust the length of the output period of the vertical synchronization signal for the k + 2th frame and the gain value by the return control command.

상기 이미지 센서에서 출력하는 상기 수직 동기 신호의 출력 구간의 종단점은 상기 k번째 프레임의 인코딩이 완료된 시점과 동일하거나 후속하여 출력되고, 상기 종단점은 폴링 엣지(falling edge) 또는 라이징 엣지(rising edge)일 수 있다.An end point of the output period of the vertical synchronization signal output from the image sensor is output the same as or after the completion of the encoding of the k-th frame, and the end point is a falling edge or a rising edge. Can be.

상기 k번째 프레임에 대한 인코딩 완료 여부는 인코딩된 데이터들의 헤더(Header) 정보 및 테일(Tail) 정보를 이용하여 판단될 수 있다.Whether encoding of the k-th frame is completed may be determined using header information and tail information of the encoded data.

이하, 첨부한 도면들을 참조하여 본 발명에 따른 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는 이미지 시그널 프로세서를 상세히 설명하기로 한다. 첨부 도면을 참조하여 본 발명을 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, a vertical synchronization signal delay output method and an image signal processor performing the method will be described in detail with reference to the accompanying drawings. In the following description of the present invention with reference to the accompanying drawings, the same or corresponding components will be given the same reference numerals and redundant description thereof will be omitted.

도 4는 본 발명의 바람직한 일 실시예에 따른 촬상 장치의 구성을 간략히 나타낸 도면이고, 도 5는 본 발명의 바람직한 일 실시예에 따른 데이터 출력부의 구성을 간략히 나타낸 도면이며, 도 6 및 도 7은 본 발명의 바람직한 일 실시예에 따른 각 구성 요소의 출력 신호 파형을 예시한 도면이다. 4 is a view schematically showing a configuration of an imaging device according to an exemplary embodiment of the present invention, FIG. 5 is a view schematically showing a configuration of a data output unit according to an embodiment of the present invention, and FIGS. 6 and 7 A diagram illustrating an output signal waveform of each component according to a preferred embodiment of the present invention.

도 4에 도시된 바와 같이, 본 발명에 따른 촬상 장치는 이미지 센서(110), 이미지 시그널 프로세서(400), 백엔드 칩(405)을 포함한다. 이외에, 촬상 장치는 표시부(150), 메모리, 베이스밴드 칩(140), 키 입력부 등을 더 포함할 수 있음은 자명하나, 본 발명의 요지와는 다소 거리감이 있으므로 이에 대한 설명은 생략한다.As shown in FIG. 4, the imaging apparatus according to the present invention includes an image sensor 110, an image signal processor 400, and a back end chip 405. In addition, it will be apparent that the imaging apparatus may further include a display unit 150, a memory, a baseband chip 140, a key input unit, and the like, and thus description thereof will be omitted.

이미지 센서(110)는 V_sync 제어부(440)를 포함한다. V_sync 제어부(440)는 서브 이미지 시그널 프로세서(ISP : Image Signal Processor)(410)로부터 센서 제어 명령이 입력되면 상응하도록 프레임의 수직 동기 신호(V_sync) 구간 길이를 제어한다. The image sensor 110 includes a V_sync controller 440. The V_sync controller 440 controls the length of the vertical sync signal (V_sync) section of the frame correspondingly when a sensor control command is input from the sub image signal processor (ISP) 410.

예를 들어, 도 6에 도시된 바와 같이 k(자연수)번째 프레임에 대한 전기 신호(raw data)를 출력하는 동안 서브 ISP(410)로부터 지연 제어 명령이 입력되면 직후에 입력되는 k+1번째 프레임에 대한 V_sync 신호가 지연 출력되도록 제어한다. 즉, 본 발명에 따른 서브 ISP(410) 등이 V_sync 신호의 라이징 엣지(rising edge)를 검출하여 새로운 프레임에 대한 전기 신호의 입력 여부를 감지한다고 할 때 라이징 엣지가 발생되는 시점을 지연시키는 것이다. 라이징 엣지의 지연 시간은 미리 지정될 수 있으며, 예를 들어 8 ~ 24 라인 사이즈의 데이터를 처리하기 위한 시간 중 임의의 시간일 수 있다.For example, as shown in FIG. 6, if a delay control command is input from the sub-ISP 410 while outputting raw data for the k (natural number) frame, the k + 1 th frame is input immediately after. Controls the delay output of the V_sync signal. That is, when the sub ISP 410 or the like according to the present invention detects a rising edge of the V_sync signal and detects whether an electrical signal for a new frame is input, it delays the time when the rising edge is generated. The delay time of the rising edge may be predetermined, and may be, for example, any time of processing data of 8 to 24 line size.

이어서, 서브 ISP(410)로부터 복귀 제어 명령이 입력되면 그 이후부터 출력되는 V_sync 신호의 구간을 디폴트 길이로 환원시키고, 게인 값을 미리 지정된 값으로 재조정한다. 복귀 제어 명령은 입력된 캡쳐 명령(예를 들어, 사진 촬영 명령)에 상응하는 프레임의 처리가 완료되었을 때 서브 ISP(410)로부터 입력될 수 있다. 게인 값을 미리 지정된 값으로 재조정하는 이유는 다음과 같다. V_sync 신호의 출력 구간을 늘리는 것은 센서 통합 시간(sensor integration time)인 노출 시간(exposure time)을 늘리는 것으로서 그만큼 밝기가 밝아지므로 상대적으로 게인(gain)이 낮아지도록 조정하여 적당한 밝기를 유지할 수 있도록 하기 위한 것이다. 게인 값이 비정상적으로 증가되면 후속되어 입력되는 영상에 악 영향이 있을 수 있기 때문이다.Subsequently, when the return control command is input from the sub-ISP 410, the interval of the V_sync signal output thereafter is reduced to the default length, and the gain value is readjusted to a predetermined value. The return control command may be input from the sub ISP 410 when the processing of the frame corresponding to the input capture command (eg, the picture taking command) is completed. The reason for adjusting the gain value to a predetermined value is as follows. Increasing the output interval of the V_sync signal increases the exposure time, which is the sensor integration time, so that the brightness becomes brighter so that the gain can be adjusted to maintain a relatively low brightness. will be. This is because an abnormal increase in the gain value may adversely affect a subsequent input image.

이미지 시그널 프로세서(400)는 서브 ISP(410), JPEG 인코더(420) 및 데이터 출력부(430)를 포함한다. 물론, 이미지 시그널 프로세서(400)는 내부 동작을 위한 클럭 발생기(Clock Generator)가 더 포함될 수 있다.The image signal processor 400 includes a sub ISP 410, a JPEG encoder 420, and a data output unit 430. Of course, the image signal processor 400 may further include a clock generator for internal operation.

서브 ISP(410)는 종래기술에 따른 이미지 시그널 프로세서(Image Signal Processor)로서의 기능뿐 아니라 본 명세서에서 설명되는 부가 기능(예를 들어, 센서 제어 명령 출력, 캡쳐 명령 출력, 캡쳐 완료 정보 입력 등)을 더 수행한다. The sub ISP 410 not only functions as an image signal processor according to the related art, but also additional functions (for example, sensor control command output, capture command output, capture completion information input, etc.) described herein. Do more.

구체적으로, 서브 ISP(410)는 JPEG 인코더(420)의 처리를 위한 전처리 과정을 수행할 수 있다. 서브 ISP(410)는 각 프레임에 대해 이미지 센서(110)로부터 전기 신호 형태의 원시 데이터(raw data)를 각 라인별로 입력받아 처리한 후 JPEG 인 코더(420)로 전달할 수 있다.In detail, the sub ISP 410 may perform a preprocessing process for processing the JPEG encoder 420. The sub-ISP 410 may receive raw data in the form of an electric signal from each image sensor 110 for each frame, process the raw data, and transmit the raw data to the JPEG encoder 420.

전처리 과정에는 컬러 모델 변환(Color Space Transformation), 필터링(Filtering), 다운 샘플링(Color SubSampling) 등이 포함될 수 있다. The preprocessing may include color space transformation, filtering, downsampling, and the like.

컬러 모델 변환(Color Space Transformation)은 RGB 컬러 모델을 YUV(또는 YIQ) 컬러 모델로 변환하며, 이는 화질의 차이에 대한 인식없이 정보의 양을 줄일 수 있기 때문이다. .Color Space Transformation converts the RGB color model to a YUV (or YIQ) color model because it can reduce the amount of information without being aware of the difference in picture quality. .

필터링(Filtering)은 로패스 필터로 영상을 Smoothing하는 과정으로 압축율을 높이기 위함이다. Filtering is a process of smoothing an image with a low pass filter to increase the compression ratio.

다운 샘플링(Color SubSampling)은 Y값은 모두 사용하고, 다른 값들은 일부만 사용하고 버리는 등의 방법으로 색차(Chrominance) 신호 성분을 다운 샘플링하는 과정이다.Color subsampling is the process of downsampling the chrominance signal components by using all the Y values and using only some of the other values.

또한, 서브 ISP(410)는 백엔드 칩(405) 또는 베이스밴드 칩(140)으로부터 캡쳐 명령(예를 들어, 사진 촬영 명령)이 입력되면, 이미지 센서(110)로부터 직후의 프레임에 대해 출력되는 수직 동기 신호(V_sync 신호)의 출력 구간 길이를 확장하기 위하여, 이미지 센서(110)의 V_sync 제어부(440)로 센서 제어 명령(즉, 지연 제어 명령)을 출력하고, JPEG 인코더(420)로 캡쳐 명령을 출력한다. 수직 동기 신호가 각 프레임의 입력이 개시될 것임을 의미함은 당업자에게 자명하다.In addition, the sub-ISP 410 is a vertical output from the image sensor 110 for a frame immediately after the capture command (for example, a photographing command) is input from the back end chip 405 or the baseband chip 140. In order to extend the output section length of the synchronization signal (V_sync signal), a sensor control command (ie, a delay control command) is output to the V_sync controller 440 of the image sensor 110, and a capture command is sent to the JPEG encoder 420. Output It will be apparent to those skilled in the art that the vertical sync signal means that the input of each frame will be initiated.

지연 제어 명령에 의해 V_sync 제어부(440)는 직후에 출력될 V_sync 신호의 출력 구간의 길이를 확장하여 출력한다. 또한 캡쳐 명령에 의해 JPEG 인코더(420)는 상응하는 프레임의 이미지 데이터를 처리한다. 캡쳐 명령에 의한 JPEG 인코 더(420)의 처리 과정은 종래의 사진 촬영 명령에 의한 처리 동작과 동일하다. 따라서, JPEG 인코더(420)로 캡쳐 명령을 출력하는 과정은 생략될 수 있다.By the delay control command, the V_sync controller 440 extends and outputs the length of the output section of the V_sync signal to be immediately output. In addition, by the capture command, the JPEG encoder 420 processes image data of a corresponding frame. The processing of the JPEG encoder 420 by the capture command is the same as the processing operation by the conventional photography command. Therefore, the process of outputting the capture command to the JPEG encoder 420 may be omitted.

이후, 데이터 출력부(430)는 JPEG 인코더(420)로부터 'STOP MARKER'를 포함하는 JPEG 인코딩된 데이터가 입력되어 해당 프레임에 대한 인코딩 처리가 완료되었음을 인식하면, 서브 ISP(410)로 캡쳐 완료 정보를 출력한다. Subsequently, when the data output unit 430 recognizes that the JPEG encoded data including 'STOP MARKER' is input from the JPEG encoder 420 and the encoding processing for the corresponding frame is completed, the data output unit 430 captures the capture completion information to the sub ISP 410. Outputs

이어서, 서브 ISP(410)는 복귀 제어 명령을 V_sync 제어부(440)로 출력함으로써 V_sync 신호의 출력 구간 길이 제어 및 게인 값 조정이 수행되도록 한다.Subsequently, the sub-ISP 410 outputs a return control command to the V_sync controller 440 to perform output section length control and gain value adjustment of the V_sync signal.

JPEG 인코더(420)는 앞서 설명한 방식과 동일하게 서브 ISP(410)에 의해 전처리된 원시 데이터(raw data)를 압축 처리하여 JPEG 인코딩 데이터를 생성한다. The JPEG encoder 420 compresses raw data preprocessed by the sub ISP 410 in the same manner as described above to generate JPEG encoded data.

JPEG 인코더(420)는 인코딩 처리를 위해 미리 지정된 블록 단위(예를 들어, 8 x 8)로 분할할 수 있도록 하기 위하여 서브 ISP(410)로부터 입력되는 처리된 원시 데이터를 임시로 저장하기 위한 입력 메모리를 포함할 수 있다. 또한, JPEG 인코더(420)는 JPEG 인코딩된 데이터를 데이터 출력부(430)로 출력하기 전에 잠시 저장하는 출력 메모리를 더 포함할 수 있다. 출력 메모리는 예를 들어, FIFO일 수 있다. 즉, 본 발명에 따른 이미지 시그널 프로세서(400)는 종래의 이미지 시그널 프로세서(120)와 달리 이미지 데이터의 인코딩을 더 수행할 수 있다. The JPEG encoder 420 is an input memory for temporarily storing the processed raw data input from the sub-ISP 410 in order to be divided into predetermined block units (for example, 8 x 8) for encoding processing. It may include. In addition, the JPEG encoder 420 may further include an output memory for temporarily storing the JPEG encoded data before outputting the encoded data to the data output unit 430. The output memory can be, for example, a FIFO. That is, the image signal processor 400 according to the present invention may further perform encoding of image data, unlike the conventional image signal processor 120.

데이터 출력부(430)는 JPEG 인코더(420)에 의해 생성된 JPEG 인코딩된 데이터를 수신단(예를 들어, 백엔드 칩(405), 베이스밴드 칩(140), 카메라 컨트롤 프로세서(CCP) 등 - 이하, 백엔드 칩(405)으로 통칭함)으로 전달한다. 데이터 출력부(430)는 JPEG 인코더(420)로부터 입력된 데이터를 일정 시간(예를 들어, 2 ~ 3 클럭) 지연(delay)시켜 출력하도록 하기 위한 레지스터를 포함할 수 있다.The data output unit 430 receives the JPEG encoded data generated by the JPEG encoder 420 (for example, the back end chip 405, the baseband chip 140, the camera control processor (CCP), etc.). Collectively referred to as back-end chip 405). The data output unit 430 may include a register for delaying and outputting data input from the JPEG encoder 420 for a predetermined time (for example, 2 to 3 clocks).

데이터 출력부(430)는 JPEG 인코더(420)로부터 입력되는 인코딩된 데이터가 'STOP MARKER'를 포함하는지 여부를 감시하여 'STOP MARKER'를 포함하는 경우 캡쳐 완료 정보를 서브 ISP(410)로 전달한다. The data output unit 430 monitors whether the encoded data input from the JPEG encoder 420 includes 'STOP MARKER' and transmits the capture completion information to the sub ISP 410 when the data output unit 430 includes the 'STOP MARKER'. .

백엔드 칩(405)은, 휴대용 단말기의 전반적인 동작 제어를 수행하는 베이스밴드 칩(140)으로부터 예를 들어, 사진을 캡쳐하라는 명령을 수신하면, 서브 ISP(410)로 캡쳐 명령을 전송하고, 이미지 시그널 프로세서(400)로부터 입력받은 화질 개선된 JPEG 인코딩된 데이터를 전달받아 메모리에 저장해 두고, 디코딩하여 표시부(150)에 디스플레이하거나, 베이스밴드 칩(140)이 독출하여 처리할 수 있도록 한다. 서브 ISP(410)로 캡쳐 명령을 전달하기 위해 I2C 버스가 이용될 수 있다.When the backend chip 405 receives, for example, a command for capturing a picture from the baseband chip 140 that performs overall operation control of the portable terminal, the backend chip 405 transmits a capture command to the sub ISP 410 and transmits an image signal. The JPEG encoded data received from the processor 400 is received and stored in a memory, decoded, displayed on the display unit 150, or the baseband chip 140 may be read and processed. An I2C bus may be used to deliver capture commands to sub ISP 410.

도 5에 데이터 출력부(430)의 세부 구성이 도시되어 있다. 5 illustrates a detailed configuration of the data output unit 430.

도 5를 참조하면, 데이터 출력부(430)는 AND 게이트(510), H_sync 발생기(530), 전송 지연부(Delay unit)(540) 및 전송 제어부(550)를 포함한다. 본 발명에 따른 데이터 출력부(430)는 별도의 V_sync 발생기(V_sync generator)를 구비하지 않으며, 이는 선행하는 구성 요소(예를 들어, JPEG 인코더(420))로부터 입력된 V_sync를 그대로 출력하는 것으로 충분하기 때문이다.Referring to FIG. 5, the data output unit 430 includes an AND gate 510, an H_sync generator 530, a transmission delay unit 540, and a transmission control unit 550. The data output unit 430 according to the present invention does not have a separate V_sync generator, which is sufficient to output the V_sync input from the preceding component (for example, the JPEG encoder 420) as it is. Because.

AND 게이트(510)는 모든 입력에 신호가 입력되는 경우에만 클럭 신호(P_CLK)를 백엔드 칩(405)으로 출력한다. 즉, 이미지 시그널 프로세서(400)에 구비된 클럭 발생기(도시되지 않음)로부터 클럭 신호를 입력받고, 전송 제어부(550)로부터 클럭 제어 신호를 입력받아 클럭 제어 신호가 클럭 신호 출력을 지시하는 경우에만 클럭 신호를 백엔드 칩(405)으로 출력한다. 클럭 제어 신호는 하이 신호(High Signal) 또는 로우 신호(Low Signal) 형태일 수 있고, 각각 P_CLK 인에이블(enable) 또는 P_CLK 디스에이블(disable) 신호로서 인식될 수 있다. 물론, 역의 경우도 가능할 것이다. 이 경우, 클럭 신호(P_CLK)가 백엔드 칩(405)으로 출력되는 구간은 전송 지연부(540)가 JPEG 인코딩된 데이터들 중 유효 데이터를 출력하는 구간과 일치되도록 할 수 있다. 전송 제어부(550)는 현재 출력될 인코딩된 데이터가 유효 데이터인지 무효 데이터인지 식별할 수 있기 때문에 AND 게이트(510)의 출력 신호를 제어할 수 있음은 당업자에게 자명하다. 만일, 클럭 신호가 항상 백엔드 칩(405)으로 출력되도록 설정하는 경우 도시된 AND 게이트(510)는 생략될 수 있다. The AND gate 510 outputs the clock signal P_CLK to the back end chip 405 only when signals are input to all inputs. In other words, the clock signal is input from a clock generator (not shown) included in the image signal processor 400, the clock control signal is input from the transmission control unit 550, and the clock control signal indicates the clock signal output. The signal is output to the back end chip 405. The clock control signal may be in the form of a high signal or a low signal, and may be recognized as a P_CLK enable or P_CLK disable signal, respectively. Of course, the reverse is also possible. In this case, a section in which the clock signal P_CLK is output to the backend chip 405 may be matched with a section in which the transmission delay unit 540 outputs valid data among JPEG encoded data. It will be apparent to those skilled in the art that the transmission control unit 550 may control the output signal of the AND gate 510 because the transmission controller 550 may identify whether the encoded data to be currently output is valid data or invalid data. If the clock signal is set to be always output to the backend chip 405, the AND gate 510 shown may be omitted.

H_sync 발생기(530)는 전송 제어부(550)의 제어에 의해(즉, 유효 데이터 인에이블 신호(H_REF) 출력 명령이 입력되고, H_REF 신호의 출력 종료 명령이 입력될 때까지) 하이(High) 상태의 유효 데이터 인에이블(enable) 신호(H_REF)를 생성하여 출력한다. 유효 데이터 인에이블 신호의 하이 구간(이는 설계 방법에 따라 로우 구간일 수도 있음)은 전송 지연부(540)에서 하나의 프레임에 대한 JPEG 인코딩된 데이터들 중 유효 데이터가 출력되는 구간과 일치된다. 전송 제어부(550)는 현재 출력될 인코딩된 데이터가 유효 데이터인지 무효 데이터인지 식별할 수 있기 때문에 H_sync 발생기(530)의 출력 신호를 제어할 수 있음은 당업자에게 자명하다.The H_sync generator 530 is in a high state under the control of the transmission control unit 550 (that is, until the valid data enable signal H_REF output command is input and the output termination command of the H_REF signal is input). A valid data enable signal H_REF is generated and output. The high period of the valid data enable signal (which may be a low period according to a design method) coincides with a period in which the valid data is output among the JPEG encoded data for one frame in the transmission delay unit 540. It will be apparent to those skilled in the art that the transmission controller 550 may control the output signal of the H_sync generator 530 because the transmission controller 550 may identify whether the encoded data to be currently output is valid data or invalid data.

전송 지연부(540)는 JPEG 인코더(420)로부터 입력되는 데이터를 백엔드 칩(405)으로 순차적으로 출력한다. 전송 지연부(540)는 예를 들어 JPEG 인코더(420)로부터 입력된 데이터를 일정 시간(예를 들어, 2 ~ 3 클럭) 지연(delay)시 켜 출력하도록 하기 위한 레지스터를 포함할 수 있다. 전송 지연부(540)가 유효 데이터를 출력하는 구간은 H_REF 신호가 하이 상태로 출력되는 구간과 일치할 수 있다. The transmission delay unit 540 sequentially outputs data input from the JPEG encoder 420 to the back end chip 405. The transmission delay unit 540 may include, for example, a register for delaying and outputting data input from the JPEG encoder 420 at a predetermined time (for example, 2 to 3 clocks). The section in which the transmission delay unit 540 outputs valid data may coincide with the section in which the H_REF signal is output in a high state.

전송 지연부(540)에 일시적으로 저장된 JPEG 인코딩된 데이터가 유효 데이터인지 여부는 전송 제어부(550)에 의해 판단될 수 있으며, 현재 출력될 데이터가 유효 데이터가 아닌(예를 들어, ff, 0x00을 포함하는 데이터) 경우 전송 제어부(550)는 클럭 신호가 백엔드 칩(405)으로 출력되지 않도록 AND 게이트(510)를 제어할 수 있고, 로우 상태의 H_REF 신호가 출력되도록 H_sync 발생기(530)를 제어할 수 있다. Whether the JPEG encoded data temporarily stored in the transmission delay unit 540 is valid data may be determined by the transmission control unit 550, and the data to be currently output is not valid data (for example, ff, 0x00). Including data), the transmission controller 550 may control the AND gate 510 such that the clock signal is not output to the back end chip 405, and control the H_sync generator 530 to output the H_REF signal in a low state. Can be.

본 명세서에서의 무효 데이터(즉, 유효하지 않은 데이터)는 JPEG 표준 등에서 언급하고 있는 유효하지 않은 데이터(즉, 실제적으로 이미지를 구성하지 않는 데이터)를 의미하며, 그 예시로서 ff로 표시될 수 있다. 다만, 도 7에서의 'ffd8'이 'START MARKER'로서 'SOI'로서 인식되고, 'ffd9'가 'STOP MARKER'로서 'EOI'로 인식될 것임은 당업자에게 자명하다. The invalid data (ie, invalid data) in the present specification means invalid data (ie, data that does not actually constitute an image) mentioned in the JPEG standard or the like, and may be represented as ff as an example. . However, it is apparent to those skilled in the art that 'ffd8' in FIG. 7 will be recognized as 'SOI' as 'START MARKER' and 'ffd9' will be recognized as 'EOI' as 'STOP MARKER'.

무효 데이터가 출력되는 구간에는 미리 저장된 더미 데이터(즉, 형식만을 맞추기 위한 용도에 불과한 데이터)가 출력될 수도 있다. 더미 데이터의 출력을 위해 전송 지연부(540) 전단에 다중화기(MUX)가 구비될 수도 있다. 다중화기를 통해 JPEG 인코딩된 데이터 및 더미 데이터가 출력되고, 전송 지연부(540)가 이를 입력받아 출력하도록 할 수도 있다. 이 경우, 전송 제어부(550)가 입력된 JPEG 인코딩된 데이터가 무효 데이터인 것으로 판단하면 다중화기로 더미 데이터 출력 명령을 입력할 수 있다. 다중화기는 미리 레지스터로 설정된 더미 데이터들이 전송 지연부(540)로 입력되어 백엔드 칩(405)으로 출력되도록 할 수 있을 것이다.In the section in which the invalid data is output, the prestored dummy data (that is, data only for the purpose of matching the format) may be output. A multiplexer (MUX) may be provided in front of the transmission delay unit 540 to output dummy data. JPEG encoded data and dummy data are output through the multiplexer, and the transmission delay unit 540 may receive and output the received data. In this case, when the transmission controller 550 determines that the input JPEG encoded data is invalid data, the transmission controller 550 may input a dummy data output command to the multiplexer. The multiplexer may allow dummy data set in advance to be registered to the transmission delay unit 540 to be output to the back end chip 405.

전송 제어부(550)는 전송 지연부(540)가 유효 데이터 출력을 위해 JPEG 인코더(530)로부터 순차적으로 입력받아 출력 이전에 잠시 저장하는 JPEG 인코딩된 데이터들의 헤더(Header)와 테일(Tail)에서 'START MARKER'와 'STOP MARKER'를 캡쳐하여 JPEG 인코딩의 시작과 끝에 대한 정보를 인식할 수 있다. 즉, 이를 통해 JPEG 인코더(420)에 의해 하나의 프레임이 모두 인코딩 및/또는 출력되었는지 여부를 인식할 수 있다. The transmission control unit 550 receives a 'sequence from the header and the tail of the JPEG encoded data which the transmission delay unit 540 sequentially receives from the JPEG encoder 530 for valid data output and stores the data before the output. You can capture START MARKER 'and' STOP MARKER 'to recognize information about the beginning and end of JPEG encoding. That is, through this, the JPEG encoder 420 may recognize whether all one frame is encoded and / or output.

도 6 및 도 7에 각 구성 요소에 의해 출력되는 신호의 파형이 예시되어 있다. 도 6에는 이미지 센서(110)가 지연 제어 명령에 의해 V_sync 신호의 출력 구간 길이를 확장하는 경우의 신호 파형이 도시되어 있고, 도 7에는 데이터 출력부(430)에서 출력하는 신호 파형이 도시되어 있다.6 and 7 illustrate waveforms of signals output by each component. 6 illustrates a signal waveform when the image sensor 110 extends the length of the output section of the V_sync signal by a delay control command, and FIG. 7 illustrates a signal waveform output from the data output unit 430. .

도 6에 도시된 바와 같이, 이미지 센서(110)는 미리 설정된 주기에 따라 V_sync 신호를 출력하고, 또한 상응하는 전기 신호(raw data)를 출력한다. 즉, 사진 촬영 이전에 통상의 프리뷰(preview) 상태(즉, 사진 촬영과 무관하게 이미지 센서(110)로부터 입력되는 전기 신호가 인코딩 및 디코딩되어 표시부(150)에 디스플레이되는 상태)에서는 610과 같은 출력 상태가 유지될 것이다. 그러나, k-1번째 프레임이 처리되는 동안 사용자에 의해 캡쳐 명령이 입력되면, k번째 프레임이 처리되는 동안 서브 ISP(410)로부터 센서 제어 명령(즉, 지연 제어 명령)이 입력되고 직후에 출력되는 V_sync 신호의 출력 구간의 길이는 확장된다. 본 명세서에서는 V_sync 신호에 의해 새로운 프레임이 입력될 것임이 라이징 엣지(rising edge)에 의해 검출됨을 가정하였으므로, 610과 620을 비교할 때 라이징 엣지 검출 시점이 종래에 비해 확장되었음을 알 수 있다. k번째 프레임의 촬영이 완료되면 k+1번째 프레임부터는 다시 프리뷰 상태로 유지된다. As shown in FIG. 6, the image sensor 110 outputs a V_sync signal according to a preset period, and also outputs a corresponding electrical signal (raw data). That is, in a normal preview state (that is, a state in which an electrical signal input from the image sensor 110 is encoded and decoded and displayed on the display unit 150 regardless of the photographing state) before the photographing, an output such as 610 is obtained. The state will be maintained. However, if a capture command is input by the user while the k-th frame is being processed, a sensor control command (i.e., a delay control command) is input from the sub ISP 410 while the k-th frame is processed and immediately output. The length of the output section of the V_sync signal is extended. In the present specification, it is assumed that a new edge is input by a rising edge by the V_sync signal. Therefore, when the 610 and 620 are compared, it can be seen that the rising edge detection time is extended compared to the prior art. When shooting of the k-th frame is completed, the preview state resumes from the k + 1 th frame.

상술한 과정에 의해 V_sync 신호의 출력 구간의 길이가 확장됨으로써 도 7에 도시된 바와 같이 V_sync 신호의 라이징 엣지가 검출되는 시점에 해당 프레임에 대한 처리가 완료된 시점 또는 그 이후가 되도록 할 수 있다. As the length of the output section of the V_sync signal is extended by the above-described process, as shown in FIG. 7, it may be at or after the processing of the frame is completed at the time when the rising edge of the V_sync signal is detected.

본 발명에 따른 데이터 출력부(430)는 상술한 과정을 통해 k번째 프레임을 처리하는 동안 k+1번째 프레임에 대한 V_sync 신호에 의해 정상적인 데이터 송수신이 방해되는 문제점을 해결할 수 있다. The data output unit 430 according to the present invention may solve the problem that normal data transmission and reception are interrupted by the V_sync signal for the k + 1th frame while processing the kth frame through the above-described process.

이때, 데이터 출력부(430)는 출력되는 인코딩된 데이터가 유효한 데이터인 경우에만 H_REF 신호를 하이 상태로 유지할 수 있고, 또한 해당 구간에만 클럭 신호가 백엔드 칩(405)으로 출력되도록 할 수도 있다. 이와 같이, 유효하지 않는 인코딩 데이터 또는 더미 데이터가 출력되는 동안에는 백엔드 칩(405)으로 출력될 클럭 신호(P_CLK)를 오프시킴으로서 백엔드 칩(405)의 불필요한 동작을 최소화시킬 수 있다. 이에 의해, 백엔드 칩(405)의 전력소모를 최소화할 수 있다. In this case, the data output unit 430 may maintain the H_REF signal high only when the encoded data to be output is valid data, and may also output the clock signal to the back end chip 405 only in a corresponding section. In this manner, unnecessary operation of the back end chip 405 may be minimized by turning off the clock signal P_CLK to be output to the back end chip 405 while invalid encoding data or dummy data is output. As a result, power consumption of the back end chip 405 may be minimized.

종래의 백엔드 칩(405)은 YUV/BAYER 포맷의 데이터를 입력받도록 구현되어 있으며, 이런 데이터를 입력받기 위한 인터페이스로서 P_CLK, V_sync, H_REF, DATA 신호를 이용하고 있었다. The conventional back end chip 405 is implemented to receive data in YUV / BAYER format, and has used P_CLK, V_sync, H_REF, and DATA signals as interfaces for receiving such data.

이를 고려하여, 본 발명의 이미지 시그널 프로세서(400)는 종래와 동일한 인 터페이스를 이용하도록 구현된다.In consideration of this, the image signal processor 400 of the present invention is implemented to use the same interface as in the prior art.

따라서, 본 발명은 백엔드 칩(405)이 종래의 백엔드 칩 설계 방법에 의해 구현된 경우에도 호환(port matching)될 수 있음은 자명하다. Thus, it is apparent that the present invention can be port matched even when the back end chip 405 is implemented by a conventional back end chip design method.

예를 들어 일반적인 백엔드 칩(405)의 동작이 V_sync 신호의 라이징 엣지(rising edge)의 인터럽트로부터 동작 초기화된다고 하면, 본 발명 역시 종래의 인터페이스 구조를 동일하게 적용하였으므로 기존의 V_sync 신호가 출력되는 형태와 마찬가지로 해당 신호를 백엔드 칩(405)으로 입력함으로써 각 칩간에 인터페이싱이 가능하다.For example, if the operation of the general back-end chip 405 is initialized from the interrupt of the rising edge of the V_sync signal, the present invention also applies the conventional interface structure in the same way, so that the existing V_sync signal is outputted. Likewise, by inputting the corresponding signal to the back end chip 405, interfacing between the chips is possible.

마찬가지로, 일반적인 백엔드 칩(405)이 V_sync 라이징(rising) 인터럽트를 발생해야 하고, 또한 이미지 시그널 프로세서(400)로부터 데이터를 받을 때 유효 데이터 인에이블 신호(H_REF)를 메모리의 기록 인에이블(write enable) 신호로 이용함을 고려할 때, 본 발명에 따른 신호 출력 방식을 이용함으로써 백엔드 칩(405)의 전력소모도 줄일 수 있다. Similarly, a typical backend chip 405 should generate a V_sync rising interrupt, and also enable write enable of the valid data enable signal H_REF in memory when receiving data from the image signal processor 400. Considering the use as a signal, the power consumption of the back end chip 405 can be reduced by using the signal output method according to the present invention.

이제까지, 이미지 시그널 프로세서(400)가 JPEG 인코딩 방식을 이용하는 경우만을 중심으로 설명하였으나 BMP 인코딩 방식, MPEG(MPEG 1/2/4, MPEG-4 AVC) 인코딩 방식, TV 아웃 방식 등과 같이 다른 인코딩 방식을 지원하는 경우에도 동일한 데이터 전송 방식이 이용될 수 있음은 자명하다.Until now, the image signal processor 400 has been described based only on the case of using the JPEG encoding scheme, but other encoding schemes such as BMP encoding scheme, MPEG (MPEG 1/2/4, MPEG-4 AVC) encoding scheme, TV out scheme, etc. Obviously, the same data transmission scheme can be used even if it supports it.

상술한 바와 같이 본 발명에 따른 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는 이미지 시그널 프로세서는 백엔드 칩의 처리 효율을 증진시킬 수 있는 효과가 있다.As described above, the vertical synchronization signal delay output method and the image signal processor implementing the method have an effect of improving processing efficiency of the backend chip.

또한, 본 발명은 인코더에 의해 인코딩된 데이터를 수신단(예를 들어, 백엔드 칩, 베이스밴드 칩 등)으로 전달함에 있어, 최적의 시점에 수직 동기 신호를 출력(즉, 새로운 프레임의 입력을 인식)할 수 있도록 하는 효과도 있다.In addition, the present invention transmits the data encoded by the encoder to the receiving end (e.g., back-end chip, baseband chip, etc.), outputting a vertical synchronization signal at the optimum time (i.e., recognize the input of a new frame) It also has the effect of making it possible.

또한, 본 발명은 수신단에서 인코딩된 데이터를 입력받을 때 새로운 프레임의 입력을 나타내는 수직 동기 신호의 입력에 의해 현재 프레임에 대해 처리된 데이터의 입력이 방해받지 않는 효과도 있다.In addition, the present invention has the effect that the input of the processed data for the current frame is not interrupted by the input of the vertical synchronization signal indicating the input of a new frame when receiving the encoded data at the receiving end.

또한, 본 발명은 이미지 시그널 프로세서가 인코딩된 데이터를 백엔드 칩으로 제공함에 있어 일반적인 인터페이스 구조를 이용함으로써 하드웨어 설계 및 제어 측면에서 유리한 효과를 가질 수 있다.In addition, the present invention may have an advantageous effect in terms of hardware design and control by using a general interface structure in providing the encoded data to the back-end chip to the image signal processor.

또한, 본 발명은 이미지 시그널 프로세서가 인코딩 속도에 따라 입력되는 프레임의 인코딩 여부를 결정할 수 있어 원활한 인코딩 동작 수행이 가능한 효과도 있다.In addition, the present invention has the effect that the image signal processor can determine whether to encode the input frame according to the encoding speed can perform a smooth encoding operation.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to a preferred embodiment of the present invention, those skilled in the art to which the present invention pertains without departing from the spirit and scope of the invention as set forth in the claims below It will be appreciated that modifications and variations can be made.

Claims (10)

촬상 장치에 있어서,In the imaging device, 외부 영상에 상응하는 전기 신호를 출력하는 이미지 센서;An image sensor for outputting an electrical signal corresponding to an external image; 상기 전기 신호에 대해 필터링(filtering), 인터폴레이션(interpolation) 중 적어도 어느 하나에 상응하는 전처리를 수행하는 서브 ISP(Image Signal Processor);A sub-ISP (Image Signal Processor) for performing preprocessing corresponding to at least one of filtering and interpolation of the electrical signal; 상기 전처리된 전기 신호에 상응하도록 인코딩하여 인코딩된 이미지 데이터를 생성하는 인코딩부; 및An encoding unit encoding the preprocessed electrical signal to generate encoded image data; And 상기 인코딩된 이미지 데이터를 수신단-여기서, 상기 수신단은 백엔드 칩 또는 베이스밴드 칩임-으로 출력하는 데이터 출력부를 포함하되,A data output unit configured to output the encoded image data to a receiver, wherein the receiver is a backend chip or a baseband chip, 상기 서브 ISP는 캡쳐 명령의 입력 직후 처리될 k(자연수)번째 프레임에 후속하는 k+1번째 프레임에 상응하는 수직 동기 신호의 출력 구간을 확장하기 위한 지연 제어 명령을 상기 이미지 센서로 출력하고, 상기 이미지 센서는 지연 제어 명령에 상응하여 상기 수직 동기 신호의 출력 구간을 확장하여 출력하는 것을 특징으로 하는 촬상 장치.The sub-ISP outputs a delay control command to the image sensor to extend an output period of a vertical sync signal corresponding to a k + 1th frame following a k (natural number) th frame to be processed immediately after the capture command. And the image sensor extends and outputs the output section of the vertical synchronization signal in response to a delay control command. 제1항에 있어서,The method of claim 1, 상기 이미지 센서에서 출력하는 상기 수직 동기 신호의 출력 구간의 종단점 은 상기 인코딩부에 의해 상기 k번째 프레임의 인코딩이 완료된 시점과 동일하거나 후속하여 출력되고,An end point of the output period of the vertical synchronization signal output from the image sensor is output the same as or subsequent to the time point when the encoding of the k-th frame is completed by the encoding unit, 상기 종단점은 폴링 엣지(falling edge) 또는 라이징 엣지(rising edge)인 것을 특징으로 하는 촬상 장치.And the endpoint is a falling edge or a rising edge. 제1항에 있어서,The method of claim 1, 상기 데이터 출력부가 상기 k번째 프레임의 인코딩 처리가 완료되었음을 감지하여 상기 서브 ISP로 통지하면, 상기 서브 ISP는 상기 이미지 센서로 복귀 제어 명령을 출력하되, If the data output unit detects that the encoding process of the k-th frame is completed and notifies the sub ISP, the sub ISP outputs a return control command to the image sensor. 상기 복귀 제어 명령은 k+2번째 프레임에 상응하는 수직 동기 신호의 출력 구간의 길이를 디폴트로 재설정하고, 게인(gain) 값을 디폴트로 재조정하는 것을 특징으로 하는 촬상 장치.And the return control command resets the length of the output section of the vertical synchronization signal corresponding to the k + 2th frame to the default value and readjusts the gain value to the default value. 제1항에 있어서,The method of claim 1, 상기 k번째 프레임에 대해 출력되는 인코딩된 이미지 데이터는 'START MARKER'로부터 'STOP MARKER'까지인 것을 특징으로 하는 촬상 장치.The encoded image data output for the k-th frame is from 'START MARKER' to 'STOP MARKER'. 제1항에 있어서,The method of claim 1, 상기 데이터 출력부는 상기 인코딩부로부터 입력되는 인코딩된 이미지 데이터를 미리 지정된 클럭만큼 지연하여 출력하는 레지스터를 포함하는 것을 특징으로 하는 촬상 장치.And the data output unit comprises a register for delaying and outputting the encoded image data input from the encoding unit by a predetermined clock. 제1항에 있어서,The method of claim 1, 상기 데이터 출력부는,The data output unit, 유효 데이터 인에이블 제어 명령에 따라 하이(High) 또는 로우(Low) 상태의 상기 유효 데이터 인에이블 신호를 생성하여 출력하는 H_sync 발생기;An H_sync generator for generating and outputting the valid data enable signal in a high or low state according to a valid data enable control command; 데이터 출력 제어 명령에 따라 상기 인코딩부로부터 입력된 유효 데이터와, 무효 데이터 또는 미리 생성된 더미 데이터를 출력하는 전송 지연부; 및A transmission delay unit for outputting valid data input from the encoding unit and invalid data or pre-generated dummy data according to a data output control command; And 상기 유효 데이터 인에이블 제어 명령, 상기 데이터 출력 제어 명령을 생성하여 출력하는 전송 제어부를 포함하는 것을 특징으로 하는 촬상 장치.And a transmission controller configured to generate and output the valid data enable control command and the data output control command. 제6항에 있어서,The method of claim 6, 상기 유효 데이터 인에이블 신호는 상기 수신단에서 기록 인에이블(write enable) 신호로 해석되는 것을 특징으로 하는 촬상 장치.And the valid data enable signal is interpreted as a write enable signal at the receiving end. 이미지 센서를 구비한 촬상 장치의 이미지 시그널 프로세서에서 수행되는 수직 동기 신호 지연 출력 방법에 있어서,In the vertical synchronization signal delay output method performed in the image signal processor of the image pickup device having an image sensor, 캡쳐 명령을 입력받는 단계;Receiving a capture command; 인코딩부로부터 k(자연수)번째 프레임에 대한 수직 동기 신호를 입력받는 단계;Receiving a vertical synchronization signal for a k (natural number) th frame from the encoder; k+1번째 프레임에 대한 지연 제어 명령을 상기 이미지 센서로 전송하는 단계; 및transmitting a delay control command for a k + 1th frame to the image sensor; And 상기 k번째 프레임에 대한 인코딩 처리가 완료되면, 상기 이미지 센서로 복귀 제어 명령을 전송하는 단계를 포함하되,When the encoding process for the k-th frame is completed, transmitting a return control command to the image sensor, 상기 지연 제어 명령에 의해 상기 이미지 센서는 k+1번째 프레임에 상응하는 수직 동기 신호의 출력 구간을 확장하여 출력하고, 상기 복귀 제어 명령에 의해 상기 이미지 센서는 k+2번째 프레임에 대한 수직 동기 신호의 출력 구간의 길이 재조정 및 게인 값 재조정을 수행하는 것을 특징으로 하는 수직 동기 신호 지연 출력 방법.The image sensor extends the output period of the vertical synchronization signal corresponding to the k + 1th frame by the delay control command and outputs the vertical synchronization signal for the k + 2th frame by the return control command. And adjusting the length of the output section of the output section and the gain value. 제8항에 있어서,The method of claim 8, 상기 이미지 센서에서 출력하는 상기 수직 동기 신호의 출력 구간의 종단점은 상기 k번째 프레임의 인코딩이 완료된 시점과 동일하거나 후속하여 출력되고,The end point of the output period of the vertical synchronization signal output from the image sensor is output the same as or after the completion of the encoding of the k-th frame, 상기 종단점은 폴링 엣지(falling edge) 또는 라이징 엣지(rising edge)인 것을 특징으로 하는 수직 동기 신호 지연 출력 방법.And the endpoint is a falling edge or a rising edge. 제8항에 있어서The method of claim 8 상기 k번째 프레임에 대한 인코딩 완료 여부는 인코딩된 데이터들의 헤더(Header) 정보 및 테일(Tail) 정보를 이용하여 판단되는 것을 특징으로 하는 수직 동기 신호 지연 출력 방법.The encoding of the k-th frame is completed or not is determined using the header (Header) information and the tail (Tail) information of the encoded data, characterized in that the vertical synchronization signal delay output method.
KR1020060117767A 2006-11-27 2006-11-27 Method for outputting deferred vertical synchronous signal and image signal processor performing the method KR20070047729A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060117767A KR20070047729A (en) 2006-11-27 2006-11-27 Method for outputting deferred vertical synchronous signal and image signal processor performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060117767A KR20070047729A (en) 2006-11-27 2006-11-27 Method for outputting deferred vertical synchronous signal and image signal processor performing the method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR20050104607A Division KR100674474B1 (en) 2005-11-02 2005-11-02 Method for outputting deferred vertical synchronous signal and image signal processor performing the method

Publications (1)

Publication Number Publication Date
KR20070047729A true KR20070047729A (en) 2007-05-07

Family

ID=38272502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060117767A KR20070047729A (en) 2006-11-27 2006-11-27 Method for outputting deferred vertical synchronous signal and image signal processor performing the method

Country Status (1)

Country Link
KR (1) KR20070047729A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411153B2 (en) 2009-05-29 2013-04-02 Samsung Electronics Co., Ltd. Camera unit and multimedia information appliance including camera unit
KR20160142924A (en) 2015-06-03 2016-12-14 어드밴인터내셔널코프 Method and apparatus of V-Sync Delay Calculation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411153B2 (en) 2009-05-29 2013-04-02 Samsung Electronics Co., Ltd. Camera unit and multimedia information appliance including camera unit
KR20160142924A (en) 2015-06-03 2016-12-14 어드밴인터내셔널코프 Method and apparatus of V-Sync Delay Calculation

Similar Documents

Publication Publication Date Title
KR100591796B1 (en) Image processing method and apparatus
KR100685302B1 (en) Method for outputting deferred vertical synchronous signal and image signal processor performing the method
US8179452B2 (en) Method and apparatus for generating compressed file, and terminal comprising the apparatus
JP2001238190A (en) Image processing apparatus and its control processing method
KR100685300B1 (en) Method for transferring encoded data and image pickup device performing the method
KR100664550B1 (en) Method for transferring encoded data and image pickup device performing the method
KR100674474B1 (en) Method for outputting deferred vertical synchronous signal and image signal processor performing the method
KR100788983B1 (en) Method for transferring encoded data and image pickup device performing the method
KR20070047729A (en) Method for outputting deferred vertical synchronous signal and image signal processor performing the method
KR100664554B1 (en) Method for transferring encoded data and image pickup device performing the method
KR101666927B1 (en) Method and apparatus for generating a compressed file, and terminal having the apparatus
KR100854724B1 (en) Method for transferring encoded data and image pickup device performing the method
KR20070047730A (en) Method for transferring encoded data and image pickup device performing the method
KR100907465B1 (en) Method For Processing Of Imaging Signal And Signal Processor Perfoming The Same

Legal Events

Date Code Title Description
A107 Divisional application of patent
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid