KR100935541B1 - Method For Processing Of Imaging Signal And Signal Processor Perfoming The Same - Google Patents
Method For Processing Of Imaging Signal And Signal Processor Perfoming The Same Download PDFInfo
- Publication number
- KR100935541B1 KR100935541B1 KR1020070140703A KR20070140703A KR100935541B1 KR 100935541 B1 KR100935541 B1 KR 100935541B1 KR 1020070140703 A KR1020070140703 A KR 1020070140703A KR 20070140703 A KR20070140703 A KR 20070140703A KR 100935541 B1 KR100935541 B1 KR 100935541B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- image data
- processing
- signal
- frame
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000003384 imaging method Methods 0.000 title description 9
- 238000003672 processing method Methods 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 description 10
- 230000000295 complement effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
촬상된 이미지 신호를 처리하는 프로세서의 처리 부하를 경감시키고 촬상된 이미지 신호를 실시간으로 처리하여 표시할 수 있는 이미지 신호의 처리 방법 및 이를 수행하는 신호 처리 장치가 개시된다. 이미지 신호의 처리 방법은 촬상된 제1 이미지 프레임에 대한 제1 이미지 처리를 수행하여 제1 이미지 데이터를 생성하고, 동시에 제1 이미지 프레임에 대한 제2 이미지 처리를 수행하여 제2 이미지 데이터를 생성한 후 제1 수직 동기 신호에 기초하여 제1 이미지 데이터를 출력하고, 제1 이미지 프레임의 다음에 제공되는 제2 이미지 프레임에 대한 이미지 처리를 생략되도록 한 후 제2 이미지 데이터를 출력한다. 따라서, 촬상된 이미지에 대한 JPEG 포맷의 이미지 및 썸네일 이미지를 이미지 신호 처리 장치에서 생성함으로써 프로세서의 처리 부하를 경감시킬 수 있고, 전체적인 이미지 처리 속도를 향상시킬 수 있다.
촬상, 이미지 시그널 프로세서, JPEG, 인코더, 썸네일
Disclosed are a method of processing an image signal capable of reducing the processing load of a processor for processing an image signal and processing the image signal in real time and displaying the image signal. The image signal processing method may include generating first image data by performing first image processing on a captured first image frame and simultaneously generating second image data by performing second image processing on the first image frame. Then, the first image data is output based on the first vertical synchronization signal, and the second image data is output after the image processing for the second image frame provided next to the first image frame is omitted. Accordingly, by generating the JPEG format image and the thumbnail image of the captured image in the image signal processing apparatus, the processing load of the processor can be reduced, and the overall image processing speed can be improved.
Image capture, image signal processor, JPEG, encoder, thumbnail
Description
본 발명은 신호 처리 장치에 관한 것으로, 더욱 상세하게는 촬상된 이미지를 처리하는 신호 처리 장치에서 수행될 수 있는 이미지 신호 처리 방법 및 이를 수행하는 신호 처리 장치에 관한 것이다.The present invention relates to a signal processing apparatus, and more particularly, to an image signal processing method that can be performed in a signal processing apparatus for processing a captured image and a signal processing apparatus for performing the same.
최근 대용량의 화소를 구비한 촬상 소자가 핸드폰, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등과 같은 휴대용 단말기에 탑재되면서 휴대용 단말기를 통해서도 전용 디지털 카메라와 대등한 품질의 이미지나 동영상을 촬영할 수 있게 되었다.Recently, image capturing devices with large pixels have been installed in portable terminals such as mobile phones, PDAs (Personal Digital Assistants), and PMPs (Portable Multimedia Players). It became.
도 1은 일반적인 촬상 장치의 구성을 나타내는 블록도이다.1 is a block diagram showing the configuration of a general imaging device.
도 1을 참조하면, 일반적으로 휴대용 단말기에 탑재되는 촬상 장치는 이미지 센서(11), 이미지 시그널 프로세서(Image Signal Processor)(13), 백엔드 프로세서(Back-end processor)(15), 메모리(17) 및 디스플레이부(19)로 구성된다.Referring to FIG. 1, in general, an imaging apparatus mounted in a portable terminal includes an
이미지 센서(11)는 베이어 패턴(Bayer Pattern)을 가지는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-0xide Semiconductor) 이미지 센 서로 구성되고 단위 픽셀별로 렌즈를 통해 입력된 빛의 양에 상응하는 전기 신호를 출력한다.The
이미지 시그널 프로세서(13)는 이미지 센서(11)로부터 입력된 전기 신호(raw data)를 YUV 값으로 변환하고, 변환된 YUV 값을 백엔드 프로세서(15)에 제공한다. YUV 방식은 사람의 눈이 색상보다는 밝기에 민감하다는 사실을 이용한 방식으로, 색을 밝기(Luminance) 성분인 Y성분과 색차(Chrominance) 성분인 U와 V성분으로 구분한다. Y성분은 오차에 민감하므로 색상 성분인 U와 V보다 많은 비트로 인코딩되고 전형적인 Y:U:V의 비율은 4:2:2 이다.The
백엔드 프로세서(15)는 입력된 YUV값을 미리 지정된 인코딩 방법에 의해 JPEG(Joint Photographic Experts Group) 포맷의 이미지로 변환하여 메모리(17)에 저장하거나 JPEG 포맷으로 인코딩된 이미지를 디코딩하여 디스플레이부에 제공함으로써 촬영된 이미지가 표시되도록 한다. 또한, 백엔드 프로세서(15)는 메모리(17)에 저장된 JPEG 포맷의 이미지를 독출하여 디코딩한 후 썸네일(thumbnail) 이미지를 생성하여 디스플레이부(19)에 제공하거나, 생성된 썸네일 이미지를 메모리(17)에 저장한다.The
디스플레이부(19)는 백엔드 프로세서(15)로부터 제공된 디코딩된 이미지 신호 또는 썸네일 이미지 신호를 제공받고 이를 표시한다.The
일반적으로 촬상 장치를 통해 촬영된 이미지를 곧바로 확인하거나, 메모리에 저장된 복수의 이미지를 독출하여 표시할 때 저장부에 저장된 이미지를 신속하게 독출하고 사용자가 표시를 원하는 이미지를 신속하게 선택할 수 있도록 하기 위해 촬영된 원본 이미지를 소정 크기로 축소한 썸네일 이미지(축소화상)가 사용된다. In general, to immediately check the image taken by the image pickup device, or to read and display a plurality of images stored in the memory to quickly read the image stored in the storage and to allow the user to quickly select the desired image to display. A thumbnail image (reduced image) in which the original image captured is reduced to a predetermined size is used.
썸네일 이미지는 촬영된 이미지의 표시를 지시하는 이벤트 등과 같이 특정 이벤트가 발생하는 경우에 생성된다. 예를 들어, 촬영된 이미지의 표시를 지시하는 이벤트가 발생하면 JPEG 포맷으로 인코딩되어 저장된 이미지가 저장부로부터 독출되고, 독출된 이미지는 디코딩된 후 기설정된 크기로 축소(scaling)되어 썸네일 이미지가 생성되고 생성된 썸네일 이미지가 디스플레이부를 통해 표시된다. 또한, 생성된 썸네일 이미지는 JPEG 포맷으로 인코딩된 후 저장부에 저장될 수 있다.The thumbnail image is generated when a specific event occurs, such as an event indicating display of a captured image. For example, when an event indicating display of a captured image occurs, an image encoded and stored in JPEG format is read from the storage unit, and the read image is decoded and scaled to a preset size to generate a thumbnail image. The generated thumbnail image is displayed on the display unit. Also, the generated thumbnail image may be stored in the storage unit after being encoded in the JPEG format.
도 1에 도시된 바와 같은 촬상 장치를 구비한 휴대용 단말기에서 상술한 바와 같은 썸네일 이미지 생성 과정은 백엔드 프로세서 또는 멀티미디어 프로세서에 의해 수행된다.In the portable terminal having the imaging device as shown in FIG. 1, the thumbnail image generation process as described above is performed by a backend processor or a multimedia processor.
그러나, 최근에는 이미지 센서가 대용량의 화소를 구비하고 있기 때문에 촬영된 이미지의 데이터 용량이 크다. 따라서, 메모리에 저장된 JPEG 포맷의 이미지를 디코딩하여 썸네일 이미지를 생성하는 프로세서의 처리 부하가 커지게 되고 이로 인해 썸네일 이미지의 생성 속도가 현저하게 느려지고, 생성된 썸네일 이미지 품질이 저하되는 단점이 있다.However, recently, since the image sensor includes a large amount of pixels, the data capacity of the captured image is large. Therefore, a processing load of a processor for generating a thumbnail image by decoding an image of a JPEG format stored in a memory becomes large, which causes a disadvantage in that the generation speed of the thumbnail image is remarkably slowed and the generated thumbnail image quality is degraded.
또한, JPEG 포맷으로 인코딩된 이미지로부터 썸네일 이미지를 생성하기 위해서는 JPEG 포맷으로 인코딩된 데이터를 디코딩한 후 디코딩된 데이터를 먼저 메모리에 저장하여야 한다. 디코딩된 데이터는 JPEG으로 인코딩된 데이터에 비해 적어도 두 배 이상의 용량을 가지게 된다. 따라서, 용량이 작은 메모리를 구비하는 일반적인 휴대용 단말기를 고려할 때 상기와 같은 썸네일 이미지 생성 방법은 메모리 부족 현상을 초래하여 정상적으로 수행될 수 없는 단점이 있다.In addition, in order to generate a thumbnail image from an image encoded in the JPEG format, after decoding the data encoded in the JPEG format, the decoded data must first be stored in a memory. The decoded data has at least twice as much capacity as the data encoded in JPEG. Therefore, in consideration of a general portable terminal having a small memory, the above-described thumbnail image generation method has a disadvantage in that it cannot be performed normally due to insufficient memory.
따라서, 본 발명의 제1 목적은 촬상된 이미지 신호를 처리하는 프로세서의 처리 부하를 경감시키고 촬상된 이미지 신호를 실시간으로 처리하여 표시할 수 있는 촬상된 이미지 신호의 처리 방법을 제공하는 것이다.Accordingly, a first object of the present invention is to provide a method for processing a captured image signal that can reduce the processing load of a processor for processing the captured image signal and can process and display the captured image signal in real time.
또한, 본 발명의 제2 목적은 상기 촬상된 이미지 신호의 처리 방법을 수행하는 신호 처리 장치를 제공하는 것이다.Further, a second object of the present invention is to provide a signal processing apparatus for performing the method of processing the captured image signal.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 이미지 신호의 처리 방법은, 촬상된 제1 이미지 프레임에 대한 제1 이미지 처리를 수행하여 제1 이미지 데이터를 생성하는 단계와, 상기 제1 이미지 프레임에 대한 제2 이미지 처리를 수행하여 제2 이미지 데이터를 생성하는 단계와, 제1 수직 동기 신호에 기초하여 상기 제1 이미지 데이터를 출력하는 단계와, 상기 제1 이미지 프레임의 다음에 제공되는 제2 이미지 프레임에 대한 이미지 처리를 생략하는 단계 및 상기 제2 이미지 데이터를 출력하는 단계를 포함한다. 상기 제1 이미지 프레임에 대한 제1 이미지 처리를 수행하여 제1 이미지 데이터를 생성하는 단계는, 상기 제1 이미지 프레임을 스케일링(scaling)하여 축소된 상기 제1 이미지 데이터를 생성할 수 있다. 상기 제1 이미지 프레임에 대한 제2 이미지 처리를 수행하여 제2 이 미지 데이터를 생성하는 단계는, 상기 제1 이미지 프레임을 인코딩하여 소정 포맷으로 압축된 상기 제2 이미지 데이터를 생성할 수 있다. 상기 제1 수직 동기 신호에 기초하여 상기 제1 이미지 데이터를 출력하는 단계는, 상기 생성된 제2 이미지 데이터를 임시 저장하는 단계를 포함할 수 있다. 상기 이미지 신호의 처리 방법은 상기 제1 이미지 데이터가 출력된 후 상기 제2 이미지 데이터를 출력하기 위한 제3 수직 동기 신호에 기초하여 상기 제2 이미지 데이터를 출력하는 단계를 더 포함할 수 있다. 상기 제1 이미지 데이터가 출력된 후 상기 제2 이미지 데이터를 출력하기 위한 제3 수직 동기 신호에 기초하여 상기 제2 이미지 데이터를 출력하는 단계는 상기 제1 이미지 데이터의 출력이 완료되었는지를 판단하는 단계와, 상기 제1 이미지 데이터의 출력이 완료된 경우, 상기 제2 이미지 데이터의 저장이 완료되었는지를 판단하는 단계 및 상기 제2 이미지 데이터의 저장이 완료된 경우 상기 제3 수직 동기 신호에 기초하여 상기 제2 이미지 데이터를 출력하는 단계를 포함할 수 있다. According to an aspect of the present invention, there is provided a method of processing an image signal, the method including: generating first image data by performing first image processing on a first image frame photographed; Performing second image processing on the first image frame to generate second image data; outputting the first image data based on a first vertical synchronization signal; Omitting image processing for the second image frame provided next, and outputting the second image data. In the generating of the first image data by performing first image processing on the first image frame, the first image data may be generated by scaling the first image frame. The generating of the second image data by performing the second image processing on the first image frame may generate the second image data compressed by a predetermined format by encoding the first image frame. The outputting of the first image data based on the first vertical synchronization signal may include temporarily storing the generated second image data. The image signal processing method may further include outputting the second image data based on a third vertical synchronization signal for outputting the second image data after the first image data is output. The outputting of the second image data based on a third vertical synchronization signal for outputting the second image data after the first image data is output may include determining whether output of the first image data is completed. And when the output of the first image data is completed, determining whether storage of the second image data is completed, and when the storage of the second image data is completed, based on the third vertical synchronization signal. And outputting the image data.
또한, 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 촬상된 이미지 신호의 처리 방법을 수행하는 신호 처리 장치는 제공된 제1 이미지 프레임에 대한 제1 이미지 처리를 수행하여 제1 이미지 데이터를 생성하는 제1 신호 처리부와, 상기 제공된 제1 이미지 프레임에 대한 제2 이미지 처리를 수행하여 제2 이미지 데이터를 생성하는 제2 신호 처리부와, 제1 수직 동기 신호에 기초하여 상기 제1 이미지 데이터가 출력되도록 제어하고, 상기 제1 이미지 프레임의 다음에 제공되는 제2 이미지 프레임에 대한 이미지 처리를 생략하도록 제어하는 제어부 및 상기 제1 신호처리부 및 상기 제2 신호 처리부로부터 각각 제공된 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 출력하는 출력 제어부를 포함한다. 상기 신호 처리 장치는 상기 제1 수직 동기 신호에 기초하여 상기 제1 이미지 프레임을 출력하는 전처리부 및 상기 제어부의 제어에 기초하여 제2 이미지 데이터가 저장되는 프레임 메모리를 더 포함할 수 있다. 상기 제어부는 상기 제1 수직 동기 신호에 기초하여 상기 제1 이미지 데이터가 출력되도록 제어함과 동시에 상기 제2 이미지 데이터를 상기 프레임 메모리에 저장할 수 있다. 상기 출력 제어부는 상기 제1 이미지 데이터를 출력한 후 상기 제2 이미지 데이터가 상기 프레임 메모리에 저장이 완료되면 상기 제3 수직 동기 신호를 생성하고 상기 제2 이미지 데이터를 상기 프레임 메모리로부터 독출한 후 상기 독출된 제2 이미지 데이터를 상기 제3 수직 동기 신호에 동기시켜 출력할 수 있다. 상기 제1 신호 처리부는 상기 제1 이미지 프레임을 스케일링(scaling)하여 축소된 상기 제1 이미지 데이터를 생성할 수 있다. 상기 제2 신호 처리부는 상기 제1 이미지 프레임을 인코딩하여 소정 포맷으로 압축된 상기 제2 이미지 데이터를 생성할 수 있다.In addition, the signal processing apparatus for performing the method of processing the captured image signal according to an aspect of the present invention for achieving the second object of the present invention performs a first image processing on the provided first image frame to the first image A first signal processor for generating data, a second signal processor for generating second image data by performing second image processing on the provided first image frame, and the first image based on a first vertical synchronization signal A control unit for controlling data to be output and controlling to omit image processing on a second image frame provided next to the first image frame, and the first image provided from the first signal processing unit and the second signal processing unit, respectively. And an output controller configured to output data and the second image data. The signal processing apparatus may further include a preprocessor for outputting the first image frame based on the first vertical synchronization signal and a frame memory in which second image data is stored based on control of the controller. The controller may control the first image data to be output based on the first vertical synchronization signal and simultaneously store the second image data in the frame memory. After outputting the first image data, the output control unit generates the third vertical synchronization signal when the second image data is completely stored in the frame memory, reads the second image data from the frame memory, and then The read second image data may be output in synchronization with the third vertical synchronization signal. The first signal processor may generate the reduced first image data by scaling the first image frame. The second signal processor may generate the second image data compressed in a predetermined format by encoding the first image frame.
상기와 같은 촬상된 이미지 신호의 처리 방법 및 이를 수행하는 신호 처리 장치에 따르면, 전처리부에서 제공된 제1 이미지 프레임에 대해 JPEG 이미지 데이터 및 썸네일 이미지 데이터를 동시에 생성한 후 생성된 썸네일 이미지 데이터는 제1 수직 동기 신호에 동기시켜 출력하고, JPEG 이미지 데이터는 프레임 메모리에 저장한다. 여기서, 상기 제1 수직 동기 신호 다음의 제2 수직 동기 신호는 생성되지 않도록 생략함으로써 제1 이미지 프레임의 썸네일 이미지 데이터 및 JPEG 이미 지 데이터의 출력이 완료되기 전에 제2 이미지 프레임이 입력되는 것을 방지한다. 썸네일 이미지의 출력이 완료되고 프레임 메모리에 JPEG 이미지의 저장이 완료되면 새로운 수직 동기 신호를 생성한 후 생성된 수직 동기 신호에 동기시켜 JPEG 이미지 데이터를 출력한다.According to the method of processing the captured image signal as described above, and the signal processing apparatus for performing the same, the thumbnail image data generated after simultaneously generating JPEG image data and thumbnail image data for the first image frame provided by the preprocessing unit may be a first image. It outputs in synchronization with the vertical synchronizing signal, and stores JPEG image data in the frame memory. Here, the second vertical sync signal following the first vertical sync signal is omitted so that the second image frame is not input before the thumbnail image data and the JPEG image data of the first image frame are output. . When the output of the thumbnail image is completed and the storage of the JPEG image in the frame memory is completed, a new vertical synchronizing signal is generated and then the JPEG image data is output in synchronization with the generated vertical synchronizing signal.
따라서, 이미지 촬영시 촬상된 이미지에 대한 JPEG 포맷의 이미지 및 썸네일 이미지를 동시에 생성하고 생성된 JPEG 포맷의 이미지 및 썸네일 이미지를 백엔드 프로세서에 실시간으로 연속적으로 제공함으로써 썸네일 이미지를 실시간으로 표시할 수 있게 되고 이로 인해 촬영될 이미지를 확인한 후 촬영할 수 있게 된다.Therefore, it is possible to display thumbnail images in real time by simultaneously generating a JPEG format image and a thumbnail image of the captured image and continuously providing the generated JPEG format image and thumbnail image to the backend processor in real time. This makes it possible to check the image to be photographed before shooting.
또한, 촬상된 이미지에 대한 JPEG 포맷의 이미지 및 썸네일 이미지를 이미지 신호 처리 장치에서 생성함으로써 프로세서의 처리 부하를 경감시킬 수 있고, 전체적인 이미지 처리 속도를 향상시킬 수 있다.In addition, by generating an image and a thumbnail image of the JPEG format for the captured image in the image signal processing apparatus can reduce the processing load of the processor, it is possible to improve the overall image processing speed.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the drawings, similar reference numerals are used for similar elements.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나 의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. In the following description of the present invention, the same reference numerals are used for the same elements in the drawings and redundant descriptions of the same elements will be omitted.
도 2는 본 발명의 일 실시예에 따른 촬상 장치의 구성을 나타내는 블록도이다.2 is a block diagram showing the configuration of an imaging device according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 촬상 장치는 이미지 센서(100), 이미지 신호 처리 장치(200), 백엔드 프로세서(300), 저장부(400) 및 디스플레이부(500)를 포함한다.Referring to FIG. 2, an imaging device according to an embodiment of the present invention includes an
또한, 이미지 신호 처리 장치(200)는 전처리부(210), 프레임 메모리(220), JPEG 인코더(230), 썸네일 이미지 생성부(240), 제어부(250) 및 출력 제어부(260)를 포함한다.In addition, the image
이미지 센서(100)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-0xide Semiconductor) 이미지 센서로 구성될 수 있고, 베이어 패턴(Bayer Pattern)을 가질 수 있다. The
이미지 센서(100)는 복수의 픽셀로 구성되고 각 픽셀은 렌즈를 통해 입사된 빛의 양에 상응하는 원시 이미지 데이터(raw data)를 출력한다.The
전처리부(210)는 이미지 센서(100)로부터 원시 이미지 데이터를 제공받고, 제공받은 원시 이미지 데이터에 대해 컬러 모델 변환(Color Space Transformation), 필터링(Filtering), 다운 샘플링(Color Subsampling) 등과 같은 전처리 과정을 수행한 후 처리된 이미지 데이터를 JPEG 인코더(230) 및 썸네일 이미지 생성부(240)에 제공한다.The
여기서, 전처리부(210)는 처리된 이미지 데이터를 수직 동기 신호 및 유효 데이터 인에이블 신호에 기초하여 프레임 단위로 JPEG 인코더(230) 및 썸네일 이미지 생성부(240)에 제공한다.Here, the
컬러 모델 변환은 화질을 손상시키지 않고 데이터의 양을 줄이기 위해 RGB 컬러 모델을 YUV모델로 변환하는 처리 과정을 의미하고, 필터링은 로패스 필터를 통해 이미지를 평활화(smoothing)하는 과정으로 보기 쉬운 이미지를 얻기 위한 처리 과정이다. 또한, 다운 샘플링은 Y값은 모두 사용하고 다른 값들은 일부만 사용하고 일부는 버리는 등의 방법으로 색차 신호 성분을 다운 샘플링하는 처리 과정이다.Color model conversion refers to a process of converting an RGB color model to a YUV model in order to reduce the amount of data without compromising image quality. Filtering is a process of smoothing an image through a low pass filter. It is a processing process to obtain. In addition, downsampling is a process of downsampling a chrominance signal component by using all of the Y values, using only some of the other values, and discarding some of them.
프레임 메모리(220)는 제어부(250)의 제어에 기초하여 JPEG 인코더(230)에서 출력된 JPEG 포맷의 이미지 데이터 또는 썸네일 이미지 생성부(240)에서 출력된 썸네일 이미지 데이터를 임시 저장하는 메모리이다.The
JPEG 인코더(230)는 전처리부(210)로부터 제공된 원시 이미지 데이터를 인코 딩하여 JPEG 포맷으로 압축된 이미지를 생성한다.The
즉, JPEG 인코더(230)는 미리 정의된 블록단위(예를 들면, 8ㅧ8 픽셀)별로 이미지 데이터를 이산 여현 변환(DCT: Discrete Cosine Transform), 양자화(Quantization) 및 엔트로피 인코딩(entropy encoding) 등을 수행하여 JPEG 이미지 데이터를 생성한다. JPEG 인코딩 과정은 당업자에게는 공지된 기술에 해당하므로 상세한 설명을 생략한다.That is, the
또한, JPEG 인코더(230)는 제어부(250)의 제어에 기초하여 생성된 JPEG 이미지 데이터를 프레임 메모리(220)에 저장하거나 출력 제어부(260)에 제공할 수 있다. In addition, the
썸네일 이미지 생성부(240)는 전처리부(210)로부터 제공된 원시 이미지 데이터를 스케일링(scaling)하여 기설정된 썸네일 이미지 사이즈 및 썸네일 이미지 포맷으로 변환한다. 썸네일 이미지 생성부(240)는 썸네일 이미지 생성을 위해 이미지 조절기(image scaler)를 포함할 수 있고, 썸네일 이미지 포맷은 RGB 또는 YUV 포맷이 될 수 있다. The
썸네일 이미지 생성부(240)로부터 생성된 썸네일 이미지는 제어부(250)의 제어에 기초하여 출력 제어부(260)에 제공되거나, 프레임 메모리(220)에 저장될 수 있다.The thumbnail image generated from the
제어부(250)는 출력 제어부(260)로 제공되는 JPEG 이미지 데이터 및/또는 썸네일 이미지 데이터를 제어한다.The
구체적으로, 제어부(250)는 제1 수직 동기 신호에 기초하여 썸네일 이미지 생성부(240)에서 생성된 제1 이미지 프레임의 썸네일 이미지 데이터가 출력 제어부(260)로 제공되도록 하고 JPEG 인코더(230)에서 생성된 제1 이미지 프레임의 JPEG 이미지 데이터가 프레임 메모리(220)에 저장되도록 제어한다.In detail, the
또는, 제어부(250)는 제1 수직 동기 신호에 기초하여 제1 이미지 프레임의 썸네일 이미지 데이터가 프레임 메모리(220)에 저장되고, 제1 이미지 프레임의 JPEG 이미지 데이터가 출력 제어부(260)로 제공되도록 제어한다.Alternatively, the
또한, 제어부(250)는 제1 수직 동기 신호(V_sync1, 도 4 참조) 다음에 이어지는 제2 수직 동기 신호(V_sync2, 도 4 참조)가 생성되지 않고 생략(skip)되도록 전처리부(210)를 제어함으로써 상기 제1 이미지 프레임의 썸네일 이미지 데이터 및 JPEG 이미지 데이터가 출력 제어부(260)를 통해 출력되는 동안 새로운 이미지 프레임이 제2 수직 동기 신호에 동기되어 전처리부(210)에서 출력되지 않도록 제어한다.In addition, the
즉, 제어부(250)는 상기 제1 이미지 프레임의 다음에 제공되는 제2 이미지 프레임에 대한 이미지 처리를 생략함으로써 제2 이미지 프레임에 대한 썸네일 이미지 데이터 및/또는 JPEG 이미지 데이터가 생성되지 않도록 제어 한다.That is, the
도 2에서는 제어부(250)가 제2 수직 동기 신호가 생성되지 않도록 제어함으로써 제2 이미지 프레임에 대한 이미지 처리를 생략하는 것으로 예를 들어 설명하였으나, 본 발명의 다른 실시예에서는 생성된 제2 수직 동기 신호를 무시함으로써 제2 이미지 프레임에 대한 이미지 처리가 생략되도록 구성될 수도 있다.In FIG. 2, the
출력 제어부(260)는 제어부(250)와 연동하여 이미지 신호 처리 장치(200)의 최종 출력을 제어하는 역할을 수행한다. 즉, 출력 제어부(260)는 제1 수직 동기 신호에 기초하여 제1 이미지 프레임의 썸네일 이미지 데이터를 출력한 후, 프레임 메모리(220)에 제1 이미지 프레임의 JPEG 이미지 데이터의 저장이 완료되었는지를 판단하고, 저장이 완료된 것으로 판단되면 새로운 수직 동기 신호 및 유효 데이터 인에이블 신호를 생성하고, 프레임 메모리(220)로부터 JPEG 이미지 데이터를 독출한 후 생성된 수직 동기 신호 및 유효 데이터 인에이블 신호에 동기시켜 JPEG 이미지 데이터를 출력한다.The
백엔드 프로세서(300)는 출력 제어부(260)로부터 제공된 JPEG 이미지 데이터를 제공받고 제공받은 JPEG 이미지 데이터를 저장부(400)에 저장하거나, 디코딩한 후 디스플레이부(500)에 제공함으로써 JPEG 이미지 데이터가 표시되도록 한다.The
또한, 백엔드 프로세서(300)는 출력 제어부(260)로부터 썸네일 이미지 데이터를 제공받고, 제공받은 썸네일 이미지 데이터를 디스플레이부(500)에 제공함으로써 썸네일 이미지 데이터를 곧바로 표시하거나, 썸네일 이미지 데이터를 인코딩하여 JPEG 포맷으로 변환한 후 저장부(400)에 저장한다.In addition, the
백엔드 프로세서(300)는 상기와 같이 출력 제어부(260)로부터 JPEG 이미지 데이터 및 썸네일 이미지 데이터를 제공받기 위해 종래의 백엔드 프로세서(300)와 동일한 수직 동기 신호(V_sync), 유효 데이터 인에이블 신호(H_ref) 및 데이터 인터페이스를 구비한다.The
따라서, 본 발명의 일 실시예에 따른 이미지 신호 처리 장치에서는 종래와 동일한 인터페이스를 통해 실시간으로 JPEG 이미지 데이터 및 썸네일 이미지 데이 터를 백엔드 프로세서에 제공할 수 있다.Accordingly, the image signal processing apparatus according to an embodiment of the present invention may provide JPEG image data and thumbnail image data to the backend processor in real time through the same interface as in the prior art.
저장부(400)는 백엔드 프로세서(300)의 제어에 기초하여 JPEG 포맷의 이미지 데이터 및/또는 썸네일 이미지 데이터를 저장한다.The
디스플레이부(500)는 예를 들어, 액정디스플레이장치(LCD: Liquid Crystal Display) 또는 유기전계발광장치(OLED: Organic Light Emitting Diodes) 등과 같은 장치로 구성될 수 있고, 백엔드 프로세서(300)로부터 제공된 JPEG 이미지 데이터 또는 썸네일 이미지 데이터를 표시한다.The
도 2에 도시된 본 발명의 일 실시예에 따른 이미지 신호 처리 장치에서는 제어부(250)가 수직 동기 신호를 제어함으로써 제1 이미지 프레임의 썸네일 이미지 데이터 및 JPEG 이미지가 출력되는 동안 제2 이미지 프레임이 전처리부(210)로부터 출력되는 것을 방지하는 것으로 예를 들어 설명하였으나, 본 발명의 다른 실시예에서는 출력 제어부(260)가 직접적으로 수직 동기 신호를 제어하거나 제어부(250)와 연동하여 수직 동기 신호를 제어할 수 있음은 자명하다.In the image signal processing apparatus according to the exemplary embodiment of the present invention illustrated in FIG. 2, the
도 3은 본 발명의 일 실시예에 따른 이미지 신호 처리 장치의 동작을 나타내는 타이밍도로서, 전처리부의 입력(601), JPEG 인코더의 출력(603) 및 썸네일 이미지 생성부의 출력(605)에 대한 타이밍도를 나타낸다.3 is a timing diagram illustrating an operation of an image signal processing apparatus according to an exemplary embodiment of the present invention, and is a timing diagram of an
도 3을 참조하면, 전처리부(210)는 제1 수직 동기 신호(V_sync1)의 하강 에지(falling edge 또는 negative edge) 및 유효 데이터 인에이블 신호(H_ref1)에 기초하여 이미지 센서(100)로부터 제1 이미지 프레임을 입력받는다. 또한, 전처리 부(210)는 제2 수직 동기 신호(V_sync2) 및 유효 데이터 인에이블 신호에 기초하여 이미지 센서(100)로부터 제2 이미지 프레임을 입력받는다.Referring to FIG. 3, the
JPEG 인코더(230)는 전처리부(210)로부터 제공된 제1 이미지 프레임을 인코딩하여 JPEG 포맷의 이미지 데이터를 생성한 후 생성된 JPEG 이미지 데이터를 제1 수직 동기 신호(V_sync1) 및 유효 데이터 인에이블 신호(H_ref2)에 기초하여 출력한다.The
여기서 상기 JPEG 이미지 데이터는 제1 수직 동기 신호(V_sync1)의 하강 에지로부터 지연시간(d1) 후에 출력될 수 있고, 상기 지연시간(d1)은 JPEG 인코더(230)가 제1 이미지 프레임 데이터를 블록 단위로 인코딩하기 위해 필요한 라인 데이터를 독출하는 라인 지연(line delay) 시간에 해당한다.Here, the JPEG image data may be output after a delay time d1 from the falling edge of the first vertical sync signal V_sync1, and the delay time d1 is determined by the
썸네일 이미지 생성부(240)는 전처리부(210)로부터 제공된 제1 이미지 프레임을 스케일링 하여 기설정된 썸네일 이미지 사이즈 및 썸네일 이미지 포맷(예를 들면, RGB 또는 YUV)을 가지는 썸네일 이미지 데이터를 생성한 후, 생성된 썸네일 이미지 데이터를 제1 수직 동기 신호(V_sync1) 및 유효 데이터 인에이블 신호(H_ref3)에 기초하여 출력한다.The
여기서, 상기 썸네일 이미지 데이터는 제1 수직 동기 신호(V_sync1)의 하강 에지로부터 지연시간(d2) 후에 출력될 수 있고, 상기 지연시간(d2)은 전처리부(210)의 전처리 시간에 해당한다.Here, the thumbnail image data may be output after a delay time d2 from the falling edge of the first vertical synchronization signal V_sync1, and the delay time d2 corresponds to the preprocessing time of the
여기서, 상기 수직 동기 신호(V_sync)는 이미지 센서(100)로부터 제공될 수 있고, 동일한 주기를 가질 수 있다.Here, the vertical synchronization signal V_sync may be provided from the
도 4는 본 발명의 일 실시예에 따른 이미지 신호 처리 장치의 출력을 나타내는 타이밍도로서, 전처리부의 출력(607) 및 출력 제어부의 출력(609)에 대한 타이밍도를 나타낸다.4 is a timing diagram illustrating an output of an image signal processing apparatus according to an exemplary embodiment, and illustrates timing diagrams of an
도 4를 참조하면, 전처리부(210)는 제1 수직 동기 신호(V_sync1)에 기초하여 전처리된 제1 이미지 프레임 데이터를 출력한다.Referring to FIG. 4, the
제1 이미지 프레임 데이터는 JPEG 인코더(230)에 입력되고 JPEG 인코더(230)는 제공받은 제1 이미지 프레임 데이터를 인코딩하여 JEPG 이미지 데이터를 생성한다. 생성된 JPEG 이미지 데이터는 제어부(250)의 제어에 기초하여 프레임 메모리(220)에 저장된다.The first image frame data is input to the
또한, 이와 동시에 전처리부(210)로부터 출력된 제1 프레임 데이터는 썸네일 이미지 생성부(240)에 입력되고, 썸네일 이미지 생성부(240)는 제1 이미지 프레임 데이터를 스케일링(scaling) 하여 기설정된 썸네일 이미지 사이즈 및 썸네일 이미지 포맷(예를 들면, RGB 또는 YUV)을 가지는 썸네일 이미지 데이터를 생성한다. 생성된 썸네일 이미지 데이터는 제어부(250)의 제어에 기초하여 출력 제어부(260)에 제공된다.In addition, at the same time, the first frame data output from the
이후, 제어부(250)는 전처리부(210)의 출력 동기 신호인 제2 수직 동기 신호(V_sync2)가 생성되지 않고 생략되도록 수직 동기 신호를 제어함으로써 제2 이미지 프레임 데이터가 전처리부(210)에서 출력되지 않도록 한다.Thereafter, the
상기와 같이, 전처리부(210)에서 제2 수직 동기 신호(V_sync2)가 생략됨에 따라 제2 이미지 프레임 데이터가 전처리부(210)로부터 JPEG 인코더(230) 및 썸네일 이미지 생성부(240)에 제공되지 않게 되고, 도 3에 도시된 바와 같이 JPEG 인코더(203) 및 썸네일 이미지 생성부는 각각 JPEG 이미지 데이터 및 썸네일 이미지 데이터를 출력하지 않게 된다.As described above, as the second vertical synchronization signal V_sync2 is omitted in the
즉, 제어부(250)는 JPEG 인코더(230)에서 인코딩된 JPEG 이미지 데이터 및 썸네일 이미지 생성부(240)에서 생성된 썸네일 이미지 데이터가 실시간으로 연속적으로 출력되도록 하기 위해 제1 수직 동기 신호(V_sync1)에 기초하여 제1 이미지 프레임의 썸네일 이미지 데이터가 출력 제어부(260)에 제공되고, 제1 이미지 프레임의 JPEG 이미지 데이터는 프레임 메모리(220)에 저장되도록 제어한 후, 제2 수직 동기 신호(V_sync2)가 생략되도록 제어함으로써 출력 제어부(260)를 통해 제1 프레임의 썸네일 이미지 데이터 및 JPEG 이미지 데이터가 모두 출력되기 전까지 새로운 이미지 프레임이 전처리부(210)에서 출력되지 않도록 한다.That is, the
출력 제어부(260)는 썸네일 이미지 생성부(240)로부터 제공된 제1 이미지 프레임의 썸네일 이미지 데이터를 제1 수직 동기 신호(V_sync1)에 기초하여 출력하고, 상기 썸네일 이미지 데이터의 출력이 완료되면 제1 이미지 프레임을 인코딩한 JPEG 이미지 데이터가 프레임 메모리(220)에 저장이 완료되었는지를 확인한다.The
여기서, 상기 썸네일 이미지 데이터의 크기는 고정된 크기를 가질 수 있기 때문에 출력 제어부(260)는 상기 썸네일 이미지 데이터의 크기를 고려하여 썸네일 이미지 데이터의 출력 완료 여부를 판단할 수 있다.Here, since the size of the thumbnail image data may have a fixed size, the
출력 제어부(260)는 상기 JPEG 이미지 데이터가 프레임 메모리(220)에 저장 이 완료된 것으로 판단되면, 새로운 제3 수직 동기 제어 신호(V_sync3) 및 유효 데이터 인에이블 신호(H_ref6)를 생성하고, 프레임 메모리(220)에 저장된 상기 JPEG 이미지 데이터를 독출한 후 생성된 제3 수직 동기 제어 신호(V_sync3) 및 유효 데이터 인에이블 신호(H_ref6)에 동기시켜 JPEG 이미지 데이터를 출력한다.When it is determined that the JPEG image data is completely stored in the
도 4에서는 제1 수직 동기 신호(V_sync1)에 기초하여 썸네일 이미지 데이터가 먼저 출력되고 프레임 메모리(220)에 저장된 JPEG 데이터가 출력되는 것으로 예를 들어 설명하였으나, 본 발명의 다른 실시예에서는 제1 수직 동기 신호(V_sync1)에 기초하여 제1 이미지 프레임의 JPEG 이미지 데이터가 먼저 출력된 후 제1 이미지 프레임의 썸네일 이미지 데이터가 출력되도록 구성될 수도 있음은 당업자에게 자명하다.In FIG. 4, the thumbnail image data is first output based on the first vertical sync signal V_sync1, and the JPEG data stored in the
즉, 제어부(250)는 제1 수직 동기 신호(V_sync1)에 기초하여 JPEG 인코더(230)에서 생성된 제1 이미지 프레임의 JPEG 이미지 데이터를 출력 제어부(260)에 제공하고, 동시에 썸네일 이미지 생성부(240)에서 생성된 제1 이미지 프레임의 썸네일 이미지 데이터를 프레임 메모리(220)에 저장할 수 있다. 그리고, 출력 제어부(260)는 제1 수직 동기 신호(V_sync1)에 기초하여 상기 JPEG 이미지 데이터를 출력하고 상기 썸네일 이미지 데이터가 프레임 메모리(220)에 저장이 완료되었는지를 확인한 후 새로운 제3 수직 동기 신호(V_sync3) 및 유효 데이터 인에이블 신호(H_ref6)를 생성하고, 생성된 제3 수직 동기 신호(V_sync3) 및 유효 데이터 인에이블 신호(H_ref6)에 기초하여 독출된 썸네일 이미지 데이터를 출력할 수도 있다.That is, the
또한, 도 4에서는 제1 이미지 프레임의 썸네일 이미지 데이터를 제1 수직 동 기 신호(V_sync1)에 기초하여 출력한 후, 새로운 제3 수직 동기 제어 신호(V_sync3)에 기초하여 JPEG 이미지 데이터를 출력하는 것으로 예를 들어 설명하였으나, 본 발명의 다른 실시예에서는 제1 이미지 프레임의 썸네일 이미지 데이터가 제1 수직 동기 신호(V_sync1)에 기초하여 출력된 후 바로 이어서 제1 이미지 프레임의 JPEG 이미지 데이터가 출력되도록 구성할 수도 있다.In addition, in FIG. 4, the thumbnail image data of the first image frame is output based on the first vertical synchronization signal V_sync1, and then JPEG image data is output based on the new third vertical synchronization control signal V_sync3. For example, in another embodiment of the present invention, after the thumbnail image data of the first image frame is output based on the first vertical synchronization signal V_sync1, the JPEG image data of the first image frame is immediately output. You may.
도 4에 도시된 바와 같이 본 발명의 일 실시예에 따른 이미지 신호의 처리 방법에서는 이미지 신호 처리 장치(200)에서 제1 이미지 프레임의 JPEG 이미지 데이터 및 썸네일 이미지 데이터를 동시에 생성하고, 제1 수직 동기 신호(V_sync1) 다음에 이어지는 제2 수직 동기 신호(V_sync2)가 생략되도록 하여 제1 이미지 프레임의 JPEG 이미지 데이터 및 썸네일 이미지 데이터가 연속적으로 출력되는 동안 새로운 이미지 프레임의 JPEG 이미지 및 썸네일 이미지 데이터가 생성되는 것을 방지한다.As shown in FIG. 4, in the image signal processing method according to the exemplary embodiment of the present invention, the image
상기 이미지 신호 처리 장치(200)에서 출력된 썸네일 이미지 데이터는 백엔드 프로세서(300)의 제어에 의해 디스플레이부(500)에 직접적으로 제공됨으로써 촬영된 이미지가 실시간으로 화면에 표시될 수 있다. 또한, 이미지 신호 처리 장치(200)에서 상기 썸네일 이미지 데이터와 연속적으로 출력된 JPEG 이미지 데이터는 백엔드 프로세서(300)의 제어에 의해 저장부(400)에 저장되거나 디코딩된 후 디스플레이부(500)에 제공되어 표시될 수 있다.The thumbnail image data output from the image
종래의 촬상 장치에서는 이미지를 촬영하면 촬영된 이미지가 소정의 이미지 포맷(예를 들면, JPEG 포맷)으로 저장되고 촬영된 이미지를 확인하기 위해서는 저 장된 이미지를 디코딩하여 표시하거나 저장된 이미지를 독출하여 썸네일 이미지를 생성한 후 생성된 썸네일 이미지를 표시함으로써 처리 시간이 길어지고, 촬영된 이미지를 실시간으로 확인할 수 없는 문제가 있었다. 그러나, 본 발명의 일 실시예에 따른 이미지 신호의 처리 방법에서는 이미지 촬영시 촬상된 이미지를 인코딩하여 JPEG 포맷의 이미지를 생성하고 동시에 촬상된 이미지를 스케일링하여 썸네일 이미지를 생성한 후 실시간으로 화면에 표시하기 때문에 촬영될 이미지를 실시간으로 확인한 후 촬영할 수 있도록 함으로써 종래의 단점을 해결할 수 있다.In a conventional imaging apparatus, when an image is taken, the captured image is stored in a predetermined image format (eg, JPEG format), and in order to check the captured image, the stored image is decoded and displayed or a stored image is read and a thumbnail image is displayed. Processing time is longer by displaying the generated thumbnail image after generating the, and there was a problem that can not check the captured image in real time. However, in the image signal processing method according to an exemplary embodiment of the present invention, an image captured in an image is encoded to generate an image in JPEG format, and at the same time, a thumbnail image is generated by scaling the captured image and displayed on the screen in real time. Therefore, the conventional disadvantages can be solved by allowing the user to capture the image to be photographed in real time.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described with reference to the embodiments above, those skilled in the art will understand that the present invention can be variously modified and changed without departing from the spirit and scope of the invention as set forth in the claims below. Could be.
도 1은 일반적인 촬상 장치의 구성을 나타내는 블록도이다.1 is a block diagram showing the configuration of a general imaging device.
도 2는 본 발명의 일 실시예에 따른 촬상 장치의 구성을 나타내는 블록도이다.2 is a block diagram showing the configuration of an imaging device according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 이미지 신호 처리 장치의 동작을 나타내는 타이밍도이다.3 is a timing diagram illustrating an operation of an image signal processing apparatus according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 이미지 신호 처리 장치의 출력을 나타내는 타이밍도이다.4 is a timing diagram illustrating an output of an image signal processing apparatus according to an embodiment of the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
100 : 이미지 센서 200 : 이미지 신호 처리 장치 100: image sensor 200: image signal processing device
210 : 전처리부 220 : 프레임 메모리210: preprocessor 220: frame memory
230 : JPEG 인코더 240 : 썸네일 이미지 생성부230: JPEG encoder 240: thumbnail image generator
250 : 제어부 260 : 출력 제어부250: control unit 260: output control unit
300 : 백엔드 프로세서 400 : 저장부300: back end processor 400: storage
500 : 디스플레이부500: display unit
Claims (12)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070140703A KR100935541B1 (en) | 2007-12-28 | 2007-12-28 | Method For Processing Of Imaging Signal And Signal Processor Perfoming The Same |
US12/343,284 US20090167888A1 (en) | 2007-12-28 | 2008-12-23 | Methods of processing imaging signal and signal processing devices performing the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070140703A KR100935541B1 (en) | 2007-12-28 | 2007-12-28 | Method For Processing Of Imaging Signal And Signal Processor Perfoming The Same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090072556A KR20090072556A (en) | 2009-07-02 |
KR100935541B1 true KR100935541B1 (en) | 2010-01-07 |
Family
ID=41329764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070140703A KR100935541B1 (en) | 2007-12-28 | 2007-12-28 | Method For Processing Of Imaging Signal And Signal Processor Perfoming The Same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100935541B1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101396409B1 (en) | 2009-10-08 | 2014-05-19 | 삼성전자주식회사 | Moving-image photographing apparatus and method thereof |
KR102124188B1 (en) | 2013-03-13 | 2020-06-26 | 삼성전자주식회사 | Electronic device and method for processing image |
KR102398027B1 (en) * | 2015-07-03 | 2022-05-17 | 삼성전자주식회사 | Dynamic preview display method of electronic apparatus and electronic apparatus thereof |
KR102433293B1 (en) * | 2015-12-24 | 2022-08-18 | 삼성전자주식회사 | Electronic device and operating method thereof |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002330326A (en) | 2001-04-27 | 2002-11-15 | Matsushita Electric Ind Co Ltd | Camera system and electronic device provided with the camera system |
KR20050087285A (en) * | 2004-02-26 | 2005-08-31 | 삼성전자주식회사 | Image sensing data processing apparatus and method capable of simultaneously display processing and data compressing |
KR20060113471A (en) * | 2005-04-27 | 2006-11-02 | 소니 가부시끼 가이샤 | Imaging device, processing method of the device, and program for executing the method by computer |
KR20070092582A (en) * | 2006-03-09 | 2007-09-13 | 삼성전자주식회사 | Apparatus and method for image processing |
-
2007
- 2007-12-28 KR KR1020070140703A patent/KR100935541B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002330326A (en) | 2001-04-27 | 2002-11-15 | Matsushita Electric Ind Co Ltd | Camera system and electronic device provided with the camera system |
KR20050087285A (en) * | 2004-02-26 | 2005-08-31 | 삼성전자주식회사 | Image sensing data processing apparatus and method capable of simultaneously display processing and data compressing |
KR20060113471A (en) * | 2005-04-27 | 2006-11-02 | 소니 가부시끼 가이샤 | Imaging device, processing method of the device, and program for executing the method by computer |
KR20070092582A (en) * | 2006-03-09 | 2007-09-13 | 삼성전자주식회사 | Apparatus and method for image processing |
Also Published As
Publication number | Publication date |
---|---|
KR20090072556A (en) | 2009-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100591796B1 (en) | Image processing method and apparatus | |
KR101607295B1 (en) | Method and apparatus for generating a compressed file, camera module associated with it, and terminal having the camera module | |
KR100639109B1 (en) | Device for generating thumbnail JPEG image, method for generating the same and medium for storing the same | |
US8179452B2 (en) | Method and apparatus for generating compressed file, and terminal comprising the apparatus | |
KR100902419B1 (en) | Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method | |
JP2005311743A (en) | Image processor | |
KR100935541B1 (en) | Method For Processing Of Imaging Signal And Signal Processor Perfoming The Same | |
WO2004112396A1 (en) | Electronic device for compressing image data and creating thumbnail image, image processor, and data structure | |
JP2002016870A (en) | Imaging apparatus | |
US20090167888A1 (en) | Methods of processing imaging signal and signal processing devices performing the same | |
KR101248902B1 (en) | Image processing apparatus and method having function of image correction based on luminous intensity around | |
US10244199B2 (en) | Imaging apparatus | |
KR100664550B1 (en) | Method for transferring encoded data and image pickup device performing the method | |
KR100685300B1 (en) | Method for transferring encoded data and image pickup device performing the method | |
KR100788983B1 (en) | Method for transferring encoded data and image pickup device performing the method | |
KR100827680B1 (en) | Method and device for transmitting thumbnail data | |
KR101666927B1 (en) | Method and apparatus for generating a compressed file, and terminal having the apparatus | |
US8154749B2 (en) | Image signal processor and deferred vertical synchronous signal outputting method | |
KR100907465B1 (en) | Method For Processing Of Imaging Signal And Signal Processor Perfoming The Same | |
KR100664554B1 (en) | Method for transferring encoded data and image pickup device performing the method | |
KR100902421B1 (en) | Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method | |
JP2004104222A (en) | Imaging unit | |
KR100854724B1 (en) | Method for transferring encoded data and image pickup device performing the method | |
KR20070047729A (en) | Method for outputting deferred vertical synchronous signal and image signal processor performing the method | |
KR100902420B1 (en) | Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20121011 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20131127 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20151127 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20171128 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20181126 Year of fee payment: 10 |