KR100902419B1 - Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method - Google Patents

Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method Download PDF

Info

Publication number
KR100902419B1
KR100902419B1 KR1020070062391A KR20070062391A KR100902419B1 KR 100902419 B1 KR100902419 B1 KR 100902419B1 KR 1020070062391 A KR1020070062391 A KR 1020070062391A KR 20070062391 A KR20070062391 A KR 20070062391A KR 100902419 B1 KR100902419 B1 KR 100902419B1
Authority
KR
South Korea
Prior art keywords
image
image data
processing module
display
storage
Prior art date
Application number
KR1020070062391A
Other languages
Korean (ko)
Other versions
KR20080113647A (en
Inventor
전성천
Original Assignee
주식회사 코아로직
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코아로직 filed Critical 주식회사 코아로직
Priority to KR1020070062391A priority Critical patent/KR100902419B1/en
Priority to PCT/KR2008/003582 priority patent/WO2009002074A1/en
Priority to CN2008800217389A priority patent/CN101690173B/en
Priority to US12/215,201 priority patent/US20080316331A1/en
Publication of KR20080113647A publication Critical patent/KR20080113647A/en
Application granted granted Critical
Publication of KR100902419B1 publication Critical patent/KR100902419B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

캡쳐 영상을 시간 지연 없이 표시할 수 있는 영상 처리 장치 및 방법을 제공한다. 본 발명에서는, 영상신호 처리 모듈이 캡쳐 영상의 저장용 영상 데이터 뿐만 아니라, 표시용 영상 데이터도 멀티미디어 응용처리 모듈에 순차적으로 출력하고, 멀티미디어 응용처리 모듈은 저장용 영상 데이터를 메모리에 저장함과 함께, 표시용 영상 데이터를 표시부에 표시한다. 표시용 영상 데이터에 대해서는 영상신호 처리 모듈에서 표시부의 포맷에 맞게 이미 처리되어 있고, 특히 별도의 압축 부호화를 행하지 않으므로, 멀티미디어 응용처리 모듈은 캡쳐 영상을 시간 지연 없이 곧바로 표시부에 표시할 수 있다.

Figure R1020070062391

디지털 영상 처리, ISP, MAP, 캡쳐 영상 표시, 시간 지연, 프리뷰 영상

An image processing apparatus and method capable of displaying a captured image without time delay are provided. In the present invention, the video signal processing module sequentially outputs not only the image data for storing the captured image, but also the display image data to the multimedia application processing module, and the multimedia application processing module stores the image data for storage in the memory. Display image data is displayed on the display unit. The display image data is already processed in the image signal processing module in accordance with the format of the display unit, and in particular, since no compression coding is performed, the multimedia application processing module can immediately display the captured image on the display unit without time delay.

Figure R1020070062391

Digital Image Processing, ISP, MAP, Captured Image Display, Time Delay, Preview Image

Description

캡쳐 영상을 시간 지연 없이 표시할 수 있는 영상 처리 장치, 방법 및 상기 방법을 프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체 {Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method}Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method}

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.The following drawings attached to this specification are illustrative of preferred embodiments of the present invention, and together with the detailed description of the invention to serve to further understand the technical spirit of the present invention, the present invention is a matter described in such drawings It should not be construed as limited to.

도 1은 본 발명의 바람직한 실시예에 따른 영상 처리 장치의 블록도이다.1 is a block diagram of an image processing apparatus according to a preferred embodiment of the present invention.

도 2는 도 1에 도시된 영상신호 처리 모듈의 상세 블록도이다.FIG. 2 is a detailed block diagram of the image signal processing module shown in FIG. 1.

도 3은 본 발명의 바람직한 실시예에 따른 영상 처리 과정을 도시한 순서도이다.3 is a flowchart illustrating an image processing process according to an exemplary embodiment of the present invention.

도 4는 본 발명의 바람직한 실시예에 따라 영상 데이터를 전송하는 과정을 도시한 타이밍도이다.4 is a timing diagram illustrating a process of transmitting image data according to a preferred embodiment of the present invention.

도 5는 연속 캡쳐 모드시에 본 발명의 바람직한 실시예에 따른 영상 처리 과정을 도시한 순서도이다.5 is a flowchart illustrating an image processing process according to an exemplary embodiment of the present invention in the continuous capture mode.

본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 캡쳐 영상을 시간 지연 없이 표시할 수 있는 영상 처리 장치 및 방법에 관한 것이다.The present invention relates to image processing, and more particularly, to an image processing apparatus and method capable of displaying a captured image without time delay.

최근 CCD(Charge Coupled Device)나 CMOS(Complementary Metal-Oxide Semiconductor)등의 이미지 센서를 이용한 디지털 카메라가 널리 보급되어 사용되고 있다. 디지털 카메라는 카메라 전용 제품으로 상용화되기도 하지만, 휴대폰이나 PDA와 같은 핸드 헬드 단말기(hand-held terminal)와 결합된 형태로도 상용화되고 있다. Recently, digital cameras using an image sensor such as a charge coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) have been widely used. Digital cameras are commercially available as camera-only products, but also in combination with hand-held terminals such as mobile phones and PDAs.

그런데, 핸드 헬드 단말기에 있어서는 중앙연산처리기의 클럭 속도와 메모리의 용량이 퍼스널 컴퓨터용으로 개발되는 것에 비해 우수하지 않다. 그리고, 단말기의 개발 방향이 얇은 두께와 작은 크기를 지향하고 있으므로, 카메라 등의 부가장치가 탑재되는데 있어서 공간적 제약이 많이 따른다. 한편, 이러한 공간적 제약에도 불구하고 핸드 헬드 단말기에 탑재되는 디지털 카메라의 화소수는, 예컨대 3백만 화소 이상으로 점차 늘어나고 있다. 따라서, 영상 처리 장치는 방대한 양의 데이터를 공간적 제약 하에서 단시간 내에 처리하여야 하는 요구에 직면해 있다.In the handheld terminal, however, the clock speed and the memory capacity of the central processing unit are not superior to those developed for the personal computer. In addition, since the development direction of the terminal is oriented to a thin thickness and a small size, there are a lot of space constraints in mounting an additional device such as a camera. On the other hand, despite these spatial constraints, the number of pixels of a digital camera mounted in a handheld terminal is gradually increasing to 3 million pixels or more, for example. Therefore, the image processing apparatus faces a demand to process a large amount of data in a short time under spatial constraints.

일반적인 영상 처리 장치는, 영상을 촬영하는 이미지 센서와, 이미지 센서로부터 받은 아날로그 형태의 원시 영상 데이터를 디지털 데이터로 변환하고, 일반 영상 포맷에 적합한 영상 데이터로 변환하는 영상신호 처리 모듈(Image Signal Processing Module)과, 영상신호 처리 모듈로부터 받은 영상 데이터를 저장 매체에 저장하고, 영상을 표시하는 등의 처리를 행하는 멀티미디어 응용처리 모듈(Multimedia Application Processing Module)과, 프리뷰(preview) 영상이나 캡쳐 영상을 표시하는 뷰 파인더(view finder)와 같은 표시부를 구비한다. 이러한 이미지 센서, 영상신호 처리 모듈, 멀티미디어 응용처리 모듈은 통상적으로 각각 별도의 칩 형태로 구현되어, 표시부를 구성하는 예컨대 액정 표시 모듈과 함께 영상 처리 장치(디지털 카메라나 핸드 헬드 단말기)에 탑재된다.A general image processing apparatus includes an image sensor for capturing an image and an image signal processing module for converting raw image data in analog form received from the image sensor into digital data and converting the image data into image data suitable for a general image format. ), A multimedia application processing module for storing video data received from the video signal processing module in a storage medium, and displaying a video, and for displaying a preview video or a captured video. It has a display unit such as a view finder. The image sensor, the image signal processing module, and the multimedia application processing module are typically implemented in separate chip forms, and are mounted in an image processing device (a digital camera or a handheld terminal) together with, for example, a liquid crystal display module constituting a display unit.

이렇게 구성된 영상 처리 장치의 동작을 보면, 이미지 센서에서 촬영된 아날로그 형태의 원시 영상 데이터는 영상신호 처리 모듈에 의해 디지털 데이터로 변환되고, 컬러 보정, 감마 보정, 색좌표계 변환 등을 전처리를 거쳐 일반 영상 포맷에 적합한 영상 데이터로 변환된다. 이렇게 영상신호 처리 모듈에서 변환된 디지털 영상 데이터는 멀티미디어 응용처리 모듈에 전송되고, 멀티미디어 응용처리 모듈은 수신된 영상 데이터를 JPEG 인코딩 등의 소정 표준에 따라 압축 부호화하여 SDRAM과 같은 메모리에 저장하는 한편, 메모리에 저장된 영상 데이터를 디코딩하여 표시부에 표시한다.In the operation of the image processing apparatus configured as described above, the analog image raw image data captured by the image sensor is converted into digital data by the image signal processing module, and the general image is processed through color correction, gamma correction, and color coordinate system conversion. It is converted into video data suitable for the format. The digital image data converted by the image signal processing module is transmitted to the multimedia application processing module, and the multimedia application processing module compresses and encodes the received image data according to a predetermined standard such as JPEG encoding and stores it in a memory such as an SDRAM. The image data stored in the memory is decoded and displayed on the display unit.

그런데, 핸드 헬드 단말기에 탑재된 디지털 카메라의 화소수가 점점 증가하면서 멀티미디어 응용처리 모듈이 처리해야 할 데이터의 양도 증가하여 멀티미디어 응용처리 모듈의 처리 속도가 이를 따라가지 못하는 현상이 생긴다. 예를 들어, 3백만 화소 이상의 고화소 영상 촬영 장치에서 초당 10 프레임 이상의 고속으로 입력되는 영상 데이터를 멀티미디어 응용처리 모듈이 압축 부호화하여 저장하고 표시 부에 표시하여야 하는 경우, 하나의 프레임에 대한 영상 데이터를 인코딩하는 중에 다음 프레임의 데이터가 입력될 수 있고, 이 경우 데이터의 충돌이 발생하는 등 고속 데이터 인터페이싱이 불안정하게 된다. 이러한 문제를 해결하기 위해서는 멀티미디어 응용처리 모듈의 클럭 주파수를 상당히 증가시켜야 하는데, 이는 기술적으로 구현이 불가능하다. 따라서, 종래에는 멀티미디어 응용처리 모듈의 클럭 주파수의 한계에 맞추어 영상신호 처리 모듈의 클럭 주파수를 낮추는 방식으로 구현하였으나, 이는 화질의 저하로 이어진다.However, as the number of pixels of the digital camera mounted in the handheld terminal increases, the amount of data to be processed by the multimedia application processing module also increases, and thus the processing speed of the multimedia application processing module does not keep up. For example, when a multimedia application module needs to compress-code, store, and display image data input at a high speed of 10 frames per second or more in a high pixel imaging apparatus of 3 million pixels or more, image data of one frame may be displayed. During encoding, data of the next frame may be input, in which case high-speed data interfacing becomes unstable, such as data collision. To solve this problem, the clock frequency of the multimedia application module must be increased considerably, which is technically impossible to implement. Therefore, in the related art, the clock frequency of the image signal processing module is reduced in accordance with the limit of the clock frequency of the multimedia application processing module. However, this leads to the deterioration of the image quality.

한편, 이러한 문제를 해결하기 위해, 종래 멀티미디어 응용처리 모듈에서 행하던 압축 부호화를 영상신호 처리 모듈에서 행하는 방법을 사용하기도 한다. 즉, 영상신호 처리 모듈 내에 종래의 영상신호 처리 모듈이 행하던 각 변환이나 보정 등을 위한 전처리 블록 이외에 압축 부호화를 위한 인코딩부를 추가하여, 이미지 센서에 의해 캡쳐된 영상을 인코딩한다. 이때, 하나의 프레임에 대한 인코딩시 다음 프레임의 영상 데이터가 입력되면 이를 스킵하거나, 다음 프레임의 입력 개시를 나타내는 수직 동기 신호(V_sync)를 지연시켜 인코딩 중의 데이터 충돌을 방지한다. 한편, 영상신호 처리 모듈에서 인코딩된 영상 데이터는 멀티미디어 응용처리 모듈로 전송되어 메모리에 저장되거나 디코딩되어 표시부에 표시된다.On the other hand, in order to solve such a problem, a method of performing compression encoding in the video signal processing module used in the conventional multimedia application processing module may be used. That is, an encoding unit for compression encoding is added to the image signal processing module in addition to the pre-processing blocks for the conversion or correction performed by the conventional video signal processing module to encode the image captured by the image sensor. At this time, when the image data of the next frame is input during encoding for one frame, it is skipped or the vertical synchronization signal V_sync indicating the start of input of the next frame is delayed to prevent data collision during encoding. Meanwhile, the image data encoded by the image signal processing module is transmitted to the multimedia application processing module, stored in a memory or decoded, and displayed on the display unit.

그런데, 이러한 방법에 의하면, 캡쳐 영상이 멀티미디어 응용처리 모듈에 의해 표시부에 표시될 때에는 먼저 디코딩되어야 하고, 일반적으로 저장된 영상의 해상도보다 낮은 표시부의 해상도에 맞게 다운 스케일링되어야 한다. 따라서, 캡쳐 영상의 표시까지 상당한 시간이 필요하게 된다. 그러므로, 이러한 방법은 고화소화 에 따른 데이터 인터페이싱의 불안정성을 해소할 수는 있지만, 캡쳐 영상의 빠른 확인과 다음 영상의 빠른 캡쳐를 바라는 사용자의 요구에 부응할 수 없게 된다. 특히, 캡쳐 영상의 느린 표시는 짧은 시간 내에 연속적으로 영상을 캡쳐하는 연사 모드시에 영상의 캡쳐와 표시가 시간 간격을 두고 지연되어 이루어짐에 따라 부자연스러움이 극명하게 나타나 이러한 구성을 가지는 영상 처리 장치의 제품화는 실질적으로 곤란하게 된다.According to this method, however, when the captured image is displayed on the display unit by the multimedia application processing module, the captured image must be decoded first and generally down-scaled to match the resolution of the display unit lower than the resolution of the stored image. Therefore, considerable time is required until the display of the captured image. Therefore, this method can solve the instability of data interfacing due to high pixelation, but it cannot meet the user's demand for quick confirmation of the captured image and rapid capture of the next image. In particular, the slow display of the captured image is unnaturally apparent as the capture and display of the image are delayed at a time interval in the continuous shooting mode that continuously captures the image within a short time. Commercialization becomes substantially difficult.

본 발명은 상술한 종래기술의 문제를 해결하기 위하여 창안된 것으로서, 고화소화에 따른 고속 데이터 인터페이싱의 불안정성을 해소하면서도, 캡쳐 영상의 빠른 표시가 가능한 영상 처리 장치를 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems of the prior art, and an object thereof is to provide an image processing apparatus capable of quickly displaying a captured image while resolving instability of high-speed data interfacing due to high pixels.

본 발명의 다른 목적은, 고화소화에 따른 고속 데이터 인터페이싱의 불안정성을 해소하면서도, 캡쳐 영상의 빠른 표시가 가능한 영상 처리 방법을 제공하는데 있다.Another object of the present invention is to provide an image processing method capable of quickly displaying a captured image while resolving instability of high-speed data interfacing due to high pixels.

본 발명의 또 다른 목적은 상기 캡쳐 영상의 빠른 표시가 가능한 영상 처리 방법을 프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 있다.Still another object of the present invention is to provide a computer-readable recording medium in which an image processing method capable of quickly displaying the captured image is programmed.

상기 기술적 과제를 달성하기 위하여, 본 발명에서는 영상신호 처리 모듈이 캡쳐 영상의 저장용 영상 데이터 뿐만 아니라, 표시용 영상 데이터도 멀티미디어 응용처리 모듈에 순차적으로 출력하여, 멀티미디어 응용처리 모듈이 저장용 영상 데이터를 메모리에 저장함과 함께, 표시용 영상 데이터를 표시부에 표시하도록 한다. 표시용 영상 데이터에 대해서는 영상신호 처리 모듈에서 표시부의 포맷에 맞게 이미 처리되어 있으므로, 멀티미디어 응용처리 모듈은 캡쳐 영상을 표시부에 표시하기 위한 별도의 동작이 필요없고 표시용 영상 데이터를 그대로 표시부에 표시하면 되게 되어 캡쳐 영상의 표시가 시간 지연 없이 곧바로 이루어진다.In order to achieve the above technical problem, in the present invention, the image signal processing module sequentially outputs not only the image data for storing the captured image, but also the display image data to the multimedia application processing module, so that the multimedia application processing module stores the image data for storage. Is stored in the memory, and the display image data is displayed on the display unit. Since the image data for display is already processed by the video signal processing module according to the format of the display unit, the multimedia application processing module does not need to perform a separate operation for displaying the captured image on the display unit. The display of the captured image is immediately performed without time delay.

구체적으로, 본 발명의 일 측면에 따른 영상 처리 장치는, 이미지 센서에서 캡쳐된 캡쳐 영상을 미리 설정된 저장용 영상 데이터 포맷에 맞게 처리하는 원본 영상 처리부; 상기 캡쳐 영상을 상기 표시부의 포맷에 맞게 처리하는 표시 영상 처리부; 및 상기 원본 영상 처리부에 의해 처리된 영상 데이터와, 상기 표시 영상 처리부에 의해 처리된 영상 데이터를 순차적으로 출력하는 영상 출력부;를 구비하는 영상신호 처리 모듈; 및 상기 영상 출력부로부터 출력되는 상기 원본 영상 처리부에 의해 처리된 영상 데이터를 메모리에 저장하고, 상기 표시 영상 처리부에 의해 처리된 영상 데이터를 표시부에 표시하는 멀티미디어 응용처리 모듈;을 포함한다.Specifically, the image processing apparatus according to an aspect of the present invention, the original image processing unit for processing the captured image captured by the image sensor in accordance with a preset storage image data format; A display image processor configured to process the captured image according to a format of the display unit; And an image output unit configured to sequentially output image data processed by the original image processor and image data processed by the display image processor. And a multimedia application processing module for storing the image data processed by the original image processing unit output from the image output unit in a memory and displaying the image data processed by the display image processing unit on a display unit.

또한, 본 발명의 다른 측면에 따른 영상 처리 방법은, 이미지 센서, 영상신호 처리 모듈, 멀티미디어 응용처리 모듈 및 표시부를 구비하는 영상 처리 장치에서의 캡쳐 모드시의 영상 처리 방법으로서, (a) 영상신호 처리 모듈에서, 이미지 센서에 의해 캡쳐된 캡쳐 영상을 미리 설정된 저장용 영상 데이터 포맷에 맞게 처리하는 단계; (b) 영상신호 처리 모듈에서, 캡쳐 영상에 대하여 표시부의 포맷에 맞게 처리하는 단계; (c) 영상신호 처리 모듈에서, 상기 (a) 단계에서 처리된 영상 데이터와 상기 (b) 단계에서 처리된 영상 데이터를 멀티미디어 응용처리 모듈로 순 차적으로 출력하는 단계; 및 (d) 멀티미디어 응용처리 모듈이, 영상신호 처리 모듈로부터 받은, 상기 (a) 단계에서 처리된 영상 데이터를 메모리에 저장하고, 상기 (b) 단계에서 처리된 영상 데이터를 표시부에 표시하는 단계;를 포함한다.In addition, an image processing method according to another aspect of the present invention is an image processing method in a capture mode in an image processing apparatus including an image sensor, an image signal processing module, a multimedia application processing module, and a display unit. Processing, by the processing module, a captured image captured by the image sensor according to a preset storage image data format; (b) processing the captured image according to the format of the display unit in the image signal processing module; (c) in the image signal processing module, sequentially outputting the image data processed in the step (a) and the image data processed in the step (b) to the multimedia application processing module; And (d) storing, by the multimedia application processing module, the image data processed in the step (a) received from the image signal processing module in a memory, and displaying the image data processed in the step (b) on the display unit; It includes.

본 발명의 또 다른 기술적 과제는 상술한 본 발명에 따른 영상 처리 방법을 프로그램화하여 기록한 컴퓨터로 읽을 수 있는 기록매체에 의해서 달성될 수 있다.Still another technical problem of the present invention can be achieved by a computer-readable recording medium in which the image processing method according to the present invention is programmed and recorded.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, terms or words used in the specification and claims should not be construed as having a conventional or dictionary meaning, and the inventors should properly explain the concept of terms in order to best explain their own invention. Based on the principle that can be defined, it should be interpreted as meaning and concept corresponding to the technical idea of the present invention. Therefore, the embodiments described in the specification and the drawings shown in the drawings are only the most preferred embodiment of the present invention and do not represent all of the technical idea of the present invention, various modifications that can be replaced at the time of the present application It should be understood that there may be equivalents and variations.

본 발명에 따른 영상 처리 장치는 각종 디지털 영상 촬영장치에 결합되어 사용된다. 여기서, 상기 디지털 영상 촬영장치는 디지털 카메라, 디지털 캠코더, 디지털 카메라가 장착된 휴대폰, PDA, 개인멀티미디어 재생기 등을 포함하며, 사용자의 셔터 조작에 따라 피사체의 영상을 획득하여 디지털 이미지로 변환한 후 저장매체에 저장하는 기능을 수행하는 장치를 일컫는다. The image processing apparatus according to the present invention is used in combination with various digital image photographing apparatuses. Here, the digital image photographing apparatus includes a digital camera, a digital camcorder, a mobile phone equipped with a digital camera, a PDA, a personal multimedia player, and the like, and acquires an image of a subject according to a user's shutter operation, converts the image into a digital image, and stores the image. Refers to a device that performs a function of storing in a medium.

도 1은 본 발명의 바람직한 실시예에 따른 영상 처리 장치의 블록도이다.1 is a block diagram of an image processing apparatus according to a preferred embodiment of the present invention.

도 1을 참조하면, 본 실시예에 따른 영상 처리 장치는, 이미지 센서(100), 영상신호 처리 모듈(200), 멀티미디어 응용처리 모듈(300), 저장 매체(400) 및 표시부(500)를 포함한다.Referring to FIG. 1, the image processing apparatus according to the present embodiment includes an image sensor 100, an image signal processing module 200, a multimedia application processing module 300, a storage medium 400, and a display unit 500. do.

이미지 센서(100)는 피사체의 영상을 촬상하여 아날로그 원시 영상 신호를 영상신호 처리 모듈(200)로 출력한다. 바람직하게, 이미지 센서(100)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor)로 구성된 촬상소자이다. 하지만 본 발명이 이미지 센서(100)의 종류에 의해 한정되는 것은 아니다.The image sensor 100 captures an image of an object and outputs an analog raw image signal to the image signal processing module 200. Preferably, the image sensor 100 is an imaging device configured of a Charge Coupled Device (CCD) or a Complementary Metal-Oxide Semiconductor (CMOS). However, the present invention is not limited by the type of the image sensor 100.

영상신호 처리 모듈(200)은 이미지 센서(100)로부터 출력되는 아날로그 원시 영상 신호를 입력받아 디지털 영상 신호로 변환한 후, 본 발명에 따라 처리하여 멀티미디어 응용처리 모듈(300)로 출력한다. 구체적으로, 본 실시예의 영상신호 처리 모듈(200), 도 2에 도시된 바와 같이, 전처리부(210), 원본 영상 처리부(220), 표시 영상 처리부(230) 및 영상 출력부(240)를 구비한다.The image signal processing module 200 receives an analog raw image signal output from the image sensor 100, converts the analog raw image signal into a digital image signal, and processes the image signal according to the present invention to output to the multimedia application processing module 300. Specifically, the image signal processing module 200 of the present embodiment, as shown in FIG. 2, includes a preprocessor 210, an original image processor 220, a display image processor 230, and an image outputter 240. do.

전처리부(210)는 상기 아날로그 원시 영상 신호를 디지털 영상 신호로 변환하고, 필요에 따라 YUV, RGB 등의 색좌표계를 변환하며, 컬러 보정, 감마 보정, 노이즈 제거 등 통상의 영상신호 처리를 행한다. 여기서, '전처리'는 후술하는 본 발명에 따른 저장 영상 처리 및 표시 영상 처리 이전에 행해지는 처리를 통칭하는 것으로서, 전처리부(210)에서 행해지는 처리는 본 발명의 특징과 직접적인 관련이 없고, 이러한 전처리는 본 발명이 속한 기술분야에서 ISP(Image Signal Processor)로 널리 알려진 통상의 영상신호 처리 모듈에 의한 처리로서 당업자에게 공지되어 있 으므로 상세한 설명은 생략한다.The preprocessor 210 converts the analog raw video signal into a digital video signal, converts color coordinate systems such as YUV and RGB as necessary, and performs normal video signal processing such as color correction, gamma correction, and noise removal. Here, the preprocessing refers to a process performed before the stored image processing and the display image processing according to the present invention to be described later, and the processing performed by the preprocessing unit 210 is not directly related to the features of the present invention. Since the preprocessing is known to those skilled in the art as a process by a general video signal processing module known as an ISP (Image Signal Processor) in the technical field to which the present invention belongs, the detailed description thereof will be omitted.

원본 영상 처리부(220)는, 이미지 센서(100)에 의해 캡쳐되고 전처리부(210)에 의해 전처리된 캡쳐 영상을 후술하는 멀티미디어 응용처리 모듈(300)에 의해 저장 매체(400)에 저장될 일반적인 영상 데이터의 포맷에 맞게 처리하는 기능 블록이다. The original image processing unit 220 is a general image to be stored in the storage medium 400 by the multimedia application processing module 300, which will be described later by the image sensor 100 and the captured image preprocessed by the preprocessor 210. Function block that processes data according to its format.

구체적으로, 원본 영상 처리부(220)는 저장 영상 스케일러(221)를 구비한다. 저장 영상 스케일러(221)는 전처리부(210)에 의해 전처리된 캡쳐 영상을 사용자에 의해 미리 설정되거나 영상 촬영 장치에 의해 디폴트로 설정된 해상도 규격(예컨대, 640*480 등)에 맞게 스케일링한다. In detail, the original image processor 220 includes a stored image scaler 221. The stored image scaler 221 scales the captured image preprocessed by the preprocessor 210 according to a resolution standard (eg, 640 * 480, etc.) preset by the user or defaulted by the image capturing apparatus.

또한, 원본 영상 처리부(220)는 저장 영상 스케일러(221)에 의해 스케일링된 캡쳐 영상을 압축 부호화하는 인코딩부로서 JPEG 인코더(223)를 구비할 수 있다. 즉, JPEG 인코더(223)를 멀티미디어 응용처리 모듈(300) 내부에 마련하지 않고 영상신호 처리 모듈(200) 내부에 마련하여, 저장 매체(400)에 저장될 저장용 영상 데이터를 영상신호 처리 모듈(200)에서 압축하여 멀티미디어 응용처리 모듈(300)로 보냄으로써, 데이터율을 저감시켜 영상신호 처리 모듈(200)과 멀티미디어 응용처리 모듈(300) 간의 데이터 인터페이싱을 안정화시킨다. 한편, 본 실시예에서 인코딩부는 JPEG 표준에 따라 압축 부호화하는 것으로 도시되고 설명되지만, 본 발명이 JPEG 인코딩 방식으로 한정되는 것은 아니다.In addition, the original image processing unit 220 may include a JPEG encoder 223 as an encoding unit that compresses and encodes the captured image scaled by the storage image scaler 221. That is, the JPEG encoder 223 is provided inside the video signal processing module 200 without providing the inside of the multimedia application processing module 300, thereby storing image data for storage to be stored in the storage medium 400. By compressing at 200, the data is sent to the multimedia application processing module 300 to reduce the data rate to stabilize data interfacing between the image signal processing module 200 and the multimedia application processing module 300. On the other hand, in the present embodiment, although the encoding unit is shown and described as compression encoding according to the JPEG standard, the present invention is not limited to the JPEG encoding scheme.

표시 영상 처리부(230)는 이미지 센서(100)에 의해 캡쳐되고 전처리부(210)에 의해 전처리된 캡쳐 영상을 후술하는 멀티미디어 응용처리 모듈(300)에 의해 표 시부(500)에 표시될 영상 데이터의 포맷에 맞게 처리하는 기능 블록이다. The display image processor 230 is configured to display the image data to be displayed on the display unit 500 by the multimedia application processing module 300 which will be described later by the image sensor 100 and the captured image preprocessed by the preprocessor 210. Function block to process according to the format.

구체적으로, 표시 영상 처리부(230)는 표시 영상 스케일러(231)와 표시 영상 버퍼(233)를 구비한다. 표시 영상 스케일러(231)는 전처리부(210)에 의해 전처리된 캡쳐 영상을 영상 촬영 장치의 뷰 파인더로 구현되는 표시부의 사이즈(예컨대, 320*240 등)에 맞게 스케일링한다. 표시 영상 버퍼(233)는 표시 영상 스케일러(231)에 의해 스케일링된 영상 데이터를 일시 저장한다.In detail, the display image processor 230 includes a display image scaler 231 and a display image buffer 233. The display image scaler 231 scales the captured image preprocessed by the preprocessor 210 according to the size of the display unit (eg, 320 * 240) implemented by the viewfinder of the image capturing apparatus. The display image buffer 233 temporarily stores the image data scaled by the display image scaler 231.

한편, 도시하지는 않았지만, 표시 영상 처리부(230)는 표시 영상 스케일러(231)에 의해 스케일링된 영상을 압축 부호화하는 인코더(예컨대, JPEG 인코더)를 더 구비할 수 있다. 이 경우, 전술한 저장용 영상 데이터에 더하여 표시용 영상 데이터도 압축하여 멀티미디어 응용처리 모듈(300)에 보냄으로써, 영상신호 처리 모듈(200)과 멀티미디어 응용처리 모듈(300) 간의 데이터 인터페이싱을 한층 더 안정화시킬 수 있다.Although not shown, the display image processor 230 may further include an encoder (eg, a JPEG encoder) that compressively encodes the image scaled by the display image scaler 231. In this case, in addition to the above-described storage image data, the display image data is also compressed and sent to the multimedia application processing module 300, thereby further interfacing data between the image signal processing module 200 and the multimedia application processing module 300. It can be stabilized.

영상 출력부(240)는 원본 영상 처리부(220)의 JPEG 인코더(223)에 의해 압축 부호화된 저장용 영상 데이터와, 표시 영상 스케일러(231)에 의해 스케일링된(또는, 이에 더하여 압축 부호화된) 표시용 영상 데이터를 멀티미디어 응용처리 모듈(300)로 출력한다. 이때, 저장용 영상 데이터와 표시용 영상 데이터를 출력하는 방식은 다양하게 할 수 있는데, 본 실시예에서는 이들을 순차적으로 출력하는 것으로 한다.The image output unit 240 stores the storage image data compression-coded by the JPEG encoder 223 of the original image processing unit 220 and the scaled (or compressed-coded) display by the display image scaler 231. Image data for output to the multimedia application processing module 300. In this case, the storage image data and the display image data may be output in various ways. In the present embodiment, the storage image data and the display image data are sequentially output.

멀티미디어 응용처리 모듈(300)은, 다시 도 1을 참조하면, 영상신호 처리 모듈(200)(실제로는 영상 출력부(240))로부터 저장용 영상 데이터와 표시용 영상 데 이터를 받아, 저장용 영상 데이터는 예컨대 SDRAM과 같은 저장 매체(400)에 저장하고, 표시용 영상 데이터는 예컨대 LCD 모듈로 이루어진 표시부(500)에 표시한다.Referring back to FIG. 1, the multimedia application processing module 300 receives storage image data and display image data from the image signal processing module 200 (actually the image output unit 240), and stores the image for storage. The data is stored in a storage medium 400 such as, for example, SDRAM, and the image data for display is displayed on the display unit 500 made of, for example, an LCD module.

도 3은 본 발명의 바람직한 실시예에 따른 영상 처리 과정을 도시한 순서도이고, 도 4는 본 발명의 바람직한 실시예에 따라 영상 데이터를 전송하는 과정을 도시한 타이밍도이다. 이들 도면을 참조하여, 본 발명의 영상 처리 방법을 상세히 설명하면 다음과 같다.3 is a flowchart illustrating an image processing process according to an exemplary embodiment of the present invention, and FIG. 4 is a timing diagram illustrating a process of transmitting image data according to an exemplary embodiment of the present invention. Referring to these drawings, the image processing method of the present invention will be described in detail as follows.

상용화되어 있는 디지털 영상 촬영장치는 전통적인 카메라와 달리 뷰 파인더를 통해 촬영 영상에 포함될 대상을 미리 보여주는 프리뷰 기능을 지원한다. 즉 사용자가 촬영을 위해 디지털 영상 촬영장치를 켜면(또는 카메라 모드로 작동하면)일단 프리뷰 모드로 진입하여 피사체의 영상이 짧은 프레임 간격으로 변화되는 동영상으로 뷰 파인더를 통해 표시된다. 그러면, 사용자가 원하는 최적의 영상이 포착될 때 셔터를 동작시키면 캡쳐 모드로 진입하여 피사체에 대한 디지털 정지 영상을 캡쳐하게 된다. 본 발명은 캡쳐 모드에서의 동작에 관한 것으로, 프리뷰 모드에서는 도 3에서 단계 S40, S50, S60 및 S80은 실행되지 않고 프리뷰 영상만이 표시용 영상으로서 처리되어 표시부에 표시된다. 도 4에서 VSYNC는 각 프레임의 시작을 나타내는 수직 동기 신호로서, 프리뷰 모드에서 영상신호 처리 모듈(200) 및 멀티미디어 응용처리 모듈(300)은 이 VSYNC에 동기하여 각 프레임 영상으로 구현되는 프리뷰 영상을 처리하고 표시하게 된다. Commercially available digital video recording devices, unlike traditional cameras, support a preview function that previews objects to be included in the captured video through the viewfinder. In other words, when the user turns on the digital image capturing apparatus (or operates in the camera mode) for capturing, the user enters the preview mode and the image of the subject is displayed through the viewfinder as a moving image that is changed at short frame intervals. Then, when the user operates the shutter when the desired image is captured, the user enters a capture mode to capture a digital still image of the subject. The present invention relates to an operation in a capture mode. In the preview mode, steps S40, S50, S60, and S80 are not executed in FIG. 3, and only the preview image is processed as a display image and displayed on the display unit. In FIG. 4, VSYNC is a vertical synchronization signal indicating the start of each frame, and in the preview mode, the image signal processing module 200 and the multimedia application processing module 300 process the preview image implemented in each frame image in synchronization with the VSYNC. Will be displayed.

한편, 프리뷰 모드에서 이미지 센서(100)가 촬영하는 영상 또는 영상신호 처리 모듈(200)이 처리하는 영상 데이터는 이미지 센서(100) 또는 촬영 장치가 지원 하는 최대 사이즈(해상도)의 영상일 수 있으나, 촬영장치가 고화소화 됨에 따라 프리뷰 영상의 처리에 많은 시간이 필요하게 된다. 이를 해소하기 위해서는 프레임 간격을 넓히는 방법이 있으나 이는 자연스런 동영상이 되지 못하므로, 다소 화질이 떨어지더라도 저해상도로 동작하는 것이 통상적이다. 반면, 캡쳐 모드에서 캡쳐되는 영상은 이미지 센서(100) 또는 촬영 장치가 지원하는 최대 사이즈의 영상 또는 사용자가 미리 설정한 사이즈의 영상이다. 또한, 캡쳐 모드에서는 플래쉬가 작동하거나 노출 시간 등이 달라질 수 있어, 결과적으로 프리뷰 모드에서 표시되는 영상과 캡쳐 모드에서 캡쳐된 영상은 다를 수 있다.In the preview mode, the image captured by the image sensor 100 or the image data processed by the image signal processing module 200 may be an image having the maximum size (resolution) supported by the image sensor 100 or the photographing apparatus. As the photographing apparatus becomes high pixel, a lot of time is required for processing the preview image. In order to solve this problem, there is a method of widening the frame interval, but since it does not become a natural video, it is common to operate at a low resolution even if the image quality is somewhat deteriorated. On the other hand, the image captured in the capture mode is an image of the maximum size supported by the image sensor 100 or the photographing apparatus or an image of a size preset by the user. In addition, in the capture mode, the flash may operate or the exposure time may be different. As a result, the image displayed in the preview mode and the image captured in the capture mode may be different.

사용자가 셔터를 동작시켜 캡쳐 모드로 진입하면, 이미지 센서(100)는 소정의 해상도로 피사체의 영상을 캡쳐하여 아날로그 원시 영상 신호를 영상신호 처리 모듈(200)로 출력한다(S10). 이어서 영상신호 처리 모듈(200)에서 아날로그 원시 영상을 처리하게 되는데, 특히 JPEG 인코더(223)에 의해 인코딩이 시작될 때까지 그리고 인코딩된 저장용 영상 데이터가 출력될 때까지는 전처리 및 버퍼링에 약간의 시간 지연이 불가피하게 발생한다. 이에 따라, 멀티미디어 응용처리 모듈(300)이 그에 동기하여 동작하게 되는 다음의 수직 동기 신호 전에 저장용 영상 데이터 및 표시용 영상 데이터를 받지 못하게 되고, 하나의 프레임을 버리게 될 수 있다. 따라서, 영상이 캡쳐되면 이러한 지연 시간(d) 만큼 VSYNC 신호를 지연시켜 변경된 VSYNC에 영상신호 처리 모듈(200) 및 멀티미디어 응용처리 모듈(300)을 동기시킨다.When the user enters the capture mode by operating the shutter, the image sensor 100 captures an image of a subject at a predetermined resolution and outputs an analog raw image signal to the image signal processing module 200 (S10). The image signal processing module 200 then processes the analog raw image, in particular a slight time delay in preprocessing and buffering until encoding is started by the JPEG encoder 223 and until the encoded storage image data is output. This inevitably occurs. Accordingly, the multimedia application processing module 300 may not receive the storage image data and the display image data before the next vertical synchronization signal that operates in synchronization with the multimedia application processing module 300, and may discard one frame. Accordingly, when the image is captured, the VSYNC signal is delayed by the delay time d to synchronize the image signal processing module 200 and the multimedia application processing module 300 with the changed VSYNC.

이어서, 영상신호 처리 모듈(200)의 전처리부(210)는 이미지 센서(100)로부 터 출력되는 아날로그 원시 영상 신호를 입력받아 아날로그-디지털 변환, 색좌표계 변환, 컬러 보정, 감마 보정, 노이즈 제거 등 전술한 일련의 전처리를 행한다(S20).Subsequently, the preprocessor 210 of the image signal processing module 200 receives an analog raw image signal output from the image sensor 100 and performs analog-to-digital conversion, color coordinate conversion, color correction, gamma correction, noise removal, and the like. The series of preprocessing described above is performed (S20).

전처리부(210)에 의해 전처리된 영상 데이터는, 원본 영상 처리부(220)의 저장 영상 스케일러(221)와 표시 영상 처리부(230)의 표시 영상 스케일러(231)로 입력된다. 그러면, 표시 영상 스케일러(231)는 전처리부(210)에 의해 전처리된 캡쳐 영상을 영상 촬영 장치의 표시부의 사이즈(예컨대, 320*240 등)에 맞게 스케일링하고(S30), 표시 영상 버퍼(233)에 스케일링된 영상 데이터를 일시 저장한다.The image data preprocessed by the preprocessor 210 is input to the stored image scaler 221 of the original image processor 220 and the display image scaler 231 of the display image processor 230. Then, the display image scaler 231 scales the captured image preprocessed by the preprocessor 210 according to the size (eg, 320 * 240) of the display unit of the image capturing apparatus (S30) and the display image buffer 233. The scaled image data is temporarily stored.

한편, 저장 영상 스케일러(221)는 전처리부(210)에 의해 전처리된 캡쳐 영상을 사용자에 의해 미리 설정되거나 영상 촬영 장치에 의해 디폴트로 설정된 해상도 규격(예컨대, 640*480 등)에 맞게 스케일링한다(S40). 이어서, 저장 영상 스케일러(221)에 의해 스케일링된 캡쳐 영상은 JPEG 인코더(223)에 의해 압축 부호화된다(S50).Meanwhile, the stored image scaler 221 scales the captured image preprocessed by the preprocessor 210 according to a resolution standard (for example, 640 * 480, etc.) preset by the user or defaulted by the image capturing apparatus (eg, 640 * 480). S40). Subsequently, the captured image scaled by the stored image scaler 221 is compressed and encoded by the JPEG encoder 223 (S50).

이어서, 영상 출력부(240)는 JPEG 인코더(223)에 의해 압축 부호화된 저장용 영상 데이터와, 표시 영상 스케일러(231)에 의해 스케일링된 표시용 영상 데이터를 멀티미디어 응용처리 모듈(300)로 출력한다. 이때, 저장용 영상 데이터와 표시용 영상 데이터를 출력하는 방식은 다양하게 할 수 있는데, 본 실시예에서는 이들을 순차적으로 출력하는 것으로 한다. 즉, JPEG 인코더(223)로부터의 저장용 영상 데이터를 먼저 출력하고(S60), 저장용 영상 데이터의 출력이 완료되면 이어서 표시 영상 버퍼(233)로부터 표시용 영상 데이터를 읽어 들여 멀티미디어 응용처리 모 듈(300)로 출력한다(S70). 단, 여기서 저장용 영상 데이터와 표시용 영상 데이터의 출력 순서는 바뀔 수 있다. 또한, 저장용 영상 데이터와 표시용 영상 데이터는 각각 그 길이가 가변일 수도 있고 고정될 수도 있다. 고정된 경우에는, 그 길이를 맞추기 위해 더미 데이터를 추가할 수도 있다.Subsequently, the image output unit 240 outputs the storage image data compressed and encoded by the JPEG encoder 223 and the display image data scaled by the display image scaler 231 to the multimedia application processing module 300. . In this case, the storage image data and the display image data may be output in various ways. In the present embodiment, the storage image data and the display image data are sequentially output. That is, the storage image data from the JPEG encoder 223 is first outputted (S60), and when the output of the storage image data is completed, the display image data is read from the display image buffer 233, and then the multimedia application processing module. Output to 300 (S70). Here, the output order of the storage image data and the display image data may be changed. In addition, the length of the storage image data and the display image data may be variable or fixed, respectively. If fixed, dummy data may be added to match the length.

또한, 영상신호 처리 모듈(200)은, 영상 출력부(240)에 의해 출력되는 저장용 영상 데이터와 표시용 영상 데이터가 한 프레임 기간을 넘는 경우, 다음 프레임의 시작을 나타내는 수직 동기 신호 VSYNCk +1을 스킵하거나 VSYNC' k +1 과 같이 지연되도록 할 수도 있다. 이 경우 출력되는 영상 데이터의 끝에서부터 스킵된 다음의 수직 동기 신호 VSYNCk +2까지 또는 지연된 수직 동기 신호 VSYNC' k +1까지에는 더미 데이터가 추가될 수 있다.In addition, the video signal processing module 200, when the storage video data and the display video data output by the video output unit 240 exceeds one frame period, the vertical synchronization signal VSYNC k + indicating the start of the next frame. You can also skip 1 or have a delay such as VSYNC ' k +1 . In this case, dummy data may be added to the next vertical sync signal VSYNC k +2 or the delayed vertical sync signal VSYNC ' k +1 from the end of the output image data.

이렇게 영상 출력부(240)로부터 저장용 영상 데이터와 표시용 영상 데이터를 받은 멀티미디어 응용처리 모듈(300)은, 저장용 영상 데이터는 예컨대 SDRAM과 같은 저장 매체(400)에 저장함과 함께(S80), 표시용 영상 데이터는 예컨대 LCD 모듈로 이루어진 표시부(500)에 표시한다(S90). 여기서 표시용 영상 데이터는 별도로 저장하지 않는 것으로 설명되지만, 표시용 영상 데이터 역시 소정의 저장 영역에 저장될 수 있다. 여기서, 표시용 영상 데이터의 저장 영역은 멀티미디어 응용처리 모듈(300)의 내부에 마련될 수도 있고, 저장 매체(400) 내부에 마련될 수도 있다. 이렇게 표시용 영상 데이터를 별도 저장하게 되면 특히 후술하는 연속 캡쳐 모드에 서 유용하다.The multimedia application processing module 300 receiving the storage image data and the display image data from the image output unit 240 stores the image data for storage in a storage medium 400 such as SDRAM (S80). The display image data is displayed on the display unit 500 formed of, for example, an LCD module (S90). Although the image data for display is described as not separately stored, the image data for display may also be stored in a predetermined storage area. Here, the storage area of the display image data may be provided inside the multimedia application processing module 300 or may be provided inside the storage medium 400. Such storing of display image data is particularly useful in the continuous capture mode described later.

한편, 전술한 바와 같이, 표시 영상 처리부(230)는 표시 영상 스케일러(231)에 의해 스케일링된 영상을 압축 부호화하는 인코더(예컨대, JPEG 인코더)를 더 구비하거나, 원본 영상 처리부(220)의 JPEG 인코더(223)를 사용하여 표시용 영상 데이터도 압축 부호화할 수 있다. 이 경우, 영상신호 처리 모듈(200)과 멀티미디어 응용처리 모듈(300) 간의 데이터 인터페이싱을 한층 더 안정화시킬 수 있다. 다만, 멀티미디어 응용처리 모듈(300)은 압축 부호화된 표시용 영상 데이터를 디코딩하여 표시부(500)에 표시하여야 하므로, 압축되지 않은 표시용 영상 데이터의 표시보다는 시간이 더 걸리게 되나, 표시용 영상은 그 사이즈가 통상 저장용 영상보다 훨씬 작으므로 디코딩 시간이 짧아 사용자가 느끼는 시간 지연은 그리 문제되지 않는다. 오히려, 작은 사이즈의 표시용 영상의 압축 부호화된 데이터는 썸네일(thumbnail) 영상으로서 유용하게 사용될 수 있다.Meanwhile, as described above, the display image processor 230 may further include an encoder (eg, a JPEG encoder) that compressively encodes the image scaled by the display image scaler 231, or the JPEG encoder of the original image processor 220. The display image data may also be compressed and encoded using 223. In this case, data interfacing between the image signal processing module 200 and the multimedia application processing module 300 may be further stabilized. However, since the multimedia application processing module 300 needs to decode and display the compressed and encoded display image data on the display unit 500, it takes more time than the display of the uncompressed display image data. Since the size is much smaller than the normal storage image, the decoding time is short, so the time delay felt by the user is not so much a problem. Rather, the compression-coded data of the small-sized display image can be usefully used as a thumbnail image.

이상의 설명은 하나의 정지 영상을 캡쳐하여 표시하는 처리에 관한 설명이나, 본 발명은 연속 캡쳐 모드, 즉 짧은 시간 간격을 두고 연속하여 복수의 영상을 캡쳐하는 모드에 매우 유용하게 적용될 수 있다. 도 5를 참조하여 이를 상세히 설명하면 다음과 같다.The above description is about a process of capturing and displaying one still image, but the present invention can be very usefully applied to a continuous capture mode, that is, a mode of capturing a plurality of images continuously at short time intervals. This will be described in detail with reference to FIG. 5 as follows.

먼저, 하나의 캡쳐 영상의 캡쳐에서 표시부에의 표시까지는 도 3의 단계 S10 내지 S90을 참조하여 설명한 바와 동일하다. 연속 캡쳐 모드에서는 이에 부가하여, 다음의 단계 S100 내지 S140을 더 포함한다.First, the capture from one capture image to the display on the display unit is the same as described with reference to steps S10 to S90 of FIG. 3. In the continuous capture mode, in addition to this, it further includes the following steps S100 to S140.

표시용 영상 데이터는 표시부에 표시됨(S90)과 함께, 전술한 표시 영상 저장 영역에 저장된다(S100). The display image data is displayed on the display unit (S90) and stored in the display image storage area described above (S100).

이어서, 연속 캡쳐가 종료되었는지 즉 소정 횟수의 영상 캡쳐가 모두 행해졌는지 판단하여(S110), 아직 종료되지 않았으면 영상 캡쳐 단계(S10)에서 표시용 영상 데이터의 저장 단계(S100)를 반복한다. 즉, 매 캡쳐 영상 마다 표시부(500)에 바로 표시함으로써 사용자는 연속 캡쳐된 영상을 바로바로 확인할 수 있고, 또한 이 표시용 영상 데이터는 사용자의 최종 선택에 대비하여 저장된다.Subsequently, it is determined whether the continuous capturing has been completed, that is, whether a predetermined number of image capturings have been performed (S110). If not, the storage capturing step (S100) of display image data is repeated in the image capturing step (S10). That is, by immediately displaying the captured image on the display unit 500 for every captured image, the user can immediately check the captured images, and the display image data is stored in preparation for the user's final selection.

한편, 연속 캡쳐가 모두 종료되었으면 표시 영상 저장 영역에 저장되어 있는 연속 캡쳐된 영상의 표시용 영상 데이터를 모두 독출한다(S120).On the other hand, when all the continuous capture is finished, all display image data of the continuous captured image stored in the display image storage area is read (S120).

이렇게 독출된 표시용 영상 데이터는 복수의 영상을 한 화면에 모두 표시하기 위해 먼저 적절한 사이즈로 다운 스케일링한 다음, 사용자의 선택을 위해 표시부(500)의 한 화면에 모두 표시된다(S130).The display image data thus read is first down scaled to an appropriate size to display a plurality of images on one screen, and then displayed on one screen of the display unit 500 for user selection (S130).

그러면, 사용자는 가장 마음에 드는 캡쳐 영상을 선택하고, 그에 대응되는 저장용 영상 데이터가 최종적으로 저장 매체에 저장되게 된다(S140).Then, the user selects the capture image that he / she likes most, and the storage image data corresponding thereto is finally stored in the storage medium (S140).

< 시뮬레이션 예 ><Simulation example>

이하에서는, 본 발명의 효과를 확인하기 위하여 종래의 방식에 따라 영상신호 처리 모듈에서 캡쳐 영상을 압축 부호화한 영상 데이터 만을 멀티미디어 응용처리 모듈로 보내는 경우 캡쳐 영상의 표시까지 걸리는 시간을 시뮬레이션한 예를 기재한다.Hereinafter, in order to confirm the effects of the present invention, an example of simulating a time taken until the display of the captured image is simulated when only the image data obtained by compressing and encoding the captured image in the image signal processing module according to the conventional method is sent to the multimedia application processing module. do.

이 예에서 이미지 센서는 3백만 화소 규모의 것을 사용하고, 캡쳐 영상을 JPEG 표준에 따라 압축 부호화한 파일을 다음의 조건에서 디코딩한 후 캡쳐 영상을 표시부에 출력할 때까지의 시간을 시뮬레이션하였다.In this example, the image sensor uses a 3 million pixel scale and simulates the time until the captured image is decoded and encoded according to the JPEG standard under the following conditions and then the captured image is output to the display unit.

ARM(Advanced RISC Machine) 속도: 200MHzAdvanced RISC Machine (ARM) speed: 200 MHz

캐쉬 크기: 데이터 및 코드 캐쉬 램 사이즈가 각각 16KBCache size: 16KB each of data and code cache RAM size

버스 속도: 100MHzBus speed: 100 MHz

3백만 화소 압축 전 원시 파일 크기: 3M 화소 x 2 = 6MBytes (YCbCr 4:2:2로 한 화소 당 2바이트 필요)Raw file size before 3 million pixels compression: 3M pixels x 2 = 6MBytes (YCbCr 4: 2: 2 requires 2 bytes per pixel)

3백만 화소 압축 후 파일 크기: 압축률은 이미지에 따라 다르나 통상 1/4 ~ 1/8 압축률을 가지므로 대략 0.75Mbytes ~ 1.5MBytesFile size after 3 million pixels compression: Compression rate varies from image to image but typically between 1/4 and 1/8 compression rate, approximately 0.75 Mbytes to 1.5 MBytes.

이러한 시스템에서 JPEG 파일 디코딩 소요 시간은 최소 600ms로 확인되었다. 즉, 종래의 방식은 3백만 화소의 압축 영상을 표시부에 표시하기 위하여 복원하는데 600ms 이상이 걸려 사용자가 느끼는 총 캡쳐 시간은 매우 불만족스러운 상태이다. 이에 반해, 본 발명에서는 표시 영상 처리부에 의해 표시부의 포맷에 맞게 처리된 표시용 영상 데이터를 그대로 표시부에 표시하면 되므로 캡쳐 영상의 표시에 별도의 시간이 필요하지 않아 신속한 표시가 가능하다.In these systems, the JPEG file decoding time was found to be at least 600ms. That is, in the conventional method, it takes more than 600 ms to restore a 3 million pixel compressed image to the display unit, and thus, the total capture time felt by the user is very unsatisfactory. On the other hand, in the present invention, since the display image data processed according to the format of the display unit by the display image processing unit is displayed on the display unit as it is, no additional time is required for displaying the captured image, thereby enabling rapid display.

상술한 본 발명에 따른 영상 처리 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴 퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 영상 처리 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The image processing method according to the present invention described above may be embodied as computer readable codes on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing the image processing method may be easily inferred by programmers in the art.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited thereto and is intended by those skilled in the art to which the present invention pertains. Of course, various modifications and variations are possible within the scope of equivalents of the claims to be described.

본 발명에 따르면, 영상신호 처리 모듈이 캡쳐 영상의 저장용 영상 데이터 뿐만 아니라, 표시용 영상 데이터도 멀티미디어 응용처리 모듈에 순차적으로 출력하여, 멀티미디어 응용처리 모듈이 저장용 영상 데이터를 메모리에 저장함과 함께, 표시용 영상 데이터를 표시부에 표시하도록 한다. 표시용 영상 데이터에 대해서는 영상신호 처리 모듈에서 표시부의 포맷에 맞게 이미 처리되어 있고, 특히 별도의 압축 부호화를 행하지 않거나 하더라도 그 사이즈가 매우 작으므로, 멀티미디어 응용처리 모듈은 캡쳐 영상을 표시부에 표시하기 위한 별도의 디코딩이 필요하지 않거나 필요하더라도 단시간 내에 디코딩 가능하게 된다. 따라서, 캡쳐 영상의 표시가 시간 지연 없이 곧바로 이루어진다. 또한, 본 발명에 따르면, 특히 연속 캡쳐 모드에서 연속하여 캡쳐된 영상이 바로바로 표시되므로 사용자에 의한 영상의 신속 한 확인 및 선택이 가능하게 된다.According to the present invention, the video signal processing module sequentially outputs not only the image data for storing the captured image but also the display image data to the multimedia application processing module, and the multimedia application processing module stores the image data for storage in the memory. Display image data for display. Since the image data for display is already processed by the video signal processing module in accordance with the format of the display unit, and especially its size is very small even if no separate compression encoding is performed, the multimedia application processing module is adapted to display the captured image on the display unit. If no separate decoding is required or necessary, it can be decoded in a short time. Therefore, the display of the captured image is performed immediately without time delay. In addition, according to the present invention, in particular, in the continuous capture mode, since the captured images are displayed immediately, it is possible to quickly check and select the image by the user.

Claims (17)

이미지 센서로부터 수신된 원시영상을 압축부호화 처리한 저장용 영상데이터와 압축부호화 처리하지 않은 표시용 영상데이터로 각각 생성하는 영상신호처리모듈; 및An image signal processing module for generating the raw image received from the image sensor into image data for storage that has been subjected to compression encoding and image data for display that has not been subjected to compression encoding; And 상기 수신된 표시용 영상데이터는 복호화처리 없이 디스플레이 되도록 제어하고, 상기 수신된 저장용 영상데이터는 메모리에 저장되도록 제어하는 멀티미디어 응용처리모듈을 포함하고,And a multimedia application processing module for controlling the received display image data to be displayed without decoding processing, and the received storage image data to be stored in a memory. 상기 영상신호처리모듈은 상기 생성된 저장용 영상데이터와 표시용 영상데이터를 하나의 인터페이스를 통하여 물리적으로 구분되는 멀티미디어 응용처리모듈로 순차적으로 출력하는 것을 특징으로 하는 영상 처리 장치.And the image signal processing module sequentially outputs the generated storage image data and display image data to a multimedia application processing module that is physically divided through a single interface. 삭제delete 제1항에 있어서, 상기 영상신호처리모듈은,The image signal processing module of claim 1, 상기 원시영상을 미리 설정된 저장용 영상 데이터의 사이즈에 맞게 스케일링하는 저장 영상 스케일러를 포함하는 것을 특징으로 하는 영상 처리 장치.And a storage image scaler for scaling the raw image to a size of a preset storage image data. 제1항에 있어서, 상기 영상신호처리모듈은,The image signal processing module of claim 1, 상기 원시영상을 상기 표시용 영상데이터가 디스플레이되는 표시부의 사이즈에 맞게 스케일링하는 표시 영상 스케일러를 포함하는 것을 특징으로 하는 영상 처리 장치.And a display image scaler for scaling the raw image to a size of a display unit on which the display image data is displayed. 제1항에 있어서,The method of claim 1, 상기 메모리는 저장 영상 저장 영역과 표시 영상 저장 영역을 포함하고,The memory includes a storage image storage area and a display image storage area, 상기 멀티미디어 응용처리 모듈은, The multimedia application processing module, 상기 저장용 영상데이터를 상기 저장 영상 저장 영역에 저장하고, 상기 표시용 영상데이터를 상기 표시 영상 저장 영역에 저장하는 것을 특징으로 하는 영상 처리 장치.And the storage image data is stored in the storage image storage area, and the display image data is stored in the display image storage area. 제5항에 있어서, 상기 멀티미디어 응용처리 모듈은,The method of claim 5, wherein the multimedia application processing module, 상기 이미지 센서에 의한 캡쳐 동작이 연속적으로 이루어지는 연속 캡쳐 모드인 경우, 상기 저장용 영상데이터를 상기 저장 영상 저장 영역에 연속적으로 저장하고, 상기 표시용 영상데이터를 상기 표시 영상 저장 영역에 연속적으로 저장함과 함께 표시부에 연속적으로 표시하는 것을 특징으로 하는 영상 처리 장치.In the continuous capture mode in which the capturing operation by the image sensor is performed continuously, the storage image data is continuously stored in the storage image storage region, and the display image data is continuously stored in the display image storage region. And an image processing apparatus for successively displaying on the display unit. 제6항에 있어서, 상기 멀티미디어 응용처리 모듈은, The method of claim 6, wherein the multimedia application processing module, 상기 연속 캡쳐 모드에 의한 연속적인 캡쳐가 완료되면, 상기 표시 영상 저장 영역에 연속적으로 저장된 영상을 모두 독출하여 다운 스케일링한 다음 상기 표시부의 한 화면에 모두 표시하는 것을 특징으로 하는 영상 처리 장치.And when the continuous capture in the continuous capture mode is completed, all images continuously stored in the display image storage area are read out, downscaled, and displayed on one screen of the display unit. 제1항에 있어서, 상기 영상신호 처리 모듈은, The video signal processing module of claim 1, 출력되는 영상 데이터가 한 프레임 기간을 넘는 경우, 다음 프레임의 시작을 나타내는 수직 동기 신호를 스킵하거나 지연하는 것을 특징으로 하는 영상 처리 장치.And if the output image data exceeds one frame period, skip or delay the vertical synchronization signal indicating the start of the next frame. 이미지 센서, 영상신호 처리 모듈, 멀티미디어 응용처리 모듈 및 표시부를 구비하는 영상 처리 장치에서의 영상 처리 방법으로서,An image processing method in an image processing apparatus including an image sensor, an image signal processing module, a multimedia application processing module, and a display unit, 상기 영상신호 처리 모듈이 상기 이미지 센서에 의해 수신된 원시영상을 압축부호화 처리한 저장용 영상데이터와 압축부호화 처리하지 않은 표시용 영상 데이터로 생성하는 영상데이터생성단계;An image data generation step of generating, by the image signal processing module, the raw image received by the image sensor into storage image data that has been subjected to compression encoding processing and display image data that has not been compression encoding processing; 상기 영상신호 처리 모듈이 상기 생성된 저장용 영상데이터와 표시용 영상데이터를 하나의 인터페이스를 통하여 물리적으로 구분되는 상기 멀티미디어 응용처리 모듈로 순차적으로 출력하는 영상데이터출력단계; 및An image data output step of the image signal processing module sequentially outputting the generated storage image data and the display image data to the multimedia application processing module physically separated through one interface; And 상기 멀티미디어 응용처리 모듈이 상기 수신된 표시용 영상데이터는 복호화처리 없이 디스플레이 되도록 제어하고, 상기 수신된 저장용 영상데이터는 메모리에 저장되도록 제어하는 제어단계를 포함하는 것을 특징으로 하는 영상 처리 방법.And controlling, by the multimedia application processing module, the received display image data to be displayed without decoding processing, and the received storage image data to be stored in a memory. 삭제delete 제9항에 있어서, 상기 영상데이터생성단계는, The method of claim 9, wherein the image data generating step, 상기 원시영상을 미리 설정된 저장용 영상 데이터의 사이즈에 맞게 스케일링하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.And scaling the raw image to a size of preset image data for storage. 제9항에 있어서, 상기 영상데이터생성단계는, The method of claim 9, wherein the image data generating step, 상기 원시영상을 상기 표시부의 사이즈에 맞게 스케일링하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.And scaling the raw image according to the size of the display unit. 제9항에 있어서,The method of claim 9, 상기 메모리는 저장 영상 저장 영역과 표시 영상 저장 영역을 포함하고,The memory includes a storage image storage area and a display image storage area, 상기 제어단계는, The control step, 상기 멀티미디어 응용처리 모듈이 상기 저장용 영상데이터를 상기 저장 영상 저장 영역에 저장하고, 상기 표시용 영상 데이터를 상기 표시부에 표시함과 함께 상기 표시 영상 저장 영역에 저장하는 것을 특징으로 하는 영상 처리 방법.And the multimedia application processing module stores the storage image data in the storage image storage area, displays the display image data on the display unit, and stores the display image data in the display image storage area. 제13항에 있어서, 상기 멀티미디어 응용처리 모듈은,The method of claim 13, wherein the multimedia application processing module, 상기 이미지 센서에 의한 캡쳐 동작이 연속적으로 이루어지는 연속 캡쳐 모드인 경우, 상기 영상신호 처리 모듈로부터 연속적으로 받은 상기 저장용 영상데이터를 상기 저장 영상 저장 영역에 연속적으로 저장하고, 상기 표시용 영상데이터를 상기 표시 영상 저장 영역에 연속적으로 저장하는 것을 특징으로 하는 영상 처리 방법.In the continuous capture mode in which the capturing operation by the image sensor is performed continuously, the storage image data continuously received from the image signal processing module is continuously stored in the storage image storage area, and the display image data is stored in the storage image storage area. And storing the data in the display image storage area continuously. 제14항에 있어서, 상기 멀티미디어 응용처리 모듈은,The method of claim 14, wherein the multimedia application processing module, 상기 연속 캡쳐 모드에 의한 연속적인 캡쳐가 완료되면, 상기 표시 영상 저장 영역에 연속적으로 저장된 영상을 모두 독출하여 다운 스케일링한 다음 상기 표시부의 한 화면에 모두 표시하는 것을 특징으로 하는 영상 처리 방법.When the continuous capture by the continuous capture mode is completed, all images stored in the display image storage area is read out, downscaled and displayed on one screen of the display unit. 제9항에 있어서, 상기 영상데이터출력단계는,The method of claim 9, wherein the image data output step, 출력되는 영상 데이터가 한 프레임 기간을 넘는 경우, 다음 프레임의 시작을 나타내는 수직 동기 신호를 스킵하거나 지연하는 것을 특징으로 하는 영상 처리 방법.And when the output image data exceeds one frame period, skipping or delaying the vertical synchronization signal indicating the start of the next frame. 제9항 또는 제11항 내지 제16항 중 어느 한 항에 기재된 방법을 컴퓨터에게 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for causing a computer to execute the method according to any one of claims 9 or 11 to 16.
KR1020070062391A 2007-06-25 2007-06-25 Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method KR100902419B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020070062391A KR100902419B1 (en) 2007-06-25 2007-06-25 Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method
PCT/KR2008/003582 WO2009002074A1 (en) 2007-06-25 2008-06-24 Image processing apparatus and method for displaying captured image without time delay and computer readable medium stored thereon computer executable instructions for performing the method
CN2008800217389A CN101690173B (en) 2007-06-25 2008-06-24 Image processing apparatus and method for displaying captured image without time delay
US12/215,201 US20080316331A1 (en) 2007-06-25 2008-06-25 Image processing apparatus and method for displaying captured image without time delay and computer readable medium stored thereon computer executable instructions for performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070062391A KR100902419B1 (en) 2007-06-25 2007-06-25 Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method

Publications (2)

Publication Number Publication Date
KR20080113647A KR20080113647A (en) 2008-12-31
KR100902419B1 true KR100902419B1 (en) 2009-06-11

Family

ID=40185813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070062391A KR100902419B1 (en) 2007-06-25 2007-06-25 Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method

Country Status (3)

Country Link
KR (1) KR100902419B1 (en)
CN (1) CN101690173B (en)
WO (1) WO2009002074A1 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090167888A1 (en) * 2007-12-28 2009-07-02 Yo-Hwan Noh Methods of processing imaging signal and signal processing devices performing the same
JP5163702B2 (en) * 2010-06-16 2013-03-13 セイコーエプソン株式会社 Imaging apparatus and timing control circuit
KR20130080932A (en) * 2012-01-06 2013-07-16 삼성전자주식회사 Method and apparatus for storing image of camera
KR101899851B1 (en) 2012-05-03 2018-09-18 삼성전자 주식회사 Apparatus and mehod for processing a image in camera device
KR102146854B1 (en) * 2013-12-30 2020-08-21 삼성전자주식회사 Photographing apparatus and method
US9832521B2 (en) * 2014-12-23 2017-11-28 Intel Corporation Latency and efficiency for remote display of non-media content
CN107277340A (en) * 2016-04-06 2017-10-20 北京君正集成电路股份有限公司 A kind of snapshots method and device
CN111754387B (en) * 2019-03-28 2023-08-04 杭州海康威视数字技术股份有限公司 Image processing method and device
CN114175611A (en) * 2019-07-24 2022-03-11 索尼集团公司 Image forming apparatus and image forming method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002330326A (en) * 2001-04-27 2002-11-15 Matsushita Electric Ind Co Ltd Camera system and electronic device provided with the camera system
KR20050087285A (en) * 2004-02-26 2005-08-31 삼성전자주식회사 Image sensing data processing apparatus and method capable of simultaneously display processing and data compressing
KR20060113471A (en) * 2005-04-27 2006-11-02 소니 가부시끼 가이샤 Imaging device, processing method of the device, and program for executing the method by computer
KR20070092582A (en) * 2006-03-09 2007-09-13 삼성전자주식회사 Apparatus and method for image processing

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100565089B1 (en) * 2004-10-06 2006-03-30 삼성전자주식회사 Video service providing and receiving method in dab system, and apparatus thereof
KR100652956B1 (en) * 2005-01-14 2006-12-01 삼성전자주식회사 Method for informing video receiving delay and broadcast receving apparatus thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002330326A (en) * 2001-04-27 2002-11-15 Matsushita Electric Ind Co Ltd Camera system and electronic device provided with the camera system
KR20050087285A (en) * 2004-02-26 2005-08-31 삼성전자주식회사 Image sensing data processing apparatus and method capable of simultaneously display processing and data compressing
KR20060113471A (en) * 2005-04-27 2006-11-02 소니 가부시끼 가이샤 Imaging device, processing method of the device, and program for executing the method by computer
KR20070092582A (en) * 2006-03-09 2007-09-13 삼성전자주식회사 Apparatus and method for image processing

Also Published As

Publication number Publication date
CN101690173B (en) 2012-07-18
CN101690173A (en) 2010-03-31
WO2009002074A1 (en) 2008-12-31
KR20080113647A (en) 2008-12-31

Similar Documents

Publication Publication Date Title
KR100902419B1 (en) Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method
US20080316331A1 (en) Image processing apparatus and method for displaying captured image without time delay and computer readable medium stored thereon computer executable instructions for performing the method
US10082723B2 (en) Image capturing apparatus for generating a high dynamic range video frame from multiple image frames with different characteristics
KR101264389B1 (en) Imaging device and method
US20140078343A1 (en) Methods for generating video and multiple still images simultaneously and apparatuses using the same
EP2629520B1 (en) Apparatus and method for shooting moving picture in camera device
US20110157426A1 (en) Video processing apparatus and video processing method thereof
US9131158B2 (en) Moving-image capturing apparatus and electronic zoom method for moving image
US8264587B2 (en) Increasing frame rate for imaging
US8081228B2 (en) Apparatus and method for processing image data
JP4571074B2 (en) Electronic devices that compress image data and create thumbnail images, image processing devices, and data structures
US8466986B2 (en) Image capturing apparatus, image capturing control method, and storage medium storing program for image capturing
JP2003219341A (en) Movie still camera and operation control method thereof
US10244199B2 (en) Imaging apparatus
US20090167888A1 (en) Methods of processing imaging signal and signal processing devices performing the same
KR100935541B1 (en) Method For Processing Of Imaging Signal And Signal Processor Perfoming The Same
KR100902421B1 (en) Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method
JP4302661B2 (en) Image processing system
JP6741532B2 (en) Imaging device and recording method
KR100902420B1 (en) Apparatus and method for image processing in capable of displaying captured image without time delay, and computer readable medium stored thereon computer executable instruction for performing the method
US8154749B2 (en) Image signal processor and deferred vertical synchronous signal outputting method
KR100827680B1 (en) Method and device for transmitting thumbnail data
JP2011041144A (en) Apparatus and program for processing image
JP2009159303A (en) Imaging apparatus
TWI424371B (en) Video processing device and processing method thereof

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130503

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140402

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151204

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160404

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170403

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee