KR101505442B1

KR101505442B1 - Image processing method and apparatus, and digital photographing apparatus

Info

Publication number: KR101505442B1
Application number: KR1020080094743A
Authority: KR
Inventors: 장성규
Original assignee: 삼성전자주식회사
Priority date: 2008-09-26
Filing date: 2008-09-26
Publication date: 2015-03-25
Also published as: KR20100035382A

Abstract

본 발명은 고속 정지화상 촬영이 가능한 디지털 촬영 장치에서 사용자가 원하는 촬영 시점을 포착할 수 있는 영상 처리 방법 및 장치에 관한 것으로, 본 발명의 일 실시 예에 따라 라이브 뷰 영상과 기 등록한 영상과의 차이값을 계산하고, 차이값이 최소가 되는 프레임을 검색하여, 검색한 프레임을 기준으로 영상을 저장함으로써 고속 정지화상 촬영시 사용자가 원하는 촬영 시점을 정확하게 포착하여 저장할 수 있는 효과가 있다. The present invention relates to an image processing method and apparatus capable of capturing a desired photographing time point in a digital photographing apparatus capable of fast still image photographing and, in accordance with an embodiment of the present invention, a difference between a live view image and a pre- A frame having a minimum difference value is searched for, and an image is stored based on the searched frame, so that a user can accurately capture and store a desired shooting time when shooting a fast still image.

고속, CMOS 센서, 촬영 시점 High speed, CMOS sensor, shooting point

Description

[0001] The present invention relates to an image processing method and apparatus, and a digital photographing apparatus using the same.

본 발명은 영상 처리에 관한 것으로, 더 상세하게는 고속 정지화상 촬영이 가능한 디지털 촬영 장치에서 사용자가 원하는 촬영 시점을 포착할 수 있는 영상 처리 방법 및 장치에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to image processing, and more particularly, to an image processing method and apparatus capable of capturing a desired shooting time point in a digital photographing apparatus capable of fast still image photographing.

현재 고속 정지화상 촬영이 가능한 센서, 예를 들면 고속 CMOS 센서(High Speed CMOS Sensor)가 상용화됨에 따라서 고속 정지화상 촬영에 대한 기대감이 높아지고 있다. 현재, 일부 제품에서는 이러한 센서를 탑재하여 이미 제품화되어 시장에 출시되고 있다. As a sensor capable of high-speed still image capture, for example, a high-speed CMOS sensor (High Speed CMOS sensor), has been commercialized, expectations for high-speed still image shooting are increasing. At present, some products are already commercialized with these sensors and are being launched on the market.

이러한 시스템을 구현하기 위해서는 입력 데이터 량이 카메라 신호 처리부 대비 수배로 높아서 바로 입력 처리를 하지 못하고 RAW 파일 형태로 우선 메모리에 저장하게 된다. 따라서, 메모리에 저장된 원본 파일을 현상해서 사용자가 촬영된 그림을 확인할 수 있을 것이다.In order to implement such a system, the amount of input data is several times higher than that of the camera signal processing unit. Therefore, the original file stored in the memory can be developed so that the user can check the picture taken.

　그런데 이러한 방식에서의 문제점은 연속적으로 저장 가능한 시간이 매우 제한적이라는 점이다. 예를 들어 1 Gbit DDR 메모리를 사용하더라도 9M 화소의 경 우 압축을 수행하더라도 최대 1초간만 저장이 가능하다는 문제점이 있다.The problem with this approach, however, is that the time available for continuous storage is very limited. For example, even if a 1-Gbit DDR memory is used, even if a 9-M pixel is compressed, it can be stored for a maximum of 1 second.

본 발명의 상기 종래 방식의 문제점을 해결하기 위해 안출된 것으로, 고속 정지화상 촬영을 수행할 때 정해진 동작이나 자세를 교정하기 위한 응용에 적합하도록 촬영 시점을 편리하게 포착하여 원하는 영상만을 선택적으로 저장할 수 있는 영상 처리 방법 및 장치를 제공하는 데 목적이 있다.The present invention has been made in order to solve the problems of the conventional system of the present invention and it is an object of the present invention to provide an image processing apparatus and method capable of selectively capturing a desired image by conveniently capturing a shooting time point so as to be suitable for an application for correcting a predetermined motion or posture And to provide an image processing method and apparatus.

또한, 이를 이용한 디지털 촬영 장치를 제공하는 데 다른 목적이 있다. Another object of the present invention is to provide a digital photographing apparatus using the same.

상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시 예에 따른 영상 처리 방법은 연속 동작을 수행하는 피사체에 대해 촬영하고자 하는 동작에 상응하는 피사체의 영상을 촬영하여 등록하는 단계; 복수의 프레임의 라이브 뷰 영상과 상기 등록된 영상과의 차이값을 계산하는 단계; 상기 계산한 차이값이 최소가 되는 프레임을 검색하는 단계; 및 상기 검색한 프레임을 기준으로 소정 갯 수의 전후 프레임에 해당하는 라이브 뷰 영상을 저장하는 단계를 포함한다.
상기 검색 단계는, 상기 차이값을 곡선형태로 표현한 그래프에서 hill climb 알고리즘을 이용해 최소가 되는 프레임을 검색하는 것을 특징으로 한다.
상기 계산 단계는, 전후 프레임의 차 영상의 값의 절대치를 합산함으로써 상기 차이값을 계산하는 것을 특징으로 한다.
상기 계산 단계는, 전후 프레임의 차 영상의 값을 제곱하고 합산함으로써 상기 차이값을 계산하는 것을 특징으로 한다.
상기 저장 단계는, 상기 검색한 프레임을 기준으로 소정 갯 수의 전후 프레임에 해당하는 라이브뷰 영상에 상응하는 원본 영상을 저장하는 것을 특징으로 한다.
다른 실시 예에 따른 영상 처리 장치는 연속 동작을 수행하는 피사체에 대해 촬영하고자 하는 동작에 상응하는 피사체의 영상을 촬영하여 등록하는 촬영 시점 등록부; 복수의 프레임의 라이브 뷰 영상과 상기 등록된 영상과의 차이값을 계산하는 차이값 계산부; 상기 계산한 차이값이 최소가 되는 프레임을 검색하는 최소값 검색부; 및 상기 검색한 프레임을 기준으로 소정 갯 수의 전후 프레임에 해당하는 라이브 뷰 영상을 저장하는 저장 프레임 선택부를 포함한다.
또 다른 실시 예에 따른 디지털 촬영 장치는 연속 동작을 수행하는 피사체에 대해 촬영하고자 하는 동작에 상응하는 피사체의 영상을 촬영하여 등록하는 촬영 시점 등록부; 고속 CMOS 센서로부터 출력된 RAW 데이터에 상응하는 라이브 뷰 영상과 상기 등록한 영상과의 차이값을 계산하는 차이값 계산부; 순차적으로 입력된 복수의 프레임의 라이브 뷰 영상으로부터 상기 차이값을 곡선형태로 표현한 그래프에서 hill climb 알고리즘을 이용해 상기 차이값이 최소가 되는 프레임을 검색하는 최소값 검색부; 및 상기 검색한 프레임을 기준으로 소정 갯 수의 전후 프레임에 해당하는 라이브 뷰 영상을 저장하는 저장 프레임 선택부를 포함한다.According to an aspect of the present invention, there is provided an image processing method comprising: capturing and registering an image of a subject corresponding to an operation to be performed on a subject performing a continuous operation; Calculating a difference value between the live view image of the plurality of frames and the registered image; Searching for a frame in which the calculated difference value is minimum; And storing a live view image corresponding to a predetermined number of frames before and after the searched frame.
In the searching step, a minimum frame is searched using a hill climb algorithm in a graph representing the difference value in a curve form.
And the calculating step calculates the difference by summing the absolute values of the difference images of the preceding and following frames.
And the calculating step calculates the difference value by squaring and summing the difference image of the previous and next frames.
The storing step stores an original image corresponding to a live view image corresponding to a predetermined number of frames before and after the searched frame.
The image processing apparatus according to another embodiment includes a photographing time registering unit for photographing and registering an image of a subject corresponding to an operation to be performed on a subject performing a continuous operation; A difference value calculation unit for calculating a difference value between the live view image of the plurality of frames and the registered image; A minimum value search unit for searching a frame in which the calculated difference value is the minimum; And a storage frame selector for storing a live view image corresponding to a predetermined number of frames before and after the searched frame.
According to another embodiment of the present invention, there is provided a digital photographing apparatus comprising: a photographing time registering unit for photographing and registering an image of a subject corresponding to an operation for photographing a subject performing a continuous operation; A difference value calculation unit for calculating a difference value between the live view image corresponding to RAW data output from the high speed CMOS sensor and the registered image; A minimum value retrieval unit for retrieving a frame having the minimum difference value using a hill climb algorithm in a graph in which the difference value is expressed in a curve form from a live view image of a plurality of sequentially input frames; And a storage frame selector for storing a live view image corresponding to a predetermined number of frames before and after the searched frame.

삭제delete

본 발명의 일 실시 예에 따라 라이브 뷰 영상과 기 등록한 영상과의 차이값을 계산하고, 차이값이 최소가 되는 프레임을 검색하여, 검색한 프레임을 기준으로 영상을 저장함으로써 고속 정지화상 촬영시 사용자가 원하는 촬영 시점을 정확하게 포착하여 저장할 수 있는 효과가 있다.According to an embodiment of the present invention, a difference value between a live view image and a previously registered image is calculated, a frame having a minimum difference value is searched, and an image is stored based on the searched frame, So that the desired shooting time can be accurately captured and stored.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 수 있다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, only parts necessary for understanding the operation according to the present invention will be described, and descriptions of other parts may be omitted so as not to disturb the gist of the present invention.

또한, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. In addition, terms and words used in the following description and claims should not be construed to be limited to ordinary or dictionary meanings, but are to be construed in a manner consistent with the technical idea of the present invention As well as the concept.

본 발명의 제1 실시 형태에 관한 디지털 촬영 장치 및 촬영 방법에 대해서 설명한다. 도 1은, 본 발명의 제1 실시 예에 관한 디지털 촬영 장치(100)의 구성에 대해서 설명하는 도면이다. 이하, 도 1을 이용하여 본 발명의 제1 실시 예에 관한 디지털 촬영 장치(100)의 구성에 대해서 설명한다.A digital photographing apparatus and a photographing method according to a first embodiment of the present invention will be described. Fig. 1 is a diagram for explaining the configuration of the digital photographing apparatus 100 according to the first embodiment of the present invention. Hereinafter, the configuration of the digital photographing apparatus 100 according to the first embodiment of the present invention will be described with reference to Fig.

도 1에 나타낸 바와 같이, 본 발명의 제1 실시 예에 관한 디지털 촬영 장치는, 줌렌즈(102), 조리개(104), 포커스 렌즈(106), 구동장치(102a, 104a, 106a), CMOS(Complementary Metal Oxide Semiconductor)소자(108), 앰프 일체형의 CDS(Correlated Double Sampling)회로(110), A/D변환기(112), 화상 입력 콘트롤러(114), 화상 신호 처리부(116), 압축 처리부(120), OSD(On Screen Display)(121), LCD(Liquid Crystal Display)드라이버(122), LCD(124), 타이밍 발생기(126), CPU(Central Processing Unit)(128), 조작부(132), 셔터버튼(133), 메모리(134), VRAM(Video Random Access Memory)(136), 미디어 콘트롤러(138), 기록 미디어(140), 모터 드라이버(142a, 142b, 142c), 플래시(144)를 포함하여 구성된다.1, the digital photographing apparatus according to the first embodiment of the present invention includes a zoom lens 102, a diaphragm 104, a focus lens 106, driving devices 102a, 104a, and 106a, a CMOS (A / D) converter 112, an image input controller 114, an image signal processing unit 116, a compression processing unit 120, and a digital signal processing unit 120. The A / D converter 112, the CDS (Correlated Double Sampling) An On Screen Display (OSD) 121, a Liquid Crystal Display (LCD) driver 122, an LCD 124, a timing generator 126, a CPU (Central Processing Unit) 128, A memory 134, a video random access memory (VRAM) 136, a media controller 138, a recording medium 140, motor drivers 142a, 142b and 142c, do.

줌렌즈(102)는, 구동장치(102a)에 의해 광축방향으로 전후하여 이동시킴으로써 초점거리가 연속적으로 변화하는 렌즈로서, 피사체의 크기를 변화하여 촬영한다. 조리개(104)는, 화상을 촬영할 때에, 구동장치(104a)에 의해 CMOS소자(108)에 들어오는 광량의 조절을 행한다. 포커스 렌즈(106)는, 구동장치(106a)에 의해 광축방향으로 전후하여 이동시킴으로써 피사체의 핀트를 조절하는 것이다.The zoom lens 102 is a lens whose focal distance continuously changes by moving back and forth in the direction of the optical axis by the driving device 102a, and changes the size of the subject to take a picture. The diaphragm 104 adjusts the amount of light entering the CMOS element 108 by the driving device 104a when capturing an image. The focus lens 106 adjusts the focus of the subject by moving the focus lens 106 back and forth in the direction of the optical axis by the driving device 106a.

본 실시 예에서는, 줌렌즈(102) 및 포커스 렌즈(106)는 1장만 나타내고 있는데, 줌렌즈(102)의 매수는 2장 이상이어도 되고, 포커스 렌즈(106)의 매수도 2장 이상이어도 된다.In the present embodiment, only one zoom lens 102 and one focus lens 106 are shown. The number of the zoom lenses 102 may be two or more, and the number of the focus lenses 106 may be two or more.

CMOS소자(108)는, 줌렌즈(102), 조리개(104) 및 포커스 렌즈(106)로부터 입사된 광을 전기신호로 변환하기 위한 소자이다. 본 실시 예에서는, 전자셔터에 의 해 입사광을 제어하여 전기신호를 추출하는 시간을 조절하고 있는데, 메카셔터를 이용하여 입사광을 제어하여 전기신호를 추출하는 시간을 조절해도 된다. 본 실시 예에서는, 줌렌즈(102), 조리개(104), 포커스 렌즈(106) 및 CCD소자(110)로 촬상부를 구성한다. 또, 촬상부의 세트는 이에 한정되지 않고, 줌렌즈(102)나 조리개(104)를 포함하지 않는 구성이어도 된다.The CMOS device 108 is an element for converting the light incident from the zoom lens 102, the diaphragm 104, and the focus lens 106 into an electric signal. In this embodiment, the time for extracting the electric signal is controlled by controlling the incident light by the electronic shutter. However, the time for extracting the electric signal by controlling the incident light by using a mechanical shutter may be adjusted. In this embodiment, the image pickup section is constituted by the zoom lens 102, the diaphragm 104, the focus lens 106 and the CCD element 110. The set of image pickup units is not limited to this, and may be configured not to include the zoom lens 102 or the diaphragm 104. [

본 실시 예에서는 CMOS소자(108)를 사용하고 있으며, 바람직하게, 고속(High speed) CMOS 이미지 센서이다. 여기서, 고속 CMOS 이미지 센서를 통해 디지털 촬영 장치(100)는 초당 60매의 연속 촬영을 할 수 있다. CDS회로(110)는, CMOS소자(108)로부터 출력된 전기신호의 잡음을 제거하는, 샘플링 회로의 일종인 CDS회로와, 잡음을 제거한 후에 전기신호를 증폭하는 앰프가 일체로 된 회로이다. 본 실시 예에서는 CDS회로와 앰프가 일체로 된 회로를 이용하여 디지털 촬영 장치(100)를 구성하고 있는데, CDS회로와 앰프를 별도의 회로로 구성해도 된다.In this embodiment, the CMOS device 108 is used, and it is preferably a high speed CMOS image sensor. Here, the digital photographing apparatus 100 can perform continuous photographing of 60 sheets per second through the high-speed CMOS image sensor. The CDS circuit 110 is a circuit in which a CDS circuit, which is a kind of sampling circuit, which removes noise of an electric signal outputted from the CMOS element 108, and an amplifier that amplifies an electric signal after noise is removed, are integrated. In the present embodiment, the digital photographing apparatus 100 is configured by using a circuit in which the CDS circuit and the amplifier are integrated. However, the CDS circuit and the amplifier may be constituted by separate circuits.

A/D변환기(112)는, CMOS소자(108)에서 생성된 전기신호를 디지털신호로 변환하여, 화상의 RAW 데이터를 생성하는 것이다.The A / D converter 112 converts the electric signal generated in the CMOS device 108 into a digital signal to generate RAW data of an image.

화상 입력 콘트롤러(114)는, A/D변환기에서 생성된 화상의 RAW 데이터의 메모리(134)에의 입력을 제어하는 것이다.The image input controller 114 controls the input of the RAW data of the image generated by the A / D converter into the memory 134.

화상신호 처리부(116)는, CMOS소자(108)로부터 출력된 전기신호에 대해, 광량의 게인 보정이나 화이트 밸런스의 조정을 행하는 것이다. 화상 신호 처리부(116)는 촬영한 화상의 노광 데이터를 취득한다. 노광 데이터에는 합초평가값(AF평가값)이나 AE(Auto Exposure;자동노광)평가값이 포함되고 있고, 화상 신호 처리부(116)에서 합초평가값이나 AE평가값의 산출을 행한다.The image signal processing unit 116 performs gain correction and white balance adjustment of the light amount with respect to the electric signal output from the CMOS device 108. [ The image signal processing unit 116 acquires exposure data of the photographed image. The exposure data includes an in-focus evaluation value (AF evaluation value) and an AE (Auto Exposure) evaluation value, and the image signal processing section 116 calculates the in-focus evaluation value and the AE evaluation value.

압축 처리부(120)는, 화상 신호 처리부(116)에서 현상 처리된 영상을 적절한 형식의 화상 데이터로 압축하는 압축처리를 행한다. 화상의 압축형식은 가역형식 또는 비 가역 형식이어도 된다. 적절한 형식의 예로서, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000형식으로 변환해도 된다.The compression processing unit 120 performs compression processing for compressing the image processed in the image signal processing unit 116 into image data of a proper format. The compression format of the image may be a reversible format or a non-reversible format. As an example of a suitable format, it may be converted to JPEG (Joint Photographic Experts Group) format or JPEG 2000 format.

OSD(121)는, 디지털 촬영 장치(100)의 설정화면을 LCD(124)에 표시시키는 기능이다. LCD(124)는, 촬영조작을 행하기 전의 라이브 뷰 표시나, 촬상장치(100)의 각종 설정화면이나, 촬영한 화상의 표시 등을 행한다. 화상 데이터나 촬상장치(100)의 각종 정보의 LCD(124)에의 표시는, LCD드라이버(122)를 개재하여 행해진다.The OSD 121 is a function for displaying the setting screen of the digital photographing apparatus 100 on the LCD 124. [ The LCD 124 performs live view display before performing a photographing operation, various setting screens of the image capturing apparatus 100, and displays a captured image. Display of image data and various kinds of information of the image pickup apparatus 100 on the LCD 124 is performed via the LCD driver 122. [

타이밍 발생기(126)는, CMOS소자(108)에 타이밍 신호를 입력한다. 타이밍 발생기(126)로부터의 타이밍 신호에 의해 셔터속도가 결정된다. 즉, 타이밍 발생기(126)로부터의 타이밍 신호에 의해 CMOS소자(108)의 구동이 제어되고, CMOS소자(108)가 구동하는 시간 내에 피사체로부터의 영상 광을 입사함으로써, 화상 데이터의 기초가 되는 전기신호가 생성된다.The timing generator 126 inputs a timing signal to the CMOS device 108. [ The shutter speed is determined by the timing signal from the timing generator 126. [ That is, the driving of the CMOS device 108 is controlled by the timing signal from the timing generator 126, and the video light from the subject is incident within the time that the CMOS device 108 is driven, A signal is generated.

CPU(128)는, CMOS소자(108)나 CDS회로(110) 등에 대해 신호계의 명령을 행하거나, 조작부(132)의 조작에 대한 조작계의 명령을 행하거나 한다. 본 실시 예에서는 CPU를 하나만 포함하고 있는데, 신호계의 명령과 조작계의 명령을 별도의 CPU에서 행하도록 해도 된다. The CPU 128 instructs the CMOS device 108 or the CDS circuit 110 or the like to issue a signal command or commands the operation system to operate the operation unit 132. [ In the present embodiment, only one CPU is included, but instructions of the signal system and instructions of the operating system may be executed by separate CPUs.

조작부(132)는, 촬상장치(100)의 조작을 행하거나, 촬영시의 각종의 설정을 행하거나 하기 위한 부재가 배치되어 있다. 조작부(132)에 배치되는 부재에는, 전원버튼, 촬영모드나 촬영 드라이브 모드의 선택 및 소프트 포커스 효과의 설정을 행하는 십자키 및 선택버튼 등이 배치된다. 셔터버튼(133)은, 촬영조작을 행하기 위한 것으로, 반누름 상태에서 피사체를 합초하고, 완전누름 상태에서 피사체의 촬상을 행한다. 본 발명의 바람직한 실시 예에서, 사용자는 조작부(132)를 통해 고속 정지화상 촬영 모드를 선택할 수 있다.The operation unit 132 is provided with members for performing operations of the image capturing apparatus 100 or performing various settings at the time of photographing. A member disposed on the operation section 132 is provided with a power button, a cross key, and a selection button for selecting a photographing mode or a photographing drive mode and setting a soft focus effect. The shutter button 133 is used to perform a photographing operation, in which the subject is in a half-pressed state and the subject is photographed in a fully pressed state. In the preferred embodiment of the present invention, the user can select the fast still image shooting mode through the operation unit 132. [

메모리(134)는, 화상 기억부의 일례로서, 촬영한 화상이나 화상 합성부(118)에서 합성한 화상을 일시적으로 기억하는 것이다. 메모리(134)는, 복수의 화상을 기억할 수 있을 만큼의 기억 용량을 가진다. 메모리(134)에의 화상의 판독 기입은 화상 입력 콘트롤러(114)에 의해 제어된다.The memory 134 is an example of an image storage unit, and temporarily stores the photographed image or the image synthesized by the image synthesis unit 118. [ The memory 134 has a storage capacity sufficient to store a plurality of images. The image reading and writing into the memory 134 is controlled by the image input controller 114.

VRAM(136)은, LCD(124)에 표시하는 내용을 유지하는 것으로, LCD(124)의 해상도나 최대 발색수는 VRAM(136)의 용량에 의존한다.The VRAM 136 maintains the contents to be displayed on the LCD 124. The resolution and the maximum coloring count of the LCD 124 depend on the capacity of the VRAM 136. [

기록 미디어(140)는, 화상 기록부의 일례로서, 촬영한 화상을 기록하는 것이다. 기록 미디어(140)에의 입출력은, 미디어 콘트롤러(138)에 의해 제어된다. 기록 미디어(140)에는, 플래시 메모리에 데이터를 기록하는 카드형의 기억장치인 메모리 카드를 사용할 수 있다.The recording medium 140 is an example of an image recording section and records a photographed image. The input / output to / from the recording medium 140 is controlled by the media controller 138. As the recording medium 140, a memory card which is a card-type memory device for recording data in a flash memory can be used.

모터 드라이버(142a, 142b, 142c)는 줌렌즈(102), 조리개(104) 및 포커스 렌즈(106)를 동작시키는 구동장치(102a, 104a, 106a)의 제어를 행한다. 모터 드라이버(142a, 142b, 142c)를 개재하여 줌렌즈(102), 조리개(104) 및 포커스 렌즈(106)를 동작시킴으로써, 피사체의 크기나 광량, 핀트의 조절을 행한다.The motor drivers 142a, 142b and 142c control the driving devices 102a, 104a, and 106a that operate the zoom lens 102, the diaphragm 104, and the focus lens 106. [ The focus, and the focus are adjusted by operating the zoom lens 102, diaphragm 104, and focus lens 106 via motor drivers 142a, 142b, and 142c.

플래시(144)는, 야간의 옥외나 어두운 장소에서의 촬영시에 피사체를 밝게 비추기 위한 것이다. 플래시 촬영을 할 때에, CPU(128)로부터 발광명령이 플래시 장치(144)로 행해지고, CPU(128)로부터의 발광명령에 따라 플래시(144)를 발광시켜, 플래시(144)가 발광한 광에 따라 피사체가 밝게 비친다.The flash 144 is for illuminating the subject brightly at the time of photographing in the outdoors or in a dark place at night. A flash instruction is issued from the CPU 128 to the flash unit 144 so that the flash 144 is caused to emit in accordance with the flash instruction from the CPU 128 so that the flash 144 The subject shines brightly.

이상, 도 1을 이용하여 본 발명의 제1 실시 예에 관한 디지털 촬영 장치(100)에 대해서 설명하였다. 다음에, 본 발명의 제1 실시 예에 관한 촬상장치의 CPU(128)의 구성에 대해서 설명한다.The digital photographing apparatus 100 according to the first embodiment of the present invention has been described above with reference to Fig. Next, the configuration of the CPU 128 of the image pickup apparatus according to the first embodiment of the present invention will be described.

도 2는, 본 발명의 제1 실시 예에 관한 CPU(128)의 구성에 대해서 설명하는 도면이다. 이하, 도 2를 이용하여 본 발명의 제1 실시 예에 관한 CPU의 구성에 대해서 설명한다.Fig. 2 is a diagram for explaining a configuration of the CPU 128 according to the first embodiment of the present invention. Hereinafter, the configuration of the CPU according to the first embodiment of the present invention will be described with reference to FIG.

CPU(128)는 디지털 촬영 장치(100)의 전반적인 동작을 제어한다. 본 발명의 바람직한 실시 예에서, CPU(128)는 촬영 시점 등록부(201), 차이값 계산부(202), 최소값 검색부(203) 및 저장 프레임 선택부(204)를 포함한다.The CPU 128 controls the overall operation of the digital photographing apparatus 100. In the preferred embodiment of the present invention, the CPU 128 includes a photographing time registration unit 201, a difference value calculation unit 202, a minimum value search unit 203, and a storage frame selection unit 204.

촬영 시점 등록부(201)는 촬영하고자 하는 시점의 영상을 촬영하여 등록한다. 여기서, 등록 영상은 동일한 동작이나 구성이 반복되는 기계나 자동차의 움직임을 나타내는 영상이다. 사용자가 촬영하고자 하는 촬영 시점, 예를 들면 골프 스윙에서 임팩트 순간을 포착하기를 원하는 경우, 사용자가 임팩트 포즈를 취하고 이를 미리 촬영하여 저장해둔다. 이러한 촬영 시점의 영상이 촬영 시점 등록부(201)를 통해 등록된다.The photographing time registering unit 201 photographs and registers an image at a time point of photographing. Here, the registered image is an image representing the movement of a machine or a car in which the same operation or configuration is repeated. When the user wishes to capture an impact moment at a photographing time point to be photographed, for example, a golf swing, the user takes an impact pose and photographs and stores it in advance. The image at the photographing time is registered through the photographing time registering unit 201. [

차이값 계산부(202)는 CMOS소자(108)로부터 입력된 라이브 뷰 영상과 사용자 가 미리 촬영하고자 하는 시점을 촬영하여 등록한 영상, 즉 촬영 시점 등록부(201)에 등록된 영상과의 차이값을 계산한다. 여기서, 차이값은 시간 축 상에서 그래프의 형태로 표현할 수 있는데, 매 프레임마다 차이값을 시간 축에 따라 곡선형태의 그래프로 나타낸다. 차이값을 측정하는 방법으로는, 순차적으로 입력되는 프레임에서 전후 프레임간의 차 영상의 값의 절대치를 합산하는 방법, 차 영상을 제곱한 후 합산하는 방법 등을 사용할 수 있다. 또한, 영상의 모션 벡터를 추정해서 촬영 시점을 포착할 수도 있다.The difference value calculation unit 202 calculates the difference value between the live view image input from the CMOS device 108 and the image captured and registered by the user in advance, that is, the image registered in the photographing time registration unit 201 do. Here, the difference value can be expressed in the form of a graph on the time axis, and the difference value is represented as a curve-shaped graph along the time axis every frame. As a method for measuring the difference value, a method of summing the absolute values of the difference images between the preceding and following frames in successively inputted frames, a method of squaring and summing the difference images, and the like can be used. In addition, the motion vector of the image can be estimated to capture the shooting time point.

최소값 검색부(203)는 차이값 계산부(202)가 계산한 차이값이 최소가 되는 영상의 프레임을 검색한다. 여기서, 최소가 되는 영상의 프레임이란, 순차적으로 매 프레임의 라이브 뷰 영상 중에서, 미리 등록된 촬영 시점의 등록 영상과의 차이값이 최소가 되는 프레임을 의미한다. 또한, 최소값 검색부(203)는 차이값 계산부(202)가 계산한 차이값을 이용하여 AF곡선에서 AF평가값을 산출하는데 이용되는 알고리즘인 hill climb 알고리즘을 이용하여 검색을 수행한다. 여기서, 프레임간의 노이즈를 고려하여, 예를 들면 5장 또는 10장과 같이 일정한 개수 이상을 가지고 전술한 차이값을 표현한 그래프를 검색하여 국부 최소값(local minimun)을 가지는 프레임을 검색한다. 예를 들면, 골프 채가 공에 임팩트하는 순간에 가장 가까운 영상을 찾는 것이다. The minimum value retrieving unit 203 retrieves a frame of an image whose difference value calculated by the difference value calculating unit 202 is minimum. Here, the minimum image frame means a frame in which the difference value between the live view image of each frame and the registered image at the shooting time registered in advance is minimum. In addition, the minimum value search unit 203 performs a search using the hill climb algorithm, which is an algorithm used to calculate the AF evaluation value in the AF curve, using the difference value calculated by the difference value calculation unit 202. [ In consideration of noise between frames, a graph having a local minimum value is searched for a graph in which the difference value is expressed by a predetermined number or more, such as 5 or 10, for example. For example, when a golf club impacts a ball, it looks for the nearest image.

저장 프레임 선택부(204)는 최소값 검색부(203)가 검색한 프레임을 기준으로 소정 갯 수의 전후 프레임에 해당하는 영상을 선택한다. 여기서, 소정 갯수는 검색한 프레임이 10번째 프레임인 경우에, 5번째 프레임부터 15번째 프레임만을 저장 함으로써 고속 정지화상 촬영에서 촬영된 영상 중에서, 사용자가 원하는 촬영 시점의 영상에 가까운 영상들만을 선택적으로 저장할 수 있다. 여기서, 저장하는 영상은 라이브 뷰 영상일 수 있으며, 라이브 뷰 영상에 대응하는 원본 영상일 수도 있다. 또한, 저장한 영상들은 화상 신호 처리부(116) 및 압축 처리부(120)를 통해 현상하고 압축하여 LCD(124)를 통해 재생하거나, 기록 미디어(140)에 기록할 수 있다. 또한, 저장한 영상들로 인하여 메모리 용량이 찬 경우에는 이후에 입력되는 영상은 가장 오래된 프레임부터 덮어쓰는 방식으로 새로 저장하는 것이 바람직하다. 따라서, 사용자가 등록된 사진에 가장 유사한 시점부터 고속 정지화상 촬영을 시작하도록 할 수 있고, 이 경우 촬영시간이 제한되더라도 초고화질로 원하는 시간을 정확히 포착할 수가 있어서 메모리 공간의 한계를 극복할 수 있다. The storage frame selection unit 204 selects a video corresponding to a predetermined number of frames before and after the frame searched by the minimum value search unit 203. Here, in the case where the searched frame is the tenth frame, only a predetermined number of frames are stored only in the frames from the 5th frame to the 15th frame, Can be stored. Here, the image to be stored may be a live view image or an original image corresponding to a live view image. The stored images can be developed and compressed through the image signal processing unit 116 and the compression processing unit 120, reproduced through the LCD 124, or recorded on the recording medium 140. In addition, when the memory capacity is low due to the stored images, it is desirable to newly store the input image in a manner of overwriting the oldest frame. Therefore, it is possible to start high-speed still image shooting from the time when the user is most similar to the registered photograph. In this case, even if the shooting time is limited, the desired time can be precisely captured with super high image quality, .

본 발명의 바람직한 실시 예에서는, CPU(128)와 화상 신호 처리부(116) 및 압축 처리부(120)를 분리하여 설명하였지만, 이들은 모두 DSP 칩에 함께 구현할 수 있음은 물론이다. In the preferred embodiment of the present invention, the CPU 128, the image signal processing unit 116, and the compression processing unit 120 are separately described. However, it is needless to say that they can be implemented together in the DSP chip.

도 3은 본 발명의 다른 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating an image processing method according to another embodiment of the present invention.

도 3을 참조하면, 단계 300에서, 촬영하고자 하는 시점의 영상을 등록한다. 이때 포착하고자 하는 시점을 미리 촬영하여 등록해 둔다. 예를 들면 골프 스윙에서 클럽의 헤드가 공을 임팩트하는 순간의 자세를 취해서 사진을 한 장 찍어둔다. 　셀프 촬영의 경우에는 삼각대 등을 활용할 수도 있다.Referring to FIG. 3, in step 300, an image at a point in time to be photographed is registered. At this time, the time to capture is photographed and registered. For example, in a golf swing, take a moment to take a picture of the club head with the impact of the ball. In the case of self-photographing, a tripod or the like may be utilized.

단계 302에서, 고속 정지화상 촬영 모드를 선택한다. 그리고, 사용자는 예 를 들어 실제 골프 스윙 동작을 실행한다. 단계 304에서, 라이브 뷰 영상과 미리 등록한 영상과의 차이값을 계산한다. 단계 306에서, 차이값을 이용하여 최소값을 검색한다. 여기서, 골프 클럽의 헤드가 공에 임팩트하는 순간의 근처를 찾게 된다. 단계 308에서, 최소값을 가지는 프레임을 기준으로 소정 갯수의 전 후 프레임에 해당하는 영상을 저장한다. 여기서, 예를 들어 임팩트 순간 전후 대략 0.5 초를 저장하게 된다. 단계 310에서, 저장된 영상을 현상, 재생, 기록한다.In step 302, the fast still image shooting mode is selected. Then, the user executes, for example, an actual golf swing operation. In step 304, the difference value between the live view image and the pre-registered image is calculated. In step 306, the minimum value is retrieved using the difference value. Here, the head of the golf club finds the vicinity of the moment of impact on the ball. In step 308, an image corresponding to a predetermined number of frames before and after the frame having the minimum value is stored. Here, for example, about 0.5 second before and after the impact moment is stored. In step 310, the stored image is developed, reproduced, and recorded.

전술한 실시 예들은 본 발명이 적용될 수 있는 디지털 촬영장치의 일 예로서 디지털 카메라를 중심으로 기술하였으나, 이에 한정하는 것은 아니다. 당업자라면 본 발명이 카메라 기능이 부가된 카메라폰, PDA(personal digital assistant), PMP(portable multimedia player)에도 적용될 수 있음을 이해할 것이다.Although the embodiments described above have been described with reference to a digital camera as an example of a digital photographing apparatus to which the present invention can be applied, the present invention is not limited thereto. Those skilled in the art will appreciate that the present invention is also applicable to a camera phone, a personal digital assistant (PDA), and a portable multimedia player (PMP) with a camera function.

한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the present invention can be embodied in computer readable code on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하 는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device and the like, and also a carrier wave (for example, transmission via the Internet) . In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers in the technical field to which the present invention belongs.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.The present invention has been described above with reference to preferred embodiments. It will be understood by those skilled in the art that the present invention may be embodied in various other forms without departing from the spirit or essential characteristics thereof. Therefore, the above-described embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

도 1은 본 발명의 일 실시 예에 따른 디지털 촬영 장치(100)의 개략적인 블록도이다.1 is a schematic block diagram of a digital photographing apparatus 100 according to an embodiment of the present invention.

도 2는 도 1에 도시된 CPU(128)의 개략적인 블록도이다.2 is a schematic block diagram of the CPU 128 shown in FIG.

<도면의 주요 부분에 대한 부호의 설명>Description of the Related Art

100: 디지털 촬영 장치 108: CMOS 이미지 센서100: digital photographing apparatus 108: CMOS image sensor

128: 중앙 처리 장치(CPU) 201: 촬영 시점 등록부 128: central processing unit (CPU) 201: photographing time registration part

202: 차이값 계산부 203: 최소값 검색부 202: Difference value calculation unit 203: Minimum value search unit

204: 저장 프레임 선택부 204: storage frame selector

Claims

Capturing and registering an image of a subject corresponding to an operation to be performed with respect to a subject performing a continuous operation;

Calculating a difference value between the live view image of the plurality of frames and the registered image;

Searching for a frame in which the calculated difference value is minimum; And

And storing a live view image corresponding to a predetermined number of frames before and after the searched frame.

The method according to claim 1,

The retrieving step comprises:

Wherein a minimum frame is searched using a hill climb algorithm in a graph representing the difference value in a curve form.

3. The method of claim 2,

Wherein,

And the difference value is calculated by summing the absolute values of the difference images of the preceding and following frames.

3. The method of claim 2,

Wherein,

And the difference value is calculated by squaring and summing the difference image values of the previous and next frames.

3. The method of claim 2,

Wherein,

And storing an original image corresponding to a live view image corresponding to a predetermined number of frames before and after the searched frame.

delete

A recording medium on which a program for causing a computer to execute the method according to any one of claims 1 to 5 is recorded.

A photographing time registering unit for photographing and registering an image of a subject corresponding to an operation to be photographed with respect to a subject performing a continuous operation;

A difference value calculation unit for calculating a difference value between the live view image of the plurality of frames and the registered image;

A minimum value search unit for searching a frame in which the calculated difference value is the minimum; And

And a storage frame selector for storing a live view image corresponding to a predetermined number of frames before and after the searched frame.

delete

A difference value calculation unit for calculating a difference value between the live view image corresponding to RAW data output from the high speed CMOS sensor and the registered image;

A minimum value retrieval unit for retrieving a frame having the minimum difference value using a hill climb algorithm in a graph in which the difference value is expressed in a curve form from a live view image of a plurality of sequentially input frames; And