KR20110060499A

KR20110060499A - Digital image signal processing apparatus and method for controlling the same

Info

Publication number: KR20110060499A
Application number: KR1020090117099A
Authority: KR
Inventors: 방효상; 박완제; 안은선
Original assignee: 삼성전자주식회사
Priority date: 2009-11-30
Filing date: 2009-11-30
Publication date: 2011-06-08

Abstract

PURPOSE: A digital image processing apparatus and a control method thereof are provided to create a composite image by a combination of a self shot image and a selected background image. CONSTITUTION: An individual image detector(171) discriminates an individual image and a background image from a first image and a second image. The individual image detector extracts the individual image from the first and second images. An image composition unit(173) synthesizes the individual image on the background image. A composite video signal output unit(175) outputs the video signal of the composite image. The composite video signal output unit displays the composite image on a first display unit and a second display unit.

Description

Digital image processing apparatus and its control method {Digital image signal processing apparatus and method for controlling the same}

본 발명은 적어도 둘 이상의 표시부를 갖춘 디지털 영상 처리 장치 및 그 제어방법에 관한 것이다. The present invention relates to a digital image processing apparatus having at least two display units and a control method thereof.

듀얼 디스플레이(Dual Display)들을 구비한 디지털 영상 처리 장치(디지털 카메라, 디지털 캠코더)에서 상기 디스플레이들은 동일한 영상을 단지 다른 위치에서 표시해주는 단순한 기능을 발휘한다. 예를 들어, 촬영할 이미지(Live view), 촬영된 이미지(Preview Play-back) 등이 상기 듀얼 디스플레이를 통하여 동일하게 표시된다. 다만, 촬영자가 확인하는 메인 LCD와 관측자(피촬영자)가 확인하는 서브 LCD는 좌우가 바뀐 영상을 디스플레이할 뿐이다. In digital image processing apparatuses (digital cameras, digital camcorders) having dual displays, the displays have a simple function of displaying the same image only at different positions. For example, an image to be captured (Live view), a captured image (Preview Play-back), and the like are displayed in the same manner through the dual display. However, the main LCD checked by the photographer and the sub LCD checked by the observer (the subject) only display the image changed left and right.

본 발명의 목적은 적어도 둘 이상의 표시부를 갖춘 디지털 영상 처리 장치에서 서로 다른 표시부 상에 디스플레이된 이미지들을 합성하는 합성 모드를 지원하는 디지털 영상 처리 장치 및 그 제어방법을 제공하는 것이다. SUMMARY OF THE INVENTION An object of the present invention is to provide a digital image processing apparatus and a control method thereof, which support a synthesis mode for synthesizing images displayed on different display units in a digital image processing apparatus having at least two display units.

상기와 같은 목적 및 그 밖의 목적을 달성하기 위하여, 본 발명의 디지털 영상 처리 장치는, In order to achieve the above objects and other objects, the digital image processing apparatus of the present invention,

상기 장치의 일 면에 형성된 제1 표시부;A first display unit formed on one surface of the device;

상기 장치의 반대 면에 형성된 제2 표시부; 및A second display portion formed on an opposite side of the device; And

상기 제1, 제2 표시부에 각각 표시된 제1, 제2 이미지를 합성하여 합성된 이미지를 생성하는 디지털 신호 처리부;를 구비한다. And a digital signal processor configured to synthesize the first and second images displayed on the first and second display units, respectively, to generate a synthesized image.

예를 들어, 상기 디지털 신호 처리부는,For example, the digital signal processor,

상기 제1 이미지로부터 인물이 포착된 영상부분을 추출해내는 인물 영상 검출부; 및A person image detector extracting an image portion of the person captured from the first image; And

상기 제2 이미지를 배경 이미지로 하여 상기 제2 이미지의 바탕 위에 상기 추출된 인물 영상을 합성하는 이미지 합성부;를 포함한다. And an image synthesizer configured to synthesize the extracted person image on the background of the second image using the second image as a background image.

예를 들어, 상기 제2 이미지상에 합성되는 인물 영상의 합성 위치는, 상기 제1 이미지의 전체 프레임 상에서 검출된 인물 영상의 위치에 기반하여 결정된다. 대안으로, 상기 제2 이미지상에 합성되는 인물 영상의 합성 위치는, 사용자의 지정에 따라 결정될 수 있다. For example, the synthesis position of the person image synthesized on the second image is determined based on the position of the person image detected on the entire frame of the first image. Alternatively, the synthesis position of the person image synthesized on the second image may be determined according to a user's designation.

예를 들어, 상기 제1 표시부는 셀프-샷 촬영을 지원하도록 렌즈와 같은 전면에 형성되고, 상기 제2 표시부는 렌즈와 반대되는 배면에 형성된다. For example, the first display portion is formed on a front surface such as a lens to support self-shot photographing, and the second display portion is formed on a rear surface opposite to the lens.

사용자의 지시에 따라 셀프-샷 촬영한 이미지를 상기 제1 이미지로 하고, According to the user's instructions, the self-shot image is taken as the first image,

저장된 이미지들 중에서 사용자의 선택을 받은 이미지를 제2 이미지로 하며,Among the stored images, the second image is used as the image selected by the user.

상기 제1 이미지로부터 인물 영상을 추출하여 상기 제2 이미지의 바탕 위에 합성한 합성 이미지를 생성한다.The human image is extracted from the first image to generate a composite image synthesized on the background of the second image.

배경을 제공할 피사체를 촬영한 이미지를 상기 제2 이미지로 하며,The second image is an image of a subject to provide a background.

상기 제1 이미지로부터 인물 영상을 추출하여 상기 제2 이미지의 바탕 위에 합성한 합성 이미지를 생성한다. The human image is extracted from the first image to generate a composite image synthesized on the background of the second image.

상기 디지털 영상 처리 장치는, The digital image processing device,

상기 장치의 전면에 형성되고, 제1 피사체를 지향하는 제1 광학 유닛; 및A first optical unit formed on the front side of the apparatus and directed to a first subject; And

상기 장치의 배면에 형성되고, 제2 피사체를 지향하는 제2 광학 유닛;을 더 포함할 수 있다. And a second optical unit formed on the rear surface of the device and directed to the second subject.

이때, 상기 제1 광학 유닛을 통해 촬영된 제1 피사체에 관한 영상은 제1 표시부에 표시되고,In this case, an image of the first subject photographed through the first optical unit is displayed on the first display unit.

상기 제2 광학 유닛을 통해 촬영된 제2 피사체에 관한 영상은 제2 표시부에 표시될 수 있다. An image regarding the second subject photographed through the second optical unit may be displayed on the second display unit.

상기 제1 광학 유닛을 통해 입수된 제1 피사체 영상을 상기 제1 이미지로 하고, 상기 제2 광학 유닛을 통해 입수된 제2 피사체 영상을 상기 제2 이미지로 하여, 상기 제1, 제2 이미지에 대한 합성 이미지를 생성할 수 있다. The first subject image acquired through the first optical unit is used as the first image, and the second subject image acquired through the second optical unit is used as the second image. To generate a composite image.

상기 제1, 제2 피사체에 대한 촬영동작은 동시에 이루어지거나 또는 연속적으로 이루어질 수 있다. The photographing operation of the first and second subjects may be performed simultaneously or continuously.

본 발명의 다른 측면에 따른 디지털 영상 처리 장치의 제어방법은, According to another aspect of the present invention, a method of controlling a digital image processing apparatus includes:

일 면과 타 면에 각기에 형성된 제1, 제2 표시부를 갖춘 디지털 영상 처리 장치의 제어방법으로서,A control method of a digital image processing apparatus having first and second display units formed on one surface and the other surface, respectively,

사용자의 지시에 따라 촬영을 통해 획득된 제1 이미지를 제1 표시부에 표시하는 단계;Displaying a first image acquired through photographing on a first display unit according to a user's instruction;

기 저장된 이미지 중에서, 사용자가 선택한 제2 이미지를 제2 표시부에 표시하는 단계; 및Displaying, on the second display unit, a second image selected by the user from among previously stored images; And

상기 제1 이미지와 제2 이미지를 합성하는 단계;를 포함한다. And synthesizing the first image and the second image.

예를 들어, 상기 제1 이미지는 사용자의 지시에 따라 셀프-샷 촬영된 촬영 이미지이고, 상기 제2 이미지는 사용자의 선택을 받은 배경 이미지이며, 상기 이미지의 합성 단계에서는 상기 제1 이미지로부터 인물 영상을 추출하여 상기 제2 이미지의 바탕 위에 합성한 합성 이미지를 생성한다. For example, the first image may be a self-shot photographed image according to a user's instruction, and the second image may be a background image selected by a user. Extracting the resultant to generate a synthesized image synthesized on the background of the second image.

본 발명의 또 다른 측면에 따른 디지털 영상 처리 장치의 제어방법은, According to another aspect of the present invention, a method of controlling a digital image processing apparatus includes:

제1 광학 유닛 및 제1 표시부가 형성된 일 면을 갖추고, 제2 광학 유닛 및 제2 표시부가 형성된 타 면을 갖춘 디지털 영상 처리 장치의 제어방법으로서,A control method of a digital image processing apparatus having one surface on which a first optical unit and a first display part are formed and another surface on which a second optical unit and a second display part are formed.

상기 제1, 제2 광학 유닛을 통하여 각각 입사된 제1, 제2 피사체 영상을 촬 영하는 단계;Photographing first and second subject images respectively incident through the first and second optical units;

상기 제1, 제2 피사체에 관한 영상을 제1, 제2 표시부에 각각 표시하는 단계; 및Displaying images of the first and second subjects on first and second display units, respectively; And

상기 제1, 제2 피사체에 관한 영상을 합성하여 합성 이미지를 생성하는 단계;를 포함한다.And synthesizing the images of the first and second subjects to generate a synthesized image.

예를 들어, 상기 제1 광학 유닛 및 제1 표시부는 셀프-샷 촬영을 지원하도록 렌즈와 같은 전면에 형성되고,For example, the first optical unit and the first display unit are formed on a front surface such as a lens to support self-shot shooting,

상기 제2 광학 유닛 및 제2 표시부는 렌즈와 반대되는 배면에 형성된다.The second optical unit and the second display unit are formed on the rear surface opposite to the lens.

예를 들어, 상기 제1 피사체는 촬영자 자신이고, 상기 제2 피사체는 배경을 제공할 피사체이며, 상기 합성 이미지를 생성하는 단계에서는 상기 제1 피사체의 이미지로부터 인물 영상을 추출하여 상기 제2 피사체의 이미지 위에 합성한 합성 이미지를 생성한다.For example, the first subject is a photographer himself, the second subject is a subject to provide a background, and in the generating of the composite image, a person image is extracted from an image of the first subject, Create a composite image composited over the image.

본 발명에 의하면, 서로 다른 표시부에 디스플레이된 인물 영상과 배경 이미지를 합성하여 합성 이미지를 생성하는 이미지 합성 모드를 지원한다. 예를 들어, 카메라의 전방 측에 배치된 제1 표시부를 통하여 셀프-샷 촬영이 가능하며 셀프-샷 촬영된 이미지와, 제2 표시부를 통하여 선택된 배경 이미지를 조합하여 합성 이미지를 생성함으로써 사용자의 취향에 맞는 배경 이미지의 취사 선택이 가능하며, 특히 카메라의 전후방 양편으로 표시부를 구성함으로써 셀프-샷 촬영된 이미지를 그대로 유지한 상태에서, 배경 이미지를 선택하는 연속적인 동작이 가능하고, 화면의 자유로운 연출과 연출을 위한 조작동작이 편리하게 이루어질 수 있다.According to the present invention, an image synthesis mode for generating a composite image by combining a person image and a background image displayed on different display units is supported. For example, self-shot shooting is possible through the first display unit disposed at the front side of the camera, and the user's taste is generated by combining the self-shot image and the background image selected through the second display unit. It is possible to select a background image that suits your needs. In particular, by configuring the display unit on both sides of the camera, it is possible to continuously select a background image while maintaining the self-shot image and to freely display the screen. And operation operation for the production can be made conveniently.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 바람직한 실시형태에 관한 디지털 영상 처리 장치 및 그 제어방법에 대해 상세히 설명하기로 한다. Hereinafter, a digital image processing apparatus and a control method thereof according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 디지털 영상 처리 장치(100)의 외관을 도시한 도면으로, 제1 표시부(164) 및 제2 표시부(168)는 각각 디지털 영상 처리 장치(100)의 전면과 배면 측에 구성될 수 있다. 도 1의 (a)에 도시된 바와 같이, 제1 표시부(164)는 렌즈 경통(109)이 형성된 전면에 형성되고, 도 1의 (b)에 도시된 바와 같이, 제2 표시부(168)는 렌즈(109)가 형성된 면의 반대 면, 즉, 통상 촬영시 촬영자가 접근하는 배면에 형성될 수 있다.FIG. 1 is a diagram illustrating an appearance of the digital image processing apparatus 100. The first display unit 164 and the second display unit 168 may be configured on the front and rear sides of the digital image processing apparatus 100, respectively. . As shown in FIG. 1A, the first display unit 164 is formed on the entire surface where the lens barrel 109 is formed, and as shown in FIG. 1B, the second display unit 168 The lens 109 may be formed on a surface opposite to the surface on which the lens 109 is formed, that is, a rear surface approaching the photographer during normal shooting.

도 2는 도 1에 도시된 디지털 영상 처리 장치(100)의 개략적인 내부 구조를 도시한 도면이다.FIG. 2 is a diagram illustrating a schematic internal structure of the digital image processing apparatus 100 shown in FIG. 1.

본 발명에 따른 디지털 영상 처리 장치(100)는 렌즈(110), 렌즈 구동부(111), 조리개(112), 조리개 구동부(113), 촬상 소자(115), 촬상 소자 제어부(116), 아날로그 신호 처리부(120), 프로그램 저장부(130), 버퍼 저장부(140), 데이터 저장부(150), 제1 표시 구동부(162), 제1 표시부(164), 제2 표시 구동부(166), 제2 표시부(168), 디지털 신호 처리부(170), 및 조작부(180)를 포함할 수 있다. The digital image processing apparatus 100 according to the present invention includes a lens 110, a lens driver 111, an aperture 112, an aperture driver 113, an imaging device 115, an imaging device controller 116, and an analog signal processor. 120, the program storage unit 130, the buffer storage unit 140, the data storage unit 150, the first display driver 162, the first display unit 164, the second display driver 166, and the second The display unit 168, the digital signal processor 170, and the operation unit 180 may be included.

렌즈(110)는 광학 신호를 집광한다. 렌즈(110)는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞 추는 포커스 렌즈 등을 포함하며, 이들 렌즈들은 각각 하나의 렌즈로 구성될 수도 있지만, 복수의 렌즈들의 군집으로 이루어질 수도 있다. The lens 110 condenses the optical signal. The lens 110 includes a zoom lens for controlling the view angle to be narrowed or widened according to a focal length, a focus lens for focusing the subject, and the like, although each of these lenses may be configured as a single lens. In addition, the plurality of lenses may be composed of a cluster.

조리개(112)는 그 개폐 정도를 조절하여 입사광의 광량을 조절한다. The diaphragm 112 controls the amount of incident light by adjusting the degree of opening and closing.

렌즈 구동부(111) 및 조리개 구동부(113)는 디지털 신호 처리부(170)로부터 제어 신호를 제공받아, 각각 렌즈(110) 및 조리개(112)를 구동한다. 렌즈 구동부(111)는 렌즈의 위치를 조절하여 초점 거리를 조절하고, 오토 포커싱, 줌 변경, 초점 변경들의 동작을 수행한다. 조리개 구동부(113)는 조리개의 개폐 정도를 조절하고, 특히 f 넘버를 조절하여 오토 포커스, 자동 노출 보정, 초점 변경, 피사계 심도 조절 등의 동작을 수행한다. The lens driver 111 and the aperture driver 113 receive control signals from the digital signal processor 170 to drive the lens 110 and the aperture 112, respectively. The lens driving unit 111 adjusts the focal length by adjusting the position of the lens, and performs auto focusing, zoom change, and focus change operations. The aperture driver 113 adjusts the opening and closing degree of the aperture, and in particular, controls the f number to perform operations such as auto focus, auto exposure compensation, focus change, depth of field, and the like.

렌즈(110)를 투과한 광학 신호는 촬상 소자(115)의 수광면에 이르러 피사체의 상을 결상한다. 상기 촬상 소자(115)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor) 등을 사용할 수 있다. 이와 같은 촬상소자(115)는 촬상소자 제어부(116)에 의해 감도 등이 조절될 수 있다. 촬상소자 제어부(116)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자(115)를 제어할 수 있다.The optical signal transmitted through the lens 110 reaches the light receiving surface of the imaging device 115 to form an image of the subject. The imaging device 115 may use a Charge Coupled Device (CCD) or a Complementary Metal Oxide Semiconductor Image Sensor (CIS) that converts an optical signal into an electrical signal. Such an image pickup device 115 may be controlled by the image pickup device control unit 116 sensitivity and the like. The imaging device controller 116 may control the imaging device 115 according to a control signal automatically generated by an image signal input in real time or a control signal manually input by a user's operation.

촬상 소자(115)의 노광 시간은 셔터(미도시)로 조절된다. 셔터는 가리개의 이동하여 빛의 입사를 조절하는 기계식 셔터와, 촬상 소자(115)에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다. The exposure time of the imaging device 115 is adjusted with a shutter (not shown). The shutter includes a mechanical shutter that controls the incidence of light by moving a shade and an electronic shutter that controls an exposure by supplying an electrical signal to the imaging device 115.

아날로그 신호 처리부(120)는 촬상 소자(115)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다. The analog signal processor 120 performs noise reduction processing, gain adjustment, waveform shaping, analog-digital conversion processing, and the like on the analog signal supplied from the imaging device 115.

상기 디지털 영상 처리 장치(100)는 운영 시스템, 응용 시스템 등의 프로그램을 저장하는 프로그램 저장부(130), 연산 수행 중에 필요한 데이터 또는 결과 데이터들을 임시로 저장하는 버퍼 저장부(140), 영상 신호를 포함하는 이미지 파일을 비롯하여 상기 프로그램에 필요한 다양한 정보들을 저장하는 데이터 저장부(150)를 포함한다. The digital image processing apparatus 100 may include a program storage unit 130 for storing a program such as an operating system, an application system, a buffer storage unit 140 for temporarily storing data or result data necessary for performing an operation, and an image signal. It includes a data storage unit 150 for storing a variety of information required for the program, including an image file to include.

아울러, 상기 디지털 영상 처리 장치(100)는 이의 동작 상태 또는 상기 디지털 영상 처리 장치(100)에서 촬영한 이미지 정보를 표시하도록 제1 표시부(164) 및 제2 표시부(168)를 포함한다. 상기 제1 표시부(164) 및 제2 표시부(168)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 상기 제1 표시부(164) 및 제2 표시부(168)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED) 등으로 이루어질 수 있다. 제1 표시 구동부(162) 및 제2 표시 구동부(166)는 제1 표시부(164) 및 제2 표시부(168)에 각각 구동 신호를 제공한다. In addition, the digital image processing apparatus 100 includes a first display unit 164 and a second display unit 168 to display an operation state thereof or image information photographed by the digital image processing apparatus 100. The first display unit 164 and the second display unit 168 may provide visual information and / or audio information to the user. In order to provide visual information, the first display unit 164 and the second display unit 168 may be, for example, a liquid crystal display panel (LCD), an organic light emitting display panel (OLED), or the like. The first display driver 162 and the second display driver 166 provide driving signals to the first display unit 164 and the second display unit 168, respectively.

그리고 상기 디지털 영상 처리 장치(100)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어하는 디지털 신호 처리부(170)를 포함한다. 디지털 신호 처리부(170)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 압축한 상기 데이터 저장부(150)에 저장될 수 있다. 또한, 디지털 신호 처리부(170)에서는 기능적으로 불선명 처리, 색체 처리, 블러 처리, 엣지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 아울러, 디지털 신호 처리부(170)에서는 제1 표시부(164) 및 제2 표시부(168)에 디스플레이 하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다. 상기 디지털 신호 처리부(170)는 외부 모니터와 연결되어, 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.The digital image processing apparatus 100 includes a digital signal processor 170 for processing an input image signal and controlling each component in accordance with this or an external input signal. The digital signal processor 170 reduces noise with respect to the input image data, performs gamma correction, color filter array interpolation, color matrix, color correction, Image signal processing for image quality improvement such as color enhancement may be performed. In addition, the image data may be generated by compressing the image data generated by the image signal processing to improve the image quality, or the image data may be restored from the image file. The compressed format of the video may be a reversible format or an irreversible format. As an example of a suitable format, it is also possible to convert to JPEG (Joint Photographic Experts Group) format, JPEG 2000 format, or the like. The data may be stored in the compressed data storage 150. In addition, the digital signal processing unit 170 can also perform unsharpening, color processing, blur processing, edge emphasis processing, image analysis processing, image recognition processing, image effect processing, and the like. Face recognition, scene recognition processing, and the like can be performed by the image recognition processing. In addition, the digital signal processor 170 may perform display image signal processing for displaying on the first display unit 164 and the second display unit 168. For example, luminance level adjustment, color correction, contrast adjustment, outline enhancement adjustment, screen division processing, character image generation and the like, and image synthesis processing can be performed. The digital signal processor 170 may be connected to an external monitor to perform predetermined image signal processing to be displayed on an external monitor, and transmit the processed image data so that the corresponding image is displayed on the external monitor.

또한 디지털 신호 처리부(170)는 프로그램 저장부(130)에 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 렌즈 구동부(111), 조리개 구동부(113), 및 촬상 소자 제어부(116)에 제공하고, 셔터, 플래시 등 디지털 영상 처리 장치(100)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.In addition, the digital signal processor 170 may execute a program stored in the program storage unit 130 or may include a separate module to generate a control signal for controlling auto focusing, zoom change, focus change, and automatic exposure compensation. And the lens driver 111, the aperture driver 113, and the imaging device controller 116, and collectively control the operations of the components included in the digital image processing apparatus 100 such as a shutter and a flash.

더 나아가 상기 디지털 신호 처리부(170)는 디지털 영상 처리 장치(100)의 서로 반대 면에 구성된 제1 표시부(164) 및 제2 표시부(168) 상에 각기 표시된 제1 이미지 및 제2 이미지를 오버-레이(over-lay)하여 합성된 이미지를 생성한다.Furthermore, the digital signal processor 170 over-writes the first image and the second image respectively displayed on the first display unit 164 and the second display unit 168 formed on opposite sides of the digital image processing apparatus 100. Over-lay produces a composite image.

예를 들어, 렌즈가 배치된 전면 측의 제1 표시부(164)를 통하여 자신의 라이브 뷰를 확인하며 셀프-샷 촬영이 가능하다. 이때, 제1 표시부(164)에 디스플레이된 촬영 영상을 인물 영상으로 하고, 이 인물 영상을 사용자가 선택한 배경 이미지상에 합성하게 된다. 예를 들어, 사용자는 장치(100)의 배면 측에 구성된 대형화면의 제2 표시부(168)를 통하여 데이터 저장부(150)에 기록된 이미지들을 확인하며 배경 이미지를 선택할 수 있다. 그러면 디지털 신호 처리부(170)는 제1 표시부(164) 상에 표시된 인물 영상과 제2 표시부(168) 상에 표시된 배경 이미지를 합성하여, 배경 이미지를 바탕으로 하여 인물 영상이 합성된 이미지를 생성한다. For example, the first display unit 164 of the front side where the lens is disposed can check its own live view and take a self-shot. In this case, the captured image displayed on the first display unit 164 is a person image, and the person image is synthesized on a background image selected by the user. For example, the user may select a background image while checking the images recorded in the data storage unit 150 through the second display unit 168 of the large screen configured on the rear side of the device 100. Then, the digital signal processor 170 synthesizes the person image displayed on the first display unit 164 and the background image displayed on the second display unit 168, and generates an image synthesized with the person image based on the background image. .

또 다른 응용예로서, 렌즈가 배치된 전면 측 제1 표시부(164)를 통하여 촬영자 자신의 라이브 뷰를 확인하며 셀프-샷 촬영을 하고, 이어서 제2 표시부(168)를 통하여 라이브 뷰를 확인하며 배경을 제공할 피사체를 촬영한다. 이때, 제1 표시부(164) 상에는 촬영자 자신이 포착된 제1 이미지가 표시되고, 제2 표시부(168) 상에는 배경이 될 제2 이미지가 표시된다. 그러면 디지털 신호 처리부(170)는 제1 표시부(164)에 표시된 인물 영상과 제2 표시부(168)에 표시된 배경 이미지를 합성하여 합성 이미지를 생성하게 된다. As another application example, self-shot shooting is performed by checking the photographer's own live view through the front side first display unit 164 on which the lens is disposed, and then the live view is confirmed through the second display unit 168. Shoot the subject you want to provide. In this case, the first image captured by the photographer himself is displayed on the first display unit 164, and the second image to be the background is displayed on the second display unit 168. Then, the digital signal processor 170 generates a composite image by synthesizing the person image displayed on the first display unit 164 and the background image displayed on the second display unit 168.

도 3에는 디지털 신호 처리부(170)의 상세 블록도가 도시되어 있다. 도면을 참조하면, 상기 디지털 신호 처리부(170)는 인물 영상 검출부(171), 이미지 합성부(173), 및 합성 영상신호 출력부(175)를 포함할 수 있다. 3 is a detailed block diagram of the digital signal processor 170. Referring to the drawings, the digital signal processor 170 may include a person image detector 171, an image synthesizer 173, and a synthesized image signal output unit 175.

예를 들어, 상기 인물 영상 검출부(171)는 제1, 제2 이미지상에 나타난 휘도신호의 분포로부터 에지 정보(윤곽선)를 검출하고, 형상학적인 모델과의 대조를 통하여 얼굴의 윤곽선, 눈, 코, 입 등의 구성요소가 검출되는가의 여부에 따라 인물 영상을 검출하게 된다. 상기 인물 영상 검출부는 인물 영상의 추출에 용이한 이미지로 변환하여 인식율을 높이고, 효율성을 제고하기 위한 목적으로, 전처리(pre-processing)를 수행할 수 있다. 전 처리 단계에서는 제1, 제2 이미지에 대해 저주파통과필터를 적용함으로써 고주파의 잡음 성분을 제거하는 필터링, RGB 색상 정보를 YCrCb 공간으로 변환하는 컬러 스페이스 변환, 조명환경 변화에 따른 인식률의 차이를 상쇄하기 위한 조도 보정 등을 수행할 수 있다.For example, the person image detector 171 detects edge information (contour) from the distribution of luminance signals displayed on the first and second images, and compares the contours of the face, eyes, The human image is detected according to whether components such as a nose and a mouth are detected. The person image detection unit may perform pre-processing for the purpose of converting the person image into an image which is easy to extract the person image to increase the recognition rate and improve the efficiency. In the preprocessing step, a low pass filter is applied to the first and second images to remove high frequency noise components, color space conversion to convert RGB color information into YCrCb space, and to compensate for differences in recognition rates due to changes in lighting environment. Illuminance correction may be performed.

상기 인물 영상 검출부(171)가 제1, 제2 이미지로부터 인물이 촬영된 이미지와 배경이 촬영된 이미지를 분별하여 인물 영상을 추출해내면, 이미지 합성부(173)는 인물 영상을 배경 이미지상에 합성함으로써 합성 이미지를 생성하게 된다. 보다 구체적으로, 제1, 제2 이미지 중에서 인물 영상이 검출된 이미지로부터 인물 영상을 추출해내면, 이미지 합성부(173)는 인물 영상이 검색되지 않은 이미지를 배경으로 판단하여, 배경 이미지상에 인물 영상을 오버-레이(over-lay)함으로써 합성 이미지를 생성한다. 예를 들어, 제1 이미지로부터 인물 영상이 검출되고, 제2 이미지로부터 인물 영상이 검출되지 않았다면, 이미지 합성부(173)는 제1 이미지의 인물 영상을 배경이 되는 제2 이미지상에 오버-레이 하여 합성 이미지를 생성하게 된다. 이때, 인물 영상의 합성 위치는 제1 이미지상에서 검출된 인물 영상의 위치에 기반하여 설정될 수 있으며, 제1 이미지의 중앙영역에서 검출된 인물 영상은 배경이 되는 제2 이미지상에서도 중앙영역에 합성될 수 있다. 예를 들어, 제1 이미지상의 화소 배열에 근거한 화면 좌표계를 기준으로 인물 영상의 위치좌표가 산출될 수 있으며, 인물 영상의 위치좌표에 근거하여 배경 이미지상의 합성 위치가 결정될 수 있다. 대안으로, 인물 영상의 합성 위치는 사용자의 지정에 따라 설정될 수 있으며, 터치 스크린과 같은 유저 인터페이스를 통하여 사용자의 지정 위치를 입력받을 수 있다.When the person image detector 171 extracts the person image by separating the image of the person and the image of the background from the first and second images, the image synthesizer 173 synthesizes the person image on the background image. This creates a composite image. More specifically, when the person image is extracted from the image in which the person image is detected from the first and second images, the image synthesizing unit 173 determines that the person image has not been searched as the background and the person image on the background image. Create a composite image by over-laying. For example, if a person image is detected from the first image and a person image is not detected from the second image, the image synthesizing unit 173 over-lays the person image of the first image on the background of the second image. To generate a composite image. In this case, the synthesis position of the person image may be set based on the position of the person image detected on the first image, and the person image detected in the center area of the first image may be synthesized in the center area on the second image as the background. Can be. For example, the position coordinates of the person image may be calculated based on the screen coordinate system based on the pixel arrangement on the first image, and the synthesized position on the background image may be determined based on the position coordinates of the person image. Alternatively, the synthesis position of the person image may be set according to a user's designation, and the user's designation position may be input through a user interface such as a touch screen.

한편, 상기 인물 영상 검출부(171)는 합성 모드시에 항시 작동하는 것은 아니며, 예를 들어, 인물이 포착된 영상 프레임 중에서 인물 영상만을 따로 추출할 필요가 있는 경우에 선택적으로 동작될 수 있다. 예를 들어, 인물 영상을 포함하여 제1 이미지 전체를 축소 영상의 형태로 제2 이미지상에 합성할 경우라면 인물 영상 검출부(171)의 동작은 필요하지 않다.Meanwhile, the person image detector 171 does not always operate in the synthesis mode. For example, the person image detection unit 171 may be selectively operated when it is necessary to separately extract the person image from the captured image frame. For example, when the entire first image including the person image is synthesized on the second image in the form of a reduced image, the operation of the person image detector 171 is not necessary.

상기 이미지 합성부(173)는 배경 이미지를 바탕으로 하여 그 위에 인물 영상을 중첩시키며, 예를 들어, 배경 이미지 상이고 합성 위치에 맞게 인물 영상의 영상 신호를 복사하여 합성 이미지의 영상 신호를 생성한다. 이미지 합성 동작은 합성 모드 하에서 선택된 인물 영상 및 배경 이미지를 대상으로 하고, 인물 영상 및 배경 이미지의 선택은 사진촬영에 의하여 실시간으로 취득되는 것에 따라 또는 데이터 저장부(150)에 기록된 이미지를 호출하는 것에 따라 이루어질 수 있다. 또한, 합성 모드 하에서는 인물 영상 및/또는 배경 이미지가 촬영됨에 따라, 그리고, 데 이터 저장부(150)로부터 인물 영상 및/또는 배경 이미지가 선택됨에 따라 이미지 합성 동작이 자동으로 수행될 수 있다. 합성대상이 되는 인물 영상 및 배경 이미지의 선택을 위한 촬영동작이나 저장 이미지 중의 선택동작은 합성 모드로 설정된 디지털 영상 처리 장치(100)의 안내에 따라 이루어질 수 있다. The image synthesizing unit 173 superimposes the person image on the basis of the background image. For example, the image synthesizing unit 173 generates an image signal of the synthesized image by copying the image signal of the person image on the background image and matching the synthesis position. The image compositing operation targets the person image and the background image selected under the compositing mode, and the selection of the person image and the background image is performed in real time by photographing or calling an image recorded in the data storage unit 150. It can be made according to. In addition, in the synthesis mode, as the person image and / or the background image is captured, and the person image and / or the background image is selected from the data storage unit 150, the image synthesis operation may be automatically performed. The photographing operation for selecting the person image and the background image to be synthesized or the selection operation among the stored images may be performed according to the guidance of the digital image processing apparatus 100 set to the synthesis mode.

합성 영상신호 출력부(175)는 합성 이미지의 영상신호를 출력하여 제1 표시부(164) 및/또는 제2 표시부(168) 상에 합성된 이미지를 표시해준다. 예를 들어, 상기 합성 영상신호 출력부(175)는 표시 구동부(162,166)를 구동하여 제1 표시부(164) 또는 제2 표시부(168) 상에 합성 이미지를 표시해주거나 또는 제1, 제2 표시부(164,168) 모두에 같은 합성 이미지를 표시해줄 수 있다. The composite video signal output unit 175 outputs a video signal of the composite image to display the synthesized image on the first display unit 164 and / or the second display unit 168. For example, the composite image signal output unit 175 may drive the display drivers 162 and 166 to display a composite image on the first display unit 164 or the second display unit 168, or to display the first or second display unit ( 164,168) can be displayed on the same composite image.

한편, 도 4에는 본 발명의 다른 실시형태에 따른 디지털 영상 처리 장치(200)의 개략적인 내부 구조를 도시한 도면이다. 4 is a diagram illustrating a schematic internal structure of the digital image processing apparatus 200 according to another embodiment of the present invention.

도시된 디지털 영상 처리 장치(200)는 서로 다른 광학 패스를 통하여 피사체의 영상 흐름을 입수하는 제1, 제2 광학 유닛(210,220)을 포함한다. 상기 제1, 제2 광학 유닛(210,220)은 렌즈(211,221)와 조리개(212,222)를 포함하고, 제1, 제2 피사체 영상을 촬상 면에 대해 결상시키는 기능을 갖는다. 제1 광학 유닛(210)을 통한 제1 피사체의 영상과 제2 광학 유닛(220)을 통한 제2 피사체 영상은 촬상 소자(115)의 광전변환작용을 통하여 전기적인 영상신호로 변환된다. 예를 들어, 상기 제1, 제2 광학 유닛(210,220)은 전후방으로 배치된 제1, 제2 피사체를 지향하도록, 제1 광학 유닛(210)은 렌즈가 형성된 면과 같은 전면에 형성될 수 있고, 제2 광학 유닛(220)은 렌즈와 반대되는 배면에 형성될 수 있다. 예를 들어, 제1 광학 유 닛(210)을 통해서는 촬영자 자신의 셀프-샷 촬영이 가능하고, 제2 광학 유닛(220)을 통해서는 또 다른 피사체에 대한 촬영이 가능하다. 그리고, 제1, 제2 광학 유닛(210,220)을 통한 촬영동작은 동시에 이루어지거나, 또는 연속적으로 수행될 수도 있다. 제1, 제2 광학 유닛(210,220)을 통하여 입수되는 영상 처리의 연산부하와 관련하여 동시에 또는 연속하여 촬영동작이 이루어질 수 있다. 이외에, 제1, 제2 표시부(164,168)를 포함하는 다른 구성요소들 및 그 동작에 관해서는 도 2를 참조하여 설명된 바를 참조하며 되고, 중복적인 설명은 생략하기로 한다.The illustrated digital image processing apparatus 200 includes first and second optical units 210 and 220 for receiving an image flow of a subject through different optical paths. The first and second optical units 210 and 220 include lenses 211 and 221 and apertures 212 and 222 and have a function of imaging the first and second subject images on the imaging surface. The image of the first subject through the first optical unit 210 and the second subject image through the second optical unit 220 are converted into electrical image signals through a photoelectric conversion operation of the imaging device 115. For example, the first and second optical units 210 and 220 may be formed on a front surface such as a surface on which a lens is formed so that the first and second subjects are disposed to face the first and second objects. The second optical unit 220 may be formed on the rear surface opposite to the lens. For example, the photographer may self-shot by the first optical unit 210, and photograph another subject by the second optical unit 220. In addition, the photographing operation through the first and second optical units 210 and 220 may be performed simultaneously or continuously. The photographing operation may be performed simultaneously or sequentially with respect to the computational load of the image processing obtained through the first and second optical units 210 and 220. In addition, other components including the first and second display units 164 and 168 and operations thereof will be described with reference to FIG. 2, and redundant descriptions thereof will be omitted.

도 5는 디지털 영상 처리 장치(100)의 제어방법의 일 실시형태를 나타낸 흐름도이다. 도 6a 내지 도 6c는 도 5의 단계별 제1, 제2 표시부(164,168)의 표시상태를 보여주는 도면들이다.5 is a flowchart illustrating an embodiment of a control method of the digital image processing apparatus 100. 6A to 6C are views illustrating display states of the first and second display units 164 and 168 of FIG.

먼저 촬영자의 지시에 따라 촬영동작을 수행하고(S10,S11), 촬영으로 획득된 제1 이미지를 제1 표시부 상에 표시한다(S12). 예를 들어, 디지털 영상 처리 장치(100)는 촬영자 자신을 피사체로 하는 셀프-샷 촬영을 수행하며(S11), 촬영자는 렌즈가 배치된 전면 측의 제1 표시부(164)를 통하여 자신의 라이브 뷰를 확인하며 촬영조작을 수행할 수 있다. 촬영이 완료되면 제1 표시부(164)를 통하여 촬영 이미지를 출력하는 퀵-뷰를 제공한다. 도 6a에 도시된 바와 같이, 상기 제1 표시부(164) 상에 표시된 제1 이미지(F1)는 촬영자 자신에 관한 셀프-샷 이미지가 될 수 있다.First, a photographing operation is performed according to the photographer's instructions (S10 and S11), and the first image obtained by photographing is displayed on the first display unit (S12). For example, the digital image processing apparatus 100 performs self-shot photographing using the photographer as a subject (S11), and the photographer views his live view through the first display unit 164 on the front side where the lens is disposed. You can perform the shooting operation while checking. When the photographing is completed, a quick view for outputting the photographed image is provided through the first display unit 164. As illustrated in FIG. 6A, the first image F1 displayed on the first display unit 164 may be a self-shot image of the photographer.

다음에 사용자의 지시에 따른 제2 이미지의 선택이 수행된다(S13). 예를 들어, 디지털 영상 처리 장치(100)는 사용자의 지시에 따라 데이터 저장부(150)에 저 장된 이미지들을 촬영자가 접근하는 배면 측의 제2 표시부(168) 상에 출력하고, 사용자가 선택한 제2 이미지를 제2 표시부 상에 표시한다(S14). 도 6b에서 볼 수 있듯이, 상기 제2 이미지(F2)는 선행하는 단계에서 획득된 제1 이미지(셀프-샷 이미지, F1)에 대한 배경 이미지가 될 수 있다. Next, selection of the second image according to the user's instruction is performed (S13). For example, the digital image processing apparatus 100 outputs the images stored in the data storage unit 150 on the second display unit 168 on the rear side to which the photographer approaches according to a user's instruction, The second image is displayed on the second display unit (S14). As shown in FIG. 6B, the second image F2 may be a background image of the first image (self-shot image F1) obtained in the preceding step.

이렇게 제1, 제2 이미지가 확정된 이후에는 이미지 합성 단계가 수행된다(S15). 예를 들어, 상기 디지털 영상 처리 장치(100)는 제1 이미지(셀프-샷 이미지, F1)로부터 인물 영상을 추출하고, 이를 제2 이미지(배경 이미지, F2) 상에 오버-레이하여 합성한다.After the first and second images are determined as described above, an image combining step is performed (S15). For example, the digital image processing apparatus 100 extracts a person image from a first image (self-shot image, F1), and synthesizes the image by over-laying it on a second image (background image, F2).

다음에, 제1, 제2 이미지의 합성 이미지를 제1 표시부(164) 또는 제2 표시부(168) 상에 표시해준다(S16). 도 6c에 도시된 바와 같이, 상기 디지털 영상 처리 장치(100)는 상대적으로 대형 화면을 제공하는 제2 표시부(168) 상에 합성 이미지(F3)를 표시해주고, 사용자의 승인에 따라 표시된 합성 이미지(F3)를 영상 부호화하고, 기록매체에 저장해둘 수 있다(S17).Next, the composite image of the first and second images is displayed on the first display unit 164 or the second display unit 168 (S16). As shown in FIG. 6C, the digital image processing apparatus 100 displays the composite image F3 on the second display unit 168 that provides a relatively large screen, and displays the composite image ( F3) can be image encoded and stored in the recording medium (S17).

한편, 도 5에 도시된 실시형태에서는 촬영동작이 선행되고, 이후에 저장 이미지에 대한 선택동작이 후행되는 것으로 도시되어 있으나, 촬영동작과 선택동작의 선후관계는 변경될 수 있고, 예를 들어, 먼저 저장 이미지에 대한 선택동작이 이루어지고 난 이후에, 촬영동작이 수행되고, 선택된 이미지와 촬영된 이미지에 대한 합성 동작이 수행될 수 있다는 것이다.Meanwhile, in the embodiment shown in FIG. 5, the photographing operation is preceded and the selection operation for the stored image is shown later. However, the relationship between the photographing operation and the selection operation can be changed. First, after the selection operation on the stored image is performed, the photographing operation may be performed, and the combining operation on the selected image and the captured image may be performed.

도 7은 디지털 영상 처리 장치의 제어방법의 다른 실시형태를 나타낸 흐름도이다. 도 8a 내지 도 8c는 도 7의 단계별 제1, 제2 표시부(164,168)의 표시상태를 보여주는 도면들이다.7 is a flowchart illustrating another embodiment of a control method of a digital image processing apparatus. 8A to 8C are diagrams illustrating display states of the first and second display units 164 and 168 of FIG. 7.

먼저 촬영자의 지시에 따라 촬영동작을 수행하고(P10,P11), 촬영으로 획득된 제1 이미지를 제1 표시부 상에 표시한다(P12). 예를 들어, 디지털 영상 처리 장치(100)는 촬영자 자신을 피사체로 하는 셀프-샷 촬영을 수행하며, 촬영자는 렌즈가 배치된 전면 측의 제1 표시부(164)를 통하여 자신의 라이브 뷰를 확인하며 촬영조작을 수행할 수 있다. 촬영이 완료되면 제1 표시부(164)를 통하여 촬영 이미지를 출력하는 퀵-뷰를 제공한다. 도 8a에 도시된 바와 같이, 상기 제1 표시부(164) 상에 표시된 제1 이미지(F1)는 촬영자 자신에 관한 셀프-샷 이미지가 될 수 있다.First, a photographing operation is performed according to the photographer's instruction (P10, P11), and the first image obtained by photographing is displayed on the first display unit (P12). For example, the digital image processing apparatus 100 performs a self-shot photographing using the photographer as a subject, and the photographer checks his live view through the first display unit 164 on the front side where the lens is disposed. Shooting operation can be performed. When the photographing is completed, a quick view for outputting the photographed image is provided through the first display unit 164. As shown in FIG. 8A, the first image F1 displayed on the first display unit 164 may be a self-shot image of the photographer.

다음에, 촬영자의 지시에 따라 또 다른 촬영동작을 수행하고(P13,P14), 촬영으로 획득된 제2 이미지를 제2 표시부(168) 상에 표시한다(P15). 예를 들어, 상기 디지털 영상 처리 장치(100)는 백-그라운드(back-ground)가 될 배경 이미지를 피사체로 하는 촬영을 수행하며, 촬영자가 접근하는 배면 측의 제2 표시부(168)를 통하여 촬영된 이미지에 대한 퀵 뷰를 제공할 수 있다. 도 8b에 도시된 바와 같이, 상기 제2 표시부(168) 상에는 인물 영상이 포착된 제1 이미지(F1)와 배경을 제공하는 제2 이미지(F2)가 분할된 화면 형태로 표시될 수 있다. 이 상태에서 사용자는 자신이 선호하는 구도에 맞추어 제2 이미지(F2)상에서 제1 이미지(F1)의 합성 위치를 조정할 수 있다. Next, another photographing operation is performed according to the photographer's instruction (P13, P14), and the second image obtained by photographing is displayed on the second display unit 168 (P15). For example, the digital image processing apparatus 100 photographs a background image to be a back-ground as a subject, and photographs the image through the second display unit 168 on the rear side approached by the photographer. You can provide a quick view of the generated image. As illustrated in FIG. 8B, the first image F1 in which the person image is captured and the second image F2 providing the background may be displayed on the second display unit 168 in a divided screen form. In this state, the user may adjust the composition position of the first image F1 on the second image F2 according to the user's preferred composition.

이렇게 제1, 제2 이미지가 획득된 이후에는 이미지 합성 단계가 수행된다(P16). 예를 들어, 상기 디지털 영상 처리 장치(100)는 제1 이미지(셀프-샷 이미지, F1)로부터 인물 영상을 추출하고, 이를 제2 이미지(배경 이미지, F2) 상에 오 버-레이하여 합성한다.After the first and second images are obtained, an image combining step is performed (P16). For example, the digital image processing apparatus 100 extracts a person image from a first image (self-shot image, F1), and overlays and synthesizes the person image on a second image (background image, F2). .

다음에, 제1, 제2 이미지의 합성 이미지를 제1 표시부(164) 또는 제2 표시부(168) 상에 표시해준다(P17). 도 8c에 도시된 바와 같이, 상기 디지털 영상 처리 장치(100)는 상대적으로 대형 화면을 제공하는 제2 표시부(168) 상에 합성 이미지(F3)를 표시해주고, 사용자의 승인에 따라 표시된 합성 이미지(F3)를 영상 부호화하고 데이터 저장부(150)에 저장해둘 수 있다(P18).Next, a composite image of the first and second images is displayed on the first display unit 164 or the second display unit 168 (P17). As shown in FIG. 8C, the digital image processing apparatus 100 displays the composite image F3 on the second display unit 168 that provides a relatively large screen, and displays the composite image ( F3) may be image encoded and stored in the data storage unit 150 (P18).

도 9는 디지털 영상 처리 장치의 제어방법의 또 다른 실시형태를 나타낸 흐름도이다. 도 10a 내지 도 10c에 도시된 디지털 영상 처리 장치의 제어방법은 도 4에 도시된 바와 같이, 제1, 제2 광학 유닛(210,220)이 배치된 듀얼 렌즈형 디지털 영상 처리 장치(200)에서 적용될 수 있다. 도 10a 내지 도 10c는 도 9의 단계별 제1, 제2 표시부(164,168)의 표시상태를 보여주는 도면들이다.9 is a flowchart illustrating still another embodiment of a control method of a digital image processing apparatus. The control method of the digital image processing apparatus illustrated in FIGS. 10A to 10C may be applied to the dual lens type digital image processing apparatus 200 in which the first and second optical units 210 and 220 are disposed, as shown in FIG. 4. have. 10A to 10C are diagrams illustrating display states of the first and second display units 164 and 168 of FIG. 9.

먼저 디지털 영상 처리 장치(200)의 전면과 배면 측에 배치된 제1 피사체와 제2 피사체에 대한 촬영을 수행한다(W11~W13). 이때, 상기 제1 피사체에 대한 촬영은 제1 광학 유닛(210)을 통하여 수행될 수 있고, 제2 피사체에 대한 촬영은 제2 광학 유닛(220)을 통하여 수행될 수 있다. 그리고, 제1 피사체에 대한 촬영동작과 제2 피사체에 대한 촬영동작은 동시에 이루어질 수도 있고, 또는 시간차이를 두고 연속으로 이루어질 수도 있다. 예를 들어, 전면 측의 제1 피사체는 촬영자 자신일 수 있고, 배면 측의 제2 피사체는 촬영자와 동반한 다른 인물들일 수 있다. 이 경우, 제1 피사체에 대한 촬영은 셀프-샷 촬영이 되고, 전면 측의 제1 표시부(164) 상에 나타난 라이브-뷰를 확인하며 촬영동작을 수행할 수 있고, 제2 피사체에 대한 촬영은 배면 측의 제2 표시부(168) 상에 나타난 라이브-뷰를 확인하며 촬영동작을 수행할 수 있다. First, the first and second subjects disposed on the front and rear sides of the digital image processing apparatus 200 are photographed (W11 to W13). In this case, the photographing of the first subject may be performed through the first optical unit 210, and the photographing of the second subject may be performed through the second optical unit 220. The photographing operation of the first subject and the photographing operation of the second subject may be performed simultaneously or may be continuously performed with a time difference. For example, the first subject on the front side may be the photographer himself, and the second subject on the back side may be other persons accompanying the photographer. In this case, the photographing of the first subject may be self-shot photographing, and the photographing operation may be performed while checking the live-view displayed on the first display unit 164 on the front side, and the photographing of the second subject may be performed. The photographing operation may be performed while confirming the live-view displayed on the second display unit 168 on the rear side.

다음에, 제1 피사체에 대한 제1 이미지는 제1 표시부(164) 상에 표시하고, 제2 피사체에 대한 제2 이미지는 제2 표시부(168) 상에 표시한다. 도 10a 및 도 10b에 도시된 바와 같이, 제1 이미지(F1)는 촬영자 자신의 셀프-샷 이미지일 수 있고, 제2 이미지(F2)는 촬영자와 동반한 다른 인물들에 대한 이미지일 수 있다.Next, a first image of the first subject is displayed on the first display unit 164, and a second image of the second subject is displayed on the second display unit 168. As shown in FIGS. 10A and 10B, the first image F1 may be a self-shot image of the photographer and the second image F2 may be an image of other persons accompanying the photographer.

이렇게 제1, 제2 이미지가 확정된 이후에는 이미지 합성 단계가 수행된다(W16). 예를 들어, 상기 디지털 영상 처리 장치(200)는 제1 이미지(셀프-샷 이미지, F1)를 제2 이미지(다른 인물의 이미지, F2) 상에 오버-레이하여 합성한다. After the first and second images are determined in this way, an image combining step is performed (W16). For example, the digital image processing apparatus 200 synthesizes the first image (self-shot image, F1) by overlaying on the second image (image of another person, F2).

다음에, 제1, 제2 이미지의 합성 이미지(F3)를 제1 표시부(164) 또는 제2 표시부(168)에 표시해준다(W17). 도 10c에 도시된 바와 같이, 상기 디지털 영상 처리 장치(200)는 상대적으로 대형 화면을 제공하는 제2 표시부(168)에 합성 이미지를 표시해줄 수 있다. 제1 이미지의 합성 위치에 관하여, 상기 제1 이미지(F1)는 사용자의 지시에 따라 결정된 위치에 합성될 수 있으며, 도 10c에 예시된 합성 이미지(F3)에서는 제1 이미지(F1)가 제2 이미지(F2)의 좌상단 코너위치에 합성되었다. 또한, 제1 이미지(F1) 자체가 제2 이미지(F2) 상에 축소된 영상으로 합성되거나, 또는 제1 이미지로부터 인물 영상만을 추출하여 이를 제2 이미지상에 합성하는 형태도 가능하다. 한편, 합성 이미지(F3)는 사용자의 승인에 따라 표시된 합성 이미지를 영상 부호화하고, 데이터 저장부(150)에 저장해둘 수 있다(W18).Next, the composite image F3 of the first and second images is displayed on the first display unit 164 or the second display unit 168 (W17). As illustrated in FIG. 10C, the digital image processing apparatus 200 may display a composite image on the second display unit 168 that provides a relatively large screen. Regarding the composition position of the first image, the first image F1 may be synthesized at a position determined according to a user's instruction. In the synthesis image F3 illustrated in FIG. 10C, the first image F1 is the second image. It was synthesized in the upper left corner position of the image F2. In addition, the first image F1 itself may be synthesized as a reduced image on the second image F2, or only a person image may be extracted from the first image and then synthesized on the second image. Meanwhile, the composite image F3 may image-code the displayed composite image according to the user's approval and store it in the data storage unit 150 (W18).

본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메 모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서 상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 상기 매체는 컴퓨터에 의해 판독가능하며, 상기 메모리에 저장되고, 상기 프로세서에서 실행될 수 있다. The device according to the invention comprises a processor, memory for storing and executing program data, permanent storage such as a disk drive, a communication port for communicating with an external device, a user such as a touch panel, keys, buttons, etc. Interface devices and the like. Methods implemented by software modules or algorithms may be stored on a computer readable recording medium as computer readable codes or program instructions executable on the processor. Here, the computer-readable recording medium may be a magnetic storage medium such as a read-only memory (ROM), a random-access memory (RAM), a floppy disk, a hard disk, ), And a DVD (Digital Versatile Disc). The computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. The medium is readable by a computer, stored in the memory, and can be executed by the processor.

본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.All documents including publications, patent applications, patents, etc. cited in the present invention can be incorporated into the present invention in the same manner as each cited document individually and concretely, .

본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 상기 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 상기 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다. For the purpose of understanding the present invention, reference numerals have been set forth in the preferred embodiments illustrated in the drawings, and specific terms are used to describe the embodiments, but the present invention is not limited to the specific terms, and the present invention It may include all components conventionally conceivable to those skilled in the art.

본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있 다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.The present invention can be represented by functional block configurations and various processing steps. Such functional blocks may be implemented in various numbers of hardware or / and software configurations that perform particular functions. For example, the present invention relates to integrated circuit configurations such as memory, processing, logic, look-up table, etc., which may execute various functions by the control of one or more microprocessors or other control devices. It can be adopted. Similar to how the components of the present invention may be implemented in software programming or software elements, the present invention includes various algorithms implemented in combinations of data structures, processes, routines or other programming constructs, including C, C ++ It may be implemented in a programming or scripting language such as Java, an assembler, or the like. The functional aspects may be implemented with an algorithm running on one or more processors. In addition, the present invention may employ the prior art for electronic environment setting, signal processing, and / or data processing. Terms such as "mechanism", "element", "means", "configuration" can be used widely and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나 타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific acts described in the present invention are, by way of example, not intended to limit the scope of the invention in any way. For brevity of description, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connecting members of the lines between the components shown in the drawings are illustrative of the functional connection and / or physical or circuit connections as an example, in the actual device replaceable or additional various functional connections, physical Phosphorus connections, or circuit connections. In addition, unless otherwise specified, such as "essential", "important" may not be a necessary component for the application of the present invention.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.In the specification (particularly in the claims) of the present invention, the use of the term “above” and the similar indicating term may be used in the singular and the plural. In addition, in the present invention, when a range is described, it includes the invention to which the individual values belonging to the above range are applied (unless there is contradiction thereto), and each individual value constituting the above range is described in the detailed description of the invention The same. Finally, the steps may be performed in any suitable order, unless explicitly stated or contrary to the description of the steps constituting the method according to the invention. The present invention is not necessarily limited to the order of description of the above steps. The use of all examples or exemplary language (e.g., etc.) in this invention is for the purpose of describing the invention in detail and is not to be construed as a limitation on the scope of the invention, It is not. In addition, one of ordinary skill in the art appreciates that various modifications, combinations and changes can be made depending on design conditions and factors within the scope of the appended claims or equivalents thereof.

도 1은 디지털 영상 처리 장치의 외관을 도시한 도면이다.1 is a diagram illustrating an appearance of a digital image processing apparatus.

도 2는 도 1에 도시된 장치의 개략적인 내부 구조를 도시한 도면이다.FIG. 2 shows a schematic internal structure of the device shown in FIG. 1.

도 3은 이미지 합성 동작을 위한 디지털 신호 처리부의 상세 블록도이다.3 is a detailed block diagram of a digital signal processor for an image combining operation.

도 4는 본 발명의 다른 실시형태에 따른 디지털 영상 처리 장치의 개략적인 내부 구조를 도시한 도면이다. 4 is a diagram illustrating a schematic internal structure of a digital image processing apparatus according to another embodiment of the present invention.

도 5는 본 발명의 일 실시형태에 따른 디지털 영상 처리 장치의 제어방법을 도시한 흐름도이다. 5 is a flowchart illustrating a control method of a digital image processing apparatus according to an embodiment of the present invention.

도 6a 내지 도 6c는 도 5에 도시된 단계에 따른 제1, 제2 표시부의 표시상태를 보여주는 도면들이다.6A through 6C are views illustrating a display state of the first and second display units according to the step illustrated in FIG. 5.

도 7은 본 발명의 다른 실시형태에 따른 디지털 영상 처리 장치의 제어방법을 도시한 흐름도이다. 7 is a flowchart illustrating a control method of a digital image processing apparatus according to another embodiment of the present invention.

도 8a 내지 도 8c는 도 7에 도시된 단계에 따른 제1, 제2 표시부의 표시상태를 보여주는 도면들이다.8A to 8C are views illustrating a display state of the first and second display units according to the step illustrated in FIG. 7.

도 9는 본 발명의 다른 실시형태에 따른 디지털 영상 처리 장치의 제어방법을 도시한 흐름도이다. 9 is a flowchart illustrating a control method of a digital image processing apparatus according to another embodiment of the present invention.

도 10a 내지 도 10c는 도 9에 도시된 단계에 따른 제1, 제2 표시부의 표시상태를 보여주는 도면들이다.10A to 10C are views illustrating a display state of the first and second display units according to the step illustrated in FIG. 9.

Claims

As a digital image processing device,

A first display unit formed on one surface of the device;

A second display portion formed on an opposite side of the device; And

And a digital signal processor configured to synthesize the first and second images displayed on the first and second display units, respectively, to generate a synthesized image.

The method of claim 1,

The digital signal processing unit,

A person image detector extracting an image portion of the person captured from the first image; And

And an image synthesizing unit configured to synthesize the extracted person image on the background of the second image using the second image as a background image.

The method of claim 2,

And a synthesis position of the person image synthesized on the second image is determined based on the position of the person image detected on the entire frame of the first image.

The method of claim 2,

The synthesis position of the person image synthesized on the second image is determined according to a user's designation.

The method of claim 1,

And the first display unit is formed on a front surface such as a lens to support self-shot photographing, and the second display unit is formed on a rear surface opposite to the lens.

The method of claim 1,

The digital signal processing unit,

According to the user's instructions, the self-shot image is taken as the first image,

Among the stored images, the second image is used as the image selected by the user.

And extracting a person image from the first image to generate a composite image synthesized on the background of the second image.

The method of claim 1,

The digital signal processing unit,

The second image is an image of a subject to provide a background.

The method of claim 1,

A first optical unit formed on the front side of the apparatus and directed to a first subject; And

And a second optical unit formed on a rear surface of the device and directed to a second subject.

The method of claim 8,

An image of the first subject photographed through the first optical unit is displayed on the first display unit,

And the image related to the second subject photographed through the second optical unit is displayed on the second display unit.

The method of claim 8,

The digital signal processing unit,

A first subject image obtained through the first optical unit is used as the first image,

A second subject image obtained through the second optical unit is used as the second image.

And generating a composite image of the first and second images.

The method of claim 8,

And the photographing operation of the first and second subjects is performed simultaneously or continuously.

A control method of a digital image processing apparatus having first and second display units formed on one surface and the other surface, respectively,

Displaying a first image acquired through photographing on a first display unit according to a user's instruction;

Displaying, on the second display unit, a second image selected by the user from among previously stored images; And

And synthesizing the first image and the second image.

The method of claim 12,

The first image is a taken image taken by self-shot according to a user's instruction,

The second image is a background image selected by the user.

And in the synthesizing of the image, extract a person image from the first image and generate a synthesized image synthesized on the base of the second image.

A control method of a digital image processing apparatus having one surface on which a first optical unit and a first display part are formed and another surface on which a second optical unit and a second display part are formed.

Photographing first and second subject images respectively incident through the first and second optical units;

Displaying images of the first and second subjects on first and second display units, respectively; And

And synthesizing the images of the first and second subjects to generate a synthesized image.

The method of claim 15,

The first optical unit and the first display unit are formed on a front surface such as a lens to support self-shot shooting,

And the second optical unit and the second display unit are formed on the rear surface opposite to the lens.

The method of claim 15,

The first subject is the photographer himself, the second subject is the subject to provide the background,

In the generating of the synthesized image, a method of controlling the digital image processing apparatus according to claim 1, wherein the person image is extracted from the image of the first subject and the synthesized image is synthesized on the image of the second subject.