KR20140112919A - Apparatus and method for processing an image - Google Patents

Apparatus and method for processing an image Download PDF

Info

Publication number
KR20140112919A
KR20140112919A KR1020130027597A KR20130027597A KR20140112919A KR 20140112919 A KR20140112919 A KR 20140112919A KR 1020130027597 A KR1020130027597 A KR 1020130027597A KR 20130027597 A KR20130027597 A KR 20130027597A KR 20140112919 A KR20140112919 A KR 20140112919A
Authority
KR
South Korea
Prior art keywords
image
person
persons
division method
character
Prior art date
Application number
KR1020130027597A
Other languages
Korean (ko)
Inventor
김경화
김선화
김희진
박미정
유석현
최조아
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130027597A priority Critical patent/KR20140112919A/en
Publication of KR20140112919A publication Critical patent/KR20140112919A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

A method for processing an image includes the steps of: photographing an image through a camera; determining the location of a subject to be reframed by analyzing the location of the subject included in the image; generating and displaying at least one reframe image in a recommendation image according to a display type after the location of the subject is determined; and storing an image selected among the displayed recommendation images.

Description

이미지 처리장치 및 방법{APPARATUS AND METHOD FOR PROCESSING AN IMAGE }[0001] APPARATUS AND METHOD FOR PROCESSING AN IMAGE [0002]

본 발명은 이미지 처리장치 및 방법에 관한 것으로, 특히 촬영된 이미지를 리프레이밍할 수 있는 장치 및 방법에 관한 것이다.Field of the Invention [0002] The present invention relates to an image processing apparatus and method, and more particularly, to an apparatus and method capable of reframing a photographed image.

카메라 장치 또는 카메라를 구비하는 단말 장치에서 촬영시 피사체들의 구도를 자연스럽게 배치하는 것이 중요하다. 일반적으로 카메라장치에서 사진촬영시 중요 피사체를 사진의 중앙에 위치키거나 또는 3분할 구도로 촬영하는 것이 일반적이다. 여기서 3분할이란 사진을 가로 및 세로로 3 구역씩 9개의 구역으로 분할하는 것을 의미한다. 그리고 사진 촬영시 사진을 이루고 있는 중요한 구성요소(피사체)를 3분할된 라인 위에 배치하거나 또는 교차되는 포인트에 위치시키면 3분할된 사진을 획득할 수 있다. It is important to naturally arrange the composition of the subjects when photographing from a terminal device including a camera device or a camera. In general, when taking pictures with a camera device, it is common to position the important subject at the center of the picture or shoot in a three-division composition. Here, the three-parting means that the photograph is divided into nine regions in three areas, that is, in the horizontal and vertical directions. In addition, when a photograph is taken, an important component (subject) constituting a photograph is placed on a three-segmented line or positioned at an intersecting point to obtain a three-segmented photograph.

그러나 실제 사진 촬영시 원하는 구도로 사진을 촬영할 수 없는 상황이 발생될 수 있다. 그리고 저장된 사진에서 원치 않는 구도를 가지는 사진이 존재할 수 있다. 이런 경우 사용자는 외부 장치(예를들면 컴퓨터)에서 편집 프로그램을 이용하여 사진을 원하는 구도로 편집할 수 있다. 그러나 상기와 같은 방법은 사진을 촬영하는 시점에서 원하는 구도를 가지는 사진으로 편집할 수 없다. However, it may happen that the actual picture can not be photographed in the desired composition. And there may be pictures with unwanted composition in the stored pictures. In this case, the user can edit the picture in a desired composition using an editing program on an external device (for example, a computer). However, the above-described method can not be edited into a photograph having a desired composition at the time of photographing.

본 발명은 카메라 장치 또는 카메라를 구비하는 단말장치에서 사진을 촬영하는 시점에서 다양한 구도를 가지는 이미지들을 재구성하여 표시하고, 선택되는 사진을 저장할 수 있는 장치 및 방법을 제안한다.The present invention proposes an apparatus and method capable of reconstructing and displaying images having various compositions at the time of photographing at a terminal device including a camera device or a camera, and storing selected pictures.

본 발명의 실시예에 따른 이미지 처리방법은, 카메라를 통해 이미지를 촬영하는 과정과, 상기 이미지에 포함된 피사체의 위치를 분석하여 리프레임할 피사체의 위치를 결정하는 위치 결정과정과, 상기 피사체의 위치를 결정한 후 표시타입에 따른 적어도 하나의 리프레임 이미지를 생성하여 추천이미지로 표시하는 추천이미지 표시과정과, 표시되는 추천이미지들 중에서 선택되는 이미지를 저장하는 과정으로 이루어짐을 특징으로 한다.According to an embodiment of the present invention, there is provided an image processing method including: capturing an image through a camera; determining a position of a subject to be reframed by analyzing a position of the subject included in the image; Determining at least one of a recommendation image and a recommendation image; generating a recommendation image by generating at least one re-frame image according to a display type after determining a position, and displaying an image selected from among the recommended images to be displayed.

본 발명의 실시예에 따른 이미지 처리장치는, 이미지를 촬영하는 카메라와, 선택된 이미지를 저장하는 저장부와, 촬영 이미지 및 추천이미지를 표시하는 표시부와, 상기 이미지에 포함된 피사체의 위치를 분석하여 리프레임할 피사체의 위치를 결정하고, 표시타입에 따른 적어도 하나의 리프레임 이미지를 생성하여 상기 표시부에 추천이미지로 표시하며, 선택되는 이미지를 상기 저장부에 저장하는 제어부로 구성된 것을 특징으로 한다.An image processing apparatus according to an embodiment of the present invention includes a camera that captures an image, a storage unit that stores the selected image, a display unit that displays the captured image and the recommended image, A control unit for determining a position of a subject to be reprambled, generating at least one remote frame image according to the display type, displaying the image as a recommended image on the display unit, and storing the selected image in the storage unit.

카메라 장치 또는 카메라를 구비하는 단말장치에서 사진 촬영시 피사체의 다양한 구도를 가지는 이미지들을 재구성하여 표시하고, 사용자에 의해 선택되는 베스트 프레임의 사진을 저장할 수 있으며, 이로인해 사진을 촬영하는 시점에서 원하는 구도를 가지는 사진을 획득할 수 있다.A terminal device having a camera device or a camera can reconstruct and display images having various compositions of a subject when taking a picture and can store a picture of a best frame selected by the user, Can be obtained.

도 1은 본 발명의 실시예에 따른 카메라 장치의 구성을 도시하는 도면
도 2는 본 발명의 실시예에 따라 베스트 프레임 촬영모드에서 촬영된 이미지를 리프레밍하는 절차를 도시하는 흐름도
도 3은 도 2와 같은 절차를 수행하는 동작에서 표시되는 화면의 예를 도시하는 도면
도 4는 본 발명의 실시예에 따라 촬영시 캡쳐된 이미지를 인식하여 리프레임 이미지를 생성하는 절차를 도시하는 흐름도
도 5a 및 도 5b는 본 발명의 실시예에 따라 촬영된 이미지를 리프레이밍하여 표시하고, 표시되는 추천 이미지들 중에서 베스트 프레임 이미지를 선택하는 동작을 설명하기 위한 도면
도 6a - 도 6c는 본 발명의 실시예에서 2분할 방법 및 3분할 방법에 의해 리프레임 이미지를 생성하는 규칙을 설명하기 위한 도면
도 7은 이미지에서 1인의 인물이 인식되었을 때 리프레임 이미지를 생성하는 절차를 도시하는 흐름도
도 8a - 도 8c는 도 7과 같은 절차를 수행하면서 생성되는 리프레임 이미지의 예를 도시하는 도면
도 9는 이미지에서 2인의 인물이 인식되었을 때 리프레임 이미지를 생성하는 절차를 도시하는 흐름도
도 10a - 도 10b는 이미지에서 2인 이상이 인물이 검출되는 경우에 1인의 인물로 취급하기 위하여 인식 영역을 설정하는 예를 도시하는 도면
도 11a - 도 11c는 도 9와 같은 절차를 수행하면서 생성되는 리프레임 이미지의 예를 도시하는 도면
도 12는 이미지에서 3인 이상의 인물이 인식되었을 때 리프레임 이미지를 생성하는 절차를 도시하는 흐름도
도 13a - 도 13c는 도 12와 같은 절차를 수행하면서 생성되는 리프레임 이미지의 예를 도시하는 도면
도 14는 본 발명의 실시예에 따른 휴대단말기의 구성을 도시하는 도면1 is a view showing a configuration of a camera device according to an embodiment of the present invention;
2 is a flowchart illustrating a procedure for reframing an image photographed in a best frame shooting mode according to an embodiment of the present invention
3 is a view showing an example of a screen displayed in an operation of performing the procedure shown in Fig. 2
4 is a flowchart illustrating a procedure for recognizing an image captured at the time of shooting and generating a remotable image according to an embodiment of the present invention
5A and 5B are views for explaining an operation of reframing and displaying a photographed image according to an embodiment of the present invention and selecting a best frame image from the displayed recommended images
6A to 6C are diagrams for explaining a rule for generating a remote frame image by a two-division method and a three-division method in the embodiment of the present invention
7 is a flowchart showing a procedure for generating a remotest image when one person is recognized in the image
8A to 8C are diagrams showing an example of a remote frame image generated while performing the procedure as shown in Fig. 7
9 is a flowchart showing a procedure for generating a remotest image when two persons are recognized in the image
FIGS. 10A and 10B are diagrams illustrating an example of setting a recognition area for treating a person as a person when two or more persons are detected in the image
Figs. 11A to 11C are diagrams showing examples of a riframe image generated while performing the procedure as shown in Fig. 9
12 is a flowchart illustrating a procedure for generating a remotable image when three or more persons are recognized in the image
13A to 13C are diagrams showing an example of a rifle image generated while performing the procedure as shown in Fig. 12
14 is a diagram showing the configuration of a portable terminal according to an embodiment of the present invention

이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. It should be noted that the same configurations of the drawings denote the same reference numerals as possible whenever possible.

본 발명은 카메라 장치 및 카메라를 구비하는 단말장치에서 사진을 촬영하여 이미지를 획득하고, 획득된 이미지를 다양한 형태로 재구성(reframe)하여 표시하며, 표시되는 이미지들 중에서 선택된 이미지를 저장할 수 있는 장치 및 방법을 제안한다.The present invention relates to a device capable of capturing an image by capturing a picture in a terminal device including a camera device and a camera, reframing the obtained image in various forms and displaying the selected image, Method.

이를 위하여 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 장치(이하 카메라장치라 칭한다)는 사진을 촬영한 후 획득된 이미지에서 주요 피사체들을 인식하고, 인식된 피사체들을 분석하여 주요 피사체의 수를 판정한다. 이후 카메라장치는 피사체들의 수에 따른 리프레임(reframe) 이미지들을 생성하며, 생성되는 리프레임 이미지들을 표시부에 추천 프레임(suggest frame) 이미지로 표시한다. 여기서 리프레임 이미지는 획득된 이미지에서 피사체의 구도가 변경된 이미지를 의미한다. 상기와 같이 표시부에 추천 프레임 이미지들이 표시되는 상태에서 사용자가 특정 프레임 이미지를 선택하면, 상기 카메라장치는 이를 베스트 프레임(best frame) 이미지로 저장한다. To this end, a camera device or a camera equipped device (hereinafter, referred to as a camera device) according to an embodiment of the present invention recognizes main objects in an image obtained after photographing, analyzes the recognized objects, . Thereafter, the camera apparatus generates reframe images according to the number of subjects, and displays the generated remote frame images on a display unit as a suggest frame image. Here, the re-frame image means an image in which the composition of the subject is changed in the acquired image. When the user selects a specific frame image in the state that the recommended frame images are displayed on the display unit as described above, the camera apparatus stores it as a best frame image.

여기서 프레이밍 카테고리(framing category)는 주요 피사체의 수에 따라 결정되며, 본 발명의 실시예에서 주요 피사체의 수가 1개, 2개 및 3개 이상인 경우로 구분하는 예를들어 설명하기로 한다. 상기 1개의 피사체인 경우, 카메라장치는 이미지에서 인식된 피사체의 위치 및 방향에 따라 다양한 타입의 리프레임 이미지들을 생성한다. 그리고 상기 2개의 피사체인 경우, 카메라장치는 이미지에서 인식된 피사체의 크기 및/또는 방향에 따라 다양한 타입의 리프레임 이미지들을 생성한다. 그리고 상기 3개 이상인 경우, 카메라장치는 이미지에서 인식된 피사체의 크기, 피사체간의 근접도 및/또는 방향에 따라 다양한 타입의 리프레임 이미지들을 생성한다.Here, the framing category is determined according to the number of main subjects. In the embodiment of the present invention, the case where the number of main subjects is one, two, and three or more is described as an example. In the case of the one subject, the camera apparatus generates various types of remapping images according to the position and orientation of the subject recognized in the image. And, in the case of the two subjects, the camera apparatus generates various types of remote frame images according to the size and / or direction of the object recognized in the image. In the case of the above three or more, the camera apparatus generates various types of frame images according to the size of the object recognized in the image, the proximity and / or the orientation between the objects.

본 발명의 실시예에서 다양한 타입의 리프레임 이미지들은 2분할(4 rules) 및 3분할(9 rules) 규칙에 따라 6개의 리프레임 이미지들을 생성하는 것으로 가정한다. 여기서 2분할 방식은 화면을 가로/세로(width/length)로 각각 2등분하여 교차점(중심)에 피사체(object)를 위치시키는 방법을 의미하며, 3분할 방식은 가로/세로(width/length)로 각각 3등분하여 좌측 또는 우측 교차점(중심)에 피사체(object)를 위치시키는 방법을 의미한다. 본 발명의 실시예에서 상기 리프레임 이미지들은 2분할 방식 및/또는 3분할 방식에서 각각 3가지 타입(landscape type, potrait type, square type)의 이미지를 리프레이밍한다고 가정한다. It is assumed in the embodiment of the present invention that the various types of frame images generate six frame images according to the rules of 4 rules and 9 rules. Here, the 2-division method refers to a method in which an object is positioned at an intersection (center) by dividing the screen into two equal parts by a width / length (width / length) And the object is positioned at the left or right intersection (center) by dividing the object into three equal parts. In the embodiment of the present invention, it is assumed that the re-frame images are reframed into three types (landscape type, potrait type, and square type) in two and / or three-

이하의 설명에서 본 발명의 실시예에 따른 카메라장치는 촬영모드에서 베스트프레임 촬영모드를 구비하며, 상기 피사체는 사람인 경우를 가정하여 설명하기로 한다. 여기서 베스트프레임 촬영모드는 획득되는 이미지를 촬영 시점에서 다양한 형태를 가지는 리프레임 이미지들을 생성하여 표시하고, 사용자에 의해 선택된 리프레임 이미지를 저장하는 촬영모드를 의미한다.In the following description, it is assumed that the camera apparatus according to the embodiment of the present invention includes a best frame photographing mode in the photographing mode, and the subject is a person. Here, the best frame photographing mode refers to a photographing mode in which riframe images having various shapes at the time of photographing are generated and displayed, and a réframe image selected by the user is stored.

도 1은 본 발명의 실시예에 따른 카메라 장치의 구성을 도시하는 도면이다.1 is a diagram showing a configuration of a camera apparatus according to an embodiment of the present invention.

상기 도 1을 참조하면, 제어부100은 카메라 장치의 전반적인 동작을 제어한다. 또한 상기 제어부100은 베스트 프레임 촬영모드에서 획득되는 이미지의 피사체를 인식하여 인물의 수를 판정하고, 판정된 인물의 수에 따라 리프레임 이미지들을 생성하여 표시부에 추천 프레임 이미지로 표시하고, 사용자에 의해 선택된 이미지를 저장한다.Referring to FIG. 1, the controller 100 controls the overall operation of the camera device. Further, the control unit 100 recognizes the number of persons by recognizing the subject of the image obtained in the best frame photographing mode, generates the frame images according to the determined number of persons, displays the frame images as a recommended frame image on the display unit, Save the selected image.

카메라120은 상기 제어부100의 제어하에 정지이미지 및 동영상을 촬영한다. 저장부110은 카메라의 동작 프로그램 및 본 발명의 실시예에 따른 프로그램을 저장하는 프로그램 메모리와, 촬영되는 이미지들을 저장하는 데이터 메모리를 구비한다. 그리고 상기 저장부110은 상기 제어부100의 제어하에 촬영되는 동영상 및 정지이미지를 저장하며, 베스트프레임 모드에서 사용자에 의해 선택된 리프레임 이미지를 저장한다. The camera 120 captures a still image and a moving image under the control of the controller 100. The storage unit 110 includes a program memory for storing an operation program of a camera and a program according to an embodiment of the present invention, and a data memory for storing images to be photographed. The storage unit 110 stores moving images and still images taken under the control of the controller 100, and stores the selected frame images in the best frame mode.

표시부130은 상기 제어부100의 제어하에 촬영되는 이미지를 표시한다. 상기 표시부130은 LCD 또는 OLED가 될 수 있다. 입력부140은 카메라 장치의 촬영을 제어하기 위한 입력들을 발생한다. 여기서 상기 표시부130 및 입력부140은 일체형의 터치 스크린으로 구성될 수 있다. The display unit 130 displays an image to be photographed under the control of the control unit 100. The display unit 130 may be an LCD or an OLED. The input unit 140 generates inputs for controlling the shooting of the camera apparatus. The display unit 130 and the input unit 140 may be integrated touch screens.

도 2는 본 발명의 실시예에 따른 카메라장치가 베스트 프레임 촬영모드에서 획득되는 이미지를 리프레밍하여 표시 및 선택된 리프레임 이미지를 저장하는 절차를 도시하는 흐름도이다. 그리고 도 3은 도 2와 같은 동작을 설명하기 위한 도면이다.FIG. 2 is a flow chart showing a procedure for a camera apparatus according to an embodiment of the present invention to reframe an image obtained in the best frame shooting mode to display and store a selected frame image. 3 is a view for explaining the operation similar to that of FIG.

상기 도 1 - 도 3을 참조하면, 먼저 사용자는 입력부140을 통해 설정모드(settings) 또는 카메라120을 구동한 상태에서 베스트프레임(best frame) 촬영모드를 선택하면, 상기 제어부100은 이를 감지하고 베스트프레임 촬영모드를 설정한다. 그리고 프리뷰모드에서 상기 제어부100은 이미지처리부를 구비하며, 상기 이미지처리부는 상기 카메라120에서 출력되는 이미지를 처리하여 상기 표시부140에 표시한다. 여기서 상기 이미지처리부는 이미지의 전처리부(preprocessor) 및 후처리부(postprocessor), 스케일러(scaler), 부호기(coder & decoder) 등을 구비한다. 상기 이미지처리부는 프리뷰 모드시 상기 카메라120에서 상기 이미지를 전처리 및 후처리하며, 또한 상기 표시부130에 표시할 표시이미지의 사이즈로 스케일링(이하의 설명에서 스케일링은 scaling, resizing and/or cropping을 포함할 수 있다)한 후 상기 표시부140에 출력한다. 그리고 상기 이미지처리부140은 촬영 모드시 상기 카메라120에서 출력되는 카메라120에서 출력되는 이미지를 전처리 및 후처리한 후 부호화하여 상기 저장부110에 저장한다. 이때 상기 촬영모드시 상기 이미지처리부는 카메라120의 풀해상도(full definition) 이미지 또는 설정된 해상도의 이미지를 처리하여 상기 저장부100에 저장한다. 1 to 3, if the user selects a best frame photographing mode in a state in which the user operates the setting unit or the camera 120 through the input unit 140, the control unit 100 detects the best frame photographing mode, Set the frame shooting mode. In the preview mode, the control unit 100 includes an image processing unit, which processes the image output from the camera 120 and displays the processed image on the display unit 140. The image processing unit includes a preprocessor, a postprocessor, a scaler, a coder & decoder, and the like of an image. The image processing unit preprocesses and post-processes the image in the camera 120 in a preview mode, and scales the image to be displayed on the display unit 130 (hereinafter, scaling includes scaling, resizing and / or cropping And outputs it to the display unit 140. [ The image processing unit 140 preprocesses and post-processes the image output from the camera 120, which is output from the camera 120, and stores the preprocessed image in the storage unit 110. At this time, in the shooting mode, the image processing unit processes a full definition image of the camera 120 or an image having a set resolution and stores the processed image in the storage unit 100.

또한 상기 제어부100은 인식부를 상기 카메라120에서 출력되는 이미지의 피사체(인물의 얼굴, 및/또는 풍경 등)을 인식한다. 여기서 상기 피사체는 인물이 될 수 있으며, 이런 경우 상기 인식부는 얼굴인식부가 될 수 있다. 여기서 상기 얼굴인식은 사진 내에서 얼굴이 어디인지 구분해내는 얼굴 영역 추출과 추출된 얼굴영역에 찾아낸 얼굴이 누구의 얼굴인지 감별하는 얼굴인식이 있다. 여기서 상기 얼굴 영역 추출은 얼굴과 배경을 구분하기 위해 밝기, 움직임, 색상, 눈(코, 입, 귀 등) 위치 추정 등의 정보를 이용할 수 있으며, 다양한 변수 때문에 복수의 정보들을 이용할 수 있다. 즉, 얼굴 영역을 정확하게 추출하기 위해 2가지 이상의 정보를 취합 후 상호 보완하는 방식을 사용할 수 있다. 본 발명의 실시예에서 상기 제어부100은 프리뷰 이미지 전체에서 얼굴이 어디인지 구분해내는 얼굴 영역 추출 기능을 가지는 얼굴인식부를 구비한다.Also, the control unit 100 recognizes a subject (a face of a person and / or a landscape) of an image output from the camera 120. Here, the subject may be a person, and in this case, the recognition unit may be a face recognition unit. Here, the face recognition includes a face region extraction for distinguishing a face in a photograph, and a face recognition for discriminating a face detected in the extracted face region. Here, the face region extraction may use information such as brightness, motion, color, and eye (nose, mouth, ear, etc.) position estimation to distinguish the face and the background. That is, a method of collecting two or more pieces of information in order to accurately extract a face area and then complementing each other can be used. In the embodiment of the present invention, the controller 100 includes a face recognition unit having a face region extraction function for identifying a face in the entire preview image.

상기 제어부100은 211단계에서 프리뷰 모드를 수행한다. 상기 프리뷰 모드시 상기 제어부100은 상기 카메라120에서 출력되는 이미지를 처리하여 표시이미지를 생성하며, 상기 표시이미지를 표시부140에 표시한다. 여기서 상기 표시이미지는 상기 카메라120에서 촬영되는 풀해상도 이미지를 표시부130에서 표시하기 위한 해상도로 스케일링(scaling, resizing and/or cropping)된 이미지를 의미한다. 또한 상기 프리뷰모드에서 사용자가 카메라 구동종료신호(예를들면 셔터 스위치 off)를 발생하면, 상기 제어부100은 카메라120의 구동을 오프시킨다.The controller 100 performs a preview mode in step 211. In step 211, In the preview mode, the controller 100 processes an image output from the camera 120 to generate a display image, and displays the display image on the display unit 140. Here, the display image refers to an image scaled (scaled, resized and / or cropped) at a resolution for displaying the full resolution image photographed by the camera 120 on the display unit 130. In addition, when the user generates a camera driving end signal (e.g., a shutter switch off) in the preview mode, the controller 100 turns off the camera 120.

상기 프리뷰 모드에서 사용자가 촬영 요구신호(예를들면 셔터 스위치 on)를 발생하면, 상기 제어부100은 213단계에서 이를 감지하고, 215단계에서 리프레임 촬영모드가 설정되었는가 검사한다. 여기서 상기 리프레임 촬영모드는 상기한 바와 같이 촬영시점에서 획득되는 이미지를 인식하여 프레임을 재구성하는 리프레임 이미지를 생성하여 표시하고, 리프레임 이미지들 중에서 베스트 프레임을 선택하여 저장할 수 있는 촬영모드이다.When the user generates a photographing request signal (for example, a shutter switch on) in the preview mode, the controller 100 senses the photographing request in step 213 and determines whether the retra-frame photographing mode is set in step 215. [ Here, the re-frame photographing mode is a photographing mode in which a re-frame image for recognizing an image acquired at the photographing time is reconstructed and displayed, and a best frame among the re-frame images is selected and stored.

상기 215단계에서 리프레임 촬영모드임을 감지하면, 상기 제어부100은 217단계에서 카메라 120의 출력이미지(original image)에서 인물의 얼굴을 인식하여 이미지 내에 몇 명의 인물이 있는가를 결정하며, 결정된 인물들의 특징에 따라 리프레임 이미지들을 생성 및 표시한다. 이때 상기 제어부100은 상기 리프레임 이미지를 2분할 방법(4 rules) 및/또는 3분할 방법(9 rules)에 의해 생성할 수 있으며, 각 방법에 따른 리프레임 이미지들을 3 type(landscape view type, portrait view type, squre view type)으로 생성될 수 있다. In step 215, the controller 100 recognizes the face of the person in the original image of the camera 120 in step 217, determines how many persons are in the image, Thereby generating and displaying remoting images. At this time, the controller 100 can generate the remoter image by 4 rules and / or 9 rules, and can display 3 types of the remoter images according to each method (landscape view type, portrait view type, squre view type).

예를들면, 상기 제어부100은 리프레임 촬영모드시 도 3의 310과 같은 이미지를 촬영하면, 217단계에서 이미지 내의 얼굴을 인식하여 인물의 수 및 특징을 분석하고, 그 결과에 따라 리프레임 이미지들을 생성하며 320과 같이 생성되는 리프레임 이미지를 포함하는 후보 이미지(candidate image)표시한다. 여기서 상기 후보 이미지는 베스트프레임 이미지로 선택할 수 있는 이미지들로써, 원 이미지 및 복수의 리프레임 이미지들로 구성될 수 있다. 이때 상기 리프레임 이미지를 생성할 때 상기 제어부100은 도 3의 320과 같이 원 이미지(original image)에 325와 같이 생성되는 리프레임 이미지들을 오버레이하여 후보 이미지(candidate image)325로 표시하며, 상기 후보 이미지325는 350과 같은 구성을 가질 수 있다. 상기 도 도 3의 350에 도시된 바와 같이 후보 이미지의 구성(composition of candiate)은 원 이미지(카메라120에서 출력되는 original image, 여기서는 310과 같은 이미지가 될 수 있음)353과, 이미지 분석 결과에 따라 재생성된 이미지들(즉, reframe image, suggest image)355들로 구성될 수 있다. For example, if the controller 100 captures an image of 310 in FIG. 3 during the remote frame shooting mode, the controller 100 recognizes the face in the image in step 217, analyzes the number and characteristics of the characters, And displays a candidate image including the generated re-frame image as shown at 320. Here, the candidate image may be a best frame image, and may be an original image and a plurality of remoter images. At this time, when generating the remote frame image, the controller 100 overlays the remote frame images generated as 325 in the original image as shown in 320 of FIG. 3 to display the image as a candidate image 325, Image 325 may have the same configuration as 350. As shown in FIG. 3, the composition of candidates of the candidate image includes an original image (an original image output from the camera 120, which may be an image similar to the image 310 in this case) 353, And may be composed of regenerated images (i.e., a reframe image, suggest image) 355.

이때 리프레임 이미지의 생성을 종료하면, 상기 제어부100은 330과 같이 베스트프레임 이미지를 선택할 것인지를 표시하는 팝업창을 표시한다. 이때 사용자가 화면 330에서 확인버튼(OK button)335를 터치(touch, tap)하면, 상기 제어부100은 이를 219단계에서 이를 감지하고 340과 같이 표시부130에 원이미지에 후보이미지345를 오버레이하여 표시한다. 이때 사용자가 상기 후보이미지345에서 원하는 이미지를 선택(touch or tap)하면, 상기 제어부100은 선택된 이미지를 저장한다. 이때 선택은 하나의 이미지 또는 둘 이상의 이미지들이 될 수 있다. 또한 상기 후보 이미지에서 원 이미지와 함께 선택되는 리프레임 이미지를 저장할 수도 있다. At this time, when the creation of the re-frame image is terminated, the controller 100 displays a pop-up window indicating whether to select the best frame image, At this time, if the user touches (OK) button 335 on the screen 330 (touch and tap), the controller 100 senses it in step 219 and overlayes the candidate image 345 on the original image on the display unit 130 as 340 . At this time, if the user touches or taps a desired image in the candidate image 345, the control unit 100 stores the selected image. At this time, the selection may be one image or two or more images. And may also store a recursive image selected with the original image in the candidate image.

도 4는 본 발명의 실시예에 따라 촬영시 캡쳐된 이미지를 인식하여 리프레임 이미지를 생성하는 절차를 도시하는 흐름도이다.4 is a flowchart illustrating a procedure for recognizing an image captured at the time of shooting and generating a remotable image according to an embodiment of the present invention.

도 4를 참조하면, 상기 제어부100은 촬영된 이미지를 인식하여 인물의 수를 확인하고, 확인 인물 수에 따라 각각 대응되는 베스트 포토(best photo)의 이미지를 리프레이밍하여 원이미지와 함께 후보 이미지로 표시한다. 먼저 상기 제어부100은 411단계에서 이미지에서 얼굴을 인식하며, 인식된 얼굴의 수를 분석한다. 이때 이미지에 포함된 인물이 1인으로 판정되면, 상기 제어부100은 413단계에서 이를 감지하고 415단계에서 얼굴의 방향(derection of face)을 분석한다. 여기서 상기 얼굴의 방향은 눈, 코 및/또는 양볼의 면적과 시선 등을 분석하여 얼굴의 방향을 결정할 수 있다. 상기 얼굴 방향을 결정한 후, 상기 제어부100은 417단계에서 상기 결정된 얼굴 방향에 따른 리프레임 이미지를 생성하여 표시한다. Referring to FIG. 4, the control unit 100 recognizes the photographed images, confirms the number of the persons, reframes the images of the best photos corresponding to the number of confirmed persons, Display. First, in step 411, the controller 100 recognizes a face in the image and analyzes the number of recognized faces. At this time, if it is determined that the person included in the image is one person, the controller 100 detects the person in step 413 and analyzes the direction of the face in step 415. Here, the direction of the face can determine the direction of the face by analyzing the area, the gaze, etc. of the eyes, the nose and / or the cheeks. After determining the face direction, the controller 100 generates and displays a frame image according to the determined face direction in step 417. [

또한 이미지에 포함된 인물이 2인으로 판정되면, 상기 제어부100은 421단계에서 이를 감지하고, 423단계에서 인식된 인물의 크기 및 얼굴 방향을 분석한다. 이때 상기 제어부100은 각 인물의 인식된 얼굴 영역을 사각형 형태로 표시할 수 있으며, 상기 제어부100은 상기 423단계에서 인식된 각 인물 얼굴(사각형 형태)들을 다시 연결하여 하나의 사각형(가상 rectangle)을 다시 추출한다. 그리고 상기 제어부100은 하기 사각형을 하나의 오브젝트로 판단하고, 오브젝트 내에 위치되는 인물(즉, 좌측 및 우측 인물)의 높이를 판단한다. 이후 상기 제어부100은 425단계에서 상기와 같이 판단된 인물의 높이를 리프레임 이미지를 생성하여 표시한다. If the person included in the image is determined to be two persons, the controller 100 detects the person in step 421 and analyzes the size and face direction of the recognized person in step 423. [ At this time, the controller 100 can display the recognized face region of each person in a rectangular shape, and the controller 100 reconnects each of the recognized person's faces (rectangles) in step 423 to obtain a virtual rectangle Extract again. Then, the controller 100 determines the following rectangle as one object, and determines the height of the person (i.e., the left and right person) located in the object. Then, in step 425, the controller 100 generates and displays a frame image of the determined height of the person.

또한 상기 이미지에 포함된 인물이 3인 이상으로 판정되면, 상기 제어부100은 421단계에서 이를 감지하고, 431단계에서 인식된 인물의 크기, 인물 간의 거리(즉, 근접도) 및 얼굴 방향을 분석한다. 이때 상기 제어부100은 상기 2인인 경우와 동일한 방법으로 각 인물의 인식된 얼굴 영역을 사각형 형태로 표시할 수 있으며, 상기 제어부100은 상기 431단계에서 인식된 각 인물 얼굴(사각형 형태)들을 다시 연결하여 하나의 사각형(가상 rectangle)을 다시 추출한다. 그리고 상기 제어부100은 하기 사각형을 하나의 오브젝트로 판단하고, 오브젝트 내에 위치되는 인물들의 높이 및 인물들 간의 간격(거리)를 판단한다. 이후 상기 제어부100은 425단계에서 상기와 같이 판단된 인물의 높이 및 거리 등에 따라 리프레임 이미지를 생성하여 표시한다. If it is determined that the number of persons included in the image is three or more, the controller 100 detects it in step 421 and analyzes the size of the recognized person, the distance between the persons (i.e., the proximity) and the face direction in step 431 . At this time, the controller 100 can display the recognized face region of each person in a rectangular shape in the same manner as the case of the two persons, and the controller 100 reconnects the recognized person faces (rectangles) in the step 431 Extract one rectangle (virtual rectangle) again. Then, the controller 100 determines the following rectangle as one object, determines the height of the persons positioned in the object, and the distance (distance) between the characters. In step 425, the controller 100 generates and displays a frame image according to the height and the distance of the person determined as described above.

이때 상기 리프레임 이미지들은 2분할 방법 및/또는 3분할 방법으로 생성할 수 있으며, 각 방법에서 생성되는 리프레임 이미지는 표시 타입에 따라 3가지 타입(landscape view type, portrait view type, square view type)으로 생성할 수 있다. 이런 경우 상기 생성되는 리프레임 이미지는 3개 및/또는 6개가 될 수 있으며, 이렇게 리프레이밍된 이미지를 suggest image로 표시할 수 있다. 따라서 상기 도 4와 같은 과정을 수행하면, 상기 제어부100은 상기 표시부130에 원 이미지와 리프레이밍된 6개의 추천 이미지들을 후보 이미지로 표시할 수 있다.At this time, the remoter images can be generated by a two-part method and / or a three-part method. The remoter images generated in each method are classified into three types (landscape view type, portrait view type, Can be generated. In this case, the generated re-frame image may be 3 and / or 6, and the reframed image may be displayed as a suggest image. 4, the controller 100 may display the original images and the six refereed images in the display unit 130 as candidate images.

도 5a 및 도 5b는 카메라 장치에서 본 발명의 실시예에 따라 촬영된 이미지를 리프레이밍하여 추천 이미지들을 생성 및 표시하고, 표시되는 추천 이미지들 중에서 베스트 프레임 이미지를 선택하는 동작을 설명하기 위한 도면이다. 그리고 도 6a - 도 6c는 본 발명의 실시예에서 2분할 방법 및 3분할 방법에 의해 리프레임 이미지를 생성하는 규칙을 설명하기 위한 도면이다. FIGS. 5A and 5B are diagrams for explaining an operation of refereing a photographed image in a camera apparatus according to an embodiment of the present invention to generate and display recommended images, and to select a best frame image from the displayed recommended images . 6A to 6C are diagrams for explaining a rule for generating a reraframe image by the two-division method and the three-division method in the embodiment of the present invention.

상기 도 5a - 도 5b 및 도 6a - 도 6c를 참조하면, 먼저 제어부100은 500단계에서 카메라120에서 출력되는 이미지를 캡쳐한다. 즉, 상기 제어부100은 베스트프레임 촬영모드가 설정된 상태에서 촬영이 요구되면, 카메라120에서 출력되는 이미지를 캡쳐하며, 캡쳐된 이미지를 처리하여 버퍼링하며, 이때 상기 이미지는 리프레이밍되지 않은 이미지, 즉 오리지널 이미지(original image)가 된다. 이후 상기 제어부100은 510단계에서 상기 오리지널 이미지를 인식하여 이미지 내에 포함된 인물의 수를 확인한다. 이때 상기 이미지 내에 포함된 인물의 수를 확인하는 방법은 상기한 바와 같이 인물의 얼굴 영역을 인식하는 방법을 사용할 수 있으며, 상기 제어부100은 520단계에서 인식된 얼굴의 수에 따라 인물의 수를 인식한다. 본 발명의 실시예에서는 상기한 바와 같이 인물의 수가 1인(one person), 2인(two persons) 및 3인 이상(more than three persons)으로 구분하여 리프레이밍 동작을 수행한다. Referring to FIGS. 5A through 5B and FIGS. 6A through 6C, the controller 100 captures an image output from the camera 120 in operation 500. That is, when the best frame photographing mode is set, the controller 100 captures an image output from the camera 120, processes and buffers the captured image, and the image is not reframed, that is, The image becomes an original image. In step 510, the controller 100 recognizes the original image and confirms the number of persons included in the image. In this case, the method of recognizing the number of persons included in the image may be a method of recognizing the face area of the person, as described above. The controller 100 may recognize the number of persons according to the number of recognized faces in step 520 do. In the embodiment of the present invention, as described above, the number of characters is divided into one person, two persons, and three or more persons (more than three persons) to carry out a reframing operation.

먼저 1인으로 결정된 경우, 상기 제어부100은 540단계에서 인물의 얼굴 영역을 분석하여 눈, 코 및/또는 양볼의 면적을 비교하며, 또한 인물의 시선(보는 방향)을 분석하여 얼굴이 향하는 방향을 인식(analyze direction of face)한다. 이때 인물의 얼굴이 정면(front)을 향하고 있으며, 상기 제어부100은 540단계에서 이를 확인하고, 560단계에서 도 6a와 같은 2분할 방법(center position by four rules)에 의해 리프레이밍할 인물의 위치를 결정한다. 이후 상기 제어부100은 570단계에서 상기 2분할 방법에 의해 결정된 인물의 위치를 3가지의 표시 형태(landscape view type, portrait view type, square view type)로 리프레이밍하여 이미지를 생성한다. 이때 상기 제어부100은 1인이며 얼굴 방향이 정면을 향하고 있는 경우, 570단계에서 상기 3가지 표시 타입들의 이미지에서 얼굴 영역을 크롭한 리프레임 이미지들을 생성할 수 있다. 따라서 1인의 인물이 정면을 보고있는 이미지 인 경우, 상기 제어부100은 2분할 방법에 의해 리프레이밍된 3개의 리프레이밍 이미지들과 이를 크롭한 3개의 리프레이밍 이미지들로 구성된 총 6개의 이미지들로 이루어지는 추천 이미지(suggest image)를 생성할 수 있다.In step 540, the controller 100 analyzes the facial area of the person to compare the areas of the eyes, nose, and / or cheeks, analyzes the gaze direction of the person (view direction) Analyze direction of face. At this time, the face of the person faces the front, and the controller 100 confirms this in step 540. In step 560, the controller 100 determines the position of the person to be reframed by the center position by four rules as shown in FIG. 6A . In step 570, the controller 100 reframes the position of the person determined by the two-division method into three types of display formats (landscape view type, portrait view type, and square view type) to generate an image. At this time, if the controller 100 is one person and the face direction is face-to-face, in step 570, it is possible to generate re-frame images in which the face area is cropped in the images of the three display types. Accordingly, when one person is looking at the front side, the control unit 100 includes a total of six images composed of three reframing images reframed by the two-division method and three reframing images cropped by the two reframing images You can create a suggestion image.

두번째로 인물의 얼굴이 우측(right)을 향하고 있으며, 상기 제어부100은 540단계에서 이를 확인하고, 560단계에서 도 6a와 같은 2분할 방법(center position by four rules) 및 도 6c와 같은 3분할 방법(left position by 9 rules)에 의해 리프레이밍할 인물의 위치를 결정한다. 즉, 얼굴 방향이 우측을 향하고 있으면, 피사체가 좌측에 위치(left position)되어야 안정된 구도를 가질 수 있다. 따라서 상기 제어부100은 이후 상기 제어부100은 570단계에서 상기 2분할 방법 및 3분할 방법에 의해 결정된 인물의 위치를 각각 3가지의 표시 형태(landscape view type, portrait view type, square view type)로 리프레이밍하여 이미지를 생성한다. 따라서 1인의 인물의 얼굴방향이 우측을 보고있는 이미지인 경우, 상기 제어부100은 2분할 방법에 의해 리프레이밍된 3개의 리프레임 이미지들과 3분할 방법에 의해 리프레이밍된 3개의 리프레임 이미지들로 구성된 총 6개의 이미지들로 이루어지는 추천 이미지(suggest image)를 생성할 수 있다.The face of the person faces right and the controller 100 confirms this in step 540. In step 560, the controller 100 determines a center position by four rules as shown in FIG. 6A and a three- (left position by 9 rules) determines the position of the person to be reframed. That is, if the face direction is directed to the right side, the subject must be left-positioned to have a stable composition. In step 570, the controller 100 determines whether the position of a person determined by the two-division method or the three-division method is reframed into three types of display formats (landscape view type, portrait view type, and square view type) And generates an image. Accordingly, when the face direction of one person is an image looking right, the control unit 100 displays three remote frame images reframed by the two-division method and three remote frame images reframed by the three- It is possible to generate a suggestion image consisting of a total of six images.

세 번째로 인물의 얼굴이 좌측(left)을 향하고 있으며, 상기 제어부100은 540단계에서 이를 확인하고, 560단계에서 도 6a와 같은 2분할 방법(center position by four rules) 및 도 6b와 같은 3분할 방법(left position by 9 rules)에 의해 리프레이밍할 인물의 위치를 결정한다. 즉, 얼굴 방향이 좌측을 향하고 있으면, 피사체가 우측에 위치(right position)되어야 안정된 구도를 가질 수 있다. 이후 상기 제어부100은 570단계에서 상기 2분할 방법 및 3분할 방법에 의해 결정된 인물의 위치를 각각 3가지의 표시 형태(landscape view type, portrait view type, square view type)로 리프레이밍하여 이미지를 생성한다. 따라서 1인의 인물의 얼굴방향이 좌측을 보고있는 이미지인 경우, 상기 제어부100은 2분할 방법에 의해 리프레이밍된 3개의 리프레임 이미지들과 3분할 방법에 의해 리프레이밍된 3개의 리프레임 이미지들로 구성된 총 6개의 이미지들로 이루어지는 추천 이미지(suggest image)를 생성할 수 있다.Third, the face of the person faces the left, and the controller 100 confirms this in step 540. In step 560, the controller 100 determines a center position by four rules as shown in FIG. 6A and a three- The position of the person to be reframed is determined by the left position by 9 rules. That is, if the face direction is directed to the left side, the subject must be in the right position to have a stable composition. Then, in step 570, the controller 100 reframes the positions of the persons determined by the two-division method and the three-division method into three display forms (landscape view type, portrait view type, and square view type) . Accordingly, when the face direction of one person is an image looking on the left side, the control unit 100 displays three remote frame images reframed by the two-division method and three remote frame images reframed by the three- It is possible to generate a suggestion image consisting of a total of six images.

이때 상기 리프레임 이미지는 이미지의 인물 위치를 이동시키게 되며, 따라서 이미지의 얼굴에 데미지(demage)가 발생될 수 있다. 여기서 상기 데미지(damage)는 리프레이밍된 이미지의 얼굴 선이 프레임의 경계선(outline)에 걸쳐진 경우를 의미한다. 즉, 리프레임 이미지의 피사체(object, 사물, 인물 등(여기서는 인물의 얼굴 영역이 될 수 있음))가 표시영역(이미지의 프레임 경계)를 벗난 경우로 판단되면, 상기 제어부100은 데미지가 발생된 경우(damage to original image)로 판정한다. 따라서 상기 제어부100은 오리지널 이미지의 얼굴을 인식하여 리프레이밍 이미지를 생성한 후, 리프레이밍 이미지에 데미지가 발생되었는가 검사하고, 데미지가 발생된 경우 리프레이밍 이미지에서 데미지를 보상한다. 이를 위하여, 상기 제어부100은 580단계에서 리프레이밍된 이미지를 검사하여 이미지에 포함된 얼굴 영역이 손상(damage)이 발생되었는가 검사(reframe image check)한다. 이때 오리지널 이미지에 데미지가 없는 리프레임 이미지가 생성되면, 상기 제어부100은 580 단계에서 상기 오리지널 이미지와 함께 리프레이밍된 6개의 추천 이미지들을 표시한다. 그러나 오리지널 이미지에 데미지가 발생되는 리프레임 이미지가 생성되면, 상기 제어부100은 추천 이미지를 표시하지 않을 수 있다. 이때 상기 제어부100은 데미지가 발생된 리프레임 이미지를 제외한 나머지 리프레임 이미지들을 추천 이미지로 표시할 수 있다. At this time, the remoter image moves the position of the person in the image, and therefore, a demage may occur in the face of the image. Here, the damage refers to a case in which the face line of the reframed image is laid over the outline of the frame. That is, when it is determined that a subject (object, object, person or the like) of the remote frame image (which may be a face area of a person) is out of the display area (frame boundary of the image) (Damage to original image). Accordingly, the control unit 100 recognizes the face of the original image to generate a reframing image, and then checks whether the reframing image has been damaged, and compensates for the damage in the reframing image when the damage occurs. For this, the controller 100 examines the reframed image in step 580 and checks whether a face area included in the image has suffered damage (reframe image check). At this time, if a re-frame image having no damage to the original image is generated, the controller 100 displays six reference images reframed together with the original image in step 580. [ However, if a re-frame image is generated that causes damage to the original image, the control unit 100 may not display the recommended image. At this time, the controller 100 may display the remaining frame images other than the deleted frame image as a recommended image.

또한 상기 제어부100은 리프레임 이미지에 데미지가 발생되면, 상기 제어부100은 데미지가발생된 리프레임 이미지를 스케일링하여 추천 이미지로 표시할 수 있다. 리프레임 이미지는 2분할 또는 3분할 방법에 의해 피사체의 표시위치를 결정하며, 또한 표시 타입에 따라 좌우 또는 상하 여백(이미지의 프레임에서 이미지가 존재하지 않는 영역)이 발생될 수 있다. 이런 경우 상기 제어부100은 상기 리프레임 이미지 생성시 오리지널 이미지를 스케일링(scaling, resizing and/or cropping)하여 여백이 존재하지 않는 리프레임 이미지를 생성할 수 있다. 예를들어 오리지널 이미지가 landscape view type이며 리프레임 이미지를 portrait type으로 리프레이밍하는 경우, 오리지널 이미지를 16:9(또는 9:16) 화면비율에서 9:16(또는 16:9) 화면비율로 리프레이밍(예를들면 cropping)하여야 한다. 이런 경우 이미지 프레임의 상측 및/또는 하측 영역(또는 좌측 및/또는 우측 영역)에 이미지가 없는 공백이 생길 수 있다. 따라서 이런 경우 리프레이밍시 이미지의 상측 및/또는 하측 영역(또는 좌측 및/또는 우측 영역)에 이미지 공백이 발생되지 않도록 이미지를 스케일링(예를들면 cropping)한다. 이런 경우, 상기 스케일링에 의해 리프레임 이미지는 오리지널 이미지에서 피사체의 위치가 설정된 위치로 이동되는 동시에 주밍되는 효과를 가질 수 있다. In addition, when the remoter image is damaged, the controller 100 scales the remoter image in which the damage has occurred, and displays the scratched image as a recommended image. The re-frame image determines the display position of the subject by the two-division or three-division method, and depending on the display type, left and right or top and bottom margins (area where no image exists in the frame of the image) may be generated. In this case, the control unit 100 scales (resizes and / or crops) the original image when generating the remoting image, thereby generating a remoting image in which no margin exists. For example, if the original image is a landscape view type and the reframe image is refrained to a portrait type, the original image may be resized to a 9:16 (or 16: 9) aspect ratio at a 16: 9 (or 9:16) Framing (for example cropping) should be done. In this case, there may be an image-free space in the upper and / or lower area (or left and / or right area) of the image frame. Thus, in this case, the image is scaled (e.g., cropped) so that image blanking does not occur in the upper and / or lower regions (or left and / or right regions) of the image during reframing. In this case, the scaling may have the effect of moving the position of the subject in the original image to the set position and zooming.

이때 상기 오리지널 이미지를 리프레이밍할 때, 상기 제어부100은 오리지널 이미지에 데미지가 발생되지 않도록 치지 않도록 여유(예를들면 remain 10%)를 가지는 리프레이밍 이미지를 생성한다. 즉, 오리지널 이미지는 리프레이밍(피사체의 위치를 2분할 방법 또는 3분할 방법에 의해 설정된 교차점 위치로 이동시킬 때 및/또는 표시 타입의 변경)에 의해 데미지가 발생될 수 있다. 즉, 오리지널 이미지를 리프레임 이미지로 변경할 때, 피사체(예를들면 인물의 얼굴)가 프레임의 경계(즉, 이미지의 경계 또는 표시되는 화면의 경계)에 걸쳐질 수 있다. 이런 경우 상기 제어부100은 570단계에서 오리지널 이미지를 리프레이밍할 때, 2분할 또는 3분할 방식의 교차점 위치에서 피사체(즉, 얼굴)가 프레임 경계에 걸쳐지지 않도록 이동(상, 하, 좌 및/또는 우) 및/또는 이미지를 스케일링하여 얼굴이 프레임의 경계에 걸치지 않도록 할 수 있다. At this time, when reframing the original image, the controller 100 generates a reframing image having a margin (for example, remain 10%) so as not to damage the original image. That is, the original image can be damaged by reframing (moving the position of the subject to the intersection position set by the two-division method or the three-division method and / or changing the display type). That is, when the original image is changed to the re-frame image, the subject (for example, the face of the person) may span the boundary of the frame (that is, the border of the image or the boundary of the displayed screen). In this case, when the original image is reframed in step 570, the controller 100 moves (upward, downward, leftward, and / or rightward) so that the subject (i.e., face) does not cross the frame boundary at the intersection of two or three- Right) and / or scaling the image so that the face does not hang over the border of the frame.

이때 상기 580단계에서 리프레임 이미지를 검사한 후, 추천 이미지를 표시하는 상태이면, 상기 제어부100은 590단계에서 상기 추천이미지들과 오리지널 이미지를 상기 표시부130에 후보 이미지로 하며, 사용자에 의해 선택되는 이미지(오리지널 이미지 및/또는 리프레임 이미지)를 처리(예를들면 부호화 등)하여 저장부110에 저장한다. If it is determined in step 580 that the recommended image is displayed after checking the remote image in step 580, the controller 100 sets the recommended images and the original image as candidate images on the display 130 in step 590, (E.g., encoding) an image (original image and / or re-frame image) and stores it in the storage unit 110. [

상기한 바와 같이 오리지널 이미지에 1인의 인물이 포함된 경우, 상기 제어부100은 2분할 방법 및/또는 3분할방법에 의해 주 피사체의 표시 위치를 결정하고, 3가지의 표시 타입에 따른 각각의 리프레임 이미지를 생성한다. 그리고 상기 리프레임 이미지 생성시 오리지널 이미지에 데미지가 발생되지 않도록 오리지널 이미지를 스케일링하여 리프레이밍한다. 그리고 상기 제어부100은 상기와 생성되는 리프레임 이미지를 검사하여 데미지가 발생되지 않은 이미지들을 추천 이미지로 결정한다. 이후 상기 제어부100은 오리지널 이미지와 함께 상기 추천 이미지들을 상기 표시부130에 후보 이미지로 표시하고, 사용자에 의해 선택되는 오리지널 이미지 및/또는 추천 이미지를 처리하여 저장한다. In the case where one person is included in the original image as described above, the controller 100 determines the display position of the main subject by the two-division method and / or the three-division method, Create an image. Then, the original image is scaled and reframed so as to prevent damage to the original image when the remoting image is generated. Then, the control unit 100 examines the generated frame image and determines the undamaged images as a recommended image. Then, the control unit 100 displays the recommended images together with the original images as candidate images on the display unit 130, and processes and stores the original images and / or the recommended images selected by the user.

또한 상기 520 단계 및 530단계에서 얼굴영역(얼굴 및/또는 눈 등)을 인식 및 분석하여 2인으로 결정된 경우, 상기 제어부100은 540단계에서 인물들의 특징을 분석한다. 이때 상기 제어부100은 540단계에서 각 인물들의 얼굴영역을 추출하여 사각형 형태로 표시하고, 이들 각 인물(여기서는 두 인물)의 얼굴 영역(marked rectangle on detected face)들을 포함하는 하나의 사각형 형태(가상 rectangle)로 표시하여 하나의 인물(deal as one person)로 처리한다. 그리고 2인의 인물이 포함된 이미지인 경우, 상기 제어부100은 두 인물의 크기를 검사(find taller)한다. 이때 두 인물의 키가 동일한 크기를 가지면(same tall, same length) 540단계에서 이를 확인하고, 560단계에서 도 6a와 같은 2분할 방법(center position by four rules) 에 의해 리프레이밍할 인물의 위치를 결정한다. 이후 상기 제어부100은 570단계에서 상기 2분할 방법에 의해 결정된 인물의 위치를 3가지의 표시 형태(landscape view type, portrait view type, square view type)로 리프레이밍하여 이미지를 생성한다. 이때 상기 제어부100은 2인이며 두 인물의 키가 동일한 크기를 가지는 경우, 570단계에서 상기 3가지 표시 타입들의 이미지에서 얼굴 영역을 크롭한 리프레임 이미지들을 생성할 수 있다. 따라서 2인의 인물이 동일한 크기를 가지는 이미지인 경우, 상기 제어부100은 2분할 방법에 의해 리프레이밍된 3개의 리프레이밍 이미지들과 이를 크롭한 3개의 리프레이밍 이미지들로 구성된 총 6개의 이미지들로 이루어지는 추천 이미지(suggest image)를 생성할 수 있다. If the face region (face and / or eye, etc.) is recognized and analyzed in steps 520 and 530 and the two persons are determined, the controller 100 analyzes the characteristics of the characters in step 540. At this time, the controller 100 extracts the face regions of the respective persons in step 540 and displays them in a rectangular form. In step 540, the controller 100 displays a rectangular shape (a rectangle) including the detected faces of the respective characters ) And treat them as one person (deal as one person). In the case of an image including two persons, the controller 100 finds the size of two persons. At this time, if the two keys have the same size (same tall, same length), it is confirmed in step 540, and in step 560, the position of the person to be reframed by the center position by four rules . In step 570, the controller 100 reframes the position of the person determined by the two-division method into three types of display formats (landscape view type, portrait view type, and square view type) to generate an image. At this time, if the controller 100 has two persons and the keys of the two persons have the same size, it is possible to generate remoting images in which the face region is cropped in the images of the three display types in step 570. [ Accordingly, when two persons are images having the same size, the control unit 100 includes a total of six images composed of three reframing images reframed by the bisection method and three reframing images cropped by the two reframing images You can create a suggestion image.

두번째로 두 인물 중 좌측 인물이 더 크면(taller left person), 상기 제어부100은 540단계에서 이를 확인하고, 560단계에서 도 6a와 같은 2분할 방법(center position by four rules) 및 도 6c와 같은 3분할 방법(left position by 9 rules)에 의해 리프레이밍할 인물의 위치를 결정한다. 즉, 좌측 피사체가 더 큰 경우, 피사체가 좌측에 위치(left position)되어야 안정된 구도를 가질 수 있다. 세 번째로 두 인물 중 우측 인물이 더 크면(taller right person), 상기 제어부100은 540단계에서 이를 확인하고, 560단계에서 도 6a와 같은 2분할 방법(center position by four rules) 및 도 6b와 같은 3분할 방법(right position by 9 rules)에 의해 리프레이밍할 인물의 위치를 결정한다. 즉, 우측 피사체가 더 큰 경우, 피사체가 우측에 위치(right position)되어야 안정된 구도를 가질 수 있다. 이후 상기 제어부100은 570단계에서 상기 2분할 방법 및 3분할 방법에 의해 결정된 인물의 위치를 각각 3가지의 표시 형태(landscape view type, portrait view type, square view type)로 리프레이밍하여 이미지를 생성한다. 따라서 2인의 인물인 경우, 상기 제어부100은 2분할 방법에 의해 리프레이밍된 3개의 리프레임 이미지들과 3분할 방법에 의해 리프레이밍된 3개의 리프레임 이미지들로 구성된 총 6개의 이미지들로 이루어지는 추천 이미지(suggest image)를 생성할 수 있다.Secondly, if the left character is larger than the left character, the controller 100 confirms this in step 540. In step 560, the controller 100 determines the center position by four rules as shown in FIG. 6A, The position of the person to be reframed is determined by the left position by 9 rules. That is, when the left object is larger, the subject must be left-positioned to have a stable composition. Thirdly, if the right person is larger than the right person (taller right person), the controller 100 confirms this in step 540, and in step 560, the center position by four rules as shown in FIG. The position of the person to be reframed is determined by the right position by 9 rules. That is, when the right object is larger, the subject must be in the right position to have a stable composition. Then, in step 570, the controller 100 reframes the positions of the persons determined by the two-division method and the three-division method into three display forms (landscape view type, portrait view type, and square view type) . Accordingly, in the case of two persons, the control section 100 may include a recommendation section including a total of six images composed of three remote frame images reframed by the two-division method and three remote frame images reframed by the three- You can create an image (suggest image).

또한 상기 520 단계 및 530단계에서 얼굴영역(얼굴 및/또는 눈 등)을 인식 및 분석하여 3인으로 결정된 경우, 상기 제어부100은 540단계에서 인물들의 특징을 분석한다. 이때 상기 제어부100은 540단계에서 각 인물들의 얼굴영역을 추출하여 사각형 형태로 표시하고, 이들 각 인물(여기서는 두 인물)의 얼굴 영역(marked rectangle on detected face)들을 포함하는 하나의 사각형 형태(가상 rectangle)로 표시하여 하나의 인물(deal as one person)로 처리한다. 그리고 3인의 인물이 포함된 이미지인 경우, 상기 제어부100은 두 인물의 크기를 검사(find taller)한다. 이때 두 인물의 키가 동일한 크기를 가지면(when left and right persons have same tall) 540단계에서 이를 확인하고, 560단계에서 도 6a와 같은 2분할 방법(center position by four rules) 에 의해 리프레이밍할 인물의 위치를 결정한다. 이후 상기 제어부100은 570단계에서 상기 2분할 방법에 의해 결정된 인물의 위치를 3가지의 표시 형태(landscape view type, portrait view type, square view type)로 리프레이밍하여 이미지를 생성한다. 이때 상기 제어부100은 2인이며 두 인물의 키가 동일한 크기를 가지는 경우, 570단계에서 상기 3가지 표시 타입들의 이미지에서 얼굴 영역을 크롭한 리프레임 이미지들을 생성할 수 있다. 따라서 3인 이상이고 좌측 및 우측 인물의 키가 동일한 이미지인 경우, 상기 제어부100은 2분할 방법에 의해 리프레이밍된 3개의 리프레이밍 이미지들과 이를 크롭한 3개의 리프레이밍 이미지들로 구성된 총 6개의 이미지들로 이루어지는 추천 이미지(suggest image)를 생성할 수 있다. If it is determined in step 520 and step 530 that the face area (face and / or eyes, etc.) is recognized and analyzed to be three persons, the controller 100 analyzes the characteristics of the characters in step 540. At this time, the controller 100 extracts the face regions of the respective persons in step 540 and displays them in a rectangular form. In step 540, the controller 100 displays a rectangular shape (a rectangle) including the detected faces of the respective characters ) And treat them as one person (deal as one person). In the case of an image including three persons, the controller 100 finds the size of two persons. If the keys of the two persons have the same size (when left and right persons have same tall), it is confirmed in step 540, and in step 560, the person to be reframed by the center position by four rules As shown in FIG. In step 570, the controller 100 reframes the position of the person determined by the two-division method into three types of display formats (landscape view type, portrait view type, and square view type) to generate an image. At this time, if the controller 100 has two persons and the keys of the two persons have the same size, it is possible to generate remoting images in which the face region is cropped in the images of the three display types in step 570. [ Accordingly, when there are three or more persons and the keys of the left and right persons are the same image, the controller 100 displays three reframed images reframed by the two-division method and a total of six reframing images composed of three reframing images It is possible to generate a suggestion image composed of images.

두번째로 두 인물의 키가 다르면, 상기 제어부100은 540단계에서 이를 확인하고, 550단계에서 가운데 인물들의 위치가 어느 인물에 가까운지를 분석한다. 이때 가운데 인물이 좌측 인물에 더 가깝게 위치되어 있으면(closer to left person), 상기 제어부100은 560단계에서 도 6a와 같은 2분할 방법(center position by four rules) 및 도 6c와 같은 3분할 방법(left position by 9 rules)에 의해 리프레이밍할 인물의 위치를 결정한다. 즉, 좌측 피사체가 더 큰 경우, 피사체가 좌측에 위치(left position)되어야 안정된 구도를 가질 수 있다. 세 번째로 두 인물의 크기가 다르고 가운데 인물이 우측 인물에 더 가까이 위치되어 있으면(closer to right person), 상기 제어부100은 540단계 및 550단계에서 이를 확인하고, 560단계에서 도 6a와 같은 2분할 방법(center position by four rules) 및 도 6b와 같은 3분할 방법(left position by 9 rules)에 의해 리프레이밍할 인물의 위치를 결정한다. 즉, 우측 피사체가 더 큰 경우, 피사체가 우측에 위치(right position)되어야 안정된 구도를 가질 수 있다. 이후 상기 제어부100은 570단계에서 상기 2분할 방법 및 3분할 방법에 의해 결정된 인물의 위치를 각각 3가지의 표시 형태(landscape view type, portrait view type, square view type)로 리프레이밍하여 이미지를 생성한다. Secondly, if the keys of the two persons are different, the controller 100 confirms this in step 540 and analyzes to which person the positions of the middle persons are close in step 550. At this time, if the middle person is closer to the left person, the controller 100 determines the center position by four rules as shown in FIG. 6A and the 3-split method as shown in FIG. position by 9 rules) to determine the position of the person to be reframed. That is, when the left object is larger, the subject must be left-positioned to have a stable composition. Third, if the size of the two persons is different and the person is closer to the right person, the controller 100 confirms this in steps 540 and 550, and in step 560, The position of the person to be reframed is determined by the center position by four rules and the left position by 9 rules as shown in FIG. 6B. That is, when the right object is larger, the subject must be in the right position to have a stable composition. Then, in step 570, the controller 100 reframes the positions of the persons determined by the two-division method and the three-division method into three display forms (landscape view type, portrait view type, and square view type) .

상기한 바와 같이 제어부100은 3인 이상의 인물이 포함된 이미지인 경우, 두 인물의 크기가 다르면 가운데 인물의 위치에 따라 2분할 방법에 의해 리프레이밍된 3개의 리프레임 이미지들과 3분할 방법에 의해 리프레이밍된 3개의 리프레임 이미지들로 구성된 총 6개의 이미지들로 이루어지는 추천 이미지(suggest image)를 생성할 수 있다.As described above, in the case of an image including three or more persons, the control unit 100 may be configured such that, when the two persons are different in size, the three remote frame images reframed by the two-division method according to the position of the middle person, It is possible to generate a suggestion image consisting of a total of six images consisting of three reframed images.

그러나 상기 3인 이상의 경우, 상기 제어부100은 이미지에 포함된 좌측 및 우측 인물의 크기, 가운데 인물의 위치(즉, 가운데 인물이 좌측 인물 또는 우측 인물에 더 가까이 위치되었는가를 확인), 그리고 인물들의 시선 등을 종합하여 리프레임 이미지의 위치를 결정할 수도 있다. 예를들면 좌측 및 우측 인물의 키가 차이가 나며 가운데 인물이 좌측 및 우측 인물의 중간 위치에 위치된 경우, 상기 제어부100은 상기 2인의 리프레이밍 방법과 동일한 방법으로 상기 리프레임 이미지를 생성할 수 있다. 또한 3인 이상의 인물의 얼굴 방향을 분석하여 인물들(또는 설정된 수(예를들면 절반이 넘는 인물들)이 좌측 또는 우측으로 바라보고 있는 경우, 상기 1인의 리프레이밍 방법과 동일한 방법으로 리프레임 이미지를 생성할 수도 있다. However, in the case of the above three or more persons, the control unit 100 determines the size of the left and right characters included in the image, the position of the middle character (i.e., whether the middle character is positioned closer to the left character or the right character) The position of the remote frame image may be determined. For example, when the keys of the left and right characters are different and the middle character is located at the middle position of the left and right characters, the controller 100 can generate the remotest image in the same manner as the two reframing method have. In addition, when the faces of three or more persons are analyzed and the characters (or a set number (for example, more than half of the figures) are looking to the left or right, May be generated.

상기 도 5a 및 도 5b와 같이 카메라 장치에서 촬영된 이미지의 인물을 인식하여 리프레임 이미지를 생성할 때, 상기 제어부100은 1인, 2인 및 3인 이상으로 분류하여 리프레임 이미지를 생성한다. 도 7은 이미지에서 1인의 인물이 인식되었을 때 리프레임 이미지를 생성하는 절차를 도시하는 흐름도이며, 도 8a - 도 8c는 도 7과 같은 절차를 수행하면서 생성되는 리프레임 이미지의 예를 도시하는 도면이다. 그리고 도 9는 이미지에서 2인의 인물이 인식되었을 때 리프레임 이미지를 생성하는 절차를 도시하는 흐름도이며, 도 10a - 도 10b는 이미지에서 2인 이상이 인물이 검출되는 경우에 1인의 인물로 취급하기 위하여 인식 영역을 설정하는 예를 도시하는 도면이며, 도 11a - 도 11c는 도 9와 같은 절차를 수행하면서 생성되는 리프레임 이미지의 예를 도시하는 도면이다. 그리고 도 12는 이미지에서 3인 이상의 인물이 인식되었을 때 리프레임 이미지를 생성하는 절차를 도시하는 흐름도이며, 도 13a - 도 13c는 도 12와 같은 절차를 수행하면서 생성되는 리프레임 이미지의 예를 도시하는 도면이다. 또한 상기 도 8a - 도 8c, 도 11a - 도 11c 및 도 13a - 도 13c는 원 이미지(original image)가 세로 표시타입(portrait view type)으로 촬영된 예를 도시하고 있다. 그러나 원 이미지(original image)가 가로 표시타입(landscape view type)으로 촬영된 경우에도 동일한 방법으로 리프레임 이미지를 생성할 수 있다.As shown in FIGS. 5A and 5B, when a person in the image captured by the camera device is recognized to generate a remote image, the controller 100 classifies the image into one, two, and three or more persons to generate a remote image. FIG. 7 is a flowchart showing a procedure for generating a re-frame image when one person is recognized in the image, FIGS. 8A to 8C are views showing an example of a re-frame image generated while performing the procedure shown in FIG. 7 to be. 9A and 9B are flowcharts showing a procedure for generating a re-frame image when two persons are recognized in the image. FIGS. 10A to 10B are views for explaining a process of treating a person as a person when two or more persons are detected in the image FIGS. 11A to 11C are diagrams showing an example of a remote frame image generated by performing the procedure shown in FIG. 9. FIG. 12 is a flowchart showing a procedure for generating a re-frame image when three or more persons are recognized in the image, and Figs. 13A to 13C show an example of a re-frame image generated by performing the procedure shown in Fig. 12 FIG. 8A to 8C, 11A to 11C, and 13A to 13C illustrate an example in which an original image is photographed in a portrait view type. However, even when the original image is photographed in the landscape view type, a remotest image can be generated in the same manner.

먼저 상기 도 7 및 도 8a - 도 8c를 참조하면, 먼저 이미지에 포함된 얼굴 영역을 인식하여 1인의 인물로 판정된 경우, 상기 제어부100은 711단계에서 인식된 얼굴의 방향을 분석한다. 즉, 본 발명의 실시예에서 1인의 인물이 포함된 이미지이면, 상기 제어부100은 인물의 얼굴 방향을 확인하여 리프레임 이미지들을 생성한다. 이때 얼굴 방향을 분석하는 방법은 인식된 얼굴영역에서 눈, 코 및/또는 양볼의 면적을 비교하여 얼굴의 방향을 판정(analyze direction of face)할 수 있다. 즉, 상기 제어부100은 얼굴 인식시 눈, 코, 입 및/또는 볼 등의 형태 및/또는 면적 등을 분석하여 얼굴이 향하고 있는 방향을 인식할 수 있다. 이때 상기 제어부100은 얼굴 방향을 분석하여 도 8a의 810과 같이 인물의 얼굴이 정면을 향하고 있는 경우(straight view, front view), 도 8b의 840과 같이 인물의 얼굴이 우측을 향하고 있는 경우(right view), 도 8c의 870과 같이 인물의 얼굴이 좌측을 향하고 있는 경우(left view)로 분류(categorizing)할 수 있다. 일반적으로 사진 촬영시, 주 피사체가 위치된 방향(여기서 인인물이 바라보는 방향)에 따라 3분할 법칙을 적용하면 좋은 구도의 사진을 얻을 수 있다. 이때 사진속의 인물이 1인이면, 사진의 구도는 인물이 우측을 바라보고 있으면 사진의 우측에 여백을 두고 인물을 좌측에 위치시키는 것이 바람직하며, 인물이 좌측을 바라보고 있으면 사진의 좌측에 여백을 두고 인물을 우측에 위치시키는 것이 바람직하다.7 and 8A to 8C, if the face region included in the image is recognized and the face region is determined to be one person, the controller 100 analyzes the face direction recognized in Step 711. That is, in the embodiment of the present invention, if the image includes one person, the controller 100 confirms the face direction of the person to generate the re-frame images. At this time, the method of analyzing the face direction can compare the areas of the eyes, the nose, and / or the face of the recognized face region to analyze directions of the face. That is, the controller 100 can recognize the direction in which the face faces by analyzing the shape and / or area of the eyes, nose, mouth, and / or ball during face recognition. In this case, the controller 100 analyzes the face direction to determine whether the face of the person is right (straight view, front view) as shown in 810 of FIG. 8A (categorizing) the face of the person to the left (left view) as shown at 870 of FIG. 8C. Generally, when photographing, it is possible to obtain a picture of a good composition by applying the three-division rule according to the direction in which the main subject is located (here, the direction in which the person is looking). In this case, if the person in the picture is one person, it is preferable to position the person on the left side with the margin on the right side of the picture if the person is looking to the right side. If the person is looking to the left side, It is desirable to place the person on the right side.

이때 인물의 얼굴이 정면(front)을 향하고 있으며, 상기 제어부100은 713단계에서 이를 감지하고, 715단계에서 상기 도 6a와 같은 2분할 방법(center position by four rules)에 의해 도 8a의 821 - 825와 같이 3가지 표시 타입의 리프레임 이미지들을 생성한다. 여기서 상기 821은 가로 표시타입의 리프레임 이미지이며, 823은 세로 표시타입의 리프레임 이미지이고, 825는 square view type의 리프레임 이미지를 나타내고 있다. 상기 리프레임 이미지는 오리지널 이미지에서 인물의 위치를 대응되는 표시타입의 설정된 위치로 이동시킨 이미지이다. 이때 리프레임 이미지는 오리지널 이미지에서 인물의 위치에 따라 구도가 변경되므로 이미지 스케일링이 발생될 수 있다. 여기서 상기 이미지 스케일링은 리사이즈 및/또는 크럽핑 기법을 사용할 수 있다. 본 발명의 실시예에서 상기 리프레임 이미지는 오리지널 이미지를 크럽핑하는 것으로 가정하여 설명한다. 그러면 상기 제어부100은 715단계에서 각 표시 타입에 따라 810과 같은 오리지널 이미지를 도 6a와 같은 2분할 방법을 이용하여 구도를 변경하여 821 - 825와 같은 리프레임 이미지를 생성한다. 또한 상기 제어부100은 1인이며 얼굴 방향이 정면을 향하고 있는 경우, 717단계에서 상기 3가지 표시 타입들의 이미지에서 얼굴 영역을 크럽하여 831-835와 같은 3가지 표시타입의 리프레임 이미지들을 생성할 수 있다. 상기한 바와 같이 본 발명의 실시예에서 상기 제어부100은 1인이며 얼굴 방향이 정면을 보고 있는 경우, 2분할 방법 및 얼굴영역의 크럽핑 방법으로 3가지 표시 타입의 6개 리프레임 이미지들을 생성한다. 이때 상기 2분할 방법은 인물을 화면의 폭/길이로 각각 2등분하는 교차점에 위치시키며, 크럽핑 이미지들은 얼굴 영역이 해당 표시타입의 중앙에 위치되도록 크럽핑한다. 이런 경우, 인물의 크기(즉 얼굴의 크기)에 따라 리프레임되는 이미지의 사이즈(821 및 831, 823과 833, 825와 835)가 다르게 크럽핑된다. At this time, the face of the person faces the front, and the controller 100 senses the face in step 713. In step 715, the controller 100 determines 821 through 825 of FIG. 8A according to the center position by four rules shown in FIG. 6A. Frame images of three display types as shown in FIG. Here, the reference numeral 821 denotes a rectangle image of a horizontal display type, a reference numeral 823 denotes a rectangle-type rectangle image, and a reference numeral 825 denotes a rectangle-type rectangle image. The re-frame image is an image in which the position of a person in the original image is moved to a set position of the corresponding display type. At this time, the frame image may be scaled according to the position of the person in the original image. Wherein the image scaling may use a resize and / or a cuffing technique. In the embodiment of the present invention, the remoter image is assumed to crumble the original image. Then, in step 715, the controller 100 changes the composition of the original image such as 810 according to each display type using a two-division method as shown in FIG. 6A to generate a re-frame image such as 821 - 825. In a case where the controller 100 is one person and the face direction is directed to the front, in step 717, the face area is clipped from the images of the three display types to generate three types of frame images, such as 831-835 have. As described above, in the embodiment of the present invention, the controller 100 generates six frame images of three display types using a bisection method and a face area crouching method when the face direction is facing one person . In this case, the two-division method places the character at the intersection dividing the screen into two equal widths / lengths, and crufping images are crubped such that the face area is located at the center of the corresponding display type. In this case, the sizes (821 and 831, 823 and 833, 825 and 835) of the image being reframed according to the size of the person (i.e., the size of the face) are differently creped.

두번째로 인물의 얼굴이 우측(right)을 향하고 있으면, 상기 제어부100은 721단계에서 이를 확인하고, 723단계 및 725단계에서 각각 도 6a와 같은 2분할 방법(center position by four rules) 및 도 6c와 같은 3분할 방법(left position by 9 rules)에 따른 리프레임 이미지들을 생성한다. 일반적으로 사진에서 얼굴 방향이 우측을 향하고 있으면, 피사체가 좌측에 위치(left position)되어야 안정된 구도를 가질 수 있다. 즉, 상기 제어부100은 상기 2분할 방법 및 3분할 방법에 의해 결정된 인물의 위치를 3가지의 표시 형태(landscape view type, portrait view type, square view type)로 리프레이밍하여 각각 도 8b의 851 - 955 및 861 - 865와 같은 리프레임 이미지들을 생성한다. 따라서 1인의 인물의 얼굴방향이 우측을 보고 있는 이미지인 경우, 상기 제어부100은 2분할 방법에 의해 리프레이밍된 851 - 955와 같은 3개의 리프레임 이미지들과 3분할 방법에 의해 리프레이밍된 861 - 865와 같은 3개의 리프레임 이미지들로 구성된 총 6개의 이미지들로 이루어지는 추천 이미지(suggest image)를 생성할 수 있다.If the face of the person faces right, the controller 100 confirms this in step 721. In step 723 and step 725, the controller 100 determines the center position by four rules as shown in FIG. 6A and FIG. Frame images according to the same 3-way method (left position by 9 rules). Generally, if the direction of the face is right in the picture, the subject must be in the left position to have a stable composition. That is, the controller 100 reframes the position of the person determined by the two-division method and the three-division method into three display forms (landscape view type, portrait view type, and square view type) RTI ID = 0.0 > 861 - 865 < / RTI > Accordingly, when the face direction of one person is the image looking right, the control unit 100 displays three riframe images, such as 851 - 955 reframed by the two-division method, and 861- A suggestion image consisting of a total of six images consisting of three riframe images such as 865 can be generated.

이때 3분할 방법에 의해 리프레임 이미지를 생성하는 경우, 인물의 위치 이동에 따라 리프레임 이미지 861의 867 또는 865 이미지의 868과 같은 여백이 존재할 수 있다. 즉, 3분할 방법을 이용하여 오리지널 이미지를 리프레이밍하는 경우, 리프레임 이미지는 867 및 868과 같이 설정된 표시 타입의 크기를 다 채우지 못할 수 있다(즉, 표시부130에 이미지를 다 채우지 못할 수 있다.) 이런 경우, 상기 제어부100은 다음과 같은 방법으로 3분할 방법의 리프레임 이미지들을 생성할 수 있다. 첫 번째 방법은 리프레임 이미지에서 이미지가 없는 공백 영역(이미지 861의 경우 867 영역, 이미지 865의 경우 868 영역)을 제거한 리프레임 이미지를 제공할 수 있다. 두 번째 방법은 리프레임 이미지에서 이미지가 없는 공백 영역(이미지 861의 경우 867 영역, 이미지 865의 경우 868 영역)에 특정 이미지 또는 컬러를 삽입하는 리프레임 이미지를 제공할 수 있다. 세 번째 방법은 공백 영역을 가지는 표시타입의 리프레임 이미지는 3분할 법을 적용하지 않고 2분할 방법을 적용하여 제공할 수 있다. 네 번째 방법은 공백 영역을 가지는 표시타입의 리프레임 이미지는 생성하지 않을 수 있다.At this time, when the remote frame image is generated by the triple division method, there may be a margin such as 867 of the re-frame image 861 or 868 of the 865 image depending on the position of the person. That is, when the original image is reframed using the three-division method, the re-frame image may not fill the size of the display type set as 867 and 868 (i.e., the display unit 130 may not fill the image). ) In this case, the controller 100 can generate the frame images of the three-division method in the following manner. The first method can provide a remotable image in which a blank area (867 area for image 861, 868 area for image 865) is removed from the remotable image. The second method can provide a remotable image that inserts a specific image or color into a blank area (867 area for image 861, 868 area for image 865) with no image in the remotable image. In the third method, a display type of the remote frame image having a blank area can be provided by applying a two-division method without applying the three-division method. The fourth method may not generate a re-frame image of a display type having a blank area.

세 번째로 인물의 얼굴이 좌측(left)을 향하고 있으며, 상기 제어부100은 721단계에서 이를 확인하고, 731단계 및 733단계에서 각각 도 6a와 같은 2분할 방법(center position by four rules) 및 도 6b와 같은 3분할 방법(left position by 9 rules)에 의해 리프레임 이미지를 생성한다. 일반적으로 얼굴 방향이 좌측을 향하고 있으면, 피사체가 우측에 위치(right position)되어야 안정된 구도를 가질 수 있다. 이후 상기 제어부100은 570단계에서 상기 2분할 방법 및 3분할 방법에 의해 결정된 인물의 위치를 각각 3가지의 표시 형태(landscape view type, portrait view type, square view type)로 리프레이밍하여 각각 881 - 885 및 891 - 895와 같은 리프레임 이미지들을 생성한다. 따라서 1인의 인물의 얼굴방향이 좌측을 보고있는 이미지인 경우, 상기 제어부100은 2분할 방법에 의해 리프레이밍된 3개의 리프레임 이미지들과 3분할 방법에 의해 리프레이밍된 3개의 리프레임 이미지들로 구성된 총 6개의 이미지들로 이루어지는 추천 이미지(suggest image)를 생성할 수 있다. Third, the face of the person faces the left, and the controller 100 confirms this in step 721. In step 731 and step 733, the controller 100 determines the center position by four rules as shown in FIG. 6A and FIG. (Left position by 9 rules) as shown in FIG. Generally, if the face direction is toward the left, the subject should be in the right position to have a stable composition. In step 570, the controller 100 reframes the positions of the persons determined by the two-division method and the three-division method into three display formats (landscape view type, portrait view type, and square view type) And 891 - 895, respectively. Accordingly, when the face direction of one person is an image looking on the left side, the control unit 100 displays three remote frame images reframed by the two-division method and three remote frame images reframed by the three- It is possible to generate a suggestion image consisting of a total of six images.

이때 상기 3분할 방법에 의해 리프레임 이미지를 생성하는 경우, 리프레임 이미지891 및 895와 같이 이미지가 없는 공백영역897 및 898을 가지는 경우, 상기 제어부100은 상기한 바와 같이 다양한 방법으로 리프레임 이미지를 생성할 수 있다. In this case, when the remote frame image is generated by the above-described three-division method, the control unit 100 has blank areas 897 and 898 having no image such as the re-frame images 891 and 895, Can be generated.

상기한 바와 같이 오리지널 이미지에 포함된 인물이 1인 경우, 상기 제어부100은 오리지널 이미지를 대응되는 리프레임 이미지 생성방법(2분할방법 또는 3분할 방법)에 따라 크럽핑하여 리프레임이미지를 생성할 수 있다. 여기서 상기 리프레임 이미지를 생성하기 위한 크럽핑 방법을 살펴보면, 제어부100은 오리지널 이미지 내의 인물들의 얼굴을 인식한 후, 인식된 결과에 따라 2분할방법 및/또는 3분할 방법에 의해 인물의 배치 위치를 결정하고 각 방법의 표시 타입에 따른 리프레임 이미지들을 생성하여 표시한다. 이때 리프레임 이미지 생성시 분할 방법 및 표시 타입에 따라 화면비가 다르며, 상기 제어부100은 각 표시 타입의 화면비에 따라 크럽 마크(cropped mark)를 결정한다. 그리고 리프레임 이미지의 크롭 마크를 결정할 때, 제어부100은 마진 영역을 설정한다. 여기서 상기 마진 영역은 크롭시 인물의 얼굴영역을 완전하게 포함(즉, 얼굴 영역에 데미지가 발생되지 않도록 함)하게 한다. 여기서 상기 데미지는 리프레임 이미지에서 얼굴의 선 또는 영역이 프레임의 경계선(outline)에 걸쳐지는 것을 말한다. 이후 상기 제어부100은 크롭 마크 내의 이미지들을 크롭하여 리프레임 이미지를 생성하며, 생성된 리프레임 이미지를 표시부130에 추천 이미지로 표시한다.As described above, when the person included in the original image is 1, the control unit 100 can generate the re-frame image by crushing the original image according to the corresponding reclaim image generation method (2-division method or 3-division method) have. The control unit 100 recognizes the faces of the characters in the original image, and then determines the positions of the persons by the two-division method and / or the three-division method according to the recognition result And generates and displays remapping images according to the display type of each method. At this time, the aspect ratio is different according to the division method and the display type when the remote frame image is generated, and the controller 100 determines a cropped mark according to the aspect ratio of each display type. When determining the crop mark of the re-frame image, the control unit 100 sets the margin area. Here, the margin region completely includes the face region of the cropped person (i.e., prevents damage to the face region). Here, the damage refers to a line or an area of a face extending over the outline of the frame in the remoter image. Then, the control unit 100 crops the images in the crop mark to generate a remote frame image, and displays the generated remote frame image on the display unit 130 as a recommended image.

두 번째로 상기 도 9, 도 10a - 도 10b 및 도 11a - 도 11c를 참조하면, 오리지널 이미지에 포함된 얼굴 영역을 인식하여 2인의 인물로 판정되면, 제어부100은 911단계에서 인식된 인물들의 얼굴 영역들을 외접하는 영역을 설정한다. 도 10a 및 도 10b는 본 발명의 실시예에서 2인 이상의 인물이 사진속에 포함된 경우에 인물을 인식하는 방법을 설명하기 위한 도면이다. 도 10a 및 도 10b는 사진속에 3인이 포함된 경우의 예를 도시하고 있다.9, 10A to 10B, and 11A to 11C, if the face area included in the original image is recognized and determined to be two persons, the controller 100 displays the faces of the recognized persons in step 911 And sets an area that surrounds the areas. 10A and 10B are views for explaining a method of recognizing a person when two or more persons are included in a photograph in the embodiment of the present invention. 10A and 10B show an example in which three persons are included in the photograph.

상기 도 10a 및 도 10을 참조하면, 상기 제어부100은 오리지널 이미지가 2인 이상의 인물을 포함하고 있음을 감지하고, 각 인물들의 얼굴을 인식하여 얼굴영역을 추출한 후, 인식된 결과에 따라 표시부130에 도 10a와 같이 추출된 얼굴영역 1010- 1030들을 표시한다. 이후 상기 제어부100은 상기 추출된 각 얼굴영역 1010-1030들을 외접하는 가상의 사각형1050을 설정하고, 이를 도 10b와 같이 표시한다. 즉, 상기 제어부100은 2인 이상의 인물들이 포함된 이미지이면, 먼저 도 10a와 같이 각 개인의 얼굴영역을 추출하여 표시하고, 이후 도 10b와 같이 추출된 각 개인들의 얼굴영역들을 모두 포함하는 가상의 사각형 영역을 설정한다. 이는 2명 이상의 인물이 사진 속에 포함된 경우 인물들의 얼굴영역을 모두 포함하도록 가상의 영역을 설정한 후, 리프레임 이미지를 생성할 때 설정된 가상의 영역을 1인의 인물로 처리한다. 10A and 10, the controller 100 detects that the original image includes two or more persons, extracts a face region by recognizing the faces of the respective persons, and then displays the face region on the display unit 130 according to the recognized result The extracted face regions 1010 to 1030 are displayed as shown in FIG. 10A. Then, the control unit 100 sets a virtual rectangle 1050 that surrounds the extracted face regions 1010-1030, and displays the virtual rectangle 1050 as shown in FIG. 10B. That is, if the control unit 100 is an image including two or more persons, the face region of each individual is extracted and displayed as shown in FIG. 10A. Then, Set a rectangular area. In this case, if two or more persons are included in the photograph, a virtual area is set to include all the face areas of the characters, and then the virtual area set when the remote frame image is generated is treated as one person.

이후 상기 제어부100은 도 9의 913단계에서 인물들의 크기 및 얼굴이 향하고 있는 방향을 분석한다. 이때 두 인물의 크기가 도 11a의 1110과 같이 동일하면, 상기 제어부100은 915단계에서 이를 감지하고, 917단계에서 도 11a의 1121 - 1125와 같이 2분할 방법에 의해 결정된 인물의 위치를 각각 3가지 표시 타입으로 설정하여 상기 표시부130에 표시하며, 921단계에서 도 11a의 1131 - 1135와 같이 오리지널 이미지에서 얼굴 영역을 3가지 표시 타입으로 크롭하여 표시부130에 표시한다. Then, the controller 100 analyzes the size of the persons and the direction of the face in step 913 of FIG. If the size of the two persons is the same as 1110 in FIG. 11A, the controller 100 detects the same in step 915. In step 917, the positions of the persons determined by the 2-division method as 1121 - 1125 in FIG. A display type is set and displayed on the display unit 130. In step 921, the face area is cropped into three display types in the original image as shown in 1131 to 1135 in FIG. 11A, and displayed on the display unit 130.

그러나 두 인물의 키가 다르면, 상기 제어부1000은 915단계에서 이를 감지하고 931단계에서 어느 위치의 인물이 더 큰가를 검사한다. 이때 상기 오리지널 이미지가 도 11b 의 1140과 같이 우측 인물이 더 크면(taller right person), 상기 제어부100은 931단계에서 이를 확인하고, 933단계에서 도 11b의 1151 -1155와 같이 2분할 방법(center position by four rules)에 따른 3가지 표시 타입의 리프레임 이미지들을 생성하여 상기 표시부130에 표시하고, 935단계에서 3분할 방법(right position by 9 rules)에 의해 리프레이밍할 인물의 위치를 결정하여 표시부130에 표시한다. 이는 3분할 방법에 의해 오리지널 이미지를 리프레임하는 경우, 우측 피사체가 더 크면 피사체가 우측에 위치(right position)되어야 안정된 구도를 가질 수 있다. However, if the keys of the two persons are different, the controller 1000 detects this in step 915 and checks which position is larger in step 931. If the original image is taller right person as shown at 1140 in FIG. 11B, the controller 100 confirms it in step 931, and in step 933, the controller 100 determines a center position by four rules, and displays them on the display unit 130. In step 935, the position of the person to be reframed is determined by the right position by 9 rules, and the display unit 130 . When the original image is reframed by the three-division method, if the right-side subject is larger, the subject must be in the right position to have a stable composition.

그러나 도 11c 의 1170과 같이 두 인물 중 좌측 인물이 더 크면(taller left person), 상기 제어부100은 931단계에서 이를 확인하고, 941단계에서 도 11c 의 1181 - 1185와 같이 2분할 방법(center position by four rules)에 따라 리프레임 이미지들을 생성하여 표시부130에 표시하고, 도 11c의 1191 - 1195와 같이 3분할 방법(left position by 9 rules)에 의해 리프레이밍 이미지를 생성하여 표시부130에 표시한다. 즉, 도 11c의 1170과 같이 좌측 피사체가 더 크면, 피사체가 좌측에 위치(left position)되어야 안정된 구도를 가질 수 있다. 11C, the controller 100 confirms this in step 931, and in step 941, the controller 100 checks whether the center position (center position) four rules, and displays them on the display unit 130, and generates a reframing image by a 3-division method (left position by 9 rules) as shown in 1191 - 1195 in FIG. That is, if the left object is larger as indicated by reference numeral 1170 in FIG. 11C, the subject must be left-positioned to have a stable composition.

따라서 2인의 인물인 경우, 상기 제어부100은 2인의 인물 크기를 분석하고, 분석된 결과에 따라 2분할 방법 및/또는 또한 3분할 방법에 의해 인물의 위치를 결정하고, 이를 3가지 표시 타입에 따라 리프레이밍된 3개의 리프레임 이미지들을 생성하며, 이런 리프레임 이미지들을 추천 이미지(suggest image)로 표시할 수 있다. 이때 상기 리프레임 이미지를 생성할 때 인물의 위치는 상기 도 10b와 같이 각 개인들의 인물들의 얼굴 영역들을 외접하는 가상의 사각형을 1인의 인물로 취급한다. 즉, 2인 이상의 인물이 포함된 오리지널 이미지를 리프레이밍하는 경우, 상기 제어부100은 도 10b의 1050과 같이 설정된 영역을 1인의 인물로 취급하여 위치를 결정한다.Accordingly, in the case of two persons, the controller 100 analyzes the size of two persons, determines the position of the person by the two-division method and / or the three-division method according to the analyzed result, Generate three reframe images that are reframed, and display such reframe images as suggest images. At this time, the position of the person when the remotest image is generated is treated as a person who has a virtual rectangle circumscribing the face regions of the persons of the individuals as shown in FIG. 10B. That is, when the original image including two or more persons is reframed, the controller 100 treats the set area as 1050 in FIG. 10B as a person and determines the position.

세 번째로 상기 도 12, 도 10a - 도 10b 및 도 13a - 도 13c를 참조하면, 오리지널 이미지에 포함된 얼굴 영역을 인식하여 3인 이상의 인물로 판정되면, 제어부100은 1211단계에서 인식된 인물들의 얼굴 영역들을 외접하는 영역을 설정한다. 이때 인물의 위치를 결정하는 방법은 상기 도 10a 및 도 10b에 도시된 방법으로 처리할 수 있다. 이후 상기 제어부100은 1213단계에서 인물들의 크기, 위치 및/또는 방향등을 분석한다. 본 발명의 실시예에서는 인물들을 분석할 때, 먼저 오리지널 이미지의 좌측 및 우측 인물의 크기를 분석하고, 좌측 및 우측 인물의 크기가 다른 경우에는 가운데에 위치된 인물들의 위치를 분석하는 경우를 가정하여 설명하기로 한다. 12, 10A to 10B, and 13A to 13C, if the face region included in the original image is recognized and it is determined that there are three or more persons, the controller 100 determines whether the recognized persons And sets an area in which face areas are externally contacted. At this time, the method of determining the position of the person can be performed by the method shown in FIGS. 10A and 10B. In step 1213, the controller 100 analyzes the size, position, and / or direction of the characters. In the embodiment of the present invention, when the characters are analyzed, the sizes of the left and right characters of the original image are analyzed first, and when the sizes of the left and right characters are different, the positions of the characters located in the middle are analyzed I will explain.

이때 도 13a의 1310과 같이 좌측 및 우측 인물의 키가 동일한 크기를 가지면(when left and right persons have same tall), 상기 제어부100은 1215단계에서 이를 확인하고, 1217단계에서 2분할 방법(center position by four rules) 에 의해 리프레이밍할 인물의 위치를 결정한 후, 도 13a의 1321 - 1325와 같이 3가지 표시 타입의 리프레임 이미지들을 생성 및 표시한다. 그리고 상기 제어부100은 1219단계에서 설정된 가상의 얼굴 영역(도 10b의 1050과 같이 설정되는 영역)을 도 13a 의 1331-1335와 같이 3가지 표시 타입으로 크롭하여 리프레임 이미지를 생성 및 표시한다. If the keys of the left and right persons have the same size (1310 in FIG. 13A), the controller 100 confirms this in step 1215, and in step 1217, four rules to determine the position of the person to be reframed, and then generates and displays riframe images of the three display types 1321 to 1325 in FIG. 13A. Then, the control unit 100 generates and displays a re-frame image by cropping the virtual face region set in step 1219 (the area set as 1050 in FIG. 10B) into three display types as shown in 1331-1335 in FIG. 13A.

그러나 좌측 및 우측 인물들의 키가 다르면, 상기 제어부100은 1215단계에서 이를 확인하고, 1221단계에서 가운데 인물들의 위치가 어느 인물에 가까운지를 분석한다. 이때 좌측 및 우측 인물의 크기가 다르고, 가운데 인물이 우측 인물에 더 가까이 위치되어 있으면(closer to right person), 상기 제어부100은 1121단계에서 이를 확인하고, 1223단계에서 2분할 방법(center position by four rules) 및 3가지 표시타입에 따라 도13b의 1351 - 1355와 같이 인물의 위치를 결정하여 리프레임 이미지들을 생성하고, 생성된 리프레임이미지들을 표시부130에 표시한다. 또한 상기 제어부100은 1225단계에서 3분할 방법(right position by 9 rules)에 의해 리프레이밍할 인물의 위치를 결정한 후, 도 13b 의 1361 - 1365와 같은 리프레임 이미지들을 생성하여 표시한다. 이때 도 13b의 1363과 같은 리프레임 이미지는 인물의 일부가 표시되지 않게될 수 있으며, 이런 경우 리프레임 이미지로 표시하지 않고 삭제할 수 있다.However, if the keys of the left and right characters are different, the controller 100 confirms this in step 1215, and analyzes in step 1221 which character the positions of the middle characters are close to. At this time, if the size of the left and right characters is different and the middle person is closer to the right person, the controller 100 confirms this in step 1121, and in step 1223, the center position by four rules 1351 to 1355 of FIG. 13B according to the three types of display types, and generates the re-frame images and displays the generated re-frame images on the display unit 130. FIG. In step 1225, the controller 100 determines the position of a person to be reframed by a right position by 9 rules, and generates and displays frame images 1361 - 1365 shown in FIG. 13B. At this time, the re-frame image 1363 shown in FIG. 13B may not display a part of the person, and in this case, the re-frame image may be deleted without displaying it as a re-frame image.

또한 좌측 및 우측 인물의 크기가 다르고, 가운데 인물이 도 13c의 1370과 같기 좌측 인물에 더 가까이 위치되어 있으면(closer to left person), 상기 제어부100은 1221단계에서 이를 확인하고, 1241단계에서 2분할 방법(center position by four rules)에 따fms 3가지 표시타입에 따라 인물의 위치를 결정하여 도13c의 1381 - 1385와 같이 리프레임 이미지들을 생성하고, 생성된 리프레임이미지들을 표시부130에 표시한다. 또한 상기 제어부100은 1243단계에서 3분할 방법(left position by 9 rules)에 의해 리프레이밍할 인물의 위치를 결정한 후, 도 13c의 1391 - 1395와 같은 리프레임 이미지들을 생성하여 표시한다. 이때 도 13c의 1393과 같은 리프레임 이미지는 인물의 일부가 표시되지 않게될 수 있으며, 이런 경우 리프레임 이미지로 표시하지 않고 삭제할 수 있다.Also, if the size of the left and right characters is different and the middle character is closer to the left character than 1370 in FIG. 13C, the controller 100 confirms this in step 1221, and in step 1241, The position of the person is determined according to the three display types according to the center position by four rules, and then the remote frame images are generated as shown in 1381 to 1385 of FIG. 13C, and the generated remote frame images are displayed on the display unit 130. In step 1243, the controller 100 determines the positions of the persons to be reframed by the left position by 9 rules, and then generates and displays the frame images 1391 - 1395 shown in FIG. 13C. At this time, a re-frame image such as 1393 in Fig. 13C may not display a part of the person, and in such a case, the re-frame image can be deleted without displaying it as a re-frame image.

따라서 오리지널 이미지가 3인 인물을 포함하는 경우, 상기 제어부100은 인물의 크기, 위치 및/또는 방향을 분석하여 리프레임 이미지들을 생성한다. 이때 상기 제어부100은 좌측 및 우측 인물의 크기를 분석하여 동일 여부를 판단하고, 동일한 경우에는 2분할 방법에 따른 3가지 표시방법의 리프레임 이미지들을 생성한다. 또한 좌측 및 우측 인물의 크기가 다른 경우에는 가운데 인물의 위치에 따라 2분할 방법 및 3분할 방법으로 3가지 표시 타입의 리프레임 이미지들을 생성한다. 이때 가운데 인물의 위치를 고려하지 않고 좌측 및 우측 인물의 크기만을 고려하여 리프레임 이미지들을 생성할 수도 있다. 이런 경우 3인 이상의 인물의 포함된 오리지널 이미지인 경우에도 도 10과 같은 방법으로 리프레임 이미지들을 생성할 수 있다. 그리고 상기와 같이 생성되는 리프레임 이미지들을 추천 이미지(suggest image)로 표시할 수 있다. 이때 상기 리프레임 이미지를 생성할 때 인물의 위치는 상기 도 10b와 같이 각 개인들의 인물들의 얼굴 영역들을 외접하는 가상의 사각형을 1인의 인물로 취급한다. 즉, 2인 이상의 인물이 포함된 오리지널 이미지를 리프레이밍하는 경우, 상기 제어부100은 도 10b의 1050과 같이 설정된 영역을 1인의 인물로 취급하여 위치를 결정한다.Accordingly, when the original image includes three persons, the controller 100 analyzes the size, position, and / or direction of the person to generate the re-frame images. At this time, the controller 100 analyzes the sizes of the left and right figures to determine whether they are the same or not, and if they are the same, generates three frame images of three display methods according to the two-division method. Also, when the size of the left and right characters is different, three types of frame images are generated by the two-division method and the three-division method according to the position of the middle person. At this time, it is possible to generate the re-frame images considering only the size of the left and right persons without considering the position of the middle person. In this case, even in the case of an original image including three or more persons, it is possible to generate remoting images in the same manner as in Fig. The remoter images generated as described above may be displayed as a suggestion image. At this time, the position of the person when the remotest image is generated is treated as a person who has a virtual rectangle circumscribing the face regions of the persons of the individuals as shown in FIG. 10B. That is, when the original image including two or more persons is reframed, the controller 100 treats the set area as 1050 in FIG. 10B as a person and determines the position.

도 14는 본 발명의 실시예에 따른 휴대단말기의 구성을 도시하는 도면이다. 여기서 상기 휴대단말기는 스마트 폰을 포함하는 휴대전화기, MP3단말기, 타블렛, 컴퓨터, 카메라 장치 등의 다양한 디지털 기기들이 될 수 있다. 14 is a diagram illustrating a configuration of a portable terminal according to an embodiment of the present invention. Here, the portable terminal may be various digital devices such as a mobile phone including a smart phone, an MP3 terminal, a tablet, a computer, and a camera.

상기 도 14를 참조하면, 통신부170은 기지국 또는 인터넷 서버 등과 무선 통신 기능을 수행한다. 여기서 상기 통신부170은 송신신호의 주파수를 상승변환(frequency up converter) 및 전력 증폭하는 송신부와, 수신신호를 저잡음 증폭 및 주파수를 하강변환(frequency down converter)하는 수신부 등으로 구성될 수 있다. 또한 상기 통신부170은 변조부 및 복조부를 구비할 수 있다. 여기서 변조부는 송신신호를 변조하여 송신부에 전달하며, 복조부는 수신부를 통해 수신되는 신호를 복조한다. 이런 경우, 상기 변복조부는 LTE, WCDMA, GSM 등이 될 수 있으며, 또한 WIFI, WIBRO 등이 될 수 있고, NFC, Bluetooth 등이 될 수 있다. 본 발명의 실시예에서는 상기 통신부170이 LTE, WIFI, bluetooh 통신부들을 구비한다고 가정한다.Referring to FIG. 14, the communication unit 170 performs a wireless communication function with a base station, an Internet server, and the like. The communication unit 170 may include a transmitter for up-converting and frequency-amplifying a frequency of a transmission signal, and a receiver for performing low-noise amplification and frequency down-conversion on a reception signal. The communication unit 170 may include a modulation unit and a demodulation unit. The modulator modulates the transmission signal and transmits the modulated signal to the transmission unit, and the demodulation unit demodulates the signal received through the reception unit. In this case, the modulation and demodulation unit may be LTE, WCDMA, GSM, WIFI, WIBRO, NFC, Bluetooth, or the like. In the embodiment of the present invention, it is assumed that the communication unit 170 includes LTE, WIFI, and bluetooh communication units.

카메라120은 제어부100의 제어하에 구동되며, 피사체를 촬영한다. 여기서 상기 카메라120에서 촬영되는 이미지는 오리지널 이미자가 될 수 있다. 또한 상기 카메라120은 단말기 장치의 후면에 장착되어 고 해상도의 이미지를 촬영할 수 있는 후면 카메라와, 단말기 장치의 전면에 장착되어 후면카메라에 비해 상대적으로 낮은 저해상도 이미지를 촬영할 수 있는 전면카메라로 구성될 수도 있다. The camera 120 is driven under the control of the control unit 100 and photographs a subject. Here, the image photographed by the camera 120 may be an original image. Also, the camera 120 may include a rear camera mounted on the rear surface of the terminal device and capable of capturing an image of high resolution, and a front camera mounted on the front of the terminal device and capable of shooting a low- have.

제어부100은 휴대단말기의 전반적인 동작을 제어하며, 본 발명의 실시예에 따라 촬영된 오리지널 이미지 및 오리지널 이미지에 포함된 인물들의 특징을 분석하여 리프레임 이미지들을 생성하며, 오리지널 이미지와 생성된 리프레임 이미지들을 추천 이미지로 표시할 수 있다. The control unit 100 controls the overall operation of the portable terminal and analyzes the characteristics of the characters included in the original image and the original image photographed according to the embodiment of the present invention to generate the re-frame images. The original image and the generated re- Can be displayed as recommended images.

저장부110은 단말기의 동작 프로그램 및 본 발명의 실시예에 따른 프로그램을 저장하는 프로그램 메모리와, 단말기의 동작을 위한 테이블들 및 프로그램 수행 중에 발생되는 데이터를 저장하는 데이터 메모리를 구비할 수 있다.The storage unit 110 may include a program memory for storing an operation program of the terminal and a program according to an embodiment of the present invention, tables for operation of the terminal, and a data memory for storing data generated during program execution.

표시부130은 상기 제어부100의 제어하에 실행중인 어플리케이션의 정보를 표시한다. 상기 표시부130은 LCD 또는 OLED가 될 수 있다. 입력부140은 정정용량 방식 또는 저항막 방식으로 구현할 될 수 있으며, 사용자의 터치(이하 손가락 터치라고 가정한다)의 위치정보를 상기 제어부100에 출력한다. 또한 상기 입력부140은 EMR센서 패드를 더 구비할 수 있으며, 펜 터치입력을 감지하여 상기 제어부100에 출력한다. 여기서 상기 표시부130 및 입력부140은 일체형으로 구성할 수 있다. The display unit 130 displays information of an application being executed under the control of the controller 100. [ The display unit 130 may be an LCD or an OLED. The input unit 140 may be implemented by a correction capacitance method or a resistance film method, and outputs the position information of the user's touch (hereinafter referred to as a finger touch) to the controller 100. Further, the input unit 140 may further include an EMR sensor pad, and senses the pen touch input and outputs the pen touch input to the controller 100. The display unit 130 and the input unit 140 may be integrally formed.

오디오처리부150은 상기 제어부100의 제어하에 통신모드에서 발생되는 음성 신호를 처리하며, 또한 카메라 촬영모드에서 촬영에 따른 오디오 신호를 처리할 수 있다. 센서160은 휴대단말기의 움직임을 감지하기 위한 센서들을 구비한다. 여기서 상기 센서들은 가속도센서, 지자기센서 및/또는 위치감지 센서들로 구성될 수 있다. The audio processing unit 150 processes the audio signal generated in the communication mode under the control of the controller 100 and can process the audio signal according to the shooting in the camera shooting mode. The sensor 160 includes sensors for detecting movement of the portable terminal. The sensors may be comprised of an acceleration sensor, a geomagnetic sensor, and / or position sensing sensors.

상기와 같은 구성을 가지는 휴대단말기에서, 제어부100은 카메라120을 제어하여 정지 이미지 또는 동영상 이미지를 획득할 수 있다. 또한 상기 제어부100은 촬영되는 이미지를 리프레이밍하여 추천 이미지로 표시할 수 있다. 여기서 본 발명의 실시예에 따른 이미지 리프레이밍 방법은 오리지널 이미지에서 인물의 얼굴 영역을 추출하고, 추출된 인물들의 얼굴 특징을 분석하여 리프레이밍할 인물들을 배치하기 위한 위치를 결정하고, 또한 리프레이밍되는 이미지들을 3가지 표시 타입으로 생성하며, 오리지널 이미지와 생성된 리프레임 이미지들을 표시부130에 추천 이미지로 표시한다. 그리고 제어부100은 추천이미지들 중에서 선택된 이미지를 저장부110에 저장한다.In the portable terminal having the above-described configuration, the controller 100 can control the camera 120 to acquire a still image or a moving image. In addition, the controller 100 may reframe the image to be displayed and display the image as a recommended image. Here, the image reframing method according to an embodiment of the present invention extracts a face region of a person in an original image, analyzes the facial characteristics of the extracted characters, determines positions for arranging the persons to be reframed, Images are displayed in three display types, and the original image and the generated remote frame images are displayed on the display unit 130 as a recommended image. Then, the control unit 100 stores the selected image in the storage unit 110.

여기서 상기 리프레임 이미지의 인물 위치는 1인, 2인 또는 3인 이상으로 분류하여 결정할 수 있다. 그리고 2인 이상인 경우, 제어부100은 각 개인의 얼굴 영역들을 추출한 후, 추출된 얼굴영역들을 포함하는 가상의 영역을 설정하고, 이 가상 영역은 1인의 인물 영역으로 취급한다. Here, the character position of the remoter image may be classified into 1, 2, or 3 or more persons. In the case of two or more persons, the controller 100 extracts individual face regions, sets a virtual region including the extracted face regions, and treats the virtual region as one person region.

먼저 1인 경우, 제어부100은 오리지널 이미지의 인물의 얼굴이 향하는 방향을 분석하여 정면을 보고 있으면 2분할 방법으로 인물의 위치를 결정하며, 좌측 또는 우측을 바라보고 있으면 2분할 방법 및 3분할 방법으로 인물의 위치를 결정한다. 이때 2분할 방법은 화면의 폭/길이를 각각 2등분하고, 그 교차점(중심)에 인물을 위치시키는 방법이다. 그리고 3분할 방법은 화면의 폭/길이를 각각 3등분하고, 인물의 분석 결과(1인인 경우에는 인물이 보고 있는 방향)에 따라 인물을 좌측 또는 우측의 교차점(2개의 교차점) 위치에 인물을 배치시키는 방법이다. 이때 3분할 방법에 의해 인물의 위치를 결정할 때, 상기 제어부100은 인물이 우측을 보고 있으면 좌측 교차점 위치에 인물을 배치하고, 인물이 좌측을 보고 있으면 우측 교차점 위치에 인물을 배치한다. 그리고 상기와 같이 인물의 배치 위치를 결정한 후, 제어부100은 표시 타입(portrait view type, landscape view type, square view type) 별로 리프레임 이미지를 생성한다. First, in case of 1, the controller 100 analyzes the direction of the face of the person in the original image, and determines the position of the person by the two-division method when looking at the front face. If the face is looking left or right, Determine the position of the character. In this case, the 2-division method divides the width / length of the screen into two halves and positions the figure at the intersection (center). The three-way method divides the width / length of the screen into three equal parts and places the figure at the intersection of the left and right sides (two intersection points) according to the result of analysis of the character (in the case of one person, . At this time, when determining the position of the person by the three-division method, the controller 100 places the person at the left intersection when the person is looking to the right, and places the person at the right intersection when the person is looking to the left. After determining the arrangement position of the person as described above, the controller 100 generates a frame image according to the display type (landscape view type, landscape view type, and square view type).

두 번째로 2인 경우, 제어부100은 오리지널 이미지의 인물의 크기를 분석하여, 두 인물의 크기가 같으면 2분할 방법으로 인물의 위치를 결정하며, 좌측 또는 우측 인물의 키가 크면 2분할 방법 및 3분할 방법으로 인물의 위치를 결정한다. 이때 3분할 방법에 의해 인물의 위치를 결정할 때, 상기 제어부100은 좌측 인물의 키가 크면 좌측 교차점 위치에 인물을 배치하고, 우측 인물의 키가 크면 우측 교차점 위치에 인물을 배치한다. 여기서 인물은 상기한 바와 같이 2인의 얼굴영역을 하나의 영역으로 설정하고, 이렇게 설정된 영역을 1인으로 취급하여 위치를 결정한다. 그리고 상기와 같이 인물의 배치 위치를 결정한 후, 제어부100은 표시 타입(portrait view type, landscape view type, square view type) 별로 리프레임 이미지를 생성한다. In the second case, the controller 100 analyzes the size of the character of the original image. If the size of the two characters is the same, the position of the character is determined by the two-division method. If the key of the left or right character is large, The position of the character is determined by the division method. At this time, when determining the position of the person by the three-division method, the controller 100 arranges the person at the position of the left intersection when the key of the left person is large, and places the person at the position of the right intersection when the key of the right person is large. Here, the person sets the two face regions as one region as described above, and determines the position by treating the set region as one person. After determining the arrangement position of the person as described above, the controller 100 generates a frame image according to the display type (landscape view type, landscape view type, and square view type).

세 번째로 3인 이상인 경우, 상기 제어부100은 그룹샷으로 처리한다. 이런경우, 제어부100은 오리지널 이미지의 인물의 크기를 분석하여, 두 인물의 크기가 같으면 2분할 방법으로 인물의 위치를 결정한다. 그러나 두 인물의 크기가 다르면 가운데 위치된 사람(들)의 위치에 따라 2분할 방법 및 3분할 방법으로 인물의 위치를 결정한다. 이때 3분할 방법에 의해 인물의 위치를 결정할 때, 상기 제어부100은 가운데 인물이 좌측 인물에 더 가까이 위치되면 좌측 교차점 위치에 인물을 배치하고, 가운데 인물이 우측 인물에 더 가까이 위치되면 우측 교차점 위치에 인물을 배치한다. 여기서 인물은 상기한 바와 같이 2인의 얼굴영역을 하나의 영역으로 설정하고, 이렇게 설정된 영역을 1인으로 취급하여 위치를 결정한다. 또한 상기 제어부100은 3인 이상이며, 좌측 및 우측 인물의 키가 서로 다른 크기를 가지면, 키가 더 큰 인물을 중심으로 2분할 방법 및 3분할 방법에 의해 인물의 위치를 결정할 수 있다. 이런 경우에는 상기 2인인 경우의 인물 배치 방법과 동일한 방법으로 인물의 위치를 결정할 수 있다. 상기와 같이 인물의 배치 위치를 결정한 후, 제어부100은 표시 타입(portrait view type, landscape view type, square view type) 별로 리프레임 이미지를 생성한다. Thirdly, when there are three or more people, the control unit 100 processes the group shots. In this case, the controller 100 analyzes the size of the character of the original image, and if the sizes of the two characters are the same, the position of the character is determined by the two-division method. However, if the size of the two persons is different, the position of the character is determined by the two-division method and the three-division method depending on the position of the person (s) positioned in the middle. At this time, when determining the position of the person by the three-division method, the controller 100 arranges the person at the left intersection position when the middle person is located closer to the left person, and when the middle person is positioned closer to the right person, Place the person. Here, the person sets the two face regions as one region as described above, and determines the position by treating the set region as one person. If the keys of the left and right characters are different in size, the controller 100 can determine the position of the person by using the two-division method and the three-division method centering on a person having a larger key. In this case, the position of the person can be determined in the same manner as the person placement method for the above two persons. After determining the arrangement position of the character as described above, the controller 100 generates a frame image according to the display type (landscape view type, landscape view type, and square view type).

또한 상기 1인, 2인 또는 3인 이상의 인물에 대한 리프레임 이미지를 생성할 때, 상기 제어부100은 2분할 방법으로 리프레임이미지를 생성하는 경우에는 크롭 이미지를 생성하여 추천 이미지로 표시할 수 있다. Also, when generating a frame image for one, two, or three or more persons, the control unit 100 may generate a crop image and display it as a recommended image when generating a frame image by the two-division method .

상기와 같이 리프레임 이미지를 생성할 때, 상기 제어부100은 생성되는 리프레임 이미지를 오리지널 이미지와 함께 상기 표시부130에 표시하며, 리프레임 이미지 생성완료시 상기 제어부100은 상기 표시부130에 오리지널 이미지와 함께 다수의 리프레임 이미지들(여기서는 6개 이하)을 추천 이미지로 표시한다. 그리고 입력부140을 통해 사용자에 의해 특정 이미지가 선택되는 것을 감지하면, 상기 제어부100은 선택된 이미지를 저장부110에 저장한다. 이때 상기 선택은 하나 또는 그 이상의 복수 이미지들이 선택될 수 있다. 또한 상기 추천이미지가 선택되지 않으면, 상기 제어부100은 오리지널 이미지를 상기 저장부110에 저장할 수 있다. 또한 카메라 촬영시 상기 제어부100은 상기 카메라120에서 촬영되는 오리지널 이미지를 상기 저장부110에 저장할 수도 있다.
When generating the remote frame image, the controller 100 displays the generated remote frame image together with the original image on the display unit 130. Upon completion of the generation of the remote frame image, the controller 100 controls the display unit 130 to display the original image together with the original image And displays a plurality of retransfer images (here, six or less) as a recommended image. When the user selects a specific image through the input unit 140, the controller 100 stores the selected image in the storage unit 110. At this time, the selection may be that one or more images are selected. If the recommendation image is not selected, the control unit 100 may store the original image in the storage unit 110. Also, the controller 100 may store the original image photographed by the camera 120 in the storage unit 110 when photographing the camera.

본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.The embodiments of the present invention disclosed in the present specification and drawings are merely illustrative of specific embodiments of the present invention and are not intended to limit the scope of the present invention in order to facilitate understanding of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

Claims (20)

이미지 처리방법에 있어서,
카메라를 통해 이미지를 촬영하는 과정과,
상기 이미지에 포함된 피사체의 위치를 분석하여 리프레임할 피사체의 위치를 결정하는 위치 결정과정과,
상기 피사체의 위치를 결정한 후 표시타입에 따른 적어도 하나의 리프레임 이미지를 생성하여 추천이미지로 표시하는 추천이미지 표시과정과,
표시되는 추천이미지들 중에서 선택되는 이미지를 저장하는 과정으로 이루어짐을 특징으로 하는 방법.An image processing method comprising:
A process of shooting an image through a camera,
Determining a position of a subject to be reprambled by analyzing a position of the subject included in the image,
Determining a position of the subject, generating at least one frame image according to the display type and displaying the image as a recommended image,
And storing an image selected from among the recommended images to be displayed. 제1항에 있어서, 위치결정 과정은
상기 이미지에 포함된 인물의 얼굴을 인식하는 과정으로 이루어짐을 특징으로 하는 방법.2. The method of claim 1,
And recognizing a face of a person included in the image. 제2항에 있어서, 위치결정 과정은
인식된 인물이 1인이면 얼굴이 향하는 방향을 분석하는 과정과,
얼굴 방향이 정면이면 이미지의 중앙에 인물을 위치시키는 과정과,
얼굴 방향이 좌측을 보고 있으면 이미지의 우측에 인물을 위치시키는 과정과,
얼굴 방향이 우측을 보고 있으면 이미지의 좌측에 인물을 위치시키는 과정으로 이루어짐을 특징으로 하는 방법.3. The method of claim 2,
Analyzing a direction of the face when the recognized person is one person,
Positioning the person in the center of the image if the face direction is front,
Placing the person on the right side of the image when the face direction is looking to the left,
And locating a person on the left side of the image if the face direction is looking to the right side. 제2항에 있어서, 위치결정 과정은
인식된 인물이 2인이면 각 개인들의 얼굴영역들을 포함하는 가상 인물 영역을 설정하며, 각 개인의 키의 크기를 분석하는 과정과,
2인의 키의 크기가 동일하면 이미지의 중앙에 가상 인물영역을 위치시키는 과정과,
좌측 인물의 키가 크면 이미지의 좌측에 가상 인물영역을 위치시키는 과정과,
우측 인물의 키가 크면 이미지의 우측에 가상 인물영역을 위치시키는 과정으로 이루어짐을 특징으로 하는 방법.3. The method of claim 2,
Setting a virtual person area including face areas of each individual if the recognized person is two persons and analyzing the size of each person's key;
Placing a virtual person area at the center of the image if the two keys are the same size,
Placing a virtual person area on the left side of the image if the key of the left person is large,
And if the height of the right character is large, placing the virtual character area on the right side of the image. 제2항에 있어서, 위치결정 과정은
인식된 인물이 3인 이상이면 각 개인들의 얼굴영역들을 포함하는 가상 인물 영역을 설정하며, 각 개인의 키의 크기를 분석하는 과정과,
좌측 및 우측 인물의 키의 크기가 동일하면 이미지의 중앙에 가상 인물영역을 위치시키는 과정과,
좌측 및 우측인물의 키의 크기가 다르면 가운데 인물의 위치를 분석하는 과정과,
가운데 인물이 좌측 인물에 가까이 위치되면 이미지의 좌측에 가상 인물영역을 위치시키는 과정과,
가운데 인물이 우측 인물에 가까이 위치되면 이미지의 우측에 가상 인물영역을 위치시키는 과정으로 이루어짐을 특징으로 하는 방법.3. The method of claim 2,
Setting a virtual person area including face areas of each individual if the recognized person is three or more, analyzing a size of each individual key,
Placing a virtual person area at the center of the image if the keys of the left and right persons are the same size,
Analyzing the position of the middle person when the sizes of the keys of the left and right persons are different,
Placing a virtual person area on the left side of the image when the middle person is located close to the left person,
And locating a virtual person area on the right side of the image when the middle person is located close to the right person. 제2항에 있어서, 위치결정 과정은
인식된 인물이 3인 이상이면 각 개인들의 얼굴영역들을 포함하는 가상 인물 영역을 설정하며, 좌측 및 우측 인물의 키의 크기를 분석하는 과정과,
좌측 및 우측 인물의 키의 크기가 동일하면 이미지의 중앙에 가상 인물영역을 위치시키는 과정과,
좌측 인물의 키가 크면 이미지의 좌측에 가상 인물영역을 위치시키는 과정과,
우측 인물의 키가 크면 이미지의 우측에 가상 인물영역을 위치시키는 과정으로 이루어짐을 특징으로 하는 방법.3. The method of claim 2,
Setting a virtual person area including face areas of each individual if the recognized person is three or more, analyzing the size of the keys of the left and right persons,
Placing a virtual person area at the center of the image if the keys of the left and right persons are the same size,
Placing a virtual person area on the left side of the image if the key of the left person is large,
And if the height of the right character is large, placing the virtual character area on the right side of the image. 제2항에 있어서, 위치결정과정은
이미지에 포함된 얼굴영역을 인식하여 인물의 수를 결정하는 과정과,
상기 인물의 수가 1인이면 얼굴 방향을 분석하여 2분할 방법 및/또는 3분할 방법에 의해 인물의 위치를 결정하는 1인위치 결정과정과,
상기 인물의 수가 2인이면 두 인물의 키의 크기를 분석하여 2분할 방법 및/또는 3분할 방법에 의해 인물의 위치를 결정하는 2인위치 결정과정과,
상기 인물의 수가 3인 이상이면 두 인물의 키의 크기 및 가운데 인물의 위치를 분석하여 2분할 방법 및 3분할 방법에 의해 인물의 위치를 결정하는 그룹위치 결정과정을 포함하며,
상기 2분할 방법은 이미지의 폭 및 길이를 각각 2등분하여 교차점에 인물을 위치시키는 방법이고, 상기 3분할 방법은 이미지의 폭 및 길이를 각각 3등분하고 좌측 또는 우측의 2점의 교차점에 인물을 위치시키는 방법인 것을 특징으로 하는 방법.3. The method of claim 2,
Recognizing a face region included in an image and determining the number of persons;
A one-person value determining process of analyzing a face direction if the number of the persons is one and determining a position of a person by a two-division method and / or a three-
A two-person value determining process of analyzing a size of a key of two persons if the number of the persons is two and determining a position of a person by a two-division method and / or a three-
If the number of the characters is three or more, a position of a character is determined by analyzing a size of a key of two persons and a position of a middle person and determining a position of the character by a two-division method and a three-
In the two-division method, a person is placed at an intersection by dividing the width and the length of the image by two, respectively. In the three-division method, the width and length of the image are divided into three equal parts and the figure is divided at the intersection of two points on the left or right. ≪ / RTI > 제7항에 있어서,
상기 표시타입은 가로화면 표시타입, 세로화면 표시타입 및/또는 스퀘어화면 표시타입이며,
상기 추천이미지를 표시하는 과정은 표시타입에 따른 리프레임 이미지들을 생성하며, 상기 카메라에서 촬영된 오리지널 이미지 및 리프레임 이미지들을 오리지널 이미지에 오버레이하여 추천이미지로 표시하는 것을 특징으로 하는 방법.8. The method of claim 7,
The display type is a horizontal screen display type, a vertical screen display type and / or a square screen display type,
The method of claim 1, wherein the displaying of the recommendation image comprises generating a frame image according to the display type, and displaying the original image and the re-frame images photographed by the camera on the original image as a recommended image. 제8항에 있어서, 1인위치 결정 과정은
얼굴 방향이 정면이면 상기 2분할 방법에 인물의 위치를 결정하는 과정과,
얼굴 방향이 좌측을 보고 있으면 상기 2분할 방법에 의해 인물의 위치를 결정하고 상기 3분할 방법에 의해 이미지의 우측 교차점에 인물을 위치시키는 과정과,
얼굴 방향이 우측을 보고 있으면 상기 2분할 방법에 의해 인물의 위치를 결정하고 상기 3분할 방법에 의해 이미지의 좌측 교차점에 인물을 위치시키는 과정으로 이루어짐을 특징으로 하는 방법.9. The method of claim 8, wherein the one-
Determining a position of the person in the two-division method when the face direction is front,
Determining a position of a person by the bisection method when the face direction is looking to the left side and positioning a person at a right side intersection of the image by the triple division method,
Determining a position of a person by the bisection method when the face direction is looking to the right side, and locating a person at a left intersection point of the image by the triple division method. 제8항에 있어서, 2인위치 결정 과정은
2인의 키의 크기가 동일하면 상기 2분할 방법에 의해 이미지의 중앙에 인물 위치시키는 과정과,
좌측 인물의 키가 크면 상기 2분할 방법에 의해 이미지의 중앙에 인물 위치시키고 상기 3분할 방법에 의해 이미지의 좌측 교차점에 인물을 위치시키는 과정과,
우측 인물의 키가 크면 상기 2분할 방법에 의해 이미지의 중앙에 인물 위치시키고 상기 3분할 방법에 의해 이미지의 우측 교차점에 인물을 위치시키는 과정으로 이루어짐을 특징으로 하는 방법.9. The method of claim 8, wherein the two-
Placing a person in the center of the image by the two-division method when the two keys are the same size,
Placing a person at the center of the image by the two-division method if the key of the left character is large, and placing the character at the left-hand intersection of the image by the three-
And if the height of the right character is large, placing a person in the center of the image by the two-division method and positioning the character at the right intersection of the image by the three-division method. 제8항에 있어서, 그룹위치 결정 과정은
좌측 및 우측인물의 키의 크기가 동일하면 상기 2분할 방법에 의해 이미지의 중앙에 인물을 위치시키는 과정과,
좌측 및 우측 인물의 키의 크기가 다르고 가운데 인물이 좌측 인물에 가까이 위치되면 상기 2분할 방법에 의해 이미지의 중앙에 인물을 위치시키고 또한 3분할 방법에 의해 이미지의 좌측 교차점에 가상 인물영역을 위치시키는 과정과,
좌측 및 우측 인물의 키의 크기가 다르고 가운데 인물이 우측 인물에 가까이 위치되면 상기 2분할 방법에 의해 이미지의 중앙에 인물을 위치시키고 또한 3분할 방법에 의해 이미지의 우측 교차점에 인물 위치시키는 과정으로 이루어짐을 특징으로 하는 방법.9. The method of claim 8,
Placing a person at the center of the image by the two-division method if the keys of the left and right persons are the same size,
If the size of the keys of the left and right characters is different and the person is located close to the left character, the person is positioned at the center of the image by the two-division method and the virtual character area is positioned at the left intersection of the image by the three- Process,
If the size of the keys of the left and right characters is different and the person is located close to the right person, the person is positioned at the center of the image by the 2-division method and the person is positioned at the right intersection of the image by the 3-division method ≪ / RTI > 제1항에 있어서, 저장하는 과정은
상기 선택되는 이미지와 상기 카메라를 통해 촬영한 상기 이미지를 함께 저장하는 과정으로 이루어짐을 특징으로 하는 방법.The method of claim 1,
And storing the selected image and the image taken through the camera together. 이미지 처리장치에 있어서,
이미지를 촬영하는 카메라와,
선택된 이미지를 저장하는 저장부와,
촬영 이미지 및 추천이미지를 표시하는 표시부와,
상기 이미지에 포함된 피사체의 위치를 분석하여 리프레임할 피사체의 위치를 결정하고, 표시타입에 따른 적어도 하나의 리프레임 이미지를 생성하여 상기 표시부에 추천이미지로 표시하며, 선택되는 이미지를 상기 저장부에 저장하는 제어부로 구성된 것을 특징으로 하는 장치.An image processing apparatus comprising:
A camera for photographing an image,
A storage unit for storing the selected image,
A display unit for displaying a shot image and a recommended image,
Determining a position of a subject to be reprambled by analyzing the position of the subject included in the image, generating at least one re-frame image according to the display type and displaying the re-frame image as a recommended image on the display unit, And a control unit for storing the control signal. 제13항에 있어서,
상기 제어부는 상기 이미지에 포함된 인물의 얼굴 인식을 통해 상기 피사체의 위치를 결정하는 것을 특징으로 하는 장치.14. The method of claim 13,
Wherein the controller determines a position of the subject through face recognition of a person included in the image. 제14항에 있어서,
상기 제어부는 이미지에 포함된 얼굴영역을 인식하여 인물의 수를 결정하며, 상기 인물의 수가 1인이면 얼굴 방향을 분석하여 2분할 방법 및/또는 3분할 방법에 의해 인물의 위치를 결정하고, 상기 인물의 수가 2인이면 두 인물의 키의 크기를 분석하여 2분할 방법 및/또는 3분할 방법에 의해 인물의 위치를 결정하며, 상기 인물의 수가 3인 이상이면 두 인물의 키의 크기 및 가운데 인물의 위치를 분석하여 2분할 방법 및 3분할 방법에 의해 인물의 위치를 결정하며,
상기 2분할 방법은 이미지의 폭 및 길이를 각각 2등분하여 교차점에 인물을 위치시키며, 상기 3분할 방법은 이미지의 폭 및 길이를 각각 3등분하고 좌측 또는 우측의 2점의 교차점에 인물을 위치시키는 것을 특징으로 하는 장치.15. The method of claim 14,
Wherein the controller determines the number of persons by recognizing the face area included in the image, determines the position of the person by the 2-division method and / or the 3-division method by analyzing the face direction if the number of the persons is 1, If the number of the characters is two or more, the size of the keys of the two persons is analyzed and the position of the character is determined by the two-division method and / or the three-division method. The position of the character is determined by the two-division method and the three-division method,
The bisection method divides the width and length of the image into two equal parts to locate the person at the intersection. In the three-part method, the width and length of the image are divided into three equal parts and the figure is positioned at the intersection of two points on the left or right side Lt; / RTI > 제15항에 있어서,
상기 표시타입은 가로화면 표시타입, 세로화면 표시타입 및/또는 스퀘어화면 표시타입이며,
상기 제어부는 상기 표시타입에 따른 리프레임 이미지들을 생성하며, 상기 오리지널 이미지 및 생성된 리프레임 이미지들을 오리지널 이미지에 오버레이하여 추천이미지로 표시하는 것을 특징으로 하는 장치.16. The method of claim 15,
The display type is a horizontal screen display type, a vertical screen display type and / or a square screen display type,
Wherein the controller generates the remote frame images according to the display type, and displays the original image and the generated remote frame images on the original image as a recommended image. 제16항에 있어서,
상기 제어부는 인물의 수가 1인이면 얼굴 방향을 분석하며, 상기 얼굴 방향이 정면이면 상기 2분할 방법에 인물의 위치를 결정하고, 상기 얼굴 방향이 좌측을 보고 있으면 상기 2분할 방법에 의해 인물의 위치를 결정하고 상기 3분할 방법에 의해 이미지의 우측 교차점에 인물을 위치시키며, 상기 얼굴 방향이 우측을 보고 있으면 상기 2분할 방법에 의해 인물의 위치를 결정하고 상기 3분할 방법에 의해 이미지의 좌측 교차점에 인물을 위치시키는 것을 특징으로 하는 장치.17. The method of claim 16,
Wherein the controller analyzes the face direction if the number of persons is one and determines the position of the person in the two-division method if the face direction is front, and if the face direction is looking to the left, And determines the position of the person by the bisection method if the face direction is looking to the right side, and determines the position of the person at the left intersection point of the image by the 3-division method And the person is positioned. 제16항에 있어서,
상기 제어부는 상기 인물의 수가 2인이면 두 인물의 키의 크기를 분석하며, 2인의 키의 크기가 동일하면 상기 2분할 방법에 의해 이미지의 중앙에 인물 위치시키고, 좌측 인물의 키가 크면 상기 2분할 방법에 의해 이미지의 중앙에 인물 위치시키고 상기 3분할 방법에 의해 이미지의 좌측 교차점에 인물을 위치시키며, 우측 인물의 키가 크면 상기 2분할 방법에 의해 이미지의 중앙에 인물 위치시키고 상기 3분할 방법에 의해 이미지의 우측 교차점에 인물을 위치시키는 것을 특징으로 하는 장치.17. The method of claim 16,
The controller analyzes the size of the keys of the two persons if the number of the persons is two and positions the person at the center of the image by the two-division method if the two keys are the same size. If the key of the left person is large, A person is positioned at the center of the image by the dividing method, a person is positioned at the left intersection of the image by the triple dividing method, and if the height of the right person is large, To position the person at the right intersection of the image. 제16항에 있어서,
상기 제어부는 인물의 수가 3인 이상이면 인물의 크기의 크기 및 가운데 인물의 위치를 분석하며, 좌측 및 우측인물의 키의 크기가 동일하면 상기 2분할 방법에 의해 이미지의 중앙에 인물을 위치시키고, 좌측 및 우측 인물의 키의 크기가 다르고 가운데 인물이 좌측 인물에 가까이 위치되면 상기 2분할 방법에 의해 이미지의 중앙에 인물을 위치시키고 또한 3분할 방법에 의해 이미지의 좌측 교차점에 가상 인물영역을 위치시키며, 좌측 및 우측 인물의 키의 크기가 다르고 가운데 인물이 우측 인물에 가까이 위치되면 상기 2분할 방법에 의해 이미지의 중앙에 인물을 위치시키고 또한 3분할 방법에 의해 이미지의 우측 교차점에 인물 위치시키는 것을 특징으로 하는 장치.17. The method of claim 16,
The controller analyzes the size of the character and the position of the middle person if the number of the characters is three or more, and if the size of the keys of the left and right characters is the same, positions the character at the center of the image by the two- If the size of the keys of the left and right characters is different and the person is located close to the left character, the person is positioned at the center of the image by the two-division method and the virtual character area is positioned at the left intersection of the image by the three- , A character is positioned at the center of the image by the two-division method and the character is positioned at the right intersection of the image by the three-division method when the size of the keys of the left and right characters is different and the character is located close to the right character . 제13항에 있어서,
상기 제어부는 상기 선택되는 이미지와 상기 카메라를 통해 촬영한 상기 이미지를 함께 저장하는 것을 특징으로 하는 장치.14. The method of claim 13,
Wherein the control unit stores the selected image together with the image photographed through the camera.
KR1020130027597A 2013-03-14 2013-03-14 Apparatus and method for processing an image KR20140112919A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130027597A KR20140112919A (en) 2013-03-14 2013-03-14 Apparatus and method for processing an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130027597A KR20140112919A (en) 2013-03-14 2013-03-14 Apparatus and method for processing an image

Publications (1)

Publication Number Publication Date
KR20140112919A true KR20140112919A (en) 2014-09-24

Family

ID=51757619

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130027597A KR20140112919A (en) 2013-03-14 2013-03-14 Apparatus and method for processing an image

Country Status (1)

Country Link
KR (1) KR20140112919A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572830A (en) * 2014-12-09 2015-04-29 百度在线网络技术（北京）有限公司 Method and method for processing recommended shooting information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572830A (en) * 2014-12-09 2015-04-29 百度在线网络技术（北京）有限公司 Method and method for processing recommended shooting information

Similar Documents

Publication Publication Date Title
CN110100251B (en) Apparatus, method, and computer-readable storage medium for processing document
KR101999137B1 (en) Apparatus and method for processing an image in device having an camera
US10007841B2 (en) Human face recognition method, apparatus and terminal
CN109684980B (en) Automatic scoring method and device
CN109407936B (en) Screenshot method and related device
CN106295638A (en) Certificate image sloped correcting method and device
US9384405B2 (en) Extracting and correcting image data of an object from an image
CN108712603B (en) Image processing method and mobile terminal
CN106648424B (en) Screenshot method and device
KR101660576B1 (en) Facilitating image capture and image review by visually impaired users
RU2643464C2 (en) Method and apparatus for classification of images
CN111582085A (en) Document shooting image identification method and device
US20190155883A1 (en) Apparatus, method and computer program product for recovering editable slide
CN106815809B (en) Picture processing method and device
CN106056117A (en) Image processing method and device for rectangular object
CN105894042A (en) Method and apparatus for detecting whether document image is covered
CN109902687B (en) Image identification method and user terminal
WO2016188199A1 (en) Method and device for clipping pictures
KR20140112919A (en) Apparatus and method for processing an image
JPWO2015163118A1 (en) Character identification device and control program
KR102372711B1 (en) Image photographing apparatus and control method thereof
KR101389775B1 (en) Apparatus and method for displaying image at liquid crystal display in wireless communication terminal
KR101720607B1 (en) Image photographing apparuatus and operating method thereof
JP2005055973A (en) Personal digital assistant
KR101324809B1 (en) Mobile terminal and controlling method thereof

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid