KR102479860B1 - Photography method using augmented reality - Google Patents

Photography method using augmented reality Download PDF

Info

Publication number
KR102479860B1
KR102479860B1 KR1020200111532A KR20200111532A KR102479860B1 KR 102479860 B1 KR102479860 B1 KR 102479860B1 KR 1020200111532 A KR1020200111532 A KR 1020200111532A KR 20200111532 A KR20200111532 A KR 20200111532A KR 102479860 B1 KR102479860 B1 KR 102479860B1
Authority
KR
South Korea
Prior art keywords
pose
user
augmented reality
taking
camera
Prior art date
Application number
KR1020200111532A
Other languages
Korean (ko)
Other versions
KR20220029945A (en
Inventor
김덕수
노기현
윤승현
이승기
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020200111532A priority Critical patent/KR102479860B1/en
Publication of KR20220029945A publication Critical patent/KR20220029945A/en
Application granted granted Critical
Publication of KR102479860B1 publication Critical patent/KR102479860B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H04N5/23222
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0264Details of the structure or mounting of specific components for a camera module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H04N5/23219
    • H04N5/23245
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Abstract

제안기술은 증강현실을 이용한 사진 촬영방법에 관한 것으로, 더욱 상세하게는 애플리케이션을 이용하여 혼자서 사진을 촬영하는 사용자에게 포즈의 종류 및 촬영 위치를 가이드하기 위한 증강현실을 이용한 사진 촬영방법에 관한 발명이다.The proposed technology relates to a method for taking pictures using augmented reality, and more particularly, to a method for taking pictures using augmented reality for guiding a type of pose and a shooting location to a user who takes pictures alone using an application. .

Description

증강현실을 이용한 사진 촬영방법{Photography method using augmented reality}Photography method using augmented reality}

제안기술은 증강현실을 이용한 사진 촬영방법에 관한 것으로, 더욱 상세하게는 애플리케이션을 이용하여 혼자서 사진을 촬영하는 사용자에게 포즈의 종류 및 촬영 위치를 가이드하기 위한 증강현실을 이용한 사진 촬영방법에 관한 발명이다.The proposed technology relates to a method for taking pictures using augmented reality, and more particularly, to a method for taking pictures using augmented reality for guiding a type of pose and a shooting location to a user who takes pictures alone using an application. .

일반적으로 스마트폰의 애플리케이션을 이용한 사진 촬영은 피사체의 구도 및 포즈 등 사용자가 원하는 요소를 결정한 후 촬영 버튼을 누르는 간단한 과정에 의해 진행된다.In general, photographing using a smartphone application is performed by a simple process of pressing a photographing button after determining elements desired by a user, such as a composition and pose of a subject.

그러나 사용자가 혼자서 스마트폰의 후면 카메라를 이용하여 사진 촬영을 하는 경우 또는 타인에게 자신이 배경과 함께 촬영되도록 부탁하는 경우, 사용자가 생각한 배경 구도 및 인물 배치에 대한 정보를 촬영자에게 정확히 전달해줄 수 없어 사용자가 생각한 배경 구도 및 인물 배치가 제대로 이루어지지 않는 문제가 있었다.However, when a user takes a picture using the rear camera of a smartphone by himself or asks someone else to take a picture with the background, the user cannot accurately convey information about the composition of the background and the arrangement of people to the photographer. There was a problem that the background composition and character arrangement that the user thought did not work properly.

한국등록특허 제10-2078270호Korean Patent Registration No. 10-2078270

본 발명은 상기와 같은 문제를 해결하기 위해 발명된 것으로서, 카메라 애플리케이션 화면상에 증강현실을 이용한 인체모형의 캐릭터를 배치함으로써 스마트폰의 후면 카메라를 이용하여 셀프 카메라를 촬영하는 사용자에게 배경 구도, 인물 배치, 포즈의 종류 및 촬영 위치 등을 가이드할 수 있도록 하는데 목적이 있다.The present invention was invented to solve the above problems, and by arranging a human body model character using augmented reality on the camera application screen, the background composition, portrait Its purpose is to guide arrangement, type of pose, and shooting location.

상기와 같은 목적을 달성하기 위한 본 발명의 증강현실을 이용한 사진 촬영방법에 있어서,In the method for taking pictures using augmented reality of the present invention for achieving the above object,

포즈 생성 모드와 포즈 선택 모드 중 어느 하나의 모드를 선택하는 단계를 포함하며,Selecting one of a pose generation mode and a pose selection mode,

포즈 선택 모드 선택 시, When selecting the pose selection mode,

기 저장된 포즈 중 어느 하나의 포즈가 선택되는 단계;Selecting any one of the pre-stored poses;

스마트폰의 후면 카메라를 이용한 촬영이 시작되는 단계;The step of starting shooting using the rear camera of the smartphone;

스마트폰의 화면에 포즈의 AR(augmented reality) 오브젝트(object)가 생성되는 단계;Creating an augmented reality (AR) object of the pose on the screen of the smartphone;

사용자의 화면 터치 또는 사용자로부터 입력되는 수치에 따라 상기 스마트폰의 화면에 출력된 상기 AR 오브젝트의 크기 및 위치가 조절되는 단계;Adjusting the size and position of the AR object displayed on the screen of the smart phone according to a user's screen touch or a numerical value input from the user;

스마트폰의 후면으로 사용자가 이동하는 단계;Moving the user to the back of the smartphone;

사용자의 포즈를 인식하는 제1단계;A first step of recognizing a user's pose;

후면 카메라를 이용한 사진 촬영이 진행되는 단계;를 포함하는 것을 특징으로 한다.It is characterized by including; taking a picture using a rear camera.

사용자의 포즈를 인식하는 제1단계에서는, In the first step of recognizing the user's pose,

사용자의 포즈와 AR 오브젝트의 크기, 위치 및 형상의 유사도를 계산하는 것을 특징으로 한다.It is characterized by calculating the similarity between the user's pose and the size, position, and shape of the AR object.

사용자의 포즈를 인식하는 제1단계에서 유사도가 일정 값 이상이면, In the first step of recognizing the user's pose, if the degree of similarity is greater than a certain value,

사용자에게 사용자의 포즈가 AR 오브젝트와 동일함을 알리는 알림이 작동하는 단계가 진행되는 것을 특징으로 한다.It is characterized in that a step in which a notification informing the user that the user's pose is identical to that of the AR object is operated.

사용자에게 사용자의 포즈가 AR 오브젝트와 동일함을 알리는 알림이 작동하는 단계에서, At the stage where a notification notifies the user that the user's pose is the same as the AR object,

알림은 후면 카메라의 플래시(flash)가 깜빡거리는 동작인 것을 특징으로 한다.The notification is characterized in that the flash of the rear camera blinks.

후면 카메라를 이용한 촬영이 진행되는 단계는, The steps to take a picture using the rear camera are:

사용자에게 사용자의 포즈가 AR 오브젝트와 동일함을 알리는 알림이 작동하는 단계로부터 일정 시간 경과 후 진행되는 것을 특징으로 한다.It is characterized in that it proceeds after a lapse of a certain time from the step in which a notification informing the user that the user's pose is the same as that of the AR object is operated.

AR 오브젝트는 사람 형태의 윤곽선으로 표시되는 것을 특징으로 한다.The AR object is characterized in that it is displayed as a human-shaped outline.

포즈 생성 모드와 포즈 선택 모드 중 어느 하나의 모드를 선택하는 단계에서 포즈 생성 모드 선택 시, When selecting the pose creation mode in the step of selecting any one of the pose creation mode and the pose selection mode,

스마트폰의 전면 카메라 또는 후면 카메라를 이용한 촬영이 시작되는 단계;Starting shooting using the front camera or rear camera of the smartphone;

사용자가 전면 카메라와 후면 카메라 중 선택된 카메라 앞에서 원하는 포즈를 취하는 단계;taking a desired pose in front of a camera selected from among a front camera and a rear camera;

사용자의 포즈를 인식하는 제2단계;A second step of recognizing a user's pose;

사용자의 포즈가 윤곽선 형태로 포즈 목록에 저장되는 단계;를 포함하는 것을 특징으로 한다.It is characterized by including; the step of storing the user's pose in the form of an outline in a pose list.

사용자가 전면 카메라와 후면 카메라 중 선택된 카메라 앞에서 원하는 포즈를 취하는 단계는 일정 시간 지속되는 것을 특징으로 한다.The step in which the user takes a desired pose in front of a camera selected from among the front camera and the rear camera may last for a certain period of time.

사용자의 포즈를 인식하는 제2단계에서 사용자의 포즈는 사용자의 크기와 형상인 것을 특징으로 한다.In the second step of recognizing the user's pose, the user's pose is the size and shape of the user.

기 저장된 포즈 중 어느 하나의 포즈가 선택되는 단계에서 선택되는 기 저장된 포즈는 사용자의 포즈가 윤곽선 형태로 포즈 목록에 저장되는 단계에서 저장된 사용자의 포즈인 것을 특징으로 한다.The pre-stored pose selected in the step of selecting any one of the pre-stored poses is the user's pose stored in the step of saving the user's pose in the form of an outline in the pose list.

본 발명에 따르면, 카메라 애플리케이션 화면상에 증강현실을 이용한 인체모형의 캐릭터를 배치함으로써 스마트폰의 후면 카메라를 이용하여 셀프 카메라를 촬영하는 사용자에게 배경 구도, 인물 배치, 포즈의 종류 및 촬영 위치 등을 가이드할 수 있는 효과가 있다.According to the present invention, by arranging a human body model character using augmented reality on the camera application screen, a user taking a self-portrait using a rear camera of a smartphone can be provided with a background composition, character arrangement, pose type, and shooting location. It has a guiding effect.

도 1은 본 발명에 따른 사진 촬영 순서도.
도 2는 본 발명에 따른 포즈 선택 모드 시 기 저장된 포즈의 개념도.
도 3은 본 발명에 따른 포즈 선택 모드 시 AR(augmented reality) 오브젝트(object) 생성 개념도.
도 4는 본 발명에 따른 사용자의 포즈를 인식하는 단계에서의 바디 트래킹(Body Tracking) 개념도.
도 5는 본 발명에 따른 포즈 생성 모드 시 포즈 생성 개념도.
도 6은 본 발명에 따른 포즈 생성 모드 시 포즈 저장 개념도.
1 is a picture taking flow chart according to the present invention.
2 is a conceptual diagram of a pre-stored pose in a pose selection mode according to the present invention;
3 is a conceptual diagram of creating an augmented reality (AR) object in a pose selection mode according to the present invention.
4 is a conceptual diagram of body tracking in the step of recognizing a user's pose according to the present invention.
5 is a conceptual diagram of pose generation in a pose generation mode according to the present invention.
6 is a conceptual view of saving a pose in a pose generation mode according to the present invention.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용되는 용어는 단지 특정한 실시 예들을 설명하기 위한 것으로, 본 발명을 한정하려는 의도가 아니다.The features and effects of the present invention described above will become more apparent through the following detailed description in conjunction with the accompanying drawings, and accordingly, those skilled in the art to which the present invention belongs can easily practice the technical idea of the present invention. You will be able to. Since the present invention can have various changes and various forms, specific embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to a specific disclosure, and should be understood to include all modifications, equivalents, or substitutes included in the spirit and technical scope of the present invention. Terms used in this application are only for describing specific embodiments, and are not intended to limit the present invention.

이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명은 증강현실을 이용한 사진 촬영방법에 관한 것으로, 더욱 상세하게는 애플리케이션을 이용하여 혼자서 사진을 촬영하는 사용자에게 포즈의 종류 및 촬영 위치를 가이드하기 위한 증강현실을 이용한 사진 촬영방법에 관한 발명이다.The present invention relates to a method for taking a photo using augmented reality, and more particularly, to a method for taking a photo using augmented reality for guiding a type of pose and a location for taking a photo to a user who takes a photo alone using an application. .

도 1에는 본 발명에 따른 사진 촬영 순서도가 도시되어 있다.1 shows a flow chart for taking pictures according to the present invention.

본 발명에 따른 스마트폰의 카메라 애플리케이션을 이용한 사진 촬영 방법은 포즈 생성 모드와 포즈 선택 모드 중 어느 하나의 모드를 선택하는 단계를 포함한다.A method for taking a picture using a camera application of a smart phone according to the present invention includes selecting one of a pose generation mode and a pose selection mode.

도 2에는 본 발명에 따른 포즈 선택 모드 시 기 저장된 포즈의 개념도가 도시되어 있고, 도 3에는 본 발명에 따른 포즈 선택 모드 시 AR(augmented reality) 오브젝트(object) 생성 개념도가 도시되어 있다.2 shows a conceptual diagram of a pre-stored pose in the pose selection mode according to the present invention, and FIG. 3 shows a conceptual diagram of augmented reality (AR) object generation in the pose selection mode according to the present invention.

상기 포즈 생성 모드와 포즈 선택 모드 중 어느 하나의 모드를 선택하는 단계에서 상기 포즈 선택 모드 선택 시, When selecting the pose selection mode in the step of selecting any one of the pose generation mode and the pose selection mode,

기 저장된 포즈 중 어느 하나의 포즈가 선택되는 단계;Selecting any one of the pre-stored poses;

상기 스마트폰의 후면 카메라를 이용한 촬영이 시작되는 단계;Starting shooting using the rear camera of the smartphone;

상기 스마트폰의 화면에 상기 포즈의 AR(augmented reality) 오브젝트(object)(2)가 생성되는 단계;Generating an augmented reality (AR) object (2) of the pose on the screen of the smartphone;

상기 AR 오브젝트(2)의 크기 및 위치를 조절하는 단계;adjusting the size and position of the AR object 2;

상기 스마트폰의 후면으로 사용자가 이동하는 단계;Moving a user to the back of the smart phone;

상기 사용자의 포즈를 인식하는 제1단계;A first step of recognizing the pose of the user;

상기 후면 카메라를 이용한 사진 촬영이 진행되는 단계;가 차례로 진행된다.Taking pictures using the rear camera is performed in sequence.

먼저, 상기 카메라 애플리케이션을 이용하는 상기 사용자가 상기 포즈 생성 모드와 포즈 선택 모드 중 어느 하나의 모드를 선택하는 단계에서 상기 포즈 선택 모드 선택 시, 상기 스마트폰의 화면에는 기 저장된 복수 개의 포즈들이 나타나게 된다.First, when the user using the camera application selects the pose selection mode in the step of selecting any one of the pose creation mode and the pose selection mode, a plurality of pre-stored poses appear on the screen of the smartphone.

상기 포즈는 사람 형상의 윤곽선 또는 사람의 골격 형상 등 상기 포즈의 형상을 표시할 수 있는 어떠한 형태로도 표시될 수 있다.The pose may be displayed in any form capable of displaying the shape of the pose, such as a human outline or a human skeleton.

상기 사용자는 상기 포즈들 중 원하는 어느 하나의 포즈를 선택하게 된다.The user selects any one desired pose among the poses.

상기 사용자가 포즈 선택을 완료하면 상기 스마트폰의 후면 카메라를 이용한 촬영이 시작된다. When the user completes the pose selection, photographing using the rear camera of the smartphone starts.

상기 스마트폰의 화면에 상기 후면 카메라로 촬영되는 화면이 보이게 되면, 상기 스마트폰의 화면 상에는 상기 사용자가 선택한 상기 포즈 형상의 AR(augmented reality) 오브젝트(object)(2)가 생성된다.When the screen captured by the rear camera is visible on the screen of the smart phone, an augmented reality (AR) object 2 having the pose shape selected by the user is created on the screen of the smart phone.

즉, 상기 후면 카메라로 촬영되는 화면을 배경으로 하여 상기 포즈 형상의 AR 오브젝트(2)가 생성된다.That is, the pose-shaped AR object 2 is created with the screen photographed by the rear camera as a background.

상기 AR 오브젝트(2)는 유니티 3D(Unity 3D)를 이용하여 생성될 수 있다.The AR object 2 may be created using Unity 3D.

상기 사용자는 상기 후면 카메라로 촬영되는 배경에 대해 상기 AR 오브젝트(2)의 크기 및 위치를 원하는 대로 조절하게 된다.The user adjusts the size and position of the AR object 2 as desired with respect to the background photographed by the rear camera.

이때, 상기 AR 오브젝트(2)의 크기 및 위치 조절은 상기 사용자가 상기 스마트폰의 화면을 손으로 터치하여 조절하거나 수치를 입력하는 것으로 적용될 수 있으며, 이 이외에 상기 AR 오브젝트(2)의 크기 및 위치를 조절할 수 있는 방법이라면 어느 것이라도 가능하다.At this time, the size and position of the AR object 2 can be adjusted by the user touching the screen of the smartphone with his/her hand or inputting a numerical value. In addition, the size and position of the AR object 2 can be adjusted. Any way that can control is possible.

이후, 상기 사용자는 상기 스마트폰의 후면으로 이동하게 된다. 이때, 상기 스마트폰은 삼각대 등을 이용하여 위치를 고정시킬 수 있다. After that, the user moves to the back of the smart phone. At this time, the smartphone may be fixed in position using a tripod or the like.

상기 사용자는 상기 배경에 대해 상기 AR 오브젝트(2)와 동일한 형상, 크기 및 위치를 갖도록 상기 스마트폰에 대한 위치를 조절하게 된다. The user adjusts the position of the smartphone to have the same shape, size and position as the AR object 2 with respect to the background.

상기 사용자의 위치 조절 시, 상기 애플리케이션은 상기 사용자의 포즈를 인식하는 제1단계를 진행하게 된다.When the user's position is adjusted, the application proceeds to the first step of recognizing the user's pose.

도 4에는 본 발명에 따른 사용자의 포즈를 인식하는 단계에서의 바디 트래킹(Body Tracking) 개념도가 도시되어 있다.4 is a conceptual diagram of body tracking in the step of recognizing a user's pose according to the present invention.

상기 사용자의 포즈를 인식하는 제1단계에서는 바디 트래킹(body tracking)을 이용하여 상기 사용자의 포즈를 인식하게 된다.In the first step of recognizing the user's pose, the user's pose is recognized using body tracking.

상기 사용자의 포즈를 인식하는 제1단계에서는 상기 사용자의 포즈와 상기 AR 오브젝트(2)의 크기, 위치 및 형상의 유사도를 계산하게 된다.In the first step of recognizing the user's pose, the similarity between the user's pose and the size, position, and shape of the AR object 2 is calculated.

보다 자세히 설명하면, ARkit3을 이용하여 상기 사용자를 인식한 후, 상기 바디 트래킹을 통해 상기 사용자의 포즈 변화를 인식하게 되고, 인식된 상기 사용자의 포즈를 유니티 3D(Unity 3D)를 이용하여 실시간으로 상기 사용자의 포즈 변화를 반영하는 윤곽선 형태의 AR(4)을 상기 스마트폰의 화면상에 촬영되는 상기 사용자의 몸에 생성하게 된다. More specifically, after recognizing the user using ARkit3, the user's pose change is recognized through the body tracking, and the recognized user's pose is recognized in real time using Unity 3D. An AR 4 in the form of an outline reflecting the change in the user's pose is created on the user's body captured on the screen of the smartphone.

상기 사용자의 몸에 생성되는 AR(4)과 상기 AR 오브젝트(2)의 크기, 위치 및 형상의 유사도를 계산하여 상기 유사도가 일정 값 이상이면, 상기 사용자에게 상기 사용자의 포즈가 상기 AR 오브젝트(2)와 동일함을 알리는 알림이 작동하게 된다.The size, position, and shape of the AR object 2 and the AR 4 generated on the user's body are calculated. ) and a notification notifying that it is the same will work.

상기 알림은 상기 후면 카메라의 플래시(flash)가 깜빡거리는 동작 또는 상기 스마트폰에서 내는 일정 음의 소리일 수 있으며, 상기 스마트폰의 후면에 위치한 상기 사용자에게 알림을 줄 수 있는 방법이라면 어떠한 방법이라도 적용될 수 있다.The notification may be a blinking motion of a flash of the rear camera or a certain sound made by the smartphone, and any method capable of giving a notification to the user located on the back of the smartphone may be applied. can

상기 사용자에게 상기 사용자의 포즈가 상기 AR 오브젝트(2)와 동일함을 알리는 알림이 작동하는 단계로부터 일정 시간 경과되면 상기 후면 카메라를 이용한 사진 촬영이 진행된다.When a predetermined time elapses from the operation of a notification informing the user that the pose of the user is the same as that of the AR object 2, taking a picture using the rear camera proceeds.

도 5에는 본 발명에 따른 포즈 생성 모드 시 포즈 생성 개념도가 도시되어 있고, 도 6에는 본 발명에 따른 포즈 생성 모드 시 포즈 저장 개념도가 도시되어 있다.5 is a conceptual diagram of pose generation in the pose generation mode according to the present invention, and FIG. 6 is a conceptual diagram of pose storage in the pose generation mode according to the present invention.

상기 포즈 생성 모드와 포즈 선택 모드 중 어느 하나의 모드를 선택하는 단계에서 상기 포즈 생성 모드 선택 시, When selecting the pose generation mode in the step of selecting any one of the pose generation mode and the pose selection mode,

상기 스마트폰의 전면 카메라 또는 후면 카메라를 이용한 촬영이 시작되는 단계;Starting shooting using a front camera or a rear camera of the smartphone;

사용자가 상기 전면 카메라와 후면 카메라 중 선택된 카메라 앞에서 원하는 포즈를 취하는 단계;taking a desired pose in front of a camera selected from among the front and rear cameras;

상기 사용자의 포즈를 인식하는 제2단계;a second step of recognizing the user's pose;

상기 사용자의 포즈가 윤곽선 형태로 포즈 목록에 저장되는 단계;가 차례로 진행된다.The step of storing the user's pose in the form of an outline in a pose list; proceeds in sequence.

먼저, 상기 카메라 애플리케이션을 이용하는 상기 사용자가 상기 포즈 생성 모드와 포즈 선택 모드 중 어느 하나의 모드를 선택하는 단계에서 상기 포즈 생성 모드 선택 시, 상기 스마트폰의 전면 카메라 또는 후면 카메라를 이용한 촬영이 시작된다.First, when the user using the camera application selects the pose creation mode in the step of selecting one of the pose creation mode and the pose selection mode, shooting using the front camera or the rear camera of the smartphone starts. .

촬영이 시작되면 상기 사용자는 상기 전면 카메라와 후면 카메라 중 선택된 카메라 앞에서 원하는 포즈를 취하게 된다.When shooting starts, the user takes a desired pose in front of a camera selected from among the front and rear cameras.

상기 사용자가 상기 전면 카메라와 후면 카메라 중 선택된 카메라 앞에서 원하는 포즈를 취하는 단계는 일정 시간 지속되는 것으로, 바람직하게는 3초가 된다.The step of the user taking a desired pose in front of a camera selected from among the front camera and the rear camera lasts for a certain period of time, preferably 3 seconds.

상기 사용자가 포즈를 취하게 되면, 상기 애플리케이션은 상기 사용자의 포즈를 인식하는 제2단계를 진행하게 된다.When the user takes a pose, the application proceeds to a second step of recognizing the user's pose.

상기 사용자의 포즈를 인식하는 제2단계에서 상기 사용자의 포즈는 상기 사용자의 크기 및 형상을 포함한다.In the second step of recognizing the user's pose, the user's pose includes the user's size and shape.

상기 사용자의 포즈를 인식하는 제2단계에서의 상기 사용자의 포즈 인식은 상기 사용자의 포즈를 인식하는 제1단계와 마찬가지로 ARkit3을 이용하여 상기 사용자를 인식한 후, 상기 바디 트래킹을 통해 상기 사용자의 포즈 변화를 인식하게 된다.Like the first step of recognizing the user's pose, the user's pose recognition in the second step of recognizing the user's pose is performed after recognizing the user using ARkit3, and then through the body tracking. become aware of change.

인식된 상기 사용자의 포즈를 유니티 3D(Unity 3D)를 이용하여 실시간으로 상기 사용자의 포즈 변화를 반영하는 윤곽선 형태의 AR(2)을 상기 스마트폰의 화면상에 촬영되는 상기 사용자의 몸에 생성하게 된다. Creating an AR (2) in the form of an outline that reflects the user's pose change in real time using Unity 3D with the recognized user's pose on the user's body captured on the screen of the smartphone do.

상기 사용자의 몸에 생성된 AR(2)은 윤곽선 형태로 포즈 목록에 저장된다.The AR(2) created on the user's body is stored in the pose list in the form of an outline.

상기 AR(2)은 상기 윤곽선 형태 이외에도 사람의 골격 형상 등 상기 포즈의 형상을 표시할 수 있는 어떠한 형태로도 표시될 수 있다.The AR 2 may be displayed in any shape capable of displaying the shape of the pose, such as the shape of a human skeleton, in addition to the shape of the outline.

상기 기 저장된 포즈 중 어느 하나의 포즈가 선택되는 단계에서 상기 기 저장된 포즈는 상기 사용자의 포즈가 윤곽선 형태로 포즈 목록에 저장되는 단계에서 저장된 상기 사용자의 포즈를 포함한다.In the step of selecting any one of the pre-stored poses, the pre-stored pose includes the user's pose stored in the step of saving the user's pose in the form of an outline in the pose list.

상기에서 설명한 바와 같이 본 발명의 사진 촬영방법은 카메라 애플리케이션 화면상에 증강현실을 이용한 인체모형의 캐릭터(상기 AR 오브젝트)를 배치함으로써 스마트폰의 후면 카메라를 이용하여 셀프 카메라를 촬영하는 사용자에게 배경 구도, 인물 배치, 포즈의 종류 및 촬영 위치 등을 가이드할 수 있게 된다.As described above, the photo taking method of the present invention arranges a human body model character (the AR object) using augmented reality on the camera application screen to provide a background composition to a user taking a self-portrait using the rear camera of a smartphone. , it is possible to guide the arrangement of people, types of poses, and shooting locations.

앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면 후술 될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the detailed description of the present invention described above has been described with reference to preferred embodiments of the present invention, those skilled in the art or those having ordinary knowledge in the art will find the spirit of the present invention described in the claims to be described later. And it will be understood that the present invention can be variously modified and changed within a range that does not deviate from the technical scope.

2 : AR 오브젝트
4 : 사용자의 몸에 생성된 AR
2 : AR object
4: AR created on the user's body

Claims (10)

스마트폰의 카메라 애플리케이션을 이용한 사진 촬영 방법에 있어서,
포즈 생성 모드와 포즈 선택 모드 중 어느 하나의 모드를 선택하는 단계를 포함하며,
상기 포즈 선택 모드 선택 시,
기 저장된 포즈 중 어느 하나의 포즈가 선택되는 단계;
상기 스마트폰의 후면 카메라를 이용한 촬영이 시작되는 단계;
상기 스마트폰의 화면에 상기 포즈의 AR(augmented reality) 오브젝트(object)가 생성되는 단계;
사용자의 화면 터치 또는 사용자로부터 입력되는 수치에 따라 상기 스마트폰의 화면에 출력된 상기 AR 오브젝트의 크기 및 위치가 조절되는 단계;
상기 스마트폰의 후면으로 사용자가 이동하는 단계;
상기 사용자의 포즈를 인식하는 제1단계;
상기 후면 카메라를 이용한 사진 촬영이 진행되는 단계;를 포함하는 것
을 특징으로 하는 증강현실을 이용한 사진 촬영방법.
In the method of taking a picture using a camera application of a smartphone,
Selecting one of a pose generation mode and a pose selection mode,
When the pose selection mode is selected,
Selecting any one of the pre-stored poses;
Starting shooting using the rear camera of the smartphone;
Generating an augmented reality (AR) object of the pose on the screen of the smartphone;
Adjusting the size and position of the AR object displayed on the screen of the smart phone according to a user's screen touch or a numerical value input from the user;
Moving a user to the back of the smart phone;
A first step of recognizing the pose of the user;
Including; taking a picture using the rear camera in progress.
A method of taking pictures using augmented reality, characterized in that.
제1항에 있어서,
상기 사용자의 포즈를 인식하는 제1단계에서는,
상기 사용자의 포즈와 상기 AR 오브젝트의 크기, 위치 및 형상의 유사도 를계산하는 것
을 특징으로 하는 증강현실을 이용한 사진 촬영방법.
According to claim 1,
In the first step of recognizing the user's pose,
Calculating the similarity between the user's pose and the size, position and shape of the AR object
A method for taking pictures using augmented reality, characterized in that.
제2항에 있어서,
상기 사용자의 포즈를 인식하는 제1단계에서 상기 유사도가 일정 값 이상이면,
상기 사용자에게 상기 사용자의 포즈가 상기 AR 오브젝트와 동일함을 알리는 알림이 작동하는 단계가 진행되는 것
을 특징으로 하는 증강현실을 이용한 사진 촬영방법.
According to claim 2,
In the first step of recognizing the user's pose, if the similarity is greater than or equal to a certain value,
A step in which a notification informing the user that the user's pose is the same as the AR object is operated
A method for taking pictures using augmented reality, characterized in that.
제3항에 있어서,
상기 사용자에게 상기 사용자의 포즈가 상기 AR 오브젝트와 동일함을 알리는 알림이 작동하는 단계에서,
상기 알림은 상기 후면 카메라의 플래시(flash)가 깜빡거리는 동작인 것을 특징으로 하는 증강현실을 이용한 사진 촬영방법.
According to claim 3,
In the step of operating a notification notifying the user that the user's pose is the same as the AR object,
The notification is a method for taking pictures using augmented reality, characterized in that the flash of the rear camera blinks.
제3항에 있어서,
상기 후면 카메라를 이용한 촬영이 진행되는 단계는,
상기 사용자에게 상기 사용자의 포즈가 상기 AR 오브젝트와 동일함을 알리는 알림이 작동하는 단계로부터 일정 시간 경과 후 진행되는 것을 특징으로 하는 증강현실을 이용한 사진 촬영방법.
According to claim 3,
The step of taking pictures using the rear camera is,
The method of taking a picture using augmented reality, characterized in that proceeding after a certain time has elapsed from the step of activating a notification informing the user that the pose of the user is the same as the AR object.
제1항에 있어서,
상기 AR 오브젝트는 사람 형태의 윤곽선으로 표시되는 것을 특징으로 하는 증강현실을 이용한 사진 촬영방법.
According to claim 1,
The AR object is a picture taking method using augmented reality, characterized in that displayed in the outline of a person.
제1항에 있어서,
상기 포즈 생성 모드와 포즈 선택 모드 중 어느 하나의 모드를 선택하는 단계에서 상기 포즈 생성 모드 선택 시,
상기 스마트폰의 전면 카메라 또는 후면 카메라를 이용한 촬영이 시작되는 단계;
사용자가 상기 전면 카메라와 후면 카메라 중 선택된 카메라 앞에서 원하는 포즈를 취하는 단계;
상기 사용자의 포즈를 인식하는 제2단계;
상기 사용자의 포즈가 윤곽선 형태로 포즈 목록에 저장되는 단계;를 포함하는 것
을 특징으로 하는 증강현실을 이용한 사진 촬영방법.
According to claim 1,
When selecting the pose generation mode in the step of selecting any one of the pose generation mode and the pose selection mode,
Starting shooting using a front camera or a rear camera of the smartphone;
taking a desired pose in front of a camera selected from among the front and rear cameras;
a second step of recognizing the user's pose;
Storing the user's pose in the form of an outline in a pose list; including
A method for taking pictures using augmented reality, characterized in that.
제7항에 있어서,
상기 사용자가 상기 전면 카메라와 후면 카메라 중 선택된 카메라 앞에서 원하는 포즈를 취하는 단계는 일정 시간 지속되는 것을 특징으로 하는 증강현실을 이용한 사진 촬영방법.
According to claim 7,
The step of taking a desired pose in front of a camera selected from among the front camera and the rear camera by the user continues for a predetermined time.
제7항에 있어서,
상기 사용자의 포즈를 인식하는 제2단계에서 상기 사용자의 포즈는 상기 사용자의 크기와 형상인 것을 특징으로 하는 증강현실을 이용한 사진 촬영방법.
According to claim 7,
In the second step of recognizing the user's pose, the user's pose is the size and shape of the user.
제7항에 있어서,
상기 기 저장된 포즈 중 어느 하나의 포즈가 선택되는 단계에서 선택되는 상기 기 저장된 포즈는 상기 사용자의 포즈가 윤곽선 형태로 포즈 목록에 저장되는 단계에서 저장된 상기 사용자의 포즈인 것을 특징으로 하는 증강현실을 이용한 사진 촬영방법.

According to claim 7,
The pre-stored pose selected in the step of selecting any one of the pre-stored poses is the user's pose stored in the step of saving the user's pose in the form of an outline in the pose list. How to take pictures.

KR1020200111532A 2020-09-02 2020-09-02 Photography method using augmented reality KR102479860B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200111532A KR102479860B1 (en) 2020-09-02 2020-09-02 Photography method using augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200111532A KR102479860B1 (en) 2020-09-02 2020-09-02 Photography method using augmented reality

Publications (2)

Publication Number Publication Date
KR20220029945A KR20220029945A (en) 2022-03-10
KR102479860B1 true KR102479860B1 (en) 2022-12-20

Family

ID=80816318

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200111532A KR102479860B1 (en) 2020-09-02 2020-09-02 Photography method using augmented reality

Country Status (1)

Country Link
KR (1) KR102479860B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101762769B1 (en) * 2011-04-18 2017-08-07 삼성전자주식회사 Apparatus and method for capturing subject in photographing device
KR20180058380A (en) * 2016-11-24 2018-06-01 삼성에스디에스 주식회사 Method and apparatus for photographing based on recommended composition
KR102078270B1 (en) 2018-03-09 2020-02-19 (주)벨류데이터 Selfie support Camera System using augmented reality

Also Published As

Publication number Publication date
KR20220029945A (en) 2022-03-10

Similar Documents

Publication Publication Date Title
CN106161939B (en) Photo shooting method and terminal
US20170064214A1 (en) Image capturing apparatus and operating method thereof
JP6731616B2 (en) Virtual makeup device, virtual makeup method, and virtual makeup program
JP2019514095A (en) Private life story simulation system
KR101944112B1 (en) Method and apparatus for creating user-created sticker, system for sharing user-created sticker
CN106034206B (en) Electronic device and image display method
KR102407190B1 (en) Image capture apparatus and method for operating the image capture apparatus
CN111986076A (en) Image processing method and device, interactive display device and electronic equipment
US10924660B2 (en) Augmented reality markers in digital photography
JP2009117975A (en) Image pickup apparatus and method
CN108174082A (en) The method and mobile terminal of a kind of image taking
KR101672691B1 (en) Method and apparatus for generating emoticon in social network service platform
JP6880394B2 (en) Photographing game console and shooting method
KR102479860B1 (en) Photography method using augmented reality
JP4720686B2 (en) Automatic photo studio
CN114697539A (en) Photographing recommendation method and device, electronic equipment and storage medium
TWI284851B (en) Photographing apparatus and photographing method
KR20130142315A (en) Character service system and character service providing method thereof
JP2014150348A (en) Imaging apparatus
CN113313009A (en) Method, device and terminal for continuously shooting output image and readable storage medium
JP2005109555A (en) Image output apparatus, picture output method, and picture output processing program
KR20200070611A (en) Formation and Application Method of Virtual Camera Image for Smartphone
KR20180108541A (en) Method and apparatus for creating user-created sticker, system for sharing user-created sticker
JP5967422B2 (en) Imaging apparatus, imaging processing method, and program
JP2019203996A (en) Photograph creation game machine, display control method, and program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant