KR20170008064A - Method and System for Recoding Video Using Object Recognition - Google Patents
Method and System for Recoding Video Using Object Recognition Download PDFInfo
- Publication number
- KR20170008064A KR20170008064A KR1020150099329A KR20150099329A KR20170008064A KR 20170008064 A KR20170008064 A KR 20170008064A KR 1020150099329 A KR1020150099329 A KR 1020150099329A KR 20150099329 A KR20150099329 A KR 20150099329A KR 20170008064 A KR20170008064 A KR 20170008064A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- user object
- user
- shooting
- photographing
- Prior art date
Links
Images
Classifications
-
- H04N5/23219—
-
- G06K9/00335—
-
- G06K9/00604—
-
- H04N5/225—
Landscapes
- Studio Devices (AREA)
Abstract
Description
본 발명은 객체 인식을 이용하는 객체 촬영 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 사용자의 제어없이 객체를 추적하여 촬영할 수 있는 객체 촬영 방법 및 시스템에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an object photographing method and system using object recognition, and more particularly, to an object photographing method and system capable of photographing and tracking an object without user's control.
사용자가 직접 자신을 촬영하기 위한 다양한 방법이 존재한다. 삼각대나 셀카봉과 같은 기구를 이용하거나 특정 제스쳐 인식을 통해 사용자는 직접 자신을 촬영할 수 있다. 특히, 제스쳐나 객체를 인식하여 사용자가 자신을 촬영하는 방법은 별도의 기구를 필요로하지 않기 때문에 편이성 측면에서 사용 빈도가 높아지는 추세이다. There are various methods for the user to photograph himself / herself. The user can shoot himself or herself by using a device such as a tripod or a cellar or by recognizing a specific gesture. In particular, since the method of recognizing a gesture or an object and taking a picture of the user does not require a separate mechanism, the frequency of use is increasing in terms of convenience.
이러한 객체 인식을 통해 특정 객체를 촬영하는 기술은 스마트 폰, 디지털 카메라 뿐만 아니라 홈 네트워크 및 보안 영역 등에서도 많이 이용되고 있다. 관련된 선행문헌으로 대한민국 공개특허 10-2011-0090623호가 있다.The technique of photographing a specific object through object recognition is widely used not only in a smart phone and a digital camera but also in a home network and a security field. Korean Patent Publication No. 10-2011-0090623 discloses an associated prior art.
한편, 최근에는 유튜브 등과 같은 동영상 공유 사이트가 유행하고 있으며, 사용자가 직접 컨텐츠를 제작하여 업로드하는 경우가 증가하고 있다. 그리고 사용자 제작 컨텐츠(UCC)의 증가에 따라서, 다양한 내용의 컨텐츠에 대한 니즈가 증가하고 있다. In recent years, video sharing sites such as YouTube have become popular, and users are increasingly uploading content by creating content. And as the number of user-generated content (UCC) increases, the needs for various contents are increasing.
이에 따라, 단순히 사용자만이 출현하는 것이 아닌 다양한 객체가 등장하고 다양한 상황이 연출되는 컨텐츠가 제작되고 있으며 이러한 컨텐츠의 경우, 별도의 촬영자없이 컨텐츠가 제작되기 어려운 문제가 있다. 별도의 촬영자나 사용자의 제어없이, 사용자가 용이하게 사용자 객체를 촬영하여 컨텐츠를 제작할 수 있는 방법이 필요하다.
Accordingly, various objects appearing not only by the user but also various contents are produced. In the case of such contents, there is a problem that contents can not be produced without a separate photographer. There is a need for a method that enables a user to easily photograph a user object and produce contents without controlling another photographer or a user.
본 발명은 별도의 촬영자나 사용자의 제어없이 사용자 객체를 추적하여 촬영할 수 있는 객체 촬영 방법 및 시스템을 제공하기 위한 것이다.The object of the present invention is to provide an object photographing method and system that can track and photograph a user object without the control of a photographer or a user.
또한 본 발명은 사용자 객체 뿐만 아니라 사용자에 대한 상황을 인식하여, 사용자의 의도에 부합하도록 사용자 객체를 촬영하는 방법 및 시스템을 제공하기 위한 것이다.
The present invention also provides a method and system for capturing a user object in accordance with a user's intention by recognizing a situation of a user as well as a user.
상기한 목적을 달성하기 위해 본 발명의 일 실시예에 따르면, 객체 인식을 이용하는 객체 촬영 방법에 있어서, 카메라를 이용하여 사용자 객체에 대한 영상을 입력받는 단계; 상기 영상을 이용하여 상기 사용자 객체를 인식하고, 상기 사용자 객체에 대한 상황을 판단하는 단계; 및 상기 사용자 객체에 대한 상황이 기 설정된 이벤트에 대응되는 경우, 상기 카메라를 제어하는 단계를 포함하는 객체 촬영 방법을 제공한다.According to an aspect of the present invention, there is provided a method of capturing an object using object recognition, the method comprising: receiving an image of a user object using a camera; Recognizing the user object using the image and determining a status of the user object; And controlling the camera when a situation of the user object corresponds to a preset event.
또한 상기한 목적을 달성하기 위해 본 발명의 다른 실시예에 따르면, 객체 인식을 이용하는 객체 촬영 방법에 있어서, 카메라를 이용하여 사용자 객체에 대한 영상을 입력받는 단계; 상기 영상을 이용하여, 상기 사용자 객체의 머리의 경계선을 추출하는 단계; 상기 경계선을 이용하여 상기 사용자 객체를 인식하는 단계; 및 상기 사용자 객체가 촬영 화면의 기 설정된 영역에 위치하도록 상기 카메라의 촬영 방향 또는 줌기능을 제어하는 단계를 포함하는 객체 촬영 방법을 제공한다.According to another aspect of the present invention, there is provided a method of capturing an object using object recognition, the method comprising: receiving an image of a user object using a camera; Extracting a boundary line of the head of the user object using the image; Recognizing the user object using the boundary line; And controlling the photographing direction or the zooming function of the camera such that the user object is located in a predetermined area of the photographing screen.
또한 상기한 목적을 달성하기 위해 본 발명의 또 다른 실시예에 따르면, 객체 인식을 이용하는 객체 촬영 시스템에 있어서, 사용자 객체를 촬영하는 카메라; 상기 카메라의 촬영 방향을 조절하는 액츄에이터; 상기 카메라를 통해 획득된 상기 사용자 객체에 대한 영상을 이용하여 상기 사용자 객체를 인식하고, 상기 사용자 객체에 대한 상황을 판단하는 상황 판단부; 및 상기 사용자 객체에 대한 상황이 기 설정된 이벤트에 대응되는 경우, 상기 카메라 및 상기 액츄에이터를 제어하는 카메라 제어부를 포함하는 객체 촬영 시스템을 제공한다.
According to another aspect of the present invention, there is provided an object photographing system using object recognition, comprising: a camera for photographing a user object; An actuator for adjusting a photographing direction of the camera; A situation determination unit for recognizing the user object using the image of the user object obtained through the camera and determining the status of the user object; And a camera control unit for controlling the camera and the actuator when a situation for the user object corresponds to a preset event.
본 발명에 따르면, 사용자 객체에 대한 이벤트를 분석하고 분석된 이벤트에 따라 카메라를 제어하여 사용자 객체를 촬영함으로써, 사용자는 별도의 촬영자없이 직접 용이하게 사용자의 제작 의도에 부합하는 컨텐츠를 제작할 수 있다.
According to the present invention, by analyzing an event for a user object and capturing a user object by controlling the camera in accordance with the analyzed event, the user can easily produce content that conforms to the intention of the user without any additional photographer.
도 1은 본 발명의 일실시예에 따른 객체 인식을 이용하는 객체 촬영 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 객체 인식을 이용하는 객체 촬영 방법을 설명하기 위한 도면이다.
도 3은 도 2에서 설명된 객체 촬영 방법에 따른 카메라 제어를 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 객체 인식을 이용하는 객체 촬영 방법을 설명하기 위한 도면이다.
도 5는 도 4에서 설명된 객체 촬영 방법의 이벤트에 따른 카메라 제어를 설명하기 위한 도면이다.
도 6은 본 발명에 따른 객체 촬영 방법의 구체적 실시예를 설명하기 위한 도면이다.1 is a view for explaining an object photographing system using object recognition according to an embodiment of the present invention.
2 is a view for explaining an object shooting method using object recognition according to an embodiment of the present invention.
FIG. 3 is a diagram for explaining camera control according to the object shooting method illustrated in FIG. 2. FIG.
4 is a view for explaining an object shooting method using object recognition according to another embodiment of the present invention.
FIG. 5 is a diagram for explaining camera control according to an event of the object shooting method illustrated in FIG.
6 is a view for explaining a specific embodiment of an object photographing method according to the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 객체 인식을 이용하는 객체 촬영 시스템을 설명하기 위한 도면이다.1 is a view for explaining an object photographing system using object recognition according to an embodiment of the present invention.
도 1에 도시된 객체 촬영 시스템(100)은 영상 촬영 장치(110), 상황 판단부(120) 및 카메라 제어부(130)를 포함한다. 그리고 실시예에 따라서 본 발명에 따른 객체 촬영 시스템(100)은, 음성을 인식하는 음성 인식부, 객체 촬영 시스템으로 전원을 공급하는 배터리, 영상 촬영 장치(110)의 촬영 영상을 저장하는 메모리, 영상 촬영 장치(110)의 촬영 영상을 영상 수신 장치로 전송하는 통신부 중 적어도 하나 이상을 더 포함할 수 있다.The
영상 촬영 장치(110)는 사용자 객체(140)를 촬영하여 영상을 생성한다. 영상 촬영 장치(110)는 사용자 객체(140)를 촬영하여 사용자 객체(140)에 대한 영상을 획득하는 카메라 및 카메라의 촬영 방향을 조절하는 액츄에이터를 포함할 수 있다. 실시예에 따라서 영상 촬영 장치(110)는 카메라 대신, 카메라의 기능을 포함하는 스마트 폰, 태블릿 PC를 포함할 수 있다. 액츄에이터는 카메라 제어부(130)의 제어에 따라 회전하거나 또는 좌우상하로 이동할 수 있으며, 카메라는 액츄에이터에 결합되기 때문에, 결국 액츄에이터에 의해 카메라의 촬영 방향이 조절될 수 있다.The
상황 판단부(120)는 카메라를 통해 획득된 사용자 객체(140)에 대한 영상을 이용하여 사용자 객체(140)를 인식하고, 사용자 객체(140)에 대한 상황을 판단한다. 상황 판단부(120)는 다양한 객체 인식 알고리즘을 이용하여 사용자 객체(140)를 인식할 수 있으며, 사용자 객체(140)의 머리와 같은 특정 부위 또는 전체 형상의 경계선을 추출하거나 특징점을 추출하여 사용자 객체(140)를 인식할 수 있다.The
그리고 상황 판단부(120)는 인식된 사용자 객체(140)의 음성이나 행동 등을 이용하여 사용자 객체(140)에 대한 상황을 판단할 수 있다. 예를 들어, 상황 판단부(120)는 카메라의 촬영 화면에 사용자 객체(140) 이외 대화 상대가 존재하고, 사용자 객체(140)가 말을 하거나 사용자 객체(140)의 시선이 대화 상대를 향할 경우 사용자 객체(140)가 대화하는 상황이라고 판단할 수 있다. 또는 상황 판단부(120)는 사용자 객체의 특정 부위의 움직임 정도가 임계값 이상인 경우, 사용자가 복잡한 동작을 수행하는 상황으로 판단할 수 있다. 또는 상황 판단부(120)는 임계값 이상의 소리 또는 진동이 발생한 경우 사용자 객체(140) 주변에 큰 사건이 발생한 상황으로 판단할 수 있다. The
카메라 제어부(130)는 사용자 객체에 대한 상황이 기 설정된 이벤트에 대응되는 경우, 카메라 및 액츄에이터를 제어한다. 카메라 제어부(130)는 카메라의 줌 기능을 제어할 수 있으며, 액츄에이터를 제어하여 카메라의 촬영 방향을 제어할 수 있다. 줌 기능 제어에는 줌인/아웃 제어뿐만 아니라 줌인/아웃 속도 제어도 포함될 수 있다. 그리고 촬영 방향 제어에는 카메라의 촬영 방향 제어뿐만 아니라 카메라의 이동 속도 제어도 포함될 수 있다.The
그리고 이벤트는 다양하게 설정될 수 있으며, 예를 들어 사용자 객체의 대화 상황, 사용자가 복잡한 동작을 수행하는 상황, 사용자 주변에 큰 사건이 발생한 상황, 사용자가 카메라를 응시하는 상황, 사용자가 이동하는 상황 등이 이벤트로 설정될 수 있다.The event can be variously set. For example, it is possible to set various conditions such as a conversation situation of a user object, a situation in which a user performs a complex operation, a situation in which a large event occurs around the user, a situation in which a user looks at a camera, Etc. may be set as an event.
카메라 제어부(130)는 사용자 객체(140)가 대화 상대와 대화하는 경우, 대화 상대가 촬영 화면에 포함되도록 카메라의 줌 기능을 제어할 수 있다. 또는 사용자 객체(140)의 특정 부위의 움직임 정도가 임계값 이상인 경우, 카메라가 사용자 객체(140)의 특정 부위를 줌인하도록 카메라를 제어할 수 있다. 또는 임계값 이상의 소리 또는 진동이 발생한 경우, 카메라의 줌 기능을 제어할 수 있으며, 사용자 객체(140)가 카메라를 응시하는 경우, 사용자 객체(140)의 머리가 촬영 화면의 기 설정된 영역에 위치하도록 카메라의 촬영 방향 또는 줌기능을 제어할 수 있다. 또는 사용자 객체가 이동하는 경우, 사용자 객체의 이동 방향에 따라 카메라의 촬영 방향을 제어할 수 있다.The
또한, 카메라 제어부(130)는 인식된 음성 또는 제스쳐에 따라 카메라를 제어할 수 있는데, 음성 인식부에 의해 사용자 객체(140)의 음성이 인식될 수 있고, 상황 판단부(120)는 사용자 객체(140)의 제스쳐를 인식할 수 있다.In addition, the
결국 이러한 카메라 제어는 사용자에게 발생한 상황을 분석하고 사용자의 의도에 부합하도록 사용자 객체를 촬영하기 위한 것으로서, 본 발명에 따름 객체 촬영 시스템은, 사용자가 설정한 이벤트, 그리고 설정한 이벤트에 대한 카메라 제어 방법에 따라 사용자 객체를 촬영할 수 있다.Finally, the camera control is for capturing a user object in accordance with the intention of the user by analyzing a situation occurring to the user. According to the present invention, the object shooting system includes an event set by a user and a camera control method The user object can be photographed.
즉, 본 발명에 따르면, 사용자 객체에 대한 이벤트를 분석하고 분석된 이벤트에 따라 카메라를 제어하여 사용자 객체를 촬영함으로써, 사용자는 별도의 촬영자없이 직접 용이하게 사용자의 제작 의도에 부합하는 컨텐츠를 제작할 수 있다.That is, according to the present invention, by analyzing an event for a user object and capturing a user object by controlling the camera in accordance with the analyzed event, the user can easily produce contents matching the intention of the user without any additional photographer have.
한편, 실시예에 따라서, 객체 촬영 시스템(100)은 사용자로부터 이벤트 설정 정보 및 카메라 제어 설정 정보를 입력받는 정보 입력부를 더 포함할 수 있다. 이벤트 설정 정보는 카메라 제어의 대상이 되는 이벤트 정보를 포함하며, 카메라 제어 설정 정보는 각각의 이벤트에 따른 카메라 제어 정보를 포함한다. Meanwhile, according to the embodiment, the
따라서, 사용자는 사용자의 시나리오 또는 연출 의도에 부합하는 이벤트를 설정할 수 있으며, 발생한 이벤트에 대한 카메라 제어 정도를 조절할 수 있다. 예를 들어, 카메라 제어 설정 정보는 대화 상황이 발생한 경우에 대한 카메라의 줌인/아웃 속도 정보를 포함하거나 또는 어느 정도까지 줌인/아웃을 수행할 것인지에 대한 정보를 포함할 수 있다.
Accordingly, the user can set an event corresponding to the user's scenario or the directing intention, and can control the degree of camera control for the event that occurs. For example, the camera control setting information may include information about zoom in / out speed information of the camera in the case where an interactive situation occurs, or information on how much zoom in / out is to be performed.
도 2는 본 발명의 일실시예에 따른 객체 인식을 이용하는 객체 촬영 방법을 설명하기 위한 도면으로서, 도 1에서 설명된 객체 촬영 시스템의 객체 촬영 방법이 일실시예로서 설명된다.FIG. 2 is a diagram for explaining an object shooting method using object recognition according to an embodiment of the present invention. The object shooting method of the object shooting system described in FIG. 1 is described as an embodiment.
본 발명에 따른 객체 촬영 시스템은 카메라를 이용하여 사용자 객체에 대한 영상을 입력(S210)받고, 영상을 이용하여, 사용자 객체의 머리의 경계선을 추출(S220)한다. 그리고 추출된 경계선을 이용하여 사용자 객체를 인식(S230)한다.The object shooting system according to the present invention receives an image of a user object using a camera (S210), and extracts a boundary line of a head of the user object using the image (S220). Then, the user object is recognized using the extracted boundary (S230).
객체 촬영 시스템은 다양한 경계선 추출 알고리즘을 이용하여 사용자 객체의 머리의 경계선을 추출할 수 있다. 그리고 객체 촬영 시스템은 기 설정된 사용자 객체 머리의 경계선과 추출된 머리의 경계선의 매칭 여부를 판단하여 사용자 객체를 인식할 수 있다.The object shooting system can extract the boundary of the head of the user object using various boundary line extraction algorithms. The object photographing system can recognize the user object by determining whether the boundary of the predetermined user object head matches the boundary of the extracted head.
사용자 객체를 인식하기 위해 사용자 객체 얼굴의 특징점이 아닌 머리의 경계선을 이용함으로써, 사용자 객체가 카메라를 응시하고 있을 경우 뿐만 아니라 사용자 객체가 머리를 돌려 사용자 객체 얼굴에 대한 영상을 획득하기 어려운 경우에도 사용자 객체를 인식할 수 있다.By using the boundary line of the head rather than the feature point of the face of the user object in order to recognize the user object, not only when the user object is staring at the camera but also when the user object is hard to acquire the image of the face of the user object, The object can be recognized.
다만, 사용자 객체 머리의 형상도 사용자 객체 머리의 위치에 따라 달라질 수 있으므로, 사용자 객체 머리의 위치에 따른 복수의 경계선 정보를 미리 저장한 후 추출된 머리의 경계선과 매칭 여부를 판단하는 것이 바람직하다.However, since the shape of the user object head may vary depending on the position of the user object head, it is preferable to determine whether the plurality of boundary information corresponding to the position of the user object head is stored in advance and match with the extracted boundary line of the head.
객체 촬영 시스템은 사용자 객체가 촬영 화면의 기 설정된 영역에 위치하도록 카메라의 촬영 방향 또는 줌기능을 제어(S240)한다. 보다 구체적으로, 객체 촬영 시스템은 카메라와 사용자 객체 사이의 거리 및 사용자 객체의 위치에 따라서, 카메라를 제어할 수 있으며, 사용자 객체의 머리가 촬영 화면의 기 설정된 영역에 위치하도록 카메라의 촬영 방향 또는 줌기능을 제어할 수 있다.
The object photographing system controls the photographing direction or the zoom function of the camera so that the user object is positioned in a predetermined area of the photographing screen (S240). More specifically, the object photographing system can control the camera according to the distance between the camera and the user object and the position of the user object, and adjusts the photographing direction or zoom of the camera so that the head of the user object is positioned in a predetermined area of the photographing screen. Function can be controlled.
도 3은 도 2에서 설명된 객체 촬영 방법에 따른 카메라 제어를 설명하기 위한 도면이다.FIG. 3 is a diagram for explaining camera control according to the object shooting method illustrated in FIG. 2. FIG.
도 3에 도시된 바와 같이, 촬영 화면(310)의 기 설정된 영역은 촬영 화면(310)의 중앙 영역(320)일 수 있으며, 중앙 영역(320)에 사용자 객체의 머리(330)가 위치되도록 카메라가 제어될 수 있다. 그리고 객체 촬영 시스템은 사용자 객체의 머리(330)가 중앙 영역(320)에 포함되는 범위 내에서 일정한 크기가 유지되도록 카메라의 줌 기능을 제어할 수 있다.3, the predetermined area of the photographing
예를 들어, 사용자 객체와 카메라 사이의 거리가 감소할 경우 촬영 화면의 사용자 객체의 머리(330)가 커지며 중앙 영역(320)을 벗어나므로, 객체 촬영 시스템은 카메라가 줌아웃하도록 제어할 수 있다. 또는 사용자 객체와 카메라 사이의 거리가 증가할 경우 촬영 화면의 사용자 객체의 머리(330)가 작아지므로, 객체 촬영 시스템은 카메라가 줌인하도록 제어할 수 있다.For example, when the distance between the user object and the camera decreases, the
또는 사용자 객체가 좌우로 이동할 경우 촬영 화면의 사용자 객체의 머리(330)가 중앙 영역(320)을 벗어나 A영역 또는 B영역에 위치할 수 있으므로, 객체 촬영 시스템은 액츄에이터를 제어하여 카메라의 촬영 방향을 제어할 수 있다.
Or when the user object moves left and right, the
도 4는 본 발명의 다른 실시예에 따른 객체 인식을 이용하는 객체 촬영 방법을 설명하기 위한 도면으로서, 도 1에서 설명된 객체 촬영 시스템의 객체 촬영 방법이 일실시예로서 설명된다.FIG. 4 is a view for explaining a method of shooting an object using object recognition according to another embodiment of the present invention. The object shooting method of the object shooting system described in FIG. 1 is described as an embodiment.
객체 촬영 시스템은 카메라를 이용하여 사용자 객체에 대한 영상을 입력(S410)받고, 입력된 영상을 이용하여 사용자 객체를 인식하고, 사용자 객체에 대한 상황을 판단(S420)한다. 그리고 사용자 객체에 대한 상황이 기 설정된 이벤트에 대응되는 경우, 카메라를 제어(S430)한다. 객체 촬영 시스템은 이벤트 별로 미리 설정된 카메라 제어 방법에 따라 카메라를 제어할 수 있으며, 사용자 객체에 대한 상황이 기 설정된 이벤트에 대응되지 않는 경우, 카메라는 기존 촬영 상태를 유지한다.The object photographing system inputs an image of a user object using a camera (S410), recognizes a user object using the input image, and determines a state of the user object (S420). If the situation of the user object corresponds to the preset event, the camera is controlled (S430). The object photographing system can control the camera according to a camera control method preset for each event. When the situation of the user object does not correspond to the predetermined event, the camera maintains the existing photographing state.
보다 구체적으로 객체 촬영 시스템은 사용자 객체가 대화 상대와 대화하는 경우, 대화 상대가 촬영 화면에 포함되도록 카메라의 줌 기능을 제어할 수 있으며, 사용자 객체 또는 대화 상대의 음성이나 사용자 객체의 시선 방향을 이용하여, 사용자 객체의 대화 상황을 판단할 수 있다. 예를 들어, 사용자 객체가 기 설정된 인사말을 하거나 사용자 객체가 대화 상대를 쳐다보는 경우 또는 사용자 객체가 대화 상대를 쳐다보며 말을 하는 경우, 객체 촬영 시스템은 사용자 객체가 대화 상대와 대화하는 상황으로 판단할 수 있다.More specifically, the object photographing system can control the zoom function of the camera so that the conversation partner is included in the photographing screen when the user object is in conversation with the conversation partner, and can utilize the direction of the eyes of the user object or conversation partner or the user object So that the dialog state of the user object can be determined. For example, when the user object makes a predetermined greeting, the user object looks at the contact, or the user object looks at the contact, the object shooting system judges that the user object is in conversation with the contact person can do.
또한 객체 촬영 시스템은 사용자 객체의 특정 부위의 움직임 정도가 임계값 이상인 경우, 카메라가 특정 부위를 줌인할 수 있다. 예를 들어, 사용자 객체의 기 설정된 특정 부위가 손이며, 사용자 객체의 다른 부위와 비교하여 손의 움직임 정도가 크다거나 손의 움직임이 임계값 이상인 경우 객체 촬영 시스템은 카메라가 손을 줌인하도록 제어할 수 있다. 객체 촬영 시스템은 촬영 영상의 프레임별로 기 설정된 부위의 움직임 벡터가 임계값 이상의 크기로 변할 경우, 기 설정된 부위의 움직임 정도가 임계값 이상인 것으로 판단할 수 있다.In addition, the object photographing system can zoom in on a specific region when the degree of motion of a specific region of the user object is equal to or greater than a threshold value. For example, when a predetermined specific portion of the user object is a hand, and the degree of movement of the hand is greater than or equal to the threshold value in comparison with other portions of the user object, the object shooting system controls the camera to zoom in on the hand . The object photographing system can determine that the degree of motion of a predetermined region is equal to or greater than a threshold value when a motion vector of a preset region changes to a size equal to or larger than a threshold value for each frame of the photographed image.
또는 객체 촬영 시스템은 임계값 이상의 소리 또는 진동이 발생한 경우 사용자 객체 주변에 큰 사건이 발생한 것으로 판단하고 카메라의 줌 기능을 제어할 수 있다. Alternatively, the object photographing system may determine that a large event has occurred in the vicinity of the user object when a sound or vibration has occurred over a threshold value, and may control the zoom function of the camera.
또는 객체 촬영 시스템은 사용자 객체가 카메라를 기 설정된 시간 이상 응시하는 경우, 사용자 객체의 머리가 촬영 화면의 기 설정된 영역에 위치하도록 카메라의 촬영 방향 또는 줌기능을 제어할 수 있으며, 사용자 객체가 이동하는 경우, 사용자 객체의 이동 방향에 따라 카메라의 촬영 방향을 제어할 수 있다.Or the object photographing system can control the photographing direction or the zoom function of the camera such that the head of the user object is located in a predetermined area of the photographing screen when the user object gazes the camera for more than a predetermined time, , The photographing direction of the camera can be controlled according to the moving direction of the user object.
한편, 본 발명에 따른 객체 촬영 방법은 실시예에 따라서, 사용자 객체의 기 설정된 음성 또는 제스쳐를 인식하는 단계 및 인식된 음성 또는 제스쳐에 따라 카메라를 제어하는 단계를 더 포함할 수 있다. 인식된 음성 또는 제스쳐에 대한 카메라 제어 방법은 미리 설정될 수 있다.
According to an embodiment of the present invention, the object shooting method may further include recognizing a preset voice or gesture of the user object and controlling the camera according to the recognized voice or gesture. The camera control method for the recognized voice or gesture can be preset.
도 5는 도 4에서 설명된 객체 촬영 방법의 이벤트에 따른 카메라 제어를 설명하기 위한 도면이다.FIG. 5 is a diagram for explaining camera control according to an event of the object shooting method illustrated in FIG.
도 5(a)에 도시된 바와 같이, 사용자 객체(510)가 인사말을 하거나, 대화 상대(520)를 쳐다볼 경우, 객체 촬영 시스템은 대화 상황으로 판단하고 대화 상대(520)가 촬영 화면에 포함되도록, 카메라를 줌아웃시킬 수 있다.5 (a), when the
또한, 도 5(b)에 도시된 바와 같이, 사용자 객체(510)의 손이 큐빅을 맞추는 동작을 수행할 경우 객체 촬영 시스템은 손의 움직임이 임계값 이상인 것으로 판단하여, 카메라가 사용자 객체(510)의 손을 줌인하도록 제어할 수 있다. 이 때, 객체 촬영 시스템은 손, 즉 사용자 객체(510)의 특정 부위의 위치에 따라 카메라의 촬영 방향을 제어할 수도 있다.5 (b), when the hand of the
또한, 도 5(c)에 도시된 바와 같이, 사용자 객체(510)를 촬영하는 동안 임계값 이상의 큰 소리(boom)가 발생하는 경우, 객체 촬영 시스템은 촬영 중 발생한 소리를 인식하고 사용자 객체(510)의 주변 상황이 촬영 화면에 포함되도록 카메라를 줌아웃시킬 수 있다. 객체 촬영 시스템은 기 설정된 데시벨(db) 이상의 소리가 발생한 경우, 임계값 이상의 큰 소리가 발생한 것으로 인식할 수 있다.5C, when a large boom is generated over a threshold value during the shooting of the
또한, 도 5(d)에 도시된 바와 같이, 사용자 객체(510)가 미리 설정된 음성인 "줌인"을 말할 경우, 객체 촬영 시스템은 사용자 객체(510)의 음성을 인식하고 카메라가 줌인하도록 제어할 수 있다.5D, when the
한편, 전술된 이벤트는 동시에 2가지 이상 발생할 수 있으며, 본 발명에 따른 객체 촬영 시스템은 실시예에 따라서 기 설정된 이벤트의 우선 순위에 따라 카메라를 제어할 수 있다. 즉, 상기 사용자 객체에 대한 상황이 복수의 이벤트에 대응되는 경우, 객체 촬영 시스템은 보다 우선순위가 높은 이벤트에 따라서 카메라를 제어할 수 있다.On the other hand, the above-described event may occur more than two at the same time, and the object photographing system according to the present invention can control the camera according to the priority of the predetermined event according to the embodiment. That is, when the situation of the user object corresponds to a plurality of events, the object shooting system can control the camera according to a higher priority event.
예를 들어, 사용자 객체가 대화를 하며 큐빅을 조작하며, 대화 상황 이벤트가 우선하는 경우, 객체 촬영 시스템은 카메라가 손으로 줌인하도록 제어하지 않고, 카메라가 줌아웃하도록 제어할 수 있다.
For example, when the user object interacts with cubic bikes and the dialog situation event takes precedence, the object shooting system can control the camera to zoom out without controlling the camera to zoom in by hand.
도 6은 본 발명에 따른 객체 촬영 방법의 구체적 실시예를 설명하기 위한 도면으로서, 도 1에서 설명된 객체 촬영 시스템의 객체 촬영 방법이 일실시예로서 설명된다.FIG. 6 is a view for explaining a specific embodiment of the object shooting method according to the present invention, in which an object shooting method of the object shooting system described in FIG. 1 is described as an embodiment.
초기화 단계(S610)에서 인식될 사용자 객체가 지정되고, 이벤트 설정 정보 및 카메라 제어 설정 정보가 입력될 수 있다.In the initialization step (S610), a user object to be recognized is designated, and event setting information and camera control setting information can be input.
그리고 객체 촬영 시스템은 영상 촬영을 시작(S620)하고 사용자 객체 인식 및 사용자 객체에 대한 상황을 판단(S630)한다. 객체 촬영 시스템은 사용자 객체의 머리가 촬영 화면의 기 설정된 영역에 위치하도록 카메라의 촬영 방향, 줌인/아웃을 제어(S640)할 수 있으며, 기 설정된 이벤트가 발생(S650)한 경우 이벤트 별로 설정된 카메라 제어 동작을 수행(S660)한다.Then, the object photographing system starts image capturing (S620), recognizes the user object, and determines the state of the user object (S630). The object photographing system can control the photographing direction and zoom in / out of the camera so that the head of the user object is positioned in a preset area of the photographing screen (S640). If a preset event occurs (S650) Operation is performed (S660).
이후 객체 촬영 시스템은 촬영된 영상을 메모리에 저장하거나 동영상 서버 또는 사용자의 스마트 폰과 같은 영상 수신 장치로 실시간으로 전송(S670)하고, 사용자의 계속 실행 요청 여부를 판단(S680)하여 영상 촬영을 종료한다.
Thereafter, the object photographing system stores the photographed image in a memory or transmits the photographed image to a video receiving apparatus such as a video server or a smart phone of a user in real time (S670), and determines whether the user requests continuation execution (S680) do.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
The above-described technical features may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks, and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .
Claims (14)
카메라를 이용하여 사용자 객체에 대한 영상을 입력받는 단계;
상기 영상을 이용하여 상기 사용자 객체를 인식하고, 상기 사용자 객체에 대한 상황을 판단하는 단계; 및
상기 사용자 객체에 대한 상황이 기 설정된 이벤트에 대응되는 경우, 상기 카메라를 제어하는 단계
를 포함하는 객체 촬영 방법.
A method of shooting an object using object recognition,
Receiving an image of a user object using a camera;
Recognizing the user object using the image and determining a status of the user object; And
If the situation for the user object corresponds to a preset event, controlling the camera
.
상기 카메라를 제어하는 단계는
상기 사용자 객체가 대화 상대와 대화하는 경우, 상기 대화 상대가 촬영 화면에 포함되도록 상기 카메라의 줌 기능을 제어하는
객체 촬영 방법.
The method according to claim 1,
The step of controlling the camera
When the user object interacts with the conversation partner, the zoom function of the camera is controlled so that the conversation partner is included in the photographing screen
Object shooting method.
상기 사용자 객체에 대한 상황을 판단하는 단계는
상기 대화 상대의 음성 또는 상기 사용자 객체의 시선 방향을 이용하여, 상기 사용자 객체의 대화 상황을 판단하는
객체 촬영 방법.
3. The method of claim 2,
The step of determining a situation for the user object
The conversation state of the user object is determined using the voice of the conversation partner or the direction of the eyes of the user object
Object shooting method.
상기 카메라를 제어하는 단계는
상기 사용자 객체의 특정 부위의 움직임 정도가 임계값 이상인 경우, 상기 카메라가 상기 특정 부위를 줌인하도록 상기 카메라를 제어하는
객체 촬영 방법.
The method according to claim 1,
The step of controlling the camera
When the degree of motion of a specific part of the user object is equal to or greater than a threshold value, the camera controls the camera to zoom in on the specific part
Object shooting method.
상기 카메라를 제어하는 단계는
촬영 중 임계값 이상의 소리 또는 진동이 발생한 경우, 상기 카메라의 줌 기능을 제어하는
객체 촬영 방법.
The method according to claim 1,
The step of controlling the camera
When a sound or vibration exceeding a threshold value is generated during shooting, the zoom function of the camera is controlled
Object shooting method.
상기 카메라를 제어하는 단계는
상기 사용자 객체가 상기 카메라를 응시하는 경우, 상기 사용자 객체의 머리가 촬영 화면의 기 설정된 영역에 위치하도록 상기 카메라의 촬영 방향 또는 줌기능을 제어하는
객체 촬영 방법.
The method according to claim 1,
The step of controlling the camera
When the user object gazes at the camera, controls the photographing direction or the zooming function of the camera such that the head of the user object is located in a predetermined area of the photographing screen
Object shooting method.
상기 카메라를 제어하는 단계는
상기 사용자 객체가 이동하는 경우, 상기 사용자 객체의 이동 방향에 따라 상기 카메라의 촬영 방향을 제어하는
객체 촬영 방법.
The method according to claim 1,
The step of controlling the camera
When the user object moves, the photographing direction of the camera is controlled according to the moving direction of the user object
Object shooting method.
상기 사용자 객체의 기 설정된 음성 또는 제스쳐를 인식하는 단계; 및
상기 인식된 음성 또는 제스쳐에 따라 상기 카메라를 제어하는 단계
를 더 포함하는 객체 촬영 방법.
The method according to claim 1,
Recognizing a predetermined voice or gesture of the user object; And
Controlling the camera according to the recognized voice or gesture
Further comprising the steps of:
상기 카메라를 제어하는 단계는
상기 사용자 객체에 대한 상황이 복수의 이벤트에 대응되는 경우, 보다 우선순위가 높은 이벤트에 따라서 상기 카메라를 제어하는
객체 촬영 방법.
The method according to claim 1,
The step of controlling the camera
If the situation for the user object corresponds to a plurality of events, the camera is controlled according to a higher priority event
Object shooting method.
카메라를 이용하여 사용자 객체에 대한 영상을 입력받는 단계;
상기 영상을 이용하여, 상기 사용자 객체의 머리의 경계선을 추출하는 단계;
상기 경계선을 이용하여 상기 사용자 객체를 인식하는 단계; 및
상기 사용자 객체가 촬영 화면의 기 설정된 영역에 위치하도록 상기 카메라의 촬영 방향 또는 줌기능을 제어하는 단계
를 포함하는 객체 촬영 방법.
A method of shooting an object using object recognition,
Receiving an image of a user object using a camera;
Extracting a boundary line of the head of the user object using the image;
Recognizing the user object using the boundary line; And
Controlling the photographing direction or zooming function of the camera such that the user object is located in a predetermined area of the photographing screen
.
상기 카메라의 촬영 방향 또는 줌기능을 제어하는 단계는
상기 카메라와 상기 사용자 객체 사이의 거리 및 상기 사용자 객체의 위치에 따라서, 상기 카메라를 제어하는
객체 촬영 방법.
11. The method of claim 10,
The step of controlling the shooting direction or the zoom function of the camera
And controlling the camera according to the distance between the camera and the user object and the position of the user object
Object shooting method.
사용자 객체를 촬영하는 카메라;
상기 카메라의 촬영 방향을 조절하는 액츄에이터;
상기 카메라를 통해 획득된 상기 사용자 객체에 대한 영상을 이용하여 상기 사용자 객체를 인식하고, 상기 사용자 객체에 대한 상황을 판단하는 상황 판단부; 및
상기 사용자 객체에 대한 상황이 기 설정된 이벤트에 대응되는 경우, 상기 카메라 및 상기 액츄에이터를 제어하는 카메라 제어부
를 포함하는 객체 촬영 시스템.
An object shooting system using object recognition,
A camera for photographing a user object;
An actuator for adjusting a photographing direction of the camera;
A situation determination unit for recognizing the user object using the image of the user object obtained through the camera and determining the status of the user object; And
When the state of the user object corresponds to a predetermined event, the camera control unit controls the camera and the actuator,
And an object photographing system.
상기 객체 촬영 시스템은
음성을 인식하는 음성 인식부를 더 포함하며,
상기 카메라 제어부는
음성 인식 결과에 따라 상기 카메라 및 상기 액츄에이터를 제어하는
객체 촬영 시스템.
13. The method of claim 12,
The object photographing system
And a voice recognition section for recognizing a voice,
The camera control unit
And controlling the camera and the actuator according to a result of speech recognition
Object shooting system.
상기 카메라의 촬영 영상을 영상 수신 장치로 전송하는 통신부
를 더 포함하는 객체 촬영 시스템.
13. The method of claim 12,
A communication unit for transmitting the photographed image of the camera to the image receiving apparatus;
Further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150099329A KR20170008064A (en) | 2015-07-13 | 2015-07-13 | Method and System for Recoding Video Using Object Recognition |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150099329A KR20170008064A (en) | 2015-07-13 | 2015-07-13 | Method and System for Recoding Video Using Object Recognition |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20170008064A true KR20170008064A (en) | 2017-01-23 |
Family
ID=57989957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150099329A KR20170008064A (en) | 2015-07-13 | 2015-07-13 | Method and System for Recoding Video Using Object Recognition |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20170008064A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019151805A1 (en) * | 2018-02-01 | 2019-08-08 | 삼성전자 주식회사 | Electronic device for recognizing user's gesture |
WO2022149704A1 (en) * | 2021-01-07 | 2022-07-14 | 삼성전자주식회사 | Electronic device and control method therefor |
KR102464209B1 (en) * | 2022-01-25 | 2022-11-09 | (주)현명 | Intelligent surveilance camera and intelligent visual surveilance system using the same |
WO2023048837A1 (en) * | 2021-09-23 | 2023-03-30 | Intel Corporation | Contextual usage control of cameras |
-
2015
- 2015-07-13 KR KR1020150099329A patent/KR20170008064A/en not_active Application Discontinuation
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019151805A1 (en) * | 2018-02-01 | 2019-08-08 | 삼성전자 주식회사 | Electronic device for recognizing user's gesture |
KR20190093258A (en) * | 2018-02-01 | 2019-08-09 | 삼성전자주식회사 | An electronic device recognizing a gesture of a user |
US11042223B2 (en) | 2018-02-01 | 2021-06-22 | Samsung Electronics Co., Ltd. | Electronic device for recognizing user's gesture |
WO2022149704A1 (en) * | 2021-01-07 | 2022-07-14 | 삼성전자주식회사 | Electronic device and control method therefor |
WO2023048837A1 (en) * | 2021-09-23 | 2023-03-30 | Intel Corporation | Contextual usage control of cameras |
KR102464209B1 (en) * | 2022-01-25 | 2022-11-09 | (주)현명 | Intelligent surveilance camera and intelligent visual surveilance system using the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11503377B2 (en) | Method and electronic device for processing data | |
US10965875B2 (en) | Query response by a gimbal mounted camera | |
US10375296B2 (en) | Methods apparatuses, and storage mediums for adjusting camera shooting angle | |
US20160343389A1 (en) | Voice Control System, Voice Control Method, Computer Program Product, and Computer Readable Medium | |
KR100840023B1 (en) | Method and system for adjusting pose at the time of taking photos of himself or herself | |
CN107770452B (en) | Photographing method, terminal and related medium product | |
WO2020259073A1 (en) | Image processing method and apparatus, electronic device, and storage medium | |
US11076144B2 (en) | Method and apparatus for obtaining image, storage medium and electronic device | |
KR20170008064A (en) | Method and System for Recoding Video Using Object Recognition | |
US11457139B2 (en) | Photography method, electronic device, and storage medium | |
WO2018095252A1 (en) | Video recording method and device | |
KR101508092B1 (en) | Method and system for supporting video conference | |
US10297285B2 (en) | Video data processing method and electronic apparatus | |
KR20130056529A (en) | Apparatus and method for providing augmented reality service in portable terminal | |
KR101987749B1 (en) | Method and apparatus for virtual hair styling service | |
CN114401371A (en) | Tracking control method, tracking control device, object tracking unit, and storage medium | |
US10250803B2 (en) | Video generating system and method thereof | |
CN112188074B (en) | Image processing method and device, electronic equipment and readable storage medium | |
KR101949218B1 (en) | Method and apparatus for photographing in portable terminal | |
CN108154466A (en) | Image processing method and device | |
JP7267686B2 (en) | Imaging device and its control method | |
CN112637490A (en) | Video production method and device, electronic equipment and storage medium | |
US20150199305A1 (en) | Information processing method and electronic device | |
AU2019200854A1 (en) | A method and system for controlling a camera by predicting future positions of an object | |
KR101850158B1 (en) | Apparatus and method for outputting a image in a portable terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal |