KR20140096694A - Method and apparratus of controlling image contents using feature tracking - Google Patents
Method and apparratus of controlling image contents using feature tracking Download PDFInfo
- Publication number
- KR20140096694A KR20140096694A KR1020130009583A KR20130009583A KR20140096694A KR 20140096694 A KR20140096694 A KR 20140096694A KR 1020130009583 A KR1020130009583 A KR 1020130009583A KR 20130009583 A KR20130009583 A KR 20130009583A KR 20140096694 A KR20140096694 A KR 20140096694A
- Authority
- KR
- South Korea
- Prior art keywords
- change
- image
- feature
- content
- image content
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 영상 출력 방법에 관한 것으로 더욱 상세하게는 영상 컨텐츠를 제어하여 출력하는 방법 및 장치에 관한 것이다.The present invention relates to a video output method, and more particularly, to a method and apparatus for controlling and outputting video content.
최근 닌텐도의 Wii로 시작된 3D 인터페이스를 이용한 체감형 컨텐츠의 제작은 열풍처럼 번지고 있다. Wii와 소니 play station move가 제공하는 새로운 형태의 컨텐츠와 입력 방식은 이제까지 겪어보지 못했던 독특한 사용자 경험을 사용자에게 제공하고 있다. Wii 등에서 사용하는 모션 컨트롤러를 이용하는 사용자는 볼링 등과 같은 체감형 게임을 하기 위해 팔을 휘두르고 화면 속의 객체를 잡기 위해 포인팅도 수행하며, 복싱하듯이 허공에서 펀치를 휘두를 수도 있고 사용자의 이러한 모션을 감지하여 사용자에게 출력되는 컨텐츠가 변할 수 있다.Recently, the production of sensible contents using 3D interface started with Wii of Nintendo is spreading like hot wind. The new forms of content and input provided by the Wii and Sony play station move provide users with a unique user experience that they have never experienced before. A user using a motion controller used in a Wii or the like may swing his / her arm to perform a sensory game such as bowling, perform pointing to catch an object in the screen, or may punch a punch in the air like a boxer, The content output to the user may be changed.
Wii가 처음으로 대중에게 상업적으로 3D UI(user interface)의 체감형 상호 작용 경험을 제공하였다. 하지만, 이 분야의 연구는 VR(virtual reality), HCI(human computer interaction), 컴퓨터 그래픽스 분야에서 관련 연구가 꾸준히 진행되어 왔다고 할 수 있다. 3 차원 상에서 용이하게 내비게이션 및 조작을 수행할 때 어떤 3D 인터랙션(interaction) 기술이 적합한지, 3D 입력 장치는 어떻게 디자인되어야 하는지, 또는 3D 입력 장치, 디스플레이와 인터랙션 간에는 어떤 상호 관련이 있을지에 관한 이슈들이 지속적으로 연구되어 왔다.For the first time, Wii has commercially provided a haptic interactive experience of the 3D user interface (UI) to the public. However, research in this area has been steadily progressing in the fields of virtual reality (VR), human computer interaction (HCI), and computer graphics. Issues related to what 3D interaction techniques are appropriate when navigating and manipulating on 3D, how 3D input devices should be designed, or what interrelationships exist between 3D input devices, displays and interactions Have been studied continuously.
사용자의 동작을 인식하는 닌텐도의 모션 컨트롤러 Wii 리모트 장치와 같은 장치를 PUI(physical user interface)라고 한다. PUI는 사용자가 손에 쥐고 가상 현실 및 게임 컨텐츠를 제어하는 가속도 센서 및 자이로 센서 등이 부착된 상호 작용 장치를 가리키는 용어로 사용될 수 있다.Nintendo's motion controller that recognizes the user's actions A device such as a Wii remote device is called a physical user interface (PUI). The PUI can be used to refer to an interactive device with an acceleration sensor and a gyro sensor attached to it, which controls the virtual reality and game contents in the user's hand.
본 발명의 목적은 특징점 추적 방법을 이용한 영상 컨텐츠 제어 방법을 제공하는 것이다.An object of the present invention is to provide an image content control method using a feature point tracking method.
또한, 본 발명의 또 다른 목적은 특징점 추적 방법을 이용한 영상 컨텐츠 제어 방법을 수행하는 장치를 제공하는 것이다.It is still another object of the present invention to provide an apparatus for performing an image content control method using a feature point tracking method.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 컨텐츠 제어 방법은 입력된 영상 정보에서 특징부를 인식하고 상기 특징부의 위치 변화를 탐지하는 단계, 상기 특징부의 위치 변화에 기초한 영상 컨텐츠 제어를 수행하는 단계를 포함할 수 있되, 상기 특징부는 영상 컨텐츠를 관찰하는 상기 관찰자의 관찰 위치 변화 및 시점 변화를 감지하기 위한 상기 관찰자의 얼굴에 위치한 특정 부위일 수 있다. 상기 특징부의 위치 변화는 상기 관찰자의 관찰 위치 변화 및 시점 변화에 따른 x 축 이동 정보, y 축 이동 정보, z 축 이동 정보, 팬(pan) 정보, 롤(roll) 정보, 틸트(tilt) 정보일 수 있다. 상기 특징부의 위치 변화에 기초한 영상 컨텐츠 제어를 수행하는 단계는 상기 특징부의 위치 변화에 기초한 영상 컨텐츠에 대한 랜더링(rendering)을 수행하는 단계와 상기 특징부의 위치 변화에 기초한 영상 컨텐츠에 대한 와핑(warping)을 수행하는 단계를 포함할 수 있다. 상기 영상 컨텐츠 제어 방법은 상기 특징부의 위치 변화에 기초하여 제어된 상기 영상 컨텐츠를 출력하는 단계와 상기 출력된 영상 컨텐츠를 보정하는 단계를 더 포함할 수 있다. 상기 출력된 영상 컨텐츠를 보정하는 단계는 상기 영상 컨텐츠가 출력된 터치 스크린의 영상을 터치하여 출력된 영상 컨텐츠를 변화시키는 단계, 상기 영상 컨텐츠와 상기 변화된 영상 컨텐츠를 비교하여 영상의 차이를 보정하기 위한 보정 오프셋 값을 산출하는 단계와 상기 보정 오프셋 값을 기초로 영상 컨텐츠를 보정하는 단계를 더 포함할 수 있다. 상기 입력된 영상 정보에서 특징부를 인식하고 상기 특징부의 위치 변화를 탐지하는 단계는, 상기 특징부는 코이고, 상기 특징부의 위치 변화를 아래의 수학식에 의해 탐지하는 단계일 수 있다.According to an aspect of the present invention, there is provided a method for controlling image content, the method comprising: recognizing a feature in input image information and detecting a change in position of the feature; The feature may be a specific region located on the observer's face for detecting a change in the observer's viewing position and a change in the viewing angle of the observer observing the image content. The positional change of the feature may include x-axis movement information, y-axis movement information, z-axis movement information, pan movement information, roll movement information, tilt movement information, . Wherein the step of performing image content control based on the positional change of the feature comprises performing rendering on the image content based on a change in the position of the feature and performing warping on the image content based on the change in the position of the feature, And performing the steps of: The image content control method may further include outputting the image content controlled based on the positional change of the feature and correcting the output image content. Wherein the step of correcting the output image content comprises the steps of: changing an output image content by touching an image of a touch screen on which the image content is output; comparing the image content with the changed image content to correct an image difference Calculating a correction offset value, and correcting the image content based on the correction offset value. The step of recognizing a feature in the input image information and detecting a change in the position of the feature may be a step of detecting a change in position of the feature by the following equation.
<수학식>≪ Equation &
상기 특징부의 위치 변화는 유무선 통신 네트워크를 통해서 전송되는 정보일 수 있다. 상기 영상 컨텐츠는 3 D(dimensional) 컨텐츠일 수 있다.The location change of the feature may be information transmitted over a wire / wireless communication network. The image content may be 3D content.
상술한 본 발명의 또 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 컨텐츠 제어 장치는 입력된 영상 정보에서 특징부를 인식하고 상기 특징부의 위치 변화를 탐지하도록 구현되는 이미지 추적부, 상기 특징부의 위치 변화에 기초한 영상 컨텐츠 제어를 수행하도록 구현되는 컨텐츠 제어부를 포함하되, 상기 특징부는 영상 컨텐츠를 관찰하는 상기 관찰자의 관찰 위치 변화 및 시점 변화를 감지하기 위한 상기 관찰자의 얼굴에 위치한 특정 부위일 수 있다. 상기 특징부의 위치 변화는 상기 관찰자의 관찰 위치 변화 및 시점 변화에 따른 x 축 이동 정보, y 축 이동 정보, z 축 이동 정보, 팬(pan) 정보, 롤(roll) 정보, 틸트(tilt) 정보일 수 있다. 상기 컨텐츠 제어부는 상기 특징부의 위치 변화에 기초한 영상 컨텐츠에 대한 랜더링(rendering) 및 와핑(warping)을 수행하도록 구현될 수 있다. 상기 영상 컨텐츠 제어 장치는 상기 특징부의 위치 변화에 기초하여 제어된 상기 영상 컨텐츠를 출력하도록 구현되는 컨텐츠 출력부, 상기 출력된 영상 컨텐츠를 보정하도록 구현되는 영상 보정부를 더 포함할 수 있다. 상기 영상 보정부는 상기 영상 컨텐츠가 출력된 터치 스크린의 영상을 터치하여 출력된 영상 컨텐츠를 변화시키고 상기 영상 컨텐츠와 상기 변화된 영상 컨텐츠를 비교하여 영상의 차이를 보정하기 위한 보정 오프셋 값을 산출하고 상기 보정 오프셋 값을 기초로 영상 컨텐츠를 보정하도록 구현될 수 있다. 상기 이미지 추적부는 상기 특징부는 코이고, 상기 특징부의 위치 변화를 아래의 수학식에 의해 탐지하도록 구현될 수 있다.According to another aspect of the present invention, there is provided an image content control apparatus including an image tracking unit configured to recognize a feature in input image information and detect a change in position of the feature, And a content control unit configured to perform image content control based on the positional change, wherein the feature may be a specific region located on the observer's face for sensing a change in the observer's viewing position and a change in the viewing angle of the observer observing the image content . The positional change of the feature may include x-axis movement information, y-axis movement information, z-axis movement information, pan movement information, roll movement information, tilt movement information, . The content control unit may be configured to perform rendering and warping of image contents based on a change in the position of the feature unit. The image content control apparatus may further include a content output unit configured to output the image content controlled based on a change in the position of the feature unit, and an image correction unit configured to correct the output image content. Wherein the image correction unit changes the output image content by touching the image of the touch screen on which the image content is output, compares the image content with the changed image content, calculates a correction offset value for correcting the difference of the image, And to correct the image content based on the offset value. The image tracking unit may be configured to detect the position change of the feature by the following equation.
<수학식>≪ Equation &
상기 특징부의 위치 변화는 유무선 통신 네트워크를 통해서 전송되는 정보일 수 있다. 상기 영상 컨텐츠는 3 D(dimensional) 컨텐츠일 수 있다.The location change of the feature may be information transmitted over a wire / wireless communication network. The image content may be 3D content.
상술한 바와 같이 본 발명의 실시예에 따른 특징점 추적 방법을 이용한 영상 컨텐츠 제어 방법 및 장치는 입력된 영상 정보에서 특징부를 인식하고 특징부의 위치 변화를 탐지하고 특징부의 위치 변화에 기초한 영상 컨텐츠의 제어를 수행할 수 있다. 따라서, 영상 컨텐츠의 관찰자의 시점에 맞게 영상 컨텐츠를 출력하여 관찰자에게 출력함으로서 관찰자의 시점 변화 및 이동에 따라 현실감있는 화면을 제공받을 수 있다.As described above, the method and apparatus for controlling image contents using the feature point tracking method according to the embodiment of the present invention recognize features in input image information, detect a change in position of the feature, and control image contents based on a change in position of the feature Can be performed. Accordingly, by outputting the image content according to the viewpoint of the observer of the image content and outputting it to the observer, a realistic image can be provided according to the viewpoint change and movement of the observer.
도 1은 본 발명의 실시예에 따른 3D 컨텐츠 제어 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 얼굴의 위치 변화를 산출하는 방법을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 산출된 영상을 보정하는 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 3D 컨텐츠 제어 방법을 나타낸 순서도이다.
도 5 및 도 6은 본 발명의 실시예에 따른 3D 컨텐츠 제어 방법을 사용할 경우 생성되는 영상을 나타낸 개념도이다.1 is a conceptual diagram illustrating a 3D content control apparatus according to an embodiment of the present invention.
FIG. 2 is a conceptual diagram illustrating a method of calculating a face position change according to an embodiment of the present invention.
3 is a conceptual diagram illustrating a method of correcting a calculated image according to an embodiment of the present invention.
4 is a flowchart illustrating a 3D content control method according to an embodiment of the present invention.
5 and 6 are conceptual diagrams illustrating images generated when the 3D content control method according to an embodiment of the present invention is used.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the following description of the embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present disclosure rather unclear.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . In addition, the description of "including" a specific configuration in the present invention does not exclude a configuration other than the configuration, and means that additional configurations can be included in the practice of the present invention or the technical scope of the present invention.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.In addition, the components shown in the embodiments of the present invention are shown independently to represent different characteristic functions, which does not mean that each component is composed of separate hardware or software constituent units. That is, each constituent unit is included in each constituent unit for convenience of explanation, and at least two constituent units of the constituent units may be combined to form one constituent unit, or one constituent unit may be divided into a plurality of constituent units to perform a function. The integrated embodiments and separate embodiments of the components are also included within the scope of the present invention, unless they depart from the essence of the present invention.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.In addition, some of the components are not essential components to perform essential functions in the present invention, but may be optional components only to improve performance. The present invention can be implemented only with components essential for realizing the essence of the present invention, except for the components used for the performance improvement, and can be implemented by only including the essential components except the optional components used for performance improvement Are also included in the scope of the present invention.
이하, 본 발명의 실시예에서는 3D(dimensional) 컨텐츠를 제어하는 방법에 대해 주로 개시하지만, 3D 컨텐츠가 아닌 컨텐츠에서 이하 본 발명의 실시예에 따른 컨텐츠 제어 방법이 적용될 수 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
Hereinafter, a method for controlling 3D contents will be mainly described in the embodiment of the present invention. However, a content control method according to an embodiment of the present invention may be applied to contents other than 3D contents, Are included in the scope of right.
도 1은 본 발명의 실시예에 따른 3D 컨텐츠 제어 장치를 나타낸 개념도이다. 1 is a conceptual diagram illustrating a 3D content control apparatus according to an embodiment of the present invention.
도 1을 참조하면, 3D 컨텐츠 제어 장치는 이미지 추적부(100) 및 3D 컨텐츠 제어부(150)를 통해 구현될 수 있다.Referring to FIG. 1, a 3D content control apparatus may be implemented through an image tracking unit 100 and a 3D content control unit 150.
이미지 추적부(100)는 영상 촬영 장치(140)를 통해 입력된 영상 정보에 포함된 특정한 이미지를 선택하여 추적하기 위해 구현될 수 있다. 본 발명의 실시예에 따른 영상 컨텐츠 제어 방법 및 장치에서는 입력된 영상 정보에 포함된 특정한 이미지를 인식하여 이미지의 이동을 추적하여 이미지의 이동에 따른 3D 컨텐츠를 제어하는 방법에 대해 개시한다.The image tracking unit 100 may be implemented to select and track a specific image included in the image information input through the
이하, 본 발명의 실시예에서는 설명의 편의상 3D 컨텐츠를 렌더링 및 와핑하기 위해 추적하는 이미지를 사람의 얼굴의 일부로 가정하여 설명한다. 하지만, 사람의 얼굴뿐만 아니라 다양한 이미지가 본 발명에 적용될 수 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함될 수 있다.Hereinafter, in an embodiment of the present invention, for the sake of explanation, an image to be traced to render and warp 3D content is assumed as a part of a human face. However, various images as well as a face of a person can be applied to the present invention, and such embodiments can also be included in the scope of the present invention.
3D 컨텐츠 제어부(150)는 이미지 추적부(100)를 통해 추적된 이미지의 이동에 따라 3D 컨텐츠를 새롭게 렌더링(rendering)하기 위해 구현될 수 있다. 각 구성부는 개별적인 구성부로 아래와 같은 구성부들을 더 포함할 수 있다. The 3D content controller 150 may be implemented to newly render 3D content according to the movement of the tracked image through the image tracking unit 100. Each constituent part may further include the following constituent parts as individual constituent parts.
이미지 추적부(100)는 얼굴 인식부(120), 얼굴 위치 변화 산출부(130), 통신부(110)를 포함할 수 있다.The image tracking unit 100 may include a face recognizing unit 120, a face position change calculating unit 130, and a communication unit 110.
얼굴 인식부(120)는 영상 정보에 포함된 얼굴을 인식하기 위해 구현될 수 있다. 얼굴 인식부(120)에서는 얼굴 중 일부의 특징부(예를 들어, 눈, 코, 입 등)을 인식하여 구현될 수 있다. 영상 정보에 포함된 얼굴의 특징부(또는 특징점)을 인식하기 위한 방법으로는 다양한 방법이 사용될 수 있다. 예를 들어, 명암 정보를 이용하여 눈 영역을 검출하는 에지 기반 눈 영역 추출 기술, 얼굴의 피부색 정보를 이용하여 얼굴 검출을 수행하는 에지/컬러 기반 얼굴 영역 추출 기술, 얼굴의 좌측과 우측의 대칭성을 기반으로 얼굴 검출을 수행하는 대칭축 기반 얼굴 영역 추출 기술 등 이외에도 다양한 방법을 영상 정보에 포함된 얼굴의 특징부를 인식하기 위해 사용할 수 있다.The face recognition unit 120 may be implemented to recognize a face included in the image information. The face recognizing unit 120 may be realized by recognizing a feature of a part of the face (e.g., eyes, nose, mouth, etc.). Various methods can be used as a method for recognizing a feature part (or a feature point) of a face included in the image information. For example, edge-based eye area extraction technique that detects eye area using contrast information, edge / color based face area extraction technology that performs face detection using face skin color information, and left and right symmetry of face A facial region extracting technique based on a symmetric axis for performing face detection based on a face image, and various other methods can be used for recognizing facial features included in image information.
얼굴 위치 변화 산출부(130)는 얼굴 인식부(120)에서 인식된 얼굴의 이동을 추적하여 얼굴의 위치 변화에 관련된 정보를 산출할 수 있다.The face position change calculation unit 130 may track the movement of the face recognized by the face recognition unit 120 to calculate information related to the position change of the face.
얼굴 위치 변화 산출부(130)는 눈, 코, 입 등의 얼굴 부위가 식별 가능한 해상도로 인물 머리 부분이 관찰되는 경우에는 얼굴 부위를 특징점으로 한 모델 베이스를 활용하여 얼굴의 위치 변화를 산출할 수 있다.얼굴의 위치 변화 정보는 3D 컨텐츠를 관찰하는 관찰자의 시점의 변화 관찰 위치의 변화 정보를 포함할 수 있다. 예를 들어, 얼굴 위치 변화를 산출하기 위해 눈, 코, 입 등의 얼굴 부위가 끝나는 점을 특징점으로서 인물 머리 부분의 3 차원 위치와 자세(roll, yaw, pitch)를 추적할 수 있다. 추가적으로 입을 열거나 미간을 찌푸리거나 하는 얼굴의 변형을 모델화함으로서 자세의 변동뿐만 아니라, 표정의 변화에 대해서도 정밀한 추적을 수행할 수도 있다.The face position change calculator 130 can calculate the face position change using the model base having the face region as a minutiae when the head portion of the person is observed at a resolution at which face portions such as eyes, nose, The position change information of the face may include change information of the change observation position of the viewpoint of the observer observing the 3D content. For example, in order to calculate the change of the face position, it is possible to track the three-dimensional position and posture (roll, yaw, pitch) of the head of the person as a feature point at the end of the face portion such as the eyes, nose, and mouth. In addition, by modeling the deformation of the face which opens the mouth or fills the face, it is possible to perform not only the change of the posture but also the change of the facial expression.
예를 들어, 3D 모델 기반 추적(3D model-based tracking) 방법 중 3D 실린더 모델은 3D 공간상의 얼굴을 3D 실린더로 근사하여 모델링하고 모델링된 얼굴은 2D 평면으로 원근 투영할 수 있다. 원근 투영된 2D 이미지는 3D 공간에서 얼굴의 이동과 포즈 변화를 반영하며 이로 인하여 3D 공간에서 얼굴의 이동과 회전 등의 변화를 추적할 수 있다. 실린더 모델은 급격한 대상의 이동 및 포즈 변화에 대응하기 위하여 파티클 필터를 적용하였으며 얼굴 추적 성능을 향상 시킬 수 있다.For example, in the 3D model-based tracking method, the 3D cylinder model can approximate a face in 3D space with a 3D cylinder and project the modeled face to a 2D plane in perspective. The perspective projected 2D image reflects the movement and pose of the face in the 3D space, and thus it can track changes such as the movement and rotation of the face in the 3D space. In the cylinder model, a particle filter is applied to cope with the rapid movement and pose change of the object, and the face tracking performance can be improved.
또 다른 방법으로 연산량을 낮추기 위해 원근 투영된 3D 움직임 파라미터 기반의 특징 추출 및 선택 방법을 사용할 수 있다. 대상(object)을 추적하는데 있어서 모든 특징의 기여도는 동일하지 않으며 기여도가 높은 일부 특징만을 추적에 이용함으로서 유사한 성능을 유지하면서도 추적 속도를 향상 시킬 수도 있다. 따라서, 이러한 방법을 사용할 경우 적은 수의 특징에서도 유사한 추적 성능을 유지 하면서도 빠르게 동작할 수 있다.
Another way is to use 3D motion parameter-based feature extraction and selection methods to reduce computational complexity. In tracing an object, not all features contribute to the same trait, but only some of the traits that contribute are used for tracking, which may improve tracking speed while maintaining similar performance. Therefore, using this method, even a small number of features can operate quickly while maintaining similar tracking performance.
도 2는 본 발명의 실시예에 따른 얼굴의 위치 변화 정보를 산출하는 방법을 나타낸 개념도이다.2 is a conceptual diagram illustrating a method for calculating face position change information according to an embodiment of the present invention.
도 2를 참조하면, 얼굴의 위치 이동에 따라 x 축 이동 정보, y 축 이동 정보, z 축 이동 정보, 팬(pan) 정보(200), 롤(roll) 정보(240), 틸트(tilt) 정보(220)를 산출하여 얼굴의 위치 변화에 대한 정보를 산출할 수 있다.Referring to FIG. 2, x-axis movement information, y-axis movement information, z-axis movement information, pan
x 축 이동 정보, y 축 이동 정보, z 축 이동 정보, 팬(pan) 정보(200), 롤(roll) 정보(240), 틸트(tilt) 정보(220)는 아래의 수학식 1을 이용하여 산출될 수 있다. 수학식 1에서 개시한 x 축 이동 정보, y 축 이동 정보, z 축 이동 정보, 팬(pan) 정보(200), 롤(roll) 정보(240), 틸트(tilt) 정보(220)를 산출하기 위한 수식은 얼굴의 특징점 위치 변화 정보를 산출하기 위한 하나의 예시적인 수학식으로서 얼굴의 특징점 위치 변화 정보를 산출하기 위한 다른 수학식도 사용될 수 있고 이러한 실시예도 본 발명의 권리 범위에 포함될 수 있다.axis information, x-axis movement information, y-axis movement information, z-axis movement information, pan
<수학식 1>&Quot; (1) "
수학식 1을 참조하면, x 축, y 축, z 축 방향을 기준으로 한 이동 정보는 얼굴의 코를 특징점으로 잡아 판단하는 것을 나타낸다. 수학식 1에서 사용하는 코는 얼굴의 위치 변화를 탐지하기 위한 하나의 특징부(또는 특징점)이다. 얼굴의 위치 변화를 감지하기 위해 코가 아닌 눈이나 입과 같은 다른 얼굴의 특징부를 판단할 수도 있고 이러한 경우 수학식 1의 수식이 변할 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.Referring to Equation (1), movement information based on the x-axis, y-axis, and z-axis directions indicates that the facial nose is determined as a feature point. The nose used in Equation (1) is one feature (or feature point) for detecting a change in the position of the face. In order to detect a change in the position of the face, it is possible to determine the feature of another face such as an eye or a mouth other than the nose. In this case, the formula of Equation (1) may change and such an embodiment is also included in the scope of the present invention.
도 2를 참조하면, 팬(PAN)(200)은 얼굴이 상하 위치로 움직이는 정보, 틸트(tilt)(220)는 얼굴을 갸우뚱 움직이는 정보, 롤(Roll)(240)은 얼굴을 좌우로 움직이는 정보를 반영한 값을 산출하여 얼굴의 위치 변화 정보를 산출할 수 있다. 산출된 얼굴 이동 정보는 소정의 비트 정보(예를 들어, 4비트 정보)로서 산출되어 후술할 통신부를 통해 정보를 3D 컨텐츠 제어부(150)로 전송될 수 있다.Referring to FIG. 2, the
통신부(110)는 카메라(140)로부터 촬영된 영상 정보를 수신하고 얼굴 인식부(120), 얼굴 위치 변화 산출부(130)에 의해 산출된 얼굴의 위치 변화 정보를 3D 컨텐츠 제어부(150)로 전송하여 얼굴의 위치 변화 정보를 반영한 3D 컨텐츠의 렌더링(rendering) 및 와핑(warping)을 수행하도록 할 수 있다. 통신부(110)는 카메라(140) 및/또는 3D 컨텐츠 제어부(150)에 유선 또는 무선으로 연결되어 영상 정보를 얼굴 인식부(120) 또는 얼굴 위치 변화 산출부(130)에 전송하여 산출된 얼굴의 위치 변화 정보를 3D 컨텐츠 제어부(150)로 전송할 수 있다.The communication unit 110 receives the image information photographed from the
본 발명의 실시예에 따른 3D 컨텐츠 렌더링 방법은 구성부의 네트워킹에 따라 다양한 실시예를 가질 수 있고 이러한 다양한 구현 방법이 본 발명의 권리 범위에 포함될 수 있다. 예를 들어, 이미지 추적부(100) 및 3D 컨텐츠 제어부(150)는 외부의 서버에 구현되어 있어 카메라에서 전송된 영상 정보가 데이터 네트워크를 패킷망을 통해 외부 인터넷을 통해 서버로 전송될 수도 있다. 서버의 이미지 추적부(100) 및 3D 컨텐츠 제어부(150)를 통해 산출된 렌더링 및 와핑된 이미지 정보는 사용자의 디스플레이로 다시 전송되어 카메라(140)와 같은 영상 촬영 장치에 의해 산출된 영상에서 얼굴의 특징점의 위치 변화에 따라 제어된 3D 컨텐츠를 출력할 수 있다. 또한, 통신부(110)는 카메라(140)또는 3D 컨텐츠 제어부(150)에 포함되어 구현될 수도 있다. The 3D content rendering method according to an embodiment of the present invention may have various embodiments according to the networking of the constituent parts, and the various implementation methods may be included in the scope of the present invention. For example, the image tracking unit 100 and the 3D content control unit 150 are implemented in an external server, so that the image information transmitted from the camera can be transmitted to the server through the external Internet through the packet network. The rendered and waved image information calculated through the image tracking unit 100 and the 3D content control unit 150 of the server are transmitted to the display of the user again and the face image of the face It is possible to output the controlled 3D content according to the change of the position of the minutiae point. Also, the communication unit 110 may be included in the
3D 컨텐츠 제어부(150)에서는 전송된 얼굴의 위치 변화를 기초로 3D 컨텐츠를 렌더링 및 와핑하여 시점의 변화 및 신체의 이동에 따러 3D 컨텐츠를 렌더링 및 와핑시켜 출력할 수 있다. 3D 컨텐츠 제어부(150)는 렌더링부(170), 와핑부(160), 로딩부(180), 출력부(190)를 포함할 수 있다.The 3D content control unit 150 may render and
로딩부(180)는 렌더링 및 와핑을 수행할 3D 컨텐츠를 로딩하기 위해 구현될 수 있다.The loading unit 180 may be implemented to load 3D content to perform rendering and warping.
렌더링부(170)는 통신부(110)에서 전송된 얼굴 이동 변화 정보를 기초로 로딩부(180)에 로딩된 3D 컨텐츠에 대한 렌더링을 수행할 수 있다. 렌더링은 3차원으로 표현된 물체의 형상에 자연 환경에서 발생하는 효과(물체 고유의 색, 재질, 그림자, 빛의 반사, 굴절, 투명도 등)을 고려하여 3차원 영상을 생성하는 방법을 지시한다. 3D 컨텐츠를 렌더링하는 방법에는 광선 추적법, 쉐이딩(shading) 방법, 쉐도우(shadow) 생성 방법 등 다양한 방법이 사용될 수 있다. 즉, 렌더링부(170)에서는 얼굴 이동 변화값을 기초로 발생되는 3D 컨텐츠의 형상 변화를 반영하여 3D 컨텐츠를 변화시킬 수 있다.The rendering unit 170 may render the 3D content loaded on the loading unit 180 based on the face movement change information transmitted from the communication unit 110. [ Rendering refers to a method of generating a three-dimensional image in consideration of the effect (natural color, material, shadow, reflection of light, refraction, transparency, etc.) occurring in a natural environment on the shape of an object expressed in three dimensions. Various methods such as a ray tracing method, a shading method, and a shadow generating method can be used as a method of
와핑부(160)는 통신부에서 전송된 얼굴 이동 변화 정보를 기초로 3D 컨텐츠를 와핑시킬 수 있다. 와핑은 영상의 깊이 정보를 이용하여 특정 시점의 영상을 다른 시점의 영상으로 재투영하는 방법이다. 와핑부(160)에서는 얼굴 이동 변화값을 기초로 현재 촬영자의 시점의 변화를 검출하여 그에 따라 특정 시점의 3D 컨텐츠를 생성할 수 있다. 좀 더 정확한 3D 컨텐츠 변화를 생성하기 위해서는 촬영된 영상에서 코의 위치가 아닌 눈동자의 위치와 같은 시점 변화를 좀 더 명확하게 감지할 수 있는 인체 부위를 트래킹하여 산출된 시점의 이동 변화값을 산출하여 이미지를 와핑할 수도 있다. 렌더링부(170) 및 와핑부(160)는 하나의 구성부로 구현될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.The wiping unit 160 may wipe the 3D content based on the face movement change information transmitted from the communication unit. Wrapping is a method of re-projecting an image at a specific time point to an image at another time point using depth information of the image. The wiping unit 160 can detect a change in the viewpoint of the current photographer based on the face movement change value and generate the 3D content at a specific point in time. In order to generate a more accurate 3D content change, a human body part that can more clearly detect a point of view such as a pupil position rather than a position of a nose in a photographed image is tracked and a movement change value at a calculated point is calculated Images can also be watermarked. The rendering unit 170 and the wiping unit 160 may be implemented as one component, and such an embodiment is also included in the scope of the present invention.
출력부(190)는 렌더링 및 와핑을 수행한 3D 컨텐츠를 출력하기 위해 구현될 수 있다.The output unit 190 may be implemented to
출력부(190)에서 출력된 영상을 기초로 사용자는 3D 컨텐츠의 렌더링 및 와핑값에 대한 피드백을 수행할 수 있다. 예를 들어, 사람에 따라 특정한 영상을 볼 때 시점 및 시야 각은 개인적인 차이가 존재할 수 있다. 이러한 개별적 신체적 특성에 기초하여 출력되는 3D 컨텐츠의 렌더링 및 와핑 정도를 조절하도록 할 수 있다.Based on the image output from the output unit 190, the user can perform 3D content rendering and feedback on the wipe value. For example, when viewing a specific image according to a person, there may be individual differences in viewpoint and viewing angle. The degree of rendering and warping of the
예를 들어, 이미지 추적부(100)에 이러한 개별적인 렌더링 및 와핑 변수를 조절하기 위한 인터페이스가 포함되어, 출력부(190)에서 산출된 영상을 기초로 렌더링 및 와핑 변수를 조절하고 조절된 변수값을 다시 3D 컨텐츠 제어부(150)에 피드백하여 3D 컨텐츠를 생성시 조정된 변수값을 기초로 3D 컨텐츠를 생성할 수 있도록 할 수 있다. For example, the image tracking unit 100 may include an interface for adjusting the individual rendering and the warping parameters. The image rendering unit 100 may adjust rendering and warping parameters based on the image generated by the output unit 190, The 3D content controller 150 may feed back the generated 3D content to the 3D content controller 150 to generate the 3D content based on the adjusted variable value.
3D 컨텐츠를 출력하는 디스플레이가 터치 패널로 구성되는 경우, 터치 패널에 구비된 회전 및 줌과 같은 터치 패널을 이용한 영상 제어 기능을 활용하여 직관적으로 렌더링 및 와핑되어 출력된 3D 컨텐츠를 보정할 수 있다. 예를 들어, 3D 컨텐츠 제어부(150)에서 시점이 10도가 틀어진 것으로 판단하여 시점의 변화를 고려한 3D 컨텐츠를 생성하여 3D 컨텐츠 관찰자에게 출력하는 경우를 가정할 수 있다. 이러한 경우에도 개인적인 시각적 특성에 따라 출력된 3D 컨텐츠가 정확하게 생성되지 않았다고 느낄 수 있다. When the display for outputting the 3D content is constituted by a touch panel, it is possible to correct the 3D content that is intuitively rendered and watermarked by utilizing the image control function using the touch panel such as the rotation and zoom provided in the touch panel. For example, it may be assumed that the 3D content controller 150 determines that the viewpoint is changed by 10 degrees and generates 3D content considering the change of the viewpoint, and outputs the generated 3D content to the 3D content observer. Even in this case, it may be felt that the
이러한 경우, 출력부에 출력된 3D 컨텐츠를 터치 기능을 이용하여 자신의 시각적인 특성에 맞도록 회전 및 줌과 같은 영상의 재보정을 수행함으로서 자신의 시각 특성에 맞는 3D 컨텐츠가 출력되도록 할 수 있다. 한번 보정된 값은 추후 3D 컨텐츠 제어부에서 렌더링 및 와핑을 수행 시 오프셋 값으로 활용되어 오프셋 값을 반영하여 렌더링 및 와핑 시 지속적으로 반영될 수 있다. 이러한 3D 컨텐츠에 대한 영상 보정을 수행하는 부분을 보정부라고 할 수 있다. 이러한 3D 컨텐츠 보정 방법에 대해서는 이하, 도 3에서 상세히 기술한다. In this case, the 3D content output to the output unit can be re-corrected such that the 3D content is rotated and zoomed in accordance with the visual characteristic of the 3D content using the touch function, . The once corrected value may be used as an offset value in rendering and warping in the 3D content control unit, and may be continuously reflected in rendering and warping reflecting the offset value. The part performing the image correction on the 3D contents can be referred to as a correction part. The 3D content correction method will be described in detail below with reference to FIG.
이미지 추적부(100)와 3D 컨텐츠 제어부(150)는 설명의 편의상 분리하여 표현한 것으로서 두 개의 구성부가 하나의 구성부로 합쳐지거나 둘 이상의 구성부로 분리되어 구현될 수도 있다. 또한 이미지 추적부(100)와 3D 컨텐츠 제어부(150)에 포함된 개별 구성부는 설명의 편의상 각각의 구성부에 포함시켜 표현한 것으로서 본 발명의 본질에 따른 필수적인 구성부가 아닌 경우, 반드시 이미지 추적부(100)와 3D 컨텐츠 제어부(150)에 포함되지 않을 수도 있다. The image tracking unit 100 and the 3D content control unit 150 are separately expressed for convenience of explanation, and the two component units may be combined into one component unit or separated into two or more components. The individual components included in the image tracking unit 100 and the 3D content control unit 150 are included in the respective components for the sake of convenience of description and are not essential components according to the essence of the present invention, And the 3D content control unit 150 may not be included.
또한 이미지 추적부(100)와 3D 컨텐츠 제어부(150)에 포함된 개별 구성부도 역시 설명의 편의상 각각의 구성부를 분리하여 설명한 것으로서 하나 또는 복수의 구성부로 통합적으로 구현될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
Also, the individual components included in the image tracking unit 100 and the 3D content control unit 150 may also be integrated into one or a plurality of components separately from each other for convenience of explanation. Are included in the scope of right.
도 3은 본 발명의 실시예에 따른 산출된 영상을 보정하는 방법을 나타낸 개념도이다. 3 is a conceptual diagram illustrating a method of correcting a calculated image according to an embodiment of the present invention.
도 3의 (A)를 참조하면, 터치 스크린에 출력된 영상에 대하여 와핑된 정도를 조절하기 위해 터치 스크린에 출력된 영상의 기울기를 터치 기능을 이용하여 보정할 수 있다. 예를 들어, 영상이 자신이 생각하는 이미지보다 우측으로 너무 이동된 경우 출력된 이미지를 좌측 방향으로 일부 움직임으로서 3D 컨텐츠에 대한 보정을 수행할 수 있다.Referring to FIG. 3A, the slope of the image output to the touch screen may be corrected using a touch function to adjust the degree of warping of the image output to the touch screen. For example, when the image is moved too far to the right than the image that the user thinks, the 3D content can be corrected by moving the output image in the left direction.
즉, 3D 컨텐츠 관찰자는 출력된 영상이 자신이 시점을 이동한 위치와 달라 시각적인 이질감을 느낄 경우, 디스플레이에 출력된 3D 컨텐츠에 대한 직접적인 보정을 수행할 수 있다. That is, the 3D content observer can directly correct the 3D content output to the display when the output image feels a visual sense of heterogeneity different from the position at which the output image moves.
도 3의 (B)를 참조하면, 터치 스크린에 출력된 영상에 대하여 와핑된 정도를 조절하기 위해 터치 스크린에 출력된 영상의 확대 및 축소를 터치 기능을 이용하여 보정할 수 있다. 예를 들어, 영상이 자신이 생각하는 이미지보다 너무 확대되어 출력된 것으로 판단되는 경우, 해당 영상을 조금 축소하도록 터치 기능을 이용하여 3D 컨텐츠에 대한 보정을 수행할 수 있다.
Referring to FIG. 3 (B), the magnification and reduction of the image output to the touch screen may be corrected using a touch function to adjust the degree of warping of the image output to the touch screen. For example, when it is determined that the image is enlarged and output more than the image thought by the user, the 3D content can be corrected using the touch function to reduce the image slightly.
도 4는 본 발명의 실시예에 따른 3D 컨텐츠 제어 방법을 나타낸 순서도이다. 4 is a flowchart illustrating a 3D content control method according to an embodiment of the present invention.
도 4를 참조하면, 영상 정보에서 특정한 특징부의 위치를 인식한다(단계 S400).Referring to FIG. 4, the position of a specific feature is recognized in the image information (step S400).
본 발명의 실시예에 따른 얼굴 위치 변화에 따른 3D 컨텐츠 제어 방법에서는 얼굴 중 특징부의 위치를 기준으로 얼굴의 위치 변화값을 산출하여 3D 컨텐츠를 제어할 수 있다. 단계 S400에서는 얼굴의 위치 변화값을 산출하기 위해 얼굴에서 특징부를 인식할 수 있다. 예를 들어, 얼굴에서 코, 눈, 입과 같은 특징부를 기초로 3D 컨텐츠를 관찰하는 관찰자의 시점 변화 및 관찰 위치 변화와 같은 정보를 관찰자의 시점 변화 및 관찰 위치 변화와 같은 정보를 산출할 수 있다. 관찰자의 시점 변화 및 관찰 위치 변화와 같은 정보를 포괄하는 의미로 얼굴의 위치 변화 정보라는 용어를 정의하여 사용할 수 있다. 얼굴에서 하나의 특징부가 아니라 복수의 특징부를 인식할 수도 있다.According to the 3D content control method according to the present invention, the 3D content can be controlled by calculating the position change value of the face based on the position of the feature in the face. In step S400, the feature can be recognized from the face to calculate the position change value of the face. For example, it is possible to calculate information such as a viewpoint change of an observer and a change of an observation position, such as a viewpoint change of an observer observing a 3D content based on features such as a nose, an eye, and a mouth, . The term " position change information of face " can be defined and used to encompass information such as an observer's viewpoint change and an observation position change. It is possible to recognize a plurality of features instead of one feature in the face.
얼굴의 위치 변화 정보를 산출한다(단계 S410).The position change information of the face is calculated (step S410).
단계 S400에서 인식한 특징부를 기초로 얼굴의 위치 변화를 인식할 수 있다. 예를 들어, 전술한 수학식 1과 같이 얼굴의 중 코를 중심으로 x, y, z 축으로 변화 방향 뿐만 아니라 팬(pan) 정보, 롤(roll) 정보, 틸트(tilt) 정보를 산출하여 얼굴의 위치 변화 값을 산출할 수 있다. 산출된 변수는 3D 컨텐츠 제어를 수행하기 위해 사용될 수 있다.The change in the position of the face can be recognized based on the recognized feature in step S400. For example, as shown in Equation 1, pan information, roll information, and tilt information are calculated along the x, y, and z axes centering on the middle of the face, Can be calculated. The calculated variables can be used to perform 3D content control.
얼굴의 위치 변화 정보를 기초로 3D 컨텐츠를 제어한다(단계 S420).The 3D content is controlled based on the face position change information (step S420).
3D 컨텐츠를 제어하기 위해서 3D 컨텐츠를 로딩한 후, 얼굴의 위치 변화 정보를 기초로 렌더링 및 와핑을 수행할 수 있다. 예를 들어, 단계 S400을 통해 눈동자 및 코를 얼굴에서 인식하고 단계 S410을 통해 눈동자 및 코의 위치 변화를 감지할 수 있다.After the 3D content is loaded to control the 3D content, rendering and warping can be performed based on the position change information of the face. For example, the pupil and the nose are recognized on the face through step S400, and the change of the position of the pupil and the nose can be detected through step S410.
눈동자의 위치를 기초로 3D 컨텐츠의 관찰자의 시점 변화과 같은 얼굴 위치 변화 정보를 감지할 수 있다.예를 들어, 관찰자의 눈동자가 좌측으로 이동할 경우, 관찰자의 시점 변화를 감지하여 3D 컨텐츠를 관찰자의 시점을 기준으로 렌더링 및 와핑을 수행할 수 있다. 또 다른 예로 관찰자의 코가 앞으로 이동하는 경우, 관찰자가 좀 더 자세히 보는 것이므로 이러한 관찰자의 관찰 위치 변화에 따른 3D 컨텐츠의 변화를 고려하여 3D 컨텐츠의 일부분을 확대할 수 있다.For example, when the pupil of the observer moves to the left, it is possible to detect the change of the viewpoint of the observer to detect the 3D content at the observer's viewpoint Lt; RTI ID = 0.0 > and / or < / RTI > Another example is that when the observer's nose moves forward, the observer looks more closely, so that a portion of the 3D content can be enlarged in consideration of the change in 3D content due to the change of the observer's viewing position.
3D 컨텐츠를 출력한다(단계 S430).3D content is output (step S430).
단계 S420을 통해 렌더링 및 와핑과 같은 영상 처리 기법에 의해 처리된 3D 컨텐츠를 출력할 수 있다. 출력된 3D 컨텐츠는 관찰자의 시점을 기준으로 생성된 것으로 관찰자에게 제공될 수 있다. 관찰자는 렌더링 및 와핑된 3D 컨텐츠를 기준으로 렌더링 및 와핑 변수에 대한 보정을 수행할 수 있다.The 3D content processed by the image processing technique such as rendering and warping can be output through step S420. The
예를 들어, 이미지 추적부에 구비된 인터페이스를 기반으로 시각적 이질감을 해소하기 위해 렌더링 및 와핑 수행 변수를 다시 입력할 수 있다. 또 다른 방법으로 출력부가 터치 스크린으로 구비된 경우, 터치 기능을 통해 와핑된 이미지를 자신의 얼굴의 위치 변화 및 시점 변화를 반영하도록 줌(zoom) 기능 및 회전 기능을 통해 보정할 수 있다. 출력된 3D 컨텐츠에 대한 보정이 수행되는 경우 보정을 수행하는데 사용된 변수를 지속적으로 반영하여 다음 3D 컨텐츠를 생성시 일정한 오프셋 값을 더해 좀더 개별적인 시각 특성을 반영한 3D 컨텐츠를 생성할 수 있다.
For example, the rendering and warping performance variables may be re-entered to resolve the visual disparity based on the interface provided in the image tracking unit. Alternatively, if the output unit is provided with a touch screen, the wiped image can be corrected through a zoom function and a rotation function to reflect a change in position of the face of the user and a change in the viewpoint. When the correction for the
도 5 및 도 6은 본 발명의 실시예에 따른 3D 컨텐츠 제어 방법을 사용할 경우 생성되는 영상을 나타낸 개념도이다. 5 and 6 are conceptual diagrams illustrating images generated when the 3D content control method according to an embodiment of the present invention is used.
도 5의 (A)는 얼굴을 좌측으로 이동한 경우, 도 5의 (B)는 얼굴을 우측으로 이동한 경우, 도 5의 (C)는 얼굴을 상단으로 이동한 경우, 도 5의 (D)는 얼굴을 하단으로 이동한 경우 3D 컨텐츠의 변화를 나타낸 개념도이다.FIG. 5A shows a case where the face is moved to the left, FIG. 5B shows a case where the face is moved to the right, FIG. 5C shows a case where the face is moved to the upper, Is a conceptual diagram showing a change in 3D content when a face is moved to the bottom.
도 5의 (A) 내지 (D)를 참조하면, 본 발명의 실시예에 따른 얼굴 위치 변화에 따른 3D 컨텐츠 제어 방법에 따라 얼굴의 위치 변화값을 산출하여 3D 컨텐츠가 렌더링되고 와핑되어 생성되는 것을 확인할 수 있다.5 (A) to 5 (D), 3D content is rendered and generated by being calculated by calculating a position change value of a face according to a 3D content control method according to a face position change according to an embodiment of the present invention Can be confirmed.
도 6의 (A)는 얼굴을 전진 이동한 경우, 도 6의 (B)는 얼굴을 후진 이동한 경우, 도 6의 (C)는 얼굴을 갸우뚱한 경우 3D 컨텐츠의 변화를 나타낸 개념도이다.FIG. 6A is a conceptual diagram showing a case where a face is advanced, FIG. 6B is a backward movement of a face, and FIG. 6C is a conceptual diagram showing a change in 3D content when a face is staggered.
도 6의 (A) 내지 (C)를 참조하면, 본 발명의 실시예에 따른 얼굴 위치 변화에 따른 3D 컨텐츠 제어 방법에 따라 3D 컨텐츠가 렌더링되고 와핑되어 생성되는 것을 확인할 수 있다.
Referring to FIGS. 6A to 6C, it can be seen that the 3D content is rendered and generated by the 3D content control method according to the change of the face position according to the embodiment of the present invention.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. It will be possible.
Claims (16)
입력된 영상 정보에서 특징부를 인식하고 상기 특징부의 위치 변화를 탐지하는 단계; 및
상기 특징부의 위치 변화에 기초한 영상 컨텐츠 제어를 수행하는 단계를 포함하되,
상기 특징부는 영상 컨텐츠를 관찰하는 상기 관찰자의 관찰 위치 변화 및 시점 변화를 감지하기 위한 상기 관찰자의 얼굴에 위치한 특정 부위인 영상 컨텐츠 제어 방법.A video content control method comprising:
Recognizing a feature in input image information and detecting a change in position of the feature; And
And performing image content control based on a change in position of the feature portion,
Wherein the feature is a specific part located on a face of the observer for sensing a change in an observation position of the observer and a change in a viewpoint for observing image contents.
상기 관찰자의 관찰 위치 변화 및 시점 변화에 따른 x 축 이동 정보, y 축 이동 정보, z 축 이동 정보, 팬(pan) 정보, 롤(roll) 정보, 틸트(tilt) 정보인 영상 컨텐츠 제어 방법.2. The method according to claim 1,
Axis movement information, z-axis movement information, pan information, roll information, and tilt information according to a viewing position change and a viewpoint change of the observer.
상기 특징부의 위치 변화에 기초한 영상 컨텐츠에 대한 랜더링(rendering)을 수행하는 단계; 및
상기 특징부의 위치 변화에 기초한 영상 컨텐츠에 대한 와핑(warping)을 수행하는 단계를 포함하는 영상 컨텐츠 제어 방법.The method according to claim 1, wherein the step of performing image content control based on a change in position of the feature comprises:
Performing rendering of image content based on a change in position of the feature; And
And performing warping on the image content based on a change in the position of the feature.
상기 특징부의 위치 변화에 기초하여 제어된 상기 영상 컨텐츠를 출력하는 단계; 및
상기 출력된 영상 컨텐츠를 보정하는 단계를 더 포함하는 영상 컨텐츠 제어 방법.The method according to claim 1,
Outputting the controlled image content based on a change in position of the feature; And
Further comprising the step of correcting the output image content.
상기 영상 컨텐츠가 출력된 터치 스크린의 영상을 터치하여 출력된 영상 컨텐츠를 변화시키는 단계;
상기 영상 컨텐츠와 상기 변화된 영상 컨텐츠를 비교하여 영상의 차이를 보정하기 위한 보정 오프셋 값을 산출하는 단계; 및
상기 보정 오프셋 값을 기초로 영상 컨텐츠를 보정하는 단계를 더 포함하는 영상 컨텐츠 제어 방법.The method of claim 4, wherein the step of correcting the output image content comprises:
Changing an output image content by touching an image of the touch screen on which the image content is output;
Calculating a correction offset value for correcting a difference between the image content and the changed image content; And
And correcting the image content based on the correction offset value.
상기 특징부는 코이고, 상기 특징부의 위치 변화를 아래의 수학식에 의해 탐지하는 단계인,
<수학식>
영상 컨텐츠 제어 방법.The method as claimed in claim 1, wherein the step of recognizing the feature in the input image information and detecting a change in the position of the feature comprises:
Wherein the feature is a nose and detecting a position change of the feature by the following equation:
≪ Equation &
Method of controlling video content.
유무선 통신 네트워크를 통해서 전송되는 정보인 영상 컨텐츠 제어 방법.2. The method according to claim 1,
A method of controlling video content, the information being transmitted over a wire / wireless communication network.
3 D(dimensional) 컨텐츠인 영상 컨텐츠 제어 방법.The method of claim 1,
3 D (dimensional) content video content control method.
입력된 영상 정보에서 특징부를 인식하고 상기 특징부의 위치 변화를 탐지하도록 구현되는 이미지 추적부; 및
상기 특징부의 위치 변화에 기초한 영상 컨텐츠 제어를 수행하도록 구현되는 컨텐츠 제어부를 포함하되,
상기 특징부는 영상 컨텐츠를 관찰하는 상기 관찰자의 관찰 위치 변화 및 시점 변화를 감지하기 위한 상기 관찰자의 얼굴에 위치한 특정 부위인 영상 컨텐츠 제어 장치.An image content control apparatus comprising:
An image tracking unit configured to recognize a feature in input image information and detect a change in position of the feature; And
And a content control unit configured to perform image content control based on a change in position of the feature unit,
Wherein the feature is a specific part located on a face of the observer for detecting a change in an observation position of the observer and a change in a viewpoint for observing image contents.
상기 관찰자의 관찰 위치 변화 및 시점 변화에 따른 x 축 이동 정보, y 축 이동 정보, z 축 이동 정보, 팬(pan) 정보, 롤(roll) 정보, 틸트(tilt) 정보인 영상 컨텐츠 제어 장치.10. The method according to claim 9,
Axis movement information, z-axis movement information, pan information, roll information, and tilt information according to a viewing position change and a viewpoint change of the observer.
상기 특징부의 위치 변화에 기초한 영상 컨텐츠에 대한 랜더링(rendering) 및 와핑(warping)을 수행하도록 구현되는 영상 컨텐츠 제어 장치.The apparatus of claim 9, wherein the content control unit comprises:
And performs rendering and warping of the image content based on a change in the position of the feature.
상기 특징부의 위치 변화에 기초하여 제어된 상기 영상 컨텐츠를 출력하도록 구현되는 컨텐츠 출력부;
상기 출력된 영상 컨텐츠를 보정하도록 구현되는 영상 보정부를 더 포함하는 영상 컨텐츠 제어 장치.10. The method of claim 9,
A content output unit configured to output the image content controlled based on a change in the position of the feature unit;
And an image correction unit configured to correct the output image content.
상기 영상 컨텐츠가 출력된 터치 스크린의 영상을 터치하여 출력된 영상 컨텐츠를 변화시키고 상기 영상 컨텐츠와 상기 변화된 영상 컨텐츠를 비교하여 영상의 차이를 보정하기 위한 보정 오프셋 값을 산출하고 상기 보정 오프셋 값을 기초로 영상 컨텐츠를 보정하도록 구현되는 영상 컨텐츠 제어 장치.13. The apparatus of claim 12,
A touch screen image outputting the image content is changed to change the output image content, the image content is compared with the changed image content to calculate a correction offset value for correcting the difference of the image, And the image content is corrected based on the image content.
상기 특징부는 코이고, 상기 특징부의 위치 변화를 아래의 수학식에 의해 탐지하도록 구현되는,
<수학식>
영상 컨텐츠 제어 장치.10. The image processing apparatus according to claim 9,
Wherein the feature is a nose and is configured to detect a change in position of the feature by: < EMI ID =
≪ Equation &
Video content control device.
유무선 통신 네트워크를 통해서 전송되는 정보인 영상 컨텐츠 제어 장치.10. The method according to claim 9,
A video content control apparatus which is information transmitted through a wired / wireless communication network.
3 D(dimensional) 컨텐츠인 영상 컨텐츠 제어 장치.The method of claim 9,
3 D (dimensional) content.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130009583A KR101514653B1 (en) | 2013-01-29 | 2013-01-29 | Method and apparratus of controlling image contents using feature tracking |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130009583A KR101514653B1 (en) | 2013-01-29 | 2013-01-29 | Method and apparratus of controlling image contents using feature tracking |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140096694A true KR20140096694A (en) | 2014-08-06 |
KR101514653B1 KR101514653B1 (en) | 2015-04-24 |
Family
ID=51744489
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130009583A KR101514653B1 (en) | 2013-01-29 | 2013-01-29 | Method and apparratus of controlling image contents using feature tracking |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101514653B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102604738B1 (en) | 2017-12-22 | 2023-11-22 | 삼성전자주식회사 | Graphic processor performing warping process, Rendering system having the same and Operating method of graphic processor |
-
2013
- 2013-01-29 KR KR1020130009583A patent/KR101514653B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR101514653B1 (en) | 2015-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3631567B1 (en) | Eye tracking calibration techniques | |
KR102136241B1 (en) | Head-mounted display with facial expression detection | |
US9829989B2 (en) | Three-dimensional user input | |
CN106170083B (en) | Image processing for head mounted display device | |
US10469829B2 (en) | Information processor and information processing method | |
KR101340797B1 (en) | Portable Apparatus and Method for Displaying 3D Object | |
CN111771231A (en) | Matching mesh for avatars | |
JP2019531014A (en) | Face model capture by wearable device | |
KR101892735B1 (en) | Apparatus and Method for Intuitive Interaction | |
AU2021290132B2 (en) | Presenting avatars in three-dimensional environments | |
WO2008132724A1 (en) | A method and apparatus for three dimensional interaction with autosteroscopic displays | |
US20220351444A1 (en) | Animation production method | |
KR101514653B1 (en) | Method and apparratus of controlling image contents using feature tracking | |
CN110858095A (en) | Electronic device capable of being controlled by head and operation method thereof | |
US20220351448A1 (en) | Animation production system | |
WO2023228600A1 (en) | Information processing device, information processing method, and storage medium | |
JP6613099B2 (en) | Program, computer and head-mounted display system for stereoscopic display of virtual reality space | |
US11537199B2 (en) | Animation production system | |
US20220358704A1 (en) | Animation production system | |
US20220351451A1 (en) | Animation production system | |
KR20200079263A (en) | Virtual reticle for augmented reality systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E90F | Notification of reason for final refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
E801 | Decision on dismissal of amendment | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |