KR101514653B1 - Method and apparratus of controlling image contents using feature tracking - Google Patents

Method and apparratus of controlling image contents using feature tracking Download PDF

Info

Publication number
KR101514653B1
KR101514653B1 KR1020130009583A KR20130009583A KR101514653B1 KR 101514653 B1 KR101514653 B1 KR 101514653B1 KR 1020130009583 A KR1020130009583 A KR 1020130009583A KR 20130009583 A KR20130009583 A KR 20130009583A KR 101514653 B1 KR101514653 B1 KR 101514653B1
Authority
KR
South Korea
Prior art keywords
change
image
image content
content
feature
Prior art date
Application number
KR1020130009583A
Other languages
Korean (ko)
Other versions
KR20140096694A (en
Inventor
최한석
Original Assignee
목포대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 목포대학교산학협력단 filed Critical 목포대학교산학협력단
Priority to KR1020130009583A priority Critical patent/KR101514653B1/en
Publication of KR20140096694A publication Critical patent/KR20140096694A/en
Application granted granted Critical
Publication of KR101514653B1 publication Critical patent/KR101514653B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts

Abstract

특징점 추적 방법을 이용한 영상 컨텐츠 제어 방법 및 장치가 개시되어 있다. 영상 컨텐츠 제어 방법은 입력된 영상 정보에서 특징부를 인식하고 특징부의 위치 변화를 탐지하는 단계와 특징부의 위치 변화에 기초한 영상 컨텐츠 제어를 수행하는 단계를 포함하되, 특징부는 영상 컨텐츠를 관찰하는 관찰자의 관찰 위치 변화 및 시점 변화를 감지하기 위한 관찰자의 얼굴에 위치한 특정 부위일 수 있다. 따라서, 영상 컨텐츠의 관찰자의 시점에 맞게 영상 컨텐츠를 출력하여 관찰자에게 출력함으로서 관찰자의 시점 변화 및 이동에 따라 현실감있는 화면을 제공받을 수 있다.A method and an apparatus for controlling image contents using a feature point tracking method are disclosed. The image content control method includes a step of recognizing a feature part in input image information and detecting a change in a position of the feature part, and a step of performing image content control based on a change in position of the feature part. The feature part includes an observer's observation And may be a specific region located on the observer's face for detecting a change in position and a change in viewpoint. Accordingly, by outputting the image content according to the viewpoint of the observer of the image content and outputting it to the observer, a realistic image can be provided according to the viewpoint change and movement of the observer.

Description

특징점 추적 방법을 이용한 영상 컨텐츠 제어 방법 및 장치{METHOD AND APPARRATUS OF CONTROLLING IMAGE CONTENTS USING FEATURE TRACKING}TECHNICAL FIELD [0001] The present invention relates to a method and an apparatus for controlling image content using a feature point tracking method,

본 발명은 영상 출력 방법에 관한 것으로 더욱 상세하게는 영상 컨텐츠를 제어하여 출력하는 방법 및 장치에 관한 것이다.The present invention relates to a video output method, and more particularly, to a method and apparatus for controlling and outputting video content.

최근 닌텐도의 Wii로 시작된 3D 인터페이스를 이용한 체감형 컨텐츠의 제작은 열풍처럼 번지고 있다. Wii와 소니 play station move가 제공하는 새로운 형태의 컨텐츠와 입력 방식은 이제까지 겪어보지 못했던 독특한 사용자 경험을 사용자에게 제공하고 있다. Wii 등에서 사용하는 모션 컨트롤러를 이용하는 사용자는 볼링 등과 같은 체감형 게임을 하기 위해 팔을 휘두르고 화면 속의 객체를 잡기 위해 포인팅도 수행하며, 복싱하듯이 허공에서 펀치를 휘두를 수도 있고 사용자의 이러한 모션을 감지하여 사용자에게 출력되는 컨텐츠가 변할 수 있다.Recently, the production of sensible contents using 3D interface started with Wii of Nintendo is spreading like hot wind. The new forms of content and input provided by the Wii and Sony play station move provide users with a unique user experience that they have never experienced before. A user using a motion controller used in a Wii or the like may swing his / her arm to perform a sensory game such as bowling, perform pointing to catch an object in the screen, or may punch a punch in the air like a boxer, The content output to the user may be changed.

Wii가 처음으로 대중에게 상업적으로 3D UI(user interface)의 체감형 상호 작용 경험을 제공하였다. 하지만, 이 분야의 연구는 VR(virtual reality), HCI(human computer interaction), 컴퓨터 그래픽스 분야에서 관련 연구가 꾸준히 진행되어 왔다고 할 수 있다. 3 차원 상에서 용이하게 내비게이션 및 조작을 수행할 때 어떤 3D 인터랙션(interaction) 기술이 적합한지, 3D 입력 장치는 어떻게 디자인되어야 하는지, 또는 3D 입력 장치, 디스플레이와 인터랙션 간에는 어떤 상호 관련이 있을지에 관한 이슈들이 지속적으로 연구되어 왔다.For the first time, Wii has commercially provided a haptic interactive experience of the 3D user interface (UI) to the public. However, research in this area has been steadily progressing in the fields of virtual reality (VR), human computer interaction (HCI), and computer graphics. Issues related to what 3D interaction techniques are appropriate when navigating and manipulating on 3D, how 3D input devices should be designed, or what interrelationships exist between 3D input devices, displays and interactions Have been studied continuously.

사용자의 동작을 인식하는 닌텐도의 모션 컨트롤러 Wii 리모트 장치와 같은 장치를 PUI(physical user interface)라고 한다. PUI는 사용자가 손에 쥐고 가상 현실 및 게임 컨텐츠를 제어하는 가속도 센서 및 자이로 센서 등이 부착된 상호 작용 장치를 가리키는 용어로 사용될 수 있다.Nintendo's motion controller that recognizes the user's actions A device such as a Wii remote device is called a physical user interface (PUI). The PUI can be used to refer to an interactive device with an acceleration sensor and a gyro sensor attached to it, which controls the virtual reality and game contents in the user's hand.

본 발명의 목적은 특징점 추적 방법을 이용한 영상 컨텐츠 제어 방법을 제공하는 것이다.An object of the present invention is to provide an image content control method using a feature point tracking method.

또한, 본 발명의 또 다른 목적은 특징점 추적 방법을 이용한 영상 컨텐츠 제어 방법을 수행하는 장치를 제공하는 것이다.It is still another object of the present invention to provide an apparatus for performing an image content control method using a feature point tracking method.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 컨텐츠 제어 방법은, 입력된 영상 정보에서 특징부를 인식하고 상기 특징부의 위치 변화를 탐지하는 단계; 상기 특징부의 위치 변화에 기초한 영상 컨텐츠 제어를 수행하는 단계; 상기 특징부의 위치 변화에 기초하여 제어된 상기 영상 컨텐츠를 출력하는 단계; 및 상기 출력된 영상 컨텐츠를 보정하는 단계를 포함하되, 상기 특징부는 영상 컨텐츠를 관찰하는 관찰자의 관찰 위치 변화 및 시점 변화를 감지하기 위한 상기 관찰자의 얼굴에 위치한 특정 부위일 수 있다. 상기 특징부의 위치 변화는 상기 관찰자의 관찰 위치 변화 및 시점 변화에 따른 x 축 이동 정보, y 축 이동 정보, z 축 이동 정보, 팬(pan) 정보, 롤(roll) 정보, 틸트(tilt) 정보일 수 있다. 상기 특징부의 위치 변화에 기초한 영상 컨텐츠 제어를 수행하는 단계는 상기 특징부의 위치 변화에 기초한 영상 컨텐츠에 대한 렌더링(rendering)을 수행하는 단계와 상기 특징부의 위치 변화에 기초한 영상 컨텐츠에 대한 와핑(warping)을 수행하는 단계를 포함할 수 있다. 상기 출력된 영상 컨텐츠를 보정하는 단계는 상기 영상 컨텐츠가 출력된 터치 스크린의 영상을 터치하여 출력된 영상 컨텐츠를 변화시키는 단계, 상기 영상 컨텐츠와 상기 변화된 영상 컨텐츠를 비교하여 영상의 차이를 보정하기 위한 보정 오프셋 값을 산출하는 단계와 상기 보정 오프셋 값을 기초로 영상 컨텐츠를 보정하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided an image content control method comprising: recognizing a feature in input image information and detecting a change in position of the feature; Performing image content control based on a change in position of the feature; Outputting the controlled image content based on a change in position of the feature; And correcting the output image content, wherein the feature may be a specific region located on the observer's face for sensing a change in an observer's observation position and a change in a viewpoint of observing the image content. The positional change of the feature may include x-axis movement information, y-axis movement information, z-axis movement information, pan movement information, roll movement information, tilt movement information, . Wherein the step of performing image content control based on the positional change of the feature comprises performing rendering on the image content based on a change in the position of the feature and performing warping on the image content based on the change in the position of the feature, And performing the steps of: Wherein the step of correcting the output image content comprises the steps of: changing an output image content by touching an image of a touch screen on which the image content is output; comparing the image content with the changed image content to correct an image difference Calculating a correction offset value, and correcting the image content based on the correction offset value.

삭제delete

삭제delete

상기 특징부의 위치 변화는 유무선 통신 네트워크를 통해서 전송되는 정보일 수 있다. 상기 영상 컨텐츠는 3 D(dimensional) 컨텐츠일 수 있다.The location change of the feature may be information transmitted over a wire / wireless communication network. The image content may be 3D content.

상술한 본 발명의 또 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 컨텐츠 제어 장치는, 입력된 영상 정보에서 특징부를 인식하고 상기 특징부의 위치 변화를 탐지하도록 구현되는 이미지 추적부; 상기 특징부의 위치 변화에 기초한 영상 컨텐츠 제어를 수행하도록 구현되는 컨텐츠 제어부; 상기 특징부의 위치 변화에 기초하여 제어된 상기 영상 컨텐츠를 출력하도록 구현되는 컨텐츠 출력부; 및 상기 출력된 영상 컨텐츠를 보정하도록 구현되는 영상 보정부를 포함하되, 상기 특징부는 영상 컨텐츠를 관찰하는 상기 관찰자의 관찰 위치 변화 및 시점 변화를 감지하기 위한 상기 관찰자의 얼굴에 위치한 특정 부위일 수 있다. 상기 특징부의 위치 변화는 상기 관찰자의 관찰 위치 변화 및 시점 변화에 따른 x 축 이동 정보, y 축 이동 정보, z 축 이동 정보, 팬(pan) 정보, 롤(roll) 정보, 틸트(tilt) 정보일 수 있다. 상기 컨텐츠 제어부는 상기 특징부의 위치 변화에 기초한 영상 컨텐츠에 대한 렌더링(rendering) 및 와핑(warping)을 수행하도록 구현될 수 있다. 상기 영상 보정부는 상기 영상 컨텐츠가 출력된 터치 스크린의 영상을 터치하여 출력된 영상 컨텐츠를 변화시키고 상기 영상 컨텐츠와 상기 변화된 영상 컨텐츠를 비교하여 영상의 차이를 보정하기 위한 보정 오프셋 값을 산출하고 상기 보정 오프셋 값을 기초로 영상 컨텐츠를 보정하도록 구현될 수 있다.According to another aspect of the present invention, there is provided an apparatus and method for controlling an image content, the apparatus comprising: an image tracking unit configured to recognize a feature in input image information and detect a change in position of the feature; A content control unit configured to perform image content control based on a change in position of the feature; A content output unit configured to output the image content controlled based on a change in the position of the feature unit; And an image correction unit configured to correct the output image content, wherein the feature unit may be a specific region located on the observer's face for sensing a change in the observation position of the observer and a change in the viewpoint of observing the image content. The positional change of the feature may include x-axis movement information, y-axis movement information, z-axis movement information, pan movement information, roll movement information, tilt movement information, . The content control unit may be configured to perform rendering and warping of the image content based on a change in the position of the feature unit. Wherein the image correction unit changes the output image content by touching the image of the touch screen on which the image content is output, compares the image content with the changed image content, calculates a correction offset value for correcting the difference of the image, And to correct the image content based on the offset value.

삭제delete

삭제delete

상기 특징부의 위치 변화는 유무선 통신 네트워크를 통해서 전송되는 정보일 수 있다. 상기 영상 컨텐츠는 3 D(dimensional) 컨텐츠일 수 있다.The location change of the feature may be information transmitted over a wire / wireless communication network. The image content may be 3D content.

상술한 바와 같이 본 발명의 실시예에 따른 특징점 추적 방법을 이용한 영상 컨텐츠 제어 방법 및 장치는 입력된 영상 정보에서 특징부를 인식하고 특징부의 위치 변화를 탐지하고 특징부의 위치 변화에 기초한 영상 컨텐츠의 제어를 수행할 수 있다. 따라서, 영상 컨텐츠의 관찰자의 시점에 맞게 영상 컨텐츠를 출력하여 관찰자에게 출력함으로서 관찰자의 시점 변화 및 이동에 따라 현실감있는 화면을 제공받을 수 있다.As described above, the method and apparatus for controlling image contents using the feature point tracking method according to the embodiment of the present invention recognize features in input image information, detect a change in position of the feature, and control image contents based on a change in position of the feature Can be performed. Accordingly, by outputting the image content according to the viewpoint of the observer of the image content and outputting it to the observer, a realistic image can be provided according to the viewpoint change and movement of the observer.

도 1은 본 발명의 실시예에 따른 3D 컨텐츠 제어 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 얼굴의 위치 변화를 산출하는 방법을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 산출된 영상을 보정하는 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 3D 컨텐츠 제어 방법을 나타낸 순서도이다.
도 5 및 도 6은 본 발명의 실시예에 따른 3D 컨텐츠 제어 방법을 사용할 경우 생성되는 영상을 나타낸 개념도이다.1 is a conceptual diagram illustrating a 3D content control apparatus according to an embodiment of the present invention.
FIG. 2 is a conceptual diagram illustrating a method of calculating a face position change according to an embodiment of the present invention.
3 is a conceptual diagram illustrating a method of correcting a calculated image according to an embodiment of the present invention.
4 is a flowchart illustrating a 3D content control method according to an embodiment of the present invention.
5 and 6 are conceptual diagrams illustrating images generated when the 3D content control method according to an embodiment of the present invention is used.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the following description of the embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present disclosure rather unclear.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . In addition, the description of "including" a specific configuration in the present invention does not exclude a configuration other than the configuration, and means that additional configurations can be included in the practice of the present invention or the technical scope of the present invention.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.In addition, the components shown in the embodiments of the present invention are shown independently to represent different characteristic functions, which does not mean that each component is composed of separate hardware or software constituent units. That is, each constituent unit is included in each constituent unit for convenience of explanation, and at least two constituent units of the constituent units may be combined to form one constituent unit, or one constituent unit may be divided into a plurality of constituent units to perform a function. The integrated embodiments and separate embodiments of the components are also included within the scope of the present invention, unless they depart from the essence of the present invention.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.In addition, some of the components are not essential components to perform essential functions in the present invention, but may be optional components only to improve performance. The present invention can be implemented only with components essential for realizing the essence of the present invention, except for the components used for the performance improvement, and can be implemented by only including the essential components except the optional components used for performance improvement Are also included in the scope of the present invention.

이하, 본 발명의 실시예에서는 3D(dimensional) 컨텐츠를 제어하는 방법에 대해 주로 개시하지만, 3D 컨텐츠가 아닌 컨텐츠에서 이하 본 발명의 실시예에 따른 컨텐츠 제어 방법이 적용될 수 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
Hereinafter, a method for controlling 3D contents will be mainly described in the embodiment of the present invention. However, a content control method according to an embodiment of the present invention may be applied to contents other than 3D contents, Are included in the scope of right.

도 1은 본 발명의 실시예에 따른 3D 컨텐츠 제어 장치를 나타낸 개념도이다. 1 is a conceptual diagram illustrating a 3D content control apparatus according to an embodiment of the present invention.

도 1을 참조하면, 3D 컨텐츠 제어 장치는 이미지 추적부(100) 및 3D 컨텐츠 제어부(150)를 통해 구현될 수 있다.Referring to FIG. 1, a 3D content control apparatus may be implemented through an image tracking unit 100 and a 3D content control unit 150.

이미지 추적부(100)는 영상 촬영 장치인 카메라(140)를 통해 입력된 영상 정보에 포함된 특정한 이미지를 선택하여 추적하기 위해 구현될 수 있다. 본 발명의 실시예에 따른 영상 컨텐츠 제어 방법 및 장치에서는 입력된 영상 정보에 포함된 특정한 이미지를 인식하여 이미지의 이동을 추적하여 이미지의 이동에 따른 3D 컨텐츠를 제어하는 방법에 대해 개시한다.The image tracking unit 100 may be implemented to select and track a specific image included in the image information input through the camera 140, which is a image capturing apparatus. A method and apparatus for controlling an image content according to an embodiment of the present invention discloses a method of controlling 3D content according to movement of an image by tracking a movement of an image by recognizing a specific image included in input image information.

이하, 본 발명의 실시예에서는 설명의 편의상 3D 컨텐츠를 렌더링 및 와핑하기 위해 추적하는 이미지를 사람의 얼굴의 일부로 가정하여 설명한다. 하지만, 사람의 얼굴뿐만 아니라 다양한 이미지가 본 발명에 적용될 수 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함될 수 있다.Hereinafter, in an embodiment of the present invention, for the sake of explanation, an image to be traced to render and warp 3D content is assumed as a part of a human face. However, various images as well as a face of a person can be applied to the present invention, and such embodiments can also be included in the scope of the present invention.

3D 컨텐츠 제어부(150)는 이미지 추적부(100)를 통해 추적된 이미지의 이동에 따라 3D 컨텐츠를 새롭게 렌더링(rendering)하기 위해 구현될 수 있다. 각 구성부는 개별적인 구성부로 아래와 같은 구성부들을 더 포함할 수 있다. The 3D content controller 150 may be implemented to newly render 3D content according to the movement of the tracked image through the image tracking unit 100. Each constituent part may further include the following constituent parts as individual constituent parts.

이미지 추적부(100)는 얼굴 인식부(120), 얼굴 위치 변화 산출부(130), 통신부(110)를 포함할 수 있다.The image tracking unit 100 may include a face recognizing unit 120, a face position change calculating unit 130, and a communication unit 110.

얼굴 인식부(120)는 영상 정보에 포함된 얼굴을 인식하기 위해 구현될 수 있다. 얼굴 인식부(120)에서는 얼굴 중 일부의 특징부(예를 들어, 눈, 코, 입 등)을 인식하여 구현될 수 있다. 영상 정보에 포함된 얼굴의 특징부(또는 특징점)을 인식하기 위한 방법으로는 다양한 방법이 사용될 수 있다. 예를 들어, 명암 정보를 이용하여 눈 영역을 검출하는 에지 기반 눈 영역 추출 기술, 얼굴의 피부색 정보를 이용하여 얼굴 검출을 수행하는 에지/컬러 기반 얼굴 영역 추출 기술, 얼굴의 좌측과 우측의 대칭성을 기반으로 얼굴 검출을 수행하는 대칭축 기반 얼굴 영역 추출 기술 등 이외에도 다양한 방법을 영상 정보에 포함된 얼굴의 특징부를 인식하기 위해 사용할 수 있다.The face recognition unit 120 may be implemented to recognize a face included in the image information. The face recognizing unit 120 may be realized by recognizing a feature of a part of the face (e.g., eyes, nose, mouth, etc.). Various methods can be used as a method for recognizing a feature part (or a feature point) of a face included in the image information. For example, edge-based eye area extraction technique that detects eye area using contrast information, edge / color based face area extraction technology that performs face detection using face skin color information, and left and right symmetry of face A facial region extracting technique based on a symmetric axis for performing face detection based on a face image, and various other methods can be used for recognizing facial features included in image information.

얼굴 위치 변화 산출부(130)는 얼굴 인식부(120)에서 인식된 얼굴의 이동을 추적하여 얼굴의 위치 변화에 관련된 정보를 산출할 수 있다.The face position change calculation unit 130 may track the movement of the face recognized by the face recognition unit 120 to calculate information related to the position change of the face.

얼굴 위치 변화 산출부(130)는 눈, 코, 입 등의 얼굴 부위가 식별 가능한 해상도로 인물 머리 부분이 관찰되는 경우에는 얼굴 부위를 특징점으로 한 모델 베이스를 활용하여 얼굴의 위치 변화를 산출할 수 있다.얼굴의 위치 변화 정보는 3D 컨텐츠를 관찰하는 관찰자의 시점의 변화 관찰 위치의 변화 정보를 포함할 수 있다. 예를 들어, 얼굴 위치 변화를 산출하기 위해 눈, 코, 입 등의 얼굴 부위가 끝나는 점을 특징점으로서 인물 머리 부분의 3 차원 위치와 자세(roll, yaw, pitch)를 추적할 수 있다. 추가적으로 입을 열거나 미간을 찌푸리거나 하는 얼굴의 변형을 모델화함으로서 자세의 변동뿐만 아니라, 표정의 변화에 대해서도 정밀한 추적을 수행할 수도 있다.The face position change calculator 130 can calculate the face position change using the model base having the face region as a minutiae when the head portion of the person is observed at a resolution at which face portions such as eyes, nose, The position change information of the face may include change information of the change observation position of the viewpoint of the observer observing the 3D content. For example, in order to calculate the change of the face position, it is possible to track the three-dimensional position and posture (roll, yaw, pitch) of the head of the person as a feature point at the end of the face portion such as the eyes, nose, and mouth. In addition, by modeling the deformation of the face which opens the mouth or fills the face, it is possible to perform not only the change of the posture but also the change of the facial expression.

예를 들어, 3D 모델 기반 추적(3D model-based tracking) 방법 중 3D 실린더 모델은 3D 공간상의 얼굴을 3D 실린더로 근사하여 모델링하고 모델링된 얼굴은 2D 평면으로 원근 투영할 수 있다. 원근 투영된 2D 이미지는 3D 공간에서 얼굴의 이동과 포즈 변화를 반영하며 이로 인하여 3D 공간에서 얼굴의 이동과 회전 등의 변화를 추적할 수 있다. 실린더 모델은 급격한 대상의 이동 및 포즈 변화에 대응하기 위하여 파티클 필터를 적용하였으며 얼굴 추적 성능을 향상 시킬 수 있다.For example, in the 3D model-based tracking method, the 3D cylinder model can approximate a face in 3D space with a 3D cylinder and project the modeled face to a 2D plane in perspective. The perspective projected 2D image reflects the movement and pose of the face in the 3D space, and thus it can track changes such as the movement and rotation of the face in the 3D space. In the cylinder model, a particle filter is applied to cope with the rapid movement and pose change of the object, and the face tracking performance can be improved.

또 다른 방법으로 연산량을 낮추기 위해 원근 투영된 3D 움직임 파라미터 기반의 특징 추출 및 선택 방법을 사용할 수 있다. 대상(object)을 추적하는데 있어서 모든 특징의 기여도는 동일하지 않으며 기여도가 높은 일부 특징만을 추적에 이용함으로서 유사한 성능을 유지하면서도 추적 속도를 향상 시킬 수도 있다. 따라서, 이러한 방법을 사용할 경우 적은 수의 특징에서도 유사한 추적 성능을 유지 하면서도 빠르게 동작할 수 있다.
Another way is to use 3D motion parameter-based feature extraction and selection methods to reduce computational complexity. In tracing an object, not all features contribute to the same trait, but only some of the traits that contribute are used for tracking, which may improve tracking speed while maintaining similar performance. Therefore, using this method, even a small number of features can operate quickly while maintaining similar tracking performance.

도 2는 본 발명의 실시예에 따른 얼굴의 위치 변화 정보를 산출하는 방법을 나타낸 개념도이다.2 is a conceptual diagram illustrating a method for calculating face position change information according to an embodiment of the present invention.

도 2를 참조하면, 얼굴의 위치 이동에 따라 x 축 이동 정보, y 축 이동 정보, z 축 이동 정보, 팬(pan) 정보(200), 롤(roll) 정보(240), 틸트(tilt) 정보(220)를 산출하여 얼굴의 위치 변화에 대한 정보를 산출할 수 있다.Referring to FIG. 2, x-axis movement information, y-axis movement information, z-axis movement information, pan information 200, roll information 240, tilt information The information on the face position change can be calculated.

x 축 이동 정보, y 축 이동 정보, z 축 이동 정보, 팬(pan) 정보(200), 롤(roll) 정보(240), 틸트(tilt) 정보(220)는 특정 수학식을 이용하여 산출될 수 있다. the x-axis movement information, the y-axis movement information, the z-axis movement information, the pan information 200, the roll information 240 and the tilt information 220 are calculated using specific mathematical expressions .

삭제delete

삭제delete

삭제delete

도 2를 참조하면, 팬(PAN)(200)은 얼굴이 상하 위치로 움직이는 정보, 틸트(tilt)(220)는 얼굴을 갸우뚱 움직이는 정보, 롤(Roll)(240)은 얼굴을 좌우로 움직이는 정보를 반영한 값을 산출하여 얼굴의 위치 변화 정보를 산출할 수 있다. 산출된 얼굴 이동 정보는 소정의 비트 정보(예를 들어, 4비트 정보)로서 산출되어 후술할 통신부를 통해 정보를 3D 컨텐츠 제어부(150)로 전송될 수 있다.Referring to FIG. 2, the PAN 200 includes information that the face moves to the upper and lower positions, a tilt 220 information that moves the face, a roll 240 that moves the face to the left and right, And the position change information of the face can be calculated. The calculated face movement information may be calculated as predetermined bit information (for example, 4-bit information), and the information may be transmitted to the 3D content control unit 150 through a communication unit described later.

통신부(110)는 카메라(140)로부터 촬영된 영상 정보를 수신하고 얼굴 인식부(120), 얼굴 위치 변화 산출부(130)에 의해 산출된 얼굴의 위치 변화 정보를 3D 컨텐츠 제어부(150)로 전송하여 얼굴의 위치 변화 정보를 반영한 3D 컨텐츠의 렌더링(rendering) 및 와핑(warping)을 수행하도록 할 수 있다. 통신부(110)는 카메라(140) 및/또는 3D 컨텐츠 제어부(150)에 유선 또는 무선으로 연결되어 영상 정보를 얼굴 인식부(120) 또는 얼굴 위치 변화 산출부(130)에 전송하여 산출된 얼굴의 위치 변화 정보를 3D 컨텐츠 제어부(150)로 전송할 수 있다.The communication unit 110 receives the image information photographed from the camera 140 and transmits the face position change information calculated by the face recognition unit 120 and the face position change calculation unit 130 to the 3D content control unit 150 Rendering and / or warping 3D contents reflecting the position change information of the face. The communication unit 110 is connected to the camera 140 and / or the 3D content control unit 150 by wire or wirelessly and transmits the image information to the face recognition unit 120 or the face position change calculation unit 130, And may transmit the position change information to the 3D content control unit 150.

본 발명의 실시예에 따른 3D 컨텐츠 렌더링 방법은 구성부의 네트워킹에 따라 다양한 실시예를 가질 수 있고 이러한 다양한 구현 방법이 본 발명의 권리 범위에 포함될 수 있다. 예를 들어, 이미지 추적부(100) 및 3D 컨텐츠 제어부(150)는 외부의 서버에 구현되어 있어 카메라에서 전송된 영상 정보가 데이터 네트워크를 패킷망을 통해 외부 인터넷을 통해 서버로 전송될 수도 있다. 서버의 이미지 추적부(100) 및 3D 컨텐츠 제어부(150)를 통해 산출된 렌더링 및 와핑된 이미지 정보는 사용자의 디스플레이로 다시 전송되어 카메라(140)와 같은 영상 촬영 장치에 의해 산출된 영상에서 얼굴의 특징점의 위치 변화에 따라 제어된 3D 컨텐츠를 출력할 수 있다. 또한, 통신부(110)는 카메라(140)또는 3D 컨텐츠 제어부(150)에 포함되어 구현될 수도 있다. The 3D content rendering method according to an embodiment of the present invention may have various embodiments according to the networking of the constituent parts, and the various implementation methods may be included in the scope of the present invention. For example, the image tracking unit 100 and the 3D content control unit 150 are implemented in an external server, so that the image information transmitted from the camera can be transmitted to the server through the external Internet through the packet network. The rendered and waved image information calculated through the image tracking unit 100 and the 3D content control unit 150 of the server are transmitted to the display of the user again and the face image of the face It is possible to output the controlled 3D content according to the change of the position of the minutiae point. Also, the communication unit 110 may be included in the camera 140 or the 3D content control unit 150 and implemented.

3D 컨텐츠 제어부(150)에서는 전송된 얼굴의 위치 변화를 기초로 3D 컨텐츠를 렌더링 및 와핑하여 시점의 변화 및 신체의 이동에 따러 3D 컨텐츠를 렌더링 및 와핑시켜 출력할 수 있다. 3D 컨텐츠 제어부(150)는 렌더링부(170), 와핑부(160), 로딩부(180), 출력부(190)를 포함할 수 있다.The 3D content control unit 150 may render and warp 3D content based on the change in the position of the transmitted face to render and warp 3D content according to the change of the viewpoint and the movement of the body. The 3D content control unit 150 may include a rendering unit 170, a wiping unit 160, a loading unit 180, and an output unit 190.

로딩부(180)는 렌더링 및 와핑을 수행할 3D 컨텐츠를 로딩하기 위해 구현될 수 있다.The loading unit 180 may be implemented to load 3D content to perform rendering and warping.

렌더링부(170)는 통신부(110)에서 전송된 얼굴 이동 변화 정보를 기초로 로딩부(180)에 로딩된 3D 컨텐츠에 대한 렌더링을 수행할 수 있다. 렌더링은 3차원으로 표현된 물체의 형상에 자연 환경에서 발생하는 효과(물체 고유의 색, 재질, 그림자, 빛의 반사, 굴절, 투명도 등)을 고려하여 3차원 영상을 생성하는 방법을 지시한다. 3D 컨텐츠를 렌더링하는 방법에는 광선 추적법, 쉐이딩(shading) 방법, 쉐도우(shadow) 생성 방법 등 다양한 방법이 사용될 수 있다. 즉, 렌더링부(170)에서는 얼굴 이동 변화값을 기초로 발생되는 3D 컨텐츠의 형상 변화를 반영하여 3D 컨텐츠를 변화시킬 수 있다.The rendering unit 170 may render the 3D content loaded on the loading unit 180 based on the face movement change information transmitted from the communication unit 110. [ Rendering refers to a method of generating a three-dimensional image in consideration of the effect (natural color, material, shadow, reflection of light, refraction, transparency, etc.) occurring in a natural environment on the shape of an object expressed in three dimensions. Various methods such as a ray tracing method, a shading method, and a shadow generating method can be used as a method of rendering 3D contents. That is, the rendering unit 170 can change the 3D content by reflecting the shape change of the 3D content generated based on the face movement change value.

와핑부(160)는 통신부에서 전송된 얼굴 이동 변화 정보를 기초로 3D 컨텐츠를 와핑시킬 수 있다. 와핑은 영상의 깊이 정보를 이용하여 특정 시점의 영상을 다른 시점의 영상으로 재투영하는 방법이다. 와핑부(160)에서는 얼굴 이동 변화값을 기초로 현재 촬영자의 시점의 변화를 검출하여 그에 따라 특정 시점의 3D 컨텐츠를 생성할 수 있다. 좀 더 정확한 3D 컨텐츠 변화를 생성하기 위해서는 촬영된 영상에서 코의 위치가 아닌 눈동자의 위치와 같은 시점 변화를 좀 더 명확하게 감지할 수 있는 인체 부위를 트래킹하여 산출된 시점의 이동 변화값을 산출하여 이미지를 와핑할 수도 있다. 렌더링부(170) 및 와핑부(160)는 하나의 구성부로 구현될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.The wiping unit 160 may wipe the 3D content based on the face movement change information transmitted from the communication unit. Wrapping is a method of re-projecting an image at a specific time point to an image at another time point using depth information of the image. The wiping unit 160 can detect a change in the viewpoint of the current photographer based on the face movement change value and generate the 3D content at a specific point in time. In order to generate a more accurate 3D content change, a human body part that can more clearly detect a point of view such as a pupil position rather than a position of a nose in a photographed image is tracked and a movement change value at a calculated point is calculated Images can also be watermarked. The rendering unit 170 and the wiping unit 160 may be implemented as one component, and such an embodiment is also included in the scope of the present invention.

출력부(190)는 렌더링 및 와핑을 수행한 3D 컨텐츠를 출력하기 위해 구현될 수 있다.The output unit 190 may be implemented to output 3D content that performs rendering and warping.

출력부(190)에서 출력된 영상을 기초로 사용자는 3D 컨텐츠의 렌더링 및 와핑값에 대한 피드백을 수행할 수 있다. 예를 들어, 사람에 따라 특정한 영상을 볼 때 시점 및 시야 각은 개인적인 차이가 존재할 수 있다. 이러한 개별적 신체적 특성에 기초하여 출력되는 3D 컨텐츠의 렌더링 및 와핑 정도를 조절하도록 할 수 있다.Based on the image output from the output unit 190, the user can perform 3D content rendering and feedback on the wipe value. For example, when viewing a specific image according to a person, there may be individual differences in viewpoint and viewing angle. The degree of rendering and warping of the output 3D content can be adjusted based on the individual physical characteristics.

예를 들어, 이미지 추적부(100)에 이러한 개별적인 렌더링 및 와핑 변수를 조절하기 위한 인터페이스가 포함되어, 출력부(190)에서 산출된 영상을 기초로 렌더링 및 와핑 변수를 조절하고 조절된 변수값을 다시 3D 컨텐츠 제어부(150)에 피드백하여 3D 컨텐츠를 생성시 조정된 변수값을 기초로 3D 컨텐츠를 생성할 수 있도록 할 수 있다. For example, the image tracking unit 100 may include an interface for adjusting the individual rendering and the warping parameters. The image rendering unit 100 may adjust rendering and warping parameters based on the image generated by the output unit 190, The 3D content controller 150 may feed back the generated 3D content to the 3D content controller 150 to generate the 3D content based on the adjusted variable value.

3D 컨텐츠를 출력하는 디스플레이가 터치 패널로 구성되는 경우, 터치 패널에 구비된 회전 및 줌과 같은 터치 패널을 이용한 영상 제어 기능을 활용하여 직관적으로 렌더링 및 와핑되어 출력된 3D 컨텐츠를 보정할 수 있다. 예를 들어, 3D 컨텐츠 제어부(150)에서 시점이 10도가 틀어진 것으로 판단하여 시점의 변화를 고려한 3D 컨텐츠를 생성하여 3D 컨텐츠 관찰자에게 출력하는 경우를 가정할 수 있다. 이러한 경우에도 개인적인 시각적 특성에 따라 출력된 3D 컨텐츠가 정확하게 생성되지 않았다고 느낄 수 있다. When the display for outputting the 3D content is constituted by a touch panel, it is possible to correct the 3D content that is intuitively rendered and watermarked by utilizing the image control function using the touch panel such as the rotation and zoom provided in the touch panel. For example, it may be assumed that the 3D content controller 150 determines that the viewpoint is changed by 10 degrees and generates 3D content considering the change of the viewpoint, and outputs the generated 3D content to the 3D content observer. Even in this case, it may be felt that the output 3D content is not correctly generated according to the personal visual characteristic.

이러한 경우, 출력부에 출력된 3D 컨텐츠를 터치 기능을 이용하여 자신의 시각적인 특성에 맞도록 회전 및 줌과 같은 영상의 재보정을 수행함으로서 자신의 시각 특성에 맞는 3D 컨텐츠가 출력되도록 할 수 있다. 한번 보정된 값은 추후 3D 컨텐츠 제어부에서 렌더링 및 와핑을 수행 시 오프셋 값으로 활용되어 오프셋 값을 반영하여 렌더링 및 와핑 시 지속적으로 반영될 수 있다. 이러한 3D 컨텐츠에 대한 영상 보정을 수행하는 부분을 보정부라고 할 수 있다. 이러한 3D 컨텐츠 보정 방법에 대해서는 이하, 도 3에서 상세히 기술한다. In this case, the 3D content output to the output unit can be re-corrected such that the 3D content is rotated and zoomed in accordance with the visual characteristic of the 3D content using the touch function, . The once corrected value may be used as an offset value in rendering and warping in the 3D content control unit, and may be continuously reflected in rendering and warping reflecting the offset value. The part performing the image correction on the 3D contents can be referred to as a correction part. The 3D content correction method will be described in detail below with reference to FIG.

이미지 추적부(100)와 3D 컨텐츠 제어부(150)는 설명의 편의상 분리하여 표현한 것으로서 두 개의 구성부가 하나의 구성부로 합쳐지거나 둘 이상의 구성부로 분리되어 구현될 수도 있다. 또한 이미지 추적부(100)와 3D 컨텐츠 제어부(150)에 포함된 개별 구성부는 설명의 편의상 각각의 구성부에 포함시켜 표현한 것으로서 본 발명의 본질에 따른 필수적인 구성부가 아닌 경우, 반드시 이미지 추적부(100)와 3D 컨텐츠 제어부(150)에 포함되지 않을 수도 있다. The image tracking unit 100 and the 3D content control unit 150 are separately expressed for convenience of explanation, and the two component units may be combined into one component unit or separated into two or more components. The individual components included in the image tracking unit 100 and the 3D content control unit 150 are included in the respective components for the sake of convenience of description and are not essential components according to the essence of the present invention, And the 3D content control unit 150 may not be included.

또한 이미지 추적부(100)와 3D 컨텐츠 제어부(150)에 포함된 개별 구성부도 역시 설명의 편의상 각각의 구성부를 분리하여 설명한 것으로서 하나 또는 복수의 구성부로 통합적으로 구현될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
Also, the individual components included in the image tracking unit 100 and the 3D content control unit 150 may also be integrated into one or a plurality of components separately from each other for convenience of explanation. Are included in the scope of right.

도 3은 본 발명의 실시예에 따른 산출된 영상을 보정하는 방법을 나타낸 개념도이다. 3 is a conceptual diagram illustrating a method of correcting a calculated image according to an embodiment of the present invention.

도 3의 (a)를 참조하면, 터치 스크린에 출력된 영상에 대하여 와핑된 정도를 조절하기 위해 터치 스크린에 출력된 영상의 기울기를 터치 기능을 이용하여 보정할 수 있다. 예를 들어, 영상이 자신이 생각하는 이미지보다 우측으로 너무 이동된 경우 출력된 이미지를 좌측 방향으로 일부 움직임으로서 3D 컨텐츠에 대한 보정을 수행할 수 있다.Referring to FIG. 3 (a), the slope of the image output to the touch screen may be corrected using a touch function to adjust the degree of warping of the image output to the touch screen. For example, when the image is moved too far to the right than the image that the user thinks, the 3D content can be corrected by moving the output image in the left direction.

즉, 3D 컨텐츠 관찰자는 출력된 영상이 자신이 시점을 이동한 위치와 달라 시각적인 이질감을 느낄 경우, 디스플레이에 출력된 3D 컨텐츠에 대한 직접적인 보정을 수행할 수 있다. That is, the 3D content observer can directly correct the 3D content output to the display when the output image feels a visual sense of heterogeneity different from the position at which the output image moves.

도 3의 (b)를 참조하면, 터치 스크린에 출력된 영상에 대하여 와핑된 정도를 조절하기 위해 터치 스크린에 출력된 영상의 확대 및 축소를 터치 기능을 이용하여 보정할 수 있다. 예를 들어, 영상이 자신이 생각하는 이미지보다 너무 확대되어 출력된 것으로 판단되는 경우, 해당 영상을 조금 축소하도록 터치 기능을 이용하여 3D 컨텐츠에 대한 보정을 수행할 수 있다.
Referring to FIG. 3 (b), the magnification and reduction of the image output to the touch screen may be corrected using the touch function to adjust the degree of warping of the image output to the touch screen. For example, when it is determined that the image is enlarged and output more than the image thought by the user, the 3D content can be corrected using the touch function to reduce the image slightly.

도 4는 본 발명의 실시예에 따른 3D 컨텐츠 제어 방법을 나타낸 순서도이다. 4 is a flowchart illustrating a 3D content control method according to an embodiment of the present invention.

도 4를 참조하면, 영상 정보에서 특정한 특징부의 위치를 인식한다(단계 S400).Referring to FIG. 4, the position of a specific feature is recognized in the image information (step S400).

본 발명의 실시예에 따른 얼굴 위치 변화에 따른 3D 컨텐츠 제어 방법에서는 얼굴 중 특징부의 위치를 기준으로 얼굴의 위치 변화값을 산출하여 3D 컨텐츠를 제어할 수 있다. 단계 S400에서는 얼굴의 위치 변화값을 산출하기 위해 얼굴에서 특징부를 인식할 수 있다. 예를 들어, 얼굴에서 코, 눈, 입과 같은 특징부를 기초로 3D 컨텐츠를 관찰하는 관찰자의 시점 변화 및 관찰 위치 변화와 같은 정보를 관찰자의 시점 변화 및 관찰 위치 변화와 같은 정보를 산출할 수 있다. 관찰자의 시점 변화 및 관찰 위치 변화와 같은 정보를 포괄하는 의미로 얼굴의 위치 변화 정보라는 용어를 정의하여 사용할 수 있다. 얼굴에서 하나의 특징부가 아니라 복수의 특징부를 인식할 수도 있다.According to the 3D content control method according to the present invention, the 3D content can be controlled by calculating the position change value of the face based on the position of the feature in the face. In step S400, the feature can be recognized from the face to calculate the position change value of the face. For example, it is possible to calculate information such as a viewpoint change of an observer and a change of an observation position, such as a viewpoint change of an observer observing a 3D content based on features such as a nose, an eye, and a mouth, . The term " position change information of face " can be defined and used to encompass information such as an observer's viewpoint change and an observation position change. It is possible to recognize a plurality of features instead of one feature in the face.

얼굴의 위치 변화 정보를 산출한다(단계 S410).The position change information of the face is calculated (step S410).

단계 S400에서 인식한 특징부를 기초로 얼굴의 위치 변화를 인식할 수 있다. 예를 들어, 얼굴의 중심인 코를 중심으로 x, y, z 축으로 변화 방향 뿐만 아니라 팬(pan) 정보, 롤(roll) 정보, 틸트(tilt) 정보를 산출하여 얼굴의 위치 변화 값을 산출할 수 있다. 산출된 변수는 3D 컨텐츠 제어를 수행하기 위해 사용될 수 있다.The change in the position of the face can be recognized based on the recognized feature in step S400. For example, it calculates pan change information, roll information, and tilt information as well as the change direction on the x, y, and z axes centering on the nose of the face, can do. The calculated variables can be used to perform 3D content control.

얼굴의 위치 변화 정보를 기초로 3D 컨텐츠를 제어한다(단계 S420).The 3D content is controlled based on the face position change information (step S420).

3D 컨텐츠를 제어하기 위해서 3D 컨텐츠를 로딩한 후, 얼굴의 위치 변화 정보를 기초로 렌더링 및 와핑을 수행할 수 있다. 예를 들어, 단계 S400을 통해 눈동자 및 코를 얼굴에서 인식하고 단계 S410을 통해 눈동자 및 코의 위치 변화를 감지할 수 있다.After the 3D content is loaded to control the 3D content, rendering and warping can be performed based on the position change information of the face. For example, the pupil and the nose are recognized on the face through step S400, and the change of the position of the pupil and the nose can be detected through step S410.

눈동자의 위치를 기초로 3D 컨텐츠의 관찰자의 시점 변화과 같은 얼굴 위치 변화 정보를 감지할 수 있다.예를 들어, 관찰자의 눈동자가 좌측으로 이동할 경우, 관찰자의 시점 변화를 감지하여 3D 컨텐츠를 관찰자의 시점을 기준으로 렌더링 및 와핑을 수행할 수 있다. 또 다른 예로 관찰자의 코가 앞으로 이동하는 경우, 관찰자가 좀 더 자세히 보는 것이므로 이러한 관찰자의 관찰 위치 변화에 따른 3D 컨텐츠의 변화를 고려하여 3D 컨텐츠의 일부분을 확대할 수 있다.For example, when the pupil of the observer moves to the left, it is possible to detect the change of the viewpoint of the observer to detect the 3D content at the observer's viewpoint Lt; RTI ID = 0.0 > and / or < / RTI > Another example is that when the observer's nose moves forward, the observer looks more closely, so that a portion of the 3D content can be enlarged in consideration of the change in 3D content due to the change of the observer's viewing position.

3D 컨텐츠를 출력한다(단계 S430).3D content is output (step S430).

단계 S420을 통해 렌더링 및 와핑과 같은 영상 처리 기법에 의해 처리된 3D 컨텐츠를 출력할 수 있다. 출력된 3D 컨텐츠는 관찰자의 시점을 기준으로 생성된 것으로 관찰자에게 제공될 수 있다. 관찰자는 렌더링 및 와핑된 3D 컨텐츠를 기준으로 렌더링 및 와핑 변수에 대한 보정을 수행할 수 있다.The 3D content processed by the image processing technique such as rendering and warping can be output through step S420. The output 3D content can be provided to the observer based on the viewpoint of the observer. The observer can render and render based on the warped 3D content and compensation for the warping variable.

예를 들어, 이미지 추적부에 구비된 인터페이스를 기반으로 시각적 이질감을 해소하기 위해 렌더링 및 와핑 수행 변수를 다시 입력할 수 있다. 또 다른 방법으로 출력부가 터치 스크린으로 구비된 경우, 터치 기능을 통해 와핑된 이미지를 자신의 얼굴의 위치 변화 및 시점 변화를 반영하도록 줌(zoom) 기능 및 회전 기능을 통해 보정할 수 있다. 출력된 3D 컨텐츠에 대한 보정이 수행되는 경우 보정을 수행하는데 사용된 변수를 지속적으로 반영하여 다음 3D 컨텐츠를 생성시 일정한 오프셋 값을 더해 좀더 개별적인 시각 특성을 반영한 3D 컨텐츠를 생성할 수 있다.
For example, the rendering and warping performance variables may be re-entered to resolve the visual disparity based on the interface provided in the image tracking unit. Alternatively, if the output unit is provided with a touch screen, the wiped image can be corrected through a zoom function and a rotation function to reflect a change in position of the face of the user and a change in the viewpoint. When the correction for the output 3D content is performed, it is possible to continuously generate the 3D content reflecting the individual visual characteristics by continuously adding the offset value to the next 3D content by reflecting the variable used for the correction.

도 5 및 도 6은 본 발명의 실시예에 따른 3D 컨텐츠 제어 방법을 사용할 경우 생성되는 영상을 나타낸 개념도이다. 5 and 6 are conceptual diagrams illustrating images generated when the 3D content control method according to an embodiment of the present invention is used.

도 5의 (a)는 얼굴을 좌측으로 이동한 경우, 도 5의 (b)는 얼굴을 우측으로 이동한 경우, 도 5의 (c)는 얼굴을 상단으로 이동한 경우, 도 5의 (d)는 얼굴을 하단으로 이동한 경우 3D 컨텐츠의 변화를 나타낸 개념도이다.5 (a) shows the case where the face is moved to the left, Fig. 5 (b) shows the case where the face is moved to the right, Fig. 5 (c) Is a conceptual diagram showing a change in 3D content when a face is moved to the bottom.

도 5의 (a) 내지 (d)를 참조하면, 본 발명의 실시예에 따른 얼굴 위치 변화에 따른 3D 컨텐츠 제어 방법에 따라 얼굴의 위치 변화값을 산출하여 3D 컨텐츠가 렌더링되고 와핑되어 생성되는 것을 확인할 수 있다.5 (a) to 5 (d), a face position change value is calculated according to a 3D content control method according to a face position change according to an embodiment of the present invention, Can be confirmed.

도 6의 (a)는 얼굴을 전진 이동한 경우, 도 6의 (b)는 얼굴을 후진 이동한 경우, 도 6의 (c)는 얼굴을 갸우뚱한 경우 3D 컨텐츠의 변화를 나타낸 개념도이다.FIG. 6A is a conceptual diagram illustrating a case where a face is moved forward, FIG. 6B is a backward movement of a face, and FIG. 6C is a conceptual view illustrating a change in 3D content when a face is staggered.

도 6의 (a) 내지 (c)를 참조하면, 본 발명의 실시예에 따른 얼굴 위치 변화에 따른 3D 컨텐츠 제어 방법에 따라 3D 컨텐츠가 렌더링되고 와핑되어 생성되는 것을 확인할 수 있다.
Referring to FIGS. 6A to 6C, it can be seen that the 3D content is rendered and generated by the 3D content control method according to the change of the face position according to the embodiment of the present invention.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. It will be possible.

Claims (16)

영상 컨텐츠 제어 방법에 있어서,
입력된 영상 정보에서 특징부를 인식하고 상기 특징부의 위치 변화를 탐지하는 단계;
상기 특징부의 위치 변화에 기초한 영상 컨텐츠 제어를 수행하는 단계;
상기 특징부의 위치 변화에 기초하여 제어된 상기 영상 컨텐츠를 출력하는 단계; 및
상기 출력된 영상 컨텐츠를 보정하는 단계를 포함하되,
상기 특징부는 영상 컨텐츠를 관찰하는 관찰자의 관찰 위치 변화 및 시점 변화를 감지하기 위한 상기 관찰자의 얼굴에 위치한 특정 부위인 영상 컨텐츠 제어 방법.A video content control method comprising:
Recognizing a feature in input image information and detecting a change in position of the feature;
Performing image content control based on a change in position of the feature;
Outputting the controlled image content based on a change in position of the feature; And
And correcting the output image content,
Wherein the feature is a specific part located on a face of the observer for detecting a change of an observer's observation position and a change of a viewpoint of observing the image contents. 제1항에 있어서, 상기 특징부의 위치 변화는,
상기 관찰자의 관찰 위치 변화 및 시점 변화에 따른 x 축 이동 정보, y 축 이동 정보, z 축 이동 정보, 팬(pan) 정보, 롤(roll) 정보, 틸트(tilt) 정보인 영상 컨텐츠 제어 방법.2. The method according to claim 1,
Axis movement information, z-axis movement information, pan information, roll information, and tilt information according to a viewing position change and a viewpoint change of the observer. 제1항에 있어서, 상기 특징부의 위치 변화에 기초한 영상 컨텐츠 제어를 수행하는 단계는,
상기 특징부의 위치 변화에 기초한 영상 컨텐츠에 대한 렌더링(rendering)을 수행하는 단계; 및
상기 특징부의 위치 변화에 기초한 영상 컨텐츠에 대한 와핑(warping)을 수행하는 단계를 포함하는 영상 컨텐츠 제어 방법.The method according to claim 1, wherein the step of performing image content control based on a change in position of the feature comprises:
Performing rendering on image content based on a change in position of the feature; And
And performing warping on the image content based on a change in the position of the feature. 삭제delete 제1항에 있어서, 상기 출력된 영상 컨텐츠를 보정하는 단계는,
상기 영상 컨텐츠가 출력된 터치 스크린의 영상에 대해, 두 손이 터치된 상태로 오므려지는 동작에 따라 상기 출력된 영상 컨텐츠가 확대되거나, 두 손이 터치된 상태로 펴지는 동작에 따라 상기 출력된 영상 컨텐츠가 축소되도록 변화시키는 단계;
상기 영상 컨텐츠와 상기 변화된 영상 컨텐츠를 비교하여 영상의 차이를 보정하기 위한 보정 오프셋 값을 산출하는 단계; 및
상기 보정 오프셋 값을 기초로 영상 컨텐츠를 보정하는 단계를 더 포함하는 영상 컨텐츠 제어 방법.The method of claim 1, wherein the step of correcting the output image content comprises:
The output image content is enlarged according to an operation in which the two hands are touched and touched with respect to the image of the touch screen on which the image content is output, Changing the image content to be reduced;
Calculating a correction offset value for correcting a difference between the image content and the changed image content; And
And correcting the image content based on the correction offset value. 삭제delete 제1항에 있어서, 상기 특징부의 위치 변화는,
이미지 추적부에서 유무선 통신 네트워크를 통해서 3D 컨텐츠 제어부로 전송되는 정보인 영상 컨텐츠 제어 방법.2. The method according to claim 1,
The image content control method according to claim 1, wherein the image tracking unit transmits the image content to a 3D content control unit via a wire / wireless communication network. 제1항이 있어서, 상기 영상 컨텐츠는,
3 D(dimensional) 컨텐츠인 영상 컨텐츠 제어 방법.The method of claim 1,
3 D (dimensional) content video content control method. 영상 컨텐츠 제어 장치에 있어서,
입력된 영상 정보에서 특징부를 인식하고 상기 특징부의 위치 변화를 탐지하도록 구현되는 이미지 추적부;
상기 특징부의 위치 변화에 기초한 영상 컨텐츠 제어를 수행하도록 구현되는 컨텐츠 제어부;
상기 특징부의 위치 변화에 기초하여 제어된 상기 영상 컨텐츠를 출력하도록 구현되는 컨텐츠 출력부; 및
상기 출력된 영상 컨텐츠를 보정하도록 구현되는 영상 보정부를 포함하되,
상기 특징부는 영상 컨텐츠를 관찰하는 관찰자의 관찰 위치 변화 및 시점 변화를 감지하기 위한 상기 관찰자의 얼굴에 위치한 특정 부위인 영상 컨텐츠 제어 장치.An image content control apparatus comprising:
An image tracking unit configured to recognize a feature in input image information and detect a change in position of the feature;
A content control unit configured to perform image content control based on a change in position of the feature;
A content output unit configured to output the image content controlled based on a change in the position of the feature unit; And
And an image correction unit configured to correct the output image content,
Wherein the feature is a specific part located on a face of the observer for detecting a change in an observation position of the observer observing the image content and a change in the viewpoint. 제9항에 있어서, 상기 특징부의 위치 변화는,
상기 관찰자의 관찰 위치 변화 및 시점 변화에 따른 x 축 이동 정보, y 축 이동 정보, z 축 이동 정보, 팬(pan) 정보, 롤(roll) 정보, 틸트(tilt) 정보인 영상 컨텐츠 제어 장치.10. The method according to claim 9,
Axis movement information, z-axis movement information, pan information, roll information, and tilt information according to a viewing position change and a viewpoint change of the observer. 제9항에 있어서, 상기 컨텐츠 제어부는,
상기 특징부의 위치 변화에 기초한 영상 컨텐츠에 대한 렌더링(rendering) 및 와핑(warping)을 수행하도록 구현되는 영상 컨텐츠 제어 장치.The apparatus of claim 9, wherein the content control unit comprises:
And perform rendering and warping of the image content based on a change in the position of the feature. 삭제delete 제9항에 있어서, 상기 영상 보정부는,
상기 영상 컨텐츠가 출력된 터치 스크린의 영상에 대해, 두 손이 터치된 상태로 오므려지는 동작에 따라 상기 출력된 영상 컨텐츠가 확대되거나, 두 손이 터치된 상태로 펴지는 동작에 따라 상기 출력된 영상 컨텐츠가 축소되도록 변화시키고, 상기 영상 컨텐츠와 상기 변화된 영상 컨텐츠를 비교하여 영상의 차이를 보정하기 위한 보정 오프셋 값을 산출하고 상기 보정 오프셋 값을 기초로 영상 컨텐츠를 보정하도록 구현되는 영상 컨텐츠 제어 장치.The apparatus of claim 9,
The output image content is enlarged according to an operation in which the two hands are touched and touched with respect to the image of the touch screen on which the image content is output, The image content control apparatus according to claim 1, wherein the image content control unit is configured to change the image content so as to reduce the image content, to calculate a correction offset value for correcting a difference between the image content and the changed image content, and to correct the image content based on the correction offset value . 삭제delete 제9항에 있어서, 상기 특징부의 위치 변화는,
이미지 추적부에서 유무선 통신 네트워크를 통해서 3D 컨텐츠 제어부로 전송되는 정보인 영상 컨텐츠 제어 장치.10. The method according to claim 9,
And the image tracking unit is the information transmitted from the 3D content control unit through the wired / wireless communication network. 제9항에 있어서, 상기 영상 컨텐츠는,
3 D(dimensional) 컨텐츠인 영상 컨텐츠 제어 장치.The method of claim 9,
3 D (dimensional) content.
KR1020130009583A 2013-01-29 2013-01-29 Method and apparratus of controlling image contents using feature tracking KR101514653B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130009583A KR101514653B1 (en) 2013-01-29 2013-01-29 Method and apparratus of controlling image contents using feature tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130009583A KR101514653B1 (en) 2013-01-29 2013-01-29 Method and apparratus of controlling image contents using feature tracking

Publications (2)

Publication Number Publication Date
KR20140096694A KR20140096694A (en) 2014-08-06
KR101514653B1 true KR101514653B1 (en) 2015-04-24

Family

ID=51744489

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130009583A KR101514653B1 (en) 2013-01-29 2013-01-29 Method and apparratus of controlling image contents using feature tracking

Country Status (1)

Country Link
KR (1) KR101514653B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769753B2 (en) 2017-12-22 2020-09-08 Samsung Electronics Co., Ltd. Graphics processor that performs warping, rendering system having the graphics processor, and method of operating the graphics processor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1:인하대학교 학위 논문*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769753B2 (en) 2017-12-22 2020-09-08 Samsung Electronics Co., Ltd. Graphics processor that performs warping, rendering system having the graphics processor, and method of operating the graphics processor

Also Published As

Publication number Publication date
KR20140096694A (en) 2014-08-06

Similar Documents

Publication Publication Date Title
EP3631567B1 (en) Eye tracking calibration techniques
US9829989B2 (en) Three-dimensional user input
US8144148B2 (en) Method and system for vision-based interaction in a virtual environment
US8559677B2 (en) Image generation system, image generation method, and information storage medium
KR101340797B1 (en) Portable Apparatus and Method for Displaying 3D Object
CN111771231A (en) Matching mesh for avatars
US8655015B2 (en) Image generation system, image generation method, and information storage medium
US20190240573A1 (en) Method for controlling characters in virtual space
KR101892735B1 (en) Apparatus and Method for Intuitive Interaction
WO2008132724A1 (en) A method and apparatus for three dimensional interaction with autosteroscopic displays
AU2024200190A1 (en) Presenting avatars in three-dimensional environments
KR20150040580A (en) virtual multi-touch interaction apparatus and method
US20220351444A1 (en) Animation production method
KR101514653B1 (en) Method and apparratus of controlling image contents using feature tracking
WO2022014700A1 (en) Terminal device, virtual object manipulation method, and virtual object manipulation program
US20220351448A1 (en) Animation production system
US20220351443A1 (en) Animation production system
US20220351446A1 (en) Animation production method
WO2023228600A1 (en) Information processing device, information processing method, and storage medium
US11537199B2 (en) Animation production system
JP7486276B2 (en) Eye Tracking Calibration Technique
US11443471B2 (en) Animation production method
JP7390542B2 (en) Animation production system
US20220035442A1 (en) Movie distribution method
US20220358704A1 (en) Animation production system

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee