KR101145454B1 - Method, system and computer-readable recording medium for controlling content using infrared marker - Google Patents

Method, system and computer-readable recording medium for controlling content using infrared marker Download PDF

Info

Publication number
KR101145454B1
KR101145454B1 KR1020100119093A KR20100119093A KR101145454B1 KR 101145454 B1 KR101145454 B1 KR 101145454B1 KR 1020100119093 A KR1020100119093 A KR 1020100119093A KR 20100119093 A KR20100119093 A KR 20100119093A KR 101145454 B1 KR101145454 B1 KR 101145454B1
Authority
KR
South Korea
Prior art keywords
user
marker
information
determining
shape
Prior art date
Application number
KR1020100119093A
Other languages
Korean (ko)
Inventor
임창주
박길배
Original Assignee
한국산업기술대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국산업기술대학교산학협력단 filed Critical 한국산업기술대학교산학협력단
Priority to KR1020100119093A priority Critical patent/KR101145454B1/en
Application granted granted Critical
Publication of KR101145454B1 publication Critical patent/KR101145454B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof

Abstract

PURPOSE: A content control method using an infrared marker, a system thereof, and compute readable recording medium are provided to supply a realistic and effective service by controlling content based on real time trace. CONSTITUTION: A user state determining unit(230) determines state information of a user through location and shape information of markers. The state information of the user includes information about a user location, user movement, and a face direction. An image output unit(240) controls content with reference to the state information of a user. The state information of the user determines an eccentric ratio of an oval if a shape of the marker is photographed in an oval shape according to the movement of the user.

Description

적외선 마커를 이용한 컨텐츠 제어 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체{METHOD, SYSTEM AND COMPUTER-READABLE RECORDING MEDIUM FOR CONTROLLING CONTENT USING INFRARED MARKER}Content control method using infrared marker, system and computer readable recording medium {METHOD, SYSTEM AND COMPUTER-READABLE RECORDING MEDIUM FOR CONTROLLING CONTENT USING INFRARED MARKER}

본 발명은 적외선 마커를 이용한 컨텐츠 제어 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로서, 보다 상세하게는 적어도 다수 개의 마커가 부착된 안경을 착용하여 컨텐츠를 제어함에 있어서 영상에 찍히는 마커의 형상의 변화를 타원의 장축방향과 이심률 등을 바탕으로 인식함으로써 사용자의 머리 위치와 방향을 포함한 정보를 실시간으로 파악하고 이를 통해 컨텐츠를 제어할 수 있도록 하는 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다. The present invention relates to a content control method, a system and a computer-readable recording medium using an infrared marker, and more particularly, to change of the shape of a marker to be taken on an image when controlling contents by wearing glasses with at least a plurality of markers attached thereto. The present invention relates to a method, a system, and a computer-readable recording medium for recognizing information based on the long axis direction and the eccentricity of an ellipse and real-time information including a head position and a direction of a user and controlling the content.

최근에 들어, 3차원 입체 영상 기술은 의료, 건축, 디자인 및 게임 등 다양한 분야에서 활용되고 있으며, 마치 사용자가 실제 주변 환경과 상호작용을 하고 있는 것처럼 느끼게 해 주는 가상 현실을 적용한 기술이 일반화되고 있는 추세이다. In recent years, 3D stereoscopic imaging technology has been used in various fields such as medical, architecture, design, and games, and technology using virtual reality that makes users feel as if they are interacting with the real environment is becoming common. It is a trend.

입체 영상을 제어하기 위한 종래 방법으로서는 마우스, 키보드 등의 도구를 사용하여 제어 신호를 입력하는 방법을 생각해 볼 수 있는데, 이러한 방법들에 따르면, 사용자가 도구를 사용하여 입체 영상을 일일이 제어해야 하는 불편함이 있었고 도구 사용의 미스로 인하여 입체 영상을 원하는대로 제어하기가 쉽지 않을 수도 있다는 문제점이 있었다. 뿐만 아니라, 이러한 제어 방법에 따르면 사용자가 컨텐츠를 사실감 있게 느끼지 못하게 되는 중요한 원인이기도 하였다.As a conventional method for controlling a stereoscopic image, a method of inputting a control signal by using a tool such as a mouse or a keyboard can be considered. According to these methods, the inconvenience of the user having to control the stereoscopic image by using a tool one by one can be considered. And there was a problem that it may not be easy to control the stereoscopic image as desired due to the misuse of the tool. In addition, this control method was also an important cause for the user not to feel the content realistically.

따라서, 본 출원인은 마우스, 키보드 등의 도구를 사용하지 않고도 사용자의 자연스러운 움직임만으로도 편하고 사실감 있게 컨텐츠를 제어함으로써, 사용자의 컨텐츠에 대한 참여율을 높이고 보다 정확하고 실감나는 컨텐츠를 향유할 수 있도록 하기 위한 기술을 개발하기에 이르렀다. Accordingly, the present applicant provides a technique for controlling the content easily and realistically only by the user's natural movement without using a tool such as a mouse or a keyboard, so as to increase the participation rate of the user's content and enjoy more accurate and realistic content. Led to develop.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.It is an object of the present invention to solve all the problems described above.

또한, 본 발명은 다수 개의 마커가 부착된 안경을 착용하여 컨텐츠를 제어함에 있어서 영상에 찍히는 마커의 형상의 변화를 인식함으로써 사용자의 머리 위치와 방향을 포함한 정보를 실시간으로 파악하고 이를 통해 컨텐츠를 제어할 수 있도록 하는 것을 그 목적으로 한다.In addition, the present invention to recognize the change in the shape of the marker to be taken on the image in controlling the content by wearing glasses with a plurality of markers to grasp the information including the position and direction of the user in real time and control the content through it Its purpose is to make it possible.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.Representative configuration of the present invention for achieving the above object is as follows.

본 발명의 일 실시예에 따르면, 적외선 마커를 이용한 컨텐츠 제어 방법에 있어서, (a) 사용자가 착용한 안경에 부착된 적어도 복수의 마커의 위치 및 형상 정보를 이용하여 사용자의 상태 정보를 판단하는 단계 ?상기 사용자의 상태 정보는 상기 사용자의 위치, 움직임 및 상기 사용자의 얼굴/시선이 향하고 있는 방향에 대한 정보 중 적어도 하나를 포함함 -; 및 (b) 상기 사용자의 상태 정보를 참조로 하여 상기 컨텐츠가 제어되도록 하고 이를 상기 사용자에게 제공하는 단계; 를 포함하는 것을 특징으로 하는 컨텐츠 제어 방법이 제공된다.According to an embodiment of the present invention, in the content control method using an infrared marker, (a) determining the state information of the user by using the position and shape information of at least a plurality of markers attached to the glasses worn by the user; The state information of the user includes at least one of information about a location, a movement of the user, and a direction in which the face / eye of the user is directed; And (b) causing the content to be controlled with reference to the state information of the user and providing it to the user; Provided is a content control method comprising a.

또한, 본 발명의 다른 실시예에 따르면, 적외선 마커를 이용한 컨텐츠 제어 시스템에 있어서, 사용자가 착용한 안경에 부착된 적어도 복수의 마커의 위치 및 형상 정보를 이용하여 사용자의 상태 정보를 판단하는 사용자 상태 판단부 ? 상기 사용자의 상태 정보는 상기 사용자의 위치, 움직임 및 상기 사용자의 얼굴/시선이 향하고 있는 방향에 대한 정보 중 적어도 하나를 포함함 -; 및 상기 사용자의 상태 정보를 참조로 하여 상기 컨텐츠가 제어되도록 하고 이를 상기 사용자에게 제공하는 영상 출력부; 를 포함하는 것을 특징으로 하는 컨텐츠 제어 시스템이 제공된다.In addition, according to another embodiment of the present invention, in the content control system using an infrared marker, a user state for determining the state information of the user using the position and shape information of at least a plurality of markers attached to the glasses worn by the user Judgment Department The state information of the user includes at least one of information about a location, a movement of the user, and a direction in which the face / eye of the user is directed; And an image output unit configured to control the content with reference to the state information of the user and provide the same to the user. Provided is a content control system comprising a.

한편, 이외에도 본 발명을 구현하기 위한 다른 방법, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 제공된다.On the other hand, other methods, systems for implementing the present invention, and computer readable recording media for recording computer programs for executing the methods are provided.

본 발명에 따르면, 키보드나 마우스와 같은 별도의 입력 도구 없이도, 사용자의 주시선과 움직임 등을 실시간으로 추적하여 컨텐츠를 제어할 수 있으므로, 게임, 외과 수술 훈련, 군사 훈련, 조종사 시뮬레이션 등 다양한 컨텐츠에서 보다 실감나고 효과적인 서비스를 제공 받을 수 있다.According to the present invention, since it is possible to control the content by tracking the user's gaze and movement in real time without a separate input tool such as a keyboard or a mouse, in a variety of content, such as games, surgical training, military training, pilot simulation More realistic and effective services can be provided.

도 1은 본 발명의 일 실시예에 따른 컨텐츠 제어 시스템을 개략적으로 나타낸 도,
도 2는 본 발명의 일 실시예에 따른 컨텐츠 제어 시스템에 포함되는 영상 기기의 내부 구성을 나타낸 블록도,
도 3은 본 발명의 일 실시예에 따른 컨텐츠 제어 방법을 설명하는데 제공되는 흐름도,
도 4는 본 발명의 일 실시예에 따른 컨텐츠 제어 시스템에 포함되는 안경에 부착된 역반사 마커를 설명하기 위해 제공되는 도,
도 5는 본 발명의 일 실시예에 따른 컨텐츠 제어 시스템에서 사용자의 상태 정보를 수집하는 방법을 설명하기 위해 제공되는 도,
도 6 및 도 7은 본 발명의 일 실시예에 따른 컨텐츠 제어 시스템에서 안경의 상하 방향을 찾아내는 방법을 설명하기 위해 제공되는 도이다.1 is a view schematically showing a content control system according to an embodiment of the present invention;
2 is a block diagram showing an internal configuration of a video device included in a content control system according to an embodiment of the present invention;
3 is a flowchart provided to explain a content control method according to an embodiment of the present invention;
4 is a view provided to explain a retroreflective marker attached to glasses included in a content control system according to an embodiment of the present invention;
5 is a view provided to explain a method of collecting status information of a user in a content control system according to an embodiment of the present invention;
6 and 7 are views provided to explain a method of finding up and down directions of glasses in a content control system according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조하여 설명한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE INVENTION The following detailed description of the invention is described with reference to the accompanying drawings, which show by way of illustration specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the position or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the invention. The following detailed description, therefore, is not to be taken in a limiting sense, and the scope of the present invention, if properly described, is defined only by the appended claims, along with the full range of equivalents to which such claims are entitled. Like reference numerals in the drawings refer to the same or similar functions throughout the several aspects.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.DETAILED DESCRIPTION Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily implement the present invention.

도 1은 본 발명의 일 실시예에 따른 컨텐츠 제어 시스템을 개략적으로 나타낸 도면이다. 도 1을 참조하면, 사용자가 착용한 안경(100)의 특정 위치에 적어도 다수 개, 가령 4개의 마커가 부착된다. 사용자에게 컨텐츠를 제공하는 영상 기기(200)는 촬영되는 마커의 형상의 변화를 참조로 하여 사용자의 움직임 정보를 획득하기 위한 카메라부(300)를 구비한다.1 is a view schematically showing a content control system according to an embodiment of the present invention. Referring to FIG. 1, at least a plurality of markers, for example four markers, are attached to a specific position of the glasses 100 worn by a user. The imaging apparatus 200 providing content to a user includes a camera unit 300 for acquiring the user's motion information with reference to a change in the shape of the marker to be photographed.

도 1에 도시된 영상 기기(200)는 안경(100)에 부착된 마커로부터 획득한 사용자의 상태 정보(가령, 사용자의 위치, 움직임 및 얼굴/시선이 향하고 있는 방향 등에 대한 정보)를 참조로 하여 제어되는 컨텐츠를 디스플레이하기 위한 연산부를 구비한 모든 영상 기기의 종류, 예를 들어 TV, 모니터가 구비된 데스크탑 컴퓨터나 노트북 컴퓨터, PDA, 스마트폰, 태블릿 등을 모두 포함한다.The imaging apparatus 200 illustrated in FIG. 1 may refer to user's state information (for example, information about a user's position, movement, and direction in which a face / eye is directed) obtained from a marker attached to the glasses 100. It includes all kinds of video devices including a computing unit for displaying the controlled content, for example, a TV, a desktop computer or a laptop computer equipped with a monitor, a PDA, a smartphone, a tablet, and the like.

안경(100)에는 가령 4개의 마커가 부착될 수 있는데, 이 경우 안경(100)의 상측 부분과 하측 부분에 각각 2개의 마커가 나뉘어져 부착될 수 있다. 마커는 역반사 마커일 수 있는데, 이에 대해서는 후술하도록 한다. 카메라부(300)는 마커가 반사할 수 있는 특정 파장 대역의 빛을 조사하고, 마커로부터 반사되어 되돌아 오는 빛을 분석함으로써 안경(100)을 착용한 사용자의 주시선과 움직임 등을 포함한 정보를 분석할 수 있다.For example, four markers may be attached to the glasses 100. In this case, two markers may be divided and attached to an upper portion and a lower portion of the glasses 100. The marker may be a retroreflective marker, which will be described later. The camera unit 300 analyzes information including gaze and movement of the user wearing the glasses 100 by irradiating light of a specific wavelength band that can be reflected by the marker and analyzing the light reflected from the marker. can do.

한편, 다른 실시예로는 카메라부(300)가 마커에 반사되어 되돌아 오는 빛을 수신하고, 해당 정보를 영상 기기(200)가 전달받아 분석함으로써 사용자의 주시선과 움직임 등의 정보를 분석하도록 할 수도 있을 것이다. 이하, 본 명세서 전반에 걸쳐서는 설명의 편의를 위해 카메라부(300)가 수집한 사용자의 상태 정보를 영상 기기(200)가 분석하고, 이를 토대로 사용자로 하여금 컨텐츠 제어가 가능하도록 하는 것으로 가정한다.Meanwhile, in another embodiment, the camera unit 300 receives the light reflected by the marker and returns, and the image device 200 receives and analyzes the corresponding information to analyze information such as the gaze of the user and movement of the user. Could be Hereinafter, throughout the present specification, for convenience of explanation, it is assumed that the imaging apparatus 200 analyzes the user state information collected by the camera unit 300 and enables the user to control the content based on this.

한편, 안경(100)은 가령 4개의 마커가 부착되는 것 이외에, 사용자에게 효율적으로 컨텐츠를 제공하기 위해 편광 안경, 셔터 글라스, 적청 안경 등을 포함하는 개념일 수도 있다.On the other hand, the glasses 100 may be a concept including polarized glasses, shutter glasses, red-blue glasses, etc. in order to provide content to the user in addition to the four markers attached.

도 2는 본 발명의 일 실시예에 따른 컨텐츠 제어 시스템에 포함되는 영상 기기(200)의 내부 구조를 간단하게 도시한 블록도이다. 도 2를 참조하면, 본 실시예에 따른 영상 기기(200)는 제어부(210), 메모리부(220), 사용자 상태 판단부(230), 영상 출력부(240), 등을 포함한다. 2 is a block diagram schematically illustrating an internal structure of an image device 200 included in a content control system according to an exemplary embodiment. Referring to FIG. 2, the imaging device 200 according to the present exemplary embodiment includes a controller 210, a memory 220, a user state determiner 230, an image outputter 240, and the like.

이하, 편의를 위해 제어부(210), 메모리부(220), 사용자 상태 판단부(230), 영상 출력부(240) 등의 모듈이 영상 기기(200)에 포함되는 것으로 설명하나, 상기 모듈 가운데 일부만 영상 기기(200)에 포함되거나 영상 기기(200)와 통신 가능한 별도의 모듈에 저장되어 기능되도록 하는 것도 가능하다. Hereinafter, for convenience, modules such as the control unit 210, the memory unit 220, the user state determination unit 230, and the image output unit 240 will be described as being included in the image device 200, but only some of the modules are included. It is also possible to be stored in a separate module that can be included in the video device 200 or communicate with the video device 200 to function.

또한, 본 발명의 일 실시예에 따른 제어부(210)는 메모리부(220), 사용자 상태 판단부(230) 및 영상 출력부(240) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 제어부(210)는 외부로의/외부로부터의 데이터 흐름 또는 영상 기기(200)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 메모리부(220), 사용자 상태 판단부(230), 영상 출력부(240)에서 각각 고유의 기능을 수행하도록 제어한다.In addition, the controller 210 according to an embodiment of the present invention performs a function of controlling the flow of data between the memory unit 220, the user state determination unit 230, and the image output unit 240. That is, the controller 210 controls the flow of data to and from the outside or the flow of data between the components of the image device 200, thereby outputting the memory 220, the user state determiner 230, and the image output. Each control unit 240 performs a unique function.

또한, 본 발명의 일 실시예에 따른 메모리부(220)는 임의의 데이터를 저장하기 위한 어떠한 형태의 매체라도 포함하는 개념이라 할 것이며, 후술할 영상 출력부(240)에 의해 수집된 사용자의 상태 정보를 기록하기 위해 필요로 될 수 있다.In addition, the memory unit 220 according to an embodiment of the present invention will be referred to as a concept including any type of medium for storing any data, the state of the user collected by the image output unit 240 to be described later It may be necessary to record the information.

또한, 본 발명의 일 실시예에 따른 사용자 상태 판단부(230)는 카메라부(300)를 통해 촬영된 사용자의 위치, 움직임 및 얼굴/시선의 방향 등에 대한 정보를 판단하는 기능을 수행할 수 있다. 구체적으로, 사용자에게 보다 정확하고 실감나는 컨텐츠를 제공하기 위해서는 사용자의 위치, 움직임 및 얼굴/시선의 방향 등을 실시간으로 판단할 수 있어야 하며, 이를 위해서 사용자 상태 판단부(230)는 카메라부(300)를 통해 촬영되는 안경(100)에 부착된 마커의 영상을 실시간으로 추적하여 마커의 위치 및 형상의 변화 정보로부터 사용자의 제어 의도를 파악해야 한다. In addition, the user state determination unit 230 according to an embodiment of the present invention may perform a function of determining information about a user's position, a movement, and a direction of a face / line of sight captured by the camera unit 300. . Specifically, in order to provide more accurate and realistic content to the user, the user's position, movement, and direction of face / eyes should be determined in real time. For this, the user state determination unit 230 may include a camera unit 300. The control intention of the user should be grasped from the change information of the position and shape of the marker by tracking the image of the marker attached to the glasses 100 photographed in real time.

또한, 본 발명의 일 실시예에 따른 영상 출력부(240)는 사용자 상태 판단부(230)로부터 파악된 사용자의 상태 정보(즉, 사용자의 제어 의도에 대한 정보)를 수신하고 이를 참조로 하여 컨텐츠가 반응되도록 하여 출력하는 기능을 수행할 수 있다. In addition, the image output unit 240 according to an embodiment of the present invention receives the user's state information (that is, information on the user's control intention) identified from the user state determination unit 230 and the content with reference to the content Can be reacted to output the function.

도 3은 본 발명의 일 실시예에 따른 컨텐츠 제어 방법을 설명하는 흐름도이다. 이하, 본 발명의 일 실시예에 따른 컨텐츠 제어 방법을 도 3에 도시된 흐름도를 참조하여 설명한다.3 is a flowchart illustrating a content control method according to an embodiment of the present invention. Hereinafter, a content control method according to an embodiment of the present invention will be described with reference to the flowchart shown in FIG. 3.

도 3을 참조하면, 본 발명의 일 실시예에 따른 컨텐츠 제어 방법은 영상 기기(200)와 연결된 카메라부(300)에서 외부로 적외선을 방출하는 것으로 시작된다(S310). 적외선은 눈에 보이지 않기 때문에 마커의 위치, 움직임 등을 판단하기 위한 수단으로 유용하게 쓰일 수 있다. 다만, 강한 적외선 조명에 육안이 오랫동안 노출되는 경우, 눈에 대한 피로도가 높아질 수 있으므로, 적외선 조명을 일정한 주기로 동작시키거나, 필요한 때에만 동작시킬 수 있을 것이다. 예를 들어, 외부로 적외선을 방출하는 적외선 조명과, 적외선을 감지하기 위한 대역 필터가 장착된 적외선 카메라를 별도로 마련하고, 적외선 카메라가 동작하여 마커의 위치를 판단하고자 하는 시점에만 적외선 조명을 동작시킬 수 있을 것이다.Referring to FIG. 3, the method for controlling content according to an embodiment of the present invention begins by emitting infrared rays from the camera unit 300 connected to the imaging device 200 to the outside (S310). Since infrared rays are not visible to the eyes, they may be useful as a means for determining the position and movement of the marker. However, when the naked eye is exposed to the strong infrared light for a long time, the eye fatigue may be increased, and thus the infrared light may be operated at regular intervals or only when necessary. For example, an infrared camera that emits infrared light to the outside and an infrared camera equipped with a band pass filter for detecting the infrared light are separately provided, and the infrared light is operated to operate the infrared light only when the position of the marker is determined. Could be.

외부로 방출된 적외선 중 일부는 사용자가 착용한 안경(100)에 장착된 마커에 반사되어 다시 카메라부(300)에 의해 수집될 수 있다(S320). 앞서 설명한 바와 같이, 적외선을 효율적으로 수집하기 위해 대역 필터가 장착된 적외선 카메라가 구비될 수 있으며, 기존의 일반적인 마커와 달리 적외선을 효율적으로 반사시킬 수 있는 역반사 마커를 이용할 수 있다.Some of the infrared rays emitted to the outside may be reflected by a marker mounted on the glasses 100 worn by the user and collected again by the camera unit 300 (S320). As described above, an infrared camera equipped with a band filter may be provided to efficiently collect infrared rays, and unlike conventional markers, a retro-reflective marker capable of efficiently reflecting infrared rays may be used.

카메라부(300)에서 방출된 적외선이 안경(100)에 장착된 마커에 도달하여 반사될 때, 일반적인 마커의 경우 도 4의 왼쪽 도면에 도시한 바와 같이 입사각(θ1)과 동일한 반사각(θ2)을 나타내도록 적외선이 반사되는데, 이 경우 마커의 표면에서 난반사되어 흩어지는 적외선까지 감안하면, 실질적으로 카메라부(300)에서 방출한 적외선이 마커에 반사되어 다시 돌아오는 것을 수집하기가 거의 불가능하다.When the infrared rays emitted from the camera unit 300 reach and reflect the markers mounted on the glasses 100, the general markers have the same reflection angle θ 2 as the incident angle θ 1 as shown in the left figure of FIG. 4. In this case, the infrared rays are reflected, and in this case, considering infrared rays diffused and scattered on the surface of the marker, it is almost impossible to collect the infrared rays emitted from the camera unit 300 and reflected back to the marker. .

반면, 본 발명의 일 실시예에서와 같이 역반사 마커를 이용하는 경우에는 도 4의 오른쪽 도면에 도시한 바와 같이 마커 표면과 어떠한 입사각을 형성하면서 적외선이 입사된다 하더라도, 입사 방향의 반대 방향으로 적외선이 반사된다. 따라서, 안경(100)에 장착된 마커의 일부 표면에라도 카메라부(300)에서 방출된 적외선이 입사된다면 동일 경로로 역반사되어 그대로 카메라부(300)에서 용이하게 수집이 가능할 것이며, 이에 따라 사용자의 상태 정보를 분석하는데에 이용할 수 있다.On the other hand, in the case of using the retroreflective marker as in the embodiment of the present invention, even if the infrared rays are incident while forming some incident angle with the marker surface as shown in the right figure of FIG. Reflected. Therefore, if infrared rays emitted from the camera unit 300 are incident on some surfaces of the markers mounted on the glasses 100, they will be retroreflected in the same path so that they can be easily collected by the camera unit 300. Can be used to analyze status information.

다음으로, 카메라부(300)에서 수집한 적외선에 기초하여 사용자의 상태 정보를 판단한다(S330). 사용자의 상태 정보는 사용자의 위치, 움직임 및 얼굴/시선이 향하고 있는 방향(사용자의 주시선)에 대한 정보 등을 포함한다. 이와 같은 사용자의 상태 정보를 판단하기 위하여, 사용자 상태 판단부(230)는 카메라부(300)에 의해 촬영되고 있는 마커의 크기, 형상(가령, 타원의 장축방향, 이심률) 등을 참조로 할 수 있으며, 이에 대한 자세한 설명은 4개의 마커가 부착된 경우를 가정한 도 5 및 도 6을 참조하여 설명한다.Next, the state information of the user is determined based on the infrared rays collected by the camera unit 300 (S330). The user's status information includes information about the user's location, movement, and the direction in which the face / eye is directed (the user's gaze). In order to determine such state information of the user, the user state determiner 230 may refer to the size and shape (eg, long axis direction of the ellipse, eccentricity) of the marker photographed by the camera unit 300. And, a detailed description thereof will be described with reference to FIGS. 5 and 6 on the assumption that four markers are attached.

도 5를 참조하면, 사용자가 착용하는 안경(100)의 상측 부분에 2개의 마커(110, 120)가 부착되며, 하측 부분에 2개의 마커(130, 140)가 부착된 경우를 가정한다. Referring to FIG. 5, it is assumed that two markers 110 and 120 are attached to an upper portion of glasses 100 worn by a user, and two markers 130 and 140 are attached to a lower portion thereof.

도 5에 도시된 영상 510에 도시된 바와 같이, 카메라부(300)에서 방출된 적외선은 4개의 마커(110~140) 각각에 의해 역반사되어 되돌아오며, 역반사에 의해 획득된 영상에는 마커(110~140)의 위치, 크기, 형상 등이 표시된다. 참고로, 외부 환경에서 오는 적외선의 양은 매우 미미하기 때문에 마커 부분만 하얗게 보이게 된다.As illustrated in the image 510 of FIG. 5, the infrared rays emitted from the camera unit 300 are retroreflected by each of the four markers 110 to 140, and the markers are included in the image obtained by the retroreflection. The position, size, shape, etc. of the 110 to 140 are displayed. For reference, since the amount of infrared light from the external environment is very small, only the marker part appears white.

이때, 영상에 표시된 마커(110~140)의 위치로부터, 각 마커(110~140) 사이의 거리를 계산하고, 계산된 거리를 이용하여 안경의 상측 부분과 하측 부분을 구분할 수 있다. 가령, 영상 520과 같이 각 마커(110~140)가 나타나는 영상이 획득된 경우, 영상 기기(200)는 제1 마커(110)와 제2 마커(120)를 안경의 상측 부분에 부착된 마커로 판단할 수 있는데, 이에 대해서는 도 6 및 도 7을 참조하여 보다 자세히 설명한다. 참고로, 영상 520에는 안경의 상측 부분에 부착된 마커를 하측 부분의 마커와 구별되는 색깔로 표시하였다.In this case, the distance between the markers 110 to 140 may be calculated from the positions of the markers 110 to 140 displayed on the image, and the upper and lower portions of the glasses may be distinguished using the calculated distances. For example, when an image in which each marker 110 to 140 is obtained as shown in image 520 is obtained, the imaging apparatus 200 uses the first marker 110 and the second marker 120 as a marker attached to the upper portion of the glasses. This may be determined, which will be described in more detail with reference to FIGS. 6 and 7. For reference, in the image 520, the marker attached to the upper portion of the glasses is displayed in a color distinguished from the marker of the lower portion.

도 6 및 도 7은 카메라부(300)가 수집한 적외선에 기초하여 구성된 영상의 2가지 예를 도시한 도이다. 도 6 및 도 7에 도시한 바와 같이, 4개의 마커(110~140) 사이의 거리(본 실시예에서는 총 6개의 거리가 계산 가능함)를 모두 계산한다. 이 때, 제1 예시(610)와 제2 예시(620)의 경우 모두 제1 마커(110)와 제2 마커(120) 사이의 거리가 가장 길게 나타난다.6 and 7 illustrate two examples of images configured based on infrared rays collected by the camera unit 300. 6 and 7, the distance between the four markers 110 to 140 (in this embodiment, six distances in total can be calculated) is calculated. In this case, in the case of the first example 610 and the second example 620, the distance between the first marker 110 and the second marker 120 is longest.

따라서 본 발명의 일 실시예의 경우, 각 마커(110~140) 사이의 거리를 모두 계산하고, 계산된 거리의 크기를 비교하여 그 거리가 가장 크게 나타난 2개의 마커(110, 120)를 안경(100)의 상측 부분에 부착된 마커로 판단할 수 있다. 이와 같은 방법을 통해, 사용자가 안경(100)을 착용하고 어떠한 각도로 위치해 있는가에 상관없이 안경(100)의 상하 부분을 정확하게 찾아낼 수 있다.Therefore, in the exemplary embodiment of the present invention, the distance between each marker 110 to 140 is calculated, and the two markers 110 and 120 having the largest distance are compared by comparing the magnitude of the calculated distance. It can be determined by the marker attached to the upper portion of the). Through this method, the upper and lower portions of the glasses 100 may be accurately found regardless of the angle at which the user wears the glasses 100 and is positioned at an angle.

다음으로, 안경(100)의 상하 부분을 구분한 뒤, 기존에 저장된 마커(110~140)의 상대적인 위치와 카메라부(300)에 저장된 정보를 이용하여 마커(110~140)의 실제 3차원 좌표를 계산한다. 이를 위해, 메모리부(220)에 저장된 바로 이전 시점의 마커(110~140)의 상대적인 위치를 읽어와 계산에 이용할 수도 있다. Next, after dividing the upper and lower portions of the glasses 100, the actual three-dimensional coordinates of the markers 110 to 140 by using the relative position of the markers 110 to 140 previously stored and the information stored in the camera unit 300. Calculate For this purpose, the relative positions of the markers 110 to 140 at the immediately previous time points stored in the memory unit 220 may be read and used for calculation.

마커(110~140)의 3차원 좌표를 계산하고 나면, 적외선을 조사한 카메라부(300)에 대한 각 마커(110~140)의 3차원 위치와 방향을 계산한다. 이 때, 각 마커(110~140)가 거의 동일한 평면에 위치한 경우, 사용자가 안경(100)을 통해 바라보는 시선의 방향을 각 마커(110~140)의 3차원 위치만으로 판단하기는 극히 곤란할 수 있다. 따라서, 카메라부(300)에서 식별 가능한 정도의 면적을 가지는 기하학적 도형의 형태로 제작된 마커(110~140)를 안경(100)에 부착하고 이러한 도형 형태의 마커의 영상이 어떠한 형태로 변하는지 추적함으로써, 사용자의 시선 방향 및 시선이 컨텐츠의 어떠한 영역을 바라보고 있는지 등에 대해 계산한다.After the three-dimensional coordinates of the markers 110 to 140 are calculated, three-dimensional positions and directions of the markers 110 to 140 with respect to the camera unit 300 irradiated with infrared rays are calculated. In this case, when the markers 110 to 140 are located on substantially the same plane, it may be extremely difficult for the user to determine the direction of the gaze viewed through the glasses 100 only by the three-dimensional position of each marker 110 to 140. have. Therefore, the markers 110 to 140, which are manufactured in the form of geometric figures having an area that can be identified by the camera unit 300, are attached to the glasses 100, and the image of the markers of the figure forms changes in the form. By calculating the gaze direction and the gaze of the user, the area of the content is calculated.

본 실시예에서는 안경(100)에 부착된 마커(110~140)가 원형인 것을 가정하였다. 도 5의 영상 530을 참조하면, 각각의 마커(110~140)는 사용자의 시선 방향에 따라 카메라부(300)로부터의 거리 및 각도가 다르기 때문에, 그 형태와 면적이 모두 다르다. In this embodiment, it is assumed that the markers 110 to 140 attached to the glasses 100 are circular. Referring to the image 530 of FIG. 5, since the markers 110 to 140 have different distances and angles from the camera unit 300 according to the direction of the user's eyes, the shapes and areas of the markers 110 and 140 are different.

영상 530에 도시된 바와 같이 제1 마커(110)가 제2 마커(120)보다 크기가 작으며 제3 마커(130)와 제4 마커(140)가 제1 마커(110)보다 크기가 큰 경우에는 카메라부(300)로부터 제1 마커(110)가 가장 멀리 떨어져 있고 각도도 카메라 정면으로부터 가장 벗어나 있음을 알 수 있다. 즉, 사용자가 고개를 제1 마커(110) 쪽으로 비스듬히 돌려 주시하고 있음을 영상 530을 통해 판단할 수 있다. 구체적으로, 각각의 마커의 크기, 형태(타원의 장축방향과 이심률 등)를 정밀하게 파악하여 미세한 조정이 가능토록 할 수 있을 것이다. 이에 따라, 사용자의 3차원 위치는 물론, 사용자가 현재 바라보고 있는 주시선 방향(540)까지도 정확히 계산함으로써, 보다 정확하고 실감나게 컨텐츠를 제어되도록 하는 것이 가능하다(S340). As shown in the image 530, the first marker 110 is smaller than the second marker 120, and the third marker 130 and the fourth marker 140 are larger than the first marker 110. It can be seen that the first marker 110 is farthest from the camera unit 300 and the angle is farthest from the front of the camera. That is, it may be determined through the image 530 that the user watches the head diagonally toward the first marker 110. Specifically, the size and shape of each marker (such as the long axis direction and the eccentricity of the ellipse) may be precisely grasped to enable fine adjustment. Accordingly, by accurately calculating not only the three-dimensional position of the user but also the direction of the gazeline 540 currently viewed by the user, it is possible to more precisely and realistically control the content (S340).

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention described above may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the computer-readable recording medium may be those specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.Although the present invention has been described by specific embodiments such as specific components and the like, but the embodiments and the drawings are provided to assist in a more general understanding of the present invention, the present invention is not limited to the above embodiments. For those skilled in the art, various modifications and variations can be made from these descriptions.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all of the equivalents or equivalents of the claims, as well as the following claims, I will say.

100: 입체 안경
200: 영상 기기
300: 카메라부
210: 제어부
220: 메모리부
230: 사용자 상태 판단부
240: 영상 출력부100: stereoscopic glasses
200: video equipment
300: camera unit
210: control unit
220: memory unit
230: user status determination unit
240: video output unit

Claims (16)

적외선 마커를 이용한 컨텐츠 제어 방법에 있어서,
(a) 사용자가 착용한 안경에 부착된 적어도 복수의 마커의 위치 및 형상 정보를 이용하여 사용자의 상태 정보를 판단하는 단계 ? 상기 사용자의 상태 정보는 상기 사용자의 위치, 움직임 및 상기 사용자의 얼굴/시선이 향하고 있는 방향에 대한 정보 중 적어도 하나를 포함함 -; 및
(b) 상기 사용자의 상태 정보를 참조로 하여 상기 컨텐츠가 제어되도록 하고 이를 상기 사용자에게 제공하는 단계;
를 포함하고,
상기 마커의 실제 형태가 원형일 때,
상기 사용자의 움직임에 따라 상기 마커의 형상이 타원형으로 촬영되는 경우 상기 타원의 장축방향과 이심률을 참조로 하여 상기 사용자의 상태 정보를 판단하는 것을 특징으로 하는 컨텐츠 제어 방법.In the content control method using an infrared marker,
(a) determining the state information of the user by using the position and shape information of at least a plurality of markers attached to the glasses worn by the user; The state information of the user includes at least one of information about a location, a movement of the user, and a direction in which the face / eye of the user is directed; And
(b) causing the content to be controlled with reference to the user's status information and providing it to the user;
Including,
When the actual shape of the marker is circular,
And when the shape of the marker is taken in an elliptical shape according to the movement of the user, determining the state information of the user with reference to the long axis direction and the eccentricity of the ellipse. 제1항에 있어서,
상기 (a) 단계는,
상기 마커에서 역반사되는 적외선을 이용하여 상기 사용자의 주시선 및 움직임을 포함하는 정보를 실시간으로 판단하는 것을 특징으로 하는 컨텐츠 제어 방법.The method of claim 1,
In step (a),
And determining information including the gaze and the movement of the user in real time using infrared rays reflected back from the marker. 제1항에 있어서,
상기 (a) 단계는,
상기 마커의 형상이 실시간으로 변하는 상태를 파악하고 이를 이용하여 상기 사용자의 상태 정보를 판단하는 단계를 포함하는 것을 특징으로 하는 컨텐츠 제어 방법.The method of claim 1,
In step (a),
Determining a state in which the shape of the marker changes in real time, and determining the state information of the user by using the same. 삭제delete 제1항에 있어서,
상기 (a) 단계는,
(a1) 상기 마커에서 반사되는 적외선을 이용하여 상기 마커가 차지하는 위치를 판단하는 단계;
(a2) 상기 마커의 위치에 기반하여 상기 마커의 실제 3차원 좌표를 구하는 단계; 및
(a3) 상기 마커의 실제 3차원 좌표 및 상기 마커의 위치 및 형상 정보를 이용하여 상기 사용자의 상태 정보를 판단하는 단계;
를 포함하는 것을 특징으로 하는 컨텐츠 제어 방법.The method of claim 1,
In step (a),
(a1) determining a position occupied by the marker using infrared rays reflected from the marker;
(a2) obtaining actual three-dimensional coordinates of the marker based on the position of the marker; And
(a3) determining state information of the user by using actual three-dimensional coordinates of the marker and position and shape information of the marker;
Content control method comprising a. 제5항에 있어서,
상기 (a1) 단계는,
상기 마커에서 반사되는 적외선을 이용하여 상기 마커가 상기 안경의 상측 부분에 위치하는지 하측 부분에 위치하는지 판단하는 단계를 포함하는 것을 특징으로 하는 컨텐츠 제어 방법.The method of claim 5,
Step (a1),
And determining whether the marker is located at an upper portion or a lower portion of the glasses by using infrared rays reflected from the markers. 제6항에 있어서,
상기 (a1) 단계는,
상기 마커에서 반사되는 적외선을 이용하여 상기 마커 사이의 거리를 계산하고, 사이의 거리가 가장 긴 마커를 상기 안경의 상측 부분에 부착된 마커로 판단하는 것을 특징으로 하는 컨텐츠 제어 방법.The method of claim 6,
Step (a1),
And calculating the distance between the markers using the infrared rays reflected from the markers, and determining the marker having the longest distance between the markers as a marker attached to the upper portion of the glasses. 적외선 마커를 이용한 컨텐츠 제어 시스템에 있어서,
사용자가 착용한 안경에 부착된 적어도 복수의 마커의 위치 및 형상 정보를 이용하여 사용자의 상태 정보를 판단하는 사용자 상태 판단부 ? 상기 사용자의 상태 정보는 상기 사용자의 위치, 움직임 및 상기 사용자의 얼굴/시선이 향하고 있는 방향에 대한 정보 중 적어도 하나를 포함함 -; 및
상기 사용자의 상태 정보를 참조로 하여 상기 컨텐츠가 제어되도록 하고 이를 상기 사용자에게 제공하는 영상 출력부;
를 포함하고,
상기 마커의 실제 형태가 원형일 때,
상기 사용자의 움직임에 따라 상기 마커의 형상이 타원형으로 촬영되는 경우 상기 타원의 장축방향과 이심률을 참조로 하여 상기 사용자의 상태 정보를 판단하는 것을 특징으로 하는 컨텐츠 제어 시스템.In the content control system using an infrared marker,
User status determination unit for determining the status information of the user using the position and shape information of at least a plurality of markers attached to the glasses worn by the user? The state information of the user includes at least one of information about a location, a movement of the user, and a direction in which the face / eye of the user is directed; And
An image output unit configured to control the content with reference to the state information of the user and to provide the content to the user;
Including,
When the actual shape of the marker is circular,
When the shape of the marker is taken in the shape of an oval according to the movement of the user, the content control system, characterized in that determining the state information of the user with reference to the long axis direction and the eccentricity of the ellipse. 제8항에 있어서,
상기 사용자 상태 판단부는,
상기 마커에서 역반사되는 적외선을 이용하여 상기 사용자의 주시선 및 움직임을 포함하는 정보를 실시간으로 판단하는 것을 특징으로 하는 컨텐츠 제어 시스템.The method of claim 8,
The user state determination unit,
And determining information including the gaze and the movement of the user in real time using infrared rays reflected back from the marker. 제8항에 있어서,
상기 사용자 상태 판단부는,
상기 마커의 형상이 실시간으로 변하는 상태를 파악하고 이를 이용하여 상기 사용자의 상태 정보를 판단하는 것을 특징으로 하는 컨텐츠 제어 시스템.The method of claim 8,
The user state determination unit,
Content control system, characterized in that to determine the state in which the shape of the marker changes in real time and to determine the state information of the user using this. 삭제delete 제8항에 있어서,
상기 사용자 상태 판단부는,
상기 마커에서 반사되는 적외선을 이용하여 상기 마커가 차지하는 위치를 판단하고, 상기 마커의 위치에 기반하여 상기 마커의 실제 3차원 좌표를 구한 후, 상기 마커의 실제 3차원 좌표 및 상기 마커의 위치 및 형상 정보를 이용하여 상기 사용자의 상태 정보를 판단하는 것을 특징으로 하는 컨텐츠 제어 시스템.The method of claim 8,
The user state determination unit,
After determining the position occupied by the marker using the infrared rays reflected from the marker, and obtaining the actual three-dimensional coordinates of the marker based on the position of the marker, the actual three-dimensional coordinates of the marker and the position and shape of the marker And determining the state information of the user by using the information. 제12항에 있어서,
상기 사용자 상태 판단부는,
상기 마커에서 반사되는 적외선을 이용하여 상기 마커가 상기 안경의 상측 부분에 위치하는지 하측 부분에 위치하는지 판단하는 것을 특징으로 하는 컨텐츠 제어 시스템.The method of claim 12,
The user state determination unit,
And determining whether the marker is located at an upper portion or a lower portion of the glasses by using infrared rays reflected from the markers. 제13항에 있어서,
상기 사용자 상태 판단부는,
상기 마커에서 반사되는 적외선을 이용하여 상기 마커 사이의 거리를 계산하고, 사이의 거리가 가장 긴 마커를 상기 안경의 상측 부분에 부착된 마커로 판단하는 것을 특징으로 하는 컨텐츠 제어 시스템.The method of claim 13,
The user state determination unit,
And calculating distances between the markers using infrared rays reflected from the markers, and determining the marker having the longest distance as the marker attached to the upper portion of the glasses. 제8항에 있어서,
상기 마커의 형상 정보는 상기 마커의 모양 및 크기 정보를 포함하는 것을 특징으로 하는 컨텐츠 제어 시스템.The method of claim 8,
The shape information of the marker includes the shape and size information of the marker. 제1항 내지 제3항, 제5항 내지 제7항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능 매체.A computer-readable medium for recording a computer program for executing the method according to any one of claims 1 to 3 and 5 to 7.
KR1020100119093A 2010-11-26 2010-11-26 Method, system and computer-readable recording medium for controlling content using infrared marker KR101145454B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100119093A KR101145454B1 (en) 2010-11-26 2010-11-26 Method, system and computer-readable recording medium for controlling content using infrared marker

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100119093A KR101145454B1 (en) 2010-11-26 2010-11-26 Method, system and computer-readable recording medium for controlling content using infrared marker

Publications (1)

Publication Number Publication Date
KR101145454B1 true KR101145454B1 (en) 2012-05-15

Family

ID=46272009

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100119093A KR101145454B1 (en) 2010-11-26 2010-11-26 Method, system and computer-readable recording medium for controlling content using infrared marker

Country Status (1)

Country Link
KR (1) KR101145454B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100374346B1 (en) * 2000-12-06 2003-03-04 한국과학기술원 Head pose tracking method using image processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100374346B1 (en) * 2000-12-06 2003-03-04 한국과학기술원 Head pose tracking method using image processing

Similar Documents

Publication Publication Date Title
CN110647237B (en) Gesture-based content sharing in an artificial reality environment
US11157725B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
US11461982B2 (en) 3D object rendering using detected features
CN110646938B (en) Near-eye display system
US11861062B2 (en) Blink-based calibration of an optical see-through head-mounted display
US8933912B2 (en) Touch sensitive user interface with three dimensional input sensor
CN113267895B (en) Power management for head-mounted computing
CN106662925B (en) Multi-user gaze projection using head mounted display devices
KR100820639B1 (en) System and method for 3-dimensional interaction based on gaze and system and method for tracking 3-dimensional gaze
JP2021527998A (en) Augmented reality display with frame modulation functionality
CN111630435A (en) Enhanced gesture determination for display devices
KR20200055704A (en) Personalized neural network for eye tracking
US11782499B2 (en) Converting a 2D positional input into a 3D point in space
KR20160123346A (en) Stereoscopic display responsive to focal-point shift
CN110018736A (en) The object via near-eye display interface in artificial reality enhances
CN104345802A (en) Method and device for controlling a near eye display
JP2017505933A (en) Method and system for generating a virtual image fixed on a real object
CN108537103B (en) Living body face detection method and device based on pupil axis measurement
KR101145454B1 (en) Method, system and computer-readable recording medium for controlling content using infrared marker
Prima et al. A Pointing Device for 3D Interactive Spherical Displays
D'Angelo et al. Towards a Low-Cost Augmented Reality Head-Mounted Display with Real-Time Eye Center Location Capability
KR20230050679A (en) Method and apparatus for analyzing user's behavior data collected using virtual objects

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 6