KR101334049B1 - Apparatus and method for providing user interface based on augmented reality - Google Patents

Apparatus and method for providing user interface based on augmented reality Download PDF

Info

Publication number
KR101334049B1
KR101334049B1 KR1020110067193A KR20110067193A KR101334049B1 KR 101334049 B1 KR101334049 B1 KR 101334049B1 KR 1020110067193 A KR1020110067193 A KR 1020110067193A KR 20110067193 A KR20110067193 A KR 20110067193A KR 101334049 B1 KR101334049 B1 KR 101334049B1
Authority
KR
South Korea
Prior art keywords
augmented reality
user interface
interface providing
image
marker
Prior art date
Application number
KR1020110067193A
Other languages
Korean (ko)
Other versions
KR20120106519A (en
Inventor
성준형
Original Assignee
성준형
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성준형 filed Critical 성준형
Publication of KR20120106519A publication Critical patent/KR20120106519A/en
Application granted granted Critical
Publication of KR101334049B1 publication Critical patent/KR101334049B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실 기반 사용자 인터페이스 제공 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 증강 현실 기반의 사용자 인터페이스 제공 장치는, 영상을 촬영하는 카메라 모듈; 상기 카메라 모듈로부터 촬영한 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이하는 디스플레이 모듈; 디스플레이된 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 감지하는 입력 감지 모듈; 및 상기 입력 감지 모듈에서 감지된 상기 상대적 위치 변화에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 제어 모듈을 포함한다.An apparatus and method for providing an augmented reality based user interface are disclosed. Device for providing a user interface based on augmented reality according to an embodiment of the present invention, the camera module for capturing an image; A display module configured to recognize an augmented reality marker from an image photographed by the camera module and to display an augmented reality object corresponding to the recognized augmented reality marker on the photographed image; An input sensing module configured to detect a change in relative position between the displayed augmented reality object and the user interface providing device; And a control module for updating a shape or an operation of the augmented reality object displayed according to the change in relative position detected by the input sensing module.

Description

증강 현실 기반 사용자 인터페이스 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING USER INTERFACE BASED ON AUGMENTED REALITY}Apparatus and method for providing augmented reality-based user interface {APPARATUS AND METHOD FOR PROVIDING USER INTERFACE BASED ON AUGMENTED REALITY}

본 발명은 휴대 디바이스에 적용될 수 있는 증강 현실을 이용한 사용자 인터페이스 기술과 관련된다.
The present invention relates to user interface technology using augmented reality that can be applied to portable devices.

최근 들어, 스마트폰 및 태블릿 피씨(PC) 등으로 대표되는 모바일 기기의 사용이 일반화되면서, 이를 이용한 다양한 종류의 서비스들이 제안되고 있다. 이러한 모바일 기기들은 일반적으로 버튼 또는 터치스크린 등을 이용하여 사용자와 인터랙션을 수행하도록 구성된다.Recently, as the use of mobile devices such as smartphones and tablet PCs (PCs) is generalized, various kinds of services using the same have been proposed. Such mobile devices are generally configured to interact with a user using a button or a touch screen.

또한, 이와 같은 스마트폰 등의 대중화와 더불어 최근에는 증강 현실 (Augmented Reality) 기술이 다양한 분야에서 활용되고 있다. 이러한 증강 현실의 일례로는 카메라로부터 촬영되는 영상으로부터 증강 현실 마커를 감지하고 감지된 마커에 따른 3차원 가상 물체를 상기 영상에 합성하여 디스플레이하는 기술을 들 수 있다. 이와 같은 기술을 사용함으로써 현실에는 존재하지 않는 가상 캐릭터 등이 화면상으로는 실제로 존재하는 것처럼 할 수 있다.In addition to the popularization of such smart phones, augmented reality technology has recently been utilized in various fields. An example of such an augmented reality may include a technique of detecting an augmented reality marker from an image captured by a camera and synthesizing and displaying a 3D virtual object according to the detected marker. By using such a technique, a virtual character or the like that does not exist in reality can be made to exist on the screen.

그러나 단순히 화면 상에 가상 캐릭터 또는 가상 오브젝트를 디스플레이하는 것 뿐만 아니라, 디스플레이된 가상 오브젝트와 모바일 디바이스를 이용하여 사용자와 상기 가상 오브젝트간에 상호작용(interaction)을 하려 할 경우, 상기와 같은 버튼 또는 터치스크린 등으로는 편리하고 직관적인 인터페이스를 구현하기에 한계가 있었다.
However, in addition to simply displaying a virtual character or a virtual object on the screen, the user may interact with the virtual object by using the displayed virtual object and the mobile device. Etc., there was a limit in implementing a convenient and intuitive interface.

본 발명은 모바일 단말에서 편리하고 직관적으로 조작 가능한 사용자 인터페이스를 제공하는데 그 목적이 있다.It is an object of the present invention to provide a user interface that can be conveniently and intuitively operated in a mobile terminal.

또한, 본 발명은 리소스가 제한된 모바일 환경에서 최적의 증강 현실 사용자 인터페이스를 구현하는 동시에, 사용자에게 사용자 인터페이스와의 상호작용에 대한 즉각적인 피드백을 제공하는 데 그 목적이 있다.
It is also an object of the present invention to implement an optimal augmented reality user interface in a resource-constrained mobile environment and to provide the user with instant feedback on interaction with the user interface.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 증강 현실 기반의 사용자 인터페이스 제공 장치는, 영상을 촬영하는 카메라 모듈; 상기 카메라 모듈에서 촬영한 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이하는 디스플레이 모듈; 디스플레이된 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 감지하는 입력 감지 모듈; 및 상기 입력 감지 모듈에서 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 거리를 계산하고, 계산된 상기 거리에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 제어 모듈을 포함한다.Device for providing an augmented reality based user interface according to an embodiment of the present invention for solving the above problems, the camera module for capturing an image; A display module configured to recognize an augmented reality marker from an image photographed by the camera module and to display an augmented reality object corresponding to the recognized augmented reality marker on the photographed image; An input sensing module configured to detect a change in relative position between the displayed augmented reality object and the user interface providing device; And calculating a distance between the augmented reality object and the user interface providing device according to the change in the relative position detected by the input sensing module, and updating a shape or an operation of the displayed augmented reality object according to the calculated distance. Contains modules

이때 상기 디스플레이 모듈은, 인식된 상기 증강 현실 마커에 포함된 2차원 코드를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출하고, 추출된 상기 식별 코드에 대응되는 상기 증강 현실 오브젝트를 상기 영상에 합성하여 출력할 수 있다.In this case, the display module extracts an identification code of the augmented reality object corresponding to the augmented reality marker by using the two-dimensional code included in the recognized augmented reality marker, and the augmented reality object corresponding to the extracted identification code May be synthesized and output to the image.

그리고 상기 입력 감지 모듈은, 위성으로부터 위치 정보를 수신하는 지피에스(GPS) 수신부; 상기 카메라 모듈에서 촬영한 영상 내의 상기 증강 현실 마커의 상대적 위치 변화를 감지하는 영상 감지부; 또는 상기 사용자 인터페이스 제공 장치의 3차원 이동을 감지하는 모션 센서부 중 하나 이상을 포함하며, 상기 지피에스 수신부에서 수신된 위치 변화, 상기 영상 감지부에서 감지된 상기 증강 현실 마커의 상대적 위치 변화, 상기 모션 센서부에서 감지된 상기 사용자 인터페이스 제공 장치의 3차원 이동, 또는 이들 중 둘 이상의 조합을 이용하여 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 계산할 수 있다.The input sensing module may include a GPS receiver which receives location information from a satellite; An image sensor for detecting a change in relative position of the augmented reality marker in the image captured by the camera module; Or a motion sensor unit for detecting a three-dimensional movement of the apparatus for providing a user interface, wherein the position change received by the GPS receiver, the relative position change of the augmented reality marker detected by the image sensor, and the motion The relative position change between the augmented reality object and the user interface providing device may be calculated using a three-dimensional movement of the user interface providing device sensed by the sensor unit, or a combination of two or more thereof.

한편, 상기 제어 모듈은, 상기 입력 감지 모듈에서 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트에 포함되는 세부 요소들 각각과 상기 사용자 인터페이스 제공 장치간의 거리를 계산하고, 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 존재하는 경우, 해당 세부 요소의 형태 또는 동작을 업데이트할 수 있다.Meanwhile, the control module calculates a distance between each of the detailed elements included in the augmented reality object and the user interface providing device according to the change of the relative position detected by the input sensing module, and calculates a distance from the user interface providing device. If there is a detail element whose distance is within a preset value, the shape or operation of the detail element may be updated.

또한 상기 증강 현실 기반 사용자 인터페이스 제공 장치는, 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 둘 이상이거나 또는 존재하지 않는 경우, 시각적, 촉각적 또는 청각적 수단 중 하나 이상의 수단을 이용하여 상기 증강 현실 기반 사용자 인터페이스 제공 장치의 사용자에게 이를 통지하는 피드백 모듈을 더 포함할 수 있다.The augmented reality based user interface providing apparatus may further include at least one of visual, tactile, and auditory means when two or more detail elements whose distance to the user interface providing apparatus are within a preset value are not present. The apparatus may further include a feedback module that notifies the user of the apparatus for providing an augmented reality based user interface using the same.

이때 상기 통지는, 상기 디스플레이 모듈에서 디스플레이되는 영상의 밝기 또는 채도 변화, 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함할 수 있다.In this case, the notification may include one or more of brightness or saturation of the image displayed on the display module, a warning message display, a vibration, or a warning sound output.

한편, 상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치에서 수행되는 증강 현실 기반의 사용자 인터페이스 제공 방법은, 촬영된 영상으로부터 증강 현실 마커를 인식하는 단계; 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이하는 단계; 디스플레이된 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 감지하는 단계; 및 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 거리를 계산하고, 계산된 상기 거리에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 단계를 포함한다.On the other hand, the augmented reality based user interface providing method performed in the user interface providing apparatus according to an embodiment of the present invention for solving the above problems, Recognizing the augmented reality marker from the captured image; Synthesizing and displaying the augmented reality object corresponding to the recognized augmented reality marker on the photographed image; Detecting a change in relative position between the displayed augmented reality object and the user interface providing device; And calculating a distance between the augmented reality object and the user interface providing device according to the detected relative position change, and updating the displayed shape or operation of the augmented reality object according to the calculated distance.

이때 상기 디스플레이 단계는, 인식된 상기 증강 현실 마커에 포함된 2차원 코드를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출하는 단계; 및 추출된 상기 식별 코드에 대응되는 상기 증강 현실 오브젝트를 상기 영상에 합성하여 출력하는 단계를 더 포함할 수 있다.The displaying may include: extracting an identification code of an augmented reality object corresponding to the augmented reality marker using a two-dimensional code included in the recognized augmented reality marker; And synthesizing the augmented reality object corresponding to the extracted identification code into the image and outputting the synthesized object.

또한 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 단계는, 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트에 포함되는 세부 요소들 각각과 상기 사용자 인터페이스 제공 장치간의 거리를 계산하는 단계; 및 상기 비교 결과, 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 존재하는 경우, 해당 세부 요소의 형태 또는 동작을 업데이트하는 단계를 더 포함할 수 있다.The updating of the shape or motion of the augmented reality object may include calculating a distance between each of the detailed elements included in the augmented reality object and the user interface providing device according to the detected relative position change; And when there is a detail element having a distance to the user interface providing apparatus within a preset value as a result of the comparison, updating the shape or operation of the corresponding detail element.

또한 상기 비교 결과 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 둘 이상이거나 또는 존재하지 않는 경우, 시각적, 촉각적 또는 청각적 수단 중 하나 이상의 수단을 이용하여 상기 증강 현실 기반 사용자 인터페이스 제공 장치의 사용자에게 이를 통지하는 피드백 단계를 더 포함할 수 있다.In addition, when the comparison result shows that two or more detailed elements whose distance to the user interface providing device is within a predetermined value are not present or exist, the augmented reality-based user using one or more means of visual, tactile or auditory means. The method may further include a feedback step of notifying the user of the interface providing apparatus.

이때 상기 통지는, 상기 디스플레이 모듈에서 디스플레이되는 영상의 밝기 또는 채도 변화, 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함할 수 있다.
In this case, the notification may include one or more of brightness or saturation of the image displayed on the display module, a warning message display, a vibration, or a warning sound output.

본 발명의 실시예들에 따를 경우, 사용자가 모바일 단말을 손에 쥐고 움직이는 것만으로 화면상에 표시된 증강 현실 오브젝트와 직관적으로 상호작용(interaction)을 수행할 수 있으므로, 직관적이고 편리한 사용자 인터페이스를 제공할 수 있다.According to embodiments of the present invention, since the user may intuitively interact with the augmented reality object displayed on the screen by simply holding the mobile terminal in his hand, it may provide an intuitive and convenient user interface. Can be.

또한, 본 발명의 경우 다양한 입력 수단의 조합을 통하여 단말의 이동을 감지하므로 단말의 에너지 소모 및 계산량을 최소화하면서 증강 현실 오브젝트와의 상호작용을 원활히 구현할 수 있다.In addition, in the present invention, since the movement of the terminal is sensed through a combination of various input means, the interaction with the augmented reality object can be smoothly realized while minimizing the energy consumption and the amount of calculation of the terminal.

또한, 본 발명에 따를 경우 사용자의 움직임 등이 부정확할 경우 이를 실시간으로 피드백하므로, 사용자가 실시간으로 자신의 움직임 등을 교정할 수 있어 편리하고 정확하게 사용자 인터페이스와의 상호작용을 수행할 수 있다.
In addition, according to the present invention, if the user's movements are inaccurate and feed back in real time, the user can correct their movements in real time, so that the user can conveniently and accurately interact with the user interface.

도 1은 본 발명의 일 실시예에 따른 증강 현실 기반의 사용자 인터페이스 제공 장치(100)의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 마커를 예시한 것이다.
도 3과 도 4는 본 발명에 따른 증강 현실 메뉴를 예시한 것이다.
도 5는 본 발명의 일 실시예에 따라 사용자 인터페이스 제공 장치(100)에서 수행되는 증강 현실 기반의 사용자 인터페이스 제공 방법(500)을 나타낸 순서도이다.1 is a block diagram illustrating a configuration of an apparatus 100 for providing a user interface based on augmented reality according to an embodiment of the present invention.
2 illustrates an augmented reality marker according to an embodiment of the present invention.
3 and 4 illustrate the augmented reality menu according to the present invention.
5 is a flowchart illustrating a method 500 of providing a user interface based on augmented reality performed by the apparatus 100 for providing a user interface according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, this is merely an example and the present invention is not limited thereto.

본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification.

본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하의 실시예는 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
The technical idea of the present invention is determined by the claims, and the following embodiments are merely a means for effectively explaining the technical idea of the present invention to a person having ordinary skill in the art to which the present invention belongs.

도 1은 본 발명의 일 실시예에 따른 증강 현실 기반의 사용자 인터페이스 제공 장치(100)의 구성을 나타낸 블록도이다. 본 발명의 실시예에서, 사용자 인터페이스 제공 장치(100)는 사용자가 자유롭게 휴대할 수 있는 크기의 장치로서, 예를 들어 휴대폰, 스마트폰, 태블릿 PC 또는 노트북 컴퓨터 등이 될 수 있다.1 is a block diagram illustrating a configuration of an apparatus 100 for providing a user interface based on augmented reality according to an embodiment of the present invention. In the embodiment of the present invention, the user interface providing apparatus 100 is a device of a size that a user can freely carry, and may be, for example, a mobile phone, a smartphone, a tablet PC, or a notebook computer.

도시된 바와 같이, 본 발명의 일 실시예에 따른 증강 현실 기반의 사용자 인터페이스 제공 장치(100)는 카메라 모듈(102), 디스플레이 모듈(104), 입력 감지 모듈(106) 및 제어 모듈(108)을 포함하며, 필요에 따라 피드백 모듈(110)을 더 포함하여 구성될 수 있다.As shown, the augmented reality-based user interface providing apparatus 100 according to an embodiment of the present invention is a camera module 102, the display module 104, the input sensing module 106 and the control module 108 It may include, and further comprises a feedback module 110 as necessary.

카메라 모듈(102)은 일반적으로 사용자 인터페이스 제공 장치(100)의 후면에 위치하며, 사용자의 명령에 따라 영상을 촬영한다. 본 실시예에서 특별한 언급이 없는 한 영상은 정지 영상이 아닌 동영상을 의미한다.The camera module 102 is generally located at the rear of the user interface providing apparatus 100 and captures an image according to a user's command. In this embodiment, unless otherwise specified, the image refers to a moving image, not a still image.

디스플레이 모듈(104)은 카메라 모듈(102)에서 촬영한 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 사용자 인터페이스 제공 장치(100)의 전면에 위치한 화면 상에 디스플레이한다.The display module 104 recognizes an augmented reality marker from an image captured by the camera module 102, synthesizes an augmented reality object corresponding to the recognized augmented reality marker, to the photographed image, and provides a user interface providing apparatus 100. Display on the screen located in front of the.

상기 증강 현실 마커는 화면 상에 디스플레이되는 증강 현실 오브젝트를 식별하기 위한 매개체로서 기능하는 동시에, 화면 상에 증강 현실 오브젝트의 출력 위치를 가이드하는 기준점이 된다. 이러한 증강 현실 마커는 건물의 벽면 등에 부착되거나, 특정 물체(예를 들어 책, 공책 등의 일상 용품 또는 포스터 등)의 겉면에 부착 또는 인쇄될 수 있으며, 사용자는 사용자 인터페이스 제공 장치(100)에 부착된 카메라 모듈(102)을 상기 증강 현실 마커로 향하게 함으로써 촬영된 증강 현실 마커에 대응되는 증강 현실 오브젝트가 사용자 인터페이스 제공 장치(100)의 화면 상에 출력되도록 할 수 있다.The augmented reality marker serves as a medium for identifying an augmented reality object displayed on the screen and serves as a reference point for guiding an output position of the augmented reality object on the screen. The augmented reality marker may be attached to a wall of a building or the like, or may be attached to or printed on a surface of a specific object (for example, a daily necessity such as a book or a notebook or a poster), and the user may attach to the user interface providing device 100. By directing the camera module 102 to the augmented reality marker, an augmented reality object corresponding to the augmented reality marker photographed may be output on a screen of the apparatus 100 for providing a user interface.

도 2는 본 발명의 일 실시예에 따른 증강 현실 마커를 예시한 것이다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 증강 현실 마커(200)는 트래킹 영역(202; tracking region) 및 식별 영역(204; identification region)을 포함하여 구성될 수 있다. 다만, 도시된 증강 현실 마커는 하나의 예시일 뿐이며, 화면 상에서 마커의 위치 및 종류를 식별 가능한 어떠한 형태의 증강 현실 마커 또한 본 발명에서의 증강 현실 마커로 사용 가능함을 유의한다.2 illustrates an augmented reality marker according to an embodiment of the present invention. As shown, the augmented reality marker 200 according to an embodiment of the present invention may be configured to include a tracking region 202 and an identification region 204. However, it is noted that the illustrated augmented reality marker is only one example, and any type of augmented reality marker capable of identifying the position and type of the marker on the screen may also be used as the augmented reality marker in the present invention.

트래킹 영역(202)은 화면상에서 증강 현실 마커(200)의 위치를 식별하기 위한 영역이다. 즉, 트래킹 영역(202)은 증강 현실 마커(200)가 포함된 화면상에 증간 현실 콘텐츠를 출력하기 위한 3차원 기준 좌표를 제공한다. 그리고 식별 영역(204)은 화면상의 트래킹 영역(202)에 표시되는 증강 현실 오브젝트를 식별하기 위한 영역이다. 즉, 식별 영역(204)에는 트래킹 영역(202)에 표시되는 상기 증강 현실 오브젝트의 식별 정보(ID)가 저장된다. 본 발명의 실시예에서, 상기 식별 정보는 도시된 것과 같은 QR 코드 형태로 저장되거나 또는 바코드(bar code) 등의 2차원 코드 형태로 저장될 수 있다. 증강 현실 마커(200) 내에서 트래킹 영역(202) 및 식별 영역(204)의 배치 및 크기 등은 그 기능을 해치지 않는 범위 내에서 다양한 형태로 구현 가능하다.The tracking area 202 is an area for identifying the position of the augmented reality marker 200 on the screen. That is, the tracking area 202 provides three-dimensional reference coordinates for outputting the additional reality content on the screen including the augmented reality marker 200. The identification area 204 is an area for identifying the augmented reality object displayed on the tracking area 202 on the screen. That is, the identification area 204 stores identification information ID of the augmented reality object displayed on the tracking area 202. In an embodiment of the present invention, the identification information may be stored in the form of a QR code as shown, or in the form of a two-dimensional code such as a bar code. The arrangement and size of the tracking area 202 and the identification area 204 in the augmented reality marker 200 may be implemented in various forms without departing from the function thereof.

구체적인 디스플레이 모듈(104)에서의 증강 현실 마커 인식 및 증강 현실 오브젝트의 디스플레이 과정은 다음과 같다. 먼저, 디스플레이 모듈(104)은 카메라 모듈(102)에서 촬영된 영상으로부터 증강 현실 마커의 존재를 인식하고, 인식된 상기 증강 현실 마커에 포함된 2차원 코드(바코드 또는 QR 코드 등)를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출한다. 이후, 디스플레이 모듈(104)은 추출된 상기 식별 코드를 이용하여 상기 식별 코드에 해당하는 증강 현실 오브젝트를 카메라 모듈(102)에서 촬영된 영상에 합성하여 출력한다.In detail, the display process of augmented reality marker recognition and augmented reality object in the display module 104 is as follows. First, the display module 104 recognizes the presence of the augmented reality marker from the image photographed by the camera module 102 and uses the two-dimensional code (bar code or QR code, etc.) included in the recognized augmented reality marker. The identification code of the augmented reality object corresponding to the augmented reality marker is extracted. Thereafter, the display module 104 synthesizes and outputs an augmented reality object corresponding to the identification code to the image photographed by the camera module 102 using the extracted identification code.

상기 증강 현실 오브젝트는 사용자 인터페이스 제공 장치(100)의 내부에 저장된 것일 수 있다. 예를 들어, 사용자 인터페이스 제공 장치(100) 내부의 저장 공간(미도시)에는 복수 개의 증강 현실 마커 및 이의 식별 코드들이 매칭되어 저장될 수 있으며, 디스플레이 모듈(104)은 인식된 상기 증강 현실 마커에서 추출된 식별 코드와 매칭되는 증강 현실 오브젝트를 상기 저장 공간에서 검색하여 대응되는 증강 현실 오브젝트를 디스플레이할 수 있다. 이와 달리, 상기 증강 현실 오브젝트는 사용자 인터페이스 제공 장치(100)와 유/무선 네트워크를 통하여 연결된 별도의 서버(미도시)로부터 제공될 수도 있다. 이 경우, 디스플레이 모듈(104)은 인식된 증강 현실 마커로부터 추출된 식별 코드를 상기 서버로 송신하고, 상기 서버는 수신된 식별 코드에 대응되는 증강 현실 오브젝트를 디스플레이 모듈(104)로 송신할 수 있다.The augmented reality object may be stored in the user interface providing apparatus 100. For example, a plurality of augmented reality markers and their identification codes may be matched and stored in a storage space (not shown) inside the user interface providing apparatus 100, and the display module 104 may be configured to recognize the augmented reality markers. The augmented reality object matching the extracted identification code may be searched in the storage space to display a corresponding augmented reality object. Alternatively, the augmented reality object may be provided from a separate server (not shown) connected to the user interface providing apparatus 100 through a wired / wireless network. In this case, the display module 104 may transmit the identification code extracted from the recognized augmented reality marker to the server, and the server may transmit the augmented reality object corresponding to the received identification code to the display module 104. .

상기 증강 현실 오브젝트는, 예를 들어 사용자와의 인터랙션(interaction)을 위한 복수 개의 세부 요소, 예를 들어, 복수 개의 증강 현실 메뉴로 구성될 수 있다. 도 3과 도 4에는 이러한 증강 현실 메뉴의 한 예로서, 복수 개의 선택 가능한 메뉴(세부 요소)들이 스프링 그래프(spring graph) 형태로 배열된 것을 예로 든 것이다. 도 3에 도시된 바와 같이, 각각의 메뉴(302)들은 증강 현실 마커(300)로부터 탄성을 가진 끈(304)으로 연결되어 증강 현실 마커(300)의 주변에 떠 있는 형태로 디스플레이될 수 있다. 도 4는 도 3에 도시된 메뉴들이 마커 또는 사용자 인터페이스 제공 장치(100)의 움직임에 따라 일시적으로 한 쪽 방향으로 쏠린 상태를 나타낸 것이다. 즉, 각각의 메뉴들의 위치 및 움직임은 유동적이며, 마커 도는 사용자 인터페이스 제공 장치(100)가 움직임에 따라 자유롭게 움직일 수 있다. 이와는 달리, 상기 증강 현실 오브젝트는 복수 개의 메뉴들이 나비떼와 같이 증강 현실 오브젝트를 따라다니면서 주변에 떠 있는 형태로 구성될 수도 있으며, 예시된 것 이외에도 다양한 형태로 증강 현실 메뉴들이 구현될 수 있다. 또한 각각의 메뉴들은 후술할 사용자의 입력에 따라 정해진 동작을 수행하거나, 다른 메뉴(submenu)들을 호출하거나 또는 그 형상 등이 변화될 수 있으며, 대해서는 이하에서 상세히 설명하기로 한다.The augmented reality object may include, for example, a plurality of detailed elements for interacting with a user, for example, a plurality of augmented reality menus. 3 and 4 illustrate an example of such an augmented reality menu, in which a plurality of selectable menus (detailed elements) are arranged in the form of a spring graph. As shown in FIG. 3, each of the menus 302 may be connected to the elastic string 304 from the augmented reality marker 300 and displayed in a floating form around the augmented reality marker 300. 4 illustrates a state in which menus illustrated in FIG. 3 are temporarily tilted in one direction according to the movement of the marker or the user interface providing apparatus 100. That is, the position and movement of each menu are flexible, and the marker or user interface providing apparatus 100 can move freely as the movement moves. Alternatively, the augmented reality object may be configured in a form in which a plurality of menus float around the augmented reality object like a butterfly swarm, and augmented reality menus may be implemented in various forms in addition to those illustrated. In addition, each menu may perform a predetermined operation according to a user's input to be described later, call other menus, change its shape, etc., which will be described in detail below.

입력 감지 모듈(106)은 디스플레이된 상기 증강 현실 오브젝트와 사용자 인터페이스 제공 장치(100)간의 상대적 위치 변화를 감지한다.The input sensing module 106 detects a change in relative position between the displayed augmented reality object and the user interface providing apparatus 100.

도 3에 도시된 실시예에서, 사용자는 디스플레이된 증강 현실 메뉴 중 하나를 선택하기 위하여 현재 손에 들고 있는 사용자 인터페이스 제공 장치(100)를 특정 방향으로 움직일 수 있다. 예를 들어, 증강 현실 마커(300)의 위쪽에 떠 있는 메뉴를 선택하기 위해서는 사용자 인터페이스 제공 장치(100)를 위쪽 방향으로 움직일 수 있으며, 또는 다른 방향에 있는 메뉴의 선택을 위하여 해당 방향으로 사용자 인터페이스 제공 장치(100)를 움직일 수 있다. 또는 전술한 바와 같이 메뉴들이 증강 현실 마커의 주변에 떠 있는 나비 등의 형태로 구현될 경우, 사용자는 사용자 인터페이스 제공 장치(100)를 선택하고자 하는 메뉴가 있는 방향으로 낚아채는 듯한 동작을 취함으로써 해당 메뉴를 선택할 수 있다. 또는, 특정 메뉴의 선택을 위하여 해당 방향으로 사용자 인터페이스 제공 장치(100)를 찌르는 듯한 동작을 취하는 등, 다양한 형태의 움직임이 가능할 수 있으며, 이러한 움직임에 따른 증강 현실 오브젝트와 사용자 인터페이스 제공 장치(100)간의 상대적 위치 변화는 입력 감지 모듈(106)에서 감지되게 된다.In the embodiment shown in FIG. 3, the user may move the user interface providing apparatus 100 currently being held in a specific direction in order to select one of the displayed augmented reality menus. For example, in order to select a menu floating above the augmented reality marker 300, the user interface providing apparatus 100 may be moved upward, or the user interface may be moved in a corresponding direction to select a menu in a different direction. The providing device 100 may be moved. Alternatively, as described above, when the menus are implemented in the form of butterflies, etc. floating around the augmented reality marker, the user takes an operation that seems to be snatched in the direction in which the menu to select the user interface providing apparatus 100 is located. You can select the menu. Alternatively, various types of movements may be performed, such as taking a motion of stabbing the user interface providing apparatus 100 in a corresponding direction to select a specific menu, and the augmented reality object and the user interface providing apparatus 100 according to the movement may be performed. The relative position change of the liver is detected by the input sensing module 106.

구체적으로, 입력 감지 모듈(106)은 다음과 같은 수단을 통하여 상기 상대적 위치 변화를 감지할 수 있다. 예를 들어, 입력 감지 모듈(106)은 지피에스(GPS) 수신부를 구비할 수 있으며, 상기 지피에스 수신부에서 수신되는 사용자 인터페이스 제공 장치(100)의 위치 변화로서 상기 상대적 위치 변화를 감지할 수 있다. 또는, 입력 감지 모듈(106)은 별도의 영상 감지부를 구비할 수 있으며, 상기 영상 감지부는 카메라 모듈(102)에서 촬영한 영상 내의 상기 증강 현실 마커의 상대적 위치 변화를 감지함으로써 사용자 인터페이스 제공 장치(100)의 위치 변화를 감지할 수 있다. 예를 들어, 영상 내의 증강 현실 마커의 크기 변화, 각도 차이에 따른 모양 변화, 위치 변화 등을 종합적으로 판별함으로써 사용자 인터페이스 제공 장치(100)의 위치 변화를 계산할 수 있다.In detail, the input sensing module 106 may detect the relative position change through the following means. For example, the input sensing module 106 may include a GPS receiver, and may detect the relative position change as a position change of the user interface providing apparatus 100 received by the GPS receiver. Alternatively, the input sensing module 106 may include a separate image sensing unit, and the image sensing unit may detect a relative position change of the augmented reality marker in the image photographed by the camera module 102, thereby providing a user interface 100. You can detect the change in position. For example, the position change of the user interface providing apparatus 100 may be calculated by comprehensively determining the size change of the augmented reality marker in the image, the shape change according to the angle difference, the position change, and the like.

또한, 입력 감지 모듈(106)은 별도의 모션 센서로부터 사용자 인터페이스 제공 장치(100)의 위치 변화를 감지할 수도 있다. 예를 들어, 사용자 인터페이스 제공 장치(100)는 가속도 센서 또는 자이로스코프 등의 움직임 감지 센서를 포함할 수 있으며, 이를 이용하여 사용자 인터페이스 제공 장치(100)의 위치 변화를 계산할 수 있다.In addition, the input sensing module 106 may detect a change in position of the apparatus 100 for providing a user interface from a separate motion sensor. For example, the user interface providing apparatus 100 may include a motion detection sensor such as an acceleration sensor or a gyroscope, and may calculate a change in position of the user interface providing apparatus 100 by using the same.

입력 감지 모듈(106)은 전술한 이동 감지 수단 중 하나를 이용하여 증강 현실 오브젝트와 사용자 인터페이스 제공 장치(100)간의 상대적 위치 변화를 계산할 수도 있으나, 필요한 경우 전술한 수단 중 둘 이상의 수단을 조합하여 상대적 위치 변화를 계산할 수도 있다. 예를 들어, 영상 감지부를 이용하여 위치 변화를 감지하는 경우, 입력되는 영상의 매 프레임마다 마커의 형태 및 크기 변화를 계산하여야 하므로 상대적으로 전력 및 컴퓨팅 파워가 제한된 이동형 기기의 경우 실시간 위치 변화의 추적이 어려울 수 있다. 따라서 이 경우에는 영상 감지부에서 처리하는 프레임 수를 적절히 줄이고(예를 들어 1초당 한 프레임), 나머지 구간의 경우 GPS 수신부 또는 모션 센서를 이용하여 위치 변화를 추적함으로써 전력 사용 및 계산량을 최소화하는 동시에 실시간 위치 변화의 추적을 가능하게 할 수 있다.The input sensing module 106 may calculate a change in relative position between the augmented reality object and the user interface providing apparatus 100 using one of the above-described movement sensing means, but if necessary, the input sensing module 106 may combine two or more of the aforementioned means. The change in position can also be calculated. For example, when detecting a change in position by using an image sensor, since a shape and size change of a marker needs to be calculated for every frame of an input image, tracking of a change in real-time position in a mobile device having relatively limited power and computing power This can be difficult. Therefore, in this case, the number of frames processed by the image sensor is appropriately reduced (for example, one frame per second), and in the remaining sections, the position change is tracked using a GPS receiver or a motion sensor to minimize power usage and calculation amount. It can enable tracking of real-time location changes.

제어 모듈(108)은 입력 감지 모듈(106)에서 감지된 상기 상대적 위치 변화에 따라 상기 사용자 인터페이스 제공 장치간의 거리를 계산하고, 계산된 상기 거리에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트한다. 구체적으로, 제어 모듈(108)은 입력 감지 모듈(106)에서 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트에 포함되는 세부 요소들 각각과 사용자 인터페이스 제공 장치(100)간의 거리를 계산하고, 사용자 인터페이스 제공 장치(100)와의 거리가 기 설정된 값 이내인 세부 요소가 존재하는 경우, 해당 세부 요소의 형태 또는 동작을 업데이트하도록 구성된다.The control module 108 calculates a distance between the user interface providing devices according to the relative position change detected by the input sensing module 106, and updates the shape or operation of the displayed augmented reality object according to the calculated distance. do. In detail, the control module 108 calculates a distance between each of the detailed elements included in the augmented reality object and the user interface providing device 100 according to the change in the relative position detected by the input sensing module 106, and the user. When there is a detail element having a distance from the interface providing apparatus 100 within a preset value, the shape or operation of the detail element is updated.

예를 들어, 도 3 또는 도 4에 도시된 증강 현실 오브젝트의 각 메뉴들은 상기 증강 현실 오브젝트가 존재하는 가상 공간 내에서의 위치 정보를 가진다. 마찬가지로, 사용자 인터페이스 제공 장치(100) 또한 상기 가상 공간 내에서 특정 위치에 존재하게 된다. 이와 같은 사용자 인터페이스 제공 장치(100)의 초기 위치는 화면 상에 디스플레이되는 증강 현실 마커의 크기 및 위치에 따라 정해질 수 있으며, 이후 사용자 인터페이스 제공 장치(100)의 움직임이 감지될 경우 이에 따라 상기 위치가 업데이트될 수 있다.For example, each menu of the augmented reality object illustrated in FIG. 3 or 4 has location information in a virtual space where the augmented reality object exists. Similarly, the user interface providing apparatus 100 also exists at a specific location within the virtual space. The initial position of the user interface providing apparatus 100 may be determined according to the size and position of the augmented reality marker displayed on the screen, and when the movement of the user interface providing apparatus 100 is detected, the position accordingly Can be updated.

이와 같은 상황에서 만약 사용자가 사용자 인터페이스 제공 장치(100)를 쥔 상태에서 이를 특정 방향으로 움직일 경우 사용자 인터페이스 제공 장치(100)와 각 메뉴(세부 요소)들 간의 가상 공간 내에서의 거리가 달라지게 된다. 예를 들어, 상기 사용자는 디스플레이된 메뉴들 중 하나를 선택하기 위하여 해당 메뉴가 존재하는 방향으로 사용자 인터페이스 제공 장치(100)를 움직일 수 있으며, 이 경우 해당 방향에 존재하는 메뉴와 사용자 인터페이스 제공 장치(100)간의 가상 공간 내에서의 거리는 가까워지고, 나머지 메뉴들과의 거리는 또한 그에 대응하여 변화하게 된다.In such a situation, if the user moves the device in a specific direction while holding the user interface providing apparatus 100, the distance in the virtual space between the user interface providing apparatus 100 and each menu (detailed element) is changed. . For example, the user may move the user interface providing apparatus 100 in a direction in which the menu exists in order to select one of the displayed menus, and in this case, the menu and the user interface providing apparatus in the corresponding direction ( The distance in the virtual space between 100) gets closer, and the distance with the remaining menus also changes correspondingly.

제어 모듈(108)은 상기와 같은 움직임이 있을 경우, 상기 각 세부 요소들과 사용자 인터페이스 제공 장치(100)간의 거리를 계산하고, 상기 거리가 기 설정된 값 이내(이 값은 메뉴의 크기, 형태 등에 따라 적절해 정해질 수 있다)인 세부 요소가 존재하는 경우 해당 세부 요소를 선택한 것으로 간주하여 해당 세부 요소에 대응되는 동작을 수행한다. 예를 들어, 선택된 세부 요소에 색상 또는 형태를 변경하거나 또는 해당 세부 요소 내부에 포함된 다른 요소들을 출력하게 된다.If there is such a movement, the control module 108 calculates the distance between each of the sub-elements and the user interface providing apparatus 100, and the distance is within a preset value (this value is determined by the size, shape, etc. of the menu). If there is a detail element (which can be determined accordingly), the corresponding element is considered selected and the action corresponding to the detail element is performed. For example, it changes the color or shape of the selected detail element or outputs other elements included in the detail element.

상기와 같이 사용자 인터페이스 제공 장치(100)가 구성될 경우, 사용자는 사용자 인터페이스 제공 장치(100)를 한 손으로 잡은 상태에서 카메라 모듈(102)을 증강 현실 마커가 존재하는 방향으로 위치시켜 증강 현실 사용자 인터페이스를 화면 상에 디스플레이한 뒤, 그 상태에서 단순히 사용자 인터페이스 제공 장치(100)를 움직이는 것 만으로 증강 현실 사용자 인터페이스와의 인터랙션이 가능하게 된다. 따라서 편리하게, 또한 직관적으로 증강 현실 기반의 사용자 인터페이스를 사용할 수 있게 된다.When the user interface providing apparatus 100 is configured as described above, the user places the camera module 102 in a direction in which the augmented reality marker is present while holding the user interface providing apparatus 100 with one hand. After displaying the interface on the screen, the user can interact with the augmented reality user interface by simply moving the user interface providing apparatus 100 in the state. Thus, it is possible to use augmented reality-based user interface conveniently and intuitively.

한편, 전술한 바와 같이, 본 발명의 일 실시예에 따른 증강 현실 기반 사용자 인터페이스 제공 장치(100)는 피드백 모듈(110)을 더 포함하여 구성될 수 있다. 피드백 모듈(110)은 제어 모듈(108)에서 계산된 사용자 인터페이스 제공 장치(100)와의 거리가 기 설정된 값 이내인 세부 요소가 둘 이상이거나 또는 존재하지 않는 경우, 즉 감지된 움직임에도 불구하고 해당 움직임에 대응되는 세부 요소를 특정할 수 없는 경우, 시각적, 촉각적 또는 청각적 수단 중 하나 이상의 수단을 이용하여 증강 현실 기반 사용자 인터페이스 제공 장치(100)의 사용자에게 이를 통지함으로써 사용자가 곧바로 동작을 수정할 수 있도록 한다. 이와 같은 통지의 예로는 디스플레이 모듈(104)에서 디스플레이되는 영상의 밝기 또는 채도 변화, 별도의 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함할 수 있다. 예를 들어, 피드백 모듈(110)은 부정확한 움직임이 검출되는 즉시 전체적인 화면의 채도를 낮춤으로써 사용자가 현재 동작의 방향 등을 곧바로 수정하도록 할 수 있다. 수정된 동작에 따라 특정 세부 요소를 선택 가능한 경우(즉, 수정된 움직임에 따라 사용자 인터페이스 제공 장치(100)와의 거리가 기 설정된 값 이내인 세부 요소가 하나만 존재하게 되는 경우 등), 피드백 모듈(110)은 낮추었던 채도를 즉시 원상태로 복귀시켜 사용자의 움직임 수정에 대한 결과를 바로 알 수 있도록 한다.Meanwhile, as described above, the apparatus 100 for providing augmented reality-based user interface according to an embodiment of the present invention may further include a feedback module 110. The feedback module 110 has two or more detailed elements whose distance to the user interface providing device 100 calculated by the control module 108 is within a preset value, that is, the motion despite the detected movement. If it is not possible to specify a detailed element corresponding to the user, the user can immediately modify the operation by notifying the user of the apparatus 100 for providing augmented reality-based user interface using one or more of visual, tactile or audio means. Make sure Examples of such notification may include one or more of a brightness or saturation change of an image displayed on the display module 104, a separate warning message display, and a vibration or warning sound output. For example, the feedback module 110 may reduce the saturation of the entire screen as soon as an incorrect movement is detected so that the user may immediately modify the direction of the current operation. When a specific detail element is selectable according to the modified operation (that is, when there is only one detail element having a distance to the user interface providing apparatus 100 within a preset value according to the modified movement, etc.), the feedback module 110 ) Immediately returns the lower saturation to the original state so that the result of the user's movement correction can be immediately known.

이와 같이 본 발명의 실시예에서 별도의 피드백 모듈을 갖출 경우, 사용자 인터페이스 제공 장치(100)의 움직임에 대한 피드백을 곧바로 줄 수 있게 되므로 사용자의 시행착오 등을 최소화할 수 있다.
As such, when the separate feedback module is provided in the embodiment of the present invention, feedback about the movement of the user interface providing apparatus 100 can be directly given, thereby minimizing trial and error of the user.

도 5는 본 발명의 일 실시예에 따라 사용자 인터페이스 제공 장치(100)에서 수행되는 증강 현실 기반의 사용자 인터페이스 제공 방법(500)을 나타낸 순서도이다.5 is a flowchart illustrating a method 500 of providing a user interface based on augmented reality performed by the apparatus 100 for providing a user interface according to an embodiment of the present invention.

먼저, 촬영된 영상으로부터 증강 현실 마커를 인식하고(502), 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이한다(504). 전술한 바와 같이, 상기 504 단계는 인식된 상기 증강 현실 마커에 포함된 2차원 코드를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출하는 단계 및 추출된 상기 식별 코드에 대응되는 상기 증강 현실 오브젝트를 상기 영상에 합성하여 출력하는 단계를 포함하여 구성된다.First, the augmented reality marker is recognized from the photographed image (502), and the augmented reality object corresponding to the recognized augmented reality marker is synthesized and displayed on the photographed image (504). As described above, the step 504 extracts an identification code of an augmented reality object corresponding to the augmented reality marker by using the two-dimensional code included in the recognized augmented reality marker and corresponds to the extracted identification code. And synthesizing the augmented reality object to the image and outputting the synthesized object.

다음으로 디스플레이된 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 감지한다(506). 이와 같은 상대적 위치 변화 감지에 대한 구체적인 사항은 전술하였다.In operation 506, a change in relative position between the displayed augmented reality object and the user interface providing device is detected. Details of such relative position change detection have been described above.

다음으로, 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트의 세부 요소 중 사용자 인터페이스 제공 장치(100)와의 가상 공간 내에서의 거리가 특정 값 이내일 세부 요소가 존재하는지의 여부를 판단한다 (508). 상기 판단 결과, 사용자 인터페이스 제공 장치(100)와의 가상 공간 내에서의 거리가 특정 값 이내일 세부 요소가 존재하는 경우, 해당 세부 요소와 대응되는 동작 또는 형태 변화 정보에 따라 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트한다(510). 예를 들어, 해당 세부 요소에 대응되는 서브메뉴를 출력하거나, 증강 현실 사용자 인터페이스의 모양 또는 색상을 변경하거나, 연결된 어플리케이션을 수행하는 등, 해당 세부 요소에 대응되는 동작을 수행하게 된다.Next, according to the detected relative position change, it is determined whether there is a detail element in which the distance in the virtual space with the user interface providing apparatus 100 is within a specific value among the detail elements of the augmented reality object (508). ). As a result of the determination, when there is a detail element in which the distance in the virtual space with the user interface providing apparatus 100 is within a specific value, the shape or shape of the augmented reality object according to the motion or shape change information corresponding to the detail element. Update the operation (510). For example, an operation corresponding to the detailed element may be performed by outputting a submenu corresponding to the corresponding detail element, changing the shape or color of the augmented reality user interface, or executing a connected application.

한편, 만약 사용자 인터페이스 제공 장치(100)와의 가상 공간 내에서의 거리가 특정 값 이내일 세부 요소가 존재하지 않거나 또는 둘 이상이어서 어느 하나를 선택할 수 없는 경우, 시각적, 촉각적 또는 청각적 수단을 이용하여 상기 증강 현실 기반 사용자 인터페이스 제공 장치의 사용자에게 이를 통지(피드백)하고(512), 다시 506 단계로 돌아가 사용자의 입력에 따른 위치 변화를 감지하게 된다. 이와 같은 통지는, 상기 디스플레이 모듈에서 디스플레이되는 영상의 밝기 또는 채도 변화, 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함할 수 있다.
On the other hand, if there is no detail element in which the distance in the virtual space with the user interface providing apparatus 100 is within a specific value or two or more cannot be selected, visual, tactile or auditory means is used. By notifying the user of the apparatus for providing an augmented reality based user interface (feedback) (512), the method returns to step 506 to detect a change in position according to the user's input. Such notification may include one or more of brightness or saturation of the image displayed on the display module, a warning message display, and a vibration or warning sound output.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limiting the scope of the present invention. I will understand.

그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by equivalents to the appended claims, as well as the appended claims.

100: 사용자 인터페이스 제공 장치
102: 카메라 모듈
104: 디스플레이 모듈
106: 입력 감지 모듈
108: 제어 모듈
110: 피드백 모듈
200, 300: 증강 현실 마커
202: 트래킹 영역
204: 식별 영역
302: 메뉴
304: 메뉴 연결 끈100: user interface device
102: camera module
104: display module
106: input sensing module
108: control module
110: feedback module
200, 300: Augmented Reality Marker
202: tracking area
204: identification area
302: menu
304: menu tie string

Claims (11)

증강 현실 기반의 사용자 인터페이스 제공 장치로서,
영상을 촬영하는 카메라 모듈;
상기 카메라 모듈에서 촬영한 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이하는 디스플레이 모듈;
디스플레이된 상기 증강 현실 오브젝트의 가상 공간 내에서의 위치와 상기 사용자 인터페이스 제공 장치의 상기 가상 공간 내에서 설정된 위치 간의 상기 가상 공간 내에서의 상대적 위치 변화를 감지하는 입력 감지 모듈; 및
상기 입력 감지 모듈에서 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상기 가상 공간 내에서의 거리를 계산하고, 계산된 상기 거리에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 제어 모듈을 포함하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
An augmented reality based user interface providing device,
A camera module for capturing an image;
A display module configured to recognize an augmented reality marker from an image photographed by the camera module and to display an augmented reality object corresponding to the recognized augmented reality marker on the photographed image;
An input sensing module configured to detect a change in relative position in the virtual space between a position in the virtual space of the displayed augmented reality object and a position set in the virtual space of the user interface providing apparatus; And
Calculates a distance in the virtual space between the augmented reality object and the user interface providing device according to the relative position change detected by the input sensing module, and displays the form of the augmented reality object displayed according to the calculated distance or Apparatus for providing an augmented reality based user interface comprising a control module for updating an operation.
제1항에 있어서,
상기 디스플레이 모듈은, 인식된 상기 증강 현실 마커에 포함된 2차원 코드를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출하고, 추출된 상기 식별 코드에 대응되는 상기 증강 현실 오브젝트를 상기 영상에 합성하여 출력하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
The method of claim 1,
The display module extracts an identification code of an augmented reality object corresponding to the augmented reality marker by using a two-dimensional code included in the recognized augmented reality marker, and extracts the augmented reality object corresponding to the extracted identification code. Apparatus for providing an augmented reality based user interface synthesized on the image.
제1항에 있어서,
상기 입력 감지 모듈은,
위성으로부터 위치 정보를 수신하는 지피에스(GPS) 수신부;
상기 카메라 모듈에서 촬영한 영상 내의 상기 증강 현실 마커의 상대적 위치 변화를 감지하는 영상 감지부; 또는
상기 사용자 인터페이스 제공 장치의 3차원 이동을 감지하는 모션 센서부 중 하나 이상을 포함하며,
상기 지피에스 수신부에서 수신된 위치 변화, 상기 영상 감지부에서 감지된 상기 증강 현실 마커의 상대적 위치 변화, 상기 모션 센서부에서 감지된 상기 사용자 인터페이스 제공 장치의 3차원 이동, 또는 이들 중 둘 이상의 조합을 이용하여 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상기 가상 공간 내에서의 상대적 위치 변화를 계산하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
The method of claim 1,
The input sensing module,
GPS receiver for receiving location information from the satellite;
An image sensor for detecting a change in relative position of the augmented reality marker in the image captured by the camera module; or
At least one of the motion sensor unit for detecting a three-dimensional movement of the user interface providing apparatus,
Using a position change received by the GPS receiver, a relative position change of the augmented reality marker detected by the image sensor, a three-dimensional movement of the user interface providing apparatus detected by the motion sensor, or a combination of two or more thereof And calculating a relative position change in the virtual space between the augmented reality object and the user interface providing device.
제1항에 있어서,
상기 제어 모듈은, 상기 입력 감지 모듈에서 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트에 포함되는 세부 요소들 각각과 상기 사용자 인터페이스 제공 장치간의 상기 가상 공간 내에서의 거리를 계산하고, 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 존재하는 경우, 해당 세부 요소의 형태 또는 동작을 업데이트하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
The method of claim 1,
The control module calculates a distance in the virtual space between each of the detailed elements included in the augmented reality object and the user interface providing device according to the change in the relative position detected by the input sensing module, and the user interface If there is a detailed element having a distance to the providing device within a predetermined value, updating the shape or operation of the detailed element, augmented reality based user interface providing device.
제4항에 있어서,
상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 둘 이상이거나 또는 존재하지 않는 경우, 시각적, 촉각적 또는 청각적 수단 중 하나 이상의 수단을 이용하여 상기 증강 현실 기반 사용자 인터페이스 제공 장치의 사용자에게 이를 통지하는 피드백 모듈을 더 포함하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
5. The method of claim 4,
When there are two or more detailed elements whose distance to the user interface providing device is within a preset value, or when there are no detailed elements, the apparatus for providing an augmented reality based user interface using one or more of visual, tactile, or auditory means is used. And a feedback module for notifying the user of this.
제5항에 있어서,
상기 통지는, 상기 디스플레이 모듈에서 디스플레이되는 영상의 밝기 또는 채도 변화, 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
The method of claim 5,
And the notification includes one or more of a brightness or saturation change of an image displayed in the display module, a warning message display, and a vibration or warning sound output.
사용자 인터페이스 제공 장치에서 수행되는 증강 현실 기반의 사용자 인터페이스 제공 방법으로서,
촬영된 영상으로부터 증강 현실 마커를 인식하는 단계;
인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이하는 단계;
디스플레이된 상기 증강 현실 오브젝트의 가상 공간 내에서의 위치와 상기 사용자 인터페이스 제공 장치의 상기 가상 공간 내에서 설정된 위치 간의 상기 가상 공간 내에서의 상대적 위치 변화를 감지하는 단계; 및
감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상기 가상 공간 내에서의 거리를 계산하고, 계산된 상기 거리에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 단계를 포함하는, 증강 현실 기반 사용자 인터페이스 제공 방법.
An augmented reality based user interface providing method performed by a user interface providing device,
Recognizing an augmented reality marker from the captured image;
Synthesizing and displaying the augmented reality object corresponding to the recognized augmented reality marker on the photographed image;
Detecting a change in relative position in the virtual space between a position in the virtual space of the displayed augmented reality object and a position set in the virtual space of the user interface providing device; And
Calculating a distance in the virtual space between the augmented reality object and the user interface providing device according to the detected relative position change, and updating a shape or an operation of the displayed augmented reality object according to the calculated distance Including, augmented reality based user interface providing method.
제7항에 있어서,
상기 디스플레이 단계는,
인식된 상기 증강 현실 마커에 포함된 2차원 코드를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출하는 단계; 및
추출된 상기 식별 코드에 대응되는 상기 증강 현실 오브젝트를 상기 영상에 합성하여 출력하는 단계를 더 포함하는, 증강 현실 기반 사용자 인터페이스 제공 방법.
The method of claim 7, wherein
The display step,
Extracting an identification code of an augmented reality object corresponding to the augmented reality marker using a two-dimensional code included in the recognized augmented reality marker; And
And synthesizing the augmented reality object corresponding to the extracted identification code into the image and outputting the synthesized object.
제7항에 있어서,
상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 단계는,
감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트에 포함되는 세부 요소들 각각과 상기 사용자 인터페이스 제공 장치간의 상기 가상 공간 내에서의 거리를 계산하는 단계; 및
상기 거리 계산 결과, 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 존재하는 경우, 해당 세부 요소의 형태 또는 동작을 업데이트하는 단계를 더 포함하는 증강 현실 기반 사용자 인터페이스 제공 방법.
The method of claim 7, wherein
Updating the shape or motion of the augmented reality object,
Calculating a distance in the virtual space between each of the detailed elements included in the augmented reality object and the user interface providing device according to the detected relative position change; And
And updating the shape or operation of the corresponding detail element when there is a detail element having a distance to the user interface providing device within a preset value as a result of the distance calculation.
제9항에 있어서,
상기 거리 계산 결과 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 둘 이상이거나 또는 존재하지 않는 경우, 시각적, 촉각적 또는 청각적 수단 중 하나 이상의 수단을 이용하여 상기 증강 현실 기반 사용자 인터페이스 제공 장치의 사용자에게 이를 통지하는 피드백 단계를 더 포함하는, 증강 현실 기반 사용자 인터페이스 제공 방법.
10. The method of claim 9,
The augmented reality-based user using one or more of visual, tactile, or auditory means when the distance calculation result shows that two or more detailed elements whose distance to the user interface providing device is within a predetermined value are not present. And a feedback step of notifying the user of the interface providing apparatus.
제10항에 있어서,
상기 통지는, 상기 디스플레이 모듈에서 디스플레이되는 영상의 밝기 또는 채도 변화, 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함하는, 증강 현실 기반 사용자 인터페이스 제공 방법.
The method of claim 10,
And the notification comprises one or more of a brightness or saturation change of an image displayed in the display module, a warning message display, a vibration or a warning sound output.
KR1020110067193A 2011-03-16 2011-07-07 Apparatus and method for providing user interface based on augmented reality KR101334049B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161465197P 2011-03-16 2011-03-16
US61/465,197 2011-03-16

Publications (2)

Publication Number Publication Date
KR20120106519A KR20120106519A (en) 2012-09-26
KR101334049B1 true KR101334049B1 (en) 2013-11-28

Family

ID=47113216

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110067193A KR101334049B1 (en) 2011-03-16 2011-07-07 Apparatus and method for providing user interface based on augmented reality

Country Status (1)

Country Link
KR (1) KR101334049B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190112968A (en) * 2018-03-27 2019-10-08 남서울대학교 산학협력단 Method and program of x-ray simulation using augmented reality
US10685201B2 (en) 2016-07-22 2020-06-16 Alibaba Group Holding Limited Method and system for recognizing location information in two-dimensional code

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101253644B1 (en) * 2012-12-28 2013-04-11 주식회사 맥스트 Apparatus and method for displaying augmented reality content using geographic information
KR102214292B1 (en) * 2013-07-25 2021-02-09 라인플러스 주식회사 Mobile marketing application integrated system
KR102178975B1 (en) * 2013-11-18 2020-11-13 순천대학교 산학협력단 System and Method for 3-Dimensional Model Visualization of Drawing based Mobile Augmented Reality
KR102114618B1 (en) * 2014-01-16 2020-05-25 엘지전자 주식회사 Portable and method for controlling the same
KR101582225B1 (en) * 2014-04-30 2016-01-04 (주)제이앤씨마케팅커뮤니케이션 System and method for providing interactive augmented reality service
CN106874817A (en) 2016-07-27 2017-06-20 阿里巴巴集团控股有限公司 Two-dimensional code identification method, equipment and mobile terminal
KR102431712B1 (en) * 2017-09-04 2022-08-12 삼성전자 주식회사 Electronic apparatus, method for controlling thereof and computer program product thereof
KR101989969B1 (en) * 2018-10-11 2019-06-19 대한민국 Contents experience system of architectural sites based augmented reality
WO2021040107A1 (en) * 2019-08-30 2021-03-04 엘지전자 주식회사 Ar device and method for controlling same
KR102215146B1 (en) * 2020-06-23 2021-02-15 주식회사 예쉬컴퍼니 Method, apparatus and computer program for providing interactive service using augmented reality and mixed reality
KR102625729B1 (en) * 2021-10-05 2024-01-16 가온그룹 주식회사 method of rendering AR contents by use of clone object

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050078117A (en) * 2004-01-30 2005-08-04 박명관 Host system of the handheld 3d motion tracking device
KR20060065159A (en) * 2004-12-10 2006-06-14 (주)제니텀 엔터테인먼트 컴퓨팅 3 dimensional marker detection method and device and method for providing augmented reality and mixed reality using the same
KR20070014767A (en) * 2005-07-29 2007-02-01 (주)포스트미디어 Id judgment method by using extension type visual marker including direrction information
KR101049090B1 (en) * 2010-09-17 2011-07-15 성준형 Augmented reality marker and method for distributing contents using augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050078117A (en) * 2004-01-30 2005-08-04 박명관 Host system of the handheld 3d motion tracking device
KR20060065159A (en) * 2004-12-10 2006-06-14 (주)제니텀 엔터테인먼트 컴퓨팅 3 dimensional marker detection method and device and method for providing augmented reality and mixed reality using the same
KR20070014767A (en) * 2005-07-29 2007-02-01 (주)포스트미디어 Id judgment method by using extension type visual marker including direrction information
KR101049090B1 (en) * 2010-09-17 2011-07-15 성준형 Augmented reality marker and method for distributing contents using augmented reality

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10685201B2 (en) 2016-07-22 2020-06-16 Alibaba Group Holding Limited Method and system for recognizing location information in two-dimensional code
KR20190112968A (en) * 2018-03-27 2019-10-08 남서울대학교 산학협력단 Method and program of x-ray simulation using augmented reality
KR102048208B1 (en) * 2018-03-27 2019-11-25 남서울대학교 산학협력단 Method and program of x-ray simulation using augmented reality

Also Published As

Publication number Publication date
KR20120106519A (en) 2012-09-26

Similar Documents

Publication Publication Date Title
KR101334049B1 (en) Apparatus and method for providing user interface based on augmented reality
KR102342267B1 (en) Portable apparatus and method for changing a screen
KR101056418B1 (en) Apparatus and method for tracking augmented reality contents using mobile sensors
US10318011B2 (en) Gesture-controlled augmented reality experience using a mobile communications device
US20140300542A1 (en) Portable device and method for providing non-contact interface
JP5765019B2 (en) Display control apparatus, display control method, and program
US20160171773A1 (en) Display control method, information processing apparatus, and storage medium
US20130063345A1 (en) Gesture input device and gesture input method
CN108027654B (en) Input device, input method, and program
US20160012612A1 (en) Display control method and system
CN103019518B (en) A kind of method of automatic adjustment human-computer interaction interface
US20110319130A1 (en) Mobile terminal and method of operation
JP2013141207A (en) Multi-user interaction with handheld projectors
KR20100094754A (en) User interface method for inputting a character and mobile terminal using the same
CN102754060A (en) Method and apparatus for determining information for display
WO2013106169A1 (en) Menu selection using tangible interaction with mobile devices
CN109495616B (en) Photographing method and terminal equipment
US20240184403A1 (en) Personal digital assistant
JP2015118442A (en) Information processor, information processing method, and program
CN113253908A (en) Key function execution method, device, equipment and storage medium
US20140292636A1 (en) Head-Worn Infrared-Based Mobile User-Interface
JP5684618B2 (en) Imaging apparatus and virtual information display program
US20140111551A1 (en) Information-processing device, storage medium, information-processing method, and information-processing system
US20180059811A1 (en) Display control device, display control method, and recording medium
KR101774807B1 (en) Mobile terminal and operation method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161116

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee