KR101334049B1 - Apparatus and method for providing user interface based on augmented reality - Google Patents
Apparatus and method for providing user interface based on augmented reality Download PDFInfo
- Publication number
- KR101334049B1 KR101334049B1 KR1020110067193A KR20110067193A KR101334049B1 KR 101334049 B1 KR101334049 B1 KR 101334049B1 KR 1020110067193 A KR1020110067193 A KR 1020110067193A KR 20110067193 A KR20110067193 A KR 20110067193A KR 101334049 B1 KR101334049 B1 KR 101334049B1
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- user interface
- interface providing
- image
- marker
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- Audiology, Speech & Language Pathology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
증강 현실 기반 사용자 인터페이스 제공 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 증강 현실 기반의 사용자 인터페이스 제공 장치는, 영상을 촬영하는 카메라 모듈; 상기 카메라 모듈로부터 촬영한 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이하는 디스플레이 모듈; 디스플레이된 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 감지하는 입력 감지 모듈; 및 상기 입력 감지 모듈에서 감지된 상기 상대적 위치 변화에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 제어 모듈을 포함한다.An apparatus and method for providing an augmented reality based user interface are disclosed. Device for providing a user interface based on augmented reality according to an embodiment of the present invention, the camera module for capturing an image; A display module configured to recognize an augmented reality marker from an image photographed by the camera module and to display an augmented reality object corresponding to the recognized augmented reality marker on the photographed image; An input sensing module configured to detect a change in relative position between the displayed augmented reality object and the user interface providing device; And a control module for updating a shape or an operation of the augmented reality object displayed according to the change in relative position detected by the input sensing module.
Description
본 발명은 휴대 디바이스에 적용될 수 있는 증강 현실을 이용한 사용자 인터페이스 기술과 관련된다.
The present invention relates to user interface technology using augmented reality that can be applied to portable devices.
최근 들어, 스마트폰 및 태블릿 피씨(PC) 등으로 대표되는 모바일 기기의 사용이 일반화되면서, 이를 이용한 다양한 종류의 서비스들이 제안되고 있다. 이러한 모바일 기기들은 일반적으로 버튼 또는 터치스크린 등을 이용하여 사용자와 인터랙션을 수행하도록 구성된다.Recently, as the use of mobile devices such as smartphones and tablet PCs (PCs) is generalized, various kinds of services using the same have been proposed. Such mobile devices are generally configured to interact with a user using a button or a touch screen.
또한, 이와 같은 스마트폰 등의 대중화와 더불어 최근에는 증강 현실 (Augmented Reality) 기술이 다양한 분야에서 활용되고 있다. 이러한 증강 현실의 일례로는 카메라로부터 촬영되는 영상으로부터 증강 현실 마커를 감지하고 감지된 마커에 따른 3차원 가상 물체를 상기 영상에 합성하여 디스플레이하는 기술을 들 수 있다. 이와 같은 기술을 사용함으로써 현실에는 존재하지 않는 가상 캐릭터 등이 화면상으로는 실제로 존재하는 것처럼 할 수 있다.In addition to the popularization of such smart phones, augmented reality technology has recently been utilized in various fields. An example of such an augmented reality may include a technique of detecting an augmented reality marker from an image captured by a camera and synthesizing and displaying a 3D virtual object according to the detected marker. By using such a technique, a virtual character or the like that does not exist in reality can be made to exist on the screen.
그러나 단순히 화면 상에 가상 캐릭터 또는 가상 오브젝트를 디스플레이하는 것 뿐만 아니라, 디스플레이된 가상 오브젝트와 모바일 디바이스를 이용하여 사용자와 상기 가상 오브젝트간에 상호작용(interaction)을 하려 할 경우, 상기와 같은 버튼 또는 터치스크린 등으로는 편리하고 직관적인 인터페이스를 구현하기에 한계가 있었다.
However, in addition to simply displaying a virtual character or a virtual object on the screen, the user may interact with the virtual object by using the displayed virtual object and the mobile device. Etc., there was a limit in implementing a convenient and intuitive interface.
본 발명은 모바일 단말에서 편리하고 직관적으로 조작 가능한 사용자 인터페이스를 제공하는데 그 목적이 있다.It is an object of the present invention to provide a user interface that can be conveniently and intuitively operated in a mobile terminal.
또한, 본 발명은 리소스가 제한된 모바일 환경에서 최적의 증강 현실 사용자 인터페이스를 구현하는 동시에, 사용자에게 사용자 인터페이스와의 상호작용에 대한 즉각적인 피드백을 제공하는 데 그 목적이 있다.
It is also an object of the present invention to implement an optimal augmented reality user interface in a resource-constrained mobile environment and to provide the user with instant feedback on interaction with the user interface.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 증강 현실 기반의 사용자 인터페이스 제공 장치는, 영상을 촬영하는 카메라 모듈; 상기 카메라 모듈에서 촬영한 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이하는 디스플레이 모듈; 디스플레이된 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 감지하는 입력 감지 모듈; 및 상기 입력 감지 모듈에서 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 거리를 계산하고, 계산된 상기 거리에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 제어 모듈을 포함한다.Device for providing an augmented reality based user interface according to an embodiment of the present invention for solving the above problems, the camera module for capturing an image; A display module configured to recognize an augmented reality marker from an image photographed by the camera module and to display an augmented reality object corresponding to the recognized augmented reality marker on the photographed image; An input sensing module configured to detect a change in relative position between the displayed augmented reality object and the user interface providing device; And calculating a distance between the augmented reality object and the user interface providing device according to the change in the relative position detected by the input sensing module, and updating a shape or an operation of the displayed augmented reality object according to the calculated distance. Contains modules
이때 상기 디스플레이 모듈은, 인식된 상기 증강 현실 마커에 포함된 2차원 코드를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출하고, 추출된 상기 식별 코드에 대응되는 상기 증강 현실 오브젝트를 상기 영상에 합성하여 출력할 수 있다.In this case, the display module extracts an identification code of the augmented reality object corresponding to the augmented reality marker by using the two-dimensional code included in the recognized augmented reality marker, and the augmented reality object corresponding to the extracted identification code May be synthesized and output to the image.
그리고 상기 입력 감지 모듈은, 위성으로부터 위치 정보를 수신하는 지피에스(GPS) 수신부; 상기 카메라 모듈에서 촬영한 영상 내의 상기 증강 현실 마커의 상대적 위치 변화를 감지하는 영상 감지부; 또는 상기 사용자 인터페이스 제공 장치의 3차원 이동을 감지하는 모션 센서부 중 하나 이상을 포함하며, 상기 지피에스 수신부에서 수신된 위치 변화, 상기 영상 감지부에서 감지된 상기 증강 현실 마커의 상대적 위치 변화, 상기 모션 센서부에서 감지된 상기 사용자 인터페이스 제공 장치의 3차원 이동, 또는 이들 중 둘 이상의 조합을 이용하여 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 계산할 수 있다.The input sensing module may include a GPS receiver which receives location information from a satellite; An image sensor for detecting a change in relative position of the augmented reality marker in the image captured by the camera module; Or a motion sensor unit for detecting a three-dimensional movement of the apparatus for providing a user interface, wherein the position change received by the GPS receiver, the relative position change of the augmented reality marker detected by the image sensor, and the motion The relative position change between the augmented reality object and the user interface providing device may be calculated using a three-dimensional movement of the user interface providing device sensed by the sensor unit, or a combination of two or more thereof.
한편, 상기 제어 모듈은, 상기 입력 감지 모듈에서 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트에 포함되는 세부 요소들 각각과 상기 사용자 인터페이스 제공 장치간의 거리를 계산하고, 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 존재하는 경우, 해당 세부 요소의 형태 또는 동작을 업데이트할 수 있다.Meanwhile, the control module calculates a distance between each of the detailed elements included in the augmented reality object and the user interface providing device according to the change of the relative position detected by the input sensing module, and calculates a distance from the user interface providing device. If there is a detail element whose distance is within a preset value, the shape or operation of the detail element may be updated.
또한 상기 증강 현실 기반 사용자 인터페이스 제공 장치는, 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 둘 이상이거나 또는 존재하지 않는 경우, 시각적, 촉각적 또는 청각적 수단 중 하나 이상의 수단을 이용하여 상기 증강 현실 기반 사용자 인터페이스 제공 장치의 사용자에게 이를 통지하는 피드백 모듈을 더 포함할 수 있다.The augmented reality based user interface providing apparatus may further include at least one of visual, tactile, and auditory means when two or more detail elements whose distance to the user interface providing apparatus are within a preset value are not present. The apparatus may further include a feedback module that notifies the user of the apparatus for providing an augmented reality based user interface using the same.
이때 상기 통지는, 상기 디스플레이 모듈에서 디스플레이되는 영상의 밝기 또는 채도 변화, 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함할 수 있다.In this case, the notification may include one or more of brightness or saturation of the image displayed on the display module, a warning message display, a vibration, or a warning sound output.
한편, 상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치에서 수행되는 증강 현실 기반의 사용자 인터페이스 제공 방법은, 촬영된 영상으로부터 증강 현실 마커를 인식하는 단계; 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이하는 단계; 디스플레이된 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 감지하는 단계; 및 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 거리를 계산하고, 계산된 상기 거리에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 단계를 포함한다.On the other hand, the augmented reality based user interface providing method performed in the user interface providing apparatus according to an embodiment of the present invention for solving the above problems, Recognizing the augmented reality marker from the captured image; Synthesizing and displaying the augmented reality object corresponding to the recognized augmented reality marker on the photographed image; Detecting a change in relative position between the displayed augmented reality object and the user interface providing device; And calculating a distance between the augmented reality object and the user interface providing device according to the detected relative position change, and updating the displayed shape or operation of the augmented reality object according to the calculated distance.
이때 상기 디스플레이 단계는, 인식된 상기 증강 현실 마커에 포함된 2차원 코드를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출하는 단계; 및 추출된 상기 식별 코드에 대응되는 상기 증강 현실 오브젝트를 상기 영상에 합성하여 출력하는 단계를 더 포함할 수 있다.The displaying may include: extracting an identification code of an augmented reality object corresponding to the augmented reality marker using a two-dimensional code included in the recognized augmented reality marker; And synthesizing the augmented reality object corresponding to the extracted identification code into the image and outputting the synthesized object.
또한 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 단계는, 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트에 포함되는 세부 요소들 각각과 상기 사용자 인터페이스 제공 장치간의 거리를 계산하는 단계; 및 상기 비교 결과, 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 존재하는 경우, 해당 세부 요소의 형태 또는 동작을 업데이트하는 단계를 더 포함할 수 있다.The updating of the shape or motion of the augmented reality object may include calculating a distance between each of the detailed elements included in the augmented reality object and the user interface providing device according to the detected relative position change; And when there is a detail element having a distance to the user interface providing apparatus within a preset value as a result of the comparison, updating the shape or operation of the corresponding detail element.
또한 상기 비교 결과 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 둘 이상이거나 또는 존재하지 않는 경우, 시각적, 촉각적 또는 청각적 수단 중 하나 이상의 수단을 이용하여 상기 증강 현실 기반 사용자 인터페이스 제공 장치의 사용자에게 이를 통지하는 피드백 단계를 더 포함할 수 있다.In addition, when the comparison result shows that two or more detailed elements whose distance to the user interface providing device is within a predetermined value are not present or exist, the augmented reality-based user using one or more means of visual, tactile or auditory means. The method may further include a feedback step of notifying the user of the interface providing apparatus.
이때 상기 통지는, 상기 디스플레이 모듈에서 디스플레이되는 영상의 밝기 또는 채도 변화, 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함할 수 있다.
In this case, the notification may include one or more of brightness or saturation of the image displayed on the display module, a warning message display, a vibration, or a warning sound output.
본 발명의 실시예들에 따를 경우, 사용자가 모바일 단말을 손에 쥐고 움직이는 것만으로 화면상에 표시된 증강 현실 오브젝트와 직관적으로 상호작용(interaction)을 수행할 수 있으므로, 직관적이고 편리한 사용자 인터페이스를 제공할 수 있다.According to embodiments of the present invention, since the user may intuitively interact with the augmented reality object displayed on the screen by simply holding the mobile terminal in his hand, it may provide an intuitive and convenient user interface. Can be.
또한, 본 발명의 경우 다양한 입력 수단의 조합을 통하여 단말의 이동을 감지하므로 단말의 에너지 소모 및 계산량을 최소화하면서 증강 현실 오브젝트와의 상호작용을 원활히 구현할 수 있다.In addition, in the present invention, since the movement of the terminal is sensed through a combination of various input means, the interaction with the augmented reality object can be smoothly realized while minimizing the energy consumption and the amount of calculation of the terminal.
또한, 본 발명에 따를 경우 사용자의 움직임 등이 부정확할 경우 이를 실시간으로 피드백하므로, 사용자가 실시간으로 자신의 움직임 등을 교정할 수 있어 편리하고 정확하게 사용자 인터페이스와의 상호작용을 수행할 수 있다.
In addition, according to the present invention, if the user's movements are inaccurate and feed back in real time, the user can correct their movements in real time, so that the user can conveniently and accurately interact with the user interface.
도 1은 본 발명의 일 실시예에 따른 증강 현실 기반의 사용자 인터페이스 제공 장치(100)의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 마커를 예시한 것이다.
도 3과 도 4는 본 발명에 따른 증강 현실 메뉴를 예시한 것이다.
도 5는 본 발명의 일 실시예에 따라 사용자 인터페이스 제공 장치(100)에서 수행되는 증강 현실 기반의 사용자 인터페이스 제공 방법(500)을 나타낸 순서도이다.1 is a block diagram illustrating a configuration of an
2 illustrates an augmented reality marker according to an embodiment of the present invention.
3 and 4 illustrate the augmented reality menu according to the present invention.
5 is a flowchart illustrating a
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, this is merely an example and the present invention is not limited thereto.
본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification.
본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하의 실시예는 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
The technical idea of the present invention is determined by the claims, and the following embodiments are merely a means for effectively explaining the technical idea of the present invention to a person having ordinary skill in the art to which the present invention belongs.
도 1은 본 발명의 일 실시예에 따른 증강 현실 기반의 사용자 인터페이스 제공 장치(100)의 구성을 나타낸 블록도이다. 본 발명의 실시예에서, 사용자 인터페이스 제공 장치(100)는 사용자가 자유롭게 휴대할 수 있는 크기의 장치로서, 예를 들어 휴대폰, 스마트폰, 태블릿 PC 또는 노트북 컴퓨터 등이 될 수 있다.1 is a block diagram illustrating a configuration of an
도시된 바와 같이, 본 발명의 일 실시예에 따른 증강 현실 기반의 사용자 인터페이스 제공 장치(100)는 카메라 모듈(102), 디스플레이 모듈(104), 입력 감지 모듈(106) 및 제어 모듈(108)을 포함하며, 필요에 따라 피드백 모듈(110)을 더 포함하여 구성될 수 있다.As shown, the augmented reality-based user
카메라 모듈(102)은 일반적으로 사용자 인터페이스 제공 장치(100)의 후면에 위치하며, 사용자의 명령에 따라 영상을 촬영한다. 본 실시예에서 특별한 언급이 없는 한 영상은 정지 영상이 아닌 동영상을 의미한다.The camera module 102 is generally located at the rear of the user
디스플레이 모듈(104)은 카메라 모듈(102)에서 촬영한 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 사용자 인터페이스 제공 장치(100)의 전면에 위치한 화면 상에 디스플레이한다.The display module 104 recognizes an augmented reality marker from an image captured by the camera module 102, synthesizes an augmented reality object corresponding to the recognized augmented reality marker, to the photographed image, and provides a user
상기 증강 현실 마커는 화면 상에 디스플레이되는 증강 현실 오브젝트를 식별하기 위한 매개체로서 기능하는 동시에, 화면 상에 증강 현실 오브젝트의 출력 위치를 가이드하는 기준점이 된다. 이러한 증강 현실 마커는 건물의 벽면 등에 부착되거나, 특정 물체(예를 들어 책, 공책 등의 일상 용품 또는 포스터 등)의 겉면에 부착 또는 인쇄될 수 있으며, 사용자는 사용자 인터페이스 제공 장치(100)에 부착된 카메라 모듈(102)을 상기 증강 현실 마커로 향하게 함으로써 촬영된 증강 현실 마커에 대응되는 증강 현실 오브젝트가 사용자 인터페이스 제공 장치(100)의 화면 상에 출력되도록 할 수 있다.The augmented reality marker serves as a medium for identifying an augmented reality object displayed on the screen and serves as a reference point for guiding an output position of the augmented reality object on the screen. The augmented reality marker may be attached to a wall of a building or the like, or may be attached to or printed on a surface of a specific object (for example, a daily necessity such as a book or a notebook or a poster), and the user may attach to the user
도 2는 본 발명의 일 실시예에 따른 증강 현실 마커를 예시한 것이다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 증강 현실 마커(200)는 트래킹 영역(202; tracking region) 및 식별 영역(204; identification region)을 포함하여 구성될 수 있다. 다만, 도시된 증강 현실 마커는 하나의 예시일 뿐이며, 화면 상에서 마커의 위치 및 종류를 식별 가능한 어떠한 형태의 증강 현실 마커 또한 본 발명에서의 증강 현실 마커로 사용 가능함을 유의한다.2 illustrates an augmented reality marker according to an embodiment of the present invention. As shown, the augmented
트래킹 영역(202)은 화면상에서 증강 현실 마커(200)의 위치를 식별하기 위한 영역이다. 즉, 트래킹 영역(202)은 증강 현실 마커(200)가 포함된 화면상에 증간 현실 콘텐츠를 출력하기 위한 3차원 기준 좌표를 제공한다. 그리고 식별 영역(204)은 화면상의 트래킹 영역(202)에 표시되는 증강 현실 오브젝트를 식별하기 위한 영역이다. 즉, 식별 영역(204)에는 트래킹 영역(202)에 표시되는 상기 증강 현실 오브젝트의 식별 정보(ID)가 저장된다. 본 발명의 실시예에서, 상기 식별 정보는 도시된 것과 같은 QR 코드 형태로 저장되거나 또는 바코드(bar code) 등의 2차원 코드 형태로 저장될 수 있다. 증강 현실 마커(200) 내에서 트래킹 영역(202) 및 식별 영역(204)의 배치 및 크기 등은 그 기능을 해치지 않는 범위 내에서 다양한 형태로 구현 가능하다.The
구체적인 디스플레이 모듈(104)에서의 증강 현실 마커 인식 및 증강 현실 오브젝트의 디스플레이 과정은 다음과 같다. 먼저, 디스플레이 모듈(104)은 카메라 모듈(102)에서 촬영된 영상으로부터 증강 현실 마커의 존재를 인식하고, 인식된 상기 증강 현실 마커에 포함된 2차원 코드(바코드 또는 QR 코드 등)를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출한다. 이후, 디스플레이 모듈(104)은 추출된 상기 식별 코드를 이용하여 상기 식별 코드에 해당하는 증강 현실 오브젝트를 카메라 모듈(102)에서 촬영된 영상에 합성하여 출력한다.In detail, the display process of augmented reality marker recognition and augmented reality object in the display module 104 is as follows. First, the display module 104 recognizes the presence of the augmented reality marker from the image photographed by the camera module 102 and uses the two-dimensional code (bar code or QR code, etc.) included in the recognized augmented reality marker. The identification code of the augmented reality object corresponding to the augmented reality marker is extracted. Thereafter, the display module 104 synthesizes and outputs an augmented reality object corresponding to the identification code to the image photographed by the camera module 102 using the extracted identification code.
상기 증강 현실 오브젝트는 사용자 인터페이스 제공 장치(100)의 내부에 저장된 것일 수 있다. 예를 들어, 사용자 인터페이스 제공 장치(100) 내부의 저장 공간(미도시)에는 복수 개의 증강 현실 마커 및 이의 식별 코드들이 매칭되어 저장될 수 있으며, 디스플레이 모듈(104)은 인식된 상기 증강 현실 마커에서 추출된 식별 코드와 매칭되는 증강 현실 오브젝트를 상기 저장 공간에서 검색하여 대응되는 증강 현실 오브젝트를 디스플레이할 수 있다. 이와 달리, 상기 증강 현실 오브젝트는 사용자 인터페이스 제공 장치(100)와 유/무선 네트워크를 통하여 연결된 별도의 서버(미도시)로부터 제공될 수도 있다. 이 경우, 디스플레이 모듈(104)은 인식된 증강 현실 마커로부터 추출된 식별 코드를 상기 서버로 송신하고, 상기 서버는 수신된 식별 코드에 대응되는 증강 현실 오브젝트를 디스플레이 모듈(104)로 송신할 수 있다.The augmented reality object may be stored in the user
상기 증강 현실 오브젝트는, 예를 들어 사용자와의 인터랙션(interaction)을 위한 복수 개의 세부 요소, 예를 들어, 복수 개의 증강 현실 메뉴로 구성될 수 있다. 도 3과 도 4에는 이러한 증강 현실 메뉴의 한 예로서, 복수 개의 선택 가능한 메뉴(세부 요소)들이 스프링 그래프(spring graph) 형태로 배열된 것을 예로 든 것이다. 도 3에 도시된 바와 같이, 각각의 메뉴(302)들은 증강 현실 마커(300)로부터 탄성을 가진 끈(304)으로 연결되어 증강 현실 마커(300)의 주변에 떠 있는 형태로 디스플레이될 수 있다. 도 4는 도 3에 도시된 메뉴들이 마커 또는 사용자 인터페이스 제공 장치(100)의 움직임에 따라 일시적으로 한 쪽 방향으로 쏠린 상태를 나타낸 것이다. 즉, 각각의 메뉴들의 위치 및 움직임은 유동적이며, 마커 도는 사용자 인터페이스 제공 장치(100)가 움직임에 따라 자유롭게 움직일 수 있다. 이와는 달리, 상기 증강 현실 오브젝트는 복수 개의 메뉴들이 나비떼와 같이 증강 현실 오브젝트를 따라다니면서 주변에 떠 있는 형태로 구성될 수도 있으며, 예시된 것 이외에도 다양한 형태로 증강 현실 메뉴들이 구현될 수 있다. 또한 각각의 메뉴들은 후술할 사용자의 입력에 따라 정해진 동작을 수행하거나, 다른 메뉴(submenu)들을 호출하거나 또는 그 형상 등이 변화될 수 있으며, 대해서는 이하에서 상세히 설명하기로 한다.The augmented reality object may include, for example, a plurality of detailed elements for interacting with a user, for example, a plurality of augmented reality menus. 3 and 4 illustrate an example of such an augmented reality menu, in which a plurality of selectable menus (detailed elements) are arranged in the form of a spring graph. As shown in FIG. 3, each of the
입력 감지 모듈(106)은 디스플레이된 상기 증강 현실 오브젝트와 사용자 인터페이스 제공 장치(100)간의 상대적 위치 변화를 감지한다.The input sensing module 106 detects a change in relative position between the displayed augmented reality object and the user
도 3에 도시된 실시예에서, 사용자는 디스플레이된 증강 현실 메뉴 중 하나를 선택하기 위하여 현재 손에 들고 있는 사용자 인터페이스 제공 장치(100)를 특정 방향으로 움직일 수 있다. 예를 들어, 증강 현실 마커(300)의 위쪽에 떠 있는 메뉴를 선택하기 위해서는 사용자 인터페이스 제공 장치(100)를 위쪽 방향으로 움직일 수 있으며, 또는 다른 방향에 있는 메뉴의 선택을 위하여 해당 방향으로 사용자 인터페이스 제공 장치(100)를 움직일 수 있다. 또는 전술한 바와 같이 메뉴들이 증강 현실 마커의 주변에 떠 있는 나비 등의 형태로 구현될 경우, 사용자는 사용자 인터페이스 제공 장치(100)를 선택하고자 하는 메뉴가 있는 방향으로 낚아채는 듯한 동작을 취함으로써 해당 메뉴를 선택할 수 있다. 또는, 특정 메뉴의 선택을 위하여 해당 방향으로 사용자 인터페이스 제공 장치(100)를 찌르는 듯한 동작을 취하는 등, 다양한 형태의 움직임이 가능할 수 있으며, 이러한 움직임에 따른 증강 현실 오브젝트와 사용자 인터페이스 제공 장치(100)간의 상대적 위치 변화는 입력 감지 모듈(106)에서 감지되게 된다.In the embodiment shown in FIG. 3, the user may move the user
구체적으로, 입력 감지 모듈(106)은 다음과 같은 수단을 통하여 상기 상대적 위치 변화를 감지할 수 있다. 예를 들어, 입력 감지 모듈(106)은 지피에스(GPS) 수신부를 구비할 수 있으며, 상기 지피에스 수신부에서 수신되는 사용자 인터페이스 제공 장치(100)의 위치 변화로서 상기 상대적 위치 변화를 감지할 수 있다. 또는, 입력 감지 모듈(106)은 별도의 영상 감지부를 구비할 수 있으며, 상기 영상 감지부는 카메라 모듈(102)에서 촬영한 영상 내의 상기 증강 현실 마커의 상대적 위치 변화를 감지함으로써 사용자 인터페이스 제공 장치(100)의 위치 변화를 감지할 수 있다. 예를 들어, 영상 내의 증강 현실 마커의 크기 변화, 각도 차이에 따른 모양 변화, 위치 변화 등을 종합적으로 판별함으로써 사용자 인터페이스 제공 장치(100)의 위치 변화를 계산할 수 있다.In detail, the input sensing module 106 may detect the relative position change through the following means. For example, the input sensing module 106 may include a GPS receiver, and may detect the relative position change as a position change of the user
또한, 입력 감지 모듈(106)은 별도의 모션 센서로부터 사용자 인터페이스 제공 장치(100)의 위치 변화를 감지할 수도 있다. 예를 들어, 사용자 인터페이스 제공 장치(100)는 가속도 센서 또는 자이로스코프 등의 움직임 감지 센서를 포함할 수 있으며, 이를 이용하여 사용자 인터페이스 제공 장치(100)의 위치 변화를 계산할 수 있다.In addition, the input sensing module 106 may detect a change in position of the
입력 감지 모듈(106)은 전술한 이동 감지 수단 중 하나를 이용하여 증강 현실 오브젝트와 사용자 인터페이스 제공 장치(100)간의 상대적 위치 변화를 계산할 수도 있으나, 필요한 경우 전술한 수단 중 둘 이상의 수단을 조합하여 상대적 위치 변화를 계산할 수도 있다. 예를 들어, 영상 감지부를 이용하여 위치 변화를 감지하는 경우, 입력되는 영상의 매 프레임마다 마커의 형태 및 크기 변화를 계산하여야 하므로 상대적으로 전력 및 컴퓨팅 파워가 제한된 이동형 기기의 경우 실시간 위치 변화의 추적이 어려울 수 있다. 따라서 이 경우에는 영상 감지부에서 처리하는 프레임 수를 적절히 줄이고(예를 들어 1초당 한 프레임), 나머지 구간의 경우 GPS 수신부 또는 모션 센서를 이용하여 위치 변화를 추적함으로써 전력 사용 및 계산량을 최소화하는 동시에 실시간 위치 변화의 추적을 가능하게 할 수 있다.The input sensing module 106 may calculate a change in relative position between the augmented reality object and the user
제어 모듈(108)은 입력 감지 모듈(106)에서 감지된 상기 상대적 위치 변화에 따라 상기 사용자 인터페이스 제공 장치간의 거리를 계산하고, 계산된 상기 거리에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트한다. 구체적으로, 제어 모듈(108)은 입력 감지 모듈(106)에서 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트에 포함되는 세부 요소들 각각과 사용자 인터페이스 제공 장치(100)간의 거리를 계산하고, 사용자 인터페이스 제공 장치(100)와의 거리가 기 설정된 값 이내인 세부 요소가 존재하는 경우, 해당 세부 요소의 형태 또는 동작을 업데이트하도록 구성된다.The
예를 들어, 도 3 또는 도 4에 도시된 증강 현실 오브젝트의 각 메뉴들은 상기 증강 현실 오브젝트가 존재하는 가상 공간 내에서의 위치 정보를 가진다. 마찬가지로, 사용자 인터페이스 제공 장치(100) 또한 상기 가상 공간 내에서 특정 위치에 존재하게 된다. 이와 같은 사용자 인터페이스 제공 장치(100)의 초기 위치는 화면 상에 디스플레이되는 증강 현실 마커의 크기 및 위치에 따라 정해질 수 있으며, 이후 사용자 인터페이스 제공 장치(100)의 움직임이 감지될 경우 이에 따라 상기 위치가 업데이트될 수 있다.For example, each menu of the augmented reality object illustrated in FIG. 3 or 4 has location information in a virtual space where the augmented reality object exists. Similarly, the user
이와 같은 상황에서 만약 사용자가 사용자 인터페이스 제공 장치(100)를 쥔 상태에서 이를 특정 방향으로 움직일 경우 사용자 인터페이스 제공 장치(100)와 각 메뉴(세부 요소)들 간의 가상 공간 내에서의 거리가 달라지게 된다. 예를 들어, 상기 사용자는 디스플레이된 메뉴들 중 하나를 선택하기 위하여 해당 메뉴가 존재하는 방향으로 사용자 인터페이스 제공 장치(100)를 움직일 수 있으며, 이 경우 해당 방향에 존재하는 메뉴와 사용자 인터페이스 제공 장치(100)간의 가상 공간 내에서의 거리는 가까워지고, 나머지 메뉴들과의 거리는 또한 그에 대응하여 변화하게 된다.In such a situation, if the user moves the device in a specific direction while holding the user
제어 모듈(108)은 상기와 같은 움직임이 있을 경우, 상기 각 세부 요소들과 사용자 인터페이스 제공 장치(100)간의 거리를 계산하고, 상기 거리가 기 설정된 값 이내(이 값은 메뉴의 크기, 형태 등에 따라 적절해 정해질 수 있다)인 세부 요소가 존재하는 경우 해당 세부 요소를 선택한 것으로 간주하여 해당 세부 요소에 대응되는 동작을 수행한다. 예를 들어, 선택된 세부 요소에 색상 또는 형태를 변경하거나 또는 해당 세부 요소 내부에 포함된 다른 요소들을 출력하게 된다.If there is such a movement, the
상기와 같이 사용자 인터페이스 제공 장치(100)가 구성될 경우, 사용자는 사용자 인터페이스 제공 장치(100)를 한 손으로 잡은 상태에서 카메라 모듈(102)을 증강 현실 마커가 존재하는 방향으로 위치시켜 증강 현실 사용자 인터페이스를 화면 상에 디스플레이한 뒤, 그 상태에서 단순히 사용자 인터페이스 제공 장치(100)를 움직이는 것 만으로 증강 현실 사용자 인터페이스와의 인터랙션이 가능하게 된다. 따라서 편리하게, 또한 직관적으로 증강 현실 기반의 사용자 인터페이스를 사용할 수 있게 된다.When the user
한편, 전술한 바와 같이, 본 발명의 일 실시예에 따른 증강 현실 기반 사용자 인터페이스 제공 장치(100)는 피드백 모듈(110)을 더 포함하여 구성될 수 있다. 피드백 모듈(110)은 제어 모듈(108)에서 계산된 사용자 인터페이스 제공 장치(100)와의 거리가 기 설정된 값 이내인 세부 요소가 둘 이상이거나 또는 존재하지 않는 경우, 즉 감지된 움직임에도 불구하고 해당 움직임에 대응되는 세부 요소를 특정할 수 없는 경우, 시각적, 촉각적 또는 청각적 수단 중 하나 이상의 수단을 이용하여 증강 현실 기반 사용자 인터페이스 제공 장치(100)의 사용자에게 이를 통지함으로써 사용자가 곧바로 동작을 수정할 수 있도록 한다. 이와 같은 통지의 예로는 디스플레이 모듈(104)에서 디스플레이되는 영상의 밝기 또는 채도 변화, 별도의 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함할 수 있다. 예를 들어, 피드백 모듈(110)은 부정확한 움직임이 검출되는 즉시 전체적인 화면의 채도를 낮춤으로써 사용자가 현재 동작의 방향 등을 곧바로 수정하도록 할 수 있다. 수정된 동작에 따라 특정 세부 요소를 선택 가능한 경우(즉, 수정된 움직임에 따라 사용자 인터페이스 제공 장치(100)와의 거리가 기 설정된 값 이내인 세부 요소가 하나만 존재하게 되는 경우 등), 피드백 모듈(110)은 낮추었던 채도를 즉시 원상태로 복귀시켜 사용자의 움직임 수정에 대한 결과를 바로 알 수 있도록 한다.Meanwhile, as described above, the
이와 같이 본 발명의 실시예에서 별도의 피드백 모듈을 갖출 경우, 사용자 인터페이스 제공 장치(100)의 움직임에 대한 피드백을 곧바로 줄 수 있게 되므로 사용자의 시행착오 등을 최소화할 수 있다.
As such, when the separate feedback module is provided in the embodiment of the present invention, feedback about the movement of the user
도 5는 본 발명의 일 실시예에 따라 사용자 인터페이스 제공 장치(100)에서 수행되는 증강 현실 기반의 사용자 인터페이스 제공 방법(500)을 나타낸 순서도이다.5 is a flowchart illustrating a
먼저, 촬영된 영상으로부터 증강 현실 마커를 인식하고(502), 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이한다(504). 전술한 바와 같이, 상기 504 단계는 인식된 상기 증강 현실 마커에 포함된 2차원 코드를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출하는 단계 및 추출된 상기 식별 코드에 대응되는 상기 증강 현실 오브젝트를 상기 영상에 합성하여 출력하는 단계를 포함하여 구성된다.First, the augmented reality marker is recognized from the photographed image (502), and the augmented reality object corresponding to the recognized augmented reality marker is synthesized and displayed on the photographed image (504). As described above, the step 504 extracts an identification code of an augmented reality object corresponding to the augmented reality marker by using the two-dimensional code included in the recognized augmented reality marker and corresponds to the extracted identification code. And synthesizing the augmented reality object to the image and outputting the synthesized object.
다음으로 디스플레이된 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 감지한다(506). 이와 같은 상대적 위치 변화 감지에 대한 구체적인 사항은 전술하였다.In operation 506, a change in relative position between the displayed augmented reality object and the user interface providing device is detected. Details of such relative position change detection have been described above.
다음으로, 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트의 세부 요소 중 사용자 인터페이스 제공 장치(100)와의 가상 공간 내에서의 거리가 특정 값 이내일 세부 요소가 존재하는지의 여부를 판단한다 (508). 상기 판단 결과, 사용자 인터페이스 제공 장치(100)와의 가상 공간 내에서의 거리가 특정 값 이내일 세부 요소가 존재하는 경우, 해당 세부 요소와 대응되는 동작 또는 형태 변화 정보에 따라 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트한다(510). 예를 들어, 해당 세부 요소에 대응되는 서브메뉴를 출력하거나, 증강 현실 사용자 인터페이스의 모양 또는 색상을 변경하거나, 연결된 어플리케이션을 수행하는 등, 해당 세부 요소에 대응되는 동작을 수행하게 된다.Next, according to the detected relative position change, it is determined whether there is a detail element in which the distance in the virtual space with the user
한편, 만약 사용자 인터페이스 제공 장치(100)와의 가상 공간 내에서의 거리가 특정 값 이내일 세부 요소가 존재하지 않거나 또는 둘 이상이어서 어느 하나를 선택할 수 없는 경우, 시각적, 촉각적 또는 청각적 수단을 이용하여 상기 증강 현실 기반 사용자 인터페이스 제공 장치의 사용자에게 이를 통지(피드백)하고(512), 다시 506 단계로 돌아가 사용자의 입력에 따른 위치 변화를 감지하게 된다. 이와 같은 통지는, 상기 디스플레이 모듈에서 디스플레이되는 영상의 밝기 또는 채도 변화, 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함할 수 있다.
On the other hand, if there is no detail element in which the distance in the virtual space with the user
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limiting the scope of the present invention. I will understand.
그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by equivalents to the appended claims, as well as the appended claims.
100: 사용자 인터페이스 제공 장치
102: 카메라 모듈
104: 디스플레이 모듈
106: 입력 감지 모듈
108: 제어 모듈
110: 피드백 모듈
200, 300: 증강 현실 마커
202: 트래킹 영역
204: 식별 영역
302: 메뉴
304: 메뉴 연결 끈100: user interface device
102: camera module
104: display module
106: input sensing module
108: control module
110: feedback module
200, 300: Augmented Reality Marker
202: tracking area
204: identification area
302: menu
304: menu tie string
Claims (11)
영상을 촬영하는 카메라 모듈;
상기 카메라 모듈에서 촬영한 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이하는 디스플레이 모듈;
디스플레이된 상기 증강 현실 오브젝트의 가상 공간 내에서의 위치와 상기 사용자 인터페이스 제공 장치의 상기 가상 공간 내에서 설정된 위치 간의 상기 가상 공간 내에서의 상대적 위치 변화를 감지하는 입력 감지 모듈; 및
상기 입력 감지 모듈에서 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상기 가상 공간 내에서의 거리를 계산하고, 계산된 상기 거리에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 제어 모듈을 포함하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
An augmented reality based user interface providing device,
A camera module for capturing an image;
A display module configured to recognize an augmented reality marker from an image photographed by the camera module and to display an augmented reality object corresponding to the recognized augmented reality marker on the photographed image;
An input sensing module configured to detect a change in relative position in the virtual space between a position in the virtual space of the displayed augmented reality object and a position set in the virtual space of the user interface providing apparatus; And
Calculates a distance in the virtual space between the augmented reality object and the user interface providing device according to the relative position change detected by the input sensing module, and displays the form of the augmented reality object displayed according to the calculated distance or Apparatus for providing an augmented reality based user interface comprising a control module for updating an operation.
상기 디스플레이 모듈은, 인식된 상기 증강 현실 마커에 포함된 2차원 코드를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출하고, 추출된 상기 식별 코드에 대응되는 상기 증강 현실 오브젝트를 상기 영상에 합성하여 출력하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
The method of claim 1,
The display module extracts an identification code of an augmented reality object corresponding to the augmented reality marker by using a two-dimensional code included in the recognized augmented reality marker, and extracts the augmented reality object corresponding to the extracted identification code. Apparatus for providing an augmented reality based user interface synthesized on the image.
상기 입력 감지 모듈은,
위성으로부터 위치 정보를 수신하는 지피에스(GPS) 수신부;
상기 카메라 모듈에서 촬영한 영상 내의 상기 증강 현실 마커의 상대적 위치 변화를 감지하는 영상 감지부; 또는
상기 사용자 인터페이스 제공 장치의 3차원 이동을 감지하는 모션 센서부 중 하나 이상을 포함하며,
상기 지피에스 수신부에서 수신된 위치 변화, 상기 영상 감지부에서 감지된 상기 증강 현실 마커의 상대적 위치 변화, 상기 모션 센서부에서 감지된 상기 사용자 인터페이스 제공 장치의 3차원 이동, 또는 이들 중 둘 이상의 조합을 이용하여 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상기 가상 공간 내에서의 상대적 위치 변화를 계산하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
The method of claim 1,
The input sensing module,
GPS receiver for receiving location information from the satellite;
An image sensor for detecting a change in relative position of the augmented reality marker in the image captured by the camera module; or
At least one of the motion sensor unit for detecting a three-dimensional movement of the user interface providing apparatus,
Using a position change received by the GPS receiver, a relative position change of the augmented reality marker detected by the image sensor, a three-dimensional movement of the user interface providing apparatus detected by the motion sensor, or a combination of two or more thereof And calculating a relative position change in the virtual space between the augmented reality object and the user interface providing device.
상기 제어 모듈은, 상기 입력 감지 모듈에서 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트에 포함되는 세부 요소들 각각과 상기 사용자 인터페이스 제공 장치간의 상기 가상 공간 내에서의 거리를 계산하고, 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 존재하는 경우, 해당 세부 요소의 형태 또는 동작을 업데이트하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
The method of claim 1,
The control module calculates a distance in the virtual space between each of the detailed elements included in the augmented reality object and the user interface providing device according to the change in the relative position detected by the input sensing module, and the user interface If there is a detailed element having a distance to the providing device within a predetermined value, updating the shape or operation of the detailed element, augmented reality based user interface providing device.
상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 둘 이상이거나 또는 존재하지 않는 경우, 시각적, 촉각적 또는 청각적 수단 중 하나 이상의 수단을 이용하여 상기 증강 현실 기반 사용자 인터페이스 제공 장치의 사용자에게 이를 통지하는 피드백 모듈을 더 포함하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
5. The method of claim 4,
When there are two or more detailed elements whose distance to the user interface providing device is within a preset value, or when there are no detailed elements, the apparatus for providing an augmented reality based user interface using one or more of visual, tactile, or auditory means is used. And a feedback module for notifying the user of this.
상기 통지는, 상기 디스플레이 모듈에서 디스플레이되는 영상의 밝기 또는 채도 변화, 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
The method of claim 5,
And the notification includes one or more of a brightness or saturation change of an image displayed in the display module, a warning message display, and a vibration or warning sound output.
촬영된 영상으로부터 증강 현실 마커를 인식하는 단계;
인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이하는 단계;
디스플레이된 상기 증강 현실 오브젝트의 가상 공간 내에서의 위치와 상기 사용자 인터페이스 제공 장치의 상기 가상 공간 내에서 설정된 위치 간의 상기 가상 공간 내에서의 상대적 위치 변화를 감지하는 단계; 및
감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상기 가상 공간 내에서의 거리를 계산하고, 계산된 상기 거리에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 단계를 포함하는, 증강 현실 기반 사용자 인터페이스 제공 방법.
An augmented reality based user interface providing method performed by a user interface providing device,
Recognizing an augmented reality marker from the captured image;
Synthesizing and displaying the augmented reality object corresponding to the recognized augmented reality marker on the photographed image;
Detecting a change in relative position in the virtual space between a position in the virtual space of the displayed augmented reality object and a position set in the virtual space of the user interface providing device; And
Calculating a distance in the virtual space between the augmented reality object and the user interface providing device according to the detected relative position change, and updating a shape or an operation of the displayed augmented reality object according to the calculated distance Including, augmented reality based user interface providing method.
상기 디스플레이 단계는,
인식된 상기 증강 현실 마커에 포함된 2차원 코드를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출하는 단계; 및
추출된 상기 식별 코드에 대응되는 상기 증강 현실 오브젝트를 상기 영상에 합성하여 출력하는 단계를 더 포함하는, 증강 현실 기반 사용자 인터페이스 제공 방법.
The method of claim 7, wherein
The display step,
Extracting an identification code of an augmented reality object corresponding to the augmented reality marker using a two-dimensional code included in the recognized augmented reality marker; And
And synthesizing the augmented reality object corresponding to the extracted identification code into the image and outputting the synthesized object.
상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 단계는,
감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트에 포함되는 세부 요소들 각각과 상기 사용자 인터페이스 제공 장치간의 상기 가상 공간 내에서의 거리를 계산하는 단계; 및
상기 거리 계산 결과, 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 존재하는 경우, 해당 세부 요소의 형태 또는 동작을 업데이트하는 단계를 더 포함하는 증강 현실 기반 사용자 인터페이스 제공 방법.
The method of claim 7, wherein
Updating the shape or motion of the augmented reality object,
Calculating a distance in the virtual space between each of the detailed elements included in the augmented reality object and the user interface providing device according to the detected relative position change; And
And updating the shape or operation of the corresponding detail element when there is a detail element having a distance to the user interface providing device within a preset value as a result of the distance calculation.
상기 거리 계산 결과 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 둘 이상이거나 또는 존재하지 않는 경우, 시각적, 촉각적 또는 청각적 수단 중 하나 이상의 수단을 이용하여 상기 증강 현실 기반 사용자 인터페이스 제공 장치의 사용자에게 이를 통지하는 피드백 단계를 더 포함하는, 증강 현실 기반 사용자 인터페이스 제공 방법.
10. The method of claim 9,
The augmented reality-based user using one or more of visual, tactile, or auditory means when the distance calculation result shows that two or more detailed elements whose distance to the user interface providing device is within a predetermined value are not present. And a feedback step of notifying the user of the interface providing apparatus.
상기 통지는, 상기 디스플레이 모듈에서 디스플레이되는 영상의 밝기 또는 채도 변화, 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함하는, 증강 현실 기반 사용자 인터페이스 제공 방법.
The method of claim 10,
And the notification comprises one or more of a brightness or saturation change of an image displayed in the display module, a warning message display, a vibration or a warning sound output.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161465197P | 2011-03-16 | 2011-03-16 | |
US61/465,197 | 2011-03-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120106519A KR20120106519A (en) | 2012-09-26 |
KR101334049B1 true KR101334049B1 (en) | 2013-11-28 |
Family
ID=47113216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110067193A KR101334049B1 (en) | 2011-03-16 | 2011-07-07 | Apparatus and method for providing user interface based on augmented reality |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101334049B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190112968A (en) * | 2018-03-27 | 2019-10-08 | 남서울대학교 산학협력단 | Method and program of x-ray simulation using augmented reality |
US10685201B2 (en) | 2016-07-22 | 2020-06-16 | Alibaba Group Holding Limited | Method and system for recognizing location information in two-dimensional code |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101253644B1 (en) * | 2012-12-28 | 2013-04-11 | 주식회사 맥스트 | Apparatus and method for displaying augmented reality content using geographic information |
KR102214292B1 (en) * | 2013-07-25 | 2021-02-09 | 라인플러스 주식회사 | Mobile marketing application integrated system |
KR102178975B1 (en) * | 2013-11-18 | 2020-11-13 | 순천대학교 산학협력단 | System and Method for 3-Dimensional Model Visualization of Drawing based Mobile Augmented Reality |
KR102114618B1 (en) * | 2014-01-16 | 2020-05-25 | 엘지전자 주식회사 | Portable and method for controlling the same |
KR101582225B1 (en) * | 2014-04-30 | 2016-01-04 | (주)제이앤씨마케팅커뮤니케이션 | System and method for providing interactive augmented reality service |
CN106874817A (en) | 2016-07-27 | 2017-06-20 | 阿里巴巴集团控股有限公司 | Two-dimensional code identification method, equipment and mobile terminal |
KR102431712B1 (en) * | 2017-09-04 | 2022-08-12 | 삼성전자 주식회사 | Electronic apparatus, method for controlling thereof and computer program product thereof |
KR101989969B1 (en) * | 2018-10-11 | 2019-06-19 | 대한민국 | Contents experience system of architectural sites based augmented reality |
WO2021040107A1 (en) * | 2019-08-30 | 2021-03-04 | 엘지전자 주식회사 | Ar device and method for controlling same |
KR102215146B1 (en) * | 2020-06-23 | 2021-02-15 | 주식회사 예쉬컴퍼니 | Method, apparatus and computer program for providing interactive service using augmented reality and mixed reality |
KR102625729B1 (en) * | 2021-10-05 | 2024-01-16 | 가온그룹 주식회사 | method of rendering AR contents by use of clone object |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050078117A (en) * | 2004-01-30 | 2005-08-04 | 박명관 | Host system of the handheld 3d motion tracking device |
KR20060065159A (en) * | 2004-12-10 | 2006-06-14 | (주)제니텀 엔터테인먼트 컴퓨팅 | 3 dimensional marker detection method and device and method for providing augmented reality and mixed reality using the same |
KR20070014767A (en) * | 2005-07-29 | 2007-02-01 | (주)포스트미디어 | Id judgment method by using extension type visual marker including direrction information |
KR101049090B1 (en) * | 2010-09-17 | 2011-07-15 | 성준형 | Augmented reality marker and method for distributing contents using augmented reality |
-
2011
- 2011-07-07 KR KR1020110067193A patent/KR101334049B1/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050078117A (en) * | 2004-01-30 | 2005-08-04 | 박명관 | Host system of the handheld 3d motion tracking device |
KR20060065159A (en) * | 2004-12-10 | 2006-06-14 | (주)제니텀 엔터테인먼트 컴퓨팅 | 3 dimensional marker detection method and device and method for providing augmented reality and mixed reality using the same |
KR20070014767A (en) * | 2005-07-29 | 2007-02-01 | (주)포스트미디어 | Id judgment method by using extension type visual marker including direrction information |
KR101049090B1 (en) * | 2010-09-17 | 2011-07-15 | 성준형 | Augmented reality marker and method for distributing contents using augmented reality |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10685201B2 (en) | 2016-07-22 | 2020-06-16 | Alibaba Group Holding Limited | Method and system for recognizing location information in two-dimensional code |
KR20190112968A (en) * | 2018-03-27 | 2019-10-08 | 남서울대학교 산학협력단 | Method and program of x-ray simulation using augmented reality |
KR102048208B1 (en) * | 2018-03-27 | 2019-11-25 | 남서울대학교 산학협력단 | Method and program of x-ray simulation using augmented reality |
Also Published As
Publication number | Publication date |
---|---|
KR20120106519A (en) | 2012-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101334049B1 (en) | Apparatus and method for providing user interface based on augmented reality | |
KR102342267B1 (en) | Portable apparatus and method for changing a screen | |
KR101056418B1 (en) | Apparatus and method for tracking augmented reality contents using mobile sensors | |
US10318011B2 (en) | Gesture-controlled augmented reality experience using a mobile communications device | |
US20140300542A1 (en) | Portable device and method for providing non-contact interface | |
JP5765019B2 (en) | Display control apparatus, display control method, and program | |
US20160171773A1 (en) | Display control method, information processing apparatus, and storage medium | |
US20130063345A1 (en) | Gesture input device and gesture input method | |
CN108027654B (en) | Input device, input method, and program | |
US20160012612A1 (en) | Display control method and system | |
CN103019518B (en) | A kind of method of automatic adjustment human-computer interaction interface | |
US20110319130A1 (en) | Mobile terminal and method of operation | |
JP2013141207A (en) | Multi-user interaction with handheld projectors | |
KR20100094754A (en) | User interface method for inputting a character and mobile terminal using the same | |
CN102754060A (en) | Method and apparatus for determining information for display | |
WO2013106169A1 (en) | Menu selection using tangible interaction with mobile devices | |
CN109495616B (en) | Photographing method and terminal equipment | |
US20240184403A1 (en) | Personal digital assistant | |
JP2015118442A (en) | Information processor, information processing method, and program | |
CN113253908A (en) | Key function execution method, device, equipment and storage medium | |
US20140292636A1 (en) | Head-Worn Infrared-Based Mobile User-Interface | |
JP5684618B2 (en) | Imaging apparatus and virtual information display program | |
US20140111551A1 (en) | Information-processing device, storage medium, information-processing method, and information-processing system | |
US20180059811A1 (en) | Display control device, display control method, and recording medium | |
KR101774807B1 (en) | Mobile terminal and operation method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20161116 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |