KR20120106519A - 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법 - Google Patents

증강 현실 기반 사용자 인터페이스 제공 장치 및 방법 Download PDF

Info

Publication number
KR20120106519A
KR20120106519A KR1020110067193A KR20110067193A KR20120106519A KR 20120106519 A KR20120106519 A KR 20120106519A KR 1020110067193 A KR1020110067193 A KR 1020110067193A KR 20110067193 A KR20110067193 A KR 20110067193A KR 20120106519 A KR20120106519 A KR 20120106519A
Authority
KR
South Korea
Prior art keywords
augmented reality
user interface
interface providing
providing device
module
Prior art date
Application number
KR1020110067193A
Other languages
English (en)
Other versions
KR101334049B1 (ko
Inventor
성준형
Original Assignee
성준형
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성준형 filed Critical 성준형
Publication of KR20120106519A publication Critical patent/KR20120106519A/ko
Application granted granted Critical
Publication of KR101334049B1 publication Critical patent/KR101334049B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실 기반 사용자 인터페이스 제공 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 증강 현실 기반의 사용자 인터페이스 제공 장치는, 영상을 촬영하는 카메라 모듈; 상기 카메라 모듈로부터 촬영한 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이하는 디스플레이 모듈; 디스플레이된 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 감지하는 입력 감지 모듈; 및 상기 입력 감지 모듈에서 감지된 상기 상대적 위치 변화에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 제어 모듈을 포함한다.

Description

증강 현실 기반 사용자 인터페이스 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING USER INTERFACE BASED ON AUGMENTED REALITY}
본 발명은 휴대 디바이스에 적용될 수 있는 증강 현실을 이용한 사용자 인터페이스 기술과 관련된다.
최근 들어, 스마트폰 및 태블릿 피씨(PC) 등으로 대표되는 모바일 기기의 사용이 일반화되면서, 이를 이용한 다양한 종류의 서비스들이 제안되고 있다. 이러한 모바일 기기들은 일반적으로 버튼 또는 터치스크린 등을 이용하여 사용자와 인터랙션을 수행하도록 구성된다.
또한, 이와 같은 스마트폰 등의 대중화와 더불어 최근에는 증강 현실 (Augmented Reality) 기술이 다양한 분야에서 활용되고 있다. 이러한 증강 현실의 일례로는 카메라로부터 촬영되는 영상으로부터 증강 현실 마커를 감지하고 감지된 마커에 따른 3차원 가상 물체를 상기 영상에 합성하여 디스플레이하는 기술을 들 수 있다. 이와 같은 기술을 사용함으로써 현실에는 존재하지 않는 가상 캐릭터 등이 화면상으로는 실제로 존재하는 것처럼 할 수 있다.
그러나 단순히 화면 상에 가상 캐릭터 또는 가상 오브젝트를 디스플레이하는 것 뿐만 아니라, 디스플레이된 가상 오브젝트와 모바일 디바이스를 이용하여 사용자와 상기 가상 오브젝트간에 상호작용(interaction)을 하려 할 경우, 상기와 같은 버튼 또는 터치스크린 등으로는 편리하고 직관적인 인터페이스를 구현하기에 한계가 있었다.
본 발명은 모바일 단말에서 편리하고 직관적으로 조작 가능한 사용자 인터페이스를 제공하는데 그 목적이 있다.
또한, 본 발명은 리소스가 제한된 모바일 환경에서 최적의 증강 현실 사용자 인터페이스를 구현하는 동시에, 사용자에게 사용자 인터페이스와의 상호작용에 대한 즉각적인 피드백을 제공하는 데 그 목적이 있다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 증강 현실 기반의 사용자 인터페이스 제공 장치는, 영상을 촬영하는 카메라 모듈; 상기 카메라 모듈에서 촬영한 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이하는 디스플레이 모듈; 디스플레이된 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 감지하는 입력 감지 모듈; 및 상기 입력 감지 모듈에서 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 거리를 계산하고, 계산된 상기 거리에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 제어 모듈을 포함한다.
이때 상기 디스플레이 모듈은, 인식된 상기 증강 현실 마커에 포함된 2차원 코드를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출하고, 추출된 상기 식별 코드에 대응되는 상기 증강 현실 오브젝트를 상기 영상에 합성하여 출력할 수 있다.
그리고 상기 입력 감지 모듈은, 위성으로부터 위치 정보를 수신하는 지피에스(GPS) 수신부; 상기 카메라 모듈에서 촬영한 영상 내의 상기 증강 현실 마커의 상대적 위치 변화를 감지하는 영상 감지부; 또는 상기 사용자 인터페이스 제공 장치의 3차원 이동을 감지하는 모션 센서부 중 하나 이상을 포함하며, 상기 지피에스 수신부에서 수신된 위치 변화, 상기 영상 감지부에서 감지된 상기 증강 현실 마커의 상대적 위치 변화, 상기 모션 센서부에서 감지된 상기 사용자 인터페이스 제공 장치의 3차원 이동, 또는 이들 중 둘 이상의 조합을 이용하여 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 계산할 수 있다.
한편, 상기 제어 모듈은, 상기 입력 감지 모듈에서 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트에 포함되는 세부 요소들 각각과 상기 사용자 인터페이스 제공 장치간의 거리를 계산하고, 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 존재하는 경우, 해당 세부 요소의 형태 또는 동작을 업데이트할 수 있다.
또한 상기 증강 현실 기반 사용자 인터페이스 제공 장치는, 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 둘 이상이거나 또는 존재하지 않는 경우, 시각적, 촉각적 또는 청각적 수단 중 하나 이상의 수단을 이용하여 상기 증강 현실 기반 사용자 인터페이스 제공 장치의 사용자에게 이를 통지하는 피드백 모듈을 더 포함할 수 있다.
이때 상기 통지는, 상기 디스플레이 모듈에서 디스플레이되는 영상의 밝기 또는 채도 변화, 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함할 수 있다.
한편, 상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 장치에서 수행되는 증강 현실 기반의 사용자 인터페이스 제공 방법은, 촬영된 영상으로부터 증강 현실 마커를 인식하는 단계; 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이하는 단계; 디스플레이된 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 감지하는 단계; 및 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 거리를 계산하고, 계산된 상기 거리에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 단계를 포함한다.
이때 상기 디스플레이 단계는, 인식된 상기 증강 현실 마커에 포함된 2차원 코드를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출하는 단계; 및 추출된 상기 식별 코드에 대응되는 상기 증강 현실 오브젝트를 상기 영상에 합성하여 출력하는 단계를 더 포함할 수 있다.
또한 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 단계는, 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트에 포함되는 세부 요소들 각각과 상기 사용자 인터페이스 제공 장치간의 거리를 계산하는 단계; 및 상기 비교 결과, 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 존재하는 경우, 해당 세부 요소의 형태 또는 동작을 업데이트하는 단계를 더 포함할 수 있다.
또한 상기 비교 결과 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 둘 이상이거나 또는 존재하지 않는 경우, 시각적, 촉각적 또는 청각적 수단 중 하나 이상의 수단을 이용하여 상기 증강 현실 기반 사용자 인터페이스 제공 장치의 사용자에게 이를 통지하는 피드백 단계를 더 포함할 수 있다.
이때 상기 통지는, 상기 디스플레이 모듈에서 디스플레이되는 영상의 밝기 또는 채도 변화, 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함할 수 있다.
본 발명의 실시예들에 따를 경우, 사용자가 모바일 단말을 손에 쥐고 움직이는 것만으로 화면상에 표시된 증강 현실 오브젝트와 직관적으로 상호작용(interaction)을 수행할 수 있으므로, 직관적이고 편리한 사용자 인터페이스를 제공할 수 있다.
또한, 본 발명의 경우 다양한 입력 수단의 조합을 통하여 단말의 이동을 감지하므로 단말의 에너지 소모 및 계산량을 최소화하면서 증강 현실 오브젝트와의 상호작용을 원활히 구현할 수 있다.
또한, 본 발명에 따를 경우 사용자의 움직임 등이 부정확할 경우 이를 실시간으로 피드백하므로, 사용자가 실시간으로 자신의 움직임 등을 교정할 수 있어 편리하고 정확하게 사용자 인터페이스와의 상호작용을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 기반의 사용자 인터페이스 제공 장치(100)의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 마커를 예시한 것이다.
도 3과 도 4는 본 발명에 따른 증강 현실 메뉴를 예시한 것이다.
도 5는 본 발명의 일 실시예에 따라 사용자 인터페이스 제공 장치(100)에서 수행되는 증강 현실 기반의 사용자 인터페이스 제공 방법(500)을 나타낸 순서도이다.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하의 실시예는 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 기반의 사용자 인터페이스 제공 장치(100)의 구성을 나타낸 블록도이다. 본 발명의 실시예에서, 사용자 인터페이스 제공 장치(100)는 사용자가 자유롭게 휴대할 수 있는 크기의 장치로서, 예를 들어 휴대폰, 스마트폰, 태블릿 PC 또는 노트북 컴퓨터 등이 될 수 있다.
도시된 바와 같이, 본 발명의 일 실시예에 따른 증강 현실 기반의 사용자 인터페이스 제공 장치(100)는 카메라 모듈(102), 디스플레이 모듈(104), 입력 감지 모듈(106) 및 제어 모듈(108)을 포함하며, 필요에 따라 피드백 모듈(110)을 더 포함하여 구성될 수 있다.
카메라 모듈(102)은 일반적으로 사용자 인터페이스 제공 장치(100)의 후면에 위치하며, 사용자의 명령에 따라 영상을 촬영한다. 본 실시예에서 특별한 언급이 없는 한 영상은 정지 영상이 아닌 동영상을 의미한다.
디스플레이 모듈(104)은 카메라 모듈(102)에서 촬영한 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 사용자 인터페이스 제공 장치(100)의 전면에 위치한 화면 상에 디스플레이한다.
상기 증강 현실 마커는 화면 상에 디스플레이되는 증강 현실 오브젝트를 식별하기 위한 매개체로서 기능하는 동시에, 화면 상에 증강 현실 오브젝트의 출력 위치를 가이드하는 기준점이 된다. 이러한 증강 현실 마커는 건물의 벽면 등에 부착되거나, 특정 물체(예를 들어 책, 공책 등의 일상 용품 또는 포스터 등)의 겉면에 부착 또는 인쇄될 수 있으며, 사용자는 사용자 인터페이스 제공 장치(100)에 부착된 카메라 모듈(102)을 상기 증강 현실 마커로 향하게 함으로써 촬영된 증강 현실 마커에 대응되는 증강 현실 오브젝트가 사용자 인터페이스 제공 장치(100)의 화면 상에 출력되도록 할 수 있다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 마커를 예시한 것이다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 증강 현실 마커(200)는 트래킹 영역(202; tracking region) 및 식별 영역(204; identification region)을 포함하여 구성될 수 있다. 다만, 도시된 증강 현실 마커는 하나의 예시일 뿐이며, 화면 상에서 마커의 위치 및 종류를 식별 가능한 어떠한 형태의 증강 현실 마커 또한 본 발명에서의 증강 현실 마커로 사용 가능함을 유의한다.
트래킹 영역(202)은 화면상에서 증강 현실 마커(200)의 위치를 식별하기 위한 영역이다. 즉, 트래킹 영역(202)은 증강 현실 마커(200)가 포함된 화면상에 증간 현실 콘텐츠를 출력하기 위한 3차원 기준 좌표를 제공한다. 그리고 식별 영역(204)은 화면상의 트래킹 영역(202)에 표시되는 증강 현실 오브젝트를 식별하기 위한 영역이다. 즉, 식별 영역(204)에는 트래킹 영역(202)에 표시되는 상기 증강 현실 오브젝트의 식별 정보(ID)가 저장된다. 본 발명의 실시예에서, 상기 식별 정보는 도시된 것과 같은 QR 코드 형태로 저장되거나 또는 바코드(bar code) 등의 2차원 코드 형태로 저장될 수 있다. 증강 현실 마커(200) 내에서 트래킹 영역(202) 및 식별 영역(204)의 배치 및 크기 등은 그 기능을 해치지 않는 범위 내에서 다양한 형태로 구현 가능하다.
구체적인 디스플레이 모듈(104)에서의 증강 현실 마커 인식 및 증강 현실 오브젝트의 디스플레이 과정은 다음과 같다. 먼저, 디스플레이 모듈(104)은 카메라 모듈(102)에서 촬영된 영상으로부터 증강 현실 마커의 존재를 인식하고, 인식된 상기 증강 현실 마커에 포함된 2차원 코드(바코드 또는 QR 코드 등)를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출한다. 이후, 디스플레이 모듈(104)은 추출된 상기 식별 코드를 이용하여 상기 식별 코드에 해당하는 증강 현실 오브젝트를 카메라 모듈(102)에서 촬영된 영상에 합성하여 출력한다.
상기 증강 현실 오브젝트는 사용자 인터페이스 제공 장치(100)의 내부에 저장된 것일 수 있다. 예를 들어, 사용자 인터페이스 제공 장치(100) 내부의 저장 공간(미도시)에는 복수 개의 증강 현실 마커 및 이의 식별 코드들이 매칭되어 저장될 수 있으며, 디스플레이 모듈(104)은 인식된 상기 증강 현실 마커에서 추출된 식별 코드와 매칭되는 증강 현실 오브젝트를 상기 저장 공간에서 검색하여 대응되는 증강 현실 오브젝트를 디스플레이할 수 있다. 이와 달리, 상기 증강 현실 오브젝트는 사용자 인터페이스 제공 장치(100)와 유/무선 네트워크를 통하여 연결된 별도의 서버(미도시)로부터 제공될 수도 있다. 이 경우, 디스플레이 모듈(104)은 인식된 증강 현실 마커로부터 추출된 식별 코드를 상기 서버로 송신하고, 상기 서버는 수신된 식별 코드에 대응되는 증강 현실 오브젝트를 디스플레이 모듈(104)로 송신할 수 있다.
상기 증강 현실 오브젝트는, 예를 들어 사용자와의 인터랙션(interaction)을 위한 복수 개의 세부 요소, 예를 들어, 복수 개의 증강 현실 메뉴로 구성될 수 있다. 도 3과 도 4에는 이러한 증강 현실 메뉴의 한 예로서, 복수 개의 선택 가능한 메뉴(세부 요소)들이 스프링 그래프(spring graph) 형태로 배열된 것을 예로 든 것이다. 도 3에 도시된 바와 같이, 각각의 메뉴(302)들은 증강 현실 마커(300)로부터 탄성을 가진 끈(304)으로 연결되어 증강 현실 마커(300)의 주변에 떠 있는 형태로 디스플레이될 수 있다. 도 4는 도 3에 도시된 메뉴들이 마커 또는 사용자 인터페이스 제공 장치(100)의 움직임에 따라 일시적으로 한 쪽 방향으로 쏠린 상태를 나타낸 것이다. 즉, 각각의 메뉴들의 위치 및 움직임은 유동적이며, 마커 도는 사용자 인터페이스 제공 장치(100)가 움직임에 따라 자유롭게 움직일 수 있다. 이와는 달리, 상기 증강 현실 오브젝트는 복수 개의 메뉴들이 나비떼와 같이 증강 현실 오브젝트를 따라다니면서 주변에 떠 있는 형태로 구성될 수도 있으며, 예시된 것 이외에도 다양한 형태로 증강 현실 메뉴들이 구현될 수 있다. 또한 각각의 메뉴들은 후술할 사용자의 입력에 따라 정해진 동작을 수행하거나, 다른 메뉴(submenu)들을 호출하거나 또는 그 형상 등이 변화될 수 있으며, 대해서는 이하에서 상세히 설명하기로 한다.
입력 감지 모듈(106)은 디스플레이된 상기 증강 현실 오브젝트와 사용자 인터페이스 제공 장치(100)간의 상대적 위치 변화를 감지한다.
도 3에 도시된 실시예에서, 사용자는 디스플레이된 증강 현실 메뉴 중 하나를 선택하기 위하여 현재 손에 들고 있는 사용자 인터페이스 제공 장치(100)를 특정 방향으로 움직일 수 있다. 예를 들어, 증강 현실 마커(300)의 위쪽에 떠 있는 메뉴를 선택하기 위해서는 사용자 인터페이스 제공 장치(100)를 위쪽 방향으로 움직일 수 있으며, 또는 다른 방향에 있는 메뉴의 선택을 위하여 해당 방향으로 사용자 인터페이스 제공 장치(100)를 움직일 수 있다. 또는 전술한 바와 같이 메뉴들이 증강 현실 마커의 주변에 떠 있는 나비 등의 형태로 구현될 경우, 사용자는 사용자 인터페이스 제공 장치(100)를 선택하고자 하는 메뉴가 있는 방향으로 낚아채는 듯한 동작을 취함으로써 해당 메뉴를 선택할 수 있다. 또는, 특정 메뉴의 선택을 위하여 해당 방향으로 사용자 인터페이스 제공 장치(100)를 찌르는 듯한 동작을 취하는 등, 다양한 형태의 움직임이 가능할 수 있으며, 이러한 움직임에 따른 증강 현실 오브젝트와 사용자 인터페이스 제공 장치(100)간의 상대적 위치 변화는 입력 감지 모듈(106)에서 감지되게 된다.
구체적으로, 입력 감지 모듈(106)은 다음과 같은 수단을 통하여 상기 상대적 위치 변화를 감지할 수 있다. 예를 들어, 입력 감지 모듈(106)은 지피에스(GPS) 수신부를 구비할 수 있으며, 상기 지피에스 수신부에서 수신되는 사용자 인터페이스 제공 장치(100)의 위치 변화로서 상기 상대적 위치 변화를 감지할 수 있다. 또는, 입력 감지 모듈(106)은 별도의 영상 감지부를 구비할 수 있으며, 상기 영상 감지부는 카메라 모듈(102)에서 촬영한 영상 내의 상기 증강 현실 마커의 상대적 위치 변화를 감지함으로써 사용자 인터페이스 제공 장치(100)의 위치 변화를 감지할 수 있다. 예를 들어, 영상 내의 증강 현실 마커의 크기 변화, 각도 차이에 따른 모양 변화, 위치 변화 등을 종합적으로 판별함으로써 사용자 인터페이스 제공 장치(100)의 위치 변화를 계산할 수 있다.
또한, 입력 감지 모듈(106)은 별도의 모션 센서로부터 사용자 인터페이스 제공 장치(100)의 위치 변화를 감지할 수도 있다. 예를 들어, 사용자 인터페이스 제공 장치(100)는 가속도 센서 또는 자이로스코프 등의 움직임 감지 센서를 포함할 수 있으며, 이를 이용하여 사용자 인터페이스 제공 장치(100)의 위치 변화를 계산할 수 있다.
입력 감지 모듈(106)은 전술한 이동 감지 수단 중 하나를 이용하여 증강 현실 오브젝트와 사용자 인터페이스 제공 장치(100)간의 상대적 위치 변화를 계산할 수도 있으나, 필요한 경우 전술한 수단 중 둘 이상의 수단을 조합하여 상대적 위치 변화를 계산할 수도 있다. 예를 들어, 영상 감지부를 이용하여 위치 변화를 감지하는 경우, 입력되는 영상의 매 프레임마다 마커의 형태 및 크기 변화를 계산하여야 하므로 상대적으로 전력 및 컴퓨팅 파워가 제한된 이동형 기기의 경우 실시간 위치 변화의 추적이 어려울 수 있다. 따라서 이 경우에는 영상 감지부에서 처리하는 프레임 수를 적절히 줄이고(예를 들어 1초당 한 프레임), 나머지 구간의 경우 GPS 수신부 또는 모션 센서를 이용하여 위치 변화를 추적함으로써 전력 사용 및 계산량을 최소화하는 동시에 실시간 위치 변화의 추적을 가능하게 할 수 있다.
제어 모듈(108)은 입력 감지 모듈(106)에서 감지된 상기 상대적 위치 변화에 따라 상기 사용자 인터페이스 제공 장치간의 거리를 계산하고, 계산된 상기 거리에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트한다. 구체적으로, 제어 모듈(108)은 입력 감지 모듈(106)에서 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트에 포함되는 세부 요소들 각각과 사용자 인터페이스 제공 장치(100)간의 거리를 계산하고, 사용자 인터페이스 제공 장치(100)와의 거리가 기 설정된 값 이내인 세부 요소가 존재하는 경우, 해당 세부 요소의 형태 또는 동작을 업데이트하도록 구성된다.
예를 들어, 도 3 또는 도 4에 도시된 증강 현실 오브젝트의 각 메뉴들은 상기 증강 현실 오브젝트가 존재하는 가상 공간 내에서의 위치 정보를 가진다. 마찬가지로, 사용자 인터페이스 제공 장치(100) 또한 상기 가상 공간 내에서 특정 위치에 존재하게 된다. 이와 같은 사용자 인터페이스 제공 장치(100)의 초기 위치는 화면 상에 디스플레이되는 증강 현실 마커의 크기 및 위치에 따라 정해질 수 있으며, 이후 사용자 인터페이스 제공 장치(100)의 움직임이 감지될 경우 이에 따라 상기 위치가 업데이트될 수 있다.
이와 같은 상황에서 만약 사용자가 사용자 인터페이스 제공 장치(100)를 쥔 상태에서 이를 특정 방향으로 움직일 경우 사용자 인터페이스 제공 장치(100)와 각 메뉴(세부 요소)들 간의 가상 공간 내에서의 거리가 달라지게 된다. 예를 들어, 상기 사용자는 디스플레이된 메뉴들 중 하나를 선택하기 위하여 해당 메뉴가 존재하는 방향으로 사용자 인터페이스 제공 장치(100)를 움직일 수 있으며, 이 경우 해당 방향에 존재하는 메뉴와 사용자 인터페이스 제공 장치(100)간의 가상 공간 내에서의 거리는 가까워지고, 나머지 메뉴들과의 거리는 또한 그에 대응하여 변화하게 된다.
제어 모듈(108)은 상기와 같은 움직임이 있을 경우, 상기 각 세부 요소들과 사용자 인터페이스 제공 장치(100)간의 거리를 계산하고, 상기 거리가 기 설정된 값 이내(이 값은 메뉴의 크기, 형태 등에 따라 적절해 정해질 수 있다)인 세부 요소가 존재하는 경우 해당 세부 요소를 선택한 것으로 간주하여 해당 세부 요소에 대응되는 동작을 수행한다. 예를 들어, 선택된 세부 요소에 색상 또는 형태를 변경하거나 또는 해당 세부 요소 내부에 포함된 다른 요소들을 출력하게 된다.
상기와 같이 사용자 인터페이스 제공 장치(100)가 구성될 경우, 사용자는 사용자 인터페이스 제공 장치(100)를 한 손으로 잡은 상태에서 카메라 모듈(102)을 증강 현실 마커가 존재하는 방향으로 위치시켜 증강 현실 사용자 인터페이스를 화면 상에 디스플레이한 뒤, 그 상태에서 단순히 사용자 인터페이스 제공 장치(100)를 움직이는 것 만으로 증강 현실 사용자 인터페이스와의 인터랙션이 가능하게 된다. 따라서 편리하게, 또한 직관적으로 증강 현실 기반의 사용자 인터페이스를 사용할 수 있게 된다.
한편, 전술한 바와 같이, 본 발명의 일 실시예에 따른 증강 현실 기반 사용자 인터페이스 제공 장치(100)는 피드백 모듈(110)을 더 포함하여 구성될 수 있다. 피드백 모듈(110)은 제어 모듈(108)에서 계산된 사용자 인터페이스 제공 장치(100)와의 거리가 기 설정된 값 이내인 세부 요소가 둘 이상이거나 또는 존재하지 않는 경우, 즉 감지된 움직임에도 불구하고 해당 움직임에 대응되는 세부 요소를 특정할 수 없는 경우, 시각적, 촉각적 또는 청각적 수단 중 하나 이상의 수단을 이용하여 증강 현실 기반 사용자 인터페이스 제공 장치(100)의 사용자에게 이를 통지함으로써 사용자가 곧바로 동작을 수정할 수 있도록 한다. 이와 같은 통지의 예로는 디스플레이 모듈(104)에서 디스플레이되는 영상의 밝기 또는 채도 변화, 별도의 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함할 수 있다. 예를 들어, 피드백 모듈(110)은 부정확한 움직임이 검출되는 즉시 전체적인 화면의 채도를 낮춤으로써 사용자가 현재 동작의 방향 등을 곧바로 수정하도록 할 수 있다. 수정된 동작에 따라 특정 세부 요소를 선택 가능한 경우(즉, 수정된 움직임에 따라 사용자 인터페이스 제공 장치(100)와의 거리가 기 설정된 값 이내인 세부 요소가 하나만 존재하게 되는 경우 등), 피드백 모듈(110)은 낮추었던 채도를 즉시 원상태로 복귀시켜 사용자의 움직임 수정에 대한 결과를 바로 알 수 있도록 한다.
이와 같이 본 발명의 실시예에서 별도의 피드백 모듈을 갖출 경우, 사용자 인터페이스 제공 장치(100)의 움직임에 대한 피드백을 곧바로 줄 수 있게 되므로 사용자의 시행착오 등을 최소화할 수 있다.
도 5는 본 발명의 일 실시예에 따라 사용자 인터페이스 제공 장치(100)에서 수행되는 증강 현실 기반의 사용자 인터페이스 제공 방법(500)을 나타낸 순서도이다.
먼저, 촬영된 영상으로부터 증강 현실 마커를 인식하고(502), 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이한다(504). 전술한 바와 같이, 상기 504 단계는 인식된 상기 증강 현실 마커에 포함된 2차원 코드를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출하는 단계 및 추출된 상기 식별 코드에 대응되는 상기 증강 현실 오브젝트를 상기 영상에 합성하여 출력하는 단계를 포함하여 구성된다.
다음으로 디스플레이된 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 감지한다(506). 이와 같은 상대적 위치 변화 감지에 대한 구체적인 사항은 전술하였다.
다음으로, 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트의 세부 요소 중 사용자 인터페이스 제공 장치(100)와의 가상 공간 내에서의 거리가 특정 값 이내일 세부 요소가 존재하는지의 여부를 판단한다 (508). 상기 판단 결과, 사용자 인터페이스 제공 장치(100)와의 가상 공간 내에서의 거리가 특정 값 이내일 세부 요소가 존재하는 경우, 해당 세부 요소와 대응되는 동작 또는 형태 변화 정보에 따라 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트한다(510). 예를 들어, 해당 세부 요소에 대응되는 서브메뉴를 출력하거나, 증강 현실 사용자 인터페이스의 모양 또는 색상을 변경하거나, 연결된 어플리케이션을 수행하는 등, 해당 세부 요소에 대응되는 동작을 수행하게 된다.
한편, 만약 사용자 인터페이스 제공 장치(100)와의 가상 공간 내에서의 거리가 특정 값 이내일 세부 요소가 존재하지 않거나 또는 둘 이상이어서 어느 하나를 선택할 수 없는 경우, 시각적, 촉각적 또는 청각적 수단을 이용하여 상기 증강 현실 기반 사용자 인터페이스 제공 장치의 사용자에게 이를 통지(피드백)하고(512), 다시 506 단계로 돌아가 사용자의 입력에 따른 위치 변화를 감지하게 된다. 이와 같은 통지는, 상기 디스플레이 모듈에서 디스플레이되는 영상의 밝기 또는 채도 변화, 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다.
그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 사용자 인터페이스 제공 장치
102: 카메라 모듈
104: 디스플레이 모듈
106: 입력 감지 모듈
108: 제어 모듈
110: 피드백 모듈
200, 300: 증강 현실 마커
202: 트래킹 영역
204: 식별 영역
302: 메뉴
304: 메뉴 연결 끈

Claims (11)

  1. 증강 현실 기반의 사용자 인터페이스 제공 장치로서,
    영상을 촬영하는 카메라 모듈;
    상기 카메라 모듈에서 촬영한 영상으로부터 증강 현실 마커를 인식하고, 인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이하는 디스플레이 모듈;
    디스플레이된 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 감지하는 입력 감지 모듈; 및
    상기 입력 감지 모듈에서 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 거리를 계산하고, 계산된 상기 거리에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 제어 모듈을 포함하는 증강 현실 기반 사용자 인터페이스 제공 장치.
  2. 제1항에 있어서,
    상기 디스플레이 모듈은, 인식된 상기 증강 현실 마커에 포함된 2차원 코드를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출하고, 추출된 상기 식별 코드에 대응되는 상기 증강 현실 오브젝트를 상기 영상에 합성하여 출력하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
  3. 제1항에 있어서,
    상기 입력 감지 모듈은,
    위성으로부터 위치 정보를 수신하는 지피에스(GPS) 수신부;
    상기 카메라 모듈에서 촬영한 영상 내의 상기 증강 현실 마커의 상대적 위치 변화를 감지하는 영상 감지부; 또는
    상기 사용자 인터페이스 제공 장치의 3차원 이동을 감지하는 모션 센서부 중 하나 이상을 포함하며,
    상기 지피에스 수신부에서 수신된 위치 변화, 상기 영상 감지부에서 감지된 상기 증강 현실 마커의 상대적 위치 변화, 상기 모션 센서부에서 감지된 상기 사용자 인터페이스 제공 장치의 3차원 이동, 또는 이들 중 둘 이상의 조합을 이용하여 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 계산하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
  4. 제1항에 있어서,
    상기 제어 모듈은, 상기 입력 감지 모듈에서 감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트에 포함되는 세부 요소들 각각과 상기 사용자 인터페이스 제공 장치간의 거리를 계산하고, 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 존재하는 경우, 해당 세부 요소의 형태 또는 동작을 업데이트하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
  5. 제4항에 있어서,
    상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 둘 이상이거나 또는 존재하지 않는 경우, 시각적, 촉각적 또는 청각적 수단 중 하나 이상의 수단을 이용하여 상기 증강 현실 기반 사용자 인터페이스 제공 장치의 사용자에게 이를 통지하는 피드백 모듈을 더 포함하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
  6. 제5항에 있어서,
    상기 통지는, 상기 디스플레이 모듈에서 디스플레이되는 영상의 밝기 또는 채도 변화, 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함하는, 증강 현실 기반 사용자 인터페이스 제공 장치.
  7. 사용자 인터페이스 제공 장치에서 수행되는 증강 현실 기반의 사용자 인터페이스 제공 방법으로서,
    촬영된 영상으로부터 증강 현실 마커를 인식하는 단계;
    인식된 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트를 촬영된 상기 영상에 합성하여 디스플레이하는 단계;
    디스플레이된 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 상대적 위치 변화를 감지하는 단계; 및
    감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트와 상기 사용자 인터페이스 제공 장치간의 거리를 계산하고, 계산된 상기 거리에 따라 디스플레이된 상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 단계;
    를 포함하는 증강 현실 기반 사용자 인터페이스 제공 방법.
  8. 제7항에 있어서,
    상기 디스플레이 단계는,
    인식된 상기 증강 현실 마커에 포함된 2차원 코드를 이용하여 상기 증강 현실 마커에 대응되는 증강 현실 오브젝트의 식별 코드를 추출하는 단계; 및
    추출된 상기 식별 코드에 대응되는 상기 증강 현실 오브젝트를 상기 영상에 합성하여 출력하는 단계를 더 포함하는, 증강 현실 기반 사용자 인터페이스 제공 방법.
  9. 제7항에 있어서,
    상기 증강 현실 오브젝트의 형태 또는 동작을 업데이트하는 단계는,
    감지된 상기 상대적 위치 변화에 따라 상기 증강 현실 오브젝트에 포함되는 세부 요소들 각각과 상기 사용자 인터페이스 제공 장치간의 거리를 계산하는 단계; 및
    상기 비교 결과, 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 존재하는 경우, 해당 세부 요소의 형태 또는 동작을 업데이트하는 단계를 더 포함하는 증강 현실 기반 사용자 인터페이스 제공 방법.
  10. 제9항에 있어서,
    상기 비교 결과 상기 사용자 인터페이스 제공 장치와의 거리가 기 설정된 값 이내인 세부 요소가 둘 이상이거나 또는 존재하지 않는 경우, 시각적, 촉각적 또는 청각적 수단 중 하나 이상의 수단을 이용하여 상기 증강 현실 기반 사용자 인터페이스 제공 장치의 사용자에게 이를 통지하는 피드백 단계를 더 포함하는, 증강 현실 기반 사용자 인터페이스 제공 방법.
  11. 제10항에 있어서,
    상기 통지는, 상기 디스플레이 모듈에서 디스플레이되는 영상의 밝기 또는 채도 변화, 경고 메시지 디스플레이, 진동 또는 경고음 출력 중 하나 이상을 포함하는, 증강 현실 기반 사용자 인터페이스 제공 방법.
KR1020110067193A 2011-03-16 2011-07-07 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법 KR101334049B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161465197P 2011-03-16 2011-03-16
US61/465,197 2011-03-16

Publications (2)

Publication Number Publication Date
KR20120106519A true KR20120106519A (ko) 2012-09-26
KR101334049B1 KR101334049B1 (ko) 2013-11-28

Family

ID=47113216

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110067193A KR101334049B1 (ko) 2011-03-16 2011-07-07 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101334049B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101253644B1 (ko) * 2012-12-28 2013-04-11 주식회사 맥스트 위치 정보를 이용한 증강 현실 콘텐츠 출력 장치 및 방법
KR20150013372A (ko) * 2013-07-25 2015-02-05 키위플 주식회사 모바일 마케팅 어플리케이션 통합 시스템
KR20150058617A (ko) * 2013-11-18 2015-05-29 순천대학교 산학협력단 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법
KR20150085610A (ko) * 2014-01-16 2015-07-24 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
KR20150125326A (ko) * 2014-04-30 2015-11-09 (주)제이앤씨마케팅커뮤니케이션 인터랙티브 증강현실 서비스 시스템 및 방법
KR20190032501A (ko) * 2016-07-22 2019-03-27 알리바바 그룹 홀딩 리미티드 2차원 코드 내 위치 정보를 인지하기 위한 방법 및 시스템
KR20190037280A (ko) * 2016-07-27 2019-04-05 알리바바 그룹 홀딩 리미티드 2차원 코드 식별 방법 및 디바이스, 및 이동 단말기
KR101989969B1 (ko) * 2018-10-11 2019-06-19 대한민국 증강현실 기반 건축 유적의 실감형 콘텐츠 체험시스템
KR20190117414A (ko) * 2019-08-30 2019-10-16 엘지전자 주식회사 Ar 장치 및 그 제어 방법
CN111052063A (zh) * 2017-09-04 2020-04-21 三星电子株式会社 电子装置及其控制方法
KR102215146B1 (ko) * 2020-06-23 2021-02-15 주식회사 예쉬컴퍼니 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램
KR20230048821A (ko) * 2021-10-05 2023-04-12 가온미디어 주식회사 클론객체를 이용하는 ar 콘텐츠 렌더링 처리 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102048208B1 (ko) * 2018-03-27 2019-11-25 남서울대학교 산학협력단 증강현실을 이용한 x선 촬영 시뮬레이션 방법 및 프로그램

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100548022B1 (ko) * 2004-01-30 2006-02-02 박명관 핸드헬드 3차원 움직임 지시장치의 호스트 시스템
KR101086068B1 (ko) * 2004-12-10 2011-11-22 한국문화콘텐츠진흥원 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치
KR100702534B1 (ko) * 2005-07-29 2007-04-02 (주)포스트미디어 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법
KR101049090B1 (ko) * 2010-09-17 2011-07-15 성준형 증강 현실 마커 및 증강 현실을 이용한 콘텐츠 유통 방법

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101253644B1 (ko) * 2012-12-28 2013-04-11 주식회사 맥스트 위치 정보를 이용한 증강 현실 콘텐츠 출력 장치 및 방법
KR20150013372A (ko) * 2013-07-25 2015-02-05 키위플 주식회사 모바일 마케팅 어플리케이션 통합 시스템
KR20150058617A (ko) * 2013-11-18 2015-05-29 순천대학교 산학협력단 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법
KR20150085610A (ko) * 2014-01-16 2015-07-24 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
KR20150125326A (ko) * 2014-04-30 2015-11-09 (주)제이앤씨마케팅커뮤니케이션 인터랙티브 증강현실 서비스 시스템 및 방법
US10685201B2 (en) 2016-07-22 2020-06-16 Alibaba Group Holding Limited Method and system for recognizing location information in two-dimensional code
KR20190032501A (ko) * 2016-07-22 2019-03-27 알리바바 그룹 홀딩 리미티드 2차원 코드 내 위치 정보를 인지하기 위한 방법 및 시스템
KR20190037280A (ko) * 2016-07-27 2019-04-05 알리바바 그룹 홀딩 리미티드 2차원 코드 식별 방법 및 디바이스, 및 이동 단말기
US11393017B2 (en) 2016-07-27 2022-07-19 Advanced New Technologies Co., Ltd. Two-dimensional code identification method and device, and mobile terminal
CN111052063A (zh) * 2017-09-04 2020-04-21 三星电子株式会社 电子装置及其控制方法
CN111052063B (zh) * 2017-09-04 2024-03-29 三星电子株式会社 电子装置及其控制方法
KR101989969B1 (ko) * 2018-10-11 2019-06-19 대한민국 증강현실 기반 건축 유적의 실감형 콘텐츠 체험시스템
KR20190117414A (ko) * 2019-08-30 2019-10-16 엘지전자 주식회사 Ar 장치 및 그 제어 방법
KR102215146B1 (ko) * 2020-06-23 2021-02-15 주식회사 예쉬컴퍼니 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램
KR20230048821A (ko) * 2021-10-05 2023-04-12 가온미디어 주식회사 클론객체를 이용하는 ar 콘텐츠 렌더링 처리 방법

Also Published As

Publication number Publication date
KR101334049B1 (ko) 2013-11-28

Similar Documents

Publication Publication Date Title
KR101334049B1 (ko) 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법
KR102342267B1 (ko) 휴대 장치 및 휴대 장치의 화면 변경방법
US10318011B2 (en) Gesture-controlled augmented reality experience using a mobile communications device
CN109284001B (zh) 执行设备的功能的方法以及用于执行该方法的设备
US20140300542A1 (en) Portable device and method for providing non-contact interface
KR101643869B1 (ko) 휴대 단말기 및 그 동작 방법
US20160171773A1 (en) Display control method, information processing apparatus, and storage medium
JP2018530797A (ja) 仮想現実においてハンドヘルド電子装置を追跡するためのシステム
CN103019518B (zh) 一种自动调整人机交互界面的方法
US20160012612A1 (en) Display control method and system
KR20100094754A (ko) 문자 입력을 위한 유저 인터페이스 방법과 이를 이용한 이동 단말기
WO2013106169A1 (en) Menu selection using tangible interaction with mobile devices
CN109495616B (zh) 一种拍照方法及终端设备
JP6543924B2 (ja) 情報処理方法、情報処理プログラム、及び情報処理装置
JP2015118442A (ja) 情報処理装置、情報処理方法およびプログラム
CN113253908A (zh) 按键功能执行方法、装置、设备及存储介质
CN115335795A (zh) 信息处理装置、信息处理方法和程序
JP2012199824A (ja) 撮影装置、制御方法および仮想情報表示プログラム
US11475606B2 (en) Operation guiding system for operation of a movable device
US20180059811A1 (en) Display control device, display control method, and recording medium
KR101774807B1 (ko) 휴대 단말기 및 그 동작 방법
KR102463080B1 (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
KR102118434B1 (ko) 모바일 디바이스 및 그 제어 방법
KR101651470B1 (ko) 휴대 단말기 및 그 동작 방법
KR102086495B1 (ko) 사용자 동작 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161116

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee