KR101458939B1 - 증강 현실 시스템 - Google Patents

증강 현실 시스템 Download PDF

Info

Publication number
KR101458939B1
KR101458939B1 KR1020137006393A KR20137006393A KR101458939B1 KR 101458939 B1 KR101458939 B1 KR 101458939B1 KR 1020137006393 A KR1020137006393 A KR 1020137006393A KR 20137006393 A KR20137006393 A KR 20137006393A KR 101458939 B1 KR101458939 B1 KR 101458939B1
Authority
KR
South Korea
Prior art keywords
component
virtual object
axis spatial
spatial component
augmented reality
Prior art date
Application number
KR1020137006393A
Other languages
English (en)
Other versions
KR20130052625A (ko
Inventor
슈이치 쿠라바야시
나오후미 요시다
코스케 타카노
Original Assignee
엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 filed Critical 엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Publication of KR20130052625A publication Critical patent/KR20130052625A/ko
Application granted granted Critical
Publication of KR101458939B1 publication Critical patent/KR101458939B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/161—User input interfaces for electrophonic musical instruments with 2D or x/y surface coordinates sensing

Abstract

증강 현실 이미지를 처리하기 위한 기술이 일반적으로 설명된다. 일부 예시에서, 증강 현실 시스템은 실세계 이미지 및 가상 오브젝트를 병합함으로써 증강 현실 이미지를 제공하도록 구성되는 증강 현실 엔진 및 가상 오브젝트에 관련된 메시지를 수신하고 가상 오브젝트의 공간 속성을 사운드 파일의 오디오 속성으로 변환하도록 구성되는 메시지 처리 유닛을 포함할 수 있다.

Description

증강 현실 시스템{AUGMENTED REALITY SYSTEM}
증강 현실(augmented reality(AR))은 사용자에게 디스플레이하기 위하여 실시간으로 실세계 및 컴퓨터 생성 데이터, 특히 현실 장면(real footage)에 혼합되는 컴퓨터 그래픽 오브젝트(object)를 조합하는 것에 중점을 둔다. AR의 범위는 예컨대, 비시각적 증강 및 광고, 네비게이션(navigation) 및 엔터테인먼트(entertainment)와 같은 폭넓은 응용 분야를 포함하도록 확장되어왔다. 이미지 및 비시각적 증강 데이터를 포함하는 그러한 컴퓨터 생성 데이터의 실세계 장면으로의 매끄러운 병합을 제공하는 것에 대한 관심이 증가하고 있다.
일 예시에서, 증강 현실 시스템은 실세계 이미지 및 가상 오브젝트를 병합함으로써 증강 현실 이미지를 제공하도록 구성되는 증강 현실 엔진 및 가상 오브젝트에 관련된 메시지를 수신하고 가상 오브젝트의 공간 속성(attribute)을 사운드 파일의 오디오 속성으로 변환(translate)하도록 구성된 메시지 처리 유닛을 포함할 수 있다.
일 예시에서, 증강 현실 시스템의 제어 하에서 수행되는 방법은 가상 오브젝트에 관련된 메시지를 수신하는 단계 및 가상 오브젝트의 공간 속성을 사운드 파일의 오디오 속성으로 변환하는 단계를 포함할 수 있다.
일 예시에서, 컴퓨터 판독 가능 저장 매체는 프로세서로 하여금 가상 오브젝트에 관련된 메시지를 수신하고 가상 오브젝트의 공간 속성을 사운드 파일의 오디오 속성으로 변환하도록 하는 콘텐츠를 포함할 수 있다.
전술한 요약은 예시적인 것일 뿐이고, 어떤 방식으로든 제한을 의도한 것은 아니다. 상술한 예시적인 태양, 실시예 및 특징들에 더하여, 추가의 태양, 실시예 및 특징들이 도면과 이하의 상세한 설명을 참조함으로써 분명하게 될 것이다.
본 개시의 전술한 특징들 및 기타 특징들은, 첨부 도면을 참조하여 이하의 설명 및 첨부된 청구항으로부터 충분히 분명해질 것이다. 이러한 도면들은 본 개시에 따르는 단지 몇 가지의 실시예만을 도시한 것이고, 따라서 그 범위를 제한하는 것으로 간주되어서는 안되며, 본 개시는 첨부된 도면을 사용하여 더 구체적이고 상세하게 기술될 것이다.
도 1은 증강 현실 시스템의 예시의 개략적인 블록도를 도시하고;
도 2는 증강 현실 시스템에 의해 처리될 실세계 이미지의 예시를 도시하고;
도 3은 증강 현실 시스템에 의해 생성된 증강 현실 이미지의 예시를 도시하고;
도 4는 액티브 메시지(active message)를 포함하는 증강 현실 이미지의 예시를 도시하고;
도 5는 모바일 장치 상에 디스플레이되는 패시브 메시지(passive message)를 포함하는 증강 현실 이미지의 예시를 도시하고;
도 6은 사운드 매핑 테이블(sound mapping table)의 예시를 도시하고;
도 7은 사운드 매핑 테이블에 포함되는 함수식의 그래프의 예시를 도시하고;
도 8은 사운드 매핑 테이블의 예시를 도시하고;
도 9는 증강 현실 시스템에 의해 생성되는 증강 현실 이미지의 예시를 도시하며;
도 10은 가상 오브젝트에 관련된 사운드 파일을 재생하기 위한 방법의 흐름도를 도시하고;
모두 여기에서 설명된 적어도 일부 실시예에 따라 배열된다.
이하의 상세한 설명에서, 여기의 일부를 구성하는 첨부 도면에 대한 참조가 이루어진다. 도면에서, 유사한 부호는, 문맥에서 다른 지시가 없다면, 일반적으로 유사한 구성요소를 식별한다. 상세한 설명, 도면, 및 청구항에서 기술된 예시적인 실시예들은 제한하는 것으로 의미되지 않는다. 여기에 제시된 대상의 범위와 사상을 벗어나지 않고, 다른 실시예가 이용될 수 있고, 다른 변형이 이루어질 수 있다. 여기에서 일반적으로 기술되고 도면에서 도시된 바와 같은 본 개시의 태양들이 다양한 다른 구성으로 배열, 대체, 조합, 및 설계될 수 있음과, 이 모두가 여기에서 명확히 고려됨이 쉽게 이해될 것이다.
본 개시는, 그 중에서도, 일반적으로, 증강 현실에 관련된 방법, 기기, 시스템, 장치 및 컴퓨터 프로그램 제품에 관련된다.
간단히 말하자면, 증강 현실 이미지를 처리하기 위한 시스템에 대한 기술이 일반적으로 설명된다. 일부 예시에서, 시스템은 실세계 이미지를 캡처(capture)하기 위한 이미지 캡처 유닛을 포함할 수 있다. 일부 예시에서, 시스템은 하나 이상의 가상 오브젝트를 저장하기 위한 가상 오브젝트 저장소를 포함할 수 있다. 일부 예시에서, 시스템은 실세계 이미지 및 가상 오브젝트 중 하나 이상을 병합함으로써 증강 현실 이미지를 제공하기 위한 증강 현실 엔진을 포함할 수 있다. 일부 예시에서, 시스템은 가상 오브젝트 중 하나 이상에 관련된 메시지를 수신하고 그러한 하나 이상의 가상 오브젝트의 공간 속성을 변환하기 위한 메시지 처리 유닛을 포함할 수 있다.
도 1은 여기에서 개시된 적어도 일부 실시예에 따른 증강 현실 시스템의 예시의 개략적인 블록도를 도시한다. 증강 현실 시스템은 도 2 내지 도 5에서 도시된 예시적인 이미지를 참조하여 이하에서 설명될 것이다. 도 1을 참조하면, 증강 현실 시스템은 이미지 캡처 유닛(capture unit)(100), 증강 현실 모듈(200), 디스플레이 유닛(display unit)(300) 및 사운드 플레이어(sound player)(400)를 포함할 수 있다.
이미지 캡처 유닛(100)은 하나 이상의 실세계 이미지를 캡처할 수 있다. 예컨대, 이미지 캡처 유닛(100)은 도 2에서 예시된 실세계 이미지(510)를 캡처할 수 있으며 캡처된 실세계 이미지(510)를 증강 현실 모듈(200)에 제공할 수 있다. 이미지 캡처 유닛(100)은, 디지털 카메라, 모바일 장치에 내장된 카메라, HMD(Head Mounted Display), 광학 센서, 전자 센서, 그러한 다양한 장치 또는 그들의 임의의 조합을 포함할 수 있으나, 이에 제한되지는 않는다.
증강 현실 모듈(200)은 깊이(depth) 인식 유닛(210), 거리 계산 유닛(220), 가상 오브젝트 저장소(230), 증강 현실 엔진(240), 메시지 처리 유닛(250), 사용자 인식 유닛(260), 제1 사운드 파일 저장소(270) 및 제2 사운드 파일 저장소(280)를 포함할 수 있다.
깊이 인식 유닛(210)은 이미지 캡처 유닛(100)에 의해 캡처된 실세계 이미지의 공간 속성을 획득할 수 있다. 깊이 인식 유닛(210)은 도 2에서 도시된 실세계 이미지(510) 내 x, y 및 z 축을 계산하고, 실세계 이미지(510) 내 다양한 실제 오브젝트의 이미지 또는 표현(depiction)의 x, y 및 z 좌표를 획득할 수 있다. 실세계 이미지(510) 내 x, y 및 z축 및 실세계 이미지(510) 내 다양한 실제 오브젝트의 이미지 또는 표현의 x, y 및 z 좌표를 획득하기 위하여, 깊이 인식 유닛(210)은 위치 인식 알고리즘을 이용할 수 있다. 위치 인식 알고리즘은 병렬 추적 및 매핑(parallel tracking and mapping(PTAM)) 방법[예컨대, 죠그 크레인(Georg Klein) 및 데이비드 머레이(David Murray)가 2007 나라(Nara)의 ISMAR(International Symposium on Mixed and Augmented Reality)에서 발표한 "Parallel Tracking and Mapping for Small AR Workspaces"에서 기술한 것] 및/또는 동시 로컬리제이션 및 매핑(simultaneous localization and mapping(SLAM)) 방법을 이용하는 것을 포함할 수 있지만 이에 제한되지는 않는다. 이용되는 위치 인식 알고리즘은 기술 분야에서 잘 알려진 알고리즘 일 수 있으며 여기에서 추가적인 설명에 대한 필요 없이 구현될 수 있다.
거리 계산 유닛(220)은 사용자 및 가상 오브젝트 간의 거리(즉, 사용자에 대한 가상 오브젝트의 위치)를 획득할 수 있다. 거리 계산 유닛(220)은 실세계 이미지(510)의 x, y 및 z 축 및 여기에서의 실제 오브젝트의 이미지 또는 표현의 x, y 및 z 좌표를 이용하여 사용자 및 가상 오브젝트 간의 거리 및/또는 사용자에 대한 가상 오브젝트의 위치를 계산할 수 있다. 하나 이상의 가상 오브젝트는 가상 오브젝트 저장소(230)에 저장될 수 있고 실제 오브젝트의 이미지 또는 표현의 x, y 및 z 좌표에 해당하는 실세계 이미지(510) 내에서의 위치에 배열될 수 있다.
거리 계산 유닛(220)은 사용자 및 가상 오브젝트 간의 유클리드 메트릭(Euclidian metric)을 계산하여 사용자 및 가상 오브젝트 사이의 거리를 획득할 수 있다. 유클리드 메트릭은 2개의 상이한 점 사이의 거리일 수 있으며 이하의 수학식 1에 의해 표현될 수 있다.
Figure 112013021643161-pct00001
여기에서, p는 2개의 상이한 점 중 하나를 나타낼 수 있고, p'는 2개의 상이한 점의 다른 것을 나타낼 수 있다. p는 x 축 좌표 x, y축 좌표 y 및 z 축 좌표 z를 가질 수 있고 p(x, y, z)로 표현될 수 있으며, p'는 x축 좌표 x', y축 좌표 y' 및 z축 좌표 z'을 가질 수 있고 p'(x', y', z')로 표현될 수 있다. 상세하게 하기 위하여, 수학식 1은 이하의 수학식 2로 표현될 수 있다.
Figure 112013021643161-pct00002
증강 현실 엔진(240)이 증강 현실 이미지를 생성하는 경우, 거리 계산 유닛(220)에 의하여 계산되는 사용자 및 가상 오브젝트 간의 거리가 이용될 수 있다.
증강 현실 엔진(240)은 현실 세계 이미지(510) 및 가상 오브젝트 중 하나 이상을 병합함으로써 증강 현실 이미지를 제공할 수 있다. 예컨대, 도 3에 도시된 바와 같이, 증강 현실 엔진(240)은 실세계 이미지(510)의 x, y 및 z 축 및 거기에서의 실제 오브젝트의 이미지 또는 표현의 x, y 및 z 좌표를 이용함으로써 실세계 이미지(510) 및 가상 오브젝트(530 내지 541)을 병합하는 것에 의해 증강 현실 이미지(520)를 제공하도록 구성될 수 있다.
또한, 증강 현실 엔진(240)은 사용자 및 가상 오브젝트(530 내지 541) 간의 거리를 이용함으로써 실세계 이미지(510) 및 가상 오브젝트(530 내지 541)를 병합할 수 있다. 예컨대, 사용자로부터 더 작은(더 가까운) 거리에서의 가상 오브젝트(530 내지 541) 중 일부는 사용자로부터 더 큰(더 먼) 거리에서의 가상 오브젝트(530 내지 541) 중 다른 것 보다 더 큰 증강 현실 이미지(520)로 디스플레이될 수 있다.
예컨대, 도 3을 참조하면, 가상 오브젝트(531)는 증강 현실 이미지(520) 상에 가상 오브젝트(534) 보다 크게 디스플레이된다. 따라서, 사용자는 가상 오브젝트(531)에 해당하는 실제 오브젝트가 가상 오브젝트(534)에 해당하는 실제 오브젝트보다 사용자에 더 가까이 위치한다는 사실을 통지 받을 수 있다.
메시지 처리 유닛(250)은 증강 현실 이미지(520) 상에 디스플레이 되는 가상 오브젝트(530 내지 541)에 관한 하나 이상의 메시지를 증강 현실 엔진(240)으로부터 수신할 수 있다. 그러한 메시지는 적어도 2 부분을 포함할 수 있다. 2 부분 중 하나는 사운드 파일일 수 있고 2 부분 중 다른 한 부분은 텍스트 데이터, 그래픽 데이터 또는 수치 데이터와 같은 개체(entity)를 포함할 수 있으나 이에 제한되지는 않는다. 이하에서 설명된 바와 같이, 메시지 처리 유닛(250)은 메시지를 포함할 수 있는 가상 오브젝트의 공간 속성을 메시지에 포함될 수 있는 사운드 파일의 오디오 속성으로 변환할 수 있다. 또한, 사운드 파일은 이하에서 언급된 사운드 플레이어(400)에 의해 재생될 수 있다.
텍스트 데이터는 광고, 교통 정보, 방향 및 뉴스 보도를 포함하지만 이에는 제한되지 않는 임의의 정보를 포함할 수 있다. 또한, 그래픽 데이터는 "
Figure 112013021643161-pct00003
"의 경고 아이콘과 같은 아이콘 또는 심볼을 포함할 수 있다. 또한, 수치 데이터는 증강 현실 이미지의 가상 오브젝트의 x, y 및 z 좌표일 수 있고, 가상 오브젝트의 x, y 및 z 좌표는 가상 오브젝트의 표현을 터치(touch), 클릭(click) 또는 드래그 앤 드롭(drag-and-drop)하는 것에 의한 가상 오브젝트의 사용자 선택인 사용자 입력의 위치(x, y, z)에 해당할 수 있다.
메시지는 액티브 메시지 및 패시브 메시지를 포함할 수 있다. 액티브 메시지는, 가상 오브젝트의 표현을 터치, 클릭 또는 드래그 앤 드롭하는 것에 의하여 가상 오브젝트를 선택하는 사용자와 무관하게, 증강 현실 이미지의 가상 오브젝트로부터 사용자에게 자동적으로 전달될 수 있는 메시지일 수 있다. 패시브 메시지는 가상 오브젝트의 표현을 터치, 클릭 또는 드래그 앤 드롭하는 것에 의해 가상 오브젝트를 선택하는 사용자에 대한 응답으로서 증강 현실 이미지의 가상 오브젝트로부터 사용자에게 전달될 수 있는 메시지일 수 있다. 패시브 메시지는 사용자에게 증강 현실 시스템이 사용자 선택을 인식하고 있음을 통지하기 위해 가상 오브젝트를 선택하는 사용자에 의해 생성될 수 있다.
액티브 메시지는 가상 오브젝트(530 내지 541)로부터 제공될 수 있고 증강 현실 이미지(520) 상의 사용자에게 전달될 수 있다. 액티브 메시지를 포함하는 가상 오브젝트(530 내지 541)는 가상 오브젝트 저장소(230)에 저장될 수 있다. 또한, 패시브 메시지는 사용자 입력에 기초하여 생성될 수 있고 증강 현실 이미지(520) 상의 사용자에게 전달될 수 있다. 예컨대, 패시브 메시지는 가상 오브젝트(530 내지 541)에 관한 사용자 입력에 응답하는 가상 오브젝트(530 내지 541) 중 하나로부터의 응답일 수 있다. 연관된 패시브 메시지를 포함하는 가상 오브젝트(530 내지 541)는 가상 오브젝트 저장소(230) 내에 저장될 수 있다.
일 실시예에서, 액티브 및 패시브 메시지가 가상 오브젝트(530 내지 541)에 의해 제공될 수 있고 그러한 가상 오브젝트로 가상 오브젝트 저장소(230)에 저장될 수 있지만, 일부 실시예에서 액티브 및 패시브 메시지는 증강된 현실 엔진(240)에 의해 가상 오브젝트(530 내지 541)와 연관될 수 있다. 예컨대, 액티브 및 패시브 메시지는 가상 오브젝트 저장소(230)로부터 분리된 저장소에 저장될 수 있다. 증강된 현실 엔진(240)은 가상 오브젝트(530 내지 541)에 관련된 액티브 및 패시브 메시지를 별도의 저장소로부터 검색할 수 있고 그들을 가상 오브젝트(530 내지 541)와 조합할 수 있다.
메시지 처리 유닛(250)은 증강 현실 이미지(520)를 증강 현실 엔진(240)으로부터 수신할 수 있다. 일 실시예에서, 증강 현실 이미지(520) 상의 가상 오브젝트(530 내지 541)는 액티브 메시지를 포함할 수 있다. 메시지 처리 유닛(250)은 가상 오브젝트(530 내지 541)에 포함된 액티브 메시지를 수신할 수 있고 수신된 액티브 메시지를 증강 현실 이미지(520) 상에 디스플레이 할 수 있다. 예컨대, 도 4에 도시된 바와 같이, 메시지 처리 유닛(250)은 "10 번 버스가 2분 내에 옴"과 같은 텍스트 데이터의 개체 데이터를 가질 수 있고 가상 오브젝트(532)에 포함될 수 있는 액티브 메시지를 수신할 수 있고 이러한 메시지를 증강 현실 이미지(520) 상에 디스플레이할 수 있다. 또한, 메시지 처리 유닛(250)은 "11:00 AM까지 10% 할인"과 같은 텍스트 데이터의 개체 데이터를 가질 수 있고 가상 오브젝트(540)에 포함될 수 있는 액티브 메시지를 수신할 수 있으며 이러한 메시지를 증강 현실 이미지(520) 상에 디스플레이할 수 있다. 또한, 메시지 처리 유닛(250)은 "
Figure 112013021643161-pct00004
"와 같은 그래픽 데이터의 개체 데이터를 가질 수 있고 가상 오브젝트(535)에 포함될 수 있는 액티브 메시지를 수신할 수 있고 이러한 메시지를 증강 현실 이미지(520)에 디스플레이할 수 있다.
사용자 인식 유닛(260)은 증강 현실 이미지(520) 상의 가상 오브젝트(530 내지 541)에 관련된 사용자 입력을 인식할 수 있다. 예컨대, 사용자 인식 유닛(260)은 디스플레이 유닛(300)에 디스플레이된 증강 현실 이미지(520) 상의 가상 오브젝트(530 내지 541)에 관련된 사용자 입력을 인식할 수 있다. 예컨대, 사용자 인식 유닛(260)은 디스플레이 유닛(300)을 터치함으로써 만들어지는 사용자 입력을 인식할 수 있다.
또한, 사용자 인식 유닛(260)은 가상 오브젝트(530 내지 541) 및 카메라에 의해 캡처된 사용자의 손가락 끝(finger tip) 간의 상호 작용을 인식하기 위하여 핸디 증강 현실 방법(Handy Augmented Reality method) (T. Lee and T. H
Figure 112013021643161-pct00005
llerer. 2009. Multithreaded Hybrid Feature Tracking for Markerless Augmented Reality. IEEE Transactions on Visualization and Computer Graphics 15, 3 (May 2009), 355-368)과 같은 알고리즘을 이용함으로써 이미지 캡처 유닛(100)에 의해 캡처된 사용자 입력을 인식할 수 있으나 알고리즘은 이에 제한되지는 않는다. 여기에서, 사용자 인식 유닛(260)이 핸디 현실 방법 외에 사용자 및 가상 오브젝트(530 내지 541) 간의 상호관계를 인식하기 위하여 다른 알고리즘을 이용할 수 있다는 점이 당업자에게 분명해질 것이다.
증강 현실 이미지(520) 상의 가상 오브젝트(530 내지 541)에 관련된 사용자 입력이 디스플레이 유닛(300)에 입력되면, 패시브 메시지는 가상 오브젝트(530 내지 541)로부터 생성될 수 있다. 또한, 이미지 캡처 유닛(100)에 의해 캡처된 사용자 입력이 증강 현실 이미지(520) 상에 입력되면, 패시브 메시지는 가상 오브젝트(530 내지 541)로부터 생성될 수 있다.
메시지 처리 유닛(250)의 설명으로 돌아와, 메시지 처리 유닛(250)은 증강 현실 이미지(520)를 증강 현실 엔진(240)으로부터 수신할 수 있다. 여기에서, 증강 현실 이미지(520) 상의 가상 오브젝트(530 내지 541)는 패시브 이미지를 포함할 수 있다. 메시지 처리 유닛(250)은 가상 오브젝트(530 내지 541)에 포함된 패시브 메시지를 수신할 수 있다.
예컨대, 도 5에서 도시된 바와 같이, 사용자(560)는 모바일 장치(550)에 디스플레이된 증강 현실 이미지(520) 상의 가상 오브젝트(538)에 관한 사용자 입력을 만들 수 있다. 사용자 입력은 모바일 장치(550)에 가상 오브젝트(538)의 표현을 터치, 클릭 도는 드래그 앤 드롭하는 것에 의한 가상 오브젝트(538)의 사용자 선택일 수 있다. 사용자 인식 유닛(260)은 모바일 장치(550)의 스크린으로부터 사용자 입력을 인식할 수 있다. 도 5에 도시된 모바일 장치(550)는 개인 휴대 정보 단말기(personal digital assistant(PDA)), 스마트폰, 태블릿 컴퓨터, 개인용 컴퓨터, 랩탑 컴퓨터, 휴대 전화, 임의의 유형의 무선 또는 유선의 통신 장치 및 휴대용 멀티미디어 플레이어(portable multimedia player(PMP)) 또는 그들의 임의의 조합을 포함할 수 있으나 이에 제한되지는 않는다. 사용자 입력이 만들어지면, 증강 현실 이미지(520)의 가상 오브젝트(538)의 x, y 및 z 좌표와 같은 수치 데이터를 가지는 패시브 메시지가 가상 오브젝트(538)의 사용자 선택의 위치(x, y, z)에 기초하여 생성될 수 있다. 이후, 메시지 처리 유닛(250)은 가상 오브젝트(538)로부터 생성된 패시브 메시지를 수신할 수 있다. 패시브 메시지는 사용자 및 가상 오브젝트 간의 통신을 위한 내부 데이터 구조일 수 있으며 따라서 패시브 메시지는 모바일 장치(550)의 스크린에 디스플레이 되지 않을 수 있다.
도 3 내지 도 5에서, 12 개의 가상 오브젝트(530 내지 541)가 증강 현실 이미지(520) 상에 디스플레이 되지만, 증강 현실 이미지(520) 상에 디스플레이될 수 있는 가상 오브젝트의 수는 거기에 제한되지 않을 수 있다. 또한, x 축, y 축 및 z 축이 도 3 내지 도 5에서 증강 현실 이미지(520) 상에 도시되지만, 이는 디스플레이 유닛(300)에 디스플레이 되지 않을 수 있다. 또한, 증강 현실 이미지(520)가 도 5에서 모바일 장치에 의하여 디스플레이되도록 도시되었지만, 증강 현실 이미지(520)를 디스플레이하기 위한 장치는 모바일 장치(550)에 제한되지 않는다.
도 1을 참조하면, 메시지 처리 유닛(250)은 가상 오브젝트의 공간 속성을 사운드 파일의 오디오 속성으로 변환할 수 있다. 공간 속성은, 여기에서 설명된 바와 같이, 깊이 인식 유닛(210)에 의해 획득될 수 있다. 공간 속성은 제1 공간 컴포넌트(component), 제2 공간 컴포넌트 및 제3 공간 컴포넌트를 포함할 수 있다. 예컨대, 제1 공간 컴포넌트는 가상 오브젝트의 x 좌표일 수 있고, 제2 공간 컴포넌트는 가상 오브젝트의 y 좌표일 수 있으며, 제3 공간 컴포넌트는 가상 오브젝트의 z 좌표일 수 있다. 사운드 파일의 오디오 속성은 제1 오디오 컴포넌트, 제2 오디오 컴포넌트 및 제3 오디오 컴포넌트를 포함할 수 있다. 예컨대, 제1 오디오 컴포넌트는 사운드 파일의 톤(tone) 컴포넌트일 수 있고, 제2 오디오 컴포넌트는 사운드 파일의 피치(pitch) 컴포넌트일 수 있으며 제3 오디오 컴포넌트는 사운드 파일의 볼륨(volume) 컴포넌트일 수 있다. 일 실시예에서, 톤 컴포넌트는 다양한 악기와 연관된 사운드의 이용을 통하여 구현될 수 있다. 예컨대, 낮은 톤 컴포넌트는 피아노 사운드에 의해 나타낼 수 있는 한편, 높은 톤 컴포넌트는 바이올린 사운드에 의해 나타낼 수 있다. 톤 컴포넌트 또는 톤 컴포넌트와 연관될 수 있는 임의의 기타 사운드 또는 사운드의 조합을 나타내는 임의의 기타 수단이 본 개시의 범위 내로서 고려된다.
제1, 제2 및 제3 공간 컴포넌트가 각각 x 좌표, y 좌표, z 좌표이도록 설명되었지만, 이는 예시에 불과하며 거기에 제한되지 않는다. 또한, 제1, 제2 및 제3 오디오 컴포넌트가 각각 톤, 피치 및 볼륨 컴포넌트이도록 설명될 수 있지만, 이는 예시에 불과하며 거기에 제한되지 않는다.
메시지 처리 유닛(250)은 제1 공간 컴포넌트, 제2 공간 컴포넌트 및 제3 공간 컴포넌트를 각각 제1 오디오 컴포넌트, 제2 오디오 컴포넌트 및 제3 오디오 컴포넌트로 변환할 수 있다. 예컨대, 메시지 처리 유닛(250)은 가상 오브젝트의 x, y 및 z 좌표를 각각 사운드 파일의 톤, 피치 및 볼륨 컴포넌트로 변환할 수 있다.
그러나, 여기에서 설명된 바와 같이, x, y 및 z 좌표가 언제나 각각 제1, 제2 및 제3 공간 컴포넌트가 아닐 수 있고, 톤, 피치 및 볼륨 컴포넌트가 언제나 각각 제1, 제2 및 제3 오디오 컴포넌트가 아닐 수 있으므로, x, y 및 z 좌표 및 톤, 피치 및 볼륨 컴포넌트 사이의 변환에 대한 관계는 변동할 수 있다. 예컨대, 메시지 처리 유닛(250)은 가상 오브젝트의 x, y 및 z 좌표를 사운드 파일의 각각 톤, 볼륨 및 톤 컴포넌트로 변환할 수 있다. 또한, 메시지 처리 유닛(250)은 가상 오브젝트의 x, y 및 z좌표를 각각 사운드 파일의 볼륨, 톤 및 피치 컴포넌트로 변환할 수 있다.
메시지 처리 유닛(250)은 가상 오브젝트의 공간 속성을 사운드 매핑 테이블을 이용함으로써 사운드 파일의 오디오 속성으로 변환할 수 있다. 사운드 매핑 테이블은 공간 속성 및 오디오 속성 상이의 관계를 나타내는 함수식을 포함할 수 있다.
도 6은 여기에서 설명된 적어도 일부 실시예에 따라 사운드 매핑 테이블(600)의 예시를 도시한다. 도 6에 도시된 바와 같이, 사운드 매핑 테이블(600)은 공간 속성의 공간 컴포넌트 각각과 오디오 속성의 오디오 컴포넌트 각각 사이의 관계를 정의하는 함수식을 포함할 수 있다. 예컨대, x 좌표 및 톤 컴포넌트 간의 관계는 t = f1(x)의 함수식에 의해 정의될 수 있다. 따라서, t = f1(x)의 함수식을 이용함으로써, 메시지 처리 유닛(250)은 가상 오브젝트의 x 좌표를 사운드 파일의 톤 컴포넌트로 변환할 수 있다.
마찬가지로, x 좌표 및 피치 컴포넌트 간의 관계는 p = f2(x)의 함수식에 의해 정의될 수 있으며, x 좌표 및 볼륨 컴포넌트 간의 관계는 v = f3(x)의 함수식에 의해 정의될 수 있다. 또한, y 좌표 및 톤 컴포넌트 간의 관계는 t = f4(y)의 함수식에 의해 정의될 수 있고, y 좌표 및 피치 컴포넌트 간의 관계는 p = f5(y)의 함수식에 의해 정의될 수 있으며, y 좌표 및 볼륨 컴포넌트 간의 관계는 v = f6(y)의 함수식에 의해 정의될 수 있다. 또한, z 좌표 및 톤 컴포넌트 간의 관계는 t = f7(z)의 함수식에 의해 정의될 수 있고, z 좌표 및 피치 컴포넌트 간의 관계는 p = f8(z)의 함수식에 의해 정의될 수 있으며, z 좌표 및 볼륨 컴포넌트 간의 관계는 v = f9(z)의 함수식에 의해 정의될 수 있다.
도 6에서, 매핑 테이블(600)은 x, y 및 z 각각 및 톤, 피치 및 볼륨 컴포넌트 각각의 사이의 관계를 정의하는 9 개의 상이한 함수식을 포함하지만, 함수식의 수는 거기에 제한되지 않는다. 예컨대, x 좌표 및 톤 컴포넌트 간의 관계, x 좌표 및 피치 컴포넌트 간의 관계 및 x 좌표 및 볼륨 컴포넌트 간의 관계는 모두 f1(x)에 의해 정의될 수 있다.
도 7은 도 6에서 도시된 사운드 매핑 테이블(600)에 포함되는 함수식의 그래프의 예시를 도시한다. 도 7에서 도시된 바와 같이, 그래프의 x 축은 가상 오브젝트의 공간 속성을 나타내며 그래프의 y 축은 사운드 파일의 오디오 속성을 나타낸다. 도 7의 그래프 1은 1+log10(x)의 그래프이고; 그래프 2는 1+x/10의 그래프이고; 그래프 3은 1-x/10의 그래프이며; 그래프 4는 1-log10(x)의 그래프이다. 예컨대, 사운드 매핑 테이블(600)에 포함된 fn(f1(x), f2(x), f3(x), f4(y), f5(y), f6(y), f7(z), f8(z) 및 f9(z))은 도 7에서 그래프 1 내지 4 중 임의의 하나일 수 있다. fn이 그래프 1 내지 4 중 임의의 하나인 도 7을 참조하여 설명되었지만, fn은 거기에 제한되지 않는다.
도 8은 여기에서 설명된 적어도 일부 실시예에 따라 사운드 매핑 테이블(700)을 예시한다. 사운드 매핑 테이블(700)은 공간 속성 및 오디오 속성 간의 관계를 도시하는 룩업 테이블(lookup table)을 포함할 수 있다. 가상 오브젝트의 x, y 및 z 좌표가 각각 사운드 파일의 톤, 피치 및 볼륨 컴포넌트에 해당하는 점이 사운드 매핑 테이블(700)에 예시되었지만, x, y 및 z 좌표 및 톤, 피치 및 볼륨 컴포넌트 간의 대응 관계는 거기에 제한되지 않을 수 있다. 또한, 가상 오브젝터의 x, y 및 z 좌표가 도 8에 도시된 사운드 매핑 테이블(700)에 센티미터(cm) 단위로 분할될 수 있지만, 단위는 거기에 제한되지 않을 수 있다. 즉, 가상 오브젝트의 공간 속성은 cm보다 작거나 큰 단위로 분할될 수 있다.
도 1을 참조하면, 제1 사운드 파일 저장소(270)는 제1 사운드 매핑 테이블을 포함할 수 있다. 메시지 처리 유닛(250)이 액티브 메시지를 가지는 가상 오브젝트의 공간 속성을 사운드 파일의 오디오 속성으로 변환하는 경우, 메시지 처리 유닛(250)은 제1 사운드 매핑 테이블을 이용할 수 있다. 예컨대, 도 4를 참조하면, 메시지 처리 유닛(250)이 가상 객체(532 및 540) 중 하나의 공간 속성을 대응하는 사운드 파일의 오디오 속성으로 변환하는 경우, 메시지 처리 유닛(250)은 제1 사운드 매핑 테이블을 이용할 수 있다.
제2 사운드 파일 저장소(280)는 제2 사운드 매핑 테이블을 포함할 수 있다. 메시지 처리 유닛(250)이 패시브 메시지에 관련된 가상 오브젝트의 공간 속성을 사운드 파일의 오디오 속성으로 변환하는 경우, 메시지 처리 유닛(250)은 제2 사운드 매핑 테이블을 이용할 수 있다. 예컨대, 도 5를 참조하면, 메시지 처리 유닛(250)이 가상 오브젝트(531 및 538) 중 하나의 공간 속성을 대응하는 사운드 파일의 오디오 속성으로 변환하는 경우, 메시지 처리 유닛(250)은 제2 사운드 매핑 테이블을 이용할 수 있다.
도 1에서, 증강 현실 모듈(200)은 메시지 처리 유닛(250)이 액티브 메시지를 포함하는 가상 오브젝트의 공간 속성을 오디오 속성으로 변환하는 경우 이용하기 위한 제1 사운드 매핑 테이블을 가지는 제1 사운드 파일 저장소(270) 및 패시브 메시지에 관련된 가상 오브젝트의 공간 속성을 오디오 속성으로 변환하는 경우 이용하기 위한 제2 사운드 매핑 테이블을 가지는 제2 사운드 파일 저장소(280)를 포함할 수 있다. 그러나, 증강 현실 모듈(200)이 액티브 메시지에 관련된 가상 오브젝트의 공간 속성 및 패시브 메시지에 관련된 가상 오브젝트(530 내지 541)의 공간 속성이 오디오 속성으로 변환되는 경우에 공통적으로 이용되는 단일 사운드 매핑 테이블을 가지는 단일 사운드 파일 저장소를 포함할 수 있다는 점이 당업자에게 분명해질 것이다.
디스플레이 유닛(300)은 증강 현실 이미지(520) 및 메시지를 디스플레이할 수 있다. 예컨대, 디스플레이 유닛(300)은 증강 현실 이미지(520) 및 증강 현실 이미지(520) 상의 가상 오브젝트(530 내지 541)에 관련된 메시지를 디스플레이 할 수 있다. 또한, 디스플레이 유닛(300)은 개인 휴대 정보 단말기(PDA), 스마트폰, 휴대 전화, 휴대용 멀티미디어 플레이어(PMP)와 같은 모바일 장치의 스크린, 디지털 카메라의 스크린, 컴퓨터 모니터, 노트북 또는 태블릿 컴퓨터의 스크린 등을 포함할 수 있다. 디스플레이 유닛(300)은 사용자 입력을 수신할 수 있다. 예컨대, 사용자는 디스플레이 유닛(300)에 디스플레이되는 증강 현실 이미지(520) 상의 가상 오브젝트(530 내지 541) 중 하나 이상을 터치, 클릭, 드래그 앤 드롭하는 것에 의해 사용자 입력 또는 선택을 입력할 수 있다.
사운드 플레이어(400)는 사운드 파일을 재생할 수 있다. 여기에서 설명된 바와 같이, 메시지 처리 유닛(250)은 증강 현실 이미지(520) 상의 가상 오브젝트(530 내지 541)의 공간 속성을 하나 이상의 사운드 파일의 오디오 속성으로 변환할 수 있다. 사운드 플레이어(400)는 메시지 처리 유닛(250)에 의해 변환된 오디오 속성을 포함하는 그러한 사운드 파일을 재생할 수 있다. 사운드 파일은 가상 오브젝트(530 내지 541)에 포함되는 메시지에 포함될 수 있다. 따라서, 사운드 플레이어(400)는 메시지를 가지는 가상 오브젝트(530 내지 541)의 위치에 따른 상이한 사운드 파일을 재생할 수 있다. 예컨대, 사운드 플레이어(400)는 메시지가 사용자에게 전달되면 상이한 사운드 파일을 재생할 수 있다.
일부 실시예에서, 사운드 플레이어(400)는 메시지 처리 유닛(250)에 의하여 변환된 톤, 피치 및 볼륨 컴포넌트를 포함하는 사운드 파일을 포함할 수 있다. 예컨대, 기본적인 톤, 피치 및 볼륨 컴포넌트를 가지는 적어도 하나의 기본적인 사운드 파일은 별도의 저장소에 저장될 수 있다. 또한, 사운드 플레이어(400)는 기본적인 사운드 파일을 별도의 저장소로부터 검색할 수 있으며, 메시지 처리 유닛(250)에 의해 변환된 톤, 피치 및 볼륨 컴포넌트에 따라 검색된 사운드 파일의 기본적인 톤, 피치 및 볼륨 컴포넌트를 조정하고 조정된 톤, 피치 및 볼륨 컴포넌트를 가지는 사운드 파일을 재생할 수 있다.
일부 실시예에서, 사운드 파일은 별도의 데이터 베이스에 저장될 수 있다. 예컨대, 각각 상이한 톤, 피치 및 볼륨 컴포넌트를 가지는 다수의 사운드 파일은 별도의 데이터 베이스에 저장될 수 있다. 사운드 플레이어(400)는 메시지 처리 유닛(250)에 의해 변환된 톤, 피치 및 볼륨 컴포넌트를 가지는 사운드 파일을 별도의 데이터 베이스로부터 검색할 수 있으며 검색된 사운드 파일을 재생할 수 있다. 또한, 액티브 메시지에 관련된 사운드 파일 및 패시브 메시지에 관련된 사운드 파일은 상이한 데이터 베이스에 저장될 수 있다.
사운드 플레이어(400)에 의한 사운드 파일의 재생은 도 4 및 도 5를 참조하여 더 상세히 설명될 것이다. 예컨대, 증강 현실 이미지(520) 상의 가상 오브젝트의 제1 공간 컴포넌트, 제2 공간 컴포넌트 및 제3 공간 컴포넌트는 각각 x 좌표, y 좌표 및 z 좌표라고 가정한다. 또한, 사운드 파일의 제1 컴포넌트, 제2 컴포넌트 및 제3 컴포넌트가 각각 톤 컴포넌트, 피치 컴포넌트 및 볼륨 컴포넌트라고 가정한다. 따라서, 메시지 처리 유닛(250)은 x 좌표, y 좌표 및 z 좌표를 각각 톤 컴포넌트, 피치 컴포넌트 및 볼륨 컴포넌트로 변환한다.
도 4를 참조하면, 증강 현실 이미지(520) 상의 가상 오브젝트(532)는 가상 오브젝트(540)에 비하여 더 작은 x 좌표, 더 작은 y 좌표 및 더 큰 z 좌표를 가질 수 있다. 따라서, 가상 오브젝트(532)에 관련된 사운드 파일은 가상 오브젝트(540)에 관련된 사운드 파일에 비하여 더 낮은 톤 컴포넌트, 더 낮은 피치 컴포넌트 및 더 큰 볼륨 컴포넌트를 가질 수 있다. 예컨대, 디스플레이 유닛(300)이 가상 오브젝트(532)의 액티브 메시지 및 가상 오브젝트(540)의 액티브 메시지를 디스플레이하면, 사운드 플레이어(400)는 각각의 가상 오브젝트(532 및 540)의 공간 속성에 해당하는 오디오 속성을 가지는 사운드 파일을 재생할 수 있다. 가상 오브젝트(532)에 관련된 사운드 파일이 가상 오브젝트(540)에 관련된 사운드 파일의 그것에 비해 더 낮은 톤 컴포넌트, 더 낮은 피치 컴포넌트 및 더 큰 볼륨 컴포넌트를 가지므로, 사용자는 (즉, 2 개의 사운드 파일의 상이한 톤, 피치 및 볼륨에 의한) 재생된 사운드 파일을 들으면 가상 오브젝트(532) 및 가상 오브젝트(540) 사이의 상대적인 위치적 관계를 통지 받을 수 있다.
도 5를 참조하면, 증강 현실 이미지(520) 상의 가상 오브젝트(531)는 가상 오브젝트(538)에 비하여 더 작은 x 좌표, 더 작은 z좌표 및 동일한 y좌표를 가질 수 있다. 따라서, 가상 오브젝트(531)에 관련된 사운드 파일은 가상 오브젝트(538)에 관련된 사운드 파일에 비하여 더 낮은 톤 컴포넌트, 도 작은 볼륨 컴포넌트 및 동일한 피치 컴포넌트를 가질 수 있다. 예컨대, 가상 오브젝트(531)의 패시브 메시지 및 가상 오브젝트(538)의 패시브 메시지가 사용자에게 전달되면, 사운드 플레이어(400)는 각각의 가상 오브젝트(531 및 538)의 공간 속성에 해당하는 오디오 속성을 가지는 사운드 파일을 재생할 수 있다. 가상 오브젝트(531)에 관련된 사운드 파일이 가상 오브젝트(538)에 관련된 사운드 파일보다 더 낮은 톤 컴포넌트, 더 작은 볼륨 컴포넌트 및 동일한 피치 컴포넌트를 가질 수 있으므로, 사용자는 재생된 사운드 파일을 들으면 사용자는 가상 오브젝트(531) 및 가상 오브젝트(538) 사이의 상대적인 위치적 관계를 통지받을 수 있다.
여기에서 설명된 바와 같이, 메시지 처리 유닛(250)은 사운드 매핑 테이블(600)에 포함된 함수식을 이용하여 가상 오브젝트(530 내지 541)의 공간 속성을 오디오 속성으로 변환할 수 있다. 예컨대, 메시지 처리 유닛(250)이 x 좌표, y 좌표 및 z 좌표를 각각 톤 컴포넌트, 피치 컴포넌트 및 볼륨 컴포넌트로 변환하는 경우 도 7에서 도시된 그래프 1에 해당하는 함수식을 이용할 수 있다. 그러한 경우, 그래프 1이 로그 함수이므로, 톤, 피치 및 볼륨 컴포넌트는 x축, y축 및 z축 좌표가 약간만 변하여도 크게 변동될 수 있다. 따라서, 각각의 가상 오브젝트(530 내지 541)에 해당하는 사운드 파일은 증강 현실 이미지(520) 상의 각각의 가상 오브젝트(530 내지 541)의 위치에 따라 명확히 구별될 수 있다. 따라서, 사운드 파일을 듣는 동안, 사용자는 증강 현실 이미지(520) 상의 가상 오브젝트(530 내지 541) 간의 상대적인 위치를 더 쉽게 구별할 수 있다. 또한, 액티브 메시지에 관련된 사운드 파일이 패시브 메시지에 관련된 사운드 파일로부터 구별되면, 사용자는 사운드 파일을 들음으로써 액티브 메시지가 생성되는지 패시브 메시지가 생성되는지를 통지받을 수 있다.
지금까지, 증강 현실 이미지(520) 상의 가상의 오브젝트(530 내지 541)의 공간 속성이 제1, 제2 및 제3 공간 컴포넌트를 포함하고 사운드 파일의 오디오 속성이 제1, 제2 및 제3 오디오 컴포넌트를 포함한다는 것을 설명했다. 그러나, 증강 현실 이미지 상의 가상 오브젝트의 공간 속성은 제3 공간 컴포넌트를 가지지 않고 제1 및 제2 공간 컴포넌트만을 포함할 수 있다. 또한, 오디오 파일의 오디오 속성은 제3 오디오 컴포넌트를 가지지 않고 제1 및 제2 오디오 컴포넌트 만을 포함할 수 있다. 예컨대, 제1 공간 컴포넌트는 가상 오브젝트의 x 좌표일 수 있고 제2 공간 컴포넌트는 가상 오브젝트의 z 좌표일 수 있다. 또한, 제1 오디오 컴포넌트는 사운드 파일의 피치 컴포넌트일 수 있고 제2 오디오 컴포넌트는 사운드 파일의 볼륨 컴포넌트 일 수 있다.
여기에서, 제1 공간 컴포넌트가 가상 오브젝트의 y 좌표 또는 z 좌표일 수 있고, 제2 공간 컴포넌트가 가상 오브젝트의 x 좌표 또는 y 좌표일 수 있고, 제1 오디오 컴포넌트가 사운드 파일의 톤 컴포넌트 또는 볼륨 컴포넌트 일 수 있고 제2 오디오 컴포넌트가 사운드 파일의 피치 컴포넌트 또는 톤 컴포넌트 일 수 있다는 점이 당업자에게 분명해질 것이다.
메시지 처리 유닛(250)은 제1 공간 컴포넌트 및 제2 공간 컴포넌트를 각각 제1 오디오 컴포넌트 및 제2 오디오 컴포넌트로 변환할 수 있다. 예컨대, 메시지 처리 유닛(250)은 가상 오브젝트의 x 좌표를 사운드 파일의 피치 컴포넌트로 변환할 수 있고 가상 오브젝트의 z 좌표를 사운드 파일의 볼륨 컴포넌트로 변환할 수 있다.
사운드 플레이어는 사운드를 구성할 수 있다. 예컨대, 사운드 플레이어(400)는 메시지 처리 유닛(250)에 의하여 변환된 피치 컴포넌트 및 볼륨 컴포넌트를 가지는 사운드 파일, 톤 컴포넌트 및 피치 컴포넌트를 가지는 사운드 파일 및/또는 메시지 처리 유닛(250)에 의해 변환된 톤 컴포넌트 및 볼륨 컴포넌트를 가지는 사운드 파일을 구성할 수 있으며 구성된 사운드 파일을 재생할 수 있다.
도 9는 증강 현실 시스템에 의해 생성된 증강 현실 이미지의 예시를 도시한다. 증강 현실 이미지(820)는 모바일 장치(810)에 디스플레이될 수 있다. 증강 현실 이미지(820)에 디스플레이된 가상 오브젝트(821 내지 829)는 피아노 건반을 나타낼 수 있다. 가상 오브젝트(821 내지 829) 각각은 공간 속성을 포함할 수 있다. 가상 오브젝트(821 내지 829) 각각의 공간 속성은 제1 공간 컴포넌트 및 제2 공간 컴포넌트를 포함할 수 있다. 예컨대, 제1 공간 컴포넌트는 가상 오브젝트(821 내지 829) 각각의 x 좌표일 수 있고 제2 공간 컴포넌트는 가상 오브젝트(821 내지 829) 각각의 z 좌표일 수 있다. 여기에서, 증강 현실 이미지(820)의 z 좌표는 가상 오브젝트(821 내지 829)가 눌리는 깊이 방향을 나타낼 수 있다.
메시지 처리 유닛(250)은 오브젝트(821 내지 829) 각각의 제1 공간 컴포넌트 및 제2 공간 컴포넌트를 사운드 파일의 제1 오디오 컴포넌트 및 제2 오디오 컴포넌트로 변환할 수 있다. 예컨대, 사운드 파일의 제1 오디오 컴포넌트는 사운드 파일의 피치 컴포넌트 일 수 있고 제2 컴포넌트는 사운드 파일의 볼륨 컴포넌트일 수 있다.
사용자가 사용자 입력을 가상 오브젝트(821 내지 829)에 입력하면, 메시지 처리 유닛(250)은 사용자 입력이 입력되는 가상 오브젝트(821 내지 829) 각각의 제1 및 제2 공간 컴포넌트를 사운드 파일의 제1 및 제2 오디오 컴포넌트로 변환할 수 있다. 이후, 사운드 플레이어(400)는 메시지 처리 유닛(250)에 의해 변환된 제1 및 제2 오디오 컴포넌트를 가지는 사운드 파일을 재생할 수 있다.
가상 오브젝트(821 내지 829)의 x 좌표는 가상 오브젝트(821)에서 가상 오브젝트(829)로 증가할 수 있으며, 가상 오브젝트(821 내지 829)에 관련된 사운드 파일은 가상 오브젝트(821) 내지 가상 오브젝트(829)의 순서로 더 높은 피치 컴포넌트를 가질 수 있다. 또한, 가상 오브젝트(821 내지 829)의 z 좌표가 증가함에 따라, 그 사운드 파일은 더 큰 볼륨 컴포넌트를 가질 수 있다. 예컨대, 사용자가 가상 오브젝트(821 내지 829)를 더 강하게 누르거나 더 긴 기간 동안 누름에 따라, 사운드 파일은 더 큰 볼륨 컴포넌트를 가질 수 있다.
도 10은 여기에서 설명된 적어도 일부 실시예에 따른 가상 오브젝트에 관련된 사운드 파일을 재생하기 위한 방법의 흐름도를 도시한다. 도 10에서의 방법은, 예컨대, 상술한 증강 현실 시스템을 이용하여 구현될 수 있다. 예시적인 방법은 블록(S910, S920, S930, S940 및/또는 S950) 중 하나 이상에 의해 예시된 바와 같은 하나 이상의 동작, 작용 또는 기능을 포함할 수 있다. 별개의 블록으로 도시되었지만, 다양한 블록은 요구되는 구현예에 따라 추가적인 블록으로 분할될 수 있거나, 더 적은 블록 조합될 수 있거나, 제거될 수 있다.
블록(S910)에서, 증강 현실 시스템은 하나 이상의 실세계 이미지를 캡처하도록 구성될 수 있다. 실세계 이미지는 건물, 나무, 공원, 지하철 역 등과 같은 다양한 실제 오브젝트를 도시하거나 묘사할 수 있다.
블록(S920)에서, 증강 현실 시스템은 블록(S910)에서 캡처된 실세계 이미지 및 하나 이상의 가상 오브젝트를 병합함으로써 증강 현실 이미지를 제공하도록 구성될 수 있다. 증강 현실 이미지에서, 사용자에게 더 가까이 위치한 가상 오브젝트는 사용자로부터 더 멀리 위치한 가상 오브젝트보다 더 크도록 도시될 수 있다.
블록(S930)에서, 증강 현실 시스템은 가상 오브젝트에 관련된 메시지를 수신하도록 구성될 수 있다. 여기에서 논의된 바와 같이, 메시지는 액티브 메시지 및/또는 패시브 메시지를 포함할 수 있다.
블록(S940)에서, 증강 현실 시스템은 가상 오브젝트의 공간 속성을 사운드 파일의 오디오 속성으로 변환하도록 구성될 수 있다. 가상 오브젝트의 공간 속성은 제1 공간 컴포넌트, 제2 공간 컴포넌트 및 제3 공간 컴포넌트를 포함할 수 있다. 사운드 파일의 오디오 속성은 제1 오디오 컴포넌트, 제2 오디오 컴포넌트 및 제3 오디오 컴포넌트를 포함할 수 있다.
예컨대, 가상 오브젝트의 제1 공간 컴포넌트, 제2 공간 컴포넌트 및 제3 공간 컴포넌트는 각각 가상 오브젝트의 x 좌표, y 좌표 및 z 좌표일 수 있다. 또한, 사운드 파일의 제1 오디오 컴포넌트, 제2 오디오 컴포넌트 및 제3 오디오 컴포넌트는 각각 톤 컴포넌트, 피치 컴포넌트 및 볼륨 컴포넌트일 수 있다. 그러나, 제1, 제2 및 제3 공간 컴포넌트 및 x, y 및 z 좌표 간의 대응 관계는 변동될 수 있다는 점이 당업자에게 분명할 것이다. 또한, 제1, 제2 및 제3 오디오 컴포넌트 및 톤, 피치 및 볼륨 컴포넌트 간의 대응 관계가 마찬가지로 변동될 수 있다는 것이 당업자에게 분명하다.
블록(S940)에서, 증강 현실 시스템은 사운드 매핑 테이블을 이용함으로써 제1, 제2 및 제3 공간 컴포넌트를 각각 제1, 제2 및 제3 오디오 컴포넌트로 변환하도록 구성될 수 있다. 예컨대. 증간 현실 시스템은 가상 오브젝트의 x, y 및 z 좌표를 각각 사운드 파일의 톤, 피치 및 볼륨 컴포넌트로 변환할 수 있다.
블록(S950)에서, 증강 현실 시스템은 블록(S940)에서 변환된 오디오 속성을 가지는 사운드 파일을 재생하도록 구성될 수 있다. 예컨대, 사용자가 증강 현실 이미지 상의 가상 오브젝트를 터치하거나 그 연관된 가상 오브젝트가 액티브 메시지를 가지면, 가상 오브젝트의 공간 속성은 사운드 파일의 오디오 속성으로 변환될 수 있고 증강 현실 시스템은 변환된 오디오 특성을 가지는 사운드 파일을 재생할 수 있다.
일부 실시예에서, 블록(S930 내지 S950)에서, 증강 현실 시스템은 액티브 메시지를 가지는 가상 오브젝트를 처리하는 것 이후에 패시브 메시지를 가지는 가상 오브젝트를 처리하도록 구성될 수 있다. 그러나, 변환 순서는 상기에 제한되지 않고, 증강 현실 시스템은 액티브 메시지를 가지는 가상 오브젝트를 처리하는 것 이전에 패시브 메시지를 가지는 가상 오브젝트를 처리하도록 구성될 수 있다. 또한, 증강 현실 시스템은 메시지가 생성되는 순서에 따라 가상 오브젝트를 처리하도록 구성될 수 있다.
본 개시는 다양한 태양의 예시로서 의도된 본 출원에 기술된 특정 실시예들에 제한되지 않을 것이다. 당업자에게 명백할 바와 같이, 많은 수정과 변형들이 그 사상과 범위를 벗어나지 않으면서 이루어질 수 있다. 여기에 열거된 것들에 더하여, 본 개시의 범위 안에서 기능적으로 균등한 방법과 장치가 위의 설명으로부터 당업자에게 명백할 것이다. 그러한 수정과 변형들은 첨부된 청구항의 범위에 들어가도록 의도된 것이다. 본 개시는 첨부된 청구항과 그러한 청구항에 부여된 균등물의 전 범위에 의해서만 제한될 것이다. 본 개시가 물론 다양할 수 있는 특정 방법 또는 시스템에 제한되지 않는 것으로 이해될 것이다. 또한, 여기에서 사용된 용어는 특정 실시예를 기술하기 위한 목적이고, 제한하는 것으로 의도되지 않음이 이해될 것이다.
예시적인 실시예에서, 여기에서 설명된 임의의 동작, 프로세스 등이 컴퓨터 판독 가능 매체(computer-readable medium)에 저장된 컴퓨터 판독 가능 명령으로 구현될 수 있다. 컴퓨터 판독 가능 명령은 모바일 유닛(mobile unit), 네트워크 요소, 및/또는 임의의 기타 컴퓨팅 장치(computing device)의 프로세서에 의해 실행될 수 있다.
시스템의 양상들의 하드웨어 및 소프트웨어 구현 사이에는 구별이 거의 없다; 하드웨어 또는 소프트웨어의 사용은 일반적으로 (그러나 어떤 문맥에서 하드웨어 및 소프트웨어 사이의 선택이 중요할 수 있다는 점에서 항상 그런 것은 아니지만) 비용 대비 효율의 트레이드오프(tradeoff)를 나타내는 설계상 선택(design choice)이다. 본 개시에서 기재된 프로세스 및/또는 시스템 및/또는 다른 기술들이 영향 받을 수 있는 다양한 수단(vehicles)(예를 들어, 하드웨어, 소프트웨어 및/또는 펌웨어)이 있을 수 있으며, 선호되는 수단은 프로세스 및/또는 시스템 및/또는 다른 기술이 사용되는 컨텍스트(context)에 따라 변경될 것이다. 예를 들어, 구현자가 속도 및 정확성이 가장 중요하다고 결정한다면, 구현자는 주로 하드웨어 및/또는 펌웨어 수단을 선택할 수 있다. 유연성이 가장 중요하다면, 구현자는 주로 소프트웨어 구현을 선택할 수 있다. 대안적으로, 구현자는 하드웨어, 소프트웨어 및/또는 펌웨어의 어떤 결합을 선택할 수 있다.
전술한 상세한 설명은 블록도, 흐름도, 및/또는 예를 통해 장치의 다양한 실시예 및/또는 프로세스를 설명하였다. 그러한 블록도, 흐름도, 및/또는 예는 하나 이상의 기능 및/또는 동작을 포함하는 한, 당업자라면 그러한 블록도, 흐름도, 또는 예 내의 각각의 기능 및/또는 동작은 하드웨어, 소프트웨어, 펌웨어, 또는 가상의 그들의 임의의 조합의 넓은 범위에 의해 개별적으로 및/또는 집합적으로 구현될 수 있다는 것이 이해될 것이다. 일 실시예에서, 본 개시에 기재된 대상의 몇몇 부분은 ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), DSP(Digital Signal Processor) 또는 다른 집적의 형태를 통해 구현될 수 있다. 그러나, 당업자라면, 본 개시의 실시예의 일부 양상은, 하나 이상의 컴퓨터 상에 실행되는 하나 이상의 컴퓨터 프로그램(예를 들어, 하나 이상의 컴퓨터 시스템 상에 실행되는 하나 이상의 프로그램), 하나 이상의 프로세서 상에서 실행되는 하나 이상의 프로그램(예를 들어, 하나 이상의 마이크로프로세서 상에서 실행되는 하나 이상의 프로그램), 펌웨어 또는 실질적으로 이들의 조합으로써, 전체적으로 또는 부분적으로 균등하게 집적회로에 구현될 수 있다는 알 수 있으며, 소프트웨어 및/또는 펌웨어를 위한 코드의 작성 및/또는 회로의 설계는 본 개시에 비추어 당업자에게 자명할 것이다. 또한, 당업자라면, 본 개시의 대상의 매커니즘(mechanism)들이 다양한 형태의 프로그램 제품으로 분포될 수 있음을 이해할 것이며, 본 개시의 대상의 예시는, 분배를 실제로 수행하는데 사용되는 신호 포함 매체(signal bearing medium)의 특정 유형과 무관하게 적용됨을 이해할 것이다. 신호 포함 매체의 예는, 플로피 디스크, 하드 디스크 드라이브, CD, DVD, 디지털 테이프, 컴퓨터 메모리 등과 같은 판독가능 유형의 매체, 디지털 및/또는 아날로그 통신 매체(예를 들어, 섬유 광학 케이블, 웨이브가이드, 유선 통신 링크, 무선 통신 링크 등)와 같은 전송 유형 매체를 포함할 수 있으나, 이에 제한되지는 않는다.
당업자라면, 여기서 설명된 형식으로 장치 및/또는 프로세스를 기술하고, 이후, 공학 실무를 사용하여 그러한 기술된 장치(예를 들면, 전송기, 수신기, 컴퓨팅 플랫폼, 컴퓨팅 장치 등) 및/또는 방법을 데이터 처리 시스템에 통합한다는 것은 당해 분야에서는 일반적이란 것을 인식할 것이다. 즉, 여기서 기술된 장치 및/또는 방법의 적어도 일부는 합당한 실험량을 통해 데이터 처리 시스템에 통합될 수 있다. 당업자라면, 전형적인 데이터 처리 시스템은 일반적으로 하나 이상의 시스템 유닛 하우징, 비디오 디스플레이 장치, 휘발성 및 비휘발성 메모리 같은 메모리, 마이크로프로세서 및 디지털 신호 프로세서 같은 프로세서, 운영 체제, 드라이버, 그래픽 사용자 인터페이스 및 애플리케이션 프로그램과 같은 컴퓨터 엔티티(computational entities), 터치 패드 또는 스크린 같은 하나 이상의 상호작용 장치, 및/또는 피드백 루프 및 제어 모터(예를 들면, 위치 및/또는 속도를 감지하기 위한 피드백, 컴포넌트 및/또는 양(quantities)을 이동하고 및/또는 조정하기 위한 제어 모터)를 포함하는 제어 시스템을 일반적으로 포함한다는 것을 인식할 것이다. 전형적인 데이터 처리 시스템은 데이터 컴퓨팅/통신 및/또는 네트워크 컴퓨팅/통신 시스템에서 전형적으로 발견되는 바와 같은 임의의 적절한 상업적으로 이용가능한 컴포넌트를 이용하여 구현될 수 있다.
여기서 기술된 대상은 때때로 상이한 다른 컴포넌트 내에 포함되거나 접속된 상이한 컴포넌트를 도시한다. 도시된 그러한 아키텍처는 단순히 예시적인 것이고, 사실상 동일한 기능을 달성하는 다른 많은 아키텍처가 구현될 수 있다는 것이 이해되어야 한다. 개념적으로, 동일한 기능을 달성하기 위한 컴포넌트의 임의의 배치는 원하는 기능이 달성되도록 유효하게 "연관"된다. 이에 따라, 특정 기능을 달성하기 위해 여기서 결합된 임의의 두 개의 컴포넌트는, 아키텍처 또는 중간 컴포넌트와는 무관하게, 원하는 기능이 달성되도록 서로 "연관"된 것으로 볼 수 있다. 마찬가지로, 연관된 두 개의 컴포넌트는 또한 원하는 기능을 달성하기 위해 서로 "동작적으로 접속"되거나 또는 "동작적으로 연결"되는 것으로 간주될 수 있고, 그와 같이 연관될 수 있는 임의의 두 개의 컴포넌트는 또한 원하는 기능을 달성하기 위해 서로 "동작적으로 연결가능"한 것으로 볼 수 있다. 동작적으로 연결 가능하다는 것의 특정 예는 물리적으로 양립가능(mateable)하고 및/또는 물리적으로 상호작용하는 컴포넌트 및/또는 무선으로 상호작용이 가능하고 및/또는 무선으로 상호작용하는 컴포넌트 및/또는 논리적으로 상호작용하고 및/또는 논리적으로 상호작용이 가능한 컴포넌트를 포함하지만, 이에 한정되는 것은 아니다.
여기에서 실질적으로 임의의 복수 및/또는 단수의 용어의 사용에 대하여, 당업자는 맥락 및/또는 응용에 적절하도록, 복수를 단수로 및/또는 단수를 복수로 해석할 수 있다. 다양한 단수/복수의 치환은 명확성을 위해 여기에서 명시적으로 기재될 수 있다.
당업자라면, 일반적으로 본 개시에 사용되며 특히 첨부된 청구범위(예를 들어, 첨부된 청구범위)에 사용된 용어들이 일반적으로 "개방적(open)" 용어(예를 들어, 용어 "포함하는"은 "포함하지만 이에 제한되지 않는"으로, 용어 "갖는"는 "적어도 갖는"으로, 용어 "포함하다"는 "포함하지만 이에 한정되지 않는" 등으로 해석되어야 함)로 의도되었음을 이해할 것이다. 또한, 당업자라면, 도입된 청구항의 기재사항의 특정 수가 의도된 경우, 그러한 의도가 청구항에 명시적으로 기재될 것이며, 그러한 기재사항이 없는 경우, 그러한 의도가 없음을 또한 이해할 것이다. 예를 들어, 이해를 돕기 위해, 이하의 첨부 청구범위는 "적어도 하나" 및 "하나 이상" 등의 도입 구절의 사용을 포함하여 청구항 기재사항을 도입할 수 있다. 그러나, 그러한 구절의 사용이, 부정관사 "하나"("a" 또는 "an")에 의한 청구항 기재사항의 도입이, 그러한 하나의 기재사항을 포함하는 실시예로, 그러한 도입된 청구항 기재사항을 포함하는 특정 청구항을 제한함을 암시하는 것으로 해석되어서는 안되며, 동일한 청구항이 도입 구절인 "하나 이상" 또는 "적어도 하나" 및 "하나"("a" 또는 "an")과 같은 부정관사(예를 들어, "하나"는 "적어도 하나" 또는 "하나 이상"을 의미하는 것으로 일반적으로 해석되어야 함)를 포함하는 경우에도 마찬가지로 해석되어야 한다. 이는 청구항 기재사항을 도입하기 위해 사용된 정관사의 경우에도 적용된다. 또한, 도입된 청구항 기재사항의 특정 수가 명시적으로 기재되는 경우에도, 당업자라면 그러한 기재가 일반적으로 적어도 기재된 수(예를 들어, 다른 수식어가 없는 "두개의 기재사항"을 단순히 기재한 것은, 일반적으로 적어도 두 개의 기재사항 또는 두 개 이상의 기재사항을 의미함)를 의미하도록 해석되어야 함을 이해할 것이다. 또한, "A, B 및 C,등 중의 적어도 하나"와 유사한 규칙이 사용된 경우에는, 일반적으로 그러한 해석은 당업자가 그 규칙을 이해할 것이라는 전제가 의도된 것이다(예를 들어, "A, B 및 C 중의 적어도 하나를 갖는 시스템"은, A만을 갖거나, B만을 갖거나, C만을 갖거나, A 및 B를 함께 갖거나, A 및 C를 함께 갖거나, B 및 C를 함께 갖거나, A, B, 및 C를 함께 갖는 시스템을 포함하지만 이에 제한되지 않음). "A, B 또는 C 중의 적어도 하나"와 유사한 규칙이 사용된 경우에는, 일반적으로 그러한 해석은 당업자가 그 규칙을 이해할 것이라는 전제가 의도된 것이다(예를 들어, "A, B 또는 C 중의 적어도 하나를 갖는 시스템"은, A만을 갖거나, B만을 갖거나, C만을 갖거나, A 및 B를 함께 갖거나, A 및 C를 함께 갖거나, B 및 C를 함께 갖거나, A, B, 및 C를 함께 갖는 시스템을 포함하지만 이에 제한되지 않음). 또한 당업자라면, 실질적으로 어떠한 이접 접속어(disjunctive word) 및/또는 두 개 이상의 대안적인 용어들을 나타내는 구절은, 그것이 상세한 설명, 청구범위 또는 도면에 있는지와 상관없이, 그 용어들 중의 하나, 그 용어들 중의 어느 하나, 또는 그 용어들 두 개 모두를 포함하는 가능성을 고려했음을 이해할 것이다. 예를 들어, "A 또는 B"라는 구절은 "A" 또는 "B" 또는 "A 및 B"의 가능성을 포함하는 것으로 이해될 것이다.
또한, 마쿠쉬 그룹을 이용하여 본 개시의 특징 또는 양상이 기술될 때는, 당업자라면 본 개시가 또한 마쿠쉬 그룹의 임의의 개별 구성원 또는 구성원의 서브그룹을 이용하여 기술됨을 이해할 것이다.
서면의 기재를 제공하는 것과 같은 어떠한 그리고 모든 목적을 위해서, 본 개시에 기재된 모든 범위는 모든 어떠한 가능한 하위범위 및 그 하위범위의 조합을 또한 포괄함이 이해 되어야 한다. 임의의 나열된 범위는, 그 동일한 범위가 적어도 동일한 이분 범위, 삼분 범위, 사분 범위, 오분 범위, 십분 범위 등으로 분할될 수 있으며, 그러한 동일 범위를 충분히 기술하는 것으로 용이하게 인식될 수 있다. 제한되지 않은 예로서, 본 개시에 기재된 각 범위는, 하위 삼분, 중간 삼분, 상위 삼분 등으로 용이하게 분할될 수 있다. 또한, "까지(up to)", "적어도(at least)", “더 큰(greater than)”, “더 적은(less than)” 등과 같은 모든 언어는 인용된 수를 포함하며, 상술한 바와 같은 하위 범위로 분할될 수 있는 범위들을 나타냄이 이해되어야 한다. 마지막으로, 범위는 각 개별 구성요소를 포함됨이 이해되어야 한다. 따라서, 예를 들어, 1 내지 3 셀(cell)을 가지는 그룹은 1, 2 또는 3 셀을 가지는 그룹을 나타낸다. 유사하게, 1 내지 5 셀을 가지는 그룹은 1, 2, 3, 4 또는 5 셀을 가지는 그룹을 나타내는 등이다.
다양한 양상 및 실시예들이 본 개시에서 기술되었지만, 다른 양상 및 실시예들이 당업자에게 명확할 것이다. 본 개시에 기재된 다양한 양상 및 실시예는 예시의 목적으로 제시된 것이고, 제한하려고 의도된 것은 아니며, 진정한 범위 및 사상은 이하 청구범위에 의해 나타낸다.

Claims (23)

  1. 명령어를 포함하는 메모리;
    상기 메모리에 결합되고, 프로세서에 의하여 실행 가능하며, 실세계 이미지 및 가상 오브젝트(virtual object)를 병합함으로써 증강 현실 이미지를 제공하도록 구성되는 증강 현실 엔진(augmented reality engine); 및
    상기 메모리에 결합되고, 상기 프로세서에 의하여 실행 가능한 메시지 처리 유닛
    을 포함하며,
    상기 메시지 처리 유닛은,
    상기 가상 오브젝트에 대한 x 축 공간 컴포넌트(component), y 축 공간 컴포넌트 및 z 축 공간 컴포넌트를 수신하고;
    상기 x 축 공간 컴포넌트에 기초하여 톤(tone) 오디오 컴포넌트를 결정하고;
    상기 y 축 공간 컴포넌트에 기초하여 피치(pitch) 오디오 컴포넌트를 결정하고;
    상기 z 축 공간 컴포넌트에 기초하여 볼륨(volume) 오디오 컴포넌트를 결정하고; 그리고
    상기 가상 오브젝트와 연관되고, 상기 톤 오디오 컴포넌트, 상기 피치 오디오 컴포넌트 및 상기 볼륨 오디오 컴포넌트를 포함하는 사운드 파일을 작성 하도록 구성되는, 증강 현실 시스템(augmented reality system).
  2. 제1항에 있어서,
    상기 프로세서에 의하여 실행 가능하고 상기 사운드 파일을 재생하도록 구성되는 사운드 플레이어(spatial sound player)를 더 포함하는 증강 현실 시스템.
  3. 제1항에 있어서,
    상기 프로세서에 의하여 실행 가능하고, 사용자 입력을 검출하고, 이에 응답하여, 상기 가상 오브젝트에 대한 상기 x 축 공간 컴포넌트, 상기 y 축 공간 컴포넌트 및 상기 z 축 공간 컴포넌트를 포함하는 메시지를 전송하도록 구성된 사용자 인식 유닛
    을 더 포함하는 증강 현실 시스템.
  4. 제3항에 있어서,
    상기 사용자 입력은 상기 가상 오브젝트의 선택인, 증강 현실 시스템.
  5. 제1항에 있어서,
    상기 x 축 공간 컴포넌트, 상기 y 축 공간 컴포넌트 및 상기 z 축 공간 컴포넌트는 상기 가상 오브젝트와 연관된 메시지에서 수신되는, 증강 현실 시스템.
  6. 제5항에 있어서,
    상기 메시지는 상기 가상 오브젝트에 의하여 자동적으로 생성된 액티브 메시지(active message)를 포함하는, 증강 현실 시스템.
  7. 제5항에 있어서,
    상기 메시지는 상기 가상 오브젝트의 사용자 선택에 응답하여 생성된 패시브 메시지(passive message)를 포함하는, 증강 현실 시스템.
  8. 제1항에 있어서,
    제1 사운드 매핑 테이블(sound mapping table)을 저장하도록 구성되는 제1 사운드 파일 저장소 및
    제2 사운드 매핑 테이블을 저장하도록 구성된 제2 사운드 파일 저장소를 더 포함하고,
    상기 x 축 공간 컴포넌트, 상기 y 축 공간 컴포넌트 및 상기 z 축 공간 컴포넌트는 상기 가상 오브젝트와 연관된 메시지에서 수신되고,
    상기 메시지는 상기 가상 오브젝트에 의하여 자동적으로 생성된 액티브 메시지 및 상기 가상 오브젝트의 사용자 선택에 응답하여 생성된 패시브 메시지를 포함하고,
    상기 사운드 파일은 상기 액티브 메시지와 연관되며,
    상기 메시지 처리 유닛은,
    상기 제1 사운드 매핑 테이블을 이용하여 상기 x 축 공간 컴포넌트에 기초한 상기 톤 오디오 컴포넌트, 상기 y 축 공간 컴포넌트에 기초한 상기 피치 오디오 컴포넌트 및 상기 z 축 공간 컴포넌트에 기초한 상기 볼륨 오디오 컴포넌트를 결정하고,
    상기 제2 사운드 매핑 테이블을 이용하여 상기 x 축 공간 컴포넌트에 기초한 제2 톤 오디오 컴포넌트, 상기 y 축 공간 컴포넌트에 기초한 제2 피치 오디오 컴포넌트 및 상기 z 축 공간 컴포넌트에 기초한 제2 볼륨 오디오 컴포넌트를 결정하고, 그리고
    상기 패시브 메시지와 연관되고, 상기 제2 톤 오디오 컴포넌트, 상기 제2 피치 오디오 컴포넌트 및 상기 제2 볼륨 오디오 컴포넌트를 포함하는 제2 사운드 파일을 작성하도록 더 구성되는, 증강 현실 시스템.
  9. 제1항에 있어서,
    사운드 매핑 테이블을 저장하도록 구성되는 사운드 파일 저장소를 더 포함하고,
    상기 메시지 처리 유닛은 상기 사운드 매핑 테이블을 이용하여 상기 x 축 공간 컴포넌트에 기초한 상기 톤 오디오 컴포넌트, 상기 y 축 공간 컴포넌트에 기초한 상기 피치 오디오 컴포넌트 및 상기 z 축 공간 컴포넌트에 기초한 상기 볼륨 오디오 컴포넌트를 결정하도록 더 구성되는, 증강 현실 시스템.
  10. 제9항에 있어서,
    상기 사운드 매핑 테이블은 상기 x 축 공간 컴포넌트, 상기 y 축 공간 컴포넌트 및 상기 z 축 공간 컴포넌트 중 적어도 하나와 상기 톤 오디오 컴포넌트, 상기 피치 오디오 컴포넌트 및 상기 볼륨 오디오 컴포넌트 중 적어도 하나 사이의 관계를 나타내는 함수식을 포함하는, 증강 현실 시스템.
  11. 제1항에 있어서,
    상기 프로세서에 의하여 실행 가능하고, 상기 실세계 이미지의 공간 속성을 인식하도록 구성된 깊이 인식 유닛(depth recognition unit); 및
    상기 프로세서에 의하여 실행 가능하고, 상기 실세계 이미지의 상기 공간 속성에 기초하여 사용자 및 상기 가상 오브젝트 사이의 거리를 계산하도록 구성되는 거리 계산 유닛
    을 더 포함하는 증강 현실 시스템.
  12. 제1항에 있어서,
    상기 증강 현실 이미지를 디스플레이 하도록 구성된 디스플레이 유닛을 더 포함하는 증강 현실 시스템.
  13. 제1항에 있어서,
    상기 프로세서에 의하여 실행 가능하고, 이미지 캡처 유닛에 의해 캡처된 사용자의 행동을 인식하도록 구성된 사용자 인식 유닛을 더 포함하는 증강 현실 시스템.
  14. 증강 현실 시스템의 제어 하에 수행되는 방법으로서,
    컴퓨터 프로세서에 의하여, 실세계 이미지 및 가상 오브젝트를 병합함으로써 증강 현실 엔진을 이용하여 증간 현실 이미지를 생성하는 단계;
    상기 컴퓨터 프로세서에 의하여, 상기 가상 오브젝트에 대한 x 축 공간 컴포넌트, y 축 공간 컴포넌트 및 z 축 공간 컴포넌트를 수신하는 단계;
    상기 컴퓨터 프로세서에 의하여, 상기 x 축 공간 컴포넌트에 기초하여 톤(tone) 오디오 컴포넌트를 결정하는 단계;
    상기 컴퓨터 프로세서에 의하여, 상기 y 축 공간 컴포넌트에 기초하여 피치(pitch) 오디오 컴포넌트를 결정하는 단계;
    상기 컴퓨터 프로세서에 의하여, 상기 z 축 공간 컴포넌트에 기초하여 볼륨(volume) 오디오 컴포넌트를 결정하는 단계; 및
    상기 컴퓨터 프로세서에 의하여, 상기 가상 오브젝트와 연관되고, 상기 톤 오디오 컴포넌트, 상기 피치 오디오 컴포넌트 및 상기 볼륨 오디오 컴포넌트를 포함하는 사운드 파일을 작성하는 단계
    를 포함하는 방법.
  15. 제14항에 있어서,
    상기 사운드 파일을 재생하는 단계를 더 포함하는 방법.
  16. 제14항에 있어서
    상기 x 축 공간 컴포넌트, 상기 y 축 공간 컴포넌트 및 상기 z 축 공간 컴포넌트는 상기 가상 오브젝트와 연관된 메시지에서 수신되는, 방법.
  17. 제16항에 있어서,
    상기 메시지는 상기 가상 오브젝트에 의하여 자동적으로 생성된 액티브 메시지 또는 상기 가상 오브젝트의 사용자 선택에 응답하여 생성된 패시브 메시지 중 적어도 하나를 포함하는, 방법.
  18. 제14항에 있어서
    상기 x 축 공간 컴포넌트에 기초한 상기 톤 오디오 컴포넌트, 상기 y 축 공간 컴포넌트에 기초한 상기 피치 오디오 컴포넌트 및 상기 z 축 공간 컴포넌트에 기초한 상기 볼륨 오디오 컴포넌트를 결정하기 위하여 사운드 매핑 테이블이 이용되는, 방법.
  19. 컴퓨터 판독 가능 저장 매체로서, 그 콘텐츠(content)는 프로세서로 하여금
    증강 현실 엔진을 이용하여, 실세계 이미지 및 가상 오브젝트를 병합함으로써 증강 현실 이미지를 생성하고;
    상기 가상 오브젝트에 대한 x 축 공간 컴포넌트, y 축 공간 컴포넌트 및 z 축 공간 컴포넌트를 수신하고;
    상기 x 축 공간 컴포넌트에 기초하여 톤(tone) 오디오 컴포넌트를 결정하고;
    상기 y 축 공간 컴포넌트에 기초하여 피치(pitch) 오디오 컴포넌트를 결정하고;
    상기 z 축 공간 컴포넌트에 기초하여 볼륨(volume) 오디오 컴포넌트를 결정하며; 그리고
    상기 가상 오브젝트와 연관되고, 상기 톤 오디오 컴포넌트, 상기 피치 오디오 컴포넌트 및 상기 볼륨 오디오 컴포넌트를 포함하는 사운드 파일을 작성하도록 하는 컴퓨터 판독 가능 저장 매체.
  20. 제19항에 있어서,
    상기 콘텐츠는 상기 프로세서로 하여금 또한 상기 사운드 파일을 재생하도록 하는, 컴퓨터 판독 가능 저장 매체.
  21. 제19항에 있어서,
    상기 x 축 공간 컴포넌트, 상기 y 축 공간 컴포넌트 및 상기 z 축 공간 컴포넌트는 상기 가상 오브젝트와 연관된 메시지에서 수신되는, 컴퓨터 판독 가능 저장 매체.
  22. 제21항에 있어서,
    상기 메시지는 상기 가상 오브젝트에 의하여 자동적으로 생성된 액티브 메시지 또는 상기 가상 오브젝트의 사용자 선택에 응답하여 생성된 패시브 메시지 중 적어도 하나를 포함하는, 컴퓨터 판독 가능 저장 매체.
  23. 제19항에 있어서,
    상기 콘텐츠는 상기 프로세서로 하여금 또한 사운드 매핑 테이블을 이용하여 상기 x 축 공간 컴포넌트에 기초한 상기 톤 오디오 컴포넌트, 상기 y 축 공간 컴포넌트에 기초한 상기 피치 오디오 컴포넌트 및 상기 z 축 공간 컴포넌트에 기초한 상기 볼륨 오디오 컴포넌트를 결정하도록 하는, 컴퓨터 판독 가능 저장 매체.
KR1020137006393A 2010-12-02 2010-12-02 증강 현실 시스템 KR101458939B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2010/058675 WO2012074528A1 (en) 2010-12-02 2010-12-02 Augmented reality system

Publications (2)

Publication Number Publication Date
KR20130052625A KR20130052625A (ko) 2013-05-22
KR101458939B1 true KR101458939B1 (ko) 2014-11-07

Family

ID=46162966

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137006393A KR101458939B1 (ko) 2010-12-02 2010-12-02 증강 현실 시스템

Country Status (5)

Country Link
US (2) US8660679B2 (ko)
JP (1) JP5735128B2 (ko)
KR (1) KR101458939B1 (ko)
CN (1) CN103201731B (ko)
WO (1) WO2012074528A1 (ko)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP5377537B2 (ja) * 2011-02-10 2013-12-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
US9041739B2 (en) * 2012-01-31 2015-05-26 Microsoft Technology Licensing, Llc Matching physical locations for shared virtual experience
US20130297460A1 (en) 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
AU2013308384A1 (en) * 2012-08-28 2015-03-26 University Of South Australia Spatial Augmented Reality (SAR) application development system
JP6007712B2 (ja) * 2012-09-28 2016-10-12 ブラザー工業株式会社 ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US9946963B2 (en) * 2013-03-01 2018-04-17 Layar B.V. Barcode visualization in augmented reality
JP2014187559A (ja) * 2013-03-25 2014-10-02 Yasuaki Iwai 仮想現実提示システム、仮想現実提示方法
JP6245837B2 (ja) * 2013-04-30 2017-12-13 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2014200621A1 (en) * 2013-06-13 2014-12-18 Evernote Corporation Initializing chat sessions by pointing to content
CN104281959A (zh) * 2013-07-09 2015-01-14 永庆房屋仲介股份有限公司 对象显示方法及其系统
US9361733B2 (en) 2013-09-02 2016-06-07 Lg Electronics Inc. Portable device and method of controlling therefor
KR102161510B1 (ko) * 2013-09-02 2020-10-05 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
KR102206060B1 (ko) 2013-11-19 2021-01-21 삼성전자주식회사 전자 장치의 효과 디스플레이 방법 및 그 전자 장치
US9754167B1 (en) * 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
KR101459005B1 (ko) * 2014-05-29 2014-11-07 (주)이지스 3차원 지도의 관심지점 표시 제어 방법
US9185062B1 (en) * 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US10930038B2 (en) 2014-06-10 2021-02-23 Lab Of Misfits Ar, Inc. Dynamic location based digital element
US10026226B1 (en) 2014-06-10 2018-07-17 Ripple Inc Rendering an augmented reality object
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9092898B1 (en) 2014-07-03 2015-07-28 Federico Fraccaroli Method, system and apparatus for the augmentation of radio emissions
US9724605B2 (en) * 2014-08-12 2017-08-08 Utherverse Digital Inc. Method, system and apparatus of recording and playing back an experience in a virtual worlds system
CN104240096A (zh) * 2014-08-27 2014-12-24 小米科技有限责任公司 信息显示方法及装置、电子设备
KR102226817B1 (ko) * 2014-10-01 2021-03-11 삼성전자주식회사 콘텐츠 재생 방법 및 그 방법을 처리하는 전자 장치
US10122929B2 (en) * 2014-10-06 2018-11-06 Lg Electronics Inc. Digital image processing device which creates and displays an augmented reality (AR) image
WO2016079960A1 (en) * 2014-11-18 2016-05-26 Seiko Epson Corporation Image processing apparatus, control method for image processing apparatus, and computer program
US9685005B2 (en) 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
KR101588409B1 (ko) 2015-01-08 2016-01-25 (주)천일전자 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법
US10921896B2 (en) 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
EP3104241B1 (en) * 2015-06-12 2020-09-16 Accenture Global Services Limited An augmented reality method and system for measuring and/or manufacturing
CN106445088B (zh) * 2015-08-04 2020-05-22 上海宜维计算机科技有限公司 现实增强的方法及系统
US10373392B2 (en) 2015-08-26 2019-08-06 Microsoft Technology Licensing, Llc Transitioning views of a virtual model
CN105117021A (zh) * 2015-09-24 2015-12-02 深圳东方酷音信息技术有限公司 一种虚拟现实内容的生成方法和播放装置
CN105472284A (zh) * 2015-11-27 2016-04-06 厦门正景智能工程有限公司 一种儿童动画虚实结合互动的系统及方法
CN105910614B (zh) * 2016-03-30 2019-10-22 宁波元鼎电子科技有限公司 一种健康型的虚拟现实的步行导航方法与系统
CN105910616B (zh) * 2016-03-30 2019-04-12 南京天枢星图信息技术有限公司 一种改进型的基于虚拟现实的步行导航方法与系统
CN105910615B (zh) * 2016-03-30 2019-08-30 上海工业控制安全创新科技有限公司 一种基于虚拟现实的步行导航方法与系统
CN105910613B (zh) * 2016-03-30 2019-10-22 宁波元鼎电子科技有限公司 一种自适应的基于虚拟现实的步行导航方法与系统
US10282865B2 (en) * 2016-04-12 2019-05-07 R-Stor Inc. Method and apparatus for presenting imagery within a virtualized environment
CN106127858B (zh) * 2016-06-24 2020-06-23 联想(北京)有限公司 一种信息处理方法及电子设备
US11083968B2 (en) * 2016-07-05 2021-08-10 Lego A/S Method for creating a virtual object
US20190258313A1 (en) * 2016-11-07 2019-08-22 Changchun Ruixinboguan Technology Development Co., Ltd. Systems and methods for interaction with an application
CN107466357B (zh) * 2016-12-27 2019-12-03 深圳前海达闼云端智能科技有限公司 导航界面显示方法和装置
US9841814B1 (en) * 2017-01-27 2017-12-12 Emergent AR Platforms Corp. Intentional user experience
US10880716B2 (en) 2017-02-04 2020-12-29 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities, and services in connection with the reception of an electromagnetic signal
KR20180131856A (ko) * 2017-06-01 2018-12-11 에스케이플래닛 주식회사 배송 물품 정보 제공 방법 및 이를 위한 장치
WO2019082050A1 (ru) * 2017-10-23 2019-05-02 ГИОРГАДЗЕ, Анико Тенгизовна Взаимодействие пользователей в коммуникационных системах с использованием сообщения-истории дополненной реальности
CN109839105A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 一种基于增强现实的位置导航方法及系统
CN108109211A (zh) * 2017-12-18 2018-06-01 快创科技（大连）有限公司 一种基于增强现实和色差分析技术的地铁交通管理系统
CN108010133A (zh) * 2017-12-18 2018-05-08 快创科技（大连）有限公司 一种基于增强现实的地铁交通管理系统
IL276511B2 (en) 2018-02-15 2024-01-01 Magic Leap Inc Musical instruments in mixed reality
TWI690826B (zh) * 2018-05-23 2020-04-11 國立臺灣師範大學 擴增內容的產生方法
US11023093B2 (en) 2018-05-30 2021-06-01 Microsoft Technology Licensing, Llc Human-computer interface for computationally efficient placement and sizing of virtual objects in a three-dimensional representation of a real-world environment
US11080941B2 (en) * 2018-12-20 2021-08-03 Microsoft Technology Licensing, Llc Intelligent management of content related to objects displayed within communication sessions
US10990251B1 (en) * 2019-11-08 2021-04-27 Sap Se Smart augmented reality selector
US11337023B2 (en) 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
US11361735B1 (en) * 2020-04-15 2022-06-14 Apple Inc. Head-mountable device with output for distinguishing virtual and physical objects
US11636843B2 (en) 2020-05-29 2023-04-25 Magic Leap, Inc. Surface appropriate collisions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US20050281410A1 (en) * 2004-05-21 2005-12-22 Grosvenor David A Processing audio data
US20100151946A1 (en) * 2003-03-25 2010-06-17 Wilson Andrew D System and method for executing a game process

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795068B1 (en) * 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
GB2374501B (en) 2001-01-29 2005-04-13 Hewlett Packard Co Facilitation of clear presenentation in audio user interface
US6741883B2 (en) 2002-02-28 2004-05-25 Houston Stereotactic Concepts, Inc. Audible feedback from positional guidance systems
JP3813919B2 (ja) * 2002-11-07 2006-08-23 株式会社東芝 音情報生成システム及び音情報生成方法
JP4389501B2 (ja) * 2003-07-29 2009-12-24 ヤマハ株式会社 画像処理装置
JP4277646B2 (ja) * 2003-10-23 2009-06-10 日産自動車株式会社 ナビゲーション装置
US20110111849A1 (en) * 2005-12-06 2011-05-12 Microvision, Inc. Spatially Aware Mobile Projection
US20070140532A1 (en) * 2005-12-20 2007-06-21 Goffin Glen P Method and apparatus for providing user profiling based on facial recognition
JP2008076765A (ja) * 2006-09-21 2008-04-03 Xing Inc 演奏システム
US7792674B2 (en) * 2007-03-30 2010-09-07 Smith Micro Software, Inc. System and method for providing virtual spatial sound with an audio visual player
JP4729531B2 (ja) * 2007-05-18 2011-07-20 富士通株式会社 空間情報サービス用のサーバ装置
JP2011514986A (ja) * 2008-03-11 2011-05-12 ミーサ デジタル ピーティーワイ リミテッド デジタル楽器
US20090237492A1 (en) * 2008-03-18 2009-09-24 Invism, Inc. Enhanced stereoscopic immersive video recording and viewing
EP2157545A1 (en) * 2008-08-19 2010-02-24 Sony Computer Entertainment Europe Limited Entertainment device, system and method
US8121618B2 (en) * 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US20100151946A1 (en) * 2003-03-25 2010-06-17 Wilson Andrew D System and method for executing a game process
US20050281410A1 (en) * 2004-05-21 2005-12-22 Grosvenor David A Processing audio data

Also Published As

Publication number Publication date
US20120143361A1 (en) 2012-06-07
JP5735128B2 (ja) 2015-06-17
US8660679B2 (en) 2014-02-25
WO2012074528A8 (en) 2012-07-26
WO2012074528A1 (en) 2012-06-07
US20140126724A1 (en) 2014-05-08
CN103201731A (zh) 2013-07-10
KR20130052625A (ko) 2013-05-22
CN103201731B (zh) 2016-01-20
US9215530B2 (en) 2015-12-15
JP2014507020A (ja) 2014-03-20

Similar Documents

Publication Publication Date Title
KR101458939B1 (ko) 증강 현실 시스템
US10564517B2 (en) Closed loop position control for camera actuator
US9007524B2 (en) Techniques and apparatus for audio isolation in video processing
CN106575361B (zh) 提供视觉声像的方法和实现该方法的电子设备
TW201828120A (zh) 群組推薦之虛擬助理產生
JP5147871B2 (ja) 拡張現実における差分トライアル
US9626773B2 (en) Augmented reality alteration detector
CN107111492A (zh) 跨诸设备缩放数字个人助理代理
US20110316880A1 (en) Method and apparatus providing for adaptation of an augmentative content for output at a location based on a contextual characteristic
WO2022007565A1 (zh) 增强现实的图像处理方法、装置、电子设备及存储介质
WO2020259522A1 (zh) 一种内容查找方法、相关设备及计算机可读存储介质
JP2009277097A (ja) 情報処理装置
CN112817790A (zh) 模拟用户行为的方法
US10229523B2 (en) Augmented reality alteration detector
Carroll et al. Designing accessible visualizations: The case of designing a weather map for blind users
JP2011081557A (ja) 情報処理装置、情報処理方法およびプログラム
US11238846B2 (en) Information processing device and information processing method
JP2013025622A (ja) 情報表示装置、情報表示方法およびプログラム
US20140125820A1 (en) Digital device and method for controlling the same
US10930077B1 (en) Systems and methods for rendering augmented reality mapping data
CN108876873B (zh) 图像生成方法、装置、设备和存储介质
CN117311510A (zh) 基于扩展现实的控制方法、装置、电子设备和存储介质
CN117037828A (zh) 音乐噪声样本过滤方法、电子设备及存储介质
YAMAUCHI et al. Designing interactive sound application for ubiquitous space
Abate et al. An augmented interface to audio-video components

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170929

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181129

Year of fee payment: 5