KR20140028116A - 증강 현실을 위한 광대역 수동적 추적 - Google Patents

증강 현실을 위한 광대역 수동적 추적 Download PDF

Info

Publication number
KR20140028116A
KR20140028116A KR1020147002052A KR20147002052A KR20140028116A KR 20140028116 A KR20140028116 A KR 20140028116A KR 1020147002052 A KR1020147002052 A KR 1020147002052A KR 20147002052 A KR20147002052 A KR 20147002052A KR 20140028116 A KR20140028116 A KR 20140028116A
Authority
KR
South Korea
Prior art keywords
signals
interest
tracking
objects
augmented reality
Prior art date
Application number
KR1020147002052A
Other languages
English (en)
Other versions
KR101677813B1 (ko
Inventor
헨리 렁
시아오시앙 리우
Original Assignee
엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 filed Critical 엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Publication of KR20140028116A publication Critical patent/KR20140028116A/ko
Application granted granted Critical
Publication of KR101677813B1 publication Critical patent/KR101677813B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/04—Position of source determined by a plurality of spaced direction-finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/14—Determining absolute distances from a plurality of spaced points of known location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

주변의 브로드캐스트 소스들로부터 전자기 파들(예컨대, 무선 주파수 "RF" 신호들)을 감지하는 능력을 각각 갖는 복수의 수동형 수신기들을 이용할 수 있는 광대역 수동적 감지 및 추적 시스템에 관한 기술들이 일반적으로 설명된다. 각각의 수동형 수신기는 하나 이상의 안테나들을 통해 감지하도록 구성될 수 있다. 상이한 위치들에 있는 다중 수신기들은 관심대상의 장면의 협동적 추적을 수행하도록 구성된 광대역 감지 네트워크를 형성하기 위해 이용될 수 있다. 몇몇 예시들에 따르면, 빔 형성 알고리즘은 객체들을 위치측정하고 추적하기 위해 수동형 수신기들에 의해 형성된 안테나 어레이를 이용하여 광대역 감지 네트워크에 걸쳐 적용될 수 있다.

Description

증강 현실을 위한 광대역 수동적 추적{BROADBAND PASSIVE TRACKING FOR AUGMENTED REALITY}
관련 출원에 대한 상호 참조
본 출원은 "BROADBAND PASSIVE TRACKING FOR AUGMENTED REALITY"이라는 명칭으로 2010년 3월 8일에 출원된 미국 특허 출원 12/719,797의 우선권을 청구한다. 본 특허 출원의 개시내용은 모든 목적을 위해 본 명세서에서 참조로서 병합된다.
여기서 달리 표시되지 않는 한, 이 섹션에서 설명된 내용들은 본 출원에서의 청구항들에 대한 종래기술이 아니며 이 섹션에서의 포함에 의해 종래기술인 것으로 승인되는 것은 아니다.
증강 현실(Augmented reality; AR)이란 가상 이미지, 일반적으로는 컴퓨터로 생성된 이미지에 의해 엘리먼트들이 증강되고 이로써 합성 현실(mixed reality)이 생성되는 물리적(현실) 세계 환경의 뷰를 말한다. 이러한 증강은 통상적으로 스포츠 경기, 군사 훈련, 게임 등과 같은 환경적 엘리먼트들의 상황에서 실시간적으로 이루어질 수 있다. AR 기술은 객체 인식과 이미지 생성을 추가함으로써 사람의 주변 현실 세계에 관한 정보가 상호작용적이고 디지털방식으로 이용가능하도록 만든다. 이러한 환경과 객체에 관한 인공적 정보는 저장되어 현실 세계 뷰 레이어와는 개별적인 정보 레이어로서 검색될 수 있다.
본 개시내용은 AR 시스템에 대하여 여러가지 제한들이 존재한다는 것을 자각한다. 현실 세계와 동일한 공간에서 공존하는 것으로 나타나는 가상적 또는 컴퓨터로 생성된 객체들로 현실 세계를 보강함으로써, AR 기술은 사용자로 하여금 이러한 객체들 또는 당면한 업무에 관한 추가적인 컴퓨터 기반 정보를 가상적으로 수신하면서 현실의 삼차원(3D) 객체들과 함께 작업하거나 이를 검토할 수 있게 한다. 사용자들로 하여금 합성된 가상 및 현실 세계와 자연스럽게 상호작용할 수 있게 하기 위해, AR 시스템은 사용자의 위치 및 환경 감지를 통한 환경내 관심대상의 다른 객체들의 위치의 정보를 필요로 할 수 있다. 예를 들어, AR 시스템은 랜더링시 폐색현상(occlusion)을 지원하기 위해 현실 장면의 심도 맵(depth map)을 필요로 할 수 있다. 시스템은 또한 객체의 위치와 운동 파라미터들, 즉 속도, 가속도, 운동 방향, 운동 패턴 등에 관한 정보를 이용할 수 있다. 하지만, 위치와 운동 파라미터들을 획득하여 처리하는데 있어서 AR 시스템에 대해 다양한 도전과제들이 남아있다.
이후의 요약은 예시를 위한 것에 불과하며 어떠한 방법으로도 한정적인 의도를 갖는 것은 아니다. 상술한 예시적인 양태들, 실시형태들 및 특징들에 더하여, 추가적인 양태들, 실시형태들 및 특징들이 도면과 이하의 상세한 설명을 참조함으로써 분명해질 것이다.
본 개시내용은 일반적으로 증강 현실(Augmented Reality; AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법을 설명한다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법은 복수의 추적 센서들 각각에서 신호들을 수신하는 단계를 포함할 수 있으며, 복수의 추적 센서들 각각은 광대역 감지 네트워크의 일부를 형성하며, 수신된 신호들은 하나 이상의 에코 신호 및/또는 직접 신호에 대응하며, 각각의 에코 신호는 관심대상의 객체에 의해 산란된 직접 신호들 중의 대응하는 신호와 연관된다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법은 또한 관심대상의 객체와 연관된 데이터를 생성하도록 상기 수신된 신호들을 처리하는 단계를 포함할 수 있으며, 이 데이터는 관심대상의 객체와 연관된 하나 이상의 위치 파라미터 및/또는 운동 파라미터에 대응한다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법은 관심대상의 객체를 포함한 현실 장면을 적어도 하나의 가상 객체로 증강시키기 위해 하나 이상의 위치 파라미터 및/또는 운동 파라미터를 이용하여 현실 장면을 증강시키는 단계를 더 포함할 수 있다.
본 개시내용은 또한 증강 현실(Augmented Reality; AR) 시스템에서의 현실 장면내의 관심대상 객체를 추적하기 위한 시스템을 설명한다. 증강 현실(AR) 시스템에서의 현실 장면내의 관심대상 객체를 추적하기 위한 시스템은 하나 이상의 직접 신호 및/또는 에코 신호에 대응하는 신호들을 수신하고 수신된 신호들을 사전처리하도록 각각 적응된 복수의 추적 센서들을 포함할 수 있으며, 직접 신호들은 하나 이상의 대응하는 송신 소스들과 연관되고, 에코 신호들은 관심대상의 객체로부터 산란된 하나 이상의 직접 신호들과 연관된다. 증강 현실(AR) 시스템에서의 현실 장면내의 관심대상 객체를 추적하기 위한 시스템은 또한 관심대상의 객체와 연관된 캡쳐된 2D 이미지에 기초하여 이미지 정보를 유도하도록 적응된 이미지 처리 서버를 포함할 수 있다. 증강 현실(AR) 시스템에서의 현실 장면내의 관심대상 객체를 추적하기 위한 시스템은 또한 무선 네트워크를 통해 복수의 추적 센서들과 통신하고, 사전처리된 신호들을 수신하고, 사전처리된 신호들에 기초하여 관심대상의 객체를 추적하며, 이미지 정보 및 관심대상의 객체의 추적에 기초하여 현실 장면을 증강하도록 적응된 현실 서버를 포함할 수 있다.
본 개시내용은 또한 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 장치를 설명한다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 장치는 안테나와 추적 센서를 포함한 무선 통신 디바이스를 포함할 수 있으며, 무선 통신 디바이스는 안테나로 신호들을 수신하도록 적응되고, 수신된 신호들은 하나 이상의 송신 소스들로부터의 하나 이상의 직접 신호들 또는 하나 이상의 직접 신호들의 결과로서의 하나 이상의 관심대상의 객체들로부터 산란된 에코 신호들에 대응한다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 장치는 안테나와 추적 센서를 포함한 무선 통신 디바이스를 포함할 수 있으며, 무선 통신 디바이스는 또한 수신된 신호들을 사전처리하여 하나 이상의 주파수 영역 신호들을 획득하고, 하나 이상의 주파수 영역 신호들을 위상 보상하여 위상 보상된 신호들을 생성하며, 위상 보상된 신호들로부터 하나 이상의 관심대상의 객체들과 연관된 위치 및/또는 운동 정보를 유도하도록 적응된다.
본 개시내용은 또한 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 장치를 설명한다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 장치는 메모리와, 이 메모리에 결합된 프로세서를 포함할 수 있다. 프로세서는 메모리와 협력하여 AR 엔진을 실행하도록 구성되고, 이로써 프로세서는 대응하는 AR 인에이블드 무선 디바이스들의 통신 네트워크들과는 구별되는 무선 네트워크를 통해 AR 인에이블드 무선 디바이스들내로 통합된 복수의 추적 센서들과 통신하고 추적 센서들의 갯수 및 위치를 적응적으로 선택하도록 적응된다. 프로세서는 또한 추적 센서들에 의해 검출된 사전처리된 신호들 - 상기 사전처리된 신호들은 하나 이상의 직접 신호들 및/또는 이 직접 신호들이 하나 이상의 관심대상의 객체들에 의해 반사됨으로써 초래된 에코 신호들에 대응함 - 을 수신하며, 수신된 신호들에 빔 형성 처리를 적용하여 하나 이상의 관심대상의 객체들에 대한 위치 및 운동 파라미터들을 추정하도록 적응될 수 있다.
본 개시내용은 또한 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 명령들이 저장된 컴퓨터 판독가능한 저장 매체를 설명한다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 명령들은 추적 센서를 포함한 무선 디바이스와 연관된 송신 소스로부터, 상기 추적 센서에서, 하나 이상의 송신 소스들로부터 하나 이상의 직접 신호들 또는 하나 이상의 직접 신호들의 결과로서 하나 이상의 관심대상의 객체들로부터 산란된 에코 신호들을 수신하는 것을 포함할 수 있다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 명령들은 또한 수신된 신호들을 추적 센서에서 사전처리하는 것과, 각각의 사전처리된 직접 신호와 에코 신호의 교차 상관에 기초하여 주파수 스펙트럼 신호를 유도하는 것을 포함할 수 있다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 명령들은 복수의 추적 센서들로부터 수신된 주파수 스펙트럼 신호들의 쌍을 위상 보상 모듈에서 위상 보상하는 것과, 복수의 추적 센서들의 갯수와 위치를 적응적으로 선택함으로써 위상 보상된 신호들로부터 하나 이상의 관심대상의 객체들과 연관된 위치 및/또는 운동 정보를 추적/위치측정 모듈에서 유도하는 것을 더 포함할 수 있다.
주변의 브로드캐스트 소스들로부터 전자기 파들(예컨대, 무선 주파수 "RF" 신호들)을 감지하는 능력을 각각 갖는 복수의 수동형 수신기들을 이용할 수 있는 광대역 수동적 감지 및 추적 시스템에 관한 기술들이 제공될 수 있다.
본 개시내용의 전술내용 및 다른 특징들은 첨부 도면들을 함께 참조할 때에 아래의 상세한 설명과 첨부된 청구범위로부터 보다 완전히 분명해질 것이다. 이러한 도면들은 본 개시내용에 따른 몇가지 실시형태들을 도시하는 것일 뿐이며, 이에 따라 본 개시내용의 범위를 제한시키는 것으로 간주되지 않는다라는 것을 이해하면서, 본 개시내용은 첨부 도면들의 이용을 통해 추가적인 특수성 및 상세성을 갖고 설명될 것이다.
도 1은 몇몇 실시형태들이 구현될 수 있는 예시적인 증강 현실(AR) 시스템을 도시한다.
도 2는 입력을 AR 시스템에 제공할 수 있는 예시적인 광대역 수동적 추적 시스템 아키텍처를 도시한다.
도 3a는 다양한 송신 소스들을 이용한 예시적인 AR 디바이스들에 의한 예시적인 추적 처리들의 블록도를 도시한다.
도 3b는 예시적인 AR 엔진들로의 입력에 기초한 추적 동작들의 블록도를 도시한다.
도 4는 실시형태들에 따른 시스템에서의 수동형 센서 네트워크의 기하학적 표현을 도시한다.
도 5는 AR 시스템에서 광대역 수동적 추적을 구현하기 위해 이용될 수 있는 범용 컴퓨팅 디바이스를 도시한다.
도 6은 도 5에서의 디바이스(500)와 같은 컴퓨팅 디바이스에 의해 수행될 수 있는 예시적인 방법을 도시하는 흐름도이다.
도 7은 여기서 설명된 적어도 몇몇의 실시형태들에 따라 모두 마련된, 예시적인 컴퓨터 프로그램 제품의 블록도를 도시한다.
다음의 상세한 설명에서, 상세한 설명의 일부를 형성하는 첨부 도면을 참조한다. 도면들에서, 문맥이 이와 달리 지시하지 않는 한, 유사한 심볼들은 일반적으로 유사한 컴포넌트들을 식별시킨다. 상세한 설명, 도면 및 특허청구범위에서 기술된 예시적인 실시형태들은 한정적인 것을 의미하지 않는다. 본 명세서에서 제공된 주제의 사상 또는 범위로부터 벗어남 없이, 다른 실시예들이 활용될 수 있고, 다른 변경들이 행해질 수 있다. 여기서 일반적으로 설명되고, 도면들에서 도해된 본 개시내용의 양태들은 폭넓게 다양한 상이한 구성들로 배열되고, 대체되고, 결합되고, 분리되며, 및 설계될 수 있으며, 이 모든 것들은 여기서 명시적으로 구상된다는 것을 손쉽게 이해할 것이다.
본 개시내용은 그 중에서도 증강된 현실 애플리케이션들을 위한 광대역 수동적 추적 시스템에 관련된 방법, 장치, 시스템, 디바이스, 및/또는 컴퓨터 프로그램 제품에 대해 일반적으로 작성된 것이다.
간략히 말해서, 몇몇 실시형태들에 따른 광대역 수동적 감지 및 추적 시스템은 주변 브로드캐스트 소스들로부터 전자기 파들(예컨대, 무선 주파수 "RF" 신호들)을 감지하는 능력을 각각 갖는 복수의 수동형 수신기들을 포함할 수 있다. 각각의 수동형 수신기는 하나 이상의 안테나들을 통해 감지하도록 적응될 수 있다. 상이한 위치들에 있는 다중 수신기들은 관심대상의 장면의 협동적 추적을 수행하도록 적응된 광대역 감지 네트워크를 형성하기 위해 이용될 수 있다. 몇몇 예시들에 따르면, 빔 형성 알고리즘은 객체들을 위치측정(localize)하고 추적하기 위해 수동형 수신기들에 의해 형성된 안테나 어레이를 이용하여 광대역 감지 네트워크에 걸쳐 적용될 수 있다.
도 1은 여기서 설명된 적어도 몇몇의 실시형태들에 따라 마련된, 예시적인 증강 현실(AR) 시스템(100)을 도시한다. AR은 현실 세계 표현을 확장하기 위해 라이브 비디오 스트림들에서의 컴퓨터로 생성된 이미지들의 적용을 탐구한다. 본 개시내용에 따라 배열된 예시적인 AR 시스템은 복수의 센서들과 액추에이터들을 포함한 제어된 환경내에 있을 수 있고, 현실 이미지와 컴퓨터로 생성된 이미지를 처리하도록 적응된 하나 이상의 컴퓨팅 디바이스를 포함할 수 있으며, 머리 장착형 디스플레이, 가상 레티날 디스플레이, 모니터 또는 이와 유사한 일반 디스플레이, 및 이에 필적한 디바이스들과 같은 시각화 시스템을 포함할 수 있다.
예시적인 AR 시스템(100)은 객체들의 위치 및/또는 운동을 추적하기 위한 추적 센서들(104-2)뿐만이 아니라, 현실 장면(객체들)(102)의 라이브 이미지들을 캡쳐링하기 위한 이미지 센서들(104-1)을 포함한다. 이미지 센서들(104-1)은 디지털 카메라, 웹캠, 또는 몇몇의 다른 이미지 캡쳐링 디바이스들일 수 있다. 추적 센서들(104-2)은 수동적 감지 네트워크의 주파수, 대역폭, 및 공간 다이버시티를 통해 추적 성능을 증대시키기 위해 수동적 감지 네트워크에서 배열된 복수의 수신 디바이스들을 포함할 수 있다. 수신 디바이스들(예컨대, 하나 이상의 RF 수신기들)은 통신 타워들(예컨대, 셀룰러 전화 통신 타워들) 또는 통신 기지국들과 같은 근처의 신호 소스들로부터 통신 신호들(예컨대, RF 신호들과 같은 전자기 파들)을 이용하도록 적응될 수 있다. 추적 센서들(104-2)은 상이한 위치들에서 위치할 수 있고 협동적 네트워크를 형성하도록 중앙집중식 또는 분산식 컴퓨팅 시스템에 통신가능하게 결합될 수 있다.
캡쳐한 이미지(들)은 이미지 처리 서브시스템(106)에 제공될 수 있으며, 이 이미지 처리 서브시스템(106)은 이미지들의 디지털 이미지들로의 디지털화, 디지털 이미지들의 수신, 및/또는 디지털 이미지들의 처리 중 하나 이상을 수행하도록 적응될 수 있다. 디지털 이미지들의 처리는 이미지들에서의 특징점들의 위치들의 결정, 아핀(affine) 투사의 계산, 가장자리들의 추적, 필터링, 및/또는 이와 유사한 동작들 중의 하나 이상을 포함할 수 있다. 이미지 처리 서브시스템(106)은 상술한 동작들의 하나 이상의 결과물들과 같은, 투사 정보를 현실 엔진(110)에 제공하도록 구성될 수 있다. 추적 센서들(104-2)은 현실 장면(102)에서의 관심대상 객체들과 연관된 위치 및/또는 운동 정보를 현실 엔진(110)에 제공하도록 구성될 수 있다. 현실 엔진(110)은 추적 센서들(104-2)로부터의 위치 및/또는 운동 정보를 병합한 캡쳐된 이미지들에 기초하여 장면들을 랜더링하는 그래픽 처리를 실행하도록 적응될 수 있다. 이하에서 보다 자세하게 논의되는 바와 같이 추적 정보를 이용하여 다양한 객체들이 랜더링될 수 있다.
이미지 생성기(108)는 이미지 센서들(104-1)로부터의 기준 이미지(들)뿐만이 아니라 가상 객체(들)과 연관된 이미지 데이터를 수신하도록 적응될 수 있고, 캡쳐된 현실 장면 이미지들을 가상 객체(들)과 연관된 이미지 데이터와 겹치게 하여 증강된 장면(114)을 제공하도록 적응될 수 있다. 디스플레이(112)는 AR 시스템(100)에서 이용될 수 있는 하나의 예시적인 시각화 메커니즘이다. 이전에 논의한 바와 같이, AR 시스템(100)의 사용자를 위한 증강 장면(114)의 시각화물을 제공하기 위해 다른 유형들의 디스플레이 디바이스들이 이용될 수 있다.
이미지 처리 서브시스템(106), 현실 엔진(110), 및 이미지 생성기(108)는 하나 이상의 컴퓨팅 디바이스들상에서 별개의 애플리케이션들, 하나 이상의 통합된 애플리케이션들, 하나 이상의 집중식 서비스들, 또는 하나 이상의 분산식 서비스들로서 구현될 수 있다. 각각의 컴퓨팅 디바이스는 독립형 컴퓨터, 네트워크연결된 컴퓨터 시스템, 범용 프로세싱 유닛(예컨대, 마이크로프로세서, 마이크로제어기, 디지털 신호 프로세서 또는 DSP, 등), 또는 특수목적용 프로세싱 유닛일 수 있는 범용 컴퓨팅 디바이스 또는 특수목적용 컴퓨팅 디바이스 중 어느 하나일 수 있다. AR 시스템(100)의 다양한 컴포넌트들은, 상이한 컴퓨팅 디바이스들상에서 실행되는 경우, 하나 이상의 네트워크들에 걸쳐 통신하도록 적응될 수 있다.
네트워크(들)은 서버, 클라이언트, 스위치, 라우터, 모뎀, 인터넷 서비스 제공자(Internet service provider; ISP), 및 임의의 적절한 통신 매체(예컨대, 유선 또는 무선 통신)을 이용한 임의의 토폴로지를 포함할 수 있다. 몇몇 실시형태들에 따른 시스템은 정적 또는 동적 네트워크 토폴로지를 가질 수 있다. 네트워크(들)은 기업 네트워크(예컨대, LAN, WAN, 또는 WLAN)과 같은 보안 네트워크, 무선 개방 네트워크(예컨대, IEEE 802.11 무선 네트워크)와 같은 비보안 네트워크, 또는 인터넷과 같은 월드 와이드 네트워크를 포함할 수 있다. 네트워크(들)은 또한 함께 동작하도록 적응된 복수의 개별적인 네트워크들을 포함할 수 있다. 네트워크(들)은 여기서 설명된 노드들간의 통신을 제공하도록 적응된다. 비제한적인 예로서, 네트워크(들)은 음향, RF, 적외선과 같은 무선 매체 및 다른 무선 매체를 포함할 수 있다.
도 2는 입력을 AR 시스템에 제공할 수 있는 예시적인 광대역 수동적 추적 시스템 아키텍처(200)를 도시한다. AR 기술에서의 강화는 현존하는 현실 객체들에 관한 비기하학적 정보의 디스플레이 또는 환경내로 겹쳐진 가상의 기하학적 객체들을 포함할 수 있다. 정확한 등록은 사용자(230)의 위치의 정확한 추적과 관심대상 장면(228)에서 다른 객체들을 감지하는 것에 기초한다. 적어도 몇몇 실시형태들에 따른 AR 시스템은 무선 주파수(Radio Frequency; RF) 신호들을 통한 수동적 감지 및 추적을 이용한다. 수동적 감지는 근처의 송신 소스들(예컨대, 브로드캐스팅 타워(222) 또는 기지국들(224, 236))로부터의 기존의 조명 소스들을 이용하고 수동형 수신기들을 통해 객체들로부터 산란된 수신 신호들을 분석한다.
몇몇 송신 소스들은, 비제한적인 예시로서, 오디오, 텔레비젼 또는 몇몇의 다른 데이터 통신 소스용으로 이용될 수 있는 셀룰러 통신 소스들, 또는 무선 주파수(RF) 통신 소스들이 포함될 수 있다. 몇몇의 예시적 소스들에는 TV 브로드캐스트 타워, 모바일 통신을 위한 글로벌 시스템(Global System for Mobile communication; GSM) 타워, 코드 분할 다중 액세스(Code Division Multiple Access; CDMA) 셀룰러 통신 타워, 시분할 다중 액세스(Time Division Multiple Access; TDMA) 통신 타워, 또는 직교 주파수 분할 다중 액세스(Orthogonal Frequency-Division Multiple Access; OFDMA) 통신 타워, 진폭 변조(Amplitude Modulation; AM) 또는 주파수 변조(Frequency Modulation; FM) 브로드캐스트 타워, 디지털 오디오 브로드캐스팅(Digital Audio Broadcasting; DAB) 소스, 디지털 비디오 브로드캐스팅 지상형(Digital Video Broadcasting-Terrestrial; DVB-T) 소스, 무선 근거리 네트워크(Wireless Local Area Network; WLAN) 액세스 포인트, 광대역 네트워크(Wide Area Network; WAN) 액세스 포인트, 초광대역 네트워크(Metropolitan Area Network; MAN) 액세스 포인트, 개인 영역 네트워크(Personal Area Network; PAN) 액세스 포인트, 및 이에 필적한 것들이 포함될 수 있다. 마찬가지로, 예시적인 AR 디바이스들에는, 비제한적인 예시로서, TV 수신기, 디지털 TV 수신기, GSM 디바이스, CDMA 디바이스, AM/FM 수신기, DAB 디바이스, DVB-T 디바이스, WLAN 디바이스, WAN 디바이스, MAN 디바이스, 및 PAN 디바이스, 및 이에 필적한 것들이 포함될 수 있다.
여기서 이용된 용어 "광대역"은 여기서 설명된 몇몇 실시예들에 따른 AR 감지 및 추적 시스템의 수신기들에 의해 이용될 수 있는 광범위한 주파수들을 지칭할 수 있다. 이에 따라, 이 용어는 광대역 인터넷 시스템 또는 이와 유사한 기술들로부터 구별될 수 있다.
광대역 네트워크에서의 수동형 수신기들은 동일한 유형의 조명 소스들로부터 에너지를 수신하도록 구성된 하나 이상의 동질성 센서들, 또는 상이한 유형의 조명 소스들로부터 에너지를 수신하는 이질성 센서들의 집합체일 수 있다. 수동형 수신기들은 핸드헬드 디바이스들 또는 머리 장착형 디바이스들(예컨대, AR 디바이스들(226, 232, 234))과 같은 AR 인에이블드 디바이스들 내에 있도록 설계되고 이 안에 통합될 수 있다. 수동형 수신기들은 관심대상 장면(228)의 수동적 추적을 협동적으로 수행하기 위해 개별적인 네트워크(예컨대, 근거리 네트워크)를 통해 하나 이상의 컴퓨팅 디바이스들과 통신하도록 적응될 수 있다.
수동형 수신기에 대응하는, 네트워크 내의 각 노드는 주변의 브로드캐스팅 소스들(예컨대, 브로드캐스팅 타워(222) 또는 기지국들(224, 236))로부터의 다운링크 송신 채널들 또는 근처의 기지국들로부터의 다운링크 통신 채널들 중 어느 하나를 통해 환경내 관심대상의 RF 신호 스펙트럼에서의 신호들을 수동적으로 수신하고, 캡쳐하고 및/또는 평가하도록 적응될 수 있다. 네트워크내에서의 객체들과 노드간의 상대적 운동은 환경의 도플러 스펙트럼의 변동으로서 관측될 수 있다. 운동 파라미터들은 수신기들의 네트워크를 통해 다중 안테나들에 의해 형성된 임의적 안테나 어레이를 합성함으로써 추정될 수 있다. 수신기 네트워크의 점대점 통신 레이어는 수신기 네트워크 내의 임의의 두 개의 노드들간의 정보의 통신 및 공유를 가능하게 하도록 개발될 수 있다.
안테나 어레이는 정확하고, 연속적인 위치 정보 및/또는 3D 위치 정보를 제공함으로써 각각의 수동형 수신기에 임베딩된 글로벌 위치확인 시스템(Global Positioning System; GPS)과 같은 위치 서비스를 통해 적응적으로 교정될 수 있다. 이 정보는 또한 도 4와 관련하여 아래에서 설명되는 움직이고 있는 객체들에 대한 상이한 위치들로 인한 수동형 수신기들간의 위상차들을 보상하기 위해 이용될 수 있다. 수신기 네트워크에서 이용된 정지형 송신 소스들의 위치들의 정보 및 수신기 네트워크에 걸친 감지 신호들을 업데이트하고 공유함으로써, 추적 및 운동 파라미터들의 추정치를 획득하기 위해 합성된 안테나 어레이상에서 빔 형성 처리가 수행될 수 있다. 빔 형성 알고리즘은 수신기 네트워크에서 적절한 노드들을 선택하고 수신기들의 위치에 따라 최적의 합성된 어레이를 형성함으로써 다양한 감지 환경들에 적응하도록 설계될 수 있다.
각각의 수동형 수신기는 직접 채널 및 에코 채널로서 표시될 수 있는 두 개의 채널들과 동작하도록 적응될 수 있다. 직접 채널 신호는 주위의 기지국들 또는 브로드캐스팅 타워들로부터의 직접적 송출들의 결과로서 수동형 수신기에 의해 수신된 신호들에 대응할 수 있지만, 움직이고 있는 객체들로부터의 산란 신호들은 수동형 수신기의 에코 채널내로 입력될 수 있다. 이 신호들은 수신기들 및/또는 추적 모듈에서 처리될 수 있고, 결과적인 추적 정보는 이미징 센서들(238)로부터 캡쳐된 (비디오 또는 정지)이미지들에 대한 추가적인 처리들을 위해 AR 엔진(240)에 제공될 수 있다. AR 엔진은 시각화 또는 추가적인 AR 관련 처리를 위해 가상 객체들 또는 증강 장면들과 연관된 데이터를 다른 AR 디바이스들(242)에게 출력하도록 구성될 수 있다. 출력 데이터는 또한 시각화를 위해 AR 디바이스들(226, 232, 224)에게 되송신될 수 있다.
도 3a는 여기서 설명된 적어도 몇몇의 실시형태들에 따라 마련된, 다양한 송신 소스들(344, 346, 348)을 이용한 예시적인 AR 디바이스들(352, 354, 356)에 의한 예시적인 추적 처리들의 블록도(300)를 도시한다. 이전에 언급한 바와 같이, 몇몇의 실시형태들에 따른 시스템에서의 각각의 수동형 수신기(361, 366, 372)는 두 개의 채널들(한 채널은 직접 경로에 대응하고 나머지 다른 채널은 에코 경로에 대응한다(358))에 걸쳐 신호들을 수신하도록 구성될 수 있다. 직접 경로는 송신 소스들(예컨대, 송신 타워들(344, 346, 348))과, 수신기들(361, 366, 372)을 병합한 대응하는 AR 디바이스들(352, 354, 356) 사이에 위치한다. 에코 경로는 관심대상의 객체(350)로부터 AR 디바이스들(352, 354, 356)까지의 산란 신호에 관련된 데이터 또는 다른 정보를 위한 통신 경로를 나타낸다.
수신 신호들은 개별적인 AR 디바이스들(352, 354, 및/또는 356) 중의 하나 이상에서 사전처리될 수 있다. 아날로그 사전처리는 신호 보정(예컨대, 직교 신호 보정, 배수적 신호 보정 등), 대역폭 필터링(예컨대, 대역통과, 저역통과, 고역통과와 같은 수동형 또는 능동형 필터들 등), 신호 평균화, 및 블록도(300)에서 AR 디바이스 처리 박스(360)에 의해 도시된 직접 채널 및 에코 채널에 대해 수행될 수 있는 이에 필적가능한 처리들 중의 하나 이상을 포함할 수 있다. 특히, 양쪽 채널들로부터의 수신 신호들은 증폭되거나 감쇄될 수 있으며(예컨대, 이득 스케일링), 하향변환될 수 있으며(예컨대, 복조화), 디지털화될 수 있다(예컨대, 비교기 또는 아날로그-디지털 변환기에 의한 양자화). 다중경로 간섭을 경감시키기 위해, 블라인드 채널 등화(채널 등화 (362, 367, 373))가 직접 신호에 대해 수행될 수 있다. 클러터(clutter)를 억제시키고 에코 채널로부터 직접 신호를 제거하기 위해 디지털화 이후에 양쪽 채널들에 적응적 필터링 알고리즘(적응적 필터링(365, 370, 376))이 적용될 수 있다.
직접 채널로부터의 신호(즉, 직접 채널 신호)와 에코 채널로부터의 신호(즉, 에코 채널 신호)간의 코히어런트 교차 상관(363, 368, 374)을 수행함으로써 수신 신호들에 대한 도플러 스펙트럼이 획득될 수 있다. 파라미트릭 공간을 획득하기 위해 수신기 네트워크를 거쳐 빔 형성 처리를 통해 기저대역 신호들이 제공(378)되기 전에 범위 압축 필터들(364, 369, 375)에서 교차 상관된 기저대역 신호들에 대해 범위 압축이 수행될 수 있다. 객체들을 추적하는 것은 다중 컴퓨팅 디바이스들에 의해 수행된 분산 처리를 통해 또는 단일 컴퓨팅 디바이스의 각 시간 인스턴트에서 합성된 안테나 어레이의 빔 형성 처리 출력을 계산함으로써 실현될 수 있다.
도 3b는 여기서 설명된 적어도 몇몇의 실시형태들에 따라 마련된, 예시적인 AR 엔진에 대한 입력에 기초한 추적 동작들의 블록도(350)를 도시한다. 위에서 논의된 바와 같이, 기저대역 신호들은 블록도(350)에서 도시된 바와 같은 AR 엔진 처리 블록(380)에서 빔 형성 처리를 통해 입력될 수 있다(378).
AR 디바이스들 중의 하나(예컨대, AR 디바이스(352))의 기저대역 신호 출력(382)은 위상차를 제거하기 위한 기준으로서 이용될 수 있다. 센서/송신기 쌍들의 상이한 상대적 위치들로 인해 위상차가 산란 중심에 대해 발생할 수 있다. 이에 따라, 신호들이 서로에 대해 회전/각도/위상 정렬되도록 기저대역 출력 신호들 중의 하나는 각 AR 디바이스 쌍에 대한 다른 기저대역 출력 신호로부터 위상차를 제거하기 위한 기준 신호로서 이용될 수 있다. 주파수 영역에서의 위상 보상(384) 후, 결과적인 신호들은 상이한 센서 위치들에서 기준 송신 타워로부터 획득된 신호들과 동등할 수 있다. 이것은 타겟 위치측정 및 추적(386)이 AR 디바이스들(예컨대, 쌍형태)로부터 위상 보상된 기저대역 출력 신호들(385)를 이용하여 AR 엔진 처리 모듈(380)에 의해 수행가능하도록 한다. 그 후 추적/위치측정 정보(387)는 AR 애플리케이션(388)에 제공될 수 있으며, 이 AR 애플리케이션(388)은 또한 사용자 피드백, 보정 처리, 추적된 객체의 운동 뷰, 및/또는 이와 유사한 동작들을 가능하게 해주는 AR 클라이언트 소프트웨어를 구동하는 AR 디바이스에게 이 정보를 송신할 수 있다. 아래에서는 영역 변환 및 위상 보상을 위한 잠재적 방법들의 수학적 상세내용을 도 4를 참조하여 자세하게 설명한다.
몇몇 실시형태들에 따른 시스템에서의 광대역 수동형 네트워크에 의해 제공된 다이버시티 이득은 환경 감지를 위한 성능 이득들을 산출시킬 수 있고, 이로써 단일 수신기 추적에 비해 개선된 추적 성능을 야기시킬 수 있다. 다이버시티는 여러 개의 양태들로 달성될 수 있다.
주파수 및 대역폭 다이버시티는 이질성 조명 소스들의 이용으로부터 초래된다. 예를 들어, GSM 및 DAB 통신 시스템들은 송신을 위해 상이한 대역폭들을 가지면서 상이한 주파수들에서 동작된다. 뿐만 아니라, 이러한 시스템들에서의 송신 타워들과 기지국들은 또한 다양한 안테나 패턴들을 가질 수 있다. 이러한 소스들에 의해 조명된 객체들은 일반적으로 상이한 반사 특성들을 가져오는데, 즉 몇몇 객체들은 특정 주파수들에 대해 보다 잘 보여질 수 있다.
공간 다이버시티는 동일한 객체들에 대한 수동형 센서들 또는 어레이 엘리먼트들의 상이한 위치들로부터 초래될 수 있다. 마찬가지로, 객체들을 식별하기 위해 이용된 신호들은 하나의 소스로부터 다른 소스까지의 (투과되거나 또는 반사된) 객체에 대한 보다 나은 경로를 가질 수 있다. 적어도 몇몇 실시형태들에 따른 빔 형성 알고리즘은 다이버시티 이득을 증가시켜서 증대된 추적 출력을 제공하기 위해 네트워크에서의 추적 센서들의 갯수와 위치를 적응적으로 선택하도록 구성될 수 있다. 뿐만 아니라, 성능 이득은 또한 다이버시티의 결과로서 간섭 신호들을 제거시키고 다중경로 페이딩을 경감시킴으로써 합성된 안테나 어레이로부터 달성될 수 있다.
일반적으로, 수동형 감지는 AR 애플리케이션을 가능하게 하도록 수동형 디바이스들의 크기, 무게, 및 전력 소모를 잠재적으로 감소시킬 수 있는 기존의 통신 링크들 또는 브로드캐스트 시스템들을 이용한다. 또한, 통신 및 브로드캐스트 시스템들을 위한 조명 소스들은 도처에 있기 때문에, 수동형 수신기들은 추가적인 주파수 할당이 없으며 능동형 수신기들에 비해 다른 RF 디바이스들로부터의 간섭에 상대적으로 영향을 덜 받는다.
실시형태들이 특정한 예시들, 컴포넌트들, 알고리즘들, 및 구성들을 이용하여 위에서 논의되어 왔지만, 이 실시형태들은 AR 시스템들에서 광대역 수동적 추적을 위해 이용될 일반적 가이드라인을 제공하도록 의도된다. 이러한 예시들은 실시형태들에 대한 한정을 구성하지 않으며, 실시형태들은 다른 컴포넌트들, 모듈들, 알고리즘들, 및 구성들을 이용하고 여기서 설명된 원리들을 이용하여 구현될 수 있다. 예를 들어, 관심대상의 객체들로부터 산란된 신호들을 검출하기 위해 다른 무선 기술 시스템들이 이용될 수 있거나, 또는 직접 수신되고 산란된 신호들에 기초하여 객체들을 추적하기 위해 다양한 신호 처리 방법들이 이용될 수 있다.
도 4는 여기서 설명된 적어도 몇몇의 실시형태들에 따라 마련된 시스템에서의 수동형 센서 네트워크의 기하학적 표현(400)을 도시한다. 간결성 및 단순화를 목적으로, 위치 벡터들 rT1, rT2 각각에 있는 두 개의 송신 소스들 Txl, Tx2과 함께 위치 벡터 r0와 연관된 객체(490)가 기하학적 표현(400)에서 도시된다. 대응하는 수신기들 Rxl, Rx2은 데카르트 좌표 시스템 X, Y, Z의 원점에 위치한다.
Figure pat00001
로서 표시된 복소 수동형 송신 신호가 송신기 Txl 또는 Tx2 중 어느 하나로부터 송신되면, 각각의 송신기 Txi (i=l, 2)로부터 타겟 산란 중심까지의 이동 거리(492, 494)는,
Figure pat00002
로서 표현될 수 있으며,
여기서 p(t)는 기저대역 신호이고, fc는 캐리어 주파수를 나타낸다.
수신기 Rxi (i=l, 2)로부터 타겟 산란 중심까지의 이동 거리는,
Figure pat00003
으로서 표현될 수 있다.
동일한 시나리오하에서, i번째 채널 신호의 시간 지연은,
Figure pat00004
으로서 표현될 수 있으며,
여기서 c는 빛의 속도이다. i번째 송신 타워(예컨대, Tx1)로부터의 수신된 타겟 에코 채널 신호 SEi(t, r0)는,
Figure pat00005
로서 표현될 수 있으며, 여기서 (1≤i≤2)이다. 동일한 시나리오에 대한 직접 채널 리턴 SDi(t)은,
Figure pat00006
로서 표현될 수 있으며, 여기서
Figure pat00007
는 직접 경로 이동 시간이며, 이것은
Figure pat00008
와 동등하다.
Figure pat00009
는 타겟 반사 함수이다. 관심대상의 객체 장면 V(496)의 전체 공간 영역에 걸쳐 적분이 취해질 수 있다.
직접 및 타겟 에코 채널 처리 이후, 수신 신호는,
Figure pat00010
로서 다시 씌어질 수 있으며,
여기서,
Figure pat00011
이고,
Figure pat00012
는 각 송신기((i = 1, 2)에 대한 보상된 기저대역 신호이다.
기저대역 변환 및 범위 압축 이후, 수신 신호들은 주파수 영역에서,
Figure pat00013
와,
Figure pat00014
로서 씌어질 수 있으며,
여기서 B1와 B2는 송신 소스들 Tx1과 Tx2 각각에 대응하는 대역폭들이다. 송신기들의 중심 주파수들간의 차이가
Figure pat00015
인 것으로 가정하면, 제2 송신기에 대한 수신 신호는 주파수 영역에서
Figure pat00016
만큼 쉬프트될 수 있으며, 이것은
Figure pat00017
Figure pat00018
로서 다시 씌어질 수 있다.
신호들간의 위상차는 센서/송신기 쌍들의 상이한 상대적 위치들로 인해 산란 중심에 대해 발생한다. 결과적으로, 객체(490)에 대한 위상차는
Figure pat00019
로서 표현될 수 있으며,
Figure pat00020
이다.
위상차
Figure pat00021
를 보상한 후, 두 개의 스펙트럼은 상이한 센서 위치들에서 제1 송신 타워로부터 획득된 스펙트럼들과 동등할 수 있다. 집중식 타겟 위치측정 및 추적을 가능하게 하기 위해, 임의의 두 개의 센서/송신기 쌍들간의 위상차가 보상될 필요가 있다. 위상 보상 후, 결과적인 신호들은 상이한 센서 위치들에서 기준 송신 타워로부터 획득된 신호들과 동등할 수 있다.
도 5는 본 개시내용의 적어도 몇몇의 실시형태들에 따라 마련된 AR 시스템에서 광대역 수동적 추적을 구현하기 위해 이용될 수 있는 범용 컴퓨팅 디바이스(500)를 도시한다. 매우 기본적인 구성(502)에서, 컴퓨팅 디바이스(500)는 일반적으로 하나 이상의 프로세서들(504)과 시스템 메모리(506)를 포함한다. 메모리 버스(508)는 프로세서(504)와 시스템 메모리(506)간의 통신을 위해 이용될 수 있다.
희망하는 구성에 의존하여, 프로세서(504)는 비제한적인 예시로서 마이크로프로세서(μΡ), 마이크로제어기(μC), 디지털 신호 프로세서(digital signal processor; DSP) 또는 이들의 임의의 조합을 비롯한 임의의 유형의 프로세서일 수 있다. 프로세서(504)는 레벨 캐시 메모리(512), 프로세서 코어(514), 및 레지스터(516)와 같은, 하나 이상의 캐싱 레벨들을 포함할 수 있다. 예시적인 프로세서 코어(514)는 산술 논리 유닛(arithmetic logic unit; ALU), 부동점 유닛(floating point unit; FPU), 디지털 신호 프로세싱 코어(digital signal processing core; DSP Core), 또는 이들의 임의의 조합을 포함할 수 있다. 예시적인 메모리 제어기(518)는 또한 프로세서(504)와 함께 이용될 수 있거나, 또는 몇몇 구현들에서는 메모리 제어기(518)가 프로세서(504)의 내부 부분일 수 있다.
희망하는 구성에 의존하여, 시스템 메모리(506)는 비제한적인 예시로서 (RAM과 같은) 휘발성 메모리, (ROM, 플래시 메모리 등과 같은) 비휘발성 메모리, 또는 이들의 임의의 조합을 비롯한 임의의 유형의 메모리일 수 있다. 시스템 메모리(506)는 오퍼레이팅 시스템(520), 하나 이상의 애플리케이션들(522), 및 프로그램 데이터(524)를 포함할 수 있다. 애플리케이션(522)은 상술한 바와 같이 수동형 수신기들의 네트워크로부터 제공된 객체들에 관한 추적 정보와 함께 객체 인식 및 모델링 시스템의 동작 파라미터들을 조정하도록 배열된 AR 엔진(526)을 포함할 수 있다. 프로그램 데이터(524)는 도 3a 및 도 3b와 함께 상술한 바와 같이 이미징 데이터(528-1), 추적 데이터(528-2), 및 이와 유사한 데이터 중 하나 이상을 포함할 수 있다. 이 데이터는 여기서 설명된 현실 장면에서의 객체들과 연관된 위치 및/또는 운동 정보에 기초하여 현실 장면상으로 보강될 가상 객체들을 생성하는데 유용될 수 있다. 몇몇 실시예들에서, 여기서 설명된 바와 같이 삼차원 객체들이 추적되고 가상 표현들이 생성되도록 애플리케이션(522)은 오퍼레이팅 시스템(520)상에서 프로그램 데이터(524)와 동작하도록 배열될 수 있다. 이렇게 설명된 기본 구성(502)이 내부 점선내의 이러한 컴포넌트들에 의해 도 5에서 도시된다.
컴퓨팅 디바이스(500)는 기본 구성(502)과 임의의 필요한 디바이스들 및 인터페이스들간의 통신을 원활하게 해주기 위해 추가적인 특징들 또는 기능, 및 추가적인 인터페이스들을 가질 수 있다. 예를 들어, 저장소 인터페이스 버스(534)를 통해 기본 구성(502)과 하나 이상의 데이터 저장소 디바이스들(532)사이의 통신을 원활하게 해주기 위해 버스/인터페이스 제어기(530)가 이용될 수 있다. 데이터 저장소 디바이스들(532)은 탈착가능 저장소 디바이스들(536), 탈착불가능 저장소 디바이스들(538), 또는 이들의 조합일 수 있다. 탈착가능 저장소 디바이스들과 탈착불가능 저장소 디바이스들의 예시들에는 몇개를 열거하자면, 플렉시블 디스크 드라이브 및 하드 디스크 드라이브(hard-disk drive; HDD)와 같은 자기적 디스크 디바이스, 컴팩트 디스크(compact disk; CD) 드라이브 또는 디지털 다용도 디스크(digital versatile disk; DVD) 드라이브와 같은 광학적 디스크 드라이브, 고체 상태 드라이브(solid state drive; SSD), 및 테잎 드라이브가 포함된다. 예시적인 컴퓨터 저장소 매체에는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 또는 다른 데이터와 같은, 정보의 저장을 위한 임의의 방법 또는 기술에서 구현된 휘발성 및 비휘발성의, 탈착가능 및 탈착불가능 매체가 포함될 수 있다.
시스템 메모리(506), 탈착가능 저장소 디바이스(536) 및 탈착불가능 저장소 디바이스(538)는 컴퓨터 저장소 매체의 예시들이다. 컴퓨터 저장소 매체에는, 비제한적인 예시로서, RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다용도 디스크(DVD) 또는 다른 광학적 저장소, 자기적 카세트, 자기적 테잎, 자기적 디스크 저장소 또는 다른 자기적 저장소 디바이스들, 또는 희망하는 정보를 저장하는데 이용될 수 있고 컴퓨팅 디바이스(500)에 의해 액세스될 수 있는 임의의 다른 매체가 포함된다. 이러한 임의의 컴퓨터 저장소 매체는 컴퓨팅 디바이스(500)의 일부일 수 있다.
컴퓨팅 디바이스(500)는 또한 버스/인터페이스 제어기(530)를 통해 다양한 인터페이스 디바이스들(예컨대, 출력 디바이스(542), 주변 인터페이스(544), 및 통신 디바이스(546))로부터 기본 구성(502)까지의 통신을 원활하게 해주기 위한 인터페이스 버스(540)를 포함할 수 있다. 예시적인 출력 디바이스(542)는 하나 이상의 A/V 포트들(552)을 통해 디스플레이 또는 스피커와 같은 다양한 외부 디바이스들과 통신하도록 구성될 수 있는 그래픽 처리 유닛(548)과 오디오 처리 유닛(550)을 포함한다. 예시적인 주변 인터페이스(544)는 하나 이상의 I/O 포트들(558)을 통해 입력 디바이스들(예컨대, 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스 등) 또는 다른 주변 디바이스들(예컨대, 프린터, 스캐너 등)과 같은 외부 디바이스들과 통신하도록 구성될 수 있는 직렬 인터페이스 제어기(554) 또는 병렬 인터페이스 제어기(556)를 포함한다. 예시적인 통신 디바이스(546)는 하나 이상의 통신 포트들(564)을 통해 네트워크 통신 링크를 거쳐 하나 이상의 다른 컴퓨팅 디바이스들(562)과의 통신을 원활하게 하도록 배열될 수 있는 네트워크 제어기(560)를 포함한다.
네트워크 통신 링크는 통신 매체의 하나의 예일 수 있다. 통신 매체에는 일반적으로 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 또는 캐리어 파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호에서의 다른 데이터가 수록될 수 있으며, 이것은 임의의 정보 전달 매체를 포함할 수 있다. "변조된 데이터 신호"는 하나 이상의 특성 세트를 갖는 신호이거나 또는 해당 신호내에 정보를 인코딩하는 방식으로 변경될 수 있다. 비제한적인 예로서, 통신 매체는 유선 네트워크 또는 직접적 유선 접속과 같은 유선 매체, 및 음향, 무선 주파수(RF), 마이크로웨이브, 적외선(IR) 및 다른 무선 매체와 같은 무선 매체를 포함할 수 있다. 여기서 이용된 용어 "컴퓨터 판독가능 매체"는 저장소 매체와 통신 매체 모두를 포함할 수 있다.
컴퓨팅 디바이스(500)는 셀 폰, 휴대형 개인 보조 단말기(PDA), 개인 미디어 플레이어 디바이스, 무선 웹 워치 디바이스, 개인 해드셋 디바이스, 애플리케이션 특정 디바이스, 또는 위 기능들 중의 임의의 것을 포함한 하이브리드 디바이스와 같은 소형의 휴대가능한(또는 모바일) 전자 디바이스들의 일부로서 구현될 수 있다. 컴퓨팅 디바이스(500)는 또한 랩탑 컴퓨터와 비랩탑 컴퓨터 구성들 모두를 비롯하여 개인 컴퓨터로서 구현될 수 있다. 뿐만 아니라, 컴퓨팅 디바이스(500)는 범용 서버 또는 특수목적 서버의 일부로서 또는 네트워크연결된 시스템으로서 구현될 수 있다.
예시적인 실시형태들은 또한 방법들을 포함할 수 있다. 이러한 방법들은 여기서 설명된 구조들을 포함하여, 임의의 갯수의 방법들로 구현될 수 있다. 이러한 한가지 방법은 본 개시내용에서 설명된 유형의 디바이스들의 머신 동작들에 의한 것이다. 또 다른 택일적 방법은 다른 동작들이 머신들에 의해 수행되면서 몇몇의 동작들을 수행하는 하나 이상의 휴먼 오퍼레이터들과 함께 방법의 하나 이상의 개별적인 동작들이 수행되는 것이다. 이러한 휴먼 오퍼레이터들은 서로가 동시적으로 배치될 필요는 없으며, 각각의 휴면 오퍼레이터들은 단지 프로그램의 일부분을 수행하는 머신만 함께할 수 있다. 다른 예시들에서, 휴먼 상호작용은 머신 자동화된 사전선택된 기준에 의해서와 같이 자동화될 수 있다.
도 6은 여기서 설명된 적어도 몇몇의 실시형태들에 따라 마련된, 도 5에서의 디바이스(500)와 같은 컴퓨팅 디바이스에 의해 수행될 수 있는 예시적인 방법을 도시하는 흐름도이다. 블록(622) 내지 블록(630)에서 설명된 동작들은 컴퓨팅 디바이스(610)의 컴퓨터 판독가능 매체(620)와 같은 컴퓨터 판독가능 매체에서 컴퓨터 실행가능 명령들로서 저장될 수 있다.
증강 현실을 위해 광대역 수동적 추적 시스템을 이용하기 위한 처리는 동작(622), 즉 "신호 감지"로 시작할 수 있다. 동작(622)에서, 직접 신호와 에코 신호는 도 3a의 수신기들(361)과 같은 수신기들의 네트워크에 의해 감지된다. 수신기들은 AR 디바이스들(352, 354, 356)과 같은 무선 디바이스들내로 통합될 수 있다. 직접 신호들은 셀룰러 타워들, TV 브로드캐스트 타워들 등과 같은 다양한 송신 소스들로부터 수신될 수 있는 반면에, 에코 신호들은 하나 이상의 관심대상의 객체들로부터 산란된다. 수신된 신호들은 도 3a와 관련하여 설명된 바와 같이 사전처리될 수 있다.
동작(622)에 이어서 동작(624), 즉 "교차 상관"이 뒤따를 수 있다. 동작(624)에서, 수신 신호들에 대한 도플러 스펙트럼을 획득하기 위해 수신된(및 사전처리된) 신호들은 교차 상관될 수 있다. 교차 상관은 또한 도 3a의 개별적인 AR 디바이스들(352, 354, 356)에서 수행될 수 있다.
동작(624)에 이어서 동작(626), 즉 "위상 보상"이 뒤따를 수 있다. 동작(626)에서, 수신된 신호들은 도 3b의 추적/위치측정 모듈(386)과 같은 중심적 추적/위치측정 모듈에서 AR 디바이스들 중의 하나로부터의 신호(예컨대, AR 디바이스(352)로부터의 기저대역 출력 신호(382))를 이용하여 위상 보상될 수 있다. 센서/송신기 쌍들의 상이한 상대적 위치들로 인해 위상차가 산란 중심에 대해 발생할 수 있다. 이에 따라, 신호들이 서로에 대해 회전/각도/위상 정렬되도록 기저대역 출력 신호들 중의 하나는 각 AR 디바이스 쌍에 대한 다른 기저대역 출력 신호로부터 위상차를 제거하기 위한 기준 신호로서 이용될 수 있다. 주파수 영역에서의 위상 보상(384) 후, 결과적인 신호들(385)은 상이한 센서 위치들에서 기준 송신 타워로부터 획득된 신호들과 동등할 수 있다.
동작(626)에 이어서 동작(628), 즉 "위치/운동 결정"이 뒤따를 수 있다. 동작(628)에서, 파라미트릭 공간을 획득하기 위해 수신기 네트워크를 통해 도 2의 AR 엔진(240)과 같은 AR 엔진에서의 빔 형성 처리를 통해 위상 보상된 신호들이 제공될 수 있다. 객체들을 추적하는 것(위치 및/또는 운동 파라미터들의 결정)은 각 시간 인스턴트에서 합성된 안테나 어레이의 빔 형성 처리 출력을 계산함으로써 실현될 수 있다.
동작(628)에 이어서 동작(630), 즉 "위치/운동 정보를 AR 애플리케이션에 제공"이 뒤따를 수 있다. 동작(630)에서, (위치/운동) 추적 정보는 현실 장면 이미지(들)과 가상 객체들을 겹친 증강 현실 장면을 랜더링할 때 이용하기 위해 AR 애플리케이션에 제공될 수 있다. AR 장면은 도 1에서 논의한 것과 같은 시각화 디바이스를 통해 시각화될 수 있다.
위에서 설명한 처리들에서 포함된 동작들은 예시를 위한 것이다. AR 시스템에서의 객체들과 연관된 위치 및/또는 운동 정보를 획득하기 위한 광대역 수동적 추적 시스템은 보다 적은 수의 동작들 또는 추가적인 동작들을 가지면서 유사한 처리들에 의해 구현될 수 있다. 몇몇의 예시들에서, 동작들은 상이한 순서로 수행될 수 있다. 몇몇의 다른 예시에서, 다양한 동작들이 제거될 수 있다. 또 다른 예시들에서, 다양한 동작들은 추가적인 동작들로 분할될 수 있거나, 또는 함께 결합되어 보다 적은 수의 동작들을 형성할 수 있다.
도 7은 여기서 설명된 적어도 몇몇의 실시형태들에 따라 마련된 예시적인 컴퓨터 프로그램 제품(700)의 블록도를 도시한다. 몇몇의 예시들에서, 도 7에서 도시된 바와 같이, 컴퓨터 프로그램 제품(700)은 예컨대 프로세서에 의해 실행될 때에, 도 5 및 도 6과 관련하여 위에서 설명한 기능을 제공할 수 있는 머신 판독가능 명령들(704)을 또한 포함할 수 있는 신호 운반 매체(702)를 포함할 수 있다. 따라서, 예컨대 프로세서(504)를 참조하여, AR 엔진(526)은 여기서 설명된 동적 모델링에 기초한 객체 인식과 연관된 동작들을 수행하기 위해 매체(702)에 의해 프로세서(504)에 운송된 명령들(704)에 응답하여 도 7에서 도시된 업무들 중의 하나 이상을 착수할 수 있다. 이러한 명령들 중의 몇몇은 신호(들)의 감지, 신호(들)의 교차 상관, 객체(들)의 범위 결정, 위치/운동 정보 결정, 및 AR 엔진으로의 위치/운동 정보의 제공을 포함할 수 있다.
몇몇의 구현예들에서, 도 7에서 도시된 신호 운반 매체(702)는 비제한적인 예시로서, 하드 디스크 드라이브, 컴팩 디스크 (CD), 디지털 비디오 디스크 (DVD), 디지털 테이프, 메모리 등과 같은 컴퓨터 판독가능 매체(706)를 망라할 수 있다. 몇몇의 구현예들에서, 신호 운반 매체(702)는 비제한적인 예시로서, 메모리, 판독/쓰기(R/W) CD, R/W DVD 등과 같은 기록가능 매체(708)를 망라할 수 있다. 몇몇의 구현예들에서, 신호 운반 매체(702)는 비제한적인 예시로서, 디지털 및/또는 아날로그 통신 매체(예컨대, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등)와 같은 통신 매체(710)를 망라할 수 있다. 따라서, 예컨대, 프로그램 제품(700)은 RF 신호 운반 매체(702)에 의해 프로세서(504)의 하나 이상의 모듈들로 운송될 수 있으며, 신호 운반 매체(702)는 무선 통신 매체(710)(예컨대, IEEE 802.11 표준을 따르는 무선 통신 매체)에 의해 운송된다.
본 개시내용은 일반적으로 증강 현실(Augmented Reality; AR) 시스템(100)에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법을 설명한다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법은 복수의 추적 센서들(104-2) 각각에서 신호들을 수신하는 단계를 포함할 수 있으며, 복수의 추적 센서들 각각은 광대역 감지 네트워크의 일부를 형성하며, 수신된 신호들은 하나 이상의 에코 신호 및/또는 직접 신호에 대응하며, 각각의 에코 신호는 관심대상의 객체(350)에 의해 산란된 직접 신호들 중의 대응하는 신호와 연관된다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법은 또한 관심대상의 객체(350)와 연관된 데이터를 생성하도록 상기 수신된 신호들을 처리하는 단계를 포함할 수 있으며, 이 데이터는 관심대상의 객체(350)와 연관된 하나 이상의 위치 파라미터 및/또는 운동 파라미터에 대응한다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법은 관심대상의 객체(350)를 포함한 현실 장면(114)을 적어도 하나의 가상 객체로 증강시키기 위해 하나 이상의 위치 파라미터 및/또는 운동 파라미터를 이용하여 현실 장면(114)을 증강시키는 단계를 더 포함할 수 있다.
증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법의 몇몇의 예시들에 따르면, 신호들은 복수의 송신 소스들(222, 224, 236)과 통신하는 복수의 무선 통신 디바이스들(226, 232, 234)내로 통합된 복수의 추적 센서들(104-2)에서 수신될 수 있다.
증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법의 몇몇의 예시들에 따르면, 직접 신호들은 송신 소스들(222, 224, 236)로부터 송신될 수 있으며, 이 송신 소스들(222, 224, 236)은, TV 브로드캐스트 타워, 모바일 통신을 위한 글로벌 시스템(GSM) 타워, 코드 분할 다중 액세스(CDMA) 셀룰러 통신 타워, 진폭 변조(AM) 또는 주파수 변조(FM) 브로드캐스트 타워, 디지털 오디오 브로드캐스팅(DAB) 소스, 디지털 비디오 브로드캐스팅 지상형(DVB-T) 소스, 무선 근거리 네트워크(WLAN) 액세스 포인트, 광대역 네트워크(WAN) 액세스 포인트, 초광대역 네트워크(MAN) 액세스 포인트, 및/또는 개인 영역 네트워크(PAN) 액세스 포인트 중의 하나 이상을 포함한다.
증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법의 몇몇의 예시들에 따르면, 수신된 신호들은, TV 신호, 디지털 TV 신호, GSM 신호, CDMA 신호, AM/FM 신호, DAB 신호, DVB-T 신호, WLAN 신호, WAN 신호, MAN 신호, 및/또는 PAN 신호 중 하나 이상에 대응할 수 있다.
증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법의 몇몇의 예시들에 따르면, 수신 신호들을 처리하는 것은, 수신 신호들을 사전처리하는 것, 적응적 필터링(365)을 통해 하나 이상의 직접 신호 및/또는 에코 신호로서 수신 신호들 각각을 식별하는 것, 직접 신호와 에코 신호의 도플러 스펙트럼을 유도하는 것(363), 및/또는 에코 신호들의 도플러 스펙트럼을 위상 보상하는 것(384) 중 하나 이상을 포함할 수 있다.
증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법의 몇몇의 예시들에 따르면, 수신 신호들을 사전처리하는 것(362)은 신호 보정, 대역폭 보정, 신호 평균화, 증폭, 하향변환, 및/또는 디지털화 중 하나 이상의 포함할 수 있다.
증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법의 몇몇의 예시들에 따르면, 관심대상의 객체와 연관된 데이터를 생성하기 위해 수신 신호들을 처리하는 것은 관심대상의 객체와 연관된 하나 이상의 위치 및/또는 운동 파라미터들을 결정(628)하기 위해 위상 보상된 신호들에 대한 빔 형성 처리를 이용하는 것을 포함할 수 있다.
증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법의 몇몇의 예시들에 따르면, 빔 형성 처리를 이용하는 것은 추적 센서들(104-2)의 갯수 및 위치를 적응적으로 선택하는 것을 더 포함할 수 있다.
증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법의 추가적인 예시들에 따르면, 신호들은 대응하는 무선 통신 디바이스들(226, 232, 234)의 통신 네트워크와 구별되는 무선 네트워크를 통해 통신가능하게 결합된 추적 센서들(104-2)로부터 수신될 수 있다.
다른 예시들에 따르면, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 방법은, 무선 통신 디바이스들(226, 232, 234)의 안테나들의 다이버시티를 통해 다중경로 페이딩을 경감시키고 간섭을 감소시키도록 추적 센서들(104-2)의 무선 네트워크를 동적으로 구성시키는 것을 더 포함할 수 있다.
본 개시내용은 또한 증강 현실(Augmented Reality; AR) 시스템(100)에서의 현실 장면내의 관심대상 객체를 추적하기 위한 시스템을 설명한다. 증강 현실(AR) 시스템에서의 현실 장면내의 관심대상 객체를 추적하기 위한 시스템은 하나 이상의 직접 신호 및/또는 에코 신호에 대응하는 신호들을 수신하고 수신된 신호들을 사전처리하도록 각각 적응된 복수의 추적 센서들(104-2)을 포함할 수 있으며, 직접 신호들은 하나 이상의 대응하는 송신 소스들(344, 346, 348)과 연관되고, 에코 신호들은 관심대상의 객체로부터 산란된 하나 이상의 직접 신호들과 연관된다. 증강 현실(AR) 시스템에서의 현실 장면내의 관심대상 객체를 추적하기 위한 시스템은 또한 관심대상의 객체(350)와 연관된 캡쳐된 2D 이미지에 기초하여 이미지 정보를 유도하도록 적응된 이미지 처리 서버(106)를 포함할 수 있다. 증강 현실(AR) 시스템에서의 현실 장면내의 관심대상 객체를 추적하기 위한 시스템은 또한 무선 네트워크를 통해 복수의 추적 센서들(104-2)과 통신하고, 사전처리된 신호들을 수신하고, 사전처리된 신호들에 기초하여 관심대상의 객체(350)를 추적하며, 이미지 정보 및 관심대상의 객체의 추적에 기초하여 현실 장면(114)을 증강하도록 적응된 현실 서버(110)를 포함할 수 있다.
증강 현실(AR) 시스템에서의 현실 장면내의 관심대상 객체를 추적하기 위한 시스템의 다양한 예시들에 따르면, 각각의 추적 센서들(104-2)은 다중경로 간섭을 경감시키기 위해 수신된 직접 신호들을 처리하도록 적응된 블라인드 채널 등화기(362), 억제 클러터를 생성하기 위해 수신된 에코 신호들을 처리하도록 적응된 적응적 필터(365), 및 도플러 스펙트럼 신호를 생성하기 위해 각각의 직접 신호와 각각의 에코 신호를 교차 상관하도록 적응된 상관기(363)를 포함할 수 있다.
증강 현실(AR) 시스템에서의 현실 장면내의 관심대상 객체를 추적하기 위한 시스템의 다양한 예시들에 따르면, 블라인드 채널 등화기, 적응적 필터, 및/또는 상관기의 하나 이상의 기능들은 디지털 신호 프로세서에 의해 제공될 수 있다.
증강 현실(AR) 시스템에서의 현실 장면내의 관심대상 객체를 추적하기 위한 시스템의 다른 예시들에 따르면, 현실 서버는 추적 센서들로부터 수신된 사전처리된 신호들을 위상 보상(626)하도록 적응된 위상 보상 모듈(384), 위상 보상된 신호들에 기초하여 관심대상의 객체에 대한 하나 이상의 위치 및/또는 운동 파라미터들을 결정(628)하도록 적응된 추적/위치측정 모듈(386), 이미지 정보 및 관심대상의 객체(350)의 위치/운동 정보에 기초하여 하나 이상의 가상 객체들을 생성하도록 적응된 현실 엔진(110), 및 하나 이상의 가상 객체들로 현실 장면(114)을 증강시키도록 적응된 이미지 생성기(108)를 포함할 수 있다.
다양한 예시들에 따르면, 증강 현실(AR) 시스템에서의 현실 장면내의 관심대상 객체를 추적하기 위한 시스템은 증강된 현실 장면의 시각화물을 생성하도록 적응된 시각화 디바이스(112)를 더 포함할 수 있다.
증강 현실(AR) 시스템에서의 현실 장면내의 관심대상 객체를 추적하기 위한 시스템의 다른 예시들에 따르면, 시각화 디바이스(112)는 머리 장착형 디스플레이, 가상 레니탈 디스플레이, 및/또는 모니터 중 하나 이상을 포함할 수 있다.
증강 현실(AR) 시스템에서의 현실 장면내의 관심대상 객체를 추적하기 위한 시스템의 다른 예시들에 따르면, 추적 센서들(104-2)의 일부는 동일한 유형의 송신정보를 수신하도록 적응된 동질성 센서들일 수 있고, 추적 센서들(104-2)의 또 다른 부분은 상이한 유형의 송신정보들을 수신하도록 적응된 이질성 센서들일 수 있다.
증강 현실(AR) 시스템에서의 현실 장면내의 관심대상 객체를 추적하기 위한 시스템의 다른 예시들에 따르면, 현실 서버는 또한 합성된 안테나들의 어레이를 교정하도록 적응될 수 있고, 합성된 안테나들의 어레이는 추적 센서들(104-2) 각각으로부터의 안테나들을 포함하며, 추적 센서들 각각은 위치 기반 서비스를 이용하도록 적응된다.
본 개시내용은 또한 증강 현실(AR) 시스템(100)에서의 하나 이상의 관심대상 객체들을 추적하기 위한 장치(700)를 설명한다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 장치는 안테나와 추적 센서(104-2)를 포함한 무선 통신 디바이스(226, 232, 234)를 포함할 수 있으며, 무선 통신 디바이스는 안테나로 신호들을 수신하도록 적응되고, 수신된 신호들은 하나 이상의 송신 소스들(344, 346, 349)로부터의 하나 이상의 직접 신호들 또는 하나 이상의 직접 신호들의 결과로서의 하나 이상의 관심대상의 객체들(350)로부터 산란된 에코 신호들에 대응한다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 장치는 안테나와 추적 센서를 포함한 무선 통신 디바이스를 포함할 수 있으며, 무선 통신 디바이스는 또한 수신된 신호들을 사전처리하여 하나 이상의 주파수 영역 신호들(378)을 획득하고, 하나 이상의 주파수 영역 신호들(378)을 위상 보상(384)하여 위상 보상된 신호들을 생성하며, 위상 보상된 신호들로부터 하나 이상의 관심대상의 객체들과 연관된 위치 및/또는 운동 정보를 유도하도록 적응된다.
증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 장치(700)의 몇몇의 예시들에 따르면, 무선 통신 디바이스(226)는 신호 보정, 대역폭 보정, 신호 평균화, 증폭, 하향변환, 및/또는 디지털화 중 하나 이상을 적용함으로써 수신 신호들을 사전처리하도록 적응될 수 있다.
증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 장치(700)의 몇몇의 예시들에 따르면, 송신 소스들(344, 346, 348)은, TV 브로드캐스트 타워, 모바일 통신을 위한 글로벌 시스템(GSM) 타워, 코드 분할 다중 액세스(CDMA) 셀룰러 통신 타워, 진폭 변조(AM) 또는 주파수 변조(FM) 브로드캐스트 타워, 디지털 오디오 브로드캐스팅(DAB) 소스, 디지털 비디오 브로드캐스팅 지상형(DVB-T) 소스, 무선 근거리 네트워크(WLAN) 액세스 포인트, 광대역 네트워크(WAN) 액세스 포인트, 초광대역 네트워크(MAN) 액세스 포인트, 및/또는 개인 영역 네트워크(PAN) 액세스 포인트 중의 하나 이상을 포함할 수 있으며, 무선 통신 디바이스(226, 232, 234)는, TV 수신기, 디지털 TV 수신기, GSM 디바이스, CDMA 디바이스, AM/FM 수신기, DAB 디바이스, DVB-T 디바이스, WLAN 디바이스, WAN 디바이스, MAN 디바이스, 및/또는 PAN 디바이스 중의 하나 이상을 포함할 수 있다.
본 개시내용은 또한 증강 현실(AR) 시스템(100)에서의 하나 이상의 관심대상 객체들을 추적하기 위한 장치(700)를 설명한다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 장치는 메모리(506)와, 이 메모리에 결합된 프로세서(504)를 포함할 수 있다. 프로세서는 메모리와 협력하여 AR 엔진(240)을 실행하도록 구성되고, 프로세서는 대응하는 AR 인에이블드 무선 디바이스들의 통신 네트워크들과는 구별되는 무선 네트워크를 통해 AR 인에이블드 무선 디바이스들(352, 354, 356)내로 통합된 복수의 추적 센서들(104-2)과 통신하고 추적 센서들(104-2)의 갯수 및 위치를 적응적으로 선택하도록 적응된다. 프로세서는 또한 추적 센서들(104-2)에 의해 검출된 사전처리된 신호들 - 상기 사전처리된 신호들은 하나 이상의 직접 신호들 및/또는 이 직접 신호들이 하나 이상의 관심대상의 객체들에 의해 반사됨으로써 초래된 에코 신호들에 대응함 - 을 수신하며, 수신된 신호들에 빔 형성 처리를 적용하여 하나 이상의 관심대상의 객체들(350)에 대한 위치 및 운동 파라미터들을 추정(628)하도록 적응될 수 있다.
증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 장치(700)의 몇몇의 예시들에 따르면, 프로세서는 또한 구별되는 주파수들을 갖는 송신 소스들, 구별되는 대역폭들을 갖는 송신 소스들, 및/또는 구별되는 안테나 패턴들을 갖는 송신 소스들 중의 하나 이상과 연관된 추적 센서들(104-2)을 선택함으로써 다이버시티 이득이 증가될 수 있도록 하는 빔 형성 처리에 의해 구성될 수 있다.
증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 장치(700)의 몇몇의 예시들에 따르면, 프로세서는 또한 AR 애플리케이션에게 하나 이상의 관심대상 객체들에 대한 추정된 위치 및 운동 파라미터들을 제공(630)하도록 AR 엔진(240)에 의해 적응될 수 있고, AR 애플리케이션(630)은 관심대상의 객체의 디지털화된 이미지와, 관심대상의 객체에 대한 추정된 위치 및 운동 파라미터들에 기초하여 생성된 가상 객체들을 겹침으로써 증강 현실 장면(114)을 생성하도록 구성될 수 있다.
본 개시내용은 또한 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 명령들(704)이 저장된 컴퓨터 판독가능한 저장 매체(706)를 설명한다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 명령들은 추적 센서를 포함한 무선 디바이스(226, 232, 234)와 연관된 송신 소스(222, 224, 236)로부터, 상기 추적 센서(104-2)에서, 하나 이상의 송신 소스들(344, 346, 349)로부터 하나 이상의 직접 신호들 또는 하나 이상의 직접 신호들의 결과로서 하나 이상의 관심대상의 객체들(350)로부터 산란된 에코 신호들을 수신하는 것을 포함할 수 있다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 명령들은 또한 수신된 신호들을 추적 센서(104-2)에서 사전처리하는 것과, 각각의 사전처리된 직접 신호 및 에코 신호의 교차 상관에 기초하여 주파수 스펙트럼 신호를 유도하는 것을 포함할 수 있다. 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 명령들은 복수의 추적 센서들로부터 수신된 주파수 스펙트럼 신호들의 쌍을 위상 보상 모듈에서 위상 보상하는 것(626)과, 복수의 추적 센서들의 갯수와 위치를 적응적으로 선택함으로써 위상 보상된 신호들로부터 하나 이상의 관심대상의 객체들과 연관된 위치 및/또는 운동 정보를 추적/위치측정 모듈에서 유도하는 것(628)을 더 포함할 수 있다.
다양한 예시들에 따르면, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 명령들은 다중경로 간섭을 경감시키기 위해 수신된 직접 신호들에 대해 블라인드 채널 등화(362)를 적용하는 것과, 억제 클러터를 생성하도록 수신된 에코 신호들을 적응적으로 필터링(365)하는 것을 더 포함할 수 있다.
다양한 예시들에 따르면, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체들을 추적하기 위한 명령들은 AR 클라이언트 애플리케이션을 실행하는 무선 디바이스에게 추적 정보를 송신하는 것(389)을 더 포함할 수 있다.
시스템들의 양태들의 하드웨어와 소프트웨어 구현들 사이에 남겨진 구별이 거의 없고; 하드웨어 또는 소프트웨어의 사용은 일반적으로 비용 대 효율의 트레이드오프를 나타내는 설계 선택이다 (하지만, 소정의 콘택스트에서는 하드웨어와 소프트웨어 사이의 선택이 중요해질 수도 있다는 점에서, 항상 그렇지는 않다). 프로세서 및/또는 시스템 및/또는 본 명세서에 기재된 다른 테크놀러지들이 실시될 수 있는 다양한 매개체 (예를 들어, 하드웨어, 소프트웨어, 및/또는 펌웨어) 가 존재하며, 바람직한 매개체는 프로세스들 및/또는 시스템들 및/또는 다른 테크놀러지들이 전개되는 콘택스트에 따라 변할 것이다. 예를 들어, 구현자가 속도와 정확도를 최고라고 결정한다면, 구현자는 주로 하드웨어 및/또는 펌웨어 매개물을 선택할 수도 있고; 유연성이 최고라면, 구현자는 주로 소프트웨어 구현을 선택할 수도 있고; 또는, 또 다른 대안으로, 구현자는 하드웨어, 소프트웨어 및/또는 펌웨어의 몇몇 조합을 선택할 수도 있다.
앞의 상세한 설명은 블록도, 흐름도, 및/또는 예시의 이용을 통해 디바이스 및/또는 프로세스의 다양한 실시형태를 설명하였다. 이러한 블록도, 흐름도, 및/또는 예시가 하나 이상의 기능들 및/또는 동작들을 포함하는 한, 이러한 블록도, 흐름도, 또는 예시에서의 각각의 기능 및/또는 동작은 광범위한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 가상적인 임의의 조합에 의해 개별적으로 및/또는 집합적으로 구현될 수 있다는 것을 당업자들은 이해할 것이다. 일 실시형태에서, 본 명세서에 기재된 내용의 여러 부분들은 주문형 반도체 (Application Specific Integrated Circuit; ASIC), 필드 프로그래머블 게이트 어레이 (Field programmable Gate Array; FPGA), 디지털 신호 처리기 (digital signal processor; DSP), 또는 다른 집적 포맷을 통해 구현될 수 있다. 하지만, 본 명세서에 개시된 실시형태들의 일부 양태들은, 전체적으로 또는 부분적으로, 하나 이상의 컴퓨터 상에서 실행되는 하나 이상의 컴퓨터 프로그램으로서 (예를 들어, 하나 이상의 컴퓨터 시스템 상에서 실행되는 하나 이상의 프로그램으로서), 하나 이상의 프로세서 상에서 실행되는 하나 이상의 프로그램으로서 (예를 들어, 하나 이상의 마이크로프로세서 상에서 실행되는 하나 이상의 프로그램으로서), 펌웨어로서, 또는 이들의 가상적인 임의의 조합으로서, 집적회로에서 등가적으로 구현될 수 있다는 것과, 소프트웨어 및/또는 펌웨어를 위한 회로를 설계하고 및/또는 이것을 위한 코드를 작성하는 것은 본 개시내용에 비추어 당업자의 지식 내에 있다는 것을 당업자들은 이해할 것이다.
본 개시내용은 다양한 양태들의 예시로서 의도된 본 명세서에서 설명된 특정한 실시형태들의 측면으로 한정되어서는 안된다. 본 기술분야의 당업자에게 자명한 바와 같이, 본 기술의 사상과 범위를 벗어나지 않고서 많은 변형들과 수정들이 행해질 수 있다. 여기서 열거된 것들에 더하여, 본 개시내용의 범위내의 기능적으로 등가적인 방법들 및 장치들이 전술한 상세설명으로부터 본 기술분야의 당업자에게 자명할 것이다. 이러한 수정 및 변형은 첨부된 청구항들의 범위내에 속하는 것으로 한다. 본 개시내용은 이러한 청구항들로 칭해지는 등가물들의 전범위와 더불어, 첨부된 청구항들의 측면에 의해서만 제한받는다. 본 개시내용은 특정한 방법, 반응제, 화합물 조성 또는 생물학적 시스템으로 한정되지 않으며, 이것들은 물론 변할 수 있다. 또한, 여기서 이용된 용어들은 단지 특정 실시형태들을 기술하기 위한 것일 뿐이며, 본 기술의 범위를 제한하려고 한 것은 아님을 이해해야 한다.
또한, 본 명세서에 기재된 내용의 메카니즘은 프로그램 제품으로서 다양한 형태로 배포될 수 있다는 것과, 본 명세서에 기재된 내용의 예시적인 실시형태는 이러한 배포를 사실상 수행하기 위해 사용되는 신호 운반 매체의 특정 유형에 상관없이 적용된다는 것을 당업자는 알 것이다. 신호 운반 매체의 예는, 비제한적인 예시로서, 플로피 디스크, 하드 디스크 드라이브, 컴팩 디스크 (CD), 디지털 비디오 디스크 (DVD), 디지털 테이프, 컴퓨터 메모리 등과 같은 기록가능형 매체; 및 디지털 및/또는 아날로그 통신 매체와 같은 전송형 매체 (예를 들어, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등) 를 포함한다.
디바이스들 및/또는 프로세스들을 본 명세서에 기재된 방식으로 설명하고, 그리고 이와 같이 기재된 디바이스들 및/또는 프로세스들을 데이터 프로세싱 시스템 내에 통합하기 위해 엔지니어링 관행을 이용하는 것이 이 분야에서는 통상적이라는 것을 당업자들은 인식할 것이다. 즉, 본 명세서에 기재된 디바이스들 및/또는 프로세스들의 적어도 일부는 적정량의 실험을 통해서 데이터 프로세싱 시스템내에 통합될 수 있다. 통상적인 데이터 프로세싱 시스템은 일반적으로 시스템 유닛 하우징, 비디오 디스플레이 디바이스, 메모리, 예컨대, 휘발성 및 비휘발성 메모리, 프로세서, 예컨대, 마이크로프로세서 및 디지털 신호 처리기, 컴퓨팅 엔티티 (computational entity), 예컨대, 운영 시스템, 드라이버, 그래픽 사용자 인터페이스, 및 애플리케이션 프로그램, 하나 이상의 상호작용 디바이스, 예컨대, 터치 패드 또는 스크린, 및/또는 피드백 루프 및 제어 모터를 포함하는 제어 시스템 (예를 들어, 갠트리 시스템의 위치 및/또는 속도를 감지하기 위한 피드백; 및/또는 컴포넌트들 및/또는 수량을 이동 및/또는 조절하기 위한 제어 모터) 중 하나 이상을 포함한다는 것을 당업자들은 인식할 것이다.
전형적인 데이터 프로세싱 시스템은 상업적으로 입수가능한 임의의 적절한 컴포넌트들, 예컨대 데이터 컴퓨팅/통신 및/또는 네트워크 컴퓨팅/통신 시스템에서 일잔적으로 발견될 수 있는 것들을 이용하여 구현될 수 있다. 본 명세서에 기재된 내용은 때때로 상이한 다른 컴포넌트들 내에 포함되거나 또는 상이한 다른 컴포넌트들과 연결된 상이한 컴포넌트들을 나타낸다. 이러한 도시된 아키텍처는 단지 예시일 뿐이며, 동일한 기능을 달성하는 사실상 많은 다른 아키텍처들이 구현될 수 있다는 것을 이해해야 한다. 개념적인 의미에서, 원하는 기능이 달성되도록, 동일한 기능을 달성하기 위한 컴포넌트들의 임의의 배열은 효과적으로 "연관"된다. 그러므로, 아키텍처 또는 중간 컴포넌트에 관계없이, 원하는 기능이 달성되도록, 특정 기능을 달성하기 위해 조합된 본 명세서에서의 임의의 2 개의 컴포넌트들은 서로 "연관"된 것으로 보여질 수도 있다. 마찬가지로, 그렇게 연관된 임의의 2개의 컴포넌트들은 또한 원하는 기능을 달성하기 위해 서로 "동작가능하게 접속되거나" 또는 "동작가능하게 결합되는" 것으로서 보여질 수도 있고, 그렇게 연관될 수 있는 임의의 2개의 컴포넌트들은 원하는 기능을 달성하기 위해 서로 "동작가능하게 결합되는" 것으로서 보여질 수도 있다. 동작가능하게 결합되는 구체적인 예는, 물리적으로 결합될 수 있고/있거나 물리적으로 상호작용하는 컴포넌트들 및/또는 무선으로 상호작용할 수 있고/있거나 무선으로 상호작용하는 컴포넌트들 및/또는 논리적으로 상호작용하고/하거나 논리적으로 상호작용할 수 있는 컴포넌트들을 포함하지만 이것으로 한정되지 않는다.
본 명세서에서 실질적으로 임의의 복수 및/또는 단수의 용어를 사용하는 것과 관련하여, 당업자는, 콘텍스트 및/또는 애플리케이션에 적절하게 복수로부터 단수로 및/또는 단수로부터 복수로 변형할 수 있다. 명확함을 위해 다양한 단수/복수의 치환들이 본 명세서에서 명시적으로 기재될 수도 있다.
일반적으로, 본 명세서에서 그리고 특히 첨부된 청구항들 (예를 들어, 첨부된 청구항들의 본문) 에서 사용되는 용어는 일반적으로 "개방적인" 용어들 (예를 들어, "포함하는" 이라는 용어는 "포함하지만 한정되지 않는" 으로 해석되어야 하고, "갖는" 이라는 용어는 "적어도 갖는" 으로 해석되어야 하고, "포함한다" 라는 용어는 "포함하지만 한정되지 않는다" 로 해석되어야 한다) 로서 의도된다는 것이 당업자에 의해 이해될 것이다. 또한, 도입된 청구항 기재의 구체적 숫자가 의도되는 경우, 이러한 의도는 청구항에 명시적으로 기재될 것이며, 이러한 기재의 부재 시에는 그러한 의도가 없다는 것이 당업자에 의해 이해될 것이다. 예를 들어, 이해를 돕기 위하여, 다음의 첨부된 청구항들은 청구항 기재를 도입하기 위해 "적어도 하나" 및 "하나 이상" 의 서두 어구의 사용을 포함할 수도 있다. 그러나, 이러한 어구의 사용은, 동일 청구항이 서두 어구 "하나 이상" 또는 "적어도 하나" 및 "a" 또는 "an" 과 같은 부정관사 (예를 들어, "a" 및/또는 "an" 은 "적어도 하나" 또는 "하나 이상" 을 의미하도록 해석되어야 한다) 를 포함할 때에도, 부정관사 "a" 또는 "an" 에 의한 청구항 기재의 도입이 이렇게 도입된 청구항 기재를 포함하는 임의의 특정 청구항을 하나의 이러한 기재만을 포함하는 실시형태들로 한정한다는 것을 내포하는 것으로 해석되어서는 안되며; 청구항 기재를 도입하는 데 사용되는 정관사의 사용에 대해서도 동일하게 유효하다. 또한, 도입되는 청구항 기재의 구체적 수가 명시적으로 기재되는 경우에도, 당업자는 이러한 기재가 통상적으로 적어도 기재된 수 (예를 들어, 다른 수식어 없이, "2 개의 기재" 에 대한 그대로의 기재는, 적어도 2 개의 기재들 또는 2 개 이상의 기재들을 의미한다) 를 의미하는 것으로 해석되어야 한다는 것을 인식할 것이다.
또한, "A, B 및 C 중 적어도 하나 등" 과 유사한 관례가 사용되는 경우에서, 일반적으로 이러한 구성은 당업자가 그 관례를 이해할 것이라는 의미로 의도된다 (예를 들어, "A, B 및 C 중 적어도 하나를 갖는 시스템" 은 A 만을, B 만을, C 만을, A 와 B 를 함께, A 와 C 를 함께, B 와 C 를 함께, 및/또는 A, B 및 C 를 함께 등을 갖는 시스템을 포함하지만 이에 한정되지 않을 것이다). "A, B 또는 C 등 중 적어도 하나" 와 유사한 관례가 사용되는 경우에서, 일반적으로 이러한 구성은 당업자가 그 관례를 이해할 것이라는 의미로 의도된다 (예를 들어, "A, B 또는 C 중 적어도 하나를 갖는 시스템" 은 A 만을, B 만을, C 만을, A 및 B 를 함께, A 및 C 를 함께, B 및 C 를 함께, 및/또는 A, B 및 C 를 함께 갖는 시스템 등을 포함하지만 이에 한정되지 않을 것이다). 또한, 상세한 설명, 청구항들 또는 도면들에서, 2 개 이상의 택일적 용어를 제시하는 사실상 임의의 이접 단어 및/또는 어구는 용어들 중 하나, 용어들 중 어느 한쪽 또는 양 용어 모두를 포함할 가능성들을 고려하도록 이해되어야 한다는 것이 당업자에 의해 이해될 것이다. 예를 들어, 어구 "A 또는 B" 는 "A" 또는 "B" 또는 "A 및 B" 의 가능성을 포함하도록 이해될 것이다.
또한, 본 개시내용의 특징들 또는 양태들은 마쿠쉬 그룹의 측면에서 서술되었으나, 본 기술분야의 당업자는 본 개시내용은 또한 마쿠쉬 그룹의 임의의 개별적인 요소 또는 요소들의 하위그룹의 측면에서 기술될 수 있다.
본 기술분야의 당업자에 의해 이해되는 바와 같이, 기술된 설명을 제공하는 측면에서와 같은, 임의의 목적과 모든 목적을 위해, 여기서 개시된 모든 범위들은 또한 임의의 모든 잠재적인 하위범위들과 이 하위범위들의 조합들을 망라한다. 임의의 열거된 범위는 동일한 범위를 적어도 동일한 절반, 1/3, 1/4, 1/5, 1/10 등으로 분해하는 것을 가능하게 하고 이렇게 충분히 기술함으로써 손쉽게 인식될 수 있다. 비제한적인 예시로서, 여기서 논의된 각각의 범위는 아래쪽 1/3, 중간의 1/3, 및 윗쪽의 1/3등으로 손쉽게 분해될 수 있다. 또한 본 기술분야의 당업자에 의해 이해될 바와 같이, "까지", "적어도", "보다 큰", "보다 작은" 등과 같은 모든 어구들은 인용한 숫자를 포함하며 상술한 바와 같이 하위범위들로 후속하여 분해될 수 있는 범위들을 가리킨다. 최종적으로, 본 기술분야의 당업자에 의해 이해될 바와 같이, 범위는 각각의 개별적인 숫자르 포함한다. 따라서, 예컨대 1~3개 셀들을 갖는 그룹은 1개, 2개, 또는 3개의 셀들을 갖는 그룹들을 가리킨다. 마찬가지로, 예컨대 1~5개 셀들을 갖는 그룹은 1개, 2개, 3개, 4개, 또는 5개의 셀들을 갖는 그룹들을 가리킨다.
본 명세서에서 다양한 실시형태들이 개시되었으나, 당업자에게는 다른 양태들 및 실시형태들이 명백할 것이다. 본 명세서에 개시된 다양한 양태들 및 실시형태들은 예시를 위한 것이고 제한으로서 의도되지 않으며, 진정한 범위 및 사상이 다음의 청구항들에 의해 나타난다.

Claims (26)

  1. 증강 현실(Augmented Reality; AR) 시스템에서의 하나 이상의 관심대상의 객체들을 추적하기 위한 방법에 있어서,
    복수의 추적 센서들 각각에서 신호들을 수신하는 단계로서, 상기 복수의 추적 센서들 각각은 광대역 감지 네트워크의 일부를 형성하며, 상기 신호들은 복수의 송신 소스들과 통신하는 복수의 무선 통신 디바이스들내로 통합된 상기 복수의 추적 센서들에서 수신되고, 상기 수신된 신호들은 하나 이상의 직접 신호들 및 에코 신호들에 대응하고, 상기 에코 신호들 각각은 관심대상의 객체에 의해 산란된 상기 직접 신호들 중의 대응하는 직접 신호와 연관되며, 상기 직접 신호들은 TV 브로드캐스트 타워, 모바일 통신을 위한 글로벌 시스템(GSM) 타워, 코드 분할 다중 액세스(CDMA) 셀룰러 통신 타워, 진폭 변조(AM) 또는 주파수 변조(FM) 브로드캐스트 타워, 디지털 오디오 브로드캐스팅(DAB) 소스, 디지털 비디오 브로드캐스팅 지상형(DVB-T) 소스, 무선 근거리 네트워크(WLAN) 액세스 포인트, 광대역 네트워크(WAN) 액세스 포인트, 초광대역 네트워크(MAN) 액세스 포인트, 및 개인 영역 네트워크(PAN) 액세스 포인트 중의 하나 이상을 포함한 상기 송신 소스들로부터 송신되는 것인, 상기 신호들을 수신하는 단계;
    상기 관심대상의 객체와 연관된 데이터를 생성하도록 상기 수신된 신호들을 처리하는 단계로서, 상기 데이터는 상기 관심대상의 객체와 연관된 하나 이상의 위치 파라미터들 또는 운동 파라미터들에 대응한 것인, 상기 수신된 신호들을 처리하는 단계; 및
    상기 관심대상의 객체를 포함한 현실 장면을 적어도 하나의 가상 객체로 증강시키기 위해 상기 하나 이상의 위치 파라미터들 또는 운동 파라미터들을 이용하여 상기 관심대상의 객체를 포함한 상기 현실 장면을 증강(augmenting)시키는 단계
    를 포함하는, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 방법.
  2. 제1항에 있어서, 상기 수신된 신호들은 TV 신호, 디지털 TV 신호, GSM 신호, CDMA 신호, AM/FM 신호, DAB 신호, DVB-T 신호, WLAN 신호, WAN 신호, MAN 신호, 및 PAN 신호 중 하나 이상에 대응한 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 방법.
  3. 제1항에 있어서, 상기 수신된 신호들을 처리하는 단계는,
    상기 수신된 신호들을 사전처리하는 단계;
    적응적 필터링을 통해 상기 수신된 신호들 각각을 상기 하나 이상의 직접 신호들 또는 에코 신호들로서 식별하는 단계;
    상기 직접 신호들 또는 상기 에코 신호들의 도플러 스펙트럼을 유도하는 단계; 및
    상기 에코 신호들의 도플러 스펙트럼을 위상 보상(phase compensate)하는 단계
    중의 하나 이상을 포함하는 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 방법.
  4. 제3항에 있어서, 상기 수신된 신호들을 사전처리하는 단계는 신호 보정, 대역폭 보정, 신호 평균화, 증폭, 하향변환, 및 디지털화 중 하나 이상을 포함하는 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 방법.
  5. 제3항에 있어서, 상기 관심대상의 객체와 연관된 데이터를 생성하기 위해 상기 수신된 신호들을 처리하는 단계는, 상기 관심대상의 객체와 연관된 상기 하나 이상의 위치 파라미터들 또는 운동 파라미터들을 결정하기 위해 상기 위상 보상된 신호들에 대한 빔 형성 처리를 이용하는 단계를 포함하는 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 방법.
  6. 제5항에 있어서, 상기 빔 형성 처리를 이용하는 단계는,
    상기 추적 센서들의 개수와 위치를 적응적으로 선택하는 단계를 더 포함하는 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 방법.
  7. 제1항에 있어서, 상기 신호들은 대응하는 무선 통신 디바이스들의 통신 네트워크와 구별되는 무선 네트워크를 통해 통신가능하게 결합된 상기 추적 센서들로부터 수신되는 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 방법.
  8. 제7항에 있어서,
    상기 추적 센서들의 무선 네트워크는 상기 무선 통신 디바이스들의 안테나들의 다이버시티를 통해 다중경로 페이딩을 경감시키고 간섭을 감소시키도록 동적으로 구성된 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 방법.
  9. 증강 현실(Augmented Reality; AR) 시스템에서의 현실 장면내의 관심대상의 객체를 추적하기 위한 시스템에 있어서,
    복수의 추적 센서들로서, 상기 추적 센서들 각각은 하나 이상의 직접 신호들 및 에코 신호들을 수신하고 상기 수신된 신호들을 사전처리하도록 되어 있으며, 상기 직접 신호들은 TV 브로드캐스트 타워, 모바일 통신을 위한 글로벌 시스템(GSM) 타워, 코드 분할 다중 액세스(CDMA) 셀룰러 통신 타워, 진폭 변조(AM) 또는 주파수 변조(FM) 브로드캐스트 타워, 디지털 오디오 브로드캐스팅(DAB) 소스, 디지털 비디오 브로드캐스팅 지상형(DVB-T) 소스, 무선 근거리 네트워크(WLAN) 액세스 포인트, 광대역 네트워크(WAN) 액세스 포인트, 초광대역 네트워크(MAN) 액세스 포인트, 및 개인 영역 네트워크(PAN) 액세스 포인트 중의 하나 이상을 포함하는 하나 이상의 대응하는 송신 소스들과 연관되고, 상기 에코 신호들은 상기 관심대상의 객체로부터 산란된 상기 하나 이상의 직접 신호들과 연관된 것인, 상기 복수의 추적 센서들;
    상기 관심대상의 객체와 연관된 캡쳐된 2D 이미지에 기초하여 이미지 정보를 유도하도록 되어 있는 이미지 처리 서버; 및
    현실 서버
    를 포함하며, 상기 현실 서버는,
    무선 네트워크를 통해 상기 복수의 추적 센서들과 통신하고;
    상기 사전처리된 신호들을 수신하고;
    상기 사전처리된 신호들에 기초하여 상기 관심대상의 객체를 추적하며;
    상기 이미지 정보 및 상기 추적된 관심대상의 객체에 기초하여 상기 현실 장면을 증강시키도록 되어 있는 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 시스템.
  10. 제9항에 있어서, 상기 추적 센서들 각각은,
    상기 수신된 직접 신호들을 처리하여 다중경로 간섭을 경감시키도록 되어 있는 블라인드 채널 등화기;
    상기 수신된 에코 신호들을 처리하여 클러터(clutter)를 억제하도록 되어 있는 적응적 필터; 및
    상기 직접 신호들 각각과 상기 에코 신호들 각각을 교차 상관시켜서 도플러 스펙트럼 신호를 생성하도록 되어 있는 상관기
    를 포함한 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 시스템.
  11. 제10항에 있어서, 상기 블라인드 채널 등화기, 상기 적응적 필터, 또는 상기 상관기의 하나 이상의 기능들은 디지털 신호 프로세서에 의해 제공되는 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 시스템.
  12. 제9항에 있어서, 상기 현실 서버는,
    상기 추적 센서들로부터 수신된 상기 사전처리된 신호들을 위상 보상하도록 되어 있는 위상 보상 모듈;
    상기 위상 보상된 신호들에 기초하여 상기 관심대상의 객체에 대한 하나 이상의 위치 파라미터들 또는 운동 파라미터들을 결정하도록 되어 있는 추적/위치측정 모듈;
    상기 이미지 정보 및 상기 관심대상의 객체의 위치/운동 정보에 기초하여 하나 이상의 가상 객체들을 생성하도록 되어 있는 현실 엔진; 및
    상기 현실 장면을 상기 하나 이상의 가상 객체들로 증강시키도록 되어 있는 이미지 생성기
    를 포함한 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 시스템.
  13. 제9항에 있어서, 상기 증강된 현실 장면의 시각화물을 생성하도록 되어 있는 시각화 디바이스를 더 포함하는, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 시스템.
  14. 제13항에 있어서, 상기 시각화 디바이스는 머리 장착형 디스플레이, 가상 레티날 디스플레이, 및 모니터 중 하나 이상을 포함한 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 시스템.
  15. 제9항에 있어서, 상기 추적 센서들의 일부는 동일한 유형의 송신호를 수신하도록 되어 있는 동질성 센서들을 포함하며, 상기 추적 센서들의 다른 부분은 상이한 유형의 송신호를 수신하도록 되어 있는 이질성 센서들을 포함하는 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 시스템.
  16. 제9항에 있어서, 상기 현실 서버는 또한 합성된 안테나들의 어레이를 교정하도록 되어 있으며, 상기 합성된 안테나들의 어레이는 상기 추적 센서들 각각으로부터의 안테나들을 포함하며, 상기 추적 센서들 각각은 위치 기반 서비스를 이용하도록 되어 있는 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 시스템.
  17. 증강 현실(Augmented Reality; AR) 시스템에서의 하나 이상의 관심대상의 객체들을 추적하기 위한 장치에 있어서,
    무선 통신 디바이스;
    상기 무선 통신 디바이스 내에 포함된 안테나와 추적 센서
    를 포함하며, 상기 무선 통신 디바이스는,
    상기 안테나로 신호들을 수신하고 - 상기 수신된 신호들은 하나 이상의 송신 소스들로부터의 하나 이상의 직접 신호들 및 상기 하나 이상의 직접 신호들의 결과물로서의 상기 하나 이상의 관심대상의 객체들로부터 산란된 에코 신호들에 대응하며, 상기 직접 신호들은 TV 브로드캐스트 타워, 모바일 통신을 위한 글로벌 시스템(GSM) 타워, 코드 분할 다중 액세스(CDMA) 셀룰러 통신 타워, 진폭 변조(AM) 또는 주파수 변조(FM) 브로드캐스트 타워, 디지털 오디오 브로드캐스팅(DAB) 소스, 디지털 비디오 브로드캐스팅 지상형(DVB-T) 소스, 무선 근거리 네트워크(WLAN) 액세스 포인트, 광대역 네트워크(WAN) 액세스 포인트, 초광대역 네트워크(MAN) 액세스 포인트, 및 개인 영역 네트워크(PAN) 액세스 포인트 중의 하나 이상을 포함한 상기 송신 소스들로부터 송신됨 - ;
    상기 수신된 신호들을 사전처리하여 하나 이상의 주파수 영역 신호들을 획득하고;
    상기 하나 이상의 주파수 영역 신호들을 위상 보상하여 위상 보상된 신호들을 생성하며;
    상기 위상 보상된 신호들로부터 상기 하나 이상의 관심대상의 객체들과 연관된 위치 또는 운동 정보를 유도하도록 되어 있는 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 장치.
  18. 제17항에 있어서, 상기 무선 통신 디바이스는 신호 보정, 대역폭 보정, 신호 평균화, 증폭, 하향변환, 및 디지털화 중 하나 이상의 적용에 의해 상기 수신된 신호들을 사전처리하도록 되어 있는 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 장치.
  19. 제17항에 있어서, 상기 무선 통신 디바이스는 TV 수신기, 디지털 TV 수신기, GSM 디바이스, CDMA 디바이스, AM/FM 수신기, DAB 디바이스, DVB-T 디바이스, WLAN 디바이스, WAN 디바이스, MAN 디바이스, 및 PAN 디바이스 중의 하나 이상을 포함한 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 장치.
  20. 증강 현실(Augmented Reality; AR) 시스템에서의 하나 이상의 관심대상의 객체들을 추적하기 위한 장치에 있어서,
    메모리;
    상기 메모리에 결합된 프로세서
    를 포함하며, 상기 프로세서는 상기 메모리와 협력하여 AR 엔진을 실행하도록 되어 있으며, 상기 프로세서는,
    대응하는 AR 인에이블드 무선 디바이스들의 통신 네트워크들과는 구별되는 무선 네트워크를 통해 AR 인에이블드 무선 디바이스들내로 통합된 복수의 추적 센서들과 통신하고;
    상기 추적 센서들의 개수와 위치를 적응적으로 선택하고;
    상기 추적 센서들에 의해 검출된 사전처리된 신호들 - 상기 사전처리된 신호들은 상기 추적 센서들을 포함하는 상기 AR 인에이블드 무선 디바이스들과 연관된 하나 이상의 송신 소스들로부터의 하나 이상의 직접 신호들 및 상기 직접 신호들이 상기 하나 이상의 관심대상의 객체들에 의해 반사됨으로써 초래된 에코 신호들에 대응하며, 상기 직접 신호들은 TV 브로드캐스트 타워, 모바일 통신을 위한 글로벌 시스템(GSM) 타워, 코드 분할 다중 액세스(CDMA) 셀룰러 통신 타워, 진폭 변조(AM) 또는 주파수 변조(FM) 브로드캐스트 타워, 디지털 오디오 브로드캐스팅(DAB) 소스, 디지털 비디오 브로드캐스팅 지상형(DVB-T) 소스, 무선 근거리 네트워크(WLAN) 액세스 포인트, 광대역 네트워크(WAN) 액세스 포인트, 초광대역 네트워크(MAN) 액세스 포인트, 및 개인 영역 네트워크(PAN) 액세스 포인트 중의 하나 이상을 포함한 상기 송신 소스들로부터 송신됨 - 을 수신하며;
    상기 수신된 신호들에 빔 형성 처리를 적용하여 상기 하나 이상의 관심대상의 객체들에 대한 위치 및 운동 파라미터들을 추정하는 것
    을 수행되게 하거나 수행하도록 되어 있는 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 장치.
  21. 제20항에 있어서, 상기 프로세서는 또한 상기 빔 형성 처리에 의해, 구별되는 주파수들을 갖는 송신 소스들, 구별되는 대역폭들을 갖는 송신 소스들, 또는 구별되는 안테나 패턴들을 갖는 송신 소스들 중의 하나 이상과 연관된 추적 센서들을 선택하여 다이버시티 이득이 증가되도록 구성된 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 장치.
  22. 제20항에 있어서, 상기 프로세서는 또한 상기 AR 엔진에 의해, 상기 하나 이상의 관심대상의 객체들에 대한 상기 추정된 위치 및 운동 파라미터들을 AR 애플리케이션들에게 제공하도록 되어 있고, 상기 AR 애플리케이션들은 상기 관심대상의 객체들 중의 적어도 하나의 관심대상의 객체의 디지털화된 이미지와, 상기 관심대상의 객체들 중의 적어도 하나의 관심대상의 객체에 대한 상기 추정된 위치 및 운동 파라미터들에 기초하여 생성된 가상 객체들의 중첩에 의해 증강 현실 장면을 생성하도록 구성된 것인, 증강 현실(AR) 시스템에서의 하나 이상의 관심대상 객체 추적 장치.
  23. 증강 현실(Augmented Reality; AR) 시스템에서의 하나 이상의 관심대상의 객체들을 추적하기 위한 명령들이 저장된 컴퓨터 판독가능한 저장 매체에 있어서, 상기 명령들은,
    추적 센서에서, 상기 추적 센서를 포함하는 무선 디바이스와 연관된 하나 이상의 송신 소스들로부터의 하나 이상의 직접 신호들 및 상기 하나 이상의 직접 신호들의 결과물로서 상기 하나 이상의 관심대상의 객체들로부터 산란된 에코 신호들을 수신하는 단계로서, 상기 직접 신호들은 TV 브로드캐스트 타워, 모바일 통신을 위한 글로벌 시스템(GSM) 타워, 코드 분할 다중 액세스(CDMA) 셀룰러 통신 타워, 진폭 변조(AM) 또는 주파수 변조(FM) 브로드캐스트 타워, 디지털 오디오 브로드캐스팅(DAB) 소스, 디지털 비디오 브로드캐스팅 지상형(DVB-T) 소스, 무선 근거리 네트워크(WLAN) 액세스 포인트, 광대역 네트워크(WAN) 액세스 포인트, 초광대역 네트워크(MAN) 액세스 포인트, 및 개인 영역 네트워크(PAN) 액세스 포인트 중의 하나 이상을 포함한 상기 송신 소스들로부터 송신되는 것인, 상기 하나 이상의 직접 신호들 및 에코 신호들을 수신하는 단계;
    상기 수신된 직접 신호들 또는 에코 신호들을 상기 추적 센서에서 사전처리하는 단계;
    상기 사전처리된 직접 신호들 또는 에코 신호들 각각을 교차 상관시키는 것에 기초하여 주파수 스펙트럼 신호를 유도하는 단계;
    위상 보상 모듈에서 상기 추적 센서를 포함한 복수의 추적 센서들로부터 수신된 주파수 스펙트럼 신호의 쌍들을 위상 보상하는 단계; 및
    상기 복수의 추적 센서들의 개수와 위치를 적응적으로 선택함으로써 추적/위치측정 모듈에서 상기 위상 보상된 신호들로부터 상기 하나 이상의 관심대상의 객체들과 연관된 위치 또는 운동 정보를 유도하는 단계
    를 포함한 것인, 컴퓨터 판독가능한 저장 매체.
  24. 제23항에 있어서, 상기 명령들은,
    상기 수신된 직접 신호들에 블라인드 채널 등화를 적용하여 다중경로 간섭을 경감시키는 단계; 및
    상기 수신된 에코 신호들을 적응적으로 필터링하여 클러터(clutter)를 억제하는 단계
    를 더 포함한 것인, 컴퓨터 판독가능한 저장 매체.
  25. 제23항에 있어서, 상기 명령들은,
    AR 클라이언트 애플리케이션을 실행하고 있는 상기 무선 디바이스에게 추적 정보를 송신하는 단계
    를 더 포함한 것인, 컴퓨터 판독가능한 저장 매체.
  26. 제23항에 있어서,
    상기 무선 디바이스의 네트워크는 상기 무선 디바이스의 안테나들의 다이버시티를 통해 다중경로 페이딩을 경감시키고 간섭을 감소시키도록 동적으로 구성되는 것인, 컴퓨터 판독가능한 저장 매체.
KR1020147002052A 2010-03-08 2011-02-25 증강 현실을 위한 광대역 수동적 추적 KR101677813B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/719,797 2010-03-08
US12/719,797 US8610771B2 (en) 2010-03-08 2010-03-08 Broadband passive tracking for augmented reality
PCT/US2011/026298 WO2011152902A1 (en) 2010-03-08 2011-02-25 Broadband passive tracking for augmented reality

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127014570A Division KR101476513B1 (ko) 2010-03-08 2011-02-25 증강 현실을 위한 광대역 수동적 추적

Publications (2)

Publication Number Publication Date
KR20140028116A true KR20140028116A (ko) 2014-03-07
KR101677813B1 KR101677813B1 (ko) 2016-11-18

Family

ID=44531011

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020127014570A KR101476513B1 (ko) 2010-03-08 2011-02-25 증강 현실을 위한 광대역 수동적 추적
KR1020137022640A KR101445996B1 (ko) 2010-03-08 2011-02-25 증강 현실을 위한 광대역 수동적 추적
KR1020147002052A KR101677813B1 (ko) 2010-03-08 2011-02-25 증강 현실을 위한 광대역 수동적 추적

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020127014570A KR101476513B1 (ko) 2010-03-08 2011-02-25 증강 현실을 위한 광대역 수동적 추적
KR1020137022640A KR101445996B1 (ko) 2010-03-08 2011-02-25 증강 현실을 위한 광대역 수동적 추적

Country Status (5)

Country Link
US (2) US8610771B2 (ko)
JP (1) JP2013515275A (ko)
KR (3) KR101476513B1 (ko)
CN (1) CN102656474B (ko)
WO (1) WO2011152902A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022119366A1 (ko) * 2020-12-04 2022-06-09 삼성전자주식회사 안테나를 포함하는 전자 장치

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
AU2010262768B2 (en) * 2009-06-19 2016-02-11 Cohda Wireless Pty Ltd Environment estimation in a wireless communication system
KR20120053420A (ko) * 2010-11-17 2012-05-25 삼성전자주식회사 디바이스 제어 시스템 및 방법
US9563265B2 (en) 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
US9625720B2 (en) 2012-01-24 2017-04-18 Accipiter Radar Technologies Inc. Personal electronic target vision system, device and method
US20130297460A1 (en) 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
CN103457887A (zh) * 2012-06-04 2013-12-18 西安秦码软件科技有限公司 基于仿射投影算法构建超宽带信道均衡器模型
WO2014009786A1 (en) * 2012-07-10 2014-01-16 Gorodetski Reuven System and method for receipt acquisition
WO2014021881A1 (en) * 2012-08-01 2014-02-06 Empire Technology Development, Llc Anomaly detection for cloud monitoring
WO2014040281A1 (zh) * 2012-09-14 2014-03-20 华为技术有限公司 移动终端的增强现实处理方法及装置
WO2014060876A1 (en) * 2012-10-18 2014-04-24 Gil Zwirn Acquiring information regarding a volume using wireless networks
WO2014162166A1 (en) * 2013-03-30 2014-10-09 Qatar University Qstp-B System and methods for detection and tracking of wireless enabled objects
US9544534B2 (en) * 2013-09-24 2017-01-10 Motorola Solutions, Inc. Apparatus for and method of identifying video streams transmitted over a shared network link, and for identifying and time-offsetting intra-frames generated substantially simultaneously in such streams
US9647345B2 (en) * 2013-10-21 2017-05-09 Elwha Llc Antenna system facilitating reduction of interfering signals
US20150154800A1 (en) * 2013-12-04 2015-06-04 Glen J. Anderson Augmented reality viewing initiation based on social behavior
US9437000B2 (en) * 2014-02-20 2016-09-06 Google Inc. Odometry feature matching
US9761049B2 (en) * 2014-03-28 2017-09-12 Intel Corporation Determination of mobile display position and orientation using micropower impulse radar
US9092898B1 (en) 2014-07-03 2015-07-28 Federico Fraccaroli Method, system and apparatus for the augmentation of radio emissions
US10871561B2 (en) 2015-03-25 2020-12-22 Urthecast Corp. Apparatus and methods for synthetic aperture radar with digital beamforming
EP3104330B1 (de) * 2015-06-09 2019-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum nachverfolgen zumindest eines objektes und verfahren zum ersetzen zumindest eines objektes durch ein virtuelles objekt in einem von einer kamera aufgenommenen bewegtbildsignal
EP3311449B1 (en) 2015-06-16 2019-12-11 King Abdulaziz City for Science and Technology Efficient planar phased array antenna assembly
KR102402048B1 (ko) 2015-10-14 2022-05-26 삼성전자주식회사 전자 장치 및 그 제어 방법
CA3044806A1 (en) 2015-11-25 2017-06-01 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
CN113156650A (zh) 2016-01-19 2021-07-23 奇跃公司 利用映像的增强现实系统和方法
AU2017257549B2 (en) * 2016-04-26 2021-09-09 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
TWI669633B (zh) * 2016-06-04 2019-08-21 英屬維爾京群島商創意點子數位股份有限公司（Ｂ．Ｖ．Ｉ） Mixed reality interaction method and system thereof
US10254546B2 (en) 2016-06-06 2019-04-09 Microsoft Technology Licensing, Llc Optically augmenting electromagnetic tracking in mixed reality
US9720086B1 (en) 2016-11-22 2017-08-01 4Sense, Inc. Thermal- and modulated-light-based passive tracking system
US9638800B1 (en) 2016-11-22 2017-05-02 4Sense, Inc. Passive tracking system
CA3064735C (en) 2017-05-23 2022-06-21 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
CA3064586A1 (en) 2017-05-23 2018-11-29 King Abdullah City Of Science And Technology Synthetic aperture radar imaging apparatus and methods for moving targets
US10795009B2 (en) * 2017-05-31 2020-10-06 Google Llc Digital beamforming for radar sensing using wireless communication chipset
US10754005B2 (en) 2017-05-31 2020-08-25 Google Llc Radar modulation for radar sensing using a wireless communication chipset
US10782390B2 (en) 2017-05-31 2020-09-22 Google Llc Full-duplex operation for radar sensing using wireless communication chipset
US11525910B2 (en) 2017-11-22 2022-12-13 Spacealpha Insights Corp. Synthetic aperture radar apparatus and methods
US10797381B2 (en) * 2018-03-09 2020-10-06 Isotropic Systems Ltd. Dynamic interference reduction for antenna beam tracking systems
US10318811B1 (en) * 2018-04-22 2019-06-11 Bubbler International Llc Methods and systems for detecting objects by non-visible radio frequencies and displaying associated augmented reality effects
EP3803450A4 (en) * 2018-05-31 2021-08-18 Magic Leap, Inc. POSITIONING A RADAR HEAD
CN112567637B (zh) * 2018-06-01 2023-08-01 X开发有限责任公司 智能跟踪系统及其方法和系统
EP3827274B1 (en) * 2018-07-26 2023-11-01 Signify Holding B.V. Method for configuring a tracking system, tracking system, lighting system incorporating a tracking system and computer program
RU2700688C1 (ru) 2018-09-24 2019-09-19 Самсунг Электроникс Ко., Лтд. Способы калибровки каналов фазированной антенной решетки
US11169382B2 (en) 2019-01-25 2021-11-09 Valve Corporation Wireless data transport system for head-mounted displays
KR20210132132A (ko) 2019-06-17 2021-11-03 구글 엘엘씨 멀티 모드 인터페이스에 상이한 전력 모드를 적용하기 위한 모바일 디바이스 기반 레이더 시스템
US10893329B1 (en) 2019-09-03 2021-01-12 International Business Machines Corporation Dynamic occlusion of livestreaming
JP7381263B2 (ja) 2019-09-12 2023-11-15 セコム株式会社 検出システム及び検出方法
CN111077521B (zh) * 2019-12-25 2023-07-18 中国科学院上海微系统与信息技术研究所 一种动态检测对象的成像补偿方法、装置、设备和介质
US10893302B1 (en) 2020-01-09 2021-01-12 International Business Machines Corporation Adaptive livestream modification
CN115299013B (zh) * 2020-03-26 2024-02-09 华为技术有限公司 一种信道跟踪方法及其相关设备
US10911085B1 (en) * 2020-04-27 2021-02-02 America as represented by the Secretary of the Army Method and apparatus for performing signal augmentation
KR20210137826A (ko) * 2020-05-11 2021-11-18 삼성전자주식회사 증강현실 생성장치, 증강현실 표시장치 및 증강현실 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040100402A1 (en) * 2002-11-26 2004-05-27 Mccandless Jay Broadband CSC2 antenna pattern beam forming networks
KR20090003365A (ko) * 2006-04-26 2009-01-09 퀄컴 인코포레이티드 무선 위치 측정 장치 및 방법
KR20090044700A (ko) * 2007-11-01 2009-05-07 광주과학기술원 컨텍스트 인식 증강 현실을 제공하기 위한 시스템 및 방법
US20100002077A1 (en) * 2005-01-13 2010-01-07 Sensis Corporation Method and system for tracking position of an object using imaging and non-imaging surveillance devices

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4137532A (en) * 1977-04-29 1979-01-30 Westinghouse Electric Corp. VIP doppler filter bank signal processor for pulse doppler radar
US5347541A (en) * 1992-11-02 1994-09-13 The Regents Of The Univ. Of California Apparatus and method for utilizing a blind equalizer based on a Bayesian symbol sequence estimator for use in digital communication
US6947571B1 (en) 1999-05-19 2005-09-20 Digimarc Corporation Cell phones with optical capabilities, and related applications
US6865477B2 (en) * 1994-05-31 2005-03-08 Winged Systems Corporation High resolution autonomous precision positioning system
US5828944A (en) * 1996-01-11 1998-10-27 Illinois Superconductor Corporation Diversity reception signal processing system
US6176837B1 (en) 1998-04-17 2001-01-23 Massachusetts Institute Of Technology Motion tracking system
US7035897B1 (en) 1999-01-15 2006-04-25 California Institute Of Technology Wireless augmented reality communication system
US6578017B1 (en) 1999-02-26 2003-06-10 Information Decision Technologies, Llc Method to aid object detection in images by incorporating contextual information
US6500008B1 (en) 1999-03-15 2002-12-31 Information Decision Technologies, Llc Augmented reality-based firefighter training system and method
US6961070B1 (en) 2000-02-25 2005-11-01 Information Decision Technologies, Llc Method to graphically represent weapon effectiveness footprint
US20020196202A1 (en) 2000-08-09 2002-12-26 Bastian Mark Stanley Method for displaying emergency first responder command, control, and safety information using augmented reality
US6901389B1 (en) 2000-02-25 2005-05-31 Information Decision Technologies, Llc Method to augment imagery to display 3-D probabilistic object locations
US20030210228A1 (en) 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US20020191004A1 (en) 2000-08-09 2002-12-19 Ebersole John Franklin Method for visualization of hazards utilizing computer-generated three-dimensional representations
US7057582B2 (en) 2000-03-15 2006-06-06 Information Decision Technologies, Llc Ruggedized instrumented firefighter's self contained breathing apparatus
US6866512B2 (en) 2000-03-15 2005-03-15 Information Decision Technologies, Llc Ruggedized instrumented firefighter's vari-nozzle
US7110013B2 (en) 2000-03-15 2006-09-19 Information Decision Technology Augmented reality display integrated with self-contained breathing apparatus
US6607038B2 (en) 2000-03-15 2003-08-19 Information Decision Technologies, Llc Instrumented firefighter's nozzle and method
US6903707B2 (en) 2000-08-09 2005-06-07 Information Decision Technologies, Llc Method for using a motorized camera mount for tracking in augmented reality
JP3608001B2 (ja) * 2000-12-18 2005-01-05 三菱電機株式会社 パッシブレーダ装置
US6760026B2 (en) 2001-01-02 2004-07-06 Microsoft Corporation Image-based virtual reality player with integrated 3D graphics objects
US6822648B2 (en) 2001-04-17 2004-11-23 Information Decision Technologies, Llc Method for occlusion of movable objects and people in augmented reality scenes
WO2002091012A2 (en) * 2001-05-04 2002-11-14 Lockheed Martin Corporation Altitude estimation system and method
US6594616B2 (en) 2001-06-18 2003-07-15 Microsoft Corporation System and method for providing a mobile input device
US20030014212A1 (en) * 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
US6903752B2 (en) 2001-07-16 2005-06-07 Information Decision Technologies, Llc Method to view unseen atmospheric phenomenon using augmented reality
US7071898B2 (en) 2002-07-18 2006-07-04 Information Decision Technologies, Llc Method for using a wireless motorized camera mount for tracking in augmented reality
US7046214B2 (en) 2003-12-17 2006-05-16 Information Decision Technologies, Llc Method and system for accomplishing a scalable, multi-user, extended range, distributed, augmented reality environment
WO2003015057A1 (en) 2001-08-09 2003-02-20 Information Decision Technologies Llc Augmented reality-based firefighter training system and method
US7262747B2 (en) 2001-08-09 2007-08-28 Information Decision Technologies, Llc Method and apparatus for using thermal imaging and augmented reality
US7126558B1 (en) 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
WO2003060830A1 (en) 2002-01-15 2003-07-24 Information Decision Technologies, Llc Method and system to display both visible and invisible hazards and hazard information
US20030132283A1 (en) 2002-01-15 2003-07-17 Hobgood Andrew Wesley Method for utilizing smart cards for storing training and simulation information
WO2003067278A2 (en) 2002-02-08 2003-08-14 Lockheed Martin Corporation System and method for doppler track correlation for debris tracking
JP4032776B2 (ja) 2002-03-04 2008-01-16 ソニー株式会社 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
US7138963B2 (en) 2002-07-18 2006-11-21 Metamersion, Llc Method for automatically tracking objects in augmented reality
US7042421B2 (en) 2002-07-18 2006-05-09 Information Decision Technologies, Llc. Method for advanced imaging in augmented reality
US20050121031A1 (en) 2002-08-06 2005-06-09 Ebersole John F.Jr. Impact-protected advanced ruggedized augmented reality instrumented self contained breathing apparatus
US7034779B2 (en) 2002-08-06 2006-04-25 Information Decision Technologeis, Llc Advanced ruggedized augmented reality instrumented self contained breathing apparatus
US7333135B2 (en) 2002-10-15 2008-02-19 Fuji Xerox Co., Ltd. Method, apparatus, and system for remotely annotating a target
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US7319878B2 (en) * 2004-06-18 2008-01-15 Qualcomm Incorporated Method and apparatus for determining location of a base station using a plurality of mobile stations in a wireless mobile network
JP2006048484A (ja) 2004-08-06 2006-02-16 Advanced Telecommunication Research Institute International デザイン支援装置
US20070132785A1 (en) 2005-03-29 2007-06-14 Ebersole John F Jr Platform for immersive gaming
US20060227998A1 (en) 2005-03-29 2006-10-12 Hobgood Andrew W Method for using networked programmable fiducials for motion tracking
US8838289B2 (en) 2006-04-19 2014-09-16 Jed Margolin System and method for safely flying unmanned aerial vehicles in civilian airspace
JP2008064673A (ja) 2006-09-08 2008-03-21 Mitsubishi Electric Corp パッシブレーダ装置
JP4987456B2 (ja) 2006-12-25 2012-07-25 三菱電機株式会社 レーダ装置
US7628074B2 (en) 2007-03-15 2009-12-08 Mitsubishi Electric Research Laboratories, Inc. System and method for motion capture in natural environments
US7538724B1 (en) 2007-06-15 2009-05-26 Itt Manufacturing Enterprises, Inc. Method and system for relative tracking
EP2194846A4 (en) 2007-09-13 2013-05-22 Univ Missouri COMPONENTS OF AN OPTICAL DEVICE
US8170222B2 (en) 2008-04-18 2012-05-01 Sony Mobile Communications Ab Augmented reality enhanced audio
FR2933218B1 (fr) 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
US8045419B1 (en) * 2009-10-15 2011-10-25 The United States Of America As Represented By The Secretary Of The Navy Method for mitigating spatial aliasing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040100402A1 (en) * 2002-11-26 2004-05-27 Mccandless Jay Broadband CSC2 antenna pattern beam forming networks
US20100002077A1 (en) * 2005-01-13 2010-01-07 Sensis Corporation Method and system for tracking position of an object using imaging and non-imaging surveillance devices
KR20090003365A (ko) * 2006-04-26 2009-01-09 퀄컴 인코포레이티드 무선 위치 측정 장치 및 방법
KR20090044700A (ko) * 2007-11-01 2009-05-07 광주과학기술원 컨텍스트 인식 증강 현실을 제공하기 위한 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022119366A1 (ko) * 2020-12-04 2022-06-09 삼성전자주식회사 안테나를 포함하는 전자 장치

Also Published As

Publication number Publication date
CN102656474B (zh) 2015-04-22
US20140085483A1 (en) 2014-03-27
WO2011152902A1 (en) 2011-12-08
KR20130114259A (ko) 2013-10-16
JP2013515275A (ja) 2013-05-02
KR101445996B1 (ko) 2014-09-29
US9390503B2 (en) 2016-07-12
US8610771B2 (en) 2013-12-17
KR101677813B1 (ko) 2016-11-18
KR101476513B1 (ko) 2014-12-24
US20110216192A1 (en) 2011-09-08
KR20120081237A (ko) 2012-07-18
CN102656474A (zh) 2012-09-05

Similar Documents

Publication Publication Date Title
KR101476513B1 (ko) 증강 현실을 위한 광대역 수동적 추적
Wang et al. Push the limit of acoustic gesture recognition
KR101491582B1 (ko) 증강 현실에서의 물체 추적
CN105100775A (zh) 一种图像处理方法及装置、终端
Celebi et al. Enabling location and environment awareness in cognitive radios
US20230144796A1 (en) Estimating direction of arrival of electromagnetic energy using machine learning
Wu et al. Efficient angle-of-arrival estimation of lens antenna arrays for wireless information and power transfer
JPWO2018003158A1 (ja) 相関関数生成装置、相関関数生成方法、相関関数生成プログラムおよび波源方向推定装置
CN116347326A (zh) 目标定位感知方法、装置、通信设备和存储介质
Hsieh et al. ML-based joint Doppler estimation and compensation in underwater acoustic communications
CN116347328A (zh) 定位感知方法、装置及相关设备
Sun et al. Embedding the radio imaging in 5G networks: Signal processing and an airport use case
Wijenayake et al. DOA-estimation and source-localization in CR-networks using steerable 2-D IIR beam filters
KR101007350B1 (ko) 다중경로 간섭잡음 신호의 검출 및 제거방법과 그 장치
Chen et al. VoiceMap: Autonomous Mapping of Microphone Array for Voice Localization
Wymeersch et al. 6G Positioning and Sensing Through the Lens of Sustainability, Inclusiveness, and Trustworthiness
Niu et al. Research on vector acoustic focusing and shielding technology
Ramchurn et al. Digital Beamforming Techniques—A Comparison
Zhai et al. Normal mode energy estimation based on reconstructing the incoherent beamformed outputs from a horizontal array
CN113766424B (zh) 一种无人机室内定位方法、装置、计算机设备及存储介质
Zhang et al. Compressed sensing-based time-varying channel estimation in uwa-ofdm networks
Wang et al. Wireless Sensing Based Gesture Recognition with Edge Computing in Twin Network
Park et al. Low-rank approximation for underwater drone localization
Qiu-Fu et al. Hyperspectral image compression algorithm with maximum error controlled based on clustering
Hill et al. Live event performer tracking for digital console automation using industry-standard wireless microphone systems

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant