KR20150048881A - 증강 현실 표면 디스플레잉 - Google Patents

증강 현실 표면 디스플레잉 Download PDF

Info

Publication number
KR20150048881A
KR20150048881A KR1020157008564A KR20157008564A KR20150048881A KR 20150048881 A KR20150048881 A KR 20150048881A KR 1020157008564 A KR1020157008564 A KR 1020157008564A KR 20157008564 A KR20157008564 A KR 20157008564A KR 20150048881 A KR20150048881 A KR 20150048881A
Authority
KR
South Korea
Prior art keywords
reference object
scene
user
surface segment
virtual
Prior art date
Application number
KR1020157008564A
Other languages
English (en)
Other versions
KR101784328B1 (ko
Inventor
줄리아노 마시오시
제임스 조셉 멀홀랜드
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150048881A publication Critical patent/KR20150048881A/ko
Application granted granted Critical
Publication of KR101784328B1 publication Critical patent/KR101784328B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

헤드-마운티드 디스플레이 유닛 또는 다른 증강 현실 인에이블된 디바이스의 사용자가 그러한 유닛 또는 디바이스에 의해 제공된 다양한 사용자 인터페이스들 및 다른 특성들과 상호작용할 수 있게 하는 직관적이고, 기능적이며, 편리한 방식들을 제공하기 위한 방법들, 시스템들, 컴퓨터-판독가능 매체들, 및 장치들이 제시된다. 몇몇 실시예들에서, 헤드-마운티드 디스플레이 유닛과 같은 컴퓨팅 디바이스는 장면의 카메라 입력을 수신할 수도 있다. 후속하여, 컴퓨팅 디바이스는, 예를 들어, 수신된 카메라 입력에서 하나 또는 그 초과의 직사각형들을 검출하는 것에 기초하여 장면에서 적어도 하나의 기준 오브젝트를 식별할 수도 있다. 그 후, 컴퓨팅 디바이스는, 적어도 하나의 기준 오브젝트에 대해 표면 세그먼트를 정의하는 입력을 수신할 수도 있다. 그 후, 컴퓨팅 디바이스는 표면 세그먼트를 렌더링할 수도 있다.

Description

증강 현실 표면 디스플레잉{AUGMENTED REALITY SURFACE DISPLAYING}
본 발명의 양상들은, 컴퓨터 소프트웨어 및 컴퓨터 하드웨어를 포함하는 컴퓨팅 기술들에 관한 것이다. 특히, 본 발명의 다양한 양상들은 증강 현실(AR)을 제공할 수 있는 기술들 및 디바이스들에 관한 것이다.
점차, 사람들은, 다수의 상이한 목적들을 위해 다수의 상이한 방식들로 다양한 타입들의 기존 및 새로운 컴퓨팅 디바이스들을 사용하고 있다. 제안되었고 점차 인기있어질 수도 있는 일 타입의 디바이스는 헤드 마운티드 디스플레이(head-mounted display; HMD) 유닛이다. 그러한 헤드 마운티드 디스플레이 유닛은, 예를 들어, 헤드-마운티드 디스플레이 유닛의 사용자에게 콘텐츠를 렌더링하고 그리고/또는 그렇지 않으면 제공하기 위해, 프로세싱 컴포넌트들을 포함할 수도 있거나, 하나 또는 그 초과의 프로세싱 컴포넌트들을 포함하는 다른 디바이스와 통신할 수도 있다. 이들 사용자 인터페이스들은, 예를 들어, 자신의 눈(eye)들 위에 사용자에 의해 착용된 특수한 렌즈들 상의 헤드-마운티드 디스플레이 유닛에 의해 렌더링될 수도 있으므로, 콘텐츠는, 사용자의 실제 물리적 주변들 상에 전체적으로 또는 부분적으로 오버레이(overlay)되고 그리고/또는 그렇지 않으면 그 주변들에 관련하여 디스플레이되도록 나타나게 된다.
종래에 그리고/또는 현재 이용가능한 헤드-마운티드 디스플레이 유닛들은 통상적으로, 이들 기능들을 제공하도록 요구되는 프로세싱 전력 및 다른 리소스들에 의해 제한된다. 추가적으로, 이들 헤드-마운티드 디스플레이 유닛들에 의해 제공된 콘텐츠는 미숙하고(rudimentary) 그리고/또는 불편할 수도 있다.
헤드-마운티드 디스플레이 유닛의 사용자가, 헤드-마운티드 디스플레이 유닛에 의해 제공된 다양한 사용자 인터페이스들 및 다른 특성들과 상호작용할 수 있게 하는 더 직관적이고 기능적이며 편리한 방식들을 제공하는 특정한 실시예들이 설명된다.
몇몇 실시예들에서, 그리고 더 상세히 후술되는 바와 같이, 실제-세계 표면은, 헤드-마운티드 카메라를 통해 수신된 입력을 이용하는 직사각형 추적 기술(rectangle tracking technique)들 및 핑거 추적 기술(finger tracking technique)들의 결합을 사용하여, 실시간으로 세그먼트화될 수도 있다. 적어도 하나의 어레인지먼트(arrangement)에서, 스마트폰과 같은 일상 용품은, 다양한 오브젝트들을 추적하고 표면 평면 배열을 결정하기 위한 기준 오브젝트로서 사용될 수도 있으며, 또한 "기준 오브젝트"로 지칭될 수도 있다. 그러한 오브젝트 추적 및 표면 평면 정렬 결정들은, 예를 들어, 헤드-마운티드 디스플레이 유닛, 사용자 인터페이스 또는 다른 가상 오브젝트(그 사용자 인터페이스 또는 그 가상 오브젝트는 자신이 앵커링되는 물리 표면에 정확히 정렬됨)를 통해 렌더링할 시에 후속하여 사용될 수도 있다.
본 발명의 다양한 양상들에 따라, 헤드-마운티드 디스플레이 유닛을 통해 표면 세그먼트 상에서 렌더링될 수 있는 사용자 인터페이스들 및 다른 가상 오브젝트들의 몇몇 예들은, 웹 페이지들, 공유된 및/또는 협력적인 워크스페이스들, 네비게이션가능 애플리케이션들, 게임들, 가상 키보드들 및/또는 다른 가상 주변기기들 및 입력 디바이스들, 비디오 및/또는 미디어 재생 애플리케이션들, 통계 시각화들 및/또는 다른 데이터 표현들, 및 다양한 3차원 오브젝트들을 포함한다. 이들 타입들의 사용자 인터페이스들 및 가상 오브젝트들은, 헤드-마운티드 디스플레이 유닛을 사용하여 렌더링될 수 있는 예들로서 본 명세서에 리스팅되지만, 임의의 다른 타입의 사용자 인터페이스 또는 가상 오브젝트 등은 상기 리스팅된 것들 대신에 그리고/또는 그에 부가하여 렌더링되고 그리고/또는 그렇지 않으면 제공될 수도 있다.
몇몇 실시예들에서, 헤드-마운티드 디스플레이 유닛과 같은 컴퓨팅 디바이스는 장면의 카메라 입력을 수신할 수도 있다. 후속하여, 컴퓨팅 디바이스는, 예를 들어, 수신된 카메라 입력에서 하나 또는 그 초과의 직사각형들을 검출하는 것에 기초하여 장면에서 적어도 하나의 기준 오브젝트를 식별할 수도 있다. 그 후, 컴퓨팅 디바이스는, 적어도 하나의 기준 오브젝트에 대해 표면 세그먼트를 정의하는 입력을 수신할 수도 있다. 그 후, 컴퓨팅 디바이스는 표면 세그먼트를 렌더링할 수도 있다.
몇몇 실시예들에서, 증강 현실 표면 세그먼트화를 위한 시스템은, 장면의 이미지를 광 감지하기 위한 수단; 장면에서 적어도 하나의 기준 오브젝트를 식별하기 위한 수단 － 기준 오브젝트는 물리적 오브젝트임 －; 적어도 하나의 기준 오브젝트에 대해 표면 세그먼트를 정의하는 입력을 수신하기 위한 수단; 및 표면 세그먼트가 렌더링되게 하기 위한 수단을 포함할 수도 있다.
시스템의 몇몇 실시예들에서, 장면에서 적어도 하나의 기준 오브젝트를 식별하기 위한 수단은, 수신된 카메라 입력에서 하나 또는 그 초과의 피쳐 포인트들을 검출하기 위한 수단을 포함한다.
시스템의 몇몇 실시예들에서, 장면에서 적어도 하나의 기준 오브젝트를 식별하기 위한 수단은, 적어도 하나의 기준 오브젝트로부터 무선 통신을 수신하기 위한 수단을 포함한다.
시스템의 몇몇 실시예들에서, 장면에서 적어도 하나의 기준 오브젝트를 식별하기 위한 수단은, 수신된 카메라 입력에서 하나 또는 그 초과의 직사각형들을 검출하기 위한 수단을 포함한다.
몇몇 실시예들에서, 증강 현실 표면 세그먼트화를 위한 시스템은, 하나 또는 그 초과의 검출된 직사각형들에 기초하여 장면의 현재의 관점을 결정하기 위한 수단 － 표면 세그먼트는 장면의 현재의 관점에 대해 렌더링됨 － 을 더 포함할 수도 있다.
몇몇 실시예들에서, 증강 현실 표면 세그먼트화를 위한 시스템은, 장면의 현재 관점이 변했다고 결정하는 것에 기초하여, 렌더링된 표면 세그먼트를 동적으로 업데이트하기 위한 수단을 더 포함할 수도 있다.
시스템의 몇몇 실시예들에서, 표면 세그먼트를 정의하는 입력은, 표면 세그먼트의 형상을 정의하는 핑거 움직임이며, 여기서, 핑거 움직임은 디바이스의 사용자에 의해 수행되어, 표면 세그먼트가 렌더링되게 한다.
시스템의 몇몇 실시예들에서, 표면 세그먼트가 렌더링되게 하기 위한 수단은, 가상 워크스페이스에서 제 1 각도로 표면 세그먼트를 렌더링하기 위한 수단; 및 가상 워크스페이스에서, 제 1 각도와는 상이한 제 2 각도로 사용자에 의해 정의된 제 2 표면 세그먼트를 렌더링하기 위한 수단을 포함한다.
몇몇 실시예들에서, 증강 현실 표면 세그먼트화를 위한 시스템은, 적어도 하나의 기준 오브젝트가 장면으로부터 제거되었다고 결정하는 것에 기초하여 가상 워크스테이션을 클로즈(close)하기 위한 수단을 더 포함할 수도 있다.
몇몇 실시예들에서, 증강 현실 표면 세그먼트화를 위한 시스템은, 적어도 하나의 기준 오브젝트가 장면 또는 다른 장면으로 재도입되었다고 결정하는 것에 기초하여 가상 워크스페이스를 오픈(open)하기 위한 수단을 더 포함할 수도 있다.
몇몇 실시예들에서, 증강 현실 표면 세그먼트화를 위한 시스템은, 적어도 하나의 기준 오브젝트와는 상이한 제 2 기준 오브젝트를 검출하는 것에 기초하여 가상 워크스페이스와는 상이한 제 2 가상 워크스페이스를 오픈하기 위한 수단을 더 포함할 수도 있다.
시스템의 몇몇 실시예들에서, 제 2 기준 오브젝트를 검출하는 것은, 제 2 기준 오브젝트에 의해 디스플레이된 코드에 기초하여 제 2 기준 오브젝트를 식별하는 것을 포함한다.
몇몇 실시예들에서, 증강 현실 표면 세그먼트화를 위한 시스템은, 표면 세그먼트를 포함하는 가상 워크스페이스를 포함한 데이터 신호를 적어도 하나의 다른 디바이스에 송신하기 위한 수단을 더 포함할 수도 있다.
시스템의 몇몇 실시예들에서, 가상 워크스페이스는, 표면 세그먼트를 정의하는 입력을 제공했던 제 1 사용자에 의해 정의되고, 적어도 하나의 다른 디바이스는 제 1 사용자와는 상이한 제 2 사용자와 연관된다.
시스템의 몇몇 실시예들에서, 표면 세그먼트가 렌더링되게 하기 위한 수단은, 제 1 사용자에 대한 가상 워크스페이스를 렌더링하기 위한 수단; 및 가상 워크스페이스에 포함된 하나 또는 그 초과의 가상 오브젝트들과의 제 2 사용자의 상호작용에 기초하여, 제 1 사용자에 대한 가상 워크스페이스의 렌더링을 동적으로 업데이트하기 위한 수단을 포함한다.
몇몇 실시예들에서, 증강 현실 표면 세그먼트화를 위한 시스템은, 카메라 입력에 적어도 부분적으로 기초하여 적어도 하나의 기준 오브젝트의 포즈(pose)를 결정하기 위한 수단, 및 결정된 포즈에 적어도 부분적으로 기초하여 적어도 하나의 기준 오브젝트와는 별개로 가상 표면을 결정하기 위한 수단 － 표면 세그먼트는 가상 표면 상에 렌더링됨 － 을 더 포함할 수도 있다.
몇몇 실시예들에서, 증강 현실 표면 세그먼트화를 위한 시스템은, 프로세서에 의해 실행된 경우 프로세서로 하여금, 장면의 카메라 입력을 수신하게 하고; 장면에서 적어도 하나의 기준 오브젝트를 식별하게 하고 － 기준 오브젝트는 물리적 오브젝트임 －; 적어도 하나의 기준 오브젝트에 대해 표면 세그먼트를 정의하는 입력을 수신하게 하며; 그리고, 표면 세그먼트를 렌더링하게 하도록 구성된 프로그램 코드를 포함하는 비-일시적인 컴퓨터 판독가능 매체를 포함할 수도 있다.
몇몇 실시예들에서, 장면에서 적어도 하나의 기준 오브젝트를 식별하는 것은, 수신된 카메라 입력에서 하나 또는 그 초과의 특성 포인트들을 검출하는 것을 포함한다.
몇몇 실시예들에서, 장면에서 적어도 하나의 기준 오브젝트를 식별하는 것은, 적어도 하나의 기준 오브젝트로부터 무선 통신을 수신하는 것을 포함한다.
몇몇 실시예들에서, 장면에서 적어도 하나의 기준 오브젝트를 식별하는 것은, 수신된 카메라 입력에서 하나 또는 그 초과의 직사각형들을 검출하는 것을 포함한다.
몇몇 실시예들에서, 증강 현실 표면 세그먼트화를 위한 시스템은, 프로세서에 의해 실행된 경우 프로세서로 하여금: 하나 또는 그 초과의 검출된 직사각형들에 기초하여, 장면의 현재 관점을 결정하게 하도록 구성된 프로그램 코드를 더 포함할 수도 있으며, 여기서, 표면 세그먼트는 장면의 현재 관점에 대해 렌더링된다.
몇몇 실시예들에서, 증강 현실 표면 세그먼트화를 위한 시스템은, 프로세서에 의해 실행된 경우 프로세서로 하여금: 장면의 현재 관점이 변했다고 결정하는 것에 기초하여, 렌더링된 표면 세그먼트를 동적으로 업데이트하게 하도록 구성된 프로그램 코드를 더 포함할 수도 있다.
몇몇 실시예들에서, 표면 세그먼트를 정의하는 입력은 표면 세그먼트의 형상을 정의하는 핑거 움직임이며, 여기서, 핑거 움직임은 디바이스의 사용자에 의해 수행되어, 표면 세그먼트가 렌더링되게 한다.
몇몇 실시예들에서, 표면 세그먼트를 렌더링하는 것은, 가상 워크스페이스에서 제 1 각도로 표면 세그먼트를 렌더링하는 것; 및 가상 워크스페이스에서 제 1 각도와는 상이한 제 2 각도로 제 2 표면 세그먼트를 렌더링하는 것을 포함한다.
몇몇 실시예들에서, 증강 현실 표면 세그먼트화를 위한 시스템은, 프로세서에 의해 실행된 경우 프로세서로 하여금: 적어도 하나의 기준 오브젝트가 장면으로부터 제거되었다고 결정하게 하고, 적어도 하나의 기준 오브젝트가 장면으로부터 제거되었다고 결정하는 것에 기초하여 가상 워크스페이스를 클로즈하게 하도록 구성된 프로그램 코드를 더 포함할 수도 있다.
몇몇 실시예들에서, 증강 현실 표면 세그먼트화를 위한 시스템은, 프로세서에 의해 실행된 경우 프로세서로 하여금: 적어도 하나의 기준 오브젝트가 장면 또는 다른 장면으로 재도입되었다고 결정하게 하고, 적어도 하나의 기준 오브젝트가 장면 또는 다른 장면으로 재도입되었다고 결정하는 것에 기초하여 가상 워크스페이스를 오픈하게 하도록 구성된 프로그램 코드를 더 포함할 수도 있다.
몇몇 실시예들에서, 증강 현실 표면 세그먼트화를 위한 시스템은, 프로세서에 의해 실행된 경우 프로세서로 하여금: 적어도 하나의 기준 오브젝트와는 상이한 제 2 기준 오브젝트를 검출하게 하고, 적어도 하나의 기준 오브젝트와는 상이한 제 2 기준 오브젝트를 검출하는 것에 기초하여 가상 워크스페이스와는 상이한 제 2 가상 워크스페이스를 오픈하게 하도록 구성된 프로그램 코드를 더 포함할 수도 있다.
몇몇 실시예들에서, 제 2 기준 오브젝트를 검출하는 것은, 제 2 기준 오브젝트에 의해 디스플레이된 코드에 기초하여 제 2 기준 오브젝트를 식별하는 것을 포함한다.
몇몇 실시예들에서, 증강 현실 표면 세그먼트화를 위한 시스템은, 프로세서에 의해 실행된 경우 프로세서로 하여금: 표면 세그먼트를 포함하는 가상 워크스페이스를 포함한 데이터 신호를 적어도 하나의 다른 디바이스에 송신하게 하도록 구성된 프로그램 코드를 더 포함할 수도 있다.
몇몇 실시예들에서, 가상 워크스페이스는, 표면 세그먼트를 정의하는 입력을 제공했던 사용자에 의해 정의되고, 적어도 하나의 다른 디바이스는 제 1 사용자와는 상이한 제 2 사용자와 연관된다.
몇몇 실시예들에서, 표면 세그먼트를 렌더링하는 것은, 제 1 사용자에 대한 가상 워크스페이스를 렌더링하는 것; 및 가상 워크스페이스에 포함된 하나 또는 그 초과의 가상 오브젝트들과의 사용자의 상호작용을 결정하고, 가상 워크스페이스에 포함된 하나 또는 그 초과의 가상 오브젝트들과의 제 2 사용자의 상호작용에 기초하여 제 1 사용자에 대한 가상 워크스페이스의 렌더링을 동적으로 업데이트하는 것을 포함한다.
몇몇 실시예들에서, 증강 현실 표면 세그먼트화를 위한 시스템은, 프로세서에 의해 실행된 경우 프로세서로 하여금: 카메라 입력에 적어도 부분적으로 기초하여 적어도 하나의 기준 오브젝트의 포즈를 결정하게 하고, 결정된 포즈에 적어도 부분적으로 기초하여 적어도 하나의 기준 오브젝트와는 별개로 가상 표면을 결정하게 하도록 구성된 프로그램 코드를 더 포함할 수도 있으며, 여기서, 표면 세그먼트는 가상 표면 상에 렌더링된다.
몇몇 실시예들에서, 증강 현실 인에이블된 디바이스와 함께 사용하기 위한 방법은, 사용자의 모션을 검출하는 단계; 및 검출된 모션에 기초하여 가상 워크스페이스를 정의하는 단계를 포함할 수도 있다.
몇몇 실시예들에서, 모션을 검출하는 단계는 사용자의 시선 응시(eye gaze)를 추적하는 단계를 포함한다.
몇몇 실시예들에서, 모션을 검출하는 단계는 사용자의 적어도 하나의 핑거를 추적하는 단계를 포함한다.
몇몇 실시예들에서, 모션을 검출하는 단계는 디바이스의 모션을 결정하기 위해 적어도 하나의 관성 센서를 사용하는 단계를 포함한다.
몇몇 실시예들에서, 가상 워크스페이스는 가상 오브젝트에 대해 정의된다.
몇몇 실시예들에서, 가상 워크스페이스는 증강 현실 인에이블된 디바이스 상에서의 디스플레이를 위한 하나 또는 그 초과의 윈도우들을 포함하며, 윈도우들은, 증강 현실 인에이블된 디바이스의 사용자에게 가시적인 장면 내의 하나 또는 그 초과의 표면들에 대해 디스플레이된다.
몇몇 실시예들에서, 증강 현실 인에이블된 디바이스와 함께 사용하기 위한 방법은, 송신 또는 장래의 액세스를 위해 가상 워크스페이스의 표현을 저장하는 단계를 더 포함할 수도 있다.
몇몇 실시예들에서, 증강 현실 인에이블된 디바이스와 함께 사용하기 위한 방법은, 사용자-정의된 가상 워크스페이스를 설명하는 정보를 획득하는 단계; 적어도 하나의 앵커 오브젝트를 식별하는 단계; 식별된 앵커 오브젝트에 적어도 부분적으로 기초하여 표면을 식별하는 단계; 및 표면에 대해 가상 워크스페이스의 적어도 일부를 렌더링하는 단계를 포함할 수도 있다.
몇몇 실시예들에서, 획득하는 단계는 카메라로부터 사용자 입력을 수용하는 단계를 포함한다.
몇몇 실시예들에서, 획득하는 단계는 앵커 오브젝트로부터 정보를 수신하는 단계를 포함한다.
몇몇 실시예들에서, 획득하는 단계는 서버로부터 정보를 다운로딩하는 단계를 포함한다.
몇몇 실시예들에서, 증강 현실 인에이블된 디바이스와 함께 사용하기 위한 방법은, 제 1 증강 현실 인에이블된 디바이스 상에서 사용자에게 디스플레이하기 위한 가상 워크스페이스를 설명하는 정보를 수신하는 단계 － 가상 워크스페이스는, 제 2 증강 현실 인에이블된 디바이스의 원격 사용자에 의하여 원격 오브젝트에 대해 정의되었음 －; 기준 오브젝트를 식별하는 단계; 및 가상 워크스페이스의 적어도 일부가 제 1 증강 현실 인에이블 디바이스 상에서 제 1 사용자에게 디스플레이되게 하는 단계 － 가상 워크스페이스는 기준 오브젝트에 대해 디스플레이됨 － 를 포함할 수도 있다.
몇몇 실시예들에서, 가상 워크스페이스는, 그 워크스페이스가 제 1 사용자에게 수직하게(upright) 나타나도록 제 1 사용자에게 디스플레이된다.
몇몇 실시예들에서, 수직한 외관(appearance)은, 원격 사용자가 제 1 증강 현실 인에이블 디바이스 상에서 가상 워크스페이스를 어떻게 뷰잉하는지에 의해 정의된다.
몇몇 실시예들에서, 식별된 기준 오브젝트는 원격 오브젝트를 포함한다.
몇몇 실시예들에서, 가상 워크스페이스의 엘리먼트들의 절대적인 포지션은, 제 1 사용자 또는 원격 사용자의 포지션과는 관계없이 원격 오브젝트에 대해 유지된다.
몇몇 실시예들에서, 식별된 기준 오브젝트는 원격 오브젝트를 포함한다.
몇몇 실시예에서, 가상 워크스페이스의 엘리먼트들은, 원격 오브젝트에 대해 디스플레이되는 바와 같은 엘리먼트들의 포지션들 또는 배향들과는 상이한 원격 오브젝트에 대한 포지션들 또는 배향들로 원격 사용자에게 디스플레이된다.
몇몇 실시예들에서, 원격 오브젝트 및 식별된 기준 오브젝트는 상이한 오브젝트들이다.
몇몇 실시예들에서, 증강 현실 인에이블된 디바이스와 함께 사용하기 위한 방법은, 제 1 사용자가 가상 워크스페이스를 조정하기 위한 허가를 갖는지를 결정하는 단계, 및 제 1 사용자가 가상 워크스페이스를 조정하기 위한 허가를 가지면, 가상 워크스페이스를 로컬적으로 조정할지 또는 가상 워크스페이스를 원격으로 조정할지를 결정하는 단계를 더 포함할 수도 있다.
몇몇 실시예들에서, 가상 워크스페이스의 원격 조정은, 가상 워크스페이스가 제 2 증강 현실 인에이블된 디바이스 상에서 원격 사용자에게 어떻게 디스플레이되는지를 조정한다.
본 발명의 양상들이 예로서 도시된다. 첨부한 도면들에서, 동일한 참조 번호들은 동일한 엘리먼트들을 표시한다.
도 1은 하나 또는 그 초과의 실시예들을 포함할 수도 있는 시스템의 간략도를 도시한다.
도 2-7은 몇몇 실시예들에 따른, 기준 오브젝트 검출을 사용하여 증강 현실 표면 세그먼트화를 제공하는 일 예를 도시한 다이어그램들의 시퀀스를 도시한다.
도 8은 몇몇 실시예들에 따른, 기준 오브젝트 검출을 사용하여 증강 현실 표면 세그먼트화를 제공하는 예시적인 방법을 도시한 흐름도를 도시한다.
도 9는 몇몇 실시예들에 따른, 기준 오브젝트 검출을 사용하여 증강 현실 표면 세그먼트화를 제공하는 예시적인 방법을 도시한 흐름도를 도시한다.
도 10은 하나 또는 그 초과의 실시예들이 구현될 수도 있는 컴퓨팅 시스템의 일 예를 도시한다.
수 개의 예시적인 실시예들이, 본 발명의 일부를 형성하는 첨부한 도면들에 대해 이제 설명될 것이다. 본 발명의 하나 또는 그 초과의 양상들이 구현될 수도 있는 특정한 실시예들이 후술되지만, 다른 실시예들이 사용될 수도 있고, 다양한 변형들이 본 발명의 범위 또는 첨부된 청구항들의 사상을 벗어나지 않으면서 행해질 수도 있다.
상술된 바와 같이, 본 발명의 다양한 양상들은, 헤드-마운티드 디스플레이 유닛들, 특히 헤드-마운티드 디스플레이 유닛을 통해 디스플레이되는 가상 콘텐츠와의 상호작용들로서 해석될 수 있는 핸드 이동들 및/또는 핑거 움직임들과 같은 핸드(hand) 이동들을 검출할 수 있는 헤드-마운티드 디스플레이 유닛들과 상호작용하는 새로운 방식들에 관한 것이다. 본 명세서에 설명된 기술들을 사용하면, 사용자의 물리적 환경에 존재하는 물리적 표면에 근접하여 그리고/또는 그렇지 않으면 그에 관련하여, 사용자가 데이터의 상이한 피스(piece)들을 "레이" 아웃(lay out)할 수도 있고, 그들의 헤드-마운티드 디스플레이 유닛을 통해 렌더링된 그러한 데이터의 표현들을 가질 수도 있는 가상 데스크탑이 제공될 수 있다.
하나 또는 그 초과의 어레인지먼트들에서, 헤드-마운티드 디스플레이 유닛은, 기준 오브젝트가 배치되는 물리적 표면에 관련하여, 그러한 가상 데스크탑 뿐만 아니라 가상 데스크탑을 형성할 수도 있는 하나 또는 그 초과의 표면 세그먼트들을 렌더링할 수도 있다. 기준 오브젝트는, 예를 들어, 헤드-마운티드 디스플레이 유닛에 의해 검출될 수 있고, 기준 오브젝트가 배치되는 물리적 표면을 헤드-마운티드 디스플레이 유닛의 사용자가 뷰잉하고 있는 현재의 관점, 및 대응적으로는, 사용자가 헤드-마운티드 디스플레이 유닛에 의해 렌더링되고 있는 가상 워크스페이스를 뷰잉하고 있는 관점을 결정할 시에 추가적으로 사용될 수 있는 스마트 폰 또는 다른 물리적 오브젝트(예를 들어, 페이퍼의 패드, 스티키(sticky) 노트들의 스택(stack) 등)일 수도 있다. 특히, 헤드-마운티드 디스플레이 유닛, 및/또는 헤드-마운티드 디스플레이 유닛에 접속된 프로세싱 디바이스는, 헤드-마운티드 디스플레이 유닛의 사용자가 물리적 표면(들) 및 가상 표면(들) 둘 모두를 뷰잉하고 있는 현재의 관점을 결정하기 위해 하나 또는 그 초과의 기준 오브젝트 검출 알고리즘들을 사용할 수도 있다. 이들 기준 오브젝트 검출 알고리즘들은, 예를 들어, 헤드-마운티드 카메라에 의해 캡쳐된 장면에서 가시적인 하나 또는 그 초과의 직사각형들을 식별함으로써, 그리고 그 직사각형을 바로 뷰잉할 경우, 그러한 직사각형(들) 각각이 수직한 코너들 및 평행한 측면들을 가질 것이라는 사실에 기초하여, 식별된 직사각형(들)의 현재 뷰잉 각도를 후속하여 결정함으로써, "카메라 포즈"로 또한 지칭될 수도 있는 그러한 관점을 결정할 수 있을 수도 있다.
이들 및 다른 특성들의 결과로서, 본 발명의 다양한 양상들은 기존의 및 종래의 컴퓨팅 디바이스들보다 다수의 이점들을 제공한다. 예를 들어, 몇몇 실시예들은 사용자는, 종래의 컴퓨터 디스플레이 스크린 상에 통상적으로 디스플레이될 수 있을 수도 있는 것보다 사이즈가 더 큰 가상 워크스페이스에 디지털 콘텐츠 및/또는 다른 가상 아이템들을 배치, 포지셔닝, 및/또는 그렇지 않으면 레이 아웃하게 할 수도 있다. 부가적으로, 헤드-마운티드 디스플레이 유닛을 통해 제공될 수도 있는 바와 같은 가변 관점 및 가변 오브젝트 정렬은 사용자 경험의 더 양호한 맞춤화를 허용할 수도 있다.
또한, 실제 세계 오브젝트는, 헤드-마운티드 디스플레이 유닛을 통해 디스플레이될 수도 있는 인터페이스를 포지셔닝시키 위한 기준 포인트 뿐만 아니라, 헤드-마운티드 디스플레이 유닛을 통해 제공되는 하나 또는 그 초과의 세션들의 지속기간들에 걸쳐 하나 또는 그 초과의 특정한 가상 워크스페이스들에 액세스하기 위한 기준 식별자로서 사용될 수도 있다. 결국, 이러한 기능은, 예를 들어, 장래에 그들의 가상 워크스페이스 또는 디지털 데이터의 다른 특정한 레이아웃을 재생성하기 위한 필요를 걱정할 필요 없이, 사용자가 그들의 디지털 데이터를 매우 신속하게 패킹 업(pack up)하게 할 수도 있다.
예를 들어, 몇몇 실시예들에 따르면, 헤드-마운티드 디스플레이 유닛의 사용자가 그들의 스마트폰과 같이 기준 오브젝트로서 사용되고 있는 오브젝트를 픽업(pick-up)하는 경우, 헤드-마운티드 디스플레이 유닛에 의해 디스플레이된 가상 워크스페이스에 포함된 윈도우들 및/또는 다른 가상 오브젝트들 모두는 렌더링된 디스플레이로부터 자동적으로 사라질 수도 있다. 후속하여, 사용자가 기준 오브젝트를 내려놓게 배치하고 그리고/또는 그렇지 않으면 헤드-마운티드 디스플레이 유닛의 관점에 배치하는 경우, 헤드-마운티드 디스플레이 유닛은, 그것이 기준 오브젝트가 제거되었던 경우와 같았던 것처럼 가상 워크스페이스를 렌더링할 수도 있으며, 그에 의해, 사용자가 그 기준 오브젝트를 두었던 포인트에서 그들의 세션을 사용자가 재개하게 한다. 헤드-마운티드 디스플레이 유닛은, 예를 들어, 헤드-마운티드 디스플레이 유닛에 포함되고 그리고/또는 그렇지 않으면 그 유닛에 통신가능하게 커플링된 카메라를 사용하여 특정한 기준 오브젝트의 그러한 도입 및/또는 제거를 검출할 수도 있다. 상이한 표면 세그먼트들의 상대적인 포지션들은 기준 오브젝트가 제거되는 경우와 재도입되는 경우 사이에서 유지될 수도 있을 뿐만 아니라, 표면 세그먼트들 중 하나 또는 그 초과와 연관된 프로그램들 또는 기능의 현재 상태가 유지될 수도 있다. 예를 들어, 세그먼트들 중 하나에서 재생되는 영화가 일시중지되고 자동적으로 재개될 수도 있거나, 세그먼트들 중 하나 내의 문서는 저장되고 자신의 이전 상태로 재디스플레이될 수도 있다.
이제 다양한 실시예들은, 도 1로 시작하는 첨부한 도면들을 참조하여 더 상세히 설명될 것이다.
도 1은 하나 또는 그 초과의 실시예들을 포함할 수도 있는 시스템(100)의 간략도를 도시한다. 도 1에서 관측되는 바와 같이, 시스템(100)은 메모리(105) 뿐만 아니라, 입력/출력 서브시스템(110), 기준 오브젝트 검출 서브시스템(115), 표면 세그먼트 관리 서브시스템(120), 제어 오브젝트 추적 서브시스템(125), 및 렌더링 서브시스템(140)을 포함하는 다수의 서브시스템들을 포함할 수도 있다. 하나 또는 그 초과의 서브시스템들이 서로 통신할 수 있고 서로 데이터를 교환할 수 있게 하는 하나 또는 그 초과의 통신 경로들이 제공될 수도 있다. 부가적으로, 도 1에 도시된 다양한 서브시스템들은 소프트웨어, 하드웨어, 또는 이들의 결합으로 구현될 수도 있다. 몇몇 실시예들에서, 시스템(100)은, 헤드-마운티드 디스플레이(HMD) 유닛에 통신가능하게 커플링된 컴퓨팅 디바이스와 같은 컴퓨팅 디바이스에 포함될 수도 있다. 몇몇 다른 실시예들에서, 시스템(100)은 HMD 유닛 그 자체 또는 다른 타입의 헤드-업(head-up) 디스플레이에 직접 포함될 수도 있다. 몇몇 실시예들에서, 시스템(100)의 엘리먼트들은, HMD 이외의 일 타입의 증강 현실-인에이블된 디바이스, 예를 들어, 증강 현실을 구현하도록 구성된 모바일 폰, 태블릿 컴퓨터, 및/또는 텔레비전에 포함될 수도 있다. 몇몇 실시예들에서, 도 1에 도시된 컴포넌트들 모두는 HMD에 포함될 수도 있다. 다른 실시예들에서, 도 1에 도시된 컴포넌트들 중 몇몇은 HMD에 포함될 수도 있지만, 컴포넌트들 중 나머지는 HMD에 통신가능하게 접속된 다른 디바이스에 포함될 수도 있다. 예를 들어, 도 1에 도시된 몇몇 컴포넌트들은 HMD에 포함될 수도 있고, 도 1에 도시된 컴포넌트들 중 나머지는 HMD에 통신가능하게 접속된 스마트폰과 같은 모바일 디바이스에 포함될 수도 있다.
다양한 실시예들에서, 시스템(100)은 도 1에 도시된 것들과는 다른 서브시스템들을 포함할 수도 있다. 부가적으로, 도 1에 도시된 실시예는 몇몇 실시예들을 포함할 수도 있는 시스템의 하나의 예일 뿐이며, 다른 실시예들에서, 시스템(100)은 도 1에 도시된 것들보다 더 많거나 더 적은 서브시스템들을 가질 수도 있거나, 2개 또는 그 초과의 서브시스템들을 결합시킬 수도 있거나, 상이한 구성 또는 어레인지먼트의 서브시스템들을 가질 수도 있다.
몇몇 실시예들에서, 입력/출력 서브시스템(110)은, 입력이 시스템(100)의 사용자로부터 수신될 수 있게 하고 그리고/또는 출력이 그 사용자에게 제공될 수 있게 하는 하나 또는 그 초과의 인터페이스들을 제공할 수도 있다. 예를 들어, 입력/출력 서브시스템(110)은, 하나 또는 그 초과의 버튼들 또는 키들, 하나 또는 그 초과의 포트들(예를 들어, 시리얼 포트), 및/또는 다른 입력 디바이스들과 같은 하나 또는 그 초과의 입력 디바이스들을 포함할 수도 있다. 적어도 하나의 어레인지먼트에서, 입력/출력 서브시스템(110)은 하나 또는 그 초과의 카메라들을 더 포함할 수도 있다. 몇몇 예시들에서, 입력/출력 서브시스템(110)에 포함된 카메라들 중 적어도 하나는, 예를 들어, 헤드-마운티드 카메라로서 동작하기 위한 그러한 방식으로 사용자에 의해 착용될 수도 있으며, 사용자에 의해 뷰잉된 장면의 이미지를 캡쳐하도록 추가적으로 구성될 수도 있다. 다른 어레인지먼트들에서, 입력/출력 서브시스템(110)은 부가적으로 또는 대안적으로, 하나 또는 그 초과의 관성 센서들, 하나 또는 그 초과의 마이크로폰들, 하나 또는 그 초과의 응시 추적 센서들, 하나 또는 그 초과의 그립(grip) 센서들 등과 같이, 시스템(100)의 사용자로부터 입력을 캡쳐하도록 구성될 수도 있는 하나 또는 그 초과의 다른 입력 시스템들 및/또는 센서들을 포함할 수도 있다. 다른 실시예들에서, 초음파 또는 다른 오디오, 적외선, 자외선, 전자-자기 방사, 마이크로전자기계 시스템들(MEMS) 디바이스들 등 중 하나 또는 그 초과는 입력/출력 서브시스템(110)의 컴포넌트를 형성할 수도 있다. 부가적으로, 입력/출력 서브시스템(110)은, 하나 또는 그 초과의 디스플레이 스크린들, 하나 또는 그 초과의 오디오 스피커들, 및/또는 다른 출력 디바이스들과 같은 하나 또는 그 초과의 출력 디바이스들을 포함할 수도 있다. 몇몇 예시들에서, 입력/출력 서브시스템(110)에 포함된 디스플레이 스크린들 중 적어도 하나는, 사용자의 시야 범위(field of view)를 전체적으로 또는 부분적으로 포함하는 방식으로 사용자에 의해 착용될 수도 있으며, 이는, 그에 의해 시스템(100)이 헤드-마운티드 디스플레이 유닛으로 동작할 수 있게 할 수도 있다.
몇몇 실시예들에서, 기준 오브젝트 검출 서브시스템(115)은 시스템(100)이, 시스템(100)에 의해 캡쳐된 장면의 이미지에서 하나 또는 그 초과의 기준 오브젝트들을 식별 및/또는 그렇지 않으면 검출할 수 있게 할 수도 있다. 부가적으로, 기준 오브젝트 검출 서브시스템(115)은 시스템(100)이, 하나 또는 그 초과의 식별된 기준 오브젝트들에 기초하여, 시스템(100)에 대한 카메라 포즈, 또는 현재 뷰잉되고 있는 장면의 사용자 관점의 몇몇 다른 설명을 결정할 수 있게 할 수도 있다. 상술된 바와 같이, 카메라 포즈는 시스템(100)의 사용자가, 하나 또는 그 초과의 식별된 및/또는 그렇지 않으면 검출된 기준 오브젝트들을 포함하는 장면을 뷰잉하고 있는 관점을 정의할 수도 있다. 부가적으로, 이러한 방식으로 하나 또는 그 초과의 기준 오브젝트들을 검출 및/또는 사용하는 것은, 몇몇 다른 기술들보다 더 양호한 전력 효율 및/또는 포즈 검출 기능들을 제공할 수도 있다. 몇몇 어레인지먼트들에서, 기준 오브젝트 검출 서브시스템(115)은 부가적으로 또는 대안적으로, (예를 들어, 시스템(100)에 의해 캡쳐된 장면의 이미지에서 다른 형상들을 검출함으로써) 형상이 직사각형이 아닌 다른 오브젝트들을 검출하도록 구성될 수도 있다. 부가적으로, 몇몇 예시들에서, 카메라 포즈를 결정할 시에 다수의 오브젝트들이 검출 및/또는 사용될 수도 있으며, 사용자가 어떤 오브젝트들 및/또는 형상들이 검출되는지를 (예를 들어, 그러한 오브젝트들 및/또는 형상들과 연관된 특성 포인트들에 기초하여) 셋팅 또는 선택할 수 있을 수도 있다는 점에서, 기준 오브젝트 검출 서브시스템(115)은 사용자-구성가능할 수도 있다. 예를 들어, 기준 오브젝트 검출 서브시스템(115)은 복수의 형상들 중 하나 또는 그 초과를 검출하도록 구성될 수도 있다. 추가적으로, 기준 오브젝트 검출 서브시스템(115)은 직사각형들, 정사각형들, 원들, 또는 삼각형들과 같은 형상들을 검출하도록 구성될 수도 있다. 다른 실시예들에서, 기준 오브젝트 검출 서브시스템(115)은 특정한 오브젝트들, 예를 들어, 디바이스들, 아트워크(artwork), 필기 도구들, 핸드 드로잉(hand drawing)들, 또는 하나 또는 그 초과의 디바이스들 상에 디스플레이된 이미지들을 검출하도록 구성될 수도 있다. 몇몇 실시예들에서, 기준 오브젝트 검출 서브시스템(115)은, 예를 들어, 기준 오브젝트가 사용자의 모바일 폰인 경우, 모바일 폰 및/또는 직사각형을 검출하도록 구성될 수도 있다. 그러한 실시예들은, 사용자가 그들과 함께 그들의 폰을 가질 가능성이 있을 수도 있고 그에 따라 본 명세서에 설명된 실시예들 중 하나 또는 그 초과를 편리하게 이용할 수 있을 수도 있기 때문에 유익할 수도 있다. 추가적으로, 직사각형 검출은 더 상세히 후술되는 바와 같이, 몇몇 실시예들에서 효율적으로 구현될 수도 있다.
몇몇 실시예들에서, 표면 세그먼트 관리 서브시스템(120)은 시스템(100)이, 가상 워크스페이스 및/또는 그러한 가상 워크스페이스에 포함된 하나 또는 그 초과의 표면 세그먼트들을 렌더링할 수 있게 할 수도 있다. 예를 들어, 일 실시예에서, 가상 워크스페이스는 사용자 애플리케이션들과 연관된 하나 또는 그 초과의 가상 오브젝트들을 포함할 수도 있다. 다른 실시예들에서, 가상 워크스페이스는, 사용자의 가상 데스크탑과 연관된 가상 오브젝트들을 포함할 수도 있다. 이들 가상 오브젝트들은 다양한 태스크들, 예를 들어, 그래픽 소프트웨어, 텍스트 소프트웨어, 프리젠테이션 소프트웨어, 또는 워크스페이스와 일반적으로 연관된 다른 타입의 소프트웨어를 완료하기 위해 사용자가 사용하는 툴들을 포함할 수도 있다. 몇몇 실시예들에서, 가상 워크스페이스는, 사용자가 특정한 애플리케이션 또는 기능에 대해 정의하고 그리고/또는 그 애플리케이션 또는 기능과 연관시키는 하나 또는 그 초과의 세그먼트들 또는 영역들을 포함한다. 예를 들어, 하나의 세그먼트는 미디어 플레이어를 포함하는 것으로 사용자에 의해 지정될 수도 있지만, 다른 세그먼트는, SMS 애플리케이션 또는 이메일 프로그램과 같은 메시징 애플리케이션과 함께 사용하기 위해 사용자에 의해 지정될 수도 있다. 몇몇 실시예들에서, 하나 또는 그 초과의 세그먼트들은 세그먼트가 표면과 접하는 것으로(flush) 나타나도록 2차원 콘텐츠와 연관될 수도 있지만, 하나 또는 그 초과의 다른 세그먼트들은, 예를 들어, 콘텐츠가 홀로그램인 것처럼 그 콘텐츠가 사용자에게 나타날 수도 있도록 3차원 콘텐츠와 연관될 수도 있다. 임의의 수의 다른 세그먼트들 또는 구성들이 구현될 수도 있다. 몇몇 실시예들에서, 표면 세그먼트 관리 서브시스템(120)은, 시스템(100)에 의해 렌더링될 하나 또는 그 초과의 사용자 인터페이스들 및/또는 다른 가상 오브젝트들을 생성하고, (예를 들어, 기준 오브젝트 검출 서브시스템(115)에 의해 결정된 현재 관점에 기초하여) 그러한 사용자 인터페이스들 및/또는 가상 오브젝트들이 임의의 특정한 순간에 렌더링되어야 하는 관점을 결정하며, 그리고/또는 임의의 관련 관점 정보와 함께 렌더링 서브시스템(140)에 생성된 사용자 인터페이스들 및/또는 가상 오브젝트들을 제공하도록 구성될 수도 있다.
몇몇 실시예들에서, 제어 오브젝트 추적 서브시스템(125)은 시스템(100)이, 하나 또는 그 초과의 표면 세그먼트들 및/또는 하나 또는 그 초과의 가상 워크스테이션들이 제공될 수 있는 하나 또는 그 초과의 기준 오브젝트들과 같은 하나 또는 그 초과의 기준 오브젝트들을 식별 및/또는 그렇지 않으면 검출할 수 있게 할 수도 있다. 예를 들어, 제어 오브젝트 추적 서브시스템(125)은 시스템(100)이, 기준 오브젝트를 포함하는 물리적 장면의 이미지에서 검출될 수도 있는 기준 오브젝트의 고유한 특성들에 기초하여 특정한 기준 오브젝트를 식별할 수 있게 할 수도 있다. 부가적으로, 제어 오브젝트 추적 서브시스템(125)은 시스템(100)이, 기준 오브젝트로 송신되고 그리고/또는 기준 오브젝트로부터 수신되는 하나 또는 그 초과의 전자 신호들에 기초하여 시스템(100) 주변에 있는 특정한 기준 오브젝트를 식별할 수 있게 할 수도 있다. 더 추가적으로, 제어 오브젝트 추적 서브시스템(125)은 시스템(100)이, 기준 오브젝트의 아이덴티티 및/또는 기준 오브젝트에 의해 디스플레이된 코드, 또는 (예를 들어, 기준 오브젝트가 시스템(100)의 사용자의 관점 내에 있는 경우) 디스플레이될 하나 또는 그 초과의 특정한 가상 워크스페이스들 및/또는 표면 세그먼트들을 고유하게 식별하는 기준 오브젝트와 연관된 다른 캡쳐된 정보에 기초하여, 하나 또는 그 초과의 특정한 가상 워크스페이스들 및/또는 표면 세그먼트들을 식별 및/또는 로딩할 수 있게 할 수도 있다. 예를 들어, QR(quick Response) 코드와 같은 시각적 표시자는 기준 오브젝트 상에 그리고/또는 기준 오브젝트에 의해 디스플레이될 수도 있으며, 시스템(100)의 제어 오브젝트 추적 서브시스템(125)은 시각적 표시자에 기초하여 기준 오브젝트를 식별하도록 구성될 수도 있다. 몇몇 실시예들에서, 이러한 시각적 표시자는 다른 표시자, 예를 들어, 바 코드, 다차원 바 코드, 또는 알려진 이미지와 같은 알려진 패턴을 포함할 수도 있다. 다른 예시들에서, 제어 오브젝트 추적 서브시스템(125)은, 기준 오브젝트에 의해 송신된 무선 신호(예를 들어, 블루투스 신호, NFC(Near Field Communications) 신호 등)에 기초하여 기준 오브젝트를 식별하도록 구성될 수도 있다.
몇몇 실시예들에서, 메모리(105)는, 시스템(100) 및/또는 시스템(100)에 포함된 다양한 서브시스템들에 의해 사용될 수도 있는 다양한 타입들의 정보를 저장 및/또는 리트리브(retrieve)하도록 구성될 수도 있다. 예를 들어, 메모리(105)는 기준 오브젝트 정보(130) 및 가상 워크스페이스 정보(135)를 저장할 수도 있다. 기준 오브젝트 정보(130)는, 예를 들어, 특정한 기준 오브젝트들을 고유하게 식별하는 속성들과 같은 하나 또는 그 초과의 기준 오브젝트들의 다양한 속성들을 설명 및/또는 정의하는 정보를 포함할 수도 있다. 예를 들어, 일 실시예에서, 모바일 디바이스는 HMD 또는 다른 증강 현실 인에이블된 디바이스와 통신할 수도 있으며, 스마트폰은 기준 오브젝트일 수도 있다. 그러한 실시예에서, 모바일 디바이스는 그 자체를 기준 오브젝트로서 인식하도록 구성될 수도 있다. 다른 실시예에서, 모바일 디바이스는, 기준 오브젝트와 연관된 그래픽 또는 바 코드와 같은 이미지를 디스플레이할 수도 있다. 그러한 실시예에서, 이것은 HMD 또는 다른 증강 현실 인에이블된 디바이스가 모바일 디바이스를 기준 오브젝트로서 검출할 수 있게 할 수도 있다. 부가적으로, 가상 워크스페이스 정보(135)는, 그러한 가상 워크스페이스들에 포함될 수도 있는 하나 또는 그 초과의 표면 세그먼트들, 하나 또는 그 초과의 사용자 인터페이스들, 및/또는 하나 또는 그 초과의 다른 가상 오브젝트들의 다양한 속성들을 포함하는, 시스템(100)을 통해 제공될 수 있는 하나 또는 그 초과의 가상 워크스페이스들의 다양한 속성들을 설명 및/또는 정의하는 정보를 포함할 수도 있다. 몇몇 실시예들에서, 이들 타입들의 정보가 메모리(105)에 의해 저장될 수도 있는 정보의 타입들의 예들로서 본 명세서에 리스팅되지만, 메모리(105)는, 본 명세서에 설명된 타입들의 정보 대신 및/또는 그에 부가하여 하나 또는 그 초과의 다른 타입들의 정보를 저장할 수도 있다.
몇몇 실시예들에서, 렌더링 서브시스템(140)은 시스템(100)이, 하나 또는 그 초과의 가상 워크스페이스들, 하나 또는 그 초과의 표면 세그먼트들, 및/또는 하나 또는 그 초과의 다른 가상 오브젝트들을 드로잉, 렌더링, 및/또는 그렇지 않으면 디스플레이할 수 있게 할 수도 있다. 예를 들어, 시스템(100)의 하나 또는 그 초과의 다른 서브시스템들은, 렌더링될 하나 또는 그 초과의 가상 워크스페이스들, 하나 또는 그 초과의 표면 세그먼트들, 및/또는 하나 또는 그 초과의 다른 가상 오브젝트들에 대한 정보를 렌더링 서브시스템(140)에 제공할 수도 있으며, 그에 따라, 렌더링 서브시스템(140)은 하나 또는 그 초과의 가상 워크스페이스들, 하나 또는 그 초과의 표면 세그먼트들, 및/또는 하나 또는 그 초과의 다른 가상 오브젝트들을 시스템(100)에 의해 디스플레이되게 할 수도 있다. 몇몇 예시들에서, 렌더링 서브시스템(140)에 제공되고 그리고/또는 그렇지 않으면 그 서브시스템에 의해 사용되는 정보는, 카메라 포즈 정보 및/또는 다른 관점 정보를 포함할 수도 있는데, 이것은 렌더링 서브시스템(140)이 시스템(100)의 물리적 주변부들에 대해 특정한 배향들 및/또는 각도들로 다양한 가상 오브젝트들을 드로잉, 렌더링, 및/또는 그렇지 않으면 디스플레이할 수 있게 할 수도 있기 때문이다.
시스템(100)과 같은 디바이스가 사용될 수 있는 방식들의 일 예가 이제 도 2-7에 대해 더 상세히 설명될 것이다. 특히, 도 2-7은, 몇몇 실시예들에 따라 기준 오브젝트 검출을 사용하여 증강 현실 표면 세그먼트화를 제공하는 예를 도시하는 다이어그램들의 시퀀스를 도시한다.
도 2에 도시된 바와 같이, 헤드-마운티드 디스플레이 유닛(210) 또는 다른 증강 현실 인에이블된 디바이스의 사용자(205)는, 예를 들어, 모바일 디바이스(220)가 배치되는 테이블 또는 데스크일 수도 있는 물리적 표면(215)을 뷰잉할 수도 있다. 모바일 디바이스(220)는, 예를 들어, 본 발명의 다양한 양상들에 따라 가상 워크스페이스를 제공할 시에 기준 오브젝트로서 헤드-마운티드 디스플레이 유닛(210)에 의해 사용될 수도 있다. 부가적으로, 헤드-마운티드 디스플레이 유닛(210)에 포함된 카메라는, 넓은 시야 범위를 피처링(feature)할 수도 있으며, 시야 범위 내의 직사각형 오브젝트들의 포지션 및/또는 이동 뿐만 아니라 사용자의 핑거들의 포지션 및/또는 이동과 같은 시야 범위 내의 다른 오브젝트들의 포지션 및/또는 이동을 추적할 시에 헤드-마운티드 디스플레이 유닛(210)에 의해 추가적으로 사용될 수도 있다. 몇몇 실시예들에서, 현재 실행되는 별개의 알고리즘들은 시야 범위 내의 직사각형 오브젝트들의 포지션 및/또는 이동 및 시야 범위 내의 제어 오브젝트들(예를 들어, 사용자의 핑거들)의 포지션 및/또는 이동을 추적하는데 사용될 수도 있다. 부가적으로, 몇몇 실시예들에서, 이들 추적 알고리즘들은 헤드-마운티드 디스플레이 유닛(210) 그 자체 상에서 실행될 수도 있지만, 다른 실시예들에서, 이들 추적 알고리즘들은 모바일 디바이스(220)와 같이 헤드-마운티드 디스플레이 유닛(210)에 무선으로 접속되는 모바일 컴퓨팅 디바이스 상에서 실행될 수도 있다. 몇몇 실시예들에서, 모바일 디바이스(220)는 모바일 전화기 또는 태블릿 컴퓨터를 포함한다.
후속하여, 도 3에 도시된 바와 같이, 실행되는 추적 알고리즘들 중 하나 또는 그 초과는 모바일 디바이스(220)의 형상을 검출 및/또는 추적할 수도 있다. 부가적으로, 모바일 디바이스(220)의 형상의 검출 및/또는 추적에 기초하여, 시각적 하이라이트(highlight)(305)가 (예를 들어, 사용자(205)에 의해 뷰잉하기 위하여) 헤드-마운트디 디스플레이 유닛(210)을 통해 렌더링될 수도 있다.
그 후, 도 4에 도시된 바와 같이, 사용자(205)는, 물리적 표면(215) 상의 모바일 디바이스(220)에 근접한 시작 포인트(415)에 자신의 인덱스 핑거들(405 및 410)을 배치할 수도 있다. 후속하여, 도 5에 도시된 바와 같이, 사용자(205)는 자신의 인덱스 핑거들(405 및 410)을 떼어놓을 수도 있다(draw apart). 직사각형을 서술하는 하이라이트 또는 마퀴(marquee)(505)는 인덱스 핑거들(405 및 410)의 핑거팁(fingertip)들의 이동을 따를 수도 있으며, 인덱스 핑거들(405 및 410)의 핑거팁들 각각은 마퀴(505)에 의해 서술된 직사각형의 코너에 대응한다. 하나 또는 그 초과의 실시예들에서, 마퀴(505)에 의해 서술된 직사각형은, 모바일 디바이스(220)가 배치되는 물리적 표면(215)의 평면과 정렬될 수도 있다. 부가적으로, 모바일 디바이스(220) 및/또는 임의의 다른 추적된 기준 오브젝트는 마퀴(505)에 의해 정의된 직사각형에 대한 기준으로서 사용될 수도 있다. 몇몇 예시들에서, 고정된 종횡비가 특정한 콘텐츠에 의해 요구될 수도 있는 경우, 마퀴(505)에 의해 서술된 직사각형의 치수들은, 인덱스 핑거들의 시작 포인트(415)로부터 그 인덱스 핑거들(405 및 410)의 핑거팁들에 의해 이동된 거리에 비례하여 고정된 비율로 확장 및/또는 수축될 수도 있다. 추가적으로, 몇몇 실시예들에서, 모바일 디바이스(220) 그 자체가 기준 오브젝트인지 또는 기준 오브젝트가 아닌지에 관계없이, 사용자 인터페이스로의 입력 또는 세그먼트를 정의하는 입력은, 예를 들어, 터치패드 또는 트랙패드가 어떻게 사용될 수도 있는지와 유사하게 터치스크린, 또는 모바일 디바이스(220)의 다른 입력을 사용하여 제공될 수도 있다. 예를 들어, 일 실시예에서, 기준 오브젝트는 벽 상의 페인팅을 포함할 수도 있으며, 그러한 실시예에서, 모바일 디바이스(220) 그 자체가 기준 오브젝트가 아니더라도, 사용자는 가상 워크스페이스의 세그먼트들을 지키기(defend) 위해 모바일 디바이스(220) 상의 입력 디바이스를 사용할 수 있을 수도 있다.
도 4에 도시되고 상술된 예는 형상이 직사각형인 하이라이트 또는 마퀴(505)를 수반하지만, 몇몇 예시들에서, 하이라이트 또는 마퀴의 형상은, (예를 들어, 도 6에 대해 후술되는 바와 같이) 하이라이트 또는 마퀴에 기초하여 형성될 수도 있는 표면 세그먼트의 형상과 함께 직사각형이 아닐 수도 있다. 예를 들어, 하이라이트 또는 마퀴는 형상이 원형일 수도 있거나, 이들 예들에서 설명되는 직사각형 및 원형 형상들로부터 변하는 몇몇 다른 형상을 가질 수도 있다. 부가적으로, 상술된 예에서와 같이 하이라이트 또는 마퀴의 형상을 생성하기 위해 자신의 손가락들을 떼어놓기보다는, 몇몇 부가적인 및/또는 대안적인 실시예들에서, 사용자는 형성될 형상의 윤곽을 추적할 수도 있다. 다른 예들에서, 시스템(100)의 입력/출력 서브시스템(110)에 대해 상술된 인터페이스들 중 임의의 인터페이스 및/또는 모든 인터페이스를 통해 그러한 형상을 정의하도록 다른 입력이 사용자에 의해 제공될 수도 있다. 예를 들어, 일 실시예에서, 사용자는 광학 추적 기술을 사용하여 형상의 윤곽을 드로잉할 수도 있다. 그러한 실시예에서, 입력/출력 서브시스템(110)은 시선 추적 소프트웨어를 포함할 수도 있다. 그러한 실시예에서, 사용자는, 그 형상의 윤곽을 형성하기 위해 자신의 시선들을 이동시킴으로써 형상을 정의할 수도 있다. 다른 실시예에서, 입력/출력 서브시스템(110)은 터치스크린을 포함할 수도 있다. 그러한 실시예에서, 사용자는 터치스크린의 표면 상에 형상의 윤곽을 드로잉함으로써 형상을 형성할 수도 있다. 또 다른 실시예에서, 입력/출력 서브시스템(110)은 관성 센서들을 포함할 수도 있다. 따라서, 그러한 실시예에서, 사용자는 형상의 윤곽을 형성하는 패턴으로 디바이스를 이동시킴으로써 형상을 형성할 수도 있다. 관성 센서들은 이러한 모션을 검출하고, 그에 따라 형성될 형상의 윤곽과 연관된 신호를 송신할 수도 있다.
후속하여, 도 6에 도시된 바와 같이, 일단 사용자(205)가 물리적 표면(215)으로부터 자신의 인덱스 핑거들(405 및 410)의 핑거팁들을 리프트하면, 직사각형(605)이 가상 워크스페이스에 생성되고, 헤드-마운티드 디스플레이 유닛(210)을 통해 렌더링될 수도 있다. 직사각형(605)의 사이즈는, 예를 들어, 사용자(205)가 표면으로부터 떨어져 자신의 핑거팁들을 리프트했던 포인트에서 마퀴(505)에 의해 서술된 직사각형의 사이즈에 대응할 수도 있다. 부가적으로, 직사각형(605)에는, 사용자(205)가 사용자 인터페이스를 뷰잉하고 그리고/또는 그 인터페이스와 상호작용할 수 있게 하기 위해, 헤드-마운티드 디스플레이 유닛(210)을 통해 렌더링될 수도 있는 사용자 인터페이스(610)가 거주될 수도 있다. 또한, 사용자 인터페이스(610)는, 사용자가 터치-감지형 디스플레이 스크린 상에 디스플레이된 사용자 인터페이스와 상호작용할 수 있는 방식과 유사한 방식으로 사용자(205)가 자신의 핑거팁들(405 및 410)을 사용하여 상호작용할 수도 있는 하나 또는 그 초과의 활성 콘택트 영역들을 포함할 수도 있다.
이제 도 7을 참조하면, 더 정밀하거나 고유한 기준 오브젝트가 (예를 들어, 가상 워크스페이스에서 멀티-사용자 협력을 가능하게 하기 위해) 필요할 수도 있는 예시들에서, 동적으로 생성된 마커(705)가 모바일 디바이스(220)의 스크린 상에 디스플레이될 수 있다. 마커(705)는, 예를 들어, 다른 증강 현실 또는 헤드-마운티드 디스플레이 유닛 또는 다른 접속된 디바이스에 의해 해석될 수 있는 고유한 패턴으로 인코딩될 수도 있으며, 그에 의해, 다른 증강 현실 또는 헤드-마운티드 디스플레이 또는 다른 접속된 디바이스가, 헤드-마운티드 디스플레이 유닛(210)과 같이 가상 워크스페이스를 렌더링하고, 가상 워크스페이스와의 상호작용을 용이하게 하고, 그리고/또는 그렇지 않으면 가상 워크스페이스를 제공하는 하나 또는 그 초과의 다른 헤드-마운티드 디스플레이 유닛들과의 접속을 개시할 수 있게 한다.
도 2-7에 대해 상술된 예는, (예를 들어, 특정한 가상 워크스페이스에서 단일 표면 세그먼트, 즉 직사각형(605)을 생성하기 위해) 단일 세그먼트화 태스크가 어떻게 완료될 수 있는지를 도시하지만, 다른 예시들에서, 다수의 영역들은 동일한 기준 오브젝트(예를 들어, 상기 예에서와 같이 모바일 디바이스(220))를 사용하는 동일한 사용자에 의해 유사하게 세그먼트화될 수 있다. 이러한 방식으로, 다수의 상이한 가상 윈도우들은, 기준 오브젝트가 (예를 들어, 사용자 앞에 있는 테이블 상단 또는 데스크탑 상에) 배치되는 더 넓은 영역의 물리적 표면에 걸쳐 가상 워크스페이스에서 서술되고 거주될 수 있다.
몇몇 실시예들에서, 사용자가 자신의 헤드를 이동하고, 그에 따라 헤드-마운티드 디스플레이 유닛에 포함된 카메라의 시야 범위를 변경시키는 경우, (예를 들어, 사용자가 반대 방향을 대면하기 위해 턴 어라운드하고, 기준 오브젝트가 더 이상 카메라의 시야 범위 내에 없으면) 기준 오브젝트의 추적이 손실될 수도 있다. 이러한 포인트에서, 헤드-마운티드 디스플레이 유닛에 의해 렌더링되는 가상 워크스페이스에 포함된 사용자 인터페이스들 및/또는 다른 가상 오브젝트들은 사라지게 될 수도 있다. 그러나, 가상 워크스페이스의 연관된 사용자 인터페이스들 및 다른 가상 오브젝트들을 포함하는 가상 워크스페이스는, 일단 기준 오브젝트가 카메라에 의해 재획득되면 (예를 들어, 만약 헤드-마운티드 디스플레이 유닛에 포함된 카메라를 통해 추적되는 기준 오브젝트를 다시 대면하기 위해 사용자가 턴 어라운드하면), 기준 오브젝트에 대해 동일한 상대적인 사이즈 및 포지션으로 재렌더링될 수도 있다.
몇몇 실시예들에서, 더 넓은 영역에 걸쳐 다수의 기준 오브젝트들이 추적될 수도 있고, 이것은 더 큰 표면과의 더 큰 상호작용을 가능하게 할 수도 있으며, 기준 오브젝트(들)의 추적이 손실되기 전에, 사용자의 일부 상에서의 더 넓은 범위의 헤드 이동을 허용할 수도 있다. 부가적으로, 2개 또는 그 초과의 헤드-마운티드 디스플레이 유닛들은, 카메라들이 탑재될 수도 있고 상이한 사용자들에 의해 착용 및/또는 사용될 수도 있는 하나 또는 그 초과의 다른 접속된 디바이스들과 함께 링크될 수도 있다. 이러한 방식으로, 상이한 사용자들은 다양한 기준 오브젝트(들)와 연관된 서명(들)을 공유할 수 있으며, 하나 또는 그 초과의 사용자 인터페이스들 및/또는 다른 가상 오브젝트들을 포함하는 링크된 가상 워크스페이스는, 가상 워크스페이스와의 협력적인 상호작용들을 허용하기 위해 링크된 디바이스들의 다양한 사용자들 사이에서 공유될 수도 있고 그리고/또는 그렇지 않으면 그 다양한 사용자들에게 제공될 수도 있다.
도 8은 몇몇 실시예들에 따른 기준 오브젝트 검출을 사용하는 증강 현실 표면 세그먼트화를 제공하는 예시적인 방법을 도시한 흐름도를 도시한다. 도 8에 도시된 프로세싱은, 하나 또는 그 초과의 프로세서들 및/또는 다른 하드웨어 컴포넌트들에 의해 실행될 수 있는 소프트웨어(예를 들어, 컴퓨터-판독가능 명령들, 코드, 프로그램들 등)로 구현될 수도 있다. 부가적으로 또는 대안적으로, 소프트웨어는 비-일시적인 컴퓨터-판독가능 저장 매체 상에 저장될 수도 있다. 몇몇 실시예들에서, 도 8에 도시된 방법은 헤드-마운티드 디스플레이 유닛에 의해 수행될 수도 있지만, 다른 실시예들에서, 도 8에 도시된 방법은, 헤드-마운티드 디스플레이 유닛에 통신가능하게 커플링되고, 접속되고 그리고/또는 그렇지 않으면 링크되는 컴퓨팅 디바이스에 의해 수행될 수도 있다. 또 다른 실시예들에서, 도 8에 도시된 방법은 헤드-마운티드 디스플레이 유닛, 및 헤드-마운티드 디스플레이 유닛에 통신가능하게 커플링되고, 접속되고 그리고/또는 그렇지 않으면 링크되는 컴퓨팅 디바이스에 의해 결합하여 수행될 수도 있다.
도 8에서 관측되는 바와 같이, 방법은 단계(805)에서 개시될 수도 있으며, 여기서, 카메라 입력이 수신될 수도 있다. 예를 들어, 단계(805)에서, 이미지 및/또는 비디오 입력은, 헤드-마운티드 디스플레이 유닛, 및/또는 헤드-마운티드 디스플레이 유닛에 접속된 컴퓨팅 디바이스에 의해, 헤드-마운티드 디스플레이 유닛에 포함된 하나 또는 그 초과의 카메라들로부터 카메라 입력으로서 수신될 수도 있다. 카메라 입력은, 예를 들어, 헤드-마운티드 디스플레이 유닛의 사용자 앞에 있는 장면의 하나 또는 그 초과의 이미지들을 포함할 수도 있다. 상술된 예들에서와 같이, 그러한 장면은, 하나 또는 그 초과의 기준 오브젝트들이 배치될 수도 있는 물리적 표면을 포함할 수도 있으며, 그러한 기준 오브젝트(들)는 가상 워크스페이스를 제공할 시에 헤드-마운티드 디스플레이 유닛에 의해 사용될 수도 있다. 몇몇 실시예들에서, 단계(805)에서, 시스템(100)은 입력/출력 서브시스템(110)을 사용하여 카메라 입력을 수신할 수도 있다.
단계(810)에서, 하나 또는 그 초과의 기준 오브젝트들이 검출될 수도 있다. 몇몇 실시예들에서, 이들 기준 오브젝트들은 하나 또는 그 초과의 직사각형들을 포함할 수도 있다. 예를 들어, 단계(810)에서, 헤드-마운티드 디스플레이 유닛, 및/또는 헤드-마운티드 디스플레이 유닛에 접속된 컴퓨팅 디바이스는, 카메라 입력에 포함된 하나 또는 그 초과의 기준 오브젝트들의 존재를 검출하기 위해 단계(805)에서 수신된 카메라 입력을 분석할 수도 있다. 하나 또는 그 초과의 기준 오브젝트들을 검출할 시에, 기준 오브젝트의 예상된 프로파일(예를 들어, 직사각형 기준 오브젝트에 대한 평행한 측면들 및 수직한 코너들, 또는 다른 실시예들에서는 라운딩된 코너들, 특정한 이미지 등과 같은 특징들)과 매칭하는 카메라 입력과 연관된 이미지 데이터에서 물리적 오브젝트(들)를 식별하는 것에 기초하여 장면에 포함된 하나 또는 그 초과의 기준 오브젝트들을 식별할 수도 있는 하나 또는 그 초과의 기준 오브젝트 검출 알고리즘들이 사용될 수도 있다. 몇몇 실시예들에서, 단계(810)에서, 시스템(100)은 기준 오브젝트 검출 서브시스템(115)을 사용하여 하나 또는 그 초과의 기준 오브젝트들을 검출할 수도 있다.
몇몇 실시예들에서, 장면의 현재의 관점은 또한, 하나 또는 그 초과의 검출된 기준 오브젝트들에 기초하여 결정될 수도 있다. 특히, 헤드-마운티드 디스플레이 유닛의 사용자가 장면을 뷰잉하고 있는 관점은, 하나 또는 그 초과의 검출된 기준 오브젝트들, 및 그러한 기준 오브젝트들이 나타나는 각도들에 기초하여 결정될 수도 있다. 예를 들어, 기준 오브젝트가 직사각형을 포함하는 경우, 이러한 관점은, 예를 들어, 바로 뷰잉할 경우, 그러한 직사각형(들)이 다른 특징들 중에서도 평행한 측면들 및 수직한 코너들을 가질 것이라는 사실의 관점에서 이들 파라미터들에 기초하여 결정될 수도 있다.
단계(815)에서, 하나 또는 그 초과의 기준 오브젝트들이 식별될 수도 있다. 예를 들어, 단계(815)에서, 하나 또는 그 초과의 기준 오브젝트들은, 다양한 기준 오브젝트들의 하나 또는 그 초과의 고유한 속성들을 설명하는 정보에 기초하여, 헤드-마운티드 디스플레이 유닛, 및/또는 헤드-마운티드 디스플레이 유닛에 접속된 컴퓨팅 디바이스에 의해 식별될 수도 있다. 몇몇 실시예들에서, 다양한 기준 오브젝트들은 형상이 직사각형일 수도 있으며, 카메라 입력에서 기준 오브젝트(들)를 식별하는 것은, 단계(810)에서 수행된 기준 오브젝트 검출의 결과들에 기초할 수도 있다. 특히, 그러한 기준 오브젝트 검출은, 기준 오브젝트들일 수도 있는 실제-세계 오브젝트들의 후보들을 식별하는데 사용될 수도 있으며, 후속하여, 헤드-마운티드 디스플레이 유닛 및/또는 접속된 컴퓨팅 디바이스는, 후보 오브젝트(들) 중 어느 것이 기준 오브젝트인지를 결정하기 위해 후보 오브젝트들을 분석할 수도 있다. 몇몇 실시예들에서, 단계(815)에서, 시스템(100)은 제어 오브젝트 추적 서브시스템(125)을 사용하여 하나 또는 그 초과의 기준 오브젝트들을 식별할 수도 있다.
후속하여, 단계(820)에서, 하나 또는 그 초과의 표면 세그먼트들을 정의하는 입력이 수신될 수도 있다. 몇몇 실시예들에서, 그러한 입력은, 장면에 포함된 물리적 표면에 대한 그리고/또는 단계(815)에서 식별된 하나 또는 그 초과의 기준 오브젝트들과 같은, 물리적 표면 상에 배치될 수도 있는 하나 또는 그 초과의 기준 오브젝트들에 대한 하나 또는 그 초과의 표면 세그먼트들을 정의할 수도 있다. 몇몇 예시들에서, 하나 또는 그 초과의 표면 세그먼트들을 정의하는 입력은, 예를 들어, 물리적 표면 상에서 사용자에 의해 윤곽이 지어진 직사각형을 서술하고 그리고/또는 그렇지 않으면 대응하는 사용자 입력일 수도 있다. 예를 들어, 사용자는 도 2-7에 대해 상술된 예에서와 같이, 헤드-마운티드 디스플레이 상에 포함된 카메라의 관점에서 시작 포인트에 자신의 핑거들을 배치할 수도 있고, 그 후, 사용자 인터페이스 및/또는 다른 가상 오브젝트들이 렌더링될 수도 있는 직사각형의 반대쪽 코너들을 정의하기 위해 자신의 핑거들을 바깥쪽으로 드로잉할 수도 있다. 몇몇 실시예들에서, 단계(820)에서, 시스템(100)은, 입력/출력 서브시스템(110)을 사용하여 하나 또는 그 초과의 표면 세그먼트들을 정의하는 입력을 수신할 수도 있다.
도 8을 다시 참조하면, 단계(825)에서, 가상 워크스페이스의 하나 또는 그 초과의 표면 세그먼트들이 렌더링될 수도 있다. 예를 들어, 단계(825)에서, 헤드-마운티드 디스플레이 유닛 및/또는 접속된 컴퓨팅 디바이스는, 정의된 표면 세그먼트를 포함하는 가상 워크스페이스와 연관된 하나 또는 그 초과의 가상 오브젝트들 및/또는 다른 사용자 인터페이스들과 함께, 단계(820)에서 정의된 표면 세그먼트를 렌더링할 수도 있다. 상술된 바와 같이, 그러한 표면 세그먼트 및/또는 전체 가상 워크스페이스는 단계(815)에서 식별되는 기준 오브젝트와 같은 특정한 기준 오브젝트와 연관될 수도 있으므로, 기준 오브젝트의 제거 및/또는 대체는, 각각 가상 워크스페이스의 클로징 및/또는 오프닝을 초래한다. 몇몇 실시예들에서, 단계(825)에서, 시스템(100)은, 표면 세그먼트 관리 서브시스템(120) 및/또는 렌더링 서브시스템(140)을 사용하여 가상 워크스페이스의 하나 또는 그 초과의 표면 세그먼트들을 렌더링할 수도 있다.
상술된 바와 같이, 몇몇 실시예들은, 핑거 추적 및 직사각형 인식을 수행하고, 그에 의해, (예를 들어, 실제-세계 오브젝트의) 사용자 자신의 시야 범위와 매칭하는 관점에서 렌더링되는 실제-세계 오브젝트들과 가상 오브젝트들의 결합을 보기 위한 능력을 그러한 헤드-마운티드 디스플레이 유닛의 사용자에게 제공하도록 구성된 헤드-마운티드 디스플레이 유닛을 제공한다. 부가적으로, 특정한 실시예들은, 가상 워크스페이스에서 제시된 인터페이스들과 함께 작동할 경우 물리 디바이스를 핸들링하도록 그러한 헤드-마운티드 디스플레이 유닛의 사용자에게 요구하지 않을 수도 있다.
몇몇 종래의 시스템들이 정보를 디스플레이하는 다른 방식들을 제공할 수도 있지만, 이들 종래의 시스템들은 통상적으로, 사용하기 블편하고, 많은 계산 전력을 제공할 것을 요구한다. 예를 들어, 몇몇 종래의 시스템들은, 깊이 데이터를 분석함으로써 물리적 표면의 3차원 재구성을 수행할 수 있을 수도 있다. 그러나, 이러한 접근법은, 완전한 3차원 장면을 계산적으로 재구성할 필요가 있을 수도 있다. 따라서, 이러한 접근법은, 3차원 장면을 재구성하기 위해 더 많은 전력-부족(power-hungry) 깊이 센서들의 사용 뿐만 아니라 많은 계산 전력을 요구할 수도 있다. 추가적으로, 그러한 디바이스들은 더 무거울 수도 있고 더 값비쌀 수도 있으며, 따라서 사용자들이 이들 기술들을 신속하게 채용할 가능성을 감소시킨다. 대조적으로, 본 발명은, 이들 전력 부족 및 값비싼 프로세서들 및 센서들에 대한 필요성을 회피(circumvent)할 수도 있는 표면 평면을 결정하기 위한 시스템들 및 방법들을 제공한다.
몇몇 종래의 시스템들에 의해 구현될 수도 있는 3차원 재구성 기술들을 사용하기보다는, 몇몇 실시예들은 대신, 기준 오브젝트 검출, 예를 들어, 기준 오브젝트가 모바일 폰을 포함하는 경우와 같이 기준 오브젝트가 직사각형을 포함하는 경우 직사각형 검출 및 오브젝트 추적 기능들을 포함할 수도 있으며, 이들은 종래의 기술들보다 더 계산 효율적일 수도 있다. 부가적으로, 상술된 바와 같이, 직사각형 검출과 같은 기준 오브젝트 검출 기술들을 사용함으로써, 헤드-마운티드 디스플레이 유닛은, 가상 워크스페이스 및/또는 그러한 워크스페이스에 포함된 하나 또는 그 초과의 가상 오브젝트들을 정확히 렌더링하기 위해 깊이 데이터를 요구하지 않을 수도 있다. 오히려, 기준 오브젝트의 검출 단독으로 카메라 포즈의 결정을 가능하게 할 수도 있다. 특히, 기준 오브젝트가 헤드 상에서 뷰잉되는 경우처럼 보여야하는 것을 인식하고, 특정한 오브젝트가 예를 들어, 직사각형이라고 인식하며, 오브젝트가 현재 캡쳐된 카메라 데이터에서 보는 것을 인식함으로써, 기준 오브젝인 것으로 인식되는 것과 관련하여 그러한 가상 오브젝트들이 어떻게 나타나야 하는지에 기초하여, 헤드-마운티드 디스플레이 유닛의 카메라 포즈 또는 실제 관점이 결정될 수 있고, 가상 오브젝트들이 렌더링될 수도 있다. 예를 들어, 가상 표면은, 카메라 포즈 또는 기준 오브젝트의 포즈에 기초하여 기준 오브젝트에 대해 정의될 수도 있고, 가상 워크스페이스는 그 가상 표면 내에 또는 그 가상 표면에 대해 렌더링될 수도 있다.
몇몇 실시예들에서, 가상 워크스페이스는 다수의 상이한 표면들 상에 배치되는 세그먼트들, 사용자 인터페이스들, 및/또는 다른 가상 오브젝트들을 포함할 수도 있다. 예를 들어, 가상 워크스페이스 내의 하나의 윈도우는 사용자 앞에 있는 데스크와 정렬될 수 있고, 가상 워크스페이스 내의 다른 윈도우는 사용자 앞에 있고 데스크 뒤에 있는 벽과 정렬될 수 있다. 이러한 예에서, 상이한 실제-세계 오브젝트들과의 그들의 정렬의 결과로서, 2개의 윈도우들은 상이한 각도들로 디스플레이될 수도 있다. 다른 실시예들에서, 가상 워크스페이스 내의 윈도우들은 임의의 실제-세계 오브젝트들과 정렬되지 않을 수도 있다. 오히려, 그러한 윈도우들은, 하나 또는 그 초과의 기준 오브젝트들과 관련하여 가상 스페이스에서 임의의 각도로 및 임의의 포지션으로 간단히 정의될 수도 있다.
몇몇 실시예들에서, 사용자는, 자신의 핑거들을 사용하여 가상 워크스페이스에서 특정한 윈도우들의 콘텐츠들을 정의할 수 있을 수도 있다. 예를 들어, 사용자는 웹 브라우저를 포함하는 가상 워크스페이스에서 제 1 윈도우를, 그리고 미디어 플레이어를 포함하는 가상 워크스페이스에서 제 2 윈도우를 정의할 수 있을 수도 있다. 사용자가 자신의 핑거들을 이용하여 이들 윈도우들에 대응하는 직사각형들을 정의하는 경우, 헤드-마운티드 디스플레이 유닛은, 애플리케이션(들)이 스페이스들 각각에서 로딩되어야 하는 것을 특정함으로써, 예를 들어, 잠재적인 애플리케이션들의 리스트로부터 선택하거나 특정한 애플리케이션을 포함하는 제스처를 수행함으로써, 윈도우들을 렌더링할 수 있고 사용자가 각각의 윈도우를 거주시키게 할 수 있다.
몇몇 실시예들에서, 다양한 기준 오브젝트들을 추적하기 위한 헤드-마운티드 디스플레이 유닛의 능력을 향상시키기 위해, 입력/출력 서브시스템(110)의 컴포넌트로서, 하나 또는 그 초과의 광각(wide angle) 카메라들이 헤드-마운티드 디스플레이 유닛에 포함될 수도 있다. 몇몇 예시들에서, (예를 들어, 기준 오브젝트가 사용자의 시야 범위 내에 있지 않기 때문에) 사용자가 특정한 기준 오브젝트를 볼 수 없더라도, 헤드-마운티드 디스플레이 유닛에 포함된 추적 카메라들 중 하나는 기준 오브젝트를 볼 수 있을 수도 있으며, 그에 따라, 헤드-마운티드 디스플레이 유닛은 가상 워크스페이스를 렌더링할 수 있다. 예를 들어, 몇몇 실시예들에서, 헤드-마운티드 디스플레이 유닛에 포함된 카메라들 중 하나 또는 그 초과는 어안(fisheye) 렌즈를 특징으로 할 수도 있는데, 이 어안렌즈는 어안 렌즈가 없는 경우 달성될 수도 있는 것보다 그러한 카메라(들)가 더 넓은 시야 범위를 가질 수 있게 한다.
몇몇 실시예들에서, 헤드-마운티드 디스플레이 유닛에 의해 사용되는 기준 오브젝트 검출 알고리즘들 및/또는 다른 추적 알고리즘들은, 더 크고 연장된 가상 워크스페이스들을 제공하기 위해 시야 범위에 포함된 다양한 기준 오브젝트들 사이에서 트랜지션할 수 있다. 예를 들어, 2개 또는 그 초과의 기준 오브젝트들이 헤드-마운티드 디스플레이 유닛의 하나 또는 그 초과의 추적 카메라들의 시야 범위 내에 있는 순간들(moments in time)에 기초하여, 헤드-마운티드 디스플레이 유닛은 다양한 기준 오브젝트들 사이의 공간 관계를 결정할 수 있을 수도 있다. 부가적으로, 헤드-마운티드 디스플레이 유닛은 후속하여, 가상 워크스페이스(들)를 제공할 시에 이러한 공간 관계를 사용할 수도 있다.
몇몇 실시예들에서, 다수의 상이한 가상 워크스페이스들의 특정한 가상 워크스페이스들은 복수의 이용가능한 기준 오브젝트들의 특정한 기준 오브젝트들과 연관될 수도 있다. 예를 들어, 사용자는, 자신의 스마트폰에 관련하여 정의되는 하나의 가상 워크스페이스, 및 자신의 태블릿 컴퓨터에 관련하여 정의되는 다른 가상 워크스페이스를 가질 수도 있다. 몇몇 실시예들에서, 사용자는, 이들 기준 오브젝트들 둘 모두를 물리적 표면 (예를 들어, 사용자의 데스크) 상에 서로의 옆에 배치할 수 있으며, 헤드-마운티드 디스플레이 유닛은 2개의 가상 워크스페이스들을 서로 인접하게 렌더링할 수도 있다. 다른 실시예들에서, 헤드-마운티드 디스플레이 유닛은, 디스플레이될 가상 워크스페이스들 중 하나를 선택하도록 사용자를 프롬프트(prompt)할 수도 있다. 몇몇 실시예들에서, 다수의 가상 워크스페이스들이 이용가능한 경우 (예를 들어, 사용자의 스마트폰 및 태블릿 컴퓨터가 헤드-마운티드 디스플레이 유닛에 포함된 추적 카메라들의 관점에 있는 경우의 상기 예에서), 사용자는 다양한 가상 워크스페이스들 사이에서 사용자 인터페이스들 및/또는 다른 가상 오브젝트들을 이동시킬 수 있을 수도 있다.
몇몇 실시예들에서, 가상 워크스페이스는, 복수의 기준 오브젝트들(예를 들어, 상기 예에서는 스마트폰 및 데스크탑 컴퓨터)이 존재하는 경우에만 생성될 수도 있다. 또한, 몇몇 실시예들에서, 다수의 워크스페이스들은 단일 오브젝트와 연관될 수도 있다. 몇몇 그러한 실시예들에서, 사용자는 어떤 워크스페이스가 정확한지를 선택하도록 프롬프트될 수도 있다. 다른 실시예들에서, 가장 최근의 워크스페이스는 자동적으로 오픈될 수도 있거나, 사용자의 콘텍스트가 적절한 워크스페이스를 자동적으로 결정하기 위해 사용될 수도 있다. 예를 들어, 사용자가 직장에 있으면, 이메일 및 워드 프로세싱 세그먼트들을 포함하는 워크스페이스가 오픈될 수도 있지만, 사용자가 집에 있으면, 미디어 플레이어 세그먼트 및 소셜 미디어 세그먼트를 포함하는 워크스페이스가 오픈될 수도 있다. 몇몇 실시예들에서, 사용자가, 예를 들어, 특정한 핸드 제스처들 또는 음성 커맨드들을 사용하여 오브젝트와 연관된 상이한 워크스페이스들을 통해 스크롤하는 것이 가능할 수도 있다. 몇몇 실시예들에서, 가상 워크스페이스가 그 오브젝트에 대해 오픈될 수 있다는 것을 사용자에게 알리기(alert) 위해, 특수한 아이콘이 기준 오브젝트 상에 나타날 수도 있거나 다른 통지가 사용자에게 주어질 수도 있다. 그러한 실시예에서, 사용자가 이용가능한 가상 워크스페이스들 중 특정한 하나를 오픈하기를 원한다는 것을 표시하기 위해, 사용자는 모션(예를 들어, 자신의 헤드를 흔듦, 특정한 시선 모션, 특정한 핸드 모션, 모바일 디바이스의 이동 등)을 수행하거나 아이콘을 "클릭"할 수도 있다. 아이콘은, 예를 들어, 기준 오브젝트가 모바일 폰인 경우 그 기준 오브젝트에 의해 디스플레이될 수도 있거나, 기준 오브젝트 상에 또는 그 근처에 로케이팅되는 것으로 나타나기 위하여 HMD에 의해 디스플레이될 수도 있다.
몇몇 실시예들에서, 기준 오브젝트는, 특정한 가상 워크스페이스가 헤드-마운티드 디스플레이 유닛의 렌더링 서브시스템(140)에 의해 디스플레이되게 하고 그리고/또는 그렇지 않으면 렌더링되게 하기 위해, 예를 들어, QR(quick Response) 코드 또는 몇몇 다른 종류의 인식가능한 코드 또는 이미지와 같은 시각적인 표시자를 디스플레이할 수도 있다. 그러한 코드는, 예를 들어, 다른 디바이스로 링크시키는데 필요한 정보의 모두를 포함할 수도 있으며, 다른 디바이스와의 가상 공유를 가능하게 할 수도 있다. 예를 들어, 그러한 코드는, 특정한 증대들 및/또는 다른 가상 워크스페이스들이 헤드-마운티드 디스플레이 유닛에 의해 디스플레이되는데 이용가능하다는 것을 광고할 수도 있으므로, 코드를 디스플레이하는 기준 오브젝트 근방의 다른 디바이스들이 가상 워크스페이스를 렌더링하고 그리고/또는 그렇지 않으면 제공할 수도 있게 하고, 그러한 디바이스들의 다른 사용자들이 가상 워크스페이스와 상호작용하고 그리고/또는 가상 워크스페이스에서 협력할 수 있게 한다. 몇몇 예시들에서, 코드는, 이미지로서 디스플레이되기보다는 기준 오브젝트에 의해 신호로서 송신될 수도 있다. 예를 들어, 기준 오브젝트는, 가상 워크스페이스를 제공할 수 있는 근방의 디바이스들에게 그러한 가상 워크스페이스가 이용가능하다는 것을 통지하는 블루투스 신호(또는 원할 수도 있는 바와 같은 임의의 다른 무선 신호)를 송신할 수도 있다. 몇몇 실시예들에서, 코드는 가상 워크스페이스를 설명하는 정보를 포함할 수도 있다. 몇몇 실시예들에서, 코드는, 워크스페이스의 정의가 어떤 곳으로부터 리트리브될 수도 있는지를 표시하는 정보를 포함할 수도 있거나, 단지, 예를 들어, 알려진 소스 또는 소셜 네트워킹 기능으로부터 가상 워크스페이스가 이용가능하다는 것을 표시할 수도 있다.
몇몇 실시예들에서, 사용자는, 인식가능한 코드가 기준 오브젝트 검출 서브시스템(115)에 더 이상 인식가능하지 않도록 인식가능한 코드를 숨김으로써 가상 워크스페이스를 빠져나갈 수도 있다. 예를 들어, 사용자가 사설 가상 워크스페이스에 있는 것을 소망하는 실시예에서, 사용자는, 자신의 디스플레이를 아래로 숙이게(face down) 기준 오브젝트를 배치시킬 수도 있다. 그러한 실시예에서, 인식가능한 코드가 더 이상 시각적이지 않은 경우, 가상 워크스페이스는 클로즈될 수도 있다. 또는, 몇몇 다른 실시예들에서, 시각적인 표시자가 숨겨지는 경우, 시스템은 다른 사용자들이 액세스할 수 없는 사설 가상 워크스페이스에 사용자를 배치할 수도 있다.
몇몇 실시예들에서, 하나 또는 그 초과의 가상 워크스페이스들은 클라우드에 (예를 들어, 원격 서버 상에) 저장될 수도 있으므로, 상이한 사용자들과 상이한 디바이스들 사이에서 가상 워크스페이스들을 공유하기 위한 능력을 추가적으로 향상시킨다. 예를 들어, 일 개인은 특정한 기준 오브젝트를 다른 개인에게 제공할 수 있으며, 그 후, 다른 개인은, 자신의 헤드-마운티드 디스플레이 유닛을 사용하면서 기준 오브젝트와 연관된 가상 워크스페이스를 뷰잉하고 그리고/또는 가상 워크스페이스와 상호작용할 수도 있으며, 이는 원격 서버로부터 가상 워크스페이스와 연관된 데이터를 로딩할 수 있게 한다. 부가적으로 또는 대안적으로, 다수의 상이한 헤드-마운티드 디스플레이 유닛들의 다수의 사용자들은, 로컬 공유 시나리오(예를 들어, 여기서, 모든 사용자들은 동일한 테이블에 앉아있고 동일한 기준 오브젝트를 뷰잉함)에서 또는 원격 공유 시나리오 (예를 들어, 여기서, 사용자들은 상이한 위치들에 물리적으로 로케이팅되지만, 공유 세션에서 동일한 가상 워크스페이스와 상호작용함) 중 어느 하나에서 동일한 가상 워크스페이스와 동시에 상호작용할 수 있다.
가상 워크스페이스가 상이한 사용자들 및/또는 상이한 디바이스들 사이에서 공유되는 몇몇 예시들에서, 각각의 개별 디바이스는 자신의 대응하는 사용자에 대한 가상 워크스페이스에 대한 시야각을 조정할 수도 있다. 즉, 상이한 사용자 인터페이스들의 콘텐츠들 및 레이아웃 및/또는 가상 워크스페이스의 다른 가상 오브젝트들이 기준 오브젝트에 대해 정의될 수도 있지만, 그러한 사용자 인터페이스들 및/또는 다른 가상 오브젝트들이 제시되는 관점 또는 시야각은 가상 워크스페이스를 공유하는 상이한 사용자들 각각에 대해 변할 수도 있다. 부가적으로, 몇몇 실시예들에서, 원격 사용자(예를 들어, 가상 워크스페이스가 다른 사용자들에게 제공되고 있는 기준 오브젝트 및/또는 다른 사용자들과 동일한 위치에 물리적으로 로케이팅되지 않는 디바이스의 사용자)는, 가상 워크스페이스를 제공할 시에 사용될 그 자신의 위치에서 그 자신의 기준 오브젝트를 선택할 수 있을 수도 있다. 몇몇 예시들에서, 그러한 기준 오브젝트는 원격 사용자에 의해 수동적으로 선택될 수도 있지만, 다른 예시들에서, 원격 사용자의 증강 현실 또는 헤드-마운티드 디스플레이 유닛은, 공유된 가상 워크스페이스를 제공할 시에 사용될 기준 오브젝트를 자동적으로 선택할 수도 있다.
몇몇 실시예들에서, 클라우드에 저장된 가상 워크스페이스들은, (예를 들어, 이메일을 통해, 텍스트 메시지를 통해, QR 코드를 통해 등) 가상 워크스페이스의 다양한 사용자들에 의해 그리고/또는 그 다양한 사용자들 사이에서 공유될 수도 있는 하이퍼링크와 같은 링크에 의해 액세스될 수도 있다. 부가적으로, 가상 워크스페이스에 관련된 임의의 및/또는 모든 정보는, 예를 들어, 디스플레이된 코드를 통해 시각적으로, 송신된 신호를 통해 무선으로, 그리고/또는 다른 수단을 사용하여 다양한 디바이스들 및/또는 그 디바이스들의 사용자들에게 직접 통신될 수도 있다. 몇몇 실시예들에서, 허가들은, 각각의 워크스페이스에 대해 정의될 수도 있으며, 다른 사용자들이 각각의 워크스페이스에 액세스할 수 있는지 및/또는 각각의 워크스페이스를 수정할 수 있는지를 결정하는데 사용될 수도 있다. 예를 들어, 사용자는 자신의 워크스페이스를 모든 사람과 개방적으로 공유할 수도 있거나, 사용자만이 액세스할 수 있는 사설 워크스페이스들을 생성할 수도 있거나, 소셜 서클 또는 친구 네트워크 내의 모든 사람에게 허가들을 그랜트할 수도 있다.
몇몇 실시예들에서, 기준 오브젝트는 전자 디바이스가 아닐 수도 있다. 오히려, 몇몇 실시예들에서, 기준 오브젝트는, 예를 들어, 형상이 직사각형인 다른 물리적 오브젝트(예를 들어, 노트패드, 명함, 1장의 종이 등)일 수도 있다. 기준 오브젝트가 전자 디바이스인지 또는 전자 디바이스가 아닌지에 관계없이, 하나 또는 그 초과의 실시예들에 따르면, 헤드-마운티드 디스플레이 유닛은 상술된 다양한 방식들로 하나 또는 그 초과의 가상 워크스페이스들을 제공할 수도 있다.
또 다른 실시예들에서, 기준 오브젝트는 임의의 형상의 물리적 오브젝트일 수도 있다. 예를 들어, 증강 현실 또는 헤드-마운티드 디스플레이 유닛은 상술된 다양한 특성들에 따라, 오브젝트의 고유한 특성들을 식별하고, 오브젝트를 기준 오브젝트로서 사용하도록 구성될 수도 있다. 예를 들어, 코스터(coaster)(예를 들어, 커피 테이블 상에 배치될 수도 있는 코스터)와 같은 원형 오브젝트가 기준 오브젝트로서 사용될 수도 있으며, 헤드-마운티드 디스플레이 유닛은, 캡쳐된 이미지로 코스터의 형상을 검출하고, 형상을 기준 오브젝트로서 선택하며, 그러한 가상 워크스페이스들이 상술된 예들에서 어떻게 정의될 수도 있는지와 유사하게 코스터에 관련하여 하나 또는 그 초과의 가상 워크스페이스들을 정의하도록 구성될 수도 있다.
도 9는 몇몇 실시예들에 따른, 기준 오브젝트 검출을 사용하여 증강 현실 표면 세그먼트화를 제공하는 예시적인 방법을 도시한 흐름도를 도시한다. 도 9에 도시된 프로세싱은, 하나 또는 그 초과의 프로세서들 및/또는 다른 하드웨어 컴포넌트들에 의해 실행될 수 있는 소프트웨어(예를 들어, 컴퓨터-판독가능 명령들, 코드, 프로그램들 등)로 구현될 수도 있다. 부가적으로 또는 대안적으로, 소프트웨어는 비-일시적인 컴퓨터-판독가능 저장 매체 상에 저장될 수도 있다. 몇몇 실시예들에서, 도 9에 도시된 방법은 헤드-마운티드 디스플레이 유닛에 의해 수행될 수도 있지만, 다른 실시예들에서, 도 9에 도시된 방법은, 헤드-마운티드 디스플레이 유닛에 통신가능하게 커플링되고, 접속되고 그리고/또는 그렇지 않으면 링크되는 컴퓨팅 디바이스에 의해 수행될 수도 있다. 또 다른 실시예들에서, 도 9에 도시된 방법은 헤드-마운티드 디스플레이 유닛, 및 헤드-마운티드 디스플레이 유닛에 통신가능하게 커플링되고, 접속되고, 그리고/또는 그렇지 않으면 링크되는 컴퓨팅 디바이스에 의해 결합하여 수행될 수도 있다.
도 9에서 관측되는 바와 같이, 방법은, 장면의 카메라 입력을 수신하는 단계(905)에서 개시될 수도 있다. 예를 들어, 단계(905)에서, 이미지 및/또는 비디오 입력은, 헤드-마운티드 디스플레이 유닛 및/또는 헤드-마운티드 디스플레이 유닛에 접속된 컴퓨팅 디바이스에 의해, 헤드-마운티드 디스플레이 유닛에 포함된 하나 또는 그 초과의 카메라들로부터 카메라 입력으로서 수신될 수도 있다. 카메라 입력은, 예를 들어, 헤드-마운티드 디스플레이 유닛의 사용자 앞에 있는 장면의 하나 또는 그 초과의 이미지들을 포함할 수도 있다. 상술된 예들에서와 같이, 그러한 장면은, 하나 또는 그 초과의 기준 오브젝트들이 배치될 수도 있는 물리적 표면을 포함할 수도 있으며, 그러한 표면 오브젝트(들)는 가상 워크스페이스를 제공할 시에 헤드-마운티드 디스플레이 유닛에 의해 사용될 수도 있다. 몇몇 실시예들에서, 단계(905)에서, 시스템(100)은 입력/출력 서브시스템(110)을 사용하여 카메라 입력을 수신할 수도 있다.
방법은, 장면에서 적어도 하나의 기준 오브젝트를 식별하는 단계(910)로 계속된다. 몇몇 실시예들에서, 이들 기준 오브젝트들은 장면에서 물리적 오브젝트들일 수도 있다. 예를 들어, 기준 오브젝트들은 물리적 3차원 오브젝트들을 포함할 수도 있다. 예를 들어, 단계(910)에서, 하나 또는 그 초과의 기준 오브젝트들은 다양한 기준 오브젝트들의 하나 또는 그 초과의 고유한 속성들을 설명하는 정보에 기초하여, 헤드-마운티드 디스플레이 유닛, 및/또는 헤드-마운티드 디스플레이 유닛에 접속된 컴퓨팅 디바이스에 의해 식별될 수도 있다. 몇몇 실시예들에서, 다양한 기준 오브젝트들은 형상이 직사각형일 수도 있으며, 카메라 입력에서 기준 오브젝트(들)를 식별하는 것은, 기준 오브젝트 검출 단계의 결과들에 기초할 수도 있다(도 9에 도시되지 않음). 특히, 그러한 기준 오브젝트 검출은, 기준 오브젝트들일 수도 있는 실제-세계 오브젝트들의 후보들을 식별하는데 사용될 수도 있으며, 후속하여, 헤드-마운티드 디스플레이 유닛 및/또는 접속된 컴퓨팅 디바이스는 후보 오브젝트(들) 중 어느 것이 기준 오브젝트들인지를 결정하기 위해 후보 오브젝트들을 분석할 수도 있다. 몇몇 실시예들에서, 단계(910)에서, 시스템(100)은 제어 오브젝트 추적 서브시스템(125)을 사용하여 하나 또는 그 초과의 기준 오브젝트들을 식별할 수도 있다.
후속하여, 단계(915)에서, 표면 세그먼트를 정의하는 입력을 수신한다. 몇몇 실시예들에서, 그러한 입력은, 장면에 포함된 물리적 표면에 대해, 그리고/또는 물리적 표면 상에 배치될 수도 있는, 단계(910)에서 식별된 하나 또는 그 초과의 기준 오브젝트들과 같은 하나 또는 그 초과의 기준 오브젝트들에 대해 하나 또는 그 초과의 표면 세그먼트들을 정의할 수도 있다. 몇몇 예시들에서, 하나 또는 그 초과의 표면 세그먼트들을 정의하는 입력은, 예를 들어, 물리적 표면 상에서 사용자에 의해 윤곽이 지어진 직사각형을 서술하고 그리고/또는 그렇지 않으면 대응하는 사용자 입력일 수도 있다. 예를 들어, 사용자는 도 2-7에 대해 상술된 예에서와 같이, 헤드-마운티드 디스플레이 상에 포함된 카메라의 관점에서 시작 포인트에 자신의 핑거들을 배치하며, 그 후, 사용자 인터페이스 및/또는 다른 가상 오브젝트들이 렌더링될 수도 있는 직사각형의 반대 코너들을 정의하도록 자신의 핑거들을 바깥쪽으로 드로잉할 수도 있다. 몇몇 실시예들에서, 단계(915)에서, 시스템(100)은 입력/출력 서브시스템(110)을 사용하여 하나 또는 그 초과의 표면 세그먼트들을 정의하는 입력을 수신할 수도 있다.
다시 도 9를 참조하면, 단계(920)에서, 표면 세그먼트가 렌더링되게 한다. 예를 들어, 단계(920)에서, 헤드-마운티드 디스플레이 유닛 및/또는 접속된 컴퓨팅 디바이스는, 정의된 표면 세그먼트를 포함하는 가상 워크스페이스와 연관된 하나 또는 그 초과의 다른 가상 오브젝트들 및/또는 다른 사용자 인터페이스들과 함께, 단계(915)에서 정의된 표면 세그먼트를 렌더링할 수도 있다. 상술된 바와 같이, 그러한 표면 세그먼트 및/또는 전체 가상 워크스페이스는, 단계(910)에서 식별된 기준 오브젝트와 같은 특정한 기준 오브젝트와 연관될 수도 있으므로, 기준 오브젝트의 제거 및/또는 대체는 각각 가상 워크스페이스의 클로징 및/또는 오프닝을 초래한다. 몇몇 실시예들에서, 단계(920)에서, 시스템(100)은, 표면 세그먼트 관리 서브시스템(120) 및/또는 렌더링 서브시스템(140)을 사용하여 가상 워크스페이스의 하나 또는 그 초과의 표면 세그먼트들을 렌더링할 수도 있다.
도 10은 하나 또는 그 초과의 실시예들이 구현될 수도 있는 컴퓨팅 시스템의 일 예를 도시한다. 몇몇 실시예들에서, 도 10에 도시된 바와 같은 컴퓨터 시스템(1000)은, 본 명세서에 설명된 임의의 및/또는 모든 특성들, 방법들, 및/또는 방법 단계들을 구현, 수행, 및/또는 실행할 수도 있는 컴퓨팅 디바이스의 일부로서 포함될 수도 있다. 예를 들어, 컴퓨터 시스템(1000)은, 헤드-마운티드 디스플레이 유닛, 모바일 디바이스, 또는 (랩탑 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 또는 데스크탑 컴퓨터와 같은) 임의의 다른 컴퓨팅 디바이스의 컴포넌트들 중 몇몇을 표현할 수도 있다. 부가적으로, 컴퓨터 시스템(1000)은 도 1의 시스템(100)의 컴포넌트들 중 몇몇을 표현할 수도 있다(예를 들어, 메모리(1035)는 메모리(105)를 표현할 수도 있고; 입력 디바이스들(1015) 및 출력 디바이스(1020)는 입력/출력 서브시스템(110)을 포현할 수도 있고; 프로세서(1010) 및/또는 메모리(1035)는, 기준 오브젝트 검출 서브시스템(115), 표면 세그먼트 관리 서브시스템(120), 제어 오브젝트 추적 서브시스템(125), 렌더링 서브시스템(140) 등과 같은 상술된 시스템(100)의 다양한 서브시스템들 중 하나 또는 그 초과를 제공할 수도 있는 등의 식이다). 도 10은 본 명세서에 설명된 바와 같이, 다양한 다른 실시예들에 의해 제공되는 방법들을 수행할 수 있는 컴퓨터 시스템(1000)의 일 컴포넌트의 개략도를 제공한다. 도 10은, 다양한 컴포넌트들의 일반화된 도면을 제공하는 것으로 의도될 뿐이며, 임의의 및/또는 모든 다양한 컴포넌트들은 적절하게 이용될 수도 있다. 따라서, 도 10은, 개별적인 시스템 엘리먼트들이 비교적 분리된 방식으로 어떻게 구현될 수도 있는지 또는 비교적 더 많이 통합된 방식으로 어떻게 구현될 수도 있는지를 광범위하게 도시한다.
컴퓨터 시스템(1000)은, 버스(1005)를 통해 전기적으로 커플링될 수 있는 (또는 그렇지 않으면, 적절하게, 통신할 수도 있는) 하드웨어 엘리먼트들을 포함하는 것으로 도시된다. 하드웨어 엘리먼트들은, (디지털 신호 프로세싱 칩들, 그래픽 가속 프로세서들 등과 같은) 하나 또는 그 초과의 범용 프로세서들 및/또는 하나 또는 그 초과의 특수-목적 프로세서들을 제한없이 포함하는 하나 또는 그 초과의 프로세서들(1010); 카메라, 마우스, 키보드 등을 제한없이 포함할 수 있는 하나 또는 그 초과의 입력 디바이스들(1015); 디스플레이 유닛, 프린터 등을 제한없이 포함할 수 있는 하나 또는 그 초과의 출력 디바이스들(1020)을 포함할 수도 있다.
컴퓨터 시스템(1000)은, 로컬 및/또는 네트워크 액세스가능한 저장부를 제한없이 포함할 수 있고 그리고/또는 디스크 드라이브, 드라이브 어레이, 광학 저장 디바이스, 랜덤 액세스 메모리("RAM")와 같은 고체-상태 저장 디바이스, 및/또는 프로그래밍가능, 플래시-업데이트가능 등이 가능할 있는 판독-전용 메모리("ROM")를 제한없이 포함할 수 있는 하나 또는 그 초과의 비-일시적인 저장 디바이스들(1025)을 더 포함(및/또는 그들과 통신)할 수도 있다. 그러한 저장 디바이스들은, 다양한 파일 시스템들, 데이터베이스 구조들 등을 제한없이 포함하는 임의의 적절한 데이터 저장부를 구현하도록 구성될 수도 있다.
컴퓨터 시스템(1000)은, 모뎀, 네트워크 카드(무선 또는 유선), 적외선 통신 디바이스, (블루투스
Figure pct00001
디바이스, 802.11 디바이스, WiFi 디바이스, WiMax 디바이스, 셀룰러 통신 설비들 등과 같은) 무선 통신 디바이스 및/또는 칩셋 등을 제한없이 포함할 수 있는 통신 서브시스템(1030)을 또한 포함할 수도 있다. 통신 서브시스템(1030)은 데이터가, (하나 예를 들자면, 후술되는 네트워크와 같은) 네트워크, 다른 컴퓨터 시스템들, 및/또는 본 명세서에 설명된 임의의 다른 디바이스들과 교환되게 하도록 허용할 수도 있다. 많은 실시예들에서, 컴퓨터 시스템(1000)은 상술된 바와 같이, RAM 또는 ROM 디바이스를 포함할 수 있는 비-일시적인 작동 메모리(1035)를 더 포함할 것이다.
컴퓨터 시스템(1000)은 본 명세서에 설명된 바와 같이, 운영 시스템(1040), 디바이스 드라이버들, 실행가능한 라이브러리들, 및/또는 다양한 실시예들에 의해 제공되는 컴퓨터 프로그램들을 포함할 수도 있고, 그리고/또는 다른 실시예들에 의해 제공된 방법들을 구현하고 그리고/또는 시스템들을 구성하도록 설계될 수 있는 하나 또는 그 초과의 애플리케이션 프로그램들(1045)과 같은 다른 코드를 포함하는, 작동 메모리(1035) 내에 현재 로케이팅되는 것으로 도시되는 소프트웨어 엘리먼트들을 또한 포함할 수 있다. 단지 예로서, 상술된 방법(들)에 대해 설명된, 예를 들어, 도 8에 대해 설명된 바와 같은 하나 또는 그 초과의 절차들은 컴퓨터(및/또는 컴퓨터 내의 프로세서)에 의해 실행가능한 코드 및/또는 명령들로서 구현될 수도 있고; 일 양상에서, 그 후, 그러한 코드 및/또는 명령들은, 설명된 방법들에 따라 하나 또는 그 초과의 동작들을 수행하도록 범용 컴퓨터(또는 다른 디바이스)를 구성 및/또는 적응하는데 사용될 수 있다.
이들 명령들 및/또는 코드의 세트는, 상술된 저장 디바이스(들)(1025)와 같은 컴퓨터-판독가능 저장 매체 상에 저장될 수도 있다. 몇몇 경우들에서, 저장 매체는 컴퓨터 시스템(1000)과 같은 컴퓨터 시스템 내에 포함될 수도 있다. 다른 실시예들에서, 저장 매체는 컴퓨터 시스템(예를 들어, 컴팩트 디스크와 같은 착탈형 매체)으로부터 분리될 수도 있고, 그리고/또는 설치 패키지에 제공될 수도 있으므로, 저장 매체는, 명령들/코드가 저장된 범용 컴퓨터를 프로그래밍, 구성 및/또는 적응하는데 사용될 수 있다. 이들 명령들은, 컴퓨터 시스템(1000)에 의해 실행가능한 실행가능 코드의 형태를 취할 수도 있고, 그리고/또는 소스 및/또는 설치가능한 코드의 형태를 취할 수도 있으며, 그 후, 그 소스 및/또는 설치가능한 코드는 (예를 들어, 임의의 다양한 일반적으로 이용가능한 컴파일러들, 설치 프로그램들, 압축/압축해제 유틸리티들 등을 사용하여) 컴퓨터 시스템(1000) 상에서의 컴파일 및/또는 설치 시에, 실행가능한 코드의 형태를 취한다.
실질적인 변화들은 특정한 요건들에 따라 행해질 수도 있다. 예를 들어, 맞춤화된 하드웨어가 또한 사용될 수도 있고, 그리고/또는 특정한 엘리먼트들이 하드웨어, (애플릿(applet)들 등과 같은 휴대용 소프트웨어를 포함하는) 소프트웨어, 또는 둘 모두로 구현될 수도 있다. 추가적으로, 네트워크 입력/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들로의 접속이 이용될 수도 있다.
몇몇 실시예들은, 본 발명에 따른 방법을 수행하기 위해 (컴퓨터 시스템(1000)과 같은) 컴퓨터 시스템을 이용할 수도 있다. 예를 들어, 설명된 방법들의 절차들 중 몇몇 또는 전부는, 프로세서(1010)가 작동 메모리(1035)에 포함된 (운영 시스템(1040) 및/또는 애플리케이션 프로그램(1045)과 같은 다른 코드에 포함될 수도 있는) 하나 또는 그 초과의 명령들의 하나 또는 그 초과의 시퀀스들을 실행하는 것에 응답하여, 컴퓨터 시스템(1000)에 의해 수행될 수도 있다. 그러한 명령들은, 저장 디바이스(들)(1025) 중 하나 또는 그 초과와 같은 다른 컴퓨터-판독가능 매체로부터 작동 메모리(1035)로 판독될 수도 있다. 단지 예로서, 작동 메모리(1035)에 포함된 명령들의 시퀀스들의 실행은 프로세서(들)(1010)이, 본 명세서에 설명된 방법들의 하나 또는 그 초과의 절차들, 예를 들어, 도 8에 대해 설명된 방법(들)의 하나 또는 그 초과의 단계들을 수행하게 할 수도 있다.
본 명세서에서 사용된 바와 같이, 용어들 "머신-판독가능 매체" 및 "컴퓨터-판독가능 매체"는, 머신이 특정한 방식으로 동작하게 하는 데이터를 제공하는 것에 참가하는 임의의 매체를 지칭한다. 컴퓨터 시스템(1000)을 사용하여 구현된 실시예에서, 다양한 컴퓨터-판독가능 매체들은, 실행하기 위해 프로세서(들)(1010)에 명령들/코드를 제공하는 것에 수반될 수도 있고 그리고/또는 그러한 명령들/코드를 (예를 들어, 신호들로서) 저장 및/또는 반송하는데 사용될 수도 있다. 많은 구현들에서, 컴퓨터-판독가능 매체는 물리적 및/또는 유형의 저장 매체이다. 그러한 매체는, 비-휘발성 매체들, 휘발성 매체들, 및 송신 매체들을 포함하는 (하지만 이에 제한되지 않음) 많은 형태들을 취할 수도 있다. 비-휘발성 매체들은, 예를 들어, 저장 디바이스(들)(1025)와 같은 광학 및/또는 자기 디스크들을 포함한다. 휘발성 매체들은, 작동 메모리(1035)와 같은 동적 메모리를 제한없이 포함한다. 송신 매체들은, 동축 케이블들, 버스(1005)를 포함하는 배선들을 포함한 구리 배선 및 광 섬유들 뿐만 아니라 통신 서브시스템(1030)의 다양한 컴포넌트들(및/또는 통신 서브시스템(1030)이 다른 디바이스들과의 통신을 제공하는 매체들)을 제한없이 포함한다. 따라서, 송신 매체들은 또한, (라디오-파 및 적외선 데이터 통신들 동안 생성된 것들과 같은 음향 및/또는 광파들을 제한없이 포함하는) 파형들의 형태를 취할 수 있다.
일반적인 형태들의 물리적 및/또는 유형의 컴퓨터-판독가능 매체들은, 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치 카드들, 페이퍼 테이프, 홀(hole)들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 후술되는 바와 같은 캐리어파, 또는 컴퓨터가 명령들 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함한다.
다양한 형태들의 컴퓨터-판독가능 매체들은, 실행을 위해 하나 또는 그 초과의 명령들의 하나 또는 그 초과의 시퀀스들을 프로세서(들)(1010)에 반송하는 것에 수반될 수도 있다. 단지 예로서, 명령들은 초기에, 원격 컴퓨터의 자기 디스크 및/또는 광학 디스크 상에서 반송될 수도 있다. 원격 컴퓨터는 컴퓨터 시스템(1000)에 의한 수신 및/또는 실행을 위해, 자신의 동적 메모리로 명령들을 로딩할 수도 있고, 송신 매체를 통해 신호들로서 명령들을 전송할 수도 있다. 전자기 신호들, 음향 신호들, 광학 신호들 등의 형태일 수도 있는 이들 신호들 모두는, 본 발명의 다양한 실시예들에 따른 명령들이 인코딩될 수 있는 캐리어파들의 예들이다.
통신 서브시스템(1030)(및/또는 그의 컴포넌트들)은 일반적으로 신호들을 수신할 것이며, 그 후, 버스(1005)는, 프로세서(들)(1010)이 명령들을 리트리브 및 실행하는 작동 메모리(1035)에 신호들(및/또는 신호들에 의해 반송된 데이터, 명령들 등)을 반송할 수도 있다. 작동 메모리(1035)에 의해 수신된 명령들은 선택적으로, 프로세서(들)(1010)에 의해 실행되기 전에 또는 그 이후에 비-일시적인 저장 디바이스(1025) 상에 저장될 수도 있다.
상술된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 실시예들은 적절하게, 다양한 절차들 또는 컴포넌트들을 생략, 대체, 또는 부가할 수도 있다. 예를 들어, 대안적인 구성들에서, 설명된 방법들은 그 설명된 것과는 상이한 순서로 수행될 수도 있고, 그리고/또는 다양한 스테이지들이 부가, 생략, 및/또는 결합될 수도 있다. 또한, 특정한 실시예들에 대해 설명된 특성들은 다양한 다른 실시예들에서 결합될 수도 있다. 실시예들의 상이한 양상들 및 엘리먼트들은 유사한 방식으로 결합될 수도 있다. 또한, 기술이 진보하며, 따라서, 엘리먼트들의 대부분은 예들인데, 이 예들은 본 발명의 범위를 이들 특정한 예들로 제한하지 않는다.
특정한 세부사항들이, 실시예들의 완전한 이해를 제공하기 위해 설명부에서 제시되었다. 그러나, 실시예들은 이들 특정한 세부사항들 없이 실시될 수도 있다. 예를 들어, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들, 및 기술들은 실시예들을 불명료하게 하지 않기 위해 불필요한 세부사항 없이 도시된다. 이러한 설명은 단지 예시적인 실시예들을 제공할 뿐이며, 본 발명의 범위, 적용가능성, 또는 구성을 제한하도록 의도되지 않는다. 오히려, 실시예들의 이전 설명은, 본 발명의 실시예들을 구현하기 위한 가능한 설명을 당업자에게 제공할 것이다. 본 발명의 사상 및 범위를 벗어나지 않으면서 다양한 변화들이 엘리먼트들의 기능 및 어레인지먼트에서 행해질 수도 있다.
또한, 몇몇 실시예들은, 흐름도들 또는 블록도들로서 도시된 프로세스들로서 설명되었다. 각각의 순차적인 프로세스로서 동작들을 설명할 수도 있지만, 대부분의 동작들은 병렬로 또는 동시에 수행될 수 있다. 부가적으로, 동작들의 순서는 재배열될 수도 있다. 프로세스는 도면에 포함되지 않는 부가적인 단계들을 가질 수도 있다. 또한, 방법들의 실시예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 설명 언어들, 또는 이들의 임의의 결합에 의해 구현될 수도 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드로 구현되는 경우, 연관된 태스크들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은, 저장 매체와 같은 컴퓨터-판독가능 매체에 저장될 수도 있다. 프로세서들은 연관된 태스크들을 수행할 수도 있다.
수 개의 실시예들을 설명했지만, 다양한 변형들, 대안적인 구조들, 및 등가물들이 본 발명의 사상을 벗어나지 않으면서 사용될 수도 있다. 예를 들어, 상기 엘리먼트들은 단지 더 큰 시스템의 컴포넌트일 수도 있으며, 여기서, 다른 법칙들은 본 발명의 애플리케이션보다 선행할 수도 있거나 그렇지 않으면 본 발명의 애플리케이션을 변경시킬 수도 있다. 또한, 다수의 단계들은, 상기 엘리먼트들이 고려되기 전에, 그 동안, 또는 그 이후에 착수될 수도 있다. 따라서, 상기 설명은 본 발명의 범위를 제한하지 않는다.

Claims (32)

  1. 방법으로서,
    장면의 카메라 입력을 수신하는 단계;
    상기 장면에서 적어도 하나의 기준 오브젝트를 식별하는 단계 － 상기 적어도 하나의 기준 오브젝트는 물리적 오브젝트임 －;
    상기 적어도 하나의 기준 오브젝트에 대해 표면 세그먼트를 정의하는 입력을 수신하는 단계; 및
    상기 표면 세그먼트가 렌더링되게 하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 장면에서 적어도 하나의 기준 오브젝트를 식별하는 단계는, 수신된 카메라 입력에서 하나 또는 그 초과의 특성 포인트들을 검출하는 단계를 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 장면에서 적어도 하나의 기준 오브젝트를 식별하는 단계는, 상기 적어도 하나의 기준 오브젝트로부터 무선 통신을 수신하는 단계를 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 장면에서 적어도 하나의 기준 오브젝트를 식별하는 단계는, 수신된 카메라 입력에서 하나 또는 그 초과의 직사각형들을 검출하는 단계를 포함하는, 방법.
  5. 제 4 항에 있어서,
    하나 또는 그 초과의 검출된 직사각형들에 기초하여, 상기 장면의 현재의 관점을 결정하는 단계를 더 포함하며,
    상기 표면 세그먼트는 상기 장면의 현재의 관점에 대해 렌더링되는, 방법.
  6. 제 5 항에 있어서,
    상기 장면의 현재의 관점이 변한다고 결정하는 단계; 및
    렌더링된 표면 세그먼트를 동적으로 업데이트하는 단계를 더 포함하는, 방법.
  7. 제 1 항에 있어서,
    상기 표면 세그먼트를 정의하는 입력은 상기 표면 세그먼트의 형상을 정의하는 핑거 움직임이며,
    상기 핑거 움직임은 디바이스의 사용자에 의해 수행되어, 상기 표면 세그먼트가 렌더링되게 하는, 방법.
  8. 제 7 항에 있어서,
    상기 표면 세그먼트가 렌더링되게 하는 것은,
    가상 워크스페이스에서, 제 1 각도로 상기 표면 세그먼트를 렌더링하는 것; 및
    상기 가상 워크스페이스에서, 상기 제 1 각도와는 상이한 제 2 각도로, 사용자에 의해 정의된 제 2 표면 세그먼트를 렌더링하는 것을 포함하는, 방법.
  9. 제 8 항에 있어서,
    상기 적어도 하나의 기준 오브젝트가 상기 장면으로부터 제거되었다고 결정하는 단계; 및
    상기 가상 워크스페이스를 클로즈(close)하는 단계를 더 포함하는, 방법.
  10. 제 9 항에 있어서,
    상기 적어도 하나의 기준 오브젝트가 상기 장면 또는 다른 장면으로 재도입되었다고 결정하는 단계; 및
    상기 가상 워크스페이스를 오픈(open)하는 단계를 더 포함하는, 방법.
  11. 제 8 항에 있어서,
    상기 적어도 하나의 기준 오브젝트로와는 상이한 제 2 기준 오브젝트를 검출하는 단계; 및
    상기 가상 워크스페이스와는 상이한 제 2 가상 워크스페이스를 오픈하는 단계를 더 포함하는, 방법.
  12. 제 1 항에 있어서,
    상기 적어도 하나의 기준 오브젝트를 식별하는 단계는, 상기 적어도 하나의 기준 오브젝트에 의해 디스플레이된 이미지에 기초하는, 방법.
  13. 제 1 항에 있어서,
    상기 표면 세그먼트를 포함하는 가상 워크스페이스를 포함한 데이터 신호를 적어도 하나의 다른 디바이스에 송신하는 단계를 더 포함하며,
    상기 가상 워크스페이스는 상기 표면 세그먼트를 정의하는 입력을 제공했던 제 1 사용자에 의해 정의되고,
    상기 적어도 하나의 다른 디바이스는 상기 제 1 사용자와는 상이한 제 2 사용자와 연관되는, 방법.
  14. 제 13 항에 있어서,
    상기 표면 세그먼트가 렌더링되게 하는 것은,
    상기 제 1 사용자에 대한 가상 워크스페이스를 렌더링하는 것; 및
    상기 가상 워크스페이스에 포함된 하나 또는 그 초과의 가상 오브젝트들과 상기 제 2 사용자와의 상호작용에 기초하여, 상기 제 1 사용자에 대한 상기 가상 워크스페이스의 렌더링을 동적으로 업데이트하는 것을 포함하는, 방법.
  15. 제 1 항에 있어서,
    상기 카메라 입력에 적어도 부분적으로 기초하여 상기 적어도 하나의 기준 오브젝트의 포즈(pose)를 결정하는 단계; 및
    결정된 포즈에 적어도 부분적으로 기초하여 상기 적어도 하나의 기준 오브젝트와는 별개인 가상 표면을 결정하는 단계를 더 포함하며,
    상기 표면 세그먼트는 상기 가상 표면 상에서 렌더링되는, 방법.
  16. 시스템으로서,
    장면의 이미지를 검출하도록 구성된 광학 센서;
    디스플레이; 및
    프로세서를 포함하고,
    상기 프로세서는,
    상기 장면에서 적어도 하나의 기준 오브젝트를 식별하고 － 상기 적어도 하나의 기준 오브젝트는 물리적 오브젝트임 －;
    상기 적어도 하나의 기준 오브젝트에 대해 표면 세그먼트를 정의하는 입력을 수신하며; 그리고,
    상기 디스플레이에서 상기 표면 세그먼트를 렌더링
    하도록 구성되는, 시스템.
  17. 제 16 항에 있어서,
    상기 프로세서는, 상기 장면의 이미지에서 하나 또는 그 초과의 특성 포인트들을 검출하는 것에 기초하여, 상기 장면에서 상기 적어도 하나의 기준 오브젝트를 식별하도록 구성되는, 시스템.
  18. 제 16 항에 있어서,
    상기 프로세서는, 상기 적어도 하나의 기준 오브젝트로부터 무선 통신을 수신하는 것에 기초하여, 상기 장면에서 상기 적어도 하나의 기준 오브젝트를 식별하도록 구성되는, 시스템.
  19. 제 16 항에 있어서,
    상기 프로세서는, 상기 장면의 이미지에서 하나 또는 그 초과의 직사각형들을 검출하는 것에 기초하여, 상기 장면에서 상기 적어도 하나의 기준 오브젝트를 식별하도록 구성되는, 시스템.
  20. 제 19 항에 있어서,
    상기 프로세서는, 하나 또는 그 초과의 검출된 직사각형들에 기초하여, 상기 장면의 현재의 관점을 결정하도록 추가적으로 구성되며,
    상기 표면 세그먼트는 상기 장면의 현재의 관점에 대해 렌더링되는, 시스템.
  21. 제 20 항에 있어서,
    상기 프로세서는,
    상기 장면의 현재의 관점이 변한다고 결정하고; 그리고,
    렌더링된 표면 세그먼트를 동적으로 업데이트
    하도록 추가적으로 구성되는, 시스템.
  22. 제 16 항에 있어서,
    상기 표면 세그먼트를 정의하는 입력은 상기 표면 세그먼트의 형상을 정의하는 핑거 움직임이며,
    상기 핑거 움직임의 사용자에 의해 수행되어, 상기 표면 세그먼트가 렌더링되게 하는, 시스템.
  23. 제 22 항에 있어서,
    상기 표면 세그먼트가 렌더링되게 하는 것은,
    가상 워크스페이스에서, 제 1 각도로 상기 표면 세그먼트를 렌더링하는 것; 및
    상기 가상 워크스페이스에서, 상기 제 1 각도와는 상이한 제 2 각도로, 사용자에 의해 정의된 제 2 표면 세그먼트를 렌더링하는 것을 포함하는, 시스템.
  24. 제 23 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 기준 오브젝트가 상기 장면으로부터 제거되었던 시기를 결정하고; 그리고,
    상기 적어도 하나의 기준 오브젝트가 제거되었다고 결정하는 것에 응답하여 상기 가상 워크스페이스를 클로즈
    하도록 추가적으로 구성되는, 시스템.
  25. 제 24 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 기준 오브젝트가 상기 장면 또는 다른 장면으로 재도입되었다고 결정하고; 그리고,
    상기 적어도 하나의 기준 오브젝트가 상기 장면 또는 상기 다른 장면으로 재도입되었다고 결정하는 것에 응답하여 상기 가상 워크스페이스를 오픈
    하도록 추가적으로 구성되는, 시스템.
  26. 제 23 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 기준 오브젝트로와는 상이한 제 2 기준 오브젝트를 검출하고; 그리고,
    상기 가상 워크스페이스와는 상이한 제 2 가상 워크스페이스를 오픈
    하도록 추가적으로 구성되는, 시스템.
  27. 제 16 항에 있어서,
    상기 적어도 하나의 기준 오브젝트를 식별하는 것은, 상기 적어도 하나의 기준 오브젝트에 의해 디스플레이된 이미지에 기초하는, 시스템.
  28. 제 16 항에 있어서,
    상기 표면 세그먼트를 포함하는 가상 워크스페이스를 포함한 데이터 신호를 적어도 하나의 다른 디바이스에 송신하도록 구성된 송신기를 더 포함하며,
    상기 가상 워크스페이스는 상기 표면 세그먼트를 정의하는 입력을 제공했던 제 1 사용자에 의해 정의되고,
    상기 적어도 하나의 다른 디바이스는 상기 제 1 사용자와는 상이한 제 2 사용자와 연관되는, 시스템.
  29. 제 28 항에 있어서,
    상기 데이터 신호를 수신하도록 구성된 수신기를 더 포함하며,
    상기 표면 세그먼트를 렌더링하는 것은,
    상기 제 1 사용자에 대한 가상 워크스페이스를 렌더링하는 것; 및
    상기 가상 워크스페이스에 포함된 하나 또는 그 초과의 가상 오브젝트들과 상기 제 2 사용자와의 상호작용에 기초하여, 상기 제 1 사용자에 대한 상기 가상 워크스페이스의 렌더링을 동적으로 업데이트하는 것을 포함하는, 시스템.
  30. 제 16 항에 있어서,
    상기 프로세서는, 상기 장면의 이미지에 적어도 부분적으로 기초하여 상기 적어도 하나의 기준 오브젝트의 포즈를 결정하고, 그리고 결정된 포즈에 적어도 부분적으로 기초하여 상기 적어도 하나의 기준 오브젝트와는 별개인 가상 표면을 결정하도록 추가적으로 구성되며,
    상기 표면 세그먼트는 상기 가상 표면 상에서 렌더링되는, 시스템.
  31. 시스템으로서,
    장면의 이미지를 광학적으로 감지하기 위한 수단;
    상기 장면에서 적어도 하나의 기준 오브젝트를 식별하기 위한 수단 － 상기 적어도 하나의 기준 오브젝트는 물리적 오브젝트임 －;
    상기 적어도 하나의 기준 오브젝트에 대해 표면 세그먼트를 정의하는 입력을 수신하기 위한 수단; 및
    상기 표면 세그먼트를 렌더링하기 위한 수단을 포함하는, 시스템.
  32. 프로그램 코드를 포함하는 비-일시적인 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는, 프로세서에 의해 실행된 경우, 상기 프로세서로 하여금,
    장면의 카메라 입력을 수신하게 하고;
    상기 장면에서 적어도 하나의 기준 오브젝트를 식별하게 하고 － 상기 적어도 하나의 기준 오브젝트는 물리적 오브젝트임 －;
    상기 적어도 하나의 기준 오브젝트에 대해 표면 세그먼트를 정의하는 입력을 수신하게 하며; 그리고,
    상기 표면 세그먼트가 렌더링되게
    하도록 구성되는, 비-일시적인 컴퓨터 판독가능 매체.
KR1020157008564A 2012-09-04 2013-08-07 증강 현실 표면 디스플레잉 KR101784328B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261696761P 2012-09-04 2012-09-04
US61/696,761 2012-09-04
US13/802,194 US9530232B2 (en) 2012-09-04 2013-03-13 Augmented reality surface segmentation
US13/802,194 2013-03-13
PCT/US2013/053954 WO2014039201A1 (en) 2012-09-04 2013-08-07 Augmented reality surface displaying

Publications (2)

Publication Number Publication Date
KR20150048881A true KR20150048881A (ko) 2015-05-07
KR101784328B1 KR101784328B1 (ko) 2017-10-11

Family

ID=50186931

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157008564A KR101784328B1 (ko) 2012-09-04 2013-08-07 증강 현실 표면 디스플레잉

Country Status (5)

Country Link
US (1) US9530232B2 (ko)
EP (1) EP2893416A1 (ko)
KR (1) KR101784328B1 (ko)
CN (1) CN104603719B (ko)
WO (1) WO2014039201A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200094775A (ko) * 2017-12-15 2020-08-07 텔레폰악티에볼라겟엘엠에릭슨(펍) 하나의 가상 콘텐츠의 콘텐츠 포즈 결정 방법

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9298008B2 (en) * 2012-12-06 2016-03-29 Cherif Atia Algreatly 3D immersion technology
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10408613B2 (en) 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
US10281987B1 (en) * 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
EP3058512B1 (en) * 2013-10-16 2022-06-01 3M Innovative Properties Company Organizing digital notes on a user interface
AU2014202574A1 (en) * 2014-05-13 2015-12-03 Canon Kabushiki Kaisha Positioning of projected augmented reality content
US20150348322A1 (en) * 2014-06-02 2015-12-03 Dell Products L.P. Dynamically Composited Information Handling System Augmented Reality at a Primary Display
EP3152894B1 (en) * 2014-06-03 2020-03-04 Sony Corporation Lifelog camera and method of obtaining a digital image tagged with corrected image direction information
DE102014217961A1 (de) * 2014-09-09 2016-03-10 Bayerische Motoren Werke Aktiengesellschaft Bestimmung der Pose eines HMD
TWI628613B (zh) * 2014-12-09 2018-07-01 財團法人工業技術研究院 擴增實境方法與系統
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US20170330036A1 (en) * 2015-01-29 2017-11-16 Aurasma Limited Provide augmented reality content
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
JP2016194756A (ja) * 2015-03-31 2016-11-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9959677B2 (en) * 2015-05-26 2018-05-01 Google Llc Multidimensional graphical method for entering and exiting applications and activities in immersive media
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US20160379407A1 (en) * 2015-06-23 2016-12-29 Daryl Foster Virtual Fantasy System and Method of Use
US9520002B1 (en) 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
KR102410449B1 (ko) * 2015-06-30 2022-06-16 매직 립, 인코포레이티드 가상 이미지 생성 시스템에서 텍스트를 더 효율적으로 디스플레이하기 위한 기법
US10799792B2 (en) 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
TWI588672B (zh) * 2015-08-04 2017-06-21 逢甲大學 虛擬園區之體感探索互動系統及方法
US20170062015A1 (en) * 2015-09-01 2017-03-02 Whole Body IQ, Inc. Correlation of media with biometric sensor information
US10304247B2 (en) 2015-12-09 2019-05-28 Microsoft Technology Licensing, Llc Third party holographic portal
US10163198B2 (en) * 2016-02-26 2018-12-25 Samsung Electronics Co., Ltd. Portable image device for simulating interaction with electronic device
US10269082B2 (en) 2016-04-21 2019-04-23 Wayne Fueling Systems Llc Intelligent fuel Dispensers
EP4060462A1 (en) * 2016-05-20 2022-09-21 Magic Leap, Inc. Contextual awareness of user interface menus
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
JP2017215664A (ja) * 2016-05-30 2017-12-07 サン電子株式会社 端末装置
US10591988B2 (en) * 2016-06-28 2020-03-17 Hiscene Information Technology Co., Ltd Method for displaying user interface of head-mounted display device
KR20180041890A (ko) 2016-10-17 2018-04-25 삼성전자주식회사 가상 객체를 표시하는 방법 및 장치
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US11164378B1 (en) * 2016-12-08 2021-11-02 Out of Sight Vision Systems LLC Virtual reality detection and projection system for use with a head mounted display
EP3485355A1 (en) * 2017-06-29 2019-05-22 Apple Inc. Finger-mounted device with sensors and haptics
EP3574387A4 (en) * 2017-07-18 2020-09-30 Hewlett-Packard Development Company, L.P. PROJECTION OF INPUTS ON THREE-DIMENSIONAL OBJECT REPRESENTATIONS
US10212000B1 (en) 2017-07-25 2019-02-19 Daqri, Llc Computer vision based activation
US10834210B1 (en) * 2017-08-03 2020-11-10 Amazon Technologies, Inc. Synchronizing a personal workspace across multiple computing systems in a coding environment
CN107767417B (zh) * 2017-09-11 2021-06-25 广州慧玥文化传播有限公司 基于特征点确定mr头显设备输出的虚拟景象的方法及系统
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US20190188450A1 (en) * 2017-11-06 2019-06-20 Magical Technologies, Llc Systems, Methods and Apparatuses for Deployment of Virtual Objects Based on Content Segment Consumed in a Target Environment
US10616033B2 (en) 2017-11-06 2020-04-07 Honda Motor Co., Ltd. Different perspectives from a common virtual environment
US20190139307A1 (en) * 2017-11-09 2019-05-09 Motorola Mobility Llc Modifying a Simulated Reality Display Based on Object Detection
EP3502839A1 (en) * 2017-12-22 2019-06-26 Nokia Technologies Oy Methods, apparatus, systems, computer programs for enabling mediated reality
US10521662B2 (en) * 2018-01-12 2019-12-31 Microsoft Technology Licensing, Llc Unguided passive biometric enrollment
US11398088B2 (en) 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
KR102499354B1 (ko) 2018-02-23 2023-02-13 삼성전자주식회사 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
US10467816B2 (en) * 2018-03-23 2019-11-05 Microsoft Technology Licensing, Llc Mixed reality objects
CN110515452B (zh) 2018-05-22 2022-02-22 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
US11315337B2 (en) 2018-05-23 2022-04-26 Samsung Electronics Co., Ltd. Method and apparatus for managing content in augmented reality system
KR102537784B1 (ko) * 2018-08-17 2023-05-30 삼성전자주식회사 전자 장치 및 그 제어 방법
US10855978B2 (en) * 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
KR102620702B1 (ko) * 2018-10-12 2024-01-04 삼성전자주식회사 모바일 장치 및 모바일 장치의 제어 방법
KR20200080047A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
US10943400B2 (en) * 2019-01-07 2021-03-09 Cerence Operating Company Multimodal user interface for a vehicle
WO2020157513A1 (en) * 2019-01-30 2020-08-06 Buddi Limited Identification device
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
US10996839B2 (en) 2019-05-20 2021-05-04 Microsoft Technology Licensing, Llc Providing consistent interaction models in communication sessions
US11755107B1 (en) 2019-09-23 2023-09-12 Apple Inc. Finger devices with proximity sensors
KR20210136116A (ko) 2019-09-27 2021-11-16 애플 인크. 가상 객체들 제어
US11049306B2 (en) * 2019-11-06 2021-06-29 Vago Technologies Oy Display apparatus and method for generating and rendering composite images
US11709554B1 (en) 2020-09-14 2023-07-25 Apple Inc. Finger devices with adjustable housing structures
US11287886B1 (en) 2020-09-15 2022-03-29 Apple Inc. Systems for calibrating finger devices
US11720896B1 (en) * 2020-12-10 2023-08-08 Wells Fargo Bank, N.A. Apparatuses, computer-implemented methods, and computer program products for proximate financial transactions
US11699269B2 (en) 2021-08-25 2023-07-11 Bank Of America Corporation User interface with augmented work environments

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625299B1 (en) 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US6891518B2 (en) 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
US7064742B2 (en) 2001-05-31 2006-06-20 Siemens Corporate Research Inc Input devices using infrared trackers
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
JP2010512693A (ja) * 2006-12-07 2010-04-22 アダックス，インク． データの付加、記録および通信のためのシステムと方法
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
WO2010029553A1 (en) * 2008-09-11 2010-03-18 Netanel Hagbi Method and system for compositing an augmented reality scene
US8289288B2 (en) 2009-01-15 2012-10-16 Microsoft Corporation Virtual object adjustment via physical object detection
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US20110151925A1 (en) * 2009-12-18 2011-06-23 Sony Ericsson Mobile Communications Ab Image data generation in a portable electronic device
US8947455B2 (en) * 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US8633947B2 (en) * 2010-06-02 2014-01-21 Nintendo Co., Ltd. Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
GB2481612A (en) * 2010-06-30 2012-01-04 Skype Ltd Updating image regions in a shared image system
US8509483B2 (en) 2011-01-31 2013-08-13 Qualcomm Incorporated Context aware augmentation interactions
EP2691935A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US8749396B2 (en) * 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
KR101309783B1 (ko) * 2011-12-30 2013-09-23 삼성전자주식회사 디스플레이 장치 및 방법
US10067568B2 (en) * 2012-02-28 2018-09-04 Qualcomm Incorporated Augmented reality writing system and method thereof
CN103049234B (zh) * 2012-12-04 2016-09-14 深圳市金立通信设备有限公司 一种终端、系统及双机协同工作的方法
CA2896985A1 (en) * 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200094775A (ko) * 2017-12-15 2020-08-07 텔레폰악티에볼라겟엘엠에릭슨(펍) 하나의 가상 콘텐츠의 콘텐츠 포즈 결정 방법
US11657581B2 (en) 2017-12-15 2023-05-23 Telefonaktiebolaget Lm Ericsson (Publ) Determining a content pose of a piece of virtual content

Also Published As

Publication number Publication date
KR101784328B1 (ko) 2017-10-11
EP2893416A1 (en) 2015-07-15
CN104603719A (zh) 2015-05-06
US9530232B2 (en) 2016-12-27
WO2014039201A1 (en) 2014-03-13
CN104603719B (zh) 2017-08-22
US20140063060A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
KR101784328B1 (ko) 증강 현실 표면 디스플레잉
KR102509078B1 (ko) 3차원 상호작용 시스템
CN107810465B (zh) 用于产生绘制表面的系统和方法
US10789776B2 (en) Structural modeling using depth sensors
US9928662B2 (en) System and method for temporal manipulation in virtual environments
US10359905B2 (en) Collaboration with 3D data visualizations
US20130176202A1 (en) Menu selection using tangible interaction with mobile devices
EP3353634B1 (en) Combining mobile devices with people tracking for large display interactions
US11886673B2 (en) Trackpad on back portion of a device
CN105190469A (zh) 使对象的指定位置被提供给设备
KR20150118036A (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
US11676355B2 (en) Method and system for merging distant spaces
US20230410441A1 (en) Generating user interfaces displaying augmented reality graphics

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant