KR20110030341A - 가상 환경에서 객체와 상호 작용하는 시스템 - Google Patents

가상 환경에서 객체와 상호 작용하는 시스템 Download PDF

Info

Publication number
KR20110030341A
KR20110030341A KR1020100089509A KR20100089509A KR20110030341A KR 20110030341 A KR20110030341 A KR 20110030341A KR 1020100089509 A KR1020100089509 A KR 1020100089509A KR 20100089509 A KR20100089509 A KR 20100089509A KR 20110030341 A KR20110030341 A KR 20110030341A
Authority
KR
South Korea
Prior art keywords
portable electronic
electronic device
environment
display
information
Prior art date
Application number
KR1020100089509A
Other languages
English (en)
Inventor
마이클 로버츠
니콜라스 비. 도우체너트
Original Assignee
팔로 알토 리서치 센터 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 팔로 알토 리서치 센터 인코포레이티드 filed Critical 팔로 알토 리서치 센터 인코포레이티드
Publication of KR20110030341A publication Critical patent/KR20110030341A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

3-차원(3-d) 가상 환경과 상호 작용을 용이하게 하는 시스템이 기재된다. 이 시스템에서, 콘트롤러 디바이스는 3-d 가상 환경과 연관된 정보를 제 1 디스플레이에 제공한다. 이에 더하여, 이 시스템은 제 2 디스플레이와, 선형 움직임, 회전 움직임, 및/또는 몸짓과 같은 움직임과 같은 휴대용 전자 디바이스의 움직임을 검출하는 3-d 움직임 센서를 포함하는 적어도 하나 이상의 휴대용 전자 디바이스를 포함한다. 이 휴대용 전자 디바이스는 검출된 움직임을 콘트롤러 디바이스에 전달한다. 응답으로, 콘트롤러 디바이스는 제 2 디스플레이 상에 디스플레이될 3-d 가상 환경의 서브셋 및 연관된 배경-종속 정보를 휴대용 전자 디바이스에 제공한다.

Description

가상 환경에서 객체와 상호 작용하는 시스템{SYSTEM FOR INTERACTING WITH OBJECTS IN A VIRTUAL ENVIRONMENT}
본 발명은 복수의 사용자에 의한 3-차원(3-dimensional; 3-d) 가상 환경과의 상호 작용을 용이하게 하는 시스템 및 기술에 관한 것이다.
컴퓨터와 같은 네트워크화된 전자 디바이스들은 점점 더 인기를 얻고 있다. 이러한 디바이스들은 사용자들간에 확대된 통신, 상호 작용, 및 협력을 용이하게 하고 있다.
네트워크화된 전자 디바이스들의 복수 사용자간 상호 작용은 종종 가상 환경(또한, "가상 세계(virtual worlds)" 또는 "가상 현실(virtual reality)"로 참조됨)을 사용하여 용이해진다. 그러나, 현존하는 시스템 및 소프트웨어 툴을 사용하면, 이러한 상호 작용은 그 시스템에서 사용자 수가 증가할수록 더 어려워질 수 있다. 예를 들어, 복수의 사용자가 가상 환경에서 동시에 아바타와 같은 객체를 조작하려고 시도하면, 사용자의 네트워크화된 전자 디바이스 상의 디스플레이가 이러한 사용자의 행동에 의해서 혼란스러워지는데, 다른 사용자의 활동과 연관된 상호 작용 위젯(widget)이 가상 환경의 공통 콘텐츠(common content)와 함께 디스플레이되기 때문이다. 유사하게, 가상 환경에서 사용자의 행동이 또 다른 사용자의 행동에 의해 가려질 수 있기 때문에, 많은 수의 사용자가 가상 환경을 사용하여 공통 콘텐츠를 협력적으로 편집 또는 수정하는 것이 어려울 수 있다.
따라서, 가상 환경에서 복수 사용자의 상호 작용을 상술된 문제점 없이 용이하게 하는 방법 및 시스템이 요구된다.
본 명세서의 하나의 실시형태는 3-차원(3-d) 환경과 상호 작용을 용이하게 하는 시스템을 제공한다. 이 시스템은 3-d 환경과 연관된 정보를 저장하는 콘트롤러 디바이스를 포함한다. 또한, 이 시스템은 콘트롤러 디바이스에 접속되고, 3-d 환경을 디스플레이하는 제 1 디스플레이를 포함한다. 이에 더하여, 이 시스템은 콘트롤러 디바이스와 정보를 통신하는 적어도 하나의 휴대용 전자 디바이스를 포함한다. 이 휴대용 전자 디바이스는 휴대용 전자 디바이스의 움직임(선형 움직임, 회전 움직임, 및/또는 몸짓(gesture)을 포함함)을 검출하는 3-d 움직임 센서를 포함한다. 또한, 휴대용 전자 디바이스는 3-d 환경의 3-d 랜더링 서브셋(rendered subset) 및 연관된 배경-종속 정보(associated context-dependent information)를 검출된 움직임에 기초하여 디스플레이하는 제 2 디스플레이를 포함한다.
휴대용 전자 디바이스는 셀룰라 전화기를 포함할 수 있다는 것에 주의한다. 이에 더하여, 3-d 움직임 센서는 가속도계를 포함할 수 있다.
일부 실시형태에서, 3-d 환경은 가상 현실을 포함할 수 있다. 부가적으로, 3-d 환경의 서브셋은 객체의 적어도 일부 또는 아바타의 적어도 일부를 포함할 수 있다.
또한, 검출된 움직임은 선형 움직임 및/또는 회전 움직임과 같은 3-d 환경에서 움직임에 상응할 수 있다. 대안적 또는 부가적으로, 검출된 움직임은 3-d 환경에서 객체 또는 아바타를 선택할 수 있다. 예를 들어, 객체는 몸짓을 사용하여 선택될 수 있다.
일부 실시형태에서, 배경-종속 정보는 3-d 환경의 서브셋과 연관되는 메뉴를 포함할 수 있다. 그 결과로서, 검출된 움직임은 메뉴를 통한 네비게이션에 상응할 수 있다.
일부 실시형태에서, 시스템은 사용자들과 연관되는 복수의 휴대용 전자 디바이스를 포함할 수 있다. 특정(given) 휴대용 전자 디바이스는 3-d 환경의 특정 서브셋 및 연관된 배경-종속 정보를, 당해 특정 휴대용 전자 디바이스의 검출된 움직임에 기초하여 특정 사용자에게 디스플레이할 수 있다. 또한, 제 1 디스플레이에 디스플레이된 3-d 환경은 사용자들에게 공통인 정보를 포함할 수 있다. 추가적으로, 적어도 2 개의 휴대용 전자 디바이스 상에 디스플레이되는 3-d 환경의 3-d 랜더링 서브셋은 서로 다를 수 있다.
이 시스템은 3-d 환경에서 사용자들에 의한 정보의 협력적 편집 및/또는 3-d 환경에서 사용자들의 협력적 상호 작용을 용이하게 수 있다.
일부 실시 형태에서, 콘트롤러 디바이스는 연관된 휴대용 전자 디바이스들을 통해 제공된 정보에 대한 변경과 연관된 충돌이 3-d 환경에서 발생하면, 연관된 휴대용 전자 디바이스들을 통해 적어도 2 명의 사용자에게 피드백을 제공한다.
이에 더하여, 제 2 디스플레이는 터치-감지 디스플레이를 포함하고, 3-d 환경의 3-d 랜더링 서브셋 및 연관된 배경-종속 정보를 제 2 디스플레이의 표면에 대한 사용자의 상호 작용에 기초하여 디스플레이할 수 있다.
부가적으로, 휴대용 전자 디바이스는 고유 식별자를 중앙 콘트롤러 디바이스에 제공할 수 있다. 응답으로, 콘트롤러 디바이스는 제 2 디스플레이 상에서 디스플레이하기 위한, 3-d 환경의 3-d 랜더링 서브셋 및 연관된 배경-종속 정보를 고유 식별자에 기초하여 초기에 제공할 수 있다.
또 다른 실시형태는 콘트롤러 디바이스에 의해 실행될 수 있는, 3-d 환경과 상호 작용하는 방법을 제공한다. 동작하는 동안, 콘트롤러 디바이스는 3-d 환경에 연관된 저장된 정보에 액세스하고, 3-d 환경과 연관된 정보를 디스플레이를 위해 제 1 디스플레이에 제공한다. 이어, 콘트롤러 디바이스는 휴대용 전자 디바이스로부터 3-d 환경의 3-d 랜더링 서브셋 및 연관된 배경-종속 정보에 대한 요청을 수신한다. 이 요청은 휴대용 전자 디바이스의 검출된 움직임에 기초할 수 있고, 휴대용 전자 디바이스의 검출된 움직임은 선형 움직임, 회전 움직임, 및/또는 몸짓을 포함할 수 있다는 것에 주의한다. 다음, 콘트롤러 디바이스는 휴대용 전자 디바이스의 제 2 디스플레이상에 디스플레이를 위하여, 3-d 환경의 서브셋 및 연관된 배경-종속 정보를 휴대용 전자 디바이스에 제공한다.
또 다른 실시 형태는 시스템과 함께 사용하는 컴퓨터-프로그램 제품을 제공한다. 이 컴퓨터-프로그램 제품은 상술된 동작의 적어도 일부를 위한 명령어를 포함한다.
본 발명에 따르면, 복수 사용자에 의한 가상 환경과의 상호 작용을 용이하게 할 수 있다.
도 1은 본 명세서의 실시형태에 따른 시스템을 예시하는 블록도이다.
도 2는 본 명세서의 실시형태에 따른 3-차원(3-d) 환경과 상호 작용하는 프로세스를 예시하는 플로우차트이다.
도 3은 본 명세서의 실시형태에 따른 도 1의 휴대용 전자 디바이스 및 디스플레이 상에 디스플레이된 정보에 대한 도면이다.
도 4는 본 명세서의 실시형태에 따른 컴퓨터 시스템을 예시하는 블록도이다.
도 5는 본 명세서의 실시형태에 따른 데이터 구조를 예시하는 블록도이다.
유사한 참조 번호는 도면 전체에서 상응하는 부분을 참조한다는 것에 주의한다. 또한, 동일한 부분에 대한 복수의 예시는 대시(-)에 의해 예시 번호로부터 분리된 공통 접두사로 지시된다.
3-d 환경과 상호 작용을 용이하게 하는 시스템, 방법, 및 컴퓨터-프로그램 제품(예를 들어, 소프트웨어)이 설명된다. 이 시스템에서, 콘트롤러 디바이스는 3-d 환경와 연관되는 정보를 제 1 디스플레이에 제공한다. 이에 더하여, 이 시스템은 적어도 하나의 휴대용 전자 디바이스를 포함하고, 이 휴대용 전자 디바이스는 제 2 디스플레이와, 자신의 선형 움직임, 회전 움직임, 및/또는 몸짓과 같은 움직임을 검출하는 3-d 움직임 센서를 포함한다. 이 휴대용 전자 디바이스는 검출된 움직임을 콘트롤러 디바이스에 전달한다. 응답으로, 콘트롤러 디바이스는 3-d 가상 환경의 3-d 랜더링 서브셋 및 연관된 배경-종속 정보를 휴대용 전자 디바이스에 제공하고, 이들은 제 2 디스플레이 상에 디스플레이된다.
이 시스템은 복수의 사용자가 3-d 가상 환경과 연관된 정보를 동시에 보거나, 및/또는 변경시킬 수 있도록 한다. 특히, 각 사용자는 연관된 배경-종속 정보(예를 들어, 메뉴)뿐 아니라, 자신과 관련된 정보의 3-d 랜더링 서브셋을 볼 수 있다. 동시에, 전체 3-d 가상 환경은 제 1 디스플레이에 표시되어, 그 정보에 대한 개관(즉, 상황 인식)을 모든 사용자에게 제공한다. 이에 더하여, 사용자는 제 1 디스플레이에 디스플레이된 정보를 혼란스럽거나 또는 불명료하게 하지 않으면서, 자신의 휴대용 전자 디바이스 상에서 정보의 서브셋을 조작하거나 또는 변경할 수 있다. 이 방법으로, 시스템은 3-d 가상 환경에서 사용자들에 의한 정보의 협력적 편집 및/또는 3-d 가상 환경에서 사용자들의 협력적 상호 작용을 용이하게 한다.
다음으로, 3-d 가상 환경과의 상호 작용을 용이하게 하는 시스템의 실시형태를 설명한다. 도 1은 시스템(100)을 예시하는 블록도를 제시한다. 이 시스템은 상응하는 휴대용 전자 디바이스들(114)의 하나 이상의 사용자가, 가상 공간 또는 가상 현실과 같은 3-d 가상 환경의 정보와 상호 작용하거나, 그 3-d 가상 환경에 있는 정보를 수정하거나 및/또는 제어할 수 있도록 한다. 특히, 시스템(100)의 콘트롤러 디바이스(110) 내에 있는 3-d 가상 환경 모듈(118)은 저장된 환경 정보(120)를 액세스하고, 환경 정보(120)에 기초하여 3-d 가상 환경을 생성한다. 이어, 3-d 가상 환경 모듈(118)은 통신 모듈(116)과 네트워크(112)를 통해 콘트롤러 디바이스(110)에 접속된 가상 세계 클라이언트(129)에게 신호 또는 명령어를 제공한다. 가상 세계 클라이언트(129)는 소프트웨어-기반 또는 하드웨어-기반일 수 있고, 디스플레이(130; 예를 들어, 대형 평면 스크린 또는 프로젝션 디스플레이)와 통신한다. 디스플레이(130)는 3-d 가상 환경을 하나 이상의 사용자에게 디스플레이한다.
개별적 또는 동시적으로, 사용자들은 3-d 가상 환경과 연관된 정보(콘텐츠)와 상호 작용하고, 이 정보를 조작하거나 및/또는 수정하기 위해서 휴대용 전자 디바이스들(114)을 사용할 수 있다. 예를 들어, 휴대용 전자 디바이스(114-1)와 같은 휴대용 전자 디바이스(114) 각각은, 휴대용 전자 디바이스의 움직임(선형 움직임, 회전 움직임, 및/또는 몸짓을 포함함)을 검출하는 3-d 움직임 센서(예를 들어, 가속도계)를 포함할 수 있다. 휴대용 전자 디바이스의 검출된 움직임은 3-d 가상 환경에서 객체 또는 아바타(avatar)의 움직임에 상응할 수 있다. 따라서, 휴대용 전자 디바이스(114-1)의 사용자는 이 디바이스를 "요술 지팡이"처럼 사용하여, 디스플레이(130)에 디스플레이되는 3-d 가상 환경에서 객체를 조작할 수 있다.
대안적 또는 부가적으로, 검출된 움직임은 휴대용 전자 디바이스(114-1)상에 디스플레이하기 위한 3-d 가상 환경에서 객체 또는 아바타를 선택(예를 들어, 객체는 몸짓을 사용하여 선택될 수 있음)할 수 있다. 예를 들어, 휴대용 전자 디바이스(114-1)의 사용자는, 하나 이상의 객체의 표현 방식(presentation), 보다 일반적으로, 3-d 가상 환경에서 정보의 3-d 랜더링 서브셋을 선택 또는 수정하기 위하여,이 디바이스를 움직일 수 있다. 소프트웨어 애플리케이션(122-1) 내 움직임-검출 모듈(126-1)은 휴대용 전자 디바이스(114-1)의 검출된 움직임을 해석(예를 들어, 로컬 커서(local cursor)의 조작으로서 해석)할 수 있고, 그에 따라서, 연관된 배경-종속 정보(예를 들어, 객체 또는 아바타의 적어도 일부와 연관되는 상호 작용 위젯 또는 메뉴) 뿐만 아니라, 3-d 가상 환경에서 정보의 상응하는 서브 셋(예를 들어, 객체의 적어도 일부 또는 아바타의 적어도 일부)에 대한 요청을 통신 모듈(116)과 네트워크(112)를 통해 콘트롤러 디바이스(110)에 제공할 수 있다. 응답으로, 콘트롤러 디바이스(110)는 요청된 정보의 서브 셋 및 연관된 배경-종속 정보를 휴대용 전자 디바이스(114-1)에 제공할 수 있다. 이어, 소프트웨어 애플리케이션(122-1) 내 3-d 디스플레이 모듈(124-1)은 정보의 서브셋 및 연관된 배경-종속 정보를 디스플레이(128-1)에 디스플레이할 수 있다.
이어서, 사용자는 휴대용 전자 디바이스(114-1)를 움직임으로써, 표현 방식을 조작 및/또는 변경하고, 및/또는 휴대용 전자 디바이스(114-1)에 디스플레이된 정보의 서브셋 및/또는 연관된 배경-종속 정보를 수정할 수 있다. 예를 들어, 휴대용 전자 디바이스(114-1)를 움직임으로써, 사용자는 정보의 서브셋에 연관된 메뉴를 통해 내비게이트할 수 있고, 그 메뉴에서 특정 명령을 선택할 수 있다.
대안적 또는 부가적으로, 휴대용 전자 디바이스(114-1)를 움직임으로써, 사용자는 디스플레이(128-1) 상 객체의 배향(orientation)을 변경할 수 있고, 및/또는 그 객체를 편집하거나 변경할 수 있다. 예를 들어, 휴대용 전자 디바이스(114-1)를 움직임으로써, 사용자는 가상 환경에서 축의 원근 또는 배향을 변경할 수 있다. 그로 인해, 사용자는 가상 환경에서 콘텐츠와 동적으로 상호 작용하여, 사용자의 행동은 콘텐츠 및 그 콘텐츠가 디스플레이되는 형태를 수정할 수 있게 된다.
이러한 표현 방식 및/또는 콘텐츠 변경은, 사용자가 전역 정보(global information)의 업데이트를 허용할 때까지, 또는 후속의 사용자 세션이 발생할 때까지, 다른 휴대용 전자 디바이스(114) 내 디스플레이(128) 상에, 또는 디스플레이(130) 상에 디스플레이되지 않을 수 있다는 것에 주의한다. 그러나, 일부 실시형태에서는, 각 휴대용 전자 디바이스(114) 상의 정보 서브셋에 만들어진 변화는, 실시간으로, 즉 지연없이 또는 사용자 승인을 기다리지 않고, 디스플레이(130) 상에 디스플레이될 수 있다. 어느 경우든지, 콘트롤러 디바이스(110)는 동일한 사용자 세션 및/또는 후속의 사용자 세션에서의 사용을 위해 환경 정보(120)에, 임의 사용자-특징 변경을 포함하는 정보를 저장하거나 또는 유지 보수할 수 있다.
이 방식으로, 각 사용자는 그들의 상응하는 휴대용 전자 디바이스(114)를 통해, 그들에게 적합하거나 관심이 있는 정보의 3-d 랜더링 서브셋 및 연관된 배경-종속 정보와 상호 작용하거나 볼 수 있다(따라서, 적어도 2 개의 휴대용 전자 디바이스(114)에 디스플레이된 정보의 서브셋은 서로 다를 수 있음). 이에 더하여, 디스플레이(130) 상의 3-d 가상 환경 내 정보는, 사용자들의 상응하는 휴대용 전자 디바이스들(114) 상에 디스플레이된 정보의 서브셋에 대하여 사용자가 만든 다양한 변화로 인해 혼란스러워지지 않고, 공통 정보에 관한 개관(또는 상황 인식)을 모든 사용자에게 제공한다.
따라서, 시스템(100) 내 휴대용 전자 디바이스들(114)은 3-d 가상 환경에 대한 인터페이스들을 제공할 수 있고, 이들 인터페이스는 사용자들이 동일한 3-d 가상 환경에서 서로 간 및 콘텐츠와, 디스플레이(130) 상 3-d 가상 환경 내 정보 및 디스플레이들(128) 상에 디스플레이된 정보의 서브셋 모두를 통하여, 상호 작용하는 것을 허용한다.
일부 실시형태에서, 휴대용 전자 디바이스(114)는 예를 들어, "스마트" 폰으로 불리우는 셀룰라 전화기를 포함한다. 그러나, 타블렛 컴퓨터, PDA(Personal Digital Assistant), 및/또는 노트북 또는 랩탑 컴퓨터를 포함하는 매우 다양한 휴대용 전자 디바이스가 사용될 수도 있다.
일부 실시형태에서, 콘트롤러 디바이스(110)는, 연관된 휴대용 전자 디바이스들을 통해 제공된 정보에 대한 변경과 연관된 충돌이 3-d 환경에서 발생하면, 연관된 휴대용 전자 디바이스들을 통해 적어도 2 명의 사용자에게 피드백을 제공한다. 예를 들어, 셀룰러 전화기의 진동 모드가 이들 사용자 각각에게 피드백을 제공하기 위하여 사용될 수 있다. 만약 사용자 중 한 명이 다른 사용자에 의해 이미 "콘트롤"되고 있는 객체를 조작하려고 시도한다면, 이 사용자의 셀룰러 전화기는 진동하여, 그 시도 또는 요청이 거절되었다는 것을 표시한다. 예를 들어, 만약 사용자의 아바타가 3-d 가상 환경 내에서 움직일 때, 이러한 촉감 피드백은 3-d 가상 환경에서 지형의 "거친" 정도에 대한 표시를 제공하기 위해 또한 사용될 수 있다는 것에 주의한다.
이에 더하여, 일부 실시예에서, 휴대용 전자 디바이스(114) 각각은 고유 식별자를 중앙 콘트롤러 디바이스(110)에 제공할 수 있다. 응답으로, 콘트롤러 디바이스(110)는 디스플레이(128) 상에 디스플레이하기 위한 3-d 가상 환경의 서브셋 및 연관된 배경-종속 정보를 초기에 제공할 수 있다. 예를 들어, 셀룰러 전화기로부터의 신호는 셀룰러 전화기를 식별할 수 있다. 이 식별에 기초하여, 시스템(100)은 사용자를 위한 적절한 아바타를 선택할 수 있고, 사용자를 시스템(100)에 로그할 수 있다.
상술한 설명에서는 3-d 가상 환경에서 정보를 조작 또는 제어하는 예시적 방법으로서 움직임을 사용하였지만, 다른 사용자 인터페이스 기술이 사용될 수도 있다. 예를 들어, 디스플레이(128)는 터치-감지 디스플레이를 포함할 수 있다. 사용자가 디스플레이(128-1)의 표면을 터치하여 가상 위젯 또는 아이콘을 활성화시킴으로써, 디스플레이(130)에 디스플레이된 3-d 가상 환경 내 정보 뿐만 아니라, 휴대용 전자 디바이스(114-1)에 디스플레이된 3-d 가상 환경의 서브셋 및 연관된 배경-종속 정보를 조작, 제어 및/또는 수정할 수 있다.
부가적으로, 가상 환경이 3-d이지만, 일부 실시형태에서는, 가상 환경이 2 차원(2-d)이다. 이에 더하여, 정보 또는 콘텐츠가 2-d(예를 들어, 평면 텍스트) 또는 3-d 일 수 있다. 예를 들어, 아래에서 도 3을 참조하여 설명하는 것처럼, 정보는 복수의 상호-관련된 구성요소(inter-related component) 또는 서로에 대해 공간적 관계(spatial relationship)를 갖는 구성요소들을 포함하는 복잡한(complicated) 객체를 포함할 수 있다. 보다 일반적으로, 시스템(100)에서 유지 보수되는 콘텐츠는 텍스트, 오디오, 음악, 이미지, 및/또는 시간적 이미지 정보(예를 들어, 애니메이션 시퀀스)를 포함하는 다양한 데이터를 포함할 수 있다. 부가적으로, 이 데이터는 이미지 포맷(예를 들어, Joint Photographic Experts Group 표준), 비디오 포맷(예를 들어, Moving Pictures Experts Group 표준), 및 워드-프로세싱 또는 정보-디스플레이 포맷(예를 들어, 캘리포니아의 산호세에 소재하는 아도브 시스템 주식회사의 Adobe AcrobatTM)을 포함하는 다양한 포맷과 호환가능하다. 콘트롤러 디바이스(110)는 이 정보 또는 콘텐츠를 시스템(100)에 국소적으로(locally) 및/또는 원격적으로(remotely) 저장할 수 있다는 것에 주의한다.
소프트웨어 애플리케이션(122)는 휴대용 전자 디바이스(114-1)와 같은 휴대용 전자 디바이스(114) 각각에 상주할 수 있고, 그 휴대용 전자 디바이스 각각에서 실행될 수 있다는 것에 주의한다. 예를 들어, 소프트웨어 애플리케이션(122-1)은 독립형 프로그램일 수 있고, 다른 소프트웨어 애플리케이션 내 내장될 수도 있다. 대안적으로, 소프트웨어 애플리케이션은 웹 페이지 내에 내장된 소프트웨어-애플리케이션들일 수 있고, 예를 들어, 소프트웨어 애플리케이션은 웹 브라우저에 의해 제공되는 가상 동작 환경에서 실행될 수 있다.(따라서, 시스템(100)은 클라이언트-서버 구조를 구현할 수 있다.) 예시적 실시형태에서, 소프트웨어 애플리케이션 툴은 자바스크립트(JavaScriptTM; 선 마이크로시스템 주식회사의 상표임)로 작성된 소프트웨어 패키지이고, 예를 들어, 소프트웨어 애플리케이션 툴은 자바스크립트 명령어, ECMAScript(유럽 컴퓨터 제조 연합 인터내셔널에 의해 공포된 스펙임), VBScriptTM(마이크로소프트 주식회사의 상표임) 또는 그 밖의 클라이언트측 스크립팅 언어를 포함하는 프로그램 또는 프로시저를 포함한다. 즉, 내장된 소프트웨어-애플리케이션 툴은 자바스크립트, ECMAScript 명령어, VBScript 명령어, 또는 휴대용 전자 디바이스(114) 상의 웹 브라우저 또는 다른 클라이언트 애플리케이션이 랜더링하기 적합한 다른 프로그래밍 언어로 된 명령어를 포함하는 프로그램 또는 프로시저를 포함할 수 있다.
시스템(100)의 동작 프로세스를 설명한다. 도 2는 콘트롤러 디바이스(110)(도 1 참조)에 의해 수행될 수 있는 3-d 가상 환경과 상호 작용하는 예시적 프로세스(200)의 플로우차트를 제시한다. 동작이 수행되는 동안, 콘트롤러 디바이스는 3-d 환경에 연관된 저장된 정보에 액세스하고(동작 210), 3-d 환경에 연관된 정보를 디스플레이를 위해 제 1 디스플레이에 제공한다(동작 212). 이어, 콘트롤러 디바이스는 휴대용 전자 디바이스로부터 3-d 환경의 서브 셋 및 연관된 배경-종속 정보에 대한 요청을 수신한다(동작 214). 이 요청은 휴대용 전자 디바이스의 검출된 움직임에 기초하고, 휴대용 전자 디바이스의 검출된 움직임은 선형 움직임, 회전 움직임, 및/또는 몸짓을 포함한다는 것에 주의한다. 다음으로, 휴대용 전자 디바이스의 제 2 디스플레이 상에 디스플레이하기 위하여, 콘트롤러 디바이스는 휴대용 전자 디바이스에 3-d 환경의 서브셋 및 연관된 배경-종속 정보를 제공한다(동작 216).
일부 실시형태에서, 프로세스(200)는 추가 동작 또는 더 적은 동작을 포함한다. 예를 들어, 동작(210-216)은 동일한 사용자에 대해 및/또는 복수의 사용자 중 하나 이상의 다른 사용자들에 대하여 여러번 선택적으로 반복될 수 있다(동작 218). 또한, 동작의 순서는 변경될 수 있고, 및/또는 2 이상의 동작이 하나의 동작으로 결합될 수 있다.
소프트웨어 애플리케이션(122; 도 1 참조) 내 사용자 인터페이스에 대한 실시형태를 설명한다. 도 3은 디스플레이(130) 에 디스플레이된 3-d 가상 환경 내 정보와, 시스템(100)의 휴대용 전자 디바이스(114) 내 디스플레이(128) 상에 디스플레이된 정보의 서브셋 및 연관된 배경-종속 정보에 대한 도면을 제시한다. 특히, 디스플레이(130)는 가상 환경(축(308)을 갖음)에서 복잡한 객체(310; 예를 들어, 복잡한 기계)를 디스플레이한다. 사용자는 자신의 휴대용 전자 디바이스(114)를 움직이거나 및/또는 디스플레이(128)의 표면을 터치함으로써, 복잡한 객체의 일부(310; 예를 들어 객체(312-1, 312-2))를 선택할 수 있다.
이에 더하여, 사용자는 디스플레이(128) 상에 디스플레이된 정보의 서브셋 및 연관된 배경-종속 정보를 조작, 제어, 및/또는 수정할 수 있다. 예를 들어, 휴대용 전자 디바이스(114-2)의 사용자는 이 디바이스를 움직여서, 연관된 메뉴(314-2; 즉 연관된 배경-종속 정보)를 통해 내비게이트할 수 있다. 이 프로세스에서, 사용자는 디스플레이(128-2) 상의 객체(312-2)의 표현 방식을 회전 또는 변경할 수 있다. 그러나, 디스플레이(130) 상에 디스플레이된 복잡한 객체(310)를 위한 공통 정보는 변경되지 않고 유지 보수될 수 있다. 메뉴(314-2)는 객체(312-2)에 대한 정보(예를 들어 구성요소, 재료 조성, 및/또는 수정 이력)를 포함할 수 있다. 일부 실시형태에서, 휴대용 전자 디바이스(114-2)의 사용자는 한 손으로는 휴대용 전자 디바이스(114-2)를 잡고, 다른 한 손으로 객체(312-2)를 수정하거나 가공할 수 있다.
예시적 실시형태에서, 휴대용 전자 디바이스(114-1)는 3-d 가상 환경의 아바타에 연관되는 배경-종속 메뉴(314-1; 또는 상호 작용 위젯)를 디스플레이한다. 휴대용 전자 디바이스(114-1)의 사용자가 아바타를 제어하고 있을 때, 아바타-인형 위젯(avatar-puppeting widget) 및 메뉴가 디스플레이될 수 있다. 보다 일반적으로, 사용자가 가상 세계에서 객체를 제어하고 있을 때, 그 객체에 특유한 메뉴 및/또는 위젯이 디스플레이될 수 있다. 이에 더하여, 사용자는 휴대용 전자 디바이스(114-1)를 아바타 모드(아바타를 제어하기 위해 사용됨)와 객체 모드(가상 객체를 제어하기 위해 사용됨) 사이에서 토글(toggle) 할 수 있다. 아바타 모드에서, 사용자는 이모트(emote; 이 모드에 아바타가 응답함)를 선택하거나, 또는 움직임 콘트롤 또는 위치를 선택할 수 있다. 객체 모드에서, 시스템(100; 도 1 참조)은 3-d 가상 환경에서 객체를 선택하기 위해 사용될 수 있는 3-d 커서를 디스플레이한다. 보다 일반적으로, 이들 동작 모드에서, 휴대용 전자 디바이스(114-1)는 가상 커서로서 사용되거나, 또는 선택된 객체 또는 아바타를 위한 대용물(proxy)로서 사용될 수 있다.
사용자가 휴대용 전자 디바이스(114-1) 상의 메뉴/위젯과 상호 작용하면(예를 들어, 휴대용 전자 디바이스(114-1)를 움직임으로써), 명령어는 예를 들어, BluetoothTM (워싱톤 벨리브에 소재한 블루투스 SIG 주식회사로부터 옴) 또는 인터넷 프로토콜 스위트(TCP-IP)와 같은 통신 프로토콜을 사용하는 네트워크(112; 도 1 참조)를 통해 3-d 가상 환경 모듈(118; 도 1 참조)로 전송된다.
움직임-검출 모듈(126; 도 1 참조)는 사용자가 휴대용 전자 디바이스(114)를 사용하여 3-d 가상 환경에서 객체 및/또는 아바타를 조작하는 동안, 여러 가지 상호 작용 모드를 지원할 수 있다. 일부 구현예에서는, 물리적 공간의 하나 이상의 축을 따라서 휴대용 전자 디바이스(114-1)를 이동시킴으로써, 상응하는 커서 또는 아바타가 3-d 가상 환경에서 이동된다. 그러나, 이 상호 작용의 모드에서는, 움직임의 크기에 제한이 있을 수 있다. 그로 인해, 움직임에 대한 제한이 규정되어, 사용자는 3-d 가상 환경에서 근접한 부근에서만 객체를 조작할 수 있다. 휴대용 전자 디바이스(114-1)가 이러한 제한을 벗어나면, 아바타 또는 커서는 그 방향으로 스크롤할 수 있다. 대안적으로, 휴대용 전자 디바이스(114-1)를 기울임으로써, 커서 또는 아바타도 3-d 가상 환경에서 그와 똑같이 이동할 수 있다. 이에 더하여, 사용자가 3-d 가상 환경을 통해 이동할 때, 사용자의 위치에 대한 2-d 맵이 디스플레이(128-1; 도 1 참조) 상에 디스플레이될 수 있고, 이 맵은 사용자가 이동함에 따라서 스크롤할 수 있다.
일부 구현예에서, 3-d 가상 환경은 휴대용 전자 디바이스(114-1)를 조작하거나 또는 이동시킴으로써 전송될 수 있는 몸짓 명령어의 세트에 응답한다. 예를 들어, 일련의 빠른 수평 휘두름(swipe)은 움직임-검출 모듈(126-1; 도 1 참조)에 의해 현재 선택된 3-d 객체의 삭제로 번역될 수 있다. 이와 유사하게, 뚜껑을 여는 것과 같은 시계 반대 방향의 원 운동은 움직임-검출 모듈(126-1; 도 1 참조)에 의해 "그룹 해제" 동작으로 번역되어, 현재 객체를 그것의 구성요소 부분 또는 조각으로 분리한다. 이러한 동작이 수행되는 동안, 디스플레이(128-1)는 사용자와 관련있는 정보를 디스플레이하기 위해 사용될 수 있고, 이로써 다른 사용을 위한 디스플레이(130) 상의 공간을 확보할 수 있게 된다.
시스템(100; 도 1 참조)의 다른 애플리케이션은 협력적 편집에 있다. 만약 복수의 사용자가 디스플레이(130) 상의 3-d 객체를 동시에 편집하려고 시도하면, 동시에 디스플레이되는 매우 많은 수의 팝업 메뉴, 툴바 등이 있을 수 있다. 혼란스러워지고, 관심 객체의 패색(occlusion) 가능성이 있어서, 사용자들이 함께 작업하는 것이 어려워질 수 있다. 그러나, 이러한 메뉴 및 툴 바를 각자 사용자의 휴대용 전자 디바이스 상에 이동시킴으로써, 사용자가 그들의 휴대용 전자 디바이스(114) 상에 그들의 현재 편집 작업과 관련되는 정보의 서브셋을 제공받는 동안, 디스플레이(130)는 3-d 가상 환경에서 모든 3-d 객체와 그들의 배치에 대해 깔끔한 디스플레이를 제공할 수 있다.
따라서, 시스템(100; 도 1 참조)은 문서, 온라인 백과사전, 온라인 사용자 메뉴얼(예를 들어, "상호 작용" 설명서), 원격 유지 보수, 원격 훈련 및/또는 원격 수술에 대한 편집과 같은 3-d 가상 환경에서 사용자에 의한 정보의 협력적 편집을 용이하게 할 수 있다. 일부 실시형태에서, 협력적 편집은 3-d 객체 및 연관된 텍스트 정보를 포함한다. 이 3-d 객체는 특정 3-d 객체의 구성요소 간 공간 이미지 정보, 및 연관된 텍스트 정보와 그 공간 이미지 정보 간의 하나 이상의 양방향 링크를 포함할 수 있다.
다른 실시형태에서는, 사용자가 아바타를 제어할 때, "사회적 명령(social command)"이 디스플레이(130) 및/또는 하나 이상의 디스플레이(128)에 디스플레이된다. 따라서, 번거로울 수 있는, 이모트를 키보드로 타이핑(예를 들어, '/smile')하여 사용하는 것 대신에, 사용자는 터치 스크린 또는 스크롤 휠을 사용하여 명령어들을 클릭함으로써, 또는 휴대용 전자 디바이스(114-1)를 이동함으로써 하나 이상의 사회적 명령어를 활성화시킬 수 있다. 또한, 디스플레이(128-1) 상의 "조종(puppeteering)" 명령어는 배경에 민감(context-sensitive)할 수 있어서, 가장 적절한 동작이 현재 또는 추론된 사용자 작업에 기초하여 디스플레이될 수 있다(예를 들어, 이모트 리스트는 사용자가 사회적 상호 작용 중일 때 디스플레이될 수 있고, 툴 리스트는 사용자가 객체를 선택할 때 디스플레이될 수 있음). 따라서, 시스템(100; 도 1 참조)는 3-d 가상 환경에서 사용자의 협력적 상호 작용을 용이하게 할 수 있다.
이어, 프로세스(200; 도 2 참조)를 수행하는 컴퓨터 시스템(도 1의 시스템(100)에 포함될 수 있음)의 실시형태를 설명한다. 도 4는 콘트롤러 디바이스(110; 도 1 참조) 및/또는 휴대용 전자 디바이스들(114; 도 1 참조) 중 특정한 하나와 같은, 컴퓨터 시스템(400)을 예시하는 블록도를 제시한다. 컴퓨터 시스템(400)은 하나 이상의 움직임 센서(408), 하나 이상의 프로세서(410), 통신 인터페이스(412), 사용자 인터페이스(414), 및 이러한 구성요소들을 서로 접속시키는 하나 이상의 신호 라인(422)을 포함한다. 하나 이상의 프로세서(410)가 병렬 처리 및/또는 다중-쓰레드(multi-threaded) 동작을 지원할 수 있고, 통신 인터페이스(412)는 영구 통신 연결을 가질 수 있고, 하나 이상의 신호 라인(422)은 통신 버스를 구성할 수 있다는 것에 주의한다. 또한, 사용자 인터페이스(414)는 디스플레이(416), 키보드(418), 및/또는 마우스와 같은 포인터(420)를 포함할 수 있다.
컴퓨터 시스템(400) 내 메모리(424)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 더욱 자세하게, 메모리(424)는 ROM, RAM, EPROM, EEPROM, 플래쉬, 하나 이상의 스마트 카드, 하나 이상의 자기 디스크 저장 디바이스, 및/또는 하나 이상의 광학 저장 디바이스를 포함할 수 있다. 메모리(424)는 하드웨어-종속 작업을 수행하는 다양한 기본 시스템 서비스를 처리하는 프로시저(또는 명령어 세트)를 포함하는 운영 체제(426)를 저장할 수 있다. 일부 실시형태에서, 운영 체제(426)는 실시간 운영 체제이다. 도 4에는 도시되지 않았지만, 일부 실시형태에서, 메모리(424)는 웹 브라우저를 포함한다. 또한, 메모리(424)는 통신 프로시저(또는 명령어 세트)를 통신 모듈(428)에 저장할 수도 있다. 통신 프로시저는 컴퓨터 시스템(400)에 관련되어 원거리에 위치된 컴퓨터, 디바이스, 및/또는 서버들을 포함하는 하나 이상의 컴퓨터, 디바이스, 및/또는 서버들과의 통신을 위해 사용될 수 있다.
또한, 메모리(424)는 3-d 환경 모듈(118; 또는 명령어 세트) 및 소프트웨어 애플리케이션 툴(430; 또는 명령어 세트)을 포함하는 복수의 프로그램 모듈(또는 명령어 세트)을 포함할 수 있다. 이에 더하여, 소프트웨어 애플리케이션 툴(430)은 3-d 디스플레이 모듈(432; 또는 명령어 세트), 움직임-검출 모듈(434; 또는 명령어 세트), 및/또는 촉각-모니터링 모듈(436; 또는 명령어 세트)을 포함할 수 있다. 하나 이상의 이러한 프로그램 모듈(또는 명령어 세트)은 컴퓨터-프로그램 메커니즘을 구성할 수 있다.
상술한 바와 같이, 3-d 가상 환경 모듈(118)은 환경 정보(120)에 액세스 할 수 있고, 디스플레이(130)에 디스플레이되는 3-d 가상 환경을 생성할 수 있다. 또한, 휴대용 전자 디바이스(114; 도 1 참조) 상의 소프트웨어-애플리케이션 툴(430)의 사용자는, 자신의 휴대용 전자 디바이스를 통해 하나 이상의 문서(442) 또는 객체/아바타(444)를 조작 또는 제어할 수 있다. 특히, 하나 이상의 움직임 센서(408; 및 연관된 하드웨어 콘트롤러)는 특정 휴대용 전자 디바이스의 움직임을 검출할 수 있다. 이어, 움직임-검출 모듈(434)은 검출된 움직임을 해석할 수 있다. 대안적 또는 선택적으로, 촉각-모니터링 모듈(436)은 터치-감지 디스플레이와 같은 디스플레이(416)와의 사용자 상호 작용을 해석할 수 있다. 통신 모듈(428)을 사용하여, 이러한 모듈은 객체/아바타 A(440-1)와 객체/아바타 B(440-2)를 위한 배경-종속 정보와 같은 연관된 배경-종속 정보(438) 뿐만 아니라, 3-d 가상 환경에서 정보의 서브셋에 대한 요청을 전송할 수 있다.
이 요청에 응답하여, 3-d 가상 환경 모듈(118)은, 통신 모듈(428)을 사용하여, 정보의 서브셋 및 연관된 배경-종속 정보(438)로 구성된 명령어 또는 신호를 제공할 수 있다. 3-d 디스플레이 모듈(432)은 디스플레이(416) 상에 정보의 서브셋 및 연관된 배경-종속 정보(438)를 디스플레이할 수 있다. 다음으로, 사용자는 디스플레이(130) 상에서 공통 콘텐츠를 보면서, 그 콘텐츠를 조작, 제어, 및/또는 변경할 수 있다. 3-d 가상 환경 모듈(118)이, 사용자에 의한 향후 사용을 위해서, 임의의 수정 또는 변화에 대한 기록(특정 휴대용 전자 디바이스의 소프트웨어 애플리케이션 툴(430)은 통신 모듈(428)을 사용하여 이 기록을 3-d 가상 환경 모듈(118)에 전송함)을 환경 정보(120)에 유지 보수할 수 있음에 주의한다.
일부 구현예에서, 특정 휴대용 전자 디바이스는 통신 모듈(428)을 사용하여 하나 이상의 식별자(446)를 초기에 제공한다. 하나 이상의 식별자(446)에 기초하여, 3-d 가상 환경 모듈(118)은 특정 휴대용 전자 디바이스의 사용자를 시스템에 로그시킬 수 있고, 초기의 미리 정의된 정보의 셋 및 연관된 배경-종속 정보(438)를 특정 휴대용 전자 디바이스에 통신 모듈(428)을 사용하여 제공할 수 있다. 이에 더하여, 일부 실시형태에서, 3-d 가상 환경 모듈(118)은 특정 휴대용 전자 디바이스의 사용자에게 사용자 인터페이스(414) 내 구성요소를 진동시키는 명령어와 같은 피드백을 통신 모듈(428)을 사용하여 제공할 수 있다. 예를 들어, 두 사용자 각자의 휴대용 전자 디바이스 상에 있는 정보의 셋에 연관된 두 사용자의 행동 간에 충돌이 발생하는 경우에, 구성요소는 진동하도록 지시될 수 있다.
메모리(424) 내 다양한 모듈에서의 명령어는 고차원 절차적 언어, 객체 지향적 프로그래밍 언어, 및/또는 어샘블리 또는 기계 언어로 구현될 수 있다. 이 프로그래밍 언어는 하나 이상의 프로세싱 유닛(410)에 의해 실행되기 위해서, 컴파일 또는 번역(즉, 구성가능하거나 구성됨)될 수 있다.
컴퓨터 시스템(400)이 복수의 별개 아이템을 갖는 것으로 예시되었지만, 도 4는 본 명세서에서 설명된 실시형태의 구조적 도식보다는 컴퓨터 시스템(400) 내 존재할 수 있는 다양한 기능의 기능적 설명이 되도록 의도되었다. 실제로, 당업계의 종사자들에게 알려진 것처럼, 컴퓨터 시스템(400)의 기능은, 그 기능의 특정 서브셋을 수행하는 디바이스 또는 컴퓨터 그룹으로, 다수의 디바이스 또는 컴퓨터에 분산될 수 있다. 일부 구현예에서, 컴퓨터 시스템(400)의 일부 또는 모든 기능은 하나 이상의 ASIC(Application-Specific Integrated Circuit) 및/또는 하나 이상의 디지털 신호 처리기(Digital Signal Prosessor; DSP)로 구현될 수 있다.
컴퓨터 시스템(400)의 컴퓨터와 서버는 컴퓨터-판독가능 데이터를 조작할 수 있거나 또는 그러한 데이터를 2개 이상의 컴퓨팅 시스템 간에 네트워크를 통해 통신할 수 있는 다양한 디바이스 중 하나를 포함할 수 있으며, 개인용 컴퓨터, 랩탑 컴퓨터, 메인 프레임 컴퓨터, 휴대용 전자 디바이스(예를 들어, 셀룰러 전화기 또는 PDA), 서버 및/또는 클라이언트 컴퓨터(클라이언트-서버 구조에서)를 포함한다. 또한, 네트워크(112; 도 2 참조)는 인터넷, 월드 와이드 웹(WWW), 인트라넷, LAN, WAN, MAN, 또는 네트워크들의 조합, 또는 컴퓨팅 시스템 간에 통신을 가능하게 하는 그 밖의 기술을 포함할 수 있다.
일부 구현예에서, 시스템(100; 도 1 참조) 및/또는 컴퓨터 시스템(400)은 더 적은 구성요소를 포함할 수도 있고, 추가 구성요소를 포함할 수도 있다. 또한, 2 이상의 구성요소가 단일 구성요소로 결합될 수 있고, 및/또는 하나 이상의 구성요소의 배치가 변경될 수도 있다. 또한, 시스템(100; 도 1 참조) 및/또는 컴퓨터 시스템(400)의 기능은, 해당 분야에서 알려진 것처럼, 하드웨어로 더 많이 구현되면서 소프트웨어로 더 적게 구현될 수 있고, 하드웨어로 더 적게 구현되면서 소프트웨어로 더 많이 구현될 수도 있다.
다음으로, 컴퓨터 시스템(400)에서 사용될 수 있는 데이터 구조를 설명한다. 도 5는 데이터 구조(500)를 예시하는 블록도를 제시한다. 이 데이터 구조는 배경-종속 정보(510)를 포함할 수 있다. 예를 들어, 배경-종속 정보(510-1)는 구성요소(512-1; 예를 들어, 객체 또는 아바타)용 식별자, 연관된 메뉴(514-1), 및 명령(516-1; 예를 들어, 사회적 명령)을 포함할 수 있다.
일부 실시형태에서, 데이터 구조(500)는 더 적은, 또는 추가 구성요소를 포함한다. 또한, 2 이상의 구성요소가 단일 구성요소로 결합될 수 있고, 및/또는 하나 이상의 구성요소의 배치가 변경될 수 있다.
100 : 시스템
110 : 콘트롤러 디바이스
112 : 네트워크
114(114-1 ~ 114-N): 휴대용 전자 디바이스
116 : 통신 모듈
118 : 3-d 가상 환경 모듈
120 : 환경 정보
122(122-1 ~ 122-N): 소트프웨어 애플리케이션
124(122-1 ~ 124-N) : 3-d 디스플레이 모듈
126(126-1 ~ 126-N) : 움직임-검출 모듈
128(128-1 ~ 128-N) : 디스플레이
129 : 가상 세계 클라이언트
130 : 디스플레이

Claims (4)

  1. 시스템으로서,
    3차원(3-d) 환경에 연관된 정보를 저장하도록 구성된 콘트롤러 디바이스;
    상기 콘트롤러 디바이스에 접속되고, 상기 3-d 환경을 디스플레이하도록 구성된 제 1 디스플레이;
    상기 콘트롤러 디바이스와 정보를 통신하도록 구성된 적어도 하나의 휴대용 전자 디바이스를 구비하고,
    상기 휴대용 전자 디바이스는
    상기 휴대용 전자 디바이스의 움직임을 검출하도록 구성된 3-d 움직임 센서 - 여기서, 상기 휴대용 전자 디바이스의 움직임은 선형 움직임, 회전 움직임, 선형과 회전 움직임, 또는 몸짓을 포함함 -; 및
    상기 검출된 움직임에 기초하여, 3-d 환경의 3-d 랜더링된 서브셋(3-d rendered subset) 및 연관된 배경-종속 정보(associated context-dependent information)를 디스플레이하도록 구성된 제 2 디스플레이를 구비하는 것을 특징으로 하는 시스템.
  2. 청구항 1에 있어서, 사용자들과 연관되는 복수의 휴대용 전자 디바이스를 더 포함하고,
    특정(given) 휴대용 전자 디바이스는 상기 특정 휴대용 전자 디바이스의 검출된 움직에 기초하여, 3-d 환경의 특정 서브셋 및 상기 연관된 배경-종속 정보를 특정 사용자에게 디스플레이하고,
    상기 제 1 디스플레이 상에 디스플레이된 3-d 환경은 상기 사용자들에게 공통인 정보를 포함하는 것을 특징으로 하는 시스템.
  3. 청구항 2에 있어서, 상기 시스템은 상기 3-d 환경에서 사용자들의 협력적 상호 작용(collaborative interaction)을 용이하게 하는 것을 특징으로 하는 시스템.
  4. 청구항 2에 있어서, 상기 콘트롤러 디바이스는, 상기 연관된 휴대용 전자 디바이스들을 통해 제공된 정보에 대한 변화와 연관된 충돌이 3-d 환경에서 발생하면, 상기 연관된 휴대용 전자 디바이스를 통해 적어도 2 이상의 사용자에게 피드백을 제공하는 것을 특징으로 하는 시스템.
KR1020100089509A 2009-09-15 2010-09-13 가상 환경에서 객체와 상호 작용하는 시스템 KR20110030341A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/559,897 US9542010B2 (en) 2009-09-15 2009-09-15 System for interacting with objects in a virtual environment
US12/559,897 2009-09-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170056512A Division KR101817467B1 (ko) 2009-09-15 2017-05-02 가상 환경에서 객체와 상호 작용하는 시스템

Publications (1)

Publication Number Publication Date
KR20110030341A true KR20110030341A (ko) 2011-03-23

Family

ID=43413767

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020100089509A KR20110030341A (ko) 2009-09-15 2010-09-13 가상 환경에서 객체와 상호 작용하는 시스템
KR1020170056512A KR101817467B1 (ko) 2009-09-15 2017-05-02 가상 환경에서 객체와 상호 작용하는 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020170056512A KR101817467B1 (ko) 2009-09-15 2017-05-02 가상 환경에서 객체와 상호 작용하는 시스템

Country Status (5)

Country Link
US (1) US9542010B2 (ko)
EP (1) EP2296076A1 (ko)
JP (1) JP2011065644A (ko)
KR (2) KR20110030341A (ko)
CN (1) CN102023706B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101434718B1 (ko) * 2011-10-12 2014-09-25 (주)모션블루 Ｎ-스크린 환경에서 이동 단말을 이용한 체감형 서비스 제공 방법, 장치 및 이를 위한 기록매체

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8532675B1 (en) 2012-06-27 2013-09-10 Blackberry Limited Mobile communication device user interface for manipulation of data items in a physical space
CN102800223B (zh) * 2012-07-19 2014-08-20 中国科学院软件研究所 一种协同实物编程方法
US20140118223A1 (en) * 2012-10-26 2014-05-01 Brigham Young University Graphical view selection system, method, and apparatus
CN107077197B (zh) * 2014-12-19 2020-09-01 惠普发展公司，有限责任合伙企业 3d可视化图
US10116536B2 (en) * 2015-11-18 2018-10-30 Adobe Systems Incorporated Identifying multiple devices belonging to a single user
CA3021079A1 (en) 2016-04-21 2017-10-26 Magic Leap, Inc. Visual aura around field of view
US10289207B1 (en) * 2016-05-03 2019-05-14 Charles Henry Alastair Sainty Methods and systems for hands free control in a virtual world
US10192363B2 (en) 2016-08-28 2019-01-29 Microsoft Technology Licensing, Llc Math operations in mixed or virtual reality
US20180158243A1 (en) * 2016-12-02 2018-06-07 Google Inc. Collaborative manipulation of objects in virtual reality
US10817066B2 (en) * 2016-12-05 2020-10-27 Google Llc Information privacy in virtual reality
CN106933368B (zh) * 2017-03-29 2019-12-24 联想(北京)有限公司 一种信息处理方法以及装置
CN106873783A (zh) * 2017-03-29 2017-06-20 联想(北京)有限公司 信息处理方法、电子设备及输入装置
CN107168530A (zh) * 2017-04-26 2017-09-15 腾讯科技（深圳）有限公司 虚拟场景中的对象处理方法和装置
WO2018196552A1 (zh) 2017-04-25 2018-11-01 腾讯科技（深圳）有限公司 用于虚拟现实场景中的手型显示方法及装置
US10191566B1 (en) * 2017-07-05 2019-01-29 Sony Interactive Entertainment Inc. Interactive input controls in a simulated three-dimensional (3D) environment
CN112424736A (zh) * 2018-07-19 2021-02-26 索美智能有限公司 机器交互
HK1255994A2 (zh) * 2018-07-31 2019-09-06 Shadow Factory Ltd 用於控制計算機模擬環境的系統和方法
US11876630B1 (en) * 2022-07-20 2024-01-16 Katmai Tech Inc. Architecture to control zones

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3391811B2 (ja) 1992-02-27 2003-03-31 トヨタ自動車株式会社 Ｃａｄシステムにおけるチーム形式のデータ処理方法およびｃａｄシステム
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
JP3338673B2 (ja) * 1999-09-07 2002-10-28 株式会社マルチターム ３次元仮想空間共有マルチユーザーシステム
SE523636C2 (sv) 2001-07-22 2004-05-04 Tomer Shalit Ab Portabelt datoriserat handhållet organ och förfarande för hantering av ett på en skärm visat objekt
JP2005513597A (ja) 2001-12-10 2005-05-12 メンター・グラフィクス・コーポレーション 並列的電子設計オートメーション：同時共有編集
JP4220943B2 (ja) 2004-07-15 2009-02-04 ソフトバンクモバイル株式会社 電子機器
US7138979B2 (en) * 2004-08-27 2006-11-21 Motorola, Inc. Device orientation based input signal generation
NO20044073D0 (no) 2004-09-27 2004-09-27 Isak Engquist Informasjonsbehandlingssystem og fremgangsmate
WO2007095251A2 (en) * 2006-02-13 2007-08-23 Gemini Technologies Global Ltd. Locating device and system
US20070233759A1 (en) * 2006-03-28 2007-10-04 The Regents Of The University Of California Platform for seamless multi-device interactive digital content
CN101055494B (zh) * 2006-04-13 2011-03-16 上海虚拟谷数码科技有限公司 基于空间索引立方体全景视频的虚拟场景漫游方法及其系统
US20080076559A1 (en) * 2006-04-27 2008-03-27 Darren Richardson Detachable controller for handheld electronic device
US7848388B2 (en) * 2006-08-08 2010-12-07 Sony Ericsson Mobile Communications Ab Minimizing estimation time for rake fingers with help of a speed sensor
US20080215975A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world user opinion & response monitoring
WO2008106197A1 (en) * 2007-03-01 2008-09-04 Sony Computer Entertainment America Inc. Interactive user controlled avatar animations
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
EP2132650A4 (en) * 2007-03-01 2010-10-27 Sony Comp Entertainment Us SYSTEM AND METHOD FOR COMMUNICATING WITH A VIRTUAL WORLD
KR101008361B1 (ko) 2007-09-06 2011-01-14 (주)마이크로인피니티 조절 장치 및 방법
US7949633B1 (en) * 2008-05-12 2011-05-24 Adobe Systems Incorporated Shared edit access of electronic content
US20090309846A1 (en) * 2008-06-11 2009-12-17 Marc Trachtenberg Surface computing collaboration system, method and apparatus
US20100037151A1 (en) * 2008-08-08 2010-02-11 Ginger Ackerman Multi-media conferencing system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101434718B1 (ko) * 2011-10-12 2014-09-25 (주)모션블루 Ｎ-스크린 환경에서 이동 단말을 이용한 체감형 서비스 제공 방법, 장치 및 이를 위한 기록매체

Also Published As

Publication number Publication date
CN102023706B (zh) 2015-05-20
JP2011065644A (ja) 2011-03-31
KR101817467B1 (ko) 2018-01-11
KR20170055019A (ko) 2017-05-18
EP2296076A1 (en) 2011-03-16
US20110063286A1 (en) 2011-03-17
US9542010B2 (en) 2017-01-10
CN102023706A (zh) 2011-04-20

Similar Documents

Publication Publication Date Title
KR101817467B1 (ko) 가상 환경에서 객체와 상호 작용하는 시스템
US10489978B2 (en) System and method for displaying computer-based content in a virtual or augmented environment
JP5793426B2 (ja) グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法
US10198854B2 (en) Manipulation of 3-dimensional graphical objects for view in a multi-touch display
CN109643210B (zh) 使用悬停的设备操纵
EP2676178B1 (en) Breath-sensitive digital interface
US20140189506A1 (en) Systems And Methods For Interpreting Physical Interactions With A Graphical User Interface
US20110254792A1 (en) User interface to provide enhanced control of an application program
US20130201113A1 (en) Multi-touch-movement gestures for tablet computing devices
US20060061550A1 (en) Display size emulation system
WO2009127916A2 (en) Touch interface for mobile device
JP6832847B2 (ja) ユーザインタフェースのための対話方法
WO2017156112A1 (en) Contextual virtual reality interaction
KR20190059726A (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
US20150100912A1 (en) Portable electronic device and method for controlling the same
CN112106044A (zh) 用于在网络协作工作空间中通过网络套接字连接传输文件的方法，设备和计算机可读介质
US20140075391A1 (en) Display control device, display control system, storing medium, and display method
CN112204512A (zh) 用于在网络化协作工作区中通过web套接字连接进行桌面共享的方法，装置和计算机可读介质
US11531448B1 (en) Hand control interfaces and methods in virtual reality environments
Ganz et al. Design: How We Attempted to Attract Users in Optics, Haptics, and Ease of Utilization
Nishimoto Multi-User Interface for Scalable Resolution Touch Walls

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent