KR20170052635A

KR20170052635A - 입체 공간의 물리적 상호작용 표현

Info

Publication number: KR20170052635A
Application number: KR1020177009310A
Authority: KR
Inventors: 니콜 아귀레; 리차드 바라자; 저스틴 코아테스; 마르크 굿너; 아브람 잭슨; 마이클 메갈리
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2014-09-07
Filing date: 2015-09-04
Publication date: 2017-05-12
Also published as: EP3195596A2; WO2016037020A3; WO2016037020A2; CN106687914A; US20160070356A1; JP2017536715A

Abstract

"PiMovs 시스템"은 "입체 공간의 물리적 상호작용 표현"(즉, PiMovs)을 제공한다. 기하학적 프레임워크의 둘레부는 연접된 디스플레이 표면들로 둘러싸여 둘레부의 각 섹션은 인접한 디스플레이 표면들로 덮혀진다. 추가적인 연접된 디스플레이 표면들이 프레임워크의 최상부 및/또는 바닥부 표면들을 덮을 수 있고, 이들 디스플레이 표면들의 일부 가장자리들은 또한 둘레부 상의 디스플레이 표면들의 인접한 가장자리들을 가질 수 있다. 센서는 프레임워크 주위의 미리 결정된 구역 내에서 사용자의 위치 및 내추럴 사용자 인터페이스(NUI) 입력을 추적한다. 연접식 입체 투영체가 생성되어, 각 인접한 디스플레이 표면의 각 가장자리에 걸쳐 끊김없는 랩핑(seamless wrapping)으로서 디스플레이 표면들을 통해 프레임워크 위에 디스플레이된다. 그 후, 이 입체 투영체는 추적된 사용자 위치 및 NUI 입력에 자동으로 적응된다.

Description

입체 공간의 물리적 상호작용 표현{PHYSICALLY INTERACTIVE MANIFESTATION OF A VOLUMETRIC SPACE}

본 발명은 입체 공간의 물리적 상호작용 표현에 관한 것이다.

스테레오 사진촬영은 시뮬레이션된 3D 이미지를 캡처하기 위해 두 개 이상의 렌즈가 있는 카메라(또는 이미지 캡처 간에 이동하는 단일 카메라)를 사용하여 인간의 양안시(binocular vision)를 시뮬레이션한다. 결과적인 스테레오 이미지는 3D 안경 등과 함께 사용되어 사용자에게 이미지의 3D 뷰를 제공할 수 있다. 관련 작업에서, 입체 디스플레이(volumetric display)는 특수 장비를 사용하여 사용자에게 3D 객체 또는 모델의 3D 시각적 표현을 제공한다.

이와는 대비되어, 파노라마 사진촬영은 특수 장비 또는 소프트웨어를 사용하여 360도까지를 커버할 수 있는 길어진 시야를 갖는 이미지를 캡처한다. 이러한 파노라마는 방 또는 공간의 실내 또는 벽을 커버하여 사용자가 해당 방 또는 공간 내부에서 마치 사용자 자신이 파노라마의 장면 내부에 있는 것처럼 파노라마를 볼 수 있게 하는 곡면 스크린 상에 또는 다중 스크린 또는 디스플레이 상에 투영될 수 있다.

본 요약은 아래의 상세한 설명에서 보다 상세하게 설명되는 개념들의 선택을 단순한 형태로 소개하기 위해 제공된 것이다. 본 요약은 청구된 발명내용의 중요한 특징들 또는 필수적인 특징들을 식별시키려는 의도는 없으며, 또한 청구된 발명내용의 범위를 결정하는데 도움을 주려고 의도된 것도 아니다. 또한, 종래기술의 특정 단점이 본 명세서에서 언급되거나 논의될 수 있지만, 청구된 발명내용은 종래기술의 단점 모두 또는 그 일부를 해결하거나 처리할 수 있는 구현예에 국한되는 것으로 의도된 것은 아니다.

일반적으로, 본 명세서에서 설명되는 "PiMovs 시스템"은 입체 공간의 물리적 상호작용 표현(즉, "PiMovs(physically interactive manifestation of a volumetric space)")을 구현하기 위한 다양한 기술들을 제공한다. 이 상호작용 입체 투영체는 여러 사용자들이 기하학적 프레임워크를 덮거나 또는 이를 포함하는 연접된(contiguous) 디스플레이 표면들 상에 렌더링된 2D 및/또는 3D 콘텐츠를 보고 상호작용할 수 있게 해준다.

보다 구체적으로, PiMovs 시스템은 기하학적 프레임워크의 바깥 둘레부(outer perimeter) 주위에 연접 배열로 위치된 복수의 디스플레이 표면들을 포함하는 상호작용 입체 디스플레이를 제공한다. 또한, 하나 이상의 추가적인 디스플레이 표면들은 기하학적 프레임워크의 최상면 및/또는 바닥면을 덮도록 선택적으로 위치될 수 있다. 달리 말하면, 기하학적 프레임워크의 적어도 바깥 둘레부와, 선택적으로 최상면 및/또는 바닥면은 연접된 인접한(adjacent) 디스플레이 표면들로 덮여있다. PiMovs 시스템은 기하학적 프레임워크 외부의 사용자들이 볼 수 있는 연접식 체적 투영체를 디스플레이 표면들 상에서 함께 생성하는 하나 이상의 컴퓨팅 디바이스들을 사용한다. 이 입체 투영체는 각각의 인접한 디스플레이 표면의 각각의 가장자리에 걸쳐 연속되는 연접식 입체 투영체의 끊김없는 랩핑(seamless wrapping)을 나타낸다.

다양한 구현들에서, 이 입체 투영체는 기하학적 프레임워크의 둘레부를 덮는(또는 이 둘레부를 형성하는) 단일 곡선형 또는 플렉시블 360도 디스플레이의 표면에 걸친 연접식 입체 투영체의 끊김없는 랩핑을 나타낸다는 것을 또한 유념해 둔다. 결과적으로, 설명의 목적 상, 아래의 논의에서는, 기하학적 프레임워크를 포함하거나 또는 이를 덮는 다수의 인접한 디스플레이들 및 기하학적 프레임워크의 둘레부를 포함하거나 또는 이를 덮는 단일 곡선형 또는 플렉시블 360도 디스플레이를 비롯하여, 이 두 경우 모두를 언급하는 것으로서 정의된 "연접된 디스플레이 표면"의 어구를 종종 사용할 것이다.

다양한 상호작용 시나리오 및 능력을 가능하게 하기 위해, PiMovs 시스템은 하나 이상의 카메라 또는 기타 위치 감지 디바이스 또는 기술을 사용하여 기하학적 프레임워크 외부 주위의 미리 결정된 반경 내에 있는 한 명 이상의 사람들의 위치를 추적한다. 그런 후, PiMovs 시스템은 기하학적 프레임워크 외부 주위의 사람들의 추적된 위치에 실시간으로 연접식 입체 투영체를 자동으로 적응시킨다. 이것은 연접식 입체 투영체 내의 객체로 하여금, 사람들이 기하학적 프레임워크 외부 주변에서 이동할 때 이러한 사람들에 대해 기하학적 프레임워크 내의 공간에서 일관된 위치를 차지하는 것으로 나타나게 한다. 임의의 인접한 스크린 가장자리들 또는 디스플레이 표면들을 가로질러 천이할 때를 비롯하여, 사물 또는 객체의 이미지 또는 비디오가 연접된 디스플레이 표면 주위에서 이동하거나 천이할 때, 해당 천이도 또한 끊김이 없다는 것을 또한 유념한다.

상기 요약을 고려하면, 본 명세서에서 설명되는 PiMovs 시스템은 기하학적 프레임워크의 외면을 덮는 연접된 디스플레이 표면들을 사용하여 입체 공간의 물리적 상호작용 표현을 구현하기 위한 다양한 기술을 제공한다. 방금 설명한 이점들에 더하여, PiMovs 시스템의 다른 장점들이 첨부 도면과 함께 취합될 때 이하의 상세한 설명으로부터 명백해질 것이다.

청구된 발명내용의 특정 특징들, 양태들, 및 장점들은 아래의 설명, 첨부된 청구범위, 및 첨부 도면과 관련하여 보다 잘 이해될 것이다.
도 1은 본 명세서에서 설명되는, "PiMovs 시스템"의 기하학적 프레임워크 상에 배열된 디스플레이 표면들을 덮는 연접식 입체 투영체를 바라보는 다수의 사용자들을 보여주는 예시적인 도면을 제공한다.
도 2는 본 명세서에서 설명되는, 기하학적 프레임워크의 외면을 덮는 연접된 디스플레이 표면들을 사용하여 입체 공간의 물리적 상호작용 표현을 구현하기 위한 "PiMovs 시스템"의 예시적인 아키텍처 흐름도를 도시한다.
도 3은 본 명세서에서 설명되는 컴퓨팅, 디스플레이, 및 내추럴 사용자 인터페이스(natural user interface; NUI) 하드웨어를 보여주는 PiMovs 시스템의 예시적인 하드웨어 레이아웃을 나타내는 예시적인 아키텍처 흐름도를 제공한다.
도 4는 본 명세서에서 설명되는, 컴퓨팅 디바이스들과 추적 및 NUI 센서들이 명료화를 위해 생략되어 있는 예시적인 단일 입방체 형상 PiMovs 유닛의 부분 내부도를 제공한다.
도 5는 본 명세서에서 설명되는, 예시적인 컴퓨팅, 투영, 및 NUI 하드웨어를 보여주는, 비정형 둘레 형상을 갖는 예시적인 단일 PiMovs 유닛의 평면도를 제공한다.
도 6은 본 명세서에서 설명되는, PiMovs 유닛의 둘레부 주위의 소정의 최소 거리에 있는 고정되거나 또는 조정가능한 상호작용 구역을 보여주는 단일 PiMovs 유닛의 평면도를 제공한다.
도 7은 본 명세서에서 설명되는, 임의의 위치들로부터 통신하는 개별 PiMovs 유닛들과 상호작용하는 다수의 사용자들을 보여주는 예시적인 PiMovs 생태계의 예시를 제공한다.
도 8은 본 명세서에서 설명되는, PiMovs 시스템에 의해 인에이블된 예시적인 디지털 아트 애플리케이션과 상호작용하는 다수의 사용자들을 보여주는 예시를 제공한다.
도 9는 본 명세서에서 설명되는, PiMovs 시스템에 의해 인에이블된 예시적인 디지털 아트 애플리케이션과 상호작용하는 다수의 사용자들을 보여주는 예시를 제공한다.
도 10은 본 명세서에서 설명되는, PiMovs 시스템에 의해 인에이블된 예시적인 통신 애플리케이션을 통해 상이한 PiMovs 유닛의 다른 사용자와 연락을 시도하는 로컬 PiMovs 유닛의 사용자를 보여주는 예시를 제공한다.
도 11은 본 명세서에서 설명되는, PiMovs 시스템에 의해 인에이블된 예시적인 통신 애플리케이션을 통해 원격 PiMovs 유닛의 사용자와 통신하는 로컬 PiMovs 유닛의 사용자를 보여주는 예시를 제공한다.
도 12는 본 명세서에서 설명되는, PiMovs 시스템에 의해 인에이블된 예시적인 위치 선택 애플리케이션의 예시를 제공한다.
도 13은 본 명세서에서 설명되는, PiMovs 시스템의 다양한 구현들을 실시하기 위한 예시적인 하드웨어 및 방법을 예시하는 일반적인 동작 흐름도를 나타낸다.
도 14는 본 명세서에서 설명되는, PiMovs 시스템의 다양한 구현들을 실시하는데 사용하기 위한 단순화된 컴퓨팅 및 I/O 능력들을 갖는 단순화된 범용 컴퓨팅 디바이스를 도시하는 일반적인 시스템도이다.

청구된 발명내용의 다양한 구현들의 아래의 설명에서는, 본 발명내용의 일부를 형성하는 첨부 도면들을 참조하며, 이 도면들에서는 청구된 발명내용이 실시될 수 있는 특정 구현들이 실례로서 도시되어 있다. 본 청구된 발명내용의 범위를 벗어나지 않고서 다른 구현들이 이용될 수 있고 구조적 변경이 취해질 수 있음을 이해해야 한다.

1.0 서론:

일반적으로, 본 명세서에서 설명되는 "PiMovs 시스템"은 입체 공간의 물리적 상호작용 표현(즉, "PiMovs")을 구현하기 위한 다양한 기술들을 제공한다. 여러 개의 PiMovs 시스템들이 상호작용하고 통신할 수 있으므로, 개별 PiMovs 시스템을 논의 목적 상, 종종 "PiMovs 유닛"이라고 부를 것임을 유념해둔다.

다양한 구현들에서, PiMovs 시스템은 기하학적 프레임워크의 외면을 덮기 위해 복수의 디스플레이 표면들(예를 들어, 모니터, 투영면, 또는 다른 디스플레이 디바이스들)을 배열함으로써 구현된다. 기하학적 프레임워크는 비제한적인 예시로서, 측벽 섹션들, 및 선택적으로 최상부 섹션과 바닥부 섹션 중 하나 또는 이 모두를 구비하여, 임의의 원하는 크기의 360도 기하학적 프레임워크를 형성하는 피라미드형, 입방형, 원형, 비정형 등을 비롯한 임의의 원하는 형상으로 구현된다. 이러한 기하학적 프레임워크의 둘레부는 연접된 디스플레이 표면들로 둘러싸여 둘레부의 각 섹션은 인접한 디스플레이 표면들로 덮혀진다.

그러면, PiMovs 시스템은 기하학적 프레임워크를 포함하거나 또는 이를 둘러싸는 연접된 디스플레이 표면을 통해 기하학적 프레임워크 상에 연접식 입체 투영체를 생성하고 디스플레이한다. 보다 구체적으로, 입체 투영체는, 기하학적 프레임워크의 둘레부를 덮거나 또는 이를 포함하는 단일 디스플레이의 연접된 표면(및 이 표면에 존재할 수 있는 모든 이음선), 또는 각각의 인접한 디스플레이 표면의 각각의 경계 가장자리를 끊김없이 둘러싸는 것으로서 렌더링된다는 점에서 연접식이다. 달리 말하면, 연접식 입체 투영체는 기하학적 프레임워크의 측면들 및 선택적으로, 최상부 및/또는 바닥부의 모든 인접한 가장자리들을 끊김없이 둘러싼다. 그 결과는 기하학적 프레임워크의 측벽을 형성하는 연접된 디스플레이 표면 주위에서의 연접식 입체 투영체의 360도 끊김없는 랩핑이며, 이는 또한 기하학적 프레임워크의 선택적 최상부 및/또는 바닥부를 가로지르고 커버하는 모든 측면으로부터의 동일한 입체 투영체의 끊김없는 랩핑을 선택적으로 포함한다.

이러한 랩핑은 입체 투영체가 인접한 디스플레이 가장자리들에 걸쳐 연속적이라는 점에서 끊김없는 것으로 간주됨을 유념해 둔다. 이와 같이, 디스플레이 표면들이 투영 또는 디스플레이 능력들을 제한시키는 가장자리 베젤 또는 다른 경계부를 포함하는 경우들에서는, 그렇지 않은 연접식 입체 투영체에서의 이들 디스플레이 표면들의 대응하는 가시적 라인들 또는 가장자리들이 있을 수 있다. 그러나, 다양한 구현에서, PiMovs 시스템은 베젤이나 프레임이 없는 디스플레이를 사용하거나, 또는 베젤이나 프레임이 없는 투영 디스플레이 표면들을 사용하여, 각각의 디스플레이 표면의 인접한 가장자리들이 시각적으로 끊김없는 경계부들과 연결된다.

또한, 그런 후, 프레임워크 주위의 미리 결정된 반경 내의 사람들의 위치 및 내추럴 사용자 인터페이스(NUI) 입력을 추적하기 위해 기하학적 프레임워크의 외면 상의 하나 이상의 영역들을 모니터링하는 센서들이 사용된다. NUI 입력에는, 비제한적인 예시로서, 음성 입력, 제스처 기반 입력(공기 및 접촉 기반 제스처 또는 그 조합 모두를 포함), 다양한 표면들, 객체 또는 다른 사용자들에 대한 사용자 터치, 호버링 기반 입력 또는 동작 등이 포함된다. 또한, 다양한 구현에서, 연접된 디스플레이 표면 상에서 디스플레이된 크리처, 사람, 디지털 아바타 등의 표현이 기하학적 프레임워크 주위의 미리 결정된 반경 내의 한 명 이상의 사람들을 추적하고/추적하거나 미러링하는 움직임, 모션, 또는 제스처를 수행할 수 있도록, 추적 및/또는 제스처 기반 입력은 사용자 모션 또는 제스처의 미러링을 포함할 수 있다.

다양한 구현에서, 그런 후 PiMovs 시스템은 하나 이상의 사용자들의 추적된 위치들 및/또는 하나 이상의 NUI 입력들에 응답하여 연접식 입체 투영체를 동적으로 적응시킨다. 예를 들어, 다양한 구현에서, 이러한 동적 적응은, 비제한적인 예시로서, 추적된 위치 및/또는 임의의 하나 이상의 NUI 입력들에 대해 입체 투영체를 적응시키는 것을 비롯한 능력들을 제공한다. 이러한 동적 적응의 한 예는, 다양한 구현에서, 추적된 사람들이 기하학적 프레임워크의 바깥 주변에서 움직일 때 투영체 내의 객체들이 이러한 추적된 사람에 대해 프레임워크 내의 공간에서 일관된 위치를 차지하는 것으로 나타나게 하는 방식으로 입체 투영체가 자동적으로 실시간 적응된다는 것이다.

유리하게도, 다수의 PiMovs 시스템들은 유선 또는 무선 네트워크 또는 다른 통신 링크를 통해 상호작용할 수 있다. 이러한 상호작용은, 상호작용하는 PiMovs 시스템들 중 임의의 하나 이상의 PiMovs 시스템 상의 연접식 입체 투영체들과 연관된 특정 애플리케이션 및/또는 콘텐츠에 따라 실시간적일 수 있거나 또는 지연될 수 있다. 그 결과로서, 어떤 곳에서 어느 PiMovs 시스템과 상호작용하는 사용자들은 다른 PiMovs 시스템들, 또는 다른 PiMovs 시스템들의 다른 사용자들과 상호작용할 수 있다. 그런 후, 이들 상호작용하는 PiMovs 시스템들 중 임의의 하나 이상의 PiMovs 시스템의 임의의 섹션 상에 디스플레이된 연접식 입체 투영체들 중 적어도 일부는 사용자 NUI 입력, 사용자 추적, 및 PiMovs 시스템 상호작용의 모든 조합 간의 상호작용에 동적으로 적응할 수 있다. 그러한 구현의 결과적인 기술적 효과에는, 비제한적인 예시로서, 개선된 사용자 상호작용 효율성 및 증가된 사용자 상호작용 성능을 제공하는 것이 포함된다.

유리하게도, 다양한 구현에서, 이러한 능력들은 PiMovs 시스템이 전세계에 걸친 지역 사회(및/또는 궤도 또는 다른 우주 기반 위치)에 의해 연결된 일상적 환경에 배치된 끊김없는 이미지의 영상을 제공하게 해준다. 결과적으로, PiMovs 시스템은 광범위한 상호작용 및 통신 능력들을 가능하게 한다. 예를 들어, PiMovs 시스템은, 다양한 구현에서, 임의의 곳에 배치될 수 있기 때문에, PiMovs 시스템은 큐레이션을 위한 상호작용 캔버스(예컨대, 미술품의 입체 디스플레이, 야외 이벤트, 박물관, 국제 우주 정거장 등과 같은 3D 위치에 대한 입체 포털)를 제공한다. 유리하게도, 이러한 능력들에 의해 가능해진 사용자 경험은 기술, 예술, 교육, 엔터테인먼트, 및 디자인의 새로운 조합들 간의 가교를 열어둔다. 그러한 구현의 결과적인 기술적 효과에는, 비제한적인 예시로서, 개선된 사용자 상호작용 효율성 및 증가된 사용자 상호작용 성능을 제공하는 것이 포함된다.

또한, PiMovs 시스템의 각각의 사용자, 또는 PiMovs 시스템의 비 사용자 뷰어들의 상호작용 경험은 연접식 입체 투영체의 콘텐츠 및 해당 콘텐츠와 관련된 임의의 특정 사용자 상호작용 또는 모션에 따라 상황적으로 다를 수 있다. 결론적으로, PiMovs 시스템은 교육, 업무 관련의 공공적 또는 개인적 이벤트들, 엔터테인먼트, 게임, 커뮤니케이션 등인 교류를 통해 사람과 장소를 연결하는 공공적(또는 개인) 객체를 제공한다. 그러한 많은 교류에서, 여러 명의 사용자들은 신비적인 지역적 또는 글로벌 경험, 또는 지역적 및 글로벌 경험 모두의 조합인 것으로 나타날 수 있는 방식으로 연접식 입체 투영체를 생성하고, 공유하고, 듣고, 보고, 이와 상호작용할 수 있다. 그러한 구현의 결과적인 기술적 효과에는, 비제한적인 예시로서, 개선된 사용자 상호작용 효율성 및 증가된 사용자 상호작용 성능을 제공하는 것이 포함된다.

1.1 시스템 개요:

위에서 언급한 바와 같이, PiMovs 시스템의 기하학적 프레임워크는 임의의 원하는 형상으로 형성될 수 있다. 그러나, 설명을 위해, 이하의 설명은 일반적으로 디스플레이 표면들에 의해 덮혀진 4개의 측면들 및 최상부를 갖는, 입방체의 형상으로 형성된 기하학적 프레임워크의 버전을 언급할 것이다. 다시 말하지만, PiMovs 시스템의 최상부 및/또는 바닥부 디스플레이 표면들은 선택적 사항임을 이해해야 한다.

예를 들어, PiMovs 시스템의 검증된 구현은 "후면 투영 디스플레이 패널"을 정의하기 위한 플렉시블 후면 투영 재료로 코팅된 투명한 아크릴 패널 또는 기타 반투명 또는 투명 폴리머 또는 유리 재료로 구성된 측벽들과 최상부를 사용하여 입방체 형태로 구성되었다. 하나 이상의 컴퓨팅 디바이스의 제어 하에, 입방체의 다섯면(이 예에서는 입방체의 바닥을 제외함) 각각을 위한 개별적인 프로젝터가 입방체 내부에 배열되어 각각의 아크릴 패널의 후면을 덮는 후면 투영 재료 상에 이미지 및/또는 비디오를 투영하였다. 그러나, 단일 프로젝터를 사용하여 여러면들을 커버하거나, 또는 여러 대의 프로젝터들을 사용하여 단일면들을 커버할 수 있다는 것을 이해해야 한다. 그 후, 이들 투영된 이미지들 및/또는 비디오는 입방체의 외면에서 명확하게 보여질 수 있었다. 또한, 입방체 근처의 여러 사용자들에 대한 추적을 가능케하고 입력들이 수신될 수 있도록 다양한 추적 및 NUI 센서들이 입방체 주변에 배열되었다. 도 1은 그러한 입방체의 외면의 예술적 렌더링을 도시한다. 특히, 도 1은 입방체 PiMovs 시스템(180)의 외면을 형성하는 디스플레이 표면들(130, 140, 150, 160, 170)을 덮는 연접식 입체 투영체(120)를 다수의 사용자들(100, 110)이 보고 있는 것을 보여주는 예시적인 일례를 제공한다.

도 1의 입체 투영체(120)는, 입방체 외면의 디스플레이 표면들(130, 140, 150, 160, 170) 상에 렌더링되지만, 입방체의 내부 상에서 디스플레이되는 예술품으로서 뷰어들(100, 110)에게 나타난다는 것을 유념한다. 이 시각적 인상은 입방체의 각각의 면이 상이한 관점에서 예술품을 디스플레이하기 때문에, 그리고 입체 투영체가 이 예에서 입방체의 전체 둘레와 최상부를 완벽하고 끊김없이 둘러싸기 때문에 유지된다. 결과적으로, 이 예에서 입체 투영체는 사용자가 입방체 외면 주변에서 움직이는 경우에도 입방체 내부의 3D 객체의 렌더링으로서 사용자에게 나타난다.

상기 요약된 프로세스 중 일부는 도 2의 일반적인 시스템도에 의해 예시된다. 특히, 도 2의 시스템도는 본 명세서에서 설명된, PiMovs 시스템의 다양한 구현을 달성하기 위한 다양한 하드웨어 컴포넌트들과 프로그램 모듈들 간의 상호관계를 나타낸다. 또한, 도 2의 시스템도는 PiMovs 시스템의 다양한 구현의 하이레벨 뷰를 나타내지만, 도 2는 본 명세서 전반에 걸쳐 기술된 PiMovs 시스템의 모든 가능한 구현의 망라적이거나 또는 완전한 설명을 제공하도록 의도된 것은 아니다.

또한, 도 2에서 파선 또는 점선으로 나타날 수 있는 임의의 박스들 및 박스들 간의 상호연결은 본 명세서에서 설명된 PiMovs 시스템의 대안적 또는 선택적 구현들을 나타낸다는 점에 유의해야 한다. 또한, 아래에 설명되는 바와 같이, 이러한 대안적 또는 선택적 구현들 중 일부 또는 전부는 본 명세서 전반에 걸쳐 설명되는 다른 대안적 구현들과 조합형태로 사용될 수 있다.

일반적으로, 도 2에 의해 도시된 바와 같이, PiMovs 시스템에 의해 인에이블된 프로세스는 디스플레이 표면들을 둘러싼(또는 이로부터 형성된) 기하학적 프레임워크(200)를 제공하는 동작을 시작한다. 일반적으로, 이러한 기하학적 프레임워크(200)는 360도 기하학적 프레임워크의 둘레부 섹션 및 최상부 및/또는 바닥부 섹션들 주위에 연접식 배열로 배치된 복수의 디스플레이 표면들, 또는 기하학적 프레임워크의 둘레부를 덮거나(또는 이를 형성하는) 단일 곡선형 또는 플렉시블 360도 디스플레이를 포함한다. 그런 후, PiMovs 시스템은 각각의 인접한 디스플레이 표면의 각각의 가장자리를 가로질러 또는 단일 연접식 디스플레이 표면 상에 흐르는 연접식 입체 투영체의 끊김없는 랩핑을 렌더링하고, 디스플레이하고, 및/또는 투영함으로써 디스플레이 표면들 상에 연접식 입체 투영체를 생성하도록 입체 투영 모듈(210)을 사용한다.

추적 모듈(220)은 다양한 위치 감지 디바이스를 사용하여 기하학적 프레임워크 주위의 미리 결정된 반경 내의 한 명 이상의 사람들의 위치를 추적한다. 대안적으로, 또는 조합하여, NUI 입력 모듈(240)은 하나 이상의 사용자들로부터, 하나 이상의 NUI 입력(예를 들어, 음성, 제스처, 얼굴 표정, 터치 등)을 수신하고, 및/또는 선택적으로 하나 이상의 사용자 디바이스(예를 들어, 스마트 폰, 태블릿, 착용식 센서 또는 컴퓨팅 디바이스 등)로부터 입력을 수신한다. 그런 후, 투영 업데이트 모듈(230)은 PiMovs 시스템의 기하학적 프레임워크 외부 주위의 미리 결정된 구역 내의 한 명 이상의 사람들의 추적된 위치 및/또는 NUI 입력에 응답하여 입체 투영체를 동적으로 적응시킨다.

마지막으로, PiMovs 제어 모듈(250)은 PiMovs 시스템과 상호작용하기 위해 디스플레이되거나 사용되는 하나 이상의 애플리케이션 및/또는 사용자 인터페이스 모드를 선택하고/선택하거나 사용자 맞춤화 파라미터 등을 입력하기 위해 사용되는 관리 사용자 인터페이스 등을 제공한다. PiMovs 제어 모듈(250)과의 상호작용은 비제한적인 예시로서, 관리 사용자가 PiMovs 제어 모듈에 원격으로 액세스할 수 있게 하는 유선 또는 무선 통신 시스템을 비롯하여, 임의의 다양한 통신 기술을 사용하여 달성된다. 또한, 다양한 구현에서, PiMovs 제어 모듈(250)은 다시 임의의 희망하는 유선 또는 무선 통신 기술을 통해 PiMovs 유닛들 간의 통신을 가능케하여, 다수의 PiMovs 유닛들이 임의의 PiMovs 유닛의 PiMovs 제어 모듈(250)에 대한 액세스를 통해 제어될 수 있고, PiMovs 유닛 간에 데이터가 공유될 수 있도록 한다.

다양한 구현에서, PiMovs 제어 모듈(250)은 또한 PiMovs 시스템의 다양한 동작 파라미터들에 대한 관리 제어를 제공한다. 이러한 동작 파라미터들의 예에는, 비제한적인 예시로서, 게임, 통신 애플리케이션 등과 같이 애플리케이션이 PiMovs 시스템에 의해 실행되거나 구현되는 것을 포함한다. 다른 예로는, 비제한적인 예시로서, 로컬 또는 원격 액세스를 가능하게 하기, 사용자들로부터의 입력을 추적하거나 수신하기 위해 상호작용 구역 거리를 설정하기, PiMovs 시스템이 상호작용할 최대 사용자 수를 설정하기, 애플리케이션 또는 애플리케이션 파라미터를 선택하기, 연접식 디스플레이 표면 상에 디스플레이될 텍스트 오버레이를 설정 또는 선택하기, 오디오 소스를 설정 또는 조정하기, 테마 선택 또는 정의하기 등을 비롯한 동작 파라미터 및 관리 기능 설정하기를 포함한다.

2.0 PiMovs 시스템의 동작 세부사항:

상술한 프로그램 모듈들은 PiMovs 시스템의 다양한 구현을 구현하기 위해 사용된다. 위에서 요약했듯이, PiMovs 시스템은 기하학적 프레임워크의 외면을 덮는 연접된 디스플레이 표면들을 사용하여 입체 공간의 물리적 상호작용 표현을 구현하기 위한 다양한 기술을 제공한다. 아래의 섹션은 PiMovs 시스템의 다양한 구현의 동작 및 도 1 및 도 2와 관련하여 섹션 1에서 설명된 프로그램 모듈들을 구현하기 위한 예시적인 방법에 대한 상세한 설명을 제공한다. 특히, 아래의 섹션에서는 PiMovs 시스템의 다양한 구현의 예시들 및 그 동작 세부사항을 제공하며, 이는 다음을 포함한다:

PiMovs 시스템의 동작 개요;

PiMovs 시스템의 예시적인 기하학적 프레임워크;

예시적인 PiMovs 추적, 감지, 및 렌더링 디바이스 및 하드웨어;

예시적인 PiMovs 인터페이스 프레임워크 고려사항;

PiMovs 연결성;

입체 투영체; 및

예시적인 PiMovs 기반 애플리케이션 및 상호작용.

2.1 동작 개요:

위에서 언급했듯이, 본 명세서에서 설명된 PiMovs 시스템은 기하학적 프레임워크의 외면을 덮거나 이를 포함하는 연접된 디스플레이 표면들을 사용하여 입체 공간의 물리적 상호작용 표현을 구현하기 위한 다양한 기술을 제공한다. 또한, 상기 요약된 능력들은 복수의 장점들 및 흥미로운 사용법을 제공한다.

예를 들어, PiMovs 시스템의 기하학적 프레임워크의 각각의 측면 또는 섹션은 상호작용적이다. 이 상호작용성은 부분적으로 PiMovs 시스템 주위에 배열된 다수의 추적 및 NUI 센서들 및 입력 디바이스들의 사용을 통해 가능해진다. 이를 통해 PiMovs 시스템은 PiMovs 시스템의 기하학적 프레임워크의 측면 또는 섹션별로 여러 사람들을 동시에 추적하고, 이들로부터 NUI 입력을 수신하는 것을 가능케한다. PiMovs 시스템의 측면 또는 섹션별로 여러 사람과 상호작용하고 이에 응답하는 이러한 능력은 사실상 무제한적인 상호작용 모드가 구현되도록 해준다. 그러한 구현의 결과적인 기술적 효과에는, 비제한적인 예시로서, 개선된 사용자 상호작용 효율성 및 증가된 사용자 상호작용 성능을 제공하는 것이 포함된다.

예를 들어, PiMovs 시스템의 입방체 형상 구현의 네 개의 면들 각각과 상호작용하는 네 명의 사람이 있는 경우, 16개까지의 동시적 그리고 잠재적으로 상이한 상호작용 경험들이 가능할 수 있다. 이 숫자는 로컬 또는 원격 PiMovs 시스템과 상호작용하는 임의의 두 명 이상의 사람들이 상이한 PiMovs 시스템들 간에 다양한 상호작용을 공유하도록 허용함으로써 기하급수적으로 증가한다. 보다 구체적으로, 하나 또는 많은 사람들과 하나의 PiMovs 시스템간 상호작용을 넘어, 하나 이상의 PiMovs 시스템을 통한 한 명 이상의 사람들 간의 임의의 상호작용 조합을 가능하게 하는 PiMov와 PiMovs간 상호작용이 또한 있다. 다양한 구현에서, 사용자들은 스마트 폰, 태블릿, 착용식 컴퓨팅 디바이스, 또는 기타 휴대용 컴퓨팅 디바이스 상에서 실행되는 모바일 앱 등을 통해 PiMovs 시스템의 하나 이상의 특징들 및 능력들과 상호작용할 수 있다는 것을 또한 유념해 둔다.

2.2 기하학적 프레임워크 :

위에서 언급한 바와 같이, PiMovs 시스템의 기하학적 프레임워크는 측벽 섹션 및 선택적 최상부 및/또는 바닥부 섹션을 갖는 임의의 원하는 형상으로 구현되어, 임의의 원하는 크기의 360도 기하학적 프레임워크를 형성한다. 이러한 형상들은 비제한적인 예시로서, 규칙적인 다각형(예를 들어, 피라미드형, 입방체, 팔각형 등), 불규칙적인 다각형, 구형, 타원형, 비정형 등과 같은 곡면 형상을 포함한다. 기하학적 프레임워크는 또한 그러한 형상들의 임의의 조합, 예를 들어, 돔 또는 비정형 최상부를 갖는 입방체를 포함할 수 있다.

형상과 관계없이, 이러한 기하학적 프레임워크의 둘레부는 연접된 디스플레이 표면들로 둘러싸여 둘레부의 각 섹션은 인접한 디스플레이 표면들, 또는 단일 연접식 또는 곡면으로 덮혀진다. 이러한 디스플레이 표면의 예는 비제한적인 예시로서, 후면 투영을 위한 반투명 또는 투명 재료, 고정식 또는 굴곡가능 스크린 또는 디스플레이 디바이스 등을 포함한다. 달리 말하면, 둘레부 상의 각각의 디스플레이 표면은 인접해 있어서 연속적이거나 또는 둘레부 상의 적어도 두 개의 다른 디스플레이 표면들의 가장자리들에 연결된 가장자리들을 갖는다. 상술한 바와 같이, 다양한 구현에서, 연접된 디스플레이 표면은 기하학적 프레임워크의 360도 랩핑을 형성하는 하나 이상의 단일 연접식 또는 곡선화된 표면들을 포함할 수 있다. 추가적인 인접한 디스플레이 표면들은 선택적으로 프레임워크의 최상부 및/또는 바닥부 섹션을 덮을 수 있다. 또한, 다양한 선택적 구현에서, 선택적 최상부 또는 바닥부 섹션의 외부 경계를 따르는 각각의 디스플레이 표면의 적어도 하나의 가장자리는 둘레부 상의 하나 이상의 디스플레이 표면들의 가장자리들에 인접해 있거나 또는 달리 이에 연결될 수 있다. 달리 말하면, 이러한 구현에서, 기하학적 프레임워크의 측면들 및 최상부(및/또는 바닥부)는, 연접식 입체 투영체가 모든 인접한 또는 연접한 디스플레이 가장자리들에 걸쳐 연속적이도록 디스플레이 표면들로 선택적으로 둘러싸진다.

예를 들어, 기본적인 입방체 기하학적 프레임워크의 각각의 섹션(예를 들어, 4개의 측면 섹션 및 최상부 섹션)과 대략 동일한 차원을 갖는 5개의 직사각형 디스플레이 표면들을 포함하는 입방체 PiMovs 시스템을 고려한다. 이러한 구현에서, 각각의 측면 섹션 상의 각각의 디스플레이 표면의 2개의 대향하는 가장자리들 각각은 인접한 측면 섹션 상의 디스플레이 표면의 대응하는 가장자리에 연결될 것이다. 또한, 최상부 섹션 상의 디스플레이 표면의 4개의 가장자리들은 기하학적 프레임워크의 측면 섹션들 상의 각각의 디스플레이 표면들의 가장자리들 중 하나에 연결될 것이다. 달리 말하면, 이 예시적인 입방체 PiMovs 시스템의 측면들과 최상부는 모든 인접한 가장자리들이 연결되는 디스플레이 표면들로 둘러싸인다.

또한, 디스플레이 표면들(예컨대, 투명 유리, 아크릴 패널 등과 같은 투영 재료)이 충분한 구조적 강도를 갖는 경우에서, 이들 디스플레이 표면들은 일체적으로 형성되거나, 또는 그렇지 않고 디스플레이 표면들을 지지하는 기저 프레임워크에 대한 필요성을 배제하는 방식으로 이러한 재료들의 가장자리들을 결합함으로써 결합될 수 있다는 것을 유념해 둔다. 달리 말하면, 사용된 재료에 따라, 다양한 구현에서, 디스플레이 표면들 자체는 PiMovs 시스템의 기본 기하학적 프레임워크를 형성한다.

예를 들어, PiMovs 시스템의 검증된 구현은 투명한 아크릴 패널로 구성된 측벽들과 최상부를 사용하여 입방체 형태로 구성되었다. 이들 투명한 아크릴 패널들 각각의 후면 투영면(즉, 입방체의 내부에 있는 패널면들)은 플렉시블 후면 투영 중립 이득의, 라미네이트로서 도포된 고 콘트라스트 재료로 코팅되었다. 이러한 구성은 PiMovs 시스템이 입방체 내부에 배열된 프로젝터를 사용하여 각 아크릴 패널의 후면 상에 이미지 및/또는 비디오를 투영할 수 있게 해주며, 그 후, 이러한 이미지 및/또는 비디오는 아크릴 패널의 전면으로부터(즉, 입방체의 외면으로부터) 명확하게 보여진다.

또한, 이 아크릴 입방체의 가장자리들과 모서리들은 이들 이음선에서 아크릴의 광학 특성을 보존함으로써 이음선에서의 입체 투영체의 광학적 왜곡을 최소화하도록 주의하여 결합되었다. 이로 인해 PiMovs 시스템은 위에 언급한 바와 같이, 입방체 내부의 프로젝터를 사용하여 입방체의 투영면들 상에서 입체 투영체의 완전 끊김없는 디스플레이를 렌더링할 수 있었다. 또한, 다양한 구현에서, PiMovs 시스템에 의해 제공된 입체 투영체는 이들 모서리들 또는 비평면 연결부로 인한 임의의 광학 왜곡을 최소화하기 위해 연접된 디스플레이 표면의 섹션들 사이의 모서리들 또는 다른 비평면 연결부들 근처에서 적응적으로 둘러싸진다.

다양한 구현에서, PiMovs 시스템의 기하학적 프레임워크는 예를 들어, 고정식 또는 회전 기저부와 같이, 지면 또는 다른 표면 상에 배치될 수 있다. PiMovs 시스템의 기하학적 프레임워크를 기저부 상에 배치시키는 장점들 중 하나는, 예컨대, 프로젝터, 컴퓨터, 추적 센서, NUI 센서 및 입력 디바이스, 사운드 시스템, 카메라 등과 같은 PiMovs 시스템과 연관된 하드웨어의 일부 또는 그 전부가 그 기저부 상에 배치되거나, 또는 이와 달리 이에 결합될 수 있다는 점이다. 또한, 다양한 구현에서, PiMovs 시스템의 기하학적 프레임워크는 케이블 또는 다른 지지 구조물을 사용하여 상승되거나 또는 부유될 수 있다. 기저부와 마찬가지로, PiMovs 시스템의 기하학적 프레임워크를 상승시키거나 또는 부유시키기 위한 임의의 케이블 또는 다른 지지 구조물을 사용하여 기하학적 프레임워크를 이동시키거나 또는 회전시킬 수 있다. 어떤 경우든지, 기하학적 프레임워크의 이동 또는 회전은 일부 미리 정의된 일정 또는 경로 상에서 수행되거나, 또는 PiMovs 시스템과의 사용자 상호작용에 응답하여 수행된다. 그러한 구현의 결과적인 기술적 효과에는, 비제한적인 예시로서, 개선된 사용자 상호작용 효율성 및 증가된 사용자 상호작용 성능을 제공하는 것이 포함된다.

2.3 PiMovs 추적, 감지, 및 렌더링 하드웨어:

위에서 언급했듯이, PiMovs 시스템의 다양한 구현에는 기하학적 프레임워크가 포함되며, 각 섹션은 디스플레이 표면으로 덮여 있다. 이롭게도, 후면 투영 하드웨어와 함께 사용되는 고정식 평면 스크린 또는 굴곡가능 디스플레이, 또는 투영 디스플레이 표면들의 경우, PiMovs 시스템의 내부는 입체 투영체를 방해하지 않으면서 폭넓게 다양한 장비가 배치될 수 있는 공간을 제공한다. 그러한 구현의 결과적인 기술적 효과에는, 비제한적인 예시로서, 이러한 하드웨어를 비가시적인 또는 그렇지 않고 보안 위치에 배치하여 물리적 및 프로세스 보안을 개선하기 위한 물리적 파라미터 또는 제어를 제공하는 것이 포함된다. 그러나, PiMovs 유닛 내부에 그러한 하드웨어를 배치하는 것은 해당 하드웨어를 보호하고 보이지 않도록 숨기는데 도움이 되며, 이 하드웨어의 일부 또는 전부는 PiMovs 시스템의 전반적인 기능을 실질적으로 변경하지 않으면서 PiMovs 시스템 외면 근처 또는 가시적 위치에 배치될 수 있다는 것을 이해해야 한다.

예를 들어, 도 3은 PiMovs 시스템을 구현하는데 사용하기 위해 PiMovs 유닛 내에 배치된 예시적인 하드웨어를 도시한다. 이러한 예시적인 하드웨어는, 비제한적인 예시로서, 다양한 컴퓨팅, 디스플레이, 추적 및 NUI 하드웨어 디바이스를 포함한다. 이 예에서, 복수의 섹션별 컴퓨팅 디바이스들(예를 들어, 305, 310, 315)은 전체 입체 투영체의 각각의 개별 섹션을 생성하거나 그렇지 않고 렌더링한다. 그러나, 여기에 도시되지는 않았지만, 다수의 NUI 하드웨어 디바이스들이 단일 컴퓨팅 디바이스에 연결될 수 있거나, 또는 단일 NUI 하드웨어 디바이스들이 다수의 컴퓨팅 디바이스들에 연결될 수 있음을 이해해야 한다. 대안적으로, 또는 조합하여, 선택적인 전체 컴퓨팅(320)이 전체 입체 투영체의 일부 또는 전부를 생성하거나 또는 그렇지 않고 렌더링한다. 어느 경우에나, 그 후 결과적인 입체 투영체는 PiMovs 시스템의 기하학적 프레임워크를 커버하는(또는 포함하는) 디스플레이 표면들 상에서의 프리젠테이션을 위해 복수의 섹션별 프로젝터 또는 디스플레이 디바이스들(예를 들어, 325, 330, 335)로 전달된다.

그 후, 디스플레이된 입체 투영체는 하나 이상의 섹션별 추적 및 NUI 센서들(예를 들어, 340, 345, 350)을 통해 수신된 추적 정보 및/또는 NUI 입력에 응답하여 동적으로 업데이트된다. 대안적으로 또는 조합하여, 전체 추적 및 NUI 센서 세트들(355)의 세트는 입체 투영체를 동적으로 업데이트하는데 사용하기 위해 추적 정보 및 NUI 입력을 선택적인 전체 컴퓨팅 디바이스(320)에 제공할 수 있다. 추적 및 NUI 센서들(예를 들어, 340, 345, 350)과 컴퓨팅 디바이스들(예를 들어, 305, 310, 315, 320) 간의 통신은 임의의 희망하는 유선 또는 무선 통신 프로토콜 또는 인터페이스들을 사용하여 달성된다. 이러한 통신 프로토콜 및 인터페이스의 예는, 비제한적인 예시로서, 유선 또는 무선 인터페이스(예컨대, 근거리 통신, 원격 제어 또는 IR 가능 스마트폰과 같은 IR 기반 입력 디바이스, 이더넷, USB, FireWire®, Thunderbolt™, IEEE 802.x 등)를 통한, UDP, TCP/IP 등을 통한 센서 데이터 스트리밍을 포함한다.

또한 PiMovs 시스템의 다양한 구현에는 다양한 선택적 통신 또는 네트워크 인터페이스(360)가 포함됨을 유념한다. 선택적인 통신 또는 네트워크 인터페이스(360)는 임의의 섹션별 컴퓨팅 디바이스들(예를 들어, 305, 310, 315) 및 선택적 전체 컴퓨팅 디바이스(320)가 입체 투영체의 섹션들의 렌더링 및 투영 또는 디스플레이를 조정할 수 있도록 한다. 또한, 선택적 통신 또는 네트워크 인터페이스(360)는 임의의 섹션별 컴퓨팅 디바이스들(예를 들어, 305, 310, 315) 및 선택적 전체 컴퓨팅 디바이스(320)가 다른 PiMovs 유닛들과 상호작용하기 위한 데이터를 전송 및 수신할 수 있도록 한다.

또한, 선택적 통신 또는 네트워크 인터페이스(360)는 임의의 섹션별 컴퓨팅 디바이스들(예를 들어, 305, 310, 315) 및 선택적 전체 컴퓨팅 디바이스(320)가 임의의 원하는 목적이나 용도에 따라 다양한 소스들(예를 들어, 클라우드 기반 저장, 공용 또는 사설 네트워크, 인터넷 등)로 데이터를 보내거나 받을 수 있게 한다. 임의의 컴퓨팅 디바이스들(예를 들어, 305, 310, 315, 320)은 또한, 하나 이상의 컴퓨팅 디바이스가 전용 센서 디바이스와 연관되며 다른 컴퓨팅 디바이스는 데이터를 처리하고 입체 투영체의 생성을 조정하는 서버로서 역할을 하는 클라이언트/서버 모델에서 작동할 수 있음을 유념한다.

도 4는 컴퓨팅 디바이스들과 추적 및 NUI 센서들이 명료화를 위해 생략되어 있는 예시적인 단일 입방체 형상 PiMovs 유닛의 부분 내부도를 제공한다. 특히, 디스플레이 표면들(예를 들어, 디스플레이 표면들(400, 410))의 후면 상으로 후방 투영하는 경우, 하나 이상의 섹션별 프로젝터들(예를 들어, 420, 430)은 기하학적 프레임워크를 덮는 디스플레이 표면들의 하나 이상의 대응하는 섹션들 상에 전체 입체 투영체의 섹션들을 투영하도록 기하학적 프레임워크의 내부에 위치된다. 이러한 프로젝터들은 전술한 바와 같이, 하나 이상의 컴퓨팅 디바이스에 의해 제어되고, 결과적인 입체 투영체는 추적된 사용자 모션 및/또는 사용자 NUI 입력에 동적으로 적응된다. 또한, 도시된 바와 같이, PiMovs 시스템은 선택적으로 하나 이상의 스피커 또는 오디오 디바이스(440)를 포함한다.

마찬가지로, 도 5는 예시적인 컴퓨팅, 투영, 및 NUI 하드웨어를 보여주는, 예시적인 단일 PiMovs 유닛의 평면도를 제공한다. 도 4에 도시된 예시적인 PiMovs 유닛과는 대조적으로, 도 5에 도시된 PiMovs 유닛은 비정형 둘레부 형상(500)을 사용하여 수행된다. 복수의 섹션별 투영 디바이스들(예컨대, 515~575)에 의해 출력되는 입체 투영체는 추적 및 NUI 센서들(510)로부터 수신된 추적 및 사용자 NUI 입력에 응답하여 컴퓨팅 디바이스들(505)에 의해 제어된다.

2.3.1 추적 센서:

위에서 언급했듯이, PiMovs 시스템은 임의의 다양한 추적 센서들 및 기술들을 사용하여 사람들이 무엇을 하고 있는지, 그들이 있는 곳을 모니터링하고, 그들의 모션을 추적한다. 그러한 추적은 얼굴 및 기타 식별 정보가 PiMovs 시스템에 의해 수집되지도 않고 고려되지도 않도록 익명 상태로 기본 설정됨을 유념한다. 그러나, 다양한 구현에서, 사용자는 PiMovs 시스템이 특정 애플리케이션을 위해 사용되는 다양한 레벨의 식별 정보를 캡처하고 사용할 수 있도록 하는 명시적 권한을 부여할 수 있다. 또한, 상기한 바와 같이, 다양한 구현에서, 사용자들은 스마트 폰, 태블릿, 착용식 컴퓨팅 디바이스, 또는 기타 휴대용 컴퓨팅 디바이스 상에서 실행되는 모바일 앱 등을 통해 PiMovs 시스템의 하나 이상의 특징들 및 능력들과 상호작용할 수 있다.

일반적으로, 추적 및 NUI 입력에 사용되는 센서는 특정 거리 또는 범위 내에서 잘 작동하는 경향이 있다. 이에 따라, 다양한 구현에서, PiMovs 시스템은 선택적으로 사용자 추적 및/또는 NUI 입력을 개별 PiMovs 유닛 주위의 특정 범위 또는 구역으로 제한시킨다. 예를 들어, 도 6에 도시된 바와 같이, 일 실시예에서, 팔각형 둘레부를 갖는 PiMovs 유닛(600)은 PiMovs 유닛의 둘레부 주위에 고정된 또는 조정가능한 상호작용 구역(610)을 포함한다. 이 예에서, 고정된 또는 조정가능한 상호작용 구역(610)에 의해 표시된 최소 거리의 내부 또는 외부에 있는 사용자는 NUI 입력을 위해 추적되거나 모니터링되지 않는다.

상호작용 구역의 사용 여부에 관계없이, 추적 센서 및 기술은 PiMovs 시스템의 센서 범위 내의 PiMovs 유닛, 다른 사용자, 또는 객체의 위치와 관련하여 사용자 골격 데이터, 신체 위치, 모션 및 배향, 머리 위치, 시선 등을 추적하는데 사용된다. 위치 센서 또는 센서 하드웨어 및 소프트웨어 기반 기술의 조합을 사용하는 임의의 원하는 추적 또는 위치파악 기술이 이러한 목적으로 사용될 수 있다. 예시들에는, 비제한적인 예시로서, 2D 또는 스테레오스코픽 카메라, 깊이 센서, 적외선 카메라 및 센서, 레이저 기반 센서, 마이크로파 기반 센서, PiMovs 주위의 압력 매트, 음성 캡처 또는 다양한 사용자 추적을 위한 방향성 오디오 기술의 사용을 위한 마이크로폰 어레이, 비제한적인 예시로서 GPS 감지 또는 추적 시스템을 비롯한 사용자가 착용하거나 또는 휴대하는 센서, 사용자가 착용하거나 또는 휴대하는 모바일 디바이스에 연결된 가속도계, 머리 착용식 디스플레이 디바이스, 머리 장착식 또는 착용식 가상 현실 디바이스 등이 포함된다.

2.3.2 NUI 센서:

다양한 구현에서, PiMovs 시스템은 임의의 원하는 센서 조합을 사용하여 하나 이상의 사용자로부터 NUI 입력을 캡처하거나 또는 그렇지 않고 이를 수신하거나 유도한다. 이롭게도, PiMovs 유닛과 관련하여 사용자를 추적하는데 사용되는 센서들(2.3.1 섹션에서의 상기 설명 참조) 모두 또는 그 일부가 NUI 입력을 수신하는데 사용될 수도 있다. 그러한 구현의 결과적인 기술적 효과에는, 비제한적인 예시로서, 개선된 추적 및 사용자 상호작용 효율성 및 증가된 사용자 상호작용 성능을 제공하는 것이 포함된다. 일반적으로, NUI 입력에는 비제한적인 예로서, 다음이 포함될 수 있다:

a. 마이크로폰 또는 다른 센서를 통해 캡처된 사용자 음성 또는 발성으로부터 유도된 NUI 입력, 및 선택적으로 하나 이상의 사용자를 추적하기 위한 마이크로폰 어레이 등을 이용하는 방향성 오디오 추적을 포함함;

b. 2D 또는 깊이 카메라(예컨대, 스테레오스코픽 또는 TOF(time-of-flight) 카메라 시스템, 적외선 카메라 시스템, RGB 카메라 시스템, 그러한 디바이스의 조합 등)와 같은 이미징 디바이스를 사용하여 캡처된 사용자 손, 손가락, 손목, 팔, 다리, 신체, 머리, 눈 등의 위치, 모션 또는 배향으로부터 사용자 얼굴 표정으로부터 도출된 NUI 입력;

c. 공중 및 접촉 기반 제스처, 사용자가 소지한 객체(예컨대, 지팡이, 테니스 라켓, 탁구채와 같은 스포츠 장비 등)의 모션으로부터 도출된 제스처를 비롯한, 제스처 인식으로부터 도출된 NUI 입력;

d. NUI 입력은 다양한 표면, 객체 또는 다른 사용자에 대한 사용자 터치로부터 도출된 NUI 입력;

e. 호버 기반 입력 또는 동작 등으로부토 도출된 NUI 입력;

f. 사용자의 의도, 희망, 및/또는 예상 동작과 같은 정보를 예측하기 위해 단독으로 또는 다른 NUI 정보와 함께, 현재 또는 과거의 사용자 행동, 입력, 동작 등을 평가하는 예측 머신 지능 프로세스로부터 도출된 NUI 입력.

NUI 기반 정보 또는 입력의 유형이나 소스와 관계없이, 그러한 입력은 PiMovs 시스템 및/또는 PiMovs 시스템과 관련된 임의의 컴퓨팅 디바이스에 의해 실행되는 임의의 애플리케이션의 하나 이상의 입력, 출력, 동작 또는 기능적 특징을 개시하거나, 종료하거나, 또는 이와 달리 제어 또는 상호작용하는데 사용된다.

또한, 다양한 구현에서, PiMovs 시스템의 하나 이상의 디스플레이 표면들은 직접적인 사용자 입력을 허용한다. 예를 들어, 다양한 구현에서, 하나 이상의 디스플레이 표면들은 터치 감지형(예를 들어, 저항성 또는 용량성 터치, 광학 감지 등)이다. 또한, 다양한 구현에서, 하나 이상의 디스플레이 표면들은 사용자가 표면들을 밀거나, 당기거나, 또는 이와 달리 변형시킬 수 있도록 플렉시블하며, 결과적인 변형은 디스플레이 표면들 상에 디스플레이되는 기저 입체 투영체와의 직접적인 상호작용을 제공한다. 달리 말하면, 이러한 유형의 터치 및 사용자 변형은 로컬 또는 원격 PiMovs 시스템과 관련하여 하나 이상의 디스플레이 표면들 상에서 렌더링된 콘텐츠와 상호작용하기 위한 NUI 입력으로서 사용될 수 있다.

2.4 PiMovs 인터페이스 프레임워크 :

일반적으로, PiMovs 시스템의 디스플레이 표면들 상에 렌더링된 입체 투영체는 사용자 추적 및 NUI 입력에 응답하여 변하기 때문에, PiMovs 시스템 상에서 전개되는 모든 상호작용 경험은 사용자가 해당 입체 투영체에 어떻게 반응하느냐 또는 어떻게 상호작용하느냐에 따라 PiMovs 시스템의 임의의 다른 상호작용 경험과는 다른 경향이 있을 것이다.

다양한 구현에서, PiMovs 시스템은 광범위한 입력 및 애플리케이션 설계를 지원하는 인터페이스 프레임워크를 사용하여 이러한 상이한 입력들에 적응된다. 예를 들어, 다양한 구현에서, PiMovs 시스템은 광범위한 코딩 환경 및 그래픽 프레임워크를 제공한다. 이러한 코딩 환경 및 그래픽 프레임워크는, 비제한적인 예시로서, 예를 들어, 자바 기반 코딩 및 프레임워크, C++ 기반 오픈프레임워크, 유니티 기반 개발 생태계 등과 같은, 임의의 원하는 오픈 소스 코딩 환경 또는 그래픽 프레임워크, 및 임의의 광범위한 독점적 코딩 환경 및 그래픽 프레임워크를 포함한다. 그러나, PiMovs 시스템은 임의의 특정 오픈 소스 또는 독점적 코딩 환경 및 그래픽 프레임워크의 사용으로 국한되는 것으로 의도된 것은 아님을 이해해야 한다.

다양한 구현에서, PiMovs 시스템은 PiMovs 시스템에 의해 실행되는 다양한 디스플레이 애플리케이션에 추적 및 NUI 센서 데이터 스트림을 브로드캐스팅하기 위한 통일화된 프로세스를 제공하는 프레임워크 유틸리티를 제공한다. 예를 들어, 다양한 구현에서, PiMovs 시스템과 관련된 임의의 컴퓨팅 디바이스 상에서 실행되는 최소 서버 유형 애플리케이션은 임의의 센서로부터의 입력을, PiMovs 시스템과 연관된 임의의 컴퓨팅 디바이스에 의해 소비되고 이에 대해 작동될 수 있는, 소비가 용이하고 플렉시블한 네트워크 브로드캐스트로 변환하는데 사용된다. 그러한 브로드캐스트의 콘텐츠의 예는, 입체 투영체의 일부 특정 부분 또는 다른 특정 사용자에 대한 특정 사용자 동작, 모션, NUI 입력 등과 같은 정보를 포함한다.

또한, 다양한 구현에서, PiMovs 시스템은 하나 이상의 NUI 센서 데이터 스트림을 PiMovs 시스템 주위의 공간의 응집된 뷰에 결합한다. 이것은 비제한적인 예시로서, PiMovs 시스템 주위를 걸어 다니는 한 명 이상의 사람들을 추적하여 사람들이 개별 NUI 센서 영역으로 들어오고 나가지 않고 항상 응집된 뷰 내에 머물러 있도록 하는 것을 비롯하여, 광범위한 구현 및 애플리케이션을 가능하게 한다. 이롭게도, 이것은 PiMovs 시스템의 연접된 디스플레이 표면 상에 렌더링된 입체 투영체의 끊김없는 성질에 추가되어, NUI 데이터가 "끊김없는" 상태로 유지되게 해준다. 그러한 구현의 결과적인 기술적 효과에는, 비제한적인 예시로서, 개선된 사용자 상호작용 효율성 및 증가된 사용자 상호작용 성능을 제공하는 것이 포함된다.

예를 들어, 다양한 구현에서, PiMovs 시스템은 센서 데이터를 브로드캐스트하기 위해 PiMovs 시스템에 의해 사용되는 사운드 합성기, 컴퓨터 및 기타 멀티미디어 디바이스를 네트워킹하기 위한 오픈 사운드 제어(Open Sound Control; OSC) 프로토콜을 선택적으로 채택한다. 일반적으로, OSC는 다양한 상호작용 예술품 프레임워크에서 유용한 TCP/IP 구현을 제공하는 UDP(User Datagram Protocol)의 최상부 상에 구축된다. 이 경우, 데이터 메시지는 라우팅 주소와 그 뒤를 이은 가변적인 수의 타이핑된 논의로 포맷팅된다.

다양한 구현에서, PiMovs 시스템은 PiMovs 시스템의 센서 범위 내의 손 또는 손가락 모션, 또는 기타 제스처 NUI 입력을 변환하거나 또는 그렇지 않고 터치 스크린 및/또는 포인팅 디바이스 이벤트 또는 입력으로 전환하는 API(Application Programming Interface) 또는 기타 애플리케이션 또는 인터페이스를 제공한다. 이것은, 이들 프로그램이나 애플리케이션을 위해 원래 의도되었거나 예상되었던 입력 소스가 무엇이였든간에 프로그램이나 애플리케이션이 입력을 수신했던 것처럼, PiMovs 시스템으로 하여금 임의의 기존의 프로그램이나 애플리케이션을 이용하거나 또는 이와 상호작용하게 해준다. 예를 들어, 다양한 구현에서, PiMovs 시스템은 NUI 센서로부터 수신된 손 위치를 변환시켜 PiMovs 시스템과 연관된 운영 체제에게 마우스 커서를 이동시킬 것을 지시내린다. 마찬가지로, 다양한 구현에서, PiMovs 시스템은 주먹 쥠과 같은 손 제스처를 현재 커서 위치에서의 터치 이벤트(예컨대, 터치 스크린 또는 다른 터치 감지 표면에 대한 사용자 터치)로서 전환시킨다. 그러한 터치 이벤트는 대응하는 "마우스 다운" 또는 클릭 이벤트 등으로 전환될 수 있다.

2.5 PiMovs 연결성:

위에서 언급했듯이, 다양한 구현에서, PiMovs 시스템은 네트워크화된 상호작용 공용 객체를 제공한다. 또한, 이러한 상호작용은 PiMovs 유닛 간에 통신 또는 네트워킹 경로가 존재하는 한 해당 유닛들의 위치와 상관없이 임의의 두 개 이상의 PiMovs 유닛간에 발생할 수 있다. PiMovs 유닛들 간의 이러한 상호작용의 결과는 콘텐츠, 상호작용, 및 경험을 전세계의 심지어 우주 기반 위치에 있는 여러 사용자들이 공유할 수 있는 상호작용 생태계이다.

예를 들어, 도 7은 임의의 위치들로부터 통신하는 개별 PiMovs 유닛들과 상호작용하는 다수의 사용자들을 보여주는 예시적인 PiMovs 생태계의 예시를 제공한다. 예를 들어, 도 7의 예시에서, 다수의 사용자(700)는 시애틀에 있는 PiMovs 유닛(710) 상에 렌더링된 입체 투영체와 상호작용하고 있다. 도 7은 또한, 다수의 사용자(720)가 런던에 있는 PiMovs 유닛(730) 상에 렌더링된 입체 투영체와 상호작용하고 있는 것을 보여준다. 도 7은 또한, 다수의 사용자(740)가 베이징에 있는 PiMovs 유닛(750) 상에 렌더링된 입체 투영체와 상호작용하고 있는 것을 보여준다. 마지막으로, 도 7은 또한 뉴욕의 타임 스퀘어(Times Square)의 상대저으로 더 큰 PiMovs 유닛(770) 상에 렌더링된 입체 투영체와 상호작용하고 있는 다수의 사용자(760)를 보여준다. 도 7의 예에서, 각각의 PiMovs 유닛들(710, 730, 750, 770)은 유선 및/또는 무선 네트워크 접속을 통해 통신한다. 이롭게도, PiMovs 시스템의 통신 능력들은 도 7에 도시된 PiMovs 유닛들 각각의 사용자들이 이들 PiMovs 유닛들 일부 또는 전부 상에서 디스플레이될 수 있는 공통 입체 투영체와 공동으로 상호작용할 수 있게 한다.

또한, 다양한 구현에서, 하나의 PiMovs 시스템의 임의의 측면, 면 또는 섹션 상의 입체 투영체의 섹션과 상호작용하는 사용자들은 해당 위치의 PiMovs 시스템의 임의의 측면, 면 또는 섹션 상의 입체 투영체의 섹션과 상호작용하는 다른 위치의 사용자들과 상호작용할 수 있다는 것을 유념한다. 또한, 임의의 PiMovs 시스템의 각각의 측면, 면 또는 섹션은, 임의의 특정 PiMovs 시스템이 언제든지 여러 개의 PiMovs 시스템과 통신하고 상호작용할 수 있도록, 상이한 PiMovs 시스템의 측면들, 면들 또는 섹션들과 상호작용할 수 있다.

상술한 바와 같이, 다양한 구현에서, PiMovs 시스템은, 비제한적인 예시로서, 스마트 폰, 태블릿, 미디어 디바이스, 원격 제어부, 포인팅 디바이스 등을 비롯한, 휴대용 컴퓨팅 디바이스와 상호작용하기 위한 다양한 통신 능력들을 제공한다. PiMovs 시스템과 휴대용 디바이스 간의 상호작용 및 통신을 가능하게 하는 통신 기술에는, 비제한적인 예시로서, RFID 또는 기타 근거리 통신, IR 기반 통신, Bluetooth®, Wi-Fi(예컨대, IEEE 802.11(a/b/g/n/i, 등)), GSM(Global System for Mobile Communications), GPRS(General Packet Radio Service), 다양한 CDMA(Code Division Multiple Access) 무선 기반 기술, EV-DO(Evolution-Data Optimized), EDGE(Enhanced Data Rates for GSM Evolution), UMTS(Universal Mobile Telecommunications System), DECT(Digital Enhanced Cordless Telecommunications), 디지털 AMPS(즉, IS-136/TDMA), iDEN(Integrated Digital Enhanced Network) 등이 포함된다.

다양한 구현에서, 상기한 바와 같은 통신 능력들은 PiMovs 시스템이 사용자에 의해 운반되는 다양한 휴대용 컴퓨팅 디바이스로 데이터 또는 정보를 푸싱 또는 이와 달리 전송할 수 있게 하며, 또한 이들 디바이스가 PiMovs 시스템으로부터 정보를 끌어당길 수 있게 한다. 이러한 능력들의 한가지 간단한 예는, 예컨대, 센서 데이터를 제공하거나 다른 데이터 또는 사용자 개인화 정보를 PiMovs 시스템에 입력하거나 이와 공유하기 위해, 스마트 폰과 같은 휴대용 컴퓨팅 디바이스에 임베딩되거나, 이에 결합되거나, 또는 그렇지 않고 이와 통신하는 센서를 사용하는 것이다. 이러한 능력들의 다른 간단한 예는, 비제한적인 예시로서, 하나 이상의 QR(Quick Response) 코드들 또는 기타 스캔가능한 코드들을, 입체 투영체 상에 오버레이로서, 또는 그렇지 않으면 입체 투영체에 포함된 이미지 엘리먼트로서 디스플레이하는 것을 포함한다. 그런 후, 사용자는 이러한 코드들을 스캔할 수 있는 카메라 기능이 있는 휴대용 컴퓨팅 디바이스를 사용하여 이들 컴퓨팅 디바이스들이 제2 스크린 경험을 제공할 수 있게 하거나, 또는 대안적으로, 관련 데이터를 자동으로 검색할 수 있게 한다(예를 들어, 파일, 정보, 링크 등을 다운로드하거나 웹페이지 등을 열기).

2.6 입체 투영체 :

기존의 파노라마 또는 가상 현실 "룸"은 종종 외부 공간 또는 장면의 뷰들을 함께 결합하고 그 후 사용자가 그 공간의 내부에 있는 것처럼 보여진다. 다시 말해, 파노라마 및 가상 현실 룸은 종종 일부 공간의 결합된 파노라마 뷰를 나타내는 이미지 또는 비디오 재생을 제공한다.

이와는 대조적으로, PiMovs 시스템에 의해 제공되는 입체 투영체는 기하학적 프레임워크의 내부 상에서 디스플레이되고 기하학적 프레임워크의 외면으로부터 뷰어들에게 관측될 수 있는 콘텐츠로서 뷰어들에게 나타나 보이는 뷰를 나타낸다. 이 시각적 인상은, 기하학적 프레임워크의 각각의 면 또는 섹션이 상이한 관점으로부터의 입체 투영체의 콘텐츠를 디스플레이할 수 있기 때문에, 그리고, 입체 투영체는 기하학적 프레임워크의 전체 둘레부 및, 선택적으로 최상부 및/또는 바닥 표면들을 완전하고 끊김없이 둘러싸기 때문에 유지된다. 그 결과는, 사용자가 해당 프레임워크 외부를 돌아다니더라도 입체 투영체의 일부 또는 전부가 기하학적 프레임워크 내부에서 2D 및/또는 3D 콘텐츠를 렌더링하는 것으로서 사용자에게 나타난다는 점이다.

보다 구체적으로, PiMovs 시스템의 입체 투영체는 2D 또는 3D 콘텐츠, 또는 2D 및 3D 콘텐츠의 임의의 원하는 조합을 포함할 수 있다. 입체 투영체의 콘텐츠는 이들 사용자가 이동하거나 입체 투영체를 보거나, 또는 이와 달리 이와 상호작용할 때 사용자의 추적된 위치에 자동으로 적응된다. 다양한 구현에서, 입체 투영체의 이러한 자동 적응은 또한 PiMovs 시스템에 대한 사용자 위치 및 시야각에 기초한 입체 투영체의 원근감을 변경하는 것을 포함하지만 이에 국한되지는 않는다.

2.6.1 원근법적 뷰 및 위치 추적:

위에서 언급했듯이, 다양한 구현에서, 사용자가 PiMovs 시스템 주위를 걸어 다니거나 이동할 때, 원근감이 변경되어 가상 객체 또는 입체 투영체의 다른 콘텐츠가 기하학적 프레임워크 내부의 일관된 물리적 공간 또는 위치에 나타나는 것처럼 보이도록 한다. 이는 각각의 스크린이나 디스플레이 표면 상에서 상이한 카메라 앵글을 보여주는 것과는 같지 않다. 대신, PiMovs 시스템과 관련된 하나 이상의 센서들은 개별 사람 또는 사람 그룹, 및/또는 각 사람의 머리를 능동적으로 추적하고, 그 후, 사람이 PiMovs 시스템과 관련하여 이동할 때, 개별 스크린에 걸쳐서도, 원근감이 변경되도록, 스크린 또는 디스플레이 표면별로 가상 카메라 앵글을 능도적으로 변경한다. 다양한 구현에서, 능동 셔터 글래스 등, 또는 편광된 스크린 등을 디스플레이 표면별 다수의 프로젝터와 조합하여 사용함으로써 스크린 또는 디스플레이 표면별 다수의 사람들에 대해 이러한 동일한 원근감 문제는 해결된다. 이것은 상이한 앵글로부터 동일한 디스플레이 표면을 보고 있는 사람들이 각자의 상대적인 시야각에 따라 상이한 이미지들 또는 동일한 이미지의 상이한 원근감을 볼 수 있게 한다.

설명을 위해, 다음의 예는 단일 사용자가 4면을 갖는 입방체 PiMovs 시스템을 바라보고 있는 입방체 PiMovs 시스템의 경우를 설명한다. 아래의 예시는 측면별 추가적인 뷰어들 및 다중 측면 PiMovs 시스템의 추가 측면들에 외삽될 수 있다는 것을 유념한다.

예를 들어, 한 명의 사용자가 4면 PiMovs 시스템을 바라보고, 하나 이상의 컴퓨터가 각각의 추적 센서 및 각각의 디스플레이 표면 상에 렌더링된 입체 투영체의 부분을 공동으로 제어하는 경우를 생각해본다. 이 경우, 센서 데이터 스트림은 사용자의 눈 위치, 사용자 머리 위치, 및/또는 사용자 골격 위치의 임의의 조합에 기초하여 PiMov의 주변에서의 사용자 이동의 실시간 통합 뷰로 결합된다. 그 후, 이 실시간 사용자 추적 정보는 추적된 사용자가 볼 수 있는 임의의 디스플레이 표면들을 동적으로 수정하고 해당 사용자에게 입체 투영체의 콘텐츠의 정확한 원근법적 뷰를 보여주기 위해 PiMovs 시스템에 의해 사용된다. 달리 말하면, 이 예에서, 입체 투영체의 콘텐츠는, PiMovs 시스템의 내부에 존재하는 것으로 나타나고 사용자가 PiMovs 시스템의 기하학적 프레임워크 외면 주위를 돌아다닐 때 디스플레이 표면들 간에 끊김없이 천이되는 끊김없는 콘텐츠 표현으로서 가상 공간에서 뷰어에게 나타날 것이다.

그러한 능력들이 구현될 수 있는 다양한 방법 중 하나는 PiMovs 시스템의 각 면 또는 섹션(예를 들어, 각각의 디스플레이 표면)과 동일한 크기의 그리고 이를 덮는 가상 경계 박스들을 고려하는 것이다. 그 후, 각각의 가상 경계 박스는 하나 이상의 객체, 장면, 또는 입체 투영체의 해당 면 또는 섹션 상에 렌더링되는 기타 콘텐츠를 둘러싼다. 논의의 목적상, 렌더링되는 콘텐츠(즉, 객체, 장면, 또는 다른 콘텐츠)를 객체로서 언급할 것이다.

그 후, 가상 광선 추적 카메라는 추적된 사용자의 시점의 원점에 대응하는 공간의 점으로부터 객체쪽으로 지향된다. 그 후, PiMovs 시스템의 대응하는 디스플레이 표면을 나타내는 시야를 커버하기 위해 방대한 수의 가상 광선이 가상 광선 추적 카메라로부터 객체쪽으로 전방 투영된다. 그 후, 각각의 가상 광선이 입체 투영체의 대응 면 또는 섹션을 덮는 가상 경계 박스와 교차하는 위치가 가상 광선에 부딪치는 임의의 가시적 텍스처의 해당 색상과 함께 자동으로 식별된다.

그 후, 각각의 가상 광선의 식별된 교차 색상을 사용하여 이들 광선이 가상 경계 박스와 교차했던 것과 동일한 위치에서 가상 가시적 박스(입체 투영체의 대응 면 또는 섹션을 덮음)를 업데이트한다. 이 가상의 가시적 박스 주위에는 고정된 가상 위치에 있는 4개의 가상 카메라들이 입방체의 각 면에 하나씩 있다. 각각의 가상 카메라는 그 고정된 가상 위치로부터 업데이트된 가상의 가시적 박스의 이미지를 가상으로 캡처하고, 그 후 가상으로 캡처된 이미지를 PiMovs 시스템의 대응하는 물리적 디스플레이로 렌더링한다.

그 후, 사람이 이동할 때, 가상 광선 추적 카메라는 사용자의 추적된 시점에 맞춰 움직이되, 객체쪽을 계속 향한다. 그 후, 위에서 설명한 프로세스는 계속 반복되어 사용자가 PiMovs 시스템의 기하학적 프레임워크 외면 주위를 돌아다닐 때 실제 입체 투영체는 실시간으로 계속 업데이트된다.

또한, 입방체 PiMovs 시스템의 이러한 예에서, 최대 2개의 측면들(사용자가 모서리 또는 그 근처에 서 있다고 가정함)이 사용자에게 보여질 것이다. 결과적으로, 다양한 구현에서, 사용자에게 보여지지 않는 측면들은 디폴트 뷰를 디스플레이하거나, 뷰를 디스플레이하지 않을 수 있고, 또는 상이한 사용자의 추적에 기초하여 원근법적 뷰를 디스플레이할 수 있다.

2.6.2 스테레오스코픽 및 3D 디스플레이 고려사항:

일반적으로, 임의의 입체 투영체의 임의의 부분의 일부 또는 전부의 콘텐츠는 스테레오스코픽 이미지 및/또는 비디오를 하나 이상의 디스플레이 표면들 상에 투영하기 위해 스테레오스코픽 프로젝터 등을 사용하여 렌더링된 3D 콘텐츠를 포함할 수 있다. 이러한 구현에서, 사용되는 특정 3D 기술 유형에 따라, 수동 3D 안경 또는 능동 셔터 안경(예를 들어, 고속 좌/우안 전환 안경)을 착용한 사용자는 실제 3D 콘텐츠로서 입체 투영체를 볼 것이다. 또한, 일부 고정식 또는 수동식 3D 디스플레이 디바이스는 3D 모니터의 특정 범위 또는 시야각 내에 있는 사용자가 3D 안경이나 능동 셔터 안경을 사용하지 않고도 3D로 콘텐츠를 볼 수 있게 한다. 결과적으로, 기하학적 프레임워크의 하나 이상의 섹션들(또는 서브섹션들)은 PiMovs 시스템의 기하학적 프레임워크의 디스플레이 표면들 일부 또는 전부에 대한 전체 또는 부분 3D 보기 능력들을 포함하도록, 이러한 3D 유형의 디바이스들로 타일링되거나, 둘러싸지거나, 또는 이와 달리 덮혀질 수 있다. 다양한 구현에서, PiMovs 시스템은 컴퓨터 게임 및 영화에서 일반적으로 사용되는 3D 뷰 관점을 변경하는 기술에 시차 및 운동감각을 추가하여 입체 투영체의 스테레오스코픽 또는 3D 콘텐츠를 향상시킨다. 또한, 각각의 눈마다 별개의 좌우 이미지들을 사용하는 것은 입체 투영체에서 인간의 뇌가 깊이 또는 3D 콘텐츠를 인식하게 해준다.

흥미롭게도, 다양한 구현에서, 하나 이상의 3D 모니터는 기하학적 프레임워크의 더 큰 디스플레이 표면의 상이한 섹션들에 삽입되거나 또는 그렇지 않고 이와 통합될 수 있다. 결과적으로, 대응하는 3D 모니터 삽입에 대한 이들 개별 사용자의 입체 투영체의 장면의 "가상 카메라 앵글"을 변경하기 위해 개별 사용자의 머리 및/또는 안구 추적이 사용될 수 있다. 결과로서, 사용자가 서 있거나 바라보고 있는 위치에 따라, 개별 사용자는 전체 입체 투영체의 더 작은 부분 내에서 3D 창을 경험할 수 있다. 반대로, 전체 기하학적 프레임워크는 3D 모니터로 둘러싸지거나 덮혀질 수 있으며, 입체 투영체의 일부 또는 전부는 이들 3D 모니터를 통해 렌더링되고 3D로 디스플레이된다.

2.7 예시적인 응용 및 사용자 상호작용 시나리오:

상기한 바와 같이, PiMovs 시스템의 측면 또는 섹션별로 여러 사람과 상호작용하고 이에 응답하는 능력은 사실상 무제한적인 상호작용 및 응용 모드가 구현되도록 해준다. 이러한 응용의 몇 가지 예가 아래 단락에서 설명된다. 제시된 예시적인 응용은 설명의 목적으로만 논의되며, 이러한 예시적인 응용은 PiMovs 시스템의 사용을 설명된 예시적인 응용의 유형으로 제한시키는 것으로 의도된 것이 아님을 이해해야 한다.

2.7.1 형상 시프터 응용:

위에서 언급했듯이, PiMovs 시스템에 의해 인에이블된 모든 상호작용 경험은 다를 것이다. 예를 들어, PiMovs 시스템에 의해 인에이블된 하나의 응용은 사용자가 동적으로 미러링되지만 변경된 추상화로서(예컨대, 뱀파이어로서의 사용자, 켄타우루스로서의 사용자, 상이한 옷을 입은 사용자, 달을 걷고 있는 사용자 등) 자신을 보게되는 형상 시프팅 응용이다.

다양한 구현에서, 이러한 변경된 추상화는 전체 입체 투영체로 렌더링된다. 그러한 응용들에서, 예를 들어, 움직이거나, 뛰거나, 흔들거나, 또는 단순히 PiMovs 시스템을 지나쳐 걷는 것과 같은 모션들은 변경된 추상화의 움직임을 PiMovs 시스템의 추적 능력들을 통해 사용자의 움직임으로 매핑되게 한다. 또한, 이 응용의 다양한 구현에서, 기하학적 프레임워크의 상이한 측면들로 이동하는 사용자는 다른 다양한 추상화로의 추가적인 형상 시프트를 볼 것이다.

또한, 그러한 목적을 위해 사용된 추상화 유형은 하나 이상의 사용자의 검출된 연령, 성별, 인종 등에 따라 변경될 수 있다. 예를 들어, 무서운 늑대 인간처럼 보이도록 사용자의 미러링된 이미지(즉, 변경된 추상화)를 변경하는 것은 십대 사용자에게 적절할 수 있지만, 어린 아이인 사용자에게는 적절하지 않다(나비 또는 일부 기타 위협적이지 않은 추상화로서 미러링되는 것이 보다 적절할 수 있음).

형상 시프팅 응용의 다양한 구현에 대한 몇가지 추가 옵션과 모드가 아래에 간단히 요약된다.

a. 초대 모드 : 다양한 구현에서, 각각의 PiMovs 유닛은 사용자의 관심과 상호작용을 유도하기 위해 테마 기반 입체 투영체를 디스플레이한다. 다양한 구현에서, 이 테마는 수동으로 선택되거나, PiMovs 유닛 및/또는 해당 환경 내의 사람들 주위의 외부 환경에 대한 응답으로 자동으로 선택된다. 예를 들어, PiMovs 유닛 주위에서 어떠한 활동도 없는 경우, 특정 테마 내에 속하는 하나 이상의 동물, 크리처, 사람 등(예컨대, 세렝게티 평원의 멸종 위기에 놓인 동물, 상상적 크리처, 역사적으로 유명한 인물, 우주 외계인 등)이 지나가는 사람들에 대해 호기심을 불러일으키기 위해 PiMovs 유닛의 면에 걸쳐 주기적으로 날아다니거나, 달리거나, 걷는다.

b. 대체 우주: PiMovs 시스템 주위의 공간이 보다 활발해질 때, 동물이 각자의 그룹에서(기하학적 프레임워크의 면들의 각각의 디스플레이 표면들 상에서) 출현하여 각자의 페이스와 공간 배치를 범위 내 오가는 사람들에게 매핑한다. 사용자가 각자의 페이스를 늦추거나 정지하면, 동물은 이를 미러링할 것이다. 다양한 실시예에서, 그 후, 사용자는 자연 언어 처리 또는 다른 언어 기반 컴퓨터 상호작용 기술을 사용하여 동물과 대화할 수 있다. 예를 들어, 사용자는 가장 가까운 BBQ 레스토랑이 위치해 있는 멧돼지에게 물어볼 수 있다. 그 후, 멧돼지는 녹음된 음성 또는 합성된 음성으로 반응할 수 있으며, 레스토랑까지 가는 지도 또는 그 방향을 디스플레이할 수 있다.

c. 매직 모서리: PiMovs 시스템의 기하학적 프레임워크 주위의 흐름을 촉진하기 위해, 다양한 응용에서, 모서리를 돌면 해당 PiMovs System 테마 내의 다른 동물로 형상 시프트를 트리거시킬 것이다. PiMovs 시스템의 다른 면들은 동일한 상호작용 모델을 반영하지만, (PiMovs 시스템 테마에 속하는) 다른 동물을 반영한다. 사용자가 이탈할 때, 또는 일정 시간량 이후, 동물은 그 그룹을 떠나가서, 상호작용의 끝을 알린다.

d. 추상화 또는 예술적 표현: 동물은 시각적으로 눈에 띄는 아티스트 추상화로서 묘사되어 딴 세상의 재미난 경험을 선사할 수 있다.

e. 동물 퍼레이드: 다양한 구현에서, 하나 이상의 PiMovs 시스템은, PiMovs 시스템 상에서 렌더링된 입체 투영체에 걸쳐 이들 동물 또는 크리처가 재밌게 행진하게 하는 것에 의해 전세계의 상이한 PiMov 시스템들과 연관된 동물 또는 크리처의 퍼레이드를 렌더링함으로써, 호기심과 잠재적으로 다른 PiMovs 시스템에 대한 방문을 촉진시키도록 동작한다.

f. 대중 경기: PiMovs 시스템은 올림픽이나 버닝맨과 같은 경기에 배치될 수 있다. 이에 따라 크리처나 테마가 변경될 수 있다(예컨대, 올림픽 마스코트, 외계인, 스포츠 스타 등).

2.7.2 공유 디지털 아트 응용:

PiMovs 시스템에 의해 인에이블된 다른 응용은 여러 명의 사용자가 디지털 "점토"의 가상 블록에 대해 로컬로 및 전세계로부터 다른 사람들과 상호작용하거나 공동작업하여, 실시간 상호작용을 직접 전시하고 "아티스트"라는 개념을 분권화시키게 해준다. 도 8 및 도 9는 이 응용의 간단한 예를 도시한다.

특히, 도 8은 PiMovs 시스템(850)의 디스플레이 표면들 상에 동적 입체 투영체로서 제공되는 디지털 점토(840)를 형상화하기 위해 NUI 입력으로서 다양한 손 기반 제스처를 이용하는 여러 명의 사용자들(800, 810, 820, 830)을 보여준다. 마찬가지로, 도 9는 여러 명의 사용자들(900, 910)이 디지털 점토(920)를 형상화하기 위해 NUI 입력으로서 다양한 손 기반 제스처를 사용하고 있는 유사한 디지털 아트 상호작용의 클로즈업을 보여준다.

공유 디지털 아트 응용의 다양한 구현에 대한 몇가지 추가 옵션과 모드가 아래에 간단히 요약된다.

a. 공동작업 샌드박스로서 PiMovs 시스템: 상이한 도시들에 있는 PiMovs 유닛들은 하나의 공동작업 플레이 영역에 대한 포털로서 역할을 한다. 각각의 도시는 더 큰 멀티 도시 공동작업의 일부를 나타내는 특정 색 세트의 "점토"와 상호작용한다.

b. 실시간 공동작업: PiMovs 유닛 주위의 많은 참가자들은 모델의 각자 부분(색상으로 식별됨)과 상호작용하고 입체 투영체를 동적으로 적응시키는 것을 통해 각자의 도시의 밀고 당기기가 더 큰 사진에 어떻게 영향을 미치는지를 볼 수 있다. 모든 참가자는 다른 도시들이 공동작업의 각자 자신들의 부분과 어떻게 상호작용하는지를 살펴본다.

c. 제스처 조작: 하나의 도시의 "점토" 섹션(예컨대, 색상으로 지정됨)은 제스처 방식으로 밀고 당기기되고 실시간으로 보여질 수 있다.

d. 마더 디스플레이: "마더" 또는 주 PiMovs 유닛은 상이한 도시들 각각에 있는 사용자들에 의한 "점토"의 공동 조작에 의해 생성된 예술품의 전체 입체 투영체를 렌더링한다. 다양한 구현에서, 마더 PiMovs 유닛은 여러 도시 간의 예술적 공동작업의 시간 경과로 아름다운 순간을 창조한다. 이 시간 경과에 의해 커버되는 기간은 분, 시간, 일, 또는 심지어 주 단위로 측정될 수 있으므로, 전 세계로부터 작품의 연접식 변형을 창조시킬 수 있다.

2.7.3 가상 포털:

PiMovs 시스템에 의해 인에이블된 다른 응용은 사용자에게 새로운 장소로의 가상적 이동을 제공하여 대규모로 대화하고, 이어서 친숙한 사람과 대화하고 공간에 거주하며 자연스러운 공동체를 구축하도록 한다. 센서가 사람을 추적하고 카메라를 사용하기 때문에, 다양한 구현에서, PiMovs 시스템은 사생활 보호를 위해 실시간으로 다른 PiMovs 유닛의 입체 투영체에서 렌더링된 사람을 흐릿하게 만들 것이다. 결과적으로, 사용자는 (다른 장소로부터의 입체 투영체를 통해) 다른 사람을 볼 수 있지만, 이 다른 사람의 얼굴을 식별할 수는 없다. 그러나, 사용자는 다른 사람들이 자신을 보고 가능하게는 자신과 상호작용할 수 있도록 하는 것을 원하는 경우 자신의 얼굴에서 스크램블링 알고리즘을 제거할 수 있다. 가상 포탈 응용의 다양한 구현에 대한 몇가지 특정 예시들 및 추가 옵션과 모드가 아래에 간단히 요약된다.

a. 위치 선택 " 룰렛(Roulette)": 어느 누구도 PiMovs 유닛에 접근하지 못했을 때, 전 세계의 다른 PiMovs 유닛들에 대한 포털의 모든 가능성으로 활성인 것으로 나타난다. 사람이 접근하거나 사람이 특정 범위 내에 있으면, PiMovs 유닛은 검색 기준을 충족하는 다른 입방체에 대한 포털을 검색하는 "룰렛" 모드에 진입한다. 그러한 기준의 예로는, 비제한적인 예시로서, 다른 PiMovs 유닛 주위의 활동, 아동이 아동과만 어울리도록 하기 위한 방문자의 연령, 세계 다른 지역의 일부 사용자에 대한 셔츠 색상과 일치하는 특정 위치에 대한 요청(예컨대, "파리로 가주세요" 또는 "포르투갈에 데려다 주세요") 등이 포함된다. 도 10은 이러한 구현의 예를 도시한다. 특히, 도 10은 PiMovs 유닛(1010)에 접근하는 사람(1000)을 도시한다. PiMovs 유닛(1010)은 이용가능한 포털들의 시각적으로 회전하는 격자를 나타내는 입체 투영체(1020)를 전 세계의 다른 PiMovs 유닛들에게 디스플레이하고 있다.

b. 루브르(또는 기타 장소)로의 포털: "룰렛"이 선택을 취하면, 상이한 PiMovs 유닛의 뷰로의 차원 포털이 해당 PiMovs 유닛의 장소로 열린다. 달리 말하면, 하나의 PiMovs 유닛의 입체 투영체는 다른 곳으로 이송될 수 있다. 다양한 구현에서, 사람들을 끌어들이기 위해, PiMovs 유닛에 대한 방문자의 근접도는 포털 환경이 얼마나 명료하게 또는 흐릿하게 보일지를 결정한다. 다양한 구현에서, PiMovs 시스템은 포털 내에서 사람들을 격리시켜서 인간 연결을 촉진시키기 위해 이 사람들을 명료하게 나타낼 것이다. 대화를 위해 입방체에 즉시 서있는 사람이 없으면, 방문자는 손을 흔들어서 포털 내 누군가의 주의를 끌 수 있다. 실제로, 도 11이 바로 그러한 예를 보여준다. 특히, 도 11은 상이한 장소에 있는 PiMovs 유닛(1120)의 포털을 통해 먼 거리에 있는 것으로 (입체 투영체로서) 보여질 수 있는 남성(1110)에게 손을 흔드는 여성(1100)을 보여준다. 그 후, 도 12는 두 개의 개별 PiMovs 유닛들을 통해 여성(1100)과 남성(1110) 간의 후속 대면 통신(실시간 비디오, 오디오 등)을 보여줌으로써 이 예시를 계속한다. 이 예에서 여성(1100)과 남성(1110) 모두는 각자의 각각의 로컬 PiMovs 유닛들을 통해 입체 투영체로서 서로 나타나 보인다. 또한, 이들 각자의 음성은 하나 이상의 로컬 PiMovs 센서들(예를 들어, 마이크로폰)에 의해 캡처되고, 다른 PiMovs 유닛으로 전송된 다음, 하나 이상의 오디오 출력 디바이스 등을 통해 재생된다.

c. 인터페이스 예시: 근접도 외에도, 윙크, 미소 또는 "안녕하세요"라고 말하는 것은 PiMovs 유닛 상의 환경이 반응케하고, 또렷해지도록 하며, 주의를 끌고, 사람들을 끌어들이게 한다. 상호작용이 끝나거나 사용자가 새 장소를 보기를 원하면, 뒤로 물러서는 것은 포털을 흐리게 만든다. 룰렛이 다시 시작하거나, 또는 다른 누군가가 프레임 내로 걸어 들어오면, 얼굴 인식은 포털을 계속 열린 상태로 머물게 하고 계속된 대화를 위해 또렷해지게 할 수 있다.

d. 인간 연결: 사람이 친밀한 대화를 위해 적합한 범위 내에 들어오면, 입방체 상의 포털은 명확해지고 명확해진 상태로 남는다. 외견상으로 다른 장소들에서 온 두 사람은 입방체를 사용하여 대면 대화를 한다. 도 11 및 도 12와 관련한 상기 논의 및 예시를 참조하라.

e. 가상 연결: "룰렛"이 결과를 산출하지 못하면, PiMovs 시스템은 사용자가 대화할 수 있는 "스마트" 아바타를 생성한다.

f. 실시간 통역: 다양한 두 사용자 커뮤니케이션 시나리오에서, PiMovs 시스템은 임의의 다양한 실시간 기계 통역 기술을 사용하여 각 사용자의 언어의 음성을 다른 사용자의 언어로 변환시킨다. 예를 들어, 이러한 기능을 통해 영어(또는 임의의 다른 언어) 현지인 화자는 각자의 PiMovs 유닛들을 통해 다른 사용자에게 제공되는 각 사용자의 입체 투영체를 통해 실시간으로 만다린 중국어(또는 임의의 다른 언어) 현지인 화자와 대화할 수 있게 한다.

g. 포털 기반 볼 게임: 다양한 구현에서, 폭넓게 다양한 공유 게임 기반 애플리케이션이 PiMovs 시스템에 의해 인에이블될 수 있다. 예를 들어, 그러한 하나의 게임에서, 사용자는 가상 볼을 "타격"하기 위한 제스처로서 NUI 입력(예를 들어, 공중에서의 손 스와이핑)을 사용한다. 그 후, 그 볼은 로컬 PiMovs 유닛의 임의의 다른 면으로 튀거나 해당 로컬 PiMovs 유닛 밖으로 나가서 원격 로컬 PiMovs 유닛에 도달되어 여러 사람이 전 세계의 다수의 상이한 로컬 PiMovs 유닛들로부터 볼을 함께 플레이할 수 있다. 사용자가 볼을 치면, 속도와 방향 벡터가 부여된다. 특정 측면 상에 사용자가 없으면, 그 벽은 단단해지고 볼은 튀어 나올 것이다. 또한, 볼은 최상부로부터 다른 입방체로 튀어나갈 수 있다. 다시 말하지만, 이 볼은, 자체적으로 렌더링될 수 있거나 또는 가상 볼이 튀어나오는 PiMovs 유닛에서 디스플레이되는 입체 투영체 상에 겹쳐질 수 있는 입체 투영체로서 모든 관련 PiMovs 유닛들에서 나타난다.

3.0 PiMovs 시스템의 동작 요약:

도 1 내지 도 12와 관련하여 전술되고, 위 섹션 1과 섹션 2에서 제공된 상세한 설명의 추가적인 모습으로 전술된 프로세스들은 도 13의 일반적인 동작 흐름도에 의해 심화적으로 설명된다. 특히, 도 13은 PiMovs 시스템의 다양한 구현 중 일부의 동작을 요약한 예시적인 동작 흐름도를 제공한다. 도 13은 여기에 설명된 PiMovs 시스템의 다양한 구현 모두를 포괄적으로 나타내도록 의도된 것이 아니며, 도 13에 나타낸 구현은 설명의 목적으로만 제공된다는 것을 유의해야 한다.

또한, 도 13에서 파선 또는 점선으로 표현된 임의의 박스들 및 박스들 간의 상호연결은 여기에 설명된 PiMovs 시스템의 선택적 또는 대안적 구현을 나타낸다는 것을 알아야 한다. 또한, 아래에 설명되는 바와 같이, 이러한 대안적 또는 선택적 구현들 중 일부 또는 전부는 본 명세서 전반에 걸쳐 설명되는 다른 대안적 구현들과 조합형태로 사용될 수 있다.

일반적으로, 도 13에서 도시된 바와 같이, PiMovs 시스템은 하나 이상의 컴퓨팅 디바이스(1300)를 사용하여 연접된 입체 투영체를 수신 및/또는 생성하는 동작으로 시작한다. 상술한 바와 같이, 이 연접식 입체 투영체는 연접된 디스플레이 표면 주위 및 인접한 디스플레이 표면들의 임의의 인접한 가장자리들에 걸쳐 연속되는 입체 투영체의 끊김없는 랩핑으로서 디스플레이 표면(1310) 상에 렌더링된다. 다양한 구현에서, 컴퓨팅 디바이스(1300)는 입체 투영체의 데이터베이스 또는 라이브러리로부터 하나 이상의 미리 정의된 입체 투영체(1350) 및 관련 콘텐츠를 수신한다는 점을 유념해 둔다.

하나 이상의 컴퓨팅 디바이스(1300)는 또한 기하학적 프레임워크 주위의 미리 결정된 반경 내의 한 명 이상의 사람들의 위치, 골격, 신체 모션, 머리 등을 추적하는데 사용하기 위해 추적 센서(1320)로부터 센서 데이터를 수신한다. 마찬가지로, 하나 이상의 컴퓨팅 디바이스(1300)는 또한 기하학적 프레임워크 주위의 미리 결정된 반경 내의 한 명 이상의 사용자들로부터 하나 이상의 NUI 센서(1330) 입력(예를 들어, 음성 또는 스피치, 제스처, 얼굴 표정, 시선, 터치 등)을 수신한다. 그 후, 하나 이상의 컴퓨팅 디바이스(1300)는 기하학적 프레임워크의 외부 주위의 미리 결정된 구역 내의 한 명 이상의 사람들의 추적된 위치 및/또는 NUI 입력에 응답하여, 디스플레이 표면들(1310) 상에 렌더링되거나, 투영되거나, 또는 이와 달리 디스플레이되는 입체 투영체를 동적으로 적응시킨다.

다양한 구현에서, PiMovs 유닛의 로컬 또는 원격 관리를 가능하게 하기 위해 관리 사용자 인터페이스(1340)가 제공된다. 일반적으로, 관리 사용자 인터페이스(1340)는 시스템 관리자, 또는 액세스 권한을 가진 사용자가, 비제한적인 예시로서, PiMovs 유닛의 컴퓨팅 디바이스들(1300)에 의해 구동되거나 실행될 애플리케이션을 (예를 들어, PiMovs 애플리케이션 라이브러리(1360)로부터) 선택하는 것, 사용자 맞춤화 파라미터를 입력하는 것 등을 비롯하여, 다양한 관리 작업을 수행할 수 있게 한다. 관리 사용자 인터페이스(1340)는 또한 시스템 관리자, 또는 액세스 권한을 가진 사용자가 하나 이상의 센서들(예컨대, 추적 센서(1320) 및/또는 NUI 센서(1330))를 구성할 수 있게 한다. 또한, 관리 사용자 인터페이스(1340)는 또한 시스템 관리자, 또는 액세스 권한을 가진 사용자가 (예를 들어, 미리 정의된 PiMovs 테마(1370)의 데이터베이스 또는 라이브러리로부터) 디폴트 테마를 정의하거나 또는 선택할 수 있게 한다.

상술한 바와 같이, 다양한 구현에서, PiMovs 시스템은 또한 다양한 오디오 출력 디바이스들(1380)을 포함한다. 일반적으로, 이러한 오디오 출력 디바이스들(1380)(예를 들어, 스피커 또는 오디오 출력 채널)은 입체 투영체에 대응하는 오디오를 단순히 출력한다. 또한, 이러한 오디오 출력 디바이스들(1380)은 또한 다양한 통신 유형 응용(예를 들어, 도 12와 관련하여 섹션 2.7.2에서의 상기 설명 참조)과 함께 사용될 수 있음을 유념해 둔다.

마지막으로, 다양한 구현에서, PiMovs 시스템은 또한 하나 이상의 통신 또는 네트워크 인터페이스를 사용하여, 비제한적인 예시로서, 다른 PiMovs 유닛들, 클라우드 기반 저장장치, 공용 또는 사설 네트워크, 인터넷, 사용자 컴퓨팅 디바이스 또는 스마트 폰 등을 비롯한 다양한 소스들로 데이터를 송신하거나 수신하는 통신 인터페이스(1390) 등을 포함한다.

4.0 청구범위 지지:

아래의 단락은 본 명세서에서 청구될 수 있는 구현의 다양한 예시들을 요약한다. 그러나, 아래에 요약된 구현은 PiMovs 시스템의 상세한 설명의 관점에서 청구될 수 있는 발명내용을 제한시키려고 의도된 것은 아님을 이해해야 한다. 또한, 아래에 요약된 구현의 일부 또는 전부는 상세한 설명 및 하나 이상의 도면에 도시된 임의의 구현을 통해 기술된 구현의 일부 또는 전부와의 임의의 원하는 조합으로 청구될 수 있다. 또한, 아래의 구현들은 본 명세서 전반에 걸쳐 설명된 상세한 설명 및 도면을 고려하여 이해되도록 의도된 것임을 유념해야 한다.

다양한 구현에서, PiMovs 시스템은 사람들이 상호작용 디스플레이 시스템을 포함하는 기하학적 프레임워크의 외부 주위를 이동할 때 한 명 이상의 사람들의 추적된 위치에 응답하여 연접식 입체 투영체를 동적으로 적응시키기 위한 수단에 의해 구현되는 상호작용 디스플레이 시스템을 제공한다.

예를 들어, 다양한 구현에서, 상호작용 디스플레이는 360도 기하학적 프레임워크의 둘레부를 덮거나 또는 이를 생성하도록 배열된 연접된 디스플레이 표면을 제공함으로써 구현된다. 또한, 하나 이상의 위치 감지 디바이스가 기하학적 프레임워크 주위의 미리 결정된 반경 내의 한 명 이상의 사람들의 위치를 추적하는데 적용된다. 그런 후, 디스플레이 표면들 상에서 연접식 입체 투영체를 생성하기 위해 하나 이상의 컴퓨팅 디바이스가 적용된다. 또한, 이러한 연접식 입체 투영체는 연접된 디스플레이 표면을 포함하는 임의의 인접한 디스플레이 표면들의 임의의 가장자리들에 걸쳐 연접식 입체 투영체의 끊김없는 랩핑을 제공한다. 또한, 연접식 입체 투영체는 한 명 이상의 사람들이 기하학적 프레임워크의 외부 주위를 이동할 때 한 명 이상의 사람들의 모션에 응답하여 연접식 입체 투영체를 동적으로 조정함으로써 추적된 위치에 동적으로 적응된다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는, 한 명 이상의 사람들이 기하학적 프레임워크의 바깥 주위를 이동할 때 이 한 명 이상의 사람들에 대해 기하학적 프레임워크 내 공간에서 일관된 위치를 연접식 입체 투영체 내의 객체들이 차지하는 것으로 나타나도록 연접식 입체 투영체를 추적된 위치들에 동적으로 적응시키기 위한 수단, 프로세스, 또는 기술들과 결합될 수 있다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는 기하학적 프레임워크의 대응하는 섹션을 형성하기 위해 하나 이상의 인접한 가장자리들을 따라 함께 결합되는 하나 이상의 후면 투영 디스플레이 패널을 포함함으로써 연접된 디스플레이 표면을 구현하기 위한 수단, 프로세스, 또는 기술들과 결합될 수 있다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는 연접된 디스플레이 표면의 하나 이상의 디스플레이 패널들을 결합시켜 대응하는 이음선에서 디스플레이 패널들의 광학적 특성을 보존함으로써 대응하는 이음선에서의 입체 투영체의 광학적 왜곡을 최소화하는 수단, 프로세스, 또는 기술들과 결합될 수 있다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는 기하학적 프레임워크의 내부에 하나 이상의 프로젝터들을 배열 또는 위치시켜서 입체 투영체의 일부를 후면 투영 디스플레이 패널의 대응 부분 상에 투영하기 위한 수단, 프로세스, 또는 기술들과 결합될 수 있다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는 기하학적 프레임워크 주위의 미리 결정된 구역 내의 한 명 이상의 사람들의 모션에 응답하여, 하나 이상의 미리 정의된 입체 투영체의 세트로부터 연접식 입체 투영체를 자동으로 선택하기 위한 수단, 프로세스, 또는 기술들과 결합될 수 있다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는 한 명 이상의 사람들로부터의 하나 이상의 내추럴 사용자 인터페이스(NUI) 입력들에 연접식 입체 투영체를 동적으로 적응시키기 위한 수단, 프로세스, 또는 기술들과 결합될 수 있다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는 기하학적 프레임워크의 둘레부 주위의 일정한 최소 거리에 있는 미리 정의된 상호작용 구역 내의 한 명 이상의 사람들로부터 NUI 입력을 수용하기 위한 수단, 프로세스, 또는 기술과 결합될 수 있다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는 연접식 입체 투영체를 각각 포함하는 다수의 상호작용 디스플레이들 사이에서 실시간 상호작용을 가능하게 하는 통신 인터페이스를 제공하기 위한 수단, 프로세스, 또는 기술들과 결합될 수 있다.

추가 구현에서, 입체 투영체를 디스플레이하기 위한 시스템은, 연접식 입체 투영체가 임의의 인접한 디스플레이 표면들의 임의의 인접한 가장자리들에 걸쳐 연접식 입체 투영체의 끊김없는 랩핑을 제공하도록, 연접식 기하학적 프레임워크의 둘레부를 형성하는 하나 이상의 디스플레이 표면들 상에 연접식 입체 투영체를 렌더링하기 위한 수단, 프로세스, 또는 기술들을 통해 제공된다. 이러한 구현은 또한 센서 데이터를 수신하고 기하학적 프레임워크 주위의 미리 결정된 반경 내의 한 명 이상의 사람들의 위치를 추적할 수 있다. 또한, 그러한 구현은 또한 기하학적 프레임워크 주위의 미리 결정된 반경 내의 한 명 이상의 사람들로부터 내추럴 사용자 인터페이스(NUI) 입력을 수신할 수 있다. 또한, 그러한 구현은 또한 추적된 위치들 및 NUI 입력들에 응답하여 연접식 입체 투영체를 동적으로 적응시킬 수 있다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는, 한 명 이상의 사람들이 기하학적 프레임워크의 바깥 주위를 이동할 때 이 한 명 이상의 사람들에 대해 기하학적 프레임워크 내 공간에서 일관된 위치를 연접식 입체 투영체 내의 객체들이 차지하는 것으로 나타나도록 연접식 입체 투영체를 한 명 이상의 사람들의 추적된 위치들에 동적으로 적응시키기 위한 수단, 프로세스, 또는 기술들과 결합될 수 있다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는 하나 이상의 인접한 가장자리들을 따라 함께 결합된 후면 투영 디스플레이 패널들로부터 하나 이상의 디스플레이 표면들을 구성하기 위한 수단, 프로세스, 또는 기술들과 결합될 수 있다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는 기하학적 프레임워크의 내부에 하나 이상의 프로젝터들을 배열 또는 위치시켜서 입체 투영체의 연접된 부분들을 후면 투영 디스플레이 패널의 대응 부분 상에 투영하기 위한 수단, 프로세스, 또는 기술들과 결합될 수 있다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는 개별적이고, 관련되거나 또는 공유된 연접식 입체 투영체를 각각 제공할 수 있는 입체 투영체를 디스플레이하기 위한 시스템의 다수의 인스턴스들 간의 실시간 상호작용을 제공하기 위한 통신 인터페이스를 구현하기 위한 수단, 프로세스, 또는 기술들과 결합될 수 있다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는 사람들이 시스템들 사이에서 실시간으로 통신할 수 있게 하는 동적 입체 렌더링을 제공하기 위해 입체 투영체를 디스플레이하기 위한 둘 이상의 시스템들 사이에 입체 투영체를 공유하기 위한 수단, 프로세스, 또는 기술들과 결합될 수 있다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는 한 명 이상의 사람들이 NUI 제스처를 사용하여 시스템들의 상이한 인스턴스들 사이에서 볼을 플레이하도록 해주는 실시간 상호작용 가상 볼 게임의 동적 입체 렌더링을 제공하기 위해 입체 투영체를 디스플레이하기 위한 둘 이상의 시스템들 사이에 입체 투영체를 공유하기 위한 수단, 프로세스, 또는 기술들과 결합될 수 있다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는 기하학적 프레임워크 주위의 미리 결정된 반경 내의 한 명 이상의 사람들의 NUI 입력에 실시간으로 반응하는 가상 아바타를 제공하도록 기하학적 투영체를 적용하기 위한 수단, 프로세스, 또는 기술들과 결합될 수 있다.

추가적인 구현에서, 입체 디스플레이 디바이스는 복수의 인접한 디스플레이 표면들을 함께 결합하여 연접식 기하학적 프레임워크의 둘레부 및 최상부를 형성하기 위한 수단, 프로세스, 또는 기술들을 통해 제공된다. 입체 디스플레이 디바이스는 각각의 인접한 디스플레이 표면의 각각의 인접한 가장자리에 걸쳐 끊김없는 랩핑으로서 연접식 입체 투영체를 렌더링하기 위한 컴퓨팅 디바이스를 적용한다. 컴퓨팅 디바이스는 또한 기하학적 프레임워크 주위의 미리 결정된 반경 내의 한 명 이상의 사람들의 위치를 추적하기 위한 센서 데이터를 수신하도록 적용된다. 또한, 컴퓨팅 디바이스는, 한 명 이상의 사람들이 기하학적 프레임워크의 바깥 주위를 이동할 때 이 한 명 이상의 사람들에 대해 기하학적 프레임워크 내 공간에서 일관된 위치를 연접식 입체 투영체 내의 객체들이 차지하는 것으로 나타나도록 추적된 위치들에 응답하여 연접식 입체 투영체를 동적으로 적응시키도록 적용된다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는 미리 결정된 반경 내의 한 명 이상의 사람들로부터 내추럴 사용자 인터페이스(NUI) 입력들을 수신하도록 컴퓨팅 디바이스를 적용하기 위한 수단, 프로세스, 또는 기술들과 결합될 수 있다.

또한, 이전 단락들 중 임의의 단락에서 기술된 구현들은 또한 하나 이상의 추가적인 구현들 및 대안들과 결합될 수 있다. 예를 들어, 앞의 구현들의 일부 또는 전부는 하나 이상의 NUI 입력들에 응답하여 연접식 입체 투영체를 동적으로 적응시키도록 컴퓨팅 디바이스를 적용하기 위한 수단, 프로세스, 또는 기술들과 결합될 수 있다.

5.0 예시적인 동작 환경:

여기에 설명된 PiMovs 시스템은 다양한 유형의 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성 내에서 작동한다. 도 14는 본 명세서에서 설명된, PiMovs 시스템의 다양한 구현 및 엘리먼트가 구현될 수 있는 범용 컴퓨터 시스템의 단순화된 예시를 도시한다. 도 14에서 파선 또는 점선으로 표시된 임의의 박스들은 단순화된 컴퓨팅 디바이스의 대안적인 구현을 나타낸다는 것과, 아래 설명되는 바와 같이, 이러한 대안적인 구현 중 일부 또는 전부는 본 명세서 전반에 걸쳐 설명되는 다른 대안적인 구현과 조합하여 사용될 수 있다는 것을 알아야 한다.

예를 들어, 도 14는 간략화된 컴퓨팅 디바이스(1400)를 보여주는 일반적인 시스템도를 도시한다. PiMovs 시스템으로 동작가능한 그러한 디바이스들의 예로는, 비제한적인 예시로서, 휴대용 전자 디바이스, 착용식 컴퓨팅 디바이스, 핸드헬드 컴퓨팅 디바이스, 랩탑 또는 모바일 컴퓨터, 셀 폰, 스마트 폰 및 PDA와 같은 통신 디바이스, 멀티프로세서 시스템 , 마이크로프로세서 기반 시스템, 셋톱 박스, 프로그래머블 가전 제품, 네트워크 PC, 미니 컴퓨터, 오디오 또는 비디오 미디어 플레이어, 핸드헬드 원격 제어 디바이스 등이 포함된다. 또한 PiMovs 시스템은 광범위한 전자 디바이스 또는 객체와 통신하거나 또는 이와 달리 이와 결합된 임의의 터치 스크린 또는 터치 감지 표면으로 구현될 수 있다.

디바이스가 PiMovs 시스템을 구현할 수 있게 하기 위해, 컴퓨팅 디바이스(1400)는 기본적인 연산 동작을 가능하게 하는데 충분한 연산 능력 및 시스템 메모리를 가져야 한다. 또한, 컴퓨팅 디바이스(1400)는 비제한적인 예시로서, 가속도계, 카메라, 용량성 센서, 근접도 센서, 마이크로폰, 멀티 스펙트럼 센서 등을 비롯한, 하나 이상의 센서(1405)를 포함할 수 있다. 또한, 컴퓨팅 디바이스(1400)는 또한 PiMovs 시스템의 다양한 구현을 구현하는데 사용하기 위한 선택적인 시스템 펌웨어(1425)(또는 다른 펌웨어 또는 프로세서 액세스가능 메모리 또는 저장장치)를 포함할 수 있다.

도 14에 도시된 바와 같이, 컴퓨팅 디바이스(1400)의 연산 능력은 일반적으로 하나 이상의 프로세싱 유닛(들)(1410)에 의해 예시되며, 또한 하나 이상의 GPU(1415)를 포함할 수 있으며, 이들 모두 또는 하나는 시스템 메모리(1420)와 통신한다. 컴퓨팅 디바이스(1400)의 프로세싱 유닛(들)(1410)은 DSP, VLIW 또는 다른 마이크로제어기와 같은 특수 마이크로프로세서일 수 있거나, 또는 멀티 코어 CPU 내의 특수 GPU 기반 코어를 포함하는 하나 이상의 프로세싱 코어를 갖는 종래의 CPU일 수 있음을 유념해 둔다.

또한, 단순화된 컴퓨팅 디바이스(1400)는 예를 들어, 통신 인터페이스(1430)와 같은 다른 컴포넌트를 또한 포함할 수 있다. 단순화된 컴퓨팅 디바이스(1400)는 또한 하나 이상의 종래의 컴퓨터 입력 디바이스(1440) 또는 그러한 디바이스들(예컨대, 터치 스크린, 터치 감지 표면, 포인팅 디바이스, 키보드, 오디오 입력 디바이스, 음성 또는 스피치 기반 입력 및 제어 디바이스, 비디오 입력 디바이스, 햅틱 입력 디바이스, 유선 또는 무선 데이터 전송을 수신하기 위한 디바이스 등)의 조합을 포함할 수 있다.

마찬가지로, 하나 이상의 사용자들, PiMovs 시스템과 관련된 다른 디바이스들 또는 시스템들에 대한 입력, 출력, 제어, 피드백, 및 응답을 포함하여, 단순화된 컴퓨팅 디바이스(1400) 및 PiMovs 시스템의 임의의 다른 컴포넌트 또는 특징과의 다양한 상호작용들은 다양한 내추럴 사용자 인터페이스(NUI) 시나리오에 의해 인에이블된다. PiMovs 시스템에 의해 인에이블된 NUI 기술과 시나리오에는, 비제한적인 예시로서, 마우스, 키보드, 리모컨 등과 같은 입력 디바이스에 의해 부과된 인위적인 제약이 없는 "내추럴" 방식으로 하나 이상의 사용자가 PiMovs 시스템과 상호작용할 수 있게 해주는 인터페이스 기술이 포함된다.

이러한 NUI 구현은 비제한적인 예시로서, 사용자의 스피치로부터 도출된 NUI 정보 또는 마이크로폰 또는 다른 센서를 통해 캡처된 발성음(vocalizations)을 이용하는 것을 비롯하여, 다양한 기술의 사용에 의해 가능해진다. 이러한 NUI 구현은 또한 2D 또는 깊이 카메라(예컨대, 스테레오스코픽 또는 TOF(time-of-flight) 카메라 시스템, 적외선 카메라 시스템, RGB 카메라 시스템, 그러한 디바이스의 조합 등)와 같은 이미징 디바이스를 사용하여 캡처된 사용자 손, 손가락, 손목, 팔, 다리, 신체, 머리, 눈 등의 위치, 모션 또는 배향으로부터 사용자 얼굴 표정으로부터 도출된 정보를 비롯한 다양한 기술의 사용에 의해 가능해진다. 추가적인 예시들에는, 비제한적인 예시로서, 터치 및 스타일러스 인식, (스크린 상에서 그리고 스크린 또는 디스플레이 표면에 인접한 곳에서의) 제스처 인식, 공기 또는 접촉 기반 제스처, 다양한 표면, 객체 또는 다른 사용자에 대한 사용자 터치, 호버 기반 입력 또는 동작 등으로부터 도출된 NUI 정보가 포함된다. 또한, NUI 구현은 또한, 비제한적인 예시로서, 사용자의 의도, 희망, 및/또는 목표와 같은 정보를 예측하기 위해 단독으로 또는 다른 NUI 정보와 함께, 현재 또는 과거의 사용자 행동, 입력, 동작 등을 평가하는 다양한 예측 머신 지능 프로세스의 사용을 포함한다. NUI 기반 정보의 유형이나 소스와 관계없이, 그러한 정보는 PiMovs 시스템의 하나 이상의 입력, 출력, 동작 또는 기능적 특징을 개시하거나, 종료하거나, 또는 이와 달리 제어 또는 상호작용하는데 사용된다.

그러나, 이러한 NUI 시나리오는 인공적인 제약 또는 추가적인 신호의 사용을 NUI 입력의 임의의 조합과 함께 결합함으로써 더 보강될 수 있음을 이해해야 한다. 이러한 인공적인 제약 또는 추가적인 신호는 마우스, 키보드, 리모콘과 같은 입력 디바이스에 의해, 또는 가속도계, 사용자의 근육에 의해 생성된 전기 신호를 나타내는 근전 신호를 수신하기 위한 근전도 검사(EMG) 센서, 심장 박동 모니터, 사용자의 땀을 측정하기 위한 갈바닉 피부 전도 센서, 사용자의 두뇌 활동 또는 전기장을 측정하거나 그렇지 않고 이를 감지하기 위한 착용식 또는 원격 바이오센서, 사용자 체온 변화 또는 차분을 측정하기 위한 착용식 또는 원격 바이오센서 등과 같은 다양한 원격 또는 사용자 착용 디바이스에 의해 부과되거나 생성될 수 있다. 이러한 유형의 인공적인 제약 또는 추가적인 신호로부터 도출된 임의의 이러한 정보는 PiMovs 시스템의 하나 이상의 입력, 출력, 동작, 또는 기능적 특징을 시작하거나, 종료하거나 또는 이와 달리 이를 제어하거나 상호작용하기 위해 임의의 하나 이상의 NUI 입력과 결합될 수 있다.

단순화된 컴퓨팅 디바이스(1400)는 또한, 예를 들어, 하나 이상의 종래의 컴퓨터 출력 디바이스(1450)(예컨대, 디스플레이 디바이스(1455), 오디오 출력 디바이스, 비디오 출력 디바이스, 유선 또는 무선 데이터 전송을 전송하기 위한 디바이스 등)와 같은 다른 선택적 컴포넌트를 포함할 수 있다. 범용 컴퓨터를 위한 통상적인 통신 인터페이스(1430), 입력 디바이스(1440), 출력 디바이스(1450) 및 저장 디바이스(1460)는 당업자에게 잘 알려져 있으므로 여기에서는 상세히 설명하지 않는다는 것을 유념해 둔다.

단순화된 컴퓨팅 디바이스(1400)는 또한 다양한 컴퓨터 판독가능 매체를 포함할 수 있다. 컴퓨터 판독가능 매체는 저장 디바이스(1460)를 통해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 컴퓨터 판독가능 또는 컴퓨터 실행가능 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터와 같은 정보의 저장을 위해 착탈가능 매체(1470) 및/또는 착탈불가능 매체(1480)인 휘발성 및 비 휘발성 매체를 모두 포함한다.

비제한적인 예시로서, 컴퓨터로 판독가능한 매체는 컴퓨터 저장 매체와 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 DVD, CD, 플로피 디스크, 테이프 드라이브, 하드 드라이브, 광 드라이브, 솔리드 스테이트 메모리 디바이스, RAM, ROM, EEPROM, 플래시 메모리, 또는 기타 메모리 기술, 자기 카세트, 자기 테이프, 자기 디스크 저장장치, 또는 다른 자기 저장 디바이스, 또는 원하는 정보를 저장하는데 사용될 수 있고 하나 이상의 컴퓨팅 디바이스에 의해 액세스될 수 있는 임의의 다른 디바이스와 같은 유형적 컴퓨터 또는 기계 판독가능 매체 또는 저장 디바이스를 말한다.

대조적으로, 컴퓨터 판독가능 또는 컴퓨터 실행가능 명령어, 데이터 구조, 프로그램 모듈 등과 같은 정보의 저장 또는 보관은 또한 하나 이상의 변조된 데이터 신호 또는 반송파를 인코딩하기 위한 전술한 임의의 다양한 통신 매체, 또는 다른 전송 메커니즘 또는 통신 프로토콜을 사용함으로써 달성될 수 있으며, 임의의 유선 또는 무선 정보 전달 메커니즘을 포함한다. "변조된 데이터 신호" 또는 "반송파"의 용어는 해당 신호 내에 정보를 인코딩하는 방식으로 설정되거나 또는 변경된 하나 이상의 특성들을 갖는 신호를 의미한다는 것을 유념한다. 예를 들어, 통신 매체는 하나 이상의 변조된 데이터 신호를 전달하는 유선 네트워크 또는 직접 유선 연결과 같은 유선 매체, 및 하나 이상의 변조된 데이터 신호 또는 반송파를 송신 및/또는 수신하기 위한 음향, RF, 적외선, 레이저, 및 다른 무선 매체와 같은 무선 매체를 포함한다. 임의의 상기 사항들의 조합들이 또한 통신 매체의 범위 내에 포함되어야 한다.

또한, 여기에 설명된 PiMovs 시스템의 다양한 구현들의 일부 또는 전부를 구체화하는 소프트웨어, 프로그램 및/또는 컴퓨터 프로그램 제품은, 또는 그 일부는 컴퓨터 실행가능 명령어 또는 다른 데이터 구조의 형태로, 컴퓨터 또는 머신판독가능 매체 또는 저장 디바이스 및 통신 매체의 읨의의 원하는 조합으로부터 저장되거나, 수신되거나, 전송되거나 또는 판독될 수 있다.

마지막으로, 여기서 설명된 PiMovs 시스템은 프로그램 모듈들과 같이, 컴퓨팅 디바이스에 의해 실행되는 컴퓨터 실행가능 명령어들의 일반적 환경에서 더 설명될 수 있다. 일반적으로, 프로그램 모듈은 특정한 태스크들을 수행하거나 특정한 추상적 데이터 유형들을 구현하는, 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 데이터 구조들 등을 포함한다.

본 명세서에서 설명된 구현들은 또한 하나 이상의 작업들이 하나 이상의 원격 프로세싱 디바이스들에 의해 수행되는 분산형 컴퓨팅 환경에서, 또는 하나 이상의 통신 네트워크들을 통해 링크된 하나 이상의 디바이스들의 클라우드(cloud) 내에서 실시될 수 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈들은 매체 저장 디바이스들을 비롯한 로컬 및 원격 컴퓨터 저장 매체 둘 다에 위치할 수 있다. 또한, 전술한 명령어들은 프로세서를 포함하거나 포함하지 않을 수 있는 하드웨어 로직 회로로서 부분적으로 또는 전체적으로 구현될 수 있다.

대안적으로, 또는 추가적으로, 여기서 설명된 기능들 모두 또는 그 일부는 적어도 부분적으로, 하나 이상의 하드웨어 로직 컴포넌트들에 의해 수행될 수 있다. 예를 들어, 비제한적인 예시로서, 이용될 수 있는 예시적인 유형들의 하드웨어 로직 컴포넌트들은 FPGA(Field-programmable Gate Array), ASIC(application-specific Integrated Circuit), ASSP(application-specific Standard Product), SOC(System-on-a-chip system), CPLD(Complex Programmable Logic Device) 등을 포함한다.

PiMovs 시스템의 전술한 설명은 예시 및 설명의 목적으로 제공되었다. 청구된 발명내용을 개시된 정확한 형태들로 망라시키거나 또는 한정시키는 것을 의도하지는 않는다. 상기 교시를 통해 많은 변형과 변경이 가능하다. 또한, 전술한 대안적인 구현들 모두 또는 일부는 PiMovs 시스템의 추가적인 하이브리드 구현을 형성하기 위해 희망에 따라 임의의 조합으로 사용될 수 있다는 것을 알아야 한다. 본 발명의 범위는 이러한 상세한 설명에 의해 한정되기 보다는, 여기에 첨부된 청구항들에 의해 한정되는 것을 의도하는 바이다. 본 발명내용은 구조적 특징들 및/또는 방법론적 동작들에 특유적인 용어로 기술되었지만, 첨부된 청구항들에서 정의된 발명내용은 위에서 설명된 이러한 특정한 특징들 또는 동작들로 반드시 제한될 필요는 없다는 것을 이해하여야 한다. 이보다는, 전술한 특정 특징 및 동작은 청구범위를 구현하는 예시적인 형태로서 개시된 것이며, 다른 등가적인 특징 및 동작은 청구범위 내에 있는 것으로 의도된다.

Claims

상호작용 디스플레이에 있어서,
360도 기하학적 프레임워크의 둘레부(perimeter)를 덮도록 배열된 연접된(contiguous) 디스플레이 표면;
상기 기하학적 프레임워크 주위의 미리 결정된 반경 내의 한 명 이상의 사람들의 위치를 추적하는 하나 이상의 위치 감지 디바이스들; 및
디스플레이 표면들 상에서 연접식 입체 투영체(contiguous volumetric projection)를 함께 생성하는 하나 이상의 컴퓨팅 디바이스들
을 포함하고,
상기 연접식 입체 투영체는 상기 연접된 디스플레이 표면을 포함하는 임의의 인접한 디스플레이 표면들의 임의의 가장자리들에 걸쳐 상기 연접식 입체 투영체의 끊김없는 랩핑(seamless wrapping)을 제공하며,
상기 연접식 입체 투영체는 한 명 이상의 사람들이 상기 기하학적 프레임워크의 외부 주위를 이동할 때 상기 한 명 이상의 사람들의 모션에 응답하여 상기 연접식 입체 투영체를 동적으로 조정함으로써 상기 추적된 위치에 동적으로 적응되는 것인, 상호작용 디스플레이.
제1항에 있어서,
상기 연접식 입체 투영체는, 상기 한 명 이상의 사람들이 상기 기하학적 프레임워크의 외부 주위를 이동할 때 상기 한 명 이상의 사람들에 대해 상기 기하학적 프레임워크 내 공간에서 일관된 위치를 상기 연접식 입체 투영체 내의 객체들이 차지하는 것으로 나타나도록, 상기 추적된 위치에 동적으로 적응되는 것인, 상호작용 디스플레이.
제1항에 있어서,
상기 연접된 디스플레이 표면은, 상기 기하학적 프레임워크의 대응하는 섹션을 형성하기 위해 하나 이상의 인접한 가장자리들을 따라 함께 결합되는 하나 이상의 후면 투영 디스플레이 패널들을 포함하는 것인, 상호작용 디스플레이.
제3항에 있어서,
상기 입체 투영체의 일부를 상기 후면 투영 디스플레이 패널들의 대응 부분 상에 투영하기 위해 상기 기하학적 프레임워크의 내부에 하나 이상의 프로젝터들이 배열되는 것인, 상호작용 디스플레이.
제1항 또는 제2항 또는 제3항에 있어서,
상기 연접식 입체 투영체는, 상기 기하학적 프레임워크 주위의 미리 결정된 구역 내의 한 명 이상의 사람들의 모션에 응답하여, 하나 이상의 미리 정의된 입체 투영체의 세트로부터 자동으로 선택되는 것인, 상호작용 디스플레이.
제1항 또는 제2항 또는 제3항 또는 제5항에 있어서,
상기 연접식 입체 투영체는 상기 기하학적 프레임워크의 둘레부 주위의 미리 정의된 상호작용 구역 내의 한 명 이상의 사람들로부터의 하나 이상의 내추럴 사용자 인터페이스(natural user interface; NUI) 입력들에 동적으로 적응되는 것인, 상호작용 디스플레이.
제1항 또는 제2항 또는 제3항 또는 제4항 또는 제6항에 있어서,
연접식 입체 투영체를 각각 포함하는 다수의 상호작용 디스플레이들 사이에서 실시간 상호작용을 가능하게 하는 통신 인터페이스
를 더 포함하는 상호작용 디스플레이.
입체 투영체를 디스플레이하는 시스템에 있어서,
범용 컴퓨팅 디바이스; 및
상기 컴퓨팅 디바이스에 의해 실행가능한 프로그램 모듈들을 포함하는 컴퓨터 프로그램
을 포함하고,
상기 컴퓨팅 디바이스는 상기 컴퓨터 프로그램의 상기 프로그램 모듈들에 의해,
연접식 입체 투영체가 임의의 인접한 디스플레이 표면들의 임의의 인접한 가장자리들에 걸쳐 상기 연접식 입체 투영체의 끊김없는 랩핑을 제공하도록, 연접식 기하학적 프레임워크의 둘레부를 형성하는 하나 이상의 디스플레이 표면들 상에 상기 연접식 입체 투영체를 렌더링하고,
센서 데이터를 수신하고 상기 기하학적 프레임워크 주위의 미리 결정된 반경 내의 한 명 이상의 사람들의 위치를 추적하고,
상기 기하학적 프레임워크 주위의 미리 결정된 반경 내의 한 명 이상의 사람들로부터 내추럴 사용자 인터페이스(NUI) 입력들을 수신하며,
상기 추적된 위치들 및 상기 NUI 입력들에 응답하여 상기 연접식 입체 투영체를 동적으로 적응시킬 것을 지시받는 것인, 입체 투영체를 디스플레이하는 시스템.
제8항에 있어서,
상기 연접식 입체 투영체는, 상기 한 명 이상의 사람들이 상기 기하학적 프레임워크의 외부 주위를 이동할 때 상기 한 명 이상의 사람들에 대해 상기 기하학적 프레임워크 내 공간에서 일관된 위치를 상기 연접식 입체 투영체 내의 객체들이 차지하는 것으로 나타나도록, 상기 추적된 위치에 동적으로 적응되는 것인, 입체 투영체를 디스플레이하는 시스템.
입체 디스플레이 디바이스에 있어서,
연접식 기하학적 프레임워크의 둘레부 및 최상부를 형성하도록 함께 결합된 복수의 인접한 디스플레이 표면들;
각각의 인접한 디스플레이 표면의 각각의 인접한 가장자리에 걸쳐 끊김없는 랩핑으로서 연접식 입체 투영체를 렌더링하기 위한 컴퓨팅 디바이스
를 포함하고,
상기 컴퓨팅 디바이스를 이용하여, 상기 기하학적 프레임워크 주위의 미리 결정된 반경 내의 한 명 이상의 사람들의 위치를 추적하기 위한 센서 데이터를 수신하며,
상기 컴퓨팅 디바이스를 이용하여, 상기 한 명 이상의 사람들이 상기 기하학적 프레임워크의 외부 주위를 이동할 때 상기 한 명 이상의 사람들에 대해 상기 기하학적 프레임워크 내 공간에서 일관된 위치를 상기 연접식 입체 투영체 내의 객체들이 차지하는 것으로 나타나도록 상기 추적된 위치에 응답하여 상기 연접식 입체 투영체를 동적으로 적응시키는 것인, 입체 디스플레이 디바이스.
제8항에 있어서,
하나 이상의 디스플레이 표면들은 하나 이상의 인접한 가장자리들을 따라 함께 결합되는 후면 투영 디스플레이 패널들이고;
상기 입체 투영체의 연접된 일부분들을 상기 후면 투영 디스플레이 패널들의 대응 부분 상에 투영하기 위해 상기 기하학적 프레임워크의 내부에 하나 이상의 프로젝터들이 배열되는 것인, 입체 투영체를 디스플레이하는 시스템.
제8항 또는 제11항에 있어서,
통신 인터페이스는 연접식 입체 투영체를 각각 포함하는, 제8항의 시스템의 다수의 인스턴스들 간에 실시간 상호작용을 가능하게 하는 것인, 입체 투영체를 디스플레이하는 시스템.
제12항에 있어서,
둘 이상의 상기 시스템의 상기 입체 투영체는 한 명 이상의 사람들이 이들 시스템 간에 실시간으로 통신하는 동적 입체 렌더링을 제공하는 것인, 입체 투영체를 디스플레이하는 시스템.
제8항 또는 제11항 또는 제12항 또는 제13항에 있어서,
상기 입체 투영체는 상기 기하학적 프레임워크 주위의 상기 미리 결정된 반경 내의 한 명 이상의 사람들의 NUI 입력에 실시간으로 반응하는 가상 아바타를 제공하는 것인, 입체 투영체를 디스플레이하는 시스템.
제10항에 있어서,
상기 컴퓨팅 디바이스는 상기 미리 결정된 반경 내의 한 명 이상의 사람들로부터 내추럴 사용자 인터페이스(NUI) 입력들을 수신하며,
상기 컴퓨팅 디바이스는 하나 이상의 NUI 입력들에 응답하여 상기 연접식 입체 투영체를 동적으로 적응시키는 것인, 입체 디스플레이 디바이스.