KR20140024895A - 투사된 참조 패턴을 갖는 물체 추적 - Google Patents

투사된 참조 패턴을 갖는 물체 추적 Download PDF

Info

Publication number
KR20140024895A
KR20140024895A KR1020137029934A KR20137029934A KR20140024895A KR 20140024895 A KR20140024895 A KR 20140024895A KR 1020137029934 A KR1020137029934 A KR 1020137029934A KR 20137029934 A KR20137029934 A KR 20137029934A KR 20140024895 A KR20140024895 A KR 20140024895A
Authority
KR
South Korea
Prior art keywords
beacon
projected
positions
pattern
position data
Prior art date
Application number
KR1020137029934A
Other languages
English (en)
Other versions
KR101661714B1 (ko
Inventor
도미닉 에스. 말린슨
Original Assignee
소니 컴퓨터 엔터테인먼트 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 컴퓨터 엔터테인먼트 인코포레이티드 filed Critical 소니 컴퓨터 엔터테인먼트 인코포레이티드
Publication of KR20140024895A publication Critical patent/KR20140024895A/ko
Application granted granted Critical
Publication of KR101661714B1 publication Critical patent/KR101661714B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/72—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using ultrasonic, sonic or infrasonic waves
    • G01S1/725—Marker, boundary, call-sign or like beacons transmitting signals not carrying directional information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image

Abstract

천장과 같은 룸의 내부 표면에 투사된 패턴을 이용하여 룸 내에서 물체의 위치 및 방향을 추적하는 시스템 및 방법이 제공된다. 시스템은 물체의 위치 및/또는 방향이 변경될 때 투사된 패턴에서 상대적 변경을 감지하기 위해 물체에 내장된 적어도 하나의 광 위치 감지 장치를 포함한다. 특정 시스템에서, 패턴은 하나 이상의 조향 가능한 레이저에 의해 투사된 복수의 비콘을 포함한다. 투사된 비콘은 다양한 룸 토폴로지를 수용하도록 자동으로 조향될 수 있다. 추가적인 광 위치 감지 장치는 투사된 패턴 및 물체의 하나 또는 둘 다를 관찰하도록 투사된 패턴에 대해 알려진 물리적 위치에 배치될 수 있다. 물체의 위치 데이터의 서브세트는 물체를 관찰하는 비디오 카메라로부터 도출될 수 있지만, 물체의 위치 데이터의 다른 서브세트는 투사된 패턴으로부터 도출된다.

Description

투사된 참조 패턴을 갖는 물체 추적{OBJECT TRACKING WITH PROJECTED REFERENCE PATTERNS}
본 발명은 물체 추적에 관한 것으로서, 특히 투사된 참조 패턴의 물체의 인식에 기초하여 추적된 물체의 위치 정보를 결정하는 것에 관한 것이다.
퍼포먼스 캡처(performance capture)를 통해 제어될 수 있는 그래픽 디스플레이로 풍부한 상호 작용 경험이 가능하다. 일반적으로, 퍼포먼스 캡처는 컴퓨팅 시스템, 비디오 게임 콘솔, 스마트 가전 제품 등과 같은 전자 장치를 가지고, 시스템 사용자의 모션(motion)의 하나의 추적에 대해 정확히 수행하며, 표시된 그래픽에 상응하는 효과를 유도하는 것을 나타낸다. 예를 들면, 실제 공간에서 3D 움직임이 시스템에 의해 추적되는 물체는 플레이어 아바타 및/또는 게임 플랫폼에서 실행되는 그래픽 엔진에 의해 게임 공간에서 렌더링되는 다른 그래픽 디스플레이에 입력될 수 있다.
다양한 기술이 이제 실제로 시스템 사용자의 퍼포먼스를 캡처할 수 있다. 예를 들면, Sony Playstation® Move는 실제 공간에서 추적된 물체에 대한 위치 정보를 결정하기 위해 비디오 카메라를 사용한다. 그러나, 이러한 기술과 무관하게, 추적 속도 및 정확도의 개선은 캡처될 수 있는 움직임의 다양성 및 게임 공간의 현실성(realism)에 대한 경험에 유익하다. 예를 들면, 어떤 물체 추적 기술은 물체의 위치의 하나의 구성 요소를 다른 구성 요소보다 더 정확하게 결정하여, 어떤 움직임을 캡처하는 것을 완전히 배제하거나 움직임의 근사치에 상당한 오류가 생성될 수 있다. 물체 추적 속도는 또한 대역폭 제한을 가질 수 있으며, 추적 오버헤드(overhead)가 종종 시스템 오버헤드(예를 들어, 게임 콘솔에서 실행하는 게임 엔진)와 경쟁하기 때문에, 물체 추적 대역폭을 감소시켜 주어진 오버헤드에 대한 물체 추적 성능을 개선하는 기술이 또한 유익하다.
본 발명의 실시예는 특히 본 명세서의 결론 부분에서 지적되고 명백하게 주장된다. 그러나, 본 발명의 실시예는 본 발명의 목적, 특징 및 이점과 함께 조직 및 동작 방법에 관해서는 첨부한 도면과 함께 판독될 때에 다음의 상세한 설명을 참조하여 가장 잘 이해될 수 있다:
도 1은 실시예에 따른 투사 기반의 물체 추적 시스템의 등각도(isometric view )를 도시한다.
도 2는 본 발명의 실시예에 따라 투사된 참조 패턴으로부터 결정된 물체 위치 데이터에 기초하여 그래픽 디스플레이를 제어하는 방법의 블록도를 도시한다.
도 3은 일 실시예에 따라 투사 기반의 추적 시스템이 상이한 사용자와 관련된 그래픽 아바타를 제어하기 위해 사용되는 멀티플레이어 환경의 등각도를 도시한다.
도 4는 일 실시예에 따라 내장된 광 센서를 갖는 투사 기반의 물체 추적 시스템에서 추적될 물체의 등각도이다.
도 5는 본 발명의 일 실시예에 따라 투사 기반의 물체 추적 시스템의 룸(room)의 측면도이다.
도 6은 실시예에 따라 물체에 내장된 다수의 센서에 기초하여 물체의 위치를 결정하는 예시적인 방법의 흐름도이다.
도 7a는 실시예에 따라 내부 룸 표면에 투사된 비콘(beacon)의 어레이로부터 물체의 위치를 결정하는 예시적인 방법의 흐름도이다.
도 7b는 실시예에 따라 내부 룸 표면에 투사된 그리드 패턴으로부터 물체의 위치를 결정하는 예시적인 방법의 흐름도이다.
도 8a는 본 발명의 실시예에 따라 비콘 패턴이 내부 룸 표면에 투사되는 룸의 사시도이다.
도 8b는 본 발명의 실시예에 따라 라인 패턴이 룸 천장(ceiling)에 투사되는 룸의 사시도이다.
도 9a는 본 발명의 실시예에 따라 비콘 투사가 내부 룸 표면 상의 장애물 주위에서 조향되는(steered) 룸의 사시도이다.
도 9b는 본 발명의 실시예에 따라 라인 투사가 내부 룸 표면 상에 참조 패턴을 형성하기 위해 조향되는 룸의 사시도이다.
도 10은 본 발명의 일 실시예에 따라 조향 가능한(steerable) 프로젝터를 갖는 투사 기반의 물체 추적 시스템의 모듈의 기능적 블록도이다.
도 11은 본 발명의 일 실시예에 따라 양호한 위치 참조를 제공하는 투사된 비콘 위치를 결정하는 방법을 도시한 흐름도이다.
도 12는 실시예에 따라 양호한 위치 참조를 제공하는 투사된 비콘 위치를 결정하는 시스템 하드웨어 배치를 묘사한 도 5에 도시된 영역(1200)의 확대 측면도이다.
도 13은 실시예에 따라 양호한 위치 참조를 제공하는 투사된 비콘 위치를 결정하는 시스템 하드웨어 배치를 묘사한 측면도이다.
도 14는 본 발명의 일 실시예에 따라 양호한 위치 참조를 제공하는 투사된 비콘 위치를 결정하는 방법을 도시한 흐름도이다.
도 15는 본 발명의 실시예에 따라 시간이 지남에 따라 투사된 패턴을 모니터링하고, 참조 패턴에 발생하는 변화에 대응하는 방법을 도시한 흐름도이다.
도 16은 본 발명의 일 실시예에 따라 투사된 패턴, 물체 이미지 및 관성 기반의 물체 위치 데이터를 활용하는 하이브리드 물체 추적 시스템의 모듈의 기능적 블록도이다.
도 17은 본 발명의 실시예에 따라 투사된 패턴, 물체 이미지 및 관성 데이터에 기초하여 물체 위치 데이터를 결정하는 방법을 도시한 흐름도이다.
도 18a는 본 발명의 일 실시예에 따라 투사된 패턴 및 물체 이미지 데이터로부터의 위치 정보를 활용하는 물체 추적 시스템이 그래픽 디스플레이를 제어하기 위해 사용되는 룸의 측면도이다.
도 18b는 일 실시예에 따라 투사된 패턴 및 물체 이미지 데이터로부터의 위치 정보를 활용하는 물체 추적 시스템에서 추적될 물체의 등각도이다.
도 19는 일 실시예에 따라 투사된 패턴 및 물체 이미지 데이터로부터의 위치 정보를 활용하는 물체 추적 시스템에서 물체의 위치 및 방향의 개별 구성 요소를 결정하는 방법을 도시한 흐름도이다.
도 20은 본 발명의 일 실시예에 따라 물체의 위치 정보를 결정하는 데 사용될 수 있는 하드웨어 및 사용자 인터페이스를 도시한다.
도 21은 본 발명의 일 실시예에 따라 명령어를 처리하는 데 사용될 수 있는 추가적인 하드웨어를 도시한다.
예시를 명확하게 하기 위해, 도면에 도시된 요소는 반드시 일정한 비율로 도시되지는 않았다. 더욱이, 적절한 것으로 고려된 경우, 참조 번호는 상응하거나 유사한 요소를 나타내도록 도면에서 반복되었다.
여기에 설명된 것은 시스템이 배치되는 룸의 내부 표면에 투사된 참조 패턴에 적어도 부분적으로 기초하여 추적된 물체의 위치 정보를 결정하는 방법 및 시스템이다. 시스템은 물체의 위치 및/또는 방향이 변경될 때 투사된 패턴에서 상대적 변경을 감지하기 위해 물체에 내장된 적어도 하나의 광 위치 감지 소자(position sensitive device)를 포함한다. 특정 시스템에서, 패턴은 하나 이상의 조향 가능한 레이저에 의해 투사된 복수의 비콘을 포함한다. 투사된 비콘은 다양한 룸 토폴로지를 수용하고 장애물을 피하기 위해 자동으로 조향될 수 있다. 추가적인 광 위치 감지 소자는 투사된 패턴 및 물체 중 어느 하나 또는 둘 다를 관찰하기 위해 투사된 패턴에 대해 알려진 물리적 위치에 배치될 수 있다. 물체 위치 데이터의 서브세트는 물체를 관찰하는 비디오 카메라로부터 도출될 수 있지만, 물체 위치 데이터의 다른 서브세트는 투사된 패턴으로부터 도출된다.
다수의 특정 상세 사항은 본 발명의 실시예에 대한 철저한 이해를 제공하기 위해 설명되지만, 다른 실시예는 이러한 특정 상세 사항 없이 실시될 수 있다는 것을 당업자에 의해 이해될 것이다. 다른 사례에서, 잘 알려진 기술, 하드웨어 구성 요소 및 소프트웨어 알고리즘은 본 발명을 불명료하지 않도록 하기 위해 상세히 설명되지 않는다. 이러한 설명의 일부는 여기서 컴퓨터 메모리 내에서 데이터 비트 또는 이진 디지털 비콘에 대한 동작의 알고리즘 및 상징적 표현의 측면에서 제공된다.
여기에 제공된 상세한 설명의 일부는 컴퓨터 메모리 내에서 데이터 비트에 대한 동작의 알고리즘 및 상징적 표현의 측면에서 제공된다. 특별히 달리 명시되지 않으면, 다음의 논의에서 명백하듯이, 이러한 설명에서 "계산하는", "결정하는", "추정하는", "저장하는", "수집하는", "표시하는", "수신하는", "통합하는(consolidating)", "생성하는", "업데이트하는" 등과 같은 용어를 활용하는 논의는 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 장치의 동작 및 프로세스를 참조한다는 것이 이해되며, 이러한 전자 컴퓨팅 장치는 컴퓨터 시스템의 레지스터 및 메모리 내에서 물리적 (전자) 수량으로 표현된 데이터를 동작하여 컴퓨터 시스템 메모리 또는 레지스터 또는 다른 이러한 정보 저장, 전송 또는 디스플레이 장치 내에서 물리적 수량으로 유사하게 표현된 다른 데이터로 변환한다.
특별히 달리 명시되지 않으면, 다음의 논의에서 명백하듯이, 명세서에서 "처리하는", "컴퓨팅", "계산하는", "결정하는" 등과 같은 용어를 활용하는 논의는 회로, 컴퓨터 또는 유사한 전자 컴퓨팅 장치의 동작 및/또는 프로세스를 참조한다는 것이 이해되며, 이러한 전자 컴퓨팅 장치는 레지스터 및/또는 메모리 내에서 전자와 같은 물리적 수량으로 표현된 데이터를 동작하고/하거나, 이를 메모리 및/또는 레지스터 내에서 물리적 수량으로 유사하게 표현된 다른 데이터로 변환한다.
컴퓨터 프로그램은 플로피 디스크, 광 디스크(예를 들어, 컴팩트 디스크 리드 온리 메모리(CD-ROM), 디지털 비디오 디스크(DVD), Blu-Ray DiscsTM 등), 및 자기 광 디스크를 포함하는 임의의 타입의 디스크, 리드 온리 메모리(ROM), 랜덤 액세스 메모리(RAM), EPROM, EEPROM, 자기 또는 광 카드, 또는 전자 명령어를 저장하기에 적절한 임의의 다른 타입의 비일시적 매체와 같은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있지만, 이것에 제한되지 않는다.
용어 "결합된" 및 "연결된"은 이들의 파생어와 함께 여기서 동작을 수행하는 장치의 구성 요소 간의 구조적 관계를 설명하는 데 사용될 수 있다. 이러한 용어는 서로에 대한 동의어로 의도되지 않는 것으로 이해되어야 한다. 오히려, 특정 실시예에서, “연결된”은 둘 이상의 요소가 서로 직접적인 물리적 또는 전기적 접촉 상태에 있다는 것을 나타내기 위해 사용될 수 있다. “결합된”은 둘 이상의 요소가 서로 직접적 또는 간접적인(그들 사이에 다른 개재 요소로) 물리적 또는 전기적 접촉 상태에 있고, 둘 이상의 요소가 (예를 들어, 결과 관계 원인에서와 같이) 서로 협력하거나 통신한다는 것을 나타내기 위해 사용될 수 있다.
도 1은 투사 기반의 물체 추적 시스템(100)이 게임 시스템의 구성 요소인 일 실시예에 따른 투사 기반의 물체 추적 시스템(100)의 등각도를 도시한다. 추적 시스템(100)의 구성 요소의 기능은 일반적으로 적어도 부분적으로 투사된 참조 패턴으로부터 결정된 물체 위치 데이터에 기초하여 그래픽 디스플레이를 제어하는 방법을 예시한 도 2를 추가로 참조하여 설명된다.
먼저 도 1을 참조하면, 예를 들어 도 2에서 동작(210)으로서 추가로 예시된 바와 같이, 추적 시스템(100)은 식별 가능한 방사선(identifiable radiation)의 참조 패턴에서 추적 시스템(100)이 배치되는 룸의 하나 이상의 내부 표면으로 투사할 수 있는 프로젝터(128)를 포함한다. 도 1은 디스플레이(120) 뒤에 배치된 후면 벽면(165) 상에 비콘(164)을 형성하기 위한 빔(163)의 예시적인 투사를 도시한다. 프로젝터(128)는 복수의 이러한 빔을 투사할 수 있으며, 예를 들어 빔(173)의 투사는 디스플레이(120) 위에 배치된 천장(175) 상에 비콘(174)을 형성한다. 비콘(164 및 165)은 투사된 참조 패턴의 적어도 일부를 포함한다.
추적 시스템(100)은 컴퓨팅 장치(115)에 의해 추적되는 물체(110)를 추가로 포함한다. 예를 들어 도 2에서 동작(212)으로서 추가로 예시된 바와 같이, 센서 표면이 적어도 하나의 내부 표면으로부터 반사될 때에 식별 가능한 방사선의 적어도 일부를 수집할 수 있는 광 시야(optical field of view)(FOV)(132)를 가진 위치 감지 소자(PSD)(131)는 물체(110) 상에 배치되거나 물체(110) 내에 내장된다. PSD(131)는 일반적으로 1차원 또는 2차원의 입사 스폿 라이트(incident spot light)의 위치를 측정할 수 있는 임의의 광학 위치 센서일 수 있다. 여기서 어떤 곳에서 더욱 상세히 설명되는 어떤 예시적인 실시예에서, PSD(131)는 메가픽셀 이상의 해상도를 가진 CMOS와 같은 고도로 통합된 센서 기술을 활용하여, FOV(132)에 의해 제공되는 이미지 데이터의 프레임을 캡처할 수 있는 비디오 카메라이다. 여기서 어떤 곳에서 더욱 상세히 설명되는 다른 예시적인 실시예에서, PSD(131)는 현대의 CMOS 이미지 센서보다 훨씬 적은 센서 요소를 갖는 (예를 들어, P-i-N 반도체 스택을 채용한) 다중 요소 포토다이오드이다. 예를 들면, 일 실시예에서, PSD(131)는 4개의 요소를 갖는 사분면 검출기(quadrant detector)이며, 그래서 CMOS 이미지 센서보다 절감된 비용 및 높은 재생률의 이점을 제공한다. 몇몇 검출기 요소로부터, FOV(132) 내에 투사된 참조 패턴과 관련된 강도 분포 중심(intensity distribution centroid)의 측정은 알려진 기술로 결정될 수 있다.
도 1에 도시된 바와 같이, 추적 시스템(100)은 임의의 기존의 디스플레이(예를 들어 LCD, OLED, CRT 등)일 수 있는 디스플레이(120)에 결합된 컴퓨팅 장치(115)를 추가로 포함한다. 컴퓨팅 장치(115)는 필요한 목적을 위해 특별히 구성될 수 있거나, 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성된 범용 컴퓨터를 포함할 수 있다. 일 실시예에서, 컴퓨팅 장치(115)는 게임 콘솔(예를 들어, Sony Playstation® 등)이다. 컴퓨팅 장치(115)는 컴퓨터 프로세서를 포함하고, 적어도 디스플레이(120)에 출력을 생성할 책임이 있다.
특정 실시예에서, 컴퓨팅 장치(115)는 PSD(111) 뿐만 아니라 PSD(121)로부터 수신된 데이터를 처리할 수 있으며, PSD(121)는 물체(110)에 떨어져 있고, 프로젝터(128)에 대해 알려진 위치 및 방향을 갖는다. 예시적인 실시예에서, PSD(111), PSD(121) 및 프로젝터(128)는 PSD(111), PSD(121) 및 프로젝터(128)에 공통인 이미징 장치의 참조 프레임(150)을 정의하는 주변 이미징 장치(105)의 통합된 구성 요소로 제공된다. 주변 이미징 장치(105)는 예를 들어, IEEE 1394(파이어 와이어) 케이블, 이더넷 케이블, 범용 직렬 버스(USB) 케이블, 고화질 미디어 인터페이스(HDMI) 또는 유사한 링크를 통해 컴퓨팅 장치(115)에 통신 가능하게 결합된다. 도시된 바와 같이, 이미징 장치(105)는 디스플레이(120)의 최상부에서, 이미징 장치의 참조 프레임(150)의 수평 축 x1과 중력(135)에 수직한 평면 사이의 각도를 정의하는 룸 바닥(room floor)(151)에 대한 명목상의 경사각 θ 및 세계의(world) 참조 프레임(140)에서 z2 헤딩(heading)에 대한 명목상의 방위각 φ으로 위치된다. 세계의 참조 프레임(140)에 대한 이미징 장치의 참조 프레임(150)을 보정하는 기술은 많으며, 이 중 일부는 2009년 5월 4일에 출원된 공동 양도받은 미국 특허 출원 제12/435,486호에서 상세히 설명되며, 따라서 여기에 반복되지 않는다.
예시적인 실시예에서, PSD(111)는 메가픽셀 이상의 해상도를 가진 CMOS와 같은 고도로 통합된 센서 기술을 활용하여, FOV(132)에 의해 제공되는 이미지 데이터의 프레임을 캡처할 수 있는 표준 비디오 카메라이다. 이러한 실시예에서, PSD(111)는 광 시야(125) 내에서 물체(110)의 이미지를 캡처할 수 있고, 이러한 이미지 데이터를 컴퓨팅 장치(115)로 전달할 수 있다. 대안적인 실시예에서, PSD(111)는 Z 카메라(깊이 정보로 비디오를 캡처할 수 있는 단일의 렌즈 비디오 카메라) 또는 3차원 이미지를 캡처할 수 있는 둘 이상의 렌즈를 가진 스테레오 비디오 카메라일 수 있다.
PSD(121)를 포함하는 이러한 실시예의 경우, PSD(121)는 PSD(131)에 대해 설명된 광 위치 감지 소자 중 어느 하나일 수 있다. 여기서 어떤 곳에서 추가로 설명되는 바와 같이, PSD(121)는 투사된 패턴이 양호한 위치 참조를 PSD(131)에 제공하기 위해 조향될 수 있는 방법을 결정하는 데 도움을 줄 수 있다. 예시적인 실시예에서, PSD(121)는 메가픽셀 카메라, 또는 풀 프레임 이미징보다는 오히려 광 중심(light centroid)만을 검출할 수 있는 더욱 간단한 세그먼트형(segmented) 포토다이오드 검출기이다.
이제 도 2의 동작(214)을 참조하면, 위치 데이터는 적어도 부분적으로 투사된 참조 패턴과 관련된 식별 가능한 방사선으로부터 물체(110)에 대해 결정된다. 여기에 사용된 바와 같이, "위치 데이터"는 기준점으로부터의 물체(110)의 변위 중 적어도 하나, 및 피치(pitch), 요(yaw) 및 롤(roll)의 Euler 각도 중 어느 하나 이상을 포함한다. 물체(110)의 변위는 구면 좌표에서 경사각 θ, 방위각 φ, 및 반경 r, 또는 이미징 장치의 참조 프레임(150)에서 직교(Cartesian) 좌표 x1, y1, z1를 특징으로 할 수 있으며, 여기서 z는 물체와 PSD(111) 사이의 거리이다. PSD(131)의 CMOS 카메라 실시예의 경우, PSD(131)에 의해 수집된 이미지는 물체(110)의 위치 및 방향을 결정하는 알려진 기술을 이용하여 예를 들어 컴퓨팅 장치(115)에 의해 분석될 수 있다. 따라서, 투사된 패턴으로부터 도출된 시각적 이미지 데이터에 기초하여, 물체(110)의 위치는 시간(예를 들어, 실시간)의 함수로 결정될 수 있다. PSD(131)의 포토다이오드 실시예의 경우, PSD(131)에 의해 수집된 중심 정보는 중심 변위를 나타내는 이러한 x-y 센서 측정의 변화가 물체(110)의 상대 변위에 상관되는 경우에 분석된다. 여기서 어떤 곳에서 설명되는 바와 같이, 물체의 위치 데이터가 PSD(111) 및 PSD(131)의 모두로부터 도출되는 특정 실시예의 경우, 향상된 정확도 및 강력한 동작은 투사된 패턴으로부터 물체의 위치 데이터의 하나 이상의 구성 요소를 도출함으로써 달성될 수 있지만, 다른 위치 데이터 구성 요소는 물체(110)의 이미지의 처리를 통해 도출된다. 대안적으로, PSD(111) 및 PSD(131)의 모두로부터 도출되는 중복 정보(redundant information)는 단일 센서에 대한 SNR의 향상을 위해 조정될 수 있다. 최종으로, 물체(110)의 위치가 결정됨에 따라, 디스플레이(120)에 표시된 하나 이상의 그래픽 물체는 본 기술 분야에서 알려진 임의의 기술을 이용하여 동작(216)에서 제어될 수 있다.
도 3은 일 실시예에 따라 투사 기반의 추적 시스템이 상이한 사용자와 관련된 그래픽 아바타를 제어하기 위해 사용되는 멀티플레이어 환경(300)의 등각도를 도시한다. 멀티플레이어 환경(300)에서, 추적 시스템(100)(도 1)에서 설명된 동일한 구성 요소는 두 물체(110A 및 110B)를 추적하는 데 사용된다. 도 3에 도시된 바와 같이, 플레이어 A는 디스플레이(120) 상의 아바타(312A)를 제어하는 물체(110A)와 관련되어 있지만, 플레이어 B는 아바타(312B)를 제어하는 물체(110B)와 관련되어 있다. 예시적인 실시예의 경우, 추적 시스템은 물체(110A 및 110B)의 각각에 대한 위치 데이터의 결정을 위해 각각의 시야(319, 320) 내에 참조 패턴의 충분한 부분을 수집하도록 예를 들어 적어도 하나의 PSD(131A, 131B)에 충분히 큰 영역을 각 추적된 물체에 스팬(span)하기 위해 천장에 투사된 비콘(174A 및 174B)를 포함하는 참조 패턴을 포함한다. 그 후, PSD(131A 및 131B)가 동일한 투사된 패턴에 참조될 수 있을 때, 두 물체(110A 및 110B) 사이의 상대 위치 및 방향은 신속하게 계산될 수 있다. 어떤 실시예에서, 투사 기반의 위치 추적 시스템(100)은 이에 의해 다수의 추적된 물체 사이의 상호 작용을 향상시킬 수 있다.
도 4는 휴대용 게임 제어기의 형태의 예시적인 물체(110)를 도시한다. 물체(110)의 부분은 Sony Playstation® Move에서 상업적으로 이용 가능한 바와 같이 구형 및/또는 색 조명과 같이 PSD(111)에 의해 수집된 시각적 이미지 데이터에 기초하여 추적을 향상시키기 위해 시각적 속성을 갖는 섹션(403)을 포함할 수 있다. 추가의 실시예에서, 물체(110)는 하나 이상의 관성 센서를 포함하거나 이와 연결되는 전자 장치이다. 물체(110)는 예시적인 실시예에서 휴대용 제어기이지만, 물체(110)에 대해 여기에 설명된 현저한 특징은 헤드기어, 풋기어, 의류 등과 같이 본 기술 분야에 알려진 임의의 다른 제어기, 휴대용 또는 착용 가능한 장치에 사실상 쉽게 적응될 수 있다.
도 4에 예시된 실시예의 경우, 물체(110)는 물체 중심(410)으로부터의 미리 정의된 변위, 및 복합(compound) 위치 센서를 형성하는 서로에 대한 사전 정의된 방향을 갖는 복수의 PSD(131)를 포함한다. 게임 제어기의 경우에, 물체 표면에 배치된 다수의 PSD(131)는 인체 공학적 처리 함수(ergonomic handling function) 정도로 달리 역할을 할 수 있는 제어기의 표면 영역을 효율적으로 이용할 수 있다. 일반적으로, 임의의 수의 PSD(131)는 물체(110)의 표면에 내장되거나 배치될 수 있고, 도 5에 추가로 도시된 바와 같이 투사된 패턴 방사선의 물체의 효과적인 시야를 높이기 위해 복합 센서로 총괄하여 동작될 수 있다.
복합 센서의 각각의 PSD(131)는 어떤 시야를 센서 표면에 제공하는 광학 장치를 포함하거나 이와 연결된다. 예를 들어 도 4 및 5에 도시된 바와 같이, PSD(131A, 131B 및 131C)는 제각기 시야(132A, 132B 및 132C)를 갖는다. 예시적인 실시예에서, 각각의 PSD의 각도 FOV는 PSD(131)의 모집단(population)의 효과적인 FOV가 광각 광학 장치와 같이 임의의 특정 PSD(131)의 감도를 감소시키지 않고 증가될 수 있도록 가장 가까운 이웃 PSD와 중복한다.
도 5에 추가로 도시된 바와 같이, 물체(110) 상의 각각의 PSD의 미리 정의된 위치는 적어도 일부 PSD가 사용 중에 사용자의 손이나 물체의 본체에 의해 확실히 폐색되지 않도록 하고, 게임 제어기의 일반적인 광범한 물체의 방향에 걸쳐 투사된 비콘(174A, 174B) 등을 감지하기에 충분히 방향에서 센서 표면을 제공하도록 선택된다. 도 4 및 도 5에 도시된 예시적인 실시예에서, 인접한 PSD(131)는 또한 물체의 세로 축(420)에 대해 효과적인 PSD 시야 스패닝 360°를 제공하면서 FOV 오버랩을 제공하기 위해 떨어져 각도 FOV 센터 30° 내지 60°를 갖는다. 물체 세로 축은 그래픽 타겟을 겨냥할 때 디스플레이(120)에서 사용자(예를 들어, 도 5의 사용자(501))에 의해 나타낼 수 있는 축으로 정의된다. 물체(110)의 요(yaw)는 종종 특히 세로 축(420)의 헤딩의 결정에서의 작은 오류가 사용자에 의해 인식되어 현실적인 게임 플레이를 방해할 수 있는 게임 콘텍스트(gaming context)에서 물체 위치 데이터의 중요한 구성 요소이다. 세로 축(420)에 대해 360° PSD FOV를 제공하는 것은 투사 기반 추적이 물체 피치(pitch) 또는 롤(roll)과 무관하게 물체 요를 정확하게 결정하도록 할 수 있다.
도 6은 실시예에 따라 물체에 내장된 다수의 센서에 기초하여 물체의 위치를 결정하는 예시적인 방법(616)의 흐름도이다. 물체(110)의 방향에 따라, PSD(131) 중 하나 이상은 센서의 FOV의 외부에 투사된 패턴으로 그늘 상태에 있을 수 있다. 이와 같이, 복수의 PSD(131)의 각각은 예를 들어 라운드 로빈(round robin) 기반으로 동작(617)에서 샘플링될 수 있지만, 시스템은 디폴트 스캔 상태에 있다. 스캔 동작(617)은 주변 위의 임계 크기의 중심을 검출하는 센서에서 조절되며, 따라서 (PSD(131)가 간단한 분할된 포토 다이오드 검출기인 실시예에 대한) 투사된 참조 패턴으로부터 반사된 방사선과 관련될 수 있거나, (PSD(131)가 비디오 카메라인 실시예에 대한) 투사된 패턴의 인식된 특징을 출력하는 센서에서 조절될 수 있다.
어느 하나의 이벤트 시에, 위치 데이터는 동작(618)에서 제 1 PSD(131), 예를 들어 도 4 및 5로부터의 PSD(131A)로부터 수집된다. 수집된 위치 데이터(예를 들어 중심 x-y)는 물체 위치 데이터를 결정하기 위해 처리될 수 있다. 동작(619)에서, 복수의 PSD(131)는 제 1 위치 데이터를 제공하는 PSD에 근접한 방향 및/또는 위치를 가진 하나 이상의 PSD(131)를 더욱 심하게 웨이(weigh)하는 알고리즘을 통해 판독될 수 있다. 예시적인 실시예에서, 동작(619)에 사용된 샘플링 알고리즘은 동작(618)에서 수집된 위치 데이터에 기초하는 개별적인 센서의 샘플링 속도로 복수의 PSD(131)로부터 위치 데이터를 판독할 수 있다. 예를 들면, PSD(131A)가 PSD(131B)의 FOV에 근접한 먼 가장 자리에서 중심을 검출하는 경우에, PSD(131B 및 131A)는 더욱 높은 속도, 예를 들어 500 Hz 이상에서 판독될 수 있지만, PSD(131C)는 낮은 속도, 예를 들어 100 Hz에서 판독된다. 수집된 위치 데이터(예를 들어 중심 x-y)는 중심(410)과 같은 기준점에 대해 물체(110) 내의 제 2 센서의 알려진 위치에 기초하여 물체 위치 데이터를 결정하도록 처리하기 위해 다시 전송된다. 그 다음, 방법(616)은 투사된 패턴의 특징을 루프 및 추적하도록 진행하고, 다양한 PSD(131) 사이의 핸드오프를 수행한다. 가장 가까운 이웃 PSD(131)가 오브랩 FOV를 갖는 실시예의 경우, 다수의 센서는 (주어진 포토 다이오드 성능을 가진) 단일 PSD에 대해 가능한 것보다 더 효과적인 중심 샘플링 속도 및/또는 SNR 향상을 위한 센서 사이의 중심 출력의 평균을 허용하는 중심을 출력할 수 있다.
도 7a는 실시예에 따라 투사된 비콘의 어레이를 포함하는 투사된 참조 패턴으로부터 물체의 위치를 결정하는 예시적인 방법(701)의 흐름도이다. 방법(701)의 경우, PSD(131)는 바람직하게는 높은 픽셀 수(예를 들어, 수천 내지 수백만)를 갖는 풀 프레임 카메라 센서보다 더 높은 중심 출력 대역폭일 수 있는 간단한 다수의 분할된 포토 다이오드(예를 들어, 사분면 장치)이다. 일반적으로, 세계 참조 프레임(140) 내의 물체의 위치 및 방향의 완전한 결정은 복수의 비콘 위치와의 중심의 상관 관계를 필요로 한다. 물체(110)가 3차원으로 이동할 수 있는 게임 콘텍스트에서, 4개의 중심 위치에 상관된 4개의 비콘 위치는 위치 추적의 정확성, 범위 및 방향 불변으로 충분하며, 이의 모두는 상당수의 비콘을 개선시킨다.
방법(700)은 동작(710)에서 복수의 비콘 중 하나 이상을 프로젝터(128)로부터 룸의 내부 표면 상으로 투사하는 것으로 시작한다. 비콘의 적어도 일부의 투사는 물체(110)가 디스플레이(120)로부터 8 내지 10 피트 이상만큼 변위될 수 있는 게임 환경과 동등한 큰 참조 공간의 이점을 제공한다. 투사는 또한 LED와 같은 발광 비콘을 부착하는 것이 곤란한 다양한 실내 환경 내에서 유연한 비콘 위치 설정의 이점을 제공한다.
도 8a는 본 발명의 실시예에 따라 비콘 패턴이 내부 룸 표면에 투사되는 룸의 사시도이며, 여기서 적어도 하나의 비콘(174A)은 룸 천장(175)에 투사된다. 천장에 투사하는 것은 많은 이점을 제공한다. 예를 들면, 투사된 방사선은 일반적으로 시스템 사용자에 캐스팅되지 않을 것이다. 천장 표면은 또한 종종 게임 공간의 범위(즉, 디스플레이로부터의 8-10피트)에 걸쳐 평면인 익스팬스(expanse)를 제공한다. 천장 표면은 또한 일반적으로 퍼니처 또는 디코럼(furniture or decorum)과 같은 상당한 장애물이 없으며, 이러한 장애물은 일반적으로 비콘 가시선(line-of-sight) 투사를 폐색하거나 비콘 위치의 결정을 왜곡할 수 있는 다른 내부 룸 표면에서 발견된다.
도 8a에 도시된 바와 같이, 복수의 비콘(174A, 174B, 174C...174N)은 넓은 영역, 예를 들어, 10×10 피트 이상을 커버하고, 알려진 토폴로지를 가진 어레이를 형성하기 위해 프로젝터(128)로부터 천장(175)으로 투사된다. 이러한 어레이는 규칙적 이격될 수 있지만, 비콘은 임의의 축을 따르거나 그리드 정점에서 정렬될 필요가 없다. 바람직하게는, 각각의 비콘은 PSD(121)가 최상의 2차원 중심 해상도를 갖도록 점 광원에 근접한다. 도 8a에 추가로 도시된 바와 같이, 추가적인 비콘(164A, 164B 및 164N)은 추가의 실시예에서 후방 벽면(165)에 투사된다. 마찬가지로, 추가적인 비콘(184A 및 184B)은 측 벽면(185)에 투사된다. 벽면 투사, 특히 후방 벽면(165) 상의 투사는 다양한 위치 구성 요소의 결정을 향상시킬 수 있는 2차원 비콘 어레이 공간을 제공한다. 추가의 실시예에서, 도 7에서 선택적 동작(711)으로 도시된 바와 같이, LED와 같은 하나 이상의 발광 비투사된 비콘은 투사된 비콘과 함께 활성화된다. 도 8a에 도시된 예시적인 실시예에서, LED 비콘(129A, 129B 및 129C)는 (물체(110)에 직면하는) 이미징 장치(105)의 전면에 배치된다. 이러한 실시예에서, 이미징 장치(105)에 근접하는 비콘의 비교적 높은 밀도의 존재는 유리하게도 2차원 비콘 어레이 공간을 제공하고/하거나, PSD(111)에 근접하는 홈 기준점의 교정 또는 식별에 도움이 될 수 있다.
일반적으로, 각 비콘은 다른 비콘으로부터 식별할 수 있다. 본 실시예에 따라, 이러한 차별화(differentiation)는 시간 영역 또는 주파수 영역에서 행해질 수 있다. 예를 들면, 주파수 영역에서, 투사된 비콘의 각각은 고유 파장(예를 들어, λ174A 등)을 갖는 방사선의 빔으로 형성될 수 있다. 대안적으로, 시간 영역 차별화는 모든 비콘이 일반적인 배경 잡음에서 룸 환경까지 최상으로 구별될 수 있는 동일한 방사선 파장으로, 바람직하게는 가까운 IR 대역(예를 들어, 0.7 내지 0.9 ㎛) 또는 심지어 먼 IR 대역(예를 들어, 0.9 내지 1.0 ㎛) 내에서와 같은 가시 스펙트럼 외부에서 투사되도록 하기 위해 이용될 수 있다. 시간 영역 차별화는 일반적으로 동작(710)에서 비콘을 투사하고, 각 비콘에 대한 조명 시간이 PSD(131)에 의해 수행된 수집 동작(716)과 동기화(즉, 스트로브(strobe))되는 시분할 방식으로 동작(711)에서 비콘 진폭을 변조하는 것을 수반한다. PLL 또는 다른 알려진 타이밍 회로는 PSD 중심 샘플링과 비콘 빔 투사의 타이밍을 맞추기 위해 이용될 수 있다.
비콘이 동작(713)에서 하나 이상의 내부 룸 표면에 투사될 때, 하나 이상의 투사된 비콘 위치는 예를 들어 이미징 장치(105) 또는 이의 임의의 구성 요소(예를 들어, LED 비콘(129), PSD(111) 또는 PSD(111))에 대해 맵(map)된다. 이와 같이, 동작(713)은 예를 들어 게임 플레이를 위해 추적 시스템(100)을 사용하기 전에 수행될 수 있다. 투사된 비콘의 위치는 비콘 투사를 스크린하는 내부 룸 표면이 평면이고, 직교하는 벽과 교차한다는 가정 하에 기준점에 대해 프로젝터의 미리 정의된 위치 및 방향을 부여한 상대 투사각에 기초하여 배타적으로 추정될 수 있다. 대안적으로, 비콘 좌표는 사용자에 의해 수동으로 입력될 수 있다. 그러나, 바람직한 실시예에서, PSD(131, 121 또는 111) 중 하나 이상은 예를 들어 삼각 측량 알고리즘을 실행하여 투사된 비콘의 위치를 자동으로 맵하기 위해 교정 단계 동안에 사용된다. 이러한 일 실시예에서, 프로젝터(128)에 근접 설치된 PSD(121)(도 1)는 (포토 다이오드 기반 PSD(121) 실시예에 대한 중심을 출력하는) 주어진 피콘, 또는 (FOV(122) 내의 비콘의 위치를 결정하기 위해 처리하는 이미지를 출력하는) 패턴을 본다. 이미지 처리가 사용되지 않는 경우에, 알려진 투사 빔 각도와 함께 PSD(121) 및 프로젝터(128)의 상대 위치 사이의 상관 관계는 투사된 비콘 위치의 삼각 측량을 허용한다. 비콘 스크린 표면에 비평탄도를 추가로 수용하기 위해, 실시예는 또한 투사된 빔이 예를 들어 IR 대역에서 방출하는 레이저로부터의 간섭성 광(coherent light)인 경우에 PSD(121) 및 프로젝터(128)를 사용하여 비행 시간(time of flight) 측정을 채용할 수 있다. 또 다른 실시예에서, 각 비콘 로케이션의 위치는 제 1 수단에 의해 물체(110)의 위치 및 방향을 결정하고, 그 다음 투사된 패턴 특징/비콘 로케이션을 물체(110)의 위치/방향에 상관시키도록 PSD(131)로 비콘을 매핑하여 추론된다.
동작(716)에서, 투사 빔(163, 173, 183)(및/또는 LED 비콘(129)) 중 하나 이상이 주어진 시간에 트리거됨에 따라, PSD의 관련된 샘플링은 PSD 광학 장치에 의해 주어진 PSD(131)의 센서 표면 상의 특정 로케이션에 이미지화될 때에 비콘(164, 174, 184)의 상응하는 매핑된 로케이션으로부터 반사되는(또는 LED 비콘(129)으로부터 방출되는) 방사선의 중심을 수집한다. PSD는 본 기술 분야에 잘 알려져 있으며, 그래서 광 스폿에 대한 위치 정보가 특정 PSD 구현으로부터 획득될 수 있는 많은 방식에 대한 상세한 설명은 여기에 제공되지 않는다. 수집 기술에 관계없이, 비콘 위치 데이터는 물체(110)로부터 프로세서로 (예를 들어, 무선으로) 전송되며, 이러한 프로세서는 동작(719)에서 주어진 참조 프레임(예를 들어, 세계 참조 프레임(140)) 내의 물체(110)의 위치/방향을 나타내는 위치 데이터에 비콘 위치 데이터를 관련시킨다.
도 7b는 실시예에 따라 내부 룸 표면에 투사된 그리드 패턴으로부터 물체의 위치를 결정하는 예시적인 방법(750)의 흐름도이다. 방법(750)의 경우, PSD(131)는 바람직하게는 높은 픽셀 수(예를 들어, 수천 내지 수백만) 센서를 통합하는 표준 비디오 카메라이다.
방법(750)은 동작(760)에서 패턴 인식 알고리즘에 의해 쉽게 식별할 수 있고, 물체 방향이 참조될 수 있는 방향 대기 행렬을 제공하는 특징을 갖는 패턴을 내부 룸 표면에 투사하는 것으로 시작한다. 실시예에서, 투사된 패턴은 바람직하게는 직교 에지(orthogonal edge)를 정의하는 복수의 상호 연결된 반복 유닛을 포함한다. 예시적인 실시예에서, 그리드 패턴(874A, 874N)이 룸 천장(175)에 투사되는 룸의 사시도를 묘사하는 도 8b에 도시된 바와 같이 그리드 패턴은 동작(760)에서 투사된다. 바둑판 패턴 및 다른 다각형 메시(mesh)는 대안적 패턴이다. 실시예에서, PSD(121)가 카메라이고, 그리드가 감지 패턴보다는 오히려 참조 패턴임에 따라 동작(760)에서 투사된 그리드 패턴은 시퀀싱되거나 스캐닝된 패턴 보다는 오히려 고정된 패턴이다. 이와 같이, 동작(766)에서 PSD(121)에 의해 수집된 이미지의 시간 변동은 동작(775)에서 이미지의 처리에 의해 식별되고, 물체의 방향의 변화에 기인된다. 동작(790)에서 알려진 이미지 처리 기술을 이용하여, 물체(110)의 위치 정보는 방법(750)을 완료하기 위해 주어진 참조 프레임(예를 들어, 세계 참조 프레임(140))에서 결정된다.
실시예에서, 투사된 참조 패턴은 장애물 및/또는 비평탄도가 없는 내부 룸 표면 상의 위치에 하나 이상의 특징/비콘을 위치시키도록 조향 가능하다. 도 9a는 실시예에 따라 비콘 투사가 내부 룸 표면에 장애물을 회피하도록 조향되는 룸의 사시도를 도시한다. 도시된 바와 같이, 임의의 주어진 내부 표면, 심지어 룸 천장(175) 조차도 HVAC 덕팅(ducting)(941), 조명 기구(942), 스카이라이트/윈도우( 943) 등과 같은 장애물을 포함할 수 있으며, 이는 투사된 비콘 중 하나 이상을 폐색 또는 왜곡할 수 있다. 이러한 폐색 또는 왜곡은 투사 비콘 패턴에 기초하여 위치 데이터 결정을 방지하거나, 결정의 정확성을 적어도 줄일 수 있다. 예시적인 실시예에서, 각 비콘의 위치는 양호한 비콘 비콘을 PSD(121)에 제공하는 위치를 검색하는데 있어 조향된다. 예를 들면, 일 실시예에서, 투사 영역은 비콘 구역(974A 및 974C) 내에서 제각기 조향 가능한 각각의 투사 빔(173A 및 173C)을 가진 비콘 구역으로 분할되어, 비콘(174A 및 174C)의 디폴트 위치보다 더 적절한 기준점을 제공하는 비콘 위치를 식별한다. 벽에 투사된 비콘은 유사하게 조향될 수 있다(예를 들면, 비콘 위치(164B)는 구역(961B) 내의 어떤 곳에 위치될 수 있다). 비콘 구역은 디폴트 위치에 대한 임의의 형상의 경계를 형성할 수 있으며, 예를 들어, 디폴트 비콘 위치의 절반 피치 이상을 스팬(span)할 수 있다.
일 실시예에 따라 도 9a에 도시된 바와 같이, 도 10은 프로세서(1010)가 룸 장애물을 회피하기 위해 도 11에 도시된 조향 및 매핑 방법(1100)을 자동으로 실행하는 투사 기반의 물체 추적 시스템의 모듈의 기능적 블록도이다. 일반적으로, 방법(1100)의 목표는 비콘이 물체(110)의 투사 기반의 추적을 용이하게 하기 위해 내부 룸 표면에 투사될 수 있는 곳을 자동으로 결정하는 것이다. 방법(1100)은 또한 도 8b에 도시된 것과 같이 상호 연결된 반복 유닛을 포함하는 투사 패턴을 위치시키는데 적용될 수 있다. 그러나, 고정된 비조향 가능한 투사 시스템은 일반적으로 이미지 처리의 추가적인 능력으로 인해 장애물 회피가 덜 중요하기 때문에 이러한 패턴을 이용하는 실시예에 적절하다.
동작(1105)에서 시작하면, 비콘 빔(I)은 각도에 의해 정의된 방향 또는 조향 장치의 x-y 좌표에 투사된다. 도 10을 참조하면, 이미징 장치(105)는 바람직하게는 IR 대역에서 방출 스펙트럼을 가진 레이저인 비콘 빔 소스(1030)를 프로젝터(128)로서 포함한다. 레이저가 추적 시스템(100)에서 투사를 위해 일반적인 거리에 걸쳐 초점을 쉽게 유지하는 광 단순성의 이점을 제공하지만, 비레이저(non-lasing) 방전 및 기존의 LED 소스는 또한 관련된 초점 광학 장치와 함께 빔 소스(1030) 역할을 할 수 있다. 프로젝터(128)는 비콘 조향 장치(1040)를 추가로 포함한다. 조향 장치(1040)는 렌즈, 회절 격자, 미러 등을 포함하는 압전 구동형 투과 및 반사 광학 경로 변조기와 같은 선택된 빔 소스(1030)에 대해 본 기술 분야에 알려진 임의의 장치일 수 있다. 예시적인 일 실시예에서, 조향 장치(1040)는 x-y 경사각의 범위에 걸쳐 제어 가능한 하나 이상의 미러를 가진 MEM 마이크로미러이다. 이러한 마이크로미러 서브시스템은 어떤 피코 프로젝터 구현에서 상업적으로 이용 가능하다. 다른 실시예는 디지털 라이트 프로세싱(DLP) 또는 실리콘 액정(LCOS) 투사 기술을 채용할 수 있다. 복수의 비콘을 연속적으로 투사하기 위해, 빔 소스(1030)는 조향 장치에 의해 정의된 빔 각의 제어와 함께 미리 정해진 시간에 펄스를 방출하도록 제어기(1020)에 의해 제어될 수 있다. 그 후, 타임 버스트는 이산 매핑된 비콘 위치에서 순차적으로 시퀀싱될 수 있다.
다른 실시예에서, 다중 빔 소스(예를 들어, 1030B 및 1030C)는 복수의 비콘을 연속적으로 또는 동시에 투사할 수 있다. 빔 소스(1030, 1030B 및 1030C)의 각각은 동일한 조향 장치(1030)에 광학적으로 결합되거나(예를 들어, 각 빔은 단일 MEM 미러 어레이에서 하나 이상의 미러에 충돌한다) 복수의 이산 조향 장치(1040, 1040B 및 1040C)를 통해 간단히 결합될 수 있다. 또 다른 실시예에서, 회절 격자 또는 다른 알려진 분산 요소는 단일 빔을 알려진 패턴 기하학적 형상(예를 들어, 그리드 포인트, 스포크 라인 패턴(spoked line pattern) 등)을 가진 복수의 빔으로 분리하는 데 사용될 수 있다.
도 11을 참조하면, 동작(1107)에서 비콘 빔(I)에 대한 데이터가 수집된다. 투사 시스템이 한번에 단일 비콘을 캐스팅하는 경우, 동작(1107)에서 수집된 데이터는 하나의 비콘에만 상응한다. 동작(1107)에서 수집된 데이터는 PSD(121 또는 131)가 동작(1107)에서 수집을 수행하는지 및 무슨 기술이 PSD(예를 들어, P-i-N 포토 다이오드, CMOS 이미지 센서 등)를 구현하는지 뿐만 아니라 무슨 투사 방법이 채용되는지의 함수이다. 예를 들면, 도 9b에 도시된 바와 같이, 회절 프로젝터(128)가 고정 상대 각(αA 와 αB)으로 복수의 빔을 동시에 투사하며, 동작(1107)에서 수집된 데이터는 빔에 의해 캐스팅된 복수의 라인에 상응한다. 그 다음, 투사된 패턴(874A, 874B, ..., 874N)은 장애물(941, 942)을 회피하기 위해 길이 LA, LB를 따라 유닛으로 조향될 수 있다.
실시예에서, 적어도 강도 및 위치 데이터는 동작(1107)에서 수집된다. 동작(1107)에서 수집하는 센서는 프로젝터와 공통으로 기준점에 대한 알려진 위치 및 방향을 가질 수 있다. 이러한 일 실시예에서, (도 5에 도시된 영역(1200)의 확대 측면도를 도시한) 도12에 추가로 도시된 바와 같이, 이미징 장치(105)에 통합된 PSD(121)는 동작(1107)에서 비콘 데이터를 수집한다. 도 10에 추가로 도시된 바와 같이, PSD(121)는 투사 조향 범위를 스팬하는 FOV(122)를 가진 패턴 공간 광학 장치(1008)에 결합된다. PSD(121)는 투사된 패턴의 피드백 제어를 위한 픽업으로 투사된 패턴을 모니터링하기 위해 배타적으로 이용될 수 있으며, 그래서 추적 시스템 사용(예를 들어, 게임 플레이) 중에 연속 패턴 모니터링의 이점을 제공한다.
. 다른 실시예에서, 도13에 추가로 도시된 바와 같이, 물체(110)에 통합된 PSD(131)는 동작(1107)에서 비콘 데이터를 수집한다. 도 10에 추가로 도시된 바와 같이, 물체(110)의 PSD(131)는 프로세서(1010)에 통신 가능하게 결합된다. PSD(131)가 하나 이상의 시야(132A, 132B, 132C 등) 내에 있도록 투사된 패턴을 위치시키는데 나중에 이용되도록 하는 제 1 교정 단계 동안 다양한 기술은 먼저 PSD(131)의 방향을 결정하는 데 사용될 수 있다. 예를 들면, PSD(131)의 방향은 먼저 물체 공간 광학 장치(1007)에 의해 제공되는 FOV(122) 내의 물체(110)를 포함하는 PSD(111)에 의해 수집된 이미지 데이터로부터 결정될 수 있다. 그 다음, PSD(131)는 도 13에 도시된 비콘 빔(173A, 173B, 163)이 조향될 때 복수의 비콘 위치의 하나 이상과 관련된 강도 분포의 별도의 중심을 전송할 수 있다. PSD(131)에 기초하여 투사된 비콘의 위치를 설정하는 실시예는 나중에 (도 2의 동작(212)에서) 물체 추적 동안 투사된 패턴으로부터 물체의 위치를 결정하는 데 사용되는 룸 내부에서 동일한 센서 및 근접한 물체 위치에 기초하여 투사된 비콘을 위치시키는 이점을 갖는다.
도 11을 참조하면, 동작(1107) 후에, 미리 정의된 샘플 계획의 모든 위치가 아직 테스트되지 않은 경우에 빔(I)은 동작(1111)에서 다음 방향(Xm, Yn)으로 조향된다. 예를 들면, 도 12에 도시된 바와 같이, 빔(173A)은 무작위로 또는 비콘 구역(예를 들어 도 9a의 974A) 내의 메시의 미리정의된 샘플 포인트에 의해 제 1 비콘 위치(174A1)에서 제 2 비콘 위치(174A2)로 이동될 수 있다. 대안적으로, 샘플 계획에 대한 모든 데이터가 수집된 경우, 빔 데이터는 검색 기준을 만족하는 방향을 식별하기 위해 수집된 조향 방향(Xm, Yn)에 걸쳐 동작(1125)에서 분석된다. 그 후, 자격(qualifying) 방향은 비콘 위치를 매핑하기 위해 동작(1130)에서 선택된다.
실시예에서, 수집된 빔 데이터는 동작(1125)에서 비교되고, 위치는 비콘 가시성 기준 및/또는 복수의 비콘 사이의 공간 관계에 기초하여 동작(1130)에서 선택된다. 제 1 실시예에서, 프로세서(1010)는 조향 방향(Xm, Yn)에 걸쳐 반사된 방사선의 강도를 비교하여 수집된 데이터를 분석하는 것이다. 투사 방향은 강도의 임계 레벨을 충족하는 비콘의 위치를 식별하기 위해 강도 또는 전력에 따라 분류될 수 있다. 그 후, 낮은 강도를 갖는 빔 방향을 가진 위치는 폐색되거나 부적합으로 제거된다.
또 다른 실시예에서, 프로세서(1010)는 간격 또는 비콘 간격의 균일성을 최대화하는 알고리즘을 실행하여 수집된 데이터를 분석하는 것이다. 빔(I)에 대한 다양한 투사 방향이 임계 강도를 충족한다고 가정하면, 다른 비콘 빔(I+1), 예를 들어 도 12의 빔(173B)은 방법(1100)의 다른 반복 시에 동작(1105)에서 선택되고 투사된다. 예를 들어 비콘 구역(974B)을 스팬하는 투사 방향의 다른 세트가 임계 강도를 충족하는 경우, 각각의 비콘 구역(174A 및 174B)을 가진 위치는 공간 고려 사항에 기초하여 선택될 수 있다. 일 실시예에서, 174A 및 174B의 위치는 비콘(174A 및 174B) 사이의 간격을 최대화하기 위해 위치의 자격 세트로부터 선택된다. 다른 실시예에서, 174A 및 174B의 위치는 투사될 복수의 비콘 사이의 간격의 균일성을 최대화하기 위해 위치의 자격 세트로부터 선택된다(즉, 자격 위치는 예를 들어 균일한 면적의 비콘 밀도를 달성하기 위해 하나의 기본 함수를 가진 모든 비콘 위치에 대해 선택된다).
로컬 영역 내의 빔 방향이 자격 비콘의 위치에 상응하는 것으로 식별되지 않는 경우, 로컬 영역은 무효화되고, 전체 비콘 카운트는 동작(1125)에서 1이 감소되거나(예를 들어, 10 비콘의 디폴트 어레이는 9로 감소됨), 비콘은 다수의 자격 위치(예를 들어, 유지된 10 비콘의 디폴트 어레이)를 갖는 상이한 로컬 영역에 통합된다.
추가의 실시예에서, 프로세서(1010)는 투사 표면의 3차원 측정을 수행하기 위해 빔을 조향하거나 스캔하는 것이다. 많은 3D 측정 알고리즘은 알려져 있으며, 이 중 임의의 하나는 여기에 설명된 바와 같이 프로젝터(128) 및 PSD(121) 또는 P131 중 하나의 어떤 실시예로 수행될 수 있다. 목표가 투사된 비콘이 여러 가능한 내부 룸 표면에 적응하여 배치될 수 있을 경우에 자동으로 결정하는 것을 인식하는 다양한 단순화가 행해질 수 있다. 일 실시예에서, 수집된 데이터는 동일한 평면에 놓인 위치로 매핑되는 복수의 비콘의 수를 최대화하기 위해 동작(1125)에서 분석된다. 평면 비콘 공간을 갖는다는 것은 투사된 비콘 위치에 기초하여 물체의 위치 데이터를 결정하는 데 사용되는 알고리즘을 단순화하는 데 유리할 수 있다.
실시예에서, 비콘 공간의 평탄도는 비콘(I)이 방향(Xm, Yn)으로 조향될 때 복수의 비콘 위치 중 하나 이상과 관련된 강도 분포의 중심의 이동을 평가하기 위해 3D 측정 알고리즘의 응용을 통해 최적화될 수 있다. 중심 이동은 관련된 빔 방향 변경 및/또는 빔 길이(거리) 변경의 함수로서 중심 이동을 결정하기 위해 빔 조향 매개 변수(예를 들어, 마이크로 미러의 x-y의 변경)에 비교될 수 있다. 일반적으로 삼각 측량의 알려진 주체 뿐만 아니라 알려진 비행 시간 알고리즘은 프로젝터(128)와 주어진 방향에 상응하는 위치 사이의 거리를 결정하는 데 이용될 수 있다. 대안적 실시예는 투사된 비콘과 LED 비콘(129) 사이의 거리를 결정하기 위해 PSD(131)를 사용한다. 어느 하나의 실시예의 경우, 천장(175)과 벽면(165, 185) 사이의 접합부(joint)의 위치의 추정, 또는 조명 기구(942)와 같은 지형 특징(topographic feature)이 위치되는 경우는 임의의 원하는 해상도로 쉽게 식별될 수 있다. 그 다음, 비콘의 위치는 예를 들어 천장(175)의 평탄한 표면에 비콘 위치의 수를 최대화하거나, 투사된 패턴 등의 면적을 최대화하기 위해 동작(1130)에서 선택될 수 있다.
도 14는 일 실시예에 따라 물체(110)의 추적을 위해 양호한 위치 참조를 제공하는 투사된 비콘 위치를 결정하는 방법(1400)을 도시한 흐름도이다. 방법(1400)은 일반적으로 비콘 위치의 사용자 피드백에 의존하며, 그래서 방법(1400)은 가시 파장으로 방출하는 빔 소스를 가진 초기 디폴트 위치에 가시 빔(I) 마커를 투사함으로 시작한다. 이를 위해, 도 10에 묘사된 빔 소스(1030B 또는 1030C) 중 하나는 비콘 투사 시스템의 초기 설정에 전념하는 가시 빔 소스를 가진 빔 소스(1030)와 상이한 파장에서 동작할 수 있으며, 그 후 빔 소스(1030)는 방법(1400)을 통해 결정된 비콘 위치를 이용하여 참조 패턴을 설정하기 위해 근적외선 대역에서 동작한다.
투사된 가시 비콘 마커로, 사용자 입력(예를 들어, 물체(110) 또는 다른 입력 인터페이스를 통해)이 (예를 들어, 디폴트 위치에서 폐색으로 인해) 변경할 비콘의 위치를 요청하는 경우, 비콘(I)은 동작(1111)에 대해 여기서 달리 설명된 임의의 방식으로 동작(1411)에서 조향된다. 빔 조향은 현재 위치에 대한 조향의 방향을 지시하는 추가의 사용자 입력에 응답할 수 있거나, 대안적인 미리 정의된 방향이 자동으로 선택될 수 있다. 복수의 비콘은 사용자 특정 위치에 각 비콘을 위치시키는 것과 동일한 방식으로 반복을 통해 순환된다. 동작(1430)에서, 사용자 특정 위치는 예를 들어 방법(200)에서와 같이(도 2) 물체(110)의 추적을 위한 참조 비콘 위치로 나중에 IR 레이저와 함께 사용을 위해 매핑된다.
도 15는 실시예에 따라 시간이 지남에 따라 투사된 패턴을 모니터링하고, 참조 패턴에 발생하는 변화에 응답하는 방법(1500)을 도시한 흐름도이다. 이미징 장치(105)가 PSD(121)를 포함하는 경우, PSD(121)는 여기에서 달리 설명된 비콘 위치 결정 기능을 제공하는 것 이외에 시간이 지남에 따라 투사된 패턴을 모니터링하기 위해 이용될 수 있다. 이러한 모니터링을 통해, 추적 시스템(100)은 비콘 위치가 마지막으로 선택된 이후 프로젝터의 시선(lines of sight)에 배치된 임의의 새로운 장애물에 자동으로 응답할 수 있다. 방법(200)(도 2 )이 PSD(131)에 의해 수집된 패턴 위치 데이터에 기초하여 실행되면, 방법(1500)은 PSD(121)에 의해 수집된 패턴 위치 데이터에 기초하여 실행된다. 방법(1500)은 이전에 선택된 패턴을 투사하는 동작(310)에서 시작한다. 동작(1512)에서, PSD(121)는 예를 들어 이미징 장치(105)의 이점의 측면에서 패턴 위치 데이터를 수집한다. 동작(1515)에서, 수집된 패턴 위치 데이터는 예를 들어 프로세서(1010)에 의해 이전에 수집된 패턴 위치 데이터에 비교된다. 방법(1500)의 각 주기로, 시간이 지남에 따른 패턴 위치 데이터의 편차가 하나 이상의 임계값 기준(예를 들어, 비콘 중심 강도 또는 비콘 중심 위치 임계값)를 초과할 경우, 하나 이상의 빔은 동작(1521)에서 대안적 위치로 조향되거나(예를 들어, 방법(1100)에 의해 식별되는 자격 비콘 위치의 대안적 세트) 동작(1522)에서 차단된다.
도 16은 실시예에 따라 투사된 패턴 위치 데이터, 물체 이미지 데이터 및 물체 관성 데이터 중 적어도 둘에 기초하여 물체 위치 데이터를 결정하는 도 17에 도시된 하이브리드 방법(1700)을 수행할 수 있는 물체 추적 시스템(100)의 모듈의 기능적 블록도이다. 도 16에 도시된 바와 같이, 물체(110)는 적어도 하나의 관성 센서(1640)를 추가로 포함한다. 관성 센서(1640)는 단일 축 또는 다수의 축을 따라 가속도를 측정하고, 선형 가속도 뿐만 아니라 각도 가속도를 측정할 수 있다. 관성 센서(1640) 및 PSD(131)의 각각은 제각기 위치 엔진(1660 및 1665)에 통신 가능하게 결합된다. 추가의 실시예에서, 이미징 장치(105)에 부착된 PSD(111)는 제 3 위치 엔진(1670)에 결합된다. 패턴이 동작(1710)에서 내부 룸 표면에 투사되는 도 17에 도시된 바와 같이, PSD(121)는 동작(1716)에서 패턴 위치 데이터를 수집한다. 동시에, 동작(1717)에서, PSD(111)(예를 들어, 표준 비디오 카메라)는 물체(110)를 이미지화하지만, 관성 센서(1640)는 동작(1718)에서 물체 관성 데이터를 수집한다.
그 다음, 물체(110)의 별도의 위치 데이터는 제각기 관성 데이터, 투사된 패턴 데이터 및 물체의 이미지 데이터로부터 엔진(1660, 1665 및 1670)(도 16)에 의해 생성된다. 그 후, 별도의 픽업으로부터 도출된 바와 같은 다양한 위치 데이터 구성 요소는 동작(1720)에서 물체의 위치 데이터를 출력하기 위해 조정(reconciling) 논리(1675)에 의해 조정된다. 위치 엔진(1660 및 1675)은 둘 다 예를 들어 물체(110)의 요(yaw)를 출력시킬 수 있지만, 위치 엔진(1665 및 16675)은 둘 다 예를 들어 X, Y 및 Z 위치 데이터 구성 요소를 출력시킬 수 있다. 각 엔진(1660, 1665 및 1670)은 예를 들어 컴퓨팅 장치(115)에서 동일한 프로세서에 의해 실행되는 소프트웨어 모듈일 수 있거나, 각 엔진은 별도의 논리 회로로 구현될 수 있다. 그 다음, 콤 필터(comb filter) 또는 다른 알려진 신호 프로세서/필터를 포함하는 조정 논리(1675)는 예시적인 실시예에서 그래픽 엔진으로 출력하기 위해 물체의 위치를 나타내는 구성 요소의 단일 세트를 해결하는 것이다.
PSD(131) 및 PSD(111)의 둘 다로부터 물체의 위치를 결정하는 실시예는 이점으로 전체 시스템 설계를 단순화 하고, PSD(131) 또는 PSD(111)의 어느 하나를 단독으로 사용하는 대안적인 실시예에 비해 추적 성능을 향상시킬 수 있다. 예를 들면, 위치의 X 및 Y 구성 요소의 결정이 Z 구성 요소보다 높은 정확도로 PSD(111)를 통해 결정될 수 있을 경우, 패턴은 Z 구성 요소의 결정을 보완하기 위해 PSD(131)에 의해 투사되고 모니터링될 수 있다. 다른 예로서, 도 18a는 물체의 위치 중 적어도 하나의 다른 구성 요소가 이미지 데이터로부터 도출되는 동안 하이브리드 물체 추적 시스템이 투사된 패턴으로부터 물체의 요를 결정하는 룸의 측면도를 도시한다. 일부 응용을 위한 물체의 요는 상대적으로 중요하지 않으며, 예를 들어 관성 센서(1640) 단독에 의해 충분한 정확도로 추정될 수 있다. 그러나, 다른 응용에서, 요는 물체의 위치 데이터의 가장 중요한 구성 요소이다(예를 들면, 사용자(101)가 에이밍 이벤트(aiming event) 동안 디스플레이(120)의 영역을 향해 물체(110)의 길이 방향 축을 가리킬 때). 따라서, 특정 실시예에서, 요는 물체(110)의 방향에 기초하여 대안적인 데이터 소스로부터 결정될 수 있다. 예를 들면, 요는 패턴 위치 데이터가 PSD(131)로부터 이용할 수 없을 때에는 관성 센서(1640)로부터 결정될 수 있으며, 요는 패턴 위치 데이터가 이용할 수 있을 때에는 PSD(131)로부터 결정될 수 있다.
빔(173A, 173B 및 173C)을 천장(175)에 캐스팅하는 프로젝터(128)로, 요는 에이밍 이벤트 동안 투사된된 물체 방향에 기초하여 PSD(131)의 감소된 수로 에이밍 이벤트 동안에 결정될 수 있다. 도 18a 및 도 18b(도 18a에 묘사된 물체(110)의 확대 등각도)에 도시된 바와 같이, FOV(132)를 가진 위쪽 PSD(131)는 요 각 γ가 에이밍 이벤트 동안에 결정될 수 있는 천장 비콘(174A, 174B 및 174C)의 중심을 출력할 것이다.
도 19는 동작(1910)에서 룸 천장에 투사된 패턴이 물체(110)의 패턴 센서에 의해 관찰되는 방법(1900)을 도시한 흐름도이다. 그 다음, 제 1 물체 위치 데이터 세트는 동작(1916)에서 결정된다. 동시에, 동작(1950)에서, 제 2 물체 위치 데이터 세트는 물체(110)를 포함하는 FOV를 이미지 데이터에 제공하는 PSD(111)와 같은 물체의 외부에 있는 물체 센서로부터 생성된다. 동작(1920)에서, 적어도 물체 요 및/또는 Z 위치는 제 1 물체 위치 데이터 세트로부터 결정되지만, 물체 위치의 적어도 X, Y 구성 요소는 동작(1980)에서 제 2 물체 위치 데이터 세트로부터 결정된다. 그 다음, 이러한 구성 요소는 조합되고, 임의의 중복 정보는 조정된다. 최종으로, 동작(1990)에서, 표시된 그래프는 추적된 물체의 위치에 기초하여 생성, 수정 또는 제어된다.
도 20은 본 발명의 일 실시예에 따라 물체 추적에 기초하여 디스플레이를 적응시키는 데 사용될 수 있는 하드웨어 및 사용자 인터페이스를 추가로 도시한다. 도 20은 Sony Playstation® 3 엔터테인먼트 장치, 여기에 설명된 물체 추적 방법을 구현하기 위해 호환 가능한 콘솔의 전체 시스템 아키텍처를 개략적으로 도시한다. 플랫폼 유닛(2000)에는 플랫폼 유닛(2000)에 연결 가능한 다양한 주변 장치가 제공된다. 플랫폼 유닛(2000)은 셀 프로세서(2028); Rambus® 동적 랜덤 액세스 메모리(XDRAM) 유닛(2026); 전용 비디오 랜덤 액세스 메모리(VRAM) 유닛(1432)을 가진 Reality Simulator 그래픽 유닛(2030); 및 I/O 브리지(2034)를 포함한다. 플랫폼 유닛(2000)은 또한 디스크(2040A)로부터 판독하기 위한 Blu Ray® Disk BD-ROM® 광 디스크 판독기(2040) 및 이동식 슬롯인(slot-in) 하드 디스크 드라이브(HDD)(2036)를 포함하며, 이것은 I/O 브리지(2034)를 통해 액세스 가능하다. 선택적으로, 플랫폼 유닛(1400)은 또한 콤팩트 플래시 메모리 카드를 판독하기 위한 메모리 카드 판독기(2038), Memory Stick® 메모리 카드 등을 포함하며, 이것은 마찬가지로 I/O 브리지(2034)를 통해 액세스 가능하다.
I/O 브리지(2034)는 또한 다수의 범용 직렬 버스(USB) 2.0 포트(2024); 기가비트 이더넷 포트(2022); IEEE 802.11b/g 무선 네트워크(Wi-Fi) 포트(2020); 및 7개까지의 블루투스 연결을 지원할 수 있는 Bluetooth® 무선 링크 포트(2018)에 연결한다.
동작에서, I/O 브리지(2034)는 모든 무선, USB 및 이더넷 데이터를 처리하며, 이러한 데이터는 하나 이상의 게임 제어기(2002)로부터의 데이터를 포함한다. 예를 들면, 사용자가 게임을 할 때, I/O 브리지(2034)는 블루투스 링크를 통해 게임(모션) 제어기(2002)로부터 데이터를 수신하여, 이에 따라 게임의 현재 상태를 업데이트하는 셀 프로세서(2028)로 지향시킨다.
무선, USB 및 이더넷 포트는 또한 원격 제어부(2004); 키보드(2006); 마우스(2008), Sony Playstation® Portable 엔터테인먼트 장치와 같은 휴대용 엔터테인먼트 장치(2010); Playstation® Eye 비디오 이미지 센서(2012)와 같은 비디오 이미지 센서; 마이크 헤드셋(2020); 마이크 어레이(2015)와 같이 게임 제어기(2002) 이외의 다른 주변 장치에 대한 연결성을 제공한다. 그래서, 이러한 주변 장치는 원칙적으로 플랫폼 유닛(2000)에 무선으로 연결될 수 있으며; 예를 들어 휴대용 엔터테인먼트 장치(2010)는 Wi-Fi 애드혹(ad-hoc) 연결부를 통해 통신할 수 있지만, 마이크 헤드셋(2020)은 블루투스 링크를 통해 통신할 수 있다.
이러한 인터페이스의 제공은 Playstation 3 장치가 또한 디지털 비디오 레코더(DVR), 셋톱 박스, 디지털 비디오 이미지 센서, 휴대용 미디어 플레이어, VoIP(Voice over IP) 전화, 이동 전화, 프린터 및 스캐너와 같은 다른 주변 장치와 잠재적으로 호환 가능하다는 것을 의미한다.
게임 제어기(2002)는 블루투스 링크를 통해 플랫폼 유닛(2000)과 무선으로 통신하거나, USB 포트에 연결되며, 이에 의해 또한 게임 제어기(2002)의 배터리를 충전하기 위해 어떤 것에 의해 전력을 제공하도록 동작할 수 있다. 게임 제어기(2002)는 또한 메모리, 프로세서, 메모리 카드 판독기, 플래시 메모리와 같은 영구 메모리, LED 또는 적외선 광과 같은 발광기, 마이크 및 스피커, 디지털 비디오 이미지 센서, 분할된 포토 다이오드, 내부 클럭, 게임 콘솔에 직면하는 구형 섹션과 같은 인식/식별 가능한 형상을 포함할 수 있다.
여기에 설명된 바와 같이, 게임 제어기(2002)는 3차원 위치 결정을 위해 구성된다. 따라서, 게임 제어기(2002)의 사용자에 의한 몸짓 및 움직임은 기존의 버튼 또는 조이스틱 명령 이외에 또는 대신에 게임에 대한 입력으로 변환될 수 있다. 선택적으로, PlaystationTM Portable 장치와 같은 다른 무선 가능 주변 장치는 제어기로 사용될 수 있다. PlaystationTM Portable 장치의 경우에, 추가적인 게임 또는 제어 정보(예를 들어, 제어 명령어 또는 생명체의 수(number of lives)는 장치의 스크린에 제공될 수 있다. 다른 대안적 또는 보조적 제어 장치는 또한 (도시되지 않은) 댄스 매트, (도시되지 않은) 라이트 건(light gun), (도시되지 않은) 조향 휠 및 페달 등과 같이 사용될 수 있다.
원격 제어부(2004)는 또한 블루투스 링크를 통해 플랫폼 유닛(2000)과 무선으로 통신하기 위해 동작할 수 있다. 원격 제어부(2004)는 Blu RayTM Disk BD-ROM 판독기(2040)의 동작 및 디스크 내용의 탐색에 적합한 제어부를 포함한다.
Blu RayTM Disk BD-ROM 판독기(2040)는 기존의 사전 녹음 및 녹음 가능한 CD 및 소위 Super Audio CD 이외에 Playstation 및 PlayStation 2 장치와 호환 가능한 CD-ROM을 판독하기 위해 동작할 수 있다. 판독기(2040)는 또한 기존의 사전 녹음 및 녹음 가능한 DVD 이외에 Playstation 2 및 PlayStation 3 장치와 호환 가능한 DVD-ROM을 판독하기 위해 동작할 수 있다. 판독기(2040)는 기존의 사전 녹음 및 녹음 가능한 Blu-Ray Disk 뿐만 아니라 PlayStation 3 장치와 호환 가능한 BD-ROM을 판독하기 위해 추가로 동작할 수 있다.
플랫폼 유닛(2000)은 Reality Simulator 그래픽 유닛(2030)을 통해 PlayStation 3 장치에 의해 생성되거나 디코딩되는 오디오 및 비디오를 오디오 및 비디오 커넥터를 통해 디스플레이(120)와 같은 디스플레이 및 사운드 출력 장치에 공급하기 위해 동작할 수 있다. 오디오 커넥터(2050)는 기존의 아날로그 및 디지털 출력을 포함 할 수 있지만, 비디오 커넥터(2052)는 다양하게 컴포넌트 비디오, S-비디오, 복합 비디오(composite video) 및 하나 이상의 High Definition Multimedia Interface(HDMI) 출력을 포함할 수 있다. 따라서, 비디오 출력은 PAL 또는 NTSC와 같은 형식으로 또는 720p, 1080i 또는 1080p의 고 해상도로 출력할 수 있다.
일 실시예에서, 비디오 이미지 센서(2012)는 단일 전하 결합 장치(CCD) 및 LED 표시기를 포함한다. 일부 실시예에서, 압축된 비디오 데이터가 플랫폼 유닛(2000)에 의해 디코딩하기 위해 인트라 이미지 기반의 MPEG(motion picture expert group) 표준과 같은 적절한 형식으로 전송될 수 있도록 이미지 센서(2012)는 소프트웨어 및 하드웨어 기반의 실시간 데이터 압축 및 인코딩 장치를 포함한다. 비디오 이미지 센서 LED 표시기는 예를 들어 불리한 조명 조건을 나타내도록 플랫폼 유닛(2000)으로부터의 적절한 제어 데이터에 응답하여 조명하기 위해 배치된다. 비디오 이미지 센서(2012)의 실시예는 HDMI, USB, Bluetooth 또는 Wi-Fi 통신 포트를 통해 플랫폼 유닛(2000)에 다양하게 연결될 수 있다. 비디오 이미지 센서의 실시예는 하나 이상의 관련된 마이크를 포함할 수 있으며, 또한 오디오 데이터를 전송시킬 수 있다. 비디오 이미지 센서의 실시예에서, CCD는 고 해상도 비디오 캡처에 적합한 해상도를 가질 수 있다. 사용 중에, 비디오 이미지 센서에 의해 캡처된 이미지는 예를 들어 게임 내에 통합되거나 게임 제어 입력으로 해석될 수 있다. 다른 실시예에서, 비디오 이미지 센서는 적외선 광을 검출하는데 적합한 적외선 비디오 이미지 센서이다.
도 21은 본 발명의 일 실시예에 따라 명령어를 처리하는 데 사용될 수 있는 추가적인 하드웨어를 도시한다. 도 21에 추가로 도시된 바와 같이, 도 20의 셀 프로세서(2028)는 4개의 기본 구성 요소: 메모리 제어기(2160) 및 이중 버스 인터페이스 제어기(2170A, 2170B)를 포함하는 외부 입력 및 출력 구조; Power Processing Element(2150)라 하는 메인 프로세서; Synergistic Processing Element(SPE)(2110A 내지 2110H)라 하는 8개의 코프로세서(co-processor); 및 Element Interconnect Bus(2180)라 하는 위의 구성 요소를 연결하는 순환 데이터 버스를 포함하는 아키텍처를 갖는다.
Power Processing Element(PPE)(2150)는 3.2 GHz의 내부 클럭으로 실행하는 양방향 동시 멀티스레딩 Power 2070 compliant PowerPC core(PPU)(2155)에 기초한다. 그것은 512 kB 레벨 2(L2) 캐시(2152) 및 32 kB 레벨 1(L1) 캐시(2151)를 포함한다. PPE(2150)는 클럭 주기마다 8개의 단일 위치 동작을 할 수 있고, 3.2 GHz에서 25.6 GFLOP로 변환할 수 있다. PPE(2150)의 주요 역할은 계산 작업량(workload)의 대부분을 처리하는 SPE(2110A 내지 2110H)에 대한 제어기 역할을 하는 것이다. 동작에서, PPE(2150)는 SPE(2110A 내지 2110H)에 대한 작업(job)을 스케줄링하고 이의 진행 상황을 모니터링하는 작업 대기 행렬(job queue)을 유지 관리한다. 따라서, 각 SPE(2110A 내지 2110H)는 역할이 작업을 인출(fetch)하여, 그것을 실행하고 PPE(2150)와 동기화되는 커널(kernel)을 실행한다.
각 Synergistic Processing Element(SPE)(2110A 내지 2110H)는 각각의 Synergistic Processing Unit(SPU)(2120A 내지 2120H) 및 각각의 Memory Flow Controller(MFC)(2140A 내지 2140H)를 포함하며, Memory Flow Controller(MFC)(2140A 내지 2140H)는 결과적으로 각각의 Dynamic Memory Access Controller(DMAC)(2142A 내지 2142H), 각각의 Memory Management Unit(MMU)(2144A 내지 2144H) 및 (도시되지 않은) 버스 인터페이스를 포함한다. 각 SPU(2120A 내지 2120H)는 로컬 RAM(2130A 내지 2130H)을 가진 RISC 프로세서이다.
Element Interconnect Bus(EIB)(2180)는 위의 프로세서 요소, 즉 PPE(2150), 메모리 제어기(2160), 이중 버스 인터페이스 제어기(1570A, 1570B) 및 8개의 SPE(2110A 내지 2110H), 총 12의 참가자를 연결하는 셀 프로세서(2028) 내부의 논리적 순환 통신 버스이다. 참가자들은 동시에 클럭 주기마다 적어도 8 바이트의 속도로 버스에 판독하고 기록할 수 있다. 이전에 언급한 바와 같이, 각 SPE(2110A 내지 2110H)는 더욱 긴 판독 또는 기록 시퀀스를 스케줄링하기 위한 DMAC(2142A 내지 2142H)를 포함한다. EIB는 4개의 채널을 포함하는데, 제각기 2개는 시계 방향이고, 2개는 시계 반대 방향이다. 따라서, 12 참가자에 대해, 임의의 두 참가자 사이의 가장 긴 단계적 데이터 흐름은 적절한 방향의 6 단계이다.
메모리 제어기(2160)는 메모리 제어기가 XDRAM와 인터페이스하는 XDRAM 인터페이스(2126)를 포함한다. 이중 버스 인터페이스 제어기(1570A, 1570B)는 시스템 인터페이스(2172A , 2172B)를 포함한다.
위의 설명은 제한적이 아니라 예시적이도록 의도된다는 것이 이해되어야 한다. 예를 들면, 도면의 흐름도가 본 발명의 어떤 실시예에 의해 수행되는 동작의 특정 순서를 보여주지만, 이러한 순서는 필요하지 않는 것으로 이해되어야 한다(예를 들면, 대안적인 실시예는 동작을 상이한 순서로 수행하고, 어떤 동작을 조합하며, 어떤 동작을 중복할 수 있다). 더욱이, 많은 다른 실시예는 위의 설명을 읽고 이해할 시에 당업자에게 명백할 것이다. 본 발명이 특정한 예시적인 실시예를 참조하여 설명되었지만, 본 발명은 설명된 실시예로 제한되지 않고, 첨부된 청구 범위의 사상 및 범주 내에서 수정 및 변경으로 실시된다는 것이 인식될 것이다. 그래서, 본 발명의 범주는 이러한 청구 범위가 부여받는 동등물의 전체 범주와 함께 첨부된 청구 범위를 참조로 결정되어야 한다.

Claims (40)

  1. 추적된 물체에 대해 결정된 위치 데이터에 기초하여 디스플레이 스크린의 그래픽을 제어하는 시스템에 있어서,
    상기 디스플레이 스크린이 배치될 수 있는 룸의 적어도 하나의 내부 표면에 식별 가능한 방사선의 패턴을 투사하는 프로젝터;
    상기 적어도 하나의 내부 표면으로부터 반사된 상기 식별 가능한 방사선을 수집하도록 상기 물체에 배치된 제 1 광 위치 감지 장치;
    상기 제 1 광 위치 감지 장치에 의해 수집된 반사된 방사선에 기초하여상기 물체에 대한 위치 데이터를 결정하는 프로세서; 및
    상기 물체의 위치 데이터에 기초하여 상기 그래픽을 렌더링하는 그래픽 엔진을 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 내부 표면은 룸 천장을 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  3. 제 1 항에 있어서,
    상기 프로젝터는 근적외선 대역을 포함하는 발광 스펙트럼을 갖는 조향가능한 레이저를 포함하고, 상기 식별 가능한 방사선의 패턴은 상기 적어도 하나의 내부 표면에 매핑된 위치로 순차적으로 투사된 복수의 비콘을 포함하며, 상기 제 1 광 위치 감지 장치는 상기 반사된 방사선의 중심을 결정하는 포토 다이오드를 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  4. 제 1 항에 있어서,
    상기 적어도 하나의 내부 표면은 룸 천장을 포함하고, 상기 프로젝터는 근적외선 대역을 포함하는 고정된 투사 빔을 포함하고, 상기 패턴은 복수의 상호 연결된 반복 유닛을 포함하며, 상기 제 1 광 위치 감지 장치는 상기 투사된 패턴의 이미지를 수집하는 비디오 카메라를 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  5. 제 1 항에 있어서,
    상기 투사된 패턴에 대해 알려진 위치에서 비투사된 비콘 방출 방사선을 추가로 포함하는데, 상기 제 1 광 위치 감지 장치는 상기 비투사된 비콘으로부터 방출된 방사선에서 비콘 위치 데이터를 추가로 결정하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  6. 제 3 항에 있어서,
    복수의 매핑된 비콘 위치를 결정하는 프로세서를 추가로 포함하는데, 상기 프로세서는,
    상기 프로젝터가 상기 복수의 비콘 중 하나 이상에 대해 투사된 방사선을 상기 내부 표면 상의 제 1 위치에서 상기 내부 표면 상의 제 2 위치로 조향하도록 하고,
    상기 제 1 및 2 위치와 관련된 비콘 위치 데이터를 분석하며,
    상기 제 1 및 2 위치 중 하나를 상기 복수의 매핑된 비콘 위치 중 하나로 선택하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  7. 제 6 항에 있어서,
    상기 프로세서는 상기 제 1 및 2 위치에 대해 반사된 방사선의 강도를 비교하여 상기 비콘 위치 데이터를 분석하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  8. 제 6 항에 있어서,
    상기 프로세서는 상기 제 1 위치에 상응하는 각도를 상기 제 2 위치로 조향하는 함수로 상기 복수의 비콘 위치 중 하나 이상과 관련된 강도 분포의 중심의 이동을 평가하기 위해 상기 비콘 위치 데이터를 분석하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  9. 제 6 항에 있어서,
    상기 프로세서는 상기 프로젝터와 상기 제 1 위치 사이의 거리를 상기 프로젝터와 상기 제 2 위치 사이의 거리와 비교하기 위해 상기 비콘 위치 데이터를 분석하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  10. 제 9 항에 있어서,
    상기 프로세서는 상기 프로젝터와 제 1 및 2 위치 사이의 거리의 변경을 상기 빔 조향에 의해 유발된 투사 방향의 변경과 비교하여 상기 비콘 위치 데이터를 분석하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  11. 제 6 항에 있어서,
    상기 프로세서는 동일한 평면에 놓인 위치에 매핑된 복수의 비콘의 수를 최대화하기 위해 상기 비콘 위치 데이터를 분석하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  12. 제 6 항에 있어서,
    상기 프로세서는 비콘 간격의 균일성을 최대화하는 알고리즘을 실행하여 상기 비콘 위치 데이터를 분석하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  13. 제 6 항에 있어서,
    상기 프로세서는 상기 제 1 광 위치 감지 장치에 통신 가능하게 결합되고, 상기 프로세서는 상기 복수의 비콘 중 하나 이상이 상기 제 1 위치 및 상기 제 2 위치에 있을 때 상기 복수의 비콘 위치 중 하나 이상과 관련된 강도 분포의 별도의 중심을 상기 제 1 광 위치 감지 장치로부터 수신하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  14. 제 6 항에 있어서,
    상기 비콘 프로젝터에 대해 알려진 고정된 위치 및 방향에 배치되고, 상기 프로세서에 통신 가능하게 결합된 제 2 광 위치 감지 장치를 추가로 포함하는데, 상기 프로세서는 상기 제 2 광 위치 감지 장치로부터 상기 제 1 및 2 위치와 관련된 상기 비콘 위치 데이터를 수신하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  15. 제 14 항에 있어서,
    상기 제 2 광 위치 감지 장치는 상기 복수의 비콘 중 하나 이상이 상기 제 1 위치 및 상기 제 2 위치로부터 조향될 때 상기 복수의 비콘 위치 중 하나 이상과 관련된 강도 분포의 중심을 결정하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  16. 제 1 항에 있어서,
    상기 물체를 상기 패턴 투사와 동시에 이미지화하는 비디오 카메라; 및
    상기 투사된 패턴으로부터 도출된 물체의 위치 데이터로 상기 비디오 카메라에 의해 생성된 이미지 데이터로부터 도출된 물체의 위치 데이터를 조정하는 프로세서를 추가로 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  17. 제 16 항에 있어서,
    상기 제 1 광 위치 감지 장치는 상기 물체의 위쪽에 배치되고, 상기 프로세서는 상기 투사된 패턴으로부터 도출된 물체의 위치 데이터에만 기초하여 상기 물체의 요를 결정하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  18. 제 17 항에 있어서,
    상기 프로세서는 적어도 부분적으로 상기 비디오 카메라에 의해 생성된 이미지 데이터로부터 도출된 물체의 위치 데이터에 기초하여 상기 물체의 x 및 y 위치를 결정하고, 적어도 부분적으로 상기 투사된 패턴으로부터 도출된 물체의 위치 데이터에 기초하여 상기 물체의 z 위치를 결정하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  19. 제 17 항에 있어서,
    상기 프로젝터는 고정된 IR 프로젝터를 포함하고, 상기 제 1 광 위치 감지 장치는 상기 투사된 패턴의 이미지를 수집하는 제 2 비디오 카메라를 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  20. 제 1 항에 있어서,
    상기 제 1 광 위치 감지 장치는 상기 물체에 내장된 복수의 광 위치 감지 장치 중 하나이며, 상기 복수의 광 위치 감지 장치의 각각은 알려진 상대 위치 및 방향을 가지며, 상기 프로세서는 상기 복수의 광 위치 감지 장치에 의해 수집되는 상기 반사된 방사선에 기초하여 상기 물체에 대한 위치 데이터를 결정하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 시스템.
  21. 추적된 물체에 대해 결정된 위치 데이터에 기초하여 디스플레이 스크린의 그래픽을 제어하는 방법에 있어서,
    상기 디스플레이 스크린이 배치될 수 있는 룸의 적어도 하나의 내부 표면에 식별 가능한 방사선의 패턴을 투사하는 단계;
    상기 물체에 배치된 제 1 광 위치 감지 장치로 상기 적어도 하나의 내부 표면으로부터 반사된 상기 식별 가능한 방사선을 수집하는 단계;
    상기 제 1 광 위치 감지 장치에 의해 수집된 반사된 방사선에 기초하여상기 물체에 대한 위치 데이터를 결정하는 단계; 및
    상기 물체의 위치 데이터에 기초하여 상기 그래픽의 렌디션(rendition)을 제어하는 단계를 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  22. 제 21 항에 있어서,
    상기 적어도 하나의 내부 표면은 룸 천장을 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  23. 제 21 항에 있어서,
    상기 투사된 패턴에 대해 알려진 위치에 고정된 비콘 방출 방사선으로 LED를 활성화하는 단계를 추가로 포함하는데, 상기 식별 가능한 방사선을 수집하는 단계는 상기 LED에 의해 방출된 방사선을 수집하는 단계를 추가로 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  24. 제 21 항에 있어서,
    상기 적어도 하나의 내부 표면은 룸 천장을 포함하고, 상기 식별 가능한 방사선의 패턴을 투사하는 단계는 복수의 상호 연결된 반복 유닛을 포함하는 고정된 패턴을 투사하는 단계를 추가로 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  25. 제 24 항에 있어서,
    상기 제 1 광 위치 감지 장치는 상기 투사된 패턴의 이미지를 수집하는 비디오 카메라를 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  26. 제 21 항에 있어서,
    상기 식별 가능한 방사선의 패턴을 투사하는 단계는 적외선 대역을 포함하는 발광 스펙트럼을 갖는 적어도 하나의 레이저를 이용하여 상기 적어도 하나의 내부 표면에 매핑된 위치로 복수의 비콘을 순차적으로 투사하는 단계를 추가로 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  27. 제 26 항에 있어서,
    상기 식별 가능한 방사선을 수집하는 단계는 상기 복수의 비콘 위치 중하나 이상과 관련된 강도 분포의 중심을 결정하는 단계를 추가로 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  28. 제 26 항에 있어서,
    상기 복수의 매핑된 비콘 위치를 결정하는 단계를 추가로 포함하는데, 상기 결정하는 단계는,
    상기 복수의 비콘 중 하나 이상에 대해 투사된 방사선을 상기 내부 표면 상의 제 1 위치에서 상기 내부 표면 상의 제 2 위치로 조향하는 단계,
    상기 제 1 및 2 위치와 관련된 비콘 위치 데이터를 분석하는 단계, 및
    상기 제 1 및 2 위치 중 하나를 상기 복수의 매핑된 비콘 위치 중 하나로 선택하는 단계를 추가로 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  29. 제 28 항에 있어서,
    상기 분석하는 단계는 상기 제 1 및 2 위치에 대해 반사된 방사선의 강도를 비교하는 단계를 추가로 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  30. 제 28 항에 있어서,
    상기 분석하는 단계는 상기 복수의 비콘 중 하나 이상이 상기 제 1 위치에서 상기 제 2 위치로 조향될 때 상기 복수의 비콘 위치 중 하나 이상과 관련된 강도 분포의 중심의 이동을 평가하는 단계를 추가로 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  31. 제 28 항에 있어서,
    상기 분석하는 단계는 상기 프로젝터와 상기 제 1 위치 사이의 거리를 상기 프로젝터와 상기 제 2 위치 사이의 거리와 비교하는 단계를 추가로 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  32. 제 31 항에 있어서,
    상기 분석하는 단계는 상기 프로젝터와 제 1 및 2 위치 사이의 거리의 변경을 상기 빔 조향에 의해 유발된 투사 방향의 변경과 비교하는 단계를 추가로 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  33. 제 28 항에 있어서,
    상기 제 1 및 2 위치 중 선택한 하나는 동일한 평면에 놓인 위치에 매핑된 복수의 비콘의 수를 최대화하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  34. 제 28 항에 있어서,
    상기 제 1 및 2 위치 중 선택한 하나는 상기 동일한 평면에 걸쳐 비콘 간격의 균일성을 최대화하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  35. 제 28 항에 있어서,
    상기 복수의 비콘 중 하나 이상이 상기 제 1 및 2 위치의 각각에 있을 때 상기 복수의 비콘 위치 중 하나 이상과 관련된 강도 분포의 별도의 중심을 생성하는 단계를 추가로 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  36. 제 35 항에 있어서,
    상기 별도의 중심은 상기 비콘 프로젝터에 대해 알려진 고정된 위치 및 방향에 배치된 제 2 광 위치 감지 장치에 의해 제공되는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  37. 제 21 항에 있어서,
    카메라 시야 내에 상기 물체를 가진 비디오 카메라에 의해 생성된 이미지 데이터로부터 상기 물체의 위치 데이터를 결정하는 단계; 및
    상기 투사된 패턴으로부터 도출된 물체의 위치 데이터로 상기 수집된 이미지 데이터로부터 도출된 물체의 위치 데이터를 조정하는 단계를 추가로 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  38. 제 37 항에 있어서,
    상기 물체의 위치 데이터를 조정하는 단계는 상기 투사된 패턴으로부터 도출된 물체의 위치 데이터에만 기초하여 상기 물체의 요를 결정하는 단계를 추가로 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  39. 제 38 항에 있어서,
    상기 물체의 위치 데이터를 조정하는 단계는 적어도 부분적으로 상기 비디오 카메라에 의해 생성된 이미지 데이터로부터 도출된 물체의 위치 데이터에 기초하여 상기 물체의 x 및 y 위치를 결정하고, 상기 투사된 패턴으로부터 도출된 물체의 위치 데이터에 기초하여 상기 물체의 z 위치를 결정하는 단계를 추가로 포함하는 것을 특징으로 하는 디스플레이 스크린의 그래픽을 제어하는 방법.
  40. 컴퓨터 판독 가능한 저장 매체에 있어서,
    처리 시스템에 의해 실행될 때 상기 처리 시스템이 제 21 항의 방법을 수행하도록 하는 명령어를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
KR1020137029934A 2011-04-12 2012-03-23 투사된 참조 패턴을 갖는 물체 추적 KR101661714B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/084,895 2011-04-12
US13/084,895 US8791901B2 (en) 2011-04-12 2011-04-12 Object tracking with projected reference patterns
PCT/US2012/030478 WO2012141872A1 (en) 2011-04-12 2012-03-23 Object tracking with projected reference patterns

Publications (2)

Publication Number Publication Date
KR20140024895A true KR20140024895A (ko) 2014-03-03
KR101661714B1 KR101661714B1 (ko) 2016-10-10

Family

ID=47006041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137029934A KR101661714B1 (ko) 2011-04-12 2012-03-23 투사된 참조 패턴을 갖는 물체 추적

Country Status (5)

Country Link
US (1) US8791901B2 (ko)
EP (1) EP2697697B1 (ko)
JP (1) JP5972966B2 (ko)
KR (1) KR101661714B1 (ko)
WO (1) WO2012141872A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160084168A (ko) * 2015-01-05 2016-07-13 주식회사 엔씨소프트 위치 결정 장치 및 위치 결정 방법

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2622608A2 (en) * 2010-08-18 2013-08-07 Savannah River Nuclear Solutions, LLC System and method for the identification of radiation in contaminated rooms
JP5803184B2 (ja) * 2010-11-19 2015-11-04 株式会社リコー 画像投影装置、メモリアクセス方法
US9784577B2 (en) * 2012-03-16 2017-10-10 Lg Innotek Co., Ltd. Measuring distance from object by using size of pattern projected onto object
TWI457532B (zh) * 2012-05-31 2014-10-21 Pixart Imaging Inc 光學物件辨識系統
WO2014010251A1 (en) * 2012-07-13 2014-01-16 Panasonic Corporation Hand and object tracking in three-dimensional space
US9571816B2 (en) * 2012-11-16 2017-02-14 Microsoft Technology Licensing, Llc Associating an object with a subject
US9389315B2 (en) 2012-12-19 2016-07-12 Basf Se Detector comprising a transversal optical sensor for detecting a transversal position of a light beam from an object and a longitudinal optical sensor sensing a beam cross-section of the light beam in a sensor region
US9251701B2 (en) 2013-02-14 2016-02-02 Microsoft Technology Licensing, Llc Control device with passive reflector
US9625995B2 (en) 2013-03-15 2017-04-18 Leap Motion, Inc. Identifying an object in a field of view
US10165255B2 (en) * 2013-03-20 2018-12-25 Trimble Inc. Indoor navigation via multi-beam laser projection
US10643351B2 (en) * 2013-03-20 2020-05-05 Trimble Inc. Indoor navigation via multi beam laser projection
AU2014280334B2 (en) 2013-06-13 2018-02-01 Basf Se Optical detector and method for manufacturing the same
CN109521397B (zh) 2013-06-13 2023-03-28 巴斯夫欧洲公司 用于光学地检测至少一个对象的检测器
AU2014280335B2 (en) 2013-06-13 2018-03-22 Basf Se Detector for optically detecting an orientation of at least one object
US10823556B2 (en) * 2013-08-01 2020-11-03 Luis Joaquin Rodriguez Point and click measuring and drawing device and method
CN105637320B (zh) 2013-08-19 2018-12-14 巴斯夫欧洲公司 光学检测器
EP3036558B1 (en) 2013-08-19 2020-12-16 Basf Se Detector for determining a position of at least one object
US9998863B2 (en) 2013-08-19 2018-06-12 Estimote Polska Sp. Z O. O. System and method for providing content using beacon systems
EP3036930B1 (en) 2013-08-19 2019-12-18 Estimote Polska Sp. Zo. o. Method for distributing notifications
US9029780B2 (en) * 2013-09-11 2015-05-12 Google Technology Holdings LLC Electronic device with gesture detection system and methods for using the gesture detection system
WO2015038404A1 (en) 2013-09-11 2015-03-19 Motorola Mobility Llc Electronic device and method for detecting presence and motion
US9201145B2 (en) 2013-10-17 2015-12-01 Globalfoundries Inc. Object location in three dimensional space using LED lights
CN106068462B (zh) * 2013-11-20 2019-08-09 飞利浦灯具控股公司 用于基于光的定位和导航的方法和装置
JP2015190931A (ja) * 2014-03-28 2015-11-02 株式会社フジタ 位置測定システム
CN106662636B (zh) 2014-07-08 2020-12-25 巴斯夫欧洲公司 用于确定至少一个对象的位置的检测器
WO2016051323A1 (en) 2014-09-29 2016-04-07 Basf Se Detector for optically determining a position of at least one object
EP3230841B1 (en) 2014-12-09 2019-07-03 Basf Se Optical detector
US9838119B1 (en) 2015-01-29 2017-12-05 Google Llc Automatically steered optical wireless communication for mobile devices
JP6841769B2 (ja) 2015-01-30 2021-03-10 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも１個の物体を光学的に検出する検出器
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US10296086B2 (en) 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
US9940524B2 (en) 2015-04-17 2018-04-10 General Electric Company Identifying and tracking vehicles in motion
US10043307B2 (en) 2015-04-17 2018-08-07 General Electric Company Monitoring parking rule violations
CN107025780B (zh) 2015-06-25 2020-09-01 北京智谷睿拓技术服务有限公司 交互方法及通信设备
CN106297230B (zh) 2015-06-25 2019-07-26 北京智谷睿拓技术服务有限公司 交互方法及通信设备
CN106297229B (zh) * 2015-06-25 2019-08-02 北京智谷睿拓技术服务有限公司 交互方法及通信设备
US10955936B2 (en) 2015-07-17 2021-03-23 Trinamix Gmbh Detector for optically detecting at least one object
US10136250B2 (en) 2015-09-02 2018-11-20 Estimote Polska Sp. Z O. O. System and method for lower power data routing
US9622208B2 (en) 2015-09-02 2017-04-11 Estimote, Inc. Systems and methods for object tracking with wireless beacons
US9826351B2 (en) 2015-09-02 2017-11-21 Estimote Polska Sp. Z O. O. System and method for beacon fleet management
EP3347789B1 (en) 2015-09-11 2021-08-04 SZ DJI Technology Co., Ltd. Systems and methods for detecting and tracking movable objects
KR102539263B1 (ko) 2015-09-14 2023-06-05 트리나미엑스 게엠베하 적어도 하나의 물체의 적어도 하나의 이미지를 기록하는 카메라
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
US9846971B2 (en) 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US11663783B2 (en) 2016-02-10 2023-05-30 Disney Enterprises, Inc. Systems and methods for using augmented reality with the internet of things
US10587834B2 (en) 2016-03-07 2020-03-10 Disney Enterprises, Inc. Systems and methods for tracking objects for augmented reality
WO2017165564A1 (en) 2016-03-22 2017-09-28 Estimote, Inc. System and method for multi-beacon interaction and management
US9830489B2 (en) 2016-03-29 2017-11-28 Analog Devices, Inc. Simple code reader
WO2018009878A1 (en) 2016-07-07 2018-01-11 Estimote Polska Sp. Z O. O. Method and system for content delivery with a beacon
JP2019523562A (ja) 2016-07-29 2019-08-22 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 光学的検出のための光センサおよび検出器
KR102575104B1 (ko) 2016-10-25 2023-09-07 트리나미엑스 게엠베하 집적 필터를 가진 적외선 광학 검출기
JP7241684B2 (ja) 2016-10-25 2023-03-17 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも１個の対象物の光学的な検出のための検出器
US11415661B2 (en) 2016-11-17 2022-08-16 Trinamix Gmbh Detector for optically detecting at least one object
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
US10972451B2 (en) * 2016-11-23 2021-04-06 Harman Becker Automotive Systems Gmbh Band steering of client devices to dual-band legacy access points
JP7304820B2 (ja) * 2017-02-14 2023-07-07 アトラクシス エス・アー・エール・エル 圧縮および／またはｃｍｏｓウィンドウイングを用いた高速光学追跡
US11060922B2 (en) 2017-04-20 2021-07-13 Trinamix Gmbh Optical detector
US20180357380A1 (en) * 2017-06-09 2018-12-13 All Inspire Health, Inc. System and Method for Patient Management Using Multi-Dimensional Analysis and Computer Vision
JP7237024B2 (ja) 2017-06-26 2023-03-10 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも１つの物体の位置を決定するための検出器
US10593086B2 (en) * 2017-10-13 2020-03-17 Schneider Electric Systems Usa, Inc. Augmented reality light beacon
US10481680B2 (en) 2018-02-02 2019-11-19 Disney Enterprises, Inc. Systems and methods to provide a shared augmented reality experience
US10546431B2 (en) 2018-03-29 2020-01-28 Disney Enterprises, Inc. Systems and methods to augment an appearance of physical object for an augmented reality experience
US10598936B1 (en) * 2018-04-23 2020-03-24 Facebook Technologies, Llc Multi-mode active pixel sensor
WO2020039252A1 (en) 2018-08-22 2020-02-27 Estimote Polska Sp Z.O.O. System and method for verifying device security
WO2020039251A2 (en) 2018-08-24 2020-02-27 Estimote Polska Sp z o.o. A method and system for asset management
US10974132B2 (en) 2018-10-02 2021-04-13 Disney Enterprises, Inc. Systems and methods to provide a shared interactive experience across multiple presentation devices based on detection of one or more extraterrestrial bodies
US11014008B2 (en) 2019-03-27 2021-05-25 Disney Enterprises, Inc. Systems and methods for game profile development based on virtual and/or real activities
US10916061B2 (en) 2019-04-24 2021-02-09 Disney Enterprises, Inc. Systems and methods to synchronize real-world motion of physical objects with presentation of virtual content
US10918949B2 (en) 2019-07-01 2021-02-16 Disney Enterprises, Inc. Systems and methods to provide a sports-based interactive experience
US11253768B1 (en) * 2021-01-30 2022-02-22 Q Experience LLC Combination systems and methods of safe laser lines for delineation detection, reporting and AR viewing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050213082A1 (en) * 2004-03-29 2005-09-29 Evolution Robotics, Inc. Methods and apparatus for position estimation using reflected light sources
US20100105475A1 (en) * 2005-10-26 2010-04-29 Sony Computer Entertainment Inc. Determining location and movement of ball-attached controller

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6089213A (ja) * 1983-10-19 1985-05-20 Komatsu Ltd 無人走行車の位置および方向の検出方法
US4710020A (en) * 1986-05-16 1987-12-01 Denning Mobil Robotics, Inc. Beacon proximity detection system for a vehicle
JP3397336B2 (ja) * 1992-03-13 2003-04-14 神鋼電機株式会社 無人車の位置・方向検出方法
JPH05285861A (ja) * 1992-04-07 1993-11-02 Fujita Corp 天井用墨出し方法
US6407817B1 (en) 1993-12-20 2002-06-18 Minolta Co., Ltd. Measuring system with improved method of reading image data of an object
US5912700A (en) 1996-01-10 1999-06-15 Fox Sports Productions, Inc. System for enhancing the television presentation of an object at a sporting event
BE1013948A3 (nl) * 1996-03-26 2003-01-14 Egemin Naanloze Vennootschap Meetsysteem voor het toetsen van de positie van een voertuig en waarneeminrichting hiervoor.
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US20030158699A1 (en) 1998-12-09 2003-08-21 Christopher P. Townsend Orientation sensor
JP4493113B2 (ja) * 1999-01-29 2010-06-30 株式会社リコー プロジェクタおよび投影画像補正装置
US6727885B1 (en) 1999-09-07 2004-04-27 Nikon Corporation Graphical user interface and position or attitude detector
JP3690581B2 (ja) * 1999-09-07 2005-08-31 株式会社ニコン技術工房 位置検出装置及びその方法、平面姿勢検出装置及びその方法
WO2001035052A1 (en) 1999-11-12 2001-05-17 Armstrong Brian S Robust landmarks for machine vision and methods for detecting same
AU1775401A (en) * 1999-11-18 2001-05-30 Procter & Gamble Company, The Home cleaning robot
JP4268308B2 (ja) * 2000-03-22 2009-05-27 株式会社キーエンス 光電スイッチ
JP4032603B2 (ja) 2000-03-31 2008-01-16 コニカミノルタセンシング株式会社 ３次元計測装置
US6474159B1 (en) 2000-04-21 2002-11-05 Intersense, Inc. Motion-tracking
US6836560B2 (en) 2000-11-13 2004-12-28 Kla - Tencor Technologies Corporation Advanced phase shift inspection method
US6831263B2 (en) 2002-06-04 2004-12-14 Intel Corporation Very high speed photodetector system using a PIN photodiode array for position sensing
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
GB2372656A (en) 2001-02-23 2002-08-28 Ind Control Systems Ltd Optical position determination
US20030233870A1 (en) 2001-07-18 2003-12-25 Xidex Corporation Multidimensional sensing system for atomic force microscopy
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US7038661B2 (en) * 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
US7606665B2 (en) 2003-08-29 2009-10-20 Honeywell International Inc. System and method for employing an aided-alignment mode to align an inertial reference system
US7420540B2 (en) * 2003-12-01 2008-09-02 Olbrich Craig A Determining positioning and/or relative movement of graphical-user interface element based on display images
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7961909B2 (en) * 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
KR100643304B1 (ko) 2005-02-15 2006-11-10 삼성전자주식회사 관성 센서 보정 장치 및 방법, 그리고, 상기 방법을 기록한기록 매체
US9250081B2 (en) * 2005-03-25 2016-02-02 Irobot Corporation Management of resources for SLAM in large environments
JP5028751B2 (ja) 2005-06-09 2012-09-19 ソニー株式会社 行動認識装置
EP1897010A1 (en) * 2005-06-30 2008-03-12 Nokia Corporation Camera control means to allow operating of a destined location of the information surface of a presentation and information system
US7852315B2 (en) * 2006-04-07 2010-12-14 Microsoft Corporation Camera and acceleration based interface for presentations
US7599789B2 (en) * 2006-05-24 2009-10-06 Raytheon Company Beacon-augmented pose estimation
US8335345B2 (en) 2007-03-05 2012-12-18 Sportvision, Inc. Tracking an object with multiple asynchronous cameras
US8632376B2 (en) * 2007-09-20 2014-01-21 Irobot Corporation Robotic game systems and methods
US9285459B2 (en) * 2008-05-09 2016-03-15 Analog Devices, Inc. Method of locating an object in 3D
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
US8294767B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8638985B2 (en) * 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US8441438B2 (en) 2010-01-06 2013-05-14 Cywee Group Limited 3D pointing device and method for compensating movement thereof
CN102498456B (zh) * 2009-07-23 2016-02-10 惠普发展公司，有限责任合伙企业 具有光学传感器的显示器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050213082A1 (en) * 2004-03-29 2005-09-29 Evolution Robotics, Inc. Methods and apparatus for position estimation using reflected light sources
US20100105475A1 (en) * 2005-10-26 2010-04-29 Sony Computer Entertainment Inc. Determining location and movement of ball-attached controller

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160084168A (ko) * 2015-01-05 2016-07-13 주식회사 엔씨소프트 위치 결정 장치 및 위치 결정 방법

Also Published As

Publication number Publication date
US20120262365A1 (en) 2012-10-18
US8791901B2 (en) 2014-07-29
JP5972966B2 (ja) 2016-08-17
JP2014519597A (ja) 2014-08-14
EP2697697B1 (en) 2017-05-03
EP2697697A1 (en) 2014-02-19
KR101661714B1 (ko) 2016-10-10
WO2012141872A1 (en) 2012-10-18
EP2697697A4 (en) 2014-08-27

Similar Documents

Publication Publication Date Title
KR101661714B1 (ko) 투사된 참조 패턴을 갖는 물체 추적
US11044402B1 (en) Power management for optical position tracking devices
CN112400202B (zh) 为在hmd环境中进行快速中央凹渲染利用预测和对gpu的后期更新做出的眼睛跟踪
CN102257456B (zh) 校正跟踪系统中的角度误差
JP5469179B2 (ja) 最小限のユーザ入力による追跡システムの較正
US8761412B2 (en) Microphone array steering with image-based source location
US9524021B2 (en) Imaging surround system for touch-free display control
CN112400150A (zh) 基于预测扫视着陆点的动态图形渲染
US9597587B2 (en) Locational node device
US20100328447A1 (en) Configuration of display and audio parameters for computer graphics rendering system having multiple displays
US20100201808A1 (en) Camera based motion sensing system
JP2015526927A (ja) カメラ・パラメータのコンテキスト駆動型調整
EP3299937B1 (en) Information processing device and information processing method
JP6788129B2 (ja) ズーム装置及び関連する方法
JP7101250B2 (ja) 情報処理装置およびプレイフィールド逸脱検知方法
GB2467951A (en) Detecting orientation of a controller from an image of the controller captured with a camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant