KR101335346B1 - 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들 - Google Patents

장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들 Download PDF

Info

Publication number
KR101335346B1
KR101335346B1 KR1020107021483A KR20107021483A KR101335346B1 KR 101335346 B1 KR101335346 B1 KR 101335346B1 KR 1020107021483 A KR1020107021483 A KR 1020107021483A KR 20107021483 A KR20107021483 A KR 20107021483A KR 101335346 B1 KR101335346 B1 KR 101335346B1
Authority
KR
South Korea
Prior art keywords
user
scene
depth
image
sensing camera
Prior art date
Application number
KR1020107021483A
Other languages
English (en)
Other versions
KR20110030419A (ko
Inventor
게리 엠. 젤루스키
마이크 하이
Original Assignee
소니 컴퓨터 엔터테인먼트 유럽 리미티드
소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 컴퓨터 엔터테인먼트 유럽 리미티드, 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 filed Critical 소니 컴퓨터 엔터테인먼트 유럽 리미티드
Publication of KR20110030419A publication Critical patent/KR20110030419A/ko
Application granted granted Critical
Publication of KR101335346B1 publication Critical patent/KR101335346B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4751—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user accounts, e.g. accounts for children
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1006—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals having additional degrees of freedom
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/201—Playing authorisation given at platform level
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player

Abstract

컴퓨터에서 구현되는 방법이 제공되어서, 하나 이상의 미디어 소스들을 가진 공간에 있는 식별되고 추적된 사용자들에 대하여 미리 정해진 권한들이 자동 적용하도록 한다. 이러한 방법은 사용자 프로파일을 정하고 메모리에 저장하는 과정을 포함한다. 사용자 프로파일은 심도 감지 카메라(depth sensing camera)로 사용자를 식별하고 추적하는 데이터를 포함한다. 다른 과정에 있어서, 사용자 프로파일의 특정 미디어 접속 레벨들을 정하는 권한들이 정해지고 저장된다. 또한 이러한 방법은 공간 내에 있는 장면의 심도 감지 카메라에서 이미지 및 심도 데이터를 포착하는 과정을 포함한다. 또 다른 과정에서는, 이미지 및 심도 데이터로부터 장면 내에 있는 사용자가 추적되고 식별된다. 또 다른 과정에서는, 하나 이상의 미디어 소스들에게 정해진 권한들이 자동 적용되어서, 장면 내에서 사용자가 식별되고 추적될 때 하나 이상의 미디어 소스들에서 선택된 콘텐츠를 사용자가 접속할 수 있게 한다.

Description

장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들{Methods for capturing depth data of a scene and applying computer actions}
비디오 게임 산업은 최근 많은 변화를 목격했다. 연산 능력(computing power)이 증폭되면서, 비디오 게임 개발자들은 증가된 연산 능력을 이용하는 게임 소프트웨어를 만들고 있다. 이를 위하여, 비디오 게임 개발자들은 거의 현실에 가까운 게임 경험을 연출하기 위해 복잡한 연산(operation)과 계산을 동원하는 게임들을 코딩하고 있다.
게임 플랫폼(platform)의 예로는 소니 플레이스테이션, 소니 플레이스테이션 2(PS2), 및 소니 플레이스테이션 3(PS3) 등이 있다. 각각의 게임 플랫폼들은 게임 콘솔의 형태로 판매된다. 잘 알려진 바와 같이, 게임 콘솔은 모니터(주로 텔레비전)와 연결되고, 휴대용 컨트롤러들을 통해 사용자의 상호작용을 가능케 하도록 디자인 되어있다. 게임 콘솔은 CPU, 집중적인(intensive) 그래픽 운용을 위한 그래픽 합성기(graphic synthesizer), 기하변환(geometry transformation)을 수행하기 위한 벡터부(vector unit), 및 그 외 글루 하드웨어(glue hardware), 펌웨어, 및 소프트웨어를 포함하는 특수 프로세싱 하드웨어로 디자인된다. 게임 콘솔은 또한 게임 콘솔을 통한 국부적(local) 플레이에 사용되는 게임 콤팩트디스크들을 수용하기위한 광디스크 트레이(optical disc tray)를 구비하도록 디자인된다. 인터넷 상에서 사용자가 다른 사용자들과 인터랙티브하게(interactively) 게임을 할 수 있는 온라인 게임 또한 가능하다.
증폭된 프로세싱 능력을 가진 인터넷에 연결된 게임 콘솔들은, 온라인 상에서 상호작용할 수 있는 환경과 접속할 수 있도록 하며, 미디어를 스트리밍하거나 다운로드 형태로 제공하는 온라인 시장에 접속할 수 있도록 하는 엔터테인먼트 포털(portal)로 기능하기 시작한다. 온라인 환경에서, 부모들은 자녀들을 효율적이고 능률적으로 통제(parental control)하는데 어려움을 겪을 수 있다. 자녀 통제를 단편적으로 이행(piecemeal implementation)할 경우, 비효율적이거나, 과도하거나, 부분적인 이행을 초래하여 자녀를 통제함에 있어 빈틈이 생길 수 있다. 예를 들면, 텔레비전 채널들에 대하여 케이블 박스로 통제할 수 있지만, DVD나 블루 레이 디스크(Blue-Ray disc)같은 광학 미디어에 저장된 영상들에 대하여는 별도의 다른 통제가 필요할 수 있다.
이러한 문맥에서 본 발명의 실시예들이 개시된다.
본 발명은 심도 감지 카메라(depth-sensing camera)를 사용해서 장면(scene) 속에 있는 사용자들을 식별하고 추적하도록 한다. 사용자들을 식별하고, 추적함은 장면 속에서 식별되고 추적된 사용자들에 근거한 여러 미디어 소스들(media sources)의 접속을 제어하는 자동 응용프로그램을 가능케 한다. 사용자들은 사용자 프로파일(profile)의 일부로 접속 통제(access control)를 설정할 수 있다. 사용자는 사용자 프로파일의 일부로 아바타 및 아바타 애니메이션 또한 설정할 수 있다. 아바타 애니메이션들은 장면 내에 있거나, 장면을 지나가는 사용자의 움직임을 표시하기 위해 사용될 수 있다.
본 발명의 일 실시예에 따르면, 하나 이상의 미디어 소스들을 구비한 공간에 있는 식별되고 추적된 사용자들에 대하여 미리 정해진 권한들(privileges)을 자동 적용하고, 컴퓨터에서 구현하는 방법이 개시된다. 이러한 방법은 사용자 프로파일을 정하고, 메모리(memory)에 저장하는 과정을 포함한다. 다른 과정으로, 사용자 프로파일은 심도 감지 카메라로 사용자를 식별하고 추적하는 데이터를 포함할 수 있다. 사용자 프로파일에 대하여 특정 미디어의 접속 레벨(levels of access)을 정하는 조작 권한들을 정하고, 저장하는 과정을 포함할 수 있다. 이러한 방법은 또한, 공간 내에 있는 장면의 이미지 및 심도 데이터를 심도 감지 카메라로부터 포착하는 방법을 포함할 수 있다. 또 다른 과정으로, 장면 내에서 사용자를 이미지와 심도 데이터에 의해 추적하고 식별하는 과정을 포함할 수 있다. 또 다른 과정으로, 정해진 권한들이 하나 이상의 미디어 소스들에게 자동 적용되어, 사용자가 장면 속에서 식별되고 추적될 때 하나 이상의 미디어 소스들에서 선택된 콘텐츠를 접속할 수 있게 하는 과정을 포함할 수도 있다.
본 발명의 다른 일 실시예는 미리 정해지고 컴퓨터에 의하여 생성된 효과들을 현실 세계 물체들의 가상 세계 대표물(representation)에 자동 적용하기 위해 현실 세계의 물체들을 식별하고 추적하기 위한, 컴퓨터에서 구현되는 방법을 개시한다. 이러한 방법은 심도 감지 카메라로 사용자를 식별하고 추적하는 데이터를 포함하는 사용자 프로파일을 정하고 메모리에 저장하는 과정을 포함한다. 또한, 이러한 방법은 사용자 프로파일과 연관된 가상 세계 장면에 합쳐진 애니메이션들을 정하고 메모리에 저장하는 과정을 포함한다. 다른 과정으로는 심도 감지 카메라가 사용자가 식별되고 추적되는 장면을 포착하는 과정을 포함할 수 있다. 또 다른 과정으로는 정해진 애니메이션들이 식별되고 추적된 사용자에 따라 자동 적용되어, 표시부가 통합된 애니메이션들을 도시하는 과정을 포함할 수도 있다.
본 발명의 또 다른 일 실시예는, 현실 공간에 있는 현실 세계 사용자들을 식별하고 추적하는, 컴퓨터에서 구현되는 방법을 개시한다. 한 과정에서는 심도 감지 카메라에 의해 포착된 이미지 및 심도 데이터에서 사용자 프로파일이 정해진다. 사용자 프로파일은 현실 세계 사용자의 신체적 특징들과 연관된 이미지 및 심도 데이터를 포함할 수 있다. 다른 과정으로, 심도 감지 카메라를 사용해서 장면의 이미지 및 심도 데이터가 포착될 수 있다. 이러한 방법은 또한, 장면 내의 이동 물체들을 식별하는 과정을 포함할 수 있다. 다른 과정에서는 이동 물체들의 이미지와 심도 데이터가 현실 세계 사용자의 두부(頭部)를 장면 내에서 추적하는 과정을 포함할 수 있다. 또 다른 과정으로, 두부의 이미지 및 심도 데이터를 실시간으로 분석하는 과정을 포함할 수 있다. 이러한 분석은 두부의 이미지 및 심도 데이터를 신체적 특징들과 연관된 사용자 프로파일 이미지 및 심도 데이터와 비교하는 과정을 포함할 수 있다. 사용자 프로파일 내의 이미지 및 심도 데이터가 두부의 이미지와 심도 데이터와 거의 일치할 때 사용자가 식별된다.
본 발명의 기타 다른 양상들과 효과들은 하기 상세한 설명과 본 발명의 원리의 예로 첨부된 도면들이 함께 참조될 때 인식될 것이다.
본 발명의 설명은 하기 상세한 설명과 첨부된 도면들과 함께 고려될 때 빠르게 이해될 수 있을 것이다.
도 1a는 본 발명의 실시예에 따라 미리 정해지고 컴퓨터에 의해 생성된 효과들을 현실 세계 물체들의 가상 세계 대표물에 적용하기 위해 현실 세계 물체들을 식별하고 추적하는데 사용될 수 있는 예시적 과정들을 포함하는 흐름도;
도 1b는 본 발명의 실시예에 따라 컴퓨터 시스템에 연결된 심도 감지 카메라의 시야 내에 있는 장면을 도시하는 도면;
도 2a 내지 도 2d는 본 발명의 실시예에 따라 사용자 프로파일을 정하기 위해 사용될 수 있는 예시적 장면(screen);
도 2e는 본 발명의 실시예에 따른 새로운 사용자, 엄마를 추가하는 과정을 종료하는 것을 도시하는 예시적 장면;
도 2f은 본 발명의 실시예에 따른 사용자들을 인식하는 데 사용될 수 있는, 심도 감지 카메라에 의해 포착된 안면의 이목구비들을 도시하는 도면;
도 2g는 본 발명의 실시예에 따른 여러 자세에 있는 사용자 두부(250) 이미지 및 심도 데이터를 포착하는 방법을 도시하는 도면;
도 2h는 본 발명의 실시예에 따라 심도 감지 카메라에 의해 포착된 여러 관점으로부터 구성된 사용자 안면(250)의 여러 포즈들(poses)을 포함하는 매트릭스(matrix);
도 2i는 본 발명의 실시예에 따라 안면의 여러 이목구비들의 상대적 위치 변화를 도시하는 일련의 세 이미지들;
도 2j는 본 발명의 실시예에 따라 사용자 두부의 이미지 및 심도 데이터를 획득하는 절차를 도시하는 예시적 흐름도;
도 2k는 본 발명의 실시예에 따라 심도 감지 카메라의 시야 내에 있는 사용자를 식별하는 절차에 따른 예시적 과정들을 도시하는 예시적 흐름도;
도 3a 내지 3c는 본 발명의 실시예에 따라 애완동물의 사용자 프로파일을 생성하는데 사용될 수 있는 예시적 스크린의 간략한 일군을 도시하는 도면;
도 4a는 본 발명의 실시예에 따라 사용자들에게 지정된 여러 권한들을 도시하는 예시적 표;
도 4b는 본 발명의 실시예에 따라 사용자들이 만든 애니메이션들을 도시하는 예시적 표;
도 5a는 본 발명의 실시예에 따라 처리된 비디오로 장면에 표시된 현실 세계의 장면을 포함하는 공간을 도시하는 도면;
도 5b는 본 발명의 실시예에 따라 예시적으로 처리된 비디오를 도시하는 도면;
도 6은 본 발명의 실시예에 따라 현실 세계의 장면을 도시하고, 현실 세계 장면이 어떻게 처리된 비디오(10c)로 장면에 표시되는지 도시하는 도면;
도 7은 인식된 물체들을 식별하고 추적하는 방법을 개선하기 위해 포인트 추적(point tracking)방법을 적용하기 위한 과정들을 도시하는 예시적 흐름도;
도 8은 본 발명의 실시예에 따라 포인트 추적 방법을 도시하는 장면의 예시적 장면;
도 9는 본 발명의 실시예에 따라 사용자에 의해 정해진 컨트롤러들을 생성하기 위해 동적인 3 차원 물체의 매핑(mapping)을 활용할 수 있는 컴퓨터 시스템, 소니® 플레이스테이션 3® 엔터테인먼트 장치의 전체 시스템 구조를 도시하는 개략적인 도면이다.
본 발명은, 심도 감지 카메라(depth-sensing camera)의 이미지 및 심도 데이터로 사용자를 식별한 후, 컴퓨터 시스템의 사용자 프로파일들을 자동 적용하는 방법을 개시한다. 컴퓨터 시스템은 일반 연산 장치(예를 들어, 데스크톱 컴퓨터(desktop computer), 노트북, 휴대 단말기(handheld device), 스마트 폰(smartphone), 등) 또는 게임 콘솔(console)과 같은 특별한 목적을 위한 컴퓨터이든지 사용자로부터 입력을 수신하는 종류의 시스템이 될 수 있다. 심도 감지 카메라는 분석과 처리를 위해 컴퓨터 시스템에 이미지 및 심도 데이터를 제공한다. 심도 감지 카메라는 단일 렌즈 카메라일 수도 있고, 여러 장소들과 관점들에서 이미지들과 심도 데이터를 포착하는 데에 사용될 수 있는 다중 렌즈 카메라가 될 수 있다.
하기 설명에 있어서, 본 발명의 상세한 이해를 위하여 다수의 특정 설명들이 개시된다. 당업자는 이러한 설명들의 일부 또는 전체를 제외하고도 시행될 수 있는 것을 인지할 것이다. 다른 경우들에 있어서, 본 발명을 불필요하게 불명료하게 할 수 있는 잘 알려진 처리 과정들은 자세하게 상술되지 않았다.
도 1a는 미리 정해지고 컴퓨터에 의해 생성된 효과들을 현실 세계 물체들의 가상 세계 대표물에 적용하기 위해 현실 세계 물체들을 식별하고 추적하는데 사용될 수 있는 예시적 과정들을 포함하는 흐름도이다. 100 과정에서는 식별하고 추적할 사용자를 정한다. 한 실시예에서는, 100 과정에서 컴퓨터 시스템에 연결된 심도 감지 카메라를 사용한다. 사용자들은 심도 감지 카메라에 의해 포착된 각각의 특징들로 구별되고 컴퓨터 시스템으로 실행되는 소프트웨어에 의해 인식될 수 있다. 여러 실시예들에 있어서, 이로 한정되지는 않지만 눈, 코, 및 입과 같은 안면의 이목구비들 사이의 여러 간격들이 포착될 수 있다. 다른 실시예들에서는, 코, 눈, 머리 크기, 안면의 이목구비들의 상대적 위치들, 등과 같은 사용자의 특징들을 인식하기 위해 카메라의 감지된 심도 특성들이 사용될 수 있다.
사용자들은 100 과정의 일부로 가상 세계의 아바타들(avatars)을 정할 수 있다. 식별되고 추적될 사용자를 정하는 과정의 일부로 사용자는 가상 세계 내에서 사용자를 대표하는 맞춤형(customized) 아바타를 설정할 수 있다. 사용자는 현실 세계의 외양과 비슷하도록 설정하거나 현실 세계의 외양과는 상관없이 공상적인(fanciful) 아바타로 설정할 수 있다. 이에 따라, 아바타들에게, 이로 한정되지는 않지만, 몸체 크기 및 모양, 머리, 눈, 코, 귀, 입, 팔, 다리, 또한 머리카락에 대한 설정이 적용될 수 있다. 사용자들이 가상의 옷, 신발, 및 보석과 선글라스와 같은 패션 액세서리를 설정할 수 있도록 한다.
102 과정에서는 식별된 사용자들을 위한 권한들과 애니메이션들을 정한다. 권한들은 식별된 사용자가 심도 감지 카메라 앞에 있을 때 컴퓨터 시스템을 통해 접속 가능한 콘텐츠의 종류를 제한할 수 있도록 한다. 실시예에 있어서, 컴퓨터 시스템은 인터넷에 연결되며, 이로 한정되지는 않지만 스트리밍(streaming) 또는 다운로드 가능한 음악 및 영화, 텔레비전 쇼, 비디오 클립과 같은 멀티미디어와 같은 여러 미디어 소스들(media sources)의 접속 권한(access)을 제공한다. 또한, 컴퓨터 시스템은 온라인이나 다운로드 가능한 게임들과 함께 유튜브(YouTube)와 같이 스트리밍 비디오를 포함하는 웹사이트들에 접속하기 위한 웹브라우저(web browser)의 접속 권한을 제공할 수 있다. 또한 컴퓨터 시스템은 DVD 또는 블루레이(Blu-Ray)나 HD-DVD 디스크들과 같은 다른 광학 저장 매체를 재생할 수 있는 통합 미디어 소스(integrated media source)를 포함할 수 있다. 정해진 사용자들에게 지정된 권한들은 특정 종류의 영화, 텔레비전 쇼, 게임, 및 웹사이트들의 접속 권한을 제한할 수 있다.
또한 102 과정에서는 식별된 사용자들에 대하여 애니메이션들을 정하는데 사용될 수 있다. 애니메이션들은 심도 감지 카메라 및 컴퓨터 시스템에 의해 감지된 현실 세계 액션들에 응하여 장면에 있는 식별된 사용자의 아바타를 움직이는데 사용될 수 있다. 예를 들면, 한 실시예로 사용자의 움직임이 임계 속도 초과 시, 사용자의 아바타에 애니메이션이 적용될 수 있다. 한 실시예에 있어서, 사용자의 느린 움직임은 사용자의 가상 세계 아바타에게 거미집 또는 거미줄이 생기게 할 수 있다. 다른 실시예에 있어서, 사용자의 빠른 움직임에 대하여 사용자의 높은 속도를 강조하는 아바타를 흐리게(blurring)하는 애니메이션 또는 먼지바람(motion clouds)과 같은 다른 애니메이션이 사용되거나 음향 효과들이 사용될 수 있다. 사용자의 아바타, 정해진 권한들, 및 애니메이션들은 심도 감지 카메라 및 컴퓨터 시스템이 식별된 사용자를 인식할 때 재실행(recall)되기 위해 저장될 수 있다.
104 과정에서는 심도 감지 카메라의 시야에 진입하는 이동 물체들을 식별하고 추적한다. 카메라 시야에서 이동 물체가 정해진 사용자로 인식되는 경우, 106 과정에서 권한들 및/또는 애니메이션들이 자동 적용될 수 있다. 이동 물체가 정해진 사용자로 인식되지 않은 경우, 106 과정에서 내정된(default) 권한들 및/또는 애니메이션들을 자동으로 로드(load)할 수 있다. 104 과정에서 또한, 컴퓨터 시스템 및 심도 감지 카메라를 사용해서 시간 경과에 따라 인식되거나 인식되지 않은 사용자의 움직임들을 추적하고, 아바타를 움직이도록 할 수 있다. 한 실시예에서는, 심도 감지 카메라가 움직임을 식별할 때, 시간 경과에 따른 움직임의 로그 파일(log file)을 생성할 수 있다. 실시예들에 있어서, 심도 감지 카메라의 시야에 식별된 사용자가 진입할 때, 사용자에 대한 미리 설정된 애니메이션을 사용해서 로그 파일을 생성한다. 로그 파일은 시간 경과에 따라 심도 감지 카메라의 시야 내에 있는 식별된 사용자들의 움직임을 보여주도록 재생될 수 있다.
도 1b는 본 발명의 실시예에 따라, 컴퓨터 시스템(120)에 연결된 심도 감지 카메라(110)의 시야(152) 내에 있는 장면(150)을 도시한다. 심도 감지 카메라(110)는 RGB 이미지 모듈(114)을 사용해서 이미지 데이터를 포착하고, 심도 데이터 모듈(112)은 시야(152) 내에 있는 물체들의 상대적 심도 데이터를 포착할 수 있다. 한 실시예에 있어서, 심도 감지 카메라(110)는 3차원 물체들에서 반사된 빛의 양에 근거하여 상대적 깊이들을 판단할 수 있다. 다른 실시예들에 있어서, 심도 감지 카메라는 적외선을 펄싱(pulsing)할 수 있는 적외선 발광 다이오드(LEDs) 어레이를 포함할 수 있다. 심도 데이터 모듈(112)은 심도 감지 카메라(110)로 다시 반사되어 들어오는 펄스된(pulsed) 적외선 양에 근거하여 시야 내에 있는 물체들의 상대적 깊이를 판단할 수 있다. 다른 실시예들에서는, 심도 감지 카메라(110)의 이미지 및 심도 데이터가 처리되기 위해 컴퓨터 시스템(120)으로 송신된다.
초점을 맞추는 모듈(118)은 로직(logic) 처리부(116)와 함께 심도 감지 카메라(110)에 포함될 수 있다. 소정의 실시예들에서는, 로직 처리부(116)는 RGB 이미지 모듈(114)과 심도 데이터 모듈(112)의 데이터를 서로 연관시키기(correlate) 위해 사용될 수 있다. 다른 실시예들에서는 로직 처리부(116)가 초점을 맞추는 모듈(118)의 제어를 보조할 수 있다. 초점을 맞추는 모듈(118)은 RGB 이미지 모듈(114)과 심도 데이터 모듈(112)의 초점을 변경할 수 있다. 적외선 LED 어레이 내의 적외선 LED들 각각의 강도와 기간을 증가시킴으로써, 심도 데이터 모듈(112)의 초점을 변경할 수 있다. 심도 감지 카메라에 의해 포착된 이미지 및 심도 데이터는 컴퓨터 시스템(120)에 의하여 상당 부분 실시간으로 처리될 수 있다.
심도 감지 카메라(110)의 이미지 및 심도 데이터를 수신하고 처리하는 것 외에도, 컴퓨터 시스템(120)은 다른 구성요소들로부터의 입력을 포함하거나 수신할 수 있다. 예를 들면, TV 소스(122), DVD/Blu-Ray 미디어(124), 게임들(126), 및 인터넷(128)은 컴퓨터 시스템(120)을 통해 접속될 수 있다. 사용자들은 컴퓨터 시스템(120)의 사용자 인터페이스를 통해 다른 미디어 소스들(130a, 130b)을 선택할 수 있다.
장면(150)은 사용자(140), 램프(142), 및 소파(144)를 포함한다. 컴퓨터 시스템(120)은 램프(142)나 소파(144)와 같은 정지 물체들로부터 사용자(140)를 분별할 수 있다. 컴퓨터 시스템(120)의 명령에 응하여, 심도 감지 카메라(110)는 사용자(140) 주변의 영역(146)에 초점을 맞출 수 있다. 사용자(140)를 식별하기 위해, 심도 감지 카메라(110)는 사용자(140)의 두부 영역(head area)(148)에 초점을 맞출 수 있다. 두부 영역(148)에 초점을 둠으로써, 심도 감지 카메라는 사용자(140)에 대한 이미지 및 심도 데이터를 감지하고, 감지된 사용자는 컴퓨터 시스템과 연관된 프로파일 데이터와 분석 비교될 수 있다.
도 2a 내지 도 2d는 본 발명의 실시예에 따라 아바타를 포함하는 사용자 프로파일을 정하기 위해 사용될 수 있는 예시적 장면을 도시한다. 도 2a는 아빠(202), 딸(204), 및 아들(206)의 사용자 프로파일들이 이미 생성된 컴퓨터 시스템의 예시적 장면(200)을 도시한다. 또한, 장면(200)에는 새로운 사용자 프로파일을 생성할 수 있는 버튼(208)이 포함된다. 도 2b는 본 발명의 실시예에따라 버튼(208)을 선택함으로써, 나타나는 장면(200b)을 도시한다. 또한 장면(200b)은 본 발명의 한 실시예를 위해 생성될 수 있는 여러 종류들의 사용자 프로파일들을 표시한다. 예를 들면, 사람들의 프로파일들은 사람 아이콘(210)을 선택함으로써 생성될 수 있다. 사용자가 애완동물들의 움직임을 추적하기 원하는 실시예들에 있어서는, 강아지 아이콘(212) 또는 고양이 아이콘(214)을 선택함으로써 강아지나 고양이의 프로파일을 만들 수 있다. 프로파일의 종류가 추가적으로 포함될 수 있으며, 장면에 열거된 리스트로 한정되지는 않는다.
도 2c는 본 발명의 실시예에 따라 사람 아이콘(210)을 선택함으로써 도시되는 대표적인 장면(200c)을 보여준다. 장면(200c)은 사용자가 남성 아이콘(216) 또는 여성 아이콘(218)을 선택할 수 있도록 한다. 일례로, 사용자는 여성 아이콘(218)을 선택한다. 도 2d는 본 발명의 다른 실시예들에 따라 아바타를 설정하는 두 개의 다른 장면들(200d, 200e)을 도시한다. 제 1 장면(200d)은 아바타를 설정하는데 사용될 수 있는 메뉴 시스템을 도시한다. 도시된 바와 같이, 메뉴 시스템은 이름, 키, 체형, 눈, 머리 스타일, 코, 및 입에 대한 선택 항목을 포함한다. 당업자는 제 1 장면(200d)에 도시된 각각의 선택들이 아바타를 더 세밀하게 설정할 수 있는 다른 장면 또는 부수적 메뉴로 인도할 수 있는 것으로 이해할 수 있을 것이다.
제 2 장면(200e)은 본 발명의 다른 실시예에 따른 아바타를 커스토마이징하는 다른 방법의 장면을 도시한다. 아바타를 커스토마이징하는데에 있어서, 사용자의 이미지를 포착하기 위해 심도 감지 카메라가 사용될 수 있다. 사용자의 포착된 이미지들은 포착된 이미지들에 근거한 아바타를 자동 생성하는 컴퓨터 시스템에 의해 처리될 수 있다. 다른 실시예들에서 자동 생성된 아바타는 사용자가 아바타의 특징들을 변경할 수 있는 기본 아바타(baseline avatar)이다. 두 가지의 실시예들에 있어서, 사용자들은 자가 생성되거나 자동 생성된 아바타를 옷이나 패션 액세서리들로 임의로 변경하거나 조정할 수 있다.
도 2e는 본 발명의 실시예에 따른 추가적인 사용자, 엄마(220)를 추가하는 과정을 종료하는 것을 도시하는 예시적 장면(200f)이다. 장면(200f)은 도 2a 내지 도 2d에서 도시된 바와 같이 엄마(220)의 사용자 프로파일을 생성하는 과정을 완성하여 초래된 장면이다. 장면(200f)은 아빠(202), 딸(204), 아들(206), 및 엄마(202)의 사용자 프로파일들을 보여준다. 도 2e는 다른 사용자 프로파일을 추가하기위해 선택되고 있는 버튼(208)을 도시한다.
도 2f은 본 발명의 실시예에 따른 사용자들을 인식하는 데 사용될 수 있는, 심도 감지 카메라에 의해 포착된 안면의 이목구비들을 도시하는 도면이다. 사용자의 아바타를 설정하는 동안, 심도 감지 카메라는 사용자의 두부(250) 및 이목구비들의 이미지들과 심도 데이터를 포착하는데 사용될 수 있다. 이미지들과 연관된 심도 데이터는 컴퓨터가 사용자를 인식할 수 있도록 하는 특성들을 식별하기 위해 컴퓨터 시스템에 의해 분석된다.
식별하기 위해 사용되는 여러 특성들은 이로 한정되지는 않지만, 이목구비들 사이의 간격들, 이목구비들의 상대적 크기들, 및 상대적 위치가 될 수 있다. 다른 실시예들에 있어서, 사용자 두부의 구성요소들은 귀의 상대적 위치 또는 크기로 식별될 수 있다. 예를 들어, 도 2f에서 Z 평면의 거리들로 도시되는 심도 데이터는 사용자의 코끝과 사용자의 윗입술 사이의 거리인 Z1을 판단하고 인식하는데 쓰일 수 있다. 심도 데이터는 또한, 사용자의 코끝과 눈 사이의 거리(Z2)를 판단하고 인식하는 데 쓰일 수 있다. 이와 같이, 이미지 데이터도 도 2f에서 거리 X로 도시된 사용자의 눈 사이 거리를 인식하는데 쓰일 수 있다. 나아가, 사용자의 코와 입 사이의 거리 B가 측정될 수 있고, 식별하기 위한 특성으로 사용될 수 있다.
도 2g는 본 발명의 실시예에 따른 여러 자세에 있는 사용자 두부(250) 이미지 및 심도 데이터를 포착하는 방법을 도시하는 도면이다. 다른 실시예들에서 사용자 프로파일 생성 시, 사용자는, 머리를 여러 자세로 돌리도록 (예. GUI, 음성이나 음향 명령, 또는 문자로)요구될 수 있다. 이에 따라, 심도 감지 카메라가 사용자의 두부 전체 또는 적어도 식별가능한 안면의 이목구비들을 가진 두부 전면 대부분의 이미지 및 심도 데이터를 포착할 수 있다.
컴퓨터 시스템은 사용자의 와이어 프레임(wire frame) 모델을 생성하기 위해 이미지 및 심도 데이터를 분석할 수 있다. 다른 실시예들에 있어서, 사용자 두부의 와이어 프레임 모델은 사용자의 가상 세계 아바타의 일부로 사용될 수 있다. 하기에 더 상세하게 전술될 바와 같이, 컴퓨터 시스템은 다양한 각도에서의 안면 및 두부의 특징들 사이 사용자마다 다른 비율들을 판단하기 위해 와이어 프레임 모델을 분석할 수 있다. 특정 안면 구조들 및 측정되는 거리는 일례로 개시될 뿐, 이로 한정하기 위한 것은 아니다. 사용자를 식별하고 인식하는데 사용되기 위한 추가적 측정 거리들 위해서 이미지 및 심도 데이터가 분석될 수 있다.
다른 실시예들에 있어서, 심도 감지 카메라는 다양한 자세를 하고 있는 사용자의 몸 전체의 이미지 및 심도 데이터를 포착하는데 사용될 수 있다. 안면 인식(facial recognition)과 유사하게, 컴퓨터 시스템은 사용자를 식별하는 이미지들과 그 연관된 심도 데이터를 분석할 수 있다. 도 8 및 도 9를 참조하여 하기에서 상세하게 개시될 바와 같이, 장면 내의 정지 물체는 컴퓨터 시스템에 의하여 인식될 수 있고, 장면 내 사용자들의 상대적 위치를 제공함으로써, 사용자들을 식별하고 추적하는데 보조할 수 있다.
도 2h는 본 발명의 실시예에 따라 심도 감지 카메라에 의해 포착된 적어도 일부는 여러 관점에서 구성된 사용자 안면(250)의 여러 포즈들(poses)을 포함하는 매트릭스(matrix)를 도시한다. 다른 경우들에서는, 구성된 포즈들은 (예를 들어, 도 2g에서 포착된 데이터를 사용해서)거리(dimensional) 및 심도 데이터를 추정하여 생성될 수 있다.
다양한 각도에서 사용자가 심도 감지 카메라의 시야로 진입할 수 있기 때문에 시스템이 사용되거나 운용될 때, 사용자들의 정면 모습을 항상 획득하지 못 할 수 있다. 그러므로, 컴퓨터 시스템은 사용자를 식별하고 추적하기 위하여 사용자 두부의 와이어 프레임 모델을 사용할 수 있다. 이러한 와이어 프레임 모델의 사용으로 다양한 자세에 있는 사용자 두부의 안면 및 두부 특징들의 여러 비율들을 추정할 수 있다.
262 열은 사용자가 머리를 들지 않고, 우에서 좌로 돌린 것처럼 포착된 사용자 두부의 와이어 프레임 모델 일련의 이미지들을 도시한다. 260 열은 유사한 일련의 이미지들을 도시하는데, 와이어 프레임 모델은 두부가 뒤로 들리도록 고정됐고, 264 열에서 와이어 프레임 모델의 두부는 앞으로 숙여졌다. 272 행의 와이어 프레임 모델은 각각의 열들에서 정면을 향하고, 270 행 및 274 행은 심도 감지 카메라에 대하여 각각 오른쪽으로 3 분의 1, 왼쪽으로 3 분의 1 만큼 고개를 돌린 사용자에 대한 이미지 데이터를 도시한다. 이와 같이, 268 행 및 276 행은 각각 오른쪽 및 왼쪽으로 3 분의 2 만큼 고개를 돌린 사용자를 도시한다. 이에 비해 266 행 및 278 행은 심도 감지 카메라를 기준으로 각각 오른쪽 및 왼쪽으로 고개를 돌린 사용자를 도시한다. 도 2h에 도시된 매트릭스는 단순화된 것이며, 일례로 생각되어야 한다. 현실 세계의 실시예들은 사용자들 가각에 대한 다소의 이미지 및 심도 데이터를 수집하기 위해 여러 프레임 속도(frame rates)로 비디오 이미지들을 샘플링할 수 있다. 하기에 개시된 바와 같이, 다른 관점들에서 포착된 사용자의 경우, 여러 이목구비의 상대적 위치를 판단하기 위해 이미지 및 심도 데이터가 분석될 수 있다. 한 실시예에서는 오른쪽 귀(E1), 오른쪽 눈(e1), 코(N), 왼쪽 눈(e2), 왼쪽 귀(E2)가 이미지 및 심도 데이터에서 식별되고 추적될 수 있다.
도 2i는 본 발명의 실시예에 따라 안면의 여러 이목구비들의 상대적 위치의 변화(예. 차이값(delta values))를 도시하는 일련의 세 이미지들을 도시한다. 280 프로파일의 사용자는 깊이 감지 카메라를 마주보고 있다. 이러한 각도에서, 사용자 코(N)의 위치는 사용자 눈들(e1, e2) 또한 귀들(E1, E2)의 위치와 비교해서 판단 될 수 있다. 다른 사용자들은, 귀들(E1, E2)의 상대적 위치가 280 프로파일에서 판단되지 못할 수 있다. 이러한 경우, 사용자의 눈들과 코의 상대적 위치에서 식별이 가능하다. 사용자를 식별하기 위해서, 이목구비의 상대적 위치 가 와이어 프레임 모델 매트릭스와 비교될 수 있다. 사용자가 식별되면, 컴퓨터 시스템은 적합한 사용자 프로파일을 자동 적용할 수 있다. 또한, 다른 실시예들에 있어서, 컴퓨터 시스템은 사용자 두부의 위치를 모니터하고 추적하기 위해 심도 감지 카메라의 이미지 및 심도 데이터를 모니터할 수 있다. 또 다른 실시예에 있어서, 이미지 및 심도 데이터는 공간 내에서 사용자가 보고 있는 곳을 판단하기 위해 사용자의 눈 움직임들을 추적할 수 있다.
282 프로파일은 사용자의 머리(250)를 왼쪽으로 돌릴 때 사용자의 이목구비의 상대적 위치가 어떻게 변하는지 도시한다. 280 프로파일과 282 프로파일을 비교하면, 사용자의 왼쪽 귀(E2)가 더 이상 심도 감지 카메라에게 보이지 않는 반면, 오른쪽 귀(E1)는 더 잘 보인다. 이와 같이, 왼쪽 눈(e2)은 심도 감지 카메라에서 멀리 떨어지게 되고, 오른쪽 및 왼쪽 눈(e2, e1)사이의 종횡비(aspect ratio)는 변경된다. 이러한 실시간 이미지 및 심도 데이터로부터 컴퓨터 시스템은 사용자와 메모리에 저장된 와이어 프레임 모델들을 맞추도록 시도할 수 있다. 282 프로파일에서, 심도 감지 카메라 데이터는 왼쪽 눈(e2)의 깊이 위치를 표시할 수 있다. 동시로, 심도 감지 카메라에 포착된 이미지 데이터가 분석되고, 왼쪽 눈(e2)의 상대적 크기가 판단될 수 있다. 이와 같이, 심도 감지 카메라는 오른쪽 귀(E1), 오른쪽 눈(e1), 및 왼쪽 눈(e2)에 대한 코(N)의 변화를 인식할 수 있다.
284 프로파일은 머리를 돌린 사용자의 왼쪽 면을 도시한다. 이러한 관점에서, 심도 감지 카메라는 사용자의 오른쪽 귀(E1), 오른쪽 눈(e1), 및 코(N)의 완전한 측면을 포착한다. 심도 감지 카메라에게 보이는 이목구비의 상대적 위치를 판단하고, 상대적 위치는 와이어 프레임 모델 매트릭스에서 사용자를 식별하고 추적하는데 사용될 수 있다. 도 2i를 참조해서 서술된 프로파일들은 단순화되었으며, 일례로 고려되어야 한다. 다른 실시예들은, 이목구비 비율 범위를 생성하기 위해 초당 이미지 및 심도 데이터의 다수 프레임들이 포착될 수 있다. 샘플링된 범위는 와이어 프레임 모델 매트릭스 내의 움직임의 범위와 비교될 수 있다. 도 2i에 도시된 바와 같이, 얼굴 위치의 여러 비율들이 사용자가 머리를 양쪽으로 돌릴 때 추적될 수 있다. 이와 같이, 다른 실시예들에서는, 사용자의 눈, 코, 입의 상대적 위치를 경계 짓는 수평선들을 사용해서, 사용자가 두부를 앞으로 숙이거나 뒤로 들 때 다른 비율들이 사용될 수 있다. 사용자가 머리를 앞으로나 뒤로 움직이면, 심도 감지 카메라에 포착된 수평선들 사이의 상대적 간격은 두부가 뒤로나 앞으로 기울어진 정도를 판단하기 위해 연산될 수 있다.
도 2j는 본 발명의 실시예에 따라 사용자 두부의 이미지 및 심도 데이터를 획득하는 절차를 도시하는 예시적 흐름도이다. 하기 과정들은 컴퓨터 시스템이 향후에 사용자를 인식하도록 사용자 프로파일을 생성하거나 변경할 때 사용될 수 있다. 285 과정에서는 사용자의 두부 스캔을 시작한다. 이러한 과정은 도 2g에서와 같이 사용자 프로파일을 생성하거나 변경할 때 시작될 수 있다. 285 과정에서는 심도 감지 카메라가 사용자 두부 영역에 초점을 맞추도록 한다. 한 실시예에서는 사용자가 심도 감지 카메라에 대하여 특정 위치에 서있도록 요구할 수 있다. 다른 실시예에서는 심도 감지 카메라가 사용자를 향해 이미지 및 심도 감지 요소들의 초점을 옮길 수 있다. 다수의 사람들이 심도 감지 카메라 앞에 있는 경우, 장면의 표시를 사용해서 사용자로 하여금 어떤 사람이 스캔될 지 선택하도록 할 수 있다.
287 과정에서는 두부 영역의 이미지 및 심도 데이터를 수집한다. 종전에 서술된 바와 같이, 이러한 과정은 사용자가 여러 방향으로 머리를 돌리도록 요구할 수 있다. 이는 여러 자세에 있는 사용자의 머리를 심도 감지 카메라가 포착하도록 한다. 288 과정에서는 이미지 및 심도 데이터에 근거하여 사용자 두부의 모델을 생성한다. 한 실시예에 있어서, 심도 데이터 사용자 머리의 3 차원 와이어 프레임 모델을 구성하는데 사용될 수 있다. 컴퓨터 프로그램은 와이어 프레임 모델을 사용하여 이목구비의 상대적 위치를 판단할 수 있다. 위치 데이터와 모델은 289 과정에서 저장되며, 사용자 프로파일로 연계될 수 있다. 종료 과정인 290 과정에서는 다른 과정들이 따를 수도 있지만 흐름도는 종결짓는다.
도 2k는 본 발명의 실시예에 따라 심도 감지 카메라의 시야 내에 있는 사용자를 식별하는 절차에 따른 예시적 과정들을 도시하는 예시적 흐름도이다. 291 과정에서는 심도 감지 카메라의 시야 내에 있는 이동 물체들이 식별된다. 하기에 서술된 바와 같이, 이동 물체는 고양이나 강아지와 같은 애완동물이 될 수 있다. 애완동물을 식별하고 추적할 때, 다른 과정들이 필요할 수 있다. 뒤따른 과정들은 사람을 식별하고 추적하는 것과 연관되어 있지만, 사람이 아닌 사용자들을 추적하기 위해 변경될 수 있다. 292 과정에서는 이동 물체들 중 사용자의 두부를 감지하도록 시도한다. 한 실시예에 있어서, 컴퓨터 시스템은 눈과 같은 유전적 안면 특성들을 사용해 두부를 유전적으로 식별할 수 있다. 따른 실시예들에 있어서, 두부는 이로 한정되지는 않지만, 눈과 입 또는 눈과 코와 같은 안면 특성들의 조합을 사용해서 식별될 수 있다.
293 과정에서는 저장된 사용자 모델과의 비교에 근거해서 인식 가능한 안면 프로파일이 검색될 때 까지 두부를 추적하는 것이 시작된다. 두부에 고정시키고 두부를 추적하는 것은 컴퓨터 시스템이 저장된 사용자 머리 및 안면 데이터를 실시간 이미지 및 심도 데이터와 비교할 수 있도록 한다. 심도 감지 카메라는 사용자를 식별하기 위해 실시간 이미지 및 심도 데이터의 프레임들과 와이어 프레임 모델의 인식 가능한 안면 프로파일들을 비교할 수 있다. 한 실시예에 있어서, 컴퓨터 시스템은 실시간 이미지에 있는 두부의 각도를 판단하기 위해 이미지 데이터를 분석하고, 안면 및 두부 데이터를 저장된 와이어 프레임 모델들 중 유사한 자세를 가진 데이터에 비교할 수 있다. 294 과정에서는 저장된 사용자 프로파일의 심도 및 이미지 데이터와 실시간으로 감지된 사용자의 특징들이 확인된다. 295 과정에서는 사용자가 식별되고, 사용자 프로파일이 저장된 것을 확인한다. 종료 과정인 299 과정은 다른 과정들이 따를 수 있지만, 상기 절차를 마친다.
294 과정에서 심도 및 이미지 데이터가 확인되지 않으면, 296 과정에서 실시간 사용자가 식별되지 않은 것으로 인식한다. 298 과정에서는 컴퓨터 시스템이 사용자에게 고정되고 사용자를 추적하는 것을 한 번 더 시도할 지 판단한다. 다른 실시예들에서는, 컴퓨터 시스템이 사용자를 식별하기 위해 미리 정해진 수만큼 시도하도록 임계값을 설정할 수 있다. 다른 실시예들에 있어서, 컴퓨터 시스템이 사용자를 식별하도록 끊임없이 시도하도록 할 수 있다. 또 다른 실시예들에서는 사용 가능한 컴퓨터 자원들에 근거해서 사용자를 식별하도록 가변수(variable number)의 시도를 할 수 있다. 사용자에게 고정시키는 다른 시도를 할 경우, 293 과정이 수행된다. 297 과정에서는 사용자에게 고정하는 더 이상의 시도가 없을 경우, 내정된 프로파일이 유지된다.
도 3a 내지 3c는 본 발명의 실시예에 따라 애완동물의 사용자 프로파일을 생성하는데 사용될 수 있는 예시적 스크린의 간략한 일군을 도시한다. 도 3a는 도 2e에서 버튼(208)을 선택한 결과의 장면(200b)을 도시한다. 장면(200b)은 강아지 아이콘(212)이 선택되는 것을 도시한다. 도 3b는 본 발명의 실시예들에 따라 강아지 아바타를 생성하는 다른 방법들을 나타내는 장면들(300a, 300b)을 도시한다. 300a 장면은 강아지의 다양한 양면의 이미지들을 포착하는 심도 감지 카메라를 사용해서 아바타를 생성하는 과정을 도시한다. 컴퓨터 시스템은 심도 감지 카메라의 시야 내에 있을 때 강아지가 인식되게 하는 프로파일 정보와 함께 강아지 아바타를 자동 생성하기 위해 다른 이미지들을 처리할 수 있다.
300b 장면은 본 발명의 한 실시예에 따른 다른 강아지 아바타 생성 장면이다. 300b 장면은 강아지 아바타를 생성하도록 다양한 강아지의 특징들을 선택하게 할 수 있다. 예를 들어, 한 실시예에서는 사용자가 강아지 아바타의 상대적 크기를 선택함으로써, 시작할 수 있다.
도 4a는 본 발명의 실시예에 따라 사용자들에게 지정된 여러 미디어 소스 권한들을 보이는 예시적 표(400)를 도시한다. 비디오 게임 권한들(402)은 엔터테인먼트 소프트웨어 등급 위원회(Entertainment Software Rating Board; ESRB)가 지정한 등급에 따라 다양한 사용자들에게 지정될 수 있다. 이와 같이, 텔레비전 권한들(404)은 텔레비전 부모 지침(television parental guidelines)에 따라 사용자 각각의 권한이 설정될 수 있다. 다양한 실시예들에서는, 컴퓨터 시스템이 설치된 국가에 따라 다른 텔레비전 부모 지침이 로드될 수 있다. 미국에 설치된 컴퓨터 시스템은, 미국 영화 협회(Motion Picture Association of America; MPAA)의 등급 시스템이 각각의 사용자에게 지정될 수 있다. 이와 같이, 인터넷 권한들(408)은 특정 사용자 콘텐츠의 접속을 필터링하고 제한하도록 설정될 수 있다. 음악(410)에 접속할 수 있도록 설정된 컴퓨터 시스템의 실시예들에 있어서, 부모 자문 레이블(Parental Advisory Label;PAL)로 사용자가 음악을 청취하거나 청취할 수 없게 권한을 설정할 수 있다. 도 4a에 도시된 권한들의 종류는 일례일 뿐, 추가적인 권한들도 지정될 수 있으므로, 이로 한정되는 것으로 여겨서는 안 된다.
사용자에게 지정된 권한들은 컴퓨터 시스템을 통해 접속할 수 있는 다양한 모양의 미디어에 자동 적용될 수 있다. 예를 들면, 아들(206)이 심도 감지 카메라의 시야에 진입하고, 컴퓨터 시스템에 의해 인식될 때, 컴퓨터 시스템은 도 4a에 열거된 권한들을 자동 로드할 것이다. 그러므로 아들(416)은 ESRB의 E 등급을 가진 비디오 게임들과, 부모의 TV 지침서(parental guideline)에 따른 Y7의 텔레비전 쇼들과, MPAA의 G 등급을 가진 영화들만 접속할 수 있다. 나아가, 컴퓨터 시스템을 사용한 인터넷 접속은 특정 네트 필터(net filter)를 적용하고, PAL를 가진 음악은 차단될 것이다.
컴퓨터 시스템에 의하여 하나 이상의 사용자가 인식된 경우, 가장 제한이 적은 권한이 실행된다. 이에, 아들(206)과 아빠(202)가 식별된 경우, 컴퓨터 시스템은 아빠(202)의 권한들을 실행시킬 것이다. 이와 같이, 딸(204)과 아들(206)이 식별되면, 딸(204)의 권한들이 실행될 것이다.
도 4b는 본 발명의 실시예에 따라 사용자들이 만든 애니메이션들을 도시하는 예시적 표이다. 사용자들은 심도 감지 카메라의 시야 내에서 식별된 사용자가 걸을(412) 때 장면에 표시될 수 있는 아이콘들 각각을 선택하거나 생성할 수 있다. 도 4b에 도시된 바와 같이, 아들이 심도 감지 카메라 앞으로 걸어갈 때 파란 운동화(416)가 현실 세계에서 방을 가로지르는 아들의 경로를 추적해서 장면에 표시될 수 있다. 이와 같이, 딸의 걸음 경로에는 핑크색 발자국(418)이 지정되고, 멍멍이의 경로에는 검은 발바닥 자국(420)들이 지정될 수 있다.
달리기(414)와 같은 액션들을 위한 애니메이션들이 사용자들에게 지정될 수 있다. 예를 들면, 아들이 뛸 때, 아바타 애니메이션은 파란 운동화(416)에서 아들의 아바타가 스케이트보드(422)를 타는 애니메이션으로 자동 변환할 수 있다. 이와 같이, 컴퓨터 시스템에 의하여 딸이 뛰는 것으로 인식될 때, 딸의 핑크빛 발자국(418)은 카메라 시야 내에서 뛴 기간 및 거리 동안에는 인라인 스케이트(414)로 변할 수 있다. 멍멍이까지도 멍멍이가 뛴 곳에 검은 발바닥 자국(420)이 빨간 발바닥 자국(424)으로 변할 수 있다. 추가적 애니메이션 종류들은 이로 한정되지는 않지만, 장면 내의 특정 물체들과 상호작용하는 애니메이션들이나 인식된 사용자들의 조합이 방안에 있을 때의 애니메이션들을 포함하도록 설정될 수 있다. 특정 애니메이션들은 가능한 애니메이션의 예를 제공하기 위한 것이며, 이로 한정되지는 않는다.
도 5a는 본 발명의 실시예에 따라 처리된 비디오로 장면(10a, 10b)에 표시된 현실 세계의 장면(500)을 포함하는 공간(501)을 도시하는 도면이다. 현실 세계의 장면(500)은 심도 감지 카메라(110)의 시야 내에 있는 강아지(502)와 소파(504)를 포함한다. 심도 감지 카메라(110)는 컴퓨터 시스템(120)으로 이미지 데이터를 제공한다. 컴퓨터 시스템(120)은 장면(508)에 처리된 비디오(10a, 10b)를 제공한다. 현실 세계의 장면(500)에서는 강아지(502)가 소파(504)에 뛰어 오른다.
도 5b는 본 발명의 실시예에 따라 예시적으로 처리된 비디오(10a, 10b)를 도시한다. 제 1의 처리된 비디오(10a)는 강아지(502)가 시간 경과에 따라 소파(504) 위에서 걷는 모습을 추적한 컴퓨터 시스템의 결과물을 도시한다. 도시된 바와 같이, 발바닥 자국(512)으로 생성된 과거 경로(historical path)는 강아지 아바타(502a)에 의하여 가상 세계의 소파(504a)에 생성된다. 처리된 비디오(10a)는 장면(110)에서 심도 감지 카메라에 의하여 포착된 이미지 및 심도 데이터에서 강아지를 인식한 컴퓨터 시스템의 결과물이다. 컴퓨터 시스템으로 인식하기 위해 강아지(502)를 정하는 과정의 일부로 사용자는 강아지(502)와 발바닥 자국(512) 애니메이션을 연계시키고 저장할 수 있다. 다른 실시예들에 있어서, 강아지의 실시간 영상 이미지들이 강아지 아바타(502a) 대신 사용될 수 있다. 강아지(502)가 컴퓨터 시스템에 의해 인식되지 않는 실시예들에 있어서, 내정된 추적 심볼 또는 아이콘의 일군이 처리된 비디오(10a)로 로드되거나 표시될 수 있다.
제 2의 처리된 비디오(10b)는 본 발명의 실시예에 따라, 소파(504)와 상호작용 하는 강아지(502)에 특정된 또 다른 애니메이션을 도시한다. 이러한 실시예에서, 사용자는 현실 세계에서 강아지가 현실세계의 소파 위를 걷는 곳마다 찢어지는 가상 세계의 소파(504a)를 도시하는 애니메이션을 설정해놓았다. 상기 전술된 바와 같이, 컴퓨터 시스템은 재생되고 저장될 수 있는 심도 감지 카메라 앞에서 발생한 사용자 액션들의 로그 파일 또는 과거 경로들을 생성할 수 있다. 이러한 경우, 사용자는 컴퓨터 시스템이 장면을 모니터 하고 현실 세계의 강아지의 움직임들을 재생하도록 설정할 수 있다. 간단한 예를 위해서, 처리된 비디오들(10a, 10b)은 강아지기가 소파에 뛰어 오르기 전의 추적된 움직임들은 도시하지 않는다. 한편, 여러 실시에들에서는 로그된 애니메이션들을 통해 강아지의 움직임들을 추적하고, 바닥의 여러 발자국들과 뜯어진 소파를 도시하는 일정 시간 동안의 비디오(time laps video)를 생성할 수 있다.
도 6은 본 발명의 실시예에 따라 현실 세계의 장면(600)을 도시하고, 현실 세계 장면(600)이 어떻게 처리된 비디오(10c)로 장면에 표시되는지 도시한다. 현실 세계의 장면(600)은 사용자(602)가 심도 감지 카메라(110)의 앞을 뛰어가는 장면을 포함한다. 심도 감지 카메라(110)는 달리는 사용자(602)의 영상 이미지들을 포착하고, 처리하기 위해 컴퓨터 시스템(120)으로 송신 한다. 처리된 영상 데이터는 컴퓨터 시스템(608)에서 장면(604)로 송신되고, 처리된 비디오(10c)로 표시된다. 처리된 비디오(10c)의 상세한 장면은 사용자(602)를 대표하는 아바타(602')를 포함한다. 또한, 상세한 장면에 도시된 바와 같이, 사용자(602)의 달리기에 응한 아바타(602')의 애니메이션이 도시된다. 한 실시예에 있어서, 애니메이션은 속도감을 전달하기 위해 아바타(602')의 흐려지는 움직임(motion blurs)(610)을 포함한다. 다른 실시예에서는 아바타(602')가 달리는 것이 감지되기 전에 서있던 곳에 먼지바람(puffs of clouds)(612)이 나타날 수 있다. 다른 실시예에서는, 달리기에 응하여 아바타(602')의 신발이나 발에 불꽃이 표시될 수도 있다. 한 실시예에 있어서, 도 5a 내지 도 6을 참조하여 전술된 과거 경로와 애니메이션은 재생되기 위해 컴퓨터 시스템과 연관된 메모리에 저장될 수 있다. 다른 실시예들에 있어서, 메모리는 하드 드라이브나 비휘발성 기억 장치(nonvolatile memory)와 같은 국부적 저장 장치(local storage device)가 될 수 있다. 다른 실시예들에 있어서, 과거 경로들 및 애니메이션들은 인터넷을 통한 원격 저장부에 업로드될 수 있다.
도 7은 인식된 물체들을 식별하고 추적하는 것을 개선하기 위해 포인트 추적(point tracking) 방법을 적용하는 과정들을 도시하는 예시적 흐름도이다. 700 과정에서는 심도 감지 카메라를 사용해서 장면의 제 1 이미지가 포착된다. 702 과정에서는 장면의 제 2 이미지를 포착하기 위해 심도 깊이 카메라가 사용된다. 정지 물체들을 식별하기 위해, 제 1 및 제 2 이미지를 포착하는 시간차는 다를 수 있다. 다른 실시예들에서는, 이미지들이 몇 분의 일 초 또는 몇 초마다 샘플링될 수 있고, 또 다른 실시예들에서는 몇 분, 시간, 또는 며칠을 사이에 두고 샘플링될 수 있다. 704 과정에서는 제 1 이미지와 제 2 이미지를 비교해서 장면 내의 정지 물체들을 판단한다. 이러한 비교 과정은 제 1 이미지에서 확인된 포인트들을 제 2 이미지의 해당 포인트들과 일치시켜본다. 제 1 이미지 및 제 2 이미지 사이에서 움직이지 않은 경우, 식별된 포인트가 정지한 것으로 판단될 수 있다. 한 실시예에 있어서, 심도 감지 카메라는 연산 소요(computing overhead)를 줄이는 정지 물체들을 지속적으로 갱신하기 위해 주기적으로 이미지들을 샘플링한다. 706 과정은 장면 내의 식별된 정지 물체들의 고정된 포인트들을 연관시켜, 장면 내의 정지 물체의 모델을 구성한다. 708 과정에서는 심도 감지 카메라의 시야 내에 있는 물체들을 추적하고 식별하는데 도움을 주기 위하여 연관된 고정 포인트들이 메모리에 저장된다.
도 8은 본 발명의 실시예에 따라 포인트 추적을 도시하는 장면(800)의 예시적 장면이다. 장면(800)은 컴퓨터 시스템(120)에 이미지 데이터를 제공하는 심도 감지 카메라(110)를 포함한다. 컴퓨터 시스템(120)은 이미지 데이터를 처리하고, 장면(802)에 표시될 처리된 비디오를 제공한다. 장면은 또한 소파(806)와 램프(812)와 같은 정지 물체들을 포함한다. 한 실시예에 있어서, 컴퓨터 시스템(810)은 심도 감지 카메라(110)에 의하여 포착된 두 이미지들을 비교해서 장면(800)의 어떤 물체들이 정지한지 판단할 수 있다. 컴퓨터 시스템(120)은 제2 이미지에서 움직이지 않은 제 1 이미지 내의 포인트들 식별할 수 있는 소프트웨어를 실행할 수 있다. 움직이지 않는 포인트들은 정지 포인트로 지정될 수 있다. 도 8 에 있어서, 소파(806)에서 정지 포인트들(808)이 식별되고, 램프(812)에서 정지 포인트들이 식별되었다. 컴퓨터 시스템(120)은 정지 포인트들을 서로 연관시켜(co-relate) 장면(800) 내에서 물체들의 상대적 위치를 정할 수 있다. 알려진 상대적 위치들을 사용해서 컴퓨터 시스템(120)은 장면(800) 내에서 움직이는 사용자들과 같은 현실 세계의 물체를 대표하는 아바타들이 신속하게 표시되도록, 심도 감지 카메라(110)에서 이미지 데이터를 더욱 효율적으로 처리할 수 있다.
다른 실시예들에 있어서, 이미지와 심도 데이터, 및 포인트 추적방법은 정지 물체들의 부분적인 와이어 프레임들 또는 뼈대(skeleton)가 만들어지게 할 수 있다. 예를 들어, 소파(806)와 연관된 정지 포인트들(808)은 소파(806)의 부분적 와이어 프레임 모델을 생성하는데 사용될 수 있다. 텍스쳐 맵(texture map)이 와이어 프레임 모델에 적용되어, 사용자들이 실제 소파(806)의 이미지 및 심도 데이터에서 생성된 가상 소파를 변경하고 커스토마이징할 수 있도록 한다. 예를 들면, 여러 종류의 직조 또는 무늬 있는 직물에서부터 가죽 및 인조 재료까지 사용자는 소파의 재료를 변경할 수 있다. 텍스쳐 맵은 이로 한정되지는 않지만, 장면(800)의 벽면과 램프(812)를 포함하는 어떠한 장면 내의 정지 물체에도 적용될 수 있다. 사용자는 현실 세계 방의 이미지 및 심도 데이터를 포착하는 심도 감지 카메라(110)로 방을 스캔할 수 있다. 그리고 사용자는 현실 세계의 방을 대표하는 가상 세계의 대표물을 커스토마이징할 수 있다. 이미지 및 심도 데이터는 벽면 색깔을 변경하거나 벽지 또는 원목 패널과 같이 무늬 있는 여러 종류의 벽면을 적용하는데 사용될 수 있다.
도 9는 본 발명의 실시예에 따라 사용자에 의해 정해진 컨트롤러들을 생성하기 위해 동적인 3 차원 물체의 매핑(mapping)을 활용할 수 있는 컴퓨터 시스템, 소니? 플레이스테이션 3? 엔터테인먼트 장치의 전체 시스템 구조를 개략적으로 도시한다. 시스템부(1000)는 시스템부에 연결 가능한 다양한 주변 장치들과 함께 제공된다. 시스템부(1000)는 셀 프로세서(Cell processor)(1028), 램버스® 동적 임의 접근 메모리부 (Rambus® XDRAM)(1026), 전용 비디오 임의 접근 메모리(VRAM)를 가진 리얼리티 신디사이저(Reality Synthesizer) 그래픽부(1030), 및 I/O 브리지(I/O bridge)(1034)를 포함한다. 또한 시스템부(1000)는 디스크(1040a)를 판독하는 블루 레이® 디스크 BD-ROM® 광학 디스크 리더(1040) 및 I/O 브리지(1034)를 통하 접속 가능한 분리성 슬롯-인 하드 디스크 드라이브(HDD)(1036)를 포함한다. 시스템부(1000)는 콤팩트 플래시 메모리 카드, 메모리 스틱® 메모리 카드 등을 판독하는 메모리 카드 리더(1038)를 선택적으로 포함한다.
I/O 브리지(1034)는 여섯 개의 USB(Universal Serial Bus;USB) 2.0 포트들(1024); 기가비트 이더넷(Ethernet) 포트(1022), IEEE 802.11b/g 무선 네트워크(Wi-Fi) 포트(1020; 및 일곱 개까지의 블루투스 연결을 지원할 수 있는 블루투스® 무선 링크 포트(1018)에 연결된다.
I/O 브리지(1034)는 운용 시, 하나 이상의 게임 컨트롤러들(1002)의 데이터를 포함하는 모든 무선, USB, 이더넷 데이터를 수용한다. 예를 들어 사용자가 게임을 할 때, I/O 브리지(1034)는 블루투스 링크를 통해 게임 컨트롤러(1002)에서 데이터를 수신하고, 게임의 현 상태를 갱신하는 셀 프로세서(1028)에게 그 데이터를 전달한다.
무선, USB, 및 이더넷 포트들은 게임 컨트롤러(1002) 외에도, 리모트 컨트롤(1004), 키보드(1006), 마우스(1008), 소니 플레이스테이션 포터블® 과 같은 휴대용 엔터테인먼트 장치(1010), 아이토이® 비디오카메라와 같은 비디오카메라(1012), 및 마이크 헤드셋(1014)과 같은 다른 주변 장치들에게 연결성을 제공한다. 이러한 주변 장치들은 원칙적으로 무선으로 시스템부(1000)에 연결될 수 있다. 예를 들면, 휴대용 엔터테인먼트 장치(1010)는 Wi-Fi 애드 혹(ad-hoc) 연결을 통해 통신하고, 마이크 헤드셋(1014)은 블루투스 링크를 통해 통신할 수 있다.
이러한 인터페이스들이 제공됨으로써, 플레이스테이션 3 장치가 디지털 비디오 리코더(DVR), 셋 톱(set-top) 박스, 디지털 카메라, 휴대용 미디어 플레이어, 인터넷 전화, 휴대용 전화, 프린터, 및 스캐너와 같은 다른 주변 기기들과도 호환 가능할 수 있다.
또한, 레거시(legacy) 메모리 카드 리더(1016)는 USB 포트(1024)를 통해 시스템부(1000)에 연결되어, 플레이스테이션® 또는 플레이스테이션 2® 장치에서 사용되는 종류의 메모리 카드들(1048)을 판독할 수 있도록 한다.
본 실시예에서는 게임 컨트롤러(1002)가 블루투스 링크를 통해 시스템부(100)와 무선으로 통신하도록 운용가능하다. 한편, 게임 컨트롤러(1002)는 USB 포트에 대신 연결될 수 있어서, 게임 컨트롤러(1002)의 배터리를 충전하는 전력이 제공될 수 있다. 하나 이상이 아날로그 조이스틱들과 전형적인 제어 버튼들 외에도, 게임 컨트롤러는 각 축에 대하여 변형(translation) 및 회전에 해당하는 여섯 개의 자유도들에 대한 움직임을 감지한다. 따라서 게임 컨트롤러 사용자의 몸짓과 움직임들은 전형적인 제어 버튼들과 조이스틱 명령들을 대신하거나 추가적으로 게임 입력으로 번역될 수 있다. 선택적으로, 플레이스테이션 포터블 장치와 같은 무선통신이 가능한 다른 주변 장치들이 컨트롤러로 사용될 수 있다. 플레이스테이션 포터블 장치의 경우, 장치 장면에 (예를 들어, 제어 명령 또는 명 수(number of lives)와 같은) 추가적인 게임 또는 제어 정보가 제공될 수 있다. 댄스 매트(dance mat)(미도시), 라이트 건(light gun)(미도시), 운전대와 페달(미도시), 또는 스피드 퀴즈 게임을 위한 단일의 또는 다수의 큰 버튼들과 같은 맞춤형(bespoke) 컨트롤러(미도시)와 같은 다른 대체 또는 보조 제어 장치들도 사용될 수 있다.
리모트 컨트롤(1004)은 블루투스 링크를 통해 시스템부(1000)와 무선으로 통신하도록 운용될 수 있다. 리모트 컨트롤(1004)은 블루 레이 디스크 BD-ROM 리더(1040)의 운용과 디스크 콘텐츠의 내비게이션(navigation)에 적합한 제어부들을 포함한다.
블루 레이 디스크 BD-ROM 리더(1040)는 전형적인 미리 기록되거나 기록 가능한 CD들, 및 슈퍼 오디오 CD(Super Audio CD)들 뿐만 아니라, 플레이스테이션 및 플레이스테이션 2 장치들과 호환 가능한 CD-ROM들을 판독하도록 운용될 수 있다. 또한 리더(1040)는 전형적인 미리 기록되거나 기록 가능한 DVD들 뿐만 아니라, 플레이스테이션 2 및 플레이스테이션 3 장치들과 호환 가능한 DVD-ROM들을 판독하도록 운용될 수 있다. 나아가, 리더(1040)는 전형적인 미리 기록되거나 기록 가능한 블루 레이 디스크들뿐만 아니라, 플레이스테이션 2 및 플레이스테이션 3 장치들과 호환 가능한 BD-ROM들을 판독하도록 운용될 수 있다.
시스템부(1000)는 리얼리티 신디사이저 그래픽부(1030)를 통해 플레이스테이션 3에 의하여 생성되거나 복호화된 오디오 및 영상을 오디오 및 비디오 연결부들을 통해 표시부(1044) 및 하나 이상의 확성기들(1046)과 같은 표시 및 음향 출력 장치(1042)에 제공하도록 운용될 수 있다. 오디오 연결부(1050)는 전형적인 아날로그 및 디지털 출력부를 포함할 수 있고, 비디오 연결부(1052)는 다양하게 컴포넌트 비디오(component video), S-비디오, 컴포지트 비디오(composite video) 및 하나 이상의 고화질 멀티미디어 인터페이스(High Definition Multimedia Interface;HDMI) 출력부들을 포함할 수 있다. 따라서 비디오 출력부는 PAL이나NTSC, 또는 750p, 1080i, 및 1080p의 고화질 형식을 가질 수 있다.
오디오 처리(생성, 복호화 등) 과정은 셀프로세서(1028)에 의하여 수행된다. 플레이스테이션 3 장치의 운용 시스템은 돌비® 5.1 서라운드 사운드(surround sound), 돌비® 시어터 서라운드(Theatre Surround)(DTS), 및 블루 레이® 디스크의 복호화된 7.1 서라운드 사운드를 지원한다.
본 실시예에 있어서, 비디오카메라(1012)는 단일의 전하 결합 소자(charge coupled device; CCD), LED 표시부, 하드웨어 기반 실시간 데이터 압축 및 부호화 장치를 포함하여, 압축된 영상 데이터가 시스템부(1000)에 의하여 복호화되기 위한 인트라 이미지(intra-image) 기반 MPEG(동영상 전문가 그룹(motion picture expert group)) 표준과 같은 적합한 형식으로 전송되도록 한다. 카메라 LED 표시부는 예를 들어, 부적합한 조명 조건을 알리기 위한 시스템부(100)의 제어 데이터에 응하여 발광하도록 배치된다. 비디오 카메라(1012)의 실시예들은 USB, 블루투스 또는 와이 파이 통신 포트를 통해 시스템부(1000)에 다양하게 연결될 수 있다. 비디오카메라의 실시예들은 오디오 데이터를 전송할 수 있는 하나 이상의 연관된 마이크롤 포함할 수 있다. 비디오카메라의 실시예들에 있어서, CCD가 고화질 비디오 캡처(video capture)를 위해 적합한 해상도를 가질 수 있다. 사용 시, 비디오 카메라로 포착된 이미지들은 일례로, 게임에 포함되거나, 게임 제어 입력으로 해석될 수 있다.
일반적으로, 시스템부(1000)의 통신 포트들 중 하나를 통한 비디오 카메라 또는 리모트 컨트롤과 같은 주변 장치와의 성공적인 데이터 통신을 위하여, 장치 드라이버와 같은 적합한 소프트웨어가 제공되어야 한다. 장치 드라이버 기술은 잘 알려지고, 본 명세서에서 서술되지 않을 것이다. 당업자는 서술된 본 실시예에 필요한 장치 드라이버 또한 유사한 소프트웨어 인터페이스를 알 수 있을 것이다.
실시예들은 현실 세계 사용자를 더 잘 식별하고, 장면 또는 아바타의 활동을 더 잘 지시하는 심도 데이터를 포착하는 방법을 포함할 수 있다. 물체는 사람이 들고 있거나 사람 손 안에 있는 어떠한 것이 될 수 있다. 본 상세한 설명에 있어서, '심도 카메라(depth camera)' 및 '3 차원 카메라'의 용어들은 거리 또는 심도 정보와 2 차원 픽셀 정보를 획득할 수 있는 카메라를 가리킨다. 예를 들면, 심도 카메라는 거리 정보를 얻기 위해 제어된 적외선 조명을 사용할 수 있다. 심도 카메라의 다른 예로는 두 개의 스탠더드 카메라들을 사용하여 거리 정보를 3각 측량하는 한 쌍의 스테레오 카메라가 될 수 있다. 이와 같이, '심도 감지 장치(depth sensing device)'의 용어는 거리 정보 및 2 차원 픽셀 정보를 얻을 수 있는 종류의 장치를 가리킨다.
근래의 3 차원 이미지의 진보로 실시간 인터랙티브(interactive) 컴퓨터 애니메이션에 많은 가능성들을 비추었다. 특히, 새로운 '심도 카메라들'은 보통의 2 차원 비디오 이미지 외에도 3 차원 이미지를 포착하고, 매핑할 수 있는 능력을 제공한다. 새로운 심도 데이터로, 본 발명의 실시예들은 다른 물체들 뒤에 있는 장면을 포함한 영상 장면 내의 여러 위치들에 있는 컴퓨터로 생성된 물체들이 배치될 수 있도록 한다.
또한, 본 발명의 실시예들은 사용자들에게 실시간 인터랙티브 게임 경험들을 제공한다. 예를 들면, 사용자들은 실시간을 컴퓨터가 생성한 여러 물체들과 상호작용할 수 있다. 나아가, 영상 장면들은 사용자의 게임 경험을 향상시키기 위해 실시간으로 변경될 수 있다. 예를 들면, 컴퓨터에 의하여 생성된 의상들은 사용자의 옷 위에 삽입될 수 있고, 컴퓨터가 생성한 광원들은 비디오 장면 내에서 가상 그림자를 비추기 위해 사용될 수 있다. 이에, 본 발명의 실시예들과 심도 카메라를 사용해서, 사용자들이 그들의 거실 내에서 인터랙티브한 게임 환경을 경험할 수 있다. 보통의 카메라들과 비슷하게, 심도 카메라는 영상 이미지를 구성하는 다수의 픽셀들의 2 차원적 데이터를 포착한다. 이러한 값들은 픽셀들 각각의 빨강, 초록, 파랑(RGB) 값들과 같은 픽셀들의 색상 값들이다. 이러한 방식으로 카메라에 포착된 물체들은 모니터에 2 차원적 물체들로 나타난다.
본 발명의 실시예들은 분산 영상 처리(distributed image processing) 구성을 수용한다. 예를 들면, 본 발명은 포착된 이미지 및 CPU또는 CPU와 하나의 다른 요소에서와 같이 하나 또는 두 개의 장소들까지에서 일어나는 표시 영상 처리(display image processing)로 한정되지 않는다. 예를 들면, 입력 이미지 처리는 처리를 수행할 수 있는 연관된 CPU, 프로세서 또는 장치에서 곧바로 이루어질 수 있다. 본질적으로 모든 이미지 처리는 상호 연결된 시스템 전반에 거쳐 분산될 수 있다. 그러므로 본 발명은 특정 이미지 하드웨어 회로 및/또는 소프트웨어로 한정되지 않는다. 본 명세서에 서술된 실시예들은 일반적인 하드웨어 회로 및/또는 소프트웨어의 특정 조합이나 처리 구성요소들에 의해 실행되는 명령어들의 특정 근원지로 한정되지 않는다.
상기 실시예들을 염두에 둘 때, 본 발명이 컴퓨터 시스템들에 저장된 데이터를 포함하고, 컴퓨터에서 구현되는 다양한 운용들을 사용할 수 있는 것으로 이해되어야 한다. 이러한 운용들은 물질적 질량의 물질적 조종을 필요로 하는 운용들을 포함할 수 있다. 필수는 아니지만 대체로, 이러한 질량들은 저장되고, 전송되고, 조합되고, 비교되고, 조종될 수 있는 전자 또는 자기 신호의 형태를 가진다. 나아가, 조종하는 방법은 주로 제작, 식별, 판단, 비교 등의 용어들로 표현된다.
상술된 발명은 휴대용 장치들, 마이크로프로세서 시스템들, 마이크로프로세서 기반 또는 프로그램 가능한 소비자 가전들, 미니컴퓨터, 메인프레임컴퓨터 등과 같은 다른 컴퓨터 시스템 구조들과 함께 실행될 수 있다. 본 발명은 또한, 통신 네트워크를 통해 링크된 원격 처리 장치들에 의해 태스크(task)가 처리되는 분산 연산 환경들에서 시행될 수 있다.
또한 본 발명은 컴퓨터 판독 가능한 매체에 있는 컴퓨터 판독 가능한 코드로 구체화될 수 있다. 컴퓨터 판독가능 매체는 전자파기를 포함하는 컴퓨터 시스템에 의해 판독될 수 있는 데이터를 저장할 수 있는 데이터 저장 장치이다. 컴퓨터 판독가능 매체의 예로는 하드 드라이브, 네트워크에 접속하는 저장 장치(network attached storage;NAS), 판독 전용메모리, 랜덤 액세스 메모리, CD-ROM, CD-R, CD-RW, 자기 테이프, 및 다른 광학 및 비광학 데이터 저장 장치들이 있다. 컴퓨터 판독가능 매체는 네트워크에 연결된 컴퓨터 시스템에 분산될 수 있어서, 컴퓨터 판독가능 코드가 분산 방식으로 저장되고 실행될 수 있다.
본 발명은 명확한 이해를 위해 어느 정도 상세하게 설명되었지만, 특정 변형물들이 첨부된 청구항들의 범위 내에서 시행될 수 있다. 이에 따라, 본 실시예들은 제한하기 위한 것이 아닌 일례로 소개되었다. 본 발명은 본 명세서에 개시된 설명들로 한정되지 않으며, 첨부된 청구항들의 범위와 균등물들 내에서 변경 가능하다.

Claims (23)

  1. 하나 이상의 미디어 소스들(media sources)을 가진 공간에서 식별되고 추적된 사용자들에 대하여 미리 정해진 권한들(privileges)을 자동 적용하는, 컴퓨터에서 구현되는 권한 자동 적용 방법으로,
    (a)심도 감지 카메라(depth sensing camera)로 사용자를 식별하고 추적하여 얻어지는 사용자 식별 및 추적 데이터를 포함하는 사용자 프로파일을 정하고, 상기 사용자 프로파일을 메모리에 저장하는 과정;
    (b)상기 사용자 프로파일에 대하여 특정 미디어 접근 레벨을 정하는 권한들을 정하고 상기 메모리에 저장하는 과정;
    (c)이미지 및 심도 데이터(depth data)를 생성하는 상기 심도 감지 카메라를 사용해서 상기 공간 내에 있는 장면을 포착하는 과정;
    (d)상기 이미지 및 심도 데이터를 사용해서 상기 장면 내에 있는 상기 사용자를 식별하는 과정; 및
    (e)상기 사용자가 상기 장면 내에서 식별되고 추적될 때 하나 이상의 미디어 소스들에서 선택된 콘텐츠에 접속할 수 있도록, 상기 하나 이상의 미디어 소스들의 상기 정해진 권한들을 자동 적용하는 과정을 포함하는 것을 특징으로 하는 권한 자동 적용 방법
  2. 제 1항에 있어서,
    상기 장면을 포착하는 과정은
    정지 물체들(stationary objects)을 필터링하여 이동 물체들(moving objects)에게 초점을 맞추는 과정을 포함하고,
    상기 이동 물체들에게 초점을 맞추는 과정은
    상기 장면에서 두부 물체(head object)의 검색 여부를 판단하는 과정;
    상기 이미지 및 심도 데이터를 사용해서 상기 두부의 안면 이목구비(facial feature)들을 분석하는 과정;
    상기 안면 이목구비들이 상기 사용자에게 대응하는지 판단하는 과정; 및
    상기 사용자 프로파일에 대하여 특정 미디어에 접속 레벨들을 정하는 상기 권한들을 적용하는 과정을 포함하는 것을 특징으로 하는 권한 자동 적용 방법
  3. 제 2항에 있어서,
    상기 사용자 식별 및 추적 데이터는, 상기 안면 이목구비들이 상기 사용자에 대응하는 지의 여부를 판단하여 상기 장면에 있는 상기 사용자의 움직임을 추적하는 데이터를 포함하는 것을 특징으로 하는 권한 자동 적용 방법
  4. 제 2항에 있어서,
    상기 심도 데이터는 상기 사용자의 신체적 특징들의 3 차원적 상대적 위치를 식별하기 위해 사용되는 것을 특징으로 하는 권한 자동 적용 방법
  5. 제 2항에 있어서,
    상기 정지 물체들의 상기 심도 데이터는 상기 장면에서 상기 두부 물체의 검색 여부를 판단할 때 상기 장면에서 차감되는(subtracted out) 것을 특징으로 하는 권한 자동 적용 방법
  6. 제 1항에 있어서,
    상기 장면에서 하나 이상의 사용자 검색 여부를 판단하는 과정; 및
    하나 이상의 사용자가 검색되면, 가장 제한이 적은 사용자 프로파일과 연관된 권한들이 적용되는 과정을 더 포함하는 것을 특징으로 하는 권한 자동 적용 방법
  7. 제 1항에 있어서,
    상기 하나 이상의 미디어 소스들은 멀티미디어 콘텐츠를 제공하는 장치들을 포함하는 것을 특징으로 하는 권한 자동 적용 방법
  8. 제 7항에 있어서,
    상기 멀티미디어 콘텐츠는 상기 공간에 있는 표시부 장면에 부분적으로 표시되는 것을 특징으로 하는 권한 자동 적용 방법
  9. 미리 정해진, 컴퓨터에 의하여 생성된 효과들을 현실 세계 물체(real world object)들의 가상 세계 대표물(virtual world representation)들에 자동 적용하기 위해 상기 현실 세계 물체들을 식별하고 추적하는, 컴퓨터에서 구현되는 효과 자동 적용 방법으로,
    (a)심도 감지 카메라로 사용자를 식별하고 추적하여 얻어지는 사용자 식별 및 추적 데이터를 포함하는 사용자 프로파일을 정하고, 상기 사용자 프로파일을 메모리에 저장하는 과정;
    (b)가상 세계 장면에 통합될, 상기 사용자 프로파일과 연관된 애니메이션들을 정하고, 상기 메모리에 저장하는 과정;
    (c)상기 심도 감지 카메라를 사용해서 장면을 포착하는 과정;
    (d)상기 심도 감지 카메라를 사용해서 상기 장면 내에 있는 상기 사용자를 식별하는 과정; 및
    (e)상기 식별되고 추적된 사용자에 근거한 상기 정해진 애니메이션들을 자동 적용하여, 통합된 애니메이션들을 표시부 장면에 표시하는 과정을 포함하는 것을 특징으로 하는 효과 자동 적용 방법
  10. 제 9항에 있어서,
    상기 장면을 포착하는 과정은,
    정지 물체들을 필터링하여 이동 물체들에게 초점을 맞추는 과정을 포함하고,
    상기 이동 물체들에게 초점을 맞추는 과정은,
    상기 장면에서 이동 물체에 초점을 맞추는 과정;
    상기 심도 감지 카메라에 의해 포착되는 이미지 및 심도 데이터를 사용해서 상기 이동 물체의 특징들을 분석하는 과정; 및
    상기 이동 물체가 상기 사용자에게 대응하는지 판단하는 과정을 포함하는 것을 특징으로 하는 효과 자동 적용 방법
  11. 제 10항에 있어서,
    상기 사용자는 사람 또는 애완동물 중 어느 하나인 것을 특징으로 하는 효과 자동 적용 방법
  12. 제 11항에 있어서,
    상기 사용자 식별 및 추적 데이터는,
    시간 경과에 따른 움직임을 식별하는 상기 사용자의 과거 경로(history path) 및 상기 시간 경과에 따른 움직임과 연관된 상기 애니메이션들을 표시하는 데이터를 포함하는 것을 특징으로 하는 효과 자동 적용 방법
  13. 제 12항에 있어서,
    상기 과거 경로를 저장부에 저장하는 과정; 및
    상기 과거 경로의 재생을 가능하게 하는 과정을 더 포함하는 것을 특징으로 하는 효과 자동 적용 방법
  14. 제 9항에 있어서,
    상기 애니메이션들은 상기 심도 감지 카메라에 의해 포착된 심도 데이터에 기초하여 상기 장면에서 검색된 물체들의 윤곽들(contours)에 적용되는 것을 특징으로 하는 효과 자동 적용 방법
  15. 제 9항에 있어서,
    사용자에 의하여 상기 애니메이션들을 미리 선택하는 과정을 더 포함하는 것을 특징으로 하는 효과 자동 적용 방법
  16. 제 9항에 있어서,
    상기 식별된 사용자에 기초하여 멀티미디어 콘텐츠가 표시부 장면에 표시되는 것을 특징으로 하는 효과 자동 적용 방법
  17. 제 9항에 있어서,
    상기 장면을 포착하는 과정은, 상기 장면 내에 있는 정지 물체들을 정하기 위해 포인트 추적(point tracking)방법을 사용하는 것을 특징으로 하는 효과 자동 적용 방법
  18. 제 9항에 있어서,
    상기 사용자 식별 및 추적 데이터는, 상대적 위치, 방향, 및 속도를 식별하는 데이터를 포함하는 것을 특징으로 하는 효과 자동 적용 방법
  19. 제 9항에 있어서,
    상기 심도 감지 카메라에 의해 포착되는 심도 데이터는, 정지 물체들 상에 위치하고, 상기 장면에서 검색된 물체들의 외곽선(outline)을 그리는데 사용되는 포인트들을 식별하는데 사용되는 것을 특징으로 하는 효과 자동 적용 방법
  20. 현실 세계 공간에 있는 현실 세계 사용자들을 식별하고 추적하는, 컴퓨터에서 구현되는 사용자 식별 및 추적 방법으로,
    (a)심도 감지 카메라에 의하여 포착되고, 상기 현실 세계 사용자의 신체적 특징들에 연관된 이미지 및 심도 데이터를 포함하는 사용자 프로파일을 정하는 과정;
    (b)상기 심도 감지 카메라를 사용하여 장면의 이미지 및 심도 데이터를 포착하는 과정;
    (c)상기 장면 내에서 이동 물체들을 식별하는 과정;
    (d)상기 장면의 이미지 및 심도 데이터를 사용하여 상기 이동 물체들에 있는 두부를 추적하는 과정; 및
    (e)상기 두부의 이미지 및 심도 데이터를 실시간으로 분석하는 과정을 포함하는데,
    (f)상기 분석 과정은 상기 두부의 이미지 및 심도 데이터를 상기 사용자 프로파일의 신체적 특징과 연관된 이미지 및 심도 데이터와 비교하는 과정을 포함하고,
    (g)상기 사용자 프로파일의 상기 이미지 및 상기 심도 데이터가 상기 두부의 상기 이미지 및 상기 심도 데이터와 일치할 때 사용자가 식별되는 것을 특징으로 하는 사용자 식별 및 추적 방법
  21. 제 20항에 있어서,
    상기 사용자 프로파일을 정하는 과정은
    (a)심도 감지 카메라를 사용하여 스캐닝을 시작하는 과정;
    (b)사용자 신체의 특정 부위에 상기 스캐닝의 초점을 맞추는 과정;
    (c)상기 사용자 신체의 상기 특정 부위의 이미지 및 심도 데이터를 수집하는 과정;
    (d)상기 사용자 신체의 상기 특정 부위의 3 차원적 모델을 생성하기 위해 상기 수집된 이미지 및 심도 데이터를 처리하는 과정; 및
    (e)상기 3 차원적 모델을 메모리에 저장하고, 상기 3 차원적 모델을 상기 사용자 프로파일과 연관시키는 과정을 포함하는 것을 특징으로 하는 사용자 식별 및 추적 방법
  22. 제 20항에 있어서,
    상기 사용자가 식별될 때, 상기 사용자 프로파일과 연관된 사용자에게 허용된 설정들(permissions)을 적용하는 과정을 더 포함하는 것을 특징으로 하는 사용자 식별 및 추적 방법
  23. 제 20항에 있어서,
    상기 사용자가 식별될 때, 상기 사용자 프로파일과 연관된 사용자의 애니메이션들을 적용하는 과정을 더 포함하는 것을 특징으로 하는 사용자 식별 및 추적 방법
KR1020107021483A 2008-02-27 2009-02-24 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들 KR101335346B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US3202808P 2008-02-27 2008-02-27
US61/032,028 2008-02-27
PCT/US2009/035032 WO2009108645A1 (en) 2008-02-27 2009-02-24 Methods for capturing depth data of a scene and applying computer actions

Publications (2)

Publication Number Publication Date
KR20110030419A KR20110030419A (ko) 2011-03-23
KR101335346B1 true KR101335346B1 (ko) 2013-12-05

Family

ID=40998874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107021483A KR101335346B1 (ko) 2008-02-27 2009-02-24 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들

Country Status (6)

Country Link
US (1) US8840470B2 (ko)
EP (1) EP2257911B1 (ko)
JP (1) JP5684577B2 (ko)
KR (1) KR101335346B1 (ko)
CN (2) CN103258184B (ko)
WO (1) WO2009108645A1 (ko)

Families Citing this family (149)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090011832A1 (en) * 2007-01-31 2009-01-08 Broadcom Corporation Mobile communication device with game application for display on a remote monitor and methods for use therewith
US8289944B2 (en) * 2007-01-31 2012-10-16 Broadcom Corporation Apparatus for configuration of wireless operation
US8438322B2 (en) * 2007-01-31 2013-05-07 Broadcom Corporation Processing module with millimeter wave transceiver interconnection
US8238275B2 (en) * 2007-01-31 2012-08-07 Broadcom Corporation IC with MMW transceiver communications
US9486703B2 (en) 2007-01-31 2016-11-08 Broadcom Corporation Mobile communication device with game application for use in conjunction with a remote mobile communication device and methods for use therewith
US8239650B2 (en) * 2007-01-31 2012-08-07 Broadcom Corporation Wirelessly configurable memory device addressing
US8254319B2 (en) * 2007-01-31 2012-08-28 Broadcom Corporation Wireless programmable logic device
US8200156B2 (en) * 2007-01-31 2012-06-12 Broadcom Corporation Apparatus for allocation of wireless resources
US8204075B2 (en) * 2007-01-31 2012-06-19 Broadcom Corporation Inter-device wireless communication for intra-device communications
US20090017910A1 (en) * 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
US8125950B2 (en) * 2007-01-31 2012-02-28 Broadcom Corporation Apparatus for wirelessly managing resources
US8121541B2 (en) * 2007-01-31 2012-02-21 Broadcom Corporation Integrated circuit with intra-chip and extra-chip RF communication
US8116294B2 (en) * 2007-01-31 2012-02-14 Broadcom Corporation RF bus controller
US20090197641A1 (en) * 2008-02-06 2009-08-06 Broadcom Corporation Computing device with handheld and extended computing units
US8223736B2 (en) * 2007-01-31 2012-07-17 Broadcom Corporation Apparatus for managing frequency use
US20080320293A1 (en) * 2007-01-31 2008-12-25 Broadcom Corporation Configurable processing core
US8280303B2 (en) * 2007-01-31 2012-10-02 Broadcom Corporation Distributed digital signal processor
US20090088249A1 (en) 2007-06-14 2009-04-02 Robert Kay Systems and methods for altering a video game experience based on a controller type
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
KR20230116073A (ko) 2007-09-24 2023-08-03 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US20090198798A1 (en) * 2008-02-06 2009-08-06 Broadcom Corporation Handheld computing unit back-up system
US8175646B2 (en) * 2008-02-06 2012-05-08 Broadcom Corporation Networking of multiple mode handheld computing unit
US8195928B2 (en) * 2008-02-06 2012-06-05 Broadcom Corporation Handheld computing unit with merged mode
US8117370B2 (en) * 2008-02-06 2012-02-14 Broadcom Corporation IC for handheld computing unit of a computing device
US8717974B2 (en) * 2008-02-06 2014-05-06 Broadcom Corporation Handheld computing unit coordination of femtocell AP functions
US8064952B2 (en) * 2008-02-06 2011-11-22 Broadcom Corporation A/V control for a computing device with handheld and extended computing units
US8430750B2 (en) * 2008-05-22 2013-04-30 Broadcom Corporation Video gaming device with image identification
US8508550B1 (en) * 2008-06-10 2013-08-13 Pixar Selective rendering of objects
US8663013B2 (en) 2008-07-08 2014-03-04 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
KR101671900B1 (ko) * 2009-05-08 2016-11-03 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8009022B2 (en) 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US8803950B2 (en) * 2009-08-24 2014-08-12 Samsung Electronics Co., Ltd. Three-dimensional face capturing apparatus and method and computer-readable medium thereof
US9141193B2 (en) * 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
US7961910B2 (en) * 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
EP2494432B1 (en) 2009-10-27 2019-05-29 Harmonix Music Systems, Inc. Gesture-based user interface
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
KR101629479B1 (ko) * 2009-11-04 2016-06-10 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
US8265341B2 (en) 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US20110223995A1 (en) * 2010-03-12 2011-09-15 Kevin Geisner Interacting with a computer based application
US8874243B2 (en) 2010-03-16 2014-10-28 Harmonix Music Systems, Inc. Simulating musical instruments
US20110230255A1 (en) * 2010-03-18 2011-09-22 Nokia Corporation Methods and apparatuses for facilitating user verification
US8523667B2 (en) * 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US9098873B2 (en) * 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US20110279368A1 (en) * 2010-05-12 2011-11-17 Microsoft Corporation Inferring user intent to engage a motion capture system
JP5737667B2 (ja) * 2010-05-25 2015-06-17 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US9274594B2 (en) * 2010-05-28 2016-03-01 Microsoft Technology Licensing, Llc Cloud-based personal trait profile data
USRE49044E1 (en) * 2010-06-01 2022-04-19 Apple Inc. Automatic avatar creation
US8602887B2 (en) 2010-06-03 2013-12-10 Microsoft Corporation Synthesis of information from multiple audiovisual sources
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
CA2802348A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Dance game and tutorial
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US9086727B2 (en) 2010-06-22 2015-07-21 Microsoft Technology Licensing, Llc Free space directional force feedback apparatus
US8878656B2 (en) 2010-06-22 2014-11-04 Microsoft Corporation Providing directional force feedback in free space
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US8462997B2 (en) * 2010-09-15 2013-06-11 Microsoft Corporation User-specific attribute customization
US20120092364A1 (en) * 2010-10-14 2012-04-19 Microsoft Corporation Presenting two-dimensional elements in three-dimensional stereo applications
US9123316B2 (en) * 2010-12-27 2015-09-01 Microsoft Technology Licensing, Llc Interactive content creation
US20120169583A1 (en) * 2011-01-05 2012-07-05 Primesense Ltd. Scene profiles for non-tactile user interfaces
US8866898B2 (en) * 2011-01-31 2014-10-21 Microsoft Corporation Living room movie creation
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US9225701B2 (en) * 2011-04-18 2015-12-29 Intelmate Llc Secure communication systems and methods
US9432617B2 (en) 2011-04-26 2016-08-30 Dell Products L.P. White balance adjustment of an image at an information handling system
US8696461B2 (en) * 2011-06-01 2014-04-15 Microsoft Corporation Automated sensor driven match-making
US8884949B1 (en) 2011-06-06 2014-11-11 Thibault Lambert Method and system for real time rendering of objects from a low resolution depth camera
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US20130005443A1 (en) * 2011-07-01 2013-01-03 3G Studios, Inc. Automated facial detection and eye tracking techniques implemented in commercial and consumer environments
CN102368297A (zh) * 2011-09-14 2012-03-07 北京英福生科技有限公司 一种用于识别被检测对象动作的设备、系统及方法
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
KR101919831B1 (ko) 2012-01-11 2018-11-19 삼성전자주식회사 오브젝트 인식 장치, 분류 트리 학습 장치 및 그 동작 방법
US9529426B2 (en) 2012-02-08 2016-12-27 Microsoft Technology Licensing, Llc Head pose tracking using a depth camera
JP5578186B2 (ja) * 2012-02-16 2014-08-27 カシオ計算機株式会社 キャラクター画像の作成方法、画像処理装置及び画像処理プログラム並びに画像変換ネットワークシステム
US10937239B2 (en) * 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
KR101257207B1 (ko) * 2012-02-23 2013-04-22 인텔 코오퍼레이션 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR101347840B1 (ko) * 2012-03-29 2014-01-09 한국과학기술원 신체 제스처 인식 방법 및 장치
WO2013152453A1 (en) 2012-04-09 2013-10-17 Intel Corporation Communication using interactive avatars
US20130285919A1 (en) * 2012-04-25 2013-10-31 Sony Computer Entertainment Inc. Interactive video system
US9846960B2 (en) * 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US9767598B2 (en) 2012-05-31 2017-09-19 Microsoft Technology Licensing, Llc Smoothing and robust normal estimation for 3D point clouds
US20130321564A1 (en) 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
US9292085B2 (en) 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
WO2014016992A1 (ja) 2012-07-27 2014-01-30 Ｎｅｃソフト株式会社 ３次元ユーザインタフェース装置及び３次元操作方法
US20150213649A1 (en) * 2012-07-27 2015-07-30 Nec Solutions Innovators, Ltd. Three-dimensional environment sharing system and three-dimensional environment sharing method
CN104508600B (zh) 2012-07-27 2017-06-13 日本电气方案创新株式会社 三维用户界面装置及三维操作方法
US9996909B2 (en) 2012-08-30 2018-06-12 Rakuten, Inc. Clothing image processing device, clothing image display method and program
JP5791577B2 (ja) * 2012-09-28 2015-10-07 楽天株式会社 画像処理装置、画像表示方法、およびプログラム
US10009579B2 (en) * 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
KR20150103723A (ko) 2013-01-03 2015-09-11 메타 컴퍼니 가상 또는 증강매개된 비전을 위한 엑스트라미시브 공간 이미징 디지털 아이 글래스
EP2959680B1 (en) * 2013-02-21 2019-11-13 Petcube, Inc. Remote pet interaction device
US9586134B2 (en) 2013-02-27 2017-03-07 Kabushiki Kaisha Square Enix Video game processing program and video game processing method
JP5745559B2 (ja) * 2013-02-27 2015-07-08 株式会社スクウェア・エニックス ビデオゲーム処理装置、及びビデオゲーム処理プログラム
US9639747B2 (en) 2013-03-15 2017-05-02 Pelco, Inc. Online learning method for people detection and counting for retail stores
US9269216B2 (en) * 2013-04-25 2016-02-23 Igt Canada Solutions Ulc Gaming machine having camera for adapting displayed images to detected players
US9129478B2 (en) * 2013-05-20 2015-09-08 Microsoft Corporation Attributing user action based on biometric identity
US10133816B1 (en) * 2013-05-31 2018-11-20 Google Llc Using album art to improve audio matching quality
US9384013B2 (en) 2013-06-03 2016-07-05 Microsoft Technology Licensing, Llc Launch surface control
CN105190700A (zh) * 2013-06-04 2015-12-23 英特尔公司 基于化身的视频编码
JP2014238731A (ja) 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理システム、および画像処理方法
CN104349095B (zh) * 2013-08-09 2017-08-29 联想(北京)有限公司 一种图像调整方法、装置及电子设备
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US9508197B2 (en) 2013-11-01 2016-11-29 Microsoft Technology Licensing, Llc Generating an avatar from real time image data
US10178366B2 (en) * 2014-01-03 2019-01-08 Intel Corporation Real-time 3D reconstruction with a depth camera
WO2015164373A1 (en) * 2014-04-23 2015-10-29 Raytheon Company Systems and methods for context based information delivery using augmented reality
US10043185B2 (en) 2014-05-29 2018-08-07 Apple Inc. User interface for payments
CN104143212A (zh) * 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统
US9642340B2 (en) 2014-07-16 2017-05-09 Elwha Llc Remote pet monitoring systems and methods
CN104474710B (zh) * 2014-12-09 2015-09-02 山东大学 基于Kinect网络的大规模场景群体用户跟踪系统与方法
CN104484039B (zh) * 2014-12-22 2017-11-24 联想(北京)有限公司 信息处理方法和电子设备
WO2016101131A1 (en) 2014-12-23 2016-06-30 Intel Corporation Augmented facial animation
WO2016141208A1 (en) * 2015-03-04 2016-09-09 Usens, Inc. System and method for immersive and interactive multimedia generation
US9594967B2 (en) 2015-03-31 2017-03-14 Google Inc. Method and apparatus for identifying a person by measuring body part distances of the person
US10067352B2 (en) * 2015-06-15 2018-09-04 Robert Joe Alderman 3D image generating lens tool
CN105426833A (zh) * 2015-11-13 2016-03-23 小米科技有限责任公司 用于游戏的图像识别方法及装置
US10085423B2 (en) 2015-11-19 2018-10-02 Petcube, Inc. Remote interaction device with tracking of remote movement input
WO2017101094A1 (en) 2015-12-18 2017-06-22 Intel Corporation Avatar animation system
TW201727537A (zh) * 2016-01-22 2017-08-01 鴻海精密工業股份有限公司 人臉識別系統及人臉識別方法
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US10402643B2 (en) * 2016-06-15 2019-09-03 Google Llc Object rejection system and method
KR101842600B1 (ko) * 2017-02-08 2018-05-14 한림대학교 산학협력단 가상현실 시스템 및 이를 이용한 가상현실 제공 방법
CN106909911B (zh) * 2017-03-09 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、图像处理装置和电子装置
KR102301599B1 (ko) 2017-09-09 2021-09-10 애플 인크. 생체측정 인증의 구현
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
US10475454B2 (en) * 2017-09-18 2019-11-12 Motorola Mobility Llc Directional display and audio broadcast
CN111742351A (zh) 2018-02-23 2020-10-02 三星电子株式会社 用于生成包括通过与面部相对应的3d化身反映面部运动的3d化身的图像的电子设备及操作其的方法
CN108479070A (zh) * 2018-03-30 2018-09-04 百度在线网络技术（北京）有限公司 虚拟模型生成方法和装置
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US10976989B2 (en) 2018-09-26 2021-04-13 Apple Inc. Spatial management of audio
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US11151993B2 (en) * 2018-12-28 2021-10-19 Baidu Usa Llc Activating voice commands of a smart display device based on a vision-based mechanism
JP6726345B1 (ja) * 2019-08-30 2020-07-22 株式会社コロプラ プログラム、方法、および端末装置
CN111324253B (zh) * 2020-02-12 2021-08-03 腾讯科技（深圳）有限公司 虚拟物品交互方法、装置、计算机设备及存储介质
US11704965B2 (en) 2020-03-11 2023-07-18 Lnw Gaming, Inc. Gaming systems and methods for adaptable player area monitoring
WO2022075649A1 (ko) * 2020-10-06 2022-04-14 삼성전자주식회사 전자 장치 및 그 제어 방법
US11562548B2 (en) * 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US11805588B1 (en) 2022-07-29 2023-10-31 Electronic Theatre Controls, Inc. Collision detection for venue lighting

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6309306B1 (en) 1999-03-03 2001-10-30 Disney Enterprises, Inc. Interactive entertainment attraction using telepresence vehicles
US7130454B1 (en) 1998-07-20 2006-10-31 Viisage Technology, Inc. Real-time facial recognition and verification system

Family Cites Families (342)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3943277A (en) 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
US4313227A (en) 1979-01-29 1982-01-26 Texas Instruments Incorporated Light energy information transmission system
US4263504A (en) 1979-08-01 1981-04-21 Ncr Corporation High density matrix code
US6772057B2 (en) 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US4565999A (en) 1983-04-01 1986-01-21 Prime Computer, Inc. Light pencil
US4558864A (en) 1984-06-13 1985-12-17 Medwedeff Marion C Handgrip exercising, computer game controller
JPH06102980B2 (ja) 1985-12-12 1994-12-14 スズキ株式会社 ２サイクルエンジンの制御方法
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPS6347616A (ja) 1986-08-15 1988-02-29 Ricoh Co Ltd 移動量測定方法
EP0348430A4 (en) 1987-02-04 1992-08-19 Mayo Foundation For Medical Education And Research Joystick apparatus having six degrees freedom of motion
US4802227A (en) 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
GB2206716A (en) 1987-07-06 1989-01-11 Gen Electric Plc Apparatus for monitoring the presence or movement of an object
JP2720455B2 (ja) 1988-05-12 1998-03-04 ヤマハ株式会社 フィンガスイッチ
IT1219405B (it) 1988-06-27 1990-05-11 Fiat Ricerche Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia
AU630408B2 (en) 1988-12-20 1992-10-29 Australian Meat & Livestock Research & Development Corporation An optically readable coded target
JPH02224185A (ja) * 1989-02-27 1990-09-06 Osaka Gas Co Ltd 個人識別方法及び装置
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US5055840A (en) 1990-01-16 1991-10-08 Carroll Touch Incorporated Infrared touch input device and light emitted activation circuit
US5440326A (en) 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
AU654118B2 (en) 1990-05-01 1994-10-27 Wang Laboratories, Inc. Keyboard access with alternate input device
US5111401A (en) 1990-05-19 1992-05-05 The United States Of America As Represented By The Secretary Of The Navy Navigational control system for an autonomous vehicle
US5662111A (en) 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US5485273A (en) 1991-04-22 1996-01-16 Litton Systems, Inc. Ring laser gyroscope enhanced resolution system
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5144594A (en) 1991-05-29 1992-09-01 Cyber Scientific Acoustic mouse system
US5455685A (en) 1991-09-04 1995-10-03 Fuji Photo Film Co., Ltd. Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
US5790834A (en) 1992-08-31 1998-08-04 Intel Corporation Apparatus and method using an ID instruction to identify a computer microprocessor
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US7098891B1 (en) 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US5394168A (en) 1993-01-06 1995-02-28 Smith Engineering Dual-mode hand-held game controller
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
US5815411A (en) 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5677710A (en) 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US5297061A (en) 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US5959596A (en) 1993-06-24 1999-09-28 Nintendo Co., Ltd. Airline-based video game and communications system
US5581270A (en) 1993-06-24 1996-12-03 Nintendo Of America, Inc. Hotel-based video game and communication system
US5473701A (en) 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
US5543818A (en) 1994-05-13 1996-08-06 Sony Corporation Method and apparatus for entering text using an input device having a small number of keys
JPH07311568A (ja) 1994-05-17 1995-11-28 Sega Enterp Ltd 画像出力方法および装置
US5846086A (en) 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5641319A (en) 1994-08-10 1997-06-24 Lodgenet Entertainment Corporation Entertainment system for providing interactive video game responses to the game interrogations to the video game engines without being processed by the host computer
WO1996017324A1 (fr) 1994-12-01 1996-06-06 Namco Ltd. Appareil et procede de synthese d'images
JP3270643B2 (ja) 1994-12-22 2002-04-02 キヤノン株式会社 指示位置検出方法及び装置
US5929444A (en) 1995-01-31 1999-07-27 Hewlett-Packard Company Aiming device using radiated energy
US5568928A (en) 1995-02-01 1996-10-29 Exertron, Inc. Video game controller for use with an exercise apparatus
US5638228A (en) 1995-02-14 1997-06-10 Iomega Corporation Retroreflective marker for data storage cartridge
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5583478A (en) 1995-03-01 1996-12-10 Renzi; Ronald Virtual environment tactile system
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
DE69634913T2 (de) 1995-04-28 2006-01-05 Matsushita Electric Industrial Co., Ltd., Kadoma Schnittstellenvorrichtung
JP3777650B2 (ja) 1995-04-28 2006-05-24 松下電器産業株式会社 インターフェイス装置
US5706364A (en) 1995-04-28 1998-01-06 Xerox Corporation Method of producing character templates using unsegmented samples
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5649021A (en) 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
CN100524015C (zh) 1995-06-22 2009-08-05 3Dv系统有限公司 生成距景物距离的图象的方法和装置
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
CA2227904C (en) 1995-07-26 2000-11-14 Tegic Communications, Inc. Reduced keyboard disambiguating system
US6311214B1 (en) 1995-07-27 2001-10-30 Digimarc Corporation Linking of computers based on optical sensing of digital data
US5611731A (en) 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
US5768415A (en) 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
US5850222A (en) 1995-09-13 1998-12-15 Pixel Dust, Inc. Method and system for displaying a graphic image of a person modeling a garment
US5818424A (en) 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US5963250A (en) 1995-10-20 1999-10-05 Parkervision, Inc. System and method for controlling the field of view of a camera
US6281930B1 (en) 1995-10-20 2001-08-28 Parkervision, Inc. System and method for controlling the field of view of a camera
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
JPH09128141A (ja) 1995-11-07 1997-05-16 Sony Corp 制御装置および制御方法
US6282362B1 (en) 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
US5870100A (en) 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
JP2000501033A (ja) 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間／機械インターフェース
US6049619A (en) 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
RU2069885C1 (ru) 1996-03-01 1996-11-27 Йелстаун Корпорейшн Н.В. Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления
JPH09244793A (ja) 1996-03-04 1997-09-19 Alps Electric Co Ltd 入力装置
KR100503847B1 (ko) 1996-03-05 2005-12-20 가부시키가이샤 세가 조작입력장치및이를사용하는전자장치
DE69631342T2 (de) 1996-04-02 2004-11-11 Cognex Corp., Natick Bilderzeugende vorrichtung zur visualisation von zeichen auf einem ebenen spiegelnden substrat
US5937081A (en) 1996-04-10 1999-08-10 O'brill; Michael R. Image composition system and method of using same
US5923318A (en) 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
US5917493A (en) 1996-04-17 1999-06-29 Hewlett-Packard Company Method and apparatus for randomly generating information for subsequent correlating
US5881366A (en) 1996-05-01 1999-03-09 Logitech, Inc. Wireless peripheral interface
US6516466B1 (en) 1996-05-02 2003-02-04 Vincent C. Jackson Method and apparatus for portable digital entertainment system
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5930383A (en) 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
US5832931A (en) 1996-10-30 1998-11-10 Photogen, Inc. Method for improved selectivity in photo-activation and detection of molecular diagnostic agents
NL1004648C2 (nl) 1996-11-11 1998-05-14 Johan Michiel Schaaij Computerspelsysteem.
US5914723A (en) 1996-12-30 1999-06-22 Sun Microsystems, Inc. Method and system for converting images in computer systems
US6243491B1 (en) 1996-12-31 2001-06-05 Lucent Technologies Inc. Methods and apparatus for controlling a video system with visually recognized props
US6021219A (en) 1997-01-07 2000-02-01 Lucent Technologies Inc. Methods and apparatus for distinguishing among several visual patterns
US5850473A (en) 1997-01-07 1998-12-15 Lucent Technologies Inc. Method and apparatus for compensating for color variation in a video system
US5796354A (en) 1997-02-07 1998-08-18 Reality Quest Corp. Hand-attachable controller with direction sensing
US5993314A (en) 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
EP0970502A1 (en) 1997-03-07 2000-01-12 3DV Systems Ltd. Optical shutter
US6061055A (en) 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US6144367A (en) 1997-03-26 2000-11-07 International Business Machines Corporation Method and system for simultaneous operation of multiple handheld control devices in a data processing system
US8120652B2 (en) 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
JP3009633B2 (ja) 1997-04-03 2000-02-14 コナミ株式会社 画像装置、画像表示方法および記録媒体
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
EP0978197B1 (en) 1997-04-23 2004-10-06 Thomson Consumer Electronics, Inc. Control of video level by region and content of information displayed
US6809776B1 (en) 1997-04-23 2004-10-26 Thomson Licensing S.A. Control of video level by region and content of information displayed
US6428411B1 (en) 1997-05-02 2002-08-06 Konami Co., Ltd. Volleyball video game system
NO304715B1 (no) 1997-05-06 1999-02-01 Dimensions As FremgangsmÕte ved bildebehandling
JP3183632B2 (ja) 1997-06-13 2001-07-09 株式会社ナムコ 情報記憶媒体及び画像生成装置
US6075895A (en) 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6094625A (en) 1997-07-03 2000-07-25 Trimble Navigation Limited Augmented vision for survey work and machine control
JP3997566B2 (ja) 1997-07-15 2007-10-24 ソニー株式会社 描画装置、及び描画方法
KR20000068660A (ko) 1997-07-29 2000-11-25 요트.게.아. 롤페즈 3차원 장면 재구성 방법과 재구성 장치 및 디코딩 시스템
US6044181A (en) 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6297838B1 (en) 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6031934A (en) 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
WO1999026198A2 (en) 1997-11-14 1999-05-27 National University Of Singapore System and method for merging objects into an image sequence without prior knowledge of the scene in the image sequence
JPH11154240A (ja) 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6677987B1 (en) 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6762794B1 (en) 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
AU2211799A (en) 1998-01-06 1999-07-26 Video Mouse Group, The Human motion following computer mouse and game controller
US6160540A (en) 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US6134346A (en) 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
EP1055146B1 (en) 1998-02-08 2003-01-22 3DV Ltd. Large aperture optical image shutter
US6115052A (en) 1998-02-12 2000-09-05 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
US6175343B1 (en) 1998-02-24 2001-01-16 Anivision, Inc. Method and apparatus for operating the overlay of computer-generated effects onto a live image
US6037942A (en) 1998-03-10 2000-03-14 Magellan Dis, Inc. Navigation system character input device
US6411392B1 (en) 1998-04-15 2002-06-25 Massachusetts Institute Of Technology Method and apparatus for data hiding in printed images
US6173059B1 (en) 1998-04-24 2001-01-09 Gentner Communications Corporation Teleconferencing system with visual feedback
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6473516B1 (en) 1998-05-22 2002-10-29 Asa Systems, Inc. Large capacity steganography
JP3646969B2 (ja) 1998-05-25 2005-05-11 富士通株式会社 ３次元画像表示装置
JP3841132B2 (ja) 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
FR2780176B1 (fr) 1998-06-17 2001-01-26 Gabriel Guary Pistolet de tir pour jeu video
JP2000020163A (ja) 1998-06-30 2000-01-21 Sony Corp 情報処理装置
US6504535B1 (en) 1998-06-30 2003-01-07 Lucent Technologies Inc. Display techniques for three-dimensional virtual reality
IL125221A0 (en) 1998-07-06 1999-03-12 Toy Control Ltd Motion activation using passive sound source
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6256398B1 (en) 1998-08-22 2001-07-03 Kenneth H. P. Chang Encoding and decoding a message within an image
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US6621938B1 (en) 1998-09-18 2003-09-16 Fuji Photo Film Co., Ltd. Image capture apparatus and method
US6184863B1 (en) 1998-10-13 2001-02-06 The George Washington University Direct pointing apparatus and method therefor
DE19849515C1 (de) 1998-10-19 2000-12-28 Gerhard Wergen Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens
US6307568B1 (en) 1998-10-28 2001-10-23 Imaginarix Ltd. Virtual dressing over the internet
US6409602B1 (en) 1998-11-06 2002-06-25 New Millenium Gaming Limited Slim terminal gaming system
GB2343945B (en) * 1998-11-18 2001-02-28 Sintec Company Ltd Method and apparatus for photographing/recognizing a face
US6707487B1 (en) * 1998-11-20 2004-03-16 In The Play, Inc. Method for representing real-time motion
JP2000172431A (ja) 1998-12-09 2000-06-23 Sony Corp 情報入力装置及びゲーム装置
US6533420B1 (en) 1999-01-22 2003-03-18 Dimension Technologies, Inc. Apparatus and method for generating and projecting autostereoscopic images
JP2000261752A (ja) 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
US7139767B1 (en) 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
JP2000259856A (ja) 1999-03-09 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> ３次元コンピュータグラフィックス表示方法及び装置
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7164413B2 (en) 1999-05-19 2007-01-16 Digimarc Corporation Enhanced input peripheral
US6791531B1 (en) 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
JP2000350859A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk マーカ配置方法及び複合現実感装置
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
JP2000356972A (ja) 1999-06-15 2000-12-26 Pioneer Electronic Corp 発光パネルの駆動装置及び方法
US6952198B2 (en) 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6819318B1 (en) 1999-07-23 2004-11-16 Z. Jason Geng Method and apparatus for modeling via a three-dimensional image mosaic system
US6545706B1 (en) 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6417836B1 (en) 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
JP2001056742A (ja) 1999-08-19 2001-02-27 Alps Electric Co Ltd 入力装置
US6556704B1 (en) 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
AU5646299A (en) 1999-09-08 2001-04-10 3Dv Systems Ltd. 3d imaging system
WO2001022737A1 (fr) 1999-09-17 2001-03-29 Nature Technology Co., Ltd. Systeme de saisie d'images, processeur d'images et camera associee
US6441825B1 (en) 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
JP3847058B2 (ja) 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
US6753849B1 (en) 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US20050037844A1 (en) 2002-10-30 2005-02-17 Nike, Inc. Sigils for use with apparel
AU2072601A (en) 1999-12-09 2001-06-18 Zephyr Media, Inc. System and method for integration of a universally publicly accessible global network
JP4403474B2 (ja) 1999-12-09 2010-01-27 ソニー株式会社 触覚提示機構及びこれを用いた力触覚提示装置
US6785329B1 (en) 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
KR100384406B1 (ko) 2000-01-24 2003-05-22 (주) 베스트소프트 컴퓨터 프로그램 구동조작장치
TW522732B (en) 2000-02-15 2003-03-01 Sorceron Inc Method and system for distributing captured motion data over a network
WO2001064481A2 (en) 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2001265275A (ja) 2000-03-16 2001-09-28 Olympus Optical Co Ltd 画像表示装置
US6676522B2 (en) 2000-04-07 2004-01-13 Igt Gaming system including portable game devices
US6924787B2 (en) 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
JP4020567B2 (ja) * 2000-05-15 2007-12-12 株式会社コナミデジタルエンタテインメント ゲーム機およびそのゲーム環境設定ネットワークシステム
WO2001091016A1 (en) 2000-05-25 2001-11-29 Realitybuy, Inc. A real time, three-dimensional, configurable, interactive product display system and method
US20020056114A1 (en) 2000-06-16 2002-05-09 Fillebrown Lisa A. Transmitter for a personal wireless network
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
WO2002008849A2 (en) 2000-07-24 2002-01-31 Herman Ehrenburg Computer-compatible, color-coded manual input system
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US20020094189A1 (en) 2000-07-26 2002-07-18 Nassir Navab Method and system for E-commerce video editing
JP3561463B2 (ja) 2000-08-11 2004-09-02 コナミ株式会社 ３ｄビデオゲームにおける擬似カメラ視点移動制御方法及び３ｄビデオゲーム装置
JP4815661B2 (ja) 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
US7071914B1 (en) 2000-09-01 2006-07-04 Sony Computer Entertainment Inc. User input device and method for interaction with graphic images
EP1316192A2 (en) 2000-09-08 2003-06-04 Honeywell International, Inc. Pilot internet practice system and methods
US6884171B2 (en) 2000-09-18 2005-04-26 Nintendo Co., Ltd. Video game distribution network
WO2002027456A1 (en) 2000-09-29 2002-04-04 Senseboard Technologies Ab Wearable data input interface
EP1329105A2 (en) * 2000-10-10 2003-07-23 Koninklijke Philips Electronics N.V. Device control via image-based recognition
FR2814965A1 (fr) 2000-10-11 2002-04-12 Janick Simeray Ordinateur et jouets cooperants
US7061507B1 (en) 2000-11-12 2006-06-13 Bitboys, Inc. Antialiasing method and apparatus for video applications
JP2002157607A (ja) 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
WO2002043404A2 (en) 2000-11-22 2002-05-30 Leap Wireless International, Inc. Method and system for providing interactive services over a wireless communications network
KR100385563B1 (ko) 2000-12-01 2003-05-27 한국과학기술원 구동수단을 갖는 분광 광도계와 광도 측정방법
US6751338B1 (en) 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
JP2004537082A (ja) 2001-01-26 2004-12-09 ザクセル システムズ インコーポレイテッド 仮想現実環境における実時間バーチャル・ビューポイント
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6741741B2 (en) 2001-02-01 2004-05-25 Xerox Corporation System and method for automatically detecting edges of scanned documents
US6789967B1 (en) 2001-02-02 2004-09-14 George Forester Distal chording keyboard
US20020134151A1 (en) 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US6746124B2 (en) 2001-02-06 2004-06-08 Robert E. Fischer Flashlight producing uniform high brightness
US7116330B2 (en) 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
US6931596B2 (en) 2001-03-05 2005-08-16 Koninklijke Philips Electronics N.V. Automatic positioning of display depending upon the viewer's location
GB2376397A (en) 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP2002369969A (ja) 2001-06-15 2002-12-24 Sun Corp 通信ゲーム用プログラム、アダプタおよびゲーム端末
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US20030014212A1 (en) 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
JP3611807B2 (ja) 2001-07-19 2005-01-19 コナミ株式会社 ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム
KR20030009919A (ko) 2001-07-24 2003-02-05 삼성전자주식회사 관성 센서를 구비하는 컴퓨터 게임용 입력 장치
US7039253B2 (en) 2001-07-24 2006-05-02 Casio Computer Co., Ltd. Image display device, image display method, program, and projection system
US7148922B2 (en) 2001-08-02 2006-12-12 Olympus Optical Co., Ltd. Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence
JP3442754B2 (ja) 2001-08-10 2003-09-02 株式会社コナミコンピュータエンタテインメント東京 ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム
US6964480B2 (en) 2001-08-31 2005-11-15 Metrologic Instruments, Inc. Ophthalmic instrument having adaptive optic subsystem with multiple stage phase compensator
KR100846761B1 (ko) 2001-09-11 2008-07-16 삼성전자주식회사 포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치
JP2003114640A (ja) 2001-10-04 2003-04-18 Nec Corp プラズマディスプレイパネル及びその駆動方法
JP4028708B2 (ja) 2001-10-19 2007-12-26 株式会社コナミデジタルエンタテインメント ゲーム装置及びゲームシステム
US20030093591A1 (en) 2001-11-09 2003-05-15 David Hohl System and method for fast data transfer to display driver
FR2832892B1 (fr) 2001-11-27 2004-04-02 Thomson Licensing Sa Camera video d'effets speciaux
JP3918530B2 (ja) * 2001-11-28 2007-05-23 カシオ計算機株式会社 画像出力装置、画像出力処理プログラム、及び画像出力方法
US20030100363A1 (en) 2001-11-28 2003-05-29 Ali Guiseppe C. Method and apparatus for inputting appearance of computer operator into a computer program
US20040070565A1 (en) 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR20030048570A (ko) 2001-12-12 2003-06-25 한국전자통신연구원 부가적 버튼을 장착한 키패드 및 그의 작동방법
US7106366B2 (en) 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7305114B2 (en) 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20030160862A1 (en) 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
KR20030075399A (ko) 2002-03-18 2003-09-26 주식회사 소프트로닉스 모션마우스 시스템 및 방법
KR100812905B1 (ko) * 2002-03-27 2008-03-11 산요덴키가부시키가이샤 입체 화상 처리 방법, 장치 및 컴퓨터 판독가능 기록 매체
US6847311B2 (en) 2002-03-28 2005-01-25 Motorola Inc. Method and apparatus for character entry in a wireless communication device
GB2388418A (en) 2002-03-28 2003-11-12 Marcus James Eales Input or pointing device with a camera
US7006009B2 (en) 2002-04-01 2006-02-28 Key Energy Services, Inc. Servicing system for wells
US20030199324A1 (en) 2002-04-23 2003-10-23 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light
US7298871B2 (en) * 2002-06-07 2007-11-20 Koninklijke Philips Electronics N.V. System and method for adapting the ambience of a local environment according to the location and personal preferences of people in the local environment
JP2004021345A (ja) 2002-06-12 2004-01-22 Toshiba Corp 画像処理装置及びその方法
US20030232649A1 (en) 2002-06-18 2003-12-18 Gizis Alexander C.M. Gaming system and method
US20040001082A1 (en) 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source
JP5109221B2 (ja) 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
CA2390072C (en) 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US7697700B2 (en) 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US7809145B2 (en) 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US7613310B2 (en) 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US7970147B2 (en) 2004-04-07 2011-06-28 Sony Computer Entertainment Inc. Video game controller with noise canceling logic
US7783061B2 (en) 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US8073157B2 (en) 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7102615B2 (en) 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US7545926B2 (en) 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US20040017355A1 (en) 2002-07-24 2004-01-29 Youngtack Shim Cursor control systems and methods
US20060282873A1 (en) 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
US7803050B2 (en) 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US7352359B2 (en) 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
US20070061413A1 (en) 2005-09-15 2007-03-15 Larsen Eric J System and method for obtaining user information from voices
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US20070261077A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Using audio/visual environment to select ads on game platform
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US7918733B2 (en) 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US20070260517A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Profile detection
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US7391409B2 (en) 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US7627139B2 (en) 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US10086282B2 (en) 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US20060264260A1 (en) 2002-07-27 2006-11-23 Sony Computer Entertainment Inc. Detectable and trackable hand-held controller
US20070015559A1 (en) 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US7039199B2 (en) 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
US6917688B2 (en) 2002-09-11 2005-07-12 Nanyang Technological University Adaptive noise cancelling microphone system
US20040063480A1 (en) 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
JP2004126738A (ja) * 2002-09-30 2004-04-22 Matsushita Electric Ind Co Ltd ３次元計測を用いた個人認証装置および認証方法
US6947579B2 (en) * 2002-10-07 2005-09-20 Technion Research & Development Foundation Ltd. Three-dimensional face recognition
EP1411461A1 (en) 2002-10-14 2004-04-21 STMicroelectronics S.r.l. User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection
US6995666B1 (en) 2002-10-16 2006-02-07 Luttrell Clyde K Cellemetry-operated railroad switch heater
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
ATE454195T1 (de) 2002-10-30 2010-01-15 Nike International Ltd Kleidungsstücke mit bewegungserfassungsmarker für videospiele
US8206219B2 (en) 2002-10-30 2012-06-26 Nike, Inc. Interactive gaming apparel for interactive gaming
US20040095327A1 (en) 2002-11-14 2004-05-20 Lo Fook Loong Alphanumeric data input system and method
US8012025B2 (en) 2002-12-13 2011-09-06 Applied Minds, Llc Video game controller hub with control input reduction and combination schemes
US7212308B2 (en) 2002-12-18 2007-05-01 Morgan Carol L Interactive photo kiosk
US20040140955A1 (en) 2003-01-21 2004-07-22 Metz Kristofer Erik Input device for a computer and method of operation
JP2004261236A (ja) 2003-02-20 2004-09-24 Konami Co Ltd ゲームシステム
GB2398691B (en) 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
GB2398690B (en) 2003-02-21 2006-05-10 Sony Comp Entertainment Europe Control of data processing
JP3849654B2 (ja) 2003-02-21 2006-11-22 株式会社日立製作所 投射型表示装置
US7519186B2 (en) 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
US7379559B2 (en) 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US6881147B2 (en) 2003-06-06 2005-04-19 Nyko Technologies, Inc. Video game controller with integrated microphone and speaker
TW571812U (en) 2003-06-11 2004-01-11 Vision Electronics Co Ltd Audio device for TV game machine
EP1489596B1 (en) 2003-06-17 2006-09-13 Sony Ericsson Mobile Communications AB Device and method for voice activity detection
US7116342B2 (en) 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
JP2005046422A (ja) 2003-07-30 2005-02-24 Samii Kk ゲーム機用コントローラ
JP2005056213A (ja) * 2003-08-06 2005-03-03 Matsushita Electric Ind Co Ltd 情報提供システム、情報提供サーバ、情報提供方法
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
ATE427693T1 (de) 2003-10-28 2009-04-15 Welch Allyn Inc Digitales dokumentier-ophthalmoskop
US20050105777A1 (en) 2003-11-18 2005-05-19 Kozlowski William J.Jr. Personalized multimedia summary
US7734729B2 (en) 2003-12-31 2010-06-08 Amazon Technologies, Inc. System and method for obtaining information relating to an item of commerce using a portable imaging device
TW200609024A (en) 2004-05-11 2006-03-16 Ssd Co Ltd Entertainment apparatus and operating method thereof
US7296007B1 (en) 2004-07-06 2007-11-13 Ailive, Inc. Real time context learning by software agents
US7263462B2 (en) 2004-07-30 2007-08-28 Ailive, Inc. Non-disruptive embedding of specialized elements
US8190907B2 (en) 2004-08-11 2012-05-29 Sony Computer Entertainment Inc. Process and apparatus for automatically identifying user of consumer electronics
US7613610B1 (en) 2005-03-14 2009-11-03 Escription, Inc. Transcription data extraction
KR100630118B1 (ko) 2005-04-21 2006-09-27 삼성전자주식회사 망간 광섬유 공유 시스템
US8370639B2 (en) * 2005-06-16 2013-02-05 Sensible Vision, Inc. System and method for providing secure access to an electronic device using continuous facial biometrics
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7620316B2 (en) 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
DK1993687T3 (da) 2006-02-10 2012-08-27 Ippasa Llc Konfigurerbart manuelt styreapparat
JP2007249317A (ja) * 2006-03-14 2007-09-27 Dotcity Inc ドットシティにおける生体認証システムとその認証手段
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
WO2008014826A1 (en) * 2006-08-03 2008-02-07 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
JP4481280B2 (ja) 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8277316B2 (en) 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
GB0622451D0 (en) 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US7636697B1 (en) 2007-01-29 2009-12-22 Ailive Inc. Method and system for rapid evaluation of logical expressions
US7937243B2 (en) 2007-08-03 2011-05-03 Ailive, Inc. Method and apparatus for non-disruptive embedding of specialized elements
US8419545B2 (en) 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8655622B2 (en) 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion
US8866821B2 (en) * 2009-01-30 2014-10-21 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130454B1 (en) 1998-07-20 2006-10-31 Viisage Technology, Inc. Real-time facial recognition and verification system
US6309306B1 (en) 1999-03-03 2001-10-30 Disney Enterprises, Inc. Interactive entertainment attraction using telepresence vehicles

Also Published As

Publication number Publication date
KR20110030419A (ko) 2011-03-23
US20090215533A1 (en) 2009-08-27
CN102016877A (zh) 2011-04-13
US8840470B2 (en) 2014-09-23
CN103258184B (zh) 2017-04-12
JP2011515736A (ja) 2011-05-19
EP2257911A1 (en) 2010-12-08
CN103258184A (zh) 2013-08-21
EP2257911B1 (en) 2018-10-10
WO2009108645A1 (en) 2009-09-03
JP5684577B2 (ja) 2015-03-11
CN102016877B (zh) 2014-12-10
EP2257911A4 (en) 2013-10-09

Similar Documents

Publication Publication Date Title
KR101335346B1 (ko) 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들
US11317076B2 (en) Peripheral device having sensors for capturing changes in spatial position
US10195528B2 (en) Systems for using three-dimensional object as controller in an interactive game
US10150042B2 (en) Sharing recorded gameplay
US8902227B2 (en) Selective interactive mapping of real-world objects to create interactive virtual-world objects
US20100060662A1 (en) Visual identifiers for virtual world avatars
US20130300767A1 (en) Method and system for augmented reality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171109

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181108

Year of fee payment: 6