KR20220066156A - 휴대용 물체의 투영 표적 위치를 결정하기 위한 시스템 및 방법 - Google Patents

휴대용 물체의 투영 표적 위치를 결정하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20220066156A
KR20220066156A KR1020227013546A KR20227013546A KR20220066156A KR 20220066156 A KR20220066156 A KR 20220066156A KR 1020227013546 A KR1020227013546 A KR 1020227013546A KR 20227013546 A KR20227013546 A KR 20227013546A KR 20220066156 A KR20220066156 A KR 20220066156A
Authority
KR
South Korea
Prior art keywords
reference element
user
dimensional plane
factors
interactive experience
Prior art date
Application number
KR1020227013546A
Other languages
English (en)
Inventor
유-젠 린
마이클 비버스
스티븐 버켓
조슈아 데이비드 단지그
카일 피 핸리
험버토 캄
안토니 멜로
Original Assignee
유니버셜 시티 스튜디오스 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니버셜 시티 스튜디오스 엘엘씨 filed Critical 유니버셜 시티 스튜디오스 엘엘씨
Publication of KR20220066156A publication Critical patent/KR20220066156A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/27—Output arrangements for video game devices characterised by a large display in a public venue, e.g. in a movie theatre, stadium or game arena
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H30/00—Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
    • A63H30/02—Electrical arrangements
    • A63H30/04—Electrical arrangements using wireless transmission
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

휴대용 물체(handheld object)의 투영 표적 위치(projected target location)는 2차원 평면 상에서 카메라에 의해 검출된 휴대용 물체의 기준 요소 위치에 전환 인자(translation factors), 스케일링 인자(scaling factors) 및 오프셋(offsets)을 적용하여 결정된다. 전환 인자는, 평면상의 교정 위치와 교정 위치에 대응하는 기준 요소의 초기 위치 사이의 차이에 기초하여 결정되고, 기준 요소의 위치를 이동시켜 투영 표적 위치를 생성하는 역할을 한다. 스케일링 인자는 휴대용 물체를 잡고 있는 사용자의 팔의 추정된 길이에 기초하여 결정되고, 기준 요소의 위치를 스케일링하여 투영 표적 위치를 생성하는 역할을 한다. 오프셋은 다항식을 기반으로 결정되고, 투영 표적 위치와 교정 위치 사이의 거리를 확장하는 역할을 한다.

Description

휴대용 물체의 투영 표적 위치를 결정하기 위한 시스템 및 방법
관련 출원에 대한 상호 참조
본 출원은 "휴대용 물체의 투영 표적 위치를 결정하기 위한 시스템 및 방법(Systems and Methods for Determining Projected Target Location of a Handheld Object)"이라는 명칭으로 2019년 9월 25일에 출원된, 미국 가출원 제 62/905,901호의 이익을 주장하며, 이는 모든 목적을 위해 그 전체가 참조로 포함된다.
본 개시는 일반적으로 가리키는 데(pointing) 사용되는 휴대용 물체(handheld object)에 관한 것으로, 보다 구체적으로, 휴대용 물체의 투영 표적 위치(projected target location)를 결정하는 것에 관한 것이다.
이 섹션은 이하에서 설명되고 청구되는 본 개시의 다양한 측면과 관련될 수 있는 기술의 다양한 측면을 독자에게 소개하기 위한 것이다. 이러한 논의는 독자에게 배경 기술 정보를 제공해 독자로 하여금 본 개시의 다양한 측면을 이해하는데 도움을 줄 것으로 생각된다. 따라서, 이 섹션의 서술은 이러한 관점에서 해석되어야 하지 선행 기술을 인정하는 것으로 해석되어서는 안 된다.
휴대용 물체는 표적(target)을 가리키거나 선택하는 데 사용될 수 있다. 예를 들어, 테마파크 환경에서 고객은 휴대용 물체를 사용하여 어트랙션(attraction)의 애니메이트된 피규어(animated figure)를 가리킬 수 있고, 이를 감지하는 것에 대한 응답으로, 시스템은 애니메이트된 피규어로 하여금 사용자 상호작용 경험(예: 꼬리를 흔드는 것)을 출력하게 할 수 있다. 그러나, 사용자의 신체와 관련된 특정 물리적 특징으로 인해 사용자가 표적을 가리키는 시점을 정확하게 판별하는데 어려움이 있을 수 있음이 인식되고 있다.
본 개시의 전술한 특징 및 다른 특징, 측면 및 이점은 첨부된 도면을 참조하여 후술하는 상세한 설명을 읽었을 때 더 잘 이해될 수 있고, 도면 전체에 걸쳐 동일한 참조부호는 동일한 구성요소를 나타낸다.
도 1은 본 개시의 일 실시예에 따른, 휴대용 물체로 표적을 가리키는 사용자를 도시하는 도면이다.
도 2는 본 개시의 일 실시예에 따른, 테마파크 어트랙션 시스템의 블록도이다.
도 3은 본 개시의 일 실시예에 따른, 휴대용 물체로 교정 위치를 가리키는 사용자를 도시하는 도면이다.
도 4는 본 개시의 실시예에 따른, 도 3의 휴대용 물체의 기준 요소의 후속적으로 검출된 위치에 하나 이상의 전환 인자(translation factors)를 적용하는 예를 도시하는 도면이다.
도 5는 본 개시의 실시예에 따른, 도 3의 휴대용 물체의 기준 요소의 후속적으로 검출된 위치에 스케일링 인자(scaling factors)를 적용하는 예를 도시하는 도면이다.
도 6은 본 개시의 실시예에 따른, 휴대용 물체로 시스템의 다른 표적을 가리키는 사용자를 도시하는 도면이다.
도 7은 본 개시의 실시예에 따른, 다수의 상이한 크기의 기준 요소 영역 및 다수의 균일한 크기의 투영 표적 영역을 도시하는 도면이다.
도 8은 본 개시의 실시예에 따른, 다수의 균일한 크기의 기준 요소 영역 및 다수의 상이한 크기의 투영 표적 영역을 도시하는 도면이다.
도 9는 본 개시의 실시예에 따른, 도 3의 휴대용 물체의 투영 표적 위치를 결정하기 위한 프로세스의 흐름도이다.
도 10은 본 발명의 실시예에 따른, 사용자의 팔 움직임의 아치형 특성과 2차원 평면 사이의 형상 차이에 의한 왜곡을 보상하기 위한 프로세스의 흐름도이다.
아래에서는 하나 이상의 특정 실시예를 설명한다. 이러한 실시예의 간략한 설명을 위해, 본 명세서에서는 실제 구현의 모든 특징들이 기술되지 않을 수 있다. 엔지니어링 또는 설계 프로젝트 등과 같이 실제 구현 개발 시에는 시스템 및 사업 관련 제약사항 준수 등 개발자의 특정한 목표(각각의 구현마다 다를 수 있음)를 달성하기 위해 수많은 구현 관련 결정이 이루어져야 한다. 또한, 이러한 개발 노력은 복잡하고 시간 소모적일 수 있지만, 본 개시의 이점을 갖는 당업자에게 있어서는 일상적인 설계, 조립 및 제조 행위일 수 있다는 사실이 중요하다.
본 개시의 다양한 실시예의 구성요소를 소개할 때, “하나의”, “그” 및 “상기"라는 단어의 사용은 하나 이상의 구성요소가 존재함을 의미한다. “포함하는” 및 “갖는”이라는 용어는 포괄적인 의미를 가지며, 나열된 구성요소 이외의 추가적인 구성요소가 있을 수 있음을 의미한다. 또한, 본 개시의 “일 실시예”에 대한 언급은, 열거된 특징들을 포함하는 추가 실시예의 존재를 배제하는 것으로 해석되어서는 안된다.
본 개시는 일반적으로 가리키는 데(pointing) 사용되는 휴대용 물체(handheld object)에 관한 것으로, 보다 구체적으로, 휴대용 물체의 투영 표적 위치(projected target location)를 결정하는 것에 관한 것이다. 특히, 기준 요소는 휴대용 물체가 가리키는 위치에 대한 표시를 제공할 수 있다. 예를 들어, 테마파크 환경에서, 고객은 휴대용 물체를 사용하여 어트랙션(attraction)의 애니메이트된 물체(animated object)(예: 로봇 또는 달리 애니메이트된 피규어)를 가리킬 수 있고, 기준 요소의 위치를 검출하는 것에 응답하여, 애니메이트된 물체는 사용자 상호작용 경험(예: 꼬리를 흔드는 것)을 출력할 수 있다. 다른 예로, 사용자는 포스터 상의 단어를 가리킬 수 있고, 기준 요소의 위치를 검출하는 것에 응답하여, 근처에 있는 스피커는 해당 단어를 말하는 음성을 출력할 수 있다. 또 다른 예로서, 사용자는 전자 디스플레이 상의 사람의 이미지를 가리킬 수 있고, 기준 요소의 위치를 검출하는 것에 응답하여, 디스플레이는 이미지 내의 사람이 움직이는 것을 보여주는 비디오를 재생할 수 있다.
본 명세서에 개시된 시스템 및 방법은 카메라를 사용하여 카메라의 방향에 수직인 2차원 평면 상의 기준 요소의 위치를 판정하는 것을 포함한다. 카메라는 카메라에 의해 더 쉽게 검출될 수 있는 재료(예: 재귀반사 재료)로 이루어질 수 있는, 휴대용 물체의 기준 요소를 검출할 수 있다. 기준 요소의 위치는, 사용자가 휴대용 물체로 가리킨 표적 위치를 결정하는데 사용될 수 있다. 그러나, 일부 시스템에서, 자신이 휴대용 물체로 가리키는 위치에 대한 사용자의 인식은 카메라의 뷰에 기초하여 결정되는, 사용자가 가리키는 곳의 투영 위치와 일치하지 않을 수 있다. 이는 다양한 요인으로 인한 것일 수 있는데, 예컨대 한쪽 눈이 다른 쪽 눈보다 우세하거나(예: 오른쪽 눈이 우세하거나 왼쪽 눈이 우세함), 머리를 기울이거나, 체중을 이동하거나, 한쪽 또는 다른 쪽으로 몸을 기울이는 것 등이 포함될 수 있다. 이러한 요인의 조합으로 인해, 사용자의 손이 동일한 위치에서 휴대용 물체로 가리키고 있더라도, 자신이 가리키고 있는 위치에 대한 사용자의 인식은 변화될 수 있다. 카메라는 본 실시예에 따라 사용될 수 있는 다양한 광 검출기의 예라는 점에 유의해야 한다. 따라서, 카메라에 대한 언급은 본 개시의 실시예에 의해 사용될 수 있는 다른 광 검출기를 대표한다.
본 명세서에 개시된 시스템 및 방법은 사용자가 휴대용 물체로 가리킬 수 있는, 2차원 평면 상의 교정 지점을 제공하는 것을 포함한다. 2차원 평면에 대한 기준 요소의 위치는 초기 위치로 정해질 수 있고, 초기 위치와 교정 지점의 차이에 기초하여 하나 이상의 전환 인자(translation factors)가 결정될 수 있다. 즉, 교정 지점은 사용자가 자신이 휴대용 물체로 가리키고 있다고 인식하는 위치와 상관관계를 가질 수 있는 반면, 기준 요소의 초기 위치는 카메라의 시점에서 2차원 평면 상의 기준 요소의 위치와 상관관계를 가질 수 있다. 둘 사이의 차이는, 카메라의 관점에서 2차원 평면 상의 후속적으로 검출된 기준 요소 위치를 투영 표적 위치(예: 사용자가 자신이 가리키고 있거나 가리키고자 하는 것으로 인식하는 위치에 대응)로 전환하는 데 사용될 수 있다. 즉, 하나 이상의 전환 인자는, 자신이 휴대용 물체로 가리키고 있는 위치에 대한 사용자의 인식과 기준 요소가 2차원 평면 상 어느 곳에 위치하는지에 대한 카메라의 판정 사이의 차이를 보상할 수 있다.
또한, 사용자는 자신의 팔을 이용하여 휴대용 물체를 움직이고 휴대용 물체로 가리키는데, 사용자의 팔은 상호작용의 모델에서 구(sphere) 또는 구형 세그먼트의 반경으로 작용하고, 사용자의 어깨는 구의 중심으로 취급될 수 있다. 사용자가 휴대용 물체를 움직이거나 다른 표적을 가리킴에 따라 휴대용 물체의 기준 요소의 각각의 위치는 동일한 표적을 가리키고 있음에도 불구하고 사용자마다 다를 수 있다. 이는 사용자마다 팔 길이가 다르기 때문일 수 있다.
따라서, 본 명세서에 개시된 시스템 및 방법은 기준 요소의 초기 위치에 기초하여 (예컨대, 지면으로부터) 기준 요소의 높이를 판정하고, 기준 요소의 높이에 기초하여 사용자의 신장을 추정한다. 사용자의 신장으로부터 사용자의 팔 길이가 추정될 수 있는데, 이러한 사용자의 팔 길이는 하나 이상의 스케일링 인자(scaling factors)를 결정하는 데 사용될 수 있다. 하나 이상의 스케일링 인자는, 투영 표적 위치(예: 사용자가 자신이 가리키고 있거나 가리키고자 하는 것으로 인식하는 위치에 대응)를 보다 정확하게 결정하기 위해 카메라의 시점에서 2차원 평면 상의 후속적으로 검출된 기준 요소 위치를 스케일(scale) 또는 배가(multiply)할 수 있다. 이러한 방식으로, 하나 이상의 스케일링 인자는 사용자 팔 길이 간의 차이를 보상할 수 있다.
카메라에 의한 후속 기준 요소 위치의 검출 시, 하나 이상의 전환 인자 및 하나 이상의 스케일링 인자를 후속 기준 요소 위치에 적용하여 2차원 평면에 대한 투영 표적 위치를 결정할 수 있다. 본 실시예는 전환 인자, 스케일링 인자, 2차원 평면에 대한 투영 표적 위치 등과 같은 관련 데이터를 제공하기 위해 카메라에 의해 캡처되고 전달되는 데이터를 분석하도록 동작하는 프로세서를 포함할 수 있다.
부가적으로, 사용자의 팔은 사용자의 어깨를 중심으로 하여 구 또는 구형 세그먼트의 반경으로서 작용하기 때문에 사용자는 휴대용 물체를 아치형 또는 원형 속성으로 움직일 수 있다. 그러나, 평평한 2차원 평면 상의 휴대용 물체의 기준 요소의 위치를 판정하는 카메라는, 공간에서의 휴대용 물체의 아치형 움직임 및 카메라에 의해 검출될 수 있는 평평한 2차원 평면 사이의 형상 차이로 인해 기준 요소의 판정된 위치를 왜곡할 수 있다.
따라서, 본 명세서에 개시된 시스템 및 방법은 이러한 왜곡을 보상하는, 투영 표적 위치에 적용할 하나 이상의 오프셋(offsets)을 결정할 수 있다. 하나 이상의 오프셋은 사용자의 팔 움직임의 아치형 특성과 평평한 2차원 평면 사이의 형상 차이를 보상하기 위해 투영 표적 위치를 이동시켜 투영 표적 위치와 초기 위치 사이의 거리를 늘리거나 확장할 수 있다. 예를 들어, 하나 이상의 오프셋은 테스트 데이터를 하나 이상의 다항식(예: 3차 다항식)에 피팅(fit)하는 다항 회귀를 사용하여 결정될 수 있다.
일부 실시예에서, (예컨대, 2차원 평면 상에 투영된) 다수의 투영 표적 영역에 대응하는 (예컨대, 기준 요소가 사용자의 팔에 기초한 호(arc)를 따라 위치하는) 다수의 기준 요소 영역이 결정될 수 있다. 각각의 투영 표적 영역은 그러한 투영 표적 영역에 적용 가능한 왜곡을 정확하게 보상할 수 있는 각각의 다항식의 세트에 대응할 수 있다. 이와 같이, 카메라는 기준 요소 영역에서 기준 요소를 검출할 수 있고, 기준 요소 영역에 대응하는 각각의 투영 표적 영역이 결정될 수 있고, 각각의 투영 표적 영역에 대응하는 각각의 다항식 세트가 이러한 왜곡을 보상하기 위해 기준 요소의 위치에 적용될 하나 이상의 오프셋을 결정하는데 사용될 수 있다. 이러한 실시예에서, 다수의 기준 요소 영역이 상이한 크기일 때(예: 기준 요소 영역이 2차원 평면으로부터 멀어질수록 기준 요소 영역의 크기가 감소함) 다수의 투영 표적 영역은 동일한 크기이거나, 다수의 기준 요소 영역이 동일한 크기일 때 다수의 투영 표적 영역은 상이한 크기일 수 있다(예: 투영 표적 영역이 기준 요소로부터 멀어질수록 투영 표적 영역의 크기가 증가함).
도입부로서, 도 1은 본 개시의 일 실시예에 따른, 휴대용 물체(12)로 표적(14)을 가리키는 사용자(10)를 도시하는 도면이다. 표적(14)은 물리적 물체, 그림, 사진, 그래픽 등일 수 있다. 경우에 따라, 표적(14)은 디스플레이에 의해 출력되는 이미지일 수 있다. 표적(14)은 구조물(15) 상에 인쇄되거나, 에칭되거나, 기록되거나, 투영되거나, 부착되거나, 또는 다른 방식으로 표시될 수 있다. 사용자의 인식은 제1 점선(16)으로 표시된다. 즉, 사용자(10)는 자신이 휴대용 물체(12)로 표적(14), 특히 표적 위치(17)를 가리키고 있다고 인식한다. 그러나, 특정한 인적 요소(예: 한쪽 눈이 다른 쪽 눈보다 우세함, 머리를 기울임, 체중의 이동, 한쪽 또는 다른 쪽으로 몸을 기울임 등)로 인해, 사용자의 인식이나 의도에도 불구하고 사용자(10)는 휴대용 물체(12)로 점선(19)으로 표시된 실제 표적 위치(18)를 실제로 가리킨다.
휴대용 물체(12)는 막대기, 연필, 장난감 또는 모형 총이나 무기, 지팡이 등과 같이 사용자(10)가 표적(14)을 가리키거나 지칭하는데 사용할 수 있는 임의의 적합한 물체를 나타내거나 포함할 수 있다. 휴대용 물체(12)는, 사용자(10)가 가리키고 있는 곳을 판정하는 것을 용이하게 할 수 있는 기준 요소(20)를 포함할 수 있다. 특히, 카메라(22)는 기준 요소(20)의 위치를 검출할 수 있고, 기준 요소(20)는 카메라(22)로 하여금 기준 요소(20)를 보다 쉽게 검출할 수 있게 하는 재료 또는 장치로 이루어질 수 있다. 예를 들어, 기준 요소(20)는 재귀반사성 재료(예: 재귀반사성 유리 구슬, 마이크로프리즘(microprisms), 또는 직물 또는 플라스틱 기판 상에 밀봉된 캡슐화된 렌즈), 금속 테이프 등으로 이루어질 수 있다. 다른 예에서, 기준 요소(20)는 카메라(22)로 하여금 기준 요소(20)를 식별할 수 있게 하는 식별자(예: 고유한 그래픽 디자인, 바코드, QR(Quick Response) 코드 등)를 포함할 수 있다. 도시된 바와 같이, 기준 요소(20)는 사용자의 손(28)이 휴대용 물체(12)를 잡고 있는 휴대용 물체(12)의 단부(26)의 반대편 단부(24)에 위치할 수 있다. 이러한 배치는, 사용자가 휴대용 물체(12)로 가리키고 있는 방향을 판정하는 것을 용이하게 할 수 있지만, 기준 요소(20)는 휴대용 물체(12)의 임의의 부분 상에 배치되거나 심지어 사용자(10)에 배치될 수도 있다.
카메라(22)는 2차원 평면(32)에 대한 기준 요소(20)의 위치(30)를 검출할 수 있다. 위치(30)는, 하나 이상의 전환 인자를 적용하여 사용자(10)가 자신이 가리키고 있거나 가리키고자 했던 것으로 인식하는 표적 위치(17)를 결정하는 데 사용될 수 있다. 도시된 바와 같이, 2차원 평면(32)은 구조물(15)과 동일한 평면을 공유할 수 있지만, 일부 실시예에서 2차원 평면(32)과 구조물(15)은 동일한 평면을 공유하지 않을 수 있다. 예를 들어, 2차원 평면(32)과 구조물(15)은 서로 평행할 수 있다. 더욱이, 카메라(22)로 하여금 기준 요소(20)의 위치(30)를 검출할 수 있게 하기 위해, 구조물(15)은 반투명 또는 투명하게 만들어지거나, 카메라(22)로 하여금 기준 요소의 위치(30)를 검출할 수 있게 하는 임의의 다른 적절한 속성을 포함할 수 있다.
특히, 하나 이상의 전환 인자가 기준 요소(20)의 위치(30)에 적용되어, 자신이 휴대용 물체(12)로 가리키고 있는 위치에 대한 사용자의 인식과 기준 요소(20)가 2차원 평면(32) 상 어느 곳에 위치하는지에 대한 카메라의 판정 사이의 차이를 보상할 수 있다. 하나 이상의 전환 인자는, 사용자(10)가 휴대용 물체(12)로 교정 지점을 가리키고 카메라(22)가 2차원 평면(32) 상의 기준 요소(20)의 이러한 초기 위치를 검출하는 교정 프로세스 동안 결정될 수 있다. 하나 이상의 전환 인자는, 초기 위치가 이동하여 (예컨대, 2차원 평면(32)에 대해) 교정 지점을 초래하는 하나 이상의 거리를 나타낼 수 있다. 추가적으로, 하나 이상의 전환 인자는, 한쪽 눈이 다른 쪽 눈보다 우세함(예: 오른쪽 눈이 우세하거나 왼쪽 눈이 우세함), 머리의 기울임, 체중의 이동, 한쪽 또는 다른 쪽으로 몸의 기울임 등을 완화하거나 보상할 수 있다.
더욱이, 하나 이상의 스케일링 인자는 사용자 팔 길이 간의 차이를 설명하거나 보상하기 위해 기준 요소(20)의 위치(30)에 적용될 수 있다. 즉, 사용자는 자신의 어깨를 구의 중심으로 하여 구 또는 구형 세그먼트의 반경으로 작용할 수 있는 자신의 팔을 사용하여 휴대용 물체(12)를 움직이거나 휴대용 물체(12)로 가리킨다. 사용자가 휴대용 물체(12)를 움직이거나 다른 표적을 가리킴에 따라 휴대용 물체(12)의 기준 요소(20)의 각각의 위치는 동일한 표적을 가리키고 있음에도 불구하고 사용자 간의 상이한 팔 길이로 인해 사용자마다 다를 수 있다.
따라서, 기준 요소(20)의 초기 위치에 기초하여 (예컨대, 지면으로부터) 기준 요소(20)의 높이가 판정될 수 있고, 기준 요소(20)의 높이에 기초하여 사용자의 신장이 추정될 수 있다. 사용자의 신장으로부터 사용자의 팔 길이가 추정될 수 있으며, 이는 하나 이상의 스케일링 인자를 결정하는데 사용될 수 있다. 하나 이상의 스케일링 인자는 2차원 평면(32) 상의 카메라(22)에 의해 검출된 기준 요소(20)의 위치(30)를 스케일(scale)하거나 배가(multiply)할 수 있다.
추가적으로, 하나 이상의 오프셋이 기준 요소(20)의 위치(30)에 적용되어 휴대용 물체(12)의 투영 표적 위치를 생성하여 사용자의 팔의 아치형 또는 원형 운동으로 인한 왜곡을 보상할 수 있다. 즉, 왜곡은 아치형 움직임과 평평한 2차원 평면(32) 상의 기준 요소(20)의 위치(30)에 대한 카메라의 검출 사이의 형상 차이에 의해 발생할 수 있다. 하나 이상의 오프셋은 사용자의 팔 움직임의 아치형 특성과 평평한 2차원 평면 사이의 형상 차이를 보상하기 위해 투영 표적 위치를 이동시켜 투영 표적 위치와 초기 위치 사이의 거리를 늘리거나 확장할 수 있다. 예를 들어, 하나 이상의 오프셋은 테스트 데이터를 3차 다항식과 같은 다항식에 피팅(fit)하는 다항 회귀를 사용하여 결정될 수 있다.
이러한 방식으로, 휴대용 물체(12)의 투영 표적 위치가 생성될 수 있고, 이는 사용자(10)가 자신이 휴대용 물체(12)로 가리키고 있다고 인식하는 표적 위치(17)와 밀접하게 일치할 수 있다. 유리하게는, 특정 다른 시스템과 달리, 하나의 교정 지점만이 전환 인자, 스케일링 인자 및 오프셋을 결정하고 휴대용 물체(12)의 투영 표적 위치를 정확하게 결정하는데 사용된다. 반면에 다른 애플리케이션(예: 프레젠테이션에 사용되는 포인팅 장치)에서는, 교정이 실제 수행 전에(예: 준비 단계 동안) 발생할 수 있고 청중이나 고객에게 보이지 않기 때문에 교정 시간을 줄이는 것은 중요하지 않을 수 있다. 그러나, 본 발명의 경우(예: 테마파크의 어트랙션에서), 보정이 수행되고 있음을 숨기거나 사용자(10)가 이를 알아차리지 못하도록 함으로써 몰입형 사용자 경험을 생성하는 것이 중요할 수 있다. 이와 같이, 교정 프로세스를 단일 지점으로 줄이는 것(예: 휴대용 물체(12)로 단일 교정 지점을 가리키는 것)은 사용자 경험을 향상시키거나 증대시킬 수 있다.
이를 염두에 두며, 도 2는 본 발명의 실시예에 따른 테마파크 어트랙션 시스템(40)의 블록도이다. 테마파크 어트랙션 시스템(40)은 사용자(10)로 하여금 휴대용 물체(12)로 다양한 표적(14)을 가리키게 할 수 있고, 사용자(10)가 휴대용 물체(12)로 표적(14)을 가리켰다는 판정에 기초하여 사용자 상호작용 경험을 출력할 수 있다. 예를 들어, 어트랙션 시스템(40)은 어린이들에게 인기있는 캐릭터가 있는 설정, 텔레비전 또는 영화 테마 설정, 촬영 갤러리, 표적 모음 등을 포함할 수 있다.
테마파크 어트랙션 시스템(40)은 사용자(10)가 쥐고 조작하는, 기준 요소(20)를 갖는 휴대용 물체(12)를 포함할 수 있다. 테마파크 어트랙션 시스템(40)은 또한 사용자 상호작용 시스템(42)을 포함할 수 있는데, 사용자 상호작용 시스템(42)은 2차원 평면(32) 상의 기준 요소의 위치를 검출하는 카메라(22)를 포함한다. 테마파크 어트랙션 시스템(40)은 휴대용 물체(12)의 투영 표적 위치를 결정하는 투영 위치 결정 시스템(44)을 더 포함할 수 있다. 특히, 투영 표적 위치는, 사용자(10)가 자신이 가리키고 있거나 가리키고자 하는 것으로 인식하는 2차원 평면(32) 상의 위치를 나타낼 수 있다. 실제로, 투영 표적 위치가 표적 위치(17)에 가까울수록 투영 표적 위치는 더 정확하다.
투영 위치 결정 시스템(44)은 하나 이상의 프로세서(단일 프로세서(48)로 도시됨) 및 하나 이상의 메모리 또는 저장 장치(단일 메모리 장치(50)로 도시됨)를 갖는 제어기(46)를 포함할 수 있다. 프로세서(48)는 휴대용 물체(12)의 투영 표적 위치를 결정하는 것을 용이하게 하는, 메모리 장치(50)에 저장된 소프트웨어 프로그램 및/또는 명령을 실행할 수 있다. 더욱이, 프로세서(48)는 다수의 마이크로프로세서, 하나 이상의 "범용" 마이크로프로세서, 하나 이상의 특수 목적 마이크로프로세서, 및/또는 하나 이상의 주문형 집적 회로(ASICS: application specific integrated circuits)를 포함할 수 있다. 예를 들어, 프로세서(48)는 하나 이상의 축소 명령 집합 (RISC: reduced instruction set) 프로세서를 포함할 수 있다. 메모리 장치(50)는 제어 소프트웨어, 룩업 테이블, 구성 데이터 등과 같은 정보를 저장할 수 있다. 메모리 장치(50)는 휘발성 메모리(예: 랜덤 액세스 메모리(RAM)), 비휘발성 메모리(예: 읽기 전용 메모리(ROM)), 플래시 메모리, 하나 이상의 하드 드라이브, 및/또는 임의의 기타 적절한 광학, 자기 또는 솔리드 스테이트 저장 매체와 같은 유형의(tangible) 비일시적 기계 판독 가능 매체를 포함할 수 있다. 메모리 장치(50)는 다양한 정보를 저장할 수 있고, 휴대용 물체(12)의 투영 표적 위치를 용이하게 하는 명령과 같은 다양한 목적을 위해 사용될 수 있다.
투영 위치 결정 시스템(44)은 또한 2차원 평면(32) 상의 기준 요소(20)의 위치를 판정하는 기준 요소 위치 검출 로직(52)을 포함할 수 있다. 특히, 투영 위치 결정 시스템(44)은, 예컨대 유선 통신을 통해 또는 무선 통신 프로토콜 또는 기술(예: 라디오, 블루투스, WiFi, 적외선, 이더넷, 스레드(Thread), 지그비(ZigBee), Z-Wave, KNX, 모바일, 및/또는 마이크로파)을 사용하는 통신 네트워크를 통해, 임의의 적절한 수단에 의해 사용자 상호작용 시스템(42)에 통신 가능하게 결합될 수 있다. 기준 요소 위치 검출 로직(52)은 따라서 2차원 평면(32) 상의 기준 요소(20)를 보여주는 캡처된 이미지(예: 화상)를 카메라(22)로부터 수신할 수 있다. 기준 요소 위치 검출 로직(52)은, 예를 들어 2차원 좌표(예: x 및 y) 시스템으로 표현되는 2차원 평면(32) 상의 기준 요소(20)의 위치를 판정할 수 있다.
투영 위치 결정 시스템(44)은 기준 요소 위치 검출 로직(52)에 의해 판정된 바와 같은 기준 요소(20)의 위치를 2차원 평면(32)에 대한 투영 표적 위치로 변환하는 변환 로직(54)(transformation logic)을 더 포함할 수 있다. 변환 로직(54)은, 자신이 휴대용 물체(12)로 가리키고 있는 위치에 대한 사용자의 인식과 기준 요소(20)가 2차원 평면(32) 상 어느 곳에 위치하는지에 대한 카메라의 판정 사이의 차이를 보상하는 하나 이상의 전환 인자를 결정하는 전환 로직(56)을 포함한다.
특히, 전환 로직(56)은 단일 지점 교정 프로세스를 수행함으로써 하나 이상의 전환 인자를 결정할 수 있다. 이 프로세스는 2차원 평면(32) 상의 교정 위치를 수신하는 단계, (예컨대, 사용자(10)가 휴대용 물체(12)로 교정 위치를 가리키는 시점에 대응하는) 2차원 평면(32) 상의 기준 요소(20)의 위치를 수신하는 단계, 및 교정 위치와 기준 요소(20)의 위치 사이의 위치 차이에 기초하여 하나 이상의 전환 인자를 결정하는 단계를 포함한다.
도 3은 본 개시의 일 실시예에 따른, 휴대용 물체(12)로 교정 위치(80)를 가리키는 사용자(10)를 도시하는 도면이다. 교정 위치(80)는 물리적인 물체, 그림, 사진, 그래픽 등에 해당할 수 있다. 경우에 따라, 교정 위치(80)는 디스플레이에 의해 출력되는 이미지에 해당할 수 있다. 사용자(10)는 임의의 적절한 형식으로 제공된(예: 구조물(15) 상에 기록, 에칭, 인쇄, 부착 또는 표시됨) 지시에 의해 유도될 수 있다. 교정 위치(80)는, 사용자의 신장을 검출하는 제어된 방식을 가능하게 하도록 사용자로 하여금 자신의 팔을 비슷하게 위치시키게 하는 한편, 도 2의 투영 위치 결정 시스템(44)으로 하여금, 자신이 휴대용 물체(12)로 가리키고 있는 위치에 대한 사용자의 인식과 사용자(10)가 휴대용 물체(12)로 실제로 가리키고 있는 위치 사이의 차이를 결정하게 하도록 제공될 수 있다. 예를 들어, 교정 위치(80)는, 사용자(10)로 하여금 자신의 팔(82)을 지면(84)에 대해 가능한 평행에 가깝도록, 지면에 평행한 평면에 대해 특정 각도로 등으로 연장하도록 위치할 수 있다. 일부 실시예에서, 교정 위치(80)는 사용자의 신장에 맞춤화될 수 있다. 즉, 일부 실시예에서 교정 위치(80)는 휠체어, 개인용 전기차, 유모차 등과 같은 차량에 앉아 있는 사용자를 위해 구조물(15) 상에서 더 낮게 위치할 수 있다. 다른 예로서, 교정 위치(80)는 어린이에 비해 성인에 대해 구조물(15) 상에서 더 높게 위치할 수 있고, 교정 위치(80)는 여성 사용자에 비해 남성 사용자에 대해 구조물(15) 상에서 더 높게 위치할 수 있는 식이다.
이와 같이, 교정 위치(80)는 미리 결정되고 투영 위치 결정 시스템(44)은 이러한 교정 위치(80)를 알고 있다. 유도되었을 때, 사용자(10)는 자신의 팔(82)을 뻗어 휴대용 물체(12)로 교정 위치(80)를 가리킬 수 있다. 그러나, 한쪽 눈이 다른 쪽 눈보다 우세함, 머리의 기울임, 체중의 이동, 한쪽 또는 다른 쪽으로 몸을 기울임, 휴대용 물체(12)를 잡고 있는 손에 대한 사용자의 선택(예: 오른손 대 왼손), (예컨대, 동작 범위에 영향을 미치는) 신체적 제약, 장애물(예: 배낭 또는 아이 안기)로 인해 사용자의 움직임이 변경될 수 있는지 여부 등과 같은 신체에 의해 야기되는 왜곡 효과로 인해, 점선(85)으로 표시된 바와 같은 휴대용 물체(12)로 교정 위치(80)를 가리키고 있다는 사용자의 인식 또는 휴대용 물체(12)로 교정 위치(80)를 가리키고자 하는 사용자의 의도에도 불구하고, 점선(88)으로 표시된 바와 같이 사용자(10)는 실제로 휴대용 물체(12)로 실제 교정 위치(86)와 같은 다른 위치를 가리킬 수 있다.
카메라(22)는 2차원 평면(32) 상에서 기준 요소(20)의 위치(90)를 검출하고, 위치(90)의 표시를 투영 위치 결정 시스템(44)에 전송한다. 그 다음, 인간 상호작용의 모델의 일부일 수 있는 전환 로직(56)은, 기준 요소(20)의 위치(90)와 2차원(예: x 및 y) 좌표로 표현될 수 있는 미리 결정된 교정 위치(80) 사이의 위치 차이를 결정할 수 있다. 전환 로직(56)은 이러한 차이를 이용하여 기준 요소(20)의 후속적으로 검출된 위치에 적용될 수 있는 하나 이상의 전환 인자를 생성하여, 기준 요소(20)의 후속적으로 검출된 위치를 이동시키고 사용자(10)가 휴대용 물체(12)로 가리키고자 한 위치에 대응하는 휴대용 물체(12)의 후속 투영 표적 위치를 결정할 수 있다. 전환 인자는 변환 행렬의 형태로 제공될 수 있으며, 변환 행렬은 아래에 표시된 바와 같이 기준 요소(20)의 투영 표적 위치를 생성하기 위해 기준 요소(20)의 후속적으로 검출된 위치에 적용될 수 있다.
Figure pct00001
여기서, x = 2차원 평면(32) 상의 기준 요소(20)의 위치(90)의 수평 성분,
y = 2차원 평면(32) 상의 기준 요소(20)의 위치(90)의 수직 성분,
X = 2차원 평면(32) 상의 교정 위치(80)와 기준 요소(20) 사이의 수평 차이,
Y = 2차원 평면(32) 상의 교정 위치(80)와 기준 요소(20) 사이의 수직 차이,
x' = 2차원 평면(32) 상의 휴대용 물체(12)의 투영 표적 위치의 수평 성분, 및
y' = 2차원 평면(32) 상의 휴대용 물체(12)의 투영 표적 위치의 수직 성분.
예를 들어, 도 4는 본 개시의 실시예에 따른, 기준 요소(20)의 후속적으로 검출된 위치(120)에 하나 이상의 전환 인자를 적용하는 예를 도시한 도면이다. 도시된 바와 같이, 교정 동안, 기준 요소(20)의 위치(90)는 교정 위치(80)에서 2단위(예: 센티미터) 오른쪽에 있고 교정 위치(80)에서 1단위(예: 센티미터) 위쪽에 있다. 이에 따라, 전환 인자는 수평 방향으로 +2를 포함하고 수직 방향으로 +1을 포함할 수 있다. 따라서, 변환 행렬에서 X는 +2로, Y는 +1로 설정될 수 있다. 전환 로직(56)은 변환 행렬을 기준 요소(20)의 후속적으로 검출된 위치(120)(예: [4, 2])에 적용하여, 후속적으로 검출된 위치(120)를 오른쪽으로 2단위 및 위쪽으로 1단위만큼 이동시켜, 교정 위치(80)의 오른쪽으로 6단위 및 위쪽으로 3단위(예: [6, 3])에 있는 투영 표적 위치(122)를 생성할 수 있다. 따라서, 전환 로직(56)은, 자신이 휴대용 물체(12)로 가리키고 있는 위치에 대한 사용자의 인식과 기준 요소(20)가 2차원 평면(32) 상 어느 곳에 위치하는지에 대한 카메라의 판정 사이의 차이를 보상할 수 있다.
다시 도 2로 돌아가서, 변환 로직(54)은 또한 사용자의 팔 길이 간의 차이를 보상하는 하나 이상의 스케일링 인자를 결정하는 스케일링 로직(58)을 포함할 수 있다. 즉, 도 3에 도시된 바와 같이, 사용자(10)는 자신의 어깨를 구의 중심(94)으로 하여 구 또는 구형 세그먼트(92)의 반경으로 작용할 수 있는 자신의 팔(82)을 사용하여 휴대용 물체(12)를 움직이거나 휴대용 물체(12)로 가리킨다. 사용자(10)가 휴대용 물체(12)를 움직여 다른 표적을 가리킴에 따라 휴대용 물체(12)의 기준 요소(20)의 각각의 위치는 동일한 표적을 가리키고 있음에도 불구하고 사용자(10) 간의 상이한 팔 길이로 인해 사용자(10)마다 다를 수 있다.
특히, 스케일링 로직(58)은 교정 프로세스 동안 카메라(22)에 의해 검출된 기준 요소(20)의 위치(90)에 기초하여 하나 이상의 스케일링 인자를 결정할 수 있다. 지면(84)으로부터 카메라(22)의 높이(96)는 미리 결정되고 스케일링 로직(58)은 이러한 카메라(22)의 높이(96)를 알고 있다. 따라서, 스케일링 로직(58)은 기준 요소(20)의 위치(90) 및 미리 결정된 높이(96)에 기초하여 지면(84)으로부터 기준 요소(20)의 높이(98)를 판정할 수 있다. 기준 요소(20)의 높이(98)에 기초하여, 스케일링 로직(58)의 사용자 신장 추정 로직(60)은 사용자의 신장(100)을 판정할 수 있다. 특히, 사용자(10)가 휴대용 물체(12)로 교정 위치(80)를 가리킬 때의 기준 요소(20)의 높이(90) 및 그러한 사용자(10)의 신장에 대한 테스트 또는 샘플 데이터가 수집될 수 있다. 기준 요소(20)의 위치(90)의 높이(102)는 사용자(10)의 신장과 상관될 수 있고, 스케일링 로직(58)은 이러한 미리 결정된 상관관계 및 기준 요소(20)의 높이(98)에 기초하여 사용자의 신장(100)을 추정할 수 있다. 상관관계를 식별하기 위한 모델은 신장과 닿을 수 있는 거리 간의 표준 상관관계(예: 인구의 다양한 신체 유형에 대한 신장 및 팔 길이 사이의 비율)의 테이블로 채워질 수 있다.
그 다음, 스케일링 로직(58)의 사용자 팔 길이 추정 로직(62)은 사용자의 신장(100)에 기초하여 사용자의 팔 길이(104)를 추정할 수 있다. 이러한 추정은 팔 길이(104)와 사용자의 신장(100) 사이의 미리 결정된 상관관계(예: 경험적 데이터에 기초한 알고리즘 또는 테이블)에 기초하여 이루어질 수 있다. 이러한 미리 결정된 상관관계는 테스트 또는 샘플 데이터, 신체 비율과 연관된 과학적 데이터, 및/또는 임의의 다른 적절한 자료에 기초하여 결정될 수 있다.
스케일링 로직(58)은 사용자의 팔 길이(104)에 기초하여 하나 이상의 스케일링 인자를 결정할 수 있다. 예를 들어, 초기 위치(예: 교정 위치(80))에서 벗어나 가리킬 때, 카메라(22)는, 더 긴 팔 길이를 갖는 사용자(10)와 비교하여 더 짧은 팔 길이(104)를 갖는 사용자(10)의 경우에, 기준 요소(20)의 위치가 초기 위치와 더 가깝다고 검출할 수 있다. 이와 같이, 스케일링 로직(58)은 더 짧은 팔 길이(104)를 갖는 사용자(10)와 비교하여 더 긴 팔 길이(104)를 갖는 사용자(10)에 대해 더 큰 스케일링 인자를 결정할 수 있다. 스케일링 로직(58)은 하나 이상의 스케일링 인자를 기준 요소(20)의 후속적으로 검출된 위치에 적용하여 해당 위치를 스케일(scale)(예: 축소 또는 확장)하여 기준 요소(20)의 투영 표적 위치를 생성할 수 있다. 스케일링 인자는 수평 및 수직 성분을 포함하고, 변환 행렬의 형태로 제공되고, 아래에 표시된 바와 같이, 상기 수학식 1의 전환 인자를 포함하는 변환 행렬에 삽입될 수 있다.
Figure pct00002
여기서, k1 = 사용자의 팔 길이(104)에 기초하여 생성된 수평 스케일링 인자, 및
k2 = 사용자의 팔 길이(104)에 기초하여 생성된 수직 스케일링 인자.
스케일링 인자 k 1 및 k 2 의 값은, 사용자(10)가 휴대용 물체(12)로 다양한 표적을 가리키는 것 및 이러한 사용자(10)의 팔 길이(104)로부터 수집된 테스트 또는 샘플 데이터를 상관시키는 것에 기초하여 결정될 수 있다. 예를 들어, 스케일링 로직(58)은 카메라(22)로부터 수신된 이미지 데이터(예: 화상의 제1 또는 교정 이미지)에 기초하여 지면(84)으로부터 기준 요소(20)의 높이(98)가 1.25미터라고 판정할 수 있다. 사용자 신장 추정 로직(60)은 기준 요소(20)의 높이(98)에 기초하여 사용자의 신장(100)이 약 1.8 미터라고 판정할 수 있다. 사용자 팔 길이 추정 로직(62)은 사용자의 신장(100)에 기초하여 사용자의 팔 길이(104)가 0.6미터라고 판정할 수 있다. 그 다음, 스케일링 로직(58)은 사용자의 팔 길이(104)에 기초하여 수평 스케일링 인자 k 1 은 1.5이고 수직 스케일링 인자 k 2 는 1.75라고 결정할 수 있다. 따라서, 스케일링 로직(58)은 k 1 = 1.5 및 k 2 = 1.75인 수학식 2의 변환 행렬을 생성하고, 투영 위치 결정 시스템(44)은 기준 요소(20)의 후속적으로 검출된 위치에 변환 행렬을 적용하여, 사용자 팔 길이(104) 간의 차이를 보상하는, 사용자(10)가 휴대용 물체(12)로 가리키고자 한 위치의 투영 표적 위치를 생성할 수 있다.
예를 들어, 도 5는 본 개시의 실시예에 따른, 기준 요소(20)의 후속적으로 검출된 위치(120)에 스케일링 인자를 적용한 예를 도시한 도면이다. 도시된 바와 같이, 기준 요소(20)의 후속적으로 검출된 위치(120)는 교정 위치(80)로부터 4단위(예: 센티미터)만큼 오른쪽에 위치하고 교정 위치(80)로부터 4단위(예: 센티미터)만큼 위쪽에 위치한다(예: [4, 4]). 수평 스케일링 인자 k 1 = 1.5 및 수직 스케일링 인자 k 2 = 1.75를 갖는 수학식 2의 변환 행렬을 후속적으로 검출된 위치(120)에 적용하면, 후속적으로 검출된 위치(120)를 수평으로 1.5만큼 스케일링하여 교정 위치(80)로부터 6단위만큼 오른쪽에 위치한 투영 표적 위치(130)를 생성하고, 후속적으로 검출된 위치(120)를 수직으로 1.7만큼 스케일링하여 7단위(예: 센티미터)만큼 위쪽에 위치한 투영 표적 위치(130)를 생성한다(예: [6,7]). 따라서, 스케일링 로직(58)은 사용자의 팔 길이(104)의 차이를 보상할 수 있다.
다시 도 2로 돌아가서, 투영 위치 결정 시스템(44)은 사용자의 팔 움직임의 아치형 특성(92)과 평평한 2차원 평면(32) 사이의 형상 차이를 보상하는 호 왜곡 보상 로직(64)을 포함할 수 있다. 예를 들어, 도 6은 휴대용 물체(12)로 상이한 표적을 가리키는 사용자(10)를 도시하는 도면이다. 도시된 바와 같이, 사용자의 팔(82)의 제1 위치(140)와 사용자의 팔(82)의 제2 위치(142)가 이루는 각도 θ는 사용자의 팔(82)의 제3 위치(144)와 사용자의 팔(82)의 제4 위치 (146)가 이루는 각도와 동일하다. 그러나, 2차원 평면(32) 상에서 카메라(22)에 의해 관측되고 캡처된 바와 같이, 사용자의 팔(82)의 제1 위치(140)에 대응하는 제1 기준 요소 위치(148)와 사용자의 팔(82)의 제2 위치(142)에 대응하는 제2 기준 요소 위치(150) 사이의 거리 h 0 는 사용자의 팔(82)의 제3 위치(144)에 대응하는 제3 기준 요소 위치(152)와 사용자의 팔(82)의 제4 위치(146)에 대응하는 제4 기준 요소 위치(154) 사이의 거리 h 1 와 상이하다(예컨대, 더 크다).
이에 따라, 호 왜곡 보상 로직(64)은 이 왜곡을 보상하는 투영 표적 위치에 적용할 하나 이상의 오프셋을 결정할 수 있다. 하나 이상의 오프셋은 투영 표적 위치와 초기 위치(예: 교정 위치(80)) 사이의 거리를 늘리거나 확장하도록 투영 표적 위치를 이동시켜 사용자의 팔 움직임의 아치형 특성(92)과 평평한 2차원 평면(32) 사이의 형상 차이를 보상할 수 있다. 예를 들어, 하나 이상의 오프셋은, 사용자(10)가 휴대용 물체(12)로(예: 호(92)를 따르는 기준 요소(20)로) 다양한 표적을 가리키는 것으로부터의 테스트 또는 샘플 데이터를 방정식에 피팅(fit)하는 회귀 분석을 사용하여 결정될 수 있다. 임의의 적합한 차수 또는 유형의 방정식이 사용될 수 있지만, 일부 실시예에서, 호 왜곡 보상 로직(64)은 테스트 데이터를 다항식(예: 3차 다항식)에 피팅할 수 있다. 예를 들어, 제1의 3차 다항식(아래의 수학식 3 및 수학식 4)은 수평 방향에서 이러한 왜곡을 보상하는 투영 표적 위치에 적용할 수평 오프셋을 결정하는데 사용될 수 있고, 제2의 3차 다항식(아래의 수학식 5 및 수학식 6)은 수직 방향의 왜곡을 보상하는 투영 표적 위치에 적용할 수직 오프셋을 결정하는데 사용할 수 있다.
Figure pct00003
(추가 또는 대안적으로, 하기와 같이 나타낼 수 있음:
Figure pct00004
Figure pct00005
(추가 또는 대안적으로, 하기와 같이 나타낼 수 있음:
Figure pct00006
여기서, xoffset = 투영 표적 위치에 적용될 수평 오프셋,
yoffset = 투영 표적 위치에 적용될 수직 오프셋,
x = 투영 표적 위치의 수평 성분,
y = 투영 표적 위치의 수직 성분, 및
ai, bi, ci, a, b, c, d, e, f, g, h, k 및 l = 회귀 분석을 사용하여 결정되는 상수로서, 각 상수는 수학식별로 상이할 수 있음(예: 수학식 4의 상수 a는 수학식 6의 상수 a와 다를 수 있음).
투영 표적 위치의 수평 성분은 (예컨대, 교정 위치(80) 및/또는 사용자(10)가 휴대용 물체(12)로 카메라(22)를 직접적으로 가리키는 시점에 대응하는) 초기 위치로부터 떨어진 수평 거리로서 측정될 수 있는 반면, 투영 표적 위치의 수직 성분은 초기 위치로부터 떨어진 수직 거리로서 측정될 수 있다. 전술한 바와 같이, 다항의 수학식 3 내지 수학식 6 중 임의의 것에 대해 상수 ai, bi, ci, a, b, c, d, e, f, g, h, k 및 l은, 다항 회귀 분석을 사용하여 테스트 또는 샘플 데이터를 다항식으로 피팅(fitting)함으로써 결정될 수 있다(그리고, 이러한 상수는 수학식별로 상이할 수 있음). 이와 같이, 하나 이상의 오프셋은, 사용자(10)가 휴대용 물체(12)를 움직이고 휴대용 물체(12)로 가리킴에 따라 각각의 투영 표적 위치에 대해 결정될 수 있다.
그러나, 사용자(10)가 휴대용 물체(12)를 움직이고 휴대용 물체(12)로 가리킴에 따라 각각의 투영 표적 위치에 대해 수평 및 수직 오프셋을 결정하기 위해 수학식 3 내지 수학식 6 중 임의의 것을 적용하는 것은 시간 소모적일 수 있고 과도한 컴퓨팅 자원(예: 처리, 메모리, 저장 또는 네트워킹 자원)을 사용하는 것일 수 있다. 이에 따라, 사용자의 팔 움직임의 아치형 특성(92)과 평평한 2차원 평면(32) 사이의 형상 차이를 보다 효율적으로 보상하기 위해, 일부 실시예에서, 호 왜곡 보상 로직(64)은 기준 요소(20)가 위치될 수 있는 호(92)를 다수의 기준 요소 영역으로 분할할 수 있고, 각각의 기준 요소 영역은 (예컨대, 2차원 평면 상에 투영된) 각각의 투영 표적 영역에 대응할 수 있다. 각각의 투영 표적 영역은 그 투영 표적 영역에 적용 가능한 왜곡을 정확하게 보상할 수 있는 각각의 다항식의 세트에 대응할 수 있다. 이와 같이, 카메라(22)는 기준 요소 영역에서 기준 요소(20)를 검출할 수 있고, 호 왜곡 보상 로직(64)은 기준 요소 영역에 대응하는 각각의 투영 표적 영역을 결정할 수 있으며, 호 왜곡 보상 로직(64)은 각각의 투영 표적 영역에 대응하는 각각의 다항식의 세트를 기준 요소의 위치에 적용하여, 이러한 왜곡을 보상하기 위해 기준 요소의 위치에 적용될 하나 이상의 오프셋을 결정할 수 있다. 이러한 실시예에서, 다수의 기준 요소 영역이 상이한 크기일 때(예: 기준 요소 영역이 2차원 평면(32)으로부터 멀어질수록 기준 요소 영역의 크기가 감소함) 다수의 투영 표적 영역은 동일한 크기이거나, 다수의 기준 요소 영역이 동일한 크기일 때 다수의 투영 표적 영역은 상이한 크기일 수 있다(예: 투영 표적 영역이 기준 요소(20)로부터 멀어질수록 투영 표적 영역의 크기가 증가함).
도 7은 본 개시의 실시예에 따른, 다수의 상이한 크기의 기준 요소 영역(170) 및 다수의 균일한 크기의 투영 표적 영역(172)을 도시하는 도면이다. 도시된 바와 같이, 2차원 평면(32)에 가장 가까운 제1 기준 요소 영역(174)의 크기가 가장 크고, 그 다음으로 2차원 평면(32)에 가까운 제2 기준 요소 영역(176)의 크기가 그 다음으로 크고(제1 기준 요소 영역(174)보다는 작음), 그 다음으로 2차원 평면(32)에 가까운 제3 기준 요소 영역(178)의 크기가 그 다음으로 크며(제2 기준 요소 영역(176)보다는 작음), 그 다음으로 2차원 평면(32)에 가까운 제4 기준 요소 영역(180)의 크기가 그 다음으로 크다(제3 기준 요소 영역(178)보다는 작음). 도 7에는 4개의 기준 요소 영역(170)이 도시되어 있지만, 임의의 적절한 수의 기준 요소 영역(170)이 임의의 적절한 크기로 고찰되며, 이 때, 기준 요소 영역(170)이 2차원 평면(32)으로부터 멀어질수록 기준 요소 영역(170)의 크기는 감소한다. 또한, 각각의 투영 표적 영역(172)은 다른 투영 표적 영역(172)과 동일한 크기이고, 각각의 기준 요소 영역(170)에 대응하며, 기준 요소(20)의 위치에 적용될 각각의 오프셋(예: 수평 및 수직 오프셋)을 생성하는 각각의 다항식의 세트에 대응한다. 특히, 각각의 투영 표적 영역(172)에 대응하는 각각의 다항식의 세트는, 수학식 3 내지 수학식 6 중 임의의 것에 제공된 바와 같이, 상수 ai, bi, ci, a, b, c, d, e, f, g, h, k 및 l에 대해 상이한 값의 세트를 가질 수 있다(그리고 이러한 상수는 수학식별로 상이할 수 있음). 기준 요소 영역(170)이 2차원 평면(32)으로부터 멀어질수록 기준 요소 영역(170)의 크기를 감소시키는 반면 투영 표적 영역(172)의 동일한 크기를 유지하는 것은, 호 왜곡 보상 로직(64)으로 하여금 사용자의 팔 움직임의 아치형 특성(92)과 평평한 2차원 평면(32) 사이의 형상 차이를 효율적이고 자원 절약적인 방식으로 보상하게 할 수 있다.
도 8은 본 개시의 실시예에 따른, 다수의 균일한 크기의 기준 요소 영역(190) 및 다수의 상이한 크기의 투영 표적 영역(192)을 도시하는 도면이다. 도시된 바와 같이, 각각의 기준 요소 영역(190)은 동일한 크기이다. 그러나, 기준 요소(20)에 가장 가까운 제1 투영 표적 영역(194)의 크기가 가장 작고, 그 다음으로 기준 요소(20)에 가까운 제2 투영 표적 영역(196)의 크기가 그 다음으로 작고(제1 투영 표적 영역(194)보다는 큼), 그 다음으로 기준 요소(20)에 가까운 제3 투영 표적 영역(198)의 크기가 그 다음으로 작으며(제2 투영 표적 영역(196)보다는 큼), 그 다음으로 기준 요소(20)에 가까운 제4 투영 표적 영역(200)의 크기가 그 다음으로 작다(제3 투영 표적 영역(198)보다는 큼). 도 8에는 4개의 투영 표적 영역(192)이 도시되어 있지만, 임의의 적절한 수의 투영 표적 영역(192)이 임의의 적절한 크기로 고찰되며, 이 때, 투영 표적 영역(192)이 기준 요소(20)로부터 멀어질수록 투영 표적 영역(192)의 크기는 증가한다. 각각의 투영 표적 영역(192)은 각각의 기준 요소 영역(190)에 대응하고, 기준 요소(20)의 위치에 적용될 각각의 오프셋(예: 수평 및 수직 오프셋)을 생성하는 각각의 다항식의 세트에 대응한다. 특히, 각각의 투영 표적 영역(192)에 대응하는 각각의 다항식의 세트는, 수학식 3 내지 수학식 6 중 임의의 것에 제공된 바와 같이, 상수 ai, bi, ci, a, b, c, d, e, f, g, h, k 및 l에 대해 상이한 값의 세트를 가질 수 있다(그리고 이러한 상수는 수학식별로 상이할 수 있음). 투영 표적 영역(192)이 기준 요소(20)로부터 멀어질수록 투영 표적 영역(192)의 크기를 증가시키는 반면 기준 요소 영역(190)의 동일한 크기를 유지하는 것은, 호 왜곡 보상 로직(64)으로 하여금 사용자의 팔 움직임의 아치형 특성(92)과 평평한 2차원 평면(32) 사이의 형상 차이를 효율적이고 자원 절약적인 방식으로 보상하게 할 수 있다.
단순화를 위해, 도 6 내지 도 8은 사용자의 팔 움직임의 아치형 특성(92)과 평평한 2차원 평면(32) 사이의 형상 차이에 의해 야기되는 왜곡을 수직(예: y) 방향에서만 도시한다. 그러나, 본 명세서에 개시된 시스템 및 방법은 임의의 적절한 방향에서의 왜곡을 보상하는 것을 고찰하는데, 이에는 수평 방향의 왜곡을 보상하기 위해 수평 오프셋을 제공하는 수학식 3 및 수학식 4에 의해 입증되는 바와 같은 수평(예: x) 방향, 및 수직 방향의 왜곡을 보상하기 위해 수직 오프셋을 제공하는 수학식 5 및 수학식 6에 의해 입증되는 바와 같은 수직(예: y) 방향이 포함된다.
다시 도 2로 돌아가서, 투영 표적 위치가 구조물 상(15)에 인쇄되거나, 에칭되거나, 기록되거나, 부착되거나, 달리 디스플레이되는 표적(14)에 대응한다고 투영 위치 결정 시스템(44)이 판정하는 경우, 사용자 상호작용 시스템(42)의 출력 장치(66)는 사용자 상호작용 경험을 출력할 수 있다. 출력 장치(66)는, 전자 디스플레이, 스피커, 가상 현실 장치, 증강 현실 장치, 액추에이터, 및/또는 애니메이트된 장치(animated device)(예: 로봇 피규어)와 같이, 원하는 사용자 상호작용형 경험을 출력할 수 있는 임의의 적절한 장치일 수 있다. 표적(14)은 출력 장치(66)의 일부이거나 이에 고정 또는 부착되거나 이를 포함할 수 있거나, 표적(14)은 출력 장치(66)와 분리될 수 있다. 예를 들어, 테마파크의 환경에서 표적(14) 및 출력 장치(66)는 둘 다 어트랙션의 애니메이트된 물체(animated object)일 수 있고, 투영 표적 위치가 애니메이트된 물체에 대응한다는 판정에 응답하여 애니메이트된 물체는 사용자 상호작용 경험(예: 꼬리를 흔드는 것)을 출력할 수 있다. 다른 예로, 표적(14)은 포스터에 인쇄된 단어일 수 있고 출력 장치(66)는 근처의 스피커일 수 있으며, 투영 표적 위치가 포스터에 인쇄된 단어에 대응한다고 판정하는 것에 응답하여, 근처의 스피커는 해당 단어를 말하는 음성을 출력할 수 있다. 또 다른 예로서, 표적(14)은 전자 디스플레이 상의 사람의 이미지일 수 있고 출력 장치(66)는 전자 디스플레이일 수 있으며, 투영 표적 위치가 사람의 이미지에 대응한다는 판정에 응답하여, 전자 디스플레이는 독특한 동작을 수행하는 이미지의 사람을 보여주는 비디오를 재생할 수 있다.
이를 염두에 두고, 도 9는 본 개시의 실시예에 따른, 휴대용 물체(12)의 투영 표적 위치를 결정하기 위한 프로세스(210)의 흐름도이다. 프로세스(210)는 투영 위치 결정 시스템(44)의 임의의 구성요소와 같은, 휴대용 물체(12)의 투영 표적 위치를 결정할 수 있는 임의의 적절한 장치에 의해 수행될 수 있는데, 이러한 투영 위치 결정 시스템(44)의 임의의 구성요소에는 제어기(46), 프로세서(48), 기준 요소 위치 검출 로직(52), 변환 로직(54), 전환 로직(56), 스케일링 로직(58), 사용자 신장 추정 로직(60), 및/또는 사용자 팔 길이 로직(62)이 포함된다. 특정 순서의 단계를 이용하여 프로세스(210)를 서술하지만, 서술된 단계는 서술된 순서와 다른 순서로 수행될 수 있고 서술된 특정 단계는 생략되거나 아예 수행되지 않을 수 있음이 본 개시에서 고찰된다. 일부 실시예에서, 프로세스(210)는, 프로세서(48)와 같은 프로세서를 사용하여 메모리 장치(50)와 같은 유형의(tangible) 비일시적 컴퓨터 판독 가능 매체에 저장된 명령을 실행함으로써 구현될 수 있다.
도시된 바와 같이, 프로세스 블록(212)에서, 프로세서(48)는 휴대용 물체(12)를 교정하기 위한 표시를 수신한다. 표시는, 휴대용 물체(12)의 기준 요소(20)의 존재를 포함하는, 카메라(22)에 의해 캡처된 이미지(예: 화상의 제1 또는 교정 이미지)의 형태일 수 있다. 일부 실시예에서, 사용자(10)가 기준 요소(20)를 갖는 휴대용 물체(12)와 함께 카메라(22)의 관측 영역에 진입했다는 것을 표시할 수 있는 모션 센서 또는 다른 적절한 센서가 표시를 제공할 수 있다.
프로세스 블록(214)에서, 프로세서(48)는 교정 위치(80)를 수신한다. 특히, 교정 위치(80)가 구조물(15) 상에 고정되거나 프로세서(48)에 의해 구조물(15) 상에 디스플레이될 수 있기 때문에, 교정 위치(80)는 미리 결정되고 프로세서(48)는 이러한 교정 위치(80)를 알고 있을 수 있다.
프로세스 블록(216)에서, 프로세서(48)는 휴대용 물체(12)의 기준 요소(20)의 위치를 수신한다. 예를 들어, 카메라(22)는 기준 요소(20)의 이미지(예: 카메라(22)에 의해 캡처된 화상의 제2 또는 후속 이미지)를 제공할 수 있다. 그 다음, 프로세서(48)는 2차원 평면(32) 상의 기준 요소(20)의 위치를 판정하도록 기준 요소 위치 검출 로직(52)에 지시할 수 있다.
프로세스 블록(218)에서, 프로세서(48)는 기준 요소(20)의 위치와 교정 위치(80)에 기초하여 하나 이상의 전환 인자를 결정하도록 전환 로직(56)에 지시한다. 하나 이상의 전환 인자는, 자신이 휴대용 물체(12)로 가리키고 있는 위치에 대한 사용자의 인식과 기준 요소(20)가 2차원 평면(32) 상 어느 곳에 위치하는지에 대한 카메라의 판정 사이의 차이를 보상할 수 있다. 특히, 전환 로직(56)은 단일 지점 교정 프로세스를 수행함으로써 하나 이상의 전환 인자를 결정할 수 있다. 이 프로세스는 2차원 평면(32) 상의 교정 위치를 수신하는 단계, (예컨대, 사용자(10)가 휴대용 물체(12)로 교정 위치를 가리키는 시점에 대응하는) 2차원 평면(32) 상의 기준 요소(20)의 위치를 수신하는 단계, 및 교정 위치와 기준 요소(20)의 위치 사이의 위치 차이에 기초하여 하나 이상의 전환 인자를 결정하는 단계를 포함한다.
전환 로직(56)은 이러한 차이를 이용하여 기준 요소(20)의 후속적으로 검출된 위치에 적용될 수 있는 하나 이상의 전환 인자를 생성하여, 기준 요소(20)의 후속적으로 검출된 위치를 이동시키고 사용자(10)가 휴대용 물체(12)로 가리키고자 한 위치에 대응하는 휴대용 물체(12)의 후속 투영 표적 위치를 결정할 수 있다. 전환 인자는 변환 행렬의 형태로 제공될 수 있으며, 변환 행렬은 수학식 1에서 표시된 바와 같이 기준 요소(20)의 투영 표적 위치를 생성하기 위해 기준 요소(20)의 후속적으로 검출된 위치에 적용될 수 있다.
프로세스 블록(220)에서, 프로세서(48)는 기준 요소(20)의 위치에 기초하여 사용자(10)의 신장(100)을 판정하도록 사용자 신장 추정 로직(60)에 지시한다. 프로세스 블록(222)에서, 프로세서(48)는 사용자(10)의 신장(100)에 기초하여 사용자(10)의 팔 길이(104)를 판정하도록 사용자 팔 길이 추정 로직(62)에 지시한다.
프로세스 블록(224)에서, 프로세서(48)는 사용자(10)의 팔 길이(104)에 기초하여 하나 이상의 스케일링 인자를 결정하도록 스케일링 로직(58)에 지시한다. 스케일링 로직(58)은 위에 표시된 수학식 2의 변환 행렬에서 스케일링 인자를 제공할 수 있다. 스케일링 인자는 초기 위치(예: 교정 위치(80))에 대해 기준 요소(20)의 위치를 스케일링(예: 배가(multiply))함으로써 사용자 팔 길이(104)의 차이를 보상할 수 있다.
프로세스 블록(226)에서, 프로세서(48)는 기준 요소(20)의 위치, 하나 이상의 전환 인자, 및 하나 이상의 스케일링 인자에 기초하여 휴대용 물체(12)의 투영 표적 위치를 결정하도록 변환 로직(54)에 지시한다. 특히, 변환 로직(54)은 하나 이상의 전환 인자 및 하나 이상의 스케일링 인자를 포함하는 수학식 2의 변환 행렬을 기준 요소(20)의 위치에 적용하여 투영 표적 위치를 생성할 수 있다. 즉, 투영 표적 위치는 사용자(10)가 자신이 가리키고 있거나 가리키고자 하는 것으로 인식하는 위치에 대응할 수 있다.
판정 블록(228)에서, 프로세서(48)는 투영 표적 위치가 사용자 상호작용 요소와 상관관계를 갖는지 여부를 판정한다. 사용자 상호작용 요소는 사용자 상호작용 경험을 수행하기 위한 트리거 역할을 하는 임의의 적절한 표적일 수 있다. 예를 들어, 사용자 상호작용 요소는, 사용자(10)가 휴대용 물체(12)로 가리킬 때 사용자 상호작용 경험이 수행되게 할 것으로 사용자(10)가 예상할 수 있는 임의의 관심 특징을 포함할 수 있다.
투영 표적 위치가 사용자 상호작용 요소와 상관관계를 갖는다고 프로세서(48)가 판정하면, 프로세스 블록(230)에서 프로세서(48)는 적절한 출력 장치(66)를 사용하여 각각의 사용자 상호작용 경험을 수행하도록 사용자 상호작용 시스템(42)에 지시한다. 예를 들어, 출력 장치(66)는 어트랙션의 애니메이트된 물체일 수 있고, 사용자 상호작용 시스템(42)은 애니메이트된 물체로 하여금 짖는 소리내기, 야옹 소리내기, 말하기, 움직이기, 눈 깜박이기 등을 하게 할 수 있다. 다른 예로서, 출력 장치(66)는 스피커일 수 있고, 사용자 상호작용 시스템(42)은 스피커로 하여금 소리, 음성, 음악 등을 출력하게 할 수 있다. 또 다른 예로서, 출력 장치(66)는 전자 디스플레이일 수 있고, 사용자 상호작용 시스템(42)은 전자 디스플레이로 하여금 이미지 디스플레이, 비디오 재생 등을 하게 할 수 있다.
투영 표적 위치가 사용자 상호작용 요소와 상관관계를 갖지 않는다고 프로세서(48)가 판정하면, 판정 블록(232)에서 프로세서(48)는 기준 요소(20)의 다음 위치가 수신되었는지 여부를 판정한다. 기준 요소(20)의 다음 위치가 수신되었다고 판정하면, 프로세서(48)는 프로세스 블록(226)을 반복하고, 기준 요소(20)의 다음 위치와 프로세스 블록(218, 224)으로부터 이미 결정된 전환 인자 및 스케일링 인자에 기초하여 휴대용 물체(12)의 투영 표적 위치를 결정한다.
기준 요소(20)의 다음 위치가 수신되지 않았다고 프로세서(48)가 판정하면, 프로세서(48)는 (예컨대, 다음 사용자(10)로부터) 휴대용 물체(12)를 교정하기 위한 다음 표시를 수신하기 위해 프로세스 블록(212)을 반복한다. 이러한 방식으로, 프로세스(210)는, 자신이 휴대용 물체(12)로 가리키고 있는 위치에 대한 사용자의 인식과 기준 요소(20)가 2차원 평면(32) 상 어느 곳에 위치하는지에 대한 카메라의 판정 사이의 차이뿐만 아니라 사용자 팔 길이(104)의 차이도 보상하는 단일 지점 교정을 이용하여 (예컨대, 투영 위치 결정 시스템(44)을 교정하기 위해 사용자(10)로 하여금 휴대용 물체(12)로 둘 이상의 지점을 가리킬 것을 요구함 없이) 휴대용 물체(12)의 투영 표적 위치를 결정할 수 있다.
더욱이, 투영 위치 결정 시스템(44)은 또한, 도 6에 도시된 바와 같이, 사용자의 팔 움직임의 아치형 특성(92)과 평평한 2차원 평면(32) 사이의 형상 차이에 의해 야기된 왜곡을 보상할 수 있다. 도 10은 본 개시의 실시예에 따른, 이러한 왜곡을 보상하기 위한 프로세스(240)의 흐름도이다. 프로세스(240)는, 제어기(46), 프로세서(48), 및/또는 호 왜곡 보상 로직(64)을 포함하는 투영 위치 결정 시스템(44)의 임의의 구성요소와 같은, 이러한 왜곡을 보상할 수 있는 임의의 적절한 장치에 의해 수행될 수 있다. 특정 순서의 단계를 이용하여 프로세스(240)를 서술하지만, 서술된 단계는 서술된 순서와 다른 순서로 수행될 수 있고 서술된 특정 단계는 생략되거나 아예 수행되지 않을 수 있음이 본 개시에서 고찰된다. 일부 실시예에서, 프로세스(240)는, 프로세서(48)와 같은 프로세서를 사용하여 메모리 장치(50)와 같은 유형의(tangible) 비일시적 컴퓨터 판독 가능 매체에 저장된 명령을 실행함으로써 구현될 수 있다.
도시된 바와 같이, 프로세스 블록(242)에서, 프로세서(48)는 휴대용 물체(12)의 기준 요소(20)의 위치를 수신한다. 일부 실시예에서, 프로세서(48)는 휴대용 물체(12)의 투영 표적 위치를 수신할 수 있다.
프로세스 블록(244)에서, 프로세서(48)는 기준 요소(20)의 위치 및 제1 다항식에 기초하여 수평 오프셋을 결정한다. 특히, 프로세서(48)는 휴대용 물체(12)의 투영 표적 위치를 수신하거나, 도 9의 프로세스(210)를 사용하여 투영 표적 위치를 결정할 수 있다. 그 다음, 프로세서(48)는 수평 오프셋을 결정하기 위해 휴대용 물체(12)의 투영 표적 위치에 다항의 수학식 3 또는 수학식 4를 적용하도록 호 왜곡 보상 로직(64)에 지시할 수 있다.
프로세스 블록(246)에서, 프로세서(48)는 기준 요소(20)의 위치 및 제2 다항식에 기초하여 수직 오프셋을 결정한다. 특히, 프로세서(48)는 수직 오프셋을 결정하기 위해 휴대용 물체(12)의 투영 표적 위치에 다항의 수학식 5 또는 수학식 6을 적용하도록 호 왜곡 보상 로직(64)에 지시할 수 있다.
프로세스 블록(248)에서, 프로세서(48)는 기준 요소(20)의 위치, 수평 오프셋, 및 수직 오프셋에 기초하여 휴대용 물체(12)의 투영 표적 위치를 결정한다. 특히, 프로세서(48)는, 투영 표적 위치를 생성하기 위해 투영 표적 위치의 수평 성분(예: x 좌표)에 수평 오프셋을 적용(예: 추가)하고, 투영 표적 위치의 수직 성분(예: y 좌표)에 수직 오프셋을 적용(예: 추가)하도록 호 왜곡 보상 로직(64)에 지시할 수 있다.
일부 실시예에서, 사용자의 팔 움직임의 아치형 특성(92)과 평평한 2차원 평면(32) 사이의 형상 차이를 보다 효율적으로 보상하기 위해, 호 왜곡 보상 로직(64)은 기준 요소(20)가 위치될 수 있는 호(92)를 다수의 기준 요소 영역으로 분할할 수 있고, 각각의 기준 요소 영역은 (예컨대, 2차원 평면 상에 투영된) 각각의 투영 표적 영역에 대응할 수 있다. 각각의 투영 표적 영역은 그 투영 표적 영역에 적용 가능한 왜곡을 정확하게 보상할 수 있는 각각의 다항식의 세트에 대응할 수 있다. 이와 같이, 카메라(22)는 기준 요소 영역에서 기준 요소(20)를 검출할 수 있고, 호 왜곡 보상 로직(64)은 기준 요소 영역에 대응하는 각각의 투영 표적 영역을 결정할 수 있으며, 호 왜곡 보상 로직(64)은 각각의 투영 표적 영역에 대응하는 각각의 다항식의 세트를 기준 요소의 위치에 적용하여, 이러한 왜곡을 보상하기 위해 기준 요소의 위치에 적용될 하나 이상의 오프셋을 결정할 수 있다. 이러한 실시예에서, 도 7에 도시된 바와 같이, 다수의 기준 요소 영역이 상이한 크기일 때(예: 기준 요소 영역이 2차원 평면(32)으로부터 멀어질수록 기준 요소 영역의 크기가 감소함) 다수의 투영 표적 영역은 동일한 크기이거나, 도 8에 도시된 바와 같이, 다수의 기준 요소 영역이 동일한 크기일 때 다수의 투영 표적 영역은 상이한 크기일 수 있다(예: 투영 표적 영역이 기준 요소(20)로부터 멀어질수록 투영 표적 영역의 크기가 증가함).
이러한 방식으로, 프로세스(240)는 사용자의 팔 움직임의 아치형 특성(92)과 평평한 2차원 평면(32)을 보상할 수 있다. 또한, 자신이 휴대용 물체(12)로 가리키고 있는 위치에 대한 사용자의 인식과 기준 요소(20)가 2차원 평면(32) 상 어느 곳에 위치하는지에 대한 카메라의 판정 사이의 차이, 사용자 팔 길이(104)의 차이, 및 사용자의 팔 움직임의 아치형 특성(92)과 평평한 2차원 평면(32) 사이의 형상 차이를 보상하기 위해, 도 10의 프로세스(240)는 도 9의 프로세스(210)의 이전, 이후, 또는 그 일부로서 수행될 수 있다.
본 개시에서 서술한 실시예들에 대한 다양한 수정 및 대안적 형태가 허용되지만, 본원에서는 특정 실시예들을 도면에 예시적으로 도시하였고 본 명세서에서 상세하게 기술하였다. 이는 본 개시내용을 특정 형태로 제한하기 위한 것이 아님을 분명히 할 필요가 있다. 본 개시내용은 첨부되는 청구항들에 의해 정의된 본 개시내용의 사상 및 범위에 포함되는 모든 수정, 균등물 및 대안물을 포괄한다.
본 명세서에서 설명하고 청구하는 기술은 현재 기술 분야를 명백하게 개선하는 물질적 대상과 실제적 성격의 구체적 예들을 참조하고 이들에 적용되며, 따라서 단지 추상적이거나 무형적이거나 순수 이론적인 것이 아니다. 또한, 본 명세서의 마지막 부분에 첨부된 청구항이 “[기능]을 [수행]하기 위한 수단...” 또는 “[기능]을 [수행]하기 위한 단계..."로 지정되는 하나 이상의 구성요소를 포함하는 경우, 그러한 구성요소는 35 U.S.C. § 112(f)에 따라 해석되어야 한다. 이와는 다른 방식으로 지정된 구성요소들을 포함하는 청구항의 경우, 해당 구성요소는 35 U.S.C. § 112(f)에 따라 해석되어서는 안 된다.

Claims (23)

  1. 테마파크 어트랙션(attraction) 시스템으로서,
    사용자 상호작용 시스템과,
    상기 사용자 상호작용 시스템에 통신 가능하게 결합된 투영 위치(projected location) 결정 시스템을 포함하되,
    상기 사용자 상호작용 시스템은,
    2차원 평면 상의 휴대용 물체(handheld object)의 기준 요소의 화상(imagery)을 캡처하도록 구성된 카메라, 및
    사용자 상호작용형 경험을 출력하도록 구성된 출력 장치를 포함하고,
    상기 투영 위치 결정 시스템은,
    상기 화상에 캡처된 상기 2차원 평면 상의 상기 기준 요소의 초기 위치와 교정 위치 사이의 위치 차이를 나타내는 하나 이상의 전환 인자(translation factors)를 결정하도록 구성된 전환 로직(translation logic),
    상기 화상에 기초하여 사용자의 팔 길이와 상관관계를 갖는 하나 이상의 스케일링 인자(scaling factors)를 결정하도록 구성된 스케일링 로직(scaling logic), 및
    프로세서 및 메모리를 갖는 제어기를 포함하되, 상기 메모리는 기계 판독 가능 명령어를 저장하고, 상기 기계 판독 가능 명령어는 상기 프로세서로 하여금,
    상기 화상에 캡처된 상기 2차원 평면 상의 상기 기준 요소의 위치를 판정하고,
    상기 기준 요소의 상기 위치, 상기 하나 이상의 전환 인자, 및 상기 하나 이상의 스케일링 인자에 기초하여 상기 휴대용 물체의 투영 표적 위치를 결정하며,
    상기 투영 표적 위치가 표적 위치에 대응한다는 판정에 응답하여 상기 사용자 상호작용형 경험을 출력하도록 상기 출력 장치에 지시하게 하도록 구성되는,
    테마파크 어트랙션 시스템.
  2. 제1항에 있어서,
    상기 전환 로직은 상기 화상의 제1 이미지에 기초하여 상기 하나 이상의 전환 인자 및 상기 하나 이상의 스케일링 인자를 결정하도록 구성되는,
    테마파크 어트랙션 시스템.
  3. 제2항에 있어서,
    상기 기계 판독 가능 명령어는, 상기 프로세서로 하여금 상기 화상의 제2 이미지에 기초하여 상기 기준 요소의 상기 위치를 판정하게 하도록 구성되는,
    테마파크 어트랙션 시스템.
  4. 제1항에 있어서,
    상기 하나 이상의 전환 인자는, 3차원 공간에서 상기 휴대용 물체가 가리키고 있는 위치에 대한 사용자 인식과 상기 2차원 평면 내의 상기 기준 요소의 대응하는 위치 사이의 차이를 보상하도록 구성되는,
    테마파크 어트랙션 시스템.
  5. 제1항에 있어서,
    상기 하나 이상의 스케일링 인자는 사용자 팔 길이의 차이를 보상하도록 구성되는,
    테마파크 어트랙션 시스템.
  6. 제1항에 있어서,
    상기 스케일링 로직은 상기 2차원 평면 상의 상기 기준 요소의 상기 위치에 기초하여 상기 하나 이상의 스케일링 인자를 결정하도록 구성되는,
    테마파크 어트랙션 시스템.
  7. 공개되지 않음
  8. 제1항에 있어서,
    상기 스케일링 로직은, 상기 2차원 평면 상의 상기 기준 요소의 상기 위치에 기초하여 사용자 신장(height)을 판정하고,
    상기 사용자 신장에 기초하여 상기 사용자 팔 길이를 판정하도록 구성되는,
    테마파크 어트랙션 시스템.
  9. 제1항에 있어서,
    상기 투영 표적 위치 및 하나 이상의 다항식에 기초하여 하나 이상의 오프셋(offsets)을 결정하고,
    상기 하나 이상의 오프셋을 상기 투영 표적 위치에 적용하도록 구성된
    호(arc) 왜곡 보상 로직을 포함하되,
    상기 기계 판독 가능 명령어는, 상기 프로세서로 하여금, 상기 투영 표적 위치에 상기 하나 이상의 오프셋을 적용한 후 상기 투영 표적 위치가 상기 2차원 평면 상의 표적 위치에 대응한다는 판정에 응답하여, 상기 사용자 상호작용형 경험을 출력하도록 상기 출력 장치에 지시하게 하도록 구성되는,
    테마파크 어트랙션 시스템.
  10. 제9항에 있어서,
    상기 하나 이상의 오프셋은 사용자의 팔 움직임의 아치형 특성과 상기 2차원 평면 사이의 형상 차이를 보상하도록 구성되는,
    테마파크 어트랙션 시스템.
  11. 제9항에 있어서,
    하나 이상의 다항식은 차수가 3차인,
    테마파크 어트랙션 시스템.
  12. 상호작용형 경험을 위한 표적 추적 시스템으로서, 상기 표적 추적 시스템은,
    2차원 평면 상에 표시된 교정 위치와 상기 2차원 평면 상의 상기 교정 위치를 가리킬 때 제1 이미지의 휴대용 물체(handheld object)의 기준 요소의 초기 위치 사이의 위치 차이를 나타내는 하나 이상의 전환 인자(translation factors)를 결정하도록 구성된 전환 로직(translation logic),
    상기 제1 이미지에 기초하여 사용자 팔 길이와 상관관계를 갖는 하나 이상의 스케일링 인자(scaling factors)를 결정하도록 구성된 스케일링 로직(scaling logic), 및
    프로세서 및 기계 판독 가능 명령어를 저장하는 메모리를 갖는 제어기를 포함하되, 상기 기계 판독 가능 명령어는 상기 프로세서로 하여금,
    상기 2차원 평면 상에서 제2 이미지의 상기 기준 요소의 위치를 판정하고,
    상기 기준 요소의 상기 위치, 상기 하나 이상의 전환 인자, 및 상기 하나 이상의 스케일링 인자에 기초하여 상기 휴대용 물체의 투영 표적 위치를 결정하며,
    상기 투영 표적 위치가 표적 위치에 대응한다는 판정에 응답하여 사용자 상호작용형 경험을 출력하게 하도록 구성되는,
    상호작용형 경험을 위한 표적 추적 시스템.
  13. 제12항에 있어서,
    상기 기계 판독 가능 명령어는, 상기 프로세서로 하여금, 상기 하나 이상의 전환 인자 및 상기 하나 이상의 스케일링 인자를 포함하는 변환 행렬을 결정하게 하도록 구성되는,
    상호작용형 경험을 위한 표적 추적 시스템.
  14. 제13항에 있어서,
    상기 기계 판독 가능 명령어는, 상기 프로세서로 하여금, 상기 기준 요소의 상기 위치에 상기 변환 행렬을 적용함으로써 상기 휴대용 물체의 상기 투영 표적 위치를 결정하게 하도록 구성되는,
    상호작용형 경험을 위한 표적 추적 시스템.
  15. 제12항에 있어서,
    상기 하나 이상의 전환 인자는 수평 성분을 포함하고, 상기 기계 판독 가능 명령어는 상기 프로세서로 하여금 상기 교정 위치와 상기 기준 요소의 상기 초기 위치 사이의 수평 차이에 기초하여 상기 수평 성분을 결정하게 하도록 구성되는,
    상호작용형 경험을 위한 표적 추적 시스템.
  16. 제15항에 있어서,
    상기 하나 이상의 전환 인자는 수직 성분을 포함하고, 상기 기계 판독 가능 명령어는 상기 프로세서로 하여금 상기 교정 위치와 상기 기준 요소의 상기 초기 위치 사이의 수직 차이에 기초하여 상기 수직 성분을 결정하게 하도록 구성되는,
    상호작용형 경험을 위한 표적 추적 시스템.
  17. 제12항에 있어서,
    상기 하나 이상의 스케일링 인자는 수평 성분을 포함하고, 상기 기계 판독 가능 명령어는 상기 프로세서로 하여금 상기 사용자 팔 길이에 기초하여 상기 수평 성분을 결정하게 하도록 구성되는,
    상호작용형 경험을 위한 표적 추적 시스템.
  18. 제17항에 있어서,
    상기 하나 이상의 스케일링 인자는 수직 성분을 포함하고, 상기 기계 판독 가능 명령어는 상기 프로세서로 하여금 상기 사용자 팔 길이에 기초하여 상기 수직 성분을 결정하게 하도록 구성되는,
    상호작용형 경험을 위한 표적 추적 시스템.
  19. 상호작용형 경험을 제공하는 방법으로서,
    2차원 평면 상의 교정 위치를 수신하는 단계,
    화상(imagery)에 캡처된 상기 2차원 평면 상의 휴대용 물체(handheld object)의 기준 요소의 초기 위치를 수신하는 단계,
    상기 교정 위치 및 상기 기준 요소의 상기 초기 위치에 기초하여 하나 이상의 전환 인자(translation factors)를 결정하는 단계,
    상기 기준 요소의 상기 초기 위치에 기초하여 하나 이상의 스케일링 인자(scaling factors)를 결정하는 단계,
    상기 화상에서 캡처된 상기 2차원 평면 상의 상기 기준 요소의 위치를 판정하는 단계,
    상기 기준 요소의 상기 위치, 상기 하나 이상의 전환 인자, 및 상기 하나 이상의 스케일링 인자에 기초하여 상기 휴대용 물체의 투영 표적 위치(projected target location)를 결정하는 단계, 및
    상기 투영 표적 위치가 표적 위치에 대응한다는 판정에 응답하여 사용자 상호작용형 경험을 출력하는 단계를 포함하는,
    상호작용형 경험을 제공하는 방법.
  20. 제19항에 있어서,
    상기 하나 이상의 전환 인자를 결정하는 단계는 상기 2차원 평면 상의 상기 기준 요소의 상기 초기 위치와 상기 교정 위치 사이의 차이에 기초하는,
    상호작용형 경험을 제공하는 방법.
  21. 제19항에 있어서,
    상기 기준 요소의 상기 초기 위치에 기초하여 사용자 신장(height)을 판정하는 단계를 포함하는,
    상호작용형 경험을 제공하는 방법.
  22. 제21항에 있어서,
    상기 사용자 신장에 기초하여 사용자 팔 길이를 판정하는 단계를 포함하는,
    상호작용형 경험을 제공하는 방법.
  23. 제22항에 있어서,
    상기 하나 이상의 스케일링 인자를 결정하는 단계는 상기 사용자 신장에 기초하는,
    상호작용형 경험을 제공하는 방법.
KR1020227013546A 2019-09-25 2020-09-21 휴대용 물체의 투영 표적 위치를 결정하기 위한 시스템 및 방법 KR20220066156A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962905901P 2019-09-25 2019-09-25
US62/905,901 2019-09-25
US16/749,865 2020-01-22
US16/749,865 US11100790B2 (en) 2019-09-25 2020-01-22 Systems and methods for determining projected target location of a handheld object
PCT/US2020/051843 WO2021061572A1 (en) 2019-09-25 2020-09-21 Systems and methods for determining projected target location of a handheld object

Publications (1)

Publication Number Publication Date
KR20220066156A true KR20220066156A (ko) 2022-05-23

Family

ID=74881094

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227013546A KR20220066156A (ko) 2019-09-25 2020-09-21 휴대용 물체의 투영 표적 위치를 결정하기 위한 시스템 및 방법

Country Status (7)

Country Link
US (3) US11100790B2 (ko)
EP (1) EP4034271A1 (ko)
JP (1) JP2022550739A (ko)
KR (1) KR20220066156A (ko)
CN (1) CN114466685A (ko)
CA (1) CA3150640A1 (ko)
WO (1) WO2021061572A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102225342B1 (ko) * 2019-02-13 2021-03-09 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11100790B2 (en) * 2019-09-25 2021-08-24 Universal City Studios Llc Systems and methods for determining projected target location of a handheld object
US20230278488A1 (en) * 2022-03-02 2023-09-07 Jill Lenore Morgan Device and Method for Locating a Parked Vehicle

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US6761637B2 (en) * 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7854655B2 (en) * 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US20100199228A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US8487871B2 (en) 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
CA2798148A1 (en) 2010-05-04 2011-11-10 Timocco Ltd. System and method for tracking and mapping an object to a target
US10134267B2 (en) 2013-02-22 2018-11-20 Universal City Studios Llc System and method for tracking a passive wand and actuating an effect based on a detected wand path
CN103247031B (zh) 2013-04-19 2016-03-09 华为技术有限公司 一种畸变图像校正的方法、终端及系统
KR101332741B1 (ko) 2013-04-23 2013-11-25 (주) 에핀 아케이드 건 인터렉션 시스템
WO2015008164A2 (en) 2013-06-27 2015-01-22 Eyesight Mobile Technologies Ltd. Systems and methods of direct pointing detection for interaction with a digital device
US9463379B1 (en) 2013-12-17 2016-10-11 Thinkwell Group Ride vehicle mounted interactive game system
US10269257B1 (en) 2015-08-11 2019-04-23 Gopro, Inc. Systems and methods for vehicle guidance
US11100790B2 (en) * 2019-09-25 2021-08-24 Universal City Studios Llc Systems and methods for determining projected target location of a handheld object

Also Published As

Publication number Publication date
CN114466685A (zh) 2022-05-10
US20210327259A1 (en) 2021-10-21
US11100790B2 (en) 2021-08-24
WO2021061572A1 (en) 2021-04-01
JP2022550739A (ja) 2022-12-05
US20210090429A1 (en) 2021-03-25
US20220327916A1 (en) 2022-10-13
US11663906B2 (en) 2023-05-30
CA3150640A1 (en) 2021-04-01
US11436916B2 (en) 2022-09-06
EP4034271A1 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
KR20220066156A (ko) 휴대용 물체의 투영 표적 위치를 결정하기 위한 시스템 및 방법
US10733801B2 (en) Markerless image analysis for augmented reality
CN112527102B (zh) 头戴式一体机系统及其6DoF追踪方法和装置
Nakazawa et al. Point of gaze estimation through corneal surface reflection in an active illumination environment
US8957856B2 (en) Systems, methods, and apparatuses for spatial input associated with a display
US20130229396A1 (en) Surface aware, object aware, and image aware handheld projector
US10326894B1 (en) Self stabilizing projector
KR20230028532A (ko) 가상 현실 경험들을 위한 지상 실측값 데이터세트들의 생성
US20150015732A1 (en) Apparatus, system and method for projecting images onto predefined portions of objects
US10838515B1 (en) Tracking using controller cameras
CN105184268B (zh) 手势识别设备、手势识别方法及虚拟现实系统
US20130069939A1 (en) Character image processing apparatus and method for footskate cleanup in real time animation
CN107066095B (zh) 一种信息处理方法及电子设备
CN113412612A (zh) 信息处理装置、信息处理方法和记录介质
US10222878B2 (en) Information handling system virtual laser pointer
Kim et al. Real‐Time Human Shadow Removal in a Front Projection System
US10403002B2 (en) Method and system for transforming between physical images and virtual images
JP2016197192A (ja) プロジェクションシステムと映像投影方法
Gacem et al. Finding objects faster in dense environments using a projection augmented robotic arm
Li et al. Handheld pose tracking using vision-inertial sensors with occlusion handling
US20240169582A1 (en) Scenario triggering and interaction based on target positioning and identification
WO2015156068A1 (ja) 画像処理装置及び画像処理方法
Ercan A 3D Topological tracking system for augmented reality
Siriborvornratanakul et al. ipProjector: Designs and Techniques for Geometry‐Based Interactive Applications Using a Portable Projector
Bergamasco et al. A practical setup for projection-based augmented maps