KR20230054725A - 측위 및 추적 방법 및 플랫폼, 헤드 마운트 디스플레이 시스템 및 컴퓨터 판독가능 저장 매체 - Google Patents

측위 및 추적 방법 및 플랫폼, 헤드 마운트 디스플레이 시스템 및 컴퓨터 판독가능 저장 매체 Download PDF

Info

Publication number
KR20230054725A
KR20230054725A KR1020237010259A KR20237010259A KR20230054725A KR 20230054725 A KR20230054725 A KR 20230054725A KR 1020237010259 A KR1020237010259 A KR 1020237010259A KR 20237010259 A KR20237010259 A KR 20237010259A KR 20230054725 A KR20230054725 A KR 20230054725A
Authority
KR
South Korea
Prior art keywords
mounted display
images
display device
head mounted
information
Prior art date
Application number
KR1020237010259A
Other languages
English (en)
Inventor
타오 우
Original Assignee
칭다오 피코 테크놀로지 씨오., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 칭다오 피코 테크놀로지 씨오., 엘티디. filed Critical 칭다오 피코 테크놀로지 씨오., 엘티디.
Publication of KR20230054725A publication Critical patent/KR20230054725A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 실시예는 측위 및 추적 방법, 측위 및 추적 플랫폼, 헤드 마운트 디스플레이 시스템 및 컴퓨터 판독가능 저장 매체를 제공한다. 이 방법은, 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제1 노출 기간으로 수집되는 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집된 짝수 프레임의 하나 이상의 이미지가 획득되고, 적어도 짝수 프레임의 하나 이상의 이미지는 게임패드 상에 배치된 복수의 발광체에 대응하는 블롭을 포함하고, 게임패드는 헤드 마운트 디스플레이 장치와 통신 연결되고(S201); 헤드 마운트 디스플레이 장치의 자유도(DoF) 정보는 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치의 자세 정보에 따라 결정되고(S202); 및 게임패드의 DoF 정보는 짝수 프레임의 하나 이상의 이미지, 게임패드의 자세 정보 및 헤드 마운트 디스플레이 장치의 DoF 정보에 따라 결정된다(S203).

Description

측위 및 추적 방법 및 플랫폼, 헤드 마운트 디스플레이 시스템 및 컴퓨터 판독가능 저장 매체
본 발명의 실시예는 비디오 처리 기술 분야에 관한 것으로, 특히 측위(localization) 및 추적 방법(tracking method), 측위 및 추적 플랫폼(tracking platform), 헤드 마운트 디스플레이 시스템(head-mounted display system) 및 컴퓨터 판독가능 저장 매체(computer-readable storage medium)에 관한 것이다.
이 출원은 2020년 9월 16일에 중국 특허청(CNIPA)에 제출되고 제목이 "측위 및 추적 방법 및 플랫폼, 헤드 마운트 디스플레이 시스템(Localization and Tracking Method and Platform, and Head-Mounted Display System)"인 중국 특허 출원 번호 202010974857.9의 우선권을 주장하고, 이 개시내용은 그 전체가 참고로 여기에 포함된다.
측위(localization)(포지셔닝(positioning)이라고도 함) 기술은 가상 현실(Virtual Reality)(VR), 증강 현실(Augmented Reality)(AR) 및 혼합 현실(Mixed Reality)(MR)과 같은 분야에 널리 적용되어 왔으며 인간-기계 상호 작용(man-machine interaction)의 중요한 부분이다.
현재, 게임패드(gamepad)의 추적을 실현할 때, 게임패드의 측위 및 추적을 실현하기 위해 일반적으로 전자기 센서(electromagnetic sensor) 또는 초음파 센서(ultrasonic sensor)가 게임패드에 배치되어야 한다. 맨손 추적(bare-hand tracking)을 구현하려면 헤드 마운트 디스플레이 장치(head-mounted display device)에 적외선 카메라(infrared camera) 또는 깊이 카메라(depth camera)를 추가해야 한다. 이를 바탕으로 헤드 마운트 디스플레이 장치, 게임패드, 맨손의 측위 및 추적은 동일한 카메라에 기초하여 구현될 수 없으며, 높은 소비전력, 낮은 안정성, 사용시 높은 비용 등의 문제가 있다.
따라서 헤드 마운트 디스플레이 장치와 게임패드의 동기화 추적(synchronous tracking)을 실현하기 위해서는 측위 및 추적 솔루션이 필요하다.
본 발명의 실시예는 헤드 마운트 디스플레이 장치(head-mounted display device) 및 게임패드의 동기화 추적(synchronous tracking)의 기술 솔루션을 제공한다.
본 개시 내용의 실시예의 제1 측면에 따르면, 다음의 동작을 포함하는 측위 및 추적 방법이 제공된다.
헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제1 노출 기간으로 수집되는 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집된 짝수 프레임의 하나 이상의 이미지가 획득되고, 짝수 프레임의 하나 이상의 이미지는 적어도 게임패드 상에 배치된 복수의 발광체(luminous bodies)에 대응하는 블롭(blobs)을 포함하고, 게임패드는 헤드 마운트 디스플레이 장치와 통신 연결된다.
헤드 마운트 디스플레이 장치의 자유도(Degree of Freedom)(DoF) 정보는 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치의 자세 정보에 따라 결정된다.
게임패드의 DoF 정보는 짝수 프레임의 하나 이상의 이미지, 게임패드의 자세 정보(attitude information) 및 헤드 마운트 디스플레이 장치의 DoF 정보에 따라 결정된다.
적어도 하나의 실시예에서, 미리 설정된 제2 노출 기간(preset second exposure duration)은 제1 노출 기간(preset first exposure duration)보다 짧다.
적어도 하나의 예시적인 실시예에서, 제1 노출 기간은 주변 광(ambient light)의 강도(intensity)에 따라 적응적(adaptively)으로 조정(adjust)된다.
적어도 하나의 예시적인 실시예에서, 적어도 2개의 추적 카메라(tracking camera)가 헤드 마운트 디스플레이 장치 상에 배치되고, 각각의 추적 카메라의 노출 기간은 동일한 중심점(center point)을 갖는다.
적어도 하나의 예시적인 실시예에서, 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제1 노출 기간으로 수집되는 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집된 짝수 프레임의 하나 이상의 이미지는 다음 동작을 포함한다.
홀수 프레임의 복수의 이미지는, 적어도 2개의 추적 카메라에 의해 미리 설정된 제1 노출 기간으로 수집되며, 홀수 프레임의 각 이미지는 각각의 추적 카메라에 대응하고; 짝수 프레임의 복수의 이미지는, 적어도 2개의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집되며, 짝수 프레임의 각 이미지는 각각의 추적 카메라에 대응한다.
적어도 하나의 예시적인 실시예에서, 방법은 다음의 동작을 더 포함할 수 있다.
헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 짝수 프레임의 하나 이상의 이미지가 수집될 때, 미리 설정된 조명 기간에 따라, 게임패드의 발광체가 켜지도록 제어되고, 미리 설정된 조명 기간(lighting duration)의 중간 시간(middle time)은 미리 설정된 제2 노출 기간의 중간 시간에 대응한다.
적어도 하나의 예시적인 실시예에서, 미리 설정된 조명 기간은 미리 설정된 제2 노출 기간보다 크거나 같다.
적어도 하나의 실시예에서, 헤드 마운트 디스플레이 장치의 DoF 정보가 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치의 자세 정보에 따라 결정되는 동작은 다음 동작을 포함한다.
계산은, 헤드 마운트 디스플레이 장치의 병진 운동(translational movement)의 DoF를 획득하기 위해, 홀수 프레임의 하나 이상의 이미지에서 공간 구조 정보에 따라 동시 측위 및 매핑(Simultaneous Localization and Mapping)(SLAM) 알고리즘에 의해 수행된다.
헤드 마운트 디스플레이 장치의 회전 운동(rotational movement)의 DoF는 헤드 마운트 디스플레이 장치에 통합된 제1 관성 측정 유닛(IMU)(first Inertial Measurement Unit)에 의해 수집되는 헤드 마운트 디스플레이 장치의 자세 정보에 따라 획득된다.
헤드 마운트 디스플레이 장치의 DoF 정보는 병진 운동의 Dof와 회전 운동의 Dof에 기초하여 결정된다.
적어도 하나의 예시적인 실시예에서, 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치의 자세 정보에 따라 헤드 마운트 디스플레이 장치의 DoF 정보가 결정되는 동작 이후에, 방법은 다음 동작을 더 포함할 수 있다.
헤드 마운트 디스플레이 장치의 고주파 DoF 정보(high-frequency DoF information)를 획득하기 위해 헤드 마운트 디스플레이 장치의 자세 정보를 참조하여 헤드 마운트 디스플레이 장치의 DoF 정보에 대해 사전 통합(Pre-integration)이 수행된다.
적어도 하나의 실시예에서, 짝수 프레임의 하나 이상의 이미지, 게임패드의 자세 정보 및 헤드 마운트 디스플레이 장치의 DoF 정보에 따라 게임패드의 DoF 정보를 결정하는 동작은 다음과 같은 동작을 포함한다.
블롭 검출은 짝수 프레임의 하나 이상의 이미지에서 모든 블롭의 위치 정보(position information)를 결정하기 위해 짝수 프레임의 하나 이상의 이미지에서 수행된다.
짝수 프레임의 하나 이상의 이미지의 블롭에 대응하는 게임패드 상의 발광체의 3차원 좌표는 짝수 프레임의 하나 이상의 이미지의 모든 블롭의 위치 정보에 따라 결정된다.
게임패드의 DoF 정보는 짝수 프레임의 하나 이상의 이미지에서 블롭에 대응하는 게임패드의 발광체의 3차원 좌표, 게임패드의 자세 정보 및 헤드 마운트 디스플레이 장치의 DoF 정보에 따라 결정된다.
적어도 하나의 실시예에서, 블롭 검출이 짝수 프레임의 하나 이상의 이미지에서 모든 블롭의 위치 정보를 결정하기 위해 짝수 프레임의 적어도 하나의 이미지에서 수행되는 동작은 다음 동작을 포함한다.
블롭 검출은 짝수 프레임의 하나 이상의 이미지 각각에서 모든 블롭의 위치 정보를 결정하기 위해 하나 이상의 추적 카메라에 의해 수집된 짝수 프레임의 하나 이상의 이미지 각각에 대해 수행되고, 여기서 위치 정보는 모든 블롭 중 적어도 4개의 블롭의 위치 정보를 포함한다.
짝수 프레임의 하나 이상의 이미지의 블롭과 게임패드의 발광체 사이의 대응관계(correspondence)는 짝수 프레임의 하나 이상의 이미지의 각 블롭의 분포 규칙(distribution rule)에 따라 결정된다.
게임패드의 대응하는 발광체의 3차원 좌표는 게임패드의 대응하는 발광체의 2차원 좌표에 기초하여 결정된다.
적어도 하나의 예시적인 실시예에서, 게임패드의 DoF 정보가 짝수 프레임의 하나 이상의 이미지에서 블롭에 대응하는 게임패드의 발광체의 3차원 좌표, 게임패드의 자세 정보 및 헤드 마운트 디스플레이 장치의 DoF 정보에 따라 결정되는 동작은 다음 동작을 포함한다.
병진 운동의 DoF는 짝수 프레임의 하나 이상의 이미지에서 블롭에 대응하는 게임패드의 발광체의 3차원 좌표에 따라 결정된다.
게임패드의 회전 운동의 Dof는 게임패드의 자세 정보에 따라 결정된다.
게임패드의 DoF 정보는 병진 운동의 Dof와 회전 운동의 Dof에 따라 결정된다.
헤드 마운트 디스플레이 장치의 DoF 정보에 따라 게임패드의 DoF 정보에 좌표 변환(Coordinate transformation)이 수행된다.
적어도 하나의 예시적인 실시예에서, 게임패드의 DoF 정보가 짝수 프레임의 하나 이상의 이미지에서 블롭에 대응하는 게임패드의 발광체의 3차원 좌표, 게임패드의 자세 정보 및 헤드 마운트 디스플레이 장치의 DoF 정보에 따라 결정되는 동작 이후에, 방법은 다음 동작을 더 포함한다.
게임패드의 고주파 DoF 정보를 획득하기 위해 게임패드의 자세 정보를 참조하여 게임패드의 DoF 정보에 대해 사전 통합이 수행된다.
적어도 하나의 실시예에서, 적어도 홀수 프레임의 하나 이상의 이미지는 손(hand) 또는 손들을 포함하며, 방법은 다음의 동작을 더 포함할 수 있다.
홀수 프레임의 하나 이상의 이미지에 따라 손(hand) 또는 손들(hands)의 DoF 정보가 결정된다.
적어도 하나의 실시예에서, 홀수 프레임의 하나 이상의 이미지에 따라 손 또는 손들의 DoF 정보를 결정하는 동작은 다음과 같은 동작을 포함한다.
홀수 프레임의 하나 이상의 이미지는 손 또는 손들의 복수의 주요 지점(key point)의 위치를 획득하기 위해 미리 설정된 컨볼루셔널 신경망 모델(preset convolutional neural network model)에 입력된다.
손 또는 손들의 DoF 정보는 손 또는 손들의 복수의 주요 지점의 위치에 따라 결정된다.
적어도 하나의 실시예에서, 상기 방법은 미리 설정된 컨볼루셔널 신경망 모델을 학습시키는 다음의 단계를 더 포함할 수 있다.
여러 시나리오 이미지가 수집되며 시나리오 이미지에는 손 또는 손들이 포함된다.
복수의 시나리오 이미지(scenario images)에서 복수의 손 또는 손들의 주요 지점의 위치가 마킹되고, 복수의 마킹된 시나리오 이미지로 이미지 훈련 샘플 세트(image training sample set)가 형성된다.
컨볼루셔널 신경망 모델은 이미지 훈련 샘플 세트에 따라 훈련된다.
본 개시 내용의 실시예의 제2 측면에 따르면, 이미지 획득 모듈(image acquisition module), 측위 및 추적 모듈(localization and tracking platform), 측위 및 추적 모듈을 포함하는, 측위 및 추적 플랫폼이 제공된다.
이미지 획득 모듈은 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제1 노출 기간으로 수집되는 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집된 짝수 프레임의 하나 이상의 이미지를 획득하도록 구성되고, 짝수 프레임의 하나 이상의 이미지는 적어도, 게임패드 상에 배치된 복수의 발광체(luminous bodies)에 대응하는 블롭(blobs)을 포함하고, 게임패드는 헤드 마운트 디스플레이 장치와 통신 연결된다.
측위 및 추적 모듈은 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치의 자세 정보에 따라 헤드 마운트 디스플레이 장치의 DoF 정보를 결정하도록 구성된다.
측위 및 추적 모듈은 짝수 프레임의 하나 이상의 이미지, 게임패드의 자세 정보 및 헤드 마운트 디스플레이 장치의 DoF 정보에 따라 게임패드의 DoF 정보를 결정하도록 더 구성된다.
또는, 측위 및 추적 플랫폼은 프로세서 및 메모리를 포함하고, 메모리는 컴퓨터 명령을 저장하고, 컴퓨터 명령이 프로세서에 의해 실행될 때, 프로세서는 본 개시의 실시예의 제1 측면 중 어느 하나의 방법을 수행한다.
본 발명의 실시예의 제3 측면에 따르면, 헤드 마운트 디스플레이 장치, 헤드 마운트 디스플레이 장치에 연결된 게임패드, 및 측위 및 추적 플랫폼을 포함할 수 있는 헤드 마운트 디스플레이 시스템이 제공되고, 두 개 이상의 추적 카메라가 헤드 마운트 디스플레이 장치에 배치되고, 게임패드에는 여러 개의 발광체가 제공된다.
적어도 하나의 예시적인 실시예에서, 헤드 마운트 디스플레이 장치에 배치된 각각의 추적 카메라의 노출 기간은 동일한 중심점을 갖는다.
적어도 하나의 예시적인 실시예에서, 4개의 추적 카메라가 헤드 마운트 디스플레이 장치에 배치되고, 4개의 추적 카메라는 미리 설정된 제1 위치 제약 규칙(preset first position constraint rule)에 따라 헤드 마운트 디스플레이 장치에 배치되고, 미리 설정된 제1 위치 제약 규칙은 각 추적 카메라가 시야각(FOV)에서 헤드 마운트 디스플레이 장치의 요구 사항을 충족하도록 하는 데 사용된다.
적어도 하나의 예시적인 실시예에서, 복수의 발광체가 미리 설정된 제2 위치 제약 규칙(position constraint rule)에 따라 게임패드 상에 배치되고, 미리 설정된 제2 위치 제약 규칙에 따라 배치되는 것은 다음 조건을 충족한다: 수집된 이미지에서 로컬 패턴 정보(local pattern information)의 일치(coincidence) 또는 유착(adhesion)이 추적 카메라에서 게임패드까지의 미리 설정된 거리 범위 내에서는 발생하지 않고, 적어도 4개의 발광체에 대응하는 블롭이 모든 각도에서 하나 이상의 추적 카메라에 의해 수집된 모든 이미지에 표시된다.
본 개시의 제4 측면에 따라, 컴퓨터 판독가능 저장 매체(computer-readable storage medium)가 제공된다. 컴퓨터 판독가능 저장 매체(computer-readable storage medium)는 컴퓨터 프로그램이 저장되어 있다. 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 전술한 방법 실시예 및 예시적인 실시예 중 어느 하나에 기술된 방법이 구현된다.
본 발명의 실시예에 따르면, 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제1 노출 기간으로 수집되는 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집된 짝수 프레임의 하나 이상의 이미지가 획득되고, 헤드 마운트 디스플레이 장치의 6자유도(Six Degree of Freedom)(6DoF) 정보는 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치의 자세 정보에 따라 결정되고, 게임패드의 6DoF 정보는 짝수 프레임의 하나 이상의 이미지와 게임패드의 자세 정보에 따라 결정되고, 따라서 추가 하드웨어 없이 동일한 하드웨어에 기초하여 헤드 마운트 디스플레이 장치와 게임패드의 동기화 추적이 실현되며, 따라서 헤드 마운트 디스플레이 장치의 전력 소비를 줄이고 더 나은 사용자 경험을 제공한다.
첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대한 이하의 상세한 설명을 통해 본 발명의 다른 특징 및 이점이 명확해질 것이다.
본 발명의 실시예의 기술적 해결방안을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에 사용되는 도면을 이하에 간단하게 소개한다. 아래의 도면은 본 발명의 일부 실시예를 예시할 뿐이므로 범위를 제한하는 것으로 간주되어서는 안 됨을 이해해야 한다. 당업자라면 발명의 노력 없이 이들 도면으로부터 다른 도면을 획득할 수도 있다.
도 1은 본 발명의 일부 실시예에 따른 헤드 마운트 디스플레이 시스템을 구현하는 데 적용될 수 있는 하드웨어 구성의 개략도이다.
도 2는 본 개시 내용의 일부 실시예에 따른 측위 및 추적 방법의 흐름도이다.
도 3은 본 개시의 일부 실시 예에 따른 게임패드의 개략도이다;
도 4는 본 발명의 일부 실시예에 따른 측위 및 추적 플랫폼의 구조적 블록도이다.
도 5는 본 발명의 일부 실시예에 따른 측위 및 추적 플랫폼의 구조 블록도이다.
이하, 첨부된 도면을 참조하여 본 개시의 다양한 실시예를 아래에서 상세히 설명한다. 달리 구체적으로 설명하지 않는 한, 이들 실시예에 기재된 구성요소 및 동작의 상대적인 배치, 수치 표현 및 수치는 본 발명의 범위를 제한하지 않는다는 점에 유의해야 한다.
적어도 하나의 예시적인 실시예에 대한 아래의 설명은 실제로는 예시일 뿐이며, 본 개시 및 그의 적용 또는 사용을 제한하는 것으로 간주되어서는 안 된다.
관련 기술 분야의 통상의 지식을 가진 자에게 알려진 기술, 방법 및 장치는 자세히 논의되지 않을 수 있지만 적절한 경우 기술, 방법 및 장치는 명세서의 일부로 간주되어야 한다.
여기에 도시되고 논의된 모든 예에서, 임의의 특정 값은 제한이 아니라 단지 예시적인 것으로 해석되어야 한다. 따라서, 예시적인 실시예들의 다른 예들은 서로 다른 값을 가질 수 있다.
다만, 이하의 도면에서 유사한 참조부호 및 문자는 유사한 항목을 지시하므로 하나의 도면에서 정의된 항목은 이하의 도면에서는 생략한다.
<하드웨어 구성>
도 1은 본 발명의 일부 실시예에 따른 헤드 마운트 디스플레이 시스템(head-mounted display system)(100)의 하드웨어 구성의 블록도이다.
도 1을 참조하면, 헤드 마운트 디스플레이 시스템(100)은 헤드 마운트 디스플레이 장치(head-mounted display device)(1000), 게임패드(gamepad)(2000) 및 측위 및 추적 플랫폼(localization and tracking platform)(3000)을 포함한다. 측위 및 추적 플랫폼(3000)은 헤드 마운트 디스플레이 장치(1000) 및 게임패드(2000)의 측위 및 추적을 실현하기 위해 각각 헤드 마운트 디스플레이 장치(1000) 및 게임패드(2000)와 통신 연결된다.
헤드 마운트 디스플레이 장치(1000)는 예를 들어, VR 장치, AR 장치, MR 장치 등일 수 있다.
일 실시예에서, 헤드 마운트 디스플레이 장치(1000)는 도 1에 도시된 바와 같이, 프로세서(processor)(1100), 메모리(memory)(1200), 인터페이스 장치(interface apparatus)(1300), 통신 장치(communication apparatus)(1400), 디스플레이 장치(display apparatus)(1500), 입력 장치(input apparatus)(1600), 오디오 장치(audio apparatus)(1700), IMU(1800), 하나 이상의 추적 카메라(tracking cameras)(1900) 등을 포함할 수 있다.
프로세서(1100)는, 예를 들면, 중앙 처리 유닛(Central Processing Unit)(CPU), 마이크로프로세서 마이크로프로그램 제어 유닛(Microprogrammed Control Unit)(MCU) 등일 수 있다. 메모리(1200)는 예를 들어, 리드 온리 메모리(Read Only Memory)(ROM), 랜덤 액세스 메모리(Random Access Memory)(RAM), 하드 디스크와 같은 비휘발성 메모리 등을 포함한다. 인터페이스 장치(1300)는 예를 들어, 직렬 버스 인터페이스(USB 인터페이스 포함), 병렬 버스 인터페이스, 고선명 멀티미디어 인터페이스(High-Definition Multimedia Interface)(HDMI) 인터페이스 등을 포함한다. 통신 장치(1400)는, 예를 들어, 유선 또는 무선 통신을 수행할 수 있다. 디스플레이 장치(1500)는 예를 들어 액정 디스플레이, 발광 다이오드(LED) 디스플레이 스크린, 터치 디스플레이 등이다. 입력 장치(1600)는 예를 들어, 터치 스크린, 모션 감지 입력(motion sensing input) 등을 포함한다. 오디오 장치(1700)는 음성 정보를 입출력하도록 구성될 수 있다. IMU(1800)는 헤드 마운트 디스플레이 장치(1000)의 자세 변화를 측정하도록 구성될 수 있다. 하나 이상의 추적 카메라(1900)는 이미지 정보를 획득하도록 구성될 수 있다. 예를 들어, 적어도 2개의 추적 카메라(1900)가 배치될 수 있다.
일 실시예에서, 하나 이상의 추적 카메라(1900) 각각은 시야각이 큰 추적 카메라일 수 있고, 예를 들어, 하나 이상의 추적 카메라(1900) 각각의 수평 FOV는 100° 내지 160° 범위이고, 하나 이상의 추적 카메라(1900) 각각의 수직 FOV 범위는 80° 내지 120°이고, 하나 이상의 추적 카메라(1900) 각각의 깊이 FOV 범위는 130° 내지 160°이고, 하나 이상의 추적 카메라(1900) 각각의 프레임 속도(frame rate)는 60Hz보다 크고, 하나 이상의 추적 카메라(1900) 각각의 해상도(resolution)는 비디오 그래픽 어레이(Video Graphics Array)(VGA) 또는 720P이고, 하나 이상의 추적 카메라(1900) 각각은 글로벌 셔터(Global Shutter)의 노출 모드를 채택하고, 가시광선 대역과 적외선 대역에 민감하다. 예를 들어, 하나 이상의 추적 카메라(1900) 각각의 모델은 OV7251 또는 OV9282이다.
도 1에는 헤드 마운트 디스플레이 장치(1000)에 대해 복수의 장치가 도시되어 있지만, 본 발명의 실시예는 장치의 일부만을 포함할 수 있다.
일 실시예에서, 게임패드(2000)는 도 1에 도시된 바와 같이, 프로세서(2100), 메모리(2200), 인터페이스 장치(2300), 통신 장치(2400), IMU(2500), 발광체(2600) 등을 포함할 수 있다.
프로세서(2100)는 예를 들어, CPU, 마이크로프로세서 MCU 등일 수 있다. 메모리(2200)는 예를 들어 ROM, RAM, 하드 디스크와 같은 비휘발성 메모리 등을 포함한다. 인터페이스 장치(2300)는 예를 들어, 직렬 버스 인터페이스(USB 인터페이스 포함), 병렬 버스 인터페이스, HDMI 인터페이스 등을 포함한다. 통신 장치(2400)는, 예를 들어, 유선 또는 무선 통신을 수행할 수 있다. IMU(2500)는 헤드 마운트 디스플레이 장치(1000)의 자세 변화를 측정하도록 구성될 수 있다. 복수의 발광체(luminous bodies)(2600)는 게임패드의 인식을 위해 배치될 수 있다. 발광체(2600)는 예를 들어 가시광선 광원 또는 LED와 같은 적외선 광원일 수 있다. 도 1의 게임패드(2000)에 대해 복수의 장치가 도시되어 있지만, 본 발명의 실시예는 장치의 일부만을 포함할 수 있다.
측위 및 추적 플랫폼(localization and tracking platform)(3000)은 예를 들어 모바일 단말기(mobile terminal)일 수 있다. 일 실시예에서, 측위 및 추적 플랫폼(3000)은 도 1에 도시된 바와 같이 프로세서(3100), 메모리(3200), 인터페이스 장치(3300), 통신 장치(3400), 디스플레이 장치(3500) 또는 입력 장치(3600)를 포함할 수 있다. 프로세서(3100)는 성능 요건을 충족하는 데스크탑 프로세서, 모바일 프로세서 등일 수 있으며, 이에 제한되지 않는다. 메모리(3200)는 예를 들어 ROM, RAM, 하드 디스크와 같은 비휘발성 메모리 등을 포함한다. 인터페이스 장치(3300)는 예를 들어, 직렬 버스 인터페이스(USB 인터페이스 포함), 병렬 버스 인터페이스, HDMI 인터페이스 등과 같은 다양한 버스 인터페이스를 포함한다. 통신 장치(3400)는, 예를 들면, 유선 또는 무선 통신을 수행할 수 있다. 디스플레이 장치(3500)는 예를 들어 액정 디스플레이, LED 디스플레이 스크린, 터치 디스플레이 등이다. 입력 장치(3600)는 예를 들어, 터치 스크린, 키보드 등을 포함할 수 있다. 다른 실시예에서, 측위 및 추적 플랫폼(3000)은 또한 스피커, 마이크 등을 포함할 수 있으며, 여기에 제한되지 않는다. 도 1에는 측위 및 추적 플랫폼(3000)에 대해 복수의 장치가 도시되어 있지만, 본 발명의 실시예는 장치 중 일부만을 포함할 수 있다. 예를 들어, 측위 및 추적 플랫폼(3000)은 메모리(3200)와 프로세서(3100)만을 포함할 수 있다.
일 실시예에서, 측위 및 추적 플랫폼(3000)의 메모리(3200)는 명령(instruction)을 저장하도록 구성되고, 명령은 프로세서(3100)가 대응하는 동작을 실행하도록 제어하는 데 사용되어, 실시예의 측위 및 추적 방법에 대한 관련 지원을 제공한다.
도 1은 헤드 마운트 디스플레이 장치(1000), 게임패드(2000) 및 측위 및 추적 플랫폼(3000)만을 도시하지만, 각각의 수를 제한하는 것을 의미하지 않는다는 것을 이해해야 한다. 헤드 마운트 디스플레이 시스템(100)은 복수의 헤드 마운트 디스플레이 장치(1000), 복수의 게임패드(2000), 및 복수의 측위 및 추적 플랫폼(3000)을 포함할 수 있다.
상기 설명에서, 당업자는 실시예에서 제공되는 솔루션에 따라 명령을 설계할 수 있다. 명령이 프로세서를 제어하여 동작하는 방법은 당업계에 잘 알려져 있으므로 여기서는 자세히 설명하지 않는다.
도 1에 도시된 헤드 마운트 디스플레이 시스템은 단지 설명을 위한 것이며, 본 발명 및 본 발명의 적용 또는 사용을 제한하려는 의도가 결코 아니다.
<방법 실시예>
도 2를 참조하여 본 발명의 일부 실시예에 따른 측위 및 추적 방법을 설명한다. 이 방법은 측위 및 추적 플랫폼에 적용되며, 측위 및 추적 플랫폼은 헤드 마운트 디스플레이 장치 및 게임패드에 각각 연결된다. 측위 및 추적 방법은 S201에서 S203까지 다음과 같은 동작을 포함한다.
S201에서, 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제1 노출 기간으로 수집되는 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집된 짝수 프레임의 하나 이상의 이미지가 획득되고, 적어도 짝수 프레임의 하나 이상의 이미지는 게임패드 상에 배치된 복수의 발광체(luminous bodies)에 대응하는 블롭(blobs)을 포함하고, 게임패드는 헤드 마운트 디스플레이 장치와 통신 연결된다.
본 개시내용의 일부 실시예에서, 이미지를 획득하는 데 사용되는 적어도 2개의 추적 카메라가 헤드 마운트 디스플레이 장치에 배치된다. 일 실시예에서, 하나 이상의 추적 카메라는 노출 기간이 다른 이미지를 수집할 수 있고, 예를 들어, 미리 설정된 제1 노출 기간으로 홀수 프레임의 이미지를 수집하고 미리 설정된 제2 노출 기간으로 짝수 프레임의 이미지를 수집한다. 두 개 이상의 추적 카메라가 동시에 수집하고, 즉, 각 추적 카메라의 노출 기간은 동일한 중심점을 갖는다.
보다 구체적인 예에서, 4개의 추적 카메라가 헤드 마운트 디스플레이 장치에 배치되고, 4개의 추적 카메라가 미리 설정된 제1 위치 제약 규칙에 따라 헤드 마운트 디스플레이 장치에 배치되고, 따라서 각 추적 카메라가 FOV에서 헤드 마운트 디스플레이 장치의 요구 사항을 충족하도록 한다. 본 발명의 실시예에 따르면, 헤드 마운트 디스플레이 장치와 게임패드는 4개의 추적 카메라에서 수집된 이미지를 통해 측위 및 추적을 거치므로 측위 및 추적의 견고성 및 정확도가 향상될 수 있다.
도 3을 참조하면, 게임패드(2000)에는 복수의 발광체(2600)가 배치되어 있다. 복수의 발광체는 미리 설정된 제2 위치 제약 규칙에 따라 배치되어, 카메라가 게임패드에 근접할 때 수집된 이미지에서 로컬 패턴 정보의 일치 또는 유착이 이루어지도록 하고, 적어도 4개의 발광체에 대응하는 블롭이 임의의 각도에서 하나 이상의 추적 카메라에 의해 수집된 모든 이미지에 표시되도록 보장할 수 있고, 따라서 수집된 이미지에 따라 게임패드를 배치할 수 있다. 구체적인 예에서, 복수의 발광체는 동일한 평면 상에 있지 않다. 보다 구체적인 예에서, 17개 또는 24개의 발광체가 배치된다. 발광체는 예를 들어 가시광선 광원 또는 LED와 같은 적외선 광원일 수 있다.
전술한 헤드 마운트 디스플레이 장치 및 게임패드에 기초하여, 본 개시내용의 일부 실시예에서 제공되는 측위 및 추적 방법에 의해, 헤드 마운트 디스플레이 장치의 DoF 정보는 적어도 2개의 추적 카메라에 의해 수집된 이미지 및 헤드 마운트 디스플레이 장치의 자세 정보에 따라 결정될 수 있고, 게임패드의 DoF 정보는 적어도 2개의 추적 카메라에 의해 수집된 이미지 및 게임패드의 자세 정보에 따라 결정될 수 있다.
본 발명의 일부 실시예에서, 적어도 2개의 추적 카메라는 미리 설정된 제1 노출 기간과 미리 설정된 제2 노출 기간을 번갈아 가며 이미지를 수집하고, 즉, 홀수 프레임의 복수의 이미지는, 적어도 2개의 추적 카메라에 의해 미리 설정된 제1 노출 기간으로 수집되며, 각 홀수 프레임의 이미지는 각각의 추적 카메라에 대응하고; 및 짝수 프레임의 복수의 이미지는, 적어도 2개의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집되며, 각 짝수 프레임의 이미지는 각각의 추적 카메라에 대응한다. 홀수 프레임의 이미지는 헤드 마운트 디스플레이 장치의 DoF 정보를 결정하는 데 사용된다. 짝수 프레임의 이미지는 게임패드의 DoF 정보를 결정하는 데 사용된다.
추적 카메라의 노출 기간이 길수록 이미지 획득 중에 주변광에 대한 더 많은 정보를 얻을 수 있다. 실시예에서, 제1 노출 기간은 주변광에 적응적일 수 있고, 즉, 제1 노출 기간은 주변광의 강도에 따라 적응적으로 조정될 수 있다. 본 발명의 실시예에 따르면, 헤드 마운트 디스플레이 장치의 DoF 정보는 미리 설정된 제1 노출 기간으로 수집된 홀수 프레임의 하나 이상의 이미지에 따라 결정되고, 외부 환경의 더 많은 기능을 획득할 수 있고 헤드 마운트 디스플레이 장치를 추적하는 정확도가 향상될 수 있다.
일 실시예에서, 미리 설정된 제2 노출 기간은 제1 노출 기간보다 짧다. 짝수 프레임의 하나 이상의 이미지는 미리 설정된 제2 노출 기간으로 수집되고, 짝수 프레임의 하나 이상의 이미지는 적어도 게임패드에 배치된 복수의 발광체에 대응하는 블롭을 포함한다. 미리 설정된 제2 노출 기간은 미리 설정될 수 있다. 본 발명의 실시예에 따르면, 짝수 프레임의 하나 이상의 이미지는 미리 설정된 더 작은 제2 노출 기간으로 수집되고, 따라서 주변 광의 과도한 정보 획득을 피하면서 게임패드에 배치된 복수의 발광체에 대응하는 블롭이 표시될 수 있는, 주변광의 간섭을 줄이고, 균일한 프레임의 이미지 품질을 개선하고, 게임패드 추적의 정확도를 높일 수 있다.
보다 구체적인 예에서, 측위 및 추적 방법은: 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 짝수 프레임의 하나 이상의 이미지가 수집될 때, 미리 설정된 조명 기간에 따라, 게임패드의 발광체가 켜지도록 제어되고, 미리 설정된 조명 기간(lighting duration)의 중간 시간(middle time)은 미리 설정된 제2 노출 기간의 중간 시간에 대응한다.
미리 설정된 제2 노출 기간의 중간 시간은 미리 설정된 조명 기간의 중간 시간과 동기화되고, 즉, 게임패드의 발광체는 하나 이상의 추적 카메라가 짝수 프레임의 하나 이상의 이미지를 수집하는 노출 기간 내에서 빛을 발하도록 제어되고, 게임패드에 배치된 여러 블롭에 대응하는 블롭이 짝수 프레임의 하나 이상의 이미지에 포함되도록 할 수 있다.
미리 설정된 제2 노출 기간에 따라 게임패드 발광체의 미리 설정된 조명 기간이 설정될 수 있다. 본 발명의 실시예에 따르면, 미리 설정된 게임패드의 발광체 조명 기간이 더 짧은 미리 설정된 제2 노출 기간에 따라 설정되므로, 게임패드의 발광체의 미리 설정된 조명 기간을 단축할 수 있으므로 장치 전력 소비를 줄일 수 있다.
일 실시예에서, 미리 설정된 조명 기간은 미리 설정된 제2 노출 기간과 동일할 수 있고, 즉, 미리 설정된 제2 노출 기간의 시작점 및 끝점은 미리 설정된 조명 기간의 시작점 및 끝점에 대응한다. 예를 들어, 미리 설정된 조명 기간은 100μs일 수 있다. 또 다른 실시예에서, 미리 설정된 조명 기간은 미리 설정된 제2 노출 기간보다 길 수 있고, 즉, 미리 설정된 제2 노출 기간의 시작점과 끝점을 기준으로 일정 시간 연장하여 미리 설정된 제2 노출 기간보다 미리 설정된 발광체의 조명 기간이 길게 설정된다. 예를 들어, 미리 설정된 발광체의 조명 기간은 미리 설정된 제2 노출 기간의 시작점과 끝점을 기준으로 30㎲씩 연장된다. 본 발명의 실시예에 따르면, 미리 설정된 조명 기간은 미리 설정된 제2 노출 기간보다 크므로, 무선 통신 모드를 채택하여 짝수 프레임의 하나 이상의 이미지를 수집하기 위해 추적 카메라를 동기화 제어하고 게임패드의 발광체가 빛을 발할 때 발생하는 정확도 오류(accuracy error)를 피할 수 있게 하여, 따라서 추적 카메라가 발광체에서 생성된 블롭을 캡처하는 동안 짝수 프레임의 하나 이상의 이미지를 수집할 수 있음을 보장한다.
헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라 및 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집된 짝수 프레임의 하나 이상의 이미지에 의해 미리 설정된 제1 노출 기간으로 수집된 홀수 프레임의 하나 이상의 이미지가 획득되는 동작 이후에, S202가 수행된다.
S202에서, 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치의 자세 정보에 따라 헤드 마운트 디스플레이 장치의 DoF 정보가 결정된다.
제1 IMU는 헤드 마운트 디스플레이 장치에 통합되고, 제1 IMU는 헤드 마운트 디스플레이 장치의 자세 정보를 수집하도록 구성된다.
헤드 마운트 디스플레이 장치의 DoF 정보는 예를 들어 병진 운동의 Dof 및 회전 운동의 Dof를 포함하는 헤드 마운트 디스플레이 장치의 6DoF 정보일 수 있다.
일 실시예에서, 홀수 프레임의 하나 이상의 이미지에서 공간 구조 정보(spatial structure information)에 따라 SLAM 알고리즘에 의해 계산이 수행되어, 헤드 마운트 디스플레이 장치의 병진 운동의 DoF(즉, 3차원 좌표)가 획득되도록 할 수 있고; 제1 IMU에 의해 수집된 헤드 마운트 디스플레이 장치의 자세 정보(예를 들어, 쿼터니언 정보(quaternion information))에 따라 헤드 마운트 디스플레이 장치의 회전 운동의 DoF(즉, 요 각도(yaw angle), 피치 각도(pitch angle) 및 롤 각도(roll angle))가 획득될 수 있다. 헤드 마운트 디스플레이 장치의 6DoF 정보는 병진 운동의 Dof와 회전 운동의 Dof에 기초하여 결정된다.
일 실시예에서, 헤드 마운트 디스플레이 장치의 6DoF 정보가 결정된 후, 측위 및 추적 방법은, 헤드 마운트 디스플레이 장치의 고주파 6DoF 정보를 획득하기 위해 헤드 마운트 디스플레이 장치의 자세 정보를 참조하여 헤드 마운트 디스플레이 장치의 6DoF 정보에 대해 사전 통합(Pre-integration)이 수행되는 것을 더 포함할 수 있다.
헤드 마운트 디스플레이 장치의 6DoF 정보의 출력 주파수는 제1 IMU가 헤드 마운트 디스플레이 장치의 자세 정보를 수집하는 주파수와 하나 이상의 추적 카메라가 홀수 프레임의 하나 이상의 이미지를 수집하는 주파수에 의존한다. 제1 IMU는 일반적으로 200Hz의 높은 주파수에서 헤드 마운트 디스플레이 장치의 자세 정보를 수집한다. 개시의 실시예들에 따르면, 헤드 마운트 디스플레이 장치의 고주파 6DoF 정보를 획득하기 위해 헤드 마운트 디스플레이 장치의 자세 정보를 참조하여 헤드 마운트 디스플레이 장치의 6DoF 정보에 대해 사전 통합(Pre-integration)이 수행되어, 지연을 줄이고 사용자 경험을 향상시킬 수 있다.
헤드 마운트 디스플레이 장치의 DoF 정보를 결정한 후, S203이 수행된다.
S203에서, 게임패드의 DoF 정보는 짝수 프레임의 하나 이상의 이미지, 게임패드의 자세 정보(attitude information) 및 헤드 마운트 디스플레이 장치의 DoF 정보에 따라 결정된다.
제2 IMU는 게임패드에 통합되어 있으며 게임패드의 자세 정보를 수집하도록 구성된다.
게임패드의 DoF 정보는 예를 들어 병진 운동의 Dof 및 회전 운동의 DoF를 포함하는 게임패드의 6DoF 정보일 수 있다.
일 실시예에서, 짝수 프레임의 하나 이상의 이미지, 게임패드의 자세 정보 및 헤드 마운트 디스플레이 장치의 DoF 정보에 따라 게임패드의 DoF 정보를 결정하는 단계는 S301 내지 S303을 더 포함할 수 있다.
S301에서, 짝수 프레임의 하나 이상의 이미지에 대해 블롭 검출을 수행하여 짝수 프레임의 하나 이상의 이미지에서 모든 블롭의 위치 정보를 결정한다.
S302에서, 짝수 프레임의 하나 이상의 이미지 내의 블롭에 대응하는 게임패드 상의 발광체의 3차원 좌표는 짝수 프레임의 하나 이상의 이미지 내의 모든 블롭의 위치 정보에 따라 결정된다.
짝수 프레임의 하나 이상의 이미지 각각에서 모든 블롭의 위치 정보(2차원 좌표)를 결정하기 위해 하나 이상의 추적 카메라에 의해 수집된 짝수 프레임의 하나 이상의 이미지 각각에 대해 블롭 검출이 수행될 수 있다. 여기서, 모든 블롭의 위치 정보는 4개의 블롭의 위치 정보를 적어도 포함한다. 짝수 프레임의 하나 이상의 이미지의 블롭과 게임패드의 발광체 사이의 대응관계(correspondence)는 짝수 프레임의 하나 이상의 이미지의 각 블롭의 분포 규칙(distribution rule)에 따라 결정된다. 게임패드의 대응하는 발광체의 3차원 좌표는 게임패드의 대응하는 발광체의 2차원 좌표를 기반으로 결정된다.
S303에서, 게임패드의 DoF 정보는 짝수 프레임의 하나 이상의 이미지에서 블롭에 대응하는 게임패드의 발광체의 3차원 좌표, 게임패드의 자세 정보 및 헤드 마운트 디스플레이 장치의 DoF 정보에 따라 결정된다.
게임패드의 병진 운동의 DoF는 짝수 프레임의 하나 이상의 이미지에서 블롭에 대응하는 게임패드의 발광체의 3차원 좌표에 따라 결정될 수 있다. 게임패드의 회전 운동의 Dof는 게임패드의 자세 정보에 따라 결정될 수 있다. 게임패드의 6DOF 정보는 병진 운동의 Dof와 회전 운동의 Dof에 따라 결정될 수 있다. 그 후, 헤드 마운트 디스플레이 장치의 DoF 정보에 따라 게임패드의 DoF 정보에 좌표 변환(Coordinate transformation)이 수행된다.
일 실시예에서, 각 발광체의 3차원 좌표가 결정된 후, 게임패드의 6DoF 정보를 결정하기 위해 제2 IMU가 수집한 게임패드의 자세 정보를 참조하여 관련 기술의 원근법 n점(Perspective-n-Point)(PNP) 알고리즘 또는 기타 관련 알고리즘이 채택될 수 있고, 따라서 게임패드의 측위 및 추적을 실현한다.
본 발명의 실시예에 따르면, 짝수 프레임의 복수의 이미지는 적어도 2대의 추적 카메라에 의해 수집된다. 게임패드의 6DoF 정보는 짝수 프레임의 복수의 이미지에 따라 결정되므로 견고성을 향상시킬 수 있으므로 추적 정확도를 향상시킬 수 있다.
일 실시예에서, 게임패드의 6DoF 정보가 결정된 후, 측위 및 추적 방법은 게임패드의 고주파 6DoF 정보를 획득하기 위해 게임패드의 자세 정보를 참조하여 게임패드의 6DoF 정보에 대해 사전 통합이 수행되는 것을 더 포함할 수 있다.
게임패드의 6DoF 정보의 출력 주파수는 제2 IMU가 게임패드의 자세 정보를 수집하는 주파수와 하나 이상의 추적 카메라가 짝수 프레임의 하나 이상의 이미지를 수집하는 주파수에 따라 달라진다. 제2 IMU는 일반적으로 200Hz인 높은 주파수에서 게임패드의 자세 정보를 수집한다. 본 발명의 실시예들에 따르면, 게임패드의 고주파 6DoF 정보를 획득하기 위해 게임패드의 자세 정보를 참조하여 게임패드의 6DoF 정보에 대해 사전 통합이 수행됨으로써, 지연을 감소시킬 수 있고 사용자 경험을 향상시킬 수 있다.
본 발명의 실시예에 따르면, 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라 및 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집된 짝수 프레임의 하나 이상의 이미지에 의해 미리 설정된 제1 노출 기간으로 수집된 홀수 프레임의 하나 이상의 이미지가 획득되고, 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치의 자세 정보에 따라 헤드 마운트 디스플레이 장치의 6DoF 정보가 결정되고, 게임패드의 6DoF 정보는 짝수 프레임의 하나 이상의 이미지와 게임패드의 자세 정보에 따라 결정되고, 따라서 추가 하드웨어 없이 동일한 하드웨어에 기초하여 헤드 마운트 디스플레이 장치와 게임패드의 동기화 추적이 실현되고, 따라서 헤드 마운트 디스플레이 장치의 전력 소비를 줄이고 더 나은 사용자 경험을 제공한다.
일부 시나리오에서, 사용자는 맨손으로 일부 메뉴의 선택 설정을 수행하거나 메인 인터페이스와 같은 일부 가상 시나리오에서 개체와 상호 작용하려고 시도한다. 이러한 경우, 본 발명의 일부 실시예에서는 맨손 추적도 실현될 수 있다. 구체적인 설명은 다음과 같다.
일부 실시예에서, 홀수 프레임의 하나 이상의 이미지는 적어도 손 또는 손들을 포함한다. 측위 및 추적 방법은 홀수 프레임의 하나 이상의 이미지에 따라 손 또는 손들의 DoF 정보를 결정하는 단계를 더 포함할 수 있다. 본 발명의 실시예에 따르면, 사용자가 게임패드를 사용하지 않는 상태에서 사용자의 손 또는 손들의 추적을 실현할 수 있다.
일 실시예에서, 홀수 프레임의 적어도 하나의 이미지에 따라 손 또는 손들의 DoF 정보를 결정하는 단계는 S401 내지 S402를 더 포함할 수 있다.
S401에서, 홀수 프레임의 하나 이상의 이미지를 미리 설정된 컨볼루셔널 신경망 모델에 입력하여 손 또는 손들의 복수의 주요 지점의 위치를 획득한다.
S402에서, 손 또는 손들의 복수의 주요 지점의 위치에 따라 손 또는 손들의 DoF 정보가 결정된다.
손 또는 손들의 DoF 정보는 예를 들어 26DoF 정보일 수 있다.
일 실시예에서, 측위 및 추적 방법은 미리 설정된 컨볼루셔널 신경망 모델을 훈련시키는 단계를 더 포함할 수 있다. 미리 설정된 컨볼루셔널 신경망 모델을 훈련시키는 단계는 S501 내지 S503을 더 포함할 수 있다.
S501에서, 복수의 시나리오 이미지가 수집되고, 시나리오 이미지는 손 또는 손들을 포함한다.
예를 들어, 크기가 다르고 손이 포함된 이미지 데이터는 4개 채널에서 하나 이상의 추적 카메라에 의해 서로 다른 조명 환경과 서로 다른 서비스 시나리오에 있는 200명의 사람으로부터 수집된다. 예를 들어, 손 또는 손들을 포함하는 125만 개의 시나리오 이미지가 수집된다.
S502에서, 복수의 시나리오 이미지에서 손 또는 손들의 복수의 주요 지점 위치를 마킹하고, 마킹된 복수의 시나리오 이미지로 이미지 훈련 샘플 세트를 형성한다.
S503에서, 이미지 훈련 샘플 세트에 따라 컨볼루셔널 신경망 모델을 훈련한다.
예를 들어, 복수의 시나리오 이미지에서 손 또는 손들의 24개 주요 지점의 위치가 마킹되고, 마킹된 이미지는 이미지 훈련 샘플 세트를 형성한다. 컨볼루셔널 신경망 모델에 따라 복수의 시나리오 이미지에서 추정된 복수의 주요 지점의 위치를 추정한다. 최적화된 잔차방정식(residual equation)이 구성되고, 컨볼루셔널 신경망 모델에 대응하는 이미지에서 추정된 주요 지점의 위치와 이미지에서 마킹된 주요 지점의 위치 사이의 거리 오차가 최소화되어, 훈련된 컨볼루셔널 신경망이 획득된다.
본 발명의 실시예들에 따르면, 컨볼루셔널 신경망 모델에 기초하여 손 또는 손들의 26DoF 정보를 신속하게 결정할 수 있다.
본 발명의 실시예에 따르면, 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라 및 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집된 짝수 프레임의 하나 이상의 이미지에 의해 미리 설정된 제1 노출 기간으로 수집된 홀수 프레임의 하나 이상의 이미지가 획득되고, 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치의 자세 정보에 따라 헤드 마운트 디스플레이 장치의 6DoF 정보가 결정되고, 게임패드의 6DoF 정보는 짝수 프레임의 하나 이상의 이미지와 게임패드의 자세 정보에 따라 결정되고, 사용자가 게임패드를 사용하지 않는 경우, 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치의 자세 정보에 따라 헤드 마운트 디스플레이 장치의 6DoF 정보가 결정되고, 및 홀수 프레임의 하나 이상의 이미지에 따라 사용자의 손 또는 손들의 26DoF 정보가 결정된다. 본 개시의 일부 실시예에서 제공되는 측위 및 추적 방법은 동일한 하드웨어를 기반으로 헤드 마운트 디스플레이 장치, 게임패드 및 맨손의 동시 추적을 실현하고, 따라서 헤드 마운트 디스플레이 장치의 전력 소비를 줄이고 더 나은 사용자 경험을 제공한다.
장치 실시예 1
도 4를 참조하면, 본 발명의 실시예는 측위 및 추적 플랫폼(localization and tracking platform)(40)을 제공한다. 측위 및 추적 플랫폼(40)은 도 1에 도시된 측위 및 추적 플랫폼(3000)일 수 있으며, 이는 예를 들어 모바일 단말기일 수 있다. 측위 및 추적 플랫폼(40)은 이미지 획득 모듈(image acquisition module)(41) 및 측위 및 추적 모듈(localization and tracking module)(42)을 포함한다.
이미지 획득 모듈(41)은 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제1 노출 기간으로 수집되는 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집된 짝수 프레임의 하나 이상의 이미지를 획득하도록 구성되고, 적어도 짝수 프레임의 하나 이상의 이미지는 게임패드 상에 배치된 복수의 발광체(luminous bodies)에 대응하는 블롭(blobs)을 포함하고, 게임패드는 헤드 마운트 디스플레이 장치와 통신 연결되고;
일 실시예에서, 미리 설정된 제2 노출 기간은 제1 노출 기간보다 짧다.
일 실시예에서, 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 짝수 프레임의 하나 이상의 이미지가 수집될 때, 미리 설정된 조명 기간에 따라, 게임패드의 발광체가 켜지도록 제어되고, 미리 설정된 조명 기간(lighting duration)의 중간 시간(middle time)은 미리 설정된 제2 노출 기간의 중간 시간에 대응한다.
보다 구체적인 예에서, 미리 설정된 조명 기간은 미리 설정된 제2 노출 기간보다 크거나 같다.
측위 및 추적 모듈(42)은 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치의 자세 정보에 따라 헤드 마운트 디스플레이 장치의 DoF 정보를 결정하도록 구성된다.
측위 및 추적 모듈(42)은 짝수 프레임의 하나 이상의 이미지, 게임패드의 자세 정보 및 헤드 마운트 디스플레이 장치의 DoF 정보에 따라 게임패드의 DoF 정보를 결정하도록 더 구성된다.
실시예에서, 측위 및 추적 모듈(42)은 짝수 프레임의 하나 이상의 이미지에서 모든 블롭의 위치 정보를 결정하기 위해 짝수 프레임의 하나 이상의 이미지에서 블롭 검출을 수행하도록 구성된다.
측위 및 추적 모듈(42)은 짝수 프레임의 하나 이상의 이미지의 모든 블롭의 위치 정보에 따라 짝수 프레임의 하나 이상의 이미지의 블롭에 대응하는 게임패드 상의 발광체의 3차원 좌표를 결정하도록 더 구성된다.
측위 및 추적 모듈(42)은 짝수 프레임의 하나 이상의 이미지의 블롭, 게임패드의 자세 정보 및 헤드 마운트 디스플레이 장치의 DoF 정보에 대응하는 게임패드 상의 발광체의 3차원 좌표에 따라 게임패드의 DoF 정보를 결정하도록 더 구성된다.
실시예에서, 홀수 프레임의 하나 이상의 이미지는 적어도 손 또는 손들을 포함한다. 측위 및 추적 모듈(42)은 홀수 프레임의 하나 이상의 이미지에 따라 손 또는 손들의 DoF 정보를 결정하도록 더 구성된다.
보다 구체적인 예에서, 측위 및 추적 모듈(42)은 손 또는 손들의 복수의 주요 지점의 위치를 획득하기 위해 미리 설정된 컨볼루셔널 신경망 모델에 홀수 프레임의 하나 이상의 이미지를 입력하도록 구성된다.
측위 및 추적 모듈(42)은 손 또는 손들의 복수의 주요 지점의 위치에 따라 손 또는 손들의 DoF 정보를 결정하도록 더 구성된다.
일 실시예에서, 측위 및 추적 플랫폼(40)은 모델 훈련 모듈(model training module)을 더 포함한다. 모델 훈련 모듈은 미리 결정된 컨볼루셔널 신경망 모델을 훈련시키도록 구성된다.
보다 구체적인 예에서, 모델 훈련 모듈은 복수의 시나리오 이미지, 손 또는 손들을 포함하는 시나리오 이미지를 수집하도록 구성된다.
모델 훈련 모듈은 또한 복수의 시나리오 이미지에서 손 또는 손들의 복수의 주요 지점의 위치가 마킹되고, 복수의 마킹된 시나리오 이미지로 이미지 훈련 샘플 세트가 형성되도록 구성된다.
모델 훈련 모듈은 이미지 훈련 샘플 세트에 따라 컨볼루셔널 신경망 모델을 훈련시키도록 더 구성된다.
도 5를 참조하면, 본 발명의 일부 실시예에 따른 측위 및 추적 플랫폼(50)이 도시되어 있다. 측위 및 추적 플랫폼(50)은 프로세서(51) 및 메모리(52)를 포함한다. 메모리(52)는 컴퓨터 프로그램을 저장하도록 구성되고, 컴퓨터 프로그램이 프로세서(51)에 의해 실행될 때, 전술한 실시예 중 어느 하나에서 제공되는 측위 및 추적 방법이 구현된다.
<장치 실시예 2>
본 발명의 실시예는 헤드 마운트 디스플레이 시스템을 추가로 제공한다. 헤드 마운트 디스플레이 시스템은 헤드 마운트 디스플레이 장치, 헤드 마운트 디스플레이 장치에 연결된 게임패드 및 측위 및 추적 플랫폼을 포함한다. 헤드 마운트 디스플레이 시스템은 도 1에 도시된 바와 같은 헤드 마운트 디스플레이 시스템(100)일 수 있다.
실시예에서, 적어도 2개의 추적 카메라 및 제1 IMU가 헤드 마운트 디스플레이 장치 상에 배치된다.
적어도 2개의 추적 카메라는 이미지를 수집하도록 구성된다. 구체적으로, 적어도 2개의 추적 카메라에 의해 미리 설정된 제1 노출 기간으로 홀수 프레임의 복수의 이미지가 수집되고; 및 짝수 프레임의 여러 이미지가 미리 설정된 제2 노출 기간으로 적어도 두 개의 추적 카메라에 의해 수집된다.
제1 IMU는 헤드 마운트 디스플레이 장치의 자세 정보를 수집하도록 구성된다.
보다 구체적인 예에서, 4개의 추적 카메라가 헤드 마운트 디스플레이 장치에 배치되고, 4개의 추적 카메라는 미리 설정된 제1 위치 제약 규칙에 따라 헤드 마운트 디스플레이 장치에 배치되고, 따라서 각 추적 카메라가 FOV에서 헤드 마운트 디스플레이 장치의 요구 사항을 충족하도록 한다. 본 발명의 실시예에 따르면, 헤드 마운트 디스플레이 장치와 게임패드는 4개의 추적 카메라에서 수집된 이미지에 따라 측위 및 추적을 거치므로 측위 및 추적의 견고성 및 정확도가 향상될 수 있다.
보다 구체적인 예로, 하나 이상의 추적 카메라(1900) 각각은 시야각이 큰 추적 카메라일 수 있는데, 예를 들어, 하나 이상의 추적 카메라(1900) 각각의 수평 FOV는 100° 내지 160° 범위이고, 하나 이상의 추적 카메라(1900) 각각의 수직 FOV 범위는 80° 내지 120°이고, 하나 이상의 추적 카메라(1900) 각각의 깊이 FOV 범위는 130° 내지 160°이고, 하나 이상의 추적 카메라(tracking camera)(1900) 각각의 프레임 속도(frame rate)는 60Hz보다 크고, 하나 이상의 추적 카메라(1900) 각각의 해상도는 VGA 또는 720P이고, 하나 이상의 추적 카메라(1900) 각각은 글로벌 셔터(Global Shutter)의 노출 모드를 채택하고, 가시광선 대역과 적외선 대역에 민감하다. 예를 들어, 하나 이상의 추적 카메라(1900) 각각의 모델은 OV7251 또는 OV9282이다.
게임패드에는 제2 IMU와 여러 발광체가 함께 제공된다.
복수의 발광체는 미리 설정된 제2 위치 제약 규칙에 따라 배치되어, 카메라가 게임패드에 근접할 때 수집된 이미지에서 로컬 패턴 정보의 일치 또는 유착이 이루어지도록 하고, 적어도 4개의 발광체에 대응하는 블롭이 임의의 각도에서 하나 이상의 추적 카메라에 의해 수집된 모든 이미지에 표시되도록 보장할 수 있고, 따라서 수집된 이미지에 따라 게임패드를 배치할 수 있다.
보다 구체적인 예에서, 17개 또는 24개의 발광체가 배치된다. 발광체는 예를 들어 가시광선 광원 또는 LED와 같은 적외선 광원일 수 있다.
제2 IMU는 게임패드의 자세 정보를 수집하도록 구성된다.
측위 및 추적 플랫폼은 홀수 프레임의 하나 이상의 이미지, 짝수 프레임의 하나 이상의 이미지, 헤드 마운트 디스플레이 장치의 자세 정보 및 게임패드의 자세 정보를 획득하기 위해 헤드 마운트 디스플레이 장치 및 게임패드에 연결되도록 구성된다.
측위 및 추적 플랫폼은 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치의 자세 정보에 따라 헤드 마운트 디스플레이 장치의 DoF 정보를 결정하도록 더 구성되어, 헤드 마운트 디스플레이 장치의 측위 및 추적을 실현하게 한다.
일 실시예에서, 측위 및 추적 플랫폼은, 사용자가 게임패드를 사용할 때, 짝수 프레임의 하나 이상의 이미지에 따라 게임패드의 DoF 정보, 게임패드의 자세 정보 및 헤드 마운트 디스플레이 장치의 DoF 정보를 결정하도록 더 구성된다.
일 실시예에서, 측위 및 추적 플랫폼은, 사용자가 게임패드를 사용하지 않을 때, 사용자의 손 또는 손들의 측위 및 추적을 실현하기 위해 홀수 프레임의 하나 이상의 이미지에 따라 손 또는 손들의 DoF 정보를 결정하도록 더 구성된다.
일 실시예에서, 측위 및 추적 플랫폼은 도 1에 도시된 측위 및 추적 플랫폼(3000)일 수 있다.
실시예에서, 측위 및 추적 플랫폼은 또한 예를 들어 모바일 단말기일 수 있다.
본 발명의 실시예에 따르면, 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제1 노출 기간으로 수집되는 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집된 짝수 프레임의 하나 이상의 이미지가 획득되고, 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치의 자세 정보에 따라 헤드 마운트 디스플레이 장치의 6DoF 정보가 결정되고, 게임패드의 6DoF 정보는 짝수 프레임의 하나 이상의 이미지와 게임패드의 자세 정보에 따라 결정되고, 따라서 추가 하드웨어 없이 동일한 하드웨어에 기초하여 헤드 마운트 디스플레이 장치와 게임패드의 동기화 추적이 실현되고, 따라서 헤드 마운트 디스플레이 장치의 전력 소비를 줄이고 더 나은 사용자 경험을 제공한다.
본 발명의 실시예에 따르면, 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라 및 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집된 짝수 프레임의 하나 이상의 이미지에 의해 미리 설정된 제1 노출 기간으로 수집된 홀수 프레임의 하나 이상의 이미지가 획득된다. 사용자가 게임패드를 사용하는 경우, 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치의 자세 정보에 따라 헤드 마운트 디스플레이 장치의 6DoF 정보가 결정되고, 게임패드의 6DoF 정보는 짝수 프레임의 하나 이상의 이미지와 게임패드의 자세 정보에 따라 결정된다. 사용자가 게임패드를 사용하지 않는 경우, 홀수 프레임의 하나 이상의 이미지 및 헤드 마운트 디스플레이 장치의 자세 정보에 따라 헤드 마운트 디스플레이 장치의 6DoF 정보가 결정되고, 짝수 프레임의 하나 이상의 이미지에 따라 사용자의 손 또는 손들의 26DoF 정보가 결정된다. 본 개시의 일부 실시예에서 제공되는 측위 및 추적 방법은 동일한 하드웨어를 기반으로 헤드 마운트 디스플레이 장치, 게임패드 및 맨손의 동시 추적을 실현하고, 따라서 헤드 마운트 디스플레이 장치의 전력 소비를 줄이고 더 나은 사용자 경험을 제공한다.
본 명세서의 다양한 실시예는 점진적 방식으로 설명된다. 다양한 실시예 사이의 동일하거나 유사한 부분은 서로 참조될 수 있다. 각 실시예는 다른 실시예와의 차이점에 초점을 맞춘다. 그러나, 상기 실시예들은 단독으로 또는 필요에 따라 서로 조합하여 사용될 수 있음은 당업자에게 자명할 것이다. 또한, 장치 실시예는 방법 실시예에 대응하므로 간단히 설명한다. 관련 세부 사항에 대해, 방법 실시예의 대응하는 부분의 설명을 참조하라. 상술한 시스템 실시예는 예시에 불과하며, 분리된 구성요소로 기술된 모듈은 물리적으로 분리될 수도 있고 분리되지 않을 수도 있다.
본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품(computer program product)일 수 있다. 컴퓨터 프로그램 제품은 프로세서가 본 발명의 실시예의 각 측면을 구현할 수 있도록 구성된 컴퓨터 판독가능 프로그램 명령이 저장된 컴퓨터 판독가능 저장 매체를 포함할 수 있다.
컴퓨터 판독가능 저장 매체(computer-readable storage medium)는 명령 실행 장치(instruction execution device)에서 사용하는 명령을 유지 및 저장할 수 있는 물리적 장치일 수 있다. 예를 들어, 컴퓨터 판독가능 저장 매체는 전기 저장 장치, 자기 저장 장치, 광학 저장 장치, 전자기 저장 장치, 반도체 저장 장치 또는 이들의 적절한 조합일 수 있으나, 이에 제한되지 않는다. 컴퓨터 판독가능 저장 매체의 보다 구체적인 예(일부 목록)는 휴대용 컴퓨터 디스크, 하드 디스크, 램(RAM), 롬(ROM), 이피롬(EPROM)(또는 플래시 메모리), 에스램(SRAM), 읽기 전용 컴팩트 디스크 메모리(CD-ROM), 디지털 비디오 디스크(DVD), 메모리 스틱, 플로피 디스크, 기계적 인코딩 장치, 명령이 저장된 천공 카드 또는 슬롯 내 융기 구조, 및 이들의 임의의 적절한 조합을 포함한다. 여기서, 컴퓨터 판독가능 저장 매체는, 예를 들어, 전파 또는 다른 자유롭게 전파되는 전자파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자파(예를 들어, 광섬유 케이블을 통해 전파되는 광 펄스) 또는 전선을 통해 전송되는 전기 신호와 같은, 일시적 신호(transient signal)로 설명되지 않는다.
본 명세서에서 컴퓨터 판독가능 프로그램 명령(computer-readable program instruction)은 컴퓨터 판독가능 저장 매체로부터 각 연산처리장치로 다운로드되거나, 인터넷, 지역네트워크(Local Area Network)(LAN), 광역네트워크(Wide Area Network)(WAN) 및/또는 무선 네트워크와 같은 네트워크를 통하여 외부의 컴퓨터 또는 외부저장장치에 다운로드될 수 있다. 네트워크는 구리 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 스위치, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수 있다. 각 컴퓨팅/처리 장치의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독가능 프로그램 명령을 수신하고 각 컴퓨팅/처리 장치의 컴퓨터 판독가능 저장 매체에 저장하기 위해 컴퓨터 판독가능 프로그램 명령을 전달한다.
본 발명의 실시예의 동작을 실행하도록 구성된 컴퓨터 프로그램 명령(computer program instruction)은 어셈블리 명령, 인스트럭션 세트 아키텍쳐(Instruction Set Architecture)(ISA) 명령, 머신 명령, 머신 관련 명령, 마이크로코드, 펌웨어 명령, 상태 설정 데이터 또는 하나 또는 그 이상의 프로그래밍 언어 조합에 의해 편집된 소스 코드 또는 대상 코드일 수 있고, 프로그래밍 언어는 Java, Smalltalk 및 C++와 같은 객체 지향 프로그래밍 언어가 포함되며 "C"언어 또는 유사한 프로그래밍 언어와 같은 기존 절차 프로그래밍 언어를 포함한다. 상기 컴퓨터 판독가능 프로그램 명령(computer-readable program instruction)은 사용자의 컴퓨터에서 완전히 실행되거나 사용자의 컴퓨터에서 부분적으로 실행될 수 있고, 독립 소프트웨어 패키지로 실행될 수 있고, 부분적으로는 사용자의 컴퓨터에서 실행되고 부분적으로는 원격 컴퓨터에서 실행되거나, 또는 원격 서버 또는 서버에서 완전히 실행될 수 있다. 원격 컴퓨터가 포함된 조건에서, 원격 컴퓨터는 LAN 또는 WAN을 포함한 모든 유형의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어, 인터넷 서비스 공급자가 인터넷을 통해 연결). 일부 실시예에서, 프로그램 가능 논리 회로, FPGA, 프로그래머블 로직 어레이(Programmable Logic Array)(PLA)와 같은 전자 회로는 컴퓨터 판독가능 프로그램 명령의 상태 정보를 이용하여 커스터마이징할 수 있고, 전자 회로는 컴퓨터 판독가능 프로그램 명령을 실행할 수 있으며, 이로써 본 발명의 실시예의 각 측면을 구현한다.
여기서, 본 발명의 실시예의 각 측면은 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 설명된다. 순서도 및/또는 블록도의 각 블록 및 순서도 및/또는 블록도의 각 블록의 조합은 컴퓨터 판독가능 프로그램 명령에 의해 구현될 수 있음을 이해해야 한다.
이러한 컴퓨터 판독가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 다른 프로그래밍 가능한 데이터 처리 장치의 프로세서를 위해 제공될 수 있으며, 따라서 명령이 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서를 통해 실행될 때 순서도 및/또는 블록도의 하나 이상의 블록에 지정된 기능/액션을 실현하는 장치를 추가로 생성하는 기계를 생성한다. 이러한 컴퓨터 판독가능 프로그램 명령은 또한 컴퓨터 판독가능 저장 매체에 저장될 수 있으며, 이러한 명령을 통해 컴퓨터, 프로그램 가능 데이터 처리 장치 및/또는 다른 장치가 특정 방식으로 작동할 수 있으므로, 명령을 포함하는 컴퓨터 판독가능 매체는 순서도 및/또는 블록 다이어그램의 하나 이상의 블록에 지정된 기능/액션의 각 측면을 구현하기 위한 명령을 포함하는 제품을 포함한다.
이러한 컴퓨터 판독가능 프로그램 명령은 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 장치에 추가로 로드될 수 있어서, 컴퓨터, 다른 프로그래밍 가능한 데이터 처리 장치 또는 다른 장치에서 실행되는 명령에 의해 순서도 및/또는 블록 다이어그램의 하나 이상의 블록에 지정된 기능/동작을 추가로 실현하기 위해 컴퓨터에 의해 구현되는 프로세스를 생성하기 위해 컴퓨터, 다른 프로그래밍 가능한 데이터 처리 장치 또는 다른 장치에서 일련의 작동 동작이 실행되도록 한다.
도면의 흐름도 및 블록도는 본 발명의 복수의 실시예에 따라 아마도 구현된 시스템 아키텍처, 시스템의 기능 및 동작, 방법 및 컴퓨터 프로그램 제품을 예시한다. 이 측면에서, 흐름도 또는 블록도의 각 블록은 모듈의 일부, 프로그램 세그먼트 또는 명령을 나타낼 수 있으며, 모듈의 일부, 프로그램 세그먼트 또는 명령은 특정 논리적 기능을 실현하도록 구성된 하나 이상의 실행 가능 명령(executable instruction)을 포함한다. 일부 대안적인 구현에서, 블록에 표시된 기능은 도면에 표시된 것과 다른 순서로 실현될 수도 있다. 예를 들어, 2개의 연속 블록은 실제로 실질적으로 동시에 실행될 수 있고 때로는 관련된 기능에 의해 결정되는 역순으로 실행될 수도 있다. 블록도 및/또는 흐름도의 각 블록, 블록도 및/또는 흐름도의 블록 조합은 지정된 기능 또는 동작을 실행하도록 구성된 특정 하드웨어 기반 시스템에 의해 구현될 수 있거나, 또는 전용 하드웨어 및 컴퓨터 명령의 조합에 의해 구현될 수 있다는 점에 유의해야 한다. 하드웨어를 통한 구현, 소프트웨어를 통한 구현 및 소프트웨어와 하드웨어의 조합을 통한 구현은 모두 동등하다는 것은 당업자에게 잘 알려져 있다.
이상 본 발명의 각 실시예에 대해 설명하였다. 상기 설명은 예시적이고, 비제한적이며 또한 개시된 각각의 실시예에 제한되지 않는다. 본 발명의 기술된 각각의 실시예의 범위 및 사상을 벗어나지 않고 많은 수정 및 변형이 당업자에게 명백하다. 본 명세서에서 사용되는 용어는 각 실시 예의 원리 및 실제 적용 또는 기술적 진보를 시장에서 가장 잘 설명하거나 본 명세서에 개시된 각 실시 예를 이해할 수 있도록 선택되었다. 본 발명의 범위는 첨부된 청구범위에 의해 제한된다.

Claims (22)

  1. 측위 및 추적 방법에 있어서,
    헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제1 노출 기간으로 수집되는 홀수 프레임의 하나 이상의 이미지 및 상기 헤드 마운트 디스플레이 장치에 배치된 상기 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집된 짝수 프레임의 하나 이상의 이미지를 획득하는 단계;
    홀수 프레임의 상기 하나 이상의 이미지 및 상기 헤드 마운트 디스플레이 장치의 자세 정보에 따라 상기 헤드 마운트 디스플레이 장치의 자유도(DoF) 정보를 결정하는 단계; 및
    짝수 프레임의 상기 하나 이상의 이미지, 게임패드의 자세 정보 및 상기 헤드 마운트 디스플레이 장치의 DoF 정보에 따라 상기 게임패드의 DoF 정보를 결정하는 단계를 포함하고,
    짝수 프레임의 상기 하나 이상의 이미지는,
    적어도 상기 게임패드 상에 배치된 복수의 발광체에 대응하는 블롭을 포함하고,
    상기 게임패드는,
    상기 헤드 마운트 디스플레이 장치와 통신 연결되는
    방법.
  2. 제1항에 있어서,
    상기 미리 설정된 제2 노출 기간은,
    상기 제1 노출 기간보다 짧은
    방법.
  3. 제1항에 있어서,
    상기 제1 노출 기간은,
    주변 광의 강도에 따라 적응적으로 조정되는
    방법.
  4. 제1항에 있어서,
    적어도 2개의 추적 카메라가,
    상기 헤드 마운트 디스플레이 장치 상에 배치되고,
    각각의 추적 카메라의 노출 기간은,
    동일한 중심점을 갖는
    방법.
  5. 제4항에 있어서,
    상기 헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제1 노출 기간으로 수집되는 홀수 프레임의 하나 이상의 이미지 및 상기 헤드 마운트 디스플레이 장치에 배치된 상기 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집된 짝수 프레임의 하나 이상의 이미지를 획득하는 단계는,
    상기 적어도 2개의 추적 카메라에 의해, 상기 미리 설정된 제1 노출 기간을 갖는 홀수 프레임의 복수의 이미지를 수집하는 단계, 및
    상기 적어도 2개의 추적 카메라에 의해, 상기 미리 설정된 제2 노출 기간을 갖는 짝수 프레임의 복수의 이미지를 수집하는 단계를 포함하고,
    홀수 프레임의 각 이미지는,
    각각의 추적 카메라에 대응하고,
    짝수 프레임의 각 이미지는,
    각각의 추적 카메라에 대응하는
    방법.
  6. 제1항에 있어서,
    상기 헤드 마운트 디스플레이 장치에 배치된 상기 하나 이상의 추적 카메라에 의해 상기 미리 설정된 제2 노출 기간으로 짝수 프레임의 상기 하나 이상의 이미지가 수집될 때, 미리 설정된 조명 기간에 따라, 상기 게임패드의 발광체가 켜지도록 제어하는 단계
    를 더 포함하고,
    상기 미리 설정된 제2 노출 기간의 중간 시간은,
    상기 미리 설정된 조명 기간의 중간 시간에 대응하는
    방법.
  7. 제6항에 있어서,
    상기 미리 설정된 조명 기간은,
    상기 미리 설정된 제2 노출 기간보다 긴
    방법.
  8. 제1항에 있어서,
    상기 홀수 프레임의 상기 하나 이상의 이미지 및 상기 헤드 마운트 디스플레이 장치의 자세 정보에 따라 상기 헤드 마운트 디스플레이 장치의 DoF 정보를 결정하는 단계는,
    상기 헤드 마운트 디스플레이 장치의 병진 운동의 DoF를 획득하기 위해, 홀수 프레임의 상기 하나 이상의 이미지에서 공간 구조 정보에 따라 동시 측위 및 매핑(SLAM) 알고리즘에 의해 계산하는 단계;
    상기 헤드 마운트 디스플레이 장치에 통합된 제1 관성 측정 유닛(IMU)에 의해 수집되는 상기 헤드 마운트 디스플레이 장치의 상기 자세 정보에 따라 상기 헤드 마운트 디스플레이 장치의 회전 운동의 DoF를 획득하는 단계; 및
    상기 병진 운동의 DoF 및 상기 회전 운동의 DoF에 기초하여 상기 헤드 마운트 디스플레이 장치의 DoF 정보를 결정하는 단계
    를 포함하는 방법.
  9. 제1항 또는 제8항에 있어서,
    상기 홀수 프레임의 상기 하나 이상의 이미지 및 상기 헤드 마운트 디스플레이 장치의 자세 정보에 따라 상기 헤드 마운트 디스플레이 장치의 DoF 정보를 결정하는 단계 이후에,
    상기 방법은,
    상기 헤드 마운트 디스플레이 장치의 고주파 DoF 정보를 획득하기 위해 상기 헤드 마운트 디스플레이 장치의 상기 자세 정보를 참조하여 상기 헤드 마운트 디스플레이 장치의 상기 DoF 정보에 대해 사전 통합을 수행하는 단계
    를 더 포함하는 방법.
  10. 제1항에 있어서,
    상기 짝수 프레임의 상기 하나 이상의 이미지, 상기 게임패드의 자세 정보 및 상기 헤드 마운트 디스플레이 장치의 DoF 정보에 따라 상기 게임패드의 DoF 정보를 결정하는 단계는,
    짝수 프레임의 상기 하나 이상의 이미지에서 모든 상기 블롭의 위치 정보를 결정하기 위해 짝수 프레임의 상기 하나 이상의 이미지에서 블롭 검출을 수행하는 단계;
    짝수 프레임의 상기 하나 이상의 이미지의 모든 상기 블롭의 위치 정보에 따라 짝수 프레임 상기 하나 이상의 이미지의 상기 블롭에 대응하는 상기 게임패드 상의 발광체의 3차원 좌표를 결정하는 단계; 및
    짝수 프레임의 상기 하나 이상의 이미지의 상기 블롭에 대응하는 상기 게임패드의 상기 발광체의 3차원 좌표, 상기 게임패드의 상기 자세 정보 및 상기 헤드 마운트 디스플레이 장치의 상기 DoF 정보에 따라 상기 게임패드의 상기 DoF 정보를 결정하는 단계
    를 포함하는 방법.
  11. 제10항에 있어서,
    상기 짝수 프레임의 상기 하나 이상의 이미지에서 모든 상기 블롭의 위치 정보를 결정하기 위해 짝수 프레임의 상기 하나 이상의 이미지에서 블롭 검출을 수행하는 단계는,
    짝수 프레임의 상기 하나 이상의 이미지 각각에서 모든 상기 블롭의 위치 정보를 결정하기 위해 상기 하나 이상의 추적 카메라에 의해 수집된 짝수 프레임의 상기 하나 이상의 이미지 각각에 대해 블롭 검출을 수행하는 단계;
    짝수 프레임의 상기 하나 이상의 이미지 내의 각 블롭의 분포 규칙에 따라 짝수 프레임의 상기 하나 이상의 이미지 내의 상기 블롭과 상기 게임패드 상의 상기 발광체 사이의 대응관계를 결정하는 단계; 및
    게임패드 상의 대응하는 발광체의 2차원 좌표에 기초하여 게임패드 상의 상기 대응하는 발광체의 3차원 좌표를 결정하는 단계를 포함하고,
    모든 상기 블롭의 위치 정보는,
    4개의 블롭의 위치 정보를 적어도 포함하는
    방법.
  12. 제10항에 있어서,
    상기 짝수 프레임의 상기 하나 이상의 이미지의 상기 블롭에 대응하는 상기 게임패드의 상기 발광체의 3차원 좌표, 상기 게임패드의 상기 자세 정보 및 상기 헤드 마운트 디스플레이 장치의 상기 DoF 정보에 따라 상기 게임패드의 상기 DoF 정보를 결정하는 단계는,
    짝수 프레임의 상기 하나 이상의 이미지에서 상기 블롭에 대응하는 상기 게임패드 상의 상기 발광체의 3차원 좌표에 따라 병진 운동의 DoF를 결정하는 단계;
    상기 게임패드의 자세 정보에 따라 상기 게임패드의 회전 운동의 Dof를 결정하는 단계;
    상기 병진 운동의 상기 Dof와 상기 회전 운동의 Dof에 따라 상기 게임패드의 상기 DoF 정보를 결정하는 단계; 및
    상기 헤드 마운트 디스플레이 장치의 상기 DoF 정보에 따라 상기 게임패드의 상기 DoF 정보에 대한 좌표 변환을 수행하는 단계
    를 포함하는 방법.
  13. 제10항 또는 제12항에 있어서,
    상기 짝수 프레임의 상기 하나 이상의 이미지의 상기 블롭에 대응하는 상기 게임패드의 상기 발광체의 3차원 좌표, 상기 게임패드의 상기 자세 정보 및 상기 헤드 마운트 디스플레이 장치의 상기 DoF 정보에 따라 상기 게임패드의 상기 DoF 정보를 결정하는 단계 이후에,
    상기 방법은,
    상기 게임패드의 고주파 DoF 정보를 획득하기 위해 상기 게임패드의 자세 정보를 참조하여 상기 게임패드의 상기 DoF 정보에 대해 사전 통합을 수행하는 단계
    를 더 포함하는 방법.
  14. 제1항에 있어서,
    홀수 프레임의 상기 하나 이상의 이미지는 적어도 손 또는 손들을 포함하고,
    상기 방법은,
    홀수 프레임의 상기 하나 이상의 이미지에 따라 상기 손 또는 손들의 DoF 정보를 결정하는 단계
    를 더 포함하는 방법.
  15. 제14항에 있어서,
    상기 홀수 프레임의 상기 하나 이상의 이미지에 따라 상기 손 또는 손들의 DoF 정보를 결정하는 단계는,
    상기 손 또는 손들의 복수의 주요 지점의 위치를 획득하기 위해 홀수 프레임의 상기 하나 이상의 이미지를 미리 설정된 컨볼루셔널 신경망 모델에 입력하는 단계; 및
    상기 손 또는 손들의 복수의 주요 지점의 위치에 따라 상기 손 또는 손들의 상기 DoF 정보를 결정하는 단계
    를 포함하는 방법.
  16. 제15항에 있어서,
    상기 미리 설정된 컨볼루셔널 신경망 모델을 훈련시키는 단계를 더 포함하고,
    상기 방법은,
    손 또는 손들을 포함하는 복수의 시나리오 이미지를 획득하는 단계;
    상기 복수의 시나리오 이미지에서 상기 손 또는 손들의 복수의 주요 지점의 위치를 마킹하고, 상기 복수의 마킹된 시나리오 이미지로 이미지 훈련 샘플 세트를 형성하는 단계; 및
    상기 이미지 훈련 샘플 세트에 따라 상기 컨볼루셔널 신경망 모델을 훈련하는 단계
    를 더 포함하는
    방법.
  17. 측위 및 추적 플랫폼에 있어서,
    이미지 획득 모듈, 및
    측위 및 추적 모듈
    을 포함하고,
    상기 이미지 획득 모듈은,
    헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제1 노출 기간으로 수집되는 홀수 프레임의 하나 이상의 이미지 및 상기 헤드 마운트 디스플레이 장치에 배치된 상기 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집된 짝수 프레임의 하나 이상의 이미지를 획득하도록 구성된 이미지 획득 모듈 - 적어도 짝수 프레임의 상기 하나 이상의 이미지는 게임패드 상에 배치된 복수의 발광체에 대응하는 블롭을 포함하고, 상기 게임패드는 상기 헤드 마운트 디스플레이 장치와 통신 연결됨 -;
    홀수 프레임의 상기 하나 이상의 이미지 및 상기 헤드 마운트 디스플레이 장치의 자세 정보에 따라 상기 헤드 마운트 디스플레이 장치의 DoF 정보를 결정하도록 구성되는, 측위 및 추적 모듈; 및
    헤드 마운트 디스플레이 장치에 배치된 하나 이상의 추적 카메라에 의해 미리 설정된 제1 노출 기간으로 수집되는 홀수 프레임의 하나 이상의 이미지 및 상기 헤드 마운트 디스플레이 장치에 배치된 상기 하나 이상의 추적 카메라에 의해 미리 설정된 제2 노출 기간으로 수집된 짝수 프레임의 하나 이상의 이미지를 획득하도록 구성되고,
    짝수 프레임의 상기 하나 이상의 이미지는,
    적어도 게임패드 상에 배치된 복수의 발광체에 대응하는 블롭을 포함하고,
    상기 게임패드는,
    상기 헤드 마운트 디스플레이 장치와 통신 연결되고,
    상기 측위 및 추적 모듈은,
    홀수 프레임의 상기 하나 이상의 이미지 및 상기 헤드 마운트 디스플레이 장치의 자세 정보에 따라 상기 헤드 마운트 디스플레이 장치의 DoF 정보를 결정하도록 구성되고,
    상기 측위 및 추적 모듈은,
    짝수 프레임의 상기 하나 이상의 이미지, 상기 게임패드의 자세 정보 및 상기 헤드 마운트 디스플레이 장치의 DoF 정보에 따라, 상기 게임패드의 DoF 정보를 결정하도록 더 구성되거나, 또는
    프로세서 및 메모리를 포함하고, 상기 메모리는, 컴퓨터 명령을 저장하고, 상기 컴퓨터 명령이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행하는
    측위 및 추적 플랫폼.
  18. 헤드 마운트 디스플레이 시스템에 있어서,
    상기 헤드 마운트 디스플레이 시스템은,
    헤드 마운트 디스플레이 장치, 상기 헤드 마운트 디스플레이 장치에 연결된 게임패드 및 측위 및 추적 플랫폼
    을 포함하고,
    적어도 두 개의 추적 카메라가,
    상기 헤드 마운트 디스플레이 장치에 배치되고,
    상기 게임패드에는,
    복수의 발광체가 제공되는
    헤드 마운트 디스플레이 시스템.
  19. 제18항에 있어서,
    상기 헤드 마운트 디스플레이 장치에 배치된 각각의 추적 카메라의 노출 기간은,
    동일한 중심점을 갖는
    헤드 마운트 디스플레이 시스템.
  20. 제18항에 있어서,
    4개의 추적 카메라가,
    상기 헤드 마운트 디스플레이 장치에 배치되고,
    상기 4개의 추적 카메라가,
    미리 설정된 제1 위치 제약 규칙에 따라 상기 헤드 마운트 디스플레이 장치에 배치되고,
    상기 미리 설정된 제1 위치 제약 규칙은,
    각 추적 카메라가 시야각(FOV)에서 상기 헤드 마운트 디스플레이 장치의 요구 사항을 충족하도록 하는 데 사용되는
    방법.
  21. 제18항에 있어서,
    복수의 발광체가,
    미리 설정된 제2 위치 제약 규칙에 따라 상기 게임패드 상에 배치되고,
    상기 미리 설정된 제2 위치 제약 규칙에 따라 배치되는 것은,
    상기 추적 카메라로부터 상기 게임패드 까지의 미리 설정된 거리 범위 내에서 수집된 이미지에서 로컬 패턴 정보의 일치 또는 유착이 발생하지 않는 조건, 및
    적어도 4개의 발광체에 대응하는 블롭이 임의의 각도에서 하나 이상의 상기 추적 카메라에 의해 수집된 모든 이미지에 표시되는 조건
    을 충족시키는
    시스템.
  22. 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 저장 매체에 있어서,
    상기 컴퓨터 프로그램은,
    제1항 내지 제16항 중 어느 한 항에 따른 방법을 구현하기 위해 프로세서에 의해 실행되는
    컴퓨터 판독가능 저장 매체.
KR1020237010259A 2020-09-16 2021-08-24 측위 및 추적 방법 및 플랫폼, 헤드 마운트 디스플레이 시스템 및 컴퓨터 판독가능 저장 매체 KR20230054725A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010974857.9A CN112286343A (zh) 2020-09-16 2020-09-16 定位追踪方法、平台及头戴显示系统
CN202010974857.9 2020-09-16
PCT/CN2021/114364 WO2022057579A1 (zh) 2020-09-16 2021-08-24 定位追踪方法和平台、头戴显示系统和计算机可读存储介质

Publications (1)

Publication Number Publication Date
KR20230054725A true KR20230054725A (ko) 2023-04-25

Family

ID=74419993

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237010259A KR20230054725A (ko) 2020-09-16 2021-08-24 측위 및 추적 방법 및 플랫폼, 헤드 마운트 디스플레이 시스템 및 컴퓨터 판독가능 저장 매체

Country Status (6)

Country Link
US (1) US11625841B2 (ko)
EP (1) EP4198694A4 (ko)
JP (1) JP2023542668A (ko)
KR (1) KR20230054725A (ko)
CN (1) CN112286343A (ko)
WO (1) WO2022057579A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286343A (zh) * 2020-09-16 2021-01-29 青岛小鸟看看科技有限公司 定位追踪方法、平台及头戴显示系统
CN112527102B (zh) * 2020-11-16 2022-11-08 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置
CN112416125A (zh) * 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机
CN112927259A (zh) * 2021-02-18 2021-06-08 青岛小鸟看看科技有限公司 基于多相机的裸手追踪显示方法、装置及系统
CN113225870B (zh) * 2021-03-29 2023-12-22 青岛小鸟看看科技有限公司 Vr设备定位方法及vr设备
CN113382228B (zh) * 2021-05-17 2023-04-18 青岛小鸟看看科技有限公司 头戴显示设备和头戴显示系统
EP4142285A4 (en) 2021-05-17 2023-11-15 Qingdao Pico Technology Co., Ltd. HEAD-MOUNTED DISPLAY DEVICE AND HEAD-MOUNTED DISPLAY SYSTEM
CN113382230B (zh) * 2021-05-17 2023-01-17 青岛小鸟看看科技有限公司 头戴显示设备和头戴显示系统
US20230161403A1 (en) * 2021-11-22 2023-05-25 Htc Corporation Method for managing tracking sensors, tracking device, and computer readable storage medium
CN114363513A (zh) * 2021-12-24 2022-04-15 歌尔光学科技有限公司 头戴显示设备及其摄像追踪方法、装置、系统和存储介质
CN115082520A (zh) * 2022-06-14 2022-09-20 歌尔股份有限公司 定位追踪方法、装置、终端设备及计算机可读存储介质
WO2024112911A1 (en) * 2022-11-23 2024-05-30 Meta Platforms Technologies, Llc Arrangements of illumination sources within and outside of a digit-occluded region of a top cover of a handheld controller to assist with positional tracking of the controller by an artificial-reality system, and systems and methods of use thereof

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718879A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法
US10146334B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
US10496157B2 (en) * 2017-05-09 2019-12-03 Microsoft Technology Licensing, Llc Controlling handheld object light sources for tracking
CN107153369B (zh) * 2017-05-23 2019-08-20 北京小鸟看看科技有限公司 一种定位物体的定位方法、系统和头戴显示设备
US20190012835A1 (en) * 2017-07-07 2019-01-10 Microsoft Technology Licensing, Llc Driving an Image Capture System to Serve Plural Image-Consuming Processes
US10606364B2 (en) * 2018-06-14 2020-03-31 Dell Products, L.P. Two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
CN109271025B (zh) * 2018-08-31 2021-11-30 青岛小鸟看看科技有限公司 虚拟现实自由度模式切换方法、装置、设备及系统
CN109445596B (zh) * 2018-11-02 2023-09-08 北京盈迪曼德科技有限公司 一种一体式混合现实头戴显示系统
US10902627B2 (en) * 2018-11-30 2021-01-26 Hins Sas Head mounted device for virtual or augmented reality combining reliable gesture recognition with motion tracking algorithm
CN110399866B (zh) * 2019-08-27 2021-03-16 中国科学院紫金山天文台 基于ccd相机不同曝光时间交替的空间碎片观测方法
CN111614915B (zh) * 2020-05-13 2021-07-30 深圳市欢创科技有限公司 一种空间定位方法、装置、系统和头戴式设备
CN112286343A (zh) * 2020-09-16 2021-01-29 青岛小鸟看看科技有限公司 定位追踪方法、平台及头戴显示系统

Also Published As

Publication number Publication date
EP4198694A4 (en) 2024-03-06
WO2022057579A1 (zh) 2022-03-24
CN112286343A (zh) 2021-01-29
EP4198694A1 (en) 2023-06-21
US20220358663A1 (en) 2022-11-10
US11625841B2 (en) 2023-04-11
JP2023542668A (ja) 2023-10-11

Similar Documents

Publication Publication Date Title
KR20230054725A (ko) 측위 및 추적 방법 및 플랫폼, 헤드 마운트 디스플레이 시스템 및 컴퓨터 판독가능 저장 매체
US11676349B2 (en) Wearable augmented reality devices with object detection and tracking
JP6273334B2 (ja) 情報をその上に投影するための実世界内の表面の動的な選択
JP6090879B2 (ja) 拡張現実対応デバイスのためのユーザインターフェース
JP6090140B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20150138065A1 (en) Head-mounted integrated interface
ES2607714T3 (es) Modificación de la funcionalidad basada en las distancias entre dispositivos
JP2016038889A (ja) モーション感知を伴う拡張現実
KR20210010437A (ko) 광학 위치 추적 장치를 위한 전력 관리
CN108257177B (zh) 基于空间标识的定位系统与方法
US10126123B2 (en) System and method for tracking objects with projected m-sequences
US10607069B2 (en) Determining a pointing vector for gestures performed before a depth camera
EP3422145B1 (en) Provision of virtual reality content
US11537196B2 (en) Drift cancelation for portable object detection and tracking
CN112424832A (zh) 用于检测对象的3d关联的系统与方法
WO2020061792A1 (en) Real-time multi-view detection of objects in multi-camera environments
CN110572635A (zh) 一种用于手持控制设备追踪定位的方法、设备与系统
JPWO2015159547A1 (ja) 情報処理システム、制御方法、及びプログラム記録媒体
KR20180066440A (ko) 미술 학습을 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN110837295A (zh) 一种手持控制设备及其追踪定位的方法、设备与系统
JP6643825B2 (ja) 装置及び方法
US20190369713A1 (en) Display control apparatus, display control method, and program
CN115812173A (zh) 在立体显示设备中动态显示三维图像对象的方法、动态立体显示设备和计算机程序产品
WO2013176574A1 (en) Methods and systems for mapping pointing device on depth map
BR102015030766A2 (pt) métodos associados em realidade virtual e realidade aumentada para construção de simuladores de baixo custo, atividades experimentais ou treinamento