KR20220017515A - 게임 플레이를 통한 환경의 세부 데이터 세트 생성 방법 및 시스템 - Google Patents

게임 플레이를 통한 환경의 세부 데이터 세트 생성 방법 및 시스템 Download PDF

Info

Publication number
KR20220017515A
KR20220017515A KR1020227002586A KR20227002586A KR20220017515A KR 20220017515 A KR20220017515 A KR 20220017515A KR 1020227002586 A KR1020227002586 A KR 1020227002586A KR 20227002586 A KR20227002586 A KR 20227002586A KR 20220017515 A KR20220017515 A KR 20220017515A
Authority
KR
South Korea
Prior art keywords
environment
additional
data
room
image
Prior art date
Application number
KR1020227002586A
Other languages
English (en)
Other versions
KR102644519B1 (ko
Inventor
라이언 마이클 힉맨
배수현
Original Assignee
나이앤틱, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 나이앤틱, 인크. filed Critical 나이앤틱, 인크.
Publication of KR20220017515A publication Critical patent/KR20220017515A/ko
Application granted granted Critical
Publication of KR102644519B1 publication Critical patent/KR102644519B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/46—Computing the game score
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Architecture (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

예시적인 방법은 컴퓨팅 장치의 카메라로부터 환경의 이미지를 획득하는 단계 및 그 다음 데이터베이스 내의 저장된 데이터 세트와의 이미지의 제 1 비교에 기초하여, 저장된 데이터 세트가 환경의 하나 이상의 세부사항이 결여되어 있는지 판정하는 단계를 포함한다. 이어서, 이 방법은 컴퓨팅 장치에 의해 환경의 추가 데이터를 획득하라는 요청을 나타내는 커맨드를 제공하고, 그 커맨드에 응답하여 컴퓨팅 장치의 하나 이상의 센서로부터 환경의 추가 데이터를 획득하는 단계를 포함한다. 또한, 이 방법은 데이터베이스 내의 저장된 데이터 세트와의 제 2 비교에 기초하여, 환경의 추가 데이터가 저장된 데이터 세트 내의 환경의 데이터와 상이한지 판정하는 단계 및 그 다음 컴퓨팅 장치의 인터페이스 상에 게임 플레이를 위한 하나 이상의 포인트를 제공하는 단계를 포함한다.

Description

게임 플레이를 통한 환경의 세부 데이터 세트 생성 방법 및 시스템 {METHOD AND SYSTEMS FOR GENERATING DETAILED DATASETS OF AN ENVIRONMENT VIA GAMEPLAY}
본 출원은 2017년 9월 8일에 출원된 미국 정식 특허 출원 번호 제15/699,459호의 우선권을 주장하며, 이 특허는 참조로서 포함된다.
본 발명은 환경 및/또는 환경 내 물체의 데이터를 수집하는 방법에 관한 것이며, 보다 상세하게는 컴퓨팅 장치의 인터페이스 상의 게임 플레이를 통한 데이터 수집에 대한 인센티브를 제공한 환경 및/또는 환경 내 물체의 상세한 데이터 세트의 생성에 관한 것이다.
오늘날 환경 및/또는 환경 내 물체의 데이터를 수집하는 다수의 방법이 존재하지만, 대부분 개별 데이터 수집기가 데이터를 캡처 및 수집하기 위해 관심 영역을 가로지르기 때문에 시간이 많이 걸리고 비용이 많이 든다. 캡처된 데이터는, 예를 들어, 영역의 맵을 생성하거나 특정 시점에서 한 영역의 세부사항을 기록하기 위한 이미지를 포함한다.
넓은 영역의 몇몇 데이터 수집 노력은 비용을 절감하고 더 큰 데이터 수집기 풀(pool)에 액세스하기 위해 크라우드소싱(crowdsourcing)의 이용으로 전환되었다. 그러나, 데이터 품질 및 데이터 수집의 차이에 대한 의문과 관련한 문제가 여전히 발생한다. 데이터 수집기 풀이 일관되게 작업하게 하고, 모든 관심 영역을 가로 지르고 또한 모든 유형의 관심 데이터를 수집하는 지리적 방식으로 데이터를 수집하게 하는 것은 어렵다. 또한, 환경 내 물체의 관심 있는 모든 데이터가 캡처되고 그에 따라 기록되었는지를 판정하는 것은 어렵다. 그러므로, 개선이 요구된다.
일례에서, 컴퓨터 구현 방법이 설명된다. 이 방법은 컴퓨팅 장치의 카메라로부터 환경의 이미지를 획득하는 단계, 데이터베이스 내의 저장된 데이터 세트와 이미지의 제 1 비교에 기초하여, 저장된 데이터 세트가 환경의 하나 이상의 세부사항이 결여되어 있는지 판정하는 단계 및 컴퓨팅 장치에 의해 환경의 추가 데이터를 획득하라는 요청을 나타내는 커맨드를 제공하는 단계를 포함한다. 이 방법은 또한 상기 커맨드에 응답하여, 컴퓨팅 장치의 하나 이상의 센서로부터 환경의 추가 데이터를 획득하는 단계, 데이터베이스 내의 저장된 데이터 세트와의 제 2 비교에 기초하여, 환경의 추가 데이터가 저장된 데이터 세트 내의 환경의 데이터와 상이한지 판정하는 단계, 다른 환경의 추가 데이터가 저장된 데이터 세트 내의 환경의 데이터와 상이하다는 것에 기초하여, 컴퓨팅 장치의 인터페이스 상에 게임 플레이를 위한 하나 이상의 포인트를 제공하는 단계를 포함한다.
다른 예에서, 카메라, 하나 이상의 센서, 하나 이상의 프로세서, 메모리 및 메모리에 저장되어 적어도 하나의 프로세서에 의해 실행될 때 컴퓨팅 장치로 하여금 동작을 수행하게 하는 프로그램 명령어를 포함하는 컴퓨팅 장치가 서술된다. 상기 동작은 카메라로부터 환경의 이미지를 획득하는 단계, 데이터베이스 내의 저장된 데이터 세트와 이미지의 제 1 비교에 기초하여, 저장된 데이터 세트가 환경의 하나 이상의 세부사항이 결여되어 있는지를 판정하는 단계 및 환경의 추가 데이터를 획득하라는 요청을 나타내는 커맨드를 제공하는 단계를 포함한다. 또한, 상기 동작은 상기 커맨드에 응답하여, 컴퓨팅 장치의 하나 이상의 센서로부터 환경의 추가 데이터를 획득하는 단계, 데이터베이스 내의 저장된 데이터 세트와의 제 2 비교에 기초하여, 환경의 추가 데이터가 저장된 데이터 세트 내의 환경의 데이터와 상이한지 판정하는 단계, 다른 환경의 추가 데이터가 저장된 데이터 세트 내의 환경의 데이터와 상이하다는 것에 기초하여, 컴퓨팅 장치의 인터페이스 상에 게임 플레이를 위한 하나 이상의 포인트를 제공하는 단계를 포함한다.
또 다른 예에서, 컴퓨팅 장치에 의해 실행될 때 컴퓨팅 장치로 하여금 기능을 수행하게 만드는 명령어를 내부에 저장한 비 일시적 컴퓨터 판독 가능 매체가 서술된다. 상기 기능은 카메라로부터 환경의 이미지를 획득하는 단계, 데이터베이스 내의 저장된 데이터 세트와 이미지의 제 1 비교에 기초하여, 저장된 데이터 세트가 환경의 하나 이상의 세부사항이 결여되어 있는지를 판정하는 단계 및 환경의 추가 데이터를 획득하라는 요청을 나타내는 커맨드를 제공하는 단계를 포함한다. 또한, 상기 기능은 상기 커맨드에 응답하여, 컴퓨팅 장치의 하나 이상의 센서로부터 환경의 추가 데이터를 획득하는 단계, 데이터베이스 내의 저장된 데이터 세트와의 제 2 비교에 기초하여, 환경의 추가 데이터가 저장된 데이터 세트 내의 환경의 데이터와 상이한지 판정하는 단계, 다른 환경의 추가 데이터가 저장된 데이터 세트 내의 환경의 데이터와 상이하다는 것에 기초하여, 컴퓨팅 장치의 인터페이스 상에 게임 플레이를 위한 하나 이상의 포인트를 제공하는 단계를 포함한다.
논의된 특징, 기능 및 장점은 다양한 예에서 독립적으로 달성될 수도 있고 또는 또 다른 예에서 결합될 수도 있는데, 이러한 예들의 다른 세부사항들은 아래의 설명 및 도면을 참조함으로써 알 수 있다.
예시적인 예의 특징으로 여겨지는 새로운 피처(feature)들은 첨부된 청구항에 기재되어 있다.
그러나, 예시적인 예뿐만 아니라 바람직한 사용 모드, 그것의 추가적인 목적 및 설명은 첨부 도면을 참조하여 본 발명의 예시적인 예의 아래의 상세한 설명을 읽을 때 가장 잘 이해될 것이다.
도 1은 예시적인 구현예에 따른 예시적인 시스템을 도시한다.
도 2는 예시적인 구현예에 따른 컴퓨팅 장치의 일례를 도시한다.
도 3은 예시적인 구현예에 따른 로봇 장치의 일례를 도시한다.
도 4는 예시적인 구현예에 따른 예시적인 방법의 흐름도를 도시한다.
도 5는 예시적인 구현예에 따른 방법과 함께 사용하기 위한 예시적인 방법의 흐름도를 도시한다.
도 6은 예시적인 구현예에 따른 방법과 함께 사용하기 위한 예시적인 방법의 다른 흐름도를 도시한다.
도 7은 예시적인 구현예에 따른 방법과 함께 사용하기 위한 예시적인 방법의 다른 흐름도를 도시한다.
도 8은 예시적인 구현예에 따른 방법과 함께 사용하기 위한 예시적인 방법의 다른 흐름도를 도시한다.
도 9는 예시적인 구현예에 따른 방법과 함께 사용하기 위한 예시적인 방법의 다른 흐름도를 도시한다.
도 10은 예시적인 구현예에 따른 방법과 함께 사용하기 위한 예시적인 방법의 다른 흐름도를 도시한다.
도 11은 예시적인 구현예에 따른 방법과 함께 사용하기 위한 예시적인 방법의 다른 흐름도를 도시한다.
도 12는 예시적인 구현예에 따른 방법과 함께 사용하기 위한 예시적인 방법의 다른 흐름도를 도시한다.
도 13은 예시적인 구현예에 따른, 물체를 포함하는 환경의 예시적인 2 차원(2D) 이미지의 개념도이다.
도 14는 예시적인 구현예에 따른, 환경의 예시적인 추가 데이터의 개념도이다.
도 15는 예시적인 구현예에 따른, 물체의 다른 예시적인 추가 데이터의 개념도이다.
도 16은 예시적인 구현예에 따른, 물체의 다른 예시적인 추가 데이터의 개념도이다.
도 17은 예시적인 구현예에 따른, 물체의 다른 예시적인 추가 데이터의 개념도이다.
도 18은 예시적인 구현예에 따른, 물체의 다른 예시적인 추가 데이터의 개념도이다.
도 19는 예시적인 구현예에 따른, 컴퓨팅 장치의 디스플레이의 인터페이스 상의 예시적인 게임 플레이의 도면이다.
도 20은 예시적인 구현예에 따른, 본 명세서에 설명된 방법의 실행을 위한 예시적인 시나리오의 개념도이다.
개시된 예들을 첨부된 도면을 참조하여 보다 상세하게 설명할 것인데, 개시된 실시예 모두가 도시된 것은 아니고 일부만 도시되어 있다. 실제로, 몇몇 상이한 예가 제공될 수 있으며 여기에 제시된 예로 제한되는 것으로 해석되어서는 안 된다. 그 보다는, 이러한 예들은 본 개시물이 철저하고 완전하게 제공되며 본 개시물의 범위를 당업자에게 완전히 전달할 것이다.
데이터 수집의 게임화를 위한 시스템 및 방법이 설명된다. 하나의 예시적인 컴퓨터 구현 방법은 컴퓨팅 장치의 카메라로부터 환경의 이미지를 획득하는 단계 및 데이터베이스 내의 저장된 데이터 세트와 이미지의 제 1 비교에 기초하여, 저장된 데이터 세트가 환경의 하나 이상의 세부사항이 결여되어 있는지 판정하는 단계를 포함한다. 그 다음, 컴퓨팅 장치는 환경의 추가 데이터를 획득하라는 요청을 나타내는 커맨드(예컨대, 오디오 또는 시각적)를 제공하고, 그 커맨드에 응답하여, 환경의 추가 데이터가 컴퓨팅 장치의 하나 이상의 센서로부터 획득될 수 있다. 그 다음, 이 방법은 데이터베이스 내의 저장된 데이터 세트와의 제 2 비교에 기초하여, 환경의 추가 데이터가 저장된 데이터 세트 내의 환경의 데이터와 상이한지 판정하는 단계 및 환경의 추가 데이터가 저장된 데이터 세트 내의 환경의 데이터와 상이하다는 것에 기초하여, 컴퓨팅 장치의 인터페이스 상에 게임 플레이를 위한 하나 이상의 포인트를 제공하는 단계를 포함한다.
하나의 예시적인 장치는 카메라, 하나 이상의 센서, 하나 이상의 프로세서, 메모리 및 적어도 하나의 프로세서에 의해 실행될 때 컴퓨팅 장치로 하여금 동작을 수행하게 하는, 메모리에 저장된 프로그램 명령어를 포함한다. 이러한 동작은 데이터 수집의 게임화 기능을 포함한다.
예시적인 시나리오에서, 컴퓨팅 장치는 전체 환경(예컨대, 집)의 맵에 대해 데이터가 수집되게 하거나 인센티브를 제공하기 위해 사용자에게 질문을 하고, 컴퓨팅 장치의 인터페이스 상에 게임 플레이에 대한 포인트의 형태로 피드백을 제공하도록 프로그래밍된다. 게임화는 게임 내 보상 및 격려와 같은 기타 피드백(예컨대, "잘했어!"의 표시)을 통해 참여할 동기를 제공한다. 또한, 컴퓨팅 장치는 수집된 데이터의 라벨링을 가능하게 하기 위해 한 영역의 세부사항에 관한 질문(예를 들어, "이 곳은 누구의 방입니까?")을 하도록 프로그래밍될 수 있다. 저장된 데이터 세트를 추가로 완성한 컴퓨팅 장치에서 데이터가 수신될 때, 게임플레이 인터페이스를 통해 추가 포인트 및 보상이 제공된다.
유리하게는, 본 명세서에 개시된 시스템 및 방법은 게임 플레이 인터페이스를 제공하여 데이터 수집을 재미있고 쉽게 만들고 또한 관심 영역(예를 들어, 데이터 세트가 세부사항을 충분히 갖지 않은 영역)으로 사용자를 안내할 수 있다. 데이터 수집의 게임화는 사용자가 환경의 평방 피트(square footage)의 데이터를 수집하도록 안내 받는 경험을 생성하고, 데이터가 이전에 수집되지 않은 새로운 평방 피트를 나타내는 경우 게임 플레이 인터페이스를 통해 포인트/보상이 제공된다.
다른 예에서, 보상/점수가 제공되어 사용자로 하여금 가치 있는 데이터를 수집하게 만드는 가상 게임이 생성된다. 목표는 사용자에게 이미지의 영역으로부터 데이터를 수집하거나 데이터에 라벨을 붙이도록 유도하여, 궁극적으로 그러한 데이터가 다양한 기계 학습 시스템을 트레이닝 하는데 사용할 수 있게 하는 것이다.
이들 시스템 및 방법의 다양한 다른 특징이 첨부 도면을 참조하여 아래에 설명된다.
도 1을 참조하면, 예시적인 시스템(100)이 도시되어 있다. 특히, 도 1은 물체(들) 및/또는 환경(들)의 데이터 수집을 위한 예시적인 시스템(100)을 도시한다. 도 1에 도시된 바와 같이, 시스템(100)은 로봇 장치(102a, 102b), 적어도 하나의 서버 장치(104), 호스트 장치(106), 컴퓨팅 장치(108) 및 통신 네트워크(110)를 포함한다.
로봇 장치(102a, 102b)는 적어도 하나의 센서를 갖고 본 명세서에 설명된 실시예에 따라 센서 데이터를 기록하도록 구성된 임의의 유형의 장치일 수 있다. 일부 경우에, 로봇 장치(102a, 102b)는 또한 환경 내에서의 이동을 용이하게 하는 운동 능력(예를 들어, 구동 시스템)을 포함할 수 있다.
도 1에 도시된 바와 같이, 로봇 장치(102a)는 통신 네트워크(110)를 통해 서버 장치(104) 및/또는 호스트 장치(106)로 데이터를 전송(112)하고 및/또는 그로부터 데이터를 수신(114)할 수 있다. 예를 들어, 로봇 장치(102a)는 통신 네트워크(110)를 통해 센서 장치의 로그를 서버 장치(104)에 전송할 수 있다. 추가적으로 또는 대안으로서, 로봇 장치(102a)는 서버 장치(104)로부터 기계 학습 모델 데이터를 수신할 수 있다. 이와 유사하게, 로봇 장치(102a)는 통신 네트워크(110)를 통해 센서 장치의 로그를 호스트 장치(106)로 전송할 수 있고 및/또는 호스트 장치(106)로부터 기계 학습 모델 데이터를 수신할 수 있다. 또한, 일부 경우에, 로봇 장치(102a)는 통신 네트워크(110)를 통하는 것과 달리 직접 호스트 장치(106)로 데이터를 전송하고 및/또는 호스트 장치(106)로부터 데이터를 수신할 수 있다.
서버 장치(104)는 본 명세서에 기술된 컴퓨팅 장치 동작을 수행하도록 구성된 임의의 유형의 컴퓨팅 장치일 수 있다. 예를 들어, 서버 장치(104)는 원격 서버 장치를 포함할 수 있으며 "클라우드 기반" 장치로 지칭될 수 있다. 일부 예에서, 서버 장치(104)는 컴퓨팅 작업이 복수의 서버 장치들 간에 분산되는 클라우드 기반 서버 클러스터를 포함할 수 있다. 서버 장치(104)는 통신 네트워크(110)를 통해 로봇 장치(102a)로 데이터를 전송(114)하고 및/또는 로봇 장치(102a)로부터 데이터를 수신(112)하도록 구성될 수 있다. 서버 장치(104)는 기계 학습 모델을 트레이닝하도록 구성된 기계 학습 서버 장치를 포함할 수 있다.
서버 장치(104)와 유사하게, 호스트 장치(106)는 본 명세서에 기술된 컴퓨팅 장치 동작을 수행하도록 구성된 임의의 유형의 컴퓨팅 장치일 수 있다. 그러나, 서버 장치(104)와 달리, 호스트 장치(106)는 로봇 장치(102a)와 동일한 환경(예를 들어, 동일한 건물 내)에 위치할 수 있다. 일례에서, 로봇 장치(102a)는 재충전, 데이터의 다운로드 및/또는 업로드를 행하기 위해 호스트 장치(106)와 도킹할 수 있다.
로봇 장치(102a)는 통신 네트워크(110)를 통해 서버 장치(104)와 통신하고 호스트 장치(106)와 통신할 수 있지만, 일부 예에서, 로봇 장치(102a)는 본 명세서에 설명된 컴퓨팅 장치 동작을 수행할 수 있다. 예를 들어, 로봇 장치(102a)는 본 명세서에 설명된 컴퓨팅 장치 동작을 수행하도록 배열된 내부 컴퓨팅 시스템 및 메모리를 포함할 수 있다.
일부 예에서, 로봇 장치(102a)는 무선 인터페이스를 통해 로봇 장치(102b)와 무선으로 통신할 수 있다. 예를 들어, 로봇 장치(102a) 및 로봇 장치(102b)는 모두 동일한 환경에서 동작할 수 있고, 때때로 환경에 관한 데이터를 공유할 수 있다.
컴퓨팅 장치(108)는 컴퓨팅 장치(108)가 환경 내에서 자율적으로 이동하기 위한 운동 능력(예를 들어, 구동 시스템)을 갖지 않을 수 있다는 점을 제외하면, 로봇 장치(102a, 102b)와 관련하여 설명한 모든 기능을 수행할 수 있다. 예컨대, 컴퓨팅 장치(108)는 데스크탑 컴퓨터, 랩톱 컴퓨터, 휴대 전화, PDA, 태블릿 장치, 스마트 워치, 웨어러블 컴퓨팅 장치, 핸드헬드 카메라 컴퓨팅 장치 또는 임의의 유형의 모바일 컴퓨팅 장치의 형태를 취할 수 있다. 컴퓨팅 장치(108)는 또한 통신 네트워크(110)를 통해 서버 장치(104)로 데이터를 전송(116)하고 및/또는 서버 장치(104)로부터 데이터를 수신(118)할 수 있다.
통신 네트워크(110)는 근거리 통신망(LAN), 광역 네트워크(WAN), 기업 인트라넷, 공중 인터넷, 또는 장치들 사이에 통신 경로를 제공하도록 구성된 임의의 다른 유형의 네트워크에 대응할 수 있다. 통신 네트워크(110)는 또한 하나 이상의 LAN, WAN, 회사 인트라넷 및/또는 공중 인터넷의 조합에 대응할 수 있다. 통신 네트워크(110)와 로봇 장치(102a), 로봇 장치(102b) 및 컴퓨팅 장치(108) 간의 통신은 무선 통신(예를 들어, 와이파이, 블루투스 등)일 수 있다.
도 2는 예시적인 실시예에 따른 컴퓨팅 장치(108)의 일례를 도시한다. 도 2는 본 명세서에 설명된 실시예들에 따라 동작하도록 배열된 컴퓨팅 장치(108)에 포함될 수 있는 일부 구성요소들을 도시한다. 컴퓨팅 장치(108)는 본 명세서에 설명된 방법의 기능들을 수행하는데 사용될 수 있다.
컴퓨팅 장치(108)는 각각 통신 버스(134)에 연결된 프로세서(들)(120), 및 또한 통신 인터페이스(122), 데이터 저장 장치(메모리)(124), 출력 인터페이스(126), 디스플레이(128), 카메라(130) 및 센서(132)를 포함하는 것으로 도시되어 있다. 또한, 컴퓨팅 장치(108)는 컴퓨팅 장치(108) 내에서 그리고 컴퓨팅 장치(108)와 다른 장치들(도시되지 않음) 사이에서 통신을 가능하게 하는 하드웨어를 포함할 수 있다. 이러한 하드웨어는, 예를 들어, 송신기, 수신기 및 안테나를 포함할 수 있다.
통신 인터페이스(122)는 무선 인터페이스 및/또는 하나 이상의 네트워크 또는 하나 이상의 원격 장치로의 단거리 통신 및 장거리 통신을 가능하게 하는 하나 이상의 유선 인터페이스일 수 있다. 이러한 무선 인터페이스는 블루투스, 와이파이(예컨대 IEEE(Institute of Electrical and Electronic Engineers) 802.11 프로토콜), 롱텀 에볼루션(LTE: Long-Term Evolution), 셀룰러 통신, 근접장 통신(NFC) 및/또는 다른 무선 통신 프로토콜과 같은 하나 이상의 무선 통신 프로토콜 하에서 통신을 제공할 수 있다. 이러한 유선 인터페이스는 이더넷 인터페이스, 범용 직렬 버스(USB: Universal Serial Bus) 인터페이스 또는 와이어, 와이어의 트위스트 페어, 동축 케이블, 광 링크, 광섬유 링크 또는 유선 네트워크로의 다른 물리적 연결을 통해 통신하기 위한 유사한 인터페이스를 포함할 수 있다. 따라서, 통신 인터페이스(122)는 하나 이상의 장치로부터 입력 데이터를 수신하도록 구성될 수 있고, 또한 출력 데이터를 다른 장치로 전송하도록 구성될 수 있다.
또한, 통신 인터페이스(122)는, 예를 들어, 키보드, 마우스 또는 터치스크린과 같은 사용자 입력 장치를 포함할 수 있다.
데이터 저장 장치(124)는 프로세서(들)(120)에 의해 판독 또는 액세스될 수 있는 하나 이상의 컴퓨터 판독 가능 저장 매체의 형태를 포함하거나 취할 수 있다. 컴퓨터 판독 가능 저장 매체는 프로세서(들)(120)와 전체적으로 또는 부분적으로 통합될 수 있는 광학, 자기, 유기 또는 다른 메모리 또는 디스크 저장 장치와 같은 휘발성 및/또는 비 휘발성 저장 구성요소를 포함할 수 있다. 데이터 저장 장치(124)는 비 일시적 컴퓨터 판독 가능 매체로 간주된다. 일부 예에서, 데이터 저장 장치(124)는 단일 물리적 장치(예컨대, 하나의 광학, 자기, 유기 또는 다른 메모리 또는 디스크 저장 장치)를 사용하여 구현될 수도 있고, 한편 다른 예에서, 데이터 저장 장치(124)는 2 이상의 물리적 장치를 사용하여 구현될 수도 있다.
데이터 저장 장치(124)는 물체 및/또는 환경의 데이터 세트를 저장할 수 있는 데이터베이스(135)를 포함하는 것으로 도시되어 있다. 데이터 세트는 수집된 물체 및/또는 환경의 데이터를 포함하고, 임의의 유형 또는 수의 데이터를 포함할 수 있다.
따라서, 데이터 저장 장치(124)는 비 일시적 컴퓨터 판독 가능 저장 매체이고, 그것에 실행 가능 명령어(136)가 저장된다. 명령어(136)는 컴퓨터 실행 가능 코드를 포함한다. 명령어(136)가 프로세서(120)에 의해 실행될 때, 프로세서(들)(120)는 기능을 수행하게 된다. 이러한 기능은, 예컨대, 카메라(130)로부터 환경의 이미지를 획득하는 단계, 데이터베이스(135)에 저장된 데이터 세트와 이미지의 제 1 비교에 기초하여, 저장된 데이터 세트가 환경의 하나 이상의 세부사항이 결여되어 있는지 판정하는 단계, 환경의 추가 데이터를 얻기 위한 요청을 나타내는 커맨드를 제공하는 단계, 커맨드에 응답하여 하나 이상의 센서(132)로부터 환경의 추가 데이터를 획득하는 단계, 데이터베이스(135)에 저장된 데이터 세트에 대한 제 2 비교에 기초하여, 환경의 추가 데이터가 저장된 데이터 세트 내의 환경의 데이터와 상이한지 판정하는 단계 및 상기 환경의 추가 데이터가 저장된 데이터 세트 내의 환경의 데이터와 상이하다는 것을 기초로 하여, 컴퓨팅 장치(108)의 인터페이스(129) 상에서 게임 플레이를 위한 하나 이상의 포인트를 제공하는 단계를 포함한다. 이러한 기능은 아래에 더 상세하게 설명된다.
프로세서(들)(120)는 범용 프로세서 또는 특수 목적 프로세서(예를 들어, 디지털 신호 프로세서, 주문형 반도체 등)일 수 있다. 프로세서(들)(120)는 하나 이상의 범용 프로세서 및/또는 하나 이상의 전용 프로세서(예컨대, 주문형 반도체(ASIC), 디지털 신호 프로세서(DSP), 네트워크 프로세서 등)과 같은 하나 이상의 CPU를 포함할 수 있다. 예를 들어, 프로세서(들)(120)는 기계 학습 모델의 트레이닝 및/또는 추론을 위한 텐서 프로세싱 유닛(TPU)을 포함할 수 있다. 프로세서(들)(120)는 통신 인터페이스(122)로부터 입력을 수신하고, 그 입력을 처리하여 데이터 저장 장치(124)에 저장되고 디스플레이(128)로 출력되는 출력을 생성할 수 있다. 프로세서(들)(120)는 데이터 저장 장치(124)에 저장되고 본 명세서에 기술된 컴퓨팅 장치(108)의 기능을 제공하도록 실행 가능한 실행 가능 명령어(136)(예를 들어, 컴퓨터 판독 가능 프로그램 명령어)을 실행하도록 구성될 수 있다.
출력 인터페이스(126)는 정보를 디스플레이(128) 또는 다른 구성요소로 출력한다. 따라서, 출력 인터페이스(126)는 통신 인터페이스(122)와 유사할 수 있고 무선 인터페이스(예를 들어, 송신기) 또는 유선 인터페이스일 수 있다.
디스플레이(128)는 인터페이스(129)를 포함한다. 인터페이스(129)는 디스플레이(128) 상에 디스플레이하기 위한 그래픽 사용자 인터페이스(GUI)이거나 이를 포함할 수 있다. 인터페이스(129)는 사용자가 시각적 디스플레이와 상호 작용할 수 있게 하고, 원하는 방식으로 데이터를 보여주고 수집하기 위해 사용자 입력/명령을 수신한다. 인터페이스(129)는 표준 유형의 사용자 인터페이스의 GUI일 수 있으며, 사용자가 이용 가능한 정보 및 동작을 나타내기 위해 텍스트와 더불어 그래픽 이미지를 사용하여 사용자가 컴퓨터와 상호 작용할 수 있게 해준다. 동작은, 예를 들어, 윈도우, 버튼, 메뉴 및 스크롤 바를 포함하는 그래픽 요소의 직접 조작을 통해 수행될 수 있다.
카메라(130)는 물체 및 환경의 2D 이미지를 캡처하기 위한 고해상도 카메라를 포함할 수 있다.
센서(132)는 깊이 카메라(137), 관성 측정 유닛(IMU)(138), 하나 이상의 모션 추적 카메라(140), 하나 이상의 레이더(142), 하나 이상의 마이크로폰 어레이(144) 및 하나와 이상의 근접 센서(146)와 같은 다수의 센서를 포함한다. 더 많거나 적은 센서들이 포함될 수도 있다.
깊이 카메라(137)는 물체의 3 차원(3D) 특성과 같은 환경 내 물체의 깊이에 관한 정보를 복원하도록 구성될 수 있다. 예를 들어, 깊이 카메라(137)는 투영된 적외선 패턴의 하나 이상의 이미지를 캡처하고, 다양한 알고리즘을 사용하여 3D 데이터를 삼각 측량 및 추출하고 하나 이상의 RGBD 이미지를 출력하는 프로세서에 이미지를 제공하도록 구성된 RGB-적외선(RGB-IR) 카메라이거나 이를 포함할 수 있다. 적외선 패턴은 깊이 카메라(137)와 통합된 프로젝터에 의해 투영될 수 있다. 대안으로서, 적외선 패턴은 깊이 카메라(137)(도시되지 않음)로부터 분리된 프로젝터에 의해 투영될 수 있다.
IMU(138)는 로봇 장치의 속도 및/또는 방향을 판정하도록 구성될 수 있다. 일례에서, IMU는 3 축 자이로스코프, 3 축 가속도계, 3 축 나침반 및 모션 정보를 처리하기 위한 하나 이상의 프로세서를 포함할 수 있다.
모션 추적 카메라(140)는 이미지(예를 들어, RGB-IR 이미지)를 캡처하고 처리함으로써 물체의 움직임을 검출하고 추적하도록 구성될 수 있다. 일부 경우에, 모션 추적 카메라(140)는 저휘도 조명 조건에서 검출을 가능하게 해주는 하나 이상의 IR 발광 다이오드(LED)를 포함할 수 있다. 모션 추적 카메라(140)는 180도 시야(FOV)와 같은 넓은 FOV를 포함할 수 있다. 일 예시적인 구성에서, 컴퓨팅 장치(108)는 컴퓨팅 장치(108)의 제 1 측면상의 이미지를 캡처하도록 구성된 제 1 모션 추적 카메라 및 컴퓨팅 장치(108)의 반대 측면상의 이미지를 캡처하도록 구성된 제 2 모션 추적 카메라를 포함할 수 있다.
레이더(142)는 환경 내 물체의 범위, 각도 또는 속도를 판정하기 위해 전자기파를 사용하는 물체 검출 시스템을 포함할 수 있다. 레이더(142)는 레이저 펄스를 환경으로 발사하고 반사된 펄스를 하나 이상의 센서로 측정함으로써 동작할 수 있다. 일례에서, 레이더(142)는 150도 FOV와 같은 넓은 FOV를 갖는 고체 밀리미터파 레이더를 포함할 수 있다.
마이크로폰(144)은 오디오 데이터를 기록하는 것과 같은 하나 이상의 기능을 수행하기 위해 단일 마이크로폰 또는 함께 작동하는 다수의 마이크로폰(마이크 어레이로 배열됨)을 포함할 수 있다. 일례에서, 마이크로폰(144)은 음향 소스 로컬라이제이션(localization)을 이용하여 사운드 소스를 위치시키도록 구성될 수 있다.
근접 센서(146)는 컴퓨팅 장치(108)의 일정 범위 내의 물체의 존재를 검출하도록 구성될 수 있다. 예를 들어, 근접 센서(146)는 적외선 근접 센서를 포함할 수 있다. 일례에서, 컴퓨팅 장치(108)는 복수의 근접 센서를 포함할 수 있고, 각각의 근접 센서는 컴퓨팅 장치(108)의 상이한 측면(예를 들어, 전, 후, 좌, 우 등) 상의 물체를 검출하도록 배열된다.
도 3은 예시적인 실시예에 따른 로봇 장치(200)의 일례를 도시한다. 도 3은 본 명세서에 설명된 실시예에 따라 동작하도록 배열된 로봇 장치(200)에 포함될 수 있는 구성요소들 중 일부를 도시한다. 로봇 장치(200)는 본 명세서에 설명된 방법의 기능을 수행하는 데 사용될 수 있다.
로봇 장치(200)는 각각 통신 버스(134)에 연결된 프로세서(들)(120), 통신 인터페이스(122), 데이터 저장 장치(메모리)(124), 출력 인터페이스(126), 디스플레이(128), 카메라(130) 및 센서(132)를 포함하는 컴퓨팅 장치(108)의 동일하거나 유사한 구성요소를 포함할 수 있다(및/또는 컴퓨팅 장치(108)를 포함할 수 있다). 이들 구성요소에 대한 설명은 컴퓨팅 장치(108)와 동일하다. 로봇 장치(200)는 또한 로봇 장치(200) 내에서 그리고 로봇 장치(200)와 다른 장치들(도시되지 않음) 사이에서 통신을 가능하게 해주는 하드웨어를 포함할 수 있다. 이러한 하드웨어는, 예를 들어, 송신기, 수신기 및 안테나를 포함할 수 있다.
일부 예에서, 로봇 장치(200)는 또한 보상 받은 포인트를 보여주기 위해 게임 플레이를 위한 인터페이스(129)를 포함한다. 다른 예에서, 로봇 장치(200)는 데이터 수집을 위해 (스마트 폰 형태일 수 있는) 도 2의 컴퓨팅 장치(108)에 추가로 또는 대안으로서 사용될 수 있고, 로봇 장치(200)는 컴퓨팅 장치(108)와 무선으로 통신하여 게임 플레이 중 포인트를 보상 받기 위한 데이터 수집의 성공을 알릴 수 있다. 도 2의 컴퓨팅 장치의 디스플레이(128) 상의 인터페이스(129)는, 예를 들어, 포인트를 보여줄 수 있다.
로봇 장치(200)는 또한 접촉 센서(들)(148) 및 적재 화물(payload) 센서(150)와 같은 추가 센서(132)를 포함할 수 있다.
접촉 센서(들)(148)는 로봇 장치(200)가 물체와 접촉한 때 신호를 제공하도록 구성될 수 있다. 예를 들어, 접촉 센서(들)(148)는 접촉 센서(들)(148)가 물체와 접촉한 때 신호를 제공하는 로봇 장치(200)의 외부 표면 상의 물리적 범프 센서일 수 있다.
적재 화물 센서(150)는 로봇 장치(200)에 의해 운반되는 적재 화물의 무게를 측정하도록 구성될 수 있다. 예를 들어, 적재 화물 센서(150)는 로봇 장치(200)의 플랫폼 또는 다른 표면에 가해지는 힘에 비례하는 전기 신호를 제공하도록 구성된 로드 셀(load cell)을 포함할 수 있다.
도 3에 더 도시된 바와 같이, 로봇 장치(200)는 또한 컴퓨팅 장치(108)에 연결된 기계 시스템(152)을 포함하고, 기계 시스템(152)은 구동 시스템(154) 및 액세서리 시스템(156)을 포함한다. 구동 시스템(154)은 로봇 장치(200)가 환경을 통해 이동(예를 들어, 바닥을 가로 질러 이동)하게 만들기 위해 제어될 수 있는 하나 이상의 모터, 휠 및 다른 구성요소를 포함할 수 있다. 일례에서, 구동 시스템(154)은 로봇 장치(200)가 임의의 방향으로 진행하게 만들기 위해 제어될 수 있는 전방향(omnidirectional) 구동 시스템을 포함할 수 있다.
액세서리 시스템(156)은 액세서리 작업의 수행을 용이하게 하도록 구성된 하나 이상의 기계 구성요소를 포함할 수 있다. 일례로서, 액세서리 시스템(156)은 진공화를 용이하게 하도록 구성된 모터 및 팬을 포함할 수 있다. 예를 들어, 전기 모터는 흡입력을 생성하고 흡입구를 통해 먼지, 흙, 다른 부스러기를 쉽게 모으기 위해 팬을 회전시킬 수 있다. 다른 예로서, 액세서리 시스템(156)은 플랫폼 또는 구조물의 상부에 놓인 임의의 물체가 지면으로부터 들어 올려지도록 로봇 장치(200)의 플랫폼 또는 다른 구조물을 수직으로 상승시키도록 구성된 하나 이상의 액추에이터를 포함할 수 있다. 일례에서, 액세서리 시스템(156)은 약 10 킬로그램의 적재 화물을 들어 올리도록 구성될 수 있다. 로봇 장치(200)에 대한 원하는 활동에 따라 다른 예 또한 가능하다.
예시에서, 컴퓨팅 장치(108)는 사용자에 의해 사용될 수 있고 그리고/또는 로봇 장치(102a, 102b)는 컴퓨팅 장치(108) 및/또는 로봇 장치(102a, 102b)의 인터페이스 상에서 게임 플레이의 기능으로서 데이터를 수집하도록 프로그래밍될 수 있다. 예시적인 시나리오에서, 정보가 많은(예컨대, 물체의 포즈가 많은) 것이 바람직한 이미지 내의 물체를 찾기(spot) 위해 (예컨대, 서버 장치(104) 및/또는 온보드 컴퓨팅 장치(108) 및 로봇 장치(102a, 102b)를 통해) 물체 인식기가 참조될 수 있다. 컴퓨팅 장치(108)는 사용자에게 물체의 추가 포즈를 캡처하도록 알리는 커맨드를 제공할 수 있다. 이 커맨드는 컴퓨팅 장치(108) 상의 게임의 게임 플레이 동안 명령으로서 제공될 수 있다. 새로운 포즈를 성공적으로 캡처하면, 데이터 수집을 장려하기 위해 게임 내에서 사용자에게 보상/점수가 제공된다. 특정 예로서, 게임 플레이 동안, 사용자는 집으로 걸어 들어오고 컴퓨팅 장치(108)는 방의 일부의 이미지 프레임을 획득한다. 클라우드 물체 인식기는 이미지 프레임이 벽난로를 포함한다고 판정하고, 게임을 통한 컴퓨팅 장치(108)는 사용자에게 많은 상이한 각도로부터 이미지를 캡처하기 위해 벽난로에 더 가까이 가도록 요청하는 커맨드를 제공한다. 새로운 이미지 프레임을 성공적으로 캡처하면, 게임상의 사용자의 점수에 포인트가 수여될 수 있다.
본 명세서에서 사용된, 게임 플레이라는 용어는 컴퓨팅 장치가 입력을 요청하고 컴퓨팅 장치가 요청된 입력을 모으거나 수집하게 하기 위한 작업을 사용자가 완료하게끔 인센티브를 제공하도록 프로그래밍 되어 있는, 컴퓨팅 장치 상에서의 애플리케이션의 실행을 지칭할 수 있다. 또한, 게임 플레이는 보상을 받기 위해 현실 세계 내의 물리적 물체의 어떤 데이터 또는 이미지를 수집하는 것과 같이, 인센티브 보상을 받기 위해 사용자가 충족시켜야 하는 전략적 도전과제를 포함할 수 있다. 보상은, 예를 들어, 서비스 제공자에 의해 제공되는 금전적 면에서 실제적일 수 있고, 또는 사용자의 점수를 높이기 위한 GUI 상의 포인트 면에서 가상적일 수도 있다. 따라서, 게임 플레이라는 용어는, 예를 들어, 게임 애플리케이션 실행(예컨대, 사용자/플레이어가 컴퓨팅 장치를 사용하여 게임에 대하여 연관된 규칙들을 갖는 애플리케이션을 실행하는 것을 포함), 뿐만 아니라 시뮬레이션 유형에 대해 유사한 연관된 규칙들을 갖는 다른 애플리케이션의 실행을 포함한다.
도 4는 예시적인 구현예에 따른 예시적인 방법(400)의 흐름도를 도시한다. 도 4에 도시된 방법(400)은, 예를 들어, 본 명세서의 임의의 도면에 도시된 임의의 컴퓨팅 장치 또는 로봇 장치와 같은 컴퓨팅 장치 또는 로봇 장치에 의해 수행될 수 있는 방법의 실시예를 제공한다. 이와 같이, 방법(400)은 컴퓨터 구현 방법일 수 있다. 본 명세서에 개시된 이러한 및 다른 프로세스 및 방법에 대해, 흐름도는 본 실시예의 하나의 가능한 구현예의 기능 및 동작을 보여준다는 것을 이해해야한다. 대안의 구현예가 본 개시물의 예시적인 실시예의 범위 내에 포함되며, 여기서 기능들은 당업자들이 이해하는 바와 같이, 포함되는 기능에 따라, 실질적으로 동시 또는 역순을 포함하여, 도시되거나 서술된 순서와 다르게 실행될 수도 있다.
방법(400)은 하나 이상의 블록(402 내지 412)에 의해 도시된 바와 같은 하나 이상의 동작, 기능 또는 액션을 포함할 수 있다. 본 명세서에 개시된 이러한 및 다른 프로세스 및 방법에 대해, 흐름도는 본 예의 하나의 가능한 구현예의 기능 및 동작을 보여주는 것임을 이해해야 한다. 이와 관련하여, 각 블록은 프로세스 내의 특정 논리 기능 또는 단계를 구현하는, 모듈, 세그먼트 또는 프로세서에 의해 실행 가능한 하나 이상의 명령어를 포함하는 프로그램 코드의 일부를 나타낼 수 있다. 프로그램 코드는, 예를 들어, 디스크 또는 하드드라이브를 포함하는 저장 장치와 같은 임의의 유형의 컴퓨터 판독 가능 매체 또는 데이터 저장 장치에 저장될 수 있다. 또한, 프로그램 코드는 컴퓨터 판독 가능 저장 매체 상에 기계 판독 가능한 포맷으로 인코딩될 수 있고 또는 다른 비 일시적 매체 또는 제조품 상에 인코딩될 수 있다. 컴퓨터 판독 가능 매체는, 예를 들어, 레지스터 메모리, 프로세서 캐시 및 랜덤 액세스 메모리(RAM)와 같은 단기간 동안 데이터를 저장하는 컴퓨터 판독 가능 매체와 같은 비 일시적 컴퓨터 판독 가능 매체 또는 메모리를 포함할 수 있다. 컴퓨터 판독 가능 매체는 또한, 예를 들어, 판독 전용 메모리(ROM), 광학 또는 자기 디스크, CD-ROM(콤팩트 디스크 판독 전용 메모리)과 같은 2 차 또는 영구적 장기 저장 장치와 같은 비 일시적 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 또한 임의의 다른 휘발성 또는 비 휘발성 저장 시스템일 수 있다. 컴퓨터 판독 가능 매체는, 예를 들어, 유형의 컴퓨터 판독 가능 저장 매체로 간주될 수 있다.
또한, 도 4의 각 블록은, 본 명세서에 개시된 다른 프로세스 및 방법에서, 프로세스 내의 특정 논리 기능을 수행하도록 배선된 회로를 나타낼 수 있다. 대안의 구현예가 본 개시물의 예의 범위 내에 포함되며, 여기서 기능들은 당업자들이 이해하는 바와 같이, 포함되는 기능에 따라, 실질적으로 동시 또는 역순을 포함하여 도시되거나 서술된 순서와 다르게 실행될 수 있다.
도 4의 방법(400)은 컴퓨팅 장치(108), 로봇 장치(102a, 102b) 및/또는 컴퓨팅 장치(108)와 로봇 장치(102a, 102b)의 조합에 의해 수행될 수 있다. 아래에서, 방법(400)은 예시적인 시나리오에서 (도 3을 참조하여 설명한 바와 같이) 로봇 장치(102a, 102b)의 일부로 간주될 수 있는 컴퓨팅 장치(108)에 의해 수행되는 것으로 설명된다.
일부 예에서, 방법(400)은 컴퓨팅 장치(108) 상에서 플레이되는 게임으로서 실행될 수 있고 또는 방법(400)의 일부는 게임의 게임 플레이의 기능일 수 있다.
블록(402)에서, 방법(400)은 컴퓨팅 장치(108)의 카메라(130)로부터 환경의 이미지를 획득하는 단계를 포함한다. 예를 들어, 사용자는 컴퓨팅 장치(108)를 사용하여 물체의 이미지를 캡처할 수 있다.
블록(404)에서, 방법(400)은 데이터베이스(135) 내의 저장된 데이터 세트와 이미지의 제 1 비교에 기초하여, 저장된 데이터 세트가 환경의 하나 이상의 세부사항이 결여되어 있는지 판정하는 단계를 포함한다. 일부 예에서, 데이터 세트를 저장하는 데이터베이스(135)는 또한 서버 장치(들)(104) 내에 있을 수 있고, 따라서 컴퓨팅 장치(108)는 제 1 비교를 발생시키기 위해 서버 장치(들)(104)에 이미지를 전송할 수 있다.
제 1 비교는 이미지 내의 물체의 물체 인식을 포함할 수 있다. 예를 들어, 이미지가 물체의 이미지를 포함하는지 판정하기 위해 클라우드 물체 인식기를 참조할 수 있다. 이어서, 제 1 비교는 저장된 데이터 세트가 인식된 물체의 임의의 이미지를 포함하는지 판정하고, 그러한 경우 얼마나 많은 이미지 및 이미지 유형이 포함되는지 판정하는 단계를 포함할 수 있다. 일례로서, 제 1 비교는 물체 포즈의 임계 개수가 데이터 세트 내에 저장되어 있는지 판정하는 단계를 포함할 수 있고, 이 임계치는 임의의 개수(예를 들어, 15-20, 또는 가능하다면 100 초과의 포즈)일 수 있다. 또한, 제 1 비교는, 예를 들어, 환경 및/또는 물체의 임계 개수의 이미지(예를 들어, 20, 30 또는 적어도 50 개의 이미지)가 데이터 세트에 포함되어 있는지 판정할 수 있다.
또한, 제 1 비교는 이미지의 유형이 컬러, 흑백, 깊이 이미지 등과 같은 다양한 유형을 포함하는지 판정하는 단계를 포함할 수 있다. 제 1 비교는 주변 영역의 데이터, 물체 자체의 고유한 데이터(예컨대, 제조업체, 모델 번호, 제조 연도 등), 물체의 오디오 또는 물체의 주변 영역의 오디오와 관련된 데이터, 물체의 소유자 또는 물체의 위치를 나타내는 데이터, 또는 어떤 식으로든 물체와 관련된 임의의 유형 및/또는 양의 데이터와 같은, 물체 및/또는 환경의 다른 유형의 데이터가 저장된 데이터 세트에서 결여되어 있다고 판정하는 단계를 더 포함할 수 있다.
일례에서, 저장된 데이터 세트는 환경의 평면도를 포함할 수 있고, 제 1 비교는 평면도에 환경의 임의의 부분에 관한 데이터가 완전한지 또는 누락되어 있는지에 대해 판정할 수 있다.
따라서, 제 1 비교는 다수의 기준에 기초하여 판정될 수 있고, 데이터 세트가 세부사항이 결여되어 있는지 여부의 판단을 내리기 위해 저장된 데이터 세트와 비교할 때 바람직한 임계 값이 설정될 수 있다. 일부 예에서, 제 1 비교는 데이터 세트가 세부사항이 결여되어 있는지 항상 판정할 수 있으며, 이는 게임 플레이를 위해(아래 설명된 바와 같이) 사용자가 환경 및/또는 물체의 몇몇 "새로운" 데이터의 캡처를 시도하게 만든다.
데이터베이스(135)에 저장된 데이터 세트의 목적은 환경 및 물체를 나타내기 위해 전체 데이터 세트가 생성되도록 하여 제 1 비교가 데이터 세트가 환경 및/또는 물체의 적어도 하나의 양태의 세부사항이 결여되어 있는지의 판정을 내릴 수 있도록, 이용 가능한 모든 유형의 데이터(예를 들어, 이미지, 오디오, 비디오 등)를 통해 물체 및/또는 환경을 완전히 설명하는 것이다.
대안으로서, 일부 예에서, 데이터 세트가 강건한(robust) 경우, 제 1 비교의 결과는 세부사항의 결여가 존재하지 않는 것일 수 있고, 게임 플레이는 다른 제 1 비교에 사용하기 위해 추가 이미지의 캡처를 계속할 수 있다.
블록(406)에서, 방법(400)은 컴퓨팅 장치(108)에 의해 환경의 추가 데이터를 획득하라는 요청을 나타내는 커맨드를 제공하는 단계를 포함한다. 데이터 세트가 일부 세부사항이 결여되어 있다고 판정되면, 컴퓨팅 장치(108)는 게임 플레이 동안 인터페이스(129) 상의 텍스트 그래픽을 통해 또는 게임 플레이 동안 오디오 커맨드로 커맨드를 제공한다. 이 커맨드는 환경 및/또는 물체의 추가 데이터를 얻으려고 시도한다는 것을 사용자에게 나타낸다. 일례에서, 이 커맨드는 환경의 추가 데이터를 획득하기 위한 환경의 하나 이상의 영역을 나타낸다. 환경이 집을 포함하는 다른 예에서, 이 커맨드는 집 내의 특정 방의 추가 데이터를 획득하라는 요청을 나타내는 정보를 제공한다. 이 커맨드는 깊이 이미지, 오디오 데이터, 2D 이미지 데이터 등과 같은 수집할 특정 유형의 데이터를 추가로 나타낼 수 있다.
블록(408)에서, 방법(400)은 이러한 커맨드에 응답하여 컴퓨팅 장치(108)의 하나 이상의 센서(132)로부터 환경의 추가 데이터를 획득하는 단계를 포함한다. 추가 데이터는 환경의 하나 이상의 깊이 이미지를 획득하는 것, 마이크로폰(144)을 사용하여 환경으로부터의 오디오를 획득하는 것, 레이더(142)를 사용하여 레이더 데이터를 획득하는 것 등을 포함할 수 있다. 따라서, 게임 플레이 동안, 사용자는 컴퓨팅 장치(108)를 이용하여 센서(들)(132)의 사용을 통해 이용 가능한 임의의 모든 유형의 데이터를 캡처할 수 있다.
블록(410)에서, 방법(400)은 데이터베이스(135)에 저장된 데이터 세트와의 제 2 비교에 기초하여, 환경의 추가 데이터가 저장된 데이터 세트 내의 환경의 데이터와 상이한지 판정하는 단계를 포함한다. 새로 캡처된 추가 데이터가 데이터 세트에 저장된 데이터와 어떤 방식으로든 상이한지 또는 변했는지 여부를 판정하기 위해 제 2 비교가 수행될 수 있다. 데이터 세트에 이전에 저장되지 않은 새 이미지, 데이터 세트에 이전에 저장되지 않은 새 오디오, 데이터 세트에 이전에 저장되지 않은 물체/환경의 새로운 정보, 이전에 저장되지 않은 새로운 유형의 데이터(예컨대, 저장된 데이터 세트는 이미지 데이터만 포함하고 추가 데이터는 오디오를 포함하는 경우) 등을 캡처하는 것과 같이, 데이터가 임의의 양만큼 변했다면 데이터가 상이한 것으로 간주될 수 있다.
다른 예에서, 제 2 비교는 추가 데이터가 데이터 세트에 저장된 것과 상이한지 여부를 판정하기 위해 차이 임계 값을 사용할 수 있다. 차이 임계 값은 임의의 레벨로 설정될 수 있으며 데이터 유형에 따라 달라질 수 있다. 예를 들어, 이미지 데이터의 경우, 차이 임계 값은 50 % 초과의 픽셀 강도 차이, 픽셀의 적어도 50 %의 색상 차이, 이미지 내 픽셀의 적어도 10 %의 컨텐츠 차이 등으로 설정될 수 있다.
차이 임계 값은 또한 저장된 이미지 내의 물체 개수와 상이한, 이미지 내에서 판정된 물체의 개수일 수 있다. 예를 들어, 추가 데이터가 이미지를 포함하는 경우, 클라우드 물체 인식기는 이미지 내에 얼마나 많은 물체가 있는지를 판정하기 위해 이용될 수 있다. 환경에 대하여 데이터 세트 내에 저장된 것보다 더 많은 물체가 이미지에서 인식되면, 차이 임계 값이 충족될 수 있다.
블록(412)에서, 방법(400)은 환경의 추가 데이터가 저장된 데이터 세트 내의 환경의 데이터와 상이하다는 것에 기초하여, 컴퓨팅 장치(108)의 인터페이스(129) 상에 게임 플레이를 위한 하나 이상의 포인트를 제공하는 단계를 포함한다. 점수에 부여되거나 추가되는 포인트, 배지의 보상과 같은 업적, 레벨 업 또는 리더보드 상에서의 순위 상승 등과 같은 임의의 유형의 포인트 또는 다른 게임 요소가 게임 플레이 동안 제공될 수 있다.
게임 플레이는 사용자가 보상을 받기 위해 액션 또는 작업을 완료하기 위해 복귀해야 하는 어떤 시간 제한을 설정할 수 있다. 이것은 보상 받을 자격을 갖추기 위해 정기적으로 게임을 플레이하여 추가 데이터를 캡처하도록 사용자를 장려한다. 이와 유사하게, 게임 플레이는 작업을 완료하기 위한 제한된 시간을 설정할 수 있다
도 5는 예시적인 구현예에 따른, 방법(400)과 함께 사용하기 위한 예시적인 방법의 흐름도를 도시한다. 블록(414)에서, 기능은 환경의 추가 데이터에 기초하여 환경의 평면도를 생성하는 단계를 포함한다. 예를 들어, 커맨드는 평면도를 생성하기에 충분한 데이터가 수집될 수 있도록 환경의 관심 영역에 걸쳐 데이터를 수집하도록 사용자를 안내할 수 있다. 이 예에서, 커맨드는 집의 모든 방에 대한 데이터 수집을 요청할 수 있고, 게임 플레이는 집의 전통적인 방에 대한 체크리스트(예컨대, 부엌, 거실, 침실)를 포함할 수 있고, 체크리스트가 완성되면, 일반적인 평면도가 생성될 수 있다.
도 6은 예시적인 구현예에 따른, 방법(400)과 함께 사용하기 위한 예시적인 방법의 다른 흐름도를 도시한다. 블록(416)에서, 기능은 물체의 이미지에 기초하여 물체의 식별정보를 서버(104)로부터 수신하는 단계를 포함한다. 블록(418)에서, 기능은 데이터베이스(135) 내의 저장된 데이터 세트와의 제 1 비교에 기초하여, 저장된 데이터 세트가 물체의 하나 이상의 세부사항이 결여되어 있는지 판정하는 단계를 포함하고, 블록(420)에서, 기능은 커맨드 내에 물체의 추가 데이터를 획득하라는 추가 요청을 제공하는 단계를 포함한다. 이어서, 블록(422, 424 및 426)에서, 기능은 컴퓨팅 장치(108)의 하나 이상의 센서(132)로부터 물체의 추가 데이터를 획득하는 단계, 데이터베이스(135) 내의 저장된 데이터 세트와의 제 2 비교에 기초하여, 물체의 추가 데이터가 저장된 데이터 세트 내의 물체의 데이터와 상이한지 판정하는 단계 및 물체의 추가 데이터가 저장된 데이터 세트 내의 물체의 데이터와 상이하다는 것에 기초하여, 인터페이스(129) 상에 게임 플레이를 위한 하나 이상의 포인트를 제공하는 단계를 포함한다. 이 예에서, 커맨드는 물체의 추가 데이터를 획득하기 위한 물체의 포즈를 나타내는 정보를 제공할 수 있고, 또는 (상이한 조명으로 물체의 데이터를 캡처하기 위해) 물체의 추가 데이터를 획득하기 위한 일중 시간을 제공할 수 있다.
도 7은 예시적인 구현예에 따른 방법(400)과 함께 사용하기 위한 예시적인 방법의 다른 흐름도를 도시한다. 블록(428)에서, 기능은 물체의 식별정보로 물체의 추가 데이터를 라벨링하는 단계를 포함하고, 블록(430)에서, 기능은 물체의 추가 데이터를 데이터베이스(135)에 저장하는 단계를 포함한다. 이 예에서, 새로운 추가 데이터가 수신되면, 컴퓨팅 장치(108)는, 가능하다면, 이미지 내의 컨텐츠의 물체 인식을 수행할 수 있다. 임의의 물체가 인식될 수 없다면, 컴퓨팅 장치(108)는 사용자에게 그 물체에 라벨링하도록 프롬프팅할 수 있다.
이와 유사하게, 컴퓨팅 장치(108)는 사용자에게 모든 새로 수신된 데이터에 대한 새로운 추가 데이터를 라벨링하도록 프롬프팅할 수 있다. 예시적인 시나리오에서, 새로운 데이터는 집 안의 방을 나타낼 수 있고, 프롬프트는 그 방과 연관된 사람의 식별정보를 요청할 수 있다. 또는, 새로운 데이터는 물체(예를 들어, 신발)를 나타낼 수 있고, 프롬프트는 물체의 소유자의 식별정보를 요청할 수 있다.
도 8은 예시적인 구현예에 따른 방법(400)과 함께 사용하기 위한 예시적인 방법의 다른 흐름도를 도시한다. 블록(432)에서, 기능은 서버(104)로부터 환경의 이미지에 기초하여 환경 내 방의 식별정보를 수신하는 단계를 포함한다. 블록(434)에서, 기능은 환경 내 방과 연관된 물체들의 카테고리를 판정하는 단계를 포함한다. 블록(436)에서, 기능은 컴퓨팅 장치(108)의 하나 이상의 센서(132)를 사용하여 환경 내의 방과 연관된 물체의 카테고리 내의 적어도 하나의 물체의 데이터를 획득하라는 요청을 나타내는 제 2 커맨드를 제공하는 단계를 포함한다. 예시적인 시나리오에서, 사용자가 위치 판정을 통해, 평면도를 참조하여, 또는 사무실 내의 물체의 물체 인식을 통해, 집안의 사무실로 걸어들어갔다는 것을 컴퓨팅 장치(108)가 인식하면, 컴퓨팅 장치(108)는 사무용품을 물체들의 카테고리로서 판정할 수 있고, 게임 플레이 동안 데이터베이스(135) 내의 데이터 세트가 세부사항을 충분히 갖지 못한 특정 사무용품의 데이터를 획득하라는 요청을 나타내는 커맨드를 제공하도록 구성된다. 사용자는 게임 플레이 중 추가 포인트와 보상을 받기 위해 요청받은 사무용품의 데이터를 캡처할 수 있다.
따라서, 사용자가 환경을 가로 질러 걸을 때, 컴퓨팅 장치(108)는 컴퓨팅 장치(108)의 위치를 판정하고 데이터 세트가 세부사항을 충분히 갖지 못한 위치와 연관된 물체를 판정한다. 이것은 컴퓨팅 장치(108)가 컴퓨팅 장치(108)의 위치와 크게 관련 있고 데이터 세트 내에 세부사항이 결여된 특정 물체의 추가 데이터를 요청하는 것을 가능하게 해준다.
도 9는 예시적인 구현예에 따른 방법(400)과 함께 사용하기 위한 예시적인 방법의 다른 흐름도를 도시한다. 블록(438)에서, 기능은 컴퓨팅 장치(108)의 디스플레이(128) 상에 환경의 뷰(view) 상에 중첩되는 증강 현실(AR) 그래픽 캐릭터를 제공하는 단계를 포함하고, 블록(440)에서, 기능은 데이터베이스(135)에 저장된 데이터 세트가 환경의 하나 이상의 세부사항이 결여되어 있는 환경의 영역으로 이동시키기 위한 표시로 컴퓨팅 장치(108)의 디스플레이(128) 상에서 AR 그래픽 캐릭터를 이동하게 만드는 단계를 포함한다. 예는 도 21을 참조하여 아래에 설명된다.
도 10은 예시적인 구현예에 따른 방법(400)과 함께 사용하기 위한 예시적인 방법의 다른 흐름도를 도시한다. 블록(442)에서, 기능은 환경의 이미지가 액션을 수행하는 사람을 포함하는지 판정하는 단계를 포함하고, 블록(444)에서, 기능은 저장된 데이터 세트가 사람의 이미지와 연관된 액션의 식별정보가 부족한지 판정하는 단계를 포함한다. 블록(446)에서, 기능은 액션의 식별정보를 얻기 위한 요청을 커맨드에 제공하는 단계를 포함한다. 이 예에서, 게임 플레이는 컴퓨팅 장치(108)를 트레이닝하기 위해 수행되고 있는 활동을 라벨링하는 것을 돕도록 사용자에게 지시하고 그러한 정보를 데이터 세트에 저장한다. 이러한 방식으로, 예를 들어, 활동 인식 기능을 수행하기 위해 데이터 세트가 참조될 수도 있다.
도 11은 예시적인 구현예에 따른 방법(400)과 함께 사용하기 위한 예시적인 방법의 다른 흐름도를 도시한다. 블록(448)에서, 기능은 환경의 이미지가 사람의 얼굴을 포함하는지 판정하는 단계를 포함하고, 블록(450)에서, 기능은 저장된 데이터 세트가 사람의 얼굴의 이미지와 연관된 감정의 식별정보가 결여되어 있는지 판정하는 단계를 포함한다. 블록(452)에서, 기능은 감정의 식별정보를 획득하라는 요청을 커맨드에 제공하는 단계를 포함한다. 이 예에서, 게임 플레이는 감정 데이터의 수집을 가능하게 해주는 피처를 갖는다. 이미지 내의 사람 이름의 라벨 및 이미지 내의 사람 감정의 식별정보를 요청하여 특정 감정을 특정 사람과 연관시킴으로써 게임 플레이가 더욱 향상될 수 있다. 사람들은 감정을 다르게 전달할 수 있고, 게임 플레이는, 예를 들어, 특정 사람의 특정 감정을 인식하는 방법에 대해 컴퓨팅 장치(108)를 트레이닝하기 위해 사용될 수 있다.
도 12는 예시적인 구현예에 따른 방법(400)과 함께 사용하기 위한 예시적인 방법의 다른 흐름도를 도시한다. 블록(454)에서, 기능은 환경의 이미지가 사람을 포함하는지 판정하는 단계를 포함하고, 블록(456)에서, 기능은 사람이 하나 이상의 액션을 수행하게 하기 위한 요청을 커맨드 내에 제공하는 단계를 포함한다. 블록(458)에서, 기능은 컴퓨팅 장치의 하나 이상의 센서로부터 하나 이상의 액션을 수행하는 사람의 추가 이미지를 포함하는 환경의 추가 데이터를 획득하는 단계를 포함한다. 예시적인 시나리오는 컴퓨팅 장치(108)가 그러한 액션과 연관된 데이터를 수집할 수 있도록 사람에게 특정 액션을 수행하도록 프롬프팅하는 게임 플레이를 포함한다. 액션은 임의의 것일 수 있는데, 예컨대, 사람에게 "춤출 것"을 요청하는 것일 수 있고, 춤을 추는 사람의 데이터를 성공적으로 수집하면, 인터페이스(129) 상에 게임 플레이 동안 포인트 및/또는 보상이 제공된다. 컴퓨팅 장치(108)는 수집된 데이터(예를 들어, 춤추는 사람의 이미지 및 비디오)를 "댄스"의 액션 또는 동사에 연관시킬 수 있다.
다른 유사한 예에서, 게임 플레이는 특정 물체의 데이터가 수집될 수 있도록 컴퓨팅 장치(108)에게 그 물체를 보여 주도록 사용자에게 프롬프팅할 수 있다. 이러한 방식으로, 게임 플레이는 사용자에게 데이터 세트가 세부사항을 충분히 갖지 못한 물체의 데이터를 수집하도록 지시하고, 따라서 게임 플레이는 데이터 수집을 제어하여, 관심 항목의 데이터가 수집되게 한다. 게임 플레이는 수집될 특정 유형의 추가 데이터(예를 들어, 물체의 특정 포즈 등)를 추가로 지시할 수 있다.
또 다른 유사한 예에서, 게임 플레이는 사용자에게 미소 짓거나 얼굴을 찌푸리게 하거나 임의의 유형의 감정을 갖는 얼굴 표정을 짓도록 프롬프팅할 수 있다. 그 다음, 전면 카메라를 사용하여, 컴퓨팅 장치(108)는 사람의 이미지를 캡처하고 그 이미지를 특정 감정과 연관시킬 수 있다. 이것은 또한, 예를 들어, 라벨링된 특정 감정의 이미지를 포함하는 데이터 세트의 생성을 가능하게 한다.
도 13-18은 예시적인 구현예에 따른 환경의 수집된 데이터의 개념도이다. 도 13은 물체(500), 예를 들어, 소파를 포함하는 환경의 예시적인 2 차원(2D) 이미지의 개념도이다. 이어서, 컴퓨팅 장치(108)는 데이터베이스 내의 저장된 데이터 세트와 이미지의 제 1 비교에 기초하여, 저장된 데이터 세트가 환경 및/또는 물체(500)의 하나 이상의 세부사항이 결여되어 있는지 판정할 수 있고, 그 다음, 환경의 추가 데이터를 획득하라는 요청을 나타내는 커맨드를 제공할 수 있다. 이와 같이, 소파 및 소파의 환경의 추가 데이터가 획득될 수 있다.
도 14는 예시적인 구현예에 따른, 환경의 예시적인 추가 데이터의 개념도이다. 도 14에서, 물체(500)의 상이한 투시도 또는 포즈가 컴퓨팅 장치(108)의 카메라 또는 로봇 장치(200)에 의해 캡처된다. 예를 들어, 이 투시도는 상이한 시점을 제공하기 위해 일정 각도에서 본 것이다.
도 15는 예시적인 구현예에 따른, 물체(500)의 다른 예시적인 추가 데이터의 개념도이다. 도 15에서, 물체(500)의 다른 투시도 또는 포즈가 컴퓨팅 장치(108)의 카메라 또는 로봇 장치(200)에 의해 캡처된다. 예를 들어, 이 투시도는 상이한 시점을 제공하기 위해 후면에서 본 것이다.
도 16은 예시적인 구현예에 따른, 물체(500)의 다른 예시적인 추가 데이터의 개념도이다. 도 16에서, 물체(500)의 이미지는 또 다른 투시도 시점을 제공하기 위해 더 먼 거리로부터 캡처된다.
도 17은 예시적인 구현예에 따른, 물체(500)의 다른 예시적인 추가 데이터의 개념도이다. 도 17에서, 물체(500)의 이미지는 물체(500)의 일부분의 또 다른 투시도 시점을 제공하기 위해 더 가까운 거리로부터 캡처된다.
도 18은 예시적인 구현예에 따른, 물체(500)의 다른 예시적인 추가 데이터의 개념도이다. 도 18에서, 물체(500)의 이미지는 제위치에서 다양한 조명으로 캡처된다. 예를 들어, 도 18에서, 램프(502)는 켜져 있고 물체(500) 상 그리고 물체(500) 부근에 조명을 비춘다.
도 14-18에 개념적으로 도시된 바와 같이 추가 데이터 중 임의의 하나 이상의 캡처에 이어, 컴퓨팅 장치(108)는 데이터베이스 내의 저장된 데이터 세트와의 제 2 비교에 기초하여, 환경의 추가 데이터가 저장된 데이터 세트의 환경 데이터와 상이한지 판정한다. 데이터가 상이할 때, 컴퓨팅 장치(108)는 컴퓨팅 장치(108)의 인터페이스(129) 상에 게임 플레이를 위한 하나 이상의 포인트를 제공한다.
도 19는 예시적인 구현예에 따른, 컴퓨팅 장치(108)의 디스플레이(128)의 인터페이스(129) 상의 예시적인 게임 플레이의 도면이다. 도 19에 도시된 바와 같이, 컴퓨팅 장치(108)는 데이터베이스 내의 저장된 데이터 세트에 이전에 포함되지 않은 새로운 데이터가 수집되었다는 판정을 내리고, 게임 플레이 동안 포인트를 수여한다(예를 들어, "점수: 60"). 예를 들어, 새로운 데이터는 새로운 데이터에 의해 캡처되고 표현된 관심 영역 또는 물체에 원을 표시함으로써 인터페이스(129) 상에서 강조될 수 있다.
도 20은 예시적인 구현예에 따른, 본 명세서에 설명된 방법의 실행을 위한 예시적인 시나리오의 개념도이다. 예시적인 컴퓨팅 장치(600)는 컴퓨팅 장치(108)의 카메라에 의해 캡처된 환경(604)의 뷰 상에 중첩된 AR 그래픽 캐릭터(602)와 함께 도시되어 있다. 컴퓨팅 장치(108)는 데이터베이스(135) 내의 저장된 데이터 세트가 환경의 하나 이상의 세부사항이 결여되어 있는 환경의 영역으로 이동시키기 위한 표시로서 컴퓨팅 장치(108)의 디스플레이(128) 상에서 AR 그래픽 캐릭터(602)를 이동하게 만들도록 프로그래밍된다. 이 예에서, AR 그래픽 캐릭터(602)는 왼쪽으로 이동하여 사용자 또한 컴퓨팅 장치(108)를 왼쪽으로 이동시키도록 장려하여 컴퓨팅 장치(108)가 환경을 나타내는 방향으로 정보를 캡처하게 만들도록 장려한다. 저장된 데이터 세트 내의 데이터와 상이한 정보의 성공적 캡처가 확인되면, 도 20에 도시된 바와 같이 게임 플레이 중 점수로서 일정량의 포인트가 수여된다.
일부 예에서, 환경의 기하학적 구조는 AR 그래픽 캐릭터(602)가 그것과 상호작용하기 위한 그래픽을 인터페이스(129) 상에 중첩시킴으로써 게임 자체의 일부분으로서 제공되며, AR 그래픽 캐릭터(602)가 상이한 기하학적 구조와 상호작용하는 것을 가능하게 하기 위해 사용자가 컴퓨팅 장치(108)를 이동시키는 동안, 컴퓨팅 장치(108)의 임의의 센서(132)를 사용하여 데이터 수집이 수행될 수 있다. 예컨대, 이러한 방법은 게임 플레이를 사용하여 사용자가 환경의 더 많은 세부 정보를 캡처하거나 이전에 스캔되지 않았던 영역을 캡처하도록 장려한다.
모바일 컴퓨팅 장치(예를 들어, 스마트 폰 또는 태블릿) 또는 웨어러블 컴퓨팅 장치(예를 들어, 헤드 장착형 디스플레이)와 같은 임의의 컴퓨팅 장치는 증강 현실(AR) 그래픽을 생성할 수 있다. 마찬가지로, 게임 플레이는 시뮬레이션 동안 렌더링되는 AR 그래픽 캐릭터(602) 형태의 소프트웨어 로봇과 물리적 물체 간의 가상 게임 플레이를 포함할 수 있다. 예를 들어, 컴퓨팅 장치는 센서 데이터의 로그를 사용하여 환경을 통해 이동하는 소프트웨어 로봇의 시뮬레이션을 생성할 수 있다. 시뮬레이션에서, 소프트웨어 로봇은 센서 데이터의 로그를 캡처했던 로봇 장치에 의해 취해진 경로와 동일한 경로 또는 상이한 경로를 취할 수 있다. 소프트웨어 로봇이 상이한 경로를 취한다면, 그 상이한 경로는 소프트웨어 로봇과 환경 내의 물리적 물체 사이의 가상 게임 플레이를 포함할 수 있고, 컴퓨팅 장치는 그에 따라 게임 플레이를 렌더링할 수 있다.
본 명세서에 기술된 예시적인 방법 및 장치는 사용자가 게임 플레이를 통해 그렇게 하도록 장려하는 방식으로 환경의 강건한 데이터 세트를 생성하는데 유용하다. 게임 플레이를 위해 다양한 유형의 게임이 구현될 수 있으며, 각 게임은 데이터가 수집되게 만들 수 있다. 이러한 데이터 수집 기술은 물체, 환경 등을 수동으로 코딩할 필요성을 제거하고, 사용자가 즐길 수 있는 재미있는 게임을 제공한다.
컴퓨팅 장치(108)가 기계 학습에 사용될 수 있는 데이터 세트를 생성할 수 있게 하는 일련의 작업을 완수하도록 사용자에게 요청하는 것과 같은, 도전과제를 생성하는 다양한 게임이 구현될 수 있다.
또한, 주택 보험에 대해 받을 적절한 할인을 판정하기 위해 잠금 장치 및 경보 시스템이 설치되어 있는 영역 내의 집 전체에 걸쳐 AR 그래픽 캐릭터(602)가 이동하는 주택 보험 게임과 같은, 다양한 게임이 유용한 결과와 함께 생성될 수 있다. 또한, 주택의 전체 맵핑은 주택의 크기 및 주택에 포함된 자산을 검증하기 위해 주택 전체에 걸쳐 AR 그래픽 캐릭터(602)를 팔로우잉(following)함으로써 생성될 수 있고, 모든 그러한 정보는, 예컨대, 주택 보험료의 판정에 유용할 수 있다.
본 명세서에 개시된 시스템(들), 장치(들) 및 방법(들)의 상이한 예는 다양한 구성요소, 특징 및 기능을 포함한다. 본 명세서에 개시된 시스템(들), 장치(들) 및 방법(들)의 다양한 예는 본 명세서에 개시된 시스템(들), 장치(들) 및 방법(들)의 임의의 다른 예의 임의의 구성요소, 특징 및 기능을 임의의 조합으로 포함할 수 있고, 모든 이러한 가능성은 본 개시물의 범위 내에 있는 것으로 의도된 것임을 이해해야 한다.
다른 유리한 방식의 설명은 예시 및 설명의 목적으로 제시되었으며, 빠짐없이 철저하게 기재하거나, 예를 개시된 형태로 제한하도록 의도된 것은 아니다. 전술한 개시물을 검토하고 이해한 후, 많은 수정 및 변형이 당업자에게 명백할 것이다. 또한, 상이한 예는 다른 예와 비교되는 상이한 장점을 제공할 수 있다. 선택된 예 또는 예들은 원리, 실제적 응용을 가장 잘 설명하고 당업자들이 고려된 특정 용도에 적합하게 다양하게 변형을 가한 다양한 예에 대해 본 개시물을 이해할 수 있도록 선택되고 설명된 것이다.

Claims (20)

  1. 컴퓨터 구현 방법으로서,
    환경 내 피처(feature)를 식별하기 위한 환경의 이미지를 분석하는 단계로서, 상기 환경은 방인, 환경 내 피처를 식별하기 위한 환경의 이미지를 분석하는 단계;
    데이터베이스 내의 저장된 데이터 세트와 상기 이미지의 제1 비교에 기초하여, 상기 방을 식별하는 단계;
    추가 방의 추가 이미지를 수집하도록 사용자에게 프롬프트를 제공하는 단계; 및
    상기 추가 방의 추가 이미지를 기초로, 평면도(floorplan)를 생성하는 단계를 포함하는, 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 저장된 데이터 세트를 기초로, 상기 평면도가 완성되었는지 여부를 판정하는 단계를 더 포함하고, 상기 프롬프트는 평면도가 완성되지 않다는 판정에 응답하여 제공되는, 컴퓨터 구현 방법.
  3. 제1항에 있어서,
    상기 평면도를 완성하는데 필요한 방의 체크리스트를 제공하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  4. 제1항에 있어서,
    상기 방을 식별하는 단계는 사용자가 위치한 방을 판정하기 위해 평면도를 참조하는 것에 더 기초하는, 컴퓨터 구현 방법.
  5. 제1항에 있어서,
    상기 방의 하나 이상의 세부사항을 결여하였는지 판정하는 단계; 및
    상기 데이터베이스로부터 상기 방의 하나 이상의 세부사항이 누락되었다는 판정에 응답하여, 상기 방에 관한 추가 센서 데이터를 획득하도록 사용자에게 프롬프팅하는 단계; 를 더 포함하는, 컴퓨터 구현 방법.
  6. 제5항에 있어서,
    상기 방에 대응하는 추가 센서 데이터를 획득하는 단계를 더 포함하고,
    상기 추가 센서 데이터는 깊이 카메라 또는 근접 센서 중 적어도 하나에 의하여 캡처된 환경 내의 물체의 위치 데이터를 포함하는, 컴퓨터 구현 방법.
  7. 제5항에 있어서,
    상기 방에 대응하는 추가 센서 데이터를 획득하는 단계를 더 포함하고,
    상기 추가 센서 데이터는 마이크로폰(microphone)에 의하여 캡처된 환경의 오디오 데이터를 포함하는, 컴퓨터 구현 방법.
  8. 제5항에 있어서,
    상기 방에 대응하는 추가 센서 데이터를 획득하는 단계를 더 포함하고,
    상기 추가 센서 데이터는 관성 측정 유닛(IMU) 또는 모션 추적 카메라 중 적어도 하나에 의하여 캡처된 상기 환경 내의 물체의 움직임 데이터를 포함하는, 컴퓨터 구현 방법.
  9. 제1항에 있어서,
    서버로부터 상기 이미지 내의 물체의 식별 정보를 수신하는 단계;
    상기 데이터베이스로부터 상기 물체에 대응하는 데이터를 검색하는 단계;
    상기 이미지로부터 상기 물체에 대응하는 새로운 데이터를 판정하는 단계; 및
    검색된 데이터로부터 새로운 데이터가 부재하는 경우에 응답하여, 상기 데이터베이스에 추가할 새로운 데이터를 서버에 제공하는 단계;를 포함하는, 컴퓨터 구현 방법.
  10. 제1항에 있어서,
    수집된 추가 이미지에 응답하여, 게임 플레이를 위한 하나 이상의 요소를 제공하는 단계를 더 포함하고,
    상기 게임 플레이를 위한 하나 이상의 요소는:
    하나 이상의 포인트;
    하나 이상의 업적;
    하나 이상의 레벨; 또는
    리더보드 상에서 하나 이상의 순위 상승 중 적어도 하나 이상을 포함하는, 컴퓨터 구현 방법.
  11. 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 단계를 수행하게 하는 인코딩된 명령어를 가지는 비 일시적 컴퓨터 판독 가능 저장 매체로서,
    환경 내 피처(feature)를 식별하기 위한 환경의 이미지를 분석하는 단계로서, 상기 환경은 방인, 환경 내 피처를 식별하기 위한 환경의 이미지를 분석하는 단계;
    데이터베이스 내의 저장된 데이터 세트와 상기 이미지의 제1 비교에 기초하여, 상기 방을 식별하는 단계;
    추가 방의 추가 이미지를 수집하도록 사용자에게 프롬프트를 제공하는 단계; 및
    상기 추가 방의 추가 이미지를 기초로, 평면도(floorplan)를 생성하는 단계를 포함하는, 저장 매체.
  12. 제11항에 있어서,
    컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 추가 단계를 수행하게 하는 인코딩된 명령어를 가지고, 상기 추가 단계는
    상기 저장된 데이터 세트를 기초로, 상기 평면도가 완성되었는지 여부를 판정하는 단계를 포함하고, 상기 프롬프트는 평면도가 완성되지 않다는 판정에 응답하여 제공되는, 저장 매체.
  13. 제11항에 있어서,
    컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 추가 단계를 수행하게 하는 인코딩된 명령어를 가지고, 상기 추가 단계는
    상기 평면도를 완성하는데 필요한 방의 체크리스트를 제공하는 단계를 포함하는, 저장 매체.
  14. 제11항에 있어서,
    상기 방을 식별하는 단계는 사용자가 위치한 방을 판정하기 위해 평면도를 참조하는 것에 더 기초하는, 저장 매체.
  15. 제11항에 있어서,
    컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 추가 단계를 수행하게 하는 인코딩된 명령어를 가지고, 상기 추가 단계는
    상기 방의 하나 이상의 세부사항을 결여하였는지 판정하는 단계; 및
    상기 데이터베이스로부터 상기 방의 하나 이상의 세부사항이 누락되었다는 판정에 응답하여, 상기 방에 관한 추가 센서 데이터를 획득하도록 사용자에게 프롬프팅하는 단계; 를 포함하는, 저장 매체.
  16. 제15항에 있어서,
    컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 추가 단계를 수행하게 하는 인코딩된 명령어를 가지고, 상기 추가 단계는
    상기 방에 대응하는 추가 센서 데이터를 획득하는 단계를 더 포함하고,
    상기 추가 센서 데이터는 깊이 카메라 또는 근접 센서 중 적어도 하나에 의하여 캡처된 환경 내의 물체의 위치 데이터를 포함하는, 저장 매체.
  17. 제15항에 있어서,
    컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 추가 단계를 수행하게 하는 인코딩된 명령어를 가지고, 상기 추가 단계는
    상기 방에 대응하는 추가 센서 데이터를 획득하는 단계를 더 포함하고,
    상기 추가 센서 데이터는 마이크로폰(microphone)에 의하여 캡처된 환경의 오디오 데이터를 포함하는, 저장 매체.
  18. 제15항에 있어서,
    컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 추가 단계를 수행하게 하는 인코딩된 명령어를 가지고, 상기 추가 단계는
    상기 방에 대응하는 추가 센서 데이터를 획득하는 단계를 더 포함하고,
    상기 추가 센서 데이터는 관성 측정 유닛(IMU) 또는 모션 추적 카메라 중 적어도 하나에 의하여 캡처된 상기 환경 내의 물체의 움직임 데이터를 포함하는, 저장 매체.
  19. 제11항에 있어서,
    컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 추가 단계를 수행하게 하는 인코딩된 명령어를 가지고, 상기 추가 단계는
    서버로부터 상기 이미지 내의 물체의 식별 정보를 수신하는 단계;
    상기 데이터베이스로부터 상기 물체에 대응하는 데이터를 검색하는 단계;
    상기 이미지로부터 상기 물체에 대응하는 새로운 데이터를 판정하는 단계; 및
    검색된 데이터로부터 새로운 데이터가 부재하는 경우에 응답하여, 상기 데이터베이스에 추가할 새로운 데이터를 서버에 제공하는 단계; 를 포함하는, 저장 매체.
  20. 제11항에 있어서,
    컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 추가 단계를 수행하게 하는 인코딩된 명령어를 가지고, 상기 추가 단계는
    수집된 추가 이미지에 응답하여, 게임 플레이를 위한 하나 이상의 요소를 제공하는 단계를 포함하고,
    상기 게임 플레이를 위한 하나 이상의 요소는:
    하나 이상의 포인트;
    하나 이상의 업적;
    하나 이상의 레벨; 또는
    리더보드 상에서 하나 이상의 순위 상승 중 적어도 하나 이상을 포함하는, 저장 매체.
KR1020227002586A 2017-09-08 2018-09-07 게임 플레이를 통한 환경의 세부 데이터 세트 생성 방법 및 시스템 KR102644519B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/699,459 2017-09-08
US15/699,459 US10300373B2 (en) 2017-09-08 2017-09-08 Methods and systems for generating detailed datasets of an environment via gameplay
KR1020207027748A KR102357265B1 (ko) 2017-09-08 2018-09-07 게임 플레이를 통한 환경의 세부 데이터 세트 생성 방법 및 시스템
PCT/IB2018/056852 WO2019049083A1 (en) 2017-09-08 2018-09-07 METHODS AND SYSTEMS FOR GENERATING DETAILED DATA SETS OF AN ENVIRONMENT THROUGH THE EXECUTION OF A GAME

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207027748A Division KR102357265B1 (ko) 2017-09-08 2018-09-07 게임 플레이를 통한 환경의 세부 데이터 세트 생성 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220017515A true KR20220017515A (ko) 2022-02-11
KR102644519B1 KR102644519B1 (ko) 2024-03-08

Family

ID=65630319

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020207009831A KR102162457B1 (ko) 2017-09-08 2018-09-07 게임 플레이를 통한 환경의 세부 데이터 세트 생성 방법 및 시스템
KR1020207027748A KR102357265B1 (ko) 2017-09-08 2018-09-07 게임 플레이를 통한 환경의 세부 데이터 세트 생성 방법 및 시스템
KR1020227002586A KR102644519B1 (ko) 2017-09-08 2018-09-07 게임 플레이를 통한 환경의 세부 데이터 세트 생성 방법 및 시스템

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020207009831A KR102162457B1 (ko) 2017-09-08 2018-09-07 게임 플레이를 통한 환경의 세부 데이터 세트 생성 방법 및 시스템
KR1020207027748A KR102357265B1 (ko) 2017-09-08 2018-09-07 게임 플레이를 통한 환경의 세부 데이터 세트 생성 방법 및 시스템

Country Status (8)

Country Link
US (2) US10300373B2 (ko)
EP (1) EP3678750A4 (ko)
JP (2) JP6900575B2 (ko)
KR (3) KR102162457B1 (ko)
CN (1) CN111295234A (ko)
AU (3) AU2018327287B2 (ko)
CA (1) CA3073900C (ko)
WO (1) WO2019049083A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10576380B1 (en) * 2018-11-05 2020-03-03 Sony Interactive Entertainment LLC Artificial intelligence (AI) model training using cloud gaming network
EP3828725A1 (en) * 2019-11-27 2021-06-02 Ubimax GmbH Method of performing a process using artificial intelligence
EP3828734A1 (en) * 2019-11-27 2021-06-02 Ubimax GmbH Method of performing a data collection procedure for a process which uses artificial intelligence
US11599847B2 (en) 2020-02-18 2023-03-07 BlueOwl, LLC Systems and methods for generating an inventory of personal possessions of a user for insurance purposes
US11620715B2 (en) 2020-02-18 2023-04-04 BlueOwl, LLC Systems and methods for generating insurance policies with predesignated policy levels and reimbursement controls
US11861722B2 (en) 2020-02-18 2024-01-02 BlueOwl, LLC Systems and methods for generating and updating an inventory of personal possessions of a user for insurance purposes
US11468515B1 (en) 2020-02-18 2022-10-11 BlueOwl, LLC Systems and methods for generating and updating a value of personal possessions of a user for insurance purposes
US11488253B1 (en) 2020-05-26 2022-11-01 BlueOwl, LLC Systems and methods for determining personalized loss valuations for a loss event
USD984457S1 (en) 2020-06-19 2023-04-25 Airbnb, Inc. Display screen of a programmed computer system with graphical user interface
US11991013B2 (en) 2020-06-19 2024-05-21 Airbnb, Inc. Incorporating individual audience member participation and feedback in large-scale electronic presentation
USD985005S1 (en) 2020-06-19 2023-05-02 Airbnb, Inc. Display screen of a programmed computer system with graphical user interface
US11625141B2 (en) * 2020-09-22 2023-04-11 Servicenow, Inc. User interface generation with machine learning
US20230241491A1 (en) * 2022-01-31 2023-08-03 Sony Interactive Entertainment Inc. Systems and methods for determining a type of material of an object in a real-world environment
US20230315605A1 (en) * 2022-03-31 2023-10-05 Dell Products L.P. User session identification based on telemetry data
US20230310995A1 (en) * 2022-03-31 2023-10-05 Advanced Micro Devices, Inc. Detecting personal-space violations in artificial intelligence based non-player characters

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130122525A (ko) * 2010-06-17 2013-11-07 마이크로소프트 코포레이션 사용자 피드백을 통한 위치 기반 데이터의 증강 및 보정
KR20150020497A (ko) * 2013-10-18 2015-02-26 김태관 온라인 및 오프라인 연동 게임 시스템
KR20160003553A (ko) * 2014-07-01 2016-01-11 삼성전자주식회사 지도 정보를 제공하기 위한 전자 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4374560B2 (ja) * 2000-03-31 2009-12-02 株式会社セガ 画像処理装置、ゲーム装置および画像処理方法
US9174119B2 (en) * 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US9401178B2 (en) * 2010-08-26 2016-07-26 Blast Motion Inc. Event analysis system
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US8550909B2 (en) * 2011-06-10 2013-10-08 Microsoft Corporation Geographic data acquisition by user motivation
US20140132633A1 (en) * 2011-07-20 2014-05-15 Victoria Fekete Room design system with social media interaction
US20130044912A1 (en) * 2011-08-19 2013-02-21 Qualcomm Incorporated Use of association of an object detected in an image to obtain information to display to a user
US9122927B2 (en) 2012-03-26 2015-09-01 Google Inc. Generating an image tour based on a set of images
JP5915334B2 (ja) * 2012-03-30 2016-05-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US8782284B2 (en) * 2012-11-15 2014-07-15 Carefusion 303, Inc. Extensible deployment system
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
KR101388426B1 (ko) 2013-08-16 2014-04-30 김태관 온라인 및 오프라인 연동 게임 시스템
US20150193982A1 (en) * 2014-01-03 2015-07-09 Google Inc. Augmented reality overlays using position and orientation to facilitate interactions between electronic devices
KR102332752B1 (ko) 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법
WO2016123635A1 (en) * 2015-01-31 2016-08-04 Brian Lee Moffat Control of a computer via distortions of facial geometry
US9571971B2 (en) * 2015-04-24 2017-02-14 International Business Machines Corporation Managing crowd sourced data acquisition
KR20180014492A (ko) * 2016-08-01 2018-02-09 삼성전자주식회사 영상 표시 방법 및 이를 지원하는 전자 장치
US9824477B1 (en) * 2016-11-30 2017-11-21 Super 6 LLC Photo and video collaboration platform
DK180470B1 (en) * 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130122525A (ko) * 2010-06-17 2013-11-07 마이크로소프트 코포레이션 사용자 피드백을 통한 위치 기반 데이터의 증강 및 보정
KR20150020497A (ko) * 2013-10-18 2015-02-26 김태관 온라인 및 오프라인 연동 게임 시스템
KR20160003553A (ko) * 2014-07-01 2016-01-11 삼성전자주식회사 지도 정보를 제공하기 위한 전자 장치

Also Published As

Publication number Publication date
JP7377837B2 (ja) 2023-11-10
US20190076731A1 (en) 2019-03-14
AU2022291639A1 (en) 2023-02-02
WO2019049083A1 (en) 2019-03-14
CN111295234A (zh) 2020-06-16
JP6900575B2 (ja) 2021-07-07
KR102162457B1 (ko) 2020-10-21
KR102644519B1 (ko) 2024-03-08
CA3073900C (en) 2020-12-29
KR20200117035A (ko) 2020-10-13
US11110343B2 (en) 2021-09-07
KR20200041385A (ko) 2020-04-21
KR102357265B1 (ko) 2022-02-08
US10300373B2 (en) 2019-05-28
CA3073900A1 (en) 2019-03-14
JP2021170341A (ja) 2021-10-28
EP3678750A1 (en) 2020-07-15
US20190232157A1 (en) 2019-08-01
AU2018327287B2 (en) 2020-10-15
JP2020533687A (ja) 2020-11-19
AU2021200221A1 (en) 2021-03-18
EP3678750A4 (en) 2020-12-02
AU2018327287A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
KR102357265B1 (ko) 게임 플레이를 통한 환경의 세부 데이터 세트 생성 방법 및 시스템
JP7025532B2 (ja) 衝突の検出、推定、および回避
CN106993181A (zh) 多vr/ar设备协同系统及协同方法
CN105190703A (zh) 使用光度立体来进行3d环境建模
CN115311422A (zh) 用于设备定位的多重集成模型
CN102681811A (zh) 照片表示视图的基于主题的增强
KR102463806B1 (ko) 이동이 가능한 전자 장치 및 그 동작 방법
CN102222329A (zh) 深度检测的光栅扫描
JP6404527B1 (ja) カメラ制御システム、カメラ制御方法、およびプログラム
CN109255749A (zh) 自主和非自主平台中的地图构建优化
CN113419634A (zh) 一种基于显示屏的旅游互动方法
CN107077730A (zh) 基于剪影的肢寻找器确定
CN112788443B (zh) 基于光通信装置的交互方法和系统
JP7363823B2 (ja) 情報処理装置、および情報処理方法
CN113342176A (zh) 一种沉浸式旅游互动系统
KR20220044489A (ko) 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램
TW202402365A (zh) 用於可互動擴增及虛擬實境體驗之非暫時性電腦可讀儲存媒體
KR20240057297A (ko) 신경망 모델을 학습시키는 방법 및 전자 장치
KR20240049128A (ko) 포인트 클라우드를 생성하는 방법 및 전자 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant