JP6900575B2 - ゲームプレイを介して環境の詳細データセットを生成する方法およびシステム - Google Patents
ゲームプレイを介して環境の詳細データセットを生成する方法およびシステム Download PDFInfo
- Publication number
- JP6900575B2 JP6900575B2 JP2020513820A JP2020513820A JP6900575B2 JP 6900575 B2 JP6900575 B2 JP 6900575B2 JP 2020513820 A JP2020513820 A JP 2020513820A JP 2020513820 A JP2020513820 A JP 2020513820A JP 6900575 B2 JP6900575 B2 JP 6900575B2
- Authority
- JP
- Japan
- Prior art keywords
- environment
- computing device
- additional data
- details
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
- A63F13/46—Computing the game score
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
- A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
- A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
Description
Claims (33)
- コンピューティング装置のカメラから環境の画像を取得し、
前記画像を解析して、前記環境における特徴を識別し、
データベース内の記憶された、前記環境内の物体および/または前記環境を示すデータを含むデータセットと、前記画像から識別された前記特徴を示すデータとの第1比較に基づいて、記憶された前記データセットに前記環境における前記特徴を示す1つ以上の詳細が不足しているか否かを判定し、
前記データベースに記憶された前記データセットに前記環境における前記特徴を示す1つ以上の詳細が不足していると判定された場合、前記環境における前記特徴に関連する追加データを取得する要求を示すコマンドをユーザに前記コンピューティング装置によって提供し、
前記コマンドに従って1つ以上のセンサを用いるアクションを前記ユーザが実行したことに呼応して、前記コンピューティング装置の1つ以上のセンサから前記環境における前記特徴に関連する追加データを取得し、
前記追加データを解析して、前記環境における前記特徴を示す1つ以上の追加の詳細を識別し、
前記追加データと前記データベース内の記憶された前記データセットとの第2比較に基づいて、前記追加データから識別された前記追加の詳細は、記憶された前記データセットに不足している詳細を含んでいるか否かを判定し、
前記追加データから識別された前記追加の詳細が、記憶された前記データセットが不足している前記詳細を含んでいると判定された場合、前記コンピューティング装置のインターフェース上にゲームプレイに対する1つ以上のポイントを前記ユーザに提供する、ことを含む、コンピュータにより実行される方法。 - 請求項1に記載のコンピュータにより実行される方法において、
前記要求は、前記環境における前記特徴に関連する追加データを取得すべき前記環境の1つ以上の領域を示す、コンピュータにより実行される方法。 - 請求項1に記載のコンピュータにより実行される方法において、
前記環境は住宅を含み、前記環境における前記特徴は前記住宅内の特定の部屋であり、
前記コマンドを提供することは、前記住宅の前記特定の部屋に関連する追加データを取得することの要求を示す情報を提供することを含む、コンピュータにより実行される方法。 - 請求項1に記載のコンピュータにより実行される方法において、
前記コンピューティング装置の前記1つ以上のセンサは、深度カメラを含み、
前記コンピューティング装置の前記1つ以上のセンサから前記環境における前記特徴に関連する追加データを取得することは、前記環境における前記特徴の1つ以上の深度画像を取得することを含む、コンピュータにより実行される方法。 - 請求項1に記載のコンピュータにより実行される方法において、
前記コンピューティング装置の前記1つ以上のセンサは、マイクロホンを含み、
前記コンピューティング装置の前記1つ以上のセンサから前記環境における前記特徴に関連する前記追加データを取得することは、前記マイクロホンを用いて前記環境から音声を取得することを含む、コンピュータにより実行される方法。 - 請求項1に記載のコンピュータにより実行される方法において、
前記環境における前記特徴に関連する前記追加データに基づいて前記環境のフロアプランを生成することをさらに含む、コンピュータにより実行される方法。 - 請求項1に記載のコンピュータにより実行される方法において、
前記環境の前記画像は、物体の画像を含み、前記環境における前記特徴は前記物体であり、
前記物体の前記画像に基づいて前記物体の識別をサーバから受信し、
前記データベース内の記憶された前記データセットとの前記画像の前記第1比較に基づいて、記憶された前記データセットに前記物体の1つ以上の詳細が不足していると判定し、
前記物体に関連する追加データを取得するさらなる要求を前記コマンドで前記ユーザに提供し、
前記コマンドに従って1つ以上のセンサを用いるアクションを前記ユーザが実行したことに呼応して、前記コンピューティング装置の前記1つ以上のセンサから前記物体に関連する追加データを取得し、
前記追加データと前記データベース内の記憶された前記データセットとの前記第2比較に基づいて、前記物体に関連する前記追加データは記憶された前記データセットが不足している前記物体の詳細を含んでいると判定し、
記憶された前記データセットが不足している前記物体の詳細を含んでいる前記物体に関連する前記追加データに基づいて、前記インターフェース上にゲームプレイに対する前記1つ以上のポイントを前記ユーザに提供する、ことをさらに含む、コンピュータにより実行される方法。 - 請求項7に記載のコンピュータにより実行される方法において、
前記物体の追加データに前記物体に関連する前記識別をラベル付けし、
前記物体に関連する追加データを前記データベースに記憶すること、をさらに含む、コンピュータにより実行される方法。 - 請求項7に記載のコンピュータにより実行される方法において、
前記コマンドを提供することは、前記物体に関連する前記追加データを取得すべき前記物体の姿勢を示す情報を提供することを含む、コンピュータにより実行される方法。 - 請求項7に記載のコンピュータにより実行される方法において、
前記コマンドを提供することは、前記物体に関連する前記追加データを取得すべき時刻を提供することを含む、コンピュータにより実行される方法。 - 請求項1に記載のコンピュータにより実行される方法において、
前記環境の前記画像に基づいて、前記環境内の部屋の識別をサーバから受信し、
前記環境の前記部屋と関連する物体のカテゴリを判定し、
前記コンピューティング装置の前記1つ以上のセンサを用いて、前記環境の前記部屋と関連する物体の前記カテゴリ内の少なくとも1つの物体に関連するデータを取得する要求を示す第2コマンドを前記ユーザに提供することとをさらに含む、請求項1に記載のコンピュータにより実行される方法。 - 請求項1に記載のコンピュータにより実行される方法において、
前記環境のビューに重ね合わせた拡張現実(AR:Augumenet Reality)グラフィカルキャラクタをコンピューティング装置のディスプレイに提供し、
前記データベース内の記憶された前記データセットが前記環境における前記特徴の1つ以上の詳細が不足している前記環境の領域を巡回するための指標として、前記ARグラフィカルキャラクタを前記コンピューティング装置の前記ディスプレイ上で移動させる、ことをさらに含む、コンピュータにより実行される方法。 - 請求項1に記載のコンピュータにより実行される方法において、
前記環境における前記特徴は、アクションを実行する人物であり、
前記データベース内の記憶された前記データセットとの前記第1比較に基づいて、記憶された前記データセットに前記環境における前記特徴の1つ以上の詳細が不足していると判定することは、記憶された前記データセットに前記人物の画像に関連する前記アクションの識別が不足していると判定することを含み、
前記アクションの識別を取得する要求をコマンドで前記ユーザに提供することをさらに含む、コンピュータにより実行される方法。 - 請求項1に記載のコンピュータにより実行される方法において、
前記環境における前記特徴は、人物の顔であり、
前記データベース内の記憶された前記データセットとの前記第1比較に基づいて、記憶された前記データセットに前記環境における前記特徴の1つ以上の詳細が不足していると判定することは、記憶された前記データセットに前記人物の顔の画像に関連する感情の識別が不足していると判定することを含み、
前記感情の識別を取得する要求をコマンドで前記ユーザに提供することをさらに含む、コンピュータにより実行される方法。 - 請求項1に記載のコンピュータにより実行される方法において、
前記環境における前記特徴は、人物であり、
前記コマンドは、前記人物に1つ以上のアクションを実行する要求をさらに示し、
前記コンピューティング装置の前記1つ以上のセンサから、前記1つ以上のアクションを実行する前記人物の追加画像を含む前記環境における前記特徴の前記追加データを取得することをさらに含む、コンピュータにより実行される方法。 - コンピューティング装置であって
カメラと、
1つ以上のセンサと、
少なくとも1つのプロセッサと、
メモリと、
前記メモリに記憶され、前記少なくとも1つのプロセッサによって実行されるプログラム命令と、を備え、前記プログラム命令は、前記コンピューティング装置に、
前記カメラから環境の画像を取得し、
前記画像を解析して、前記環境における特徴を識別し、
データベース内の記憶された、前記環境内の物体および/または前記環境を示すデータを含むデータセットと、前記画像から識別された前記特徴を示すデータとの第1比較に基づいて、記憶された前記データセットに前記環境における前記特徴を示す1つ以上の詳細が不足しているか否かを判定し、
前記データベースに記憶された前記データセットに前記環境における前記特徴を示す1つ以上の詳細が不足していると判定された場合、前記環境における前記特徴に関連する追加データを取得する要求を示すコマンドをユーザに前記コンピューティング装置によって提供し、
前記コマンドに従って1つ以上のセンサを用いるアクションを前記ユーザが実行したことに呼応して、前記1つ以上のセンサから前記環境における前記特徴に関連する追加データを取得し、
前記追加データを解析して、前記環境における前記特徴を示す1つ以上の追加の詳細を識別し、
前記追加データと前記データベース内の記憶された前記データセットとの第2比較に基づいて、前記追加データから識別された前記追加の詳細は、記憶された前記データセットに不足している詳細を含んでいるか否かを判定し、
前記追加データから識別された前記追加の詳細が、記憶された前記データセットが不足している前記詳細を含んでいると判定された場合、前記コンピューティング装置のインターフェース上にゲームプレイに対する1つ以上のポイントを前記ユーザに提供する、ことを含む動作を実行させる、
コンピューティング装置。 - 請求項16に記載のコンピューティング装置において、
前記環境の前記画像は、物体の画像を含み、前記環境における前記特徴は前記物体であり、
前記少なくとも1つのプロセッサは、前記プログラム命令を実行して、前記コンピューティング装置に、
前記物体の前記画像に基づいて、サーバから前記物体の識別を受信し、
前記データベース内の記憶された前記データセットとの前記画像の前記第1比較に基づいて、記憶された前記データセットに前記物体の1つ以上の詳細が不足していると判定し、
前記物体の追加データを取得するさらなる要求を前記コマンドで前記ユーザに提供し、
前記コマンドに従って1つ以上のセンサを用いるアクションを前記ユーザが実行したことに呼応して、前記コンピューティング装置の前記1つ以上のセンサから前記物体に関連する追加データを取得し、
前記追加データと前記データベース内の記憶された前記データセットとの前記第2比較に基づいて、前記物体の追加データは、記憶された前記データセットが不足している前記物体の詳細を含んでいると判定し、
記憶された前記データセットが不足している前記物体の詳細を含んでいる前記物体の追加データに基づいて、前記インターフェース上にゲームプレイに対する前記1つ以上のポイントを前記ユーザに提供する、ことを含む動作をさらに実行させる、コンピューティング装置。 - 請求項17に記載のコンピューティング装置において、
物体の前記コマンドを提供することは、前記物体に関連する追加データを取得すべき前記物体の姿勢を示す情報を提供することをさらに含む、コンピューティング装置。 - コンピューティング装置によって実行されると、前記コンピューティング装置に機能を実現させる命令が記憶された非一時的なコンピュータ読み取り可能な媒体であって、前記機能は、
コンピューティング装置のカメラから環境の画像を取得し、
前記画像を解析して、前記環境における特徴を識別し、
データベース内の記憶された、前記環境内の物体および/または前記環境を示すデータを含むデータセットと、前記画像から識別された前記特徴を示すデータとの第1比較に基づいて、記憶された前記データセットに前記環境における前記特徴を示す1つ以上の詳細が不足しているか否かを判定し、
前記データベースに記憶された前記データセットに前記環境における前記特徴を示す1つ以上の詳細が不足していると判定された場合、前記環境における前記特徴に関連する追加データを取得する要求を示すコマンドをユーザに前記コンピューティング装置によって提供し、
前記コマンドに従って1つ以上のセンサを用いるアクションを前記ユーザが実行したことに呼応して、前記コンピューティング装置の1つ以上のセンサから前記環境における前記特徴に関連する追加データを取得し、
前記追加データを解析して、前記環境における前記特徴を示す1つ以上の追加の詳細を識別し、
前記追加データと前記データベース内の記憶された前記データセットとの第2比較に基づいて、前記追加データから識別された前記追加の詳細は、記憶された前記データセットに不足している詳細を含んでいるか否かを判定し、
前記追加データから識別された前記追加の詳細が、記憶された前記データセットが不足している前記詳細を含んでいると判定された場合、前記コンピューティング装置のインターフェース上にゲームプレイに対する1つ以上のポイントを前記ユーザに提供する、ことを含む、非一時的なコンピュータ読み取り可能な媒体。 - 請求項19に記載の非一時的なコンピュータ読み取り可能な媒体において、
前記機能は、
前記環境のビューに重ね合わせた拡張現実(AR)グラフィカルキャラクタをコンピューティング装置のディスプレイに提供し、
前記データベース内の記憶された前記データセットに前記環境における前記特徴の1つ以上の詳細が不足している前記環境の領域を巡回するための指標として、前記ARグラフィカルキャラクタを前記コンピューティング装置の前記ディスプレイ上で移動させる、ことをさらに含む、非一時的なコンピュータ読み取り可能な媒体。 - 請求項19に記載の非一時的なコンピュータ読み取り可能な媒体において、
前記要求は、前記環境における前記特徴に関連する追加データを取得すべき前記環境の1つ以上の領域を示す、非一時的なコンピュータ読み取り可能な媒体。 - 請求項19に記載の非一時的なコンピュータ読み取り可能な媒体において、
前記環境は住宅を含み、前記環境における前記特徴は前記住宅内の特定の部屋であり、
前記コマンドを提供することは、前記住宅の前記特定の部屋に関連する追加データを取得することの要求を示す情報を提供することを含む、非一時的なコンピュータ読み取り可能な媒体。 - 請求項19に記載の非一時的なコンピュータ読み取り可能な媒体において、
前記コンピューティング装置の前記1つ以上のセンサは、深度カメラを含み、
前記コンピューティング装置の前記1つ以上のセンサから前記環境における前記特徴に関連する追加データを取得することは、前記環境における前記特徴の1つ以上の深度画像を取得することを含む、非一時的なコンピュータ読み取り可能な媒体。 - 請求項19に記載の非一時的なコンピュータ読み取り可能な媒体において、
前記コンピューティング装置の前記1つ以上のセンサは、マイクロホンを含み、
前記コンピューティング装置の前記1つ以上のセンサから前記環境における前記特徴に関連する前記追加データを取得することは、前記マイクロホンを用いて前記環境から音声を取得することを含む、非一時的なコンピュータ読み取り可能な媒体。 - 請求項19に記載の非一時的なコンピュータ読み取り可能な媒体において、
前記環境における前記特徴に関連する前記追加データに基づいて前記環境のフロアプランを生成することをさらに含む、非一時的なコンピュータ読み取り可能な媒体。 - 請求項19に記載の非一時的なコンピュータ読み取り可能な媒体において、
前記環境の前記画像は、物体の画像を含み、前記環境における前記特徴は前記物体であり、
前記物体の前記画像に基づいて前記物体の識別をサーバから受信し、
前記データベース内の記憶された前記データセットとの前記画像の前記第1比較に基づいて、記憶された前記データセットに前記物体の1つ以上の詳細が不足していると判定し、
前記物体に関連する追加データを取得するさらなる要求を前記コマンドで前記ユーザに提供し、
前記コマンドに従って1つ以上のセンサを用いるアクションを前記ユーザが実行したことに呼応して、前記コンピューティング装置の前記1つ以上のセンサから前記物体に関連する追加データを取得し、
前記データベース内の記憶された前記データセットとの前記追加データの前記第2比較に基づいて、前記物体に関連する前記追加データは記憶された前記データセットが不足している前記物体の詳細を含んでいると判定し、
記憶された前記データセットが不足している前記物体の詳細を含んでいる前記物体に関連する前記追加データに基づいて、前記インターフェース上にゲームプレイに対する前記1つ以上のポイントを前記ユーザに提供する、ことをさらに含む、非一時的なコンピュータ読み取り可能な媒体。 - 請求項26に記載の非一時的なコンピュータ読み取り可能な媒体において、
前記物体の追加データに前記物体に関連する前記識別をラベル付けし、
前記物体に関連する追加データを前記データベースに記憶すること、をさらに含む、非一時的なコンピュータ読み取り可能な媒体。 - 請求項26に記載の非一時的なコンピュータ読み取り可能な媒体において、
前記コマンドを提供することは、前記物体に関連する前記追加データを取得すべき前記物体の姿勢を示す情報を提供することを含む、非一時的なコンピュータ読み取り可能な媒体。 - 請求項26に記載の非一時的なコンピュータ読み取り可能な媒体において、
前記コマンドを提供することは、前記物体に関連する前記追加データを取得すべき時刻を提供することを含む、非一時的なコンピュータ読み取り可能な媒体。 - 請求項19に記載の非一時的なコンピュータ読み取り可能な媒体において、
前記環境の前記画像に基づいて、前記環境内の部屋の識別をサーバから受信し、
前記環境の前記部屋と関連する物体のカテゴリを判定し、
前記コンピューティング装置の前記1つ以上のセンサを用いて、前記環境の前記部屋と関連する物体の前記カテゴリ内の少なくとも1つの物体に関連するデータを取得する要求を示す第2コマンドを前記ユーザに提供することとをさらに含む、非一時的なコンピュータ読み取り可能な媒体。 - 請求項19に記載の非一時的なコンピュータ読み取り可能な媒体において、
前記環境における前記特徴は、アクションを実行する人物であり、
前記データベース内の記憶された前記データセットとの前記第1比較に基づいて、記憶された前記データセットに前記環境における前記特徴の1つ以上の詳細が不足していると判定することは、記憶された前記データセットに前記人物の画像に関連する前記アクションの識別が不足していると判定することを含み、
前記アクションの識別を取得する要求をコマンドで前記ユーザに提供することをさらに含む、非一時的なコンピュータ読み取り可能な媒体。 - 請求項19に記載の非一時的なコンピュータ読み取り可能な媒体において、
前記環境における前記特徴は、人物の顔であり、
前記データベース内の記憶された前記データセットとの前記第1比較に基づいて、記憶された前記データセットに前記環境における前記特徴の1つ以上の詳細が不足していると判定することは、記憶された前記データセットに前記人物の顔の画像に関連する感情の識別が不足していると判定することを含み、
前記感情の識別を取得する要求をコマンドで前記ユーザに提供することをさらに含む、非一時的なコンピュータ読み取り可能な媒体。 - 請求項19に記載の非一時的なコンピュータ読み取り可能な媒体において、
前記環境における前記特徴は、人物であり、
前記コマンドは、前記人物に1つ以上のアクションを実行する要求をさらに示し、
前記コンピューティング装置の前記1つ以上のセンサから、前記1つ以上のアクションを実行する前記人物の追加画像を含む前記環境における前記特徴の前記追加データを取得することをさらに含む、非一時的なコンピュータ読み取り可能な媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021099961A JP7377837B2 (ja) | 2017-09-08 | 2021-06-16 | ゲームプレイを介して環境の詳細データセットを生成する方法およびシステム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/699,459 | 2017-09-08 | ||
US15/699,459 US10300373B2 (en) | 2017-09-08 | 2017-09-08 | Methods and systems for generating detailed datasets of an environment via gameplay |
PCT/IB2018/056852 WO2019049083A1 (en) | 2017-09-08 | 2018-09-07 | METHODS AND SYSTEMS FOR GENERATING DETAILED DATA SETS OF AN ENVIRONMENT THROUGH THE EXECUTION OF A GAME |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021099961A Division JP7377837B2 (ja) | 2017-09-08 | 2021-06-16 | ゲームプレイを介して環境の詳細データセットを生成する方法およびシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020533687A JP2020533687A (ja) | 2020-11-19 |
JP6900575B2 true JP6900575B2 (ja) | 2021-07-07 |
Family
ID=65630319
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020513820A Active JP6900575B2 (ja) | 2017-09-08 | 2018-09-07 | ゲームプレイを介して環境の詳細データセットを生成する方法およびシステム |
JP2021099961A Active JP7377837B2 (ja) | 2017-09-08 | 2021-06-16 | ゲームプレイを介して環境の詳細データセットを生成する方法およびシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021099961A Active JP7377837B2 (ja) | 2017-09-08 | 2021-06-16 | ゲームプレイを介して環境の詳細データセットを生成する方法およびシステム |
Country Status (8)
Country | Link |
---|---|
US (2) | US10300373B2 (ja) |
EP (1) | EP3678750A4 (ja) |
JP (2) | JP6900575B2 (ja) |
KR (3) | KR102644519B1 (ja) |
CN (1) | CN111295234A (ja) |
AU (3) | AU2018327287B2 (ja) |
CA (1) | CA3073900C (ja) |
WO (1) | WO2019049083A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10576380B1 (en) * | 2018-11-05 | 2020-03-03 | Sony Interactive Entertainment LLC | Artificial intelligence (AI) model training using cloud gaming network |
EP3828725A1 (en) * | 2019-11-27 | 2021-06-02 | Ubimax GmbH | Method of performing a process using artificial intelligence |
EP3828734A1 (en) * | 2019-11-27 | 2021-06-02 | Ubimax GmbH | Method of performing a data collection procedure for a process which uses artificial intelligence |
US11599847B2 (en) | 2020-02-18 | 2023-03-07 | BlueOwl, LLC | Systems and methods for generating an inventory of personal possessions of a user for insurance purposes |
US11620715B2 (en) | 2020-02-18 | 2023-04-04 | BlueOwl, LLC | Systems and methods for generating insurance policies with predesignated policy levels and reimbursement controls |
US11468515B1 (en) | 2020-02-18 | 2022-10-11 | BlueOwl, LLC | Systems and methods for generating and updating a value of personal possessions of a user for insurance purposes |
US11861722B2 (en) | 2020-02-18 | 2024-01-02 | BlueOwl, LLC | Systems and methods for generating and updating an inventory of personal possessions of a user for insurance purposes |
US11488253B1 (en) | 2020-05-26 | 2022-11-01 | BlueOwl, LLC | Systems and methods for determining personalized loss valuations for a loss event |
USD984457S1 (en) | 2020-06-19 | 2023-04-25 | Airbnb, Inc. | Display screen of a programmed computer system with graphical user interface |
USD985005S1 (en) | 2020-06-19 | 2023-05-02 | Airbnb, Inc. | Display screen of a programmed computer system with graphical user interface |
US11398920B2 (en) | 2020-06-19 | 2022-07-26 | Airbnb, Inc. | Outputting emotes based on audience segments in large-scale electronic presentation |
US11625141B2 (en) * | 2020-09-22 | 2023-04-11 | Servicenow, Inc. | User interface generation with machine learning |
US20230241491A1 (en) * | 2022-01-31 | 2023-08-03 | Sony Interactive Entertainment Inc. | Systems and methods for determining a type of material of an object in a real-world environment |
US20230315605A1 (en) * | 2022-03-31 | 2023-10-05 | Dell Products L.P. | User session identification based on telemetry data |
US20230310995A1 (en) * | 2022-03-31 | 2023-10-05 | Advanced Micro Devices, Inc. | Detecting personal-space violations in artificial intelligence based non-player characters |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4374560B2 (ja) * | 2000-03-31 | 2009-12-02 | 株式会社セガ | 画像処理装置、ゲーム装置および画像処理方法 |
US9174119B2 (en) * | 2002-07-27 | 2015-11-03 | Sony Computer Entertainement America, LLC | Controller for providing inputs to control execution of a program when inputs are combined |
US20110313779A1 (en) * | 2010-06-17 | 2011-12-22 | Microsoft Corporation | Augmentation and correction of location based data through user feedback |
US9401178B2 (en) * | 2010-08-26 | 2016-07-26 | Blast Motion Inc. | Event analysis system |
US8587583B2 (en) * | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
US8550909B2 (en) * | 2011-06-10 | 2013-10-08 | Microsoft Corporation | Geographic data acquisition by user motivation |
US20140132633A1 (en) * | 2011-07-20 | 2014-05-15 | Victoria Fekete | Room design system with social media interaction |
US9245193B2 (en) * | 2011-08-19 | 2016-01-26 | Qualcomm Incorporated | Dynamic selection of surfaces in real world for projection of information thereon |
US9122927B2 (en) | 2012-03-26 | 2015-09-01 | Google Inc. | Generating an image tour based on a set of images |
JP5915334B2 (ja) * | 2012-03-30 | 2016-05-11 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US8782284B2 (en) * | 2012-11-15 | 2014-07-15 | Carefusion 303, Inc. | Extensible deployment system |
US9756222B2 (en) | 2013-06-26 | 2017-09-05 | Nvidia Corporation | Method and system for performing white balancing operations on captured images |
KR101388426B1 (ko) | 2013-08-16 | 2014-04-30 | 김태관 | 온라인 및 오프라인 연동 게임 시스템 |
KR20150020497A (ko) * | 2013-10-18 | 2015-02-26 | 김태관 | 온라인 및 오프라인 연동 게임 시스템 |
US20150193982A1 (en) * | 2014-01-03 | 2015-07-09 | Google Inc. | Augmented reality overlays using position and orientation to facilitate interactions between electronic devices |
KR102362117B1 (ko) | 2014-07-01 | 2022-02-11 | 삼성전자주식회사 | 지도 정보를 제공하기 위한 전자 장치 |
KR102332752B1 (ko) | 2014-11-24 | 2021-11-30 | 삼성전자주식회사 | 지도 서비스를 제공하는 전자 장치 및 방법 |
JP2018505505A (ja) * | 2015-01-31 | 2018-02-22 | モファット,ブライアン,リー | 顔の幾何学的形状の歪みによるコンピュータの制御 |
US9571971B2 (en) * | 2015-04-24 | 2017-02-14 | International Business Machines Corporation | Managing crowd sourced data acquisition |
KR20180014492A (ko) * | 2016-08-01 | 2018-02-09 | 삼성전자주식회사 | 영상 표시 방법 및 이를 지원하는 전자 장치 |
US9824477B1 (en) * | 2016-11-30 | 2017-11-21 | Super 6 LLC | Photo and video collaboration platform |
DK180470B1 (en) * | 2017-08-31 | 2021-05-06 | Apple Inc | Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments |
-
2017
- 2017-09-08 US US15/699,459 patent/US10300373B2/en active Active
-
2018
- 2018-09-07 WO PCT/IB2018/056852 patent/WO2019049083A1/en unknown
- 2018-09-07 KR KR1020227002586A patent/KR102644519B1/ko active IP Right Grant
- 2018-09-07 JP JP2020513820A patent/JP6900575B2/ja active Active
- 2018-09-07 KR KR1020207027748A patent/KR102357265B1/ko active IP Right Grant
- 2018-09-07 CA CA3073900A patent/CA3073900C/en active Active
- 2018-09-07 KR KR1020207009831A patent/KR102162457B1/ko active IP Right Grant
- 2018-09-07 CN CN201880071863.4A patent/CN111295234A/zh active Pending
- 2018-09-07 AU AU2018327287A patent/AU2018327287B2/en active Active
- 2018-09-07 EP EP18854832.5A patent/EP3678750A4/en active Pending
-
2019
- 2019-04-05 US US16/377,095 patent/US11110343B2/en active Active
-
2021
- 2021-01-14 AU AU2021200221A patent/AU2021200221A1/en not_active Abandoned
- 2021-06-16 JP JP2021099961A patent/JP7377837B2/ja active Active
-
2022
- 2022-12-23 AU AU2022291639A patent/AU2022291639A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2019049083A1 (en) | 2019-03-14 |
EP3678750A4 (en) | 2020-12-02 |
US10300373B2 (en) | 2019-05-28 |
US20190076731A1 (en) | 2019-03-14 |
AU2018327287A1 (en) | 2020-04-23 |
KR20220017515A (ko) | 2022-02-11 |
KR20200041385A (ko) | 2020-04-21 |
KR102644519B1 (ko) | 2024-03-08 |
US20190232157A1 (en) | 2019-08-01 |
CN111295234A (zh) | 2020-06-16 |
KR20200117035A (ko) | 2020-10-13 |
JP7377837B2 (ja) | 2023-11-10 |
EP3678750A1 (en) | 2020-07-15 |
AU2022291639A1 (en) | 2023-02-02 |
KR102357265B1 (ko) | 2022-02-08 |
US11110343B2 (en) | 2021-09-07 |
AU2021200221A1 (en) | 2021-03-18 |
CA3073900C (en) | 2020-12-29 |
CA3073900A1 (en) | 2019-03-14 |
JP2020533687A (ja) | 2020-11-19 |
AU2018327287B2 (en) | 2020-10-15 |
KR102162457B1 (ko) | 2020-10-21 |
JP2021170341A (ja) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6900575B2 (ja) | ゲームプレイを介して環境の詳細データセットを生成する方法およびシステム | |
Cai et al. | RGB-D datasets using microsoft kinect or similar sensors: a survey | |
JP7025532B2 (ja) | 衝突の検出、推定、および回避 | |
KR101881620B1 (ko) | 게임플레이에서의 3차원 환경 모델 사용 | |
US20130328927A1 (en) | Augmented reality playspaces with adaptive game rules | |
JP2020535556A (ja) | ユーザ用の人工知能(ai)モデルに基づく可動式の自律型パーソナルコンパニオン | |
CN109069929B (zh) | 用于玩具识别的系统和方法 | |
CN105190703A (zh) | 使用光度立体来进行3d环境建模 | |
CN102592046A (zh) | 伴随对象的定制 | |
KR20150086278A (ko) | 주체와 객체의 연관 | |
CN109255749A (zh) | 自主和非自主平台中的地图构建优化 | |
WO2019123744A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2020153038A1 (ja) | 情報処理装置、および情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200720 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200720 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200720 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210518 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210616 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6900575 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |