JP7261296B2 - 目標対象認識システム、方法、装置、電子デバイス、及び記録媒体 - Google Patents

目標対象認識システム、方法、装置、電子デバイス、及び記録媒体 Download PDF

Info

Publication number
JP7261296B2
JP7261296B2 JP2021518958A JP2021518958A JP7261296B2 JP 7261296 B2 JP7261296 B2 JP 7261296B2 JP 2021518958 A JP2021518958 A JP 2021518958A JP 2021518958 A JP2021518958 A JP 2021518958A JP 7261296 B2 JP7261296 B2 JP 7261296B2
Authority
JP
Japan
Prior art keywords
target
target object
image
human body
player
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021518958A
Other languages
English (en)
Other versions
JP2022521873A (ja
Inventor
歩▲軍▼ ▲闕▼
▲帥▼ ▲張▼
勇 陶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime International Pte Ltd
Original Assignee
Sensetime International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime International Pte Ltd filed Critical Sensetime International Pte Ltd
Publication of JP2022521873A publication Critical patent/JP2022521873A/ja
Application granted granted Critical
Publication of JP7261296B2 publication Critical patent/JP7261296B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3202—Hardware aspects of a gaming system, e.g. components, construction, architecture thereof
    • G07F17/3204—Player-machine interfaces
    • G07F17/3206—Player sensing means, e.g. presence detection, biometrics
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3202—Hardware aspects of a gaming system, e.g. components, construction, architecture thereof
    • G07F17/3216—Construction aspects of a gaming system, e.g. housing, seats, ergonomic aspects
    • G07F17/322—Casino tables, e.g. tables having integrated screens, chip detection means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3241—Security aspects of a gaming system, e.g. detecting cheating, device integrity, surveillance
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3286—Type of games
    • G07F17/3288—Betting, e.g. on live events, bookmaking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Description

本発明は、コンピュータ視覚技術に関し、具体的には、目標対象認識システム、方法、装置、電子デバイス、及び記録媒体に関する。
＜関連出願の相互引用＞
本願は、出願番号が１０２０１９１３０２４Ｑであり、出願日が２０１９年１２月２３日であり、出願名称が「目標対象認識システム、方法、装置、電子デバイス、及び記録媒体」であるシンガポール特許出願に基づいて提出されたものであり、当該特許出願の優先権を主張し、当該特許出願の全ての内容が参照のために本願に援用される。
近年、人工知能技術の継続的な発展により、人工知能技術は、コンピュータ視覚、音声認識などにおいていずれも比較的良好な効果を得た。一部の相対的に特殊なシーン（たとえばデスクトップゲームシーン）では、カメラの撮影が視野範囲および明瞭度に限られて、プレーヤーの賭けの状況とプレーヤーの勝ち負けの状況を正確に認識して監視制御することができなくなる。
本発明は、目標対象認識の解決策を提供する。
本発明の１態様によると、目標対象認識システムを提供し、前記システムは、第１画像収集装置と、第２画像収集装置と、プロセッサと、を備え、前記第１画像収集装置は、第１目標領域の画像を収集し、前記第２画像収集装置は、第２目標領域の画像を同期的に収集し、前記第２目標領域は、前記第１目標領域の一部または全部を含み、前記第１画像収集装置の解像能力は、前記第２画像収集装置の解像能力よりも高く、前記第２画像収集装置の視界（ａ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）は、前記第１画像収集装置の視界よりも大きいし、前記プロセッサは、前記第１目標領域の画像に基づいて各々の第１目標対象を認識し、前記第２目標領域の画像に基づいて各々の第２目標対象を認識し、前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定し、前記各々の第１目標対象は、前記第１目標領域内の各々の目標対象であり、前記第２目標対象は、前記第２目標領域内の各々の目標対象である。
本発明によって提供される任意の実施形態と結合して、第１目標対象は、ゲーム物品に関連する目標対象を含み、第２目標対象は、プレーヤーに関連する目標対象を含み、前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定することは、前記第１画像収集装置と前記第２画像収集装置との位置関係に基づいて、前記第１目標対象を前記第２目標領域の画像内にマッピングして、対応する各々のマッピングされる目標対象を得ることと、前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々のマッピングされる目標対象の位置に基づいて、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することと、を含む。
本発明によって提供される任意の実施形態と結合して、前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、マッピングされる各々の目標対象の位置に基づいて、前記各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することは、プレーヤーに関連する１つの目標対象と１つの第１目標対象にマッピングされる目標対象との間の距離が第１距離閾値以下である場合、当該第１目標対象と当該プレーヤーに関連する目標対象とが関連されると確定することを含む。
本発明によって提供される任意の実施形態と結合して、第１目標対象は、ゲーム物品に関連する目標対象を含み、第２目標対象は、ゲーム物品に関連する目標対象とプレーヤーに関連する目標対象とを含み、前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定することは、前記第１画像収集装置と前記第２画像収集装置との位置関係に基づいて、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係を得ることと、前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象の位置および前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係に基づいて、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することと、を含む。
本発明によって提供される任意の実施形態と結合して、前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象の位置および前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係に基づいて、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することは、前記第２目標領域の画像内で、プレーヤーに関連する１つの目標対象と１つのゲーム物品に関連する目標対象との間の距離が第２距離閾値以下である場合、当該プレーヤーに関連する目標対象と当該ゲーム物品に関連する目標対象に対応する第１目標対象とが関連されると確定することを含む。
本発明によって提供される任意の実施形態と結合して、前記プレーヤーに関連する目標対象は、顔であり、前記プロセッサは、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定するときに、各々の第１目標対象と各々の顔との間の関連関係を確定し、前記プロセッサは、さらに、前記第２目標領域の画像内の各々の顔の顔キーポイント情報を得、前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定し、各々の第１目標対象と各々の顔との間の関連関係、および、各々の顔に対応するプレーヤーの身分情報に基づいて、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付ける。
本発明によって提供される任意の実施形態と結合して、前記プレーヤーに関連する目標対象は、顔と人体とを含み、前記プロセッサは、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定するときに、各々の第１目標対象と各々の人体との間の関連関係を確定し、前記プロセッサは、さらに、前記第２目標領域の画像内の各々の顔の顔キーポイント情報を得、前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定し、前記第２目標領域の画像内の各々の人体の人体キーポイント情報を得、各々の顔の顔キーポイント情報および各々の人体の人体キーポイント情報に基づいて、各人体と関連する顔を確定し、各々の顔に対応するプレーヤーの身分情報、および、各人体と関連する顔に基づいて、各々の人体に対応するプレーヤーの身分情報をそれぞれ確定し、各々の第１目標対象と各々の人体との間の関連関係、および、各々の人体に対応するプレーヤーの身分情報に基づいて、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付ける。
本発明によって提供される任意の実施形態と結合して、前記プレーヤーに関連する目標対象は、顔と手とを含み、前記プロセッサは、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定するときに、各々の第１目標対象と各々の手との間の関連関係を確定し、前記プロセッサは、さらに、前記第２目標領域の画像内の各々の顔の顔キーポイント情報を得、前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定し、前記第２目標領域の画像内の各々の顔の位置と各々の手の位置とに基づいて、各顔と関連する手を確定し、前記第２目標領域の画像内の各々の顔に対応するプレーヤーの身分情報と各顔と関連する手とに基づいて、各々の手に対応するプレーヤーの身分情報をそれぞれ確定し、各々の第１目標対象と各々の手との間の関連関係、および、各々の手に対応するプレーヤーの身分情報に基づいて、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付ける。
本発明によって提供される任意の実施形態と結合して、前記第２目標領域の画像内の各々の顔の位置と各々の手の位置とに基づいて、各顔と関連する手を確定することは、前記第２目標領域の画像内で１つの顔の位置と１つの手の位置との間の距離が第３距離閾値以下である場合、当該顔と当該手とが関連されると確定する。
本発明によって提供される任意の実施形態と結合して、前記プレーヤーに関連する目標対象は、顔と人体と手とを含み、前記プロセッサは、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定するときに、各々の第１目標対象と各々の手との間の関連関係を確定し、前記プロセッサは、さらに、前記第２目標領域の画像内の各々の顔の顔キーポイント情報を得、前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定し、前記第２目標領域の画像内の各々の人体の人体キーポイント情報を得、前記第２目標領域の画像内の各々の手の手キーポイント情報を得、各々の顔の顔キーポイント情報および各々の人体の人体キーポイント情報に基づいて、各人体と関連する顔を確定し、各々の顔に対応するプレーヤーの身分情報、および、各人体と関連する顔に基づいて、各々の人体に対応するプレーヤーの身分情報を確定し、各々の人体の人体キーポイント情報と各々の手の手キーポイント情報とに基づいて、各手と関連する人体を確定し、各々の人体に対応するプレーヤーの身分情報、および、各手と関連する人体に基づいて、各々の手に対応するプレーヤーの身分情報を確定し、各々の第１目標対象と各々の手との間の関連関係、および、各々の手に対応するプレーヤーの身分情報に基づいて、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付ける。
本発明によって提供される任意の実施形態と結合して、前記各々の顔の顔キーポイント情報および各々の人体の人体キーポイント情報に基づいて、各人体と関連する顔を確定することは、１つの顔の顔キーポイントが位置する領域と１つの人体の人体キーポイントが位置する領域との間の重畳領域の面積が第１面積閾値以上である場合、当該顔と当該人体とが関連されると確定することを含む。
本発明によって提供される任意の実施形態と結合して、前記各々の人体の人体キーポイント情報と各々の手の手キーポイント情報とに基づいて、各手に関連される人体を確定することは、１つの人体の人体キーポイント情報と１つの手の手キーポイント情報との間が所定の条件を満たす場合、当該人体と当該手とが関連されると確定することを含む。
本発明によって提供される任意の実施形態と結合して、前記所定の条件は、１つの人体の人体キーポイントが位置する領域と１つの手の手キーポイントが位置する領域との間の重畳領域の面積が第２面積閾値以上であることと、１つの人体の人体キーポイントが位置する領域と１つの手の手キーポイントが位置する領域との間の距離が第４距離閾値以下であることと、１つの人体の人体キーポイント情報の第１繋がり線と１つの手の手キーポイント情報の第２繋がり線との間の夾角が夾角閾値以下であることと、の中の少なくとも一つを含み、ここで、前記第１繋がり線は、当該人体の人体キーポイントの中の肘部キーポイントと手部キーポイントとの間の繋がり線であり、前記第２繋がり線は、当該手に対応する手キーポイント同士の間の繋がり線である。
本発明の１態様によると、目標対象認識方法を提供し、前記方法は、第１目標領域の画像に基づいて各々の第１目標対象を認識し、第２目標領域の画像に基づいて各々の第２目標対象を認識することであって、前記第１目標領域の画像は、第１画像収集装置によって収集され、前記第２目標領域の画像は、第２画像収集装置によって収集され、前記第２目標領域は、前記第１目標領域の一部または全部を含み、前記第１画像収集装置の解像能力は、前記第２画像収集装置の解像能力よりも高く、前記第２画像収集装置の視界は、前記第１画像収集装置の視界よりも大きいことと、前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定することであって、前記各々の第１目標対象は、前記第１目標領域内の各々の目標対象であり、前記第２目標対象は、前記第２目標領域内の各々の目標対象であることと、を含む。
本発明の１態様によると、第１目標対象は、ゲーム物品に関連する目標対象を含み、第２目標対象は、プレーヤーに関連する目標対象を含み、前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定することは、前記第１画像収集装置と前記第２画像収集装置との位置関係に基づいて、前記第１目標対象を前記第２目標領域の画像内にマッピングして、対応する各々のマッピングされる目標対象を得ることと、前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々のマッピングされる目標対象の位置に基づいて、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することと、を含む。
本発明の１態様によると、前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、マッピングされる各々の目標対象の位置に基づいて、前記各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することは、プレーヤーに関連する１つの目標対象と１つの第１目標対象にマッピングされる目標対象との間の距離が第１距離閾値以下である場合、当該第１目標対象と当該プレーヤーに関連する目標対象とが関連されると確定することを含む。
本発明の１態様によると、第１目標対象は、ゲーム物品に関連する目標対象を含み、第２目標対象は、ゲーム物品に関連する目標対象とプレーヤーに関連する目標対象とを含み、前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定することは、前記第１画像収集装置と前記第２画像収集装置との位置関係に基づいて、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係を得ることと、前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象の位置および前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係に基づいて、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することと、を含む。
本発明の１態様によると、前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象の位置および前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係に基づいて、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することは、前記第２目標領域の画像内で、プレーヤーに関連する１つの目標対象と１つのゲーム物品に関連する目標対象との間の距離が第２距離閾値以下である場合、当該プレーヤーに関連する目標対象と当該ゲーム物品に関連する目標対象に対応する第１目標対象とが関連されると確定することを含む。
本発明の１態様によると、目標対象認識装置を提供し、前記装置は、第１目標領域の画像に基づいて各々の第１目標対象を認識し、第２目標領域の画像に基づいて各々の第２目標対象を認識するための認識ユニットであって、前記第１目標領域の画像は、第１画像収集装置によって収集され、前記第２目標領域の画像は、第２画像収集装置によって収集され、前記第２目標領域は、前記第１目標領域の一部または全部を含み、前記第１画像収集装置の解像能力は、前記第２画像収集装置の解像能力よりも高く、前記第２画像収集装置の視界は、前記第１画像収集装置の視界よりも大きい認識ユニットと、前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定するための確定ユニットであって、前記各々の第１目標対象は、前記第１目標領域内の各々の目標対象であり、前記第２目標対象は、前記第２目標領域内の各々の目標対象である確定ユニットと、を備える。
本発明の１態様によると、電子デバイスを提供し、前記デバイスは、メモリとプロセッサとを備え、前記メモリは、プロセッサ上で実行できるコンピュータ命令を記憶し、前記プロセッサは、前記コンピュータ命令を実行するときに、本発明の任意の実施形態に記載の目標対象認識方法を実現する。
本発明の１態様によると、コンピュータプログラムが記憶されているコンピュータ可読記録媒体を提供し、前記プログラムがプロセッサによって実行されるときに、本発明の任意の記載の目標対象認識方法が実現される。
本発明の１つまたは複数の実施例の目標対象認識システム、方法、装置、デバイス、及び記録媒体によると、第１画像収集装置を利用して第１目標領域の画像を収集し、第２画像収集装置を利用して第２目標領域の画像を収集し、第２目標領域が前記第１目標領域の一部または全部を含み、前記第２画像収集装置の視界が前記第１画像収集装置の視界よりも大きく、つまり、第２画像収集装置を利用して大きい視界（グローバル）範囲の画像を収集し、第１画像収集装置を利用して小さい視界（重点領域）範囲の画像を収集し、また、前記第１画像収集装置の解像能力が前記第２画像収集装置の解像能力よりも高いため、第２画像収集装置を利用して収集した画像は原物品の細部をより良く解像することができ、つまり、第１画像収集装置はより大きい視野範囲内の画像の収集に焦点を合わせ、第２画像収集装置は重点領域内の目標対象の解像に焦点を合わせ（たとえばゲームチップ、現金などの価値と数量の解像）。次に、第１目標領域の画像内の各々の第１目標対象と同期的に収集した第２目標領域の画像内の各々の第２目標対象とを関連付けることによって、目標対象認識システムが大視野範囲および重点領域の画像の高解像度のような両方を考慮するようにして、目標対象の認識精度と環境のロバスト性を改善することができる。
以下、本明細書の１つまたは複数の実施例または従来技術での技術的解決策をより明確に説明するために、実施例または従来技術に対する叙述で使用する必要がある図面を簡単に紹介する。明らかに、以下で叙述する図面は、本明細書の１つまたは複数の実施例に記載されるいくつかの実施例に過ぎず、当業者にとって創造的な作業なしにこれら図面に基づいて他の図面を得ることができる。
本発明の少なくとも１つの実施例によって提供される目標対象認識システムの模式図である。 本発明の少なくとも１つの実施例によって提供される目標対象認識システムで第１画像収集装置を利用して収集した第１目標領域の画像の模式図である。 本発明の少なくとも１つの実施例によって提供される目標対象認識システムで第２画像収集装置を利用して収集した第２目標領域の画像の模式図であり、ここには図２Ａ中の第１目標対象のマッピングされる目標対象が含まれている。 本発明の少なくとも１つの実施例によって提供される目標対象認識システムで第２画像収集装置を利用して収集した第２目標領域の画像の模式図であり、ここにはゲーム物品に関連する目標対象が含まれている。 本発明の少なくとも１つの実施例によって提供される目標対象認識システムでの人体キーポイント情報の模式図である。 本発明の少なくとも１つの実施例によって提供される目標対象認識システムでの手キーポイント情報の模式図である。 本発明の少なくとも１つの実施例によって提供される目標対象認識方法のフローチャートである。 本発明の少なくとも１つの実施例によって提供される目標対象認識装置の構成の模式図である。 本発明の少なくとも１つの実施例によって提供される目標対象の認識デバイスの構成の模式図である。
以下、当業者が本明細書の１つまたは複数の実施例での技術的解決策をより良く理解するようにするために、本明細書の１つまたは複数の実施例での図面を参照して、本明細書の１つまたは複数の実施例での技術的解決策を明確かつ完全に叙述する。明らかに、叙述する実施例は、全部の実施例ではなく、本明細書の一部の実施例に過ぎない。本明細書の１つまたは複数の実施例に基づいて、創造的な作業なしに当業者によって得られるすべての他の実施例は、いずれも本発明の保護範囲に属すべきである。
本発明の少なくとも１つの実施例は、目標対象認識システムを提案する。前記目標対象認識システムは、第１画像収集装置と、第２画像収集装置と、プロセッサと、を備える。
前記第１画像収集装置は、第１目標領域の画像を収集し、前記第２画像収集装置は、第２目標領域の画像を同期的に収集し、前記第２目標領域は、前記第１目標領域の一部または全部を含む。ここで、第１目標領域の画像と第２目標領域の画像は、ビデオストリーム中の１フレームのであってもよいし、リアルタイムで得た画像であってもよく、本発明はこれに対して限定しない。
前記第１画像収集装置の解像能力は、前記第２画像収集装置の解像能力よりも高く、前記第２画像収集装置の視界は、前記第１画像収集装置の視界よりも大きい。
前記プロセッサは、以下のステップによって目標対象の認識を実現する。
まず、前記第１目標領域の画像に基づいて各々の第１目標対象を認識し、前記第２目標領域の画像に基づいて各々の第２目標対象を認識する。ここで、各々の第１目標対象は、前記第１目標領域内の各々の目標対象であり、前記第２目標対象は、前記第２目標領域内の各々の目標対象である。
第１目標対象を監視制御する正確度と精確度を向上させるために、また、第１目標領域の視野範囲が集中しているため、焦点の長さが長く、ピクセルが大きく、解像度が高い第１画像収集装置を使用して、第１目標領域の画像を収集することができ、したがって、高解像度、高色再現、被写界深度の範囲が大きい第１目標領域の画像を得ることができる。
第２目標領域の視野範囲の要求が高く、また、ゲームフィールドの照明が一般的に低いため、第２目標領域の画像を収集する装置に対する低照度能力の要求が高く、幅広い動的適応性の要求が高い。それで、焦点の長さが短く、ピクセルが小さく、中解像度の第２画像収集装置を使用して第２目標領域の画像を収集することができる。
続いて、前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定する。
本発明の実施例において、第１画像収集装置を利用して第１目標領域の画像を収集し、第２画像収集装置を利用して第２目標領域の画像を収集し、第２目標領域が前記第１目標領域の一部または全部を含み、前記第２画像収集装置の視界が前記第１画像収集装置の視界よりも大きく、つまり、第２画像収集装置を利用して大きい視界（グローバル）範囲の画像を収集し、第１画像収集装置を利用して小さい視界（重点領域）範囲の画像を収集し、また、前記第１画像収集装置の解像能力が前記第２画像収集装置の解像能力よりも高いため、第２画像収集装置を利用して収集した画像は原物品の細部をより良く解像することができ、つまり、第１画像収集装置はより大きい視野範囲内の画像の収集に焦点を合わせ、第２画像収集装置は重点領域内の目標対象の解像に焦点を合わせ（たとえばゲームチップ、現金などの価値と数量の解像）。次に、第１目標領域の画像内の各々の第１目標対象と同期的に収集した第２目標領域の画像内の各々の第２目標対象とを関連付けることによって、目標対象認識システムが大視野範囲および重点領域の画像の高解像度のような両方を考慮するようにして、目標対象の認識精度と環境のロバスト性を改善することができる。
図１は、本発明の少なくとも１つの実施例によって提案される目標対象認識システムの模式図を示し、当該システムは、第１画像収集装置と第２画像収集装置とプロセッサとを備え、ここで、プロセッサは、図１で示していない。図１に示すように、第１画像収集装置１１１は、第１目標領域の画像に用いられ、第１目標領域の画像は、ゲームテーブルの画像であり得る。前記第１目標領域の画像に基づいて認識する各々の第１目標対象は、ゲーム物品に関連する目標対象であり得、たとえば被交換物品（たとえばゲームチップなど）、交換物品（たとえば現金）、カードなどの物品であり得る。第２画像収集装置１１２は、第２目標領域の画像を同期的に収集する。第２目標領域の画像は、たとえばゲームテーブルおよびゲームテーブルの周囲の人の画像であり得、前記第２目標領域の画像に基づいて認識する各々の第２目標対象は、プレーヤーまたはクルーピアであり得る。
ここで、第１画像収集装置１１１と第２画像収集装置１１２は、隣接して配置されることができ、両者は、任意の視角で画像を収集する必要があるシーンに対して画像収集を実行することができる。たとえば、両者とも上面からの視角で画像収集を実行するか、または、両者とも側面からの視角で画像収集を実行することができる。
ゲームシーンにおいて、一般的に状況ではゲームテーブル領域の照明は高く、ゲームテーブルの周囲の環境の照明は低い。したがって、１つの画像収集装置を利用してゲームテーブル領域およびゲームテーブルの周囲の人の画像を同時に収集すると、当該画像においてゲームデスクトップのゲーム関連目標の詳細を認識する同時に、ゲームテーブルの周囲のプレーヤーまたはクルーピアをカバーして、賭け位置、賭け動作、および、賭けプレーヤーを正確に認識することができない。
いくつかの実施例において、焦点の長さが長いカメラを使用して第１目標領域の画像を収集し、同期的に焦点の長さが短くカメラを使用して第２目標領域の画像を収集することができる。焦点の長さが長いカメラ利用してゲームテーブル領域を撮影して得た第１目標領域の画像が、高解像度と色再現度を有するため、第１目標領域の画像からゲームテーブル上のゲーム関連目標の詳細を検出することができ、たとえば、被交換物品、交換物品、カードなどの詳細を検出することができる。焦点の長さが長いカメラを利用してゲームテーブル領域およびゲームテーブルの周囲の人を撮影すると、視野範囲が広く、低照度能力が高いため、長い焦点の長さを利用して第２目標領域の画像を収集することで、ゲームテーブルの周囲の人および動作をより良く認識することができる。長い焦点の長さのカメラと短い焦点の長さのカメラの組み合わせを利用することによって、単一のカメラを使用してゲームテーブル領域および人を含む画像を収集する際に、中央のホットゾーンの画像密度が不十分になり、且周辺のホットゾーンの輝度が不十分になる問題を解決した。
いくつかの実施例において、小さなピクセルサイズのカメラを使用して第１目標領域の画像を収集し、同期的に大きなピクセルサイズのカメラを使用して第２目標領域の画像を収集することができる。小さなピクセルサイズのカメラを利用してゲームテーブル領域を撮影して得た第１目標領域の画像は、高解像度および大きい被写界深度範囲を有するため、第１目標領域の画像からゲームテーブル上のゲーム関連目標の詳細を検出することができ、たとえば、被交換物品、交換物品、カードなどの詳細を検出することができる。大きなピクセルサイズのカメラを利用してゲームテーブル領域およびゲームテーブルの周囲の人を撮影すると、視野範囲が広く、低照度能力が高いため、焦点の長さが長いカメラ利用して第２目標領域の画像を収集することで、ゲームテーブルの周囲の人および動作をより良く認識することができる。小さなピクセルサイズのカメラと大きなピクセルサイズのカメラの組み合わせを利用して、単一のカメラを使用してゲームテーブル領域および人を含む画像を収集する際に、中央のホットゾーンの被写界深度が不十分になり、また周辺のホットゾーンの画像照明が不十分になる問題を解決した。
いくつかの実施例において、高解像度カメラを使用して第１目標領域の画像を収集し、同期的に低解像度カメラを使用して第２目標領域の画像を収集することができ、ここで、高解像度カメラは、センターカメラであり、低解像度カメラは、広角カメラである。高解像度のセンターカメラを利用してゲームテーブル領域を撮影して得た第１目標領域の画像は、高解像度および高解像度を有するため、第１目標領域の画像からゲームテーブル上のゲーム関連目標の詳細を検出することができ、たとえば、被交換物品、交換物品、カードなどの詳細を検出することができる。低解像度の広角カメラを利用してゲームテーブル領域およびゲームテーブルの周囲の人を撮影すると、視野範囲が広く、視野カバー能力が強いため、低解像度の広角カメラを利用して第２目標領域の画像を収集することで、ゲームテーブルの周囲の人および動作をより良く認識することができる。高解像度のセンターカメラと低解像度の広角カメラの組み合わせを利用して、単一のカメラを使用してゲームテーブル領域および人を含む画像を収集する際に、中心領域の解像度と視野カバー度とを同時に満たすことができない問題を解決した。
いくつかの実施例において、分類器を利用して前記第１目標領域の画像に対して検出を実行して、前記第１目標領域の画像内の各々の第１目標対象を位置付けることができ、すなわち被交換物品、交換物品、カードなどのゲーム物品に関連する目標対象を位置づけることができる。検出フレームを利用して第１目標領域の画像内で各々の第１目標対象に対応する領域をマークすることができる。同時に、分類器は、各々の第１目標対象に対応する領域を分類し、前記ゲーム物品に関連する目標対象を被交換物品、交換物品、カードなどの複数の種類に属させることができる。ここで、前記分類器は、たとえば、深層畳み込みニューラルネットワークであり得、本発明は、分類器のタイプに対して限定しない。
いくつかの実施例において、分類器を利用して前記第２目標領域の画像に対して検出を実行して、前記第２目標領域の画像内で出現する人の顔、手、および、人体を含む体を位置付けし、検出フレームを利用して第２目標領域の画像内で各々の第２目標対象の領域をマークすることができる。同時に、分類器は、各々の第２目標対象に対応する領域に対して分類を実行して、各々の第２目標対象を顔、人体、手などの複数の種類に属させることができる。
第１目標対象がゲーム物品に関連する目標対象を含み、第２目標対象がプレーヤーに関連する目標対象を含む場合、以下の方式によって第１目標対象と第２目標対象との間の関連関係を確定することができる。
まず、前記第１画像収集装置と前記第２画像収集装置との位置関係に基づいて、前記第１目標対象を前記第２目標領域の画像内にマッピングして、対応する各々のマッピングされる目標対象を得る。
第１画像収集装置と第２画像収集装置の位置関係が既知である場合、前記第１画像収集装置の内部パラメータと前記第２画像収集装置の内部パラメータに基づいて、前記第１目標対象を前記第２目標領域の画像内にマッピングして、対応する各々のマッピングされる目標対象を得ることができる。第２目標領域の画像において、各々のプレーヤーに関連する目標対象と各々のマッピングされる目標対象との間の位置関係は、実際の空間中の各々の第１目標対象に対応するゲーム物品とプレーヤーとの間の位置関係を反映することができる。したがって、前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々のマッピングされる目標対象の位置に基づいて、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定する。
図２Ａは、第１画像収集装置を利用して収集した第１目標領域の画像の模式図であり、前記第１目標領域の画像に基づいてゲーム物品に関連する目標対象２０１を認識し得、図２Ａで当該ゲーム物品に関連する目標対象２０１はゲームチップである。図２Ｂは、第２画像収集装置を利用して収集した第２目標領域の画像の模式図であり、第１目標領域は第１目標領域のゲームテーブル領域を含み、ゲームテーブルの周囲のプレーヤー領域およびクルーピア領域をさらに含む。第２目標領域の画像に基づいて認識を実行してゲーマーに関連する２つの目標対象２１１と２１２を得る。
第１画像収集装置と第２画像収集装置の位置関係、および、第１画像収集装置と第２画像収集装置の内部パラメータに基づいて、ゲーム物品に関連する目標対象２０１を第２目標領域の画像内にマッピングすることができ、図２Ｂでの破線枠２０２が対応するマッピングされる目標対象２０２を表す。第２目標領域の画像において、プレーヤーに関連する目標対象２１１と２１２の位置、および、ゲーム物品に関連する目標対象２０１に対応するマッピングされる目標対象２０２の位置に基づいて、プレーヤーに関連する目標対象２１１および２１２と、ゲーム物品に関連する目標対象２０１との関連関係を確定することができる。
いくつかの実施例において、以下の方法によって各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することができる。すなわち、プレーヤーに関連する１つの目標対象と１つの第１目標対象にマッピングされる目標対象との間の距離が第１距離閾値以下である場合、当該第１目標対象と当該プレーヤーに関連する目標対象とが関連されると確定する。当該距離は、たとえば、プレーヤーに関連する目標対象の検出フレームの中心位置と、マッピングされる目標対象の領域の中心位置とを利用して確定することができる。たとえば、図２Ｂで、プレーヤーに関連する目標対象２１１と、ゲーム物品に関連する目標対象２０１に対応するマッピングされる目標対象２０２との間の距離が第１距離閾値よりも小さいため、プレーヤーに関連する目標対象２１１と、ゲーム物品に関連する目標対象２０１とが関連されると確定することができる。第１距離閾値の具体的な数値は、第２目標領域に含まれた目標対象タイプと数量に基づいて確定することができる。
第１目標対象がゲーム物品に関連する目標対象を含み、第２目標対象がゲーム物品に関連する目標対象とプレーヤーに関連する目標対象とを含む場合、以下の方式によって第１目標対象と第２目標対象との間の関連関係を確定することができる。
まず、前記第１画像収集装置と前記第２画像収集装置との位置関係に基づいて、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係を得る。たとえば、各々の第１目標対象を第２目標領域の画像内にマッピングして、各々の第１目標対象の対応位置を得、第２目標領域の画像において、各々のゲーム物品に関連する目標対象と当該対応位置との間の距離に基づいて、各々の第１目標対象と第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係を確定することができる。
続いて、前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象の位置および前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係に基づいて、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定する。
いくつかの実施例において、以下の方法によって各々の第１目標対象と各々のプレーヤーの関連関係を確定することができる。前記第２目標領域の画像内で、プレーヤーに関連する１つの目標対象と１つのゲーム物品に関連する目標対象との間の距離が第２距離閾値以下である場合、当該プレーヤーに関連する目標対象と当該ゲーム物品に関連する目標対象に対応する第１目標対象とが関連されると確定する。
図２Ｃは、第２画像収集装置を利用して収集した第２目標領域の画像の模式図であり、第２目標領域の画像は、第１目標領域におけるゲームテーブル領域を含み、ゲームテーブルの周囲のプレーヤー領域およびクルーピア領域をさらに含む。第２目標領域の画像に基づいて認識を実行してプレーヤーに関連する２つの目標対象２１１と２１２、および、ゲーム物品に関連する目標対象（ゲームチップ）２０３を得る。第１画像収集装置と第２画像収集装置の位置関係、および、第１画像収集装置と第２画像収集装置の内部パラメータに基づいて、図２Ａ中の各々の第１目標対象と、図２Ｃ中の各々のゲーム物品に関連する目標対象との間の対応関係を得ることができる。
１例において、図２Ａ中の各々の第１目標対象を第２目標領域の画像内にマッピングして、各々の第１目標対象の対応位置を得、各々のゲーム物品に関連する目標対象と各々の第１目標対象の対応位置との間の距離に基づいて、第１目標対象とゲーム物品に関連する目標対象の対応関係を確定することができる。たとえば、図２Ａ中のすべての第１目標対象を第２目標領域の画像にマッピングした後、図２Ｃ中のゲーム物品に関連する目標対象２０３と図２Ａ中の第１目標対象２０１との対応位置の距離が一番近い場合、ゲーム物品に関連する目標対象２０３が第１目標対象２０１に対応されると確定することができる。
プレーヤーに関連する目標対象２１１の位置とゲーム物品に関連する目標対象２０３との間の距離が第２距離閾値よりも小さい場合、プレーヤーに関連する目標対象２１１とゲーム物品に関連する目標対象２０３に対応する第１目標対象２０１とが関連されると確定することができる。第２距離閾値の具体的な数値は、第２目標領域に含まれた目標対象タイプと数量に基づいて確定することができる。
いくつかの実施例において、プレーヤーに関連する目標対象は、顔、人体、手の中の１つまたは複数を含むことができ、前記プロセッサは、さらに、顔、人体、手の中の１つまたは複数を利用して対応するプレーヤーの身分情報を得、前記プレーヤーに関連する目標対象と第１目標対象との間の関連関係を利用して、各々の第１目標対象とプレーヤーの身分情報とを関連付けることができる。
プレーヤーに関連する目標対象が顔であることに応答して、顔を利用して対応するプレーヤーの身分情報を得、前記プレーヤーに関連する目標対象と第１目標対象との間の関連関係を利用して、各々の第１目標対象とプレーヤーの身分情報とが関連付けることができる。
いくつかの実施例において、以下の方法によって顔に対応するプレーヤーの身分情報を得ることができる。すなわち、前記第２目標領域の画像内の各々の顔の顔キーポイント情報を得、前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定する。前記顔に関連されている第１目標対象が既知である場合、当該第１目標対象と当該プレーヤーの身分情報とを関連付けると確定することができる。たとえば、第２目標領域の画像から認識された顔が特定の１つのプレーヤーに属すると確定し、当該プレーヤーの姓名、性別、連絡先などの身分情報が既知であると、顔と関連する第１目標対象と、当該身分情報とを関連付け、すなわち、当該第１目標対象に対応する被交換物品、交換物品、カードなどのゲーム物品に関連する目標対象と、当該身分情報とを関連付ける。
１例において、以下の方法によって前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定することができる。すなわち、前記顔キーポイント情報をデータベース内で参照者の顔画像および／または顔特徴情報と比較し、当該顔キーポイント情報と一致する参照者の身分を、当該顔に対応する人の身分として確定する。同時に、顔キーポイント情報と、該当する身分情報とを、当該顔の認識結果として確定することができる。たとえば、顔Ａの顔キーポイント情報と一致（たとえば類似度が所定の類似度閾値以上である）する参照者をプレーヤーＭとすると、当該顔をプレーヤーＭの顔として確定する。このような方式によって、顔に対応する人の顔特徴および身分を確定することができる。
いくつかの実施例において、ゲームの開始段階で各々の顔に対応する身分情報を確定することができる。たとえばプレーヤーがゲームテーブルに接近して座席に座った場合、当該プレーヤーがまもなくゲームに参加すると見なすことができ、当該プレーヤーの身分を認識して記録し、続いて当該プレーヤーを追跡することができる。本発明は、人の身分を確定する具体的なタイミングに対して限定しない。
いくつかの実施例において、顔認識ネットワークを利用して第２目標領域の画像に対して顔認識を実行することができる。当該顔認識ネットワークは、たとえば、深層畳み込みニューラルネットワークであり得、少なくとも畳み込み層およびプーリング層（またはｓｏｆｔｍａｘ層）を含む。本発明は、顔認識ネットワークのネットワークタイプおよびネットワーク構成に対して限定しない。
本発明の実施例において、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付けることによって、第１目標対象をより効果的に監視することができる。
プレーヤーに関連する目標対象が顔と人体とを含むことに応答して、人体を利用して対応するプレーヤーの身分情報を得、前記プレーヤーに関連する目標対象と第１目標対象との間の関連関係を利用して、各々の第１目標対象とプレーヤーの身分情報とを関連付けることができる。
いくつかの実施例において、以下の方法によって人体に対応するプレーヤーの身分情報を得ることができる。すなわち、前記第２目標領域の画像内の各々の顔の顔キーポイント情報を得、前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定し、続いて、前記第２目標領域の画像内の各々の人体の人体キーポイント情報を得、各々の顔の顔キーポイント情報および各々の人体の人体キーポイント情報に基づいて、各人体と関連する顔を確定してから、各々の顔に対応するプレーヤーの身分情報、および、各人体と関連する顔に基づいて、各々の人体に対応するプレーヤーの身分情報をそれぞれ確定し、最後に、各々の第１目標対象と各々の人体との間の関連関係、および、各々の人体に対応するプレーヤーの身分情報に基づいて、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付ける。
顔の場合、上記の方法によって各々の顔に対応するプレーヤーの身分情報を確定することができ、ここでは繰り返して説明しない。
人体の場合、第２目標領域の画像に対して人体認識を実行して、各々の人体に対応する、図３Ａに示した１４個の関節部分の人体キーポイント情報を得、当該人体キーポイント情報を人体認識結果とすることができる。
いくつかの実施例において、人体認識ネットワークを利用して第２目標領域の画像に対して処理を実行して、人体認識結果を得ることができる。当該人体認識ネットワークは、たとえば、深層畳み込みニューラルネットワークであり得る。本発明は、人体認識ネットワークのネットワークタイプおよびネットワーク構成に対して限定しない。
各々の顔の顔キーポイント情報および各々の人体の人体キーポイント情報を得た後、各々の顔と各々の人体とを関連付けることができる。たとえば、顔Ａの顔キーポイントが位置する領域と人体Ｂの人体キーポイントが位置する領域との間の重畳領域の面積が所定の面積閾値を越えると、当該顔Ａと当該人体Ｂとが関連があると見なすことができ、すなわち、当該顔Ａと当該人体Ｂとが同一の１人のプレーヤーＭに対応されると見なすことができる。当該場合では、当該顔Ａに対応する身分情報を人体Ｂに対応する身分情報として確定し、すなわち、人体ＢがプレーヤーＭの人体である。このような方式によって、顔と人体との間の関連付けを実現し、したがって、顔に対応する身分情報に基づいて人体に対応する身分情報を確定することができ、認識の効率と正確性を向上させることができる。
いくつかの実施例において、以下の方式によって顔と人体とを関連付けることができる。すなわち、１つの顔の顔キーポイントが位置する領域と１つの人体の人体キーポイントが位置する領域との間の重畳領域の面積が第１面積閾値以上である場合、当該顔と当該人体とが関連されると確定する。当業者は、実際の状況によって当該第１面積閾値を設定することができ、本発明は、当該第１面積閾値の具体的に取値に対して限定しない。
本発明の実施例において、各々の第１目標対象と各々の人体との間の関連関係、および、各々の人体に対応するプレーヤーの身分情報を確定することによって、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付ける。人体は、顔と比較して、第１目標対象であるゲーム物品に関連する目標対象との距離がもっと近いため、第１目標対象とプレーヤーの身分情報との関連付けの正確性を向上させることができる。
プレーヤーに関連する目標対象が顔と手とを含むことに応答して、手に基づいて、対応するプレーヤーの身分情報を得ることができ、前記プレーヤーに関連する目標対象（手）と第１目標対象との間の関連関係によって、各々の第１目標対象とプレーヤーの身分情報とを関連付けることができる。
いくつかの実施例において、以下の方法によって手に対応するプレーヤーの身分情報を得ることができる。前記第２目標領域の画像内の各々の顔の顔キーポイント情報を得、前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定し、続いて、前記第２目標領域の画像内の各々の顔の位置と各々の手の位置とに基づいて、各顔と関連する手を確定してから、前記第２目標領域の画像内の各々の顔に対応するプレーヤーの身分情報と各顔と関連する手とに基づいて、各々の手に対応するプレーヤーの身分情報をそれぞれ確定し、最後に、各々の第１目標対象と各々の手との間の関連関係、および、各々の手に対応するプレーヤーの身分情報に基づいて、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付ける。
顔の場合、上記の方法によって各々の顔に対応するプレーヤーの身分情報を確定することができ、ここでは繰り返して説明しない。
手の場合、各々の手の位置および各々の顔の位置に基づいて、各手と関連する顔を確定することができる。さらに、顔と手との間の関連関係によって、各々の手に対応するプレーヤーの身分情報を確定することができる。
いくつかの実施例において、以下の方式によって顔と手とを関連付けることができる。１つの顔の位置と１つの手の位置との間の距離が第３距離閾値以下である場合、当該顔と当該手とが関連されると確定する。当業者は実際の状況によって当該第３距離閾値を設定することができ、本発明は、当該第３距離閾値の具体的に取値に対して限定しない。
本発明の実施例において、各々の第１目標対象と各々の手との間の関連関係を確定し、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付ける。手は、顔と比較して、第１目標対象であるゲーム物品に関連する目標対象との距離がもっと近いため、第１目標対象とプレーヤーの身分情報との関連付けの正確性を向上させることができる。
プレーヤーに関連する目標対象が顔と人体と手とを含むことに応答して、手に基づいて、対応するプレーヤーの身分情報を得ることができ、前記プレーヤーに関連する目標対象と第１目標対象との間の関連関係、および、各々の手に対応するプレーヤーの身分情報を利用して、各々の第１目標対象とプレーヤーの身分情報とを関連付けることができる。
いくつかの実施例において、以下の方法によって手に対応するプレーヤーの身分情報を得ることができる。前記第２目標領域の画像内の各々の顔の顔キーポイント情報を得、前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定し、続いて、前記第２目標領域の画像内の各々の人体の人体キーポイント情報、および、前記第２目標領域の画像内の各々の手の手キーポイント情報を得た後、各々の顔の顔キーポイント情報および各々の人体の人体キーポイント情報に基づいて、各人体と関連する顔を確定し、各々の顔に対応するプレーヤーの身分情報、および、各人体と関連する顔に基づいて、各々の人体に対応するプレーヤーの身分情報を確定し、各々の人体の人体キーポイント情報と各々の手の手キーポイント情報とに基づいて、各手と関連する人体を確定し、最後に、各々の人体に対応するプレーヤーの身分情報、および、各手と関連する人体に基づいて、各々の手に対応するプレーヤーの身分情報を確定し、各々の第１目標対象と各々の手との間の関連関係、および、各々の手に対応するプレーヤーの身分情報に基づいて、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付ける。
顔と人体の場合、上記の方法によって対応するプレーヤーの身分情報を確定することができ、ここでは繰り返して説明しない。
手の場合、第２目標領域の画像に対して手認識を実行することによって、各々の手に対応する手キーポイント情報を得、図３Ｂに示すように、当該手キーポイント情報を手認識結果とすることができる。図３Ｂは、本発明の少なくとも１つの実施例によって提供される目標対象認識システムでの手キーポイント情報の模式図である。
いくつかの実施例において、手認識ネットワークを利用して第２目標領域の画像に対して処理を実行することによって、手認識結果を得ることができる。当該手認識ネットワークは、たとえば、深層畳み込みニューラルネットワークであり得る。本発明は、手認識ネットワークのネットワークタイプおよびネットワーク構成に対して限定しない。
各々の顔の顔キーポイント情報および各々の人体の人体キーポイント情報を得た後、上記の方法を利用して各々の顔と各々の人体に対して関連付けを実行することができ、ここでは繰り返して説明しない。
人体の人体キーポイント情報と手のキーポイント情報を得た後、各々の人体と各々の手に対して関連付けを実行することができる。たとえば、人体Ｂの人体キーポイント情報と手Ｃの手キーポイント情報との間が所定の条件を満たすと、人体Ｂと手Ｃとが関連されると見なすことができ、すなわち人体Ｂと手Ｃが１人のプレーヤーＭに対応する。当該場合、人体Ｂに対応する身分情報を手Ｃに対応する身分情報として確定することができ、すなわち手ＣはプレーヤーＭの手である。
当該所定の条件は、たとえば、人体Ｂの人体キーポイントが位置する領域と手Ｃの手キーポイントが位置する領域との間の重畳領域の面積が所定の面積閾値以上であること、人体Ｂの人体キーポイントが位置する領域と手Ｃの手キーポイントが位置する領域との間の距離が所定の距離閾値以下であること、または、人体Ｂの人体キーポイントの中の肘部キーポイントと手部キーポイントとの間の第１繋がり線と、手Ｃの手キーポイント同士の間の第２繋がり線と、の間の夾角が所定の角度範囲内にいることであり得る。本発明は、人体と手とが関連されているかを判断する所定の条件に対して限定しない。
いくつかの実施例において、所定の条件は、１つの人体の人体キーポイントが位置する領域と１つの手の手キーポイントが位置する領域との間の重畳領域の面積が第２面積閾値以上であることと、１つの人体の人体キーポイントが位置する領域と１つの手の手キーポイントが位置する領域との間の距離が第４距離閾値以下であることと、１つの人体の人体キーポイント情報の第１繋がり線と１つの手の手キーポイント情報の第２繋がり線との間の夾角が夾角閾値以下であることと、の中の少なくとも一つを含むことができ、ここで、前記第１繋がり線は、当該人体の人体キーポイントの中の肘部キーポイントと手部キーポイントとの間の繋がり線であり、前記第２繋がり線は、当該手に対応する手キーポイント同士の間の繋がり線である。
例を挙げて説明すると、任意の１つの人体および任意の１つの手に対して、前記人体に対応する人体キーポイント情報と前記手に対応する手キーポイント情報との間の関係を分析することができる。
ある場合には、前記人体に対応する人体キーポイントが位置する領域と前記手に対応する手キーポイントが位置する領域との間の重畳領域の面積を計算することができる。当該面積が所定の第２面積閾値以下であると、前記人体と前記手とが関連されると確定することができる。当業者は実際の状況によって当該第２面積閾値を設定することができ、本発明は、当該第２面積閾値の具体的に取値に対して限定しない。
ある場合には、前記人体に対応する人体キーポイント情報が位置する領域と前記手に対応する手キーポイントが位置する領域との間の距離を計算することができ、たとえば、前記人体の中心点と前記手の中心点との間の距離を計算することができる。当該距離が所定の第４距離閾値以下であると、前記人体と前記手とが関連されると確定することができる。当業者は実際の状況によって当該第４距離閾値を設定することができ、本発明は、当該第４距離閾値の具体的に取値に対して限定しない。
ある場合には、前記人体に対応する人体キーポイントの第１繋がり線と前記手に対応する手キーポイントの第２繋がり線の夾角を計算することができる。当該第１繋がり線は、人体に対応する人体キーポイントの中の肘部キーポイントと手部キーポイントとの間の繋がり線であり得、第２繋がり線は、手に対応する手キーポイント同士の間の繋がり線であり得る。当該夾角が所定の夾角閾値以下であると、当該人体と当該手とが関連されると確定することができる。当業者は実際の状況によって当該夾角閾値を設定することができ、本発明は、当該夾角閾値の具体的に取値に対して限定しない。
図３Ａに示すように、人体は、１８個の人体キーポイントを含むことができ（頭部の４個のキーポイントを含む）、ここで、３と６は肘部キーポイントであり、４と７は手部キーポイントであり、３と４との間の繋がり線および６と７との間の繋がり線を第１繋がり線とすることができる。図３Ｂに示すように、手は、１６個または２１個の手キーポイントを含むことができ、キーポイント３１と３２との間の繋がり線を第２繋がり線とすることができる。図３Ａと図３Ｂは、ただ、人体キーポイント情報および手キーポイント情報の模式的な例であり、本発明は、人体キーポイント情報および手キーポイント情報の具体的な種類、および、第１繋がり線と第２繋がり線の選択に対して限定しないことを理解すべきである。
いくつかの実施例において、手と第１目標対象に対して関連付けを実行することをさらに含む。各々の手の位置および各々の第１目標対象の位置に基づいて、各第１目標対象に関連される手を確定することができる。さらに、手と第１目標対象との間の関連関係に基づいて、各々の第１目標対象に対応するプレーヤーの身分情報を確定することができる。
たとえば、手Ｃの位置と第１目標対象Ｄの位置との間の距離が所定の距離閾値以下であると、手Ｃと第１目標対象Ｄとが関連されると見なすことができ、すなわち手Ｃと第１目標対象Ｄが１人のプレーヤーに対応する。当該場合、当該第１目標対象Ｄを手Ｃに対応する人Ｍとして確定することができ、たとえば第１目標対象Ｄに対応する被交換物品がプレーヤーＭが賭けた被交換物品である。
本発明の実施例において、手と人体との間の関連関係、および、人体と顔との間の関連関係に基づいて該当するプレーヤーの身分情報を得る。手と人体との間の関連が手と顔との間の関連よりも緊密であるため、第１目標対象とプレーヤーの身分情報との関連付けの正確性を向上させることができる。
いくつかの実施例において、前記方法は、第２目標領域の画像内の各々のプレーヤーに関連する目標対象と前記ゲームテーブルに対応する座席領域とを関連付け、各々の前記第１目標領域と各々の前記第２目標対象に対応する座席領域とを関連付けることをさらに含む。
ゲームテーブルに対応する座席領域とプレーヤーとが１対１で対応するシーンで、各々の第２目標対象と各々の座席領域とを関連付けることができる。たとえば、ゲームテーブルに、８個の座席領域が対応され、順にナンバー１、ナンバー２、…、ナンバー８の番号を付けることができる。第２目標領域の画像において認識する第２目標対象に対して、各々の第２目標対象の位置および当該８個の座席領域の位置に基づいて、第２目標対象と座席領域の対応関係を確定することができる。１つの第２目標対象がナンバー２の座席領域に対応する場合、当該第２目標対象とナンバー２の座席領域とを関連付けることができ、すなわち当該ゲームテーブルのナンバー２のプレーヤーと関連付けることができる。
本発明の少なくとも１つの実施例は、目標対象認識方法を提供し、前記目標対象認識方法は、端末デバイスまたはサーバなどの電子デバイスによって実行されることができ、端末デバイスは、ユーザデバイス（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイルデバイス、ユーザ端末、端末、セルラー電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルドデバイス、計算デバイス、車載デバイス、ウェアラブルデバイスなどであり得、前記方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出す方式によって実現することができ、具体的な実現方式は、前述した目標対象認識システムを参照すればよく、ここでは繰り返して説明しない。
図４は、本発明の少なくとも１つの実施例によって提供される目標対象認識方法のフローチャートである。図４に示すように、当該方法は、ステップ４０１～４０２を含む。
ステップ４０１において、第１目標領域の画像に基づいて各々の第１目標対象を認識し、第２目標領域の画像に基づいて各々の第２目標対象を認識する。
ここで、前記第１目標領域の画像は、第１画像収集装置によって収集され、前記第２目標領域の画像は、第２画像収集装置によって収集され、前記第２目標領域は、前記第１目標領域の一部または全部を含み、前記第１画像収集装置の解像能力は、前記第２画像収集装置の解像能力よりも高く、前記第２画像収集装置の視界は、前記第１画像収集装置の視界よりも大きい。
ステップ４０２において、前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定する。
ここで、前記各々の第１目標対象は、前記第１目標領域内の各々の目標対象であり、前記第２目標対象は、前記第２目標領域内の各々の目標対象である。
いくつかの実施例において、第１目標対象は、ゲーム物品に関連する目標対象を含み、第２目標対象は、プレーヤーに関連する目標対象を含み、前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定することは、前記第１画像収集装置と前記第２画像収集装置との位置関係に基づいて、前記第１目標対象を前記第２目標領域の画像内にマッピングして、対応する各々のマッピングされる目標対象を得ることと、前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々のマッピングされる目標対象の位置に基づいて、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することと、を含む。
いくつかの実施例において、前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、マッピングされる各々の目標対象の位置に基づいて、前記各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することは、プレーヤーに関連する１つの目標対象と１つの第１目標対象にマッピングされる目標対象との間の距離が第１距離閾値以下である場合、当該第１目標対象と当該プレーヤーに関連する目標対象とが関連されると確定することを含む。
いくつかの実施例において、第１目標対象は、ゲーム物品に関連する目標対象を含み、第２目標対象は、ゲーム物品に関連する目標対象とプレーヤーに関連する目標対象とを含み、前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定することは、前記第１画像収集装置と前記第２画像収集装置との位置関係に基づいて、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係を得ることと、前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象の位置および前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係に基づいて、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することと、を含む。
いくつかの実施例において、前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象の位置および前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係に基づいて、各々の第１目標対象と各々のプレーヤーとの関連関係を確定することは、前記第２目標領域の画像内で、プレーヤーに関連する１つの目標対象と１つのゲーム物品に関連する目標対象との間の距離が第２距離閾値以下である場合、当該プレーヤーに関連する目標対象と当該ゲーム物品に関連する目標対象に対応する第１目標対象とが関連されると確定することを含む。
いくつかの実施例において、前記プレーヤーに関連する目標対象は、顔であり、前記各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することは、各々の第１目標対象と各々の顔との間の関連関係を確定することと、前記第２目標領域の画像内の各々の顔の顔キーポイント情報を得ることと、前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定することと、各々の第１目標対象と各々の顔との間の関連関係、および、各々の顔に対応するプレーヤーの身分情報に基づいて、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付けることと、を含む。
いくつかの実施例において、前記プレーヤーに関連する目標対象は、顔と人体とを含み、前記各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することは、各々の第１目標対象と各々の人体との間の関連関係を確定することと、前記第２目標領域の画像内の各々の顔の顔キーポイント情報を得ることと、前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定することと、前記第２目標領域の画像内の各々の人体の人体キーポイント情報を得ることと、各々の顔の顔キーポイント情報および各々の人体の人体キーポイント情報に基づいて、各人体と関連する顔を確定することと、各々の顔に対応するプレーヤーの身分情報、および、各人体と関連する顔に基づいて、各々の人体に対応するプレーヤーの身分情報をそれぞれ確定することと、各々の第１目標対象と各々の人体との間の関連関係、および、各々の人体に対応するプレーヤーの身分情報に基づいて、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付けることと、を含む。
いくつかの実施例において、前記プレーヤーに関連する目標対象は、顔と手とを含み、前記各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することは、各々の第１目標対象と各々の手との間の関連関係を確定することと、前記第２目標領域の画像内の各々の顔の顔キーポイント情報を得ることと、前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定することと、前記第２目標領域の画像内の各々の顔の位置と各々の手の位置とに基づいて、各顔と関連する手を確定することと、前記第２目標領域の画像内の各々の顔に対応するプレーヤーの身分情報と各顔と関連する手とに基づいて、各々の手に対応するプレーヤーの身分情報をそれぞれ確定することと、各々の第１目標対象と各々の手との間の関連関係、および、各々の手に対応するプレーヤーの身分情報に基づいて、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付けることと、を含む。
いくつかの実施例において、前記第２目標領域の画像内の各々の顔の位置と各々の手の位置とに基づいて、各顔と関連する手を確定することは、前記第２目標領域の画像内で１つの顔の位置と１つの手の位置との間の距離が第３距離閾値以下である場合、当該顔と当該手とが関連されると確定することを含む。
いくつかの実施例において、前記プレーヤーに関連する目標対象は、顔と人体と手とを含み、前記各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することは、各々の第１目標対象と各々の手との間の関連関係を確定することと、前記第２目標領域の画像内の各々の顔の顔キーポイント情報を得ることと、前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定することと、前記第２目標領域の画像内の各々の人体の人体キーポイント情報を得ることと、前記第２目標領域の画像内の各々の手の手キーポイント情報を得ることと、各々の顔の顔キーポイント情報および各々の人体の人体キーポイント情報に基づいて、各人体と関連する顔を確定することと、各々の顔に対応するプレーヤーの身分情報、および、各人体と関連する顔に基づいて、各々の人体に対応するプレーヤーの身分情報を確定することと、各々の人体の人体キーポイント情報と各々の手の手キーポイント情報とに基づいて、各手に関連される人体を確定することと、各々の人体に対応するプレーヤーの身分情報、および、各手と関連する人体に基づいて、各々の手に対応するプレーヤーの身分情報を確定することと、各々の第１目標対象と各々の手との間の関連関係、および、各々の手に対応するプレーヤーの身分情報に基づいて、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付けることと、を含む。
いくつかの実施例において、前記各々の顔の顔キーポイント情報および各々の人体の人体キーポイント情報に基づいて、各人体と関連する顔を確定することは、１つの顔の顔キーポイントが位置する領域と１つの人体の人体キーポイントが位置する領域との間の重畳領域の面積が第１面積閾値以上である場合、当該顔と当該人体とが関連されると確定することを含む。
いくつかの実施例において、前記各々の人体の人体キーポイント情報と各々の手の手キーポイント情報とに基づいて、各手に関連される人体を確定することは、１つの人体の人体キーポイント情報と１つの手の手キーポイント情報との間が所定の条件を満たす場合、当該人体と当該手とが関連されると確定することを含む。
いくつかの実施例において、前記所定の条件は、１つの人体の人体キーポイントが位置する領域と１つの手の手キーポイントが位置する領域との間の重畳領域の面積が第２面積閾値以上であることと、１つの人体の人体キーポイントが位置する領域と１つの手の手キーポイントが位置する領域との間の距離が第４距離閾値以下であることと、１つの人体の人体キーポイント情報の第１繋がり線と１つの手の手キーポイント情報の第２繋がり線との間の夾角が夾角閾値以下であることと、の中の少なくとも一つを含み、ここで、前記第１繋がり線は、当該人体の人体キーポイントの中の肘部キーポイントと手部キーポイントとの間の繋がり線であり、前記第２繋がり線は、当該手に対応する手キーポイント同士の間の繋がり線である。
図５は、本発明の少なくとも１つの実施例によって提供される目標対象認識装置の構成の模式図である。本発明の実施例によって提供される目標対象認識装置の具体的な実施形態は、前述した目標対象認識システムを参照すればよく、ここでは繰り返して説明しない。
図５に示すように、前記装置は、認識ユニット５０１と確定ユニット５０２とを備える。
認識ユニット５０１は、第１目標領域の画像に基づいて各々の第１目標対象を認識し、第２目標領域の画像に基づいて各々の第２目標対象を認識する。ここで、前記第１目標領域の画像は、第１画像収集装置によって収集され、前記第２目標領域の画像は、第２画像収集装置によって収集され、前記第２目標領域は、前記第１目標領域の一部または全部を含み、前記第１画像収集装置の解像能力は、前記第２画像収集装置の解像能力よりも高く、前記第２画像収集装置の視界は、前記第１画像収集装置の視界よりも大きい。確定ユニット５０２は、前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定し、前記各々の第１目標対象は、前記第１目標領域内の各々の目標対象であり、前記第２目標対象は、前記第２目標領域内の各々の目標対象である。
図６は、本発明の少なくとも１つの実施例によって提供される目標対象の認識デバイスの構成の模式図である。前記デバイスは、プロセッサと、プロセッサによって実行できる命令を記憶するためのメモリと、を備え、ここで、前記プロセッサは、前記メモリに記憶されている命令を呼び出して、少なくとも１つの実施例に記載の目標対象認識方法を実行する。
本発明は、コンピュータプログラム命令が記憶されているコンピュータ可読記録媒体をさらに提供し、前記コンピュータプログラム命令がプロセッサによって実行されるときに、少なくとも１つの実施例に記載の目標対象認識方法を実行される。
当業者は、本発明の１つまたは複数の実施例は、方法、システム、または、コンピュータプログラム製品として提供することができることを了解すべきである。したがって、本発明の１つまたは複数の実施例は、完全なハードウェアの実施例、完全なソフトウェアの実施例、または、ソフトウェアとハードウェアを組み合わせる実施例の形態を使用することができる。また、本発明の１つまたは複数の実施例は、コンピュータ利用可能なプログラムコードを含む１つまたは複数のコンピュータ利用可能な記録媒体（ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリなどを含むが、これらに限定されない）上で実施されるコンピュータプログラム製品の形態を使用することができる。
本明細書の実施例は、コンピュータ可読記録媒体をさらに提供し、当該記録媒体にはコンピュータプログラムが記憶されていてもよく、前記プログラムがプロセッサによって実行されるときに、本明細書の任意の実施例で説明した目標対象の認識方法のステップが実現される。ここで、記載された「および／または」は、両者の中の１つを少なくとも有することを意味し、たとえば、「Ａおよび／またはＢ」は、Ａ、Ｂ、および、「ＡとＢ」のような３つの場合を含む。
本発明の各実施例は、いずれも、漸進的な方式を使用して叙述され、各実施例同士の間の同一または類似な部分は互いに参照することができ、各々の実施例では他の実施例との異なるところに焦点を合わせて説明した。特に、データ処理デバイスの実施例の場合、基本的に方法の実施例と類似であるため、相対的に簡単に叙述したが、関連するところは方法の実施例の部分の説明を参照すればよい。
上記で本発明の特定の実施例を叙述した。他の実施例は、添付する「特許請求の範囲」の範囲内にいる。いくつかの場合、特許請求の範囲に記載の行為またはステップは、実施例と異なる順序に従って実行されることができ、このときにも依然として期待する結果が実現されることができる。また、図面で描かれた過程は、期待する結果するために、必ずとしても、示された特定の順序または連続的な順序を必要としない。いくつかの実施形態において、マルチタスク処理および並列処理も可能であるか、または、有利であり得る。
本発明の主題および機能操作の実施例は、デジタル電子回路、有形コンピュータソフトウェアまたはファームウェア、本発明に開示される構成およびその構造的同等物を含むコンピュータハードウェア、または、それらの１つまたは複数の組み合わせで、実現されることができる。本発明の主題の実施例は、１つまたは複数のコンピュータプログラムとして実現されることができ、すなわち、有形の非一時的プログラムキャリア上に符号化されて、データ処理装置によって実行されるか、または、データ処理装置の操作を制御するための、コンピュータプログラム命令中の１つまたは複数のモジュールとして実現されることができる。代替的または追加的に、プログラム命令は、手動で生成される伝播信号上に符号化されることができ、例えば、機械によって生成される電気的、光学的、または電磁的信号に符号化されることができる。当該信号は、情報を符号化して適切な受信機装置に伝送して、データ処理装置によって実行されるようにするために、生成される。コンピュータ記録媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムにまたはシリアルアクセスメモリデバイス、または、それらの１つまたは複数の組み合わせであり得る。
本発明の処理と論理フローは、１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラム可能なコンピュータによって実行されることができ、入力データに基づいて操作を実行して出力を生成することによって該当する機能を実行する。前記処理と論理フローは、さらに、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（専用集積回路）などの専用論理回路によって実行されることができ、また、装置も専用論理回路として実現されることができる。
コンピュータプログラムの実行に適したコンピュータは、例えば、汎用、および／または、専用マイクロプロセッサ、または、いかなる他の種類の中央処理ユニットを含む。一般的に、中央処理ユニットは、読み取り専用メモリ、および／または、ランダムアクセスメモリから、命令とデータを受信することになる。コンピュータの基本コンポーネントは、命令を実施または実行するための中央処理ユニット、および、命令とデータを記憶するための１つまたは複数のメモリデバイスを含む。一般的に、コンピュータは、磁気ディスク、磁気光学ディスク、または、光ディスクなどの、データを記憶するための１つまたは複数の大容量記憶デバイスをさらに含むか、または、操作可能に当該大容量記憶デバイスと結合されてデータを受信するかまたはデータを伝送するか、または、その両方を兼有する。しかしながら、コンピュータは、必ずとして、このようなデバイスを有するわけではない。なお、コンピュータは、もう１デバイスに埋め込まれることができ、例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、モバイルオーディオまたはビデオおプレーヤー、ゲームコンソール、グローバルポジショニングシステム（ＧＰＳ）レジーバー、または、汎用シリアルバス（ＵＳＢ）フラッシュドライブなどのポータブル記憶デバイスに埋め込まれることができ、これらデバイスはいくつかの例に過ぎない。
コンピュータプログラム命令とデータの記憶に適したコンピュータ可読媒体は、すべての形態の不揮発性メモリ、媒介、および、メモリデバイスを含み、例えば、半導体メモリデバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、および、フラッシュデバイス）、磁気ディスク（例えば、内部ハードディスクまたは移動可能ディスク）、磁気光学ディスク、および、ＣＤ ＲＯＭ、および、ＤＶＤ－ＲＯＭディスクを含む。プロセッサとメモリは、専用論理回路によって補完されるかまたは専用論理回路に組み込まれることができる。
本発明は、多くの具体的な実施の細部を含むが、これらを本発明の範囲または保護しようとする範囲を限定するものとして解釈すべきではなく、主に本発明のいくつかの実施例の特徴を叙述するために使用される。本発明の複数の実施例中の特定の特徴は、単一の実施例に組み合わせて実施されることもできる。他方、単一の実施例中の各種の特徴は、複数の実施例で別々に実施されるかまたはいかなる適切なサブ組み合わせで実施されることもできる。なお、特徴が上記のように特定の組み合わせで役割を果たし、また最初からこのように保護すると主張したが、保護すると主張した組み合わせからの１つまたは複数の特徴は、場合によって当該組み合わせから除外されることができ、また保護すると主張した組み合わせはサブ組み合わせまたはサブ組み合わせの変形に向けることができる。
類似的に、図面で特定の順序に従って操作を描いたが、これはこれら操作を示した特定の順序にしたがって実行するように要求するかまたは順次に実行するように要求するか、または、例示したすべての操作が実行されることによって期待する結果が実現されると要求することであると理解すべきではない。場合によっては、マルチタスクおよび並列処理が有利である可能性がある。なお、上記の実施例中の各種のシステムモジュールとコンポーネントの分離は、すべての実施例でいずれもこのように分離されなければならないと理解すべきではないし、また、叙述したプログラムコンポーネントとシステムは、一般的に、一緒に単一のソフトウェア製品に統合されるか、または、複数のソフトウェア製品にパッケージされることができることを理解すべきである。
したがって、主題の特定の実施例がすでに叙述された。他の実施例は、添付する「特許請求の範囲」の範囲内にある。場合によっては、特許請求の範囲に記載されている動作は、異なる順序によって実行されても、依然として期待する結果が実現されることができる。なお、図面で描かれた処理は、期待する結果を実現するために、必ずとして、示された特定の順序または順次を必要としない。一部の実現において、マルチタスクおよび並列処理が有利である可能性がある。
上記は、本明細書の１つまたは複数の実施例のより好ましい実施例に過ぎず、本明細書の１つまたは複数の実施例を限定するために使用されるものではない。本明細書の１つまたは複数の実施例の精神と原則の範囲内で行われたいかなる修正、同等の置換、改良などは、いずれも、本明細書の１つまたは複数の実施例が保護する範囲に含まれるべきである。

Claims (20)

  1. 目標対象認識システムであって、
    第１画像収集装置と、第２画像収集装置と、プロセッサと、を備え、
    前記第１画像収集装置は、第１目標領域の画像を収集し、前記第２画像収集装置は、第２目標領域の画像を同期的に収集し、前記第２目標領域は、前記第１目標領域の一部または全部を含み、前記第１画像収集装置の解像能力は、前記第２画像収集装置の解像能力よりも高く、前記第２画像収集装置の視界は、前記第１画像収集装置の視界よりも大きいし、
    前記プロセッサは、前記第１目標領域の画像に基づいて各々の第１目標対象を認識し、前記第２目標領域の画像に基づいて各々の第２目標対象を認識し、前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定し、
    前記各々の第１目標対象は、前記第１目標領域内の各々の目標対象であり、前記第２目標対象は、前記第２目標領域内の各々の目標対象であり、前記第１目標領域の画像は、前記第１目標対象を含む前記第１目標領域における重点領域範囲の画像であり、前記第２目標領域の画像は、前記第２目標対象を含む前記第２目標領域のグローバル範囲の画像であり、前記第１目標対象と前記第２目標対象とは異なり、
    前記第２目標対象は、人体と手とを含み、１つの人体の人体キーポイント情報と１つの手の手キーポイント情報との間が所定の条件を満たす場合、当該人体と当該手とが関連されると確定し、
    前記所定の条件は、１つの人体の人体キーポイント情報の第１繋がり線と１つの手の手キーポイント情報の第２繋がり線との間の夾角が夾角閾値以下であること、を含み、
    ここで、前記第１繋がり線は、当該人体の人体キーポイントの中の肘部キーポイントと手部キーポイントとの間の繋がり線であり、前記第２繋がり線は、当該手に対応する手キーポイント同士の間の繋がり線である
    ことを特徴とする目標対象認識システム。
  2. 第１目標対象は、ゲーム物品に関連する目標対象を含み、第２目標対象は、プレーヤーに関連する目標対象を含み、
    前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定することは、
    前記第１画像収集装置と前記第２画像収集装置との位置関係に基づいて、前記第１目標対象を前記第２目標領域の画像内にマッピングして、対応する各々のマッピングされる目標対象を得ること、
    前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々のマッピングされる目標対象の位置に基づいて、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定すること、を含む
    ことを特徴とする請求項１に記載の目標対象認識システム。
  3. 前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、マッピングされる各々の目標対象の位置に基づいて、前記各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することは、
    プレーヤーに関連する１つの目標対象と１つの第１目標対象にマッピングされる目標対象との間の距離が第１距離閾値以下である場合、当該第１目標対象と当該プレーヤーに関連する目標対象とが関連されると確定することを含む
    ことを特徴とする請求項２に記載の目標対象認識システム。
  4. 第１目標対象は、ゲーム物品に関連する目標対象を含み、第２目標対象は、ゲーム物品に関連する目標対象とプレーヤーに関連する目標対象とを含み、前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定することは、
    前記第１画像収集装置と前記第２画像収集装置との位置関係に基づいて、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係を得ること、
    前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象の位置および前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係に基づいて、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定すること、を含む
    ことを特徴とする請求項１に記載の目標対象認識システム。
  5. 前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象の位置および前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係に基づいて、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することは、
    前記第２目標領域の画像内で、プレーヤーに関連する１つの目標対象と１つのゲーム物品に関連する目標対象との間の距離が第２距離閾値以下である場合、当該プレーヤーに関連する目標対象と当該ゲーム物品に関連する目標対象に対応する第１目標対象とが関連されると確定することを含む
    ことを特徴とする請求項４に記載の目標対象認識システム。
  6. 前記プレーヤーに関連する目標対象は、顔を含み、
    前記プロセッサは、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定するときに、各々の第１目標対象と各々の顔との間の関連関係を確定し、
    前記プロセッサは、さらに、
    前記第２目標領域の画像内の各々の顔の顔キーポイント情報を得、
    前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定し、各々の第１目標対象と各々の顔との間の関連関係、および、各々の顔に対応するプレーヤーの身分情報に基づいて、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付ける
    ことを特徴とする請求項２乃至５の中のいずれか１項に記載の目標対象認識システム。
  7. 前記プレーヤーに関連する目標対象は、顔と人体とを含み、
    前記プロセッサは、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定するときに、各々の第１目標対象と各々の人体との間の関連関係を確定し、
    前記プロセッサは、さらに、
    前記第２目標領域の画像内の各々の顔の顔キーポイント情報を得、
    前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定し、
    前記第２目標領域の画像内の各々の人体の人体キーポイント情報を得、
    各々の顔の顔キーポイント情報および各々の人体の人体キーポイント情報に基づいて、各人体と関連する顔を確定し、
    各々の顔に対応するプレーヤーの身分情報、および、各人体と関連する顔に基づいて、各々の人体に対応するプレーヤーの身分情報をそれぞれ確定し、
    各々の第１目標対象と各々の人体との間の関連関係、および、各々の人体に対応するプレーヤーの身分情報に基づいて、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付ける
    ことを特徴とする請求項２乃至５の中のいずれか１項に記載の目標対象認識システム。
  8. 前記プレーヤーに関連する目標対象は、顔と手とを含み、
    前記プロセッサは、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定するときに、各々の第１目標対象と各々の手との間の関連関係を確定し、
    前記プロセッサは、さらに、
    前記第２目標領域の画像内の各々の顔の顔キーポイント情報を得、
    前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定し、
    前記第２目標領域の画像内の各々の顔の位置と各々の手の位置とに基づいて、各顔と関連する手を確定し、
    前記第２目標領域の画像内の各々の顔に対応するプレーヤーの身分情報と各顔と関連する手とに基づいて、各々の手に対応するプレーヤーの身分情報をそれぞれ確定し、
    各々の第１目標対象と各々の手との間の関連関係、および、各々の手に対応するプレーヤーの身分情報に基づいて、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付ける
    ことを特徴とする請求項２乃至５の中のいずれか１項に記載の目標対象認識システム。
  9. 前記第２目標領域の画像内の各々の顔の位置と各々の手の位置とに基づいて、各顔と関連する手を確定することは、
    前記第２目標領域の画像内で１つの顔の位置と１つの手の位置との間の距離が第３距離閾値以下である場合、当該顔と当該手とが関連されると確定する
    ことを特徴とする請求項８に記載の目標対象認識システム。
  10. 前記プレーヤーに関連する目標対象は、顔と人体と手とを含み、
    前記プロセッサは、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定するときに、各々の第１目標対象と各々の手との間の関連関係を確定し、
    前記プロセッサは、さらに、
    前記第２目標領域の画像内の各々の顔の顔キーポイント情報を得、
    前記顔キーポイント情報に基づいて、各々の顔に対応するプレーヤーの身分情報を確定し、
    前記第２目標領域の画像内の各々の人体の人体キーポイント情報を得、
    前記第２目標領域の画像内の各々の手の手キーポイント情報を得、
    各々の顔の顔キーポイント情報および各々の人体の人体キーポイント情報に基づいて、各人体と関連する顔を確定し、
    各々の顔に対応するプレーヤーの身分情報、および、各人体と関連する顔に基づいて、各々の人体に対応するプレーヤーの身分情報を確定し、
    各々の人体の人体キーポイント情報と各々の手の手キーポイント情報とに基づいて、各手と関連する人体を確定し、
    各々の人体に対応するプレーヤーの身分情報、および、各手と関連する人体に基づいて、各々の手に対応するプレーヤーの身分情報を確定し、
    各々の第１目標対象と各々の手との間の関連関係、および、各々の手に対応するプレーヤーの身分情報に基づいて、各々の第１目標対象と各々のプレーヤーの身分情報とを関連付ける
    ことを特徴とする請求項２乃至５の中のいずれか１項に記載の目標対象認識システム。
  11. 前記各々の顔の顔キーポイント情報および各々の人体の人体キーポイント情報に基づいて、各人体と関連する顔を確定することは、
    １つの顔の顔キーポイントが位置する領域と１つの人体の人体キーポイントが位置する領域との間の重畳領域の面積が第１面積閾値以上である場合、当該顔と当該人体とが関連されると確定することを含む
    ことを特徴とする請求項７または１０に記載の目標対象認識システム。
  12. 前記各々の人体の人体キーポイント情報と各々の手の手キーポイント情報とに基づいて、各手に関連される人体を確定することは、
    １つの人体の人体キーポイント情報と１つの手の手キーポイント情報との間が所定の条件を満たす場合、当該人体と当該手とが関連されると確定することを含み、
    前記所定の条件は、
    １つの人体の人体キーポイントが位置する領域と１つの手の手キーポイントが位置する領域との間の重畳領域の面積が第２面積閾値以上であること、
    １つの人体の人体キーポイントが位置する領域と１つの手の手キーポイントが位置する領域との間の距離が第４距離閾値以下であること、の中の少なくとも一つを含む、
    ことを特徴とする請求項１０または１１に記載の目標対象認識システム。
  13. 目標対象認識方法であって、
    第１目標領域の画像に基づいて各々の第１目標対象を認識し、第２目標領域の画像に基づいて各々の第２目標対象を認識することであって、前記第１目標領域の画像は、第１画像収集装置によって収集され、前記第２目標領域の画像は、第２画像収集装置によって収集され、前記第２目標領域は、前記第１目標領域の一部または全部を含み、前記第１画像収集装置の解像能力は、前記第２画像収集装置の解像能力よりも高く、前記第２画像収集装置の視界は、前記第１画像収集装置の視界よりも大きいことと、
    前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定することであって、前記各々の第１目標対象は、前記第１目標領域内の各々の目標対象であり、前記第２目標対象は、前記第２目標領域内の各々の目標対象であることと、を含み、
    前記第１目標領域の画像は、前記第１目標対象を含む前記第１目標領域における重点領域範囲の画像であり、前記第２目標領域の画像は、前記第２目標対象を含む前記第２目標領域のグローバル範囲の画像であり、前記第１目標対象と前記第２目標対象とは異なり、
    前記第２目標対象は、人体と手とを含み、１つの人体の人体キーポイント情報と１つの手の手キーポイント情報との間が所定の条件を満たす場合、当該人体と当該手とが関連されると確定し、
    前記所定の条件は、１つの人体の人体キーポイント情報の第１繋がり線と１つの手の手キーポイント情報の第２繋がり線との間の夾角が夾角閾値以下であること、を含み、
    ここで、前記第１繋がり線は、当該人体の人体キーポイントの中の肘部キーポイントと手部キーポイントとの間の繋がり線であり、前記第２繋がり線は、当該手に対応する手キーポイント同士の間の繋がり線である
    ことを特徴とする目標対象認識方法。
  14. 第１目標対象は、ゲーム物品に関連する目標対象を含み、第２目標対象は、プレーヤーに関連する目標対象を含み、
    前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定することは、
    前記第１画像収集装置と前記第２画像収集装置との位置関係に基づいて、前記第１目標対象を前記第２目標領域の画像内にマッピングして、対応する各々のマッピングされる目標対象を得ることと、
    前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々のマッピングされる目標対象の位置に基づいて、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することと、を含む
    ことを特徴とする請求項１３に記載の目標対象認識方法。
  15. 前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、マッピングされる各々の目標対象の位置に基づいて、前記各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することは、
    プレーヤーに関連する１つの目標対象と１つの第１目標対象にマッピングされる目標対象との間の距離が第１距離閾値以下である場合、当該第１目標対象と当該プレーヤーに関連する目標対象とが関連されると確定することを含む
    ことを特徴とする請求項１４に記載の目標対象認識方法。
  16. 第１目標対象は、ゲーム物品に関連する目標対象を含み、第２目標対象は、ゲーム物品に関連する目標対象とプレーヤーに関連する目標対象とを含み、
    前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定することは、
    前記第１画像収集装置と前記第２画像収集装置との位置関係に基づいて、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係を得ることと、
    前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象の位置および前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係に基づいて、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することと、を含む
    ことを特徴とする請求項１３に記載の目標対象認識方法。
  17. 前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象の位置および前記第２目標領域の画像内の各々のプレーヤーに関連する目標対象の位置、および、各々の第１目標対象と前記第２目標領域の画像内の各々のゲーム物品に関連する目標対象との対応関係に基づいて、各々の第１目標対象と各々のプレーヤーに関連する目標対象との間の関連関係を確定することは、
    前記第２目標領域の画像内で、プレーヤーに関連する１つの目標対象と１つのゲーム物品に関連する目標対象との間の距離が第２距離閾値以下である場合、当該プレーヤーに関連する目標対象と当該ゲーム物品に関連する目標対象に対応する第１目標対象とが関連されると確定することを含む
    ことを特徴とする請求項１６に記載の目標対象認識方法。
  18. 目標対象認識装置であって、
    第１目標領域の画像に基づいて各々の第１目標対象を認識し、第２目標領域の画像に基づいて各々の第２目標対象を認識するための認識ユニットであって、前記第１目標領域の画像は、第１画像収集装置によって収集され、前記第２目標領域の画像は、第２画像収集装置によって収集され、前記第２目標領域は、前記第１目標領域の一部または全部を含み、前記第１画像収集装置の解像能力は、前記第２画像収集装置の解像能力よりも高く、前記第２画像収集装置の視界は、前記第１画像収集装置の視界よりも大きい認識ユニットと、
    前記第１目標領域の画像内の各々の第１目標対象と、同期的に収集した第２目標領域の画像内の各々の第２目標対象と、の間の関連関係を確定するための確定ユニットであって、前記各々の第１目標対象は、前記第１目標領域内の各々の目標対象であり、前記第２目標対象は、前記第２目標領域内の各々の目標対象である確定ユニットと、を備え、
    前記第１目標領域の画像は、前記第１目標対象を含む前記第１目標領域における重点領域範囲の画像であり、前記第２目標領域の画像は、前記第２目標対象を含む前記第２目標領域のグローバル範囲の画像であり、前記第１目標対象と前記第２目標対象とは異なり、
    前記第２目標対象は、人体と手とを含み、１つの人体の人体キーポイント情報と１つの手の手キーポイント情報との間が所定の条件を満たす場合、当該人体と当該手とが関連されると確定し、
    前記所定の条件は、１つの人体の人体キーポイント情報の第１繋がり線と１つの手の手キーポイント情報の第２繋がり線との間の夾角が夾角閾値以下であること、を含み、
    ここで、前記第１繋がり線は、当該人体の人体キーポイントの中の肘部キーポイントと手部キーポイントとの間の繋がり線であり、前記第２繋がり線は、当該手に対応する手キーポイント同士の間の繋がり線である
    ことを特徴とする目標対象認識装置。
  19. 電子デバイスであって、
    プロセッサと、
    プロセッサによって実行できる命令を記憶するためのメモリと、を備え、
    ここで、前記プロセッサは、前記メモリに記憶されている命令を呼び出して、請求項１３乃至１７の中のいずれか１項に記載の方法を実行するように構成される
    ことを特徴とする電子デバイス。
  20. コンピュータプログラム命令が記憶されているコンピュータ可読記録媒体であって、
    前記コンピュータプログラム命令がプロセッサによって実行されるときに、請求項１３乃至１７の中のいずれか１項に記載の方法が実現される
    ことを特徴とするコンピュータ可読記録媒体。
JP2021518958A 2019-12-23 2020-03-12 目標対象認識システム、方法、装置、電子デバイス、及び記録媒体 Active JP7261296B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10201913024Q 2019-12-23
SG10201913024QA SG10201913024QA (en) 2019-12-23 2019-12-23 Target Object Identification System, Method And Apparatus, Electronic Device And Storage Medium
PCT/IB2020/052192 WO2021130546A1 (en) 2019-12-23 2020-03-12 Target object identification system, method and apparatus, electronic device and storage medium

Publications (2)

Publication Number Publication Date
JP2022521873A JP2022521873A (ja) 2022-04-13
JP7261296B2 true JP7261296B2 (ja) 2023-04-19

Family

ID=73034390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021518958A Active JP7261296B2 (ja) 2019-12-23 2020-03-12 目標対象認識システム、方法、装置、電子デバイス、及び記録媒体

Country Status (6)

Country Link
US (1) US11468682B2 (ja)
JP (1) JP7261296B2 (ja)
KR (1) KR20210084449A (ja)
AU (1) AU2020294277A1 (ja)
SG (1) SG10201913024QA (ja)
WO (1) WO2021130546A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115885324A (zh) * 2020-03-30 2023-03-31 Sg游戏公司 游戏环境跟踪优化
KR20220130568A (ko) * 2021-03-17 2022-09-27 센스타임 인터내셔널 피티이. 리미티드. 객체들 사이의 상관성을 예측하기 위한 방법들, 장치들, 디바이스들, 및 저장 매체
CN113557546B (zh) * 2021-03-17 2024-04-09 商汤国际私人有限公司 图像中关联对象的检测方法、装置、设备和存储介质
WO2022195338A1 (en) * 2021-03-17 2022-09-22 Sensetime International Pte. Ltd. Methods, apparatuses, devices and storage media for detecting correlated objects involved in image
WO2022195336A1 (en) * 2021-03-17 2022-09-22 Sensetime International Pte. Ltd. Methods, apparatuses, devices and storage medium for predicting correlation between objects
WO2022096957A1 (en) * 2021-06-22 2022-05-12 Sensetime International Pte. Ltd. Body and hand association method and apparatus, device, and storage medium
JP2023504319A (ja) 2021-06-22 2023-02-03 センスタイム インターナショナル ピーティーイー．リミテッド 人体と人手を関連付ける方法、装置、機器及び記憶媒体
WO2023047158A1 (en) * 2021-09-22 2023-03-30 Sensetime International Pte. Ltd. Method and apparatus for detecting human body around game table, electronic device and storage medium
CN115984836B (zh) * 2023-03-20 2023-06-30 山东杨嘉汽车制造有限公司 一种铁路油罐车罐口识别定位方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134375A (ja) 2001-10-26 2003-05-09 Matsushita Electric Works Ltd 画像撮影システム
JP2007036756A (ja) 2005-07-27 2007-02-08 Kazuo Iwane 視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステム
JP2010244089A (ja) 2009-03-31 2010-10-28 Sogo Keibi Hosho Co Ltd 人物検出装置、人物検出方法、及び人物検出プログラム
JP2012018593A (ja) 2010-07-09 2012-01-26 Omron Corp 情報処理装置および方法、並びにプログラム
JP2016111578A (ja) 2014-12-09 2016-06-20 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
WO2017022767A1 (ja) 2015-08-03 2017-02-09 エンゼルプレイングカード株式会社 遊技用代用貨幣、検査装置、遊技用代用貨幣の製造方法、及びテーブルゲームの管理システム
JP2017505661A (ja) 2014-01-17 2017-02-23 エンゼルプレイングカード株式会社 カードゲーム監視システム
JP2017117030A (ja) 2015-12-22 2017-06-29 キヤノン株式会社 画像処理装置
WO2018025622A1 (ja) 2016-08-02 2018-02-08 エンゼルプレイングカード株式会社 検査システム及び管理システム
JP2018042270A (ja) 2017-10-26 2018-03-15 パナソニックＩｐマネジメント株式会社 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法
WO2019111593A1 (ja) 2017-12-05 2019-06-13 エンゼルプレイングカード株式会社 管理システム
JP2019096119A (ja) 2017-11-24 2019-06-20 富士通株式会社 手認識方法、手認識プログラムおよび手認識装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222675B1 (en) 1998-12-01 2001-04-24 Kaiser Electro-Optics, Inc. Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views
US6460848B1 (en) * 1999-04-21 2002-10-08 Mindplay Llc Method and apparatus for monitoring casinos and gaming
WO2003060846A2 (en) 2001-12-21 2003-07-24 Cias, Inc. Combination casino table game imaging system for automatically recognizing the faces of players -- as well as terrorists and other undesirables -- and for recognizing wagered gaming chips
WO2004112923A1 (en) * 2003-06-26 2004-12-29 Tangam Gaming Technology Inc. System, apparatus and method for automatically tracking a table game
US7901285B2 (en) * 2004-05-07 2011-03-08 Image Fidelity, LLC Automated game monitoring
AU2008200926B2 (en) * 2008-02-28 2011-09-29 Canon Kabushiki Kaisha On-camera summarisation of object relationships
US9189918B1 (en) * 2011-05-17 2015-11-17 Bally Gaming, Inc. Camera for player authentication and monitoring of wagering game tables
US10268983B2 (en) 2013-06-26 2019-04-23 Amazon Technologies, Inc. Detecting item interaction and movement
US10410066B2 (en) * 2015-05-29 2019-09-10 Arb Labs Inc. Systems, methods and devices for monitoring betting activities
EP3353711A1 (en) * 2015-09-23 2018-08-01 Datalogic USA, Inc. Imaging systems and methods for tracking objects
DE102016108969A1 (de) * 2016-05-13 2017-11-16 Dallmeier Electronic Gmbh & Co. Kg System und Verfahren zur Erfassung und Analyse von Videodaten betreffend den Spielverlauf auf einem Glückspieltisch in Kasinos
SG10202100620VA (en) * 2016-05-16 2021-03-30 Sensen Networks Group Pty Ltd System and method for automated table game activity recognition
KR20230092034A (ko) 2017-01-24 2023-06-23 엔제루 구루푸 가부시키가이샤 칩 인식 시스템
US11284041B1 (en) * 2017-12-13 2022-03-22 Amazon Technologies, Inc. Associating items with actors based on digital imagery
WO2020147792A1 (zh) * 2019-01-16 2020-07-23 杭州海康威视数字技术股份有限公司 一种视频显示方法、装置、系统及摄像机
US11183012B2 (en) * 2019-08-19 2021-11-23 Sg Gaming, Inc. Systems and methods of automated linking of players and gaming tokens

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134375A (ja) 2001-10-26 2003-05-09 Matsushita Electric Works Ltd 画像撮影システム
JP2007036756A (ja) 2005-07-27 2007-02-08 Kazuo Iwane 視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステム
JP2010244089A (ja) 2009-03-31 2010-10-28 Sogo Keibi Hosho Co Ltd 人物検出装置、人物検出方法、及び人物検出プログラム
JP2012018593A (ja) 2010-07-09 2012-01-26 Omron Corp 情報処理装置および方法、並びにプログラム
JP2017505661A (ja) 2014-01-17 2017-02-23 エンゼルプレイングカード株式会社 カードゲーム監視システム
JP2016111578A (ja) 2014-12-09 2016-06-20 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
JP2018069037A (ja) 2015-08-03 2018-05-10 エンゼルプレイングカード株式会社 遊技用代用貨幣、検査装置、遊技用代用貨幣の製造方法、及びテーブルゲームの管理システム
JP2018032403A (ja) 2015-08-03 2018-03-01 エンゼルプレイングカード株式会社 遊技用代用貨幣、検査装置、遊技用代用貨幣の製造方法、及びテーブルゲームの管理システム
WO2017022767A1 (ja) 2015-08-03 2017-02-09 エンゼルプレイングカード株式会社 遊技用代用貨幣、検査装置、遊技用代用貨幣の製造方法、及びテーブルゲームの管理システム
JP2018079311A (ja) 2015-08-03 2018-05-24 エンゼルプレイングカード株式会社 遊技用代用貨幣、検査装置、遊技用代用貨幣の製造方法、及びテーブルゲームの管理システム
JP2019111353A (ja) 2015-08-03 2019-07-11 エンゼルプレイングカード株式会社 遊技用代用貨幣、検査装置、遊技用代用貨幣の製造方法、及びテーブルゲームの管理システム
JP2019188175A (ja) 2015-08-03 2019-10-31 エンゼルプレイングカード株式会社 遊技用代用貨幣、検査装置、遊技用代用貨幣の製造方法、及びテーブルゲームの管理システム
JP2017117030A (ja) 2015-12-22 2017-06-29 キヤノン株式会社 画像処理装置
WO2018025622A1 (ja) 2016-08-02 2018-02-08 エンゼルプレイングカード株式会社 検査システム及び管理システム
WO2018025885A1 (ja) 2016-08-02 2018-02-08 エンゼルプレイングカード株式会社 遊技用代用貨幣の管理システム
JP2018042270A (ja) 2017-10-26 2018-03-15 パナソニックＩｐマネジメント株式会社 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法
JP2019096119A (ja) 2017-11-24 2019-06-20 富士通株式会社 手認識方法、手認識プログラムおよび手認識装置
WO2019111593A1 (ja) 2017-12-05 2019-06-13 エンゼルプレイングカード株式会社 管理システム
JP2019098155A (ja) 2017-12-05 2019-06-24 エンゼルプレイングカード株式会社 管理システム

Also Published As

Publication number Publication date
WO2021130546A1 (en) 2021-07-01
AU2020294277A1 (en) 2021-07-08
US11468682B2 (en) 2022-10-11
US20210312187A1 (en) 2021-10-07
JP2022521873A (ja) 2022-04-13
KR20210084449A (ko) 2021-07-07
SG10201913024QA (en) 2020-10-29

Similar Documents

Publication Publication Date Title
JP7261296B2 (ja) 目標対象認識システム、方法、装置、電子デバイス、及び記録媒体
CN103607537B (zh) 相机的控制方法及相机
Fan et al. Identifying first-person camera wearers in third-person videos
Martinel et al. Re-identify people in wide area camera network
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
CN107438173A (zh) 视频处理装置、视频处理方法和存储介质
US20110128362A1 (en) Dual-camera face recognition device and method
CN110503023A (zh) 活体检测方法及装置、电子设备和存储介质
CN101543409A (zh) 远距离虹膜识别装置
CN109002796B (zh) 一种图像采集方法、装置和系统以及电子设备
CN110418114A (zh) 一种对象跟踪方法、装置、电子设备及存储介质
US20090174798A1 (en) Exif object coordinates
CN110796100A (zh) 步态识别方法、装置、终端及存储装置
JP2023511239A (ja) 操作イベント認識方法、及び装置
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
CN109697444A (zh) 基于深度图像的对象识别方法及装置、设备、存储介质
CN113424522A (zh) 使用半球形或球形可见光深度图像进行三维跟踪
US11307668B2 (en) Gesture recognition method and apparatus, electronic device, and storage medium
Benlamoudi Multi-modal and anti-spoofing person identification
CN111652110A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN112711964A (zh) 一种人脸追踪监控系统和方法
TW201804786A (zh) 路跑活動的拍照系統及其操作方法
CN114374903B (zh) 拾音方法和拾音装置
Han et al. Connecting the complementary-view videos: joint camera identification and subject association
Galdi et al. Combining hardwaremetry and biometry for human authentication via smartphones

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230407

R150 Certificate of patent or registration of utility model

Ref document number: 7261296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150