KR102387495B1 - 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체 - Google Patents
이미지 처리 방법 및 장치, 전자 기기 및 기억 매체 Download PDFInfo
- Publication number
- KR102387495B1 KR102387495B1 KR1020207012788A KR20207012788A KR102387495B1 KR 102387495 B1 KR102387495 B1 KR 102387495B1 KR 1020207012788 A KR1020207012788 A KR 1020207012788A KR 20207012788 A KR20207012788 A KR 20207012788A KR 102387495 B1 KR102387495 B1 KR 102387495B1
- Authority
- KR
- South Korea
- Prior art keywords
- region
- area
- target
- specifying
- face
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title abstract description 17
- 210000000746 body region Anatomy 0.000 claims description 217
- 238000000034 method Methods 0.000 claims description 76
- 238000012545 processing Methods 0.000 claims description 35
- 230000001815 facial effect Effects 0.000 claims description 33
- 230000006399 behavior Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 23
- 238000000605 extraction Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 102000020856 Copper Transport Proteins Human genes 0.000 description 1
- 108091004554 Copper Transport Proteins Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/34—Betting or bookmaking, e.g. Internet betting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
- G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
- G07F17/3202—Hardware aspects of a gaming system, e.g. components, construction, architecture thereof
- G07F17/3204—Player-machine interfaces
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
- G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
- G07F17/3225—Data transfer within a gaming system, e.g. data sent between gaming machines and users
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
- G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
- G07F17/3225—Data transfer within a gaming system, e.g. data sent between gaming machines and users
- G07F17/3232—Data transfer within a gaming system, e.g. data sent between gaming machines and users wherein the operator is informed
- G07F17/3237—Data transfer within a gaming system, e.g. data sent between gaming machines and users wherein the operator is informed about the players, e.g. profiling, responsible gaming, strategy/behavior of players, location of players
- G07F17/3239—Tracking of individual players
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Tourism & Hospitality (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 적어도 사람의 구체의 일부 및 유희대 상의 일부 이미지를 포함하는 피처리 이미지를 검출하여, 사람에 관한 목표 영역과 유희에 관한 목표 영역을 포함하는 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하는 것과, 상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득하는 것과, 각 목표 영역의 위치 및/또는 인식 결과에 의해 각 목표 영역간의 관련 정보를 특정하는 것을 포함하는 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체에 관한 것으로, 본 발명의 실시예는 목표의 자동적인 인식, 연동을 실현할 수 있다.
Description
본원은 2019년 12월 30일에 출원된 발명의 명칭 「이미지 처리 방법 및 장치, 전자 기기 및 기억 매체」의 싱가포르 특허출원 제10201913763W호의 우선권을 주장하고, 그 개시 전체가 참조에 의해 본원에 포함된다.
본 발명은 컴퓨터 기술에 관한 것으로, 특히 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체에 관한 것이다.
최근, 인공 지능 기술의 개발이 진행됨에 따라, 인공 지능 기술은 컴퓨터 비전, 음성 인식 등의 면에서 전부 바람직한 효과를 이루고 있다. 상대적으로 특별한 장면(예를 들면, 테이블 게임 장면)에서 중복적이고 기술 레벨이 낮은 조작이 많이 존재한다. 예를 들면, 종업원(從業員, staffs)에 의해 유희자(遊戱者, players)의 판돈을 육안으로 식별하고, 유희자의 승부 상황을 수동으로 통계하는 등의 경우가 있어, 효율이 낮고 또한 실수가 일어나기 쉽다.
본 발명은 이미지 처리에 관한 기술적 해결 수단을 제공한다.
본 발명의 일방면에 의하면, 적어도 사람의 구체의 일부 및 유희대 상의 일부 이미지를 포함하는 피처리 이미지를 검출하여, 사람에 관한 목표 영역과 유희에 관한 목표 영역을 포함하는 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하는 것과, 상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득하는 것과, 각 목표 영역의 위치 및/또는 인식 결과에 의해 각 목표 영역간의 관련 정보를 특정하는 것을 포함하는 이미지 처리 방법을 제공한다.
가능한 일 실시형태에서는, 각 목표 영역간의 관련 정보를 특정한 후에, 각 목표 영역간의 관련 정보에 의해 상기 피처리 이미지에서의 사람의 행동이 미리 설정된 행동 규칙에 해당하는지 여부를 판단하는 것과, 상기 피처리 이미지에서의 사람의 행동이 미리 설정된 행동 규칙에 해당하지 않는 경우에 제1 제시 정보를 제시하는 것을 추가로 포함한다.
가능한 일 실시형태에서는, 상기 사람에 관한 목표 영역은 얼굴 영역을 포함하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함하고,
피처리 이미지를 검출하여, 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하는 것은, 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역과 피교환물 영역을 특정하는 것을 포함하고,
상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득하는 것은, 상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하는 것과, 상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하는 것을 포함하고,
각 목표 영역의 위치 및/또는 인식 결과에 의해 각 목표 영역간의 관련 정보를 특정하는 것은,
각 얼굴 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 얼굴 영역을 특정하는 것과, 각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하는 것을 포함한다.
가능한 일 실시형태에서는, 각 얼굴 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 얼굴 영역을 특정하는 것은,
각 얼굴 영역 중 어느 하나인 제1 얼굴 영역의 위치와 각 피교환물 영역 중 어느 하나인 제1 피교환물 영역의 위치의 거리가 제1 거리 임계값 이하인 경우에 상기 제1 얼굴 영역과 상기 제1 피교환물 영역이 관련되는 것으로 특정하는 것을 포함한다.
가능한 일 실시형태에서는, 상기 사람에 관한 목표 영역은 얼굴 영역과 신체 영역을 포함하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함하며,
피처리 이미지를 검출하여, 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하는 것은, 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역, 신체 영역 및 피교환물 영역을 특정하는 것을 포함하고,
상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득하는 것은, 상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하는 것과, 상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하는 것과, 상기 신체 영역에 대해 신체의 키포인트를 추출하여 상기 신체 영역의 신체의 키포인트 정보를 획득하는 것을 포함하고,
각 목표 영역의 위치 및/또는 인식 결과에 의해 각 목표 영역간의 관련 정보를 특정하는 것은, 각 얼굴 영역의 얼굴의 키포인트 정보 및 각 신체 영역의 신체의 키포인트 정보에 의해 각 신체 영역에 관련되는 얼굴 영역을 특정하는 것과, 각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 신체 영역에 대응하는 사람의 신원 정보를 각각 특정하는 것과, 각 신체 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 신체 영역을 특정하는 것과, 각 신체 영역에 대응하는 사람의 신원 정보에 의해 각 신체 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하는 것을 포함한다.
가능한 일 실시형태에서는, 각 신체 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 신체 영역을 특정하는 것은, 각 신체 영역 중 어느 하나인 제1 신체 영역의 위치와 각 피교환물 영역 중 어느 하나인 제2 피교환물 영역의 위치의 거리가 제2 거리 임계값 이하인 경우에 상기 제1 신체 영역과 상기 제2 피교환물 영역이 관련되는 것으로 특정하는 것을 포함한다.
가능한 일 실시형태에서는, 상기 사람에 관한 목표 영역은 얼굴 영역과 손 영역을 포함하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함하며,
피처리 이미지를 검출하여, 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하는 것은, 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역, 손 영역 및 피교환물 영역을 특정하는 것을 포함하고,
상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득하는 것은, 상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하는 것과, 상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하는 것을 포함하고,
각 목표 영역의 위치 및/또는 인식 결과에 의해 각 목표 영역간의 관련 정보를 특정하는 것은, 각 얼굴 영역의 위치 및 각 손 영역의 위치에 의해 각 얼굴 영역에 관련되는 손 영역을 특정하는 것과, 각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 손 영역에 대응하는 사람의 신원 정보를 각각 특정하는 것과, 각 손 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 손 영역에 관련되는 피교환물 영역을 특정하는 것과, 각 손 영역에 대응하는 사람의 신원 정보에 의해 각 손 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하는 것을 포함한다.
가능한 일 실시형태에서는, 각 얼굴 영역의 위치 및 각 손 영역의 위치에 의해 각 얼굴 영역에 관련되는 손 영역을 특정하는 것은, 각 얼굴 영역 중 어느 하나인 제2 얼굴 영역의 위치와 각 손 영역 중 어느 하나인 제1 손 영역의 위치의 거리가 제3 거리 임계값 이하인 경우에 상기 제2 얼굴 영역과 상기 제1 손 영역이 관련되는 것으로 특정하는 것을 포함한다.
가능한 일 실시형태에서는, 상기 사람에 관한 목표 영역은 얼굴 영역, 신체 영역 및 손 영역을 포함하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함하며, 피처리 이미지를 검출하여 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하는 것은, 피처리 이미지를 검출하여 상기 피처리 이미지에서의 얼굴 영역, 신체 영역, 손 영역 및 피교환물 영역을 특정하는 것을 포함하고,
상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여 상기 복수의 목표 영역의 인식 결과를 획득하는 것은, 상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하는 것과, 상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하는 것과, 상기 신체 영역에 대해 신체의 키포인트를 추출하여 상기 신체 영역의 신체의 키포인트 정보를 획득하는 것과, 상기 손 영역에 대해 손의 키포인트를 추출하여 상기 손 영역의 손의 키포인트 정보를 획득하는 것을 포함하고,
각 목표 영역의 위치 및/또는 인식 결과에 의해 각 목표 영역간의 관련 정보를 특정하는 것은, 각 얼굴 영역의 얼굴의 키포인트 정보 및 각 신체 영역의 신체의 키포인트 정보에 의해 각 신체 영역에 관련되는 얼굴 영역을 특정하는 것과, 각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 신체 영역에 대응하는 사람의 신원 정보를 각각 특정하는 것과, 각 신체 영역의 신체의 키포인트 정보 및 각 손 영역의 손의 키포인트 정보에 의해 각 손 영역에 관련되는 신체 영역을 특정하는 것과, 각 신체 영역에 대응하는 사람의 신원 정보에 의해 각 신체 영역에 관련되는 손 영역에 대응하는 사람의 신원 정보를 각각 특정하는 것과, 각 손 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 손 영역에 관련되는 피교환물 영역을 특정하는 것과, 각 손 영역에 대응하는 사람의 신원 정보에 의해 각 손 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하는 것을 포함한다.
가능한 일 실시형태에서는, 각 얼굴 영역의 얼굴의 키포인트 정보 및 각 신체 영역의 신체의 키포인트 정보에 의해 각 신체 영역에 관련되는 얼굴 영역을 특정하는 것은, 각 얼굴 영역 중 어느 하나인 제3 얼굴 영역의 얼굴의 키포인트 정보가 존재하는 영역과 각 신체 영역 중 어느 하나인 제2 신체 영역의 신체의 키포인트 정보가 존재하는 영역의 중첩 영역의 면적이 제1 면적 임계값 이상인 경우에 상기 제3 얼굴 영역과 상기 제2 신체 영역이 관련되는 것으로 특정하는 것을 포함한다.
가능한 일 실시형태에서는, 각 신체 영역의 신체의 키포인트 정보 및 각 손 영역의 손의 키포인트 정보에 의해 각 손 영역에 관련되는 신체 영역을 특정하는 것은, 각 신체 영역 중 어느 하나인 제3 신체 영역의 신체의 키포인트 정보와 각 손 영역 중 어느 하나인 제2 손 영역의 손의 키포인트 정보가 미리 설정된 조건을 만족하는 경우에 상기 제3 신체 영역과 상기 제2 손 영역이 관련되는 것으로 특정하는 것을 포함한다.
가능한 일 실시형태에서는, 상기 미리 설정된 조건은, 상기 제3 신체 영역의 신체의 키포인트 정보가 존재하는 영역과 상기 제2 손 영역의 손의 키포인트 정보가 존재하는 영역의 중첩 영역의 면적이 제2 면적 임계값 이상인 것, 상기 제3 신체 영역의 신체의 키포인트 정보가 존재하는 영역과 상기 제2 손 영역의 손의 키포인트 정보가 존재하는 영역의 거리가 제4 거리 임계값 이하인 것, 상기 제3 신체 영역의 신체의 키포인트 정보 중 팔꿈치 부분의 키포인트와 손 부분의 키포인트의 연결선인 제1 연결선과, 상기 제2 손 영역의 손의 키포인트 정보 중 손의 키포인트끼리의 연결선인 제2 연결선이 이루는 협각이 협각 임계값 이하인 것 중 적어도 일방을 포함한다.
가능한 일 실시형태에서는, 각 손 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 손 영역에 관련되는 피교환물 영역을 특정하는 것은, 각 손 영역 중 어느 하나인 제3 손 영역과 각 피교환물 영역 중 어느 하나인 제3 피교환물 영역의 거리가 제5 거리 임계값 이하인 경우에 상기 제3 손 영역과 상기 제3 피교환물 영역이 관련되는 것으로 특정하는 것을 포함한다.
가능한 일 실시형태에서는, 상기 유희에 관한 목표 영역은 교환물 영역을 추가로 포함하고,
피처리 이미지를 검출하여 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하는 것은, 피처리 이미지를 검출하여 상기 피처리 이미지에서의 피교환물 영역 및 교환물 영역을 특정하는 것을 포함하고,
상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여 상기 복수의 목표 영역의 인식 결과를 획득하는 것은, 상기 피교환물 영역에 대해 피교환물 인식 및 분류를 행하여 상기 피교환물 영역에서의 각 피교환물의 위치 및 카테고리를 획득하는 것과, 상기 교환물 영역에 대해 교환물 인식 및 분류를 행하여 상기 교환물 영역에서의 각 교환물의 카테고리를 획득하는 것을 포함하고,
상기 방법은, 교환 기간에, 교환물 영역에서의 각 교환물의 카테고리에 의해 상기 교환물 영역에서의 각 교환물의 제1 총 가치를 특정하는 것과, 상기 교환 기간 내에 피교환물 영역에서의 각 피교환물의 위치 및 카테고리에 의해 상기 피교환물 영역에서의 각 피교환물의 제2 총 가치를 특정하는 것과, 상기 제1 총 가치와 상기 제2 총 가치가 상이한 경우에 제2 제시 정보를 제시하는 것을 추가로 포함한다.
가능한 일 실시형태에서는, 상기 유희에 관한 목표 영역은 유희 진행 영역을 추가로 포함하고,
피처리 이미지를 검출하여 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하는 것은, 피처리 이미지를 검출하여 상기 피처리 이미지에서의 유희 진행 영역을 특정하는 것을 포함하고,
상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여 상기 복수의 목표 영역의 인식 결과를 획득하는 것은, 상기 유희 진행 영역에 대해 카드 인식 및 분류를 행하여 상기 유희 진행 영역에서의 각 카드의 위치 및 카테고리를 획득하는 것을 포함한다.
가능한 일 실시형태에서는, 상기 방법은, 카드를 배당하는 단계에서, 상기 유희 진행 영역에서의 각 카드의 카테고리와 미리 설정된 카테고리가 상이한 경우에 제3 제시 정보를 제시하는 것을 추가로 포함한다.
가능한 일 실시형태에서는, 상기 방법은, 카드를 배당하는 단계에서, 상기 유희 진행 영역에서의 각 카드의 위치 및 카테고리와 각 카드의 미리 설정된 위치 및 미리 설정된 규칙이 상이한 경우에 제4 제시 정보를 제시하는 것을 추가로 포함한다.
가능한 일 실시형태에서는, 상기 방법은, 배당 단계에서, 유희 진행 영역에서의 각 카드의 카테고리에 의해 유희 결과를 특정하는 것과, 유희 결과와 각 사람에 관련되는 피교환물 영역의 위치에 의해 각 사람의 배당 규칙을 특정하는 것과, 각 사람의 배당 규칙 및 각 사람에 관련되는 피교환물 영역에서의 피교환물의 가치에 의해 각 사람의 배당되는 가치를 특정하는 것을 추가로 포함한다.
본 발명의 일방면에 의하면, 적어도 사람의 구체의 일부 및 유희대 상의 일부 이미지를 포함하는 피처리 이미지를 검출하여, 사람에 관한 목표 영역과 유희에 관한 목표 영역을 포함하는 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하기 위한 영역 특정 모듈과, 상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득하기 위한 목표 인식 모듈과, 각 목표 영역의 위치 및/또는 인식 결과에 의해 각 목표 영역간의 관련 정보를 특정하기 위한 영역 연동 모듈을 포함하는 이미지 처리 장치를 제공한다.
가능한 일 실시형태에서는, 각 목표 영역간의 관련 정보를 특정한 후에, 각 목표 영역간의 관련 정보에 의해 상기 피처리 이미지에서의 사람의 행동이 미리 설정된 행동 규칙에 해당하는지 여부를 판단하기 위한 행동 판단 모듈과, 상기 피처리 이미지에서의 사람의 행동이 미리 설정된 행동 규칙에 해당하지 않는 경우에 제1 제시 정보를 제시하기 위한 제1 제시 모듈을 추가로 포함한다.
가능한 일 실시형태에서는, 상기 사람에 관한 목표 영역은 얼굴 영역을 포함하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함하며,
상기 영역 특정 모듈은 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역과 피교환물 영역을 특정하기 위한 제1 특정 서브 모듈을 포함하고,
상기 목표 인식 모듈은 상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하기 위한 제1 추출 서브 모듈과, 상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하기 위한 제1 신원 특정 서브 모듈을 포함하고,
상기 영역 연동 모듈은 각 얼굴 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 얼굴 영역을 특정하기 위한 제1 연동 서브 모듈과, 각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하기 위한 제2 신원 특정 서브 모듈을 포함한다.
가능한 일 실시형태에서는, 상기 제1 연동 서브 모듈은 각 얼굴 영역 중 어느 하나인 제1 얼굴 영역의 위치와 각 피교환물 영역 중 어느 하나인 제1 피교환물 영역의 위치의 거리가 제1 거리 임계값 이하인 경우에 상기 제1 얼굴 영역과 상기 제1 피교환물 영역이 관련되는 것으로 특정하기 위해 사용된다.
가능한 일 실시형태에서는, 상기 사람에 관한 목표 영역은 얼굴 영역과 신체 영역을 포함하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함하며,
상기 영역 특정 모듈은 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역, 신체 영역 및 피교환물 영역을 특정하기 위한 제2 특정 서브 모듈을 포함하고,
상기 목표 인식 모듈은 상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하기 위한 제1 추출 서브 모듈과, 상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하기 위한 제1 신원 특정 서브 모듈과, 상기 신체 영역에 대해 신체의 키포인트를 추출하여 상기 신체 영역의 신체의 키포인트 정보를 획득하기 위한 제2 추출 서브 모듈을 포함하고,
상기 영역 연동 모듈은 각 얼굴 영역의 얼굴의 키포인트 정보 및 각 신체 영역의 신체의 키포인트 정보에 의해 각 신체 영역에 관련되는 얼굴 영역을 특정하기 위한 제2 연동 서브 모듈과, 각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 신체 영역에 대응하는 사람의 신원 정보를 각각 특정하기 위한 제3 신원 특정 서브 모듈과, 각 신체 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 신체 영역을 특정하기 위한 제3 연동 서브 모듈과, 각 신체 영역에 대응하는 사람의 신원 정보에 의해 각 신체 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하기 위한 제4 신원 특정 서브 모듈을 포함한다.
가능한 일 실시형태에서는, 상기 제3 연동 서브 모듈은 각 신체 영역 중 어느 하나인 제1 신체 영역의 위치와 각 피교환물 영역 중 어느 하나인 제2 피교환물 영역의 위치의 거리가 제2 거리 임계값 이하인 경우에 상기 제1 신체 영역과 상기 제2 피교환물 영역이 관련되는 것으로 특정하기 위해 사용된다.
가능한 일 실시형태에서는, 상기 사람에 관한 목표 영역은 얼굴 영역과 손 영역을 포함하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함하며,
상기 영역 특정 모듈은 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역, 손 영역 및 피교환물 영역을 특정하기 위한 제3 특정 서브 모듈을 포함하고,
상기 목표 인식 모듈은 상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하기 위한 제1 추출 서브 모듈과, 상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하기 위한 제1 신원 특정 서브 모듈을 포함하고,
상기 영역 연동 모듈은 각 얼굴 영역의 위치 및 각 손 영역의 위치에 의해 각 얼굴 영역에 관련되는 손 영역을 특정하기 위한 제4 연동 서브 모듈과, 각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 손 영역에 대응하는 사람의 신원 정보를 각각 특정하기 위한 제5 신원 특정 서브 모듈과, 각 손 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 손 영역에 관련되는 피교환물 영역을 특정하기 위한 제5 연동 서브 모듈과, 각 손 영역에 대응하는 사람의 신원 정보에 의해 각 손 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하기 위한 제6 신원 특정 서브 모듈을 포함한다.
가능한 일 실시형태에서는, 상기 제4 연동 서브 모듈은 각 얼굴 영역 중 어느 하나인 제2 얼굴 영역의 위치와 각 손 영역 중 어느 하나인 제1 손 영역의 위치의 거리가 제3 거리 임계값 이하인 경우에 상기 제2 얼굴 영역과 상기 제1 손 영역이 관련되는 것으로 특정하기 위해 사용된다.
가능한 일 실시형태에서는, 상기 사람에 관한 목표 영역은 얼굴 영역, 신체 영역 및 손 영역을 포함하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함하며,
상기 영역 특정 모듈은 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역, 신체 영역, 손 영역 및 피교환물 영역을 특정하기 위한 제4 특정 서브 모듈을 포함하고,
상기 목표 인식 모듈은 상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하기 위한 제1 추출 서브 모듈과, 상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하기 위한 제1 신원 특정 서브 모듈과, 상기 신체 영역에 대해 신체의 키포인트를 추출하여 상기 신체 영역의 신체의 키포인트 정보를 획득하기 위한 제2 추출 서브 모듈과, 상기 손 영역에 대해 손의 키포인트를 추출하여 상기 손 영역의 손의 키포인트 정보를 획득하기 위한 제3 추출 서브 모듈을 포함하고,
상기 영역 연동 모듈은 각 얼굴 영역의 얼굴의 키포인트 정보 및 각 신체 영역의 신체의 키포인트 정보에 의해 각 신체 영역에 관련되는 얼굴 영역을 특정하기 위한 제2 연동 서브 모듈과, 각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 신체 영역에 대응하는 사람의 신원 정보를 각각 특정하기 위한 제3 신원 특정 서브 모듈과, 각 신체 영역의 신체의 키포인트 정보 및 각 손 영역의 손의 키포인트 정보에 의해 각 손 영역에 관련되는 신체 영역을 특정하기 위한 제6 연동 서브 모듈과, 각 신체 영역에 대응하는 사람의 신원 정보에 의해 각 신체 영역에 관련되는 손 영역에 대응하는 사람의 신원 정보를 각각 특정하기 위한 제7 신원 특정 서브 모듈과, 각 손 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 손 영역에 관련되는 피교환물 영역을 특정하기 위한 제5 연동 서브 모듈과, 각 손 영역에 대응하는 사람의 신원 정보에 의해 각 손 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하기 위한 제6 신원 특정 서브 모듈을 포함한다.
가능한 일 실시형태에서는, 상기 제2 연동 서브 모듈은 각 얼굴 영역 중 어느 하나인 제3 얼굴 영역의 얼굴의 키포인트 정보가 존재하는 영역과 각 신체 영역 중 하나인 제2 신체 영역의 신체의 키포인트 정보가 존재하는 영역의 중첩 영역의 면적이 제1 면적 임계값 이상인 경우에 상기 제3 얼굴 영역과 상기 제2 신체 영역이 관련되는 것으로 특정하기 위해 사용된다.
가능한 일 실시형태에서는, 상기 제6 연동 서브 모듈은 각 신체 영역 중 어느 하나인 제3 신체 영역의 신체의 키포인트 정보와 각 손 영역 중 어느 하나인 제2 손 영역의 손의 키포인트 정보가 미리 설정된 조건을 만족하는 경우에 상기 제3 신체 영역과 상기 제2 손 영역이 관련되는 것으로 특정하기 위해 사용된다.
가능한 일 실시형태에서는, 상기 미리 설정된 조건은 상기 제3 신체 영역의 신체의 키포인트 정보가 존재하는 영역과 상기 제2 손 영역의 손의 키포인트 정보가 존재하는 영역의 중첩 영역의 면적이 제2 면적 임계값 이상인 것, 상기 제3 신체 영역의 신체의 키포인트 정보가 존재하는 영역과 상기 제2 손 영역의 손의 키포인트 정보가 존재하는 영역의 거리가 제4 거리 임계값 이하인 것, 상기 제3 신체 영역의 신체의 키포인트 정보 중 팔꿈치 부분의 키포인트와 손 부분의 키포인트의 연결선인 제1 연결선과, 상기 제2 손 영역의 손의 키포인트 정보 중 손의 키포인트끼리의 연결선인 제2 연결선이 이루는 협각이 협각 임계값 이하인 것 중 적어도 일방을 포함한다.
가능한 일 실시형태에서는, 상기 제5 연동 서브 모듈은 각 손 영역 중 어느 하나인 제3 손 영역과 각 피교환물 영역 중 어느 하나인 제3 피교환물 영역의 거리가 제5 거리 임계값 이하인 경우에 상기 제3 손 영역과 상기 제3 피교환물 영역이 관련되는 것으로 특정하기 위해 사용된다.
가능한 일 실시형태에서는, 상기 유희에 관한 목표 영역은 교환물 영역을 추가로 포함하고,
상기 영역 특정 모듈은 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 피교환물 영역 및 교환물 영역을 특정하기 위한 제5 특정 서브 모듈을 포함하고,
상기 목표 인식 모듈은 상기 피교환물 영역에 대해 피교환물 인식 및 분류를 행하여, 상기 피교환물 영역에서의 각 피교환물의 위치 및 카테고리를 획득하기 위한 피교환물 인식 서브 모듈과, 상기 교환물 영역에 대해 교환물 인식 및 분류를 행하여, 상기 교환물 영역에서의 각 교환물의 카테고리를 획득하기 위한 교환물 인식 서브 모듈을 포함하고, 상기 장치는 교환 기간에, 교환물 영역에서의 각 교환물의 카테고리에 의해 상기 교환물 영역에서의 각 교환물의 제1 총 가치를 특정하기 위한 제1 가치 특정 모듈과, 상기 교환 기간 내에 피교환물 영역에서의 각 피교환물의 위치 및 카테고리에 의해 상기 피교환물 영역에서의 각 피교환물의 제2 총 가치를 특정하기 위한 제2 가치 특정 모듈과, 상기 제1 총 가치와 상기 제2 총 가치가 상이한 경우에 제2 제시 정보를 제시하기 위한 제2 제시 모듈을 추가로 포함한다.
가능한 일 실시형태에서는, 상기 유희에 관한 목표 영역은 유희 진행 영역을 추가로 포함하고,
상기 영역 특정 모듈은 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 유희 진행 영역을 특정하기 위한 제6 특정 서브 모듈을 포함하고,
상기 목표 인식 모듈은 상기 유희 진행 영역에 대해 카드 인식 및 분류를 행하여, 상기 유희 진행 영역에서의 각 카드의 위치 및 카테고리를 획득하기 위한 카드 인식 서브 모듈을 포함한다.
가능한 일 실시형태에서는, 상기 장치는 카드를 배당하는 단계에서 상기 유희 진행 영역에서의 각 카드의 카테고리와 미리 설정된 카테고리가 상이한 경우에 제3 제시 정보를 제시하기 위한 제3 제시 모듈을 추가로 포함한다.
가능한 일 실시형태에서는, 상기 장치는 카드를 배당하는 단계에서 상기 유희 진행 영역에서의 각 카드의 위치 및 카테고리와 각 카드의 미리 설정된 위치 및 미리 설정된 규칙이 상이한 경우에 제4 제시 정보를 제시하기 위한 제4 제시 모듈을 추가로 포함한다.
가능한 일 실시형태에서는, 상기 장치는 배당 단계에서 유희 진행 영역에서의 각 카드의 카테고리에 의해 유희 결과를 특정하기 위한 결과 특정 모듈과, 유희 결과와 각 사람에 관련되는 피교환물 영역의 위치에 의해 각 사람의 배당 규칙을 특정하기 위한 규칙 특정 모듈과, 각 사람의 배당 규칙 및 각 사람에 관련되는 피교환물 영역에서의 피교환물의 가치에 의해 각 사람의 배당되는 가치를 특정하기 위한 배당 가치 특정 모듈을 추가로 포함한다.
본 발명의 일방면에 의하면, 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 프로세서는 상기 메모리에 기억된 명령을 불러 내어 상기 방법을 실행하도록 구성되는 전자 기기를 제공한다.
본 발명의 일방면에 의하면, 컴퓨터 프로그램 명령을 기억한 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 상기 방법을 실현하는, 컴퓨터 판독 가능 기억 매체를 제공한다.
본 발명의 실시예에서는 이미지에서의 목표가 존재하는 이미지 영역 및 영역의 카테고리를 검출하고, 카테고리에 따라 각 영역을 인식하여 각 영역의 인식 결과를 획득하고, 또한 각 영역의 위치 및/또는 인식 결과에 의해 각 영역간의 관련을 특정함으로써, 다양한 목표의 자동 인식이나 연동을 실현하여, 인건비를 저감시키고, 처리 효율 및 정확률을 높일 수 있다.
이상의 일반적인 설명과 이하의 상세한 설명은 예시적 및 설명적인 것에 불과하고, 본 발명을 제한하는 것은 아닌 것으로 이해되어야 한다. 이하의 도면을 참고하면서 예시적인 실시예를 상세히 설명함으로써, 본 발명의 다른 특징 및 방면이 명확해진다.
하기 도면은 명세서의 일부로서 포함되고, 본 발명에 적합한 실시예를 나타내는 것으로서, 명세서와 함께 본 발명의 기술적 수단을 설명하기 위해 사용된다.
도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 나타낸다.
도 2는 본 발명의 실시예에 따른 이미지 처리 방법의 적용 장면의 모식도를 나타낸다.
도 3a는 본 개시의 실시예에 따른 이미지 처리 방법에서의 신체의 키포인트 정보의 모식도를 나타낸다.
도 3b는 본 발명의 실시예에 따른 이미지 처리 방법에서의 손의 키포인트 정보의 모식도를 나타낸다.
도 4는 본 발명의 실시예에 의해 제공되는 이미지 처리 방법의 처리 순서의 모식도를 나타낸다.
도 5는 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 나타낸다.
도 6은 본 발명의 실시예에 따른 전자 기기의 블록도를 나타낸다.
도 7은 본 발명의 실시예에 따른 전자 기기의 블록도를 나타낸다.
도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 나타낸다.
도 2는 본 발명의 실시예에 따른 이미지 처리 방법의 적용 장면의 모식도를 나타낸다.
도 3a는 본 개시의 실시예에 따른 이미지 처리 방법에서의 신체의 키포인트 정보의 모식도를 나타낸다.
도 3b는 본 발명의 실시예에 따른 이미지 처리 방법에서의 손의 키포인트 정보의 모식도를 나타낸다.
도 4는 본 발명의 실시예에 의해 제공되는 이미지 처리 방법의 처리 순서의 모식도를 나타낸다.
도 5는 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 나타낸다.
도 6은 본 발명의 실시예에 따른 전자 기기의 블록도를 나타낸다.
도 7은 본 발명의 실시예에 따른 전자 기기의 블록도를 나타낸다.
이하에 도면을 참조하면서 본 발명의 다양한 예시적 실시예, 특징 및 방면을 상세히 설명한다. 도면에서의 동일한 부호는 동일하거나 또는 유사한 기능의 요소를 나타낸다. 도면에서 실시예의 다양한 방면을 나타냈지만, 특별히 언급하지 않는 한, 비례에 따라 도면을 그릴 필요가 없다.
여기에서의 용어 「예시적」이란, 「예, 실시예로서 사용되는 것 또는 설명적인 것」을 의미한다. 여기에서 「예시적」으로 설명된 어떠한 실시예도 다른 실시예보다 바람직하거나 또는 우수한 것으로 이해해서는 안된다.
본 명세서에서 용어 「및/또는」은 관련 대상의 관련 관계를 기술하기 위한 것에 불과하고, 3개의 관계가 존재 가능함을 나타내며, 예를 들면, A 및/또는 B는 A만이 존재하거나, A와 B가 동시에 존재하거나, B만이 존재하는 세 가지 경우를 나타낼 수 있다. 또한, 본 명세서에서 용어의 「적어도 하나」는 다종 중 어느 하나 또는 다종 중 적어도 2개의 임의의 조합을 나타내고, 예를 들면, A, B 및 C 중 적어도 하나를 포함하는 것은 A, B 및 C로 구성되는 집합에서 선택된 어느 하나 또는 복수의 요소를 포함하는 것을 나타낼 수 있다.
또한, 본 발명을 보다 효과적으로 설명하기 위해, 이하의 구체적인 실시형태에서 다양한 구체적인 상세를 개시한다. 당업자이면 어떤 구체적인 상세가 없어도 본 발명은 동일하게 실시할 수 있는 것으로 한다. 일부 실시예에서는 본 발명의 취지를 강조하기 위해 당업자에게 이미 알려진 방법, 수단, 요소 및 회로에 대해 상세한 설명을 하지 않는다.
도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 나타낸다. 도 1에 나타내는 바와 같이, 상기 이미지 처리 방법은,
적어도 사람의 구체의 일부 및 유희대 상의 일부 이미지를 포함하는 피처리 이미지를 검출하여, 사람에 관한 목표 영역과 유희에 관한 목표 영역을 포함하는 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하는 단계(S11)와,
상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득하는 단계(S12)와,
각 목표 영역의 위치 및/또는 인식 결과에 의해 각 목표 영역간의 관련 정보를 특정하는 단계(S13)를 포함한다.
가능한 일 실시형태에서는, 상기 이미지 처리 방법은 사용자측 장치(User Equipment, UE), 휴대 기기, 사용자 단말, 단말, 셀룰러 폰, 코드리스 전화, 퍼스널 디지털 어시스턴트(Personal Digital Assistant, PDA), 휴대용 기기, 계산 장치, 차재(車載) 장치, 웨어러블 장치 등의 단말 장치 또는 서버 등의 전자 기기에 의해 실행되어도 되고, 프로세서에 의해 메모리에 기억된 컴퓨터 판독 가능 명령을 불러냄으로써 실현되어도 되고, 또는 서버에 의해 실행되어도 된다.
가능한 일 실시형태에서는, 피처리 이미지는 이미지 획득 장치(예를 들면, 카메라)에 의해 획득된 유희 장소의 감시 영역의 이미지여도 된다. 유희 장소에는 하나 또는 복수의 감시 영역(예를 들면, 유희대 영역)을 포함해도 된다. 감시되는 목표는 유희자 또는 종업원 등의 사람을 포함해도 되고, 피교환물(예를 들면, 유희 칩), 교환물(예를 들면, 현금) 등의 물품을 포함해도 된다. 카메라에 의해 감시 영역의 이미지를 획득(예를 들면, 비디오 스트림을 촬영)하고, 또한 이미지(예를 들면, 비디오 프레임)에서의 목표를 해석해도 된다. 본 발명은 감시되는 목표의 카테고리를 제한하지 않는다.
가능한 일 실시형태에서는, 예를 들면, 유희 장소의 유희대 영역의 양측(또는 다측) 및 상방에 각각 카메라를 설치하여 피처리 이미지에 적어도 사람의 구체의 일부 및 유희대 상의 일부 이미지를 포함하도록 감시 영역(유희대의 양측 및 유희대의 상면)의 이미지를 획득하여, 이후의 처리에서 유희대의 양측의 피처리 이미지에 의해 유희대 부근에서의 인원(예를 들면, 유희자 또는 종업원) 또는 유희대 상의 물품(예를 들면, 칩)을 해석하고, 유희대의 상면의 피처리 이미지에 의해 유희대 상의 물품, 예를 들면, 현금, 카드(예를 들면, 포커) 등을 해석해도 된다. 또한, 유희대 상방에 카메라를 설치하여 부감(俯瞰) 각도에서 유희대 상의 이미지를 획득해도 된다. 피처리 이미지를 해석할 때, 해석 목적에 따라 최적의 시각에서 획득된 이미지를 선택하여 해석한다.
도 2는 본 발명의 실시예에 따른 이미지 처리 방법의 적용 장면의 모식도를 나타낸다. 도 2에 나타내는 바와 같이, 유희 장면에서 유희는 유희대(20)에서 행해지고, 유희자(221, 222, 223)는 유희대의 일측에 위치하고, 종업원(23)는 유희대의 타측에 위치하고, 양측의 카메라(211, 212)에 의해 유희대의 영역의 이미지를 획득할 수 있다. 유희 개시 단계에서 유희자는 교환물을 종업원에게 전달하여 피교환물과 교환하고, 종업원는 교환물을 교환물 영역(27)에 놓고 체크하고, 피교환물을 유희자에게 전달한다. BET 단계(베팅하는 단계)에서 유희자는 피교환물을 BET 영역에 놓고, 복수의 피교환물 영역, 예를 들면, 유희자(222)의 피교환물 영역(241), 유희자(223)의 피교환물 영역(242)을 형성한다. 유희 진행 단계에서 딜러 장치(25)에 의해 카드를 유희 진행 영역(26)에 배당하고, 유희를 진행한다. 유희가 종료된 후, 배당 단계에서 유희 진행 영역(26)에서의 카드의 상황에 의해 유희 결과를 특정하여 배당한다.
가능한 일 실시형태에서는, 각 감시 영역의 피처리 이미지를 획득한 후, 단계(S11)에서 피처리 이미지를 검출하여, 피처리 이미지에서의 복수의 목표 영역 및 복수의 목표 영역의 카테고리를 특정해도 된다. 복수의 목표 영역은 사람에 관한 목표 영역과 유희에 관한 목표 영역을 포함한다. 분류기에 의해 피처리 이미지를 검출하고, 이미지에서의 목표(예를 들면, 유희대 부근에 서있거나 앉아 있는 유희자, 유희대 상의 피교환물 등)의 위치를 특정하고, 복수의 목표 영역(검출 프레임)을 특정하고, 각 목표 영역을 분류하도록 해도 된다. 이 분류기는 예를 들면, 심층 합성곱 뉴럴 네트워크여도 되고, 본 발명은 분류기의 네트워크 종류를 제한하지 않는다.
가능한 일 실시형태에서는, 사람에 관한 목표 영역은 얼굴 영역, 신체 영역, 손 영역 등을 포함하고, 유희에 관한 목표 영역은 피교환물 영역, 교환물 영역 및 유희 진행 영역 등을 포함해도 된다. 즉, 각 목표 영역을 얼굴, 신체, 손, 피교환물(예를 들면, 칩), 교환물(예를 들면, 현금), 카드(예를 들면, 포커) 등의 복수의 카테고리에 속하도록 할 수 있다. 본 발명은 목표 영역의 카테고리 범위를 제한하지 않는다.
가능한 일 실시형태에서는, 단계(S12)에서 피처리 이미지의 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득해도 된다. 예를 들면, 각 목표 영역(검출 프레임)의 피처리 이미지에서의 위치에 의해 피처리 이미지에서 각 목표 영역의 영역 이미지를 잘라내고, 목표 영역의 카테고리에 대응하는 특징 추출기에 의해 영역 이미지에 대해 특징을 추출하여, 목표 영역의 특징 정보(예를 들면, 얼굴의 키포인트 특징, 신체의 키포인트 특징 등)를 획득하고, 또한 각 목표 영역의 특징 정보를 해석(목표 인식)하여, 각 목표 영역의 인식 결과를 획득하도록 해도 된다. 목표 영역의 카테고리에 의해 이 인식 결과에는 상이한 내용, 예를 들면, 이 목표 영역에 대응하는 인물의 신원, 이 목표 영역의 피교환물의 수량 및 가치 등을 포함해도 된다.
가능한 일 실시형태에서는, 각 목표 영역의 인식 결과를 획득한 후, 단계(S13)에서 각 목표 영역의 위치 및/또는 인식 결과에 의해 각 목표 영역간의 관련 정보를 특정해도 된다. 각 목표 영역간의 상대적 위치, 예를 들면, 목표 영역간의 중첩도, 목표 영역간의 거리 등에 의해 각 목표 영역간의 관련 정보를 특정할 수 있다. 이 관련 정보는 예를 들면, 얼굴 영역에 대응하는 사람의 신원과 신체 영역에 대응하는 사람의 신원의 관련, 손 영역에 대응하는 사람의 신원과 피교환물 영역에 대응하는 사람의 신원의 관련 등이어도 된다.
본 발명의 실시예에 의하면, 이미지에서의 목표가 존재하는 이미지 영역 및 영역의 카테고리를 검출하고, 카테고리에 따라 각 영역을 인식하여 각 영역의 인식 결과를 획득하고, 또한 각 영역의 위치 및/또는 인식 결과에 의해 각 영역간의 관련을 특정함으로써, 다양한 목표의 자동 인식이나 연동을 실현하여, 인건비를 저감시키고, 처리 효율 및 정확률을 높일 수 있다.
가능한 일 실시형태에서는, 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하기 위한 검출 네트워크(분류기)를 포함하는 뉴럴 네트워크에 의해 본 발명의 실시예에 따른 이미지 처리 방법을 실현해도 된다. 검출 네트워크에 의해 피처리 이미지에서의 물체(목표)의 위치를 특정하고, 각 물체의 각각을 소정 카테고리에 속하게 한다.
가능한 일 실시형태에서는, 이 뉴럴 네트워크는 각 목표 영역에 대해 목표 인식을 행하기 위한 목표 인식 네트워크를 추가로 포함해도 된다. 상이한 목표 영역을 각각 인식하기 위해, 목표 영역의 카테고리에 따라 목표 인식 네트워크(예를 들면, 얼굴 인식 네트워크, 신체 인식 네트워크, 손 인식 네트워크, 피교환물 인식 네트워크, 교환물 인식 네트워크, 카드 인식 네트워크 등)를 설치해도 된다.
가능한 일 실시형태에서는, 상기 사람에 관한 목표 영역은 얼굴 영역을 포함하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함한다.
단계(S11)는 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역과 피교환물 영역을 특정하는 단계를 포함해도 되고,
단계(S12)는 상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하는 단계와, 상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하는 단계를 포함해도 되고,
단계(S13)는 각 얼굴 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 얼굴 영역을 특정하는 단계와, 각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하는 단계를 포함해도 된다.
예를 들면, 피처리 이미지를 검출할 때, 카테고리가 얼굴인 목표 영역 및 카테고리가 피교환물인 목표 영역을 검출하여, 피처리 이미지에서 얼굴 영역과 피교환물 영역의 영역 이미지를 잘라내도 된다.
가능한 일 실시형태에서는, 얼굴 영역에 대해서는 이 얼굴 영역의 영역 이미지에 대해 얼굴 인식을 행하고, 영역 이미지에서의 얼굴의 키포인트 정보(예를 들면, 17개의 얼굴의 키포인트)를 추출하고, 이 얼굴의 키포인트 정보를 데이터 베이스에서의 대조 인원의 얼굴 이미지 및/또는 얼굴 특징 정보와 대조하여, 이 얼굴의 키포인트 정보와 매칭되는 대조 인원의 신원을 이 얼굴 영역에 대응하는 사람의 신원으로서, 사람의 신원 정보를 특정해도 된다. 또한, 얼굴의 키포인트 정보 및 신원 정보를 이 얼굴 영역의 인식 결과로서 특정해도 된다. 예를 들면, 얼굴 영역(A)의 얼굴의 키포인트 정보와 매칭되고 있는(예를 들면, 유사도가 미리 설정된 유사도 임계값 이상인) 대조 인원이 유희자(M)이면, 이 얼굴 영역을 유희자(M)의 얼굴로서 특정한다. 이와 같이, 얼굴 영역에 대응하는 사람의 얼굴 특징 및 신원을 특정할 수 있다.
가능한 일 실시형태에서는, 유희의 개시 단계에서 각 얼굴 영역의 신원을 특정해도 된다. 예를 들면, 유희자가 유희대에 근접하여 자리에 앉을 때, 이 유희자가 유희에 참가하고자 하는 것으로 생각하여, 이 유희자의 신원을 인식, 등록하고, 그 후에 이 유희자를 추적해도 된다. 본 발명은 사람의 신원을 특정하는 타이밍을 제한하지 않는다.
가능한 일 실시형태에서는, 얼굴 인식 네트워크에 의해 이 목표 영역의 영역 이미지를 처리하여, 이 목표 영역의 인식 결과를 획득해도 된다. 이 얼굴 인식 네트워크는 예를 들면, 적어도 합성곱 층((convolutional layer) 및 풀링 층(pooling layer)(또는 softmax 층)을 포함하는 심층 합성곱 뉴럴 네트워크여도 된다. 본 발명은 얼굴 인식 네트워크의 네트워크 종류 및 네트워크 구조를 제한하지 않는다.
가능한 일 실시형태에서는, 단계(S13)에서 각 얼굴 영역과 각 피교환물 영역을 직접 연동해도 된다. 각 얼굴 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 얼굴 영역을 특정해도 된다. 또한, 얼굴 영역과 피교환물 영역의 관련에 의해 각 피교환물 영역에 대응하는 사람의 신원 정보를 특정하고, 즉, 피교환물 영역에 관련되는 얼굴 영역에 대응하는 사람의 신원 정보를 피교환물 영역에 대응하는 사람의 신원 정보로서 특정한다.
이와 같이, 얼굴과 피교환물의 직접적인 연동을 실현하고, 각 피교환물 영역에서의 피교환물을 소유하는 사람, 예를 들면, 칩을 소유하는 유희자를 특정할 수 있다.
가능한 일 실시형태에서는, 각 얼굴 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 얼굴 영역을 특정하는 단계는,
각 얼굴 영역 중 어느 하나인 제1 얼굴 영역의 위치와 각 피교환물 영역 중 어느 하나인 제1 피교환물 영역의 위치의 거리가 제1 거리 임계값 이하인 경우에 상기 제1 얼굴 영역과 상기 제1 피교환물 영역이 관련되는 것으로 특정하는 단계를 포함해도 된다.
예를 들면, 각 얼굴 영역과 각 피교환물 영역을 각각 판단해도 된다. 어느 하나의 얼굴 영역(여기서, 제1 얼굴 영역으로 불러도 됨) 및 어느 하나의 피교환물 영역(여기서, 제1 피교환물 영역으로 불러도 됨)에 대해서는 제1 얼굴 영역의 위치와 제1 피교환물 영역의 위치의 거리, 예를 들면, 제1 얼굴 영역의 중심점과 제1 피교환물 영역의 중심점의 거리를 계산해도 된다. 이 거리가 제1 거리 임계값 이하이면 제1 얼굴 영역과 제1 피교환물 영역이 관련되는 것으로 특정해도 된다. 이와 같이, 얼굴 영역과 피교환물 영역의 연동을 실현할 수 있다. 예를 들면, 하나의 유희대에서의 유희자가 적고, 또한 분산적으로 앉아 있는 경우에 얼굴과 피교환물을 직접 연동하여, 피교환물을 소유하는 사람을 특정할 수 있다.
당업자이면 실제 상황에 따라 이 제1 거리 임계값을 설정할 수 있지만, 본 발명은 이 제1 거리 임계값이 취해지는 값을 제한하지 않는다.
가능한 일 실시형태에서는, 상기 사람에 관한 목표 영역은 얼굴 영역과 신체 영역을 포함하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함한다.
단계(S11)는 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역, 신체 영역 및 피교환물 영역을 특정하는 단계를 포함해도 되고,
단계(S12)는 상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하는 단계와, 상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하는 단계와,
상기 신체 영역에 대해 신체의 키포인트를 추출하여 상기 신체 영역의 신체의 키포인트 정보를 획득하는 단계를 포함해도 되고,
단계(S13)는 각 얼굴 영역의 얼굴의 키포인트 정보 및 각 신체 영역의 신체의 키포인트 정보에 의해 각 신체 영역에 관련되는 얼굴 영역을 특정하는 단계와, 각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 신체 영역에 대응하는 사람의 신원 정보를 각각 특정하는 단계와,
각 신체 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 신체 영역을 특정하는 단계와, 각 신체 영역에 대응하는 사람의 신원 정보에 의해 각 신체 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하는 단계를 포함해도 된다.
예를 들면, 피처리 이미지를 검출할 때, 카테고리가 얼굴인 목표 영역, 카테고리가 신체인 목표 영역 및 카테고리가 피교환물인 목표 영역을 검출하여 피처리 이미지에서 얼굴 영역, 신체 영역 및 피교환물 영역의 영역 이미지를 잘라내도 된다.
가능한 일 실시형태에서는, 얼굴 영역에 대해서는 이 얼굴 영역의 영역 이미지에 대해 얼굴 인식을 행하고, 영역 이미지에서의 얼굴의 키포인트 정보(예를 들면, 17개의 얼굴의 키포인트)를 추출하고, 이 얼굴의 키포인트 정보를 데이터베이스에서의 대조 인원의 얼굴 이미지 및/또는 얼굴 특징 정보와 대조하고, 이 얼굴의 키포인트 정보와 매칭되는 대조 인원의 신원을 이 얼굴 영역에 대응하는 사람의 신원으로서, 사람의 신원 정보를 특정해도 된다. 또한, 얼굴의 키포인트 정보 및 신원 정보를 이 얼굴 영역의 인식 결과로서 특정해도 된다. 예를 들면, 얼굴 영역(A)의 얼굴의 키포인트 정보와 매칭되고 있는(예를 들면, 유사도가 미리 설정된 유사도 임계값 이상인) 대조 인원이 유희자(M)이면, 이 얼굴 영역을 유희자(M)의 얼굴로서 특정한다. 이와 같이, 얼굴 영역에 대응하는 사람의 얼굴 특징 및 신원을 특정할 수 있다.
가능한 일 실시형태에서는, 신체 영역에 대해서는 이 신체 영역의 영역 이미지에 대해 신체 인식을 행하고, 영역 이미지에서의 신체의 키포인트 정보(예를 들면, 14개의 신체의 관절 부분의 키포인트)를 추출하고, 이 신체의 키포인트 정보를 이 신체 영역의 인식 결과로서 특정해도 된다.
가능한 일 실시형태에서는, 신체 인식 네트워크에 의해 이 신체 영역의 영역 이미지를 처리하여 이 신체 영역의 인식 결과를 획득해도 된다. 이 신체 인식 네트워크는 예를 들면, 심층 합성곱 뉴럴 네트워크여도 된다. 본 발명은 신체 인식 네트워크의 네트워크 종류 및 네트워크 구조를 제한하지 않는다. 이와 같이, 신체 영역에 대응하는 사람의 신체 특징을 특정할 수 있다.
가능한 일 실시형태에서는, 얼굴 영역과 신체 영역의 인식 결과를 획득한 후, 각 얼굴 영역과 신체 영역의 인식 결과에 의해 얼굴과 신체를 연동하도록 해도 된다. 예를 들면, 얼굴 영역(A)의 얼굴의 키포인트 정보가 존재하는 영역과 신체 영역(B)의 신체의 키포인트 정보가 존재하는 영역의 중첩 영역의 면적이 미리 설정된 면적 임계값을 초과하는 경우, 이 얼굴 영역(A)과 이 신체 영역(B)이 관련되고, 즉, 이 얼굴 영역(A)과 이 신체 영역(B)이 동일한 사람(예를 들면, 유희자)에 대응하는 것으로 생각된다. 이 경우에, 이 얼굴 영역(A)에 대응하는 사람의 신원을 신체 영역(B)에 대응하는 사람의 신원으로 할 수 있고, 즉 신체 영역(B)이 유희자(M)의 신체이다. 이와 같이, 얼굴과 신체의 연동을 실현하고, 얼굴의 신원에 의해 신체의 신원을 특정할 수 있어, 인식의 효율 및 정확성을 높일 수 있다.
가능한 일 실시형태에서는, 각 얼굴 영역의 얼굴의 키포인트 정보 및 각 신체 영역의 신체의 키포인트 정보에 의해 각 신체 영역에 관련되는 얼굴 영역을 특정하는 단계는,
각 얼굴 영역 중 어느 하나인 제3 얼굴 영역의 얼굴의 키포인트 정보가 존재하는 영역과 각 신체 영역 중 어느 하나인 제2 신체 영역의 신체의 키포인트 정보가 존재하는 영역의 중첩 영역의 면적이 제1 면적 임계값 이상인 경우에 상기 제3 얼굴 영역과 상기 제2 신체 영역이 관련되는 것으로 특정하는 단계를 포함해도 된다.
예를 들면, 각 얼굴 영역과 각 신체 영역을 각각 판단해도 된다. 어느 하나의 얼굴 영역(여기서, 제3 얼굴 영역으로 불러도 됨) 및 어느 하나의 신체 영역(여기서, 제2 신체 영역으로 불러도 됨)에 대해서는 제3 얼굴 영역의 얼굴의 키포인트 정보가 존재하는 영역과 제2 신체 영역의 신체의 키포인트 정보가 존재하는 영역의 중첩 영역의 면적을 계산해도 된다. 이 면적이 미리 설정된 제1 면적 임계값 이하인 경우, 제3 얼굴 영역과 제2 신체 영역이 관련되는 것으로 특정해도 된다. 이와 같이, 각 얼굴 영역과 각 신체 영역의 연동을 실현할 수 있다.
당업자이면 실제 상황에 따라 이 제1 면적 임계값을 설정할 수 있지만, 본 발명은 이 제1 면적 임계값이 취해지는 값을 제한하지 않는다.
가능한 일 실시형태에서는, 신체와 피교환물을 연동하도록 해도 된다. 각 신체 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 신체 영역을 특정해도 된다. 또한, 신체 영역과 피교환물 영역의 관련에 의해 각 피교환물 영역에 대응하는 사람의 신원 정보를 특정하고, 즉, 피교환물 영역에 관련되는 신체 영역에 대응하는 사람의 신원 정보를 피교환물 영역에 대응하는 사람의 신원 정보로서 특정해도 된다.
이와 같이, 얼굴, 신체 및 피교환물의 삼자의 연동을 실현하고, 각 피교환물 영역에서의 피교환물을 소유하는 사람, 예를 들면, 칩을 소유하는 유희자를 특정할 수 있다.
가능한 일 실시형태에서는, 각 신체 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 신체 영역을 특정하는 단계는
각 신체 영역 중 어느 하나인 제1 신체 영역의 위치와 각 피교환물 영역 중 어느 하나인 제2 피교환물 영역의 위치의 거리가 제2 거리 임계값 이하인 경우에 상기 제1 신체 영역과 상기 제2 피교환물 영역이 관련되는 것으로 특정하는 단계를 포함해도 된다.
예를 들면, 각 신체 영역과 각 피교환물 영역을 각각 판단해도 된다. 어느 하나의 신체 영역(여기서, 제1 신체 영역으로 불러도 됨) 및 어느 하나의 피교환물 영역(여기서, 제2 피교환물 영역으로 불러도 됨)에 대해서는 제1 신체 영역의 위치와 제2 피교환물 영역의 위치의 거리, 예를 들면, 제1 신체 영역의 중심점과 제2 피교환물 영역의 중심점의 거리를 계산해도 된다. 이 거리가 미리 설정된 제2 거리 임계값 이하인 경우, 제1 신체 영역과 제2 피교환물 영역이 관련되는 것으로 특정해도 된다. 이와 같이, 신체 영역과 피교환물 영역의 연동을 실현할 수 있다.
당업자이면 실제 상황에 따라 이 제2 거리 임계값을 설정할 수 있지만, 본 발명은 이 제2 거리 임계값이 취해지는 값을 제한하지 않는다.
가능한 일 실시형태에서는, 상기 사람에 관한 목표 영역은 얼굴 영역과 손 영역을 포함하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함하며,
단계(S11)는 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역, 손 영역 및 피교환물 영역을 특정하는 단계를 포함해도 되고,
단계(S12)는 상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하는 단계와, 상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하는 단계를 포함해도 되고,
단계(S13)는 각 얼굴 영역의 위치 및 각 손 영역의 위치에 의해 각 얼굴 영역에 관련되는 손 영역을 특정하는 단계와, 각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 손 영역에 대응하는 사람의 신원 정보를 각각 특정하는 단계와,
각 손 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 손 영역에 관련되는 피교환물 영역을 특정하는 단계와, 각 손 영역에 대응하는 사람의 신원 정보에 의해 각 손 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하는 단계를 포함해도 된다.
예를 들면, 피처리 이미지를 검출할 때, 카테고리가 얼굴인 목표 영역, 카테고리가 손인 목표 영역 및 카테고리가 피교환물인 목표 영역을 검출하여 피처리 이미지에서 얼굴 영역, 손 영역 및 피교환물 영역의 영역 이미지를 잘라내도 된다.
가능한 일 실시형태에서는, 얼굴 영역에 대해서는 이 얼굴 영역의 영역 이미지에 대해 얼굴 인식을 행하고, 영역 이미지에서의 얼굴의 키포인트 정보(예를 들면, 17개의 얼굴의 키포인트)를 추출하고, 이 얼굴의 키포인트 정보를 데이터베이스에서의 대조 인원의 얼굴 이미지 및/또는 얼굴 특징 정보와 대조하고, 이 얼굴의 키포인트 정보와 매칭되는 대조 인원의 신원을 이 얼굴 영역에 대응하는 사람의 신원으로서, 사람의 신원 정보를 특정해도 된다. 또한, 얼굴의 키포인트 정보 및 신원 정보를 이 얼굴 영역의 인식 결과로서 특정해도 된다. 예를 들면, 얼굴 영역(A)의 얼굴의 키포인트 정보와 매칭되고 있는(예를 들면, 유사도가 미리 설정된 유사도 임계값 이상인) 대조 인원이 유희자(M)이면, 이 얼굴 영역을 유희자(M)의 얼굴로서 특정한다. 이와 같이, 얼굴 영역에 대응하는 사람의 얼굴 특징 및 신원을 특정할 수 있다.
가능한 일 실시형태에서는, 단계(S13)에서 각 얼굴 영역과 각 손 영역을 연동하도록 해도 된다. 각 얼굴 영역의 위치 및 각 손 영역의 위치에 의해 각 손 영역에 관련되는 얼굴 영역을 특정해도 된다. 또한, 얼굴 영역과 손 영역의 관련에 의해 각 손 영역에 대응하는 사람의 신원 정보를 특정하고, 즉, 손 영역에 관련되는 얼굴 영역에 대응하는 사람의 신원 정보를 손 영역에 대응하는 사람의 신원 정보로서 특정해도 된다. 이와 같이, 각 손 영역에 대응하는 사람의 신원을 특정할 수 있다.
가능한 일 실시형태에서는, 각 얼굴 영역의 위치 및 각 손 영역의 위치에 의해 각 얼굴 영역에 관련되는 손 영역을 특정하는 단계는
각 얼굴 영역 중 어느 하나인 제2 얼굴 영역의 위치와 각 손 영역 중 어느 하나인 제1 손 영역의 위치의 거리가 제3 거리 임계값 이하인 경우에 상기 제2 얼굴 영역과 상기 제1 손 영역이 관련되는 것으로 특정하는 단계를 포함해도 된다.
예를 들면, 각 얼굴 영역과 각 손 영역을 각각 판단해도 된다. 어느 하나의 얼굴 영역(여기서, 제2 얼굴 영역으로 불러도 됨) 및 어느 하나의 손 영역(여기서, 제1 손 영역으로 불러도 됨)에 대해서는 제2 얼굴 영역 위치와 제1 손 영역의 위치의 거리, 예를 들면, 제2 얼굴 영역의 중심점과 제1 손 영역의 중심점의 거리를 계산해도 된다. 이 거리가 미리 설정된 제3 거리 임계값 이하인 경우, 제2 얼굴 영역과 제1 손 영역이 관련되는 것으로 특정해도 된다. 이와 같이, 얼굴 영역과 손 영역의 연동을 실현할 수 있다.
당업자이면 실제 상황에 따라 이 제3 거리 임계값을 설정할 수 있지만, 본 발명은 이 제3 거리 임계값이 취해지는 값을 제한하지 않는다.
가능한 일 실시형태에서는, 단계(S13)에서 각 손 영역과 각 피교환물 영역을 연동하도록 해도 된다. 각 손 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 손 영역을 특정해도 된다. 또한, 손 영역과 피교환물 영역의 관련에 의해 각 피교환물 영역에 대응하는 사람의 신원 정보를 특정하고, 즉, 피교환물 영역이 관련되는 손 영역에 대응하는 사람의 신원 정보를 피교환물 영역에 대응하는 사람의 신원 정보로서 특정해도 된다.
이와 같이, 얼굴, 손 및 피교환물의 삼자의 연동을 실현하고, 각 피교환물 영역에서의 피교환물을 소유하는 사람, 예를 들면, 칩을 소유하는 유희자를 특정할 수 있다.
가능한 일 실시형태에서는, 각 손 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 손 영역에 관련되는 피교환물 영역을 특정하는 상기 단계는
각 손 영역 중 어느 하나인 제3 손 영역과 각 피교환물 영역 중 어느 하나인 제3 피교환물 영역의 거리가 제5 거리 임계값 이하인 경우에 상기 제3 손 영역과 상기 제3 피교환물 영역이 관련되는 것으로 특정하는 단계를 포함해도 된다.
예를 들면, 각 손 영역과 각 피교환물 영역을 각각 판단해도 된다. 어느 하나의 손 영역(여기서, 제3 손 영역으로 불러도 됨) 및 어느 하나의 피교환물 영역(여기서, 제3 피교환물 영역으로 불러도 됨)에 대해서는 제3 손 영역의 위치와 제3 피교환물 영역의 위치의 거리, 예를 들면, 제3 손 영역의 중심점과 제3 피교환물 영역의 중심점의 거리를 계산해도 된다. 이 거리가 제5 거리 임계값 이하인 경우, 제3 손 영역과 제3 피교환물 영역이 관련되는 것으로 특정해도 된다. 이와 같이, 손 영역과 피교환물 영역의 연동을 실현할 수 있다.
당업자이면 실제 상황에 따라 이 제5 거리 임계값을 설정할 수 있지만, 본 발명은 이 제5 거리 임계값이 취해지는 값을 제한하지 않는다.
가능한 일 실시형태에서는, 상기 사람에 관한 목표 영역은 얼굴 영역, 신체 영역 및 손 영역을 포함하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함하며,
단계(S11)는 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역, 신체 영역, 손 영역 및 피교환물 영역을 특정하는 단계를 포함해도 되고,
단계(S12)는 상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하는 단계와, 상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하는 단계와,
상기 신체 영역에 대해 신체의 키포인트를 추출하여 상기 신체 영역의 신체의 키포인트 정보를 획득하는 단계와,
상기 손 영역에 대해 손의 키포인트를 추출하여 상기 손 영역의 손의 키포인트 정보를 획득하는 단계를 포함해도 되고,
단계(S13)는 각 얼굴 영역의 얼굴의 키포인트 정보 및 각 신체 영역의 신체의 키포인트 정보에 의해 각 신체 영역에 관련되는 얼굴 영역을 특정하는 단계와, 각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 신체 영역에 대응하는 사람의 신원 정보를 각각 특정하는 단계와,
각 신체 영역의 신체의 키포인트 정보 및 각 손 영역의 손의 키포인트 정보에 의해 각 손 영역에 관련되는 신체 영역을 특정하는 단계와, 각 신체 영역에 대응하는 사람의 신원 정보에 의해 각 신체 영역에 관련되는 손 영역에 대응하는 사람의 신원 정보를 각각 특정하는 단계와,
각 손 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 손 영역에 관련되는 피교환물 영역을 특정하는 단계와, 각 손 영역에 대응하는 사람의 신원 정보에 의해 각 손 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하는 단계를 포함해도 된다.
예를 들면, 피처리 이미지를 검출할 때, 카테고리가 얼굴인 목표 영역, 카테고리가 신체인 목표 영역, 카테고리가 손인 목표 영역 및 카테고리가 피교환물인 목표 영역을 검출하여 피처리 이미지에서 얼굴 영역, 신체 영역, 손 영역 및 피교환물 영역의 영역 이미지를 잘라내도 된다.
가능한 일 실시형태에서는, 얼굴 영역에 대해서는 이 얼굴 영역의 영역 이미지에 대해 얼굴 인식을 행하고, 영역 이미지에서의 얼굴의 키포인트 정보(예를 들면, 17개의 얼굴의 키포인트)를 추출하고, 이 얼굴의 키포인트 정보를 데이터베이스에서의 대조 인원의 얼굴 이미지 및/또는 얼굴 특징 정보와 대조하고, 이 얼굴의 키포인트 정보와 매칭되는 대조 인원의 신원을 이 얼굴 영역에 대응하는 사람의 신원으로서, 사람의 신원 정보를 특정해도 된다. 또한, 얼굴의 키포인트 정보 및 신원 정보를 이 얼굴 영역의 인식 결과로서 특정해도 된다. 예를 들면, 얼굴 영역(A)의 얼굴의 키포인트 정보와 매칭되고 있는(예를 들면, 유사도가 미리 설정된 유사도 임계값 이상인) 대조 인원이 유희자(M)이면, 이 얼굴 영역을 유희자(M)의 얼굴로서 특정한다. 이와 같이, 얼굴 영역에 대응하는 사람의 얼굴 특징 및 신원을 특정할 수 있다.
가능한 일 실시형태에서는, 신체 영역에 대해서는 이 신체 영역의 영역 이미지에 대해 신체 인식을 행하고, 영역 이미지에서 신체의 키포인트 정보(예를 들면, 14개의 신체의 관절 부분의 키포인트)를 추출하고, 이 신체의 키포인트 정보를 이 신체 영역의 인식 결과로 해도 된다. 가능한 일 실시형태에서는, 신체 인식 네트워크에 의해 이 신체 영역의 영역 이미지를 처리하여 이 신체 영역의 인식 결과를 획득해도 된다. 이 신체 인식 네트워크는 예를 들면, 심층 합성곱 뉴럴 네트워크여도 된다. 본 발명은 신체 인식 네트워크의 네트워크 종류 및 네트워크 구조를 제한하지 않는다. 이와 같이, 신체 영역에 대응하는 사람의 신체 특징을 특정할 수 있다.
가능한 일 실시형태에서는, 손 영역에 대해서는 이 손 영역의 영역 이미지에 대해 손 인식을 행하고, 영역 이미지에서의 손의 키포인트 정보(예를 들면, 손의 4개의 관절 부분의 키포인트)를 추출하고, 이 손의 키포인트 정보를 이 손 영역의 인식 결과로 해도 된다. 가능한 일 실시형태에서는, 손 인식 네트워크에 의해 이 손 영역의 영역 이미지를 처리하여 이 손 영역의 인식 결과를 획득해도 된다. 이 손 인식 네트워크는 예를 들면, 심층 합성곱 뉴럴 네트워크여도 된다. 본 발명은 손 인식 네트워크의 네트워크 종류 및 네트워크 구조를 제한하지 않는다. 이와 같이, 손 영역에 대응하는 사람의 손 특징을 특정할 수 있다.
가능한 일 실시형태에서는, 얼굴 영역과 신체 영역의 인식 결과를 획득한 후, 각 얼굴 영역과 신체 영역의 인식 결과에 의해 얼굴과 신체를 연동하도록 해도 된다. 예를 들면, 얼굴 영역(A)의 얼굴의 키포인트 정보가 존재하는 영역과 신체 영역(B)의 신체의 키포인트 정보가 존재하는 영역의 중첩 영역의 면적이 미리 설정된 면적 임계값을 초과하는 경우, 이 얼굴 영역(A)과 이 신체 영역(B)이 관련되고, 즉, 이 얼굴 영역(A)과 이 신체 영역(B)이 동일한 사람(예를 들면, 유희자)에 대응하는 것으로 생각된다. 이 경우, 이 얼굴 영역(A)에 대응하는 사람의 신원을 신체 영역(B)에 대응하는 사람의 신원으로 할 수 있고, 즉 신체 영역(B)이 유희자(M)의 신체이다. 이와 같이, 얼굴과 신체 사이의 연동을 실현하고, 얼굴의 신원에 의해 신체의 신원을 특정할 수 있어, 인식의 효율 및 정확성을 높일 수 있다.
가능한 일 실시형태에서는, 신체 영역과 손 영역의 인식 결과를 획득한 후, 각 신체 영역과 손 영역의 인식 결과에 의해 신체와 손을 연동하도록 해도 된다. 예를 들면, 신체 영역(B)의 신체의 키포인트 정보와 손 영역(C)의 손의 키포인트 정보가 미리 설정된 조건을 만족한 경우에 신체 영역(B)과 손 영역(C)이 관련되고, 즉, 신체 영역(B)과 손 영역(C)이 동일한 사람(예를 들면, 유희자)에 대응하는 것으로 생각된다. 이 경우에 신체 영역(B)에 대응하는 사람의 신원을 손 영역(C)에 대응하는 사람의 신원으로 할 수 있고, 즉 손 영역(C)이 유희자(M)의 손이다.
가능한 일 실시형태에서는, 각 신체 영역의 신체의 키포인트 정보 및 각 손 영역의 손의 키포인트 정보에 의해 각 손 영역에 관련되는 신체 영역을 특정하는 단계는
각 신체 영역 중 어느 하나인 제3 신체 영역의 신체의 키포인트 정보와 각 손 영역 중 어느 하나인 제2 손 영역의 손의 키포인트 정보가 미리 설정된 조건을 만족하는 경우에 상기 제3 신체 영역과 상기 제2 손 영역이 관련되는 것으로 특정하는 단계를 포함해도 된다.
예를 들면, 각 신체 영역과 각 손 영역을 각각 판단해도 된다. 어느 하나의 신체 영역(여기서, 제3 신체 영역으로 불러도 됨) 및 어느 하나의 손 영역(여기서, 제2 손 영역으로 불러도 됨)에 대해서는 제3 신체 영역의 신체의 키포인트 정보와 제2 손 영역의 손의 키포인트 정보의 관련을 해석해도 된다. 제3 신체 영역의 신체의 키포인트 정보와 제2 손 영역의 손의 키포인트 정보가 미리 설정된 조건을 만족하는 경우, 제3 신체 영역과 제2 손 영역이 관련되는 것으로 특정해도 된다.
가능한 일 실시형태에서는, 이 미리 설정된 조건은 예를 들면, 신체 영역(B)의 신체의 키포인트 정보가 존재하는 영역과 손 영역(C)의 손의 키포인트 정보가 존재하는 영역의 중첩 영역의 면적이 미리 설정된 면적 임계값 이상인 것, 신체 영역(B)의 신체의 키포인트 정보가 존재하는 영역과 손 영역(C)의 손의 키포인트 정보가 존재하는 영역의 거리가 미리 설정된 거리 임계값 이하인 것, 또는 신체 영역(B)의 신체의 키포인트 중 팔꿈치 부분의 키포인트와 손 부분의 키포인트의 제1 연결선과, 손 영역(C)의 손의 키포인트끼리의 제2 연결선이 이루는 협각이 미리 설정된 각도 범위 내에 있는 것이어도 된다. 본 발명은 신체 영역과 손 영역의 관련을 판단하기 위한 미리 설정된 조건을 제한하지 않는다.
이와 같이, 신체와 손의 연동을 실현하고, 신체의 신원에 의해 손의 신원을 특정할 수 있어, 인식의 효율 및 정확성을 높일 수 있다.
가능한 일 실시형태에서는, 미리 설정된 조건은,
상기 제3 신체 영역의 신체의 키포인트 정보가 존재하는 영역과 상기 제2 손 영역의 손의 키포인트 정보가 존재하는 영역의 중첩 영역의 면적이 제2 면적 임계값 이상인 것,
상기 제3 신체 영역의 신체의 키포인트 정보가 존재하는 영역과 상기 제2 손 영역의 손의 키포인트 정보가 존재하는 영역의 거리가 제4 거리 임계값 이하인 것,
상기 제3 신체 영역의 신체의 키포인트 정보 중 팔꿈치 부분의 키포인트와 손 부분의 키포인트의 연결선인 제1 연결선과, 상기 제2 손 영역의 손의 키포인트 정보 중 손의 키포인트끼리의 연결선인 제2 연결선이 이루는 협각이 협각 임계값 이하인 것 중 적어도 일방을 포함한다.
예를 들면, 어느 하나의 신체 영역(여기서, 제3 신체 영역으로 불러도 됨) 및 어느 하나의 손 영역(여기서, 제2 손 영역으로 불러도 됨)에 대해서는 제3 신체 영역의 신체의 키포인트 정보와 제2 손 영역의 손의 키포인트 정보의 관련을 해석해도 된다.
일례로는 제3 신체 영역의 신체의 키포인트 정보가 존재하는 영역과 상기 제2 손 영역의 손의 키포인트 정보가 존재하는 영역의 중첩 영역의 면적을 계산해도 된다. 이 면적이 미리 설정된 제2 면적 임계값 이하인 경우, 제3 신체 영역과 제2 손 영역이 관련되는 것으로 특정해도 된다. 당업자이면 실제 상황에 따라 이 제2 면적 임계값을 설정할 수 있지만, 본 발명은 이 제2 면적 임계값이 취해지는 값을 제한하지 않는다.
일례로는 제3 신체 영역의 신체의 키포인트 정보가 존재하는 영역과 제2 손 영역의 손의 키포인트 정보가 존재하는 영역의 거리, 예를 들면, 제3 신체 영역의 중심점과 제2 손 영역의 중심점의 거리를 계산해도 된다. 이 거리가 미리 설정된 제4 거리 임계값 이하인 경우, 제3 신체 영역과 제2 손 영역이 관련되는 것으로 특정해도 된다. 당업자이면 실제 상황에 따라 이 제4 거리 임계값을 설정할 수 있지만, 본 발명은 제4 거리 임계값이 취해지는 값을 제한하지 않는다.
일례로는 제3 신체 영역의 신체의 키포인트 정보의 제1 연결선과 제2 손 영역의 손의 키포인트 정보의 제2 연결선이 이루는 협각을 계산해도 된다. 이 제1 연결선은 신체 영역의 신체의 키포인트 정보 중 팔꿈치 부분의 키포인트와 손 부분의 키포인트의 연결선이어도 되고, 제2 연결선은 손 영역의 손의 키포인트 정보 중 손의 키포인트끼리의 연결선이어도 된다. 이 협각이 미리 설정된 협각 임계값 이하인 경우, 제3 신체 영역과 제2 손 영역이 관련되는 것으로 특정해도 된다. 당업자이면 실제 상황에 따라 이 협각 임계값을 설정할 수 있지만, 본 발명은 이 협각 임계값이 취해지는 값을 제한하지 않는다.
도 3a와 도 3b는 본 발명의 실시예에 따른 이미지 처리 방법에서의 신체의 키포인트 정보 및 손의 키포인트 정보의 모식도를 나타낸다. 도 3a에 나타내는 바와 같이 신체 영역에는 17개의 신체의 키포인트를 포함해도 되고, 그 중, 3과 6은 팔꿈치 부분의 키포인트이고, 4와 7은 손 부분의 키포인트이며, 3과 4의 연결선과 6과 7의 연결선을 제1 연결선으로 할 수 있다. 도 3b에 나타내는 바와 같이 손 영역은 16개 또는 21개의 손의 키포인트를 포함해도 되고, 키포인트(31, 32)의 연결선을 제2 연결선으로 할 수 있다.
도 3a와 도 3b는 신체의 키포인트 정보 및 손의 키포인트 정보의 예시적인 예에 불과한 것으로 이해되어야 하고, 본 발명은 신체의 키포인트 정보 및 손의 키포인트 정보의 종류 및 제1 연결선과 제2 연결선의 선택을 제한하지 않는다.
가능한 일 실시형태에서는, 단계(S13)에서 손과 피교환물 영역의 연동을 행하도록 해도 된다. 각 손 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 손 영역을 특정해도 된다. 또한, 손 영역과 피교환물 영역의 연동에 의해 각 피교환물 영역에 대응하는 사람의 신원 정보를 특정하고, 즉, 피교환물 영역이 관련되는 손 영역에 대응하는 사람의 신원 정보를 피교환물 영역에 대응하는 사람의 신원 정보로서 특정해도 된다.
예를 들면, 손 영역(C)의 위치와 피교환물 영역(D)의 위치의 거리가 미리 설정된 거리 임계값 이하인 경우, 손 영역(C)과 피교환물 영역(D)이 관련되고, 즉, 손 영역(C)과 피교환물 영역(D)이 동일한 사람(예를 들면, 유희자)에 대응하는 것으로 생각된다. 이 경우에 이 피교환물 영역(D)의 복수의 피교환물을 소유하는 사람이 손 영역(C)에 대응하는 사람(M)인 것으로 특정할 수 있고, 예를 들면, 영역(D)의 피교환물이 유희자(M)가 BET한 피교환물인 것으로 특정할 수 있다.
가능한 일 실시형태에서는, 유희의 BET 단계에서 각 피교환물 영역(BET된 피교환물)을 특정하고, 각 피교환물 영역의 피교환물(피교환물)을 소유한 유희자를 특정해도 된다. 예를 들면, 유희의 BET 단계에서 통상적으로 유희자가 BET되는 피교환물을 유희대에 놓기 때문에, BET시의 손과 피교환물의 거리가 가깝다. 이 경우에 이 손에 대응하는 유희자를 이 복수의 피교환물을 소유하는 유희자로서 특정하고, 사람과 물체의 연동을 실현할 수 있다. 그 후, 피교환물을 추적하여, 추적 관련이 바뀌지 않으면 이 피교환물이 여전히 이 유희자에게 속하는 것이다.
이와 같이, 얼굴, 신체, 손 및 피교환물의 4자의 캐스케이드에 의해 피교환물을 소유하는 사람의 신원을 특정할 수 있어, 인식의 성공률 및 정확성을 높일 수 있다.
도 4는 본 발명의 실시예에 의해 제공되는 이미지 처리 방법의 처리 순서의 모식도를 나타낸다. 도 4에 나타내는 바와 같이, 감시 영역의 이미지 프레임(피처리 이미지)을 입력하고, 이미지 프레임을 검출하고, 복수의 목표 영역 및 각 영역의 카테고리, 예를 들면, 얼굴, 신체, 손, 피교환물(예를 들면, 칩), 교환물(예를 들면, 현금)을 특정해도 된다. 상기 이미지 프레임은 유희대의 측면 및 상방에 설치된 적어도 하나의 카메라에 의해 획득된 동일한 시점의 이미지여도 된다.
도 4에 나타내는 바와 같이, 각 목표 영역의 카테고리에 따라 각각 처리해도 된다. 얼굴 영역에 대해서는 이 영역의 이미지에 대해 얼굴 인식을 행하고, 즉 얼굴의 키포인트를 추출하고, 얼굴의 키포인트를 데이터베이스에서의 대조 인원의 얼굴 이미지 및/또는 얼굴 특징과 대조하여, 상기 얼굴 영역에 대응하는 인원의 신원(예를 들면, 유희자(M))을 특정해도 된다.
신체 영역에 대해서는 이 영역의 이미지에 대해 신체의 키포인트를 추출하여 얼굴 영역의 얼굴의 키포인트와 신체 영역의 신체의 키포인트에 의해 얼굴과 신체를 연동하여, 신체에 대응하는 인원의 신원을 특정해도 된다.
손 영역에 대해서는 이 영역의 이미지에 대해 손의 키포인트를 추출하여 신체 영역의 신체의 키포인트와 손 영역의 손의 키포인트에 의해 신체와 손을 연동하여 손에 대응하는 인원의 신원을 특정해도 된다.
피교환물 영역에 대해서는 손 영역의 위치와 피교환물 영역의 위치에 의해 손과 피교환물을 연동해도 된다. 이와 같이, 캐스케이드 방식(얼굴-신체-손-피교환물)에 의해 얼굴과 피교환물의 연동을 실현하고, 최종적으로 피교환물을 소유하는 인원의 신원을 특정한다. 또한, 이 피교환물 영역의 이미지에 대해 피교환물 인식을 행하고, 즉, 영역 이미지에서 피교환물 특징을 추출하여 각 피교환물의 위치 및 카테고리(예를 들면, 가치)를 특정해도 된다.
도 4에 나타내는 바와 같이, 얼굴과 피교환물의 연동을 완료한 후, 검출된 인식 결과 및 각 영역간의 관련 정보를 출력하여 사람과 물체의 연동의 전체 과정을 실현할 수 있다.
가능한 일 실시형태에서는, 상기 유희에 관한 목표 영역은 교환물 영역을 추가로 포함하고,
단계(S11)는 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 피교환물 영역 및 교환물 영역을 특정하는 단계를 포함해도 되고,
단계(S12)는 상기 피교환물 영역에 대해 피교환물 인식 및 분류를 행하여, 상기 피교환물 영역에서의 각 피교환물의 위치 및 카테고리를 획득하는 단계와,
상기 교환물 영역에 대해 교환물 인식 및 분류를 행하여, 상기 교환물 영역에서의 각 교환물의 카테고리를 획득하는 단계를 포함해도 되고,
상기 방법은,
교환 기간에 교환물 영역에서의 각 교환물의 카테고리에 의해 상기 교환물 영역에서의 각 교환물의 제1 총 가치를 특정하는 단계와,
상기 교환 기간 내에 피교환물 영역에서의 각 피교환물의 위치 및 카테고리에 의해 상기 피교환물 영역에서의 각 피교환물의 제2 총 가치를 특정하는 단계와,
상기 제1 총 가치와 상기 제2 총 가치가 상이한 경우에 제2 제시 정보를 제시하는 단계를 추가로 포함한다.
예를 들면, 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 피교환물 영역 및 교환물 영역을 특정해도 된다. 목표 영역의 카테고리가 피교환물(예를 들면, 칩)인 것으로 검출된 경우에 이 피교환물 영역의 영역 이미지에 대해 피교환물 인식을 행하고, 영역 이미지에서의 각 피교환물의 특징을 추출하고, 각 피교환물을 구분하여 각 피교환물의 위치를 특정하고, 추가로 각 피교환물의 카테고리(피교환물의 가치, 예를 들면, 10/20/50/100)를 특정해도 된다. 피교환물 영역에서의 각 피교환물의 위치 및 카테고리를 이 피교환물 영역의 인식 결과로 한다.
가능한 일 실시형태에서는, 피교환물 인식 네트워크에 의해 이 피교환물 영역의 영역 이미지를 처리하여 이 피교환물 영역의 인식 결과를 획득해도 된다. 이 피교환물 인식 네트워크는 예를 들면, 심층 합성곱 뉴럴 네트워크여도 된다. 본 발명은 피교환물 인식 네트워크의 네트워크 종류 및 네트워크 구조를 제한하지 않는다.
이와 같이, 피교환물 영역의 각 피교환물의 위치 및 카테고리를 특정할 수 있다.
가능한 일 실시형태에서는, 유희에 관한 목표 영역은 교환물 영역을 추가로 포함하고, 이 영역에 교환물(예를 들면, 현금)이 놓여 있어도 된다. 유희 개시 전에 교환 기간을 갖고, 이 단계에서 유희자가 자신의 교환물(예를 들면, 현금)로 피교환물과 교환하는 것을 종업원에게 청구해도 된다. 이 과정은 예를 들면, 유희자가 현금을 종업원에게 전달하는 것과, 종업원가 손 앞의 지정 영역에서 현금을 미리 설정된 규칙으로 정렬하여 현금의 총액면 금액을 특정하는 것과, 나중에 종업원가 현금을 수취하고, 피교환물의 박스에서 동등한 금액의 피교환물을 꺼내어 유희대 상면에 놓는 것과, 나중에 유희자가 피교환물을 체크하여 수취하는 것을 포함해도 된다.
가능한 일 실시형태에서는, 교환 기간에, 유희대 상면의 피처리 이미지를 해석하여 상기 피처리 이미지에서의 교환물 영역을 특정해도 된다. 분류기에 의해 피처리 이미지를 검출하여 이미지에서의 목표 위치를 특정해도 된다. 목표 영역이 교환물 영역인 경우, 교환물 영역의 영역 이미지를 잘라내고, 영역 이미지에서의 교환물 특징을 추출하고, 각 교환물을 구분하여 각 교환물의 위치를 특정하고, 또한 각 교환물의 카테고리(현금 가치, 예를 들면, 10/20/50/100위안)를 특정해도 된다.
도 4에 나타내는 바와 같이, 교환물 영역에 대해 현금 인식을 행하고, 즉, 이 영역의 이미지에서의 교환물 특징을 추출하여 각 현금의 위치 및 카테고리(가치)를 특정해도 된다. 교환물 영역에서의 각 교환물의 위치 및 카테고리를 이 교환물 영역의 인식 결과로서 출력하여 후속 처리를 행해도 된다.
가능한 일 실시형태에서는, 교환물 인식 네트워크에 의해 이 교환물 영역의 영역 이미지를 처리하여 이 교환물 영역의 인식 결과를 획득해도 된다. 이 교환물 인식 네트워크는 예를 들면, 심층 합성곱 뉴럴 네트워크여도 된다. 본 발명은 교환물 인식 네트워크의 네트워크 종류 및 네트워크 구조를 제한하지 않는다.
이와 같이, 교환물 영역에서의 각 교환물의 위치 및 카테고리를 인식하고, 교환물 영역에서의 교환물의 총 가치를 자동적으로 계산하여, 종업원의 일을 보조하고, 효율 및 정확률을 높일 수 있다.
가능한 일 실시형태에서는, 본 발명의 실시예는 종업원에 의한 물체간의 등가 교환을 보조할 수 있다. 교환 기간에 현금의 출현을 트리거 신호로 하고, 피교환물이 사라지는 것을 종료 신호로 한 기간의 전체 과정을 현금과 피교환물의 등가 교환 과정으로 해도 된다. 이 과정에서 종업원가 현금을 정렬했을 때, 피처리 이미지(비디오 프레임)에서의 교환물 영역을 검출하고, 교환물 영역에서의 각 교환물을 인식, 분류하고, 교환물 영역에서의 각 교환물의 위치 및 카테고리를 특정할 수 있다.
가능한 일 실시형태에서는, 교환물 영역에서의 각 교환물의 위치 및 카테고리에 의해 교환물 영역에서의 각 교환물의 제1 총 가치를 계산해도 된다. 예를 들면, 액면 금액이 100인 교환물 3장, 액면 금액이 50인 교환물 1장의 경우에 제1 총 가치가 350이다.
가능한 일 실시형태에서는, 종업원가 동등한 금액의 피교환물을 유희대 상면에 놓았을 때, 피처리 이미지(비디오 프레임)에서의 피교환물 영역을 검출하고, 이 피교환물 영역을 인식, 분류하고, 피교환물 영역에서의 각 피교환물의 위치 및 카테고리를 특정할 수 있다.
가능한 일 실시형태에서는, 피교환물 영역에서의 각 피교환물의 위치 및 카테고리에 의해 피교환물 영역에서의 각 피교환물의 제2 총 가치를 계산해도 된다. 예를 들면, 액면 금액이 50인 피교환물 4개, 액면 금액이 20인 피교환물 5개, 액면 금액이 10인 피교환물 5개의 경우에 제2 총 가치가 350이다.
가능한 일 실시형태에서는, 제1 총 가치와 상기 제2 총 가치를 비교하여, 제1 총 가치와 상기 제2 총 가치가 동일한 경우(예를 들면, 전부 350), 처리하지 않고, 제1 총 가치와 상기 제2 총 가치에 차가 존재하는 경우(예를 들면, 제1 총 가치가 350이고, 제2 총 가치가 370인 경우), 제시 정보(제2 제시 정보로 불러도 됨)를 제시해도 된다. 이 제시 정보는 음성, 이미지, 진동 등의 방식, 예를 들면, 경고음을 내거나, 음성을 제시하거나, 대응하는 표시 장치에 경고 이미지 또는 문자를 표시하거나, 또는 단말의 진동을 종업원에게 감지시키는 것 등을 포함해도 된다. 본 발명은 제2 제시 정보의 종류를 제한하지 않는다.
이와 같이, 교환물과 피교환물의 가치를 자동으로 인식하고, 교환물과 피교환물의 가치에 차가 존재하는 경우, 종업원에게 확인, 수정하도록 제시함으로써, 교환 과정에서의 실수를 방지하고, 조작 효율 및 정확률을 높일 수 있다.
가능한 일 실시형태에서는, 상기 유희에 관한 목표 영역은 유희 진행 영역을 추가로 포함하고, 단계(S11)는 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 유희 진행 영역을 특정하는 단계를 포함하고,
단계(S12)는 상기 유희 진행 영역에 대해 카드 인식 및 분류를 행하여, 상기 유희 진행 영역에서의 각 카드의 위치 및 카테고리를 획득하는 단계를 포함한다.
예를 들면, 관련 기술에서는 일반적으로 딜러 장치에 의해 막 배당된 포커를 인식한다. 그러나, 딜러 장치에서는 일정한 오류율이 존재한다. 본 발명의 실시예에 의하면, 유희대 상면에 유희 진행 영역을 미리 설치하고, 유희 진행 영역을 검출하고, 이 영역의 영역 이미지에 대해 카드 인식을 행하고, 영역 이미지의 각 카드의 특징을 추출하고, 또한 각 카드의 위치 및 카테고리(포커의 정면, 예를 들면, 하트 6/다이아몬드 10 등)를 특정할 수 있다. 유희 진행 영역에서의 각 카드의 위치 및 카테고리를 이 유희 진행 영역의 인식 결과로 한다.
가능한 일 실시형태에서는, 카드 인식 네트워크에 의해 이 유희 진행 영역의 영역 이미지를 처리하여 이 유희 진행 영역의 인식 결과를 획득해도 된다. 이 카드 인식 네트워크는 예를 들면, 심층 합성곱 뉴럴 네트워크여도 된다. 본 발명은 카드 인식 네트워크의 네트워크 종류 및 네트워크 구조를 제한하지 않는다.
이와 같이, 유희 진행 영역의 각 카드의 위치 및 카테고리를 자동적으로 특정할 수 있고, 카드 인식의 효율 및 정확률을 높일 수 있다.
가능한 일 실시형태에서는, 상기 방법은 카드를 배당하는 단계에서 상기 유희 진행 영역에서의 각 카드의 카테고리와 미리 설정된 카테고리가 상이한 경우에 제3 제시 정보를 제시하는 단계를 추가로 포함한다.
예를 들면, 막 배당된 카드를 딜러 장치에 의해 인식하고, 이 카드의 미리 설정된 카테고리를 특정하고, 이 카드가 유희 진행 영역에 놓였을 때, 유희 진행 영역의 이미지를 인식하여, 이 카드의 카테고리를 특정해도 된다. 카드의 카테고리와 미리 설정된 카테고리가 동일한 경우, 처리하지 않고, 카드의 카테고리와 미리 설정된 카테고리가 상이한 경우, 제시 정보(제3 제시 정보로 불러도 됨)를 제시한다. 이 제시 정보는 음성, 이미지, 진동 등의 방식, 예를 들면, 경고음을 내거나, 음성을 제시하거나, 대응하는 표시 장치에 경고 이미지 또는 문자를 표시하거나, 또는 단말의 진동을 종업원에게 감지시키는 것 등을 포함해도 된다. 본 발명은 제3 제시 정보의 종류를 제한하지 않는다.
이와 같이, 유희 진행 영역의 각 카드의 카테고리를 자동적으로 인식하고, 카드의 카테고리와 미리 설정된 카테고리가 상이한 경우, 종업원에게 확인, 수정하도록 제시함으로써, 실수를 방지하고, 조작 효율 및 정확률을 높일 수 있다.
가능한 일 실시형태에서는, 상기 방법은 카드를 배당하는 단계에서 상기 유희 진행 영역에서의 각 카드의 위치 및 카테고리와 각 카드의 미리 설정된 위치 및 미리 설정된 규칙이 상이한 경우에 제4 제시 정보를 제시하는 단계를 추가로 포함한다.
예를 들면, 유희 진행 영역에서 미리 설정된 상이한 위치는 미리 설정된 규칙에 해당하는 카드를 두기 위해 이용되는 경우가 있다. 예를 들면, 미리 설정된 규칙은 유희 진행 영역에서 미리 설정된 상이한 위치, 예를 들면, 유희 진행 영역에서의 제1 위치(예를 들면, 뱅커)와 제2 위치(예를 들면, 플레이어)에 차례대로 카드를 배당한다. 이 경우, 유희 진행 영역의 이미지를 인식함으로써, 매회 배당된 카드의 위치 및 카테고리를 특정할 수 있다. 카드의 위치(예를 들면, 플레이어 위치)가 미리 설정된 위치(예를 들면, 플레이어 위치)와 동일한 경우, 처리하지 않고, 카드의 위치가 미리 설정된 위치와 상이한 경우, 제시 정보(제4 제시 정보로 불러도 됨)를 제시한다. 이 제시 정보는 음성, 이미지, 진동 등의 방식, 예를 들면, 경고음을 내거나, 음성을 제시하거나, 대응하는 표시 장치에 경고 이미지 또는 문자를 표시하거나, 또는 단말의 진동을 종업원에게 감지시키는 것 등을 포함해도 된다. 본 발명은 제4 제시 정보의 종류를 제한하지 않는다.
이와 같이, 유희 진행 영역의 각 카드의 위치 및 카테고리를 자동적으로 인식하고, 카드의 위치 및 카테고리와 각 카드의 미리 설정된 위치 및 미리 설정된 규칙이 상이한 경우, 종업원에게 확인, 수정하도록 제시함으로써 실수를 방지하고, 조작 효율 및 정확률을 높일 수 있다.
가능한 일 실시형태에서는, 상기 방법은,
배당 단계에서 유희 진행 영역에서의 각 카드의 카테고리에 의해 유희 결과를 특정하는 단계와,
유희 결과와 각 사람에 관련되는 피교환물 영역의 위치에 의해 각 사람의 배당 규칙을 특정하는 단계와,
각 사람의 배당 규칙 및 각 사람에 관련되는 피교환물 영역에서의 피교환물의 가치에 의해 각 사람의 배당되는 가치를 특정하는 단계를 추가로 포함한다.
예를 들면, 유희 중, 피처리 이미지를 검출함으로써, 이미지에서의 복수의 목표 영역 및 그 카테고리를 특정하고, 각 목표 영역을 인식하고, 각 목표 영역간의 관련을 특정해도 된다. 유희가 종료된 후의 배당 단계에서 유희 진행 영역에서의 각 카드의 카테고리 및 미리 설정된 유희 규칙에 의해 유희 결과(예를 들면, 제1 역(예를 들면, 뱅커)의 승리 또는 제2 역(예를 들면, 플레이어의 승리))를 특정해도 된다.
가능한 일 실시형태에서는, 각 사람(즉, 유희자)에 관련되는 피교환물 영역의 위치에 의해 각 유희자의 BET 상황(예를 들면, 제1 역의 승리 또는 제2 역의 승리를 예상하여 BET함)을 특정하고, 이 유희 결과 및 각 유희자의 BET 상황에 의해 각 사람의 배당 규칙(예를 들면, 3배)을 특정해도 된다. 각 사람의 배당 규칙을 특정한 후, 각 사람(즉, 유희자)에 관련되는 피교환물 영역에서의 피교환물의 가치에 의해 각 사람의 배당되는 가치를 특정해도 된다.
이와 같이, 인식 결과 및 각 영역의 관련에 의해 유희 결과를 자동적으로 해석하고, 각 사람의 배당되는 가치를 특정함으로써, 종업원의 판단을 보조하여, 조작 효율 및 정확률을 높일 수 있다.
가능한 일 실시형태에서는, 상기 방법은 각 목표 영역간의 관련 정보를 특정한 후에,
각 목표 영역간의 관련 정보에 의해 상기 피처리 이미지에서의 사람의 행동이 미리 설정된 행동 규칙에 해당하는지 여부를 판단하는 단계와, 상기 피처리 이미지에서의 사람의 행동이 미리 설정된 행동 규칙에 해당하지 않는 경우에 제1 제시 정보를 제시하는 단계를 추가로 포함한다.
예를 들면, 각 목표 영역간의 관련 정보를 특정한 후, 추가로 피처리 이미지에서의 각 사람(예를 들면, 유희자)의 행동이 미리 설정된 행동 규칙에 해당하는지 여부를 판단해도 된다. 이 미리 설정된 행동 규칙은 예를 들면, 교환 기간에만 피교환물을 교환할 수 있는 것, BET 단계에서만 유희대 상에 피교환물을 둘 수 있는 것 등을 포함해도 된다. 피처리 이미지에서의 사람의 행동이 미리 설정된 행동 규칙에 해당하지 않는 경우, 예를 들면, BET 단계 후에 카드를 배당하는 단계에서 유희대 상에 피교환물을 놓고, 피교환물이 놓인 영역이 미리 설정된 놓는 영역 안이 아닌 경우에 제1 제시 정보를 제시하여, 종업원에게 주의하도록 해도 된다.
이와 같이, 이미지에서의 사람의 행동을 자동적으로 판단하고, 행동이 미리 설정된 행동 규칙에 해당하지 않는 경우 종업원에게 제시함으로써, 유희의 질서를 보증하고, 조작 효율 및 정확률을 높일 수 있다.
가능한 일 실시형태에서는, 뉴럴 네트워크를 배치하여 이미지를 처리하기 전에 뉴럴 네트워크를 트레이닝해도 된다. 본 발명의 실시예에 따른 방법은,
라벨링된 샘플 이미지를 복수 포함하는, 미리 설정된 트레이닝 집합에 의해 상기 뉴럴 네트워크를 트레이닝하는 단계를 추가로 포함해도 된다.
예를 들면, 목표 장소의 감시 영역의 복수의 감시 이미지를 획득하고, 각 이미지에서의 피인식 목표를 라벨링해도 된다. 예를 들면, 유희대 부근에서의 인원(예를 들면, 유희자 또는 종업원)의 얼굴, 신체, 손 등의 위치의 이미지 프레임, 유희대 상의 물품(예를 들면, 피교환물)의 위치의 이미지 프레임을 라벨링하고, 또한 각 이미지 프레임의 카테고리 속성(얼굴, 신체, 손, 피교환물, 카드 등) 및 이미지 프레임 내의 각 물체의 속성(예를 들면, 각 피교환물의 위치, 종류 및 액면 금액)을 각각 라벨링한다. 라벨링한 후, 라벨링 데이터를 특정 코드로 변환해도 된다.
가능한 일 실시형태에서는, 라벨링이 끝난 복수의 이미지를 샘플로서 트레이닝 집합을 구성하고, 라벨링 데이터를 변환한 코드를 모니터링 신호로서 뉴럴 네트워크(검출 네트워크 및 목표 인식 네트워크)를 트레이닝해도 된다. 검출 네트워크 및 목표 인식 네트워크의 각 서브 네트워크(얼굴 인식 네트워크, 신체 인식 네트워크, 손 인식 네트워크, 피교환물 인식 네트워크, 교환물 인식 네트워크, 카드 인식 네트워크 등)를 각각 트레이닝해도 되고, 동시에 트레이닝해도 된다. 트레이닝을 복수회 반복시킨 후, 정밀도 요구를 만족하고, 안정적이고 또한 이용 가능한 뉴럴 네트워크가 얻어진다. 본 발명은 뉴럴 네트워크의 구체적인 트레이닝 방식을 제한하지 않는다.
본 발명의 실시예는 테이블 게임 등의 장면에 사용되고, 유희 과정의 완성을 보조할 수 있다. 예를 들면, 유희 개시 전에, 유희자가 앉은 후, 이 유희자가 유희에 참여하고자 하여, 각 유희자의 얼굴 정보에 의해 신원을 특정(얼굴 인증 등록)하는 것, 피교환물이 없는 일부 유희자는 교환물로 피교환물과 교환하는 경우에 알고리즘을 기동하여 유희자의 교환물과 종업원(딜러)가 놓은 피교환물을 각각 인식하고, 쌍방이 등가인 것인지 여부를 검증하여, 등가의 것이 아닌 경우에 다시 계산하도록 종업원에게 제시하는 것, 피교환물과 교환한 후, 유희자는 BET하고, 상이한 사람이 상이한 손실 확률의 영역에서 BET하기 때문에, 알고리즘에 의해 각 영역에 피교환물이 얼마나 BET되었는지를 검출하는 것, 각 영역의 연동용 알고리즘에 의해 피교환물의 스택마다 어떤 유희자가 BET한 것인지를 특정하는 것, BET한 후, 종업원가 카드를 배당하고, 카드 인식에 의해 포커의 카테고리를 장마다 특정하고, 승부를 자동적으로 계산하는 것, 다음에 진행되는 배당 단계에서 종업원는 손실 확률에 기초하여 소정의 수량의 피교환물을 꺼내고, 시스템은 손실 확률과 유희자가 BET한 피교환물의 금액에 의해 등가의 배당인지 여부를 계산하는 것, 배당이 종료된 후 본회의 유희를 종료할 수 있다.
본 발명의 실시예에 의하면, 엔드 투 엔드의 유희 보조 기능을 실현할 수 있고, 카드, 교환물 및 피교환물 등을 포함하는 유희대 상면의 물체나 사람을 인식할 수 있고, 종업원의 수동으로의 계산을 대폭으로 감소시키고, 오류율을 저감시켜, 효율을 높일 수 있고, 유희자와 종업원 등의 관련자에 대한 협력 요구가 많지 않아, 관련자의 체험에 영향을 미치는 경우가 없다.
본 발명의 실시예에 의하면, 심층 학습 기술을 사용함으로써, 검출과 인식의 효과가 보다 우수하고, 보다 복잡한 장면에 대응 가능하며, 환경 적응성이 보다 우수하고, 로버스트성이 보다 우수하다. 또한, 장면의 콘텍스트 정보를 기초로 물체의 교환(유희자가 교환물을 꺼내고, 종업원가 체크한 후 피교환물을 전달하는 것)을 인식할 수 있어, 오류율을 더욱 저감시킨다.
본 발명에서 언급되는 상기 각 방법의 실시예는 원리와 논리에 위반되지 않는 한, 서로 조합하여 실시예를 형성할 수 있는 것으로 이해될 수 있고, 분량에 한정이 있으므로, 본 발명에서는 그 설명을 생략한다. 당업자이면 구체적인 실시형태의 상기 방법에 있어서, 각 단계의 구체적인 실행 순서는 그 기능과 가능한 내재적 논리에 의존하는 것으로 이해될 수 있다.
또한, 본 발명은 이미지 처리 장치, 전자 기기, 컴퓨터 판독 가능 기억 매체 및 프로그램을 추가로 제공하고, 이들 전부가 본 발명에서 제공되는 어느 하나의 이미지 처리 방법을 실현하기 위해 이용 가능하고, 그에 대응하는 기술 수단 및 설명에 대해서는 방법 부분이 대응하는 기재를 참조하면 되고, 여기서 생략한다.
도 5는 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 나타낸다. 도 5에 나타내는 바와 같이, 상기 이미지 처리 장치는
적어도 사람의 구체의 일부 및 유희대 상의 일부 이미지를 포함하는 피처리 이미지를 검출하여, 사람에 관한 목표 영역과 유희에 관한 목표 영역을 포함하는 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하기 위한 영역 특정 모듈(51)과, 상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득하기 위한 목표 인식 모듈(52)과, 각 목표 영역의 위치 및/또는 인식 결과에 의해 각 목표 영역간의 관련 정보를 특정하기 위한 영역 연동 모듈(53)을 포함한다.
가능한 일 실시형태에서는, 상기 장치는 각 목표 영역간의 관련 정보를 특정한 후, 각 목표 영역간의 관련 정보에 의해 상기 피처리 이미지에서의 사람의 행동이 미리 설정된 행동 규칙에 해당하는지 여부를 판단하기 위한 행동 판단 모듈과, 상기 피처리 이미지에서의 사람의 행동이 미리 설정된 행동 규칙에 해당하지 않는 경우에 제1 제시 정보를 제시하기 위한 제1 제시 모듈을 추가로 포함한다.
가능한 일 실시형태에서는, 상기 사람에 관한 목표 영역은 얼굴 영역을 포함하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함하며,
상기 영역 특정 모듈은 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역과 피교환물 영역을 특정하기 위한 제1 특정 서브 모듈을 포함하고,
상기 목표 인식 모듈은 상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하기 위한 제1 추출 서브 모듈과, 상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하기 위한 제1 신원 특정 서브 모듈을 포함하고,
상기 영역 연동 모듈은 각 얼굴 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 얼굴 영역을 특정하기 위한 제1 연동 서브 모듈과, 각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하기 위한 제2 신원 특정 서브 모듈을 포함한다.
가능한 일 실시형태에서는, 상기 제1 연동 서브 모듈은 각 얼굴 영역 중 어느 하나인 제1 얼굴 영역의 위치와 각 피교환물 영역 중 어느 하나인 제1 피교환물 영역의 위치의 거리가 제1 거리 임계값 이하인 경우에 상기 제1 얼굴 영역과 상기 제1 피교환물 영역이 관련되는 것으로 특정하기 위해 사용된다.
가능한 일 실시형태에서는, 상기 사람에 관한 목표 영역은 얼굴 영역과 신체 영역을 포함하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함하며,
상기 영역 특정 모듈은 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역, 신체 영역 및 피교환물 영역을 특정하기 위한 제2 특정 서브 모듈을 포함하고,
상기 목표 인식 모듈은 상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하기 위한 제1 추출 서브 모듈과, 상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하기 위한 제1 신원 특정 서브 모듈과, 상기 신체 영역에 대해 신체의 키포인트를 추출하여 상기 신체 영역의 신체의 키포인트 정보를 획득하기 위한 제2 추출 서브 모듈을 포함하고,
상기 영역 연동 모듈은 각 얼굴 영역의 얼굴의 키포인트 정보 및 각 신체 영역의 신체의 키포인트 정보에 의해 각 신체 영역에 관련되는 얼굴 영역을 특정하기 위한 제2 연동 서브 모듈과, 각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 신체 영역에 대응하는 사람의 신원 정보를 각각 특정하기 위한 제3 신원 특정 서브 모듈과, 각 신체 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 신체 영역을 특정하기 위한 제3 연동 서브 모듈과, 각 신체 영역에 대응하는 사람의 신원 정보에 의해 각 신체 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하기 위한 제4 신원 특정 서브 모듈을 포함한다.
가능한 일 실시형태에서는, 상기 제3 연동 서브 모듈은 각 신체 영역 중 어느 하나인 제1 신체 영역의 위치와 각 피교환물 영역 중 어느 하나인 제2 피교환물 영역의 위치의 거리가 제2 거리 임계값 이하인 경우에 상기 제1 신체 영역과 상기 제2 피교환물 영역이 관련되는 것으로 특정하기 위해 사용된다.
가능한 일 실시형태에서는, 상기 사람에 관한 목표 영역은 얼굴 영역과 손 영역을 포함하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함하며,
상기 영역 특정 모듈은 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역, 손 영역 및 피교환물 영역을 특정하기 위한 제3 특정 서브 모듈을 포함하고,
상기 목표 인식 모듈은 상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하기 위한 제1 추출 서브 모듈과, 상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하기 위한 제1 신원 특정 서브 모듈을 포함하고,
상기 영역 연동 모듈은 각 얼굴 영역의 위치 및 각 손 영역의 위치에 의해 각 얼굴 영역에 관련되는 손 영역을 특정하기 위한 제4 연동 서브 모듈과, 각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 손 영역에 대응하는 사람의 신원 정보를 각각 특정하기 위한 제5 신원 특정 서브 모듈과, 각 손 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 손 영역에 관련되는 피교환물 영역을 특정하기 위한 제5 연동 서브 모듈과, 각 손 영역에 대응하는 사람의 신원 정보에 의해 각 손 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하기 위한 제6 신원 특정 서브 모듈을 포함한다.
가능한 일 실시형태에서는, 상기 제4 연동 서브 모듈은 각 얼굴 영역 중 어느 하나인 제2 얼굴 영역의 위치와 각 손 영역 중 어느 하나인 제1 손 영역의 위치의 거리가 제3 거리 임계값 이하인 경우에 상기 제2 얼굴 영역과 상기 제1 손 영역이 관련되는 것으로 특정하기 위해 사용된다.
가능한 일 실시형태에서는, 상기 사람에 관한 목표 영역은 얼굴 영역, 신체 영역 및 손 영역을 포함하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함하며,
상기 영역 특정 모듈은 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역, 신체 영역, 손 영역 및 피교환물 영역을 특정하기 위한 제4 특정 서브 모듈을 포함하고,
상기 목표 인식 모듈은 상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하기 위한 제1 추출 서브 모듈과, 상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하기 위한 제1 신원 특정 서브 모듈과, 상기 신체 영역에 대해 신체의 키포인트를 추출하여 상기 신체 영역의 신체의 키포인트 정보를 획득하기 위한 제2 추출 서브 모듈과, 상기 손 영역에 대해 손의 키포인트를 추출하여 상기 손 영역의 손의 키포인트 정보를 획득하기 위한 제3 추출 서브 모듈을 포함하고,
상기 영역 연동 모듈은 각 얼굴 영역의 얼굴의 키포인트 정보 및 각 신체 영역의 신체의 키포인트 정보에 의해 각 신체 영역에 관련되는 얼굴 영역을 특정하기 위한 제2 연동 서브 모듈과, 각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 신체 영역에 대응하는 사람의 신원 정보를 각각 특정하기 위한 제3 신원 특정 서브 모듈과, 각 신체 영역의 신체의 키포인트 정보 및 각 손 영역의 손의 키포인트 정보에 의해 각 손 영역에 관련되는 신체 영역을 특정하기 위한 제6 연동 서브 모듈과, 각 신체 영역에 대응하는 사람의 신원 정보에 의해 각 신체 영역에 관련되는 손 영역에 대응하는 사람의 신원 정보를 각각 특정하기 위한 제7 신원 특정 서브 모듈과, 각 손 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 손 영역에 관련되는 피교환물 영역을 특정하기 위한 제5 연동 서브 모듈과, 각 손 영역에 대응하는 사람의 신원 정보에 의해 각 손 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하기 위한 제6 신원 특정 서브 모듈을 포함한다.
가능한 일 실시형태에서는, 상기 제2 연동 서브 모듈은 각 얼굴 영역 중 어느 하나인 제3 얼굴 영역의 얼굴의 키포인트 정보가 존재하는 영역과 각 신체 영역 중 하나인 제2 신체 영역의 신체의 키포인트 정보가 존재하는 영역의 중첩 영역의 면적이 제1 면적 임계값 이상인 경우에 상기 제3 얼굴 영역과 상기 제2 신체 영역이 관련되는 것으로 특정하기 위해 사용된다.
가능한 일 실시형태에서는, 상기 제6 연동 서브 모듈은 각 신체 영역 중 어느 하나인 제3 신체 영역의 신체의 키포인트 정보와 각 손 영역 중 어느 하나인 제2 손 영역의 손의 키포인트 정보가 미리 설정된 조건을 만족하는 경우에 상기 제3 신체 영역과 상기 제2 손 영역이 관련되는 것으로 특정하기 위해 사용된다.
가능한 일 실시형태에서는, 상기 미리 설정된 조건은 상기 제3 신체 영역의 신체의 키포인트 정보가 존재하는 영역과 상기 제2 손 영역의 손의 키포인트 정보가 존재하는 영역의 중첩 영역의 면적이 제2 면적 임계값 이상인 것, 상기 제3 신체 영역의 신체의 키포인트 정보가 존재하는 영역과 상기 제2 손 영역의 손의 키포인트 정보가 존재하는 영역의 거리가 제4 거리 임계값 이하인 것, 상기 제3 신체 영역의 신체의 키포인트 정보 중 팔꿈치 부분의 키포인트와 손 부분의 키포인트의 연결선인 제1 연결선과, 상기 제2 손 영역의 손의 키포인트 정보 중 손의 키포인트끼리의 연결선인 제2 연결선이 이루는 협각이 협각 임계값 이하인 것 중 적어도 일방을 포함한다.
가능한 일 실시형태에서는, 상기 제5 연동 서브 모듈은 각 손 영역 중 어느 하나인 제3 손 영역과 각 피교환물 영역 중 어느 하나인 제3 피교환물 영역의 거리가 제5 거리 임계값 이하인 경우에 상기 제3 손 영역과 상기 제3 피교환물 영역이 관련되는 것으로 특정하기 위해 사용된다.
가능한 일 실시형태에서는, 상기 유희에 관한 목표 영역은 교환물 영역을 추가로 포함하고,
상기 영역 특정 모듈은 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 피교환물 영역 및 교환물 영역을 특정하기 위한 제5 특정 서브 모듈을 포함하고,
상기 목표 인식 모듈은 상기 피교환물 영역에 대해 피교환물 인식 및 분류를 행하여, 상기 피교환물 영역에서의 각 피교환물의 위치 및 카테고리를 획득하기 위한 피교환물 인식 서브 모듈과, 상기 교환물 영역에 대해 교환물 인식 및 분류를 행하여, 상기 교환물 영역에서의 각 교환물의 카테고리를 획득하기 위한 교환물 인식 서브 모듈을 포함하고, 상기 장치는 교환 기간에, 교환물 영역에서의 각 교환물의 카테고리에 의해 상기 교환물 영역에서의 각 교환물의 제1 총 가치를 특정하기 위한 제1 가치 특정 모듈과, 상기 교환 기간 내에 피교환물 영역에서의 각 피교환물의 위치 및 카테고리에 의해 상기 피교환물 영역에서의 각 피교환물의 제2 총 가치를 특정하기 위한 제2 가치 특정 모듈과, 상기 제1 총 가치와 상기 제2 총 가치가 상이한 경우에 제2 제시 정보를 제시하기 위한 제2 제시 모듈을 추가로 포함한다.
가능한 일 실시형태에서는, 상기 유희에 관한 목표 영역은 유희 진행 영역을 추가로 포함하고,
상기 영역 특정 모듈은 피처리 이미지를 검출하여, 상기 피처리 이미지에서의 유희 진행 영역을 특정하기 위한 제6 특정 서브 모듈을 포함하고,
상기 목표 인식 모듈은 상기 유희 진행 영역에 대해 카드 인식 및 분류를 행하여, 상기 유희 진행 영역에서의 각 카드의 위치 및 카테고리를 획득하기 위한 카드 인식 서브 모듈을 포함한다.
가능한 일 실시형태에서는, 상기 장치는 카드를 배당하는 단계에서 상기 유희 진행 영역에서의 각 카드의 카테고리와 미리 설정된 카테고리가 상이한 경우에 제3 제시 정보를 제시하기 위한 제3 제시 모듈을 추가로 포함한다.
가능한 일 실시형태에서는, 상기 장치는 카드를 배당하는 단계에서 상기 유희 진행 영역에서의 각 카드의 위치 및 카테고리와 각 카드의 미리 설정된 위치 및 미리 설정된 규칙이 상이한 경우에 제4 제시 정보를 제시하기 위한 제4 제시 모듈을 추가로 포함한다.
가능한 일 실시형태에서는, 상기 장치는 배당 단계에서 유희 진행 영역에서의 각 카드의 카테고리에 의해 유희 결과를 특정하기 위한 결과 특정 모듈과, 유희 결과와 각 사람에 관련되는 피교환물 영역의 위치에 의해 각 사람의 배당 규칙을 특정하기 위한 규칙 특정 모듈과, 각 사람의 배당 규칙 및 각 사람에 관련되는 피교환물 영역에서의 피교환물의 가치에 의해 각 사람의 배당되는 가치를 특정하기 위한 배당 가치 특정 모듈을 추가로 포함한다.
일부 실시예에서는 본 발명의 실시예에서 제공된 장치에 구비되는 기능 또는 포함되는 모듈은 상기 방법 실시예에 기재된 방법을 실행하기 위해 사용되는 것이며, 그 구체적인 실시에 대해서는 상기 방법 실시예의 기재를 참조하면 되고, 설명을 간결히 하기 위해, 여기서 상세한 설명을 생략한다.
본 발명의 실시예는 컴퓨터 프로그램 명령을 기억한 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 상기 방법을 실현하는 컴퓨터 판독 가능 기억 매체를 추가로 제공한다. 컴퓨터 판독 가능 기억 매체는 비휘발성 컴퓨터 판독 가능 기억 매체이면 된다.
본 발명의 실시예는 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 프로세서가 상기 메모리에 기억된 명령을 불러 내어 상기 방법을 실행하도록 구성되는 전자 기기를 추가로 제공한다.
전자 기기는 단말, 서버 또는 다른 형태의 기기로서 제공되어도 된다.
도 6은 본 발명의 실시예에 따른 전자 기기(800)의 블록도를 나타낸다. 예를 들면, 전자 기기(800)는 휴대 전화, 컴퓨터, 디지털 방송 단말, 메시지 송수신 장치, 게임 콘솔, 태블릿 장치, 의료 기기, 피트니스 기구, 퍼스널 디지털 어시스턴트 등의 단말이어도 된다.
도 6을 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 이상을 포함해도 된다.
처리 컴포넌트(802)는 통상, 전자 기기(800)의 전체적인 동작, 예를 들면, 표시, 전화의 호출, 데이터 통신, 카메라 동작 및 기록 동작에 관련되는 동작을 제어한다. 처리 컴포넌트(802)는 명령을 실행하여 상기 방법 중 전부 또는 일부 단계를 실행하기 위한 하나 이상의 프로세서(820)를 포함해도 된다. 또한, 처리 컴포넌트(802)는 다른 컴포넌트와의 상호 작용을 위한 하나 이상의 모듈을 포함해도 된다. 예를 들면, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808)와의 상호 작용을 위해 멀티미디어 모듈을 포함해도 된다.
메모리(804)는 전자 기기(800)에서의 동작을 서포트하기 위한 다양한 타입의 데이터를 기억하도록 구성된다. 상기 데이터는 예로서, 전자 기기(800)에서 조작하기 위한 모든 애플리케이션 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 예를 들면, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EEPROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM), 프로그래머블 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광디스크 등의 모든 타입의 휘발성 또는 비휘발성 기억 기기 또는 이들의 조합에 의해 실현할 수 있다.
전원 컴포넌트(806)는 전자 기기(800)의 각 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 이상의 전원 및 전자 기기(800)를 위한 전력 생성, 관리 및 배분에 관련되는 다른 컴포넌트를 포함해도 된다.
멀티미디어 컴포넌트(808)는 상기 전자 기기(800)와 사용자 사이에서 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서는 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함해도 된다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하기 위해, 터치 스크린으로서 실현해도 된다. 터치 패널은 터치, 슬라이드 및 터치 패널에서의 제스처를 검지하기 위해, 하나 이상의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 검지할 뿐만 아니라, 상기 터치 또는 슬라이드 조작에 관련되는 지속 시간 및 압력을 검출하도록 해도 된다. 일부 실시예에서는 멀티미디어 컴포넌트(808)는 전면 카메라 및/또는 후면 카메라를 포함한다. 전자 기기(800)가 동작 모드, 예를 들면, 촬영 모드 또는 촬상 모드가 되는 경우, 전면 카메라 및/또는 후면 카메라는 외부의 멀티미디어 데이터를 수신하도록 해도 된다. 각 전면 카메라 및 후면 카메라는 고정된 광학 렌즈계, 또는 초점 거리 및 광학 줌 능력을 갖는 것이어도 된다.
오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들면, 오디오 컴포넌트(810)는 마이크(MIC)를 포함하고, 마이크(MIC)는 전자 기기(800)가 동작 모드, 예를 들면, 호출 모드, 기록 모드 및 음성 인식 모드가 되는 경우, 외부의 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 추가로 메모리(804)에 기억되거나, 또는 통신 컴포넌트(816)에 의해 송신되어도 된다. 일부 실시예에서는 오디오 컴포넌트(810)는 추가로 오디오 신호를 출력하기 위한 스피커를 포함한다.
I/O 인터페이스(812)는 처리 컴포넌트(802)와 주변 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등이어도 된다. 상기 버튼은 홈 버튼, 음량 버튼, 시작 버튼 및 잠금 버튼을 포함해도 되지만, 이들에 한정되지 않는다.
센서 컴포넌트(814)는 전자 기기(800)의 각 면에서의 상태 평가를 위해 하나 이상의 센서를 포함한다. 예를 들면, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 예를 들면, 전자 기기(800)의 표시 장치 및 키패드와 같은 컴포넌트의 상대적 위치 결정을 검출할 수 있고, 센서 컴포넌트(814)는 추가로 전자 기기(800) 또는 전자 기기(800)가 있는 컴포넌트의 위치 변화, 사용자와 전자 기기(800)의 접촉 유무, 전자 기기(800) 방위 또는 가감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉도 없는 경우, 근방의 물체의 존재를 검출하도록 구성된 근접 센서를 포함해도 된다. 센서 컴포넌트(814)는 추가로 CMOS 또는 CCD 이미지 센서와 같은, 이미징 애플리케이션에서 사용하기 위한 광 센서를 포함해도 된다. 일부 실시예에서는 상기 센서 컴포넌트(814)는 추가로 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 포함해도 된다.
통신 컴포넌트(816)는 전자 기기(800)와 다른 기기의 유선 또는 무선 통신을 실현하도록 배치된다. 전자 기기(800)는 통신 규격에 기초하는 무선 네트워크, 예를 들면, WiFi, 2G 또는 3G, 또는 이들의 조합에 액세스할 수 있다. 일 예시적 실시예에서는 통신 컴포넌트(816)는 방송 채널에 의해 외부의 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서는 상기 통신 컴포넌트(816)는 추가로 근거리 통신을 촉진하기 위해 근거리 무선 통신(NFC) 모듈을 포함한다. 예를 들면, NFC 모듈은 무선 주파수 식별(RFID) 기술, 적외선 데이터 협회(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 의해 실현할 수 있다.
예시적인 실시예에서는 전자 기기(800)는 하나 이상의 특정 용도용 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 디바이스(DSPD), 프로그래머블 로직 디바이스(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 요소에 의해 실현되고, 상기 방법을 실행하기 위해 사용될 수 있다.
예시적인 실시예에서는 추가로 비휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(804)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(800)의 프로세서(820)에 의해 실행되면, 상기 방법을 실행할 수 있다.
도 7은 본 발명의 실시예에 따른 전자 기기(1900)의 블록도를 나타낸다. 예를 들면, 전자 기기(1900)는 서버로서 제공되어도 된다. 도 7을 참조하면, 전자 기기(1900)는 하나 이상의 프로세서를 포함하는 처리 컴포넌트(1922) 및 처리 컴포넌트(1922)에 의해 실행 가능한 명령, 예를 들면, 애플리케이션 프로그램을 기억하기 위한, 메모리(1932)를 대표로 하는 메모리 자원을 포함한다. 메모리(1932)에 기억된 애플리케이션 프로그램은 각각이 1의 명령군에 대응하는 하나 이상의 모듈을 포함해도 된다. 또한, 처리 컴포넌트(1922)는 명령을 실행함으로써, 상기 방법을 실행하도록 구성된다.
전자 기기(1900)는 또한 전자 기기(1900)의 전원 관리를 실행하도록 구성된 전원 컴포넌트(1926), 전자 기기(1900)를 네트워크에 접속하도록 구성된 유선 또는 무선 네트워크 인터페이스(1950) 및 입출력(I/O) 인터페이스(1958)를 포함해도 된다. 전자 기기(1900)는 메모리(1932)에 기억된 오퍼레이팅 시스템, 예를 들면, Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 것에 기초하여 동작할 수 있다.
예시적인 실시예에서는 추가로 비휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(1932)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행되면, 상기 방법을 실행할 수 있다.
본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품이어도 된다. 컴퓨터 프로그램 제품은 프로세서에 본 발명의 각 방면을 실현시키기 위한 컴퓨터 판독 가능 프로그램 명령이 갖고 있는 컴퓨터 판독 가능 기억 매체를 포함해도 된다.
컴퓨터 판독 가능 기억 매체는 명령 실행 장치에 의해 사용되는 명령을 보존 및 기억 가능한 유형 장치여도 된다. 컴퓨터 판독 가능 기억 매체는 예를 들면, 전기 기억 장치, 자기 기억 장치, 광 기억 장치, 전자 기억 장치, 반도체 기억 장치 또는 상기 임의의 적당한 조합이어도 되지만, 이들에 한정되지 않는다. 컴퓨터 판독 가능 기억 매체의 더욱 구체적인 예(비망라적 리스트)로는 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대형 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 예를 들면, 명령이 기억되어 있는 천공 카드 또는 슬롯 내 돌기 구조와 같은 기계적 부호화 장치 및 상기의 임의의 적당한 조합을 포함한다. 여기에서 사용되는 컴퓨터 판독 가능 기억 매체는 순시 신호 자체, 예를 들면, 무선 전파 또는 기타 자유롭게 전파되는 전자파, 도파로 또는 다른 전송 매체를 경유하여 전파되는 전자파(예를 들면, 광파이버 케이블을 통과하는 펄스광) 또는 전선을 경유하여 전송되는 전기 신호로 해석되는 것은 아니다.
여기에 기술된 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에서 각 계산/처리 기기에 다운로드되어도 되고, 또는 네트워크, 예를 들면, 인터넷, 로컬 에어리어 네트워크, 광역 네트워크 및/또는 무선 네트워크에 의해 외부 컴퓨터 또는 외부 기억 장치에 다운로드되어도 된다. 네트워크는 구리 전송 케이블, 광파이버 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함해도 된다. 각 계산/처리 기기 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전송하고, 각 계산/처리 기기 내의 컴퓨터 판독 가능 기억 매체에 기억시킨다.
본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령은 어셈블러 명령, 명령 세트 아키텍처(ISA) 명령, 기계어 명령, 기계 의존 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터 또는 Smalltalk, C++ 등의 오브젝트 지향 프로그래밍 언어 및 「C」언어 또는 유사한 프로그래밍 언어 등의 일반적인 절차형 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목표 코드여도 된다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 실행되어도 되고, 스탠트 얼론 소프트웨어 패키지로서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 또한 부분적으로 리모트 컴퓨터에서 실행되어도 되고, 또는 완전히 리모트 컴퓨터 혹은 서버에서 실행되어도 된다. 리모트 컴퓨터에 관여하는 경우, 리모트 컴퓨터는 로컬 에어리어 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 종류의 네트워크를 경유하여 사용자의 컴퓨터에 접속되어도 되고, 또는 (예를 들면, 인터넷 서비스 프로바이더를 이용해 인터넷을 경유하여) 외부 컴퓨터에 접속되어도 된다. 일부 실시예에서는 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 예를 들면, 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA) 등의 전자 회로를 퍼스널라이즈하고, 상기 전자 회로에 의해 컴퓨터 판독 가능 프로그램 명령을 실행함으로써, 본 발명의 각 방면을 실현하도록 해도 된다.
또한, 여기에서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하면서 본 발명의 각 방면을 설명했지만, 흐름도 및/또는 블록도의 각 블록 및 흐름도 및/또는 블록도의 각 블록의 조합은 전부 컴퓨터 판독 가능 프로그램 명령에 의해 실현할 수 있는 것으로 이해되어야 한다.
상기 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 제공되어 상기 명령이 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 의해 실행되면, 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현하도록 기계를 제조해도 된다. 또한, 상기 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에 기억시키고, 컴퓨터, 프로그래머블 데이터 처리 장치 및/또는 기타 기기를 특정 방식으로 동작시키도록 해도 된다. 명령을 기억하고 있는 컴퓨터 판독 가능 기억 매체에는 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작의 각 방면을 실현하기 위한 명령을 갖는 제품을 포함한다.
컴퓨터 판독 가능 프로그램 명령은 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에 로드하고, 컴퓨터, 기타 프로그래머블 처리 장치 또는 기타 기기에 일련의 동작 단계를 실행시킴으로써, 컴퓨터에 의해 실행되는 프로세스를 생성하고, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 장치에서 실행되는 명령에 의해 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현한다.
도면 중 흐름도 및 블록도는 본 발명의 복수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 시스템 아키텍처, 기능 및 동작을 나타낸다. 이 점에서는 흐름도 또는 블록도에서의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령의 일부분은 지정된 논리 기능을 실현하기 위한 하나 이상의 실행 가능 명령을 포함한다. 몇 가지 대안으로서의 실현 형태에서는 블록에 표기되는 기능은 도면에 기재된 순서와 상이하게 실현해도 된다. 예를 들면, 두 개의 연속적인 블록은 실질적으로 동시에 실행해도 되고, 또한 이러한 기능에 의해 반대 순서로 실행해도 되는 경우가 있다. 또한, 블록도 및/또는 흐름도에서의 각 블록 및 블록도 및/또는 흐름도에서의 블록의 조합은 지정되는 기능 또는 동작을 실행하는 하드웨어에 기초하는 전용 시스템에 의해 실현해도 되고, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 실현해도 되는 것에 주의해야 한다.
이상, 본 발명의 각 실시예를 기술했지만, 상기 설명은 예시적인 것에 불과하고, 망라적인 것이 아니며, 또한 피로된 각 실시예에 한정되는 것도 아니다. 당업자에게 있어서, 설명된 각 실시예의 범위 및 정신에서 벗어나지 않고, 다양한 수정 및 변경이 자명하다. 본 명세서에 선택된 용어는 각 실시예의 원리, 실제 적용 또는 시장에서의 기술에 대한 기술적 개선을 바람직하게 해석하거나, 또는 다른 당업자에게 본문에 피로된 각 실시예를 이해시키기 위한 것이다.
Claims (20)
- 적어도 사람의 구체(軀體)의 일부 및 유희대 상의 일부 이미지를 포함하는 피처리 이미지를 검출하여, 사람에 관한 목표 영역과 유희에 관한 목표 영역을 포함하는 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함하는 것과,
상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득하고, 상기 사람에 관한 목표 영역의 상기 인식 결과는 이에 대응하는 신원 정보를 포함하는 것과,
각 목표 영역의 위치 및 인식 결과 중 하나 이상에 의해 각 목표 영역간의 관련 정보를 특정하는 것과,
각 사람에 관한 목표 영역의 위치와 각 피교환물 영역의 위치에 따라 각 피교환물 영역과 관련된 상기 사람에 관한 목표 영역을 특정하는 것과,
각 사람에 관한 목표 영역에 대응하는 상기 신원 정보에 따라 각 사람에 관한 목표 영역과 관련된 상기 피교환물 영역에 대응하는 상기 신원 정보를 각각 특정하는 것을 포함하는, 이미지 처리 방법. - 제 1 항에 있어서,
각 목표 영역간의 관련 정보를 특정한 후에,
각 목표 영역간의 관련 정보에 의해 상기 피처리 이미지에서의 사람의 행동이 미리 설정된 행동 규칙에 해당하는지 여부를 판단하는 것과,
상기 피처리 이미지에서의 사람의 행동이 미리 설정된 행동 규칙에 해당하지 않는 경우에 제1 제시 정보를 제시하는 것을 추가로 포함하는, 방법. - 제 1 항에 있어서,
상기 사람에 관한 목표 영역은 얼굴 영역을 포함하고,
피처리 이미지를 검출하여, 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하는 것은,
피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역과 피교환물 영역을 특정하는 것을 포함하고,
상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득하는 것은,
상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하는 것과,
상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하는 것을 포함하고,
각 목표 영역의 위치 및 인식 결과 중 하나 이상에 의해 각 목표 영역간의 관련 정보를 특정하는 것은,
각 얼굴 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 얼굴 영역을 특정하는 것과,
각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하는 것을 포함하는, 방법. - 제 3 항에 있어서,
각 얼굴 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 얼굴 영역을 특정하는 것은,
각 얼굴 영역 중 어느 하나인 제1 얼굴 영역의 위치와 각 피교환물 영역 중 어느 하나인 제1 피교환물 영역의 위치의 거리가 제1 거리 임계값 이하인 경우에 상기 제1 얼굴 영역과 상기 제1 피교환물 영역이 관련되는 것으로 특정하는 것을 포함하는, 방법. - 제 1 항에 있어서,
상기 사람에 관한 목표 영역은 얼굴 영역과 신체 영역을 포함하고,
피처리 이미지를 검출하여, 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하는 것은,
피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역, 신체 영역 및 피교환물 영역을 특정하는 것을 포함하고,
상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득하는 것은,
상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하는 것과,
상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하는 것과,
상기 신체 영역에 대해 신체의 키포인트를 추출하여 상기 신체 영역의 신체의 키포인트 정보를 획득하는 것을 포함하고,
각 목표 영역의 위치 및 인식 결과 중 하나 이상에 의해 각 목표 영역간의 관련 정보를 특정하는 것은,
각 얼굴 영역의 얼굴의 키포인트 정보 및 각 신체 영역의 신체의 키포인트 정보에 의해 각 신체 영역에 관련되는 얼굴 영역을 특정하는 것과,
각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 신체 영역에 대응하는 사람의 신원 정보를 각각 특정하는 것과,
각 신체 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 신체 영역을 특정하는 것과,
각 신체 영역에 대응하는 사람의 신원 정보에 의해 각 신체 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하는 것을 포함하는, 방법. - 제 5 항에 있어서,
각 신체 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 피교환물 영역에 관련되는 신체 영역을 특정하는 것은,
각 신체 영역 중 어느 하나인 제1 신체 영역의 위치와 각 피교환물 영역 중 어느 하나인 제2 피교환물 영역의 위치의 거리가 제2 거리 임계값 이하인 경우에 상기 제1 신체 영역과 상기 제2 피교환물 영역이 관련되는 것으로 특정하는 것을 포함하는, 방법. - 제 1 항에 있어서,
상기 사람에 관한 목표 영역은 얼굴 영역과 손 영역을 포함하고,
피처리 이미지를 검출하여, 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하는 것은,
피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역, 손 영역 및 피교환물 영역을 특정하는 것을 포함하고,
상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득하는 것은,
상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하는 것과,
상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하는 것을 포함하고,
각 목표 영역의 위치 및 인식 결과 중 하나 이상에 의해 각 목표 영역간의 관련 정보를 특정하는 것은,
각 얼굴 영역의 위치 및 각 손 영역의 위치에 의해 각 얼굴 영역에 관련되는 손 영역을 특정하는 것과,
각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 손 영역에 대응하는 사람의 신원 정보를 각각 특정하는 것과,
각 손 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 손 영역에 관련되는 피교환물 영역을 특정하는 것과,
각 손 영역에 대응하는 사람의 신원 정보에 의해 각 손 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하는 것을 포함하는, 방법. - 제 7 항에 있어서,
각 얼굴 영역의 위치 및 각 손 영역의 위치에 의해 각 얼굴 영역에 관련되는 손 영역을 특정하는 것은,
각 얼굴 영역 중 어느 하나인 제2 얼굴 영역의 위치와 각 손 영역 중 어느 하나인 제1 손 영역의 위치의 거리가 제3 거리 임계값 이하인 경우에 상기 제2 얼굴 영역과 상기 제1 손 영역이 관련되는 것으로 특정하는 것을 포함하는, 방법. - 제 1 항에 있어서,
상기 사람에 관한 목표 영역은 얼굴 영역, 신체 영역 및 손 영역을 포함하고,
피처리 이미지를 검출하여, 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하는 것은,
피처리 이미지를 검출하여, 상기 피처리 이미지에서의 얼굴 영역, 신체 영역, 손 영역 및 피교환물 영역을 특정하는 것을 포함하고,
상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득하는 것은,
상기 얼굴 영역에 대해 얼굴의 키포인트를 추출하여 상기 얼굴 영역의 얼굴의 키포인트 정보를 획득하는 것과,
상기 얼굴의 키포인트 정보에 의해 상기 얼굴 영역에 대응하는 사람의 신원 정보를 특정하는 것과,
상기 신체 영역에 대해 신체의 키포인트를 추출하여 상기 신체 영역의 신체의 키포인트 정보를 획득하는 것과,
상기 손 영역에 대해 손의 키포인트를 추출하여 상기 손 영역의 손의 키포인트 정보를 획득하는 것을 포함하고,
각 목표 영역의 위치 및 인식 결과 중 하나 이상에 의해 각 목표 영역간의 관련 정보를 특정하는 것은,
각 얼굴 영역의 얼굴의 키포인트 정보 및 각 신체 영역의 신체의 키포인트 정보에 의해 각 신체 영역에 관련되는 얼굴 영역을 특정하는 것과,
각 얼굴 영역에 대응하는 사람의 신원 정보에 의해 각 얼굴 영역에 관련되는 신체 영역에 대응하는 사람의 신원 정보를 각각 특정하는 것과,
각 신체 영역의 신체의 키포인트 정보 및 각 손 영역의 손의 키포인트 정보에 의해 각 손 영역에 관련되는 신체 영역을 특정하는 것과,
각 신체 영역에 대응하는 사람의 신원 정보에 의해 각 신체 영역에 관련되는 손 영역에 대응하는 사람의 신원 정보를 각각 특정하는 것과,
각 손 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 손 영역에 관련되는 피교환물 영역을 특정하는 것과,
각 손 영역에 대응하는 사람의 신원 정보에 의해 각 손 영역에 관련되는 피교환물 영역에 대응하는 사람의 신원 정보를 각각 특정하는 것을 포함하는, 방법. - 제 5 항에 있어서,
각 얼굴 영역의 얼굴의 키포인트 정보 및 각 신체 영역의 신체의 키포인트 정보에 의해 각 신체 영역에 관련되는 얼굴 영역을 특정하는 것은,
각 얼굴 영역 중 어느 하나인 제3 얼굴 영역의 얼굴의 키포인트 정보가 존재하는 영역과 각 신체 영역 중 어느 하나인 제2 신체 영역의 신체의 키포인트 정보가 존재하는 영역의 중첩 영역의 면적이 제1 면적 임계값 이상인 경우에 상기 제3 얼굴 영역과 상기 제2 신체 영역이 관련되는 것으로 특정하는 것을 포함하는, 방법. - 제 9 항에 있어서,
각 신체 영역의 신체의 키포인트 정보 및 각 손 영역의 손의 키포인트 정보에 의해 각 손 영역에 관련되는 신체 영역을 특정하는 것은,
각 신체 영역 중 어느 하나인 제3 신체 영역의 신체의 키포인트 정보와 각 손 영역 중 어느 하나인 제2 손 영역의 손의 키포인트 정보가 미리 설정된 조건을 만족하는 경우에 상기 제3 신체 영역과 상기 제2 손 영역이 관련되는 것으로 특정하는 것을 포함하고,
상기 미리 설정된 조건은,
상기 제3 신체 영역의 신체의 키포인트 정보가 존재하는 영역과 상기 제2 손 영역의 손의 키포인트 정보가 존재하는 영역의 중첩 영역의 면적이 제2 면적 임계값 이상인 것,
상기 제3 신체 영역의 신체의 키포인트 정보가 존재하는 영역과 상기 제2 손 영역의 손의 키포인트 정보가 존재하는 영역의 거리가 제4 거리 임계값 이하인 것,
상기 제3 신체 영역의 신체의 키포인트 정보 중 팔꿈치 부분의 키포인트와 손 부분의 키포인트의 연결선인 제1 연결선과, 상기 제2 손 영역의 손의 키포인트 정보 중 손의 키포인트끼리의 연결선인 제2 연결선이 이루는 협각이 협각 임계값 이하인 것,
중 하나 이상을 포함하는, 방법. - 제 7 항에 있어서,
각 손 영역의 위치 및 각 피교환물 영역의 위치에 의해 각 손 영역에 관련되는 피교환물 영역을 특정하는 것은,
각 손 영역 중 어느 하나인 제3 손 영역과 각 피교환물 영역 중 어느 하나인 제3 피교환물 영역의 거리가 제5 거리 임계값 이하인 경우에 상기 제3 손 영역과 상기 제3 피교환물 영역이 관련되는 것으로 특정하는 것을 포함하는, 방법. - 제 1 항에 있어서,
상기 유희에 관한 목표 영역은 교환물 영역을 추가로 포함하고,
피처리 이미지를 검출하여, 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하는 것은,
피처리 이미지를 검출하여, 상기 피처리 이미지에서의 피교환물 영역 및 교환물 영역을 특정하는 것을 포함하고,
상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득하는 것은,
상기 피교환물 영역에 대해 피교환물 인식 및 분류를 행하여, 상기 피교환물 영역에서의 각 피교환물의 위치 및 카테고리를 획득하는 것과,
상기 교환물 영역에 대해 교환물 인식 및 분류를 행하여, 상기 교환물 영역에서의 각 교환물의 카테고리를 획득하는 것을 포함하고,
상기 방법은,
교환 기간에 교환물 영역에서의 각 교환물의 카테고리에 의해 상기 교환물 영역에서의 각 교환물의 제1 총 가치를 특정하는 것과,
상기 교환 기간 내에 피교환물 영역에서의 각 피교환물의 위치 및 카테고리에 의해 상기 피교환물 영역에서의 각 피교환물의 제2 총 가치를 특정하는 것과,
상기 제1 총 가치와 상기 제2 총 가치가 상이한 경우에 제2 제시 정보를 제시하는 것을 추가로 포함하는, 방법. - 제 1 항에 있어서,
상기 유희에 관한 목표 영역은 유희 진행 영역을 추가로 포함하고,
피처리 이미지를 검출하여, 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하는 것은,
피처리 이미지를 검출하여, 상기 피처리 이미지에서의 유희 진행 영역을 특정하는 것을 포함하고,
상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득하는 것은,
상기 유희 진행 영역에 대해 카드 인식 및 분류를 행하여, 상기 유희 진행 영역에서의 각 카드의 위치 및 카테고리를 획득하는 것을 포함하는, 방법. - 제 14 항에 있어서,
카드를 배당하는 단계에서 상기 유희 진행 영역에서의 각 카드의 카테고리와 미리 설정된 카테고리가 상이한 경우에 제3 제시 정보를 제시하는 것을 추가로 포함하는, 방법. - 제 14 항에 있어서,
카드를 배당하는 단계에서 상기 유희 진행 영역에서의 각 카드의 위치 및 카테고리와 각 카드의 미리 설정된 위치 및 미리 설정된 규칙이 상이한 경우에 제4 제시 정보를 제시하는 것을 추가로 포함하는, 방법. - 제 14 항에 있어서,
배당 단계에서 유희 진행 영역에서의 각 카드의 카테고리에 의해 유희 결과를 특정하는 것과,
유희 결과와 각 사람에 관련되는 피교환물 영역의 위치에 의해 각 사람의 배당 규칙을 특정하는 것과,
각 사람의 배당 규칙 및 각 사람에 관련되는 피교환물 영역에서의 피교환물의 가치에 의해 각 사람의 배당되는 가치를 특정하는 것을 추가로 포함하는, 방법. - 적어도 사람의 구체(軀體)의 일부 및 유희대 상의 일부 이미지를 포함하는 피처리 이미지를 검출하여, 사람에 관한 목표 영역과 유희에 관한 목표 영역을 포함하는 상기 피처리 이미지에서의 복수의 목표 영역 및 상기 복수의 목표 영역의 카테고리를 특정하고, 상기 유희에 관한 목표 영역은 피교환물 영역을 포함하는 영역 특정 모듈과,
상기 복수의 목표 영역의 카테고리에 따라 상기 복수의 목표 영역의 각각에 대해 목표 인식을 행하여, 상기 복수의 목표 영역의 인식 결과를 획득하고, 상기 사람에 관한 목표 영역의 상기 인식 결과는 이에 대응하는 신원 정보를 포함하는 목표 인식 모듈과,
각 목표 영역의 위치 및 인식 결과 중 하나 이상에 의해 각 목표 영역간의 관련 정보를 특정하기 위한 영역 연동 모듈을 포함하고,
각 사람에 관한 목표 영역의 위치와 각 피교환물 영역의 위치에 따라 각 피교환물 영역과 관련된 상기 사람에 관한 목표 영역을 특정하고,
각 사람에 관한 목표 영역에 대응하는 상기 신원 정보에 따라 각 사람에 관한 목표 영역과 관련된 상기 피교환물 영역에 대응하는 상기 신원 정보를 각각 특정하는 이미지 처리 장치. - 프로세서와,
프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고,
상기 프로세서는 상기 메모리에 기억된 명령을 불러 내어 제 1 항 내지 제 17 항 중 어느 한 항의 방법을 실행하도록 구성되는, 전자 기기. - 컴퓨터 프로그램 명령을 기억한 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 제 1 항 내지 제 17 항 중 어느 한 항의 방법을 실현하는, 컴퓨터 판독 가능 기억 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SG10201913763W | 2019-12-30 | ||
| SG10201913763WA SG10201913763WA (en) | 2019-12-30 | 2019-12-30 | Image processing methods and apparatuses, electronic devices, and storage media |
| PCT/IB2020/050400 WO2021136975A1 (en) | 2019-12-30 | 2020-01-20 | Image processing methods and apparatuses, electronic devices, and storage media |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210088435A KR20210088435A (ko) | 2021-07-14 |
| KR102387495B1 true KR102387495B1 (ko) | 2022-04-15 |
Family
ID=76372353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207012788A KR102387495B1 (ko) | 2019-12-30 | 2020-01-20 | 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체 |
Country Status (6)
| Country | Link |
|---|---|
| JP (1) | JP7160919B2 (ko) |
| KR (1) | KR102387495B1 (ko) |
| CN (1) | CN113228124B (ko) |
| AU (1) | AU2020309090B2 (ko) |
| SG (1) | SG10201913763WA (ko) |
| WO (1) | WO2021136975A1 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022195338A1 (en) * | 2021-03-17 | 2022-09-22 | Sensetime International Pte. Ltd. | Methods, apparatuses, devices and storage media for detecting correlated objects involved in image |
| KR20220130567A (ko) * | 2021-03-17 | 2022-09-27 | 센스타임 인터내셔널 피티이. 리미티드. | 이미지에 포함된 상관된 객체들을 검출하기 위한 방법들, 장치들, 디바이스들, 및 저장 매체 |
| WO2022243737A1 (en) * | 2021-05-19 | 2022-11-24 | Sensetime International Pte. Ltd. | Methods and devices for comparing objects |
| WO2022096953A1 (en) * | 2021-06-16 | 2022-05-12 | Sensetime International Pte. Ltd. | Object information association method and apparatus, device and storage medium |
| KR102632435B1 (ko) * | 2021-06-21 | 2024-02-01 | 센스타임 인터내셔널 피티이. 리미티드. | 객체 교환 행동의 검출 방법, 장치, 전자 기기 및 저장 매체 |
| WO2022269320A1 (en) * | 2021-06-21 | 2022-12-29 | Sensetime International Pte. Ltd. | Method and apparatus for detecting object exchange behavior, electronic device and storage medium |
| CN114127783A (zh) | 2021-06-21 | 2022-03-01 | 商汤国际私人有限公司 | 一种人体和人手的关联方法、装置、设备及存储介质 |
| WO2022096951A1 (en) * | 2021-06-21 | 2022-05-12 | Sensetime International Pte. Ltd. | Body and hand correlation method and apparatus, device, and storage medium |
| WO2022096957A1 (en) * | 2021-06-22 | 2022-05-12 | Sensetime International Pte. Ltd. | Body and hand association method and apparatus, device, and storage medium |
| WO2022096950A1 (en) * | 2021-06-23 | 2022-05-12 | Sensetime International Pte. Ltd. | Game image processing method and apparatus, electronic device, and computer storage medium, and computer program |
| CN114004985B (zh) * | 2021-10-29 | 2023-10-31 | 北京百度网讯科技有限公司 | 人物交互检测方法、神经网络及其训练方法、设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015198935A (ja) * | 2014-04-04 | 2015-11-12 | コナミゲーミング インコーポレーテッド | ゲーミング環境の操作のためのシステムおよび方法 |
| WO2015173967A1 (ja) | 2014-05-16 | 2015-11-19 | セガサミークリエイション株式会社 | ゲーム画像生成装置およびプログラム |
| WO2016111174A1 (ja) * | 2015-01-06 | 2016-07-14 | ソニー株式会社 | エフェクト生成装置およびエフェクト生成方法、並びにプログラム |
| JP2017202298A (ja) | 2016-05-13 | 2017-11-16 | 株式会社ユニバーサルエンターテインメント | 応対装置及びゲーミングマシン |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003060846A2 (en) * | 2001-12-21 | 2003-07-24 | Cias, Inc. | Combination casino table game imaging system for automatically recognizing the faces of players -- as well as terrorists and other undesirables -- and for recognizing wagered gaming chips |
| JP2008257086A (ja) * | 2007-04-09 | 2008-10-23 | Sony Corp | 表示装置、表示装置の製造方法および電子機器 |
| WO2009062153A1 (en) * | 2007-11-09 | 2009-05-14 | Wms Gaming Inc. | Interaction with 3d space in a gaming system |
| KR101130817B1 (ko) * | 2011-09-27 | 2012-04-16 | (주)올라웍스 | 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 |
| JP6207240B2 (ja) * | 2013-06-05 | 2017-10-04 | キヤノン株式会社 | 情報処理装置及びその制御方法 |
| US10268983B2 (en) * | 2013-06-26 | 2019-04-23 | Amazon Technologies, Inc. | Detecting item interaction and movement |
| US9251598B2 (en) * | 2014-04-10 | 2016-02-02 | GM Global Technology Operations LLC | Vision-based multi-camera factory monitoring with dynamic integrity scoring |
| CN115837157A (zh) * | 2015-08-03 | 2023-03-24 | 天使集团股份有限公司 | 游艺场的作弊检测系统 |
| AU2015261614A1 (en) * | 2015-09-04 | 2017-03-23 | Musigma Business Solutions Pvt. Ltd. | Analytics system and method |
| JP6241796B2 (ja) * | 2015-12-25 | 2017-12-06 | パナソニックＩｐマネジメント株式会社 | 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法 |
| JP2018130183A (ja) * | 2017-02-13 | 2018-08-23 | エンゼルプレイングカード株式会社 | 遊技用代用貨幣トレイ、テーブルゲームの管理システム、遊技用代用貨幣トレイシステム、及び遊技用代用貨幣管理方法 |
| KR20200121299A (ko) * | 2018-02-19 | 2020-10-23 | 엔제루 프레잉구 카도 가부시키가이샤 | 게임 관리 시스템 |
| JPWO2019221063A1 (ja) * | 2018-05-14 | 2021-07-08 | エンゼルグループ株式会社 | テーブルゲームの管理システム及びゲーム管理システム |
| US11183012B2 (en) * | 2019-08-19 | 2021-11-23 | Sg Gaming, Inc. | Systems and methods of automated linking of players and gaming tokens |
-
2019
- 2019-12-30 SG SG10201913763WA patent/SG10201913763WA/en unknown
-
2020
- 2020-01-20 AU AU2020309090A patent/AU2020309090B2/en active Active
- 2020-01-20 KR KR1020207012788A patent/KR102387495B1/ko active IP Right Grant
- 2020-01-20 CN CN202080000645.9A patent/CN113228124B/zh active Active
- 2020-01-20 WO PCT/IB2020/050400 patent/WO2021136975A1/en active Application Filing
- 2020-01-20 JP JP2020530338A patent/JP7160919B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015198935A (ja) * | 2014-04-04 | 2015-11-12 | コナミゲーミング インコーポレーテッド | ゲーミング環境の操作のためのシステムおよび方法 |
| WO2015173967A1 (ja) | 2014-05-16 | 2015-11-19 | セガサミークリエイション株式会社 | ゲーム画像生成装置およびプログラム |
| WO2016111174A1 (ja) * | 2015-01-06 | 2016-07-14 | ソニー株式会社 | エフェクト生成装置およびエフェクト生成方法、並びにプログラム |
| JP2017202298A (ja) | 2016-05-13 | 2017-11-16 | 株式会社ユニバーサルエンターテインメント | 応対装置及びゲーミングマシン |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7160919B2 (ja) | 2022-10-25 |
| WO2021136975A1 (en) | 2021-07-08 |
| AU2020309090A1 (en) | 2021-07-15 |
| CN113228124A (zh) | 2021-08-06 |
| AU2020309090B2 (en) | 2022-04-28 |
| SG10201913763WA (en) | 2021-04-29 |
| CN113228124B (zh) | 2023-03-31 |
| KR20210088435A (ko) | 2021-07-14 |
| JP2022522070A (ja) | 2022-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102387495B1 (ko) | 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체 | |
| JP6852150B2 (ja) | 生体検知方法および装置、システム、電子機器、記憶媒体 | |
| US10275672B2 (en) | Method and apparatus for authenticating liveness face, and computer program product thereof | |
| WO2019149056A1 (zh) | 一种身份验证方法、系统、装置及设备 | |
| US20210201478A1 (en) | Image processing methods, electronic devices, and storage media | |
| CN110059661A (zh) | 动作识别方法、人机交互方法、装置及存储介质 | |
| AU2020309094B2 (en) | Image processing method and apparatus, electronic device, and storage medium | |
| JP2021503659A (ja) | 生体検出方法、装置及びシステム、電子機器並びに記憶媒体 | |
| CN107193983A (zh) | 图像搜索方法及装置 | |
| CN105654033A (zh) | 人脸图像验证方法和装置 | |
| CN107766820A (zh) | 图像分类方法及装置 | |
| CN105335714B (zh) | 照片处理方法、装置和设备 | |
| JP2018081630A (ja) | 検索装置、検索方法およびプログラム | |
| CN111062401A (zh) | 堆叠物体的识别方法及装置、电子设备和存储介质 | |
| CN114648796A (zh) | 用户识别方法、装置、存储介质及电子设备 | |
| CN103984415B (zh) | 一种信息处理方法及电子设备 | |
| CN109740557B (zh) | 对象检测方法及装置、电子设备和存储介质 | |
| US10645274B2 (en) | Server apparatus, distribution system, distribution method, and program with a distributor of live content and a viewer terminal for the live content including a photographed image of a viewer taking a designated body pose | |
| WO2022140879A1 (zh) | 一种身份识别方法、终端、服务器及系统 | |
| CN107730452A (zh) | 图像拼接方法及装置 | |
| CN114648315A (zh) | 虚拟面试的方法、装置、设备及存储介质 | |
| CN112232424A (zh) | 身份识别方法及装置、电子设备和存储介质 | |
| CN112927033A (zh) | 数据处理方法及装置、电子设备和存储介质 | |
| CN114742561A (zh) | 人脸识别方法、装置、设备及存储介质 | |
| WO2022029477A1 (en) | Image processing method and apparatus, electronic device, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |