KR20220098315A - 화상 처리 방법과 장치, 전자 디바이스 및 기록 매체 - Google Patents
화상 처리 방법과 장치, 전자 디바이스 및 기록 매체 Download PDFInfo
- Publication number
- KR20220098315A KR20220098315A KR1020217019366A KR20217019366A KR20220098315A KR 20220098315 A KR20220098315 A KR 20220098315A KR 1020217019366 A KR1020217019366 A KR 1020217019366A KR 20217019366 A KR20217019366 A KR 20217019366A KR 20220098315 A KR20220098315 A KR 20220098315A
- Authority
- KR
- South Korea
- Prior art keywords
- detection box
- target
- body part
- information
- human body
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 300
- 238000000034 method Methods 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000013528 artificial neural network Methods 0.000 claims abstract description 50
- 230000033001 locomotion Effects 0.000 claims abstract description 24
- 238000002372 labelling Methods 0.000 claims description 50
- 210000003127 knee Anatomy 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 210000002832 shoulder Anatomy 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G06K9/627—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 화상 처리 방법 및 장치, 신경망의 훈련 방법 및 장치, 동작 인식 방법 및 장치, 전자 디바이스 및 기록 매체를 제공한다. 상기 화상 처리 방법은 이미지 내의 인체 검출 박스, 목표 신체 부위에 대응하는 목표 키 포인트 및 상기 인체 검출 박스와 상기 목표 키 포인트의 제1 관련 관계 정보를 취득하는 것; 상기 목표 키 포인트 및 상기 인체 검출 박스에 기반하여 상기 목표 신체 부위의 목표 검출 박스를 생성하는 것; 및 상기 제1 관련 관계 정보 및 사전에 라벨링한 제2 관련 관계 정보에 기반하여 제3 관련 관계 정보를 확정하는 것을 포함하되, 여기서, 상기 제2 관련 관계 정보는 제1 신체 부위와 상기 인체 검출 박스의 관련 관계를 나타내며, 상기 제3 관련 관계 정보는 상기 목표 검출 박스와 상기 제1 신체 부위의 제1 검출 박스의 관련 관계를 나타낸다.
Description
[관련 출원들의 상호 참조 인용]
본 발명은 출원일이 2020년12월31일이고, 출원 번호가 10202013266S이며, 발명의 명칭이 "화상 처리 방법과 장치, 전자 디바이스 및 기록 매체”인 싱가포르 특허 출원의 우선권을 주장하며, 당해 싱가포르 특허 출원의 모든 내용은 참조로서 본 원에 포함된다.
본 발명은 화상 처리 기술의 분야에 관한 것인바, 특히, 화상 처리 방법과 장치, 전자 디바이스 및 기록 매체에 관한 것이다.
인공 지능 기술의 발전에 따라, 신경망은 데이터의 검출 및 판별에 점점 널리 사용되고 있으며, 이에 따라 인건비가 절감되고, 효율 및 정밀도가 향상되고 있다. 신경망의 훈련에는 훈련 세트로서 대규모의 라벨링된 훈련 샘플을 사용할 필요가 있다. 여기서, 인체 부위 사이의 관련 관계를 인식하는 신경망은 인체의 각 부위의 라벨링 정보가 포함된 이미지를 사용할 필요가 있지만, 현재 상황에서는 이미지 내의 인체 부위를 효율적인 동시에 정확하게 라벨링할 수 없기 때문에, 충분한 훈련 샘플을 얻기 어렵기에, 모델 훈련의 효율과 정확성이 모두 악영향을 받고 있다.
본 발명은 관련 기술에서의 부족한 점을 해결하기 위하여, 화상 처리 방법과 장치, 전자 디바이스 및 기록 매체를 제공한다.
본 발명의 제1 양태에 따르면, 화상 처리 방법을 제공하는바, 당해 방법은 이미지 내의 인체 검출 박스, 목표 신체 부위에 대응하는 목표 키 포인트 및 상기 인체 검출 박스와 상기 목표 키 포인트의 제1 관련 관계 정보를 취득하는 것; 상기 목표 키 포인트 및 상기 인체 검출 박스에 기반하여 상기 목표 신체 부위의 목표 검출 박스를 생성하는 것; 및 상기 제1 관련 관계 정보 및 사전에 라벨링한 제2 관련 관계 정보에 기반하여 제3 관련 관계 정보를 확정하는 것을 포함하되, 여기서, 상기 제2 관련 관계 정보는 제1 신체 부위와 상기 인체 검출 박스의 관련 관계를 나타내며, 상기 제3 관련 관계 정보는 상기 목표 검출 박스와 상기 제1 신체 부위의 제1 검출 박스의 관련 관계를 나타낸다.
본 발명의 제2 양태에 따르면, 신경망의 훈련 방법을 제공하는바, 상기 신경망은 이미지 내의 신체 부위 사이의 관련 관계를 검출하는 데에 사용되고, 상기 방법은 이미지 훈련 세트를 이용하여 상기 신경망을 훈련하는 것을 포함하되, 여기서, 상기 이미지 훈련 세트 중의 이미지는 라벨링 정보를 포함하고, 상기 라벨링 정보는 이미지 내의 제1 신체 부위와 목표 신체 부위 사이의 관련 관계 정보를 포함하며, 상기 관련 관계 정보는 제1 양태에 기재된 방법을 통해 확정된다.
본 발명의 제3 양태에 따르면, 동작 인식 방법을 제공하는바, 상기 방법은 이미지 내의 제1 신체 부위 및 목표 신체 부위의 관련 관계 정보에 기반하여 이미지 내의 인체의 동작을 인식하는 것을 포함하되, 여기서, 상기 관련 관계 정보는 제2 양태에 기재된 방법을 통해 훈련한 신경망에 기반하여 얻을 수 있다.
본 발명의 제4 양태에 따르면, 화상 처리 장치를 제공하는바, 상기 장치는 이미지 내의 인체 검출 박스, 목표 신체 부위에 대응하는 목표 키 포인트 및 상기 인체 검출 박스와 상기 목표 키 포인트의 제1 관련 관계 정보를 취득하기 위한 키 포인트 취득 모듈; 상기 목표 키 포인트 및 상기 인체 검출 박스에 기반하여 상기 목표 신체 부위의 목표 검출 박스를 생성하기 위한 검출 박스 생성 모듈; 및 상기 제1 관련 관계 정보 및 사전에 라벨링한 제2 관련 관계 정보에 기반하여 제3 관련 관계 정보를 확정하기 위한 관련 관계 확정 모듈을 구비하되, 여기서, 상기 제2 관련 관계 정보는 제1 신체 부위와 상기 인체 검출 박스의 관련 관계를 나타내며, 상기 제3 관련 관계 정보는 상기 목표 검출 박스와 상기 제1 신체 부위의 제1 검출 박스의 관련 관계를 나타낸다.
본 발명의 제5 양태에 따르면, 신경망의 훈련 장치를 제공하는바, 상기 신경망은 이미지 내의 신체 부위 사이의 관련 관계를 검출하는 데에 사용되고, 상기 장치는 이미지 훈련 세트를 이용하여 상기 신경망을 훈련하기 위한 훈련 모듈을 구비하되, 여기서, 상기 이미지 훈련 세트 중의 이미지는 라벨링 정보를 포함하고, 상기 라벨링 정보는 이미지 내의 제1 신체 부위와 목표 신체 부위 사이의 관련 관계 정보를 포함하며, 상기 관련 관계 정보는 제1 양태에 기재된 방법을 통해 확정된다.
본 발명의 제6 양태에 따르면, 동작 인식 장치를 제공하는바, 상기 장치는 이미지 내의 제1 신체 부위 및 목표 신체 부위의 관련 관계 정보에 기반하여 이미지 내의 인체의 동작을 인식하기 위한 인식 모듈을 구비하되, 여기서, 상기 관련 관계 정보는 제2 양태에 기재된 방법을 통해 훈련한 신경망에 기반하여 얻을 수 있다.
본 발명의 제7 양태에 따르면, 전자 디바이스를 제공하는바, 상기 전자 디바이스는 메모리와 프로세서를 구비하고, 상기 메모리는 상기 프로세서에 의해 실행 가능한 컴퓨터 명령을 저장하며, 상기 프로세서는 상기 컴퓨터 명령을 실행할 때에, 제1 양태, 제2 양태, 또는 제3 양태에 기재된 방법을 실현한다.
본 발명의 제8 양태에 따르면, 컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기록 매체를 제공하는바, 상기 컴퓨터 프로그램이 프로세서에 의해 실행되면, 제1 양태, 제2 양태, 또는 제3 양태에 기재된 방법이 실현된다.
상기의 실시예로부터 알 수 있듯이, 이미지 내의 인체 검출 박스, 목표 신체 부위에 대응하는 목표 키 포인트 및 상기 인체 검출 박스와 상기 목표 키 포인트의 제1 관련 관계 정보를 취득함으로써, 이미지 내의 모든 인체에 대응하는 인체 검출 박스를 정확하게 취득할 수 있고, 또한 각 인체 검출 박스와 관련된 목표 키 포인트를 취득할 수 있다. 또한, 목표 키 포인트 및 상기 인체 검출 박스에 기반하여 목표 신체 부위의 목표 검출 박스를 생성한다. 마지막으로, 사전에 라벨링한 제1 신체 부위와 인체 검출 박스의 제2 관련 관계 정보 및 상기 제1 관련 관계 정보에 기반하여, 목표 신체 부위와 제1 신체 부위의 제3 관련 관계 정보를 확정함으로써, 목표 신체 부위와 제1 신체 부위의 자동적인 관련을 실현한다. 확정된 제3 관련 관계 정보는 이미지 내의 목표 신체 부위의 라벨링 정보로 사용될 수 있는바, 수작업에 의한 비효율적인 라벨링의 문제를 해결하였고, 이미지 내의 신체 부위 사이의 관련성 라벨링 효율을 향상시켰다.
상기의 일반적인 서술과 이하의 세부 서술은 예시적 및 설명적인 것에 지나지 않으며, 본 발명에 대한 한정이 아님을 이해해야 한다.
여기에서의 도면은 명세서에 병합되어 본 명세서의 일부를 구성한다. 이러한 도면은 본 발명에 부합되는 실시예를 나타내며, 명세서와 함께 본 발명의 실시예를 설명하는 데에 이용될 수 있다.
도 1은 본 발명의 실시예에 따른 화상 처리 방법을 나타내는 플로우 챠트이다.
도 2는 본 발명의 실시예에 따른 이미지의 처리 결과를 나타내는 모식도이다.
도 3은 본 발명의 실시예에 따른 화상 처리 장치의 구성을 나타내는 모식도이다.
도 4는 본 발명의 실시예에 따른 전자 디바이스의 구성을 나타내는 모식도이다.
도 1은 본 발명의 실시예에 따른 화상 처리 방법을 나타내는 플로우 챠트이다.
도 2는 본 발명의 실시예에 따른 이미지의 처리 결과를 나타내는 모식도이다.
도 3은 본 발명의 실시예에 따른 화상 처리 장치의 구성을 나타내는 모식도이다.
도 4는 본 발명의 실시예에 따른 전자 디바이스의 구성을 나타내는 모식도이다.
여기서 예시적인 실시예를 상세하게 설명하며, 그 예를 도면에 나타낸다. 이하의 설명에서 도면을 언급할 경우, 특히 명기하지 않는 한, 서로 다른 도면 내의 동일한 숫자는 동일 또는 유사한 요소를 나타낸다. 이하의 예시적인 실시예에서 서술되는 실시 형태는 본 발명과 일치한 모든 실시 형태를 대표하지 않는다. 반대로, 이들은 첨부된 특허청구범위에 기재된 본 발명의 몇몇의 양태와 일치하는 장치 및 방법의 예에 지나지 않는다.
본 발명으로 사용되는 용어는 특정 실시예를 설명하는 것만을 목적으로 하고 있는바, 본 발명을 한정하는 것을 의도하는 것이 아니다. 본 발명 및 첨부의 특허청구범위에서 사용되는 "일종”, "상기”, "당해”등의 단수형은 문맥이 다른 의미를 명확히 나타내지 않는 한, 복수형도 포함하는 것을 의도하고 있다. 본 명세서에서 사용되는 "및/또는”이라는 용어는 하나 또는 복수의 관련되게 리스트된 아이템의 임의의 하나 또는 모든 가능한 조합을 포함하는 것을 나타냄을 이해해야 한다.
본 발명에서는 제1, 제2, 제3 등의 용어를 사용하여 다양한 정보를 기술하지만, 이러한 정보는 이러한 용어에 의해 한정되어서는 안되는 것을 이해해야 한다. 이러한 용어는 같은 종류의 정보를 서로 구별하기 위하여서만 사용된다. 예를 들면, 본 개시의 범위에서 일탈하지 않는 전제 하에서, 제1의 정보는 제2의 정보라고도 불릴 수 있으며, 마찬가지로, 제2의 정보는 제1의 정보라고도 불릴 수 있다. 문맥에 따라 본 명세서에서 사용되는 "만약”이라는 단어는 "… 경우”, "?? 면” 또는 "?? 것에 응답하여”라고 해석할 수 있다.
인공 지능 기술의 발전에 따라, 신경망은 데이터의 검출 및 판별을 실행할 수 있으며, 인건비를 절감하고, 효율 및 정밀도를 향상시켰다. 신경망의 훈련은 훈련 세트로서 대규모의 라벨링된 훈련 샘플을 사용할 필요가 있다. 동작 인식 모델을 훈련하기 위한 인체 이미지는 인체의 각 부위를 라벨링할 필요가 있으나, 관련 기술에서는 상기 라벨링을 효율적인 동시에 정확하게 실행할 수 없기 때문에, 모델 훈련의 효율과 정확성이 모두 악영향을 받고 있다.
이를 감안하여, 제1 양태에 따르면, 본 발명의 적어도 하나의 실시예는 화상 처리 방법을 제공하는바, 도 1을 참조 참조하면, 당해 방법의 플로우를 나타내며, 단계 S101∼단계 S103을 포함한다.
여기서, 당해 화상 처리 방법에 사용되는 이미지는 신경망 모델을 훈련하기 위한 이미지일 수 있으며, 신경망 모델은 인체 동작을 인식하기 위한 모델일 수 있다. 예를 들면 당해 모델은 탁상 게임의 장면의 게임 플레이어의 동작을 인식하는 데에 사용될 수 있다. 하나의 예시적인 적용 장면에 있어서, 탁상 게임 과정 중에 비디오를 녹화한 후, 비디오를 상기 모델에 입력하여, 모델에 의해 비디오 중의 각 프레임의 이미지 내의 각 사람의 동작을 인식할 수 있다. 모델은 인체의 몇몇의 부위를 인식함으로써 동작 인식을 실행할 수 있다. 당해 화상 처리 방법에 사용되는 이미지는 적어도 하나의 인체를 포함하고, 또한 인체의 몇몇의 신체 부위의 위치는 사전에 직사각형 박스 등을 통해 라벨링되어 있다.
단계 S101에 있어서, 이미지 내의 인체 검출 박스, 목표 신체 부위에 대응하는 목표 키 포인트 및 상기 인체 검출 박스와 상기 목표 키 포인트의 제1 관련 관계 정보를 취득한다.
여기서, 이미지 내에는 적어도 하나의 인체가 포함되고, 각 인체는 하나의 인체 검출 박스에 대응되며, 인체 검출 박스는 대응하는 인체를 완전히 둘러쌀 수 있고, 인체 검출 박스는 대응하는 인체를 둘러싸는 최소의 박스일 수 있다. 인체 검출 박스의 형상은 직사각형 또는 기타 합리적인 형상일 수 있는바, 본 발명은 이에 대해 구체적으로 한정하지 않는다. 인체 검출 박스 내에는 적어도 하나의 목표 키 포인트가 포함되고, 이러한 목표 키 포인트는 손목, 어깨, 팔꿈치 등 신체 부위 등의 인체의 목표 신체 부위에 대응된다. 인체에 하나의 목표 신체 부위는 적어도 하나의 목표 키 포인트에 대응된다. 인체의 기타 목표 신체 부위에 대응하는 목표 키 포인트의 수량은 같거나 다를 수 있으며, 본 발명은 이에 대해 구체적으로 한정하지 않는다.
본 단계에 있어서, 이하의 방법을 통해, 인체 검출 박스를 취득할 수 있는바, 즉, 이미지 내에서 인체 키 포인트를 검출하고, 인체 대상의 에지를 확정하며, 또한 인체 대상을 둘러싸는 인체 검출 박스 구축함으로써, 인체 검출 박스의 이미지 내의 위치를 확정할 수 있다. 구체적으로, 인체 검출 박스가 직사각형일 경우, 직사각형 박스의 4개의 정점의 좌표 위치를 취득할 수 있다.
목표 신체 부위에 대응하는 목표 키 포인트를 취득하는 것은, 목표 키 포인트 이미지 내의 위치 정보를 취득하는 것을 포함할 수 있는바, 예를 들면 목표 키 포인트에 대응하는 하나 또는 복수의 픽셀 점의 위치 좌표를 취득할 수 있다. 목표 신체 부위의 인체 상의 상대적인 위치 특징에 기반하여, 인체 검출 박스에 대해 목표 키 포인트 검출을 실행하거나, 또는 이미지 내에서 목표 키 포인트 검출을 실행함으로써, 목표 키 포인트의 위치를 확정할 수 있다.
목표 키 포인트와 인체 검출 박스의 제1 관련 관계 정보는, 목표 키 포인트와 인체 검출 박스에 대응하는 인체와의 귀속 관계를 포함하는바, 즉, 목표 키 포인트가 인체 검출 박스 내의 인체에 속할 경우, 목표 키 포인트와 인체 검출 박스를 관련시킨다. 반대로, 목표 키 포인트가 인체 검출 박스 내의 인체에 속하지 않을 경우, 목표 키 포인트와 인체 검출 박스를 관련시키지 않는다. 인체 검출 박스와 목표 키 포인트의 위치에 기반하여 제1 관련 관계 정보를 확정할 수 있다.
일 예에 있어서, 목표 신체 부위는 사람 얼굴, 사람 손, 팔꿈치, 무릎, 어깨 및 사람 발 중의 임의의 하나를 포함하며, 이에 따라, 목표 신체 부위에 대응하는 목표 키 포인트는 사람 얼굴 키 포인트, 사람 손 키 포인트, 팔꿈치 키 포인트, 무릎 키 포인트, 어깨 키 포인트 및 사람 발 키 포인트 중의 임의의 하나를 포함한다.
단계 S102에 있어서, 상기 목표 키 포인트 및 상기 인체 검출 박스에 기반하여 상기 목표 신체 부위의 목표 검출 박스를 생성한다.
여기서, 목표 신체 부위는 이미지 내의 라벨링할 필요가 있는 위치 및/또는 관련된 인체 또는 기타 인체의 신체 부위일 수 있다. 얻어진 목표 키 포인트의 위치에 기반하여, 당해 목표 키 포인트를 둘러싸는 포위 박스를 대응하는 목표 신체 부위의 검출 박스로 생성할 수 있다.
라벨링할 필요가 있는 목표 신체 부위가 복수의 있을 경우, 이러한 목표 신체 부위에 대해 일괄하여 라벨링을 실행할 수 있다. 따라서, 본 단계에서는 이러한 목표 신체 부위의 검출 박스를 일괄하여 확정할 수 있고, 또한 이러한 목표 신체 부위를 순서대로 라벨링할 수 있며, 따라서, 본 단계에서는 목표 신체 부위의 검출 박스를 하나씩 확정할 수 있다.
여기서, 목표 신체 부위에 대응하는 목표 키 포인트는 하나 또는 복수 개 있을 수 있기 때문에, 본 단계에서는 하나 또는 복수의 목표 키 포인트 및 대응하는 인체 검출 박스에 기반하여 목표 신체 부위의 검출 박스를 확정할 수 있다. 목표 신체 부위의 검출 박스를 목표 신체 부위의 위치 라벨로 설정할 수 있다.
일 예에 있어서, 도 2는 목표 신체 부위의 검출 박스를 나타내는 모식도이다. 도 2에 나타낸 바와 같이, 이미지 내에는 210, 220 및 230과 같은 3개의 인체 및 인체(210)에 대응하는 팔꿈치의 검출 박스(212), 인체(220)에 대응하는 팔꿈치의 검출 박스(222) 및 인체(230)에 대응하는 팔꿈치의 검출 박스(232)가 포함될 수 있는바, 또한 이 중의 팔꿈치 검출 박스(212, 222, 232)는 모두 쌍을 이루는바, 즉, 왼쪽 팔꿈치 및 오른쪽 팔꿈치를 포함한다.
단계 S103에 있어서, 상기 제1 관련 관계 정보 및 사전에 라벨링한 제2 관련 관계 정보에 기반하여 제3 관련 관계 정보를 확정하고, 여기서 상기 제2 관련 관계 정보는 제1 신체 부위와 상기 인체 검출 박스의 관련 관계를 나타내며, 상기 제3 관련 관계 정보는 상기 목표 검출 박스와 상기 제1 신체 부위의 제1 검출 박스의 관련 관계를 나타낸다.
여기서, 제1 신체 부위는 이미 라벨링된 신체 부위일 수 있고, 그 라벨링 정보는 제1 신체 부위의 검출 박스의 위치 및 당해 제1 신체 부위와 인체 사이의 관계를 포함할 수 있다. 옵션으로서, 제1 신체 부위의 라벨링 정보는 부위 명칭, 방위 구별 정보 중의 적어도 하나를 더 포함하지만, 이에 한정되지 않는다.
상기 제2 관련 관계 정보는 제1 신체 부위의 라벨링 정보에 기반하여 얻을 수 있고, 제1 신체 부위와 인체 검출 박스 사이의 관련 관계는 당해 제1 신체 부위와 당해 인체 검출 박스 내의 인체의 관련 관계에 기반하여 확정될 수 있다.
이하의 방법을 통해, 제3 관련 관계 정보를 확정할 수 있는바, 즉, 인체 검출 박스와 당해 인체 검출 박스와 관련된 목표 검출 박스를 관련시키고, 당해 인체 검출 박스와 목표 검출 박스 사이의 관련 결과 및 제2 관련 관계 정보에 기반하여, 같은 인체 검출 박스와 관련된 목표 검출 박스와 제1 신체 부위의 제1 검출 박스를 관련시킴으로써, 제3 관련 관계 정보를 얻는다.
일 예에 있어서, 제1 신체 부위가 사람 얼굴이고, 목표 신체 부위가 팔꿈치이면, 상기 방법을 통해 사람 얼굴과 팔꿈치의 제3 관련 관계 정보를 확정할 수 있다. 구체적으로는 도 2를 참조할 수 있으며, 도면에서는 210, 220 및 230의 3개의 인체를 나타내며, 인체(210)의 제1 신체 부위는 사람 얼굴(211)이고, 인체(210)의 목표 신체 부위는 팔꿈치(212)이며, 사람 얼굴(211)과 팔꿈치(212)의 제3 관련 관계 정보를 확정할 수 있다. 마찬가지로, 인체(220)의 제1 신체 부위가 사람 얼굴(221)이고, 인체(220)의 목표 신체 부위가 팔꿈치(222)이기 때문에, 사람 얼굴(221)과 팔꿈치(222)의 제3 관련 관계 정보를 확정할 수 있으며, 인체(230)의 제1 신체 부위가 사람 얼굴(231)이고, 인체(230)의 목표 신체 부위가 팔꿈치(232)이기 때문에, 사람 얼굴(231)과 팔꿈치(232)와의 제3 관련 관계 정보를 확정할 수 있다.
팔꿈치는 목표 신체 부위에 하나의 예에 지나지 않으며, 실제의 적용에 있어서, 목표 신체 부위는 또한 손목, 어깨, 목, 무릎 등의 부위일 수 있음을 이해해야 한다. 몇몇의 장면에 있어서, 사람 얼굴 정보는 서로 다른 사람을 구분하는 데에 사용되며, 사람의 신분 정보와 관련시킬 수 있다. 상기 방법은 인체 검출 박스를 매개로 이용하여, 이미지 내의 이미 라벨링된 사람 얼굴을 이용하여, 같은 인체의 사람 얼굴과 팔꿈치를 관련시킴으로써, 팔꿈치에 대응하는 인체의 신분 정보를 확정할 수 있기에, 이미지 내에서 사람 얼굴 이외의 기타 신체 부위와 사람 얼굴의 관련 관계를 검출하는 데에 도움이 되며, 따라서 서로 다른 신체 부위에 대응하는 사람의 신분 정보를 확정할 수 있다.
또 일 예에 있어서, 제1 신체 부위가 사람 손이고, 목표 신체 부위가 팔꿈치이면, 사람 손과 팔꿈치의 제3 관련 관계 정보를 확정할 수 있다. 구체적으로, 도 2를 참조하면, 도면에서는 210, 220 및 230의 3개의 인체를 나타내며, 인체(210)의 제1 신체 부위는 사람 손(213)이고, 인체(210)의 목표 신체 부위는 팔꿈치(212)이기 때문에, 사람 손(213)과 팔꿈치(212)의 제3 관련 관계 정보를 확정할 수 있다. 인체(220)의 제1 신체 부위가 사람 손(223)이고, 인체(220)의 목표 신체 부위가 팔꿈치(222)이기 때문에, 사람 손(223)과 팔꿈치(222)의 제3 관련 관계 정보를 확정할 수 있다. 인체(230)의 제1 신체 부위가 사람 손(233)이고, 인체(230)의 목표 신체 부위가 팔꿈치(232)이기 때문에, 사람 손(233)과 팔꿈치(232)의 제3 관련 관계 정보를 확정할 수 있다.
상기 목표 검출 박스 및 제3 관련 관계 정보는 이미지 내의 목표 신체 부위의 라벨링 정보로 사용될 수 있기 때문에, 상기 방법은 이미지 내의 목표 신체 부위의 자동적인 라벨링을 실현했다. 이미지에 기반하여 인체 동작을 인식하거나 또는 신체 부위를 인식하기 때문에, 신경망을 훈련 때에 대량의 이미지를 고속으로 자동적으로 라벨링할 수 있고, 신경망의 훈련을 위해 충분한 훈련 샘플을 제공할 수 있으며, 신경망의 훈련 샘플을 취득하는 어려움을 줄였다.
상기의 실시예로부터 알 수 있듯이, 이미지의 인체 검출 박스, 목표 신체 부위에 대응하는 목표 키 포인트 및 상기 인체 검출 박스와 상기 목표 키 포인트의 제1 관련 관계 정보를 취득하고, 또한 목표 키 포인트 및 상기 인체 검출 박스에 기반하여 목표 신체 부위의 목표 검출 박스를 생성하고, 마지막으로, 사전에 라벨링한 인체 검출 박스와 제1 신체 부위 사이의 제2 관련 관계 정보 및 상기 제1 관련 관계 정보에 기반하여, 목표 검출 박스와 상기 제1 신체 부위의 제1 검출 박스 사이의 제3 관련 관계 정보를 확정함으로써, 목표 신체 부위와 제1 신체 부위의 자동적인 관련을 실현하고, 또한 목표 신체 부위와 제1 신체 부위의 관련 관계의 라벨링을 실현할 수 있기에, 수작업에 의한 비효율적인 라벨링의 문제를 해결하였고, 이미지 내의 신체 부위 사이의 관련성 라벨링 효율을 향상시켰다.
본 발명의 몇몇의 실시예에 있어서, 이하의 방법을 통해 이미지 내의 인체 검출 박스, 목표 키 포인트 및 상기 인체 검출 박스와 상기 목표 키 포인트의 제1 관련 관계 정보를 취득할 수 있는바, 즉, 먼저 이미지 내의 인체 검출 박스 및 상기 인체 검출 박스 내의 인체 키 포인트를 취득한 후, 상기 인체 키 포인트 중의 목표 신체 부위에 대응하는 목표 키 포인트를 추출하며, 마지막으로, 상기 인체 검출 박스와 추출한 상기 목표 키 포인트의 제1 관련 관계 정보를 생성한다.
여기서, 인체 검출 박스 내에는 적어도 하나의 인체 키 포인트가 포함되고, 이러한 인체 키 포인트는 손목, 어깨, 팔꿈치부, 사람 손, 사람 발, 사람 얼굴 등의 신체 부위 등의, 인체의 적어도 하나의 신체 부위에 대응된다. 인체에 하나의 신체 부위는 적어도 하나의 인체 키 포인트에 대응된다. 인체의 다른 신체 부위에 대응하는 인체 키 포인트의 수량은 같거나 다를 수 있으며, 본 발명은 이에 대해 구체적으로 한정하지 않는다.
본 단계에 있어서, 이하의 방법을 통해, 인체 키 포인트를 취득할 수 있는바, 즉, 상기 이미지를 이미지 내의 인체 대상을 검출하기 위한 신경망을 입력하고, 당해 신경망에 의해 출력되는 인체 키 포인트의 위치 정보를 취득한다. 옵션으로서, 당해 신경망은 인체 검출 박스의 위치 정보를 더 출력할 수 있다. 여기서, 상기 이미지 내의 인체 대상을 검출하기 위한 신경망은 대량의 데이터를 이용하여 훈련한 모델일 수 있으며, 이미지의 각 위치의 특징을 정확하게 추출하고, 추출한 특징 인식 이미지 내의 인체 키 포인트 등의 추출한 특징 인식 이미지의 내용에 기반하여, 인체 키 포인트의 위치 정보를 확정할 수 있다. 옵션으로서, 또한 추출한 특징 인식 이미지 내의 인체 검출 박스에 기반하여 인체 키 포인트의 위치 정보를 확정할 수 있다.
본 단계에 있어서, 또한 검출된 인체 키 포인트의 위치 정보에 기반하여 대응하는 인체의 에지를 확정하고, 인체를 둘러싸는 인체 검출 박스를 구축함으로써, 인체 검출 박스의 이미지 내의 위치를 확정할 수 있다. 이미지 내의 인체 검출 박스와 인체 키 포인트의 위치 포함 관계에 기반하여, 인체 검출 박스와 인체 키 포인트의 귀속 관계를 확정할 수 있다.
일 예에 있어서, 얻어진 인체 키 포인트에 대응하는 신체 부위는 사람 얼굴, 사람 손, 팔꿈치, 무릎, 어깨 및 사람 발 중의 적어도 하나를 포함하고, 이에 따라, 인체 키 포인트는 사람 얼굴 키 포인트, 사람 손 키 포인트, 팔꿈치 키 포인트, 무릎 키 포인트, 어깨 키 포인트 및 사람 발 키 포인트 중의 적어도 하나를 포함한다.
본 단계에 있어서, 목표 신체 부위의 인체 상의 상대적인 위치 특징에 기반하여, 모든 인체 키 포인트의 위치 정보를 스크리닝함으로써, 목표 신체 부위가 상대적인 위치 특징에 매칭되는 인체 키 포인트를 목표 키 포인트로 확정할 수 있다. 일 예에 있어서, 인체 검출 박스 내에는 사람 얼굴 키 포인트, 사람 손 키 포인트, 팔꿈치 키 포인트, 무릎 키 포인트, 어깨 키 포인트 및 사람 발 키 포인트가 포함되고, 목표 부위가 팔꿈치일 경우, 상기 인체 키 포인트 중에서 팔꿈치 키 포인트를 목표 키 포인트로 추출할 수 있다.
본 단계에 있어서, 추출한 목표 키 포인트와 인체 검출 박스의 귀속 관계에 기반하여, 목표 키 포인트와 인체 검출 박스 사이의 제1 관련 관계 정보를 확정할 수 있다.
본 발명의 몇몇의 실시예에 있어서, 상기 목표 검출 박스는 상기 목표 키 포인트를 위치결정점으로 이용하며, 또한 상기 인체 검출 박스 및 소정의 검출 박스 중의 적어도 하나와 소정의 면적 비례 관계를 충족시키며, 여기서 상기 소정의 검출 박스는 사전에 라벨링한 소정의 신체 부위의 검출 박스이다.
여기서, 목표 검출 박스의 위치결정점은 검출 박스의 중심일 수 있는바, 즉, 목표 키 포인트를 목표 검출 박스의 중심으로 설정한다.
여기서, 소정의 면적 비례 관계는 인간 공학 등의 사전 지식에 기반하여 얻어진 것인바, 소정의 비례 구간내에 있으며, 또한 몇몇의 이미지 내의 목표 신체 부위, 소정의 신체 부위 및 인체의 면적 비율의 통계 값에 기반하여 확정된 것이다. 서로 다른 목표 신체 부위의 검출 박스와 인체 검출 박스의 소정의 면적 비례 관계는 다를 수 있는바, 즉, 각 목표 검출 박스와 인체 검출 박스의 소정의 면적 비례 관계는 모두 개별적으로 설정될 수 있다. 목표 신체 부위와 다른 소정의 신체 부위의 검출 박스의 소정의 면적 비례 관계는 다를 수 있는바, 즉, 목표 검출 박스와 기타 소정의 검출 박스의 소정의 면적 비례 관계는 모두 개별적으로 설정될 수 있다.
상기 방법을 통해, 목표 검출 박스를 고속으로 구축하여, 목표 신체 부위의 위치 라벨링을 구현할 수 있다.
본 단계에 있어서, 목표 검출 박스의 면적은 이하의 파라미터에 기반하여 확정할 수 있는바, 당해 파라미터는 상기 인체 검출 박스의 제1 가중치, 상기 인체 검출 박스와 상기 목표 검출 박스의 소정의 면적 비례 관계, 상기 인체 검출 박스의 면적, 상기 소정의 검출 박스의 제2 가중치, 상기 소정의 검출 박스와 상기 목표 검출 박스의 소정의 면적 비례 관계 및 상기 소정의 검출 박스의 면적을 포함한다. 즉, 목표 검출 박스는 인체 검출 박스와 소정의 면적 비례 관계를 충족시킬 수 있는바, 즉, 제1 가중치가 1이고, 제2 가중치가 0일 수 있다. 또한, 소정의 검출 박스와 소정의 면적 비례 관계를 충족시킬 수 있는바, 즉, 제1 가중치가 0일 수 있고, 제2 가중치가 1일 수 있다. 또한, 인체 검출 박스 및 소정의 검출 박스와 각각 대응하는 소정의 면적 비례 관계를 충족시킬 수 있는바, 즉, 제1 가중치 및 제2 가중치가 모두 0로부터 1까지의 비례이며, 또한 양자의 합계가 1이다.
구체적으로, 이하의 계산식을 통해 목표 검출 박스의 면적을 확정할 수 있다.
여기서, S는 목표 검출 박스의 면적이고, 
는 제1 가중치이며, 
는 상기 인체 검출 박스와 상기 목표 검출 박스의 소정의 면적 비율이고, 
는 상기 인체 검출 박스의 면적이며, 
는 제2 가중치이고, 
는 상기 소정의 검출 박스와 상기 목표 검출 박스의 소정의 면적 비율이며, 
는 상기 소정의 검출 박스의 면적이다.
목표 검출 박스는 인체 검출 박스와 형상이 같을 수 있는바, 예를 들면 인체 검출 박스의 형상이 직사각형이고, 목표 검출 박스도 직사각형일 수 있으며, 또한 인체 검출 박스의 종횡비가 상기 목표 검출 박스의 종횡비와 동일하다. 예를 들면, 목표 신체 부위의 팔꿈치 목표 검출 박스와 인체 검출 박스의 소정의 면적 비례 관계가 1:9이고, 인체 검출 박스의 형상이 직사각형일 경우, 인체 검출 박스의 긴 변과 짧은 변을 각각 같은 비율로 1/3로 축소하여, 목표 검출 박스의 긴 변과 짧은 변을 얻을 수 있다.
목표 검출 박스는 대응하는 인체 검출 박스의 형상과 다를 수 있으며, 서로 다른 부위에 기반하여 해당하는 검출 박스의 형상을 사전에 설정할 수 있는바, 예를 들면 인체 검출 박스는 직사각형이고, 사람 얼굴의 검출 박스는 원일 수 있다. 목표 검출 박스 및 인체 검출 박스의 형상이 모두 직사각형일 경우, 종횡비는 다를 수 있으며, 기타 신체 부위에 기반하여 직사각형 검출 박스의 종횡비를 사전에 설정할 수 있다.
몇몇의 장면에 있어서, 사람 얼굴의 크기는 인체의 심층 정보를 어느 정도 나타낼 수 있는바, 즉, 사람 얼굴의 검출 박스의 면적은 인체의 심층 정보를 나타낼 수 있다. 따라서, 사람 얼굴을 소정의 신체 부위로 설정할 수 있는바, 즉, 인체 검출 박스 및 사람 얼굴 검출 박스를 결합시켜 목표 검출 박스의 면적을 확정할 수 있다.
본 발명의 실시예에 있어서, 목표 검출 박스를 확정하는 것은 목표 신체 부위의 검출 박스의 이미지 내의 위치를 확정하는 것일 수 있는바, 예를 들면 검출 박스가 직사각형일 경우, 검출 박스의 4개의 정점의 좌표를 확정할 수 있다. 본 실시예에 있어서, 형상, 면적, 소정의 가중치 및 위치결정점의 위치 등의 복수의 구속 조건에 기반하여, 목표 검출 박스를 생성할 수 있으며, 정밀도가 상대적으로 높은 목표 검출 박스를 얻을 수 있고, 또한 목표 검출 박스에 기반하여 생성한 목표 신체 부위의 라벨링 정보도 상대적으로 높은 정밀도를 가진다. 또한, 상기 방법은 목표 신체 부위의 목표 검출 박스를 자동적으로 생성하기 때문에, 수작업에 의한 비효율적인 라벨링의 문제를 해결하였고, 목표 신체 부위의 라벨링 효율을 향상시켰다.
인체의 부위는 사람 얼굴, 목 등의 단독적인 부위뿐만 아니라, 사람 손, 팔꿈치, 무릎, 어깨 및 사람 발 등과 같은 대칭 부위도 포함한다. 대칭 부위는 쌍으로 존재하고, 또한 방위 구별 정보를 가지며, 방위 구별 정보는 신체 부위의 인체 상의 방향을 판별하는 데에 사용된다. 예를 들면, 왼쪽 및 오른쪽의 경우, 예시적으로 왼쪽 손, 왼쪽 팔꿈치, 왼쪽 팔의 방위 구별 정보가 왼쪽이고, 오른쪽 손, 오른쪽 팔꿈치, 오른쪽 팔의 방위 구별 정보는 오른쪽이다. 또한, 제1 신체 부위는 단독적인 부위일 수도 있고, 대칭 부위일 수도 있다. 목표 신체 부위는 단독적인 부위일 수도 있고, 대칭적인 부위일 수도 있다. 제1 신체 부위 및 목표 신체 부위의 종류에 따라 제3 관련 관계 정보를 생성하는 방법이 결정될 수 있는바, 구체적으로 이하의 네 가지 경우가 존재한다.
첫 번째 경우, 상기 제1 신체 부위가 하나의 단독적인 부위를 포함하고, 상기 목표 신체 부위가 하나의 단독적인 부위를 포함할 경우, 이하의 방법을 이용하여, 제3 관련 관계 정보를 생성할 수 있는바, 즉, 상기 인체 검출 박스와 관련된 제1 신체 부위의 제1 검출 박스와 목표 신체 부위의 목표 검출 박스를 관련시켜 제3 관련 관계 정보를 생성한다. 예를 들면, 제1 신체 부위가 사람 얼굴이고, 목표 신체 부위가 목이며, 사람 얼굴과 목의 제3 관련 관계 정보를 확정한다.
두 번째 경우, 상기 제1 신체 부위가 하나의 단독적인 부위를 포함하고, 상기 목표 신체 부위가 같은 인체의 두 개의 제1 대칭 부위 중의 적어도 하나를 포함할 경우, 이하의 방법을 통해 제3 관련 관계 정보를 확정하는바, 즉, 먼저 목표 신체 부위의 방위 구별 정보를 취득한 후, 상기 제1 관련 관계 정보 및 사전에 라벨링한 제2 관련 관계 정보에 기반하여, 같은 인체 검출 박스와 관련된 제1 검출 박스와 목표 검출 박스를 관련시켜 제3 관련 관계 정보를 생성한다. 여기서, 목표 검출 박스, 제3 관련 관계 정보 및 목표 신체 부위의 방위 구별 정보는 이미지 내의 목표 신체 부위의 라벨링 정보로 사용할 수 있다.
예를 들면, 제1 신체 부위가 사람 얼굴이고, 목표 신체 부위가 왼쪽 팔꿈치 및 오른쪽 팔꿈치를 포함하면, 사람 얼굴과 왼쪽 팔꿈치의 제3 관련 관계 정보 및 사람 얼굴과 오른쪽 팔꿈치의 제3 관련 관계 정보를 확정하고, 또한 왼쪽 팔꿈치의 검출 박스, 사람 얼굴과 왼쪽 팔꿈치의 제3 관련 관계 정보 및 방위 구별 정보(왼쪽)를 왼쪽 팔꿈치의 라벨링 정보로 사용하며, 오른쪽 팔꿈치의 검출 박스, 사람 얼굴과 오른쪽 팔꿈치의 제3 관련 관계 정보 및 방위 구별 정보(오른쪽)를 오른쪽 팔꿈치의 라벨링 정보로 사용할 수 있다.
세 번째 경우, 상기 제1 신체 부위가 같은 인체의 두 개의 제2 대칭 부위 중의 적어도 하나를 포함하고, 상기 목표 신체 부위가 하나의 단독적인 부위를 포함할 경우, 이하의 방법을 통해 제3 관련 관계 정보를 확정할 수 있는바, 즉, 먼저 제1 신체 부위의 방위 구별 정보를 취득한 후, 상기 제1 관련 관계 정보 및 사전에 라벨링한 제2 관련 관계 정보에 기반하여, 같은 인체 검출 박스와 관련된 제1 검출 박스와 목표 검출 박스를 관련시켜 제3 관련 관계 정보를 생성한다. 여기서, 목표 검출 박스, 제3 관련 관계 정보 및 제1 신체 부위의 방위 구별 정보를 이미지 내의 목표 신체 부위의 라벨링 정보로 사용할 수 있다.
예를 들면, 목표 신체 부위가 사람 얼굴이고, 제1 신체 부위가 왼쪽 팔꿈치를 포함하면, 사람 얼굴과 왼쪽 팔꿈치의 제3 관련 관계 정보를 확정하고, 또한 사람 얼굴의 검출 박스, 사람 얼굴과 왼쪽 팔꿈치의 제3 관련 관계 정보 및 방위 구별 정보(왼쪽)를 사람 얼굴의 라벨링 정보로 사용할 수 있다.
네 번째 경우, 상기 목표 신체 부위가 같은 인체의 두 개의 제1 대칭 부위 중의 적어도 하나를 포함하고, 상기 제1 신체 부위가 같은 인체의 두 개의 제2 대칭 부위 중의 적어도 하나를 포함할 경우, 이하의 방법을 통해 제3 관련 관계 정보를 확정할 수 있는바, 즉, 먼저 상기 목표 신체 부위의 방위 구별 정보를 취득하고, 상기 제1 신체 부위의 방위 구별 정보를 취득한 후, 상기 제1 관련 관계 정보 및 사전에 라벨링한 제2 관련 관계 정보에 기반하여, 같은 인체 검출 박스와 관련되는 동시에, 방위 구별 정보가 동일한 제1 검출 박스와, 목표 검출 박스를 관련시키며, 마지막으로 상기 제1 검출 박스와 목표 검출 박스의 관련 결과에 기반하여 제3 관련 관계 정보를 생성한다. 여기서, 목표 검출 박스, 제3 관련 관계 정보 및 목표 신체 부위의 방위 구별 정보를 이미지 내의 목표 신체 부위의 라벨링 정보로 사용할 수 있다.
예를 들면, 제1 신체 부위가 왼쪽 손 및 오른쪽 손을 포함하고, 목표 신체 부위가 왼쪽 팔꿈치 및 오른쪽 팔꿈치를 포함하면, 검출된 왼쪽 손, 오른쪽 손 및 왼쪽 손 및 오른쪽 손과 정도 팔꿈치 사이의 상대적 위치 관계에 기반하여, 왼쪽 손과 왼쪽 팔꿈치의 제3 관련 관계 정보 및 오른쪽 손과 오른쪽 팔꿈치의 제3 관련 관계 정보를 확정하고, 또한 왼쪽 팔꿈치의 검출 박스, 왼쪽 손과 왼쪽 팔꿈치의 제3 관련 관계 정보 및 방위 구별 정보(왼쪽)를 왼쪽 팔꿈치의 라벨링 정보로 사용하며, 오른쪽 팔꿈치의 검출 박스, 오른쪽 손과 오른쪽 팔꿈치의 제3 관련 관계 정보 및 방위 구별 정보(오른쪽)를 오른쪽 팔꿈치의 라벨링 정보로 사용할 수 있다.
여기서, 제2 관련 관계 정보는 제1 신체 부위의 라벨링 정보에 기반하여 얻을 수 있다. 즉, 제1 신체 부위의 라벨링 정보는 제1 신체 부위, 인체 및 인체 검출 박스 사이의 대응 관계를 포함할 수 있다. 제2 관련 관계 정보는 인체 검출 박스와 인체 검출 박스 내의 인체 키 포인트의 대응 관계로부터 얻을 수 있다. 구체적으로 말하면, 제1 신체 부위와 그 중의 인체 키 포인트의 대응 관계 및 상기 인체 키 포인트와 인체 검출 박스의 대응 관계에 기반하여, 제1 신체 부위, 인체 및 인체 검출 박스의 대응 관계를 얻을 수 있다.
여기서, 제1 신체 부위의 라벨링 정보는 또한 적어도 하나의 제2 대칭 부위에 대응하는 방위 구별 정보를 포함할 수 있는바, 즉, 적어도 하나의 제2 대칭 부위에 대해 왼쪽 또는 오른쪽을 대응적으로 라벨링할 수 있으며, 따라서 제1 신체 부위의 방위 구별 정보를 제1 신체 부위의 라벨링 정보로부터 취득할 수 있다. 제1 신체 부위의 방위 구별 정보는 상기 인체 검출 박스 및 상기 제1 신체 부위에 대응하는 인체 키 포인트에 기반하여 확정할 수 있는바, 즉, 두 개의 제2 대칭 부위는 다른 인체 키 포인트를 가지기 때문에, 그 자체에 포함된 인체 키 포인트의 위치 정보 등에 기반하여 제2 대칭 부위의 방위 구별 정보를 확정할 수 있다. 즉, 인체 키 포인트의 방향이 왼쪽이면, 대응하는 제2 대칭 부위의 방위 구별 정보가 왼쪽이고, 인체 키 포인트의 방향이 오른쪽이면, 대응하는 제2 대칭 부위의 방위 구별 정보가 오른쪽이다. 목표 신체 부위의 방위 구별 정보는 상기 인체 검출 박스 및 상기 목표 신체 부위에 대응하는 목표 키 포인트에 기반하여 확정할 수 있다. 구체적인 취득 방법은 제1 신체 부위의 방위 구별 정보의 취득 방법과 같은바, 여기에서 더 이상 반복적으로 설명하지 않는다.
여기서, 위치 귀속 관계에 따라 같은 인체 검출 박스와 관련된 목표 신체 부위의 목표 검출 박스 및 제1 신체 부위의 제1 검출 박스를 확정할 수 있는바, 즉, 같은 인체 검출 박스에 포함된 목표 검출 박스 및 제1 검출 박스를 같은 인체 검출 박스와 관련된 목표 검출 박스 및 제1 검출 박스로 사용할 수 있다.
본 발명의 실시예에 있어서, 제1 신체 부위 및 목표 신체 부위의 기타 종류에 대해, 각각 다른 방법을 통해 제3 관련 관계 정보를 확정함으로써, 제1 신체 부위 및 목표 신체 부위의 관련 관계의 정확성을 향상시켰다.
본 발명의 실시예에 있어서, 또한 제3 관련 관계 정보를 확정한 후, 상기 제3 관련 관계 정보 및 상기 목표 신체 부위의 방위 구별 정보에 기반하여 상기 목표 신체 부위의 관련성 라벨을 생성할 수 있다.
여기서, 이미지에 기반하여 인체 동작을 인식하거나 신체 부위를 인식하기 위한 신경망을 훈련할 경우, 관련성 라벨을 이미지 내의 목표 신체 부위의 라벨의 하나로 사용할 수 있다. 또한, 관련성 라벨은 방위 구별 정보를 포함할 수 있으며, 따라서 대칭적인 신체 부위의 방위를 판별할 수 있으며, 또한 목표 신체 부위의 라벨링 정확성을 향상시키고, 신경망의 훈련 효율 및 훈련 품질을 향상시킬 수 있다.
발명의 몇몇의 실시예에 있어서, 상기 화상 처리 방법은 상기 제2 관련 관계 정보 및 사전에 라벨링한 제4 관련 관계 정보에 기반하여 제5 관련 관계 정보를 생성하는 것을 더 포함하며, 여기서, 제4 관련 관계 정보는 제2 신체 부위와 상기 인체 검출 박스의 관련 관계를 나타내며, 상기 제5 관련 관계 정보는 상기 목표 검출 박스와 상기 제2 신체 부위의 제2 검출 박스 사이의 관련 관계를 나타낸다.
여기서, 제2 신체 부위가 이미 라벨링된 신체 부위이며, 그 라벨링 정보는 제2 신체 부위의 검출 박스의 위치, 부위 명칭, 방위 구별 정보, 인체와의 대응 관계 등을 포함할 수 있다. 따라서, 제4 관련 관계 정보는 제2 신체 부위의 라벨링 정보에 기반하여 얻을 수 있는바, 즉, 제2 신체 부위와 인체 검출 박스 사이의 관련 관계는 제2 신체 부위와 인체 검출 박스 내의 인체의 관련 관계에 의해 확정될 수 있다.
여기서, 제4 관련 관계 정보는 또한 인체 검출 박스와 인체 검출 박스 내의 인체 키 포인트의 대응 관계로부터 취득할 수 있으며, 구체적인 취득 방식은 제1 신체 부위의 취득 방식과 같은바, 여기에서 더 이상 반복적으로 설명하지 않는다.
여기서, 제1 신체 부위 및 제2 신체 부위의 타입에 기반하여, 네 가지 상황으로 나눌 수 있는바, 즉, 제1 신체 부위 및 제2 신체 부위가 모두 단독적인 부위인 첫 번째 상황, 제1 신체 부위가 대칭 부위이고, 제2 신체 부위가 단독적인 부위인 두 번째 상황, 제1 신체 부위가 단독적인 부위이고 제2 신체 부위가 대칭 부위인 세 번째 상황 및 제1 신체 부위가 대칭 부위이고, 제2 신체 부위가 대칭 부위인 네 번째 상황으로 나눌 수 있다. 당업자는 상기의 네 가지 상황에서 제5 관련 관계 정보를 확정하는 방법은 제3 관련 관계 정보의 확정 방법을 참조할 수 있는바, 여기에서 더 이상 반복적으로 설명하지 않음을 이해해야 한다.
일 예에 있어서, 상기 제1 신체 부위는 상기 제2 신체 부위와 다르고, 상기 제2 신체 부는 사람 얼굴, 사람 손, 팔꿈치, 무릎, 어깨 및 사람 발 중의 하나다.
예를 들면, 제1 신체 부위가 사람 얼굴이고, 제2 신체 부위가 사람 손이면, 사람 얼굴과 사람 손의 제5 관련 관계 정보를 확정할 수 있다. 구체적으로, 도 2를 참조하면, 도면에 210, 220 및 230의 3개 인체를 나타내며, 인체(210)의 제1 신체 부위가 사람 얼굴(211)이고, 인체(210)의 제2 신체 부위가 사람 손(213)이면, 사람 얼굴(211)과 사람 손(213)의 제5 관련 관계 정보를 확정할 수 있다. 인체(220)의 제1 신체 부위가 사람 얼굴(221)이고, 인체(220)의 제2 신체 부위가 사람 손(223)이면, 사람 얼굴(221)과 사람 손(223)과의 제5 관련 관계 정보를 확정할 수 있다. 인체(230)의 제1 신체 부위가 사람 얼굴(231)이고, 인체(230)의 제2 신체 부위가 사람 손(233)이면, 사람 얼굴(231)과 사람 손(233)의 제5 관련 관계 정보를 확정할 수 있다.
본 발명의 실시예에 있어서, 제5 관련 관계 정보를 확정함으로써, 이미지의 라벨링 정보를 더 풍부히 할 수 있기 때문에, 당해 이미지는 멀티 태스크 신경망의 훈련에 적용될 수 있는바, 예를 들면 팔꿈치와 사람 얼굴 및 사람 손과의 관련성을 검출하기 위한 신경망을 훈련할 수 있고, 멀티 태스크 신경망의 훈련중의 샘플의 수집의 어려움을 줄일 수 있고, 멀티 태스크 신경망의 훈련 품질을 향상시키는 데에도 도움이 된다.
본 발명의 몇몇의 실시예에 있어서, 상기 화상 처리 방법은 상기 제3 관련 관계 정보 또는 상기 제2 관련 관계 정보와 상기 제3 관련 관계 정보에 기반하여, 상기 이미지에 대응하는 관련 관계 표시 정보를 표시하는 것을 더 포함한다.
여기서, 관련 관계 표시 정보는 연결선의 형태로 표시할 수 있는바, 즉, 제3 관련 관계 정보는 목표 신체 부위의 목표 검출 박스와 제1 신체 부위의 제1 검출 박스의 연결선으로 표시할 수 있다.
일 예에 있어서, 목표 신체 부위가 왼쪽 손이고, 제1 신체 부위가 왼쪽 팔꿈치이면, 왼쪽 손과 왼쪽 팔꿈치 사이의 제3 관련 관계 정보를 확정한 후, 왼쪽 손의 검출 박스와 왼쪽 팔꿈치의 검출 박스를 연결선으로 연결하여, 대응하는 관련 관계 표시 정보로 사용할 수 있으며, 구체적으로는 도 2를 참조할 수 있다. 도면에는 210, 220 및 230의 3개 인체를 나타내며, 인체(210)의 목표 신체 부위는 왼쪽 손(213)이고, 인체(210)의 제1 신체 부위는 왼쪽 팔꿈치(212)이며, 왼쪽 손(213)의 검출 박스와 왼쪽 팔꿈치(212)의 검출 박스를 연결선으로 연결하여, 양자 간의 제3 관련 관계 정보의 표시 정보로 사용할 수 있다. 인체(220)의 목표 신체 부위가 왼쪽 손(223)이고, 인체(220)의 제1 신체 부위가 왼쪽 팔꿈치(222)이면, 왼쪽 손(223)의 검출 박스와 왼쪽 팔꿈치(222)의 검출 박스를 연결선으로 연결하여, 양자 간의 제3 관련 관계 정보의 표시 정보로 사용할 수 있다. 인체(230)의 목표 신체 부위가 왼쪽 손(233)이고, 인체(230)의 제1 신체 부위가 왼쪽 팔꿈치(232)이면, 왼쪽 손(233)의 검출 박스와 왼쪽 팔꿈치(232)의 검출 박스를 연결선으로 연결하여, 양자 간의 제3 관련 관계 정보의 표시 정보로 사용할 수 있다.
이에 따라, 제5 관련 관계 정보 또는 제4 관련 관계 정보와 제5 관련 관계 정보에 기반하여, 상기 이미지에 대응하는 관련 관계 표시 정보를 표시할 수 있다. 여기서, 제5 관련 관계 정보는 제2 신체 부위의 제2 검출 박스와 제1 신체 부위의 제1 검출 박스의 연결선을 이용하여 표시할 수 있다.
제3 관련 관계 정보 및 제5 관련 관계 정보를 모두 이미지에 표시한 후, 제1 신체 부위, 목표 신체 부위 및 제2 신체 부위의 관련 관계 표시 정보가 형성되는바, 예를 들면, 제1 신체 부위가 사람 얼굴이고, 목표 신체 부위가 왼쪽 팔꿈치이며, 제2 신체 부위가 왼쪽 손이면, 사람 얼굴, 왼쪽 팔꿈치 및 왼쪽 손에 3개의 관련 관계 표시 정보가 형성된다. 구체적으로는 도 2를 참조하면, 도면에는 210, 220 및 230의 3개 인체를 나타내며, 인체(210)의 제1 신체 부위가 사람 얼굴(211)이고, 인체(210)의 목표 신체 부위가 왼쪽 팔꿈치(212)이며, 인체(210)의 제2 신체 부위가 왼쪽 손(213)이면, 사람 얼굴(211)의 검출 박스와 왼쪽 팔꿈치(212)의 검출 박스와 왼쪽 손(213)의 검출 박스를 순서대로 연결하여, 사람 얼굴(211), 왼쪽 팔꿈치(212) 및 왼쪽 손(213)의 관련 관계 표시 정보를 형성할 수 있다. 인체(220)의 제1 신체 부위가 사람 얼굴(221)이고, 인체(220)의 목표 신체 부위가 왼쪽 팔꿈치(222)이며, 인체(220)의 제2 신체 부위가 왼쪽 손(223)이면, 사람 얼굴(221)의 검출 박스, 왼쪽 팔꿈치(222)의 검출 박스 및 왼쪽 손(223)의 검출 박스를 순서대로 연결하여, 사람 얼굴(221), 왼쪽 팔꿈치(222) 및 왼쪽 손(223)의 관련 관계 표시 정보를 형성할 수 있다. 인체(230)의 제1 신체 부위가 사람 얼굴(231)이고, 인체(230)의 목표 신체 부위가 왼쪽 팔꿈치(232)이며, 인체(230)의 제2 신체 부위가 왼쪽 손(233)이면, 사람 얼굴(231)의 검출 박스, 왼쪽 팔꿈치(232)의 검출 박스 및 왼쪽 손(233)의 검출 박스를 순서대로 연결하여, 사람 얼굴(231), 왼쪽 팔꿈치(232) 및 왼쪽 손(233)의 관련 관계 표시 정보를 형성할 수 있다.
상기 관련 관계 표시 정보의 표시는 연결선을 이용하는 표시 방법에 한정되지 않으며, 또한 같은 색상의 검출 박스를 이용하여 같은 인체의 관련된 서로 다른 신체 부위를 표시하며, 같은 인체의 서로 다른 부위에 대응하는 사람의 신분 식별자 등을 표시할 수 있다.
본 발명의 실시예에 있어서, 제3 관련 관계 정보 및 제5 관련 관계 정보 중의 적어도 하나를 표시함으로써, 라벨링 결과를 직관적으로 표시할 수 있고, 라벨링 작업자의 관련성 라벨링 결과의 체크를 용이하게 할 수 있으며, 인체 동작 검출 및 추적에 적용할 경우, 관련 관계 표시 정보를 사용하여 인체 동작 및 추적 결과를 표시할 수 있고, 관련 관계의 검출 결과의 평가를 편리하게 한다.
본 발명의 실시예의 제2 양태에 따르면, 신경망의 훈련 방법을 제공하는바, 상기 신경망은 이미지 내의 신체 부위 사이의 관련 관계를 검출하는 데에 사용되고, 상기 방법은 이미지 훈련 세트를 이용하여 상기 신경망을 훈련하는 것을 포함하며, 여기서, 상기 이미지 훈련 세트 중의 이미지는 라벨링 정보를 포함하고, 상기 라벨링 정보는 이미지 내의 제1 신체 부위와 목표 신체 부위 사이의 관련 관계 정보를 포함하며, 상기 관련 관계 정보는 제1 양태에 기재된 방법을 통해 확정된다.
상기의 화상 처리 방법을 통해 얻어진 제3 관련 관계 정보는 이미지 훈련 세트 중의 이미지를 라벨링 하는 데에 사용되고, 비교적으로 정확하고 신뢰적인 라벨링 정보를 얻을 수 있기 때문에, 훈련하여 얻은 이미지 내의 신체 부위 사이의 관련 관계를 검출하기 위한 신경망은 비교적 높은 정밀도를 가진다.
본 발명의 실시예의 제3 양태에 따르면, 동작 인식 방법을 제공하는바, 상기 방법은 이미지 내의 제1 신체 부위 및 목표 신체 부위의 관련 관계 정보에 기반하여 이미지 내의 인체의 동작을 인식하는 것을 포함하되, 여기서, 상기 관련 관계 정보는 제2 양태에 기재된 방법을 통해 훈련한 신경망에 기반하여 얻을 수 있다.
상기의 이미지 내의 신체 부위 사이의 관련 관계를 검출하기 위한 신경망에 기반하여 예측한 인체 부위 사이의 관련 관계 정보는, 인체 동작 검출에서 같은 인체의 다른 신체 부위를 정확하게 관련시킬 수 있고, 따라서 같은 인체의 서로 다른 신체 부위 사이의 상대적 위치 및 각도 관계의 분석에 도움이 되며, 또한 인체 동작을 확정하고, 비교적으로 정확한 인체 동작 인식 결과를 얻을 수 있다.
도 3을 참조하면, 본 발명의 실시예의 제4 양태는 화상 처리 장치를 제공하는바, 당해 장치는,
이미지 내의 인체 검출 박스, 목표 신체 부위에 대응하는 목표 키 포인트 및 상기 인체 검출 박스와 상기 목표 키 포인트의 제1 관련 관계 정보를 취득하기 위한 키 포인트 취득 모듈(301);
상기 목표 키 포인트 및 상기 인체 검출 박스에 기반하여 상기 목표 신체 부위의 목표 검출 박스를 생성하기 위한 검출 박스 생성 모듈(302); 및
상기 제1 관련 관계 정보 및 사전에 라벨링한 제2 관련 관계 정보에 기반하여 제3 관련 관계 정보를 확정하기 위한 관련 관계 확정 모듈(303)을 구비하되, 여기서, 상기 제2 관련 관계 정보는 제1 신체 부위와 상기 인체 검출 박스의 관련 관계를 나타내고, 상기 제3 관련 관계 정보는 상기 목표 검출 박스와 상기 제1 신체 부위의 제1 검출 박스의 관련 관계를 나타낸다.
본 발명의 실시예의 제5 양태에 따르면, 신경망의 훈련 장치를 제공하는바, 상기 신경망은 이미지 내의 신체 부위 사이의 관련 관계를 검출하는 데에 사용되고, 상기 장치는,
이미지 훈련 세트를 이용하여 상기 신경망을 훈련하기 위한 훈련 모듈을 구비한다.
여기서, 상기 이미지 훈련 세트 중의 이미지는 라벨링 정보를 포함하고, 상기 라벨링 정보는 이미지 내의 제1 신체 부위와 목표 신체 부위 사이의 관련 관계 정보를 포함하고, 상기 관련 관계 정보는 제1 양태에 기재된 방법을 통해 확정된다.
본 발명의 실시예의 제6 양태에 따르면, 동작 인식 장치를 제공하는바, 상기 장치는,
이미지 내의 제1 신체 부위 및 목표 신체 부위의 관련 관계 정보에 기반하여 이미지 내의 인체의 동작을 인식하기 위한 인식 모듈을 구비하되, 여기서, 상기 관련 관계 정보는 제2 양태에 기재된 방법을 통해 훈련한 신경망에 기반하여 얻을 수 있다.
상기의 실시예의 장치에 대해, 그 중의 각 모듈이 조작을 실행하는 구체적인 방식은 이미 제3 양태의 관련된 방법의 실시예에서 상세하게 설명했기 때문에, 여기에서는 반복적으로 상세하게 설명하지 않는다.
도 4를 참조하면, 본 발명의 실시예의 제7 양태는 전자 디바이스를 제공하는바, 상기 전자 디바이스는 메모리와 프로세서를 구비하고, 상기 메모리는 프로세서 상에서 실행 가능한 컴퓨터 명령을 저장하며, 상기 프로세서는 상기 컴퓨터 명령을 실행할 때에, 제1 양태, 제2 양태, 또는 제3 양태에 기재된 방법을 실현한다.
본 발명의 실시예의 제8 양태에 따르면, 컴퓨터 프로그램이 기억되어 있는 컴퓨터 판독 가능 기록 매체를 제공하는바, 상기 프로그램이 프로세서에 의해 실행되면, 제1 양태, 제2 양태, 또는 제3 양태에 기재된 방법이 실현된다.
본 발명에 있어서, "제1" 및 "제2"라는 용어는 설명의 목적으로만 이용될 뿐, 상대적인 중요성을 나타내거나 암시하는 것으로 이해하면 안된다. "복수”라는 용어는 특별히 명기되지 않는 한 두 개 이상을 가리킨다.
당업자는 명세서를 검토하고 본 명세서에 개시된 발명을 실시한 후, 본 발명의 기타 실시 형태를 용이하게 생각해낼 수 있을 것이다. 본 발명은 본 발명의 모든 변형, 용도 또는 적응적 변경을 포함하는 것을 의도하고 있으며, 이 변형, 용도 또는 적응적 변경은 본 발명의 일반 원리에 따르며, 본 기술의 분야의 일반적인 지식 또는 종래의 기술적 수단을 포함한다. 명세서 및 실시예는 단순한 예로 간주되어야 하여, 본 발명의 실제 범위 및 사상은 이하의 특허청구범위에 의해 지적된다.
본 발명은 상기 및 도면에 나타낸 정확한 구조에 한정되는 것이 아니고, 본 발명의 범위에서 일탈하지 않는 전제 하에서, 다양한 수정 및 변경을 할 수 있음을 이해해야 한다. 본 개시의 범위는 첨부의 특허청구범위에 의해서만 한정된다.
Claims (20)
- 화상 처리 방법으로서,
이미지 내의 인체 검출 박스, 목표 신체 부위에 대응하는 목표 키 포인트 및 상기 인체 검출 박스와 상기 목표 키 포인트의 제1 관련 관계 정보를 취득하는 것;
상기 목표 키 포인트 및 상기 인체 검출 박스에 기반하여 상기 목표 신체 부위의 목표 검출 박스를 생성하는 것; 및
상기 제1 관련 관계 정보 및 사전에 라벨링한 제2 관련 관계 정보에 기반하여 제3 관련 관계 정보를 확정하는 것을 포함하고,
상기 제2 관련 관계 정보는 제1 신체 부위와 상기 인체 검출 박스의 관련 관계를 나타내며,
상기 제3 관련 관계 정보는 상기 목표 검출 박스와 상기 제1 신체 부위의 제1 검출 박스의 관련 관계를 나타내는
것을 특징으로 하는, 화상 처리 방법. - 제1항에 있어서,
상기 이미지 내의 인체 검출 박스, 목표 신체 부위에 대응하는 목표 키 포인트 및 상기 인체 검출 박스와 상기 목표 키 포인트의 제1 관련 관계 정보를 취득하는 것은,
상기 이미지 내의 인체 검출 박스 및 상기 인체 검출 박스 내의 인체 키 포인트를 취득하는 것;
상기 인체 키 포인트 중의 상기 목표 신체 부위에 대응하는 목표 키 포인트를 추출하는 것; 및
상기 인체 검출 박스와 추출한 상기 목표 키 포인트의 제1 관련 관계 정보를 생성하는 것을 포함하는
것을 특징으로 하는, 화상 처리 방법. - 제1항에 있어서,
상기 목표 검출 박스는 상기 목표 키 포인트를 위치결정점으로 이용하고, 상기 인체 검출 박스 및 소정의 검출 박스 중의 적어도 하나와 소정의 면적 비례 관계를 충족시키며,
상기 소정의 검출 박스는 사전에 라벨링한 소정의 신체 부위의 검출 박스인
것을 특징으로 하는, 화상 처리 방법. - 제3항에 있어서,
상기 목표 검출 박스의 면적은 이하의 파라미터에 의해 확정되며,
상기 파라미터는,
상기 인체 검출 박스의 제1 가중치,
상기 인체 검출 박스와 상기 목표 검출 박스의 소정의 면적 비례 관계,
상기 인체 검출 박스의 면적,
상기 소정의 검출 박스의 제2 가중치,
상기 소정의 검출 박스와 상기 목표 검출 박스의 소정의 면적 비례 관계 및
상기 소정의 검출 박스의 면적을 포함하는
것을 특징으로 하는, 화상 처리 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 제1 관련 관계 정보 및 사전에 라벨링한 제2 관련 관계 정보에 기반하여 제3 관련 관계 정보를 확정하는 것은,
상기 인체 검출 박스와 관련된 제1 검출 박스와 상기 목표 검출 박스를 관련시켜 제3 관련 관계 정보를 생성하는 것을 포함하는
것을 특징으로 하는, 화상 처리 방법. - 제1항 내지 제5 항 중 어느 한 항에 있어서,
상기 목표 신체 부위가 같은 인체의 두 개의 제1 대칭 부위 중의 적어도 하나를 포함할 경우, 상기 목표 신체 부위의 방위 구별 정보를 취득하는 것을 더 포함하는
것을 특징으로 하는, 화상 처리 방법. - 제6항에 있어서,
상기 제1 관련 관계 정보 및 사전에 라벨링한 제2 관련 관계 정보에 기반하여 제3 관련 관계 정보를 확정하는 것은,
상기 제1 신체 부위가 같은 인체의 두 개의 제2 대칭 부위 중의 적어도 하나를 포함할 경우, 상기 제1 신체 부위의 방위 구별 정보를 취득하는 것;
상기 제1 관련 관계 정보 및 사전에 라벨링한 제2 관련 관계 정보에 기반하여, 상기 인체 검출 박스와 관련된, 방위 구별 정보가 동일한 상기 제1 검출 박스와, 상기 목표 검출 박스를 관련시키는 것; 및
상기 제1 검출 박스 및 목표 검출 박스의 관련 결과에 기반하여 제3 관련 관계 정보를 생성하는 것을 포함하는
것을 특징으로 하는, 화상 처리 방법. - 제6항 또는 제7항에 있어서,
상기 목표 신체 부위의 방위 구별 정보를 취득하는 것은,
상기 인체 검출 박스 및 상기 목표 신체 부위에 대응하는 목표 키 포인트에 기반하여, 상기 목표 신체 부위의 방위 구별 정보를 확정하는 것을 포함하는
것을 특징으로 하는, 화상 처리 방법. - 제6항 내지 제8항 중 어느 한 항에 있어서,
상기 제3 관련 관계 정보 및 상기 목표 신체 부위의 방위 구별 정보에 기반하여 상기 목표 신체 부위의 관련성 라벨을 생성하는 것을 더 포함하는
것을 특징으로 하는, 화상 처리 방법. - 제1항 내지 제9항 중 어느 한 항에 있어서,
상기 제1 신체 부위 및 상기 목표 신체 부위는 사람 얼굴, 사람 손, 팔꿈치, 무릎, 어깨 및 사람 발 중의 하나인
것을 특징으로 하는, 화상 처리 방법. - 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 제2 관련 관계 정보 및 사전에 라벨링한 제4 관련 관계 정보에 기반하여 제5 관련 관계 정보를 생성하는 것을 더 포함하며,
상기 제4 관련 관계 정보는 제2 신체 부위와 상기 인체 검출 박스의 관련 관계를 나타내고,
상기 제5 관련 관계 정보는 상기 목표 검출 박스와 대상기 제2 신체 부위의 제2 검출 박스 사이의 관련 관계를 나타내는
것을 특징으로 하는, 화상 처리 방법. - 제11항에 있어서,
상기 제1 신체 부위는 상기 제2 신체 부위와 다르고,
상기 제2 신체부는 사람 얼굴, 사람 손, 팔꿈치, 무릎, 어깨 및 사람 발 중의 하나인
것을 특징으로 하는, 화상 처리 방법. - 제1항 내지 제12항 중 어느 한 항에 있어서,
상기 제3 관련 관계 정보 또는 상기 제2 관련 관계 정보와 상기 제3 관련 관계 정보에 기반하여, 상기 이미지에 대응하는 관련 관계 표시 정보를 표시하는
것을 특징으로 하는, 화상 처리 방법. - 신경망의 훈련 방법으로서,
상기 신경망은 이미지 내의 신체 부위 사이의 관련 관계를 검출하는 데에 사용되고,
상기 신경망의 훈련 방법은,
이미지 훈련 세트를 이용하여 상기 신경망을 훈련하는 것을 포함하며,
상기 이미지 훈련 세트 중의 이미지는 라벨링 정보를 포함하고,
상기 라벨링 정보는 이미지 내의 제1 신체 부위와 목표 신체 부위 사이의 관련 관계 정보를 포함하며,
상기 관련 관계 정보는 제1항 내지 제13항 중 어느 한 항에 기재된 화상 처리 방법을 통해 확정되는
것을 특징으로 하는, 신경망의 훈련 방법. - 동작 인식 방법으로서,
이미지 내의 제1 신체 부위 및 목표 신체 부위의 관련 관계 정보에 기반하여 이미지 내의 인체의 동작을 인식하는 것을 포함하며,
상기 관련 관계 정보는 제14항에 기재된 신경망의 훈련 방법을 통해 훈련한 신경망에 기반하여 얻은
것을 특징으로 하는, 동작 인식 방법. - 화상 처리 장치로서,
이미지 내의 인체 검출 박스, 목표 신체 부위에 대응하는 목표 키 포인트 및 상기 인체 검출 박스와 상기 목표 키 포인트의 제1 관련 관계 정보를 취득하기 위한 키 포인트 취득 모듈;
상기 목표 키 포인트 및 상기 인체 검출 박스에 기반하여 상기 목표 신체 부위의 목표 검출 박스를 생성하기 위한 검출 박스 생성 모듈; 및
상기 제1 관련 관계 정보 및 사전에 라벨링한 제2 관련 관계 정보에 기반하여 제3 관련 관계 정보를 확정하기 위한 관련 관계 확정 모듈을 구비하고,
상기 제2 관련 관계 정보는 제1 신체 부위와 상기 인체 검출 박스의 관련 관계를 나타내며, 상기 제3 관련 관계 정보는 상기 목표 검출 박스와 상기 제1 신체 부위의 검출 박스의 관련 관계를 나타내는
것을 특징으로 하는, 화상 처리 장치. - 신경망의 훈련 장치로서,
상기 신경망은 이미지 내의 신체 부위 사이의 관련 관계를 검출하는 데에 사용되고,
상기 신경망의 훈련 장치는,
이미지 훈련 세트를 이용하여 상기 신경망을 훈련하기 위한 훈련 모듈을 구비하고,
상기 이미지 훈련 세트 중의 이미지는 라벨링 정보를 포함하며, 상기 라벨링 정보는 이미지 내의 제1 신체 부위와 목표 신체 부위 사이의 관련 관계 정보를 포함하고, 상기 관련 관계 정보는 제1항 내지 제13항 중 어느 한 항에 기재된 화상 처리 방법을 통해 확정되는
것을 특징으로 하는, 신경망의 훈련 장치. - 동작 인식 장치로서,
이미지 내의 제1 신체 부위 및 목표 신체 부위의 관련 관계 정보에 기반하여 이미지 내의 인체의 동작을 인식하기 위한 인식 모듈을 구비하고,
상기 관련 관계 정보는 제14항에 기재된 신경망의 훈련 방법을 통해 훈련한 신경망에 기반하여 얻은
것을 특징으로 하는, 동작 인식 장치. - 전자 디바이스로서,
메모리와 프로세서를 구비하고,
상기 메모리는 상기 프로세서에 의해 실행 가능한 컴퓨터 명령을 저장하고,
상기 프로세서는 상기 컴퓨터 명령을 실행할 때에 제1항 내지 제15항 중 어느 한 항에 기재된 방법을 실현하는
것을 특징으로 하는, 전자 디바이스. - 컴퓨터 프로그램이 기록되어 있는 컴퓨터 판독 가능 기록 매체로서,
상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때에 제1항 내지 제15항 중 어느 한 항에 기재된 방법의 조작이 실현되는
것을 특징으로 하는, 컴퓨터 판독 가능 기록 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SG10202013266S | 2020-12-31 | ||
| SG10202013266S | 2020-12-31 | ||
| PCT/IB2021/054306 WO2022144607A1 (en) | 2020-12-31 | 2021-05-19 | Methods, devices, electronic apparatuses and storage media of image processing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220098315A true KR20220098315A (ko) | 2022-07-12 |
Family
ID=78242853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217019366A KR20220098315A (ko) | 2020-12-31 | 2021-05-19 | 화상 처리 방법과 장치, 전자 디바이스 및 기록 매체 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220207266A1 (ko) |
| JP (1) | JP2023511243A (ko) |
| KR (1) | KR20220098315A (ko) |
| CN (1) | CN113597614A (ko) |
| AU (1) | AU2021203869B2 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115457644B (zh) * | 2022-11-10 | 2023-04-28 | 成都智元汇信息技术股份有限公司 | 一种基于扩展空间映射获得目标的识图方法及装置 |
| CN115830642B (zh) * | 2023-02-13 | 2024-01-12 | 粤港澳大湾区数字经济研究院(福田) | 2d全身人体关键点标注方法及3d人体网格标注方法 |
| CN116385965A (zh) * | 2023-03-17 | 2023-07-04 | 深圳市明源云科技有限公司 | 流浪动物识别方法、设备及计算机可读存储介质 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8963829B2 (en) * | 2009-10-07 | 2015-02-24 | Microsoft Corporation | Methods and systems for determining and tracking extremities of a target |
| BR112020001729A8 (pt) * | 2017-08-01 | 2023-04-11 | Huawei Tech Co Ltd | Método, aparelho e dispositivo de reconhecimento de gestos |
| KR102117050B1 (ko) * | 2017-09-08 | 2020-05-29 | 삼성전자주식회사 | 이미지 내 휴먼 분리를 위한 전자 장치 및 방법 |
| CN108334863B (zh) * | 2018-03-09 | 2020-09-04 | 百度在线网络技术（北京）有限公司 | 身份认证方法、系统、终端和计算机可读存储介质 |
| CN108710868B (zh) * | 2018-06-05 | 2020-09-04 | 中国石油大学(华东) | 一种基于复杂场景下的人体关键点检测系统及方法 |
| CN109614867A (zh) * | 2018-11-09 | 2019-04-12 | 北京市商汤科技开发有限公司 | 人体关键点检测方法和装置、电子设备、计算机存储介质 |
| CN109740571A (zh) * | 2019-01-22 | 2019-05-10 | 南京旷云科技有限公司 | 图像采集的方法、图像处理的方法、装置和电子设备 |
| CN109858555B (zh) * | 2019-02-12 | 2022-05-17 | 北京百度网讯科技有限公司 | 基于图像的数据处理方法、装置、设备及可读存储介质 |
| CN109934182A (zh) * | 2019-03-18 | 2019-06-25 | 北京旷视科技有限公司 | 对象行为分析方法、装置、电子设备及计算机存储介质 |
| CN110457999B (zh) * | 2019-06-27 | 2022-11-04 | 广东工业大学 | 一种基于深度学习和svm的动物姿态行为估计与心情识别方法 |
| CN111079554A (zh) * | 2019-11-25 | 2020-04-28 | 恒安嘉新（北京）科技股份公司 | 分析学生课堂表现的方法、装置、电子设备、及存储介质 |
| CN111507327B (zh) * | 2020-04-07 | 2023-04-14 | 浙江大华技术股份有限公司 | 一种目标检测方法及装置 |
| CN111950567B (zh) * | 2020-08-18 | 2024-04-09 | 创新奇智(成都)科技有限公司 | 一种提取器训练方法、装置、电子设备及存储介质 |
| CN112016475B (zh) * | 2020-08-31 | 2022-07-08 | 支付宝(杭州)信息技术有限公司 | 一种人体检测识别方法和装置 |
-
2021
- 2021-05-19 KR KR1020217019366A patent/KR20220098315A/ko unknown
- 2021-05-19 AU AU2021203869A patent/AU2021203869B2/en not_active Expired - Fee Related
- 2021-05-19 JP JP2021536381A patent/JP2023511243A/ja not_active Withdrawn
- 2021-05-19 CN CN202180001453.4A patent/CN113597614A/zh active Pending
- 2021-06-15 US US17/347,877 patent/US20220207266A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20220207266A1 (en) | 2022-06-30 |
| JP2023511243A (ja) | 2023-03-17 |
| AU2021203869B2 (en) | 2023-02-02 |
| CN113597614A (zh) | 2021-11-02 |
| AU2021203869A1 (en) | 2022-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220098315A (ko) | 화상 처리 방법과 장치, 전자 디바이스 및 기록 매체 | |
| US10977515B2 (en) | Image retrieving apparatus, image retrieving method, and setting screen used therefor | |
| CN109035187B (zh) | 一种医学图像的标注方法及装置 | |
| CN111340126B (zh) | 物品识别方法、装置、计算机设备和存储介质 | |
| US7286725B2 (en) | Information presentation apparatus for suggesting a presentation accuracy of related information and information presentation method | |
| CN106030610B (zh) | 移动设备的实时3d姿势识别和跟踪系统 | |
| US10776978B2 (en) | Method for the automated identification of real world objects | |
| US20170352162A1 (en) | Region-of-interest extraction device and region-of-interest extraction method | |
| CN110837580A (zh) | 一种行人图片标注方法、装置、存储介质和智能设备 | |
| US20180336733A1 (en) | Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium | |
| KR20150039252A (ko) | 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법 | |
| CN108724178A (zh) | 特定人自主跟随方法及装置、机器人、设备和存储介质 | |
| Hu et al. | Exemplar-based recognition of human–object interactions | |
| CN113435236A (zh) | 居家老人姿态检测方法、系统、存储介质、设备及应用 | |
| KR20220098312A (ko) | 이미지 내 관련 대상 검출 방법, 장치, 디바이스 및 기록 매체 | |
| CN111124863B (zh) | 智能设备性能测试方法、装置及智能设备 | |
| CN109858402B (zh) | 一种图像检测方法、装置、终端以及存储介质 | |
| CN113557546B (zh) | 图像中关联对象的检测方法、装置、设备和存储介质 | |
| CN111569421A (zh) | 虚拟场景变化同步方法、系统、vr播放设备及存储介质 | |
| CN114565976A (zh) | 一种训练智能测试方法以及装置 | |
| CN114743026A (zh) | 目标对象的方位检测方法、装置、设备及计算机可读介质 | |
| WO2023098635A1 (zh) | 图像处理 | |
| CN113569594A (zh) | 一种人脸关键点的标注方法及装置 | |
| CN115620095A (zh) | 一种手部信息的标注方法、装置、设备及存储介质 | |
| CN112380951B (zh) | 一种识别异常行为的方法、装置、计算机设备及存储介质 |