KR102389916B1 - 인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체 - Google Patents

인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체 Download PDF

Info

Publication number
KR102389916B1
KR102389916B1 KR1020210081937A KR20210081937A KR102389916B1 KR 102389916 B1 KR102389916 B1 KR 102389916B1 KR 1020210081937 A KR1020210081937 A KR 1020210081937A KR 20210081937 A KR20210081937 A KR 20210081937A KR 102389916 B1 KR102389916 B1 KR 102389916B1
Authority
KR
South Korea
Prior art keywords
human body
information
image
target
original image
Prior art date
Application number
KR1020210081937A
Other languages
English (en)
Other versions
KR20210080334A (ko
Inventor
첸 자오
샤오시옹 양
샤오인 장
Original Assignee
바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 filed Critical 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Publication of KR20210080334A publication Critical patent/KR20210080334A/ko
Application granted granted Critical
Publication of KR102389916B1 publication Critical patent/KR102389916B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Abstract

본 출원은 인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체를 제공한다. 상기 방법은 촬영된 첫번째 오리지널 이미지를 획득하는 단계; 획득한 이미지를 기초로 해상도를 조정하여 목표 이미지를 얻는 단계; 기설정된 인체 특징점 검출 모델을 기반으로 목표 이미지에 대해 처리하여, 목표 이미지에 인체 정보 포함 여부를 확정하는 단계; 만약 포함되어 있으면, 인체 정보를 기초로 오리지널 이미지에서 인체 영역 정보를 확정하며, 인체 영역 정보를 필터에 입력하여, 필터가 인체 영역 정보를 기초로 목표 인체 영역 정보를 확정하도록 하는 단계; 촬영된 다음 오리지널 이미지를 획득하는 단계; 목표 인체 영역 정보를 기초로, 다음 오리지널 이미지에서 가능한 인체 영역을 확정하며, 가능한 인체 영역을 기초로 해상도를 조정하는 단계를 수행하는 단계를 포함한다. 본 출원에 개시된 기술방안에 따르면, 이미지 중 시간 변화에 따른 인체 영역의 연관 관계에 따라 오리지널 이미지를 처리함으로써, 이미지에서 정확하고 신속하게 인체의 위치를 결정할 수 있다.

Description

인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체 {METHOD, APPARATUS, AND DEVICE FOR IDENTIFYING HUMAN BODY AND COMPUTER READABLE STORAGE}
본 출원은 이미지 처리 기술에 관한 것으로, 특히 인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체에 관한 것이다.
현재, 많은 응용 시나리오에서 인체 운동 정보의 포착이 필요한데, 예를 들어, 증강현실(Augmented Reality, AR), 가상현실(Virtual Reality, VR), 보안 시스템 및 일부 애플리케이션(Applications, APPs)들은 모두 사람의 신체 위치를 결정함으로써 인체 정보를 포착한다.
일반적으로, 인체의 운동 범위는 비교적 넓은데, 좌우로 움직이거나 또는 앞뒤로 움직일 수 있다. 다만, 휴대 전화 카메라와 같은 이미지 센서의 화각은 모두 광각이므로, 피사체의 거리의 변화에 의해 화상에서의 인체의 비율이 매우 현저하게 변화된다. 예를 들어, 동영상 특수 효과 촬영app의 경우, 사용자가 앞뒤로 움직이는 춤 동작을 하면 인체가 차지하는 화면 비율이 매우 크게 변화된다. 이에 따라, 인체 위치 결정 방법에 대해, 적어도 이미지에서 서로 다른 크기로 변화되는 인체에 대해 호환 가능하도록, 요구가 점점 높아지고 있다.
종래 기술에서 이러한 기술적 문제를 해결하는 방식은 모델에 입력되는 이미지의 해상도를 직접 증가시킴으로써 이미지 중 인체 정보를 인식하는 것이지만, 이런 방식에 의하면 모델에서의 연산량이 배로 증가하게 된다. 따라서, 정확하고 신속하게 인체 위치를 결정하는 것은 본 분야의 기술자들이 시급히 해결해야 할 기술문제이다.
본 출원은 정확하고 신속하게 인체 위치를 결정할 수 없는 종래기술의 문제점을 해결하기 위한 인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체를 제공한다.
제1양태에 있어서, 본 출원에 따른 인체 인식 방법은,
촬영된 첫번째 오리지널 이미지를 획득하는 단계;
획득한 첫번째 오리지널 이미지를 기초로 해상도를 조정하여 목표 이미지를 얻는 단계;
기설정된 인체 특징점 검출 모델을 기반으로 상기 목표 이미지에 대해 처리하여, 상기 목표 이미지에 인체 정보 포함 여부를 확정하는 단계;
만약 포함되어 있으면, 상기 인체 정보를 기초로 오리지널 이미지에서 인체 영역 정보를 확정하며, 상기 인체 영역 정보를 필터에 입력하여, 상기 필터가 상기 인체 영역 정보를 기초로 목표 인체 영역 정보를 확정하도록 하는 단계;
촬영된 다음 오리지널 이미지를 획득하는 단계;
상기 목표 인체 영역 정보를 기초로, 상기 다음 오리지널 이미지에서 가능한 인체 영역을 확정하며, 상기 가능한 인체 영역을 기초로 상기 해상도를 조정하는 단계를 수행하는 단계;를 포함한다.
본 출원의 다른 일 양태에 따른 인체 인식 장치는,
촬영된 첫번째 오리지널 이미지를 획득하기 위한 획득 모듈;
획득한 첫번째 오리지널 이미지를 기초로 해상도를 조정하여, 목표 이미지를 얻기 위한 조정 모듈;
기설정된 인체 특징점 검출 모델을 기반으로 상기 목표 이미지에 대해 처리하여, 상기 목표 이미지에 인체 정보 포함 여부를 확정하기 위한 처리 모듈;
만약 포함되어 있으면, 상기 인체 정보를 기초로 오리지널 이미지에서 인체 영역 정보를 확정하며, 상기 인체 영역 정보를 필터링 모듈에 입력하여, 상기 필터링 모듈이 상기 인체 영역 정보를 기초로 목표 인체 영역 정보를 확정하도록 하기 위한 제1확정 모듈; 및
상기 목표 인체 영역 정보를 기초로, 다음 오리지널 이미지에서 가능한 인체 영역을 확정하기 위한 제2확정 모듈을 포함하며,
상기 획득 모듈은 또한 촬영된 상기 다음 오리지널 이미지를 획득하기 위해 사용되고;
상기 조정 모듈은 또한 상기 가능한 인체 영역을 기초로 상기 해상도를 조정하는 단계를 수행하기 위해 사용된다.
본 출원의 또 다른 일 양태에 따른 인체 인식 기기는,
메모리;
프로세서; 및,
컴퓨터 프로그램;을 포함하며,
상기 컴퓨터 프로그램은 상기 메모리에 저장되며, 상기 프로세서에 의해 실행되어 상기 어느 일 양태에 따른 인체 인식 방법을 구현하도록 구성된다.
본 출원의 또 다른 일 양태에서는, 프로세서에 의해 실행되어 상기 제1양태에 따른 인체 인식 방법을 구현하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 제공한다.
본 출원에 따른 인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체는 촬영된 첫번째 오리지널 이미지를 획득하는 것; 획득한 이미지를 기초로 해상도를 조정하여 목표 이미지를 얻는 것; 기설정된 인체 특징점 검출 모델을 기반으로 목표 이미지에 대해 처리하여, 목표 이미지에 인체 정보 포함 여부를 확정하는 것; 만약 포함되어 있으면, 인체 정보를 기초로 오리지널 이미지에서 인체 영역 정보를 확정하며, 인체 영역 정보를 필터에 입력하여, 필터가 인체 영역 정보를 기초로 목표 인체 영역 정보를 확정하도록 하는 것; 촬영된 다음 오리지널 이미지를 획득하는 것; 목표 인체 영역 정보를 기초로, 다음 오리지널 이미지에서 가능한 인체 영역을 확정하며, 가능한 인체 영역을 기초로 해상도를 조정하는 것;을 포함한다. 본 출원에 따른 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체에 있어서, 기설정된 인체 특징점 검출 모델에 입력되는 이미지의 해상도가 고정되어 있으며, 모델에 입력되는 데이터의 복잡도를 증가시킬 필요가 없으며, 이미지 중 시간 변화에 따른 인체 영역의 연관 관계에 따라 오리지널 이미지에 대해 처리하여 인체가 존재할 가능성이 있는 가능한 인체 영역을 인식하고, 가능한 인체 영역에 대해 처리할 수 있으므로, 처리가 필요한 이미지 데이터를 대폭 감소시킨다.
도 1은 본 출원의 일 예시적인 실시예에 따른 인체 인식 방법의 흐름도이다.
도 2는 본 출원의 다른 일 예시적인 실시예에 따른 인체 인식 방법의 흐름도이다.
도 3은 본 출원의 일 예시적인 실시예에 따른 인체 인식 장치의 구조도이다.
도 4는 본 출원의 다른 일 예시적인 실시예에 따른 인체 인식 장치의 구조도이다.
도 5는 본 출원의 일 예시적인 실시예에 따른 인체 인식 기기의 구조도이다.
많은 적용 시나리오에서 인체 인식 기술을 적용하게 되는데, 주로 신체 특징을 인식함으로써 인체 위치를 확정한다. 특히, 동영상에서 인체 위치를 확정할 때, 각 프레임의 오리지널 이미지에서 신체 특징점을 찾아서 인체 위치를 확정해야 한다. 다만, 동영상 중 인체가 전후로 이동될 수 있으므로, 인체가 화면에서 차지하는 비율이 현저하게 변화되어, 종래 기술의 단일 인식에 의해 오리지널 화면에서 인체를 정확하게 인식할 수 없다.
본 출원의 실시예에 따른 기술 방안은, 동영상 중 연속적인 이미지를 결합하여 다음 프레임 이미지에서 인체가 위치할 가능성이 있는 영역을 확정하고, 다음 해당 가능한 영역에서 인체에 대한 인식을 수행함으로써, 인식 이미지의 크기를 감소시켜, 연산량을 줄일 수 있으며, 인체를 정확하게 인식할 수 있다.
도 1은 본 출원의 일 예시적인 실시예에 따른 인체 인식 방법의 흐름도이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 인체 인식 방법은 다음과 같은 단계를 포함한다.
단계101, 촬영된 첫번째 오리지널 이미지를 획득한다.
여기서, 본 실시예에 따른 방법을 소프트웨어 형태로 패키징하여 기기에 설치할 수 있으며, 상기 기기는 스마트 단말, 컴퓨터, 태블릿 컴퓨터 등 일 수 있다. 상기 기기는 촬영 기능을 구비할 수 있으며, 구비하지 않을 수도 있다. 상기 기기가 촬영 기능을 구비할 경우, 저장 기능을 더 구비하여 촬영한 동영상을 저장하기 위해 사용되고, 자체에 저장된 동영상을 읽을 수 있으며, 예컨대 스마폰을 들 수 있다. 상기 기기는 촬영 기능을 구비하지 않으면, 저장 기능을 구비하는 기타 기기와 연결되어, 기타 기기로부터 촬영된 동영상을 획득할 수 있으며, 예컨대 저장 기기와 연결될 수 있는 컴퓨터를 들 수 있다.
구체적으로, 본 실시예에 따른 방법은 이미 촬영된 동영상을 처리하기 위해 사용될 수 있는데, 예를 들어, 촬영된 동영상의 각 화면을 각 프레임 마다 판독하여, 각 프레임의 이미지를 처리할 수 있다. 본 실시예에 따른 방법은 촬영 중인 동영상에 대해서도 처리 가능한데, 이때, 촬영 중인 동영상을 각 프레임마다 판독하되, 촬영된 모든 화면을 처리할 때까지 각 프레임의 이미지에 대해 처리할 수 있다.
또한, 본 실시예에 따른 방법은 연속 촬영된 다수의 이미지에 대해서도 처리 가능한데, 촬영된 순서에 따라 촬영된 이미지를 하나씩 읽은 후, 읽어낸 각 이미지에 대해 처리할 수 있다. 설명의 편의를 위해, 본 실시예에서는 동영상을 예로 들어 상세하게 설명한다.
나아가, 촬영된 동영상 중 첫번째 화면을 획득하여, 이를 첫번째 오리지널 이미지로서 사용할 수 있다. 동영상 중 제1 프레임 화면을 획득할 때, 화면에서의 인체가 위치할 가능성이 있는 영역을 확정할 수 없으므로, 상기 오리지널 이미지에 대해 처리하여, 이로부터 인체의 위치를 확정한다.
단계102, 획득한 이미지를 기초로 해상도를 조정하여, 목표 이미지를 획득한다.
실제 응용 시, 촬영 기기에 의해 획득된 이미지의 해상도는 1280 × 720, 1920×1080 등 포맷일 수 있는데, 이때, 오리지널 이미지에 대해 압축 처리를 수행하여, 그 해상도가 기설정된 인체 특징점 검출 모델의 소정 해상도와 일치하도록 할 수 있다.
일반적으로, 모델에 입력되는 이미지의 해상도가 낮을수록 상기 모델의 연산량이 작다. 예를 들어, 입력 해상도가 높은 Deep-Learning모델을 사용하여 인체 특징점을 검출할 경우, 직접 단일 모델로 해상도가 높은 이미지에서 신체 특징점을 찾아낼 수 있다. 컨벌루션 뉴럴 네트워크의 특성 상, 연산량과 입력 해상도가 정비례되므로, 해상도를 160×160에서 320×320으로 늘이면, 연산량이 직접 4배로 증가하게 되며, 소요되는 시간이 4배로 연장된다. 따라서, 입력되는 이미지의 해상도는 모델이 계산을 완성하여 인식할 수 있는 정도이면 비교적 바람직한 바, 원하는 출력 결과를 획득할 수 있을 뿐만 아니라, 연산량의 증가를 방지할 수 있다. 따라서, 본 실시예에 따른 방법은 처리된 목표 이미지를 기설정된 인체 특징점 검출 모델에 입력하여, 연산량이 지나치게 큰 문제점을 방지한다.
만약 직접 이미지에 대해 압축 처리를 수행하여 기설정된 인체 특징점 검출 모델의 소정 해상도를 얻을 수 없을 경우, 이미지에 대해 채우기 처리를 수행할 수도 있다. 예를 들어, 첫번째 오리지널 이미지의 해상도가 1280×720이고, 조정할 목표 해상도는 320×320이면, 우선 첫번째 오리지널 이미지를 320×180으로 압축한 후, 이미지의 해상도가 320×320이 되도록 이미지에 대해 채우기를 수행할 수 있는데, 이미지의 상하 부분에 각각 높이가 70이고 폭이 320인 블랙 영역을 채울 수 있다.
방법이 수행되기 시작할 때, 획득한 첫번째 오리지널 이미지를 기초로 목표 이미지를 얻을 수 있으며, 방법 수행 과정에서 다시 단계102를 수행할 때, 다른 오리지널 이미지를 기반으로 가능한 인체 영역을 확정하고, 나아가 상기 가능한 인체 영역에 대응되는 이미지를 기초로 목표 이미지를 얻을 수 있다.
단계103, 기설정된 인체 특징점 검출 모델를 기반으로 목표 이미지를 처리하여, 목표 이미지에 인체 정보 포함 여부를 확정한다.
조정된 목표 이미지를 기설정된 인체 특징점 검출 모델에 입력하여, 상기 모델을 통해 인체 정보를 출력할 수 있다. 만약 오리지널 이미지에 인체가 포함되어 있지 않으면, 목표 이미지에도 인체 정보가 포함되어 있지 않다. 이 경우, 모델은 엠프티 메시지를 출력할 수 있다. 만약 목표 이미지에 인체 정보가 포함되어 있으면, 예컨대 인체의 구체적 윤곽, 목표 이미지에서의 상대 위치 등 목표 이미지 중 인체 정보를 확정할 수 있다.
인체 특징점 검출 모델은 snake방법, 능동 형태 모델(ASM), 능동 형상 모델(AAM) 등과 같은 종래기술에 따른 모델일 수 있다. 이러한 모델을 기반으로 목표 이미지에 인체 정보 포함 여부를 인식할 수 있다.
구체적으로, 기설정된 인체 특징점 검출 모델은 목표 이미지 중 신체 특징점을 인식하기 위해 사용될 수 있으며, 이로써 목표 이미지에 인체 정보 포함 여부를 인식한다.
만약 인체 정보가 포함되어 있으면, 단계104를 수행한다.
단계104, 인체 정보를 기초로, 오리지널 이미지에서 인체 영역 정보를 확정하며, 필터가 인체 영역 정보를 기초로 목표 인체 영역 정보를 확정하도록 인체 영역 정보를 필터에 입력한다.
또한, 목표 이미지는 첫번째 오리지널 이미지로부터 확정되므로, 우선 목표 이미지에서의 인식된 인체의 위치를 확정한 다음, 상기 위치를 기초로 첫번째 오리지널 이미지에서 인체 영역 정보를 확정할 수 있다. 예를 들어, 만약 인체가 목표 이미지의 중심 위치에 위치하면, 인체가 첫번째 오리지널 이미지에서도 중심 영역에 위치되어야 한다. 만약 목표 이미지에 채워진 영역이 존재하면, 우선 인체가 목표 이미지에서의 상대적 중심 위치를 확정한 다음, 상기 상대적 위치를 기초로 첫번째 오리지널 이미지에서 인체 영역 정보를 확정한다.
실제 응용 시, 필터가 인체 영역 정보를 기초로 목표 인체 영역 정보를 확정하도록 인체 영역 정보를 필터에 입력할 수도 있다. 만약 인체 영역 정보가 첫번째 오리지널 이미지에서 확정된 것이면, 필터에는 아직 화면으로부터 얻어진 인체 영역 정보가 존재하지 않으며, 이 경우, 확정된 목표 인체 영역 정보는 입력된 인체 영역 정보와 가능하게 동일할 수 있다.
만약 인체 영역 정보가 뒤에서 기타 프레임 이미지에서 확정된 것이면, 필터는 상기 프레임 이미지 전, 연속된 소정 수량의 이미지의 목표 인체 영역 정보를 기초로 입력된 인체 영역 정보에 대해 조정할 수 있으며, 이로써 연속된 복수 프레임 이미지의 연관 관계를 기초로 목표 인체 영역 정보를 확정할 수 있다. 동영상 또는 연속 촬영된 이미지의 경우, 인체 영역 정보는 시간이 변화함에 따라 일정한 연관 관계를 가지는 바, 예컨대, 영역이 가까울 수 있다. 따라서, 얻어진 새로운 인체 영역 정보와 과거 인체 영역 정보를 결합하여 필터링 처리를 수행할 수 있으며, 얻어진 목표 인체 영역 정보에는 시간 영역 상의 별도의 정보가 포함되며, 나아가 상기 목표 인체 영역 정보를 기초로 오리지널 이미지로부터 인체 정보를 획득할 경우, 떨림을 감소시킬 수 있다.
여기서, 필터는 칼만 필터 또는 다른 평활화 필터일 수 있으며, 인식 과정에서 발생하는 떨림을 감소시킬 수 있다.
단계105, 촬영된 다음 오리지널 이미지를 획득한다.
실제 응용 시, 동영상 또는 연속 촬영된 이미지 중 첫번째 이미지에 대한 처리가 완료된 후, 계속하여 다음 오리지널 이미지를 읽을 수 있다. 동영상을 예로 들면, 다음 프레임 이미지를 획득하여 다음 오리지널 이미지로 할 수 있다.
단계106, 목표 인체 영역 정보를 기초로, 다음 오리지널 이미지에서 가능한 인체 영역을 확정한다.
또한, 가능한 인체 영역을 기초로 단계102에 따른 해상도를 조정하는 단계를 수행한다.
여기서, 만약 첫번째 오리지널 이미지에서 목표 인체 영역 정보가 확정되었으면, 상기 목표 인체 영역 정보를 기초로 다음 이미지에서 인체가 나타날 가능성이 있는 영역을 예측할 수 있다.
구체적으로, 만약 목표 인체 영역 정보가 마침 인체 위치 영역 정보이면, 다시 말하면, 목표 인체 영역이 마침 인체를 프레임할 수 있으면, 상기 목표 인체 영역을 확대함으로써, 다음 이미지에서 인체가 확대된 영역에 존재할 수 있을 것으로 예측할 수 있다. 동일한 동영상의 경우, 해당 동영상의 각 프레임 이미지의 크기가 같다고 간주할 수 있으므로, 이전 이미지에서의 인체 위치 영역을 기초로, 다음 이미지에서의 인체가 위치할 가능성이 존재하는 영역 위치를 예측할 수 있다.
또한, 예측된 가능한 인체 영역을 기초로, 획득된 다음 오리지널 이미지에 대해 캡쳐 처리를 수행하여, 인체 포함 가능 이미지를 획득하고, 나아가 상기 가능한 인체 영역에 대응되는 이미지를 획득한 후, 상기 이미지를 기반으로 단계102 중 해상도를 조정하는 단계를 수행할 수 있다.
실제 응용 시, 만약 오리지널 이미지에서 캡쳐를 통해 인체 포함 가능 이미지가 획득될 경우, 상기 이미지의 해상도가 기설정된 인체 특징점 검출 모델의 소정 해상도보다 작을 수 있는데, 이 경우, 인체 포함 가능 이미지에 대해 스트레칭, 채우기 처리를 수행함으로써, 그 해상도가 입력 데이터에 대한 상기 모델의 요구에 부합되도록 할 수 있다.
상응하게, 상기 캡쳐에 따라 다시 목표 이미지를 획득하고, 다시 기설정된 인체 특징점 검출 모델을 기반으로 본 차 획득된 목표 이미지에 대해 처리하여, 목표 이미지에 인체 정보 포함 여부를 확정할 수 있다. 만약 포함되어 있으면, 인체 정보를 기초로 본 차 획득한 오리지널 이미지에서 인체 영역 정보를 확정하고, 인체 영역 정보를 필터에 입력하여, 필터가 인체 영역 정보를 기초로 목표 인체 영역 정보를 확정하도록 한다.
여기서, 복수회의 순환 처리를 거쳐, 모델의 입력 해상도를 변경하지 않고서도, 동영상 중 각 프레임 화면의 인체 특징을 인식할 수 있으며, 동시에, 이전 이미지 중 목표 인체 영역 정보를 기초로 다음 프레임 이미지 중 인체의 가능한 영역 정보를 예측할 수 있고, 이미지 사이의 인체 위치 관계를 감안하여 인체가 위치하는 영역을 확정할 수 있으며, 확정된 인체 영역이 더욱 정확하도록 떨림을 감소시킬 수 있다. 동영상 중 모든 프레임 화면에 대해 처리할 수 있으며, 맨 마지막 하나의 프레임 화면에 대한 처리가 끝나면, 본 방법이 종료된다.
본 실시예에 따른 방법은 이미지 중 인체를 인식하기 위해 사용되며, 상기 방법은 본 실시예에 따른 방법이 설치된 기기에 의해 수행되며, 상기 기기는 일반적으로 하드웨어 및/또는 소프트웨어 형태로 구현된다.
본 실시예에 따른 인체 인식 방법은, 촬영된 첫번째 오리지널 이미지를 획득하는 단계; 획득한 이미지를 기초로 해상도를 조정하여 목표 이미지를 얻는 단계; 기설정된 인체 특징점 검출 모델을 기반으로 목표 이미지에 대해 처리하여, 목표 이미지에 인체 정보 포함 여부를 확정하는 단계; 만약 포함되어 있으면, 인체 정보를 기초로 오리지널 이미지에서 인체 영역 정보를 확정하며, 필터가 인체 영역 정보를 기초로 목표 인체 영역 정보를 확정하도록 인체 영역 정보를 필터에 입력하는 단계; 촬영된 다음 오리지널 이미지를 획득하는 단계; 상기 목표 인체 영역 정보를 기초로, 다음 오리지널 이미지에서 가능한 인체 영역을 확정하며, 가능한 인체 영역을 기초로 해상도 조정을 수행하는 단계;를 포함한다. 본 실시예에 따른 방법에 있어서, 기설정된 인체 특징점 검출 모델에 입력되는 이미지의 해상도는 고정되어 있으며, 모델에 입력되는 데이터의 복잡도를 증가시킬 필요가 없으며, 이미지 중 시간 변화에 따른 인체 영역의 연관 관계를 기초로 오리지널 이미지에 대해 처리하여 인체가 존재할 가능성이 있는 가능한 인체 영역을 인식한 다음, 상기 가능한 인체 영역에 대해 처리할 수 있으므로, 처리가 필요한 이미지 데이터를 대폭 감소시킨다.
도 2는 본 출원의 다른 일 예시적인 실시예에 따른 인체 인식 방법의 흐름도이다.
도 2에 도시된 바와 같이, 본 실시예에 따른 인체 인식 방법은 다음과 같은 단계를 포함한다.
단계201, 촬영된 첫번째 오리지널 이미지를 획득한다.
단계201과 단계101의 구체적인 원리와 구현 방식이 유사하므로, 여기서는 중복되는 설명을 생략한다.
단계202, 획득한 이미지에 대해 압축 및/또는 스트레칭 및/또는 채우기 처리를 수행하여 목표 이미지를 얻되, 목표 이미지의 해상도가 기설정된 인체 특징점 검출 모델에 입력되는 이미지의 해상도에 부합되도록 한다.
여기서, 본 실시예에 따른 방법에 있어서, 이미지에 대해 해상도 처리를 수행하는 방식은 압축, 스트레칭, 채우기 등 방식을 포함할 수 있으며, 구체적으로 어떠한 방식을 통해 이미지를 처리할지는 이미지의 해상도에 의해 결정되며, 처리하여 얻어진 목표 이미지의 해상도가 기설정된 인체 특징점 검출 모델에 입력되는 이미지 해상도에 부합된다. 예를 들어, 기설정된 인체 특징점 검출 모델에 입력되는 이미지의 해상도가 320×320이면, 얻어진 목표 이미지의 해상도도 320×320이다.
구체적으로, 만약 처리할 이미지의 해상도가 비교적 크면, 예컨대 첫번째 오리지널 이미지에 대해 처리할 경우, 압축 조작을 선택할 수 있다. 만약 처리할 이미지의 해상도가 비교적 작으면, 예컨대 오리지널 이미지에서 캡쳐한 가능한 인체 영역일 경우, 이미지에 대해 스트레칭 조작을 수행할 수 있다.
나아가, 방법이 최초 수행되는 과정에서, 아직 인체 가능한 영역을 확정할 수 없으므로, 획득된 첫번째 오리지널 이미지를 기초로 목표 이미지를 확정한다. 이후의 순환 수행 과정에서, 인체 정보가 검출되어, 인체 정보를 기초로 오리지널 이미지에서 존재 가능한 인체 영역을 확정하며, 상기 가능한 인체 영역을 캡쳐할 수 있는데, 이 경우, 상기 가능한 인체 영역에 대응되는 이미지를 획득한 후, 처리를 수행하여 목표 이미지를 얻을 수 있다. 또한, 만약 이전 오리지널 이미지에서 인체 정보가 검출되지 않으면, 다음 오리지널 이미지에 대해 처리할 경우, 첫번째 오리지널 이미지에 대해 처리되는 프로세스와 동일하다.
단계203, 기설정된 인체 특징점 검출 모델을 기반으로 목표 이미지에 대해 처리하여, 목표 이미지에 인체 정보 포함 여부를 확정한다.
단계203과 단계103의 구체적인 원리와 구현 방식이 유사하므로, 여기서는 중복되는 설명을 생략한다.
만약 포함되면, 단계204를 수행하고, 그렇지 않으면, 단계206을 수행한다.
단계204, 인체 정보를 기초로 목표 이미지에서 인체 위치 영역을 확정한다.
기설정된 인체 특징점 검출 모델이 인체 정보를 검출해 낸 후, 상기 확정된 인체 정보를 기초로 목표 이미지에서 인체 위치 영역을 확정할 수 있다. 만약 인체 정보에 위치 정보가 포함되어 있으면, 직접 상기 위치 정보를 기초로 인체 위치 영역을 확정할 수 있다; 만약 인체 정보에 위치 정보가 포함되어 있지 않으면, 목표 이미지에서 인체 정보를 포함하는 영역을 검출하여, 상기 영역을 인체 위치 영역으로 할 수 있다.
단계205, 목표 이미지 중 인체 위치 영역을 기초로, 오리지널 이미지에서 좌표 정보를 확정한다.
본 실시예에 따른 방법에 있어서, 인체 영역 정보는 좌표 정보를 통해 표시될 수 있다.
만약 목표 이미지가 오리지널 이미지를 기반으로 얻어진 것이면, 목표 이미지에서의 인체 정보의 상대적 위치를 기초로, 오리지널 이미지에서 좌표 정보를 확정할 수 있다. 오리지널 이미지에 대해 동일 비율로 압축하여 목표 이미지를 얻을 수 있는데, 예를 들어, 첫번째 오리지널 이미지에 대해 압축하여 목표 이미지를 얻으며, 이 경우, 목표 이미지의 상대적 위치를 기초로 첫번째 오리지널 이미지에서 대응되는 영역을 찾을 수 있다. 오리지널 이미지 중 인체 위치 영역을 확정한 후, 상기 영역의 좌표 정보를 획득할 수 있다.
만약 목표 이미지가 가능한 인체 영역을 기반으로 얻어진 것이면, 우선 가능한 인체 영역내에서 인체 위치를 확정한 후, 다시 가능한 인체 영역이 속하는 오리지널 이미지에서 좌표 정보를 확정할 수 있다. 유사하게, 목표 이미지에서 인체 영역이 위치하는 상대적 위치를 확정한 후, 다시 상기 상대적 위치를 기초로 가능한 인체 영역내에서 인체 위치 영역을 찾을 수 있으며, 가능한 인체 영역이 오리지널 이미지의 일부분이므로, 가능한 인체 영역이 오리지널 이미지에서의 위치를 확정할 수 있으며, 이어서 가능한 인체 영역의 상대 위치적, 가능한 인체 영역이 오리지널 이미지에서의 위치를 기초로, 오리지널 이미지에서의 인체 위치 영역을 확정하고, 상기 영역의 좌표 정보를 획득할 수 있다.
여기서, 현재 확정된 인체 영역 정보가 다음 프레임 이미지에서 인체 영역을 확정하는 결과에 영향을 미치며, 인체가 움직이는 과정에서 인체가 위치하는 화면 영역이 변화되므로, 단계205는,
목표 이미지 중 인체 위치 영역을 기초로 오리지널 이미지에서 오리지널 인체 영역을 확정하고;
오리지널 인체 영역을 기설정된 배수로 확대하여 확대 영역을 얻고;
확대 영역의 좌측 상단의 횡좌표, 종좌표 및 우측 하단의 횡좌표, 종좌표를 상기 좌표 정보로서 확정하거나; 또는, 확대 영역의 좌측 상단의 횡좌표, 종좌표 및 중심점의 횡좌표, 종좌표를 좌표 정보로서 확정하거나; 또는, 확대 영역의 우측 하단의 횡좌표, 종좌표 및 중심점의 횡좌표, 종좌표를 좌표 정보로서 확정하는 것을 포함한다.
여기서, 목표 이미지 중 인체 위치 영역을 기초로 오리지널 이미지에서 오리지널 인체 영역을 확정하는 프로세스는 위에서 설명한 바와 유사한 바, 인체 위치 영역이 목표 이미지에서의 상대적 위치를 기초로, 오리지널 이미지에서 오리지널 인체 영역을 확정할 수 있다.
오리지널 이미지에서 오리지널 인체 영역을 확대할 수 있는데, 예를 들어, 원래의 1.2배로 확대할 수 있으며, 구체적으로 오리지널 인체 영역의 중심으로부터 외측을 향해 1.2배 확대함으로써, 현재 프레임 이미지 중 인체 영역을 기초로 다음 프레임 이미지 중 인체 영역을 인식할 때, 인체의 이동으로 인해 인식할 때 인체의 일부분의 인식이 누락되는 것을 방지할 수 있다.
상응하게, 확대 영역을 기초로 좌표 정보를 확정할 수 있으며, 구체적으로는 확대 영역의 좌측 상단의 횡좌표, 종좌표 및 우측 하단의 횡좌표, 종좌표를 좌표 정보로 확정하거나; 또는, 확대 영역의 좌측 상단의 횡좌표, 종좌표 및 중심점의 횡좌표, 종좌표를 좌표 정보로 확정하거나; 또는, 확대 영역의 우측 하단의 횡좌표, 종좌표 및 중심점의 횡좌표, 종좌표를 좌표 정보로 확정할 수 있다.
선택 가능하게, 목표 이미지에서 확정된 인체 위치 영역은 구형 영역이고, 이에 대응되게, 인체 위치 영역을 기초로 오리지널 이미지에서 확정된 오리지널 인체 영역도 구형 영역이며, 이를 확대하여 얻어진 확대 영역도 구형 영역이다. 상기 구형은 직사각형 또는 정사각형 영역을 가리킨다.
단계206, 인체 영역 정보를 필터에 입력하여, 필터가 인체 영역 정보, 과거 목표 인체 영역 정보를 기초로, 인체 영역 정보에 대응되는 목표 인체 영역 정보를 확정하도록 한다.
여기서, 과거 목표 인체 영역 정보는 이전에 오리지널 이미지를 기초로 확정된 목표 인체 영역 정보이다.
구체적으로, 만약 방법이 금방 수행되기 시작할 때, 첫번째 오리지널 이미지에서 인체 영역 정보를 확정하며, 인체 영역 정보를 필터에 입력하면, 필터는 상기 인체 영역 정보를 기초로 목표 인체 영역 정보를 확정한다.
나아가, 만약 방법 수행 과정에서 순환을 거쳐 다시 본 단계를 수행할 경우, 이때, 이전에 이미 다른 프레임 이미지를 기초로 목표 인체 영역 정보를 확정하였으며, 즉, 이미 과거 목표 인체 영역 정보가 존재하므로, 필터는 현재 입력된 인체 영역 정보, 과거 목표 인체 영역 정보를 기초로, 현재 입력된 인체 영역 정보에 대응되는 목표 인체 영역 정보를 확정할 수 있다.
본 실시예에 따른 방법에 있어서, 필터는 현재 최신 인체 영역 정보와 과거 연속되는 복수의 이미지를 결합하여 검출해낸 목표 인체 영역 정보를 함께 필터링하는데, 예를 들어, 현재 인체 영역 정보 및 이전의 연속되는 복수의 프레임 이미지에서 얻은 목표 인체 영역 정보를 함께 필터링하므로, 시간 영역에서 연속되는 복수의 이미지 사이의 관계를 기초로, 인체 영역 정보를 조정함으로써, 시간 영역에서 별도의 정보를 얻으며, 이에 따라 얻어진 목표 인체 영역 정보는 더욱 깔끔하고, 떨림을 감소시킬 수 있다. 필터는 칼만 필터 또는 간단한 평활화 필터일 수 있다.
단계207, 촬영된 다음 오리지널 이미지를 획득한다.
여기서, 만약 이전에 획득한 것이 첫번째 오리지널 이미지이면, 본 단계를 수행 시, 두번째 오리지널 이미지를 획득할 수 있으며; 만약 전에 획득한 것이 제N번째 오리지널 이미지이면, 본 단계 수행 시, 제N+1번째 오리지널 이미지를 획득할 수 있다.
단계207과 단계105의 구체적인 원리와 구현 방식이 유사하므로, 여기서는 중복되는 설명을 생략한다.
단계208, 목표 인체 영역 정보를 기초로, 다음 오리지널 이미지에서 가능한 인체 영역을 확정한다.
여기서, 만약 이전에 획득한 것이 첫번째 오리지널 이미지이며, 첫번째 오리지널 이미지에서 목표 인체 영역 정보가 확정되었다면, 상기 목표 인체 영역 정보를 기초로, 단계207에서 획득된 오리지널 이미지에서 가능한 인체 영역을 확정한다.
구체적으로, 만약 이전에 획득한 것이 제N번째 오리지널 이미지이며, 제N번째 오리지널 이미지에서 목표 인체 영역 정보가 확정되었다면, 상기 목표 인체 영역 정보를 기초로, 단계207에서 획득된 오리지널 이미지에서 가능한 인체 영역을 확정한다.
나아가, 다시 상기 가능한 인체 영역을 기초로 단계202 중 해상도를 조정하는 단계를 수행한다. 가능한 인체 영역을 기초로 획득된 오리지널 이미지에 대해 캡쳐 처리를 수행하고,캡쳐하여 획득한 이미지를 기초로 단계202를 수행한다.
선택 가능하게, 만약 단계203에서 오리지널 이미지에 인체 정보가 포함되어 있지 않은 것으로 확정되면, 여기서, 오리지널 이미지는 획득된 첫번째 오리지널 이미지일 수 있으며, 제N번째 오리지널 이미지일 수 도 있으며, 만약 여기에 인체 정보가 포함되어 있지 않으면, 바로 단계207, 즉 촬영된 다음 오리지널 이미지를 획득하는 단계를 수행하며, 획득된 다음 오리지널 이미지를 기초로 계속하여 단계202 즉, 해상도를 조정하여 목표 이미지를 얻는 단계를 수행한다.
본 실시예의 방법에 있어서, 만약 단계203에서 오리지널 이미지에 인체 정보가 포함되어 있는 것으로 판단되면, 단계203 이후에 단계204 내지 단계208을 수행할 수 있다. 만약 단계203에서 오리지널 이미지에 인체 정보가 포함되어 있지 않은 것으로 판단되면, 압축 및/또는 스트레칭 및/또는 채우기 처리를 통해 목표 이미지를 얻는 단계202를 수행한다.
실제 응용 시, 각 프레임마다 오리지널 이미지를 획득할 수 있다. 우선 현재 오리지널 이미지에 대해 해상도 처리를 수행하여 목표 이미지를 얻은 후, 기설정된 인체 특징점 검출 모델을 기반으로 목표 이미지에 인체 정보 포함 여부를 인식하며, 만약 포함되어 있으면, 인체가 위치하는 목표 인체 영역 정보를 확정하고, 만약 포함되어 있지 않으면, 다음 프레임 오리지널 이미지를 획득한다.
현재 획득된 오리지널 이미지를 처리할 때, 만약 이전 프레임 이미지에 인체 정보가 포함되어 있으면, 다시 말하면, 이전 프레임 이미지의 목표 인체 영역 정보가 확정되면, 이전 프레임 이미지의 목표 인체 영역 정보를 기초로 현재 획득된 오리지널 이미지에서 가능한 인체 영역을 확정하고, 상기 가능한 영역에 대해 해상도 처리를 수행하여 목표 이미지를 얻을 수 있으며; 만약 이전 프레임 이미지에 인체 정보가 포함되어 있지 않으면, 이전 프레임 이미지에 목표 인체 영역 정보가 없으므로, 직접 현재 획득된 오리지널 이미지에 대해 해상도 처리를 수행하여 목표 이미지를 얻을 수 있다.
도 3은 본 출원의 일 예시적인 실시예에 따른 인체 인식 장치의 구조도이다.
도 3에 도시된 바와 같이, 본 실시예에 따른 인체 인식 장치는,
촬영된 첫번째 오리지널 이미지를 획득하기 위한 획득 모듈(31);
획득한 첫번째 오리지널 이미지를 기초로 해상도를 조정하여, 목표 이미지를 얻기 위한 조정 모듈(32);
기설정된 인체 특징점 검출 모델을 기반으로 상기 목표 이미지에 대해 처리하여, 상기 목표 이미지에 인체 정보 포함 여부를 확정하기 위한 처리 모듈(33);
만약 포함되어 있으면, 상기 인체 정보를 기초로 오리지널 이미지에서 인체 영역 정보를 확정하며, 상기 인체 영역 정보를 필터링 모듈(35)에 입력하여, 상기 필터링 모듈(35)이 상기 인체 영역 정보를 기초로 목표 인체 영역 정보를 확정하기 위한 제1확정 모듈(34); 및
상기 목표 인체 영역 정보를 기초로, 다음 오리지널 이미지에서 가능한 인체 영역을 확정하기 위한 제2확정 모듈(36)을 포함하며,
상기 획득 모듈(31)은 또한 촬영된 상기 다음 오리지널 이미지를 획득하기 위해 사용되고;
상기 조정 모듈(32)은 또한 상기 가능한 인체 영역을 기초로 상기 해상도를 조정하는 단계를 수행하기 위해 사용된다.
본 실시예에 따른 인체 인식 장치는, 촬영된 첫번째 오리지널 이미지를 획득하기 위한 획득 모듈; 획득한 오리지널 이미지를 기초로 해상도를 조정하여 목표 이미지를 얻기 위한 조정 모듈; 기설정된 인체 특징점 검출 모델을 기반으로 목표 이미지에 대해 처리하여 목표 이미지에 인체 정보 포함 여부를 확정하기 위한 처리 모듈; 만약 포함되어 있으면, 인체 정보를 기초로 오리지널 이미지에서 인체 영역 정보를 확정하며, 인체 영역 정보를 필터링 모듈에 입력하여, 필터링 모듈이 인체 영역 정보를 기초로 목표 인체 영역 정보를 확정하도록 하기 위한 제1확정 모듈; 및 목표 인체 영역 정보를 기초로, 다음 오리지널 이미지에서 가능한 인체 영역을 확정하는 제2확정 모듈을 포함하며, 획득 모듈은 또한 촬영된 다음 오리지널 이미지를 획득하기 위해 사용되고, 조정 모듈은 또한 가능한 인체 영역을 기처로 해상도를 조정하는 단계를 수행하기 위해 사용된다. 본 실시예 따른 장치에 있어서, 기설정된 인체 특징점 검출 모델에 입력되는 이미지의 해상도는 고정되어 있으며, 모델에 입력되는 데이터의 복잡도를 증가시킬 필요가 없으며, 이미지 중 시간 변화에 따른 인체 영역의 연관 관계를 기초로 오리지널 이미지에 대해 처리하여 가능하게 인체가 존재할 가능성이 있는 가능한 인체 영역을 인식한 다음, 상기 가능한 인체 영역에 대해 처리할 수 있으므로, 처리가 필요한 이미지 데이터를 대폭 감소시킨다.
본 실시예에 따른 인체 인식 장치의 구체적인 원리와 구현 방식이 도 1의 실시예와 유사하므로, 여기서는 중복되는 설명을 생략한다.
도 4는 본 출원의 다른 일 예시적인 실시예에 따른 인체 인식 장치의 구조도이다.
도 4에 도시된 바와 같이, 상기 실시예의 기초 상에서, 본 실시예에 따른 인체 인식 장치는, 만약 상기 처리 모듈(33)에서 상기 목표 이미지에 상기 인체 정보가 포함되어 있지 않는 것으로 확정되면, 상기 획득 모듈(31)이 상기 촬영된 다음 오리지널 이미지를 획득하는 단계를 수행하며, 상기 조정 모듈(32)은 상기 다음 오리지널 이미지를 기초로 해상도 조정을 수행하여 목표 이미지를 얻는다.
상기 조정 모듈(32)은 구체적으로,
이미지에 대해 압축 및/또는 스트레칭 및/또는 채우기 처리를 수행하여 목표 이미지를 얻되, 상기 목표 이미지의 해상도가 상기 기설정된 인체 특징점 검출 모델에 입력되는 이미지의 해상도에 부합되도록 하기 위해 사용된다.
상기 제1확정 모듈(34)은,
상기 인체 정보를 기초로 상기 목표 이미지에서 인체 위치 영역을 확정하기 위한 영역 확정 유닛(341);
상기 목표 이미지 중 상기 인체 위치 영역을 기초로, 상기 오리지널 이미지에서 좌표 정보를 확정하기 위한 좌표 확정 유닛(342);을 포함한다.
상기 좌표 확정 유닛(342)은 구체적으로,
상기 목표 이미지 중 상기 인체 위치 영역을 기초로 상기 오리지널 이미지에서 오리지널 인체 영역을 확정하고;
상기 오리지널 인체 영역을 기설정된 배수로 확대하여 확대 영역을 얻으며;
상기 확대 영역의 좌측 상단의 횡좌표, 종좌표 및 우측 하단의 횡좌표, 종좌표를 상기 좌표 정보로 확정하거나; 또는 상기 확대 영역의 좌측 상단의 횡좌표, 종좌표 및 중심점의 횡좌표, 종좌표를 상기 좌표 정보로 확정하거나; 또는, 상기 확대 영역의 우측 하단의 횡좌표, 종좌표 및 중심점의 횡좌표, 종좌표를 상기 좌표 정보로 확정하기 위해 사용된다.
상기 인체 위치 영역은 구형 영역이다.
상기 필터링 모듈(35)은 구체적으로,
상기 인체 영역 정보, 과거 목표 인체 영역 정보를 기초로, 상기 인체 영역 정보에 대응되는 목표 인체 영역 정보를 확정하기 위해 사용되며; 여기서, 상기 과거 목표 인체 영역 정보는 이전에 오리지널 이미지를 기초로 확정된 상기 목표 인체 영역 정보이다.
본 실시예에 따른 인체 인식 장치의 구체적인 원리와 구현 방식이 도 2의 실시예와 유사하므로, 여기서는 중복되는 설명을 생략한다.
도 5는 본 출원의 일 예시적인 실시예에 따른 인체 인식 기기의 구조도이다.
도 5에 도시된 바와 같이, 본 실시예에 따른 인체 인식 기기는,
메모리(51);
프로세서(52); 및,
컴퓨터 프로그램;을 포함하며,
여기서, 상기 컴퓨터 프로그램은 상기 메모리(51)에 저장되며, 상기 프로세서(52)에 의해 실행되어 상기 어느 하나의 인체 인식 방법을 구현하도록 구성된다.
본 실시예는 또한 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능 저장 매체를 제공한다.
상기 컴퓨터 프로그램은 프로세서에 의해 실행되어 상기 어느 하나의 인체 인식 방법을 구현한다.
본 발명의 기술분야의 통상의 지식을 가진 자라면 프로그램 명령과 관련된 하드웨어에 의해 상기 각 방법 실시예의 전부 또는 일부 단계를 구현할 수 있다는 것을 이해할 수 있을 것이다. 상기 프로그램은 컴퓨터 판독 가능 저장 매체에 저장 될 수 있다. 상기 프로그램이 실행될 때, 상기 각 방법 실시예를 포함하는 단계를 수행할 수 있으며; 상기 저장 매체는 읽기 전용 메모리(read only memory, ROM), 랜덤 액세스 메모리(random accessed memory,RAM), 자기 디스크 또는 광학 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
마지막으로, 상기 각 실시예는 단지 본 출원의 기술방안을 설명하기 위한 것으로서 한정하는 것이 아니다. 비록 상기 실시예를 참조하여 본 출원에 대해 상세하게 설명하였지만, 본 출원의 기술 분야의 통상의 지식을 가진 자라면 상기 실시예에 기재된 기술방안에 대해 수정하거나 일부분 또는 모든 기술적 특징에 대해 균등한 대체를 실시할 수 있으며, 상기와 같은 수정 또는 대체는 모두 본 출원의 범위에 속하는 것으로 이해되어야 한다.

Claims (9)

  1. 인체 인식 방법에 있어서,
    촬영된 첫번째 오리지널 이미지를 획득하는 단계;
    획득한 첫번째 오리지널 이미지를 기초로 해상도를 조정하여 목표 이미지를 얻되, 상기 목표 이미지의 해상도가 기설정된 인체 특징점 검출 모델에 입력되는 이미지의 해상도에 부합되도록 하는 단계;
    상기 기설정된 인체 특징점 검출 모델을 기반으로 상기 목표 이미지에 대해 처리하여, 상기 목표 이미지에 인체 정보 포함 여부를 확정하는 단계;
    상기 인체 정보가 포함되어 있으면, 상기 인체 정보를 기초로 오리지널 이미지에서 인체 영역 정보를 확정하며, 상기 인체 영역 정보를 필터에 입력하여, 상기 필터가 상기 인체 영역 정보를 기초로 목표 인체 영역 정보를 확정하도록 하는 단계;
    촬영된 다음 오리지널 이미지를 획득하는 단계;
    상기 목표 인체 영역 정보를 기초로, 상기 다음 오리지널 이미지에서 가능한 인체 영역을 확정하며, 상기 가능한 인체 영역을 기초로 상기 다음 오리지널 이미지에 대해 캡쳐 처리를 수행하여, 처리된 후의 이미지를 획득하고, 상기 처리된 후의 이미지를 기초로 상기 해상도를 조정하는 단계를 수행하는 단계;를 포함하고, 마지막 이미지에 대한 처리가 완료될 때가지 상술한 단계들을 순환하여 수행하고,
    상기 필터가 상기 인체 영역 정보를 기초로 목표 인체 영역 정보를 확정하는 단계는,
    상기 필터가 상기 인체 영역 정보, 과거 목표 인체 영역 정보를 기초로, 상기 인체 영역 정보에 대응되는 목표 인체 영역 정보를 확정하는 단계;를 포함하며; 상기 과거 목표 인체 영역 정보는 이전에 오리지널 이미지를 기초로 확정된 상기 목표 인체 영역 정보이고;
    상기 인체 정보를 기초로 오리지널 이미지에서 인체 영역 정보를 확정하는 상기 단계는,
    상기 인체 정보를 기초로 상기 목표 이미지에서 인체 위치 영역을 확정하는 단계; 및,
    상기 목표 이미지 중 상기 인체 위치 영역를 기초로 상기 오리지널 이미지에서 좌표 정보를 확정하는 단계;를 포함하고,
    상기 목표 이미지 중 상기 인체 위치 영역을 기초로 상기 오리지널 이미지에서 좌표 정보를 확정하는 단계는,
    상기 목표 이미지 중 상기 인체 위치 영역을 기초로 상기 오리지널 이미지에서 오리지널 인체 영역을 확정하는 단계;
    상기 오리지널 인체 영역을 기설정된 배수로 확대하여 확대 영역을 얻는 단계;
    상기 확대 영역의 좌측 상단의 횡좌표, 종좌표 및 우측 하단의 횡좌표, 종좌표를 상기 좌표 정보로서 확정하거나; 또는, 상기 확대 영역의 좌측 상단의 횡좌표, 종좌표 및 중심점의 횡좌표, 종좌표를 상기 좌표 정보로서 확정하거나; 또는, 상기 확대 영역의 우측 하단의 횡좌표, 종좌표 및 중심점의 횡좌표, 종좌표를 상기 좌표 정보로서 확정하는 단계;를 포함하는 것을 특징으로 하는 인체 인식 방법.
  2. 제 1항에 있어서,
    상기 목표 이미지에 상기 인체 정보가 포함되어 있지 않으면, 상기 촬영된 다음 오리지널 이미지를 획득하는 단계를 수행하며, 상기 다음 오리지널 이미지를 기초로 해상도를 조정하여 목표 이미지를 얻는 것을 특징으로 하는 인체 인식 방법.
  3. 제 1항에 있어서,
    상기 해상도를 조정하는 단계는, 이미지에 대해 압축, 스트레칭 및 채우기 처리 중 적어도 하나를 수행하여 목표 이미지를 얻는 것을 특징으로 하는 인체 인식 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 인체 위치 영역은 구형 영역인 것을 특징으로 하는 인체 인식 방법.
  7. 촬영된 첫번째 오리지널 이미지를 획득하기 위한 획득 모듈;
    획득한 첫번째 오리지널 이미지를 기초로 해상도를 조정하여, 목표 이미지를 얻되, 상기 목표 이미지의 해상도가 기설정된 인체 특징점 검출 모델에 입력되는 이미지의 해상도에 부합되도록 하는 조정 모듈;
    상기 기설정된 인체 특징점 검출 모델을 기반으로 상기 목표 이미지에 대해 처리하여, 상기 목표 이미지에 인체 정보 포함 여부를 확정하기 위한 처리 모듈;
    상기 인체 정보가 포함되어 있으면, 상기 인체 정보를 기초로 오리지널 이미지에서 인체 영역 정보를 확정하며, 상기 인체 영역 정보를 필터링 모듈에 입력하여, 상기 필터링 모듈이 상기 인체 영역 정보를 기초로 목표 인체 영역 정보를 확정하도록 하기 위한 제1확정 모듈; 및
    상기 목표 인체 영역 정보를 기초로, 다음 오리지널 이미지에서 가능한 인체 영역을 확정하기 위한 제2확정 모듈을 포함하며,
    상기 획득 모듈은 또한 촬영된 상기 다음 오리지널 이미지를 획득하기 위해 사용되고;
    상기 조정 모듈은 또한 상기 가능한 인체 영역을 기초로 상기 다음 오리지널 이미지에 대해 캡쳐 처리를 수행하여, 처리된 후의 이미지를 획득하고, 상기 처리된 후의 이미지를 기초로 상기 해상도를 조정하는 단계를 수행하기 위해 사용되고, 마지막 이미지에 대한 처리가 완료될 때가지 상술한 조작들을 순환하여 수행하고,
    상기 필터링 모듈이 상기 인체 영역 정보를 기초로 목표 인체 영역 정보를 확정하는 것은,
    상기 필터링 모듈이 상기 인체 영역 정보, 과거 목표 인체 영역 정보를 기초로, 상기 인체 영역 정보에 대응되는 목표 인체 영역 정보를 확정하는 것을 포함하며; 상기 과거 목표 인체 영역 정보는 이전에 오리지널 이미지를 기초로 확정된 상기 목표 인체 영역 정보이고;
    제1확정 모듈이 상기 인체 정보를 기초로 오리지널 이미지에서 인체 영역 정보를 확정하는 것은,
    상기 인체 정보를 기초로 상기 목표 이미지에서 인체 위치 영역을 확정하고;
    상기 목표 이미지 중 상기 인체 위치 영역를 기초로 상기 오리지널 이미지에서 좌표 정보를 확정하는 것을 포함하고,
    상기 목표 이미지 중 상기 인체 위치 영역을 기초로 상기 오리지널 이미지에서 좌표 정보를 확정하는 것은,
    상기 목표 이미지 중 상기 인체 위치 영역을 기초로 상기 오리지널 이미지에서 오리지널 인체 영역을 확정하는 것;
    상기 오리지널 인체 영역을 기설정된 배수로 확대하여 확대 영역을 얻는 것;
    상기 확대 영역의 좌측 상단의 횡좌표, 종좌표 및 우측 하단의 횡좌표, 종좌표를 상기 좌표 정보로서 확정하거나; 또는, 상기 확대 영역의 좌측 상단의 횡좌표, 종좌표 및 중심점의 횡좌표, 종좌표를 상기 좌표 정보로서 확정하거나; 또는, 상기 확대 영역의 우측 하단의 횡좌표, 종좌표 및 중심점의 횡좌표, 종좌표를 상기 좌표 정보로서 확정하는 것을 포함하는 것을 특징으로 하는 인체 인식 장치.
  8. 메모리;
    프로세서; 및,
    컴퓨터 프로그램;을 포함하며,
    상기 컴퓨터 프로그램은 상기 메모리에 저장되며, 상기 프로세서에 의해 실행되어 제 1항 내지 제 3항 중 어느 한 항에 따른 인체 인식 방법을 구현하도록 구성되는 것을 특징으로 하는 인체 인식 기기.
  9. 프로세서에 의해 실행되어 제 1항 내지 제 3항 중 어느 한 항에 따른 인체 인식 방법을 구현하는 컴퓨터 프로그램이 저장되어 있는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
KR1020210081937A 2018-10-24 2021-06-23 인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체 KR102389916B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811245356.6 2018-10-24
CN201811245356.6A CN109614848B (zh) 2018-10-24 2018-10-24 人体识别方法、装置、设备及计算机可读存储介质
KR1020190115268A KR20190114924A (ko) 2018-10-24 2019-09-19 인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190115268A Division KR20190114924A (ko) 2018-10-24 2019-09-19 인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체

Publications (2)

Publication Number Publication Date
KR20210080334A KR20210080334A (ko) 2021-06-30
KR102389916B1 true KR102389916B1 (ko) 2022-04-22

Family

ID=66002825

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190115268A KR20190114924A (ko) 2018-10-24 2019-09-19 인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체
KR1020210081937A KR102389916B1 (ko) 2018-10-24 2021-06-23 인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020190115268A KR20190114924A (ko) 2018-10-24 2019-09-19 인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체

Country Status (4)

Country Link
US (1) US11790483B2 (ko)
JP (1) JP6849763B2 (ko)
KR (2) KR20190114924A (ko)
CN (1) CN109614848B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935491B (zh) * 2020-06-28 2023-04-07 百度在线网络技术（北京）有限公司 直播的特效处理方法、装置以及服务器

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020167537A1 (en) * 2001-05-11 2002-11-14 Miroslav Trajkovic Motion-based tracking with pan-tilt-zoom camera
KR100464079B1 (ko) 2002-01-16 2004-12-30 엘지전자 주식회사 화상 통신에서의 얼굴 검출 및 추적 시스템
JP2005100084A (ja) 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
JP4561380B2 (ja) 2005-01-24 2010-10-13 コニカミノルタホールディングス株式会社 検出装置、検出方法及び検出プログラム
US8026945B2 (en) * 2005-07-22 2011-09-27 Cernium Corporation Directed attention digital video recordation
US7876978B2 (en) * 2005-10-13 2011-01-25 Penthera Technologies, Inc. Regions of interest in video frames
JP4798042B2 (ja) 2007-03-29 2011-10-19 オムロン株式会社 顔検出装置、顔検出方法及び顔検出プログラム
KR20080096053A (ko) 2007-04-26 2008-10-30 삼성전자주식회사 복사 방지를 위한 특정 패턴 검출 방법 및 이를 수행하는화상형성장치
KR20100072772A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법
JP5137863B2 (ja) 2009-01-20 2013-02-06 セコム株式会社 物体検出装置
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
JP2012084012A (ja) 2010-10-13 2012-04-26 Canon Inc 画像処理装置、その処理方法及びプログラム
KR20120044484A (ko) 2010-10-28 2012-05-08 삼성전자주식회사 이미지 처리 시스템에서 물체 추적 장치 및 방법
JP5795250B2 (ja) 2011-12-08 2015-10-14 Kddi株式会社 被写体姿勢推定装置および映像描画装置
CN104346802B (zh) * 2013-08-05 2018-02-16 浙江大华技术股份有限公司 一种人员离岗监控方法及设备
JP6406345B2 (ja) * 2014-03-05 2018-10-17 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP6326622B2 (ja) 2014-03-25 2018-05-23 株式会社明電舎 人物検出装置
JP6434718B2 (ja) 2014-05-16 2018-12-05 日本放送協会 顔画像認識装置及び顔画像認識プログラム
KR20160115466A (ko) * 2015-03-27 2016-10-06 한국전자통신연구원 파노라믹 비디오를 스티칭하는 장치 및 이를 위한 스티칭 방법
KR102436513B1 (ko) * 2015-08-12 2022-08-26 삼성전자 주식회사 전자 기기의 해상도 조정 방법 및 장치
CN106650682B (zh) * 2016-12-29 2020-05-01 Tcl集团股份有限公司 一种人脸追踪的方法及装置
US10185878B2 (en) * 2017-02-28 2019-01-22 Microsoft Technology Licensing, Llc System and method for person counting in image data
JP6969611B2 (ja) * 2017-09-27 2021-11-24 日本電気株式会社 情報処理システム、制御方法、及びプログラム
CN108537204A (zh) * 2018-04-20 2018-09-14 广州林邦信息科技有限公司 人类活动监测方法、装置及服务器

Also Published As

Publication number Publication date
JP6849763B2 (ja) 2021-03-31
US20200134305A1 (en) 2020-04-30
CN109614848B (zh) 2021-07-20
US11790483B2 (en) 2023-10-17
CN109614848A (zh) 2019-04-12
JP2020009472A (ja) 2020-01-16
KR20190114924A (ko) 2019-10-10
KR20210080334A (ko) 2021-06-30

Similar Documents

Publication Publication Date Title
US10893251B2 (en) Three-dimensional model generating device and three-dimensional model generating method
US20180197324A1 (en) Virtual viewpoint setting apparatus, setting method, and storage medium
US20100182480A1 (en) Image processing apparatus, image matching method, and computer-readable recording medium
CN109002796B (zh) 一种图像采集方法、装置和系统以及电子设备
CN108717704B (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
CN110544278B (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
CN111080571A (zh) 摄像头遮挡状态检测方法、装置、终端和存储介质
US10657703B2 (en) Image processing apparatus and image processing method
KR102389916B1 (ko) 인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체
CN113286084B (zh) 终端的图像采集方法及装置、存储介质、终端
JP5805013B2 (ja) 撮像画像表示装置、撮像画像表示方法、プログラム
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
CN111225144A (zh) 视频拍摄方法、装置、电子设备及计算机存储介质
CN114390219B (zh) 拍摄方法、装置、电子设备及存储介质
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
JP2017021430A (ja) パノラマビデオデータの処理装置、処理方法及びプログラム
WO2023042604A1 (ja) 寸法計測装置、寸法計測方法及びプログラム
CN113327228B (zh) 图像处理方法和装置、终端和可读存储介质
CN114302071B (zh) 视频处理方法、装置、存储介质及电子设备
CN115514895B (zh) 图像防抖方法、装置、电子设备和计算机可读存储介质
CN115086558B (zh) 对焦方法、摄像设备、终端设备及存储介质
KR102252662B1 (ko) 이미지 맵과 연관되는 데이터를 생성하는 장치 및 그것의 동작 방법
JP2017010555A (ja) 画像処理方法及び画像処理装置
CN115457098A (zh) 图像处理方法、装置、系统、电子设备和可读存储介质

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant