KR20220002626A - 픽쳐 기반의 다차원 정보 통합 방법 및 관련 기기 - Google Patents
픽쳐 기반의 다차원 정보 통합 방법 및 관련 기기 Download PDFInfo
- Publication number
- KR20220002626A KR20220002626A KR1020217039230A KR20217039230A KR20220002626A KR 20220002626 A KR20220002626 A KR 20220002626A KR 1020217039230 A KR1020217039230 A KR 1020217039230A KR 20217039230 A KR20217039230 A KR 20217039230A KR 20220002626 A KR20220002626 A KR 20220002626A
- Authority
- KR
- South Korea
- Prior art keywords
- target
- characteristic information
- picture
- information
- human body
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G06K9/00268—
-
- G06K9/00362—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 픽쳐 기반의 다차원 정보 통합 방법 및 관련 기기를 제공하며, 상기 방법은, 검출될 픽쳐를 획득하는 단계; 검출될 픽쳐를 검출하고 검출될 픽쳐 중 복수의 특징 정보를 추출하는 단계; 및 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하고, 타깃 특징 정보 및 연관 특징 정보를 연관시켜 하나의 다차원 정보를 생성하는 단계를 포함하되, 다차원 정보는 복수의 연관된 특징 정보를 포함한다. 이로써 복수의 특징 정보의 자동 추출 및 자동 연관 통합을 구현한다.
Description
관련 출원의 상호 참조
본 발명은 2019년 12월 30일에 중국 특허국에 제출한, 출원번호가 201911402864.5이고, 출원 명칭이 “픽쳐 기반의 다차원 정보 통합 방법 및 관련 기기”인 중국 특허 출원의 우선권을 주장하는 바, 그 모든 내용은 참조로서 본원 발명에 인용된다.
본 발명은 스마트 기기 기술 분야에 관한 것으로, 특히 픽쳐 기반의 다차원 정보 통합 방법 및 관련 기기에 관한 것이다.
현재 도시에는 인체, 얼굴, 자동차, 비동력 차량과 같은 다양한 정보가 포함된 실시간 영상을 촬영할 수 있는 많은 카메라 지점이 설치되어 있다. 공안 부서에서 일상적인 사건 탐지, 영상 조사, 용의자 추적 등 임무를 수행할 때, 보통 다양한 채널에서 수집된 용의자 정보(얼굴, 인체, 범죄/도망 차량 등)가 포함된 픽쳐를 업로드하고, 이러한 영상 중의 정보를 비교하여, 검색 결과를 통해 다양한 단서를 수집하고, 증거 사슬을 보완하며, 용의자 행동 노선과 도망 궤적을 보완한다.
본 발명은 주요하게 픽쳐 기반의 다차원 정보 통합 방법 및 관련 기기를 제공한다.
일 양태로, 본 발명에 사용되는 첫 번째 기술적 해결수단은, 검출될 픽쳐를 획득하는 단계; 상기 검출될 픽쳐를 검출하고 상기 검출될 픽쳐 중 복수의 특징 정보를 추출하는 단계; 및 상기 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하고, 상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜 하나의 다차원 정보를 생성하는 단계를 포함하되, 상기 다차원 정보는 복수의 연관된 특징 정보를 포함하는 픽쳐 기반의 다차원 정보 통합 방법을 제공하는 것이다.
여기서, 추출된 상기 복수의 특징 정보는 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보 중 적어도 2가지 상이한 타입의 특징 정보를 포함한다.
여기서, 상기 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하고, 상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜 하나의 다차원 정보를 생성하는 단계 이후에, 상기 방법은, 상기 다차원 정보 중 상기 타깃 특징 정보에 기반하여 제1 데이터베이스로부터 제1 타깃 이미지를 검색하여 획득하는 단계; 상기 다차원 정보 중 상기 연관 특징 정보에 기반하여 제2 데이터베이스로부터 제2 타깃 이미지를 검색하여 획득하는 단계; 및 상기 제1 타깃 이미지 및 상기 제2 타깃 이미지를 상기 검출될 픽쳐의 검색 결과로 결정하는 단계를 더 포함한다.
여기서, 상기 검출될 픽쳐는 하나의 검출될 픽쳐 또는 복수의 검출될 픽쳐이고; 상기 검출될 픽쳐를 검출하고 상기 검출될 픽쳐 중 복수의 특징 정보를 추출하는 단계는, 상기 하나의 검출될 픽쳐 또는 상기 복수의 검출될 픽쳐를 검출하고, 상기 하나의 검출될 픽쳐 또는 상기 복수의 검출될 픽쳐로부터 상기 복수의 특징 정보를 추출하는 단계를 포함한다.
여기서, 상기 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하고, 상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜 하나의 다차원 정보를 생성하는 단계는, 상기 검출될 픽쳐 중 질량 분율이 가장 높은 타깃 얼굴에 대응되는 타깃 얼굴 특징 정보를 선택하여 타깃 특징 정보로 사용하고, 상기 타깃 얼굴 특징 정보에 대응되는 타깃 인체 특징 정보 및/또는 상기 타깃 얼굴의 중심점과의 거리가 가장 가까운 차량에 대응되는 타깃 차량 특징 정보를 선택하여 연관 특징 정보로 사용하는 단계; 및 상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜, 상기 다차원 정보를 생성하는 단계를 포함하되, 여기서, 상기 다차원 정보는 상기 타깃 얼굴 특징 정보, 상기 타깃 인체 특징 정보 및 상기 타깃 차량 특징 정보 중 적어도 2가지 상이한 타입의 특징 정보를 포함한다.
여기서, 상기 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하고, 상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜 하나의 다차원 정보를 생성하는 단계는, 제어 명령을 수신하고, 상기 제어 명령에 기반하여 상기 복수의 특징 정보로부터 상기 타깃 특징 정보를 선택하는 단계 - 상기 타깃 특징 정보는 상기 얼굴 특징 정보, 상기 인체 특징 정보 및 상기 차량 특징 정보 중 어느 하나임 - ; 선택된 상기 타깃 특징 정보에 따라 상기 타깃 특징 정보와 매칭되는 상기 연관 특징 정보를 선택하는 단계 - 상기 연관 특징 정보는 상기 얼굴 특징 정보, 상기 인체 특징 정보 및 상기 차량 특징 정보 중 상기 타깃 특징 정보를 제외한 다른 2가지 타입 정보 중 적어도 하나임 - ; 및 상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜, 상기 다차원 정보를 생성하는 단계를 포함한다.
여기서, 선택된 상기 타깃 특징 정보가 상기 얼굴 특징 정보 타입의 타깃 얼굴 특징 정보인 경우, 선택된 상기 타깃 특징 정보에 따라 상기 타깃 특징 정보와 매칭되는 상기 연관 특징 정보를 선택하는 단계는, 선택된 상기 타깃 얼굴 특징 정보에 따라, 상기 타깃 얼굴 특징 정보에 대응되는 인체 특징 정보 및/또는 상기 타깃 얼굴 특징 정보 연관 얼굴의 중심점과의 거리가 가장 가까운 차량에 대응되는 타깃 차량 특징 정보를 자동으로 선택하여 상기 연관 특징 정보로 사용하는 단계를 포함하거나; 또는 선택된 상기 타깃 특징 정보가 상기 인체 특징 정보 타입의 타깃 인체 특징 정보인 경우, 선택된 상기 타깃 특징 정보에 따라 상기 타깃 특징 정보와 매칭되는 상기 연관 특징 정보를 선택하는 단계는, 선택된 상기 타깃 인체 특징 정보에 따라, 상기 타깃 인체 특징 정보에 대응되는 타깃 얼굴 특징 정보 및/또는 상기 타깃 인체 특징 정보 연관 인체의 중심점과의 거리가 가장 가까운 차량에 대응되는 타깃 차량 특징 정보를 자동으로 선택하여 상기 연관 특징 정보로 사용하는 단계를 포함하거나; 또는 선택된 상기 타깃 특징 정보가 상기 차량 특징 정보 타입의 타깃 차량 특징 정보인 경우, 선택된 상기 타깃 특징 정보에 따라 상기 타깃 특징 정보와 매칭되는 상기 연관 특징 정보를 선택하는 단계는, 선택된 상기 타깃 차량 특징 정보에 따라, 상기 타깃 차량 특징 정보의 중심점과의 거리가 가장 가까운 얼굴에 대응되는 타깃 얼굴 특징 정보 및/또는 상기 타깃 얼굴 특징 정보에 대응되는 타깃 인체 특징 정보를 자동으로 선택하여 상기 연관 특징 정보로 사용하는 단계를 포함한다.
여기서, 상기 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하고, 상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜 하나의 다차원 정보를 생성하는 단계는, 제어 명령을 수신하고, 상기 제어 명령에 기반하여 상기 복수의 특징 정보로부터 상기 타깃 특징 정보 및 상기 연관 특징 정보를 선택하는 단계 - 선택된 상기 타깃 특징 정보 및 선택된 상기 연관 특징 정보는 상기 얼굴 특징 정보, 상기 인체 특징 정보 및 상기 차량 특징 정보 중 적어도 2가지 상이한 타입의 특징 정보를 포함함 - ; 및 상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜, 상기 다차원 정보를 생성하는 단계를 포함한다.
여기서, 상기 제1 타깃 이미지 및 상기 제2 타깃 이미지를 상기 검출될 픽쳐의 검색 결과 픽쳐로 결정하는 단계 이후에, 상기 방법은, 상기 얼굴 특징에 대응되는 타깃 얼굴 픽쳐, 상기 인체 특징에 대응되는 타깃 인체 픽쳐 및/또는 상기 차량 특징에 대응되는 타깃 차량 픽쳐를 각각 획득하는 단계; 및 상기 타깃 얼굴 픽쳐와 상기 타깃 인체 픽쳐가 동일한 제1 타깃 이미지에 대응하고 기설정 공간 관계를 갖는 경우, 상기 검색 결과 픽쳐 중 상기 타깃 얼굴 픽쳐와 상기 타깃 인체 픽쳐를 연관시키고; 상기 타깃 얼굴 픽쳐와 상기 타깃 차량 픽쳐가 동일한 제1 타깃 픽쳐에 대응하고 기설정 공간 관계를 갖는 경우, 상기 검색 결과 픽쳐 중 상기 타깃 얼굴 픽쳐와 상기 타깃 차량 픽쳐를 연관시키며; 상기 타깃 인체 픽쳐와 상기 타깃 차량 픽쳐가 동일한 제1 타깃 픽쳐에 대응하고 기설정 공간 관계를 갖는 경우, 상기 검색 결과 픽쳐 중 상기 타깃 인체 픽쳐와 상기 타깃 차량 픽쳐를 연관시키는 단계를 더 포함한다.
여기서, 상기 기설정 공간 관계는, 상기 제1 타깃 픽쳐의 이미지 커버리지가 상기 제2 타깃 픽쳐의 이미지 커버리지를 포함하는 경우; 상기 제1 타깃 픽쳐의 이미지 커버리지가 상기 제2 타깃 픽쳐의 이미지 커버리지와 부분적으로 중첩되는 경우; 상기 제1 타깃 픽쳐의 이미지 커버리지가 상기 제2 타깃 픽쳐의 이미지 커버리지와 연결되는 경우 중 적어도 하나를 포함하고, 여기서, 상기 제1 타깃 픽쳐는 상기 타깃 얼굴 픽쳐, 상기 타깃 인체 픽쳐 및 상기 타깃 차량 픽쳐 중 어느 하나 또는 하나 이상을 포함하며, 상기 제2 타깃 픽쳐는 상기 타깃 얼굴 픽쳐, 상기 타깃 인체 픽쳐 및 상기 타깃 차량 픽쳐 중 어느 하나 또는 하나 이상을 포함한다.
다른 양태로, 본 발명은 검출될 픽쳐를 획득하는 획득 모듈; 상기 검출될 픽쳐를 검출하고 상기 검출될 픽쳐 중 복수의 특징 정보를 추출하는 특징 추출 모듈; 및 상기 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하고, 상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜 하나의 다차원 정보를 생성하는 특징 연관 모듈을 포함하되, 상기 다차원 정보는 복수의 연관된 특징 정보를 포함하는 픽쳐 기반의 다차원 정보 통합 장치를 제공한다.
다른 양태로, 본 발명은 메모리 및 프로세서를 포함하되, 상기 메모리에는 프로그램 명령이 저장되고, 상기 프로세서는 상기 메모리로부터 상기 프로그램 명령을 호출하여 상기 어느 한 항에 따른 픽쳐 기반의 다차원 정보 통합 방법을 수행하는 픽쳐 기반의 다차원 정보 통합 기기를 제공한다.
다른 양태로, 본 발명은 프로그램 파일이 저장되되, 상기 프로그램 파일은 상기 어느 한 항에 따른 픽쳐 기반의 다차원 정보 통합 방법을 구현하기 위해 실행 가능한 컴퓨터 판독 가능 저장 매체를 제공한다.
또 다른 양태로, 본 발명은 상기 컴퓨터 프로그램 제품의 명령이 프로세서에 의해 실행될 경우, 상기 어느 한 항에 따른 픽쳐 기반의 다차원 정보 통합 방법을 수행하는 컴퓨터 프로그램 제품을 더 제공한다.
본 발명의 유익한 효과는 다음과 같다. 종래의 기술에 비해, 본 발명은 검출될 픽쳐를 획득하고; 검출될 픽쳐를 검출하고 검출될 픽쳐 중 복수의 특징 정보를 추출하며; 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하고, 타깃 특징 정보 및 연관 특징 정보를 연관시켜 하나의 다차원 정보를 생성하되, 여기서, 다차원 정보는 복수의 연관된 특징 정보를 포함한다. 이로써 픽쳐 중 복수의 특징 정보의 자동 추출 및 자동 연관을 구현한다.
도 1은 본 발명의 픽쳐 기반의 다차원 정보 통합 방법의 제1 실시예의 흐름 모식도이다.
도 2는 도 1의 단계 S12의 일 구체적인 실시예의 흐름 모식도이다.
도 3은 도 1의 단계 S13의 일 구체적인 실시예의 흐름 모식도이다.
도 4는 도 1의 단계 S13의 다른 실시예의 흐름 모식도이다.
도 5는 본 발명의 픽쳐 기반의 다차원 정보 통합 방법의 제2 실시예의 흐름 모식도이다.
도 6은 본 발명의 픽쳐 기반의 다차원 정보 통합 방법의 제3 실시예의 흐름 모식도이다.
도 7은 본 발명의 픽쳐 기반의 다차원 정보 통합 장치의 제1 실시예의 구조 모식도이다.
도 8은 본 발명의 픽쳐 기반의 다차원 정보 통합 장치의 제1 실시예의 다른 구조 모식도이다.
도 9는 본 발명의 픽쳐 기반의 다차원 정보 통합 기기의 제2 실시예의 구조 모식도이다.
도 10은 본 발명의 컴퓨터 판독 가능 저장 매체의 구조 모식도이다.
도 2는 도 1의 단계 S12의 일 구체적인 실시예의 흐름 모식도이다.
도 3은 도 1의 단계 S13의 일 구체적인 실시예의 흐름 모식도이다.
도 4는 도 1의 단계 S13의 다른 실시예의 흐름 모식도이다.
도 5는 본 발명의 픽쳐 기반의 다차원 정보 통합 방법의 제2 실시예의 흐름 모식도이다.
도 6은 본 발명의 픽쳐 기반의 다차원 정보 통합 방법의 제3 실시예의 흐름 모식도이다.
도 7은 본 발명의 픽쳐 기반의 다차원 정보 통합 장치의 제1 실시예의 구조 모식도이다.
도 8은 본 발명의 픽쳐 기반의 다차원 정보 통합 장치의 제1 실시예의 다른 구조 모식도이다.
도 9는 본 발명의 픽쳐 기반의 다차원 정보 통합 기기의 제2 실시예의 구조 모식도이다.
도 10은 본 발명의 컴퓨터 판독 가능 저장 매체의 구조 모식도이다.
이하, 본 발명의 실시예에 따른 첨부 도면을 결부하여 본 발명의 실시예에 따른 기술적 해결수단을 명확하고 완전하게 설명하되 설명된 실시예는 본 발명의 일부 실시예일 뿐 전체 실시예가 아님은 분명하다. 본 발명의 실시예를 기반으로, 본 기술분야의 통상의 기술자가 진보성 창출에 힘을 쓰지 않고 얻은 모든 다른 실시예는 모두 본 발명의 보호 범위에 속한다.
관련 기술에서, 동일한 픽쳐 중 복수의 특징에 대해 하나씩 인식하여 추출하므로 과정이 복잡하고, 복수의 특징이 연관되기 어려우며 연관 정확성도 낮다. 따라서, 본 발명은 구체적인 픽쳐 기반의 다차원 정보 통합 방법을 제공한다. 얼굴 검색, 인체 검색 및 차량 검색의 발전을 기반으로, 본 발명에서 제공하는 방법은 동일한 픽쳐 중 얼굴, 인체 및 차량을 동시에 인식하여 추출할 수 있고, 그 자체의 위치 관계에 따라 자동으로 연관시켜 연관된 다차원 정보를 획득한다.
구체적으로 도 1을 참조하면, 본 발명의 픽쳐 기반의 다차원 정보 통합 방법의 제1 실시예의 흐름 모식도이다. 본 발명의 픽쳐 기반의 다차원 정보 통합 방법은 픽쳐 기반의 다차원 정보 통합 기기에 적용되고, 픽쳐 기반의 다차원 정보 통합 기기는 예를 들어 스마트폰, 태블릿 PC, 노트북, 컴퓨터 또는 웨어러블 기기 등 단말 기기일 수 있고, 바요넷 교통 시스템 중 모니터링 시스템일 수도 있다. 아래 실시예의 설명에서, 픽쳐 기반의 다차원 정보 통합 기기를 통합적으로 사용하여 픽쳐 기반의 다차원 정보 통합 방법에 대해 설명한다. 구체적으로, 도 1에 도시된 픽쳐 기반의 다차원 정보 통합 방법은 하기와 같은 단계를 포함한다.
단계 S11에서, 검출될 픽쳐를 획득한다.
구체적으로, 검출될 픽쳐는 하나이거나 복수일 수 있고, 검출될 픽쳐는 얼굴, 인체 및 차량 중 어느 하나의 요소를 포함한 픽쳐일 수 있다. 구체적으로, 검출될 얼굴, 인체 및 차량은 복수일 수 있고, 하나일 수도 있으며, 구체적으로 한정하지 않는다.
단계 S12에서, 검출될 픽쳐를 검출하고 검출될 픽쳐 중 복수의 특징 정보를 추출한다.
구체적으로, 검출될 픽쳐 중 복수의 특징 정보를 추출하는 단계는, 검출될 픽쳐 중 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보 중 적어도 2가지를 추출하는 단계를 포함한다. 예를 들어, 일 실시예에서, 검출될 픽쳐로부터 얼굴 특징 정보 및 인체 특징 정보를 추출하거나; 검출될 픽쳐로부터 인체 특징 정보 및 차량 특징 정보를 추출하거나; 검출될 픽쳐로부터 얼굴 특징 정보 및 차량 특징 정보를 추출하거나; 또는 검출될 픽쳐로부터 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보를 추출할 수 있다.
일 구체적인 실시형태에서, 도 2에 도시된 바와 같이, 도 2에 도시된 방법을 통해 검출될 픽쳐를 검출하고 검출될 픽쳐 중 복수의 특징 정보를 추출할 수 있다. 구체적으로 하기와 같은 단계를 포함한다.
단계 S21에서, 제어 명령을 수신하고, 제어 명령에 기반하여 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하되, 여기서, 선택된 타깃 특징 정보 및 선택된 연관 특징 정보는 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보 중 적어도 2가지 상이한 타입의 특징 정보를 포함한다.
일 구체적인 실시예에서, 추적 정확성을 더 향상시키기 위해, 본 실시예에서 타깃 특징 정보는 또한 2가지 상이한 타입의 특징 정보일 수 있으며, 예를 들어 선택된 타깃 특징 정보는 동시에 얼굴 특징 정보 및 인체 특징 정보이거나, 얼굴 특징 정보 및 차량 특징 정보이거나, 인체 특징 정보 및 차량 특징 정보일 수 있다.
단계 S22에서, 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜, 상기 다차원 정보를 생성한다.
선택된 타깃 특징 정보 및 연관 특징 정보를 위치 관계에 따라 통합하여 연관시켜 다차원 정보를 형성한다.
본 실시예의 다차원 정보 통합 방법은 복수의 특징 정보를 동시에 인식할 수 있고, 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 추출하여, 타깃 특징 정보 및 연관 특징 정보를 통합하여 다차원 정보를 형성함으로써, 상이한 타깃 특징을 통해 타깃 특징과 연관된 연관 특징을 확인하여, 자동 연관을 구현하고, 상이한 각도의 연관을 통해 연관 정확성을 향상시킬 수 있다.
단계 S13에서, 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하고, 타깃 특징 정보 및 연관 특징 정보를 연관시켜 하나의 다차원 정보를 생성하되, 여기서, 다차원 정보는 복수의 연관된 특징 정보를 포함한다.
구체적으로, 검출될 픽쳐로부터 복수의 특징 정보(얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보)를 검출한 후, 검출된 복수의 특징 정보로부터 그 중 하나를 선택하여 타깃 특징 정보로 사용하고, 나머지는 연관 특징 정보로 사용하며, 타깃 특징 정보와 연관 특징 정보를 위치 관계에 따라 연관시켜, 다차원 정보를 형성한다. 구체적으로, 하나의 다차원 정보에는 복수의 연관된 특징 정보가 포함될 수 있다.
그 중 일 실시형태에서, 도 3에 도시된 바와 같이, 단계 S13은 하기와 같은 단계를 포함한다.
단계 S31에서, 검출될 픽쳐 중 질량 분율이 가장 높은 타깃 얼굴에 대응되는 타깃 얼굴 특징 정보를 선택하여 타깃 특징 정보로 사용하고, 상기 타깃 얼굴 특징 정보에 대응되는 타깃 인체 특징 정보 및/또는 상기 타깃 얼굴의 중심점과의 거리가 가장 가까운 차량에 대응되는 타깃 차량 특징 정보를 선택하여 연관 특징 정보로 사용한다.
검출될 픽쳐에 대해 계속하여 특징 추출을 수행한 후, 검출될 픽쳐 중 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보를 추출한다. 추출된 질량 분율이 가장 높은 타깃 얼굴 특징 정보를 타깃 특징 정보로 사용하고, 타깃 얼굴의 얼굴 특징 정보를 포함한 인체 특징 정보, 및 타깃 얼굴의 중심점과의 거리가 가장 가까운 차량에 대응되는 타깃 차량 특징 정보를 연관 특징 정보로 사용한다. 선택된 얼굴 특징 정보, 및 인체 특징 정보, 차량 특징 정보를 계속하여 연관시킨다.
단계 S32에서, 타깃 특징 정보 및 연관 특징 정보를 연관시켜, 다차원 정보를 생성하되, 여기서, 다차원 정보는 상기 타깃 얼굴 특징 정보, 상기 타깃 인체 특징 정보 및 상기 타깃 차량 특징 정보 중 적어도 2가지 상이한 타입의 특징 정보를 포함한다.
구체적으로, 타깃 특징 정보 및 연관 특징 정보를 연관시켜 다차원 정보를 형성하는 경우, 타깃 특징 정보가 하나의 타입의 특징 정보를 포함하고, 연관 특징 정보도 하나의 타입의 특징 정보를 포함하면, 다차원 정보는 2가지 상이한 타입의 특징 정보를 포함한다. 예를 들어, 타깃 특징 정보가 얼굴 특징 정보를 포함하고, 연관 특징 정보가 인체 특징 정보를 포함할 경우, 다차원 정보에는 얼굴 특징 정보 및 인체 특징 정보 2가지 상이한 타입의 특징 정보가 포함된다. 또 예를 들어, 타깃 특징 정보가 하나의 타입의 특징 정보를 포함하고, 연관 특징 정보가 2가지 상이한 타입의 특징 정보를 포함하면, 다차원 정보에는 3가지 상이한 타입의 특징 정보가 포함된다. 예를 들어, 타깃 특징 정보가 얼굴 특징 정보를 포함하고, 연관 특징 정보가 인체 특징 정보 및 차량 특징 정보를 포함할 경우, 다차원 정보에는 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보 3가지 상이한 타입의 특징 정보가 포함된다.
본 실시예의 다차원 정보 통합 방법은 질량 분율이 가장 높은 타깃 얼굴에 대응되는 타깃 얼굴 특징 정보를 선택하여 타깃 특징 정보로 사용하고, 타깃 얼굴 특징 정보에 대응되는 타깃 인체 특징 정보 및/또는 타깃 얼굴의 중심점과의 거리가 가장 가까운 차량에 대응되는 타깃 차량 특징 정보를 선택하여 연관 특징 정보로 사용한다. 여기서 질량 분율이 가장 높은 얼굴은 즉 검출될 픽쳐 중 가장 선명한 얼굴이다.이와 같이 대응되지 않는 얼굴 및 인체, 또는 대응되지 않는 얼굴 및 차량의 연관을 방지하기 위해 연관 정확성을 향상시킬 수 있다.
다른 실시형태에서, 도 4에 도시된 바와 같이, 단계 S13은 하기와 같은 단계를 포함한다.
단계 S41에서, 제어 명령을 수신하고, 제어 명령에 기반하여 상기 복수의 특징 정보로부터 타깃 특징 정보를 선택하되, 여기서, 타깃 특징 정보는 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보 중 어느 하나이다.
구체적으로, 검출 부분의 특징 정보로부터 어느 하나의 특징 정보를 선택하여 타깃 특징 정보로 사용하고, 나머지 특징 정보를 연관 특징 정보로 사용한다.
여기서, 타깃 특징 정보는 얼굴 특징 정보일 수 있고, 인체 특징 정보일 수도 있으며, 차량 특징 정보일 수도 있고, 구체적으로 한정하지 않는다.
단계 S42에서, 선택된 타깃 특징 정보에 따라 타깃 특징 정보와 매칭되는 연관 특징 정보를 선택하되, 여기서, 연관 특징 정보는 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보 중 타깃 특징 정보를 제외한 다른 2가지 타입 정보 중 적어도 하나이다.
일 구체적인 실시예에서, 선택된 타깃 특징 정보가 얼굴 특징 정보이면, 선택된 얼굴 특징 정보에 따라 나머지 특징 정보로부터 매칭되는 인체 특징 정보, 차량 특징 정보를 선택한다. 선택된 타깃 특징 정보가 인체 특징 정보이면, 선택된 인체 특징 정보에 따라 나머지 특징 정보로부터 매칭되는 얼굴 특징 정보 및 차량 특징 정보를 선택한다. 선택된 타깃 특징 정보가 차량 특징 정보이면, 선택된 차량 특징 정보에 따라 나머지 특징 정보로부터 매칭되는 얼굴 특징 정보 및 인체 특징 정보를 선택한다.
단계 S43에서, 타깃 특징 정보 및 연관 특징 정보를 연관시켜 상기 다차원 정보를 생성한다.
선택된 타깃 특징 정보 및 타깃 특징 정보와 매칭되는 연관 특징 정보를 연관시켜, 다차원 정보를 생성한다. 구체적으로, 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보를 연관시켜, 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보를 포함한 다차원 정보를 생성한다.
구체적으로, 일 실시예에서, 특징 정보를 검출할 경우, 각각의 특징 정보의 좌표 위치를 동시에 획득하고, 타깃 특징 정보의 좌표 위치 및 연관 특징 정보의 좌표 위치에 따라 타깃 특징 정보 및 연관 특징 정보를 통합하여 연관시킨다. 예를 들어, 검출될 픽쳐에서 얼굴 특징 정보를 검출할 경우, 얼굴 특징 주변의 좌표를 획득하여 얼굴 특징을 둘러싼 교정 프레임을 형성하고; 검출될 픽쳐에서 인체 특징 정보를 검출할 경우, 인체 특징 주변의 좌표를 획득하여 인체 특징을 둘러싼 교정 프레임을 형성하며; 검출될 픽쳐에서 차량 특징 정보를 검출할 경우, 차량 특징 주변의 좌표를 획득하여 차량 특징을 둘러싼 교정 프레임을 형성한다.
일 구체적인 실시예에서, 얼굴 특징 정보를 선택하여 타깃 특징 정보로 사용하고, 타깃 특징 정보(얼굴 특징 정보)에 따라 매칭되는 연관 특징 정보를 선택할 경우, 선택된 얼굴 특징 정보의 교정 프레임이 포함된 인체 특징 정보의 교정 프레임을 판단하는데, 이때 인체 특징 정보의 교정 프레임 내의 인체 특징 정보는 얼굴 특징 정보와 매칭되는 인체 특징 정보이고, 선택된 얼굴 특징 정보의 교정 프레임의 중심점과의 거리가 가장 가까운 차량의 차량 특징 정보가 포함된 교정 프레임을 판단하는데, 이때 차량 특징 정보 교정 프레임 중 차량 특징 정보는 얼굴 특징 정보와 매칭되는 차량 특징 정보이며, 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보를 교정 프레임의 좌표 위치에 따라 연관시켜 통합한다.
다른 구체적인 실시예에서, 인체 특징 정보를 선택하여 타깃 특징 정보로 사용하고, 타깃 특징 정보(인체 특징 정보)에 따라 매칭되는 연관 특징 정보를 선택할 경우, 선택된 인체 특징 정보의 교정 프레임에 선택된 얼굴 특징 정보의 교정 프레임이 포함되는지 여부를 판단하며, 그렇다면 선택된 얼굴 특징 정보의 교정 프레임 중 얼굴 특징 정보는 인체 특징 정보와 매칭되는 얼굴 특징 정보이고, 선택된 인체 특징 정보의 교정 프레임의 중심점과의 거리가 가장 가까운 차량의 차량 특징 정보가 포함된 교정 프레임을 판단하는데, 이때 차량 특징 정보 교정 프레임 중 차량 특징 정보는 인체 특징 정보와 매칭되는 차량 특징 정보이며, 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보를 교정 프레임의 좌표 위치에 따라 연관시켜 통합한다.
또 다른 구체적인 실시예에서, 차량 특징 정보를 선택하여 타깃 특징 정보로 사용하고, 타깃 특징 정보(차량 특징 정보)에 따라 매칭되는 연관 특징 정보를 선택할 경우, 선택된 차량 특징 정보의 교정 프레임의 중심점과의 거리가 가장 가까운 얼굴 특징 정보가 포함된 교정 프레임 및 인체 특징 정보가 포함된 교정 프레임을 판단하되, 여기서 얼굴 특징 정보의 교정 프레임 중 얼굴 특징 정보는 차량 특징 정보와 매칭되는 얼굴 특징 정보이고, 인체 특징 정보의 교정 프레임 중 인체 특징 정보는 차량 특징 정보와 매칭되는 인체 특징 정보이며, 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보를 교정 프레임의 좌표 위치에 따라 연관시켜 통합한다.
본 실시예에 따른 픽쳐 기반의 다차원 정보 통합 방법은 타깃 특징 정보와 연관 특징 정보의 위치를 통해, 타깃 특징 정보와 매칭되는 연관 특징 정보를 결정하고, 타깃 특징 정보 및 연관 특징 정보를 통합하여 연관시킨다. 따라서 복수의 특징 정보의 자동 추출 및 자동 연관 통합을 구현하며, 실제 응용에서, 작업자의 노동력을 크게 줄여 작업 효율을 향상시킬 수 있다.
도 5에 도시된 바와 같이, 도 5는 본 발명의 픽쳐 기반의 다차원 정보 통합 방법의 제2 실시형태의 흐름 모식도이다.
본 실시형태의 단계 S51 내지 단계 S53은 도 1의 단계 S11 내지 단계 S13과 동일하고, 제1 실시형태와의 구별되는 점은 단계 S13 이후에 하기와 같은 단계를 더 포함하는 것이다.
단계 S54에서, 다차원 정보 중 타깃 특징 정보에 기반하여 제1 데이터베이스로부터 제1 타깃 이미지를 검색하여 획득한다.
구체적으로, 다차원 정보를 합성한 후, 다차원 정보를 제1 데이터베이스에 입력하여 검색하여 다차원 정보 중 타깃 특징에 대응되는 제1 타깃 이미지를 획득한다. 구체적으로, 일 실시예에서, 다차원 정보 중 타깃 특징 정보가 얼굴 특징 정보이면, 제1 데이터베이스는 얼굴 특징데이터베이스이고, 다차원 정보 중 얼굴 특징 정보를 얼굴 특징 데이터베이스와 매칭하여 얼굴 특징 정보와 매칭되는 복수의 제1 타깃 이미지를 획득한다.
단계 S55에서, 다차원 정보 중 연관 특징 정보에 기반하여 제2 데이터베이스로부터 제2 타깃 이미지를 검색하여 획득한다.
구체적으로, 일 실시예에서, 다차원 정보 중 연관 특징 정보가 인체 특징 정보이면, 제2 데이터베이스는 인체 특징데이터베이스이고, 다차원 정보 중 인체 특징 정보를 인체 특징 데이터베이스와 매칭하여, 인체 특징 정보와 매칭되는 복수의 제2 타깃 이미지를 획득한다. 또는 일 실시예에서, 다차원 정보 중 연관 특징 정보가 차량 특징 정보이면, 제2 데이터베이스는 차량 특징데이터베이스이고, 다차원 정보 중 차량 특징 정보를 차량 특징 데이터베이스와 매칭하여, 차량 특징 정보와 매칭되는 복수의 제2 타깃 이미지를 획득한다.
단계 S56에서, 제1 타깃 이미지 및 제2 타깃 이미지를 검출될 픽쳐의 검색 결과로 결정한다.
구체적으로, 검출하여 획득한 제1 타깃 이미지 및 제2 타깃 이미지는 검출될 픽쳐에 대응되는 검색 결과이다. 일 실시예에서, 제1 타깃 이미지와 제2 타깃 이미지를 통합하면, 제1 타깃 이미지와 제2 타깃 이미지 중 촬영 지점 및 촬영 반경 방향에 따라 타깃 특징 정보 및/또는 연관 특징 정보에 대응되는 이동 궤적을 획득할 수 있다. 구체적으로, 본 해결수단은 범죄 수사에서 용의자 또는 타깃 인물의 도망 노선을 수색하는데 사용될 수 있다. 용의자 수색 및 타깃 인물의 추적을 수행하는 경우, 본 실시예의 다차원 정보 통합 방법을 사용하여 작업자의 노동력을 크게 줄여 작업 효율을 향상시킬 수 있다.
구체적으로, 제1 타깃 이미지 및 제2 타깃 이미지를 검출될 픽쳐의 검색 결과 픽쳐로 결정한 후, 또한 검색 결과 픽쳐에 따라 검색 결과 픽쳐에 대응되는 다른 픽쳐를 찾을 수 있다. 구체적으로, 도 6을 참조하면, 본 발명의 픽쳐 기반의 다차원 정보 통합 방법의 제3 실시예의 흐름 모식도이고, 본 실시형태의 단계 S61 내지 단계 S66은 도 5의 단계 S51 내지 단계 S56과 동일하며, 제2 실시형태와의 구별되는 점은 단계 S56 이후에 하기와 같은 단계를 포함하는 것이다.
단계 S67에서, 얼굴 특징에 대응되는 타깃 얼굴 픽쳐, 인체 특징에 대응되는 타깃 인체 픽쳐 및/또는 차량 특징에 대응되는 타깃 차량 픽쳐를 각각 획득한다.
구체적으로, 얼굴 특징에 따라 상기 얼굴 특징을 가진 타깃 얼굴 픽쳐를 획득할 수 있으며, 여기서 상기 타깃 얼굴 픽쳐는 얼굴 특징, 인체 특징 및 차량 특징을 포함할 수 있다. 또한 인체 특징에 따라 상기 인체 특징을 가진 타깃 인체 픽쳐를 획득할 수 있으며, 상기 타깃 인체 픽쳐는 얼굴 특징, 인체 특징 및 차량 특징을 포함할 수 있다. 또한 차량 특징에 따라 상기 차량 특징을 가진 타깃 차량 픽쳐를 획득할 수 있으며, 상기 타깃 차량 픽쳐는 얼굴 특징, 인체 특징 및 차량 특징을 포함할 수 있다.
단계 S68에서, 타깃 얼굴 픽쳐와 타깃 인체 픽쳐가 동일한 제1 타깃 이미지에 대응하고 기설정 공간 관계를 갖는 경우, 검색 결과 픽쳐 중 타깃 얼굴 픽쳐와 타깃 인체 픽쳐를 연관시키고; 타깃 얼굴 픽쳐와 타깃 차량 픽쳐가 동일한 제1 타깃 픽쳐에 대응하고 기설정 공간 관계를 갖는 경우, 검색 결과 픽쳐 중 타깃 얼굴 픽쳐와 타깃 차량 픽쳐를 연관시키며; 타깃 인체 픽쳐와 타깃 차량 픽쳐가 동일한 제1 타깃 픽쳐에 대응하고 기설정 공간 관계를 갖는 경우, 검색 결과 픽쳐 중 타깃 인체 픽쳐와 타깃 차량 픽쳐를 연관시킨다.
구체적으로, 제1 타깃 이미지(얼굴 및 인체를 포함할 수 있음)를 획득하고, 제1 타깃 이미지는 타깃 얼굴 픽쳐와 타깃 인체 픽쳐를 포함할 수 있으며, 제2 타깃 이미지를 획득하고, 제1 타깃 이미지의 커버리지가 제2 타깃 이미지의 커버리지를 포함하거나, 제1 타깃 픽쳐의 이미지 커버리지가 제2 타깃 픽쳐의 이미지 커버리지와 부분적으로 중첩되거나, 제1 타깃 픽쳐의 이미지 커버리지가 제2 타깃 픽쳐의 이미지 커버리지와 연결되면, 검색 결과 픽쳐 중 타깃 얼굴 픽쳐와 타깃 인체 픽쳐를 연관시킨다. 이때 제1 타깃 이미지에 얼굴 픽쳐만 나타나고, 제2 타깃 이미지에 인체 픽쳐만 나타나면, 타깃 얼굴 픽쳐와 타깃 인체 픽쳐를 연관시켜 완전한 연관 이미지를 획득할 수 있으며, 이와 같은 방식으로 얼굴을 통해 인체를 찾거나 인체를 통해 얼굴을 찾을 수 있다.
제1 타깃 이미지(얼굴 및 차량을 포함할 수 있음)를 획득하고, 제1 타깃 이미지는 타깃 얼굴 픽쳐와 타깃 차량 픽쳐를 포함할 수 있으며, 제2 타깃 이미지를 획득하고, 제1 타깃 이미지의 커버리지가 제2 타깃 이미지의 커버리지를 포함하거나, 제1 타깃 픽쳐의 이미지 커버리지가 제2 타깃 픽쳐의 이미지 커버리지와 부분적으로 중첩되거나, 제1 타깃 픽쳐의 이미지 커버리지가 제2 타깃 픽쳐의 이미지 커버리지와 연결되면, 검색 결과 픽쳐 중 타깃 얼굴 픽쳐와 타깃 차량 픽쳐를 연관시킨다. 이때 제1 타깃 이미지에 얼굴 픽쳐만 나타나고, 제2 타깃 이미지에 차량 픽쳐만 나타나면, 타깃 얼굴 픽쳐와 타깃 차량 픽쳐를 연관시켜 완전한 연관 이미지를 획득할 수 있으며, 이와 같은 방식으로 얼굴을 통해 차량을 찾거나 차량을 통해 얼굴을 찾을 수 있다.
제1 타깃 이미지(인체 및 차량을 포함할 수 있음)를 획득하고, 제1 타깃 이미지는 타깃 인체 픽쳐와 타깃 차량 픽쳐를 포함할 수 있으며, 제2 타깃 이미지를 획득하고, 제1 타깃 이미지의 커버리지가 제2 타깃 이미지의 커버리지를 포함하거나, 제1 타깃 픽쳐의 이미지 커버리지가 제2 타깃 픽쳐의 이미지 커버리지와 부분적으로 중첩되거나, 제1 타깃 픽쳐의 이미지 커버리지가 제2 타깃 픽쳐의 이미지 커버리지와 연결되면, 검색 결과 픽쳐 중 타깃 인체 픽쳐와 타깃 차량 픽쳐를 연관시킨다. 이때 제1 타깃 이미지에 인체 픽쳐만 나타나고, 제2 타깃 이미지에 차량 픽쳐만 나타나면, 타깃 인체 픽쳐와 타깃 차량 픽쳐를 연관시켜 완전한 연관 이미지를 획득할 수 있으며, 이와 같은 방식으로 인체를 통해 차량을 찾거나 차량을 통해 인체를 찾을 수 있다.
본 실시예에 따른 방법은, 얼굴, 인체 및 차량 사이의 기설정 공간 관계를 통해, 차량을 통해 인체를 찾고, 인체를 통해 차량을 찾거나, 얼굴을 통해 인체를 찾고, 인체를 통해 얼굴을 찾거나, 차량을 통해 얼굴을 찾고, 얼굴을 통해 인체를 찾을 수 있다. 실제 응용에서, 추적 타깃의 얼굴, 인체 및 차량 중 하나의 특징만 가지면, 추적 타깃의 다차원 정보를 획득할 수 있으며, 따라서 자동 연관의 구현을 전제로, 본 해결수단의 실행 가능성을 더 향상시키고, 작업 효율을 향상시킨다.
도 7을 참조하면, 본 발명의 픽쳐 기반의 다차원 정보 통합 장치의 제1 실시예의 구조 모식도이고, 여기서, 상기 다차원 정보 통합 장치는 이상 임의의 실시예에서의 픽쳐 기반의 다차원 정보 통합 방법을 수행하거나 구현하는데 사용될 수 있다. 상기 다차원 정보 통합 장치는 획득 모듈(71), 특징 추출 모듈(72) 및 특징 연관 모듈(73)을 포함한다.
여기서, 획득 모듈(71)은, 검출될 픽쳐를 획득한다. 특징 추출 모듈(72)은, 검출될 픽쳐를 검출하고 검출될 픽쳐 중 복수의 특징 정보를 추출한다. 특징 연관 모듈(73)은, 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하고, 타깃 특징 정보 및 연관 특징 정보를 연관시켜 하나의 다차원 정보를 생성하되, 여기서, 다차원 정보는 복수의 연관된 특징 정보를 포함한다.
본 발명에 따른 픽쳐 기반의 다차원 정보 통합 기기는 복수의 특징 정보의 자동 추출 및 복수의 특징 정보의 자동 연관 통합을 구현할 수 있고, 실제 응용에서 인력을 줄여 작업 효율을 향사시킬 수 있다.
일부 실시예에서, 상기 검출될 픽쳐는 하나의 검출될 픽쳐 또는 복수의 검출될 픽쳐이다. 특징 추출 모듈(72)은, 하나의 검출될 픽쳐 또는 복수의 검출될 픽쳐를 검출하고, 하나의 검출될 픽쳐 또는 복수의 검출될 픽쳐로부터 복수의 특징 정보를 추출한다.
일부 실시예에서, 상기 특징 연관 모듈(73)은 또한, 검출될 픽쳐 중 질량 분율이 가장 높은 타깃 얼굴에 대응되는 타깃 얼굴 특징 정보를 선택하여 타깃 특징 정보로 사용하고, 타깃 얼굴 특징 정보에 대응되는 타깃 인체 특징 정보 및/또는 타깃 얼굴의 중심점과의 거리가 가장 가까운 차량에 대응되는 타깃 차량 특징 정보를 선택하여 연관 특징 정보로 사용하며; 타깃 특징 정보 및 연관 특징 정보를 연관시켜, 다차원 정보를 생성하되, 여기서, 다차원 정보는 타깃 얼굴 특징 정보, 타깃 인체 특징 정보 및 타깃 차량 특징 정보 중 적어도 2가지 상이한 타입의 특징 정보를 포함한다.
일부 실시예에서, 상기 특징 연관 모듈(73)은 또한, 제어 명령을 수신하고, 제어 명령에 기반하여 복수의 특징 정보로부터 타깃 특징 정보를 선택하되, 여기서, 타깃 특징 정보는 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보 중 어느 하나이고; 선택된 타깃 특징 정보에 따라 타깃 특징 정보와 매칭되는 연관 특징 정보를 선택하되, 여기서, 연관 특징 정보는 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보 중 타깃 특징 정보를 제외한 다른 2가지 타입 정보 중 적어도 하나이며; 타깃 특징 정보 및 연관 특징 정보를 연관시켜, 다차원 정보를 생성한다.
일부 실시예에서, 선택된 타깃 특징 정보가 얼굴 특징 정보 타입의 타깃 얼굴 특징 정보인 경우, 특징 연관 모듈(73)은 또한, 선택된 타깃 얼굴 특징 정보에 따라, 타깃 얼굴 특징 정보에 대응되는 인체 특징 정보 및/또는 타깃 얼굴 특징 정보에 대응되는 인체 특징 정보 및/또는 타깃 얼굴 특징 정보 연관 얼굴의 중심점과의 거리가 가장 가까운 차량에 대응되는 타깃 차량 특징 정보를 자동으로 선택하여 연관 특징 정보로 사용한다.
또는, 일부 실시예에서, 선택된 타깃 특징 정보가 인체 특징 정보 타입의 타깃 인체 특징 정보인 경우, 특징 연관 모듈(73)은 또한, 선택된 타깃 인체 특징 정보에 따라, 타깃 인체 특징 정보에 대응되는 타깃 얼굴 특징 정보 및/또는 타깃 인체 특징 정보 연관 인체의 중심점과의 거리가 가장 가까운 차량에 대응되는 타깃 차량 특징 정보를 자동 선택하여 연관 특징 정보로 사용한다.
또는, 일부 실시예에서, 선택된 타깃 특징 정보가 차량 특징 정보 타입의 타깃 차량 특징 정보인 경우, 특징 연관 모듈(73)은 또한, 선택된 타깃 차량 특징 정보에 따라, 타깃 차량 특징 정보의 중심점과의 거리가 가장 가까운 얼굴에 대응되는 타깃 얼굴 특징 정보 및/또는 타깃 얼굴 특징 정보에 대응되는 타깃 인체 특징 정보를 자동으로 선택하여 연관 특징 정보로 사용한다.
일부 실시예에서, 특징 연관 모듈(73)은, 제어 명령을 수신하고, 제어 명령에 기반하여 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하되, 여기서, 선택된 타깃 특징 정보 및 선택된 연관 특징 정보는 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보 중 적어도 2가지 상이한 타입의 특징 정보를 포함하고; 타깃 특징 정보 및 연관 특징 정보를 연관시켜, 다차원 정보를 생성한다.
도 8을 참조하면, 본 발명의 픽쳐 기반의 다차원 정보 통합 장치의 제1 실시예의 다른 구조 모식도이다. 상기 다차원 정보 통합 장치는 획득 모듈(71), 특징 추출 모듈(72) 및 특징 연관 모듈(73)을 포함한다. 여기서, 획득 모듈(71), 특징 추출 모듈(72) 및 특징 연관 모듈(73)의 세부 사항은 상술한 설명을 참조할 수 있으며, 여기서 더이상 서술하지 않는다. 이 밖에, 상기 정보 통합 장치는 제1 획득 모듈(701), 제2 획득 모듈(702) 및 결정 모듈(703)을 더 포함한다.
여기서, 제1 획득 모듈(701)은, 다차원 정보 중 타깃 특징 정보에 기반하여, 제1 데이터베이스로부터 제1 타깃 이미지를 검색하여 획득한다. 제2 획득 모듈(702)은, 다차원 정보 중 연관 특징 정보에 기반하여 제2 데이터베이스로부터 제2 타깃 이미지를 검색하여 획득한다. 결정 모듈(703)은 제1 타깃 이미지 및 제2 타깃 이미지를 검출될 픽쳐의 검색 결과 픽쳐로 결정한다.
일부 실시예에서, 본 발명의 픽쳐 기반의 다차원 정보 통합 장치는, 제3 획득 모듈(704) 및 픽쳐 연관 모듈(705)을 더 포함한다. 여기서, 제3 획득 모듈(704)은, 제1 타깃 이미지 및 제2 타깃 이미지를 검출될 픽쳐의 검색 결과 픽쳐로 결정한 후, 얼굴 특징에 대응되는 타깃 얼굴 픽쳐, 인체 특징에 대응되는 타깃 인체 픽쳐 및/또는 차량 특징에 대응되는 타깃 차량 픽쳐를 각각 획득한다. 픽쳐 연관 모듈(705)은, 타깃 얼굴 픽쳐와 타깃 인체 픽쳐가 동일한 제1 타깃 이미지에 대응하고 기설정 공간 관계를 갖는 경우, 검색 결과 픽쳐 중 타깃 얼굴 픽쳐와 타깃 인체 픽쳐를 연관시키고; 타깃 얼굴 픽쳐와 타깃 차량 픽쳐가 동일한 제1 타깃 픽쳐에 대응하고 기설정 공간 관계를 갖는 경우, 검색 결과 픽쳐 중 타깃 얼굴 픽쳐와 타깃 차량 픽쳐를 연관시키며; 타깃 인체 픽쳐와 타깃 차량 픽쳐가 동일한 제1 타깃 픽쳐에 대응하고 기설정 공간 관계를 갖는 경우, 검색 결과 픽쳐 중 타깃 인체 픽쳐와 타깃 차량 픽쳐를 연관시킨다.
일부 실시예에서, 기설정 공간 관계는, 제1 타깃 픽쳐의 이미지 커버리지가 제2 타깃 픽쳐의 이미지 커버리지를 포함하는 경우; 제1 타깃 픽쳐의 이미지 커버리지가 제2 타깃 픽쳐의 이미지 커버리지와 부분적으로 중첩되는 경우; 및 제1 타깃 픽쳐의 이미지 커버리지가 제2 타깃 픽쳐의 이미지 커버리지와 연결되는 경우 중 적어도 하나를 포함하되; 여기서, 제1 타깃 픽쳐는 타깃 얼굴 픽쳐, 타깃 인체 픽쳐 및 타깃 차량 픽쳐 중 어느 하나 또는 하나 이상을 포함하고, 제2 타깃 픽쳐는 타깃 얼굴 픽쳐, 타깃 인체 픽쳐 및 타깃 차량 픽쳐 중 어느 하나 또는 하나 이상을 포함한다.
도 9를 참조하면, 본 발명의 픽쳐 기반의 다차원 정보 통합 기기의 제2 실시예의 구조 모식도이다. 픽쳐 기반의 다차원 정보 통합 기기는 서로 연결되는 메모리(82) 및 프로세서(83)를 포함한다.
메모리(82)는 상기 임의의 하나의 픽쳐 기반의 다차원 정보 통합 방법을 구현하는 프로그램 명령을 저장한다.
프로세서(83)는 메모리(82)에 저장된 프로그램 명령을 실행한다.
여기서, 프로세서(83)는 또한 CPU(Central Processing Unit, 중앙 처리 유닛)로 지칭될 수 있다. 프로세서(83)는 신호의 처리 기능을 가진 집적 회로 칩일 수 있다. 프로세서(83)는 또한 범용 프로세서, 디지털 신호 프로세서(DSP), 전용 집적 회로(ASIC), 현장 프로그램 가능 게이트 어레이(FPGA) 또는 다른 프로그램 가능 논리 소자, 개별 게이트 또는 트랜지스터 논리 소자, 개별 하드웨어 컴포넌트일 수 있다. 프로세서(83)는 또한 디스플레이 코어, 시각 프로세서 및 디스플레이 칩으로도 알려진 GPU(Graphics Processing Unit, 그래픽 처리 장치)일 수 있으며, 개인용 컴퓨터, 워크 스테이션, 게임 콘솔 및 일부 모바일 기기(태블릿 컴퓨터, 스마트 폰 등)에서 이미지 연산 작업을 전문으로 하는 마이크로 프로세서이다. GPU의 목적은 컴퓨터 시스템에 필요한 디스플레이 정보를 변환 및 구동하고 디스플레이 장치에 라인 스캔 신호를 제공하여 디스플레이 장치의 정확한 디스플레이를 제어하는 것으로, 디스플레이 장치와 개인용 컴퓨터 마더 보드를 연결하는 중요한 소자이자, “인간-기계 대화”의 중요한 기기 중 하나이기도 한다. 컴퓨터 호스트의 중요한 조성 부분인 그래픽 카드는 그래픽을 출력하고 디스플레이하는 태스크를 담당하며 그래픽 카드는 전문 그래픽 디자인에 종사하는 사람들에게 매우 중요하다. 범용 프로세서는 마이크로 프로세서이거나 상기 프로세서는 임의의 통상적인 프로세서 등일 수도 있다.
메모리(82)는 메모리 스틱, TF 카드 등일 수 있으며, 입력된 초기 데이터, 컴퓨터 프로그램, 중간 실행 결과 및 최종 실행 결과를 포함한 픽쳐 기반의 다차원 정보 통합 기기 중 모든 정보를 메모리에 저장할 수 있다. 컨트롤러에 의해 지정된 위치에 따라 정보를 액세스하고 추출한다. 메모리가 있어야만 픽쳐 기반의 다차원 정보 통합 기기는 메모리 기능이 있어, 정상적인 작동을 보장할 수 있다. 픽쳐 기반의 다차원 정보 통합 기기 중 메모리는 용도에 따라 메인 메모리(내부 기억 장치) 및 보조 메모리(외부 기억 장치)로 나눌 수 있으며, 외부 메모리와 내부 메모리로 나누는 분류 방법도 있다. 외부 기억 장치는 일반적으로 정보를 장기간 보존할 수 있는 자기 매체 또는 광 디스크 등이다. 내부 기억 장치는 마더 보드의 저장 부재를 의미하며, 현재 실행중인 데이터와 프로그램을 저장하는데 사용되지만, 프로그램과 데이터를 일시적으로 저장하는데만 사용되고, 전원을 끄거나 차단되면 데이터는 손실된다.
본 발명에서 제공된 복수의 실시예에서, 개시된 방법 및 기기는 다른 방식으로 구현될 수 있음을 이해해야 할 것이다. 예를 들면, 이상 설명된 기기 실시형태는 단지 예시적인 것이고, 예를 들면 모듈 또는 유닛의 구획은 단지 논리적 기능 구획일 뿐이고 실제 구현 시 다른 구획 방식이 있을 수 있으며, 예를 들면 복수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 결합 또는 통합될 수 있거나, 일부 특징은 생략되거나 실행되지 않을 수 있다. 또한, 표시되거나 토론된 서로 간의 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스를 통한 것일 수 있고, 기기 또는 유닛의 간접 커플링 또는 통신 연결은 전기적, 기계적 또는 다른 형태일 수 있다.
분리 부재로 설명된 유닛은 물리적으로 분리되거나 분리되지 않은 것일 수 있고, 유닛으로 표시된 부재는 물리적 유닛이거나, 물리적 유닛이 아닐 수 있으며, 하나의 장소에 위치하거나, 복수의 네트워크 유닛에 분포될 수 있다. 실제 수요에 따라 그중의 일부 또는 전부 유닛을 선택하여 본 실시형태의 해결수단의 목적을 구현할 수 있다.
이 밖에, 본 발명의 각각의 실시예에서 각 기능 유닛은 하나의 처리 유닛에 통합되거나 또는 각각의 유닛이 물리적으로 단독으로 존재할 수도 있고, 2개 또는 2개 이상의 유닛이 하나의 유닛에 통합될 수도 있다. 상기 통합된 유닛은 하드웨어의 형태로 구현될 수 있고, 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.
집적된 유닛이 만약 소프트웨어 기능 유닛의 형태로 구현되고 별도의 제품으로 판매되거나 사용될 경우, 컴퓨터에 의해 판독 가능한 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기반해보면, 본 발명의 기술적 해결수단은 본질적으로 또는 선행기술에 기여하는 부분 또는 상기 기술적 해결수단의 전부 또는 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 컴퓨터 판독 가능 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 시스템 서버, 또는 네트워크 기기 등일 수 있음) 또는 프로세서(processor)가 본 발명의 각 실시형태 방법의 전부 또는 부분적 단계를 수행하도록 하는 복수의 명령을 포함한다.
도 10을 참조하면, 본 발명의 컴퓨터 판독 가능 저장 매체의 구조 모식도이다. 본 발명의 컴퓨터 판독 가능 저장 매체에는 상기 모든 픽쳐 기반의 다차원 정보 통합 방법을 구현할 수 있는 프로그램 파일(91)이 저장되되, 여기서, 상기 프로그램 파일(91)은 소프트웨어 제품의 형태로 상기 컴퓨터 판독 가능 저장 매체에 저장될 수 있고, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버, 또는 네트워크 기기 등일 수 있음) 또는 프로세서(processor)가 본 발명의 각 실시형태 방법의 전부 또는 부분적 단계를 수행하도록 하는 복수의 명령을 포함한다. 전술한 저장 기기는 U 디스크, 이동식 하드 디스크, 판독 전용 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리(RAM, Random Access Memory), 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함하거나, 컴퓨터, 서버, 휴대폰, 태블릿 PC 등 단말 기기이다.
이상의 설명은 단지 본 발명의 실시형태에 불과한 것으로서, 본 발명의 보호 범위는 이에 한정되지 않으며, 본 발명의 명세서 및 도면의 내용으로 이루어진 등가 구조 또는 등가 흐름 변환, 또는 직접 또는 간접적인 적용은 다른 관련 기술 분야에서 모두 마찬가지로 본 발명의 특허 보호 범위 내에 포함된다.
Claims (23)
- 픽쳐 기반의 다차원 정보 통합 방법으로서,
검출될 픽쳐를 획득하는 단계;
상기 검출될 픽쳐를 검출하고 상기 검출될 픽쳐 중 복수의 특징 정보를 추출하는 단계; 및
상기 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하고, 상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜 하나의 다차원 정보를 생성하는 단계를 포함하되, 상기 다차원 정보는 복수의 연관된 특징 정보를 포함하는 픽쳐 기반의 다차원 정보 통합 방법. - 제1항에 있어서,
추출된 상기 복수의 특징 정보는 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보 중 적어도 2가지 상이한 타입의 특징 정보를 포함하는 픽쳐 기반의 다차원 정보 통합 방법. - 제2항에 있어서,
상기 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하고, 상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜 하나의 다차원 정보를 생성하는 단계 이후에, 상기 방법은,
상기 다차원 정보 중 상기 타깃 특징 정보에 기반하여 제1 데이터베이스로부터 제1 타깃 이미지를 검색하여 획득하는 단계;
상기 다차원 정보 중 상기 연관 특징 정보에 기반하여 제2 데이터베이스로부터 제2 타깃 이미지를 검색하여 획득하는 단계; 및
상기 제1 타깃 이미지 및 상기 제2 타깃 이미지를 상기 검출될 픽쳐의 검색 결과 픽쳐로 결정하는 단계를 더 포함하는 픽쳐 기반의 다차원 정보 통합 방법. - 제1항에 있어서,
상기 검출될 픽쳐는 하나의 검출될 픽쳐 또는 복수의 검출될 픽쳐이고;
상기 검출될 픽쳐를 검출하고 상기 검출될 픽쳐 중 복수의 특징 정보를 추출하는 단계는,
상기 하나의 검출될 픽쳐 또는 상기 복수의 검출될 픽쳐를 검출하고, 상기 하나의 검출될 픽쳐 또는 상기 복수의 검출될 픽쳐로부터 상기 복수의 특징 정보를 추출하는 단계를 포함하는 픽쳐 기반의 다차원 정보 통합 방법. - 제3항에 있어서,
상기 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하고, 상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜 하나의 다차원 정보를 생성하는 단계는,
상기 검출될 픽쳐 중 질량 분율이 가장 높은 타깃 얼굴에 대응되는 타깃 얼굴 특징 정보를 선택하여 타깃 특징 정보로 사용하고, 상기 타깃 얼굴 특징 정보에 대응되는 타깃 인체 특징 정보 및 상기 타깃 얼굴의 중심점과의 거리가 가장 가까운 차량에 대응되는 타깃 차량 특징 정보 중 적어도 하나를 선택하여 연관 특징 정보로 사용하는 단계; 및
상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜, 상기 다차원 정보를 생성하는 단계를 포함하되,
상기 다차원 정보는 상기 타깃 얼굴 특징 정보, 상기 타깃 인체 특징 정보 및 상기 타깃 차량 특징 정보 중 적어도 2가지 상이한 타입의 특징 정보를 포함하는 픽쳐 기반의 다차원 정보 통합 방법. - 제3항에 있어서,
상기 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하고, 상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜 하나의 다차원 정보를 생성하는 단계는,
제어 명령을 수신하고, 상기 제어 명령에 기반하여 상기 복수의 특징 정보로부터 상기 타깃 특징 정보를 선택하는 단계 - 상기 타깃 특징 정보는 상기 얼굴 특징 정보, 상기 인체 특징 정보 및 상기 차량 특징 정보 중 어느 하나임 - ;
선택된 상기 타깃 특징 정보에 따라 상기 타깃 특징 정보와 매칭되는 상기 연관 특징 정보를 선택하는 단계 - 상기 연관 특징 정보는 상기 얼굴 특징 정보, 상기 인체 특징 정보 및 상기 차량 특징 정보 중 상기 타깃 특징 정보를 제외한 다른 2가지 타입 정보 중 적어도 하나임 - ; 및
상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜, 상기 다차원 정보를 생성하는 단계를 포함하는 픽쳐 기반의 다차원 정보 통합 방법. - 제3항 내지 제6항 중 어느 한 항에 있어서,
선택된 상기 타깃 특징 정보가 상기 얼굴 특징 정보 타입의 타깃 얼굴 특징 정보인 경우, 선택된 상기 타깃 특징 정보에 따라 상기 타깃 특징 정보와 매칭되는 상기 연관 특징 정보를 선택하는 단계는,
선택된 상기 타깃 얼굴 특징 정보에 따라, 상기 타깃 얼굴 특징 정보에 대응되는 인체 특징 정보 및 상기 타깃 얼굴 특징 정보 연관 얼굴의 중심점과의 거리가 가장 가까운 차량에 대응되는 타깃 차량 특징 정보 중 적어도 하나를 자동으로 선택하여 상기 연관 특징 정보로 사용하는 단계를 포함하거나; 또는
선택된 상기 타깃 특징 정보가 상기 인체 특징 정보 타입의 타깃 인체 특징 정보인 경우, 선택된 상기 타깃 특징 정보에 따라 상기 타깃 특징 정보와 매칭되는 상기 연관 특징 정보를 선택하는 단계는,
선택된 상기 타깃 인체 특징 정보에 따라, 상기 타깃 인체 특징 정보에 대응되는 타깃 얼굴 특징 정보 및 상기 타깃 인체 특징 정보 연관 인체의 중심점과의 거리가 가장 가까운 차량에 대응되는 타깃 차량 특징 정보 중 적어도 하나를 자동으로 선택하여 상기 연관 특징 정보로 사용하는 단계를 포함하거나; 또는
선택된 상기 타깃 특징 정보가 상기 차량 특징 정보 타입의 타깃 차량 특징 정보인 경우, 선택된 상기 타깃 특징 정보에 따라 상기 타깃 특징 정보와 매칭되는 상기 연관 특징 정보를 선택하는 단계는,
선택된 상기 타깃 차량 특징 정보에 따라, 상기 타깃 차량 특징 정보의 중심점과의 거리가 가장 가까운 얼굴에 대응되는 타깃 얼굴 특징 정보 및 상기 타깃 얼굴 특징 정보에 대응되는 타깃 인체 특징 정보 중 적어도 하나를 자동으로 선택하여 상기 연관 특징 정보로 사용하는 단계를 포함하는 픽쳐 기반의 다차원 정보 통합 방법. - 제3항에 있어서,
상기 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하고, 상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜 하나의 다차원 정보를 생성하는 단계는,
제어 명령을 수신하고, 상기 제어 명령에 기반하여 상기 복수의 특징 정보로부터 상기 타깃 특징 정보 및 상기 연관 특징 정보를 선택하는 단계 - 선택된 상기 타깃 특징 정보 및 선택된 상기 연관 특징 정보는 상기 얼굴 특징 정보, 상기 인체 특징 정보 및 상기 차량 특징 정보 중 적어도 2가지 상이한 타입의 특징 정보를 포함함 - ; 및
상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜, 상기 다차원 정보를 생성하는 단계를 포함하는 픽쳐 기반의 다차원 정보 통합 방법. - 제3항에 있어서,
상기 제1 타깃 이미지 및 상기 제2 타깃 이미지를 상기 검출될 픽쳐의 검색 결과 픽쳐로 결정하는 단계 이후에, 상기 방법은,
상기 얼굴 특징에 대응되는 타깃 얼굴 픽쳐, 상기 인체 특징에 대응되는 타깃 인체 픽쳐 및 상기 차량 특징에 대응되는 타깃 차량 픽쳐 중 적어도 하나를 각각 획득하는 단계; 및
상기 타깃 얼굴 픽쳐와 상기 타깃 인체 픽쳐가 동일한 제1 타깃 이미지에 대응하고 기설정 공간 관계를 갖는 경우, 상기 검색 결과 픽쳐 중 상기 타깃 얼굴 픽쳐와 상기 타깃 인체 픽쳐를 연관시키고; 상기 타깃 얼굴 픽쳐와 상기 타깃 차량 픽쳐가 동일한 제1 타깃 픽쳐에 대응하고 기설정 공간 관계를 갖는 경우, 상기 검색 결과 픽쳐 중 상기 타깃 얼굴 픽쳐와 상기 타깃 차량 픽쳐를 연관시키며; 상기 타깃 인체 픽쳐와 상기 타깃 차량 픽쳐가 동일한 제1 타깃 픽쳐에 대응하고 기설정 공간 관계를 갖는 경우, 상기 검색 결과 픽쳐 중 상기 타깃 인체 픽쳐와 상기 타깃 차량 픽쳐를 연관시키는 단계를 더 포함하는 픽쳐 기반의 다차원 정보 통합 방법. - 제9항에 있어서,
상기 기설정 공간 관계는,
상기 제1 타깃 픽쳐의 이미지 커버리지가 상기 제2 타깃 픽쳐의 이미지 커버리지를 포함하는 경우;
상기 제1 타깃 픽쳐의 이미지 커버리지가 상기 제2 타깃 픽쳐의 이미지 커버리지와 부분적으로 중첩되는 경우; 및
상기 제1 타깃 픽쳐의 이미지 커버리지가 상기 제2 타깃 픽쳐의 이미지 커버리지와 연결되는 경우 중 적어도 하나를 포함하고,
상기 제1 타깃 픽쳐는 상기 타깃 얼굴 픽쳐, 상기 타깃 인체 픽쳐 및 상기 타깃 차량 픽쳐 중 어느 하나 또는 하나 이상을 포함하며, 상기 제2 타깃 픽쳐는 상기 타깃 얼굴 픽쳐, 상기 타깃 인체 픽쳐 및 상기 타깃 차량 픽쳐 중 어느 하나 또는 하나 이상을 포함하는 픽쳐 기반의 다차원 정보 통합 방법. - 픽쳐 기반의 다차원 정보 통합 장치로서,
검출될 픽쳐를 획득하는 획득 모듈;
상기 검출될 픽쳐를 검출하고 상기 검출될 픽쳐 중 복수의 특징 정보를 추출하는 특징 추출 모듈; 및
상기 복수의 특징 정보로부터 타깃 특징 정보 및 연관 특징 정보를 선택하고, 상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜 하나의 다차원 정보를 생성하는 특징 연관 모듈을 포함하되, 상기 다차원 정보는 복수의 연관된 특징 정보를 포함하는 픽쳐 기반의 다차원 정보 통합 장치. - 제11항에 있어서,
추출된 상기 복수의 특징 정보는 얼굴 특징 정보, 인체 특징 정보 및 차량 특징 정보 중 적어도 2가지 상이한 타입의 특징 정보를 포함하는 픽쳐 기반의 다차원 정보 통합 장치. - 제12항에 있어서,
상기 다차원 정보 중 상기 타깃 특징 정보에 기반하여 제1 데이터베이스로부터 제1 타깃 이미지를 검색하여 획득하는 제1 획득 모듈;
상기 다차원 정보 중 상기 연관 특징 정보에 기반하여 제2 데이터베이스로부터 제2 타깃 이미지를 검색하여 획득하는 제2 획득 모듈; 및
상기 제1 타깃 이미지 및 상기 제2 타깃 이미지를 상기 검출될 픽쳐의 검색 결과 픽쳐로 결정하는 결정 모듈을 더 포함하는 픽쳐 기반의 다차원 정보 통합 장치. - 제11항에 있어서,
상기 검출될 픽쳐는 하나의 검출될 픽쳐 또는 복수의 검출될 픽쳐이고;
상기 특징 추출 모듈은,
상기 하나의 검출될 픽쳐 또는 상기 복수의 검출될 픽쳐를 검출하고, 상기 하나의 검출될 픽쳐 또는 상기 복수의 검출될 픽쳐로부터 상기 복수의 특징 정보를 추출하는 픽쳐 기반의 다차원 정보 통합 장치. - 제13항에 있어서,
상기 특징 연관 모듈은,
상기 검출될 픽쳐 중 질량 분율이 가장 높은 타깃 얼굴에 대응되는 타깃 얼굴 특징 정보를 선택하여 타깃 특징 정보로 사용하고, 상기 타깃 얼굴 특징 정보에 대응되는 타깃 인체 특징 정보 및 상기 타깃 얼굴의 중심점과의 거리가 가장 가까운 차량에 대응되는 타깃 차량 특징 정보 중 적어도 하나를 선택하여 연관 특징 정보로 사용하며;
상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜, 상기 다차원 정보를 생성하되, 상기 다차원 정보는 상기 타깃 얼굴 특징 정보, 상기 타깃 인체 특징 정보 및 상기 타깃 차량 특징 정보 중 적어도 2가지 상이한 타입의 특징 정보를 포함하는 픽쳐 기반의 다차원 정보 통합 장치. - 제13항에 있어서,
상기 특징 연관 모듈은,
제어 명령을 수신하고, 상기 제어 명령에 기반하여 상기 복수의 특징 정보로부터 상기 타깃 특징 정보를 선택하되, 상기 타깃 특징 정보는 상기 얼굴 특징 정보, 상기 인체 특징 정보 및 상기 차량 특징 정보 중 어느 하나이며;
선택된 상기 타깃 특징 정보에 따라 상기 타깃 특징 정보와 매칭되는 상기 연관 특징 정보를 선택하되, 상기 연관 특징 정보는 상기 얼굴 특징 정보, 상기 인체 특징 정보 및 상기 차량 특징 정보 중 상기 타깃 특징 정보를 제외한 다른 2가지 타입 정보 중 적어도 하나이고;
상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜, 상기 다차원 정보를 생성하는 픽쳐 기반의 다차원 정보 통합 장치. - 제13항 내지 제16항 중 어느 한 항에 있어서,
선택된 상기 타깃 특징 정보가 상기 얼굴 특징 정보 타입의 타깃 얼굴 특징 정보인 경우, 상기 특징 연관 모듈은 또한,
선택된 상기 타깃 얼굴 특징 정보에 따라, 상기 타깃 얼굴 특징 정보에 대응되는 인체 특징 정보 및 상기 타깃 얼굴 특징 정보 연관 얼굴의 중심점과의 거리가 가장 가까운 차량에 대응되는 타깃 차량 특징 정보 중 적어도 하나를 자동으로 선택하여 상기 연관 특징 정보로 사용하거나; 또는
선택된 상기 타깃 특징 정보가 상기 인체 특징 정보 타입의 타깃 인체 특징 정보인 경우, 상기 특징 연관 모듈은 또한,
선택된 상기 타깃 인체 특징 정보에 따라, 상기 타깃 인체 특징 정보에 대응되는 타깃 얼굴 특징 정보 및 상기 타깃 인체 특징 정보 연관 인체의 중심점과의 거리가 가장 가까운 차량에 대응되는 타깃 차량 특징 정보 중 적어도 하나를 자동으로 선택하여 상기 연관 특징 정보로 사용하거나; 또는
선택된 상기 타깃 특징 정보가 상기 차량 특징 정보 타입의 타깃 차량 특징 정보인 경우, 상기 특징 연관 모듈은 또한,
선택된 상기 타깃 차량 특징 정보에 따라, 상기 타깃 차량 특징 정보의 중심점과의 거리가 가장 가까운 얼굴에 대응되는 타깃 얼굴 특징 정보 및 상기 타깃 얼굴 특징 정보에 대응되는 타깃 인체 특징 정보 중 적어도 하나를 자동으로 선택하여 상기 연관 특징 정보로 사용하는 픽쳐 기반의 다차원 정보 통합 장치. - 제13항에 있어서,
상기 특징 연관 모듈은,
제어 명령을 수신하고, 상기 제어 명령에 기반하여 상기 복수의 특징 정보로부터 상기 타깃 특징 정보 및 상기 연관 특징 정보를 선택하되, 선택된 상기 타깃 특징 정보 및 선택된 상기 연관 특징 정보는 상기 얼굴 특징 정보, 상기 인체 특징 정보 및 상기 차량 특징 정보 중 적어도 2가지 상이한 타입의 특징 정보를 포함하고; 상기 타깃 특징 정보 및 상기 연관 특징 정보를 연관시켜, 상기 다차원 정보를 생성하는 픽쳐 기반의 다차원 정보 통합 장치. - 제13항에 있어서,
상기 제1 타깃 이미지 및 상기 제2 타깃 이미지를 상기 검출될 픽쳐의 검색 결과 픽쳐로 결정한 후, 상기 얼굴 특징에 대응되는 타깃 얼굴 픽쳐, 상기 인체 특징에 대응되는 타깃 인체 픽쳐 및 상기 차량 특징에 대응되는 타깃 차량 픽쳐 중 적어도 하나를 각각 획득하는 제3 획득 모듈; 및
상기 타깃 얼굴 픽쳐와 상기 타깃 인체 픽쳐가 동일한 제1 타깃 이미지에 대응하고 기설정 공간 관계를 갖는 경우, 상기 검색 결과 픽쳐 중 상기 타깃 얼굴 픽쳐와 상기 타깃 인체 픽쳐를 연관시키고; 상기 타깃 얼굴 픽쳐와 상기 타깃 차량 픽쳐가 동일한 제1 타깃 픽쳐에 대응하고 기설정 공간 관계를 갖는 경우, 상기 검색 결과 픽쳐 중 상기 타깃 얼굴 픽쳐와 상기 타깃 차량 픽쳐를 연관시키며; 상기 타깃 인체 픽쳐와 상기 타깃 차량 픽쳐가 동일한 제1 타깃 픽쳐에 대응하고 기설정 공간 관계를 갖는 경우, 상기 검색 결과 픽쳐 중 상기 타깃 인체 픽쳐와 상기 타깃 차량 픽쳐를 연관시키는 픽쳐 연관 모듈을 더 포함하는 픽쳐 기반의 다차원 정보 통합 장치. - 제19항에 있어서,
상기 기설정 공간 관계는,
상기 제1 타깃 픽쳐의 이미지 커버리지가 상기 제2 타깃 픽쳐의 이미지 커버리지를 포함하는 경우;
상기 제1 타깃 픽쳐의 이미지 커버리지가 상기 제2 타깃 픽쳐의 이미지 커버리지와 부분적으로 중첩되는 경우; 및
상기 제1 타깃 픽쳐의 이미지 커버리지가 상기 제2 타깃 픽쳐의 이미지 커버리지와 연결되는 경우 중 적어도 하나를 포함하고,
상기 제1 타깃 픽쳐는 상기 타깃 얼굴 픽쳐, 상기 타깃 인체 픽쳐 및 상기 타깃 차량 픽쳐 중 어느 하나 또는 하나 이상을 포함하며, 상기 제2 타깃 픽쳐는 상기 타깃 얼굴 픽쳐, 상기 타깃 인체 픽쳐 및 상기 타깃 차량 픽쳐 중 어느 하나 또는 하나 이상을 포함하는 픽쳐 기반의 다차원 정보 통합 장치. - 픽쳐 기반의 다차원 정보 통합 기기로서,
메모리 및 프로세서를 포함하되, 상기 메모리에는 프로그램 명령이 저장되고, 상기 프로세서는 상기 메모리로부터 상기 프로그램 명령을 호출하여 제1항 내지 제10항 중 어느 한 항에 따른 픽쳐 기반의 다차원 정보 통합 방법을 수행하는 픽쳐 기반의 다차원 정보 통합 기기. - 컴퓨터 판독 가능 저장 매체로서,
프로그램 파일이 저장되고,
상기 프로그램 파일은 실행되어 제1항 내지 제10항 중 어느 한 항에 따른 픽쳐 기반의 다차원 정보 통합 방법을 구현하는 컴퓨터 판독 가능 저장 매체. - 컴퓨터 프로그램 제품으로서,
상기 컴퓨터 프로그램 제품의 명령이 프로세서에 의해 실행될 경우, 제1항 내지 제10항 중 어느 한 항에 따른 픽쳐 기반의 다차원 정보 통합 방법을 수행하는 컴퓨터 프로그램 제품.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911402864.5A CN111177449B (zh) | 2019-12-30 | 2019-12-30 | 基于图片的多维信息整合方法及相关设备 |
| CN201911402864.5 | 2019-12-30 | ||
| PCT/CN2020/100268 WO2021135139A1 (zh) | 2019-12-30 | 2020-07-03 | 基于图片的多维信息整合方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220002626A true KR20220002626A (ko) | 2022-01-06 |
Family
ID=70654218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217039230A KR20220002626A (ko) | 2019-12-30 | 2020-07-03 | 픽쳐 기반의 다차원 정보 통합 방법 및 관련 기기 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20220084314A1 (ko) |
| JP (1) | JP2022534314A (ko) |
| KR (1) | KR20220002626A (ko) |
| CN (1) | CN111177449B (ko) |
| SG (1) | SG11202113294VA (ko) |
| TW (1) | TW202125284A (ko) |
| WO (1) | WO2021135139A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111177449B (zh) * | 2019-12-30 | 2021-11-05 | 深圳市商汤科技有限公司 | 基于图片的多维信息整合方法及相关设备 |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7016539B1 (en) * | 1998-07-13 | 2006-03-21 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
| US7382277B2 (en) * | 2003-02-12 | 2008-06-03 | Edward D. Ioli Trust | System for tracking suspicious vehicular activity |
| CN100375500C (zh) * | 2004-05-17 | 2008-03-12 | 精工爱普生株式会社 | 图像处理方法及图像处理装置 |
| JP2006260483A (ja) * | 2005-03-18 | 2006-09-28 | Toshiba Corp | 顔照合システム及び顔照合方法 |
| JP2007310646A (ja) * | 2006-05-18 | 2007-11-29 | Glory Ltd | 検索情報管理装置、検索情報管理プログラムおよび検索情報管理方法 |
| JP4862518B2 (ja) * | 2006-06-29 | 2012-01-25 | パナソニック株式会社 | 顔登録装置、顔認証装置および顔登録方法 |
| US8156136B2 (en) * | 2008-10-16 | 2012-04-10 | The Curators Of The University Of Missouri | Revising imagery search results based on user feedback |
| CN101854516B (zh) * | 2009-04-02 | 2014-03-05 | 北京中星微电子有限公司 | 视频监控系统、视频监控服务器及视频监控方法 |
| JP2013196043A (ja) * | 2012-03-15 | 2013-09-30 | Glory Ltd | 特定人物監視システム |
| CN103440304B (zh) * | 2013-08-22 | 2017-04-05 | 宇龙计算机通信科技(深圳)有限公司 | 一种图片存储方法及存储装置 |
| US20170236009A1 (en) * | 2014-04-29 | 2017-08-17 | Vivint, Inc. | Automated camera stitching |
| CN105260412A (zh) * | 2015-09-24 | 2016-01-20 | 东方网力科技股份有限公司 | 一种图像存储方法、图像检索方法和装置 |
| CN107545214B (zh) * | 2016-06-28 | 2021-07-27 | 斑马智行网络(香港)有限公司 | 图像序列号确定方法、特征的设置方法、装置及智能设备 |
| CN106534798A (zh) * | 2016-12-06 | 2017-03-22 | 武汉烽火众智数字技术有限责任公司 | 一种用于安防监控的多维数据综合应用系统及其方法 |
| CN108304847B (zh) * | 2017-11-30 | 2021-09-28 | 腾讯科技（深圳）有限公司 | 图像分类方法及装置、个性化推荐方法及装置 |
| US10417502B2 (en) * | 2017-12-15 | 2019-09-17 | Accenture Global Solutions Limited | Capturing series of events in monitoring systems |
| CN108228792B (zh) * | 2017-12-29 | 2020-06-16 | 深圳云天励飞技术有限公司 | 图片检索方法、电子设备及存储介质 |
| CN109992685A (zh) * | 2017-12-29 | 2019-07-09 | 杭州海康威视系统技术有限公司 | 一种检索图片的方法及装置 |
| CN110019891B (zh) * | 2017-12-29 | 2021-06-01 | 浙江宇视科技有限公司 | 图像存储方法、图像检索方法及装置 |
| CN110021062B (zh) * | 2018-01-08 | 2024-05-10 | 佛山市顺德区美的电热电器制造有限公司 | 一种产品特征的获取方法及终端、存储介质 |
| CN108470353A (zh) * | 2018-03-01 | 2018-08-31 | 腾讯科技（深圳）有限公司 | 一种目标跟踪方法、装置和存储介质 |
| CN110619256A (zh) * | 2018-06-19 | 2019-12-27 | 杭州海康威视数字技术股份有限公司 | 道路监控检测方法及装置 |
| CN110008379A (zh) * | 2019-03-19 | 2019-07-12 | 北京旷视科技有限公司 | 监控图像处理方法及装置 |
| CN110378189A (zh) * | 2019-04-22 | 2019-10-25 | 北京旷视科技有限公司 | 一种监控布置方法、装置、终端及存储介质 |
| CN110060252B (zh) * | 2019-04-28 | 2021-11-05 | 重庆金山医疗技术研究院有限公司 | 一种图片内目标提示处理方法、装置及内窥镜系统 |
| CN110457998B (zh) * | 2019-06-27 | 2020-07-28 | 北京旷视科技有限公司 | 影像数据关联方法和设备、数据处理设备及介质 |
| CN110321845B (zh) * | 2019-07-04 | 2021-06-18 | 北京奇艺世纪科技有限公司 | 一种从视频中提取表情包的方法、装置及电子设备 |
| CN110544218B (zh) * | 2019-09-03 | 2024-02-13 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及存储介质 |
| CN111177449B (zh) * | 2019-12-30 | 2021-11-05 | 深圳市商汤科技有限公司 | 基于图片的多维信息整合方法及相关设备 |
-
2019
- 2019-12-30 CN CN201911402864.5A patent/CN111177449B/zh active Active
-
2020
- 2020-07-03 KR KR1020217039230A patent/KR20220002626A/ko not_active Application Discontinuation
- 2020-07-03 JP JP2021571358A patent/JP2022534314A/ja active Pending
- 2020-07-03 SG SG11202113294VA patent/SG11202113294VA/en unknown
- 2020-07-03 WO PCT/CN2020/100268 patent/WO2021135139A1/zh active Application Filing
- 2020-07-10 TW TW109123415A patent/TW202125284A/zh unknown
-
2021
- 2021-11-29 US US17/536,774 patent/US20220084314A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| CN111177449A (zh) | 2020-05-19 |
| WO2021135139A1 (zh) | 2021-07-08 |
| CN111177449B (zh) | 2021-11-05 |
| SG11202113294VA (en) | 2021-12-30 |
| JP2022534314A (ja) | 2022-07-28 |
| TW202125284A (zh) | 2021-07-01 |
| US20220084314A1 (en) | 2022-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105518712B (zh) | 基于字符识别的关键词通知方法及设备 | |
| CN107710280B (zh) | 对象可视化方法 | |
| CN111046235B (zh) | 基于人脸识别的声像档案搜索方法、系统、设备及介质 | |
| WO2019042426A1 (zh) | 增强现实场景的处理方法、设备及计算机存储介质 | |
| US10674066B2 (en) | Method for processing image and electronic apparatus therefor | |
| US20160110885A1 (en) | Cloud based video detection and tracking system | |
| US10999556B2 (en) | System and method of video capture and search optimization | |
| CN108563651B (zh) | 一种多视频的目标搜索方法、装置及设备 | |
| US20220301317A1 (en) | Method and device for constructing object motion trajectory, and computer storage medium | |
| US9323989B2 (en) | Tracking device | |
| CN110717452B (zh) | 图像识别方法、装置、终端及计算机可读存储介质 | |
| US20160110909A1 (en) | Method and apparatus for creating texture map and method of creating database | |
| CN111881740A (zh) | 人脸识别方法、装置、电子设备及介质 | |
| KR20220002626A (ko) | 픽쳐 기반의 다차원 정보 통합 방법 및 관련 기기 | |
| CN110610178A (zh) | 图像识别方法、装置、终端及计算机可读存储介质 | |
| US20220122341A1 (en) | Target detection method and apparatus, electronic device, and computer storage medium | |
| US10282633B2 (en) | Cross-asset media analysis and processing | |
| US20180189602A1 (en) | Method of and system for determining and selecting media representing event diversity | |
| JP6132996B1 (ja) | 画像処理装置，画像処理方法，画像処理プログラム | |
| CN111125398A (zh) | 一种图片信息检索方法、装置、设备和介质 | |
| CN114341946A (zh) | 识别方法、装置、电子设备及存储介质 | |
| JP7310935B2 (ja) | 表示システムおよび表示方法 | |
| KR102542363B1 (ko) | 3차원 공간에서 객체를 인식하는 방법 | |
| WO2015162028A2 (en) | Method, device, user equipment and computer program for object extraction from multimedia content | |
| CN115578208A (zh) | 理赔取证数据处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| WITB | Written withdrawal of application |