KR20220075442A - 시나리오 정보의 검출 방법, 장치, 전자 기기, 매체 및 프로그램 - Google Patents

시나리오 정보의 검출 방법, 장치, 전자 기기, 매체 및 프로그램 Download PDF

Info

Publication number
KR20220075442A
KR20220075442A KR1020227017414A KR20227017414A KR20220075442A KR 20220075442 A KR20220075442 A KR 20220075442A KR 1020227017414 A KR1020227017414 A KR 1020227017414A KR 20227017414 A KR20227017414 A KR 20227017414A KR 20220075442 A KR20220075442 A KR 20220075442A
Authority
KR
South Korea
Prior art keywords
node
feature
scenario
target
image
Prior art date
Application number
KR1020227017414A
Other languages
English (en)
Inventor
밍유안 장
진이 우
다이솅 진
하이유 자오
슈아이 이
Original Assignee
센스타임 인터내셔널 피티이. 리미티드.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 센스타임 인터내셔널 피티이. 리미티드. filed Critical 센스타임 인터내셔널 피티이. 리미티드.
Publication of KR20220075442A publication Critical patent/KR20220075442A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

본 출원의 실시예는 시나리오 정보의 검출 방법, 장치, 전자 기기를 제공하고; 상기 시나리오 정보의 검출 방법은, 시나리오 이기종 그래픽에서 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 전파될 특징 차원이 Cy*1인 집합 특징을 얻는 단계 - Cy는 집합 특징의 채널 차원이고, Cy와 타깃 노드의 노드 특징의 채널 차원은 동일하며, 시나리오 이기종 그래픽은 적어도 두 가지의 이질성 노드인 보조 노드 및 시나리오 이미지에 기반하여 얻은 타깃 노드를 포함하고 - ; 집합 특징에 기반하여 타깃 노드의 노드 특징을 업데이트하는 단계; 및 업데이트된 타깃 노드의 노드 특징에 따라, 시나리오 이미지의 시나리오 정보를 획득하는 단계를 포함한다.

Description

시나리오 정보의 검출 방법, 장치, 전자 기기, 매체 및 프로그램
관련 출원의 상호 참조
본 출원은 출원 번호가 202010739363.2이고, 출원일이 2020년 7월 28일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.
본 출원은 컴퓨터 시각 기술에 관한 것이며, 시나리오 정보의 검출 방법, 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체 및 컴퓨터 프로그램에 관한 것이나, 이에 한정되지 않는다.
딥 러닝 기술이 갈수록 발전함에 따라, 시나리오 이해 알고리즘은 시나리오 이미지에 포함된 시나리오 정보를 획득할 수 있고, 예를 들어, 상기 시나리오 정보는 시나리오 이미지에 어떤 물체가 포함되었는지, 또는 시나리오 이미지에서의 각 물체 사이는 어떤 관계를 구비하는지, 즉 이 시나리오 이미지에 어떤 이벤트가 발생하였는지를 이해하는 것일 수 있다. 시나리오 이미지에 포함된 정보가 복잡하고 다양하기 때문에, 계산량이 많은 등 여러가지 요인을 고려하여, 기존의 시나리오 이해 알고리즘은 시나리오 이미지에서의 한 가지 타입의 정보만을 이용하여 시나리오의 이해를 보조하기에, 최종적으로 획득된 시나리오 정보의 검출 정확는 개선이 필요하다.
이를 감안하여, 본 출원의 실시예는 적어도 하나의 시나리오 정보의 검출 방법, 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체 및 컴퓨터 프로그램을 제공한다.
본 출원의 실시예는 시나리오 정보의 검출 방법을 제공하고, 상기 시나리오 정보의 검출 방법은,
시나리오 이기종 그래픽에서 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 전파될 집합 특징을 얻는 단계 - 상기 집합 특징의 특징 차원은 Cy*1이고, 상기 Cy는 상기 집합 특징의 채널 차원이고, 상기 Cy와 타깃 노드의 노드 특징의 채널 차원은 동일하며, 상기 시나리오 이기종 그래픽은 적어도 두 가지의 이질성 노드를 포함하며, 상기 적어도 두 가지의 노드는, 상기 보조 노드 및 상기 시나리오 이미지에 기반하여 얻은 상기 타깃 노드를 포함함 - ;
상기 집합 특징에 기반하여, 상기 타깃 노드의 노드 특징을 업데이트하는 단계; 및
업데이트된 상기 타깃 노드의 노드 특징에 따라, 상기 시나리오 이미지에서의 시나리오 정보를 획득하는 단계를 포함한다.
일부 실시예에 있어서, 상기 집합 특징에 기반하여, 상기 타깃 노드의 노드 특징을 업데이트하는 단계는, 상기 집합 특징의 각 채널의 채널 특징에 따라, 상기 타깃 노드의 노드 특징에서 상기 각 채널에 대응되는 모든 특징 위치에 대해 상기 채널 특징을 이용하여 특징 업데이트 처리를 수행하는 단계를 포함한다.
일부 실시예에 있어서, 상기 시나리오 이기종 그래픽에서 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 전파될 집합 특징을 얻는 단계는, 시나리오 이기종 그래픽에서 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 재가중 벡터 및 잔차 벡터 중 적어도 하나를 얻어 상기 집합 특징으로 사용하는 단계를 포함하고; 상기 집합 특징에 기반하여, 상기 타깃 노드의 노드 특징을 업데이트하는 단계는, 상기 재가중 벡터에 기반하여 타깃 노드의 노드 특징의 각 채널에 대해 곱셈 처리를 수행하는 단계 및 상기 잔차 벡터를 통해 타깃 노드의 노드 특징의 각 채널에 대해 합산 처리를 수행하는 단계 중 적어도 하나를 포함한다.
일부 실시예에 있어서, 상기 재가중 벡터 및 잔차 벡터 중 적어도 하나를 얻어 상기 집합 특징으로 사용하는 단계는, 활성화 함수 및 상기 타깃 노드의 노드 특징의 표준 편차를 통해, 상기 잔차 벡터의 값을 기설정된 수치 구간으로 매핑하여 상기 집합 특징으로 사용하는 단계를 포함한다.
일부 실시예에 있어서, 상기 타깃 노드는 대상 그룹 노드 - 상기 대상 그룹은 상기 시나리오 이미지에서의 두 개의 대상을 포함함 - 를 포함하고; 업데이트된 상기 타깃 노드의 노드 특징에 따라, 상기 시나리오 이미지에서의 시나리오 정보를 획득하는 단계는, 업데이트된 대상 그룹 노드의 노드 특징에 따라, 상기 대상 그룹 노드에서 두 개의 대상 사이의 관계의 예측 결과를 얻는 단계를 포함한다.
일부 실시예에 있어서, 상기 시나리오 이기종 그래픽에는, 상기 시나리오 이기종 그래픽 중 한 대상 그룹 노드를 종점으로 사용하는 정보 전송 링크가 포함되고, 상기 정보 전송 링크는 적어도 두 개의 유향 에지(directed edge)그룹을 포함하고, 각 유향 에지 그룹은 복수 개의 시작점에서 동일한 종점을 가리키는 복수 개의 유향 에지를 포함하며; 상기 정보 전송 링크에서의 각 시작점 및 종점에는 적어도 두 개의 상기 이질성 노드가 포함되며; 상기 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 전파될 집합 특징을 얻고, 상기 집합 특징에 기반하여, 상기 타깃 노드의 노드 특징을 업데이트하는 단계는, 상기 적어도 두 개의 유향 에지 그룹에서의 제1 유향 에지 그룹에 대해, 상기 제1 유향 에지 그룹이 가리키는 동일한 제1 종점을 상기 타깃 노드로 사용하고, 상기 제1 종점을 연결하는 각 시작점의 노드 특징에 따라 집합 특징을 얻으며, 상기 집합 특징에 기반하여 상기 제1 종점의 노드 특징을 업데이트하는 단계 - 상기 제1 종점은 동시에 상기 적어도 두 개의 유향 에지 그룹에서의 제2 유향 에지 그룹 중의 한 시작점으로 사용됨 - ; 및 상기 제2 유향 에지 그룹에 대해, 상기 제2 유향 에지 그룹이 가리키는 동일한 제2 종점을 상기 타깃 노드로 사용하고, 상기 제2 종점을 연결하는 각 시작점의 노드 특징에 따라 집합 특징을 얻으며, 상기 집합 특징에 기반하여 상기 제2 종점의 노드 특징을 업데이트하는 단계를 포함한다.
일부 실시예에 있어서, 상기 적어도 두 개의 유향 에지 그룹의 한 상기 유향 에지 그룹의 시작점 및 종점에 있어서, 아래의 내용 중 적어도 하나를 포함하고, 상기 시작점은, 상기 시나리오 이미지에서 특징을 추출하여 얻은 각 픽셀 노드를 포함하고, 상기 종점은 상기 시나리오 이미지에서 추출된 물체 노드이며; 또는, 상기 시작점 및 종점은 모두, 상기 시나리오 이미지에서 추출된 물체 노드를 포함하며; 또는, 상기 시작점은 상기 시나리오 이미지에서 추출된 물체 노드를 포함하고, 상기 종점은 상기 대상 그룹 노드를 포함하며; 또는, 상기 시작점은 상기 대상 그룹 노드를 포함하고, 상기 종점은 상기 물체 노드를 포함한다.
일부 실시예에 있어서, 상기 각 보조 노드는 복수 개의 픽셀 노드를 포함하고; 상기 방법은, 상기 시나리오 이미지에 따라 특징 추출을 수행하여, 복수 개의 특징맵을 얻는 단계 - 상기 복수 개의 특징맵은 각각 상이한 크기를 구비함 - ; 상기 복수 개의 특징맵을 동일한 크기로 스케일링한 이후 융합을 수행하여, 융합된 특징맵을 얻는 단계; 및 상기 융합된 특징맵에 따라, 복수 개의 상기 픽셀 노드의 노드 특징을 얻는 단계를 더 포함한다.
일부 실시예에 있어서, 상기 업데이트된 대상 그룹 노드의 노드 특징에 따라, 상기 대상 그룹 노드에서 두 개의 대상 사이의 관계의 예측 결과를 얻는 단계는, 상기 대상 그룹 노드의 노드 특징에 따라, 예측된 초기 분류 신뢰도를 얻는 단계 - 상기 초기 분류 신뢰도에는 상기 대상 그룹 노드가 각 기설정된 관계 카테고리에 대응되는 초기 분류 신뢰도가 포함됨 - ; 상기 대상 그룹 노드가 상기 각 기설정된 관계 카테고리에서의 하나의 타깃 기설정된 관계 카테고리에 대응되는 초기 분류 신뢰도, 및 상기 대상 그룹 노드에서 두 개의 대상에 각각 대응되는 대상 검출 신뢰도에 따라, 상기 대상 그룹 노드에서의 두 개의 대상이 상기 타깃 기설정된 관계 카테고리에 대응되는 신뢰도를 얻는 단계; 및 상기 신뢰도가 기설정된 신뢰도 임계값보다 크거나 같으면, 상기 대상 그룹 노드에서의 두 개의 대상 사이의 관계의 예측 결과가 상기 타깃 기설정된 관계 카테고리인 것을 결정하는 단계를 포함한다.
본 출원의 실시예는 시나리오 정보의 검출 방법을 제공하고, 상기 시나리오 정보의 검출 방법은 이미지 처리 기기에 의해 실행되고, 상기 시나리오 정보의 검출 방법은,
이미지 수집 기기가 수집한 시나리오 이미지를 획득하는 단계; 및
본 출원의 어느 하나의 실시예에서 제공한 검출 방법에 따라, 상기 시나리오 이미지에 대해 처리를 수행하여, 상기 시나리오 이미지에서의 시나리오 정보를 출력하는 단계를 포함한다.
본 출원의 실시예는 시나리오 정보의 검출 장치를 제공하고, 상기 시나리오 정보의 검출 장치는,
시나리오 이기종 그래픽에서 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 전파될 집합 특징을 얻도록 - 상기 집합 특징의 특징 차원은 Cy*1이고, 상기 Cy는 상기 집합 특징의 채널 차원이고, 상기 Cy와 타깃 노드의 노드 특징의 채널 차원은 동일하며, 상기 시나리오 이기종 그래픽은 적어도 두 가지의 이질성 노드를 포함하며, 상기 적어도 두 가지의 노드는, 상기 보조 노드 및 상기 시나리오 이미지에 기반하여 얻은 상기 타깃 노드를 포함함 - 구성된 특징 처리 모듈;
상기 집합 특징에 기반하여, 상기 타깃 노드의 노드 특징을 업데이트하도록 구성된 특징 업데이트 모듈; 및
업데이트된 상기 타깃 노드의 노드 특징에 따라, 상기 시나리오 이미지에서의 시나리오 정보를 획득하도록 구성된 정보 결정 모듈을 포함한다.
일부 실시예에 있어서, 상기 특징 업데이트 모듈은, 상기 집합 특징에 기반하여, 상기 타깃 노드의 노드 특징을 업데이트할 경우, 상기 집합 특징의 각 채널의 채널 특징에 따라, 상기 타깃 노드의 노드 특징에서 상기 각 채널에 대응되는 모든 특징 위치에 대해 상기 채널 특징을 이용하여 특징 업데이트 처리를 수행하도록 구성된다.
일부 실시예에 있어서, 상기 특징 처리 모듈은 또한, 시나리오 이기종 그래픽에서 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 재가중 벡터 및 잔차 벡터 중 적어도 하나를 얻어 상기 집합 특징으로 사용하도록 구성되고; 상기 특징 업데이트 모듈은 또한, 상기 재가중 벡터에 기반하여 타깃 노드의 노드 특징의 각 채널에 대해 곱셈 처리를 수행하는 것 및 상기 잔차 벡터를 통해 타깃 노드의 노드 특징의 각 채널에 대해 합산 처리를 수행하는 것 중 적어도 하나를 수행하도록 구성된다.
일부 실시예에 있어서, 상기 특징 처리 모듈은 재가중 벡터 및 잔차 벡터 중 적어도 하나를 얻어 상기 집합 특징으로 사용하도록 구성될 경우, 활성화 함수 및 상기 타깃 노드의 노드 특징의 표준 편차를 통해, 상기 잔차 벡터의 값을 기설정된 수치 구간으로 매핑하여 상기 집합 특징으로 사용하도록 구성된다.
일부 실시예에 있어서, 상기 타깃 노드는 대상 그룹 노드 - 상기 대상 그룹은 상기 시나리오 이미지에서의 두 개의 대상을 포함함 - 를 포함하고; 상기 정보 결정 모듈은 또한, 업데이트된 대상 그룹 노드의 노드 특징에 따라, 상기 대상 그룹 노드에서 두 개의 대상 사이의 관계의 예측 결과를 얻도록 구성된다.
일부 실시예에 있어서, 상기 시나리오 이기종 그래픽에는 상기 시나리오 이기종 그래픽 중 한 대상 그룹 노드를 종점으로 사용하는 정보 전송 링크가 포함되고, 상기 정보 전송 링크는 적어도 두 개의 유향 에지 그룹을 포함하고, 각 유향 에지 그룹은 복수 개의 시작점에서 동일한 종점을 가리키는 복수 개의 유향 에지를 포함하며; 상기 정보 전송 링크에서의 각 시작점 및 종점에는 적어도 두 개의 상기 이질성 노드가 포함되며; 상기 특징 처리 모듈은, 상기 적어도 두 개의 유향 에지 그룹에서의 제1 유향 에지 그룹에 대해, 상기 제1 유향 에지 그룹이 가리키는 동일한 제1 종점을 상기 타깃 노드로 사용하고, 상기 제1 종점을 연결하는 각 시작점의 노드 특징에 따라 집합 특징을 얻으며; 상기 제1 종점은 동시에 상기 적어도 두 개의 유향 에지 그룹에서의 제2 유향 에지 그룹 중의 한 시작점으로 사용되며; 상기 제2 유향 에지 그룹에 대해, 상기 제2 유향 에지 그룹이 가리키는 동일한 제2 종점을 상기 타깃 노드로 사용하고, 상기 제2 종점을 연결하는 각 시작점의 노드 특징에 따라 집합 특징을 얻도록 구성되며; 상기 특징 업데이트 모듈은, 상기 제1 종점의 각 시작점의 노드 특징을 연결하여 얻은 집합 특징에 기반하여 상기 제1 종점의 노드 특징을 업데이트하고; 상기 제2 종점의 각 시작점의 노드 특징을 연결하여 얻은 집합 특징에 기반하여 상기 제2 종점의 노드 특징을 업데이트하도록 구성된다.
일부 실시예에 있어서, 상기 적어도 두 개의 유향 에지 그룹의 한 상기 유향 에지 그룹의 시작점 및 종점에 있어서, 아래의 내용 중 적어도 하나를 포함하고,
상기 시작점은, 상기 시나리오 이미지에서 특징을 추출하여 얻은 각 픽셀 노드를 포함하고, 상기 종점은 상기 시나리오 이미지에서 추출된 물체 노드이며;
또는, 상기 시작점 및 종점은 모두 상기 시나리오 이미지에서 추출된 물체 노드를 포함하며;
또는, 상기 시작점은 상기 시나리오 이미지에서 추출된 물체 노드를 포함하고, 상기 종점은 상기 대상 그룹 노드를 포함하며;
또는, 상기 시작점은 상기 대상 그룹 노드를 포함하고, 상기 종점은 상기 물체 노드를 포함한다.
일부 실시예에 있어서, 상기 각 보조 노드는 복수 개의 픽셀 노드를 포함하고;
상기 특징 처리 모듈은 또한,
상기 시나리오 이미지에 따라 특징 추출을 수행하여, 복수 개의 특징맵을 얻고 - 상기 복수 개의 특징맵은 각각 상이한 크기를 구비함 - ; 상기 복수 개의 특징맵을 동일한 크기로 스케일링한 이후 융합을 수행하여, 융합된 특징맵을 얻으며; 상기 융합된 특징맵에 따라, 복수 개의 상기 픽셀 노드의 노드 특징을 얻도록 구성된다.
일부 실시예에 있어서, 상기 정보 결정 모듈은 업데이트된 대상 그룹 노드의 노드 특징에 따라, 상기 대상 그룹 노드에서 두 개의 대상 사이의 관계의 예측 결과를 얻도록 구성된 경우, 상기 대상 그룹 노드의 노드 특징에 따라, 예측된 초기 분류 신뢰도를 얻고 - 상기 초기 분류 신뢰도에는 상기 대상 그룹 노드가 각 기설정된 관계 카테고리에 대응되는 초기 분류 신뢰도가 포함됨 - ; 상기 대상 그룹 노드가 상기 각 기설정된 관계 카테고리에서의 하나의 타깃 기설정된 관계 카테고리에 대응되는 초기 분류 신뢰도, 및 상기 대상 그룹 노드에서 두 개의 대상에 각각 대응되는 대상 검출 신뢰도에 따라, 상기 대상 그룹 노드에서의 두 개의 대상이 상기 타깃 기설정된 관계 카테고리에 대응되는 신뢰도를 얻으며; 상기 신뢰도가 기설정된 신뢰도 임계값보다 크거나 같으면, 상기 대상 그룹 노드에서의 두 개의 대상 사이의 관계의 예측 결과가 상기 타깃 기설정된 관계 카테고리인 것을 결정하도록 구성된다.
본 출원의 실시예는 시나리오 정보의 검출 장치를 제공하고, 상기 시나리오 정보의 검출 장치는 이미지 처리 기기에 적용되며, 상기 시나리오 정보의 검출 장치는, 이미지 수집 기기가 수집한 시나리오 이미지를 획득하도록 구성된 이미지 획득 모듈; 본 출원의 어느 한 실시예의 검출 방법에 따라 상기 시나리오 이미지에 대해 처리를 수행하여, 상기 시나리오 이미지에서의 시나리오 정보를 출력하도록 구성된 정보 출력 모듈을 포함한다.
본 출원의 실시예는 전자 기기를 제공하고, 상기 전자 기기는 메모리 프로세서를 포함하며, 상기 메모리는 컴퓨터 판독 가능한 명령어를 저장하도록 구성되고, 상기 프로세서는 본 출원의 어느 한 실시예의 시나리오 정보의 검출 방법을 구현하기 위해 상기 컴퓨터 명령어를 호출하도록 구성된다.
본 출원의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 프로그램은 프로세서에 의해 실행될 때 본 출원의 어느 한 실시예의 시나리오 정보의 검출 방법을 구현한다.
본 출원의 실시예는 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램을 제공하며, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 때, 상기 전자 기기에서의 프로세서는 본 출원의 어느 한 실시예를 구현하기 위한 시나리오 정보의 검출 방법을 실행한다.
본 출원의 실시예에서 제공한 시나리오 정보의 검출 방법, 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체 및 컴퓨터 프로그램은, 노드 특징을 업데이트할 경우, 상이한 노드 사이에서 채널 레벨의 정보를 전송하여, 이질성 노드 사이에서 정보를 전송할 수 있도록 함으로써, 여러 타입의 정보를 융합하여 시나리오 정보의 검출을 수행함으로써, 시나리오 정보 검출로 하여금 더욱 정확하도록 한다.
이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 해석적인 것이며, 본 출원을 한정하려는 것은 아니다.
본 출원의 하나 또는 복수 개의 실시예 또는 관련 기술의 기술 방안을 더욱 명확하게 설명하기 위해, 실시예 또는 관련 기술의 설명에서 사용되는 도면을 아래에서 간단히 설명하며, 명백하게, 이하의 설명에서의 도면은 본 출원의 하나 또는 복수 개의 실시예에 기재된 일부 실시예일 뿐이며, 본 기술분야의 통상의 기술자는 그 어떤 창조적인 작업을 하지 않아도 이들 도면에 따른 다른 도면을 얻을 수 있다.
도 1은 본 출원의 적어도 하나의 실시예에서 제공한 시나리오 정보의 검출 방법을 도시한다.
도 2는 본 출원의 적어도 하나의 실시예에서 제공한 특징 업데이트의 원리 예시도를 도시한다.
도 3은 본 출원의 적어도 하나의 실시예에서 제공한 다른 시나리오 정보의 검출 방법을 도시한다.
도 4는 본 출원의 적어도 하나의 실시예에서 제공한 시나리오 이기종 그래픽 예시도를 도시한다.
도 5는 본 출원의 적어도 하나의 실시예에서 제공한 시나리오 정보의 검출 장치를 도시한다.
도 6은 본 출원의 적어도 하나의 실시예에서 제공한 또 다른 시나리오 정보의 검출 장치를 도시한다.
본 기술 분야의 기술자가 본 출원의 하나 또는 복수 개의 실시예에서의 기술방안을 더 잘 이해할 수 있도록 하기 위해, 아래에 본 출원의 하나 또는 복수 개의 실시예에서의 도면을 결합하여, 본 출원의 하나 또는 복수 개의 실시예에서의 기술 방안을 명확하고 완전하게 설명하며, 설명된 실시예는 본 출원의 실시예 중 일부일 뿐이며, 모든 실시예가 아닌 것은 명백하다. 본 출원에서의 하나 또는 복수 개의 실시예에 기반하여, 본 분야의 기술자가 창조성 노동을 부여하지 않은 전제하에서 획득한 다른 실시예는 전부 본 출원의 청구범위에 속해야 한다.
컴퓨터 시각 기술은 특정된 시나리오의 시나리오 이미지에 대해 이미지 처리를 수행함으로써, 상기 시나리오 내용에 대한 이해 정보를 획득할 수 있기에, 시나리오 정보로 칭할 수 있다. 상기 시나리오 정보는 아래의 내용을 포함하지만 이에 한정되지 않으며, 예를 들어, 시나리오 이미지에 포함된 타깃 대상을 식별하는 것, 시나리오 이미지에서의 대상이 무엇을 하고 있는지 검출하는 것, 시나리오 이미지에서의 상이한 대상 사이의 관계를 검출하는 것, 시나리오 이미지의 내용에 따라 이미지에 포함된 정보를 식별하는 것 등을 포함할 수 있다.
일부 실시예에 있어서, 이미지 수집 기기로 시나리오 이미지를 수집할 수 있다. 여기서, 전술한 시나리오는 시나리오 정보를 자동으로 분석해야 하는 장소일 수 있으며, 예를 들어, 폭행 등 도시의 안전 문제가 자주 발생하는 장소에는, 감시 카메라 등과 같은 이미지 수집 기기를 설치할 수 있고; 더 예를 들어, 마트 등 쇼핑 장소에서 고객이 쇼핑한 이미지를 자동으로 수집하고, 고객이 어떤 상품에 대한 관심이 높은지를 분석하려면, 마트 내에 감시 카메라 등과 같은 이미지 수집 기기를 설치할 수도 있다. 여기서, 전술한 시나리오 이미지는 단일 프레임 이미지일 수 있고, 비디오 스트림에서의 일부 이미지 프레임일 수도 있다.
시나리오 이미지가 수집된 이후, 상기 시나리오 이미지를 이미지 분석 처리를 수행하기 위한 이미지 처리 기기에 전송할 수 있고, 상기 이미지 처리 기기는 본 출원의 실시예의 후속 제공되는 시나리오 정보의 검출 방법에 따라, 이미지 수집 기기가 수집한 이미지에 대해 분석을 수행하여, 최종적으로 시나리오 이미지에서의 시나리오 정보를 출력할 수 있으며, 예를 들어, 상기 시나리오 정보는 이미지에서의 누군가가 싸움을 하고 있는 것일 수 있다. 물론, 이러한 것들은 모두 예시일 뿐, 실제 실시예는 상기 열거한 상황에 한정되지 않는다.
시나리오 이미지에 대해 처리를 수행하여 시나리오 정보를 획득하는 과정에서, 일반적으로 시나리오에서의 일부 정보를 보조로 사용하여 식별 및 검출되어야 할 타깃 시나리오 내용을 획득하고, 이러한 과정은 보조 정보를 융합하는 특징 업데이트의 과정에 관한 것으로, 특징 업데이트를 통해 다양한 보조 정보를 융합하여 식별 타깃을 예측한다.
본 출원의 실시예는 시나리오 정보의 검출 방법을 제공하고, 상기 방법은 특징 업데이트의 방식을 제공하며, 상기 방법이 제공한 방식을 통해 특징을 업데이트 하고, 업데이트된 특징에 따라 시나리오 정보를 검출한다.
먼저, 식별될 시나리오 이미지(예를 들어, 수집된 테니스 코트의 이미지)에 대해 특징 추출 등 이미지 처리를 수행하여, 복수 개의 노드를 얻을 수 있고, 이러한 노드는 그래프 네트워크를 구성할 수 있고, 본 실시예에서는 상기 그래프 네트워크를 시나리오 이기종 그래픽으로 칭한다.
상기 시나리오 이기종 그래픽에서의 상기 복수 개의 노드는 적어도 두 개 타입의 이질성 노드를 포함하고, 전술한 이질성 노드는 노드가 노드 특징 차원(feature shapes) 및 노드 특징 분포(feature distributions) 등 측면에서 모두 상이한 것을 가리킨다.
전술한 시나리오 이기종 그래픽에 구체적으로 어떤 이질성 노드가 포함되었는지는, 실제 처리 타깃에 따라 결정될 수 있고, 본 실시예는 이에 대해 한정하지 않는다. 주의해야 할 것은, 본 실시예에서의 시나리오 이기종 그래픽에는 더욱 풍부한 정보를 융합하여 시나리오 이해를 수행하기 위해, 다양한 타입의 이질성 노드가 포함될 수 있고, 그래프의 노드 사이는 유향 에지 연결을 구축할 수 있고, 유향 에지 시작점과 유향 에지 종점을 특징 융합하여, 유향 에지 종점의 특징의 최적화 및 업데이트를 구현한다
예를 들어, 획득해야 될 시나리오 정보가 이미지에서의 사람 및 물체 사이의 관계이면, 그래프에서의 노드는 대상 노드(대상은 사람 또는 물체 일 수 있음), 픽셀 노드 등 상이한 노드를 포함할 수 있다.
예를 들어, 다른 시나리오 이해 미션에서, 그래프에서의 노드는 인체 노드, 픽셀 노드를 포함한 이외에, 또한 인체 키포인트에 대응되는 노드를 포함할 수 있다. 동일한 사람의 키포인트 사이를 연결할 수 있고, 상이한 사람의 동일한 키포인트 사이를 연결할 수도 있으며, 이러한 키포인트는 인체 검출 프레임에 대응되는 노드에 연결될 수 있다. 연결된 에지를 구비한 노드 사이의 정보 전송을 통해, 인체 특징을 최적화하고 업데이트할 수 있으며, 업데이트된 인체 특징에 따라 사람의 동작 포즈를 더욱 잘 포착되도록 한다.
예를 들어, 또 다른 시나리오 이해 미션에서, 그래픽에서 노드는 픽셀 노드, 대상 노드를 포함할 수 있고, 또한 한 시각의 시나리오를 상기 시각에 대응되는 시각 노드로 압축할 수 있다. 상기 시각 노드를 픽셀 노드에 연결하는 것을 통해, 각 시각에서 각 픽셀 위치의 특징 표시를 최적화할 수 있고, 상기 시각 노드를 구체적인 특정된 대상 노드에 연결하여 최적화를 수행할 수도 있다. 또한, 상기 시나리오 이해 미션이 전체 조명 조건, 날씨 등 요인 및 특징과 같은 좀 더 전체적인 환경 요인을 기반으로 할 것으로 예상되는 경우 이러한 전체적 요인에 대응되는 노드를 그래프에 추가할 수도 있다.
구체적인 시나리오 이해 미션에 따라, 시나리오 이기종 그래픽에 포함된 노드를 결정할 수 있고, 본 실시예는 그래픽에 다양한 이질성 노드가 포함되는 것을 허용한다. 아래 도 1에서는 상기 시나리오 이기종 그래픽에 따른 시나리오 정보 검출 처리를 설명하고, 아래와 같은 내용을 포함할 수 있다.
단계 100에 있어서, 시나리오 이기종 그래픽에서 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 전파될 집합 특징을 얻는다.
여기서, 집합 특징의 특징 차원은 Cy*1이고, 여기서, 상기 Cy는 상기 집합 특징의 채널 차원이며, 상기 Cy와 타깃 노드의 노드 특징의 채널 차원은 동일하다.
여기서, 상기 시나리오 이기종 그래픽은 적어도 두 가지의 이질성 노드를 포함하며, 상기 적어도 두 가지의 이질성 노드는, 상기 보조 노드 및 시나리오 이미지에 대해 특징 추출을 수행하여 얻은 상기 타깃 노드를 포함한다. 여기서, 타깃 노드 및 보조 노드는 모두 시나리오 이미지에 기반하여 얻은 것일 수 있고, 예를 들어, 시나리오 이미지에 대해 타깃 검출을 수행하여, 이미지에서의 특정된 대상(예를 들어, 사람 또는 물체)을 검출함으로써 보조 노드가 될 수 있는 상기 대상에 대응되는 노드를 생성할 수 있다. 더 예를 들어, 또한 시나리오 이미지에서의 두 개의 대상을 하나의 대상 그룹(예를 들어, 사람 및 테니스공)으로 조합하고, 타깃 노드가 될 수 있는 상기 대상 그룹에 대응되는 노드를 생성할 수 있다. 그 중의 일부 보조 노드는 또한 다른 방식을 통해 얻은 것일 수 있고, 예를 들어, 시나리오 이미지를 수집할 경우의 시간 정보, 조명 조건 정보 등일 수 있으며, 이러한 정보는 하나의 노드에 대응될 수 도 있고, 보조 노드일 수 있으며, 물론 후속 이러한 정보는 상기 보조 노드에 대응되는 노드 특징에 인코딩되어 융합될 수 있다. 이로부터 알다시피, 하나의 시나리오 이미지를 획득한 이후, 상기 시나리오 이미지에 기반하여 전술한 타깃 노드, 보조 노드 등을 생성할 수 있고, 이러한 노드는 추가로 시나리오 이기종 그래픽을 구성할 수 있다.
예를 들어, 상기 적어도 두 가지의 이질성 노드는 노드A, 노드B, 노드C 및 노드D 네 가지 타입의 노드를 포함할 수 있고, 각 타입의 노드 개수는 복수 개일 수 있다. 또한, 상기 시나리오 이기종 그래픽에는 아래와 같은 노드 연결 관계를 포함할 수 있다.
예를 들어, 복수 개의 노드 A를 노드 B중 하나에 연결하고, 노드 A는 유향 에지의 시작점으로 사용되고, 노드 B는 유향 에지의 종점으로 사용되면, 본 단계에서의 타깃 노드 및 각 보조 노드에 있어서, 전술한 복수 개의 노드 A는 각 보조 노드이고, 노드 B는 타깃 노드이다.
본 단계에 있어서, 각 보조 노드의 노드 특징에 따라, 전파될 집합 특징을 얻을 수 있고, 여기서, 집합 특징의 특징 차원은 Cy*1이고, 여기서, 상기 Cy는 집합 특징의 채널 차원이며, Cy와 타깃 노드의 노드 특징의 채널 차원은 동일하다. 예시적으로, 타깃 노드의 노드 특징이 256 개의 채널을 구비한다면, 집합 특징은 256차원 벡터일 수 있다.
여기서, 위에서 제안한 타깃 노드의 노드 특징은, 시나리오 이미지의 적어도 일부 이미지 내용에 기반하여 얻은 정보일 수 있고, 상기 노드 특징에는 상기 노드에 대응되는 대상이 시나리오 이미지에서의 이미지 정보가 융합되었다. 상기 노드 특징에 이미지 정보를 융합하였기 때문에, 상기 노드 특징에 따라 시나리오 정보의 예측을 수행하여, 시나리오 이미지에 포함된 시나리오 정보를 얻을 수 있다.
단계 102에 이어서, 상기 집합 특징에 기반하여, 상기 타깃 노드의 노드 특징을 업데이트한다.
여기서, 전술한 집합 특징은 타깃 노드에 대응되는 각 보조 노드의 노드 특징을 종합하여 얻은 것이고, 상기 집합 특징은 각 보조 노드가 타깃 노드의 노드 특징 업데이트에 대한 영향을 표시하기 위한 것이고, 각 보조 노드에 대응되는 이미지 내용의 정보를 타깃 노드에 대응되는 대상에 전송하여, 타깃 노드의 노드 특징이 보조 노드에 대응되는 이미지 내용에 융합하도록 하는 것과 같다.
본 단계에 있어서, 집합 특징 및 노드 특징의 채널 차원은 동일하고, 타깃 노드의 노드 특징을 업데이트할 경우, 업데이트 방식은 또한 채널 레벨(channel-wise)의 정보 업데이트이다. 구체적으로, 상기 집합 특징의 각 채널의 채널 특징에 따라, 상기 타깃 노드의 노드 특징에서 상기 채널에 대응되는 모든 특징 위치에 대해 상기 채널 특징을 이용하여 특징 업데이트 처리를 수행한다.
예를 들어, 여전히 전술한 타깃 노드의 노드 특징이 256 개의 채널을 구비한다면, 집합 특징은 256차원 벡터일 수 있다. 도 2에 도시된 바를 결합하면, 복수 개의 보조 노드 A의 노드 특징에 따라 집합 특징{p1,p2,p3......p256}을 계산하여 얻을 수 있고, 상기 집합 특징은 256차원 벡터이다. 타깃 노드 B의 노드 특징에서 각 채널은 7*7=49 개의 특징 위치가 존재하고, 노드 특징에 대해 업데이트를 수행할 경우, 채널마다 업데이트가 가능하다. 예를 들어, 도 2에 도시된 바와 같이, 타깃 노드의 첫 번째 채널에 대해 업데이트를 수행할 경우, 집합 특징의 벡터에서 첫 번째 벡터 원소(p1)를 추출하고, 타깃 노드의 첫 번 째 채널에서의 모든 특징 위치에 상기 벡터 원소를 추가(여기서 "추가"로 예를 들었지만, 일부 실시예에서는, 또한 "곱셈" 등 다른 조작일 수 있음)하여, 상기 첫 번째 채널에서 모든 특징 위치에 대한 업데이트 처리를 구현할 수 있고, 도 2는 일부 특징 위치에서 (+p1)의 조작을 도시한다. 마찬가지로, 타깃 노드의 두 번째 채널에 대해 업데이트를 수행할 경우, 집합 특징의 벡터에서의 두 번째 원소를 사용하여, 두 번째 채널에서의 모든 특징에 상기 제2 벡터 원소를 추가한다.
단계 104에 있어서, 업데이트된 상기 타깃 노드의 노드 특징에 따라, 상기 시나리오 이미지에서의 시나리오 정보를 획득한다.
위에서 언급한, 단계 100 및 단계 102에 있어서, 그중의 한 타깃 노드의 업데이트를 예로 들면, 일부 실시예 있어서, 시나리오 이미지 검출로부터 시나리오 정보를 획득하는 과정에서 이러한 특징 업데이트를 여러번 포함할 수 있다. 예를 들어, 복수 개의 노드 A의 특징에 따라 공동으로 가리키는 하나의 노드 B의 특징을 업데이트한 이후, 상기 노드 B는 다른 노드 B와 함께, 이러한 노드 B의 노드 특징에 기반하여 공동으로 가리키는 노드 C의 특징을 업데이트하고, 업데이트 방식은 도 2와 동일하다.
적어도 한 번의 본 실시예의 특징 업데이트를 경과한 이후, 업데이트된 타깃 노드의 노드 특징을 이용하여, 최종적으로 상기 시나리오 이미지에서의 시나리오 정보를 획득할 수 있다. 여기서, 상기 여러 번을 포함하는 특징 업데이트의 경우, 여기서의 업데이트된 타깃 노드의 노드 특징은 최종적으로 업데이트된 타깃 노드(즉, 마지막 유향 에지 종점이, 계속하여 다른 노드를 가리키는 시작점으로 더 이상 사용되지 않는 경우)일 수 있고, 또는, 시나리오 이기종 그래픽에서 선택된 일부 노드일 수도 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다. 또한, 시나리오 정보를 획득하는 방식 및 구체적인 시나리오 정보는, 실제 업무 수요에 따라 결정될 수 있고, 예를 들어, 실제 업무 타깃이 시나리오에서의 대상 사이의 관계를 예측하는 것이면, 멀티 레이어 퍼셉트론을 통해 업데이트된 노드에 특징에 따라 대상 사이의 관계 카테고리를 예측할 수 있다.
본 실시예의 시나리오 정보의 검출 방법은, 노드 특징을 업데이트할 경우, 상이한 노드 사이에서 채널 레벨의 정보를 전송하여, 이질성 노드 사이에서 정보를 전송할 수 있도록 함으로써, 여러 타입의 정보를 융합하여 시나리오 정보의 검출을 수행함으로써, 시나리오 정보 검출로 하여금 더욱 정확하도록 한다.
도 3은 다른 시나리오 정보의 검출 방법을 도시하고, 상기 방법은 도 1 방법에 기초하여, 구체적인 채널 정보의 형식을 도시한다. 도 3에 도시된 바와 같이, 상기 방법은 아래와 같으 처리를 포함할 수 있다.
단계 300에 있어서, 시나리오 이기종 그래픽에서 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 재가중 벡터 및 잔차 벡터 중 적어도 하나를 얻어 상기 집합 특징으로 사용한다.
본 단계에 있어서, 복수 개의 보조 노드의 노드 특징에 따라 얻은 집합 특징은, 재가중 벡터 및 잔차 벡터 중의 적어도 하나일 수 있다. 예를 들어, 재가중 벡터가 하나뿐이거나, 잔차 벡터가 하나뿐이거나, 재가중 벡터 및 잔차 벡터인 두 타입의 벡터가 계산될 수 있다.
Wy를 통해 재가중 벡터(channel-wise re-weighting vector)를 표시하고, by를 통해 잔차 벡터 (channel-wise residual vector)를 표시한다. 이 두 개의 벡터를 계산할 경우, 먼저 하나의 함수를 통해 보조 노드의 노드 특징이 타깃 노드의 노드 특징에 대한 영향 매개 변수를 얻은 다음, 상이한 보조 노드의 영향 매개 변수를 통합하고, 통합하는 방식은 다양할 수 있으며, 예를 들어, 가중 합계를 통할 수 있고, 또는 멀티 레이어 퍼셉트론을 통할 수도 있다.
다음 예는 가중 벡터 및 잔차 벡터의 계산 방식을 나타내고 있으나, 이해할 수 있는 것은, 구체적인 방식은 이에 한정되지 않는다.
일부 실시예에 있어서, 아래의 공식에 따라 재가중 벡터 및 잔차 벡터를 계산하여 얻을 수 있다.
Figure pct00001
(1)
Figure pct00002
(2)
여기서, H w 및H b 는 두 개의 선형 변환 매트릭스이고, 보조 노드의 차원
Figure pct00003
*
Figure pct00004
Figure pct00005
의 노드 특징을 채널 차원인 Cy의 특징으로 변환시키기 위한 것이고, f x 는 보조 노드의 노드 특징을 표시한다. w xy 는 주의력 가중이고, 아래의 공식을 통해 계산하여 얻을 수 있다.)
Figure pct00006
(3)
Figure pct00007
(4)
여기서, W k 및W q 는 두 개의 선형 변환 매트릭스이고, 보조 노드의 노드 특징(f x ) 및 타깃 노드의 노드 특징(f y )를 동일한 차원(d k )의 특징으로 변환시키기 위한 것이다. 여기서d k 는 초매개 변수이고, 상황에 따라 구체적으로 설정될 수 있다. <.,.> 는 두 개 벡터의 내적 계산 함수이다.
일부 실시예에 있어서, 또한, 아래의 공식에 따라 재가중 벡터 및 잔차 벡터를 계산하여 얻을 수 있다.
Figure pct00008
(5)
Figure pct00009
(6)
여기서, H x 및H y 의 작용은 이전의 계산 방식에서의W k 및 W q ，의 작용과 유사하고, f x 및 f y 를 동일한 차원(d k )으로 변환시키기 위한 것이다. 여기서 [;]는 스플라이싱을 표시하고, 즉 두 개의 벡터를 직접 스플라이싱한다. MLP는 멀티 레이어 퍼셉트론이고, 구체적인 파라미터 설정이 비교적 유연할 수 있다.
위에서 언급한 두 개의 방식은 재가중 벡터(w y ) 및 잔차 벡터(b y )를 계산하여 획득하는 것을 설명하고, 이 두 개의 벡터의 차원은 모두Cy * 1이다.
단계 302에 있어서, 상기 집합 특징에 기반하여, 상기 타깃 노드의 노드 특징을 업데이트하는 것은, 재가중 벡터에 기반하여 타깃 노드의 노드 특징의 각 채널에 대해 곱셈 처리를 수행하는 것 또는, 잔차 벡터를 통해 타깃 노드의 노드 특징의 각 채널에 대해 합산 처리를 수행하는 것 중 적어도 하나를 포함한다.
본 단계에 있어서, 집합 특징에 따라 타깃 노드의 노드 특징을 업데이트할 경우, 다양한 방식이 존재할 수도 있다.
아래와 같은 업데이트 공식을 예로 들수 있다.
Figure pct00010
(7)
여기서, 타깃 노드는 y이고, 차원은 Cy * Ly이고, Cy는 채널 차원이며, Ly는 타깃 노드의 각 채널의 특징 크기이며; 상기 타깃 노드의 업데이트 전의 특징은 f y 이고, 업데이트된 새로운 특징은 f y '이며, M 개의 유향 에지가 상기 타깃 노드y를 가리킨다고 가정하면, 이 M 개의 유향 에지의 시작점은 즉 M 개의 보조 노드이고, 이러한M 개의 보조 노드로 구성된 집합은N(y)이고, 각 보조 노드의 특징 차원은
Figure pct00011
이다. 상기 공식을 통해M 개의 보조 노드의 노드 특징으로부터 집합 특징을 얻은 이후 타깃 노드 y로 전송하여, 업데이트된 새로운 특징(f y ')를 얻는다.
먼저, w y 및 b y 는 단계 300에 도시된 두 개의 방식에 따라 얻을 수 있고, 이 두 개의 벡터의 차원은 Cy *1이다. 계속하여 상기 공식을 참조하고, 상기 공식을 대표하는 조작은 다음과 같은 내용을 포함한다.
1) Sigmoid 활성화 함수를 통해, w y 를 (0,1) 구간에 매핑하고; 활성화 함수 Tanh, 및 타깃 노드의 업데이트 전의 노드 특징f y 의 표준 편차(σ(f y ))를 통해, 잔차 벡터(b y )의 값을 기설정된 수치 구간[-stand, +stand]으로 매핑한다. 여기서, σ(f y )는 f y 의 각 채널의 표준 편차를 구하는 것을 의미하고, 길이가 Cy * 1인 벡터이며, 각 비트는 f y 가 대응되는 채널에서의Ly 위치 데이터의 표준 편차를 표시한다. Conv는 1차원의 컨볼루션 작업이고, 컨볼루션 커널의 크기는 1이며, 입력된 채널 개수와 출력된 채널 개수는 모두 Cy이다.
2) 잔차 벡터에 대해, 상기 잔차 벡터
Figure pct00012
는 f y 의 각 채널의 모든 특징 위치에 "방송"되며 즉
Figure pct00013
이다. 다음, f y 의 각 채널의 개수에 재가중 벡터를 곱하고, 구체적인 공식에 있어서, 각 채널에서의 모든 특징 위치의 개수에 sigmoid활성화 함수를 통해 변환된 재가중 벡터를 곱한다. 마지막으로, 컨볼루션 작업을 통해 각 채널의 정보에 대해 융합을 수행하고, 업데이트된 특징을 얻는다.
상기 공식은 동시에 재가중 벡터 및 잔차 벡터를 계산하는 것을 예로 들어 설명하고, 실제 실시예서 다양한 변형 형식이 존재할 수 있다. 예를 들어, 재가중 벡터(w y )를 사용하지 않고, 또는 잔차 벡터(b y )를 사용하지 않으며, 또는 컨볼루션 작업 Conv를 사용하지 않는 등이다. 더 예를 들어, 컨볼루션 작업의 컨볼루션 커널의 크기도 변경할 수 있고, 또는 먼저 재가중 벡터(w y ) 및 잔차 벡터(b y )에 대해 컨볼루션을 수행한 다음 f y 의 각 채널로 전파될 수 있다. 더 예를 들어, 집합 특징을 타깃 노드의 노드 특징에 융합할 경우, 상기 공식에 도시된 곱셈 및 덧셈 작업 이외에, 나눌셈, 뺄셈 또는 복수 개의 인서트(예를 들어, 먼저 더한 다음 곱하기 등)의 형식을 포함할 수 있다.
본 실시예의 시나리오 정보 검출 방법은, 아래와 같은 효과를 구비한다.
첫째, 노드 특징을 업데이트할 경우 상이한 노드 사이에서 채널 레벨의 정보를 전송하는 것을 통해, 이질성 노드 사이에서 정보를 전송할 수 있도록 함으로써, 여러 타입의 정보를 융합하여 시나리오 정보의 검출을 수행함으로써, 시나리오 정보 검출로 하여금 더욱 정확하도록 하고; 또한, 채널 레벨의 정보만을 전송하기에 정보 전송량을 줄이고, 이질성 노드 사이의 빠른 정보 전송을 수행하고; 상이한 이질성 노드 사이의 노드 특징의 정보에 대해 미리 압축할 필요가 없음으로써, 노드 특징의 원래의 내용을 충분히 유지하고, 원래의 특징에 대해 비가역 압축이 필요하지 않음으로써, 상이한 프레임워크에 쉽게 적용될 수 있고, 광범위한 적용성을 가진다.
둘째, 채널 레벨의 재가중 벡터 및 잔차 벡터를 획득하고 타깃 노드로 전파하여, 타깃 노드의 최적화 효과로 하여금 더욱 좋도록 하고, 타깃 노드에 따른 최종적인 시나리오 검출이 더욱 정확하도록 한다.
셋째, 또한, 본 실시예에서, 타깃 노드 특징의 표준 편차를 통해 잔차 벡터의 값의 범위를 구속하고, 업데이트된 새로운 특징으로 하여금 업데이트 전의 특징의 분포에서 비교적 큰 오프셋이 발생하지 않도록 함으로써, 이질성 노드의 특징 분포의 차이가 타깃 특징 업데이트에 대한 영향을 줄인다.
전술한 바와 같이, 본 실시예에서 제공한 이질성 노드 사이의 정보 전송 매커니즘은, 채널 레벨 정보의 전송을 통해 상이한 특징 차원의 이질성 노드 사이의 정보 전송을 구현하고, 표준 편차를 통해 잔차 벡터의 값의 범위를 제한하여 상이한 특징 분포의 이질성 노드가 타깃 노드 특징 분포에 대한 영향을 저하시킴으로써, 상기 매커니즘은 이질성 노드 사이의 정보 전송을 구현하고, 다양하고 풍부한 노드 특징을 통해 타깃 노드 특징에 대해 최적화를 수행함으로써, 최적화된 타깃 노드 특징에 기반하여 시나리오 검출을 수행할 경우 더욱 정확하도록 한다.
아래는 시나리오 이미지에서의 대상 관계 검출을 예로 들어, 시나리오 정보의 검출 방법을 설명하고, 아래의 실시예에서, 검출된 시나리오 정보는 시나리오 이미지에서의 두 개의 대상 사이의 관계이며, 또한, 이 두 개의 대상을 각각 사람 및 물체로 예를 들어, 사람 및 물체 사이의 관계(Human-object Interaction Detection, 줄여서 HOI 검출이라고 지칭함)를 식별하며, 예를 들어 사람이 공을 치는 경우 일수 있다.
도 4의 예를 참조하며, 상기 도 4는 HOI 검출을 수행할 경우 시나리오 이미지에 따라 구축된 시나리오 이기종 그래픽을 도시한다. 본 실시예는 시나리오 이기종 그래픽에 세가지 노드가 포함되는 것을 예로 들고, 즉 픽셀 노드, 물체 노드 및 대상 그룹 노드 세가지 노드가 포함된 것을 예로 들고; 다른 선택 가능한 실시예에 있어서, 상기 이기종 그래픽에는 다른 타입의 노드가 포함될 수도 있다. 아래는 상기 세 개 타입 노드의 노드 특징의 획득 방식을 도시하지만, 실제 실시예 있어서 이에 한정되지 않고, 다른 방식을 통해 노드 특징을 획득할 수 도 있다.
픽셀 노드(Vpix)에 있어서, 구체적인 구현 방식은 FPN을 이용하여 시나리오 이미지에 따라 특징 추출을 수행하여, 복수 개의 특징맵을 얻은 - 상기 복수 개의 특징맵은 각각 상이한 크기를 구비함 - 다음; 상기 복수 개의 특징맵을 동일한 크기로 스케일링한 이후 하나의 컨볼루션 레이어를 통해 융합을 수행하여 융합된 특징맵을 얻으며; 마지막으로, 상기 융합된 특징맵에 따라, 복수 개의 상기 픽셀 노드의 노드 특징을 얻는다. 예를 들어, 융합된 특징맵의 특징 차원은 256 * 7 * 7이고, 여기서 256은 채널 차원이며, H 및 W는 각각 특징맵의 높이 및 너비를 표시한다. 따라서, 시나리오 이기종 그래픽에는 H * W 개의 픽셀을 표시하기 위한 노드 즉 픽셀 노드가 포함될 수 있고, 각 픽셀 노드의 차원은 256이다.
상기 방식에 있어서, 상이한 크기의 특징맵을 융합시키는 것을 통해, 융합된 특징맵에 많은 낮은 시맨틱 특징 및 부분 특징(고해상도 맵으로 부터 얻은 것임)을 포함할 뿐만아니라, 많은 높은 시맨틱 특징 및 부분 특징(저해상도 맵으로 부터 얻은 것임)을 포함하도록 할 수 있음으로써, 픽셀 노드에 더욱 풍부한 이미지 내용을 융합하여, 후속 시나리오 정보의 검출 정확도를 향상시키는데 도움이 되도록 한다.
물체 노드(Vinst)는, 예를 들어, Faster R-CNN을 이용하여 시나리오 이미지에 대해 처리를 수행하여, 시나리오 이미지에서 모든 물체의 카테고리 및 위치를 검출하고, RoI Align 알고리즘을 사용하여 각 물체의 특징을 추출할 수 있다. 검출 알고리즘이 이 시나리오에 N 개의 물체가 존재한다는 것을 검출하였다고 가정하면, 시나리오 이기종 그래픽에는 N 개의 물체 노드가 상이한 물체를 표시하기 위해 존재하고, 각 물체 노드의 특징 차원은 256 * 7 * 7이다. 상기 물체 노드는 예를 들어 사람, 공, 말 등일 수 있다. 또는, 다른 예에 있어서, 물체 검출 프레임에서의 내용에 대해 하나의 심층 컨볼루션 신경 네트워를 통해, 예를 들어 ResNet50을 통해 특징을 추출할 수 있다.
대상 그룹 노드(Vpair)에 있어서, 시나리오 이미지에 N 개의 물체가 존재한다고 가정하면, N * (N - 1) 개의 대상 그룹 노드를 구성할 수 있다. 여기서, O1 및O2 두 개의 물체 노드에 대해, "O1-O2"는 하나의 대상 그룹 노드이면, 상기 대상 그룹 노드의 주체는O1이고, 객체는O2이며; "O2-O1"는 다른 하나의 대상 그룹 노드이면, 상기 대상 그룹 노드의 주체는 O2이고, 객체는 O1이다.
각 대상 그룹 노드의 특징은 세 개의 영역의 특징에 의해 결정된다. 구체적으로, 대상 그룹 노드가 포함한 두 개의 물체의 노드가 물체에 대응되는 위치를 각각 (ax1, ay1, ax2, ay2) 및 (bx1, by1, bx2, by2)라고 설정하면, 여기서 ax1은 첫 번째 물체의 검출 프레임 왼쪽 상단 모서리의 횡좌표이고, ay1은 첫 번째 물체의 검출 프레임 왼쪽 상단 모서리의 종좌표이며, ax2 는 첫 번째 물체의 검출 프레임 오른쪽 하단 모서리의 횡좌표이고, ay2 는 첫 번째 물체의 검출 프레임 오른쪽 하단 모서리의 종좌표이며, bx1은 두 번째 물체의 검출 프레임 왼쪽 상단 모서리의 횡좌표이고, by1은 두 번째 물체의 검출 프레임 왼쪽 상단 모서리의 종좌표이며, bx2 는 두 번째 물체의 검출 프레임 오른쪽 하단 모서리의 횡좌표이고, by2 는 두 번째 물체의 검출 프레임 오른쪽 하단 모서리의 종좌표이다. 다음 세 개의 영역에 대해 RoI Align 알고리즘을 이용하여 특징 추출을 수행한다((ax1, ay2, ax2, ay2), (bx1, by1, bx2, by2), (min(ax1, bx1), min(ay1, by1), max(ax2, bx2), max(ay2, by2)). 각 영역이 RoI Align 알고리즘을 경과한 이후의 특징 차원은 모두 256 * 7 * 7이고, 따라서 3 개의 256 * 7 * 7 의 특징맵을 얻는다. 스플라이싱한 이후 하나의 차원이 768 * 7 * 7 인 특징맵을 얻을 수 있고, 이 특징맵을 대상 그룹 노드의 노드 특징으로 사용한다. 따라서 시나리오 이기종 그래픽에는 이러한 N * (N - 1) 개의 대상 그룹 노드가 포함되고, 각 대상 그룹 노드의 특징 차원은 768 * 7 * 7이다.
이미지에서의 세 개의 노드의 노트 특징을 결정한 이후, 각 노드 사이에 연결된 유향 에지를 구축해야 한다. 상이한 이질성 노드 사이에 에지를 구축하는 다양한 방식이 존재할 수 있지만, 아래는 두 가지 방식을 도시한다.
[에지 구축 방식 1]
모든 픽셀 노드를 모든 대상 그룹 노드에 연결하면, H * W * N * (N - 1) 개의 유향 에지를 얻는다. 모든 물체 노드 사이를 둘둘씩 연결하면, N * (N - 1) 개의 유향 에지를 얻는다. 모든 물체 노드 및 대응되는 대상 그룹 노드(이 대상 그룹 노드에서의 주체 또는 객체가 상기 물체임)를 연결하면, 2 * N * (N-1) 개의 유향 에지를 얻는다.
[에지 구축 방식2]：
모든 픽셀 노드를 모든 물체 노드에 연결하면, H * W * N 개의 유향 에지를 얻는다. 모든 물체 노드 사이를 둘둘씩 연결하면, N * (N - 1) 개의 유향 에지를 얻는다. 모든 물체 노드 및 대응되는 대상 그룹 노드(이 대상 그룹 노드에서의 주체 또는 객체가 상기 물체임)를 연결하면, 2 * N * (N-1) 개의 유향 에지를 얻는다.
상기 이미지 구축 방식에 있어서, 픽셀 노드의 노드 특징은 직접 대상 그룹 노드에 전송되지 않고, 먼저 물체 노드에 전송된 다음 물체 노드에 의해 대상 그룹 노드에 전송되며, 이러한 방식은 물체 노드를 브리지로 사용하고, 물체 노드의 개수가 비교적 적기 때문에, 정보 전송량을 저하시키고, 전송 효율을 향상시킨다.
상기 두가지 방식에서 전술한 바와 같이, 노드 사이 연결된 에지는 유향 에지이고, 예를 들어, 복수 개의 픽셀 노드 중 하나의 픽셀 노드(Vpix)를 물체 노드(Vinst)에 연결하면, 상기 유향 에지는 픽셀 노드(Vpix)에서 물체 노드(Vinst)로 가리키고, 시작점은 픽셀 노드(Vpix)이고, 종점은 물체 노드(Vinst)이다.
픽셀 노드, 물체 노드 및 대상 그룹 노드의 개수는 모드 복수 개일 수 있고, 상응하게, 상기 세 가지 타입의 유향 에지의 개수는 복수 개일 수도 있다. 이 세 가지 유향 에지의 집합은 아래와 같이 표시할 수 있다.
Figure pct00014
(8)
Figure pct00015
(9)
Figure pct00016
(10)
또한, 유향 에지를 구축할 경우, 전술한 두 가지 방식에 한정되지 않고, 조정을 수행할 수 있다. 예를 들어, 물체 노드 대상 사이의 연결된 에지를 삭제하거나, 인체 키포인트의 노드가 존재할 경우, 인체 키포인트의 노드를 물체 노드(인체 검출 프레임) 사이의 연결된 에지에 증가할 수 있다. 더 예를 들어, 또한, 대상 그룹 노드를 물체 노드에 다시 연결하여, 여러 라운드의 최적화를 수행할 수 있다. 예를 들어, 특정된 대상 그룹 노드(Vpair)의 노드 특징을 업데이트한 이후, 다시 시작점으로 사용하여 연결된 물체 노드를 업데이트한 다음, 상기 물체 노드가 업데이트된 이후 다시 돌아가 전술한 대상 그룹 노드(Vpair)를 업데이트 한다.
유향 에지가 어떻게 설정되었든, 상기 시나리오 이기종 그래픽이 노드 특징을 업데이트할 경우, 최종적으로 획득하는 노드 특징은 대상 그룹 노드의 특징이고, 상기 대상 그룹 노드의 노드 특징에 따라 대상 관계의 예측 결과를 얻는다. 따라서, 시나리오 이기종 그래픽에는 대상 그룹 노드를 최종적인 종점으로 사용하는 정보 전송 링크가 존재한다.
도 4에 도시된 바와 같이(도 4는 단순한 예시일 뿐이며, 실제 실시예서의 노드의 개수는 비교적 많음), 대상 그룹 노드(41)을 예로 들면, 전술한 정보 전송 링크는 세 개의 유향 에지 그룹을 포함하고,
(제1 유향 에지 그룹)：물체 노드(42)를 타깃 노드로 사용하고, 픽셀 노드(43), (44) 및 (45)를 각 보조 노드로 사용하여, 각 보조 노드의 노드 특징에 따라 물체 노드(42)의 노드 특징을 업데이트한다. 업데이트 방식은 전술한 공식을 따를 수 있고, 예를 들어, 재가중 벡터 및 잔차 벡터를 계산하여 얻고, 이러한 벡터의 채널 차원과 물체 노드(42)의 채널 차원은 동일하고, 물체 노드(42)에 대해 채널 레벨 업데이트를 수행한다.
(제2 유향 에지 그룹)：물체 노드(46)를 타깃 노드로 사용하고, 픽셀 노드(47) 및 (48)를 각 보조 노드로 사용하여, 각 보조 노드의 노드 특징에 따라 물체 노드(46)의 노드 특징을 업데이트한다. 업데이트 방식은 전술한 공식을 따를 수 있고, 여기서 상세히 설명하지 않는다.
(제3 유향 에지 그룹)：대상 그룹 노드(41)를 타깃 노드로 사용하고, 물체 노드(42) 및 (46)를 각 보조 노드로 사용하여, 각 보조 노드의 노드 특징에 따라 대상 그룹 노드(41)의 노드 특징을 업데이트한다.
전술한 바와 같이, 많은 이질성 노드를 포함하는 이기종 그래픽에 있어서, 각 유향 에지 그룹에서의 종점의 노드 특징을 순서대로 하나씩 업데이트할 수 있고, 각 유향 에지 그룹은 최종적으로 대상 그룹 노드의 노드 특징을 업데이트할 때까지 모두 시작점으로부터 종점으로 집합한다.
대상 그룹 노드의 노드 특징을 얻은 이후, 상기 업데이트된 대상 그룹 노드의 노드 특징에 따라, 상기 대상 그룹 노드에서 두 개의 대상 사이의 관계의 예측 결과를 얻을 수 있고, HOI의 관계 예측을 얻을 수 있다. 예를 들어, 아래의 공식에 따라 초기 분류 신뢰도를 획득할 수 있다.
Figure pct00017
(11)
위의 공식에 있어서, MLP는 멀티 레이어 퍼셉트론이고, s y 는 업데이트된 대상 그룹 노드의 노드 특징에 따라 f y 에 따라 얻은 초기 분류 신뢰도의 벡터이며, 상기 초기 분류 신뢰도에는 상기 대상 그룹 노드가 각 기설정된 관계 카테고리에 대응되는 신뢰도가 포함되며, 상기 벡터(sy)의 차원은 Cclass+1이고, 여기서 Cclass는 기설정된 관계 카테고리의 개수이고, 1은 "no action"이다. 예를 들어, 대상 그룹 노드에 대응되는 두 개의 대상이 하나는 사람이고 하나는 테니스공이면, 이 두 사이의 관계는"치다"이며, 즉 사람이 테니스공을 치다이며, "치다"(hit)는 하나의 기설정된 관계 카테고리이고, 마찬가지로 다른 관계가 존재할 수도 있으며, sy는 각 관계의 신뢰도를 포함한다.
다음, 또한 상기 초기 분류 신뢰도 및 대상 검출 신뢰도에 기반하여, 상기 두 개의 대상 사이 관계의 예측 결과를 얻는다. 아래의 공식을 참고하고,
Figure pct00018
(12)
여기서, c는 미리 결정된 관계 카테고리를 표시하고, y는 특정된 대상 그룹 노드를 표시하며, 즉 상기 대상 그룹 노드가 상기 기설정된 관계 카테고리(c)에서의 신뢰도를 표시하며, 대상 그룹 노드에서의 두 개의 대상 사이의 관계가 상기 기설정된 관계 카테고리(c)일 확률에 해당한다.
Figure pct00019
는 s y 벡터에서 c와 같은 기설정된 관계 카테고리에 대응되는 신뢰도 값이고,
Figure pct00020
및
Figure pct00021
는 각각 대상 그룹 노드에서 두 개의 대상에 각각 대응되는 대상 검출 신뢰도이고, 예를 들어,
Figure pct00022
는 인체 프레임의 검출 신뢰도,
Figure pct00023
는 물체 프레임의 검출 신뢰도이다. 실제 상황에 있어서, 하나의 대상 검출 기기(object detector)를 통해 시나리오 이미지에서 대상을 검출할 수 있고, 예를 들어 인체를 검출하거나 물체를 검출하여, 하나의 대응되는 인체 프레임 또는 물체 프레임을 얻을 수 있고, 동시에 상기 대상 검출 기기는 하나의 검출 점수(detection scores)를 출력하며, 대상 검출 신뢰도로 칭할 수 있다. 검출 프레임은 완벽하지 않기 때문에, 잘못 검출되거나 정확하지 않은 경우가 존재할 수 있으며, 따라서 검출 프레임도 하나의 신뢰도가 존재하고, 즉 전술한 대상 검출 신뢰도가 존재한다.
실제 실시예 있어서, 하나의 대상 관계의 예측 결과의 임계값을 설정할 수 있고, 특정된 대상 그룹 노드에 대해, 최종적인 예측 결과가 상기 임계값에 도달하여야만, 상기 대상 그룹 노드의 두 개의 대상이 이러한 관계를 구비하는 것을 결정한다.
일 시나리오 이미지를 예로 들면, 상기 시나리오 이미지에서의 모든 pair를 순회할 수 있고, 예를 들어 모든 사람 및 물체를 매칭하여 대상 그룹 노드를 생성할 수 있다. 각 대상 그룹 노드에 대해, 상기 방식에 따라 상기 대상 그룹 노드가 각 기설정된 관계 카테고리에 각각 대응되는 신뢰도를 획득하고, 임계값보다 높은 신뢰도의 대상 그룹 노드를 시나리오 이미지에서 식별된 HOI관계로 결정한다.
전술한 각 실시예에서의 HOI관계의 검출은, 다양한 응용을 구비할 수 있고,
예를 들어, 스마트 시티에서 비정상적인 행동 검출을 수행하고, 상기 방법을 통해 사람과 사람 사이의 폭력 사태거나, 누군가가 상점을 부수고 있는지 여부 등을 더욱 잘 판단할 수 있다.
더 예를 들어, 마트에서 쇼핑하는 장면에 있어서, 상기 방법을 통해 마트에서 수집된 이미지에 대해 처리를 수행하는 것을 통해, 각 사람의 구매 내용 및 어떤 상품에 대한 관심이 높은지를 자동으로 분석할 수 있다.
도 5는 예시적인 시나리오 정보의 검출 장치를 제공하고, 도 5에 도시된 바와 같이, 상기 장치는, 특징 처리 모듈(51), 특징 업데이트 모듈(52) 및 정보 결정 모듈(53)을 포함할 수 있다.
시나리오 이기종 그래픽에서 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 전파될 집합 특징을 얻도록 -상기 집합 특징의 특징 차원은 Cy*1이고, 상기 Cy는 상기 집합 특징의 채널 차원이고, 상기 Cy와 타깃 노드의 노드 특징의 채널 차원은 동일하며, 상기 시나리오 이기종 그래픽은 적어도 두 가지의 이질성 노드를 포함하며, 상기 적어도 두 가지의 노드는, 상기 보조 노드 및 상기 시나리오 이미지에 기반하여 얻은 상기 타깃 노드를 포함함 - 구성된 특징 처리 모듈(51);
상기 집합 특징에 기반하여, 상기 타깃 노드의 노드 특징을 업데이트하도록 구성된 특징 업데이트 모듈(52); 및
업데이트된 상기 타깃 노드의 노드 특징에 따라, 상기 시나리오 이미지에서의 시나리오 정보를 획득하도록 구성된 정보 결정 모듈(53)을 포함한다.
일부 실시예에 있어서, 상기 특징 업데이트 모듈(52)은, 상기 집합 특징에 기반하여, 상기 타깃 노드의 노드 특징을 업데이트할 경우, 상기 집합 특징의 각 채널의 채널 특징에 따라, 상기 타깃 노드의 노드 특징에서 상기 각 채널에 대응되는 모든 특징 위치에 대해 상기 채널 특징을 이용하여 특징 업데이트 처리를 수행하도록 구성된다.
일부 실시예에 있어서, 상기 특징 처리 모듈(51)은 또한, 시나리오 이기종 그래픽에서 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 재가중 벡터 및 잔차 벡터 중 적어도 하나를 얻어 상기 집합 특징으로 사용하도록 구성된다.
상기 특징 업데이트 모듈(52)은 또한, 상기 재가중 벡터에 기반하여 타깃 노드의 노드 특징의 각 채널에 대해 곱셈 처리를 수행하는 것 및 상기 잔차 벡터를 통해 타깃 노드의 노드 특징의 각 채널에 대해 합산 처리를 수행하는 것 중 적어도 하나를 수행하도록 구성된다.
일부 실시예에 있어서, 상기 특징 처리 모듈(51)은 재가중 벡터 및 잔차 벡터 중 적어도 하나를 얻어 상기 집합 특징으로 사용하도록 구성될 경우, 활성화 함수 및 상기 타깃 노드의 노드 특징의 표준 편차를 통해, 상기 잔차 벡터의 값을 기설정된 수치 구간으로 매핑하여 상기 집합 특징으로 사용하도록 구성된다.
일부 실시예에 있어서, 상기 타깃 노드는 대상 그룹 노드 - 상기 대상 그룹은 상기 시나리오 이미지에서의 두 개의 대상을 포함함 - 를 포함하고; 상기 정보 결정 모듈(53)은 또한, 업데이트된 대상 그룹 노드의 노드 특징에 따라, 상기 대상 그룹 노드에서 두 개의 대상 사이의 관계의 예측 결과를 얻도록 구성된다.
일부 실시예에 있어서, 상기 시나리오 이기종 그래픽에는, 상기 시나리오 이기종 그래픽 중 한 대상 그룹 노드를 종점으로 사용하는 정보 전송 링크가 포함되고, 상기 정보 전송 링크는 적어도 두 개의 유향 에지 그룹을 포함하고, 각 유향 에지 그룹은 복수 개의 시작점에서 동일한 종점을 가리키는 복수 개의 유향 에지를 포함하며; 상기 정보 전송 링크에서의 각 시작점 및 종점에는 적어도 두 개의 상기 이질성 노드가 포함된다. 상기 특징 처리 모듈(51)은, 상기 적어도 두 개의 유향 에지 그룹에서의 제1 유향 에지 그룹에 대해, 상기 제1 유향 에지 그룹이 가리키는 동일한 제1 종점을 상기 타깃 노드로 사용하고, 상기 제1 종점을 연결하는 각 시작점의 노드 특징에 따라 집합 특징을 얻으며; 상기 제1 종점은 동시에 상기 적어도 두 개의 유향 에지 그룹에서의 제2 유향 에지 그룹 중의 한 시작점으로 사용되며; 상기 제2 유향 에지 그룹에 대해, 상기 제2 유향 에지 그룹이 가리키는 동일한 제2 종점을 상기 타깃 노드로 사용하고, 상기 제2 종점을 연결하는 각 시작점의 노드 특징에 따라 집합 특징을 얻도록 구성된다. 상기 특징 업데이트 모듈(52)은, 상기 제1 종점의 각 시작점의 노드 특징을 연결하여 얻은 집합 특징에 기반하여 상기 제1 종점의 노드 특징을 업데이트하고; 상기 제2 종점의 각 시작점의 노드 특징을 연결하여 얻은 집합 특징에 기반하여 상기 제2 종점의 노드 특징을 업데이트하도록 구성된다.
일부 실시예에 있어서, 상기 적어도 두 개의 유향 에지 그룹의 한 상기 유향 에지 그룹의 시작점 및 종점에 있어서, 아래의 내용 중 적어도 하나를 포함하고,
상기 시작점은, 상기 시나리오 이미지에서 특징을 추출하여 얻은 각 픽셀 노드를 포함하고, 상기 종점은 상기 시나리오 이미지에서 추출된 물체 노드이며;
또는, 상기 시작점 및 종점은 모두 상기 시나리오 이미지에서 추출된 물체 노드를 포함하며;
또는, 상기 시작점은 상기 시나리오 이미지에서 추출된 물체 노드를 포함하고, 상기 종점은 상기 대상 그룹 노드를 포함하며;
또는, 상기 시작점은 상기 대상 그룹 노드를 포함하고, 상기 종점은 상기 물체 노드를 포함한다.
일부 실시예에 있어서, 상기 각 보조 노드는 복수 개의 픽셀 노드를 포함하고;
상기 특징 처리 모듈(51)은 또한,
상기 시나리오 이미지에 따라 특징 추출을 수행하여, 복수 개의 특징맵을 얻고 - 상기 복수 개의 특징맵은 각각 상이한 크기를 구비함 - ; 상기 복수 개의 특징맵을 동일한 크기로 스케일링한 이후 융합을 수행하여, 융합된 특징맵을 얻으며; 상기 융합된 특징맵에 따라, 복수 개의 상기 픽셀 노드의 노드 특징을 얻도록 구성된다.
일부 실시예에 있어서, 정보 결정 모듈(53)은 업데이트된 대상 그룹 노드의 노드 특징에 따라, 상기 대상 그룹 노드에서 두 개의 대상 사이의 관계의 예측 결과를 얻도록 구성된 경우, 상기 대상 그룹 노드의 노드 특징에 따라, 예측된 초기 분류 신뢰도를 얻고 - 상기 초기 분류 신뢰도에는 상기 대상 그룹 노드가 각 기설정된 관계 카테고리에 대응되는 초기 분류 신뢰도가 포함됨 - ; 상기 대상 그룹 노드가 상기 각 기설정된 관계 카테고리에서의 하나의 타깃 기설정된 관계 카테고리에 대응되는 초기 분류 신뢰도, 및 상기 대상 그룹 노드에서 두 개의 대상에 각각 대응되는 대상 검출 신뢰도에 따라, 상기 대상 그룹 노드에서의 두 개의 대상이 상기 타깃 기설정된 관계 카테고리에 대응되는 신뢰도를 얻으며; 상기 신뢰도가 기설정된 신뢰도 임계값보다 크거나 같으면, 상기 대상 그룹 노드에서의 두 개의 대상 사이의 관계의 예측 결과가 상기 타깃 기설정된 관계 카테고리인 것을 결정하도록 구성된다.
도 6은 또 다른 시나리오 정보의 검출 장치를 제공하고, 상기 장치는 이미지 처리 기기에 적용되며, 도 6에 도시된 바와 같이, 상기 장시나리오 정보의 검출 장치는 이미지 획득 모듈(61) 및 정보 출력 모듈(62)을 포함한다.
이미지 획득 모듈(61)은 이미지 수집 기기가 수집한 시나리오 이미지를 획득하도록 구성되고;
정보 출력 모듈(62)은, 본 출원의 어느 하나의 실시예의 검출 방법에 따라, 상기 시나리오 이미지에 대해 처리를 수행하여, 상기 시나리오 이미지에서의 시나리오 정보를 출력하도록 구성된다.
본 기술분야의 기술자는 본 출원의 하나 또는 복수 개의 실시예 방법, 시스템 또는 컴퓨터 프로그램 제품으로 제공될 수 있음을 알아야 한다. 따라서, 본 출원의 하나 또는 복수 개의 실시예는 완전한 하드웨어 실시예, 완전한 소프트웨어 실시예 또는 소프트웨어 및 하드웨어 측면의 실시예의 결합 형식을 사용할 수 있다. 또한, 본 출원의 하나 또는 복수 개의 실시예는 컴퓨터 사용 가능한 프로그램 코드를 포함하는 하나 또는 복수 개의 컴퓨터 사용 가능한 저장 매체(자기 디스크 기억 장치 및 광 메모리 등)에서 실시되는 컴퓨터 프로그램 제품의 형태를 사용할 수 있다.
본 출원의 실시예는 또한 컴퓨터 프로그램이 저장될 수 있는 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 프로그램은 프로세서에 의해 실행될 때 본 출원의 어느 한 실시예에 설명된 시나리오 정보의 검출 방법을 구현한다.
본 출원의 실시예는 또한 전자 기기를 제공하고, 상기 전자 기기는 메모리 프로세서를 포함하며, 상기 메모리는 컴퓨터 판독 가능한 명령어를 저장하도록 구성되고, 상기 프로세서는 본 출원의 어느 한 실시예의 시나리오 정보의 검출 방법을 구현하기 위해 상기 컴퓨터 명령어를 호출하도록 구성된다.
여기서, 본 출원의 실시예에서 전술한 "및/또는" 둘 중 적어도 하나를 구비하는 것을 의미하며, 예를 들어, "A1 및/또는 A2"는A1, A2, 및 "A1 및 A2" 세가지 방안을 포함한다.
본 출원에서의 각 실시예는 점진적인 방식을 사용하여 설명되고, 각 실시예 사이의 동일하고 유사한 부분은 서로 참조하면 되며, 각 실시예는 다른 실시예와의 상이한 점을 설명하는데 중점을 두고 있다. 특히, 데이터 처리 기기 실시예의 경우, 방법 실시예와 대체적으로 유사하므로, 설명된 것이 비교적 간단하고, 관련된 부분은 방법 실시예의 일부 설명을 참조하면 된다.
이상 본 출원의 특정한 실시예를 설명하였다. 다른 실시예는 첨부된 청구항의 범위 내에 존재한다. 일부 경우에, 첨부된 청구항에서 기재된 동작 또는 단계는 실시예와 다른 순서에 따라 실행될 수 있고 여전히 원하는 결과를 구현할 수 있다. 또한, 첨부 도면에서 도시된 과정은 원하는 결과를 구현하기 위해 도시된 특정한 순서 또는 연속적인 순서를 반드시 요구하지 않는다. 일부 실시형태에 있어서, 멀티 작업 처리 및 병행 처리는 가능할 수 있거나 유리할 수도 있다.
본 출원에서 설명된 주제 및 기능적 조작의 실시예는, 디지털 전자 회로, 유형적으로 반영된 컴퓨터 소프트웨어 또는 펌웨어, 본 출원에서 개시된 구조 및 구조적 등가물을 포함하는 컴퓨터 하드웨어, 또는 그들 중 하나 또는 복수 개의 조합 중에서 구현될 수 있다. 본 출원에서 설명된 주제의 실시예는 하나 또는 복수 개의 컴퓨터 프로그램으로 구현될 수 있고, 즉 유형적인 비일시적 프로그램 반송체에서 데이터 처리 장치에 의해 실행되거나 데이터 처리 장치의 조작을 제어하는 컴퓨터 프로그램 명령어를 코딩하는 하나 또는 복수 개의 모듈이다. 대안 가능하거나 추가적으로, 프로그램 명령어는 인공적으로 생성된 전파 신호에서 코딩될 수 있고, 예를 들어 기계에 의해 생성된 전기, 광 또는 전자기 신호이며, 상기 신호는 데이터 처리 장치에 의해 실행되기 위해 생성되어 정보를 코딩하고 적절한 수신기 장치에 전송된다. 컴퓨터 저장 매체는 기계 판독 가능한 저장 기기, 기계 판독 가능한 저장 기판, 랜덤 또는 직렬 액세스 메모리 기기, 또는 그들 중 하나 또는 복수 개의 조합일 수 있다.
데이터를 입력하여 조작하고 출력을 생성하는 것에 따라 상응하는 기능을 실행하기 위해, 본 출원에서 설명된 처리 및 논리 플로우는 하나 또는 복수 개의 컴퓨터 프로그램을 실행하는 하나 또는 복수 개의 프로그래머블 컴퓨터에 의해 실행될 수 있다. 상기 처리 및 논리 플로우는 또한 전용 논리 회로 - 예를 들어 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA) 또는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC)에 의해 실행될 수 있고, 장치도 전용 논리 회로로 구현될 수 있다.
컴퓨터 프로그램을 실행하는데 적절한 컴퓨터는, 예를 들어 범용 및 전용 마이크로 프로세서 중 적어도 하나, 또는 임의의 다른 타입의 중앙처리장치를 포함한다. 통상적으로, 중앙처리장치는 판독 전용 메모리 및 랜덤 액세스 메모리 중 적어도 하나로부터 명령어 및 데이터를 수신한다. 컴퓨터의 기본 컴포넌트는 명령어를 실시 또는 실행하기 위한 중앙처리장치 및 명령어 및 데이터를 저장하기 위한 하나 또는 복수 개의 메모리 기기를 포함한다. 통상적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 또는 복수 개의 대용량 저장 기기를 포함하며, 예를 들어 자기 디스크, 자기 광 디스크, 광 디스크 등이며, 또는 컴퓨터는 조작 가능하게 대용량 저장 기기에 커플링되어 이로부터 데이터를 수신하거나 이에 데이터를 전송하며, 또는 두 가지 경우가 동시에 존재할 수 있다. 그러나, 컴퓨터는 이러한 기기가 반드시 구비되어야 하는 것은 아니다. 또한, 컴퓨터는 다른 기기에 삽입될 수 있고, 예를 들어 모바일 핸드폰, 개인용 휴대 단말(personal digital assistant, PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, 글로벌 포지셔닝 시스템(Global Positioning System, GPS) 수신기이거나, 예를 들어 범용 직렬 버스(Universal Serial Bus, USB), 플래시 메모리 드라이버의 편의식 저장 기기이며, 이상만 예를 든다.
컴퓨터 프로그램 명령어 및 데이터를 저장하는데 적절한 컴퓨터 판독 가능한 매체는 모든 형태의 비휘발성 메모리, 매체 및 메모리 기기를 포함하고, 예를 들어 반도체 메모리 기기, 자기 디스크(예를 들어 내부 하드웨어 또는 모바일 디스크), 자기 광 디스크 및 CD ROM 및 DVD-ROM 디스크를 포함하고, 여기서, 반도체 메모리 기기는 소거 및 프로그램 가능 판독전용 메모리(Erasable Programmable Read-Only Memory, EPROM), 전기적 소거 가능한 프로그램 가능 판독 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM) 및 플래쉬 기기일 수 있다.
프로세서 및 메모리는 전용 논리 회로에 의해 보충되거나 전용 논리 회로에 통합될 수 있다.
본 출원이 많은 구체적인 실시 세부 사항을 포함하더라도, 이러한 것은 본 발명의 범위 또는 보호 요청된 범위를 한정하는 것으로 해석되어서는 안되고, 주로 구체적인 실시예의 특징을 설명하기 위한 것이다. 본 출원 내에서 복수 개의 실시예에서 설명된 일부 특징은 단일 실시예에서 조합되어 실시될 수 있다. 다른 측면에 있어서, 단일 실시예에서 설명된 다양한 특징은 복수 개의 실시예에서 분리되어 실시되거나 임의의 적절한 서브 세트로 실시될 수 있다. 또한, 특징이 상기와 같은 일부 조합에서 역할을 하고 심지어 최초로 이처럼 보호가 요청되더라도, 보호가 요청된 조합 중 하나 또는 복수 개의 특징은 이러한 경우에서 상기 조합으로부터 제거되며, 보호가 요청된 조합은 서브 조합 또는 서브 조합의 변형을 가리킬 수 있다.
이와 유사하게, 도면에서 특정한 순서로 조작을 설명하였지만, 이는 원하는 결과를 구현하기 위해 이러한 요구가 특정한 순서로 실행되거나 순차적으로 실행되어야 하거나, 모든 예의 조작이 실행되어야 하는 것으로 이해하여서는 안된다. 일부 경우에, 멀티 업무 및 병행 처리는 유리할 수 있다. 또한, 상기 실시예에서의 다양한 시스템 모듈 및 컴포넌트의 분리는 모든 실시예에서 이러한 분리가 필요한 것으로 이해되어서는 안되고, 설명된 프로그램 컴포넌트 및 시스템은 통상적으로 단일 소프트웨어 제품에 통합될 수 있거나, 복수 개의 소프트웨어 제품으로 패키징될 수 있음을 이해해야 한다.
이로써, 주제의 특정한 실시예는 이미 설명되었다. 다른 실시예는 청구범위의 범위 내에 존재한다. 일부 경우에, 청구범위에서 설명된 동작은 상이한 순서로 실행되고 여전히 원하는 결과를 구현한다. 또한, 첨부 도면에서 도시된 처리는 원하는 결과를 구현하기 위해 반드시 도시된 특정한 순서 또는 순차적인 순서여야 하는 것이 아니다. 일부 구현에 있어서, 멀티 업무 및 병행 처리는 유리할 수 있다.
이상의 내용은 본 출원의 하나 또는 복수 개의 실시예의 바람직한 실시예일 뿐, 본 출원의 하나 또는 복수 개의 실시예들을 한정하기 위한 것이 아니며, 본 출원의 하나 또는 복수 개의 실시예의 사상 및 원칙 내에서 이루어진 임의의 수정, 동등한 교체, 개선 등은, 본 출원의 하나 또는 복수 개의 실시예의 보호 범위에 포함되어야 한다.
본 출원의 실시예는 시나리오 정보의 검출 방법, 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체 및 컴퓨터 프로그램을 제공하고; 상기 시나리오 정보의 검출 방법은, 시나리오 이기종 그래픽에서 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 전파될 특징 차원이 Cy*1인 집합 특징을 얻는 단계 - Cy는 집합 특징의 채널 차원이고, Cy와 타깃 노드의 노드 특징의 채널 차원은 동일하며, 시나리오 이기종 그래픽은 적어도 두 가지의 이질성 노드인 보조 노드 및 시나리오 이미지에 기반하여 얻은 타깃 노드를 포함하고 - ; 집합 특징에 기반하여 타깃 노드의 노드 특징을 업데이트하는 단계; 및 업데이트된 타깃 노드의 노드 특징에 따라, 시나리오 이미지의 시나리오 정보를 획득하는 단계를 포함한다.

Claims (23)

  1. 시나리오 정보의 검출 방법으로서,
    시나리오 이기종 그래픽에서 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 전파될 집합 특징을 얻는 단계 - 상기 집합 특징의 특징 차원은 Cy*1이고, 상기 Cy는 상기 집합 특징의 채널 차원이고, 상기 Cy와 타깃 노드의 노드 특징의 채널 차원은 동일하며, 상기 시나리오 이기종 그래픽은 적어도 두 가지의 이질성 노드를 포함하며, 상기 적어도 두 가지의 이질성 노드는, 상기 보조 노드 및 상기 시나리오 이미지에 기반하여 얻은 상기 타깃 노드를 포함함 - ;
    상기 집합 특징에 기반하여, 상기 타깃 노드의 노드 특징을 업데이트하는 단계; 및
    업데이트된 상기 타깃 노드의 노드 특징에 따라, 상기 시나리오 이미지에서의 시나리오 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 시나리오 정보의 검출 방법.
  2. 제1항에 있어서,
    상기 집합 특징에 기반하여, 상기 타깃 노드의 노드 특징을 업데이트하는 단계는,
    상기 집합 특징의 각 채널의 채널 특징에 따라, 상기 타깃 노드의 노드 특징에서 상기 각 채널에 대응되는 모든 특징 위치에 대해 상기 채널 특징을 이용하여 특징 업데이트 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 시나리오 정보의 검출 방법.
  3. 제1항에 있어서,
    상기 시나리오 이기종 그래픽에서 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 전파될 집합 특징을 얻는 단계는,
    시나리오 이기종 그래픽에서 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 재가중 벡터 및 잔차 벡터 중 적어도 하나를 얻어 상기 집합 특징으로 사용하는 단계를 포함하고;
    상기 집합 특징에 기반하여, 상기 타깃 노드의 노드 특징을 업데이트하는 단계는,
    상기 재가중 벡터에 기반하여 타깃 노드의 노드 특징의 각 채널에 대해 곱셈 처리를 수행하는 단계 및 상기 잔차 벡터를 통해 타깃 노드의 노드 특징의 각 채널에 대해 합산 처리를 수행하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 시나리오 정보의 검출 방법.
  4. 제3항에 있어서,
    상기 재가중 벡터 및 잔차 벡터 중 적어도 하나를 얻어 상기 집합 특징으로 사용하는 단계는,
    활성화 함수 및 상기 타깃 노드의 노드 특징의 표준 편차를 통해, 상기 잔차 벡터의 값을 기설정된 수치 구간으로 매핑하여 상기 집합 특징으로 사용하는 단계를 포함하는 것을 특징으로 하는 시나리오 정보의 검출 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 타깃 노드는 대상 그룹 노드 - 상기 대상 그룹은 상기 시나리오 이미지에서의 두 개의 대상을 포함함 - 를 포함하고;
    업데이트된 상기 타깃 노드의 노드 특징에 따라, 상기 시나리오 이미지에서의 시나리오 정보를 획득하는 단계는,
    업데이트된 대상 그룹 노드의 노드 특징에 따라, 상기 대상 그룹 노드에서 두 개의 대상 사이의 관계의 예측 결과를 얻는 단계를 포함하고; 상기 시나리오 정보는 상기 예측 결과를 포함하는 것을 특징으로 하는 시나리오 정보의 검출 방법.
  6. 제5항에 있어서,
    상기 시나리오 이기종 그래픽에는, 상기 시나리오 이기종 그래픽 중 한 대상 그룹 노드를 종점으로 사용하는 정보 전송 링크가 포함되고, 상기 정보 전송 링크는 적어도 두 개의 유향 에지 그룹을 포함하고, 각 유향 에지 그룹은 복수 개의 시작점에서 동일한 종점을 가리키는 복수 개의 유향 에지를 포함하며; 상기 정보 전송 링크에서의 각 시작점 및 종점에는 적어도 두 개의 상기 이질성 노드가 포함되며;
    상기 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 전파될 집합 특징을 얻고, 상기 집합 특징에 기반하여, 상기 타깃 노드의 노드 특징을 업데이트하는 단계는,
    상기 적어도 두 개의 유향 에지 그룹에서의 제1 유향 에지 그룹에 대해, 상기 제1 유향 에지 그룹이 가리키는 동일한 제1 종점을 상기 타깃 노드로 사용하고, 상기 제1 종점을 연결하는 각 시작점의 노드 특징에 따라 집합 특징을 얻으며, 상기 집합 특징에 기반하여 상기 제1 종점의 노드 특징을 업데이트하는 단계 - 상기 제1 종점은 동시에 상기 적어도 두 개의 유향 에지 그룹에서의 제2 유향 에지 그룹 중의 한 시작점으로 사용됨 - ; 및
    상기 제2 유향 에지 그룹에 대해, 상기 제2 유향 에지 그룹이 가리키는 동일한 제2 종점을 상기 타깃 노드로 사용하고, 상기 제2 종점을 연결하는 각 시작점의 노드 특징에 따라 집합 특징을 얻으며, 상기 집합 특징에 기반하여 상기 제2 종점의 노드 특징을 업데이트하는 단계를 포함하는 것을 특징으로 하는 시나리오 정보의 검출 방법.
  7. 제6항에 있어서,
    상기 적어도 두 개의 유향 에지 그룹의 한 상기 유향 에지 그룹의 시작점 및 종점에 있어서,
    상기 시작점은, 상기 시나리오 이미지에서 특징을 추출하여 얻은 각 픽셀 노드를 포함하고, 상기 종점은 상기 시나리오 이미지에서 추출된 물체 노드이며;
    또는, 상기 시작점 및 종점은 모두 상기 시나리오 이미지에서 추출된 물체 노드를 포함하며;
    또는, 상기 시작점은 상기 시나리오 이미지에서 추출된 물체 노드를 포함하고, 상기 종점은 상기 대상 그룹 노드를 포함하며;
    또는, 상기 시작점은 상기 대상 그룹 노드를 포함하고, 상기 종점은 상기 물체 노드를 포함하는 것 중 적어도 하나를 포함하는 것을 특징으로 하는 시나리오 정보의 검출 방법.
  8. 제1항에 있어서,
    상기 각 보조 노드는 복수 개의 픽셀 노드를 포함하고;
    상기 시나리오 정보의 검출 방법은,
    상기 시나리오 이미지에 따라 특징 추출을 수행하여, 복수 개의 특징맵을 얻는 단계 - 상기 복수 개의 특징맵은 각각 상이한 크기를 구비함 - ;
    상기 복수 개의 특징맵을 동일한 크기로 스케일링한 이후 융합을 수행하여, 융합된 특징맵을 얻는 단계; 및
    상기 융합된 특징맵에 따라, 복수 개의 상기 픽셀 노드의 노드 특징을 얻는 단계를 더 포함하는 것을 특징으로 하는 시나리오 정보의 검출 방법.
  9. 제5항에 있어서,
    상기 업데이트된 대상 그룹 노드의 노드 특징에 따라, 상기 대상 그룹 노드에서 두 개의 대상 사이의 관계의 예측 결과를 얻는 단계는,
    상기 대상 그룹 노드의 노드 특징에 따라, 예측된 초기 분류 신뢰도를 얻는 단계 - 상기 초기 분류 신뢰도에는 상기 대상 그룹 노드가 각 기설정된 관계 카테고리에 대응되는 초기 분류 신뢰도가 포함됨 - ;
    상기 대상 그룹 노드가 상기 각 기설정된 관계 카테고리에서의 하나의 타깃 기설정된 관계 카테고리에 대응되는 초기 분류 신뢰도, 및 상기 대상 그룹 노드에서 두 개의 대상에 각각 대응되는 대상 검출 신뢰도에 따라, 상기 대상 그룹 노드에서의 두 개의 대상이 상기 타깃 기설정된 관계 카테고리에 대응되는 신뢰도를 얻는 단계; 및
    상기 신뢰도가 기설정된 신뢰도 임계값보다 크거나 같으면, 상기 대상 그룹 노드에서의 두 개의 대상 사이의 관계의 예측 결과가 상기 타깃 기설정된 관계 카테고리인 것을 결정하는 단계를 포함하는 것을 특징으로 하는 시나리오 정보의 검출 방법.
  10. 시나리오 정보의 검출 방법으로서,
    상기 시나리오 정보의 검출 방법은 이미지 처리 기기에 의해 실행되고, 상기 시나리오 정보의 검출 방법은,
    이미지 수집 기기가 수집한 시나리오 이미지를 획득하는 단계; 및
    제1항 내지 제9항 중 어느 한 항에 따라, 상기 시나리오 이미지에 대해 처리를 수행하여, 상기 시나리오 이미지에서의 시나리오 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 시나리오 정보의 검출 방법.
  11. 시나리오 정보의 검출 장치로서,
    시나리오 이기종 그래픽에서 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 전파될 집합 특징을 얻도록 - 상기 집합 특징의 특징 차원은 Cy*1이고, 상기 Cy는 상기 집합 특징의 채널 차원이고, 상기 Cy와 타깃 노드의 노드 특징의 채널 차원은 동일하며, 상기 시나리오 이기종 그래픽은 적어도 두 가지의 이질성 노드를 포함하며, 상기 적어도 두 가지의 이질성 노드는, 상기 보조 노드 및 상기 시나리오 이미지에 기반하여 얻은 상기 타깃 노드를 포함함 - 구성된 특징 처리 모듈;
    상기 집합 특징에 기반하여, 상기 타깃 노드의 노드 특징을 업데이트하도록 구성된 특징 업데이트 모듈; 및
    업데이트된 상기 타깃 노드의 노드 특징에 따라, 상기 시나리오 이미지에서의 시나리오 정보를 획득하도록 구성된 정보 결정 모듈을 포함하는 것을 특징으로 하는 시나리오 정보의 검출 장치.
  12. 제11항에 있어서,
    상기 특징 업데이트 모듈은, 상기 집합 특징에 기반하여, 상기 타깃 노드의 노드 특징을 업데이트할 경우, 상기 집합 특징의 각 채널의 채널 특징에 따라, 상기 타깃 노드의 노드 특징에서 상기 각 채널에 대응되는 모든 특징 위치에 대해 상기 채널 특징을 이용하여 특징 업데이트 처리를 수행하는 것을 포함하는 것을 특징으로 하는 시나리오 정보의 검출 장치.
  13. 제11항에 있어서,
    상기 특징 처리 모듈은 또한, 시나리오 이기종 그래픽에서 타깃 노드와 연결된 각 보조 노드의 노드 특징에 따라, 재가중 벡터 및 잔차 벡터 중 적어도 하나를 얻어 상기 집합 특징으로 사용하도록 구성되며;
    상기 특징 업데이트 모듈은 또한, 상기 재가중 벡터에 기반하여 타깃 노드의 노드 특징의 각 채널에 대해 곱셈 처리를 수행하는 것 및 상기 잔차 벡터를 통해 타깃 노드의 노드 특징의 각 채널에 대해 합산 처리를 수행하는 것 중 적어도 하나를 수행하도록 구성되는 것을 특징으로 하는 시나리오 정보의 검출 장치.
  14. 제13항에 있어서,
    상기 특징 처리 모듈은 재가중 벡터 및 잔차 벡터 중 적어도 하나를 얻어 상기 집합 특징으로 사용하도록 구성될 경우, 활성화 함수 및 상기 타깃 노드의 노드 특징의 표준 편차를 통해, 상기 잔차 벡터의 값을 기설정된 수치 구간으로 매핑하여 상기 집합 특징으로 사용하는 것을 포함하는 것을 특징으로 하는 시나리오 정보의 검출 장치.
  15. 제11항 내지 제14항 중 어느 한 항에 있어서,
    상기 타깃 노드는 대상 그룹 노드 - 상기 대상 그룹은 상기 시나리오 이미지에서의 두 개의 대상을 포함함 - 를 포함하고; 상기 정보 결정 모듈은 또한, 업데이트된 대상 그룹 노드의 노드 특징에 따라, 상기 대상 그룹 노드에서 두 개의 대상 사이의 관계의 예측 결과를 얻도록 구성되는 것을 특징으로 하는 시나리오 정보의 검출 장치.
  16. 제15항에 있어서,
    상기 시나리오 이기종 그래픽에는, 상기 시나리오 이기종 그래픽 중 한 대상 그룹 노드를 종점으로 사용하는 정보 전송 링크가 포함되고, 상기 정보 전송 링크는 적어도 두 개의 유향 에지 그룹을 포함하고, 각 유향 에지 그룹은 복수 개의 시작점에서 동일한 종점을 가리키는 복수 개의 유향 에지를 포함하며; 상기 정보 전송 링크에서의 각 시작점 및 종점에는 적어도 두 개의 상기 이질성 노드가 포함되며;
    상기 특징 처리 모듈은, 상기 적어도 두 개의 유향 에지 그룹에서의 제1 유향 에지 그룹에 대해, 상기 제1 유향 에지 그룹이 가리키는 동일한 제1 종점을 상기 타깃 노드로 사용하고, 상기 제1 종점을 연결하는 각 시작점의 노드 특징에 따라 집합 특징을 얻으며; 상기 제1 종점은 동시에 상기 적어도 두 개의 유향 에지 그룹에서의 제2 유향 에지 그룹 중의 한 시작점으로 사용되며; 상기 제2 유향 에지 그룹에 대해, 상기 제2 유향 에지 그룹이 가리키는 동일한 제2 종점을 상기 타깃 노드로 사용하고, 상기 제2 종점을 연결하는 각 시작점의 노드 특징에 따라 집합 특징을 얻도록 구성되며;
    상기 특징 업데이트 모듈은, 상기 제1 종점의 각 시작점의 노드 특징을 연결하여 얻은 집합 특징에 기반하여 상기 제1 종점의 노드 특징을 업데이트하고; 상기 제2 종점의 각 시작점의 노드 특징을 연결하여 얻은 집합 특징에 기반하여 상기 제2 종점의 노드 특징을 업데이트하도록 구성되는 것을 특징으로 하는 시나리오 정보의 검출 장치.
  17. 제16항에 있어서,
    상기 적어도 두 개의 유향 에지 그룹의 한 상기 유향 에지 그룹의 시작점 및 종점에 있어서,
    상기 시작점은, 상기 시나리오 이미지에서 특징을 추출하여 얻은 각 픽셀 노드를 포함하고, 상기 종점은 상기 시나리오 이미지에서 추출된 물체 노드이며;
    또는, 상기 시작점 및 종점은 모두 상기 시나리오 이미지에서 추출된 물체 노드를 포함하며;
    또는, 상기 시작점은 상기 시나리오 이미지에서 추출된 물체 노드를 포함하고, 상기 종점은 상기 대상 그룹 노드를 포함하며;
    또는, 상기 시작점은 상기 대상 그룹 노드를 포함하고, 상기 종점은 상기 물체 노드를 포함하는 것 중 적어도 하나를 포함하는 것을 특징으로 하는 시나리오 정보의 검출 장치.
  18. 제11항에 있어서,
    상기 각 보조 노드는 복수 개의 픽셀 노드를 포함하고;
    상기 특징 처리 모듈은 또한,
    상기 시나리오 이미지에 따라 특징 추출을 수행하여, 복수 개의 특징맵을 얻고 - 상기 복수 개의 특징맵은 각각 상이한 크기를 구비함 - ; 상기 복수 개의 특징맵을 동일한 크기로 스케일링한 이후 융합을 수행하여, 융합된 특징맵을 얻으며; 상기 융합된 특징맵에 따라, 복수 개의 상기 픽셀 노드의 노드 특징을 얻도록 구성되는 것을 특징으로 하는 시나리오 정보의 검출 장치.
  19. 제15항에 있어서,
    정보 결정 모듈은 업데이트된 대상 그룹 노드의 노드 특징에 따라, 상기 대상 그룹 노드에서 두 개의 대상 사이의 관계의 예측 결과를 얻도록 구성된 경우, 상기 대상 그룹 노드의 노드 특징에 따라, 예측된 초기 분류 신뢰도를 얻고 - 상기 초기 분류 신뢰도에는 상기 대상 그룹 노드가 각 기설정된 관계 카테고리에 대응되는 초기 분류 신뢰도가 포함됨 - ; 상기 대상 그룹 노드가 상기 각 기설정된 관계 카테고리에서의 하나의 타깃 기설정된 관계 카테고리에 대응되는 초기 분류 신뢰도, 및 상기 대상 그룹 노드에서 두 개의 대상에 각각 대응되는 대상 검출 신뢰도에 따라, 상기 대상 그룹 노드에서의 두 개의 대상이 상기 타깃 기설정된 관계 카테고리에 대응되는 신뢰도를 얻으며; 상기 신뢰도가 기설정된 신뢰도 임계값보다 크거나 같으면, 상기 대상 그룹 노드에서의 두 개의 대상 사이의 관계의 예측 결과가 상기 타깃 기설정된 관계 카테고리인 것을 결정하도록 구성되는 것을 특징으로 하는 시나리오 정보의 검출 장치.
  20. 시나리오 정보의 검출 장치로서,
    상기 장치는 이미지 처리 기기에 적용되고,
    상기 시나리오 정보의 검출 장치는,
    이미지 수집 기기가 수집한 시나리오 이미지를 획득하도록 구성된 이미지 획득 모듈; 및
    제1항 내지 제9항 중 어느 한 항에 따른 시나리오 정보의 검출 방법에 따라, 상기 시나리오 이미지에 대해 처리를 수행하여, 상기 시나리오 이미지에서의 시나리오 정보를 출력하도록 구성된 정보 출력 모듈을 포함하는 것을 특징으로 하는 시나리오 정보의 검출 장치.
  21. 전자 기기로서,
    메모리, 프로세서를 포함하고, 상기 메모리는 상기 프로세서에서 작동 가능한 컴퓨터 명령어를 저장하도록 구성되며, 상기 프로세서는 제1항 내지 제9항 중 어느 한 항에 따른 시나리오 정보의 검출 방법 또는 제10항에 따른 시나리오 정보의 검출 방법을 구현하기 위해 상기 컴퓨터 명령어를 호출하도록 구성되는 것을 특징으로 하는 전자 기기.
  22. 컴퓨터 판독 가능한 저장 매체로서,
    컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 제1항 내지 제9항 중 어느 한 항에 따른 시나리오 정보의 검출 방법 또는 제10항에 따른 시나리오 정보의 검출 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
  23. 컴퓨터 프로그램으로서,
    컴퓨터 판독 가능한 코드를 포함하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기의 프로세서는 제1항 내지 제9항 중 어느 한 항에 따른 시나리오 정보의 검출 방법 또는 제10항에 따른 시나리오 정보의 검출 방법을 구현하도록 구성되는 것을 특징으로 하는 컴퓨터 프로그램.
KR1020227017414A 2020-07-28 2020-10-13 시나리오 정보의 검출 방법, 장치, 전자 기기, 매체 및 프로그램 KR20220075442A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010739363.2A CN111860403A (zh) 2020-07-28 2020-07-28 场景信息的检测方法和装置、电子设备
CN202010739363.2 2020-07-28
PCT/IB2020/059587 WO2022023806A1 (zh) 2020-07-28 2020-10-13 程序场景信息的检测方法、装置、电子设备、介质和程序

Publications (1)

Publication Number Publication Date
KR20220075442A true KR20220075442A (ko) 2022-06-08

Family

ID=72948254

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227017414A KR20220075442A (ko) 2020-07-28 2020-10-13 시나리오 정보의 검출 방법, 장치, 전자 기기, 매체 및 프로그램

Country Status (5)

Country Link
JP (1) JP2023504387A (ko)
KR (1) KR20220075442A (ko)
CN (1) CN111860403A (ko)
TW (1) TWI748720B (ko)
WO (1) WO2022023806A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065587B (zh) * 2021-03-23 2022-04-08 杭州电子科技大学 一种基于超关系学习网络的场景图生成方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118439B (zh) * 2013-01-18 2016-03-23 中国科学院上海微系统与信息技术研究所 基于传感网节点通用中间件的数据融合方法
CN105138963A (zh) * 2015-07-31 2015-12-09 小米科技有限责任公司 图片场景判定方法、装置以及服务器
WO2018099473A1 (zh) * 2016-12-02 2018-06-07 北京市商汤科技开发有限公司 场景分析方法和系统、电子设备
CN108733280A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 智能设备的焦点跟随方法、装置、智能设备及存储介质
CN109214346B (zh) * 2018-09-18 2022-03-29 中山大学 基于层次信息传递的图片人体动作识别方法
CN110569437B (zh) * 2019-09-05 2022-03-04 腾讯科技（深圳）有限公司 点击概率预测、页面内容推荐方法和装置
CN110991532B (zh) * 2019-12-03 2022-03-04 西安电子科技大学 基于关系视觉注意机制的场景图产生方法
CN110689093B (zh) * 2019-12-10 2020-04-21 北京同方软件有限公司 一种复杂场景下的图像目标精细分类方法
CN111144577B (zh) * 2019-12-26 2022-04-22 北京百度网讯科技有限公司 异构图之中节点表示的生成方法、装置和电子设备
CN111325258B (zh) * 2020-02-14 2023-10-24 腾讯科技（深圳）有限公司 特征信息获取方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2022023806A1 (zh) 2022-02-03
TW202205144A (zh) 2022-02-01
JP2023504387A (ja) 2023-02-03
TWI748720B (zh) 2021-12-01
CN111860403A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
JP6893564B2 (ja) ターゲット識別方法、装置、記憶媒体および電子機器
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
CN110163057B (zh) 目标检测方法、装置、设备和计算机可读介质
CN113537254B (zh) 图像特征提取方法、装置、电子设备及可读存储介质
CN111666922A (zh) 视频匹配方法、装置、计算机设备和存储介质
KR102387357B1 (ko) 바운딩 박스를 시공간상으로 매칭하여 영상 내 객체를 검출하는 방법 및 장치
CN111325141A (zh) 交互关系识别方法、装置、设备及存储介质
CN113326768A (zh) 训练方法、图像特征提取方法、图像识别方法及装置
CN114005105B (zh) 驾驶行为检测方法、装置以及电子设备
CN115482375A (zh) 一种基于时空通联数据驱动的跨镜目标跟踪方法
CN114220063B (zh) 目标检测方法及装置
KR20220075442A (ko) 시나리오 정보의 검출 방법, 장치, 전자 기기, 매체 및 프로그램
JP7001149B2 (ja) データ提供システムおよびデータ収集システム
CN114913470B (zh) 一种事件检测方法及装置
US11423647B2 (en) Identification system, model re-learning method and program
CN113012215A (zh) 一种空间定位的方法、系统及设备
CN114332509B (zh) 图像处理方法、模型训练方法、电子设备及自动驾驶车辆
CN114972465A (zh) 图像目标深度的检测方法、装置、电子设备和存储介质
CN114373081A (zh) 图像处理方法及装置、电子设备及存储介质
CN112990009A (zh) 基于端到端的车道线检测方法、装置、设备及存储介质
CN111753766A (zh) 一种图像处理方法、装置、设备及介质
CN113515971A (zh) 数据处理方法及系统、网络系统及其训练方法、设备
US20240062541A1 (en) Detection system, detection method, and recording medium
CN115577728B (zh) 一维码定位方法、装置、计算机设备及存储介质
CN113111852B (zh) 目标检测方法、训练方法、电子设备及枪球联动系统

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal