KR102438093B1 - 객체를 연관시키는 방법 및 장치, 시스템, 전자 기기, 저장 매체 및 컴퓨터 프로그램 - Google Patents

Abstract

본 발명의 실시예는 객체를 연관시키는 방법 및 장치, 시스템, 전자 기기, 저장 매체 및 컴퓨터 프로그램을 개시한다. 상기 객체를 연관시키는 방법은, 제1 이미지 및 제2 이미지를 획득하는 단계; 및 상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계를 포함하며; 여기서, 하나의 객체의 주변 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 주변 설정 범위 내의 픽셀에 따라 결정된다.

Description

객체를 연관시키는 방법 및 장치, 시스템, 전자 기기, 저장 매체 및 컴퓨터 프로그램

관련 출원의 상호 참조

본 출원은 2020년 08월 01일에 싱가포르 특허청에 제출한, 출원 번호가 10202007356U이고, 발명의 명칭이 "객체를 연관시키는 방법 및 장치, 시스템, 전자 기기, 저장 매체 및 컴퓨터 프로그램”인 싱가포르 특허 출원의 우선권을 주장하며, 상기 싱가포르 특허 출원의 모든 내용은 인용을 통해 본 출원에 결합된다.

본 발명은 이미지 처리 기술에 관한 것이지만 이에 한정되지 않으며, 구체적으로 객체를 연관시키는 방법 및 장치, 시스템, 전자 기기, 저장 매체 및 컴퓨터 프로그램에 관한 것이다.

멀티 카메라 시스템은 일상 생활에서 흔히 볼 수 있다. 단일 카메라 시스템에 비해, 멀티 카메라 시스템은 시야가 더 넓으며, 예를 들어, 무인 차량은 일반적으로 멀티 카메라 시스템을 장착하여, 멀티 카메라 시스템을 통해 각 각도의 이미지를 수집하므로, 단일 카메라로 해결할 수 없는 차폐 문제를 해결할 수 있다. 멀티 카메라 시스템에서의 각각의 카메라의 정보를 융합하여 촬영 물체의 완전한 정보를 얻을 수 있다.

현재, 기존의 특징 비교 방법이나 딥 러닝 특징 비교 방법을 통해 멀티 카메라 융합을 수행할 수 있으나, 어떤 특징 비교 방법을 사용하더라도, 외관이 유사하거나 동일한 물체를 구별할 수 없다. 시나리오에 동일하거나 유사한 물체가 대량으로 포함된 시나리오의 경우, 특징 비교 방법을 사용하면 멀티 카메라 시스템에서의 각각의 카메라의 정보 융합 정밀도가 크게 감소될 수 있다.

본 발명의 실시예는 객체를 연관시키는 방법 및 장치, 시스템, 전자 기기, 저장 매체를 제공한다.

상기 목적을 달성하기 위해, 본 발명 실시예의 기술방안은 아래와 같은 방법으로 구현된다.

본 발명의 실시예는 객체를 연관시키는 방법을 제공하며,

제1 이미지 및 제2 이미지를 획득하는 단계; 및

상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계를 포함하며;

여기서, 하나의 객체의 주변 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 주변 설정 범위 내의 픽셀에 따라 결정된다.

본 발명의 실시예에서, 상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계는, 상기 제1 이미지에서의 각 객체의 주변 정보와 외관 정보, 및 상기 제2 이미지에서의 각 객체의 주변 정보와 외관 정보에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계를 포함하며; 여기서, 하나의 객체의 외관 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 내의 픽셀에 따라 결정된다.

본 발명의 실시예에서, 상기 제1 이미지에서의 각 객체의 주변 정보와 외관 정보, 및 상기 제2 이미지에서의 각 객체의 주변 정보와 외관 정보에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계는,

상기 제1 이미지에서의 각 객체의 외관 정보 및 상기 제2 이미지에서의 각 객체의 외관 정보에 기반하여 제1 특징 거리를 결정하는 단계 - 하나의 제1 특징 거리는 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이의 유사도를 나타냄 - ;

상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여 제2 특징 거리를 결정하는 단계 - 하나의 제2 특징 거리는 상기 제1 이미지에서의 하나의 객체의 주변 정보와 상기 제2 이미지에서의 하나의 객체 주변 정보 사이의 유사도를 나타냄 - ;

상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체에 대해, 두 객체의 제1 특징 거리 및 제2 특징 거리에 따라, 상기 두 객체 사이의 특징 거리를 결정하는 단계; 및

결정된 특징 거리에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계를 포함한다.

본 발명의 실시예에서, 상기 두 객체의 제1 특징 거리 및 제2 특징 거리에 따라, 상기 두 객체 사이의 특징 거리를 결정하는 단계는,

상기 두 객체의 제1 특징 거리 및 제2 특징 거리에 대해 가중 합산을 수행하여, 상기 두 객체 사이의 특징 거리를 획득하는 단계 - 상기 두 객체의 유사도가 높을수록, 가중 합산을 수행하는 동안 상기 두 객체의 제2 특징 거리의 가중 계수는 더욱 큼 - 를 포함한다.

본 발명의 실시예에서, 상기 객체를 연관시키는 방법은,

상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 기하학적 거리를 결정하는 단계를 더 포함하고;

상기 결정된 특징 거리에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계는,

상기 제1 이미지에서의 하나의 객체 및 상기 제2 이미지에서의 하나의 객체에 대해, 두 객체 사이의 특징 거리 및 기하학적 거리에 따라 상기 두 객체 사이의 거리를 결정하는 단계; 및

상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 거리에 따라, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계를 포함한다.

본 발명의 실시예에서, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 기하학적 거리를 결정하는 단계는,

상기 제1 이미지를 수집하는 제1 이미지 수집 기기의 제1 위치, 및 상기 제2 이미지를 수집하는 제2 이미지 수집 기기의 제2 위치를 획득하고, 상기 제1 이미지 수집 기기의 제1 내부 파라미터, 및 상기 제2 이미지 수집 기기의 제2 내부 파라미터를 획득하는 단계;

상기 제1 이미지에서의 하나의 객체의 중심점의 상기 제1 이미지에서의 제3 위치를 결정하는 단계;

상기 제1 위치, 상기 제2 위치, 상기 제3 위치, 상기 제1 내부 파라미터 및 상기 제2 내부 파라미터에 기반하여 상기 제2 이미지에서의 극선을 결정하는 단계 - 상기 극선은 상기 제1 이미지에서의 하나의 객체의 중심점과 상기 하나의 객체의 중심점이 상기 제1 이미지 수집 기기의 이미징 평면에서의 이미지 포인트의 연결선을 상기 제2 이미지에 투영하여 얻은 직선을 나타냄 - ;

상기 제2 이미지에서의 하나의 객체와 상기 극선 사이의 수직 픽셀 거리를 결정하는 단계; 및

결정된 수직 픽셀 거리에 따라 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 기하학적 거리를 결정하는 단계를 더 포함한다.

본 발명의 실시예에서, 상기 두 객체 사이의 특징 거리 및 기하학적 거리에 따라 상기 두 객체 사이의 거리를 결정하는 단계는,

상기 두 객체 사이의 특징 거리 및 상기 기하학적 거리에 대해 가중 합산을 수행하여, 상기 두 객체 사이의 거리를 획득하는 단계를 포함한다.

본 발명의 실시예에서, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 거리에 따라, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계는,

상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 거리에 기반하여 거리 행렬을 형성하는 단계 - 상기 거리 행렬에서의 하나의 요소의 값은 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이의 거리를 나타냄 - ; 및

상기 거리 행렬에 따라 상기 제1 이미지 및 상기 제2 이미지 사이의 인접 행렬을 결정하는 단계 - 상기 인접 행렬에서의 요소의 값은 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이가 연관되거나 연관되지 않음을 나타냄 - 를 포함한다. 상기 인접 행렬에서의 각 요소의 값이 1이면, 대응하는 제1 객체 및 제2 객체는 서로 연관됨을 나타내고; 상기 인접 행렬에서의 각 요소의 값이 0이면, 대응하는 제1 객체 및 제2 객체는 연관되지 않음을 나타낸다.

본 발명의 실시예는 또한 객체를 연관시키는 장치를 제공하며, 상기 객체를 연관시키는 장치는, 획득 유닛 및 결정 유닛을 포함하고; 여기서,

상기 획득 유닛은, 제1 이미지 및 제2 이미지를 획득하기 위한 것이며;

상기 결정 유닛은, 상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하기 위한 것이며; 여기서, 하나의 객체의 주변 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 주변 설정 범위 내의 픽셀에 따라 결정된다.

본 발명의 실시예에서, 상기 결정 유닛은, 상기 제1 이미지에서의 각 객체의 주변 정보와 외관 정보, 및 상기 제2 이미지에서의 각 객체의 주변 정보와 외관 정보에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하기 위한　것이며; 여기서, 하나의 객체의 외관 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 내의 픽셀에 따라 결정된다.

본 발명의 실시예에서, 상기 결정 유닛은, 상기 제1 이미지에서의 각 객체의 외관 정보 및 상기 제2 이미지에서의 각 객체의 외관 정보에 기반하여 제1 특징 거리를 결정하고 - 하나의 제1 특징 거리는 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이의 유사도를 나타냄 - ; 상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여 제2 특징 거리를 결정하며 - 하나의 제2 특징 거리는 상기 제1 이미지에서의 하나의 객체의 주변 정보와 상기 제2 이미지에서의 하나의 객체 주변 정보 사이의 유사도를 나타냄 - ; 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체에 대해, 두 객체의 제1 특징 거리 및 제2 특징 거리에 따라, 상기 두 객체 사이의 특징 거리를 결정하며; 결정된 특징 거리에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하기 위한 것이다.

본 발명의 실시예에서, 상기 결정 유닛은, 상기 두 객체의 제1 특징 거리 및 제2 특징 거리에 대해 가중 합산을 수행하여, 상기 두 객체 사이의 특징 거리를 획득하기 위한 것이고, 상기 두 객체의 유사도가 높을수록, 가중 합산을 수행하는 동안 상기 두 객체의 제2 특징 거리의 가중 계수는 더욱 크다.

본 발명의 실시예에서, 상기 결정 유닛은 또한, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 기하학적 거리를 결정하기 위한 것이고; 또한 상기 제1 이미지에서의 하나의 객체 및 상기 제2 이미지에서의 하나의 객체에 대해, 두 객체 사이의 특징 거리 및 기하학적 거리에 따라 상기 두 객체 사이의 거리를 결정하고; 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 거리에 따라, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하기 위한 것이다.

본 발명의 실시예에서, 상기 결정 유닛은, 상기 제1 이미지를 수집하는 제1 이미지 수집 기기의 제1 위치, 및 상기 제2 이미지를 수집하는 제2 이미지 수집 기기의 제2 위치를 획득하고, 상기 제1 이미지 수집 기기의 제1 내부 파라미터, 및 상기 제2 이미지 수집 기기의 제2 내부 파라미터를 획득하고; 상기 제1 이미지에서의 하나의 객체의 중심점의 상기 제1 이미지에서의 제3 위치를 결정하며; 상기 제1 위치, 상기 제2 위치, 상기 제3 위치, 상기 제1 내부 파라미터 및 상기 제2 내부 파라미터에 기반하여 상기 제2 이미지에서의 극선을 결정하고 - 상기 극선은 상기 제1 이미지에서의 하나의 객체의 중심점과 상기 하나의 객체의 중심점이 상기 제1 이미지 수집 기기의 이미징 평면에서의 이미지 포인트의 연결선을 상기 제2 이미지에 투영하여 얻은 직선을 나타냄 - ; 상기 제2 이미지에서의 하나의 객체와 상기 극선 사이의 수직 픽셀 거리를 결정하며; 및 결정된 수직 픽셀 거리에 따라 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 기하학적 거리를 결정하기 위한 것이다.

본 발명의 실시예에서, 상기 결정 유닛은, 상기 두 객체 사이의 특징 거리 및 상기 기하학적 거리에 대해 가중 합산을 수행하여, 상기 두 객체 사이의 거리를 획득하기 위한 것이다.

본 발명의 실시예에서, 상기 결정 유닛은, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 거리에 기반하여 거리 행렬을 형성하고 - 상기 거리 행렬에서의 하나의 요소의 값은 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이의 거리를 나타냄 - ; 상기 거리 행렬에 따라 상기 제1 이미지 및 상기 제2 이미지 사이의 인접 행렬을 결정 - 상기 인접 행렬에서의 요소의 값은 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이가 연관되거나 연관되지 않음을 나타냄 - 하기 위한 것이다.

본 발명의 실시예는 또한 객체를 연관시키는 시스템을 제공하고, 상기 객체를 연관시키는 시스템은,

제1 뷰에서 하나의 시나리오를 수집하여 제1 이미지를 얻기 위한 제1 이미지 수집 기기;

제2 뷰에서 상기 시나리오를 수집하여 제2 이미지를 얻기 위한 제2 이미지 수집 기기 - 상기 제1 뷰 및 상기 제2 뷰은 상이함 - ;

제1 이미지 및 제2 이미지를 획득하고; 상기 제1 이미지에서의 각 객체의 주변 정보, 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하기 위한 프로세서 - 하나의 객체의 주변 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 주변 설정 범위 내의 픽셀에 따라 결정됨 - 를 포함한다.

본 발명의 실시예는 또한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 프로그램이 프로세서에 의해 실행될 때 본 발명의 실시예에 따른 객체를 연관시키는 방법의 단계를 구현한다.

본 발명의 실시예는 또한 프로세서에서 작동 가능한 컴퓨터 프로그램이 저장된 메모리 및 프로세서를 포함하는 전자기기를 제공하며, 상기 프로세서는 상기 프로그램을 실행할 때 본 발명의 실시예에 따른 객체를 연관시키는 방법의 단계를 구현한다.

본 발명의 실시예는 또한 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하며, 상기 컴퓨터 판독 가능 코드가 컴퓨터에 의해 실행될 때, 본 발명의 실시예에 따른 객체를 연관시키는 방법의 단계를 구현한다.

본 발명의 실시예는 객체를 연관시키는 방법 및 장치, 시스템 전자 기기, 저장 매체 및 컴퓨터 프로그램을 제공하며, 상기 객체를 연관시키는 방법은, 제1 이미지 및 제2 이미지를 획득하는 단계; 및 상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계를 포함하며; 여기서, 하나의 객체의 주변 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 주변 설정 범위 내의 픽셀에 따라 결정된다. 본 발명의 실시예의 기술방안을 채택하여, 상이한 이미지에서의 각 객체의 주변 정보를 상이한 이미지의 객체 사이의 연관 매칭의 근거로 삼아, 두 이미지에서 외관이 유사하거나 동일한 물체의 연관 매칭을 구현함으로써, 연관 매칭의 정밀도를 향상시킨다.

도 1은 본 발명의 실시예의 객체를 연관시키는 방법의 흐름 모식도 1이다.
도 2는 본 발명의 실시예의 객체를 연관시키는 방법의 흐름 모식도 2이다.
도 3은 본 발명의 실시예의 객체를 연관시키는 방법에서의 특징 거리를 결정하는 모식도이다.
도 4는 본 발명의 실시예의 객체를 연관시키는 방법의 흐름 모식도 3이다.
도 5는 본 발명의 실시예의 객체를 연관시키는 방법에서의 기하학적 거리를 결정하는 모식도이다.
도 6은 본 발명의 실시예의 객체를 연관시키는 방법에서의 연관 관계를 결정하는 모식도이다.
도 7은 본 발명의 실시예의 객체를 연관시키는 장치의 구성 구조 모식도이다.
도 8은 본 발명의 실시예의 전자 기기의 하드웨어 구조 모식도이다.

아래에 첨부 도면 및 구체적인 실시예를 결부하여 본 발명에 대해 추가적으로 상세하게 설명하고자 한다.

본 발명의 실시예는 객체를 연관시키는 방법을 제공한다. 도 1은 본 발명의 실시예의 객체를 연관시키는 방법의 흐름 모식도 1이며; 도 1에 도시된 바와 같이, 상기 객체를 연관시키는 방법은 다음의 단계를 포함한다.

단계101에 있어서, 제1 이미지 및 제2 이미지를 획득한다.

단계102에 있어서, 상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하며; 여기서, 하나의 객체의 주변 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 주변 설정 범위 내의 픽셀에 따라 결정된다.

본 실시예에서, 제1 이미지 및 제2 이미지에는 모두 적어도 하나의 객체를 포함한다. 객체는 실제 시나리오에 나타날 수 있는 임의의 물체일 수 있으며, 본 실시예에서 객체의 타입에 대해 한정하지 않는다.

본 실시예에서, 제1 이미지 수집 기기를 통해 제1 이미지를 수집하고, 제2 이미지 수집 기기를 통해 제2 이미지를 수집할 수 있다. 일부 실시예에서, 제1 이미지 수집 기기 및 제2 이미지 수집 기기는 동일한 시나리오의 상이한 뷰에서 상기 시나리오에 대해 이미지 수집을 수행함으로써, 제1 이미지 및 제2 이미지를 각각 획득할 수 있다. 예시적으로, 제1 이미지 및 제2 이미지는 동일한 객체를 포함할 수 있으나, 제1 이미지 및 제2 이미지에서의 객체의 위치는 상이할 수 있다. 예를 들어, 제1 이미지 및 제2 이미지는 동일한 배경 및 사과 3 개를 포함하지만, 제1 이미지 및 제2 이미지에서의 사과 3 개의 위치는 상이하다.

다른 일부 실시예에서, 제1 이미지 및 제2 이미지는 동일한 객체 또는 적어도 일부 상이한 객체를 포함할 수 있으며, 제1 이미지 및 제2 이미지에서의 객체의 위치는 상이하다. 예를 들어, 제1 이미지 및 제2 이미지는 동일한 배경을 포함하되, 제1 이미지는 사과와 배를 각각 하나씩 포함하지만, 제2 이미지는 배와 귤을 각각 하나씩 포함하며, 본 예에서, 제1 이미지 및 제2 이미지는 일부 상이한 객체를 포함한다.

선택적으로, 객체의 주변 정보는 이미지에서의 객체의 주변 픽셀, 또는 객체의 주변 픽셀에 의해 추출된 특징을 포함한다. 동일한 시나리오에 대해, 상이한 뷰에서 수집된 상이한 이미지는, 두 이미지에서 외관이 동일하거나 유사한 객체의 주변 정보에도 약간 차이점이 있다. 이를 기반으로, 제1 이미지 및 제2 이미지에서의 각 객체의 외관이 동일하거나 유사한 경우, 제1 이미지 및 제2 이미지에서의 각 객체의 연관 관계를 결정하는 과정에서, 두 이미지에서의 각 객체의 주변 정보를 근거로, 연관 관계를 결정한다.

여기서, 두 이미지에 각각 위치한 두 객체 사이의 연관 관계는 두 객체가 서로 연관되거나 연관되지 않음을 나타내며, 두 이미지에 각각 위치한 두 객체가 서로 연관됨은 이 두 객체는 동일한 객체임을 나타내고, 두 이미지에 각각 위치한 두 객체가 서로 연관되지 않음은 이 두 객체가 동일한 객체가 아님을 나타낸다. 예시적으로, 제1 이미지 및 제2 이미지는 동일한 시나리오에 대해, 상이한 뷰에 따라 수집된 이미지이며; 시나리오에 사과 1, 사과 2 및 사과 3인 사과 3 개가 포함되면; 제1 이미지 및 제2 이미지에는 사과 1, 사과 2 및 사과 3이 모두 포함되며, 이에 따라, 제1 이미지에서의 사과 1 및 제2 이미지에서의 사과 1은 서로 연관되며, 제1 이미지에서의 사과 2 및 제2 이미지에서의 사과 2는 서로 연관되며, 제1 이미지에서의 사과 3 및 제2 이미지에서의 사과 3은 서로 연관된다. 제1 이미지에서의 사과 1 및 제2 이미지에서의 사과 2는 서로 연관되지 않고, 제1 이미지에서의 사과 1 및 제2 이미지에서의 사과 3은 서로 연관되지 않는 등이다.

본 발명의 일부 선택적인 실시예에서, 상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계는, 상기 제1 이미지에서의 각 객체의 주변 정보와 외관 정보, 및 상기 제2 이미지에서의 각 객체의 주변 정보와 외관 정보에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계를 포함하며; 여기서, 하나의 객체의 외관 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 내의 픽셀에 따라 결정된다.

본 실시예에서, 객체의 외관 정보는 객체가 위치한 영역 내의 픽셀 정보를 포함할 수 있다. 일부 실시예에서, 검출 박스를 통해 객체가 위치한 영역을 마킹할 수 있고, 검출 박스 내의 픽셀 정보를 외관 정보로 취할 수 있다. 일부 실시예에서, 수동으로 마킹하는 방식으로 각 이미지에서의 객체의 검출 박스에 대해 마킹을 수행할 수 있으므로, 전술한 제1 이미지 및 제2 이미지에서의 각 객체의 외관 정보를 획득한다. 다른 일부 실시예에서, 타깃 검출 네트워크를 통해 이미지를 처리하여, 이미지에서의 각 객체의 검출 박스를 얻고, 이미지에서의 각 객체의 검출 박스 내의 픽셀 정보를 각 객체의 외관 정보로 취한다.

본 실시예에서, 제1 이미지 및 제2 이미지에서의 각 객체의 검출 박스를 결정한 후, 각각의 객체의 검출 박스에 기반하여 각 객체의 주변 정보를 결정할 수 있다.

본 발명의 일부 선택적인 실시예에서, 각 객체의 주변 정보를 결정하는 단계는, 각 객체의 검출 박스가 위치한 영역을 확대하여, 확대된 특정 영역을 결정하는 단계 - 상기 특정 영역은 상기 검출 박스가 위치한 영역보다 크고, 상기 특정 영역은 상기 검출 박스가 위치한 영역을 포함함 - ; 및 상기 특정 영역 내에 있고 상기 검출 박스 밖에 있는 픽셀 정보를 상기 객체의 주변 정보로 결정하는 단계를 포함할 수 있다.

본 실시예에서, 각 객체의 검출 박스가 위치한 영역에 대해, 기설정된 비율에 따라 확장하며, 예를 들어, 검출 박스가 위치한 영역의 네 변을, 각각 대응하는 변 길이의 20%씩 확장하여, 상기 특정 영역을 획득하고; 상기 특정 영역 내에 있고 검출 박스 밖에 있는 영역에 대응하는 픽셀 정보를 하나의 객체의 주변 픽셀 정보로 취한다.

본 실시예에서, 제1 이미지에서의 객체의 주변 정보 및 외관 정보에 대해 특징 추출을 수행하고, 제2 이미지에서의 객체의 주변 정보 및 외관 정보에 대해 특징 추출을 수행할 수 있어, 제1 이미지에서의 하나의 객체와 제2 이미지에서의 하나의 객체의 주변 정보의 특징 및 외관 정보의 특징에 대해 매칭을 수행하여, 제1 이미지에서의 하나의 객체와 제2 이미지에서의 하나의 객체의 유사도를 결정하며, 상기 유사도에 기반하여 두 객체 사이의 연관 관계를 결정한다.

본 발명의 일부 선택적인 실시예에서, 도 2에 도시된 바와 같이, 전술한 상기 제1 이미지에서의 각 객체의 주변 정보와 외관 정보, 및 상기 제2 이미지에서의 각 객체의 주변 정보와 외관 정보에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계는 다음의 단계를 포함한다.

단계 201에 있어서, 상기 제1 이미지에서의 각 객체의 외관 정보 및 상기 제2 이미지에서의 각 객체의 외관 정보에 기반하여 제1 특징 거리를 결정하고, 하나의 제1 특징 거리는 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이의 유사도를 나타내며;

단계 202에 있어서, 상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여 제2 특징 거리를 결정하고, 하나의 제2 특징 거리는 상기 제1 이미지에서의 하나의 객체의 주변 정보와 상기 제2 이미지에서의 하나의 객체 주변 정보 사이의 유사도를 나타내며;

단계 203에 있어서, 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체에 대해, 두 객체의 제1 특징 거리 및 제2 특징 거리에 따라, 상기 두 객체 사이의 특징 거리를 결정하며;

단계 204에 있어서, 결정된 특징 거리에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정한다.

본 실시예에서, 특징 추출 네트워크를 통해 제1 이미지 및 제2 이미지에서의 각 객체의 외관 정보 및 주변 정보에 대해 각각 특징 추출을 수행할 수 있어, 외관 정보의 특징 추출에 대해, 제1 이미지에서의 각 객체의 제1 외관 특징 및 제2 이미지에서의 각 객체의 제2 외관 특징을 각각 획득할 수 있으며; 주변 정보의 특징 추출에 대해, 제1 이미지에서의 각 객체에 대응하는 제1 주변 특징 및 제2 이미지에서의 각 객체의 제2 주변 특징을 각각 획득할 수 있다. 예시적으로, 특징 추출 네트워크는 하나의 또는 복수 개의 컨볼루션 계층, 하나 또는 복수 개의 컨볼루션 계층은 제1 이미지 및 제2 이미지에서의 각 객체의 검출 박스 내의 픽셀 정보에 대해 컨볼루션 처리를 수행하여, 제1 이미지에서의 각 객체에 대응하는 제1 외관 특징 및 제2 이미지에서의 각 객체에 대응하는 제2 외관 특징을 얻을 수 있으며, 하나 또는 복수 개의 컨볼루션 계층은 제1 이미지 및 제2 이미지에서의 각 객체의 주변 정보에 대응하는 픽셀 정보에 대해 컨볼루션 처리를 수행하여, 제1 이미지에서의 각 객체에 대응하는 제1 주변 특징 및 제2 이미지에서의 각 객체에 대응하는 제2 주변 특징을 얻는다.

본 실시예에서, 제1 이미지에서의 임의의 객체가 제1 객체로 마킹되고, 제2 이미지에서의 임의의 객체가 제2 객체로 마킹되면, 제1 이미지에서의 제1 객체의 제1 외관 특징 및 제2 이미지에서의 제2 객체의 제2 외관 특징에 기반하여, 제1 특징 거리를 결정할 수 있고; 상기 제1 특징 거리는 상기 제1 객체 및 상기 제2 객체 사이의 유사도를 나타내며; 상기 제1 특징 거리가 클수록, 제1 객체 및 제2 객체 사이의 유사도가 더욱 낮음을 나타낼 수 있으며; 이에 따라, 상기 제1 특징 거리가 작을수록, 제1 객체 및 제2 객체 사이의 유사도가 더욱 높음을 나타낼 수 있다. 또한, 제1 객체에 대응하는 제1 주변 특징 및 제2 객체에 대응하는 제2 주변 특징에 기반하여, 제2 특징 거리를 결정하고, 상기 제2 특징 거리는 상기 제1 객체의 주변 정보 및 상기 제2 객체에 대응하는 주변 정보 사이의 유사도를 나타내며; 제2 특징 거리가 클수록, 상기 제1 객체의 주변 정보 및 상기 제2 객체의 주변 정보 사이의 유사도가 더욱 낮음을 나타낼 수 있으며; 이에 따라, 제2 특징 거리가 작을수록, 상기 제1 객체의 주변 정보 및 상기 제2 객체의 주변 정보 사이의 유사도가 더욱 높음을 나타낼 수 있다. 또한, 상기 제1 특징 거리 및 상기 제2 특징 거리에 기반하여 제1 객체 및 제2 객체 사이의 특징 거리를 얻고, 상기 특징 거리에 기반하여 상기 제1 객체 및 상기 제2 객체의 연관 관계를 결정한다.

일부 선택적인 실시예에서, 제1 외관 특징 및 제2 외관 특징에 기반하여 L2 거리를 계산할 수 있으며, 이 경우 L2 거리는 제1 특징 거리이며; 이에 따라, 제1 주변 특징 및 제2 주변 특징에 기반하여 L2 거리를 계산할 수 있으며, 이 경우 L2 거리는 제2 특징 거리이다.

예시적으로, L2 거리는 다음을 충족한다.

전술한 L2 거리가 제1 특징 거리인 경우,

및

는 각각 제1 외관 특징 및 제2 외관 특징을 나타내고, P는 제1 외관 특징 및 제2 외관 특징의 차원을 나타내며;

은 제1 외관 특징 및 제2 외관 특징 사이의 L2 거리를 나타낸다. 이에 따라, 전술한 L2 거리가 제2 특징 거리인 경우,

및

는 각각 제1 주변 특징 및 제2 주변 특징을 나타내고, P는 제1 주변 특징 및 제2 주변 특징의 차원을 나타내며;

은 제1 주변 특징 및 제2 주변 특징 사이의 L2 거리를 나타낸다.

일부 선택적인 실시예에서, 상기 두 객체의 제1 특징 거리 및 제2 특징 거리에 따라, 상기 두 객체 사이의 특징 거리를 결정하는 단계는, 상기 두 객체의 제1 특징 거리 및 제2 특징 거리에 대해 가중 합산을 수행하여, 상기 두 객체 사이의 특징 거리를 획득하는 단계 - 상기 두 객체의 유사도가 높을수록, 가중 합산을 수행하는 동안 상기 두 객체의 제2 특징 거리의 가중 계수는 더욱 큼 - 를 포함한다.

본 실시예에서, 제1 특징 거리 및 제2 특징 거리에 대해 가중 합산 처리를 수행하여, 제1 객체 및 제2 객체 사이의 특징 거리를 얻는다. 여기서, 특징 거리가 클수록, 제1 객체 및 제2 객체의 연관성이 더욱 낮음을 나타낼 수 있고; 이에 따라, 특징 거리가 작을수록, 제1 객체 및 제2 객체의 연관성이 더욱 큼을 나타낼 수 있다. 일부 선택적인 실시예에서, 특징 거리가 제1 기설정된 임계값보다 크면, 제1 객체 및 제2 객체가 연관되지 않음을 결정할 수 있고; 특징 거리가 제2 기설정된 임계값보다 작으면, 제1 객체 및 제2 객체가 연관됨을 결정할 수 있으며; 여기서, 제2 기설정된 임계값은 제1 기설정된 임계값보다 작고; 제1 기설정된 임계값 및 제2 기설정된 임계값의 값은 복수의 실험 또는 테스트에 따라 결정될 수 있다.

본 실시예에서, 상기 두 객체의 유사도가 높을수록, 가중 합산을 수행하는 동안 상기 두 객체의 제2 특징 거리의 가중 계수는 더욱 크며, 이해할 수 있는 것은, 두 객체가 더욱 유사할수록, 객체 사이의 연관 매칭 과정에서, 객체의 주변 정보 사이의 제2 특징 거리를 더욱 참조해야 한다.

일부 선택적인 실시예에서, 제1 외관 특징 및 상기 제2 외관 특징 사이의 유사도가 상이한데 기반하여 복수 개의 가중 계수를 미리 구성할 수 있으며, 현재 제1 외관 특징 및 상기 제2 외관 특징 사이의 유사도에 따라 구성된 복수 개의 가중 계수로부터 하나의 가중 계수를 선택하여 두 객체의 제2 특징 거리의 가중 계수로 취한다.

다른 일부 선택적인 실시예에서, 전술한 특징 거리는 다음을 충족한다.

여기서,

는 특징 거리를 타나내고;

는 가중 계수이고;

는 제1 외관 특징

및 제2 외관 특징

사이의 제1 특징 거리(예를 들어L2거리)를 나타내며;

는 제1 주변 특징

및 제2 주변 특징

사이의 제2 특징 거리(예를 들어, L2거리)를 나타내며;

는 코사인 유사도를 나타내고, 즉 제1 외관 특징

및 제2 외관 특징

사이의 코사인 유사성을 계산하여 가중 계수

를 구한다.

전술한 과정은, 예를 들어, 도 3을 참조할 수 있으며, 두 이미지를 각각 이미지 a(뷰 a) 및 이미지 b(뷰 b)로 기록한 것을 예로 들면; 이미지 a에는 하나의 객체(제1 객체로 기록됨)에 대응하는 검출 박스 및 주변 정보에 대응하는 영역(제1 특정 영역으로 기록됨)이 포함되고, 이미지 b에는 하나의 객체(제2 객체)에 대응하는 검출 박스 및 주변 정보에 대응하는 영역(제2 특정 영역으로 기록됨)이 포함되며, 이미지 a 및 이미지 b로부터 제1 객체의 검출 박스의 픽셀 정보, 및 제1 특정 영역의 픽셀 정보를 분할할 수 있다. 실제 적용에서, 주변 정보의 대응 영역을 획득하는 경우, 이미지 a 또는 이미지 b로부터 각각의 검출 박스가 위치한 영역의 확대된 영역을 분할한 다음, 검출 박스의 사이즈와 일치한 마스크를, 분할된 영역 내의 검출 박스에 대응하는 영역 범위 내에 커버함으로써, 전술한 제1 특정 영역 및 제2 특정 영역의 픽셀 정보를 얻을 수 있다.

또한, 두 개의 특징 추출기를 통해 전술한 검출 박스 내의 픽셀 정보 및 각 특정 영역(제1 특정 영역 및 제2 특정 영역을 포함함)의 픽셀 정보에 대해 각각 특징 추출을 수행할 수 있다. 예를 들어, 외관 특징 추출기(Appearance Feature Extractor)를 통해 이미지 a 및 이미지 b에 대응하는 검출 박스 내의 픽셀 정보 및 각 특정 영역(제1 특정 영역 및 제2 특정 영역)의 픽셀 정보에 대해 특징 추출을 수행하여, 제1 객체에 대응하는 제1 외관 특징

및 제2 객체에 대응하는 제2 외관 특징

을 획득할 수 있으며; 주변 특징 추출기(Surrounding Feature Extractor)를 통해 이미지 a의 제1 특정 영역 및 이미지 b의 제2 특정 영역의 픽셀 정보에 대해 특징 추출을 수행하여, 제1 주변 특징

및 제2 주변 특징

을 획득한다. 다음, 제1 외관 특징

및 제2 외관 특징

사이의 코사인 유사도를 계산하여 가중 계수를 얻는다. 제1 외관 특징 및 제2 외관 특징 사이의 L2 거리를 계산하여, 제1 객체 및 제2 객체 사이의 특징 거리

를 얻으며; 제1 주변 특징

및 제2 주변 특징

사이의 L2 거리를 계산하여, 제1 주변 특징 및 제2 주변 특징 사이의 특징 거리

를 얻는다. 마지막으로, 전술한 공식 (2)를 사용하여 제1 객체 및 제2 객체 사이의 특징 거리를 얻는다.

본 발명의 실시예의 기술방안을 채택하여, 상이한 이미지에서의 각 객체의 주변 정보를 상이한 이미지의 객체 사이의 연관 매칭의 근거로 삼아, 두 개의 이미지에서 외관이 유사하거나 동일한 물체의 연관 매칭을 구현함으로써, 연관 매칭의 정밀도를 향상시킨다.

본 발명의 실시예는 또한 객체를 연관시키는 방법을 제공하며, 도 4는 본 발명의 실시예의 객체를 연관시키는 방법의 흐름 모식도 3이고; 도 4에 도시된 바와 같이, 상기 객체를 연관시키는 방법은 다음의 단계를 포함한다.

단계 301에 있어서, 제1 이미지 및 제2 이미지를 획득하며;

단계 302에 있어서, 상기 제1 이미지에서의 각 객체의 외관 정보 및 상기 제2 이미지에서의 각 객체의 외관 정보에 기반하여 제1 특징 거리를 결정하며 - 하나의 제1 특징 거리는 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이의 유사도를 나타냄 - ;

단계 303에 있어서, 상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여 제2 특징 거리를 결정하며 - 하나의 제2 특징 거리는 상기 제1 이미지에서의 하나의 객체의 주변 정보와 상기 제2 이미지에서의 하나의 객체 주변 정보 사이의 유사도를 나타냄 - ;

단계 304에 있어서, 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체에 대해, 두 객체의 제1 특징 거리 및 제2 특징 거리에 따라, 상기 두 객체 사이의 특징 거리를 결정하며;

단계 305에 있어서, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 기하학적 거리를 결정하며;

단계 306에 있어서, 상기 제1 이미지에서의 하나의 객체 및 상기 제2 이미지에서의 하나의 객체에 대해, 두 객체 사이의 특징 거리 및 기하학적 거리에 따라 상기 두 객체 사이의 거리를 결정하며;

단계 307에 있어서, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 거리에 따라, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정한다.

본 실시예에서의 단계301 내지 단계304는 구체적으로 전술한 실시예의 설명을 참조할 수 있으며, 여기서 더이상 설명하지 않는다.

본 발명의 일부 선택적인 실시예에서, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 기하학적 거리를 결정하는 단계는, 상기 제1 이미지를 수집하는 제1 이미지 수집 기기의 제1 위치, 및 상기 제2 이미지를 수집하는 제2 이미지 수집 기기의 제2 위치를 획득하고, 상기 제1 이미지 수집 기기의 제1 내부 파라미터, 및 상기 제2 이미지 수집 기기의 제2 내부 파라미터를 획득하는 단계; 상기 제1 이미지에서의 하나의 객체의 중심점의 상기 제1 이미지에서의 제3 위치를 결정하는 단계; 상기 제1 위치, 상기 제2 위치, 상기 제3 위치, 상기 제1 내부 파라미터 및 상기 제2 내부 파라미터에 기반하여 상기 제2 이미지에서의 극선을 결정하는 단계 - 상기 극선은 상기 제1 이미지에서의 하나의 객체의 중심점과 상기 하나의 객체의 중심점이 상기 제1 이미지 수집 기기의 이미징 평면에서의 이미지 포인트의 연결선을 상기 제2 이미지에 투영하여 얻은 직선을 나타냄 - ; 상기 제2 이미지에서의 하나의 객체와 상기 극선 사이의 수직 픽셀 거리를 결정하는 단계; 및 결정된 수직 픽셀 거리에 따라 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 기하학적 거리를 결정하는 단계를 더 포함한다.

외관이 동일하거나 유사한 객체를 포함하고, 주변 정보도 유사한 시나리오에서의 객체를 포함하는 두 이미지 사이의 연관 매칭 문제를 해결하기 위해, 본 실시예에서는 전술한 에피폴라 기하학적 방식을 사용하여 제약함으로써, 전술한 시나리오에서의 객체 연관 매칭을 구현하여, 연관 매칭의 정확률을 향상시킨다.

본 실시예에서, 제1 이미지 및 제2 이미지는 상이한 뷰에서 수집된 이미지이며, 제1 이미지가 제1 뷰에 대응한다고 가정하면, 제2 이미지는 제2 뷰에 대응한다. 제1 이미지에서의 제1 객체의 경우, 여기서, 제1 객체는 제1 이미지에서의 임의의 객체이며, 제1 객체의 중심점을 제1 이미지 수집 기기의 이미징 평면의 P점에 투영하면, 중심점 및 P점은 연결되어 일직선을 형성하며, 상기 직선은 제1 이미지에 대응하는 제1 뷰에서의 직선이다. 상기 직선을 제2 이미지에 투영하여, 제2 이미지의 제2 뷰에서의 극선을 얻으며, 도 5에 도시된 바와 같이, 제1 객체가 도 5의 좌측 이미지에서 “×”형으로 마킹된 사과라고 가정하면, 제1 객체의 중심점과 제1 객체의 중심점이 수집 좌측 이미지의 이미지 수집 기기의 이미징 평면의 이미지 포인트에 위치한 연결선을, 우측 이미지에 투영하여, 우측 이미지에서의 극선을 얻으며; 우측 이미지에서의 오른쪽 하단에 있는 기기는 좌측 이미지를 수집하는 이미지 수집 기기이다.

실제 적용에서, 제1 이미지 수집 기기의 제1 위치 및 제2 이미지 수집 기기의 제2 위치를 통해 제1 이미지 수집 기기 및 제2 이미지 수집 기기 사이의 상대적 위치 관계를 각각 결정할 수 있고; 상기 상대적 위치 관계, 상기 제1 이미지 수집 기기의 제1 내부 파라미터 및 상기 제2 이미지 수집 기기의 제2 내부 파라미터에 기반하여 전환 관계를 결정할 수 있으며; 제1 객체의 중심점의 제1 이미지에서의 제3 위치에 기반하여 상기 중심점과 제3 위치의 연결선의 제1 이미지에서의 좌표를 결정할 수 있으며; 전술한 전환 관계에 기반하여 중심점과 제3 위치의 연결선이 제1 이미지에서의 좌표에 대해 전환을 수행하여 제2 이미지에서의 극선의 좌표를 얻는다.

이해할 수 있는 것은, 제1 이미지의 제1 객체 및 제2 이미지에서의 제2 객체가 연관되면, 다시 말해서 제1 객체 및 제2 객체가 동일한 객체이면, 제2 이미지에서의 극선을 결정한 다음, 제2 이미지에서의 각각의 객체 중 제2 객체에서 극선까지의 수직 픽셀 거리가 가장 작고, 심지어 0이 된다. 전술한 수직 픽셀 거리는 다시 말해서 제1 이미지 및 제2 이미지에서의 두 객체 사이의 기하학적 거리이다.

따라서, 제2 이미지에서의 각각의 객체와 상기 극선 사이의 수직 픽셀 거리를 결정함으로써, 제2 이미지에서의 어느 객체가 제1 이미지에서의 제1 객체와 서로 연관되는지를 판단한다.

본 발명의 일부 선택적인 실시예에서, 상기 두 객체 사이의 특징 거리 및 기하학적 거리에 따라 상기 두 객체 사이의 거리를 결정하는 단계는, 상기 두 객체 사이의 특징 거리 및 상기 기하학적 거리에 대해 가중 합산을 수행하여, 상기 두 객체 사이의 거리를 획득하는 단계를 포함한다.

본 실시예에서, 각 쌍의 제1 객체 및 제2 객체 사이의 거리는, 특징 거리 및 기하학적 거리를 가중 합산 처리하여 얻는다. 가중 합산 처리에 사용되는 가중 계수는 고정된 기설정된 값을 사용할 수 있으며, 본 실시예에서 가중 계수의 값에 대해 한정하지 않는다.

본 발명의 일부 선택적인 실시예에서, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 거리에 따라, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계는, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 거리에 기반하여 거리 행렬을 형성하는 단계 - 상기 거리 행렬에서의 하나의 요소의 값은 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이의 거리를 나타냄 - ; 및 상기 거리 행렬에 따라 상기 제1 이미지 및 상기 제2 이미지 사이의 인접 행렬을 결정하는 단계 - 상기 인접 행렬에서의 요소의 값은 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이가 연관되거나 연관되지 않음을 나타냄 - 를 포함한다.

본 실시예에서, 각 쌍의 제1 객체 및 제2 객체의 경우 하나의 거리를 대응되게 획득하면, 제1 이미지에서의 M 개의 객체 및 제2 이미지에서의 N 개의 객체 사이에는 , M×N 개의 거리가 있으며, M×N의 거리 행렬을 대응되게 형성할 수 있다. 도 6에 도시된 바와 같이, 이미지 1 및 이미지 2가 3 개의 객체를 포함한다고 가정하면, 3×3의 거리 행렬을 형성할 수 있으며; 거리 행렬에 대해 기설정된 알고리즘에 따라 처리하여, 인접 행렬을 얻고, 인접 행렬에서 값이 1인 한 쌍의 객체는 연관되고, 인접 행렬에서 값이 0인 한쌍의 객체는 연관되지 않는다. 예시적으로, 거리 행렬에 대해 헝가리안 알고리즘(Kuhn-Munkres, KM 알고리즘이라 약칭함)에 따라 처리하여 인접 행렬을 얻는다.

본 발명의 실시예는 또한 객체를 연관시키는 장치를 제공한다. 도 7은 본 발명의 실시예의 객체를 연관시키는 장치의 구성 구조 모식도이며; 도 7에 도시된 바와 같이, 상기 객체를 연관시키는 장치는, 획득 유닛(31) 및 결정 유닛(32)을 포함하며; 여기서,

상기 획득 유닛(31)은, 제1 이미지 및 제2 이미지를 획득하기 위한 것이고;

상기 결정 유닛(32)은, 상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하기 위한 것이며; 여기서, 하나의 객체의 주변 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 주변 설정 범위 내의 픽셀에 따라 결정된다.

본 발명의 일부 선택적인 실시예에서, 상기 결정 유닛(32)은, 상기 제1 이미지에서의 각 객체의 주변 정보와 외관 정보, 및 상기 제2 이미지에서의 각 객체의 주변 정보와 외관 정보에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하기 위한 것이며; 여기서, 하나의 객체의 외관 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 내의 픽셀에 따라 결정된다.

본 발명의 일부 선택적인 실시예에서, 상기 결정 유닛(32)은, 상기 제1 이미지에서의 각 객체의 외관 정보 및 상기 제2 이미지에서의 각 객체의 외관 정보에 기반하여 제1 특징 거리를 결정하고 - 하나의 제1 특징 거리는 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이의 유사도를 나타냄 - ; 상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여 제2 특징 거리를 결정하며 - 하나의 제2 특징 거리는 상기 제1 이미지에서의 하나의 객체의 주변 정보와 상기 제2 이미지에서의 하나의 객체 주변 정보 사이의 유사도를 나타냄 - ; 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체에 대해, 두 객체의 제1 특징 거리 및 제2 특징 거리에 따라, 상기 두 객체 사이의 특징 거리를 결정하며; 결정된 특징 거리에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하기 위한 것이다.

본 발명의 일부 선택적인 실시예에서, 상기 결정 유닛(32)은, 상기 두 객체의 제1 특징 거리 및 제2 특징 거리에 대해 가중 합산을 수행하여, 상기 두 객체 사이의 특징 거리를 획득하기 위한 것이며, 상기 두 객체의 유사도가 높을수록, 가중 합산을 수행하는 동안 상기 두 객체의 제2 특징 거리의 가중 계수는 더욱 크다.

본 발명의 일부 선택적인 실시예에서, 상기 결정 유닛(32)은 또한, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 기하학적 거리를 결정하기 위한 것이고; 또한 상기 제1 이미지에서의 하나의 객체 및 상기 제2 이미지에서의 하나의 객체에 대해, 두 객체 사이의 특징 거리 및 기하학적 거리에 따라 상기 두 객체 사이의 거리를 결정하고; 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 거리에 따라, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하기 위한 것이다.

본 발명의 일부 선택적인 실시예에서, 상기 결정 유닛(32)은, 상기 제1 이미지를 수집하는 제1 이미지 수집 기기의 제1 위치, 및 상기 제2 이미지를 수집하는 제2 이미지 수집 기기의 제2 위치를 획득하고, 상기 제1 이미지 수집 기기의 제1 내부 파라미터, 및 상기 제2 이미지 수집 기기의 제2 내부 파라미터를 획득하고; 상기 제1 이미지에서의 하나의 객체의 중심점의 상기 제1 이미지에서의 제3 위치를 결정하며; 상기 제1 위치, 상기 제2 위치, 상기 제3 위치, 상기 제1 내부 파라미터 및 상기 제2 내부 파라미터에 기반하여 상기 제2 이미지에서의 극선을 결정하며 - 상기 극선은 상기 제1 이미지에서의 하나의 객체의 중심점과 상기 하나의 객체의 중심점이 상기 제1 이미지 수집 기기의 이미징 평면에서의 이미지 포인트의 연결선을 상기 제2 이미지에 투영하여 얻은 직선을 나타냄 - ; 상기 제2 이미지에서의 하나의 객체와 상기 극선 사이의 수직 픽셀 거리를 결정하며; 결정된 수직 픽셀 거리에 따라 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 기하학적 거리를 결정하기 위한 것이다.

본 발명의 일부 선택적인 실시예에서, 상기 결정 유닛(32)은, 상기 두 객체 사이의 특징 거리 및 상기 기하학적 거리에 대해 가중 합산을 수행하여, 상기 두 객체 사이의 거리를 획득하기 위한 것이다.

본 발명의 일부 선택적인 실시예에서, 상기 결정 유닛(32)은, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 거리에 기반하여 거리 행렬을 형성하고 - 상기 거리 행렬에서의 하나의 요소의 값은 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이의 거리를 나타냄 - ; 상기 거리 행렬에 따라 상기 제1 이미지 및 상기 제2 이미지 사이의 인접 행렬을 결정 - 상기 인접 행렬에서의 요소의 값은 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이가 연관되거나 연관되지 않음을 나타냄 - 하기 위한 것이다.

본 발명의 실시예에서, 상기 객체를 연관시키는 장치에서의 획득 유닛(31) 및 결정 유닛(32)은, 실제 적용에서, 모두 중앙처리장치(CPU, Central Processing Unit), 디지털 신호 처리기(DSP, Digital Signal Processor), 마이크로 컨트롤러 유닛(MCU, Microcontroller Unit) 또는 현장 프로그래머블 게이트 어레이(FPGA, Field－Programmable Gate Array)에 의해 구현될 수 있다.

유의해야 할 것은, 전술한 실시예에서 제공한 객체를 연관시키는 장치는 객체 연관 처리를 수행할 때, 전술한 각 프로그램 모듈의 분할로 예를 들어 설명하며, 실제 응용에서, 상기 처리 분배는 필요에 따라 상이한 프로그램 모듈에 의해 완료될 수 있으며, 즉 전술한 설명의 전부 또는 부분 처리를 완료하기 위해 상기 장치의 내부 구조는 상이한 프로그램 모듈로 분할된다. 또한, 전술한 실시예에서 제공한 객체를 연관시키는 장치와 객체를 연관시키는 방법의 실시예는 동일한 구상에 속하며, 이의 구체적인 구현 과정은 방법 실시예를 참조하며, 여기서 더이상 반복하지 않는다.

본 발명의 실시예는 또한 전자 기기를 제공한다. 도 8은 본 발명의 실시예의 전자 기기의 하드웨어 구조 모식도이며; 도 8에 도시된 바와 같이, 상기 전자 기기(40)는 메모리(42), 프로세서(41) 및 메모리(42)에 저장되고 프로세서(41)에서 작동될 수 있는 컴퓨터 프로그램을 포함하며, 상기 프로세서(41)는 상기 프로그램을 실행할 때 본 발명의 전술한 실시예에 따른 이미지 처리 방법의 단계를 구현한다.

전자 기기(40)에서의 각각의 컴포넌트는 버스 시스템(43)을 통해 하나로 커플링된다. 이해할 수 있는 것은, 버스 시스템(43)은 이러한 컴포넌트 간의 연결 통신을 구현하기 위한 것이다. 버스 시스템(43)은 데이터 버스 외에도, 전원 버스, 제어 버스 및 상태 신호 버스를 더 포함한다. 그러나, 명확한 설명을 위해, 도 8에서 다양한 버스는 모두 버스 시스템(43)으로 표기된다.

이해할 수 있는 것은, 메모리(42)는 휘발성 메모리 또는 비휘발성 메모리일 수 있으며, 또는 휘발성 메모리 및 비 휘발성 메모리를 포함할 수 있다. 여기서, 비휘발성 메모리는 판독 가능한 메모리(ROM, Read Only Memory), 프로그래머블 판독 전용 메모리(PROM, Programmable Read-Only Memory), 소거 가능한 프로그래머블 판독 전용 메모리(EPROM, Erasable Programmable Read-Only Memory), 전기적 소거 가능한 프로그래머블 판독 전용 메모리(EEPROM, Electrically Erasable Programmable Read-Only Memory), 자기 랜덤 액세스 메모리(FRAM, ferromagnetic random access memory), 플래시 메모리(Flash Memory), 자기 표면 메모리, 광 디스크, 또는 판독 전용 컴팩트 디스크(CD-ROM, Compact Disc Read-Only Memory)일 수 있으며; 자기 표면 메모리는 디스크 스토리지 또는 테이프 스토리지일 수 있다. 휘발성 메모리는 외부 고속 캐시로서 작용하는 랜덤 액세스 메모리(RAM, Random Access Memory)일 수 있다. 한정이 아닌 예시적인 설명을 통해, 많은 형태의 RAM을 사용할 수 있으며, 예를 들어, 정적 랜덤 액세스 메모리(SRAM, Static Random Access Memory), 동기식 정적 랜덤 액세스 메모리(SSRAM, Synchronous Static Random Access Memory), 동기식 랜덤 액세스 메모리(DRAM, Dynamic Random Access Memory), 동기식 동적 랜덤 액세스 메모리(SDRAM, Synchronous Dynamic Random Access Memory), 더블 데이터 레이트 싱크로너스 동적 랜덤 액세스 메모리(DDRSDRAM, Double Data Rate Synchronous Dynamic Random Access Memory), 향상된 동기식 동적 랜덤 액세스 메모리(ESDRAM, Enhanced Synchronous Dynamic Random Access Memory), 동기식 연결 동적 랜덤 액세스 메모리(SLDRAM, SyncLink Dynamic Random Access Memory), 다이렉트 램버스 버스 랜덤 액세스 메모리(DRRAM, Direct Rambus Random Access Memory)이다. 본 발명의 실시예에서 설명된 메모리(42)는 이들 및 임의의 다른 적절한 타입의 메모리를 포함하지만 이에 한정되지 않는다.

전술한 본 발명의 실시예에서 언급된 방법은 프로세서(41)에 적용 가능하거나, 프로세서(41)에 의해 구현된다. 프로세서(41)는 신호 처리 기능을 구비한 집적 회로 칩일 수 있다. 구현 과정에서, 상기 방법의 각 단계는 프로세서(41) 중의 하드웨어의 집적 논리 회로 또는 소프트웨어 형태의 명령에 의해 완료될 수 있다. 상술한 프로세서(41)는 범용 프로세서, DSP, 또는 다른 프로그래머블 논리 소자, 이산 게이트 또는 트랜지스터 논리 장치, 이산 하드웨어 컴포넌트 등일 수 있다. 프로세서(41)는 본 발명의 실시예에서 개시한 각 방법, 단계 및 논리 블록도를 구현 또는 실행할 수 있다. 범용 프로세서는 마이크로 프로세서 또는 임의의 일반적인 프로세서 등일 수도 있다. 본 발명의 실시예와 결합하여 개시된 방법의 단계들은 하드웨어 디코팅 프로세서에 의해 직접 실행 완료되어 구현되거나, 디코팅 프로세서의 하드웨어 및 소프트웨어 모듈의 조합을 사용하여 실행 완료될 수 있다. 소프트웨어 모듈은 저장 매체에 위치할 수 있으며, 상기 저장 매체는 메모리(42)에 위치하고, 프로세서(41)는 메모리(42)의 정보를 판독한 후, 하드웨어와 결합하여 상기 방법의 단계들을 완료한다.

예시적인 실시예에서, 전자 기기(40)는 하나 또는 복수 개의 주문형 반도체(ASIC, Application Specific Integrated Circuit), 디지털 신호 처리 장치(DSP, Digital Signal Processor), 프로그램 가능 논리 소자(PLD, Programmable Logic Device), 복합 프로그램 가능 논리 소자(CPLD, Complex Programmable Logic Device), 필드 프로그래머블 게이트 어레이(FPGA, Field Programmable Gate Array), 범용 프로세서, 제어기, 마이크로 컨트롤러(MCU, Micro Controller Unit), 마이크로 프로세서(Microprocessor), 또는 다른 전자 부품에 의해 구현된다.

예시적인 실시예에서, 본 발명의 실시예는 또한, 컴퓨터 판독 가능 저장 매체를 제공하며, 예를 들어, 컴퓨터 프로그램의 메모리(42)를 포함하고, 상기 컴퓨터 프로그램은 전술한 객체를 연관시키는 방법에 따른 단계를 완료하기 위해 전자 기기(40)의 프로세서(41)에 의해 실행된다. 컴퓨터 판독 가능 저장 매체는 FRAM, ROM, PROM, EPROM, EEPROM, Flash Memory, 자기 표면 메모리, 광 디스크 또는 CD-ROM 등 메모리일 수 있으며; 또한 휴대폰, 컴퓨터, 태블릿, 개인 디지털 어시스턴트와 같은 상기 메모리 중 하나 또는 임의의 조합을 포함하는 다양한 기기일 수도 있다.

본 발명의 실시예는 객체를 연관시키는 시스템을 제공하며, 상기 객체를 연관시키는 시스템은,

제1 뷰에서 하나의 시나리오를 수집하여 제1 이미지를 얻기 위한 제1 이미지 수집 기기;

제2 뷰에서 상기 시나리오를 수집하여 제2 이미지를 얻기 위한 제2 이미지 수집 기기 - 상기 제1 뷰 및 상기 제2 뷰은 상이함 - ; 및

제1 이미지 및 제2 이미지를 획득하고; 상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하기 위한 프로세서 - 하나의 객체의 주변 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 주변 설정 범위 내의 픽셀에 따라 결정됨 - 를 포함한다.

본 발명의 일부 선택적인 실시예에서, 상기 프로세서는, 상기 제1 이미지에서의 각 객체의 주변 정보와 외관 정보, 및 상기 제2 이미지에서의 각 객체의 주변 정보와 외관 정보에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하기 위한 것이고; 여기서, 하나의 객체의 외관 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 내의 픽셀에 따라 결정된다.

본 발명의 일부 선택적인 실시예에서, 상기 프로세서는, 상기 제1 이미지에서의 각 객체의 외관 정보 및 상기 제2 이미지에서의 각 객체의 외관 정보에 기반하여 제1 특징 거리를 결정하고 - 하나의 제1 특징 거리는 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이의 유사도를 나타냄 - ; 상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여 제2 특징 거리를 결정하며 - 하나의 제2 특징 거리는 상기 제1 이미지에서의 하나의 객체의 주변 정보와 상기 제2 이미지에서의 하나의 객체 주변 정보 사이의 유사도를 나타냄 - ; 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체에 대해, 두 객체의 제1 특징 거리 및 제2 특징 거리에 따라, 상기 두 객체 사이의 특징 거리를 결정하며; 결정된 특징 거리에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하기 위한 것이다.

본 발명의 일부 선택적인 실시예에서, 상기 프로세서는, 상기 두 객체의 제1 특징 거리 및 제2 특징 거리에 대해 가중 합산을 수행하여, 상기 두 객체 사이의 특징 거리를 획득하기 위한 것이며, 상기 두 객체의 유사도가 높을수록, 가중 합산을 수행하는 동안 상기 두 객체의 제2 특징 거리의 가중 계수는 더욱 크다.

본 발명의 일부 선택적인 실시예에서, 상기 프로세서는 또한, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 기하학적 거리를 결정하고; 상기 제1 이미지에서의 하나의 객체 및 상기 제2 이미지에서의 하나의 객체에 대해, 두 객체 사이의 특징 거리 및 기하학적 거리에 따라 상기 두 객체 사이의 거리를 결정하며; 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 거리에 따라, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하기 위한 것이다.

본 발명의 일부 선택적인 실시예에서, 상기 프로세서는, 상기 제1 이미지를 수집하는 제1 이미지 수집 기기의 제1 위치, 및 상기 제2 이미지를 수집하는 제2 이미지 수집 기기의 제2 위치를 획득하고, 상기 제1 이미지 수집 기기의 제1 내부 파라미터, 및 상기 제2 이미지 수집 기기의 제2 내부 파라미터를 획득하며; 상기 제1 이미지에서의 하나의 객체의 중심점의 상기 제1 이미지에서의 제3 위치를 결정하며; 상기 제1 위치, 상기 제2 위치, 상기 제3 위치, 상기 제1 내부 파라미터 및 상기 제2 내부 파라미터에 기반하여 상기 제2 이미지에서의 극선을 결정하고 - 상기 극선은 상기 제1 이미지에서의 하나의 객체의 중심점과 상기 하나의 객체의 중심점이 상기 제1 이미지 수집 기기의 이미징 평면에서의 이미지 포인트의 연결선을 상기 제2 이미지에 투영하여 얻은 직선을 나타냄 - ; 상기 제2 이미지에서의 하나의 객체와 상기 극선 사이의 수직 픽셀 거리를 결정하고; 결정된 수직 픽셀 거리에 따라 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 기하학적 거리를 결정하기 위한 것이다.

본 발명의 일부 선택적인 실시예에서, 상기 프로세서는, 상기 두 객체 사이의 특징 거리 및 상기 기하학적 거리에 대해 가중 합산을 수행하여, 상기 두 객체 사이의 거리를 획득하기 위한 것이다.

본 발명의 일부 선택적인 실시예에서, 상기 프로세서는, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 거리에 기반하여 거리 행렬을 형성하고 - 상기 거리 행렬에서의 하나의 요소의 값은 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이의 거리를 나타냄 - ; 상기 거리 행렬에 따라 상기 제1 이미지 및 상기 제2 이미지 사이의 인접 행렬을 결정 - 상기 인접 행렬에서의 요소의 값은 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이가 연관되거나 연관되지 않음을 나타냄 - 하기 위한 것이다.

본 발명의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 프로그램이 프로세서에 의해 실행될 때 본 발명의 전술한 실시예에 따른 이미지 처리 방법의 단계를 구현한다.

본 출원에서 제공하는 몇 가지 방법의 실시예에 개시된 방법은, 새로운 방법 실시 예를 얻기 위해 충돌없이 임의로 조합 될 수있다.

본 출원에서 제공하는 몇 가지 방법의 실시예에 개시된 특징은, 새로운 제품 실시 예를 얻기 위해 충돌없이 임의로 조합 될 수있다.

본 출원에서 제공하는 몇 가지 방법 또는 기기 실시예에 개시된 특징은 새로운 방법 실시예 또는 기기 실시 예를 얻기 위해 충돌없이 임의로 조합될 수있다.

본 출원에서 제공된 몇 개의 실시예에 있어서, 개시된 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 이상에서 설명한 기기 실시예는 다만 예시적인 것이고, 예를 들면 상기 유닛의 분할은 다만 논리적 기능 분할일 뿐이고 실제 구현 시 다른 분할 방식이 있을 수 있으며, 예를 들어, 복수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 결합되거나 통합될 수 있거나, 일부 특징은 무시되거나 실행되지 않을 수 있다. 또한, 각각의 디스플레이되거나 논의된 구성 요소 사이의 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스를 통한 기기 또는 유닛의 간접 결합 또는 통신 연결일 수 있으며, 전기적, 기계적 또는 다른 형태 일 수있다.

전술한 분리된 부재로서 설명된 유닛은 물리적으로 분리될 수도 있고 물리적으로 분리되지 않을 수도 있으며, 유닛으로 디스플레이된 부재는 물리적 유닛일 수도 있고 아닐 수도 있으며, 즉 동일한 장소에 위치할 수도 있고, 또는 복수 개의 네트워크 유닛에 분포될 수도 있으며; 실제 필요에 따라 그 중의 일부 또는 전부를 선택하여 실시예의 방안의 목적을 구현할 수 있다.

또한, 본 발명 각 실시예 중의 각 기능 유닛은 모두 하나의 처리 유닛에 통합될 수 있으며, 각 유닛은 각각 단독적으로 하나의 유닛으로 사용될 수 있으며, 둘 또는 둘 이상의 유닛이 하나의 유닛에 통합될 수 있으며; 상기 통합된 유닛은 하드웨어의 형태로 구현될 수 있으며, 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.

본 기술분야의 통상의 기술자는 상기 방법 실시예를 구현하기 위한 모든 또는 일부 동작은 프로그램 명령어와 관련되는 하드웨어를 통해 완료되며, 전술한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 경우, 상기 방법 실시예를 포함하는 단계를 실행하며; 전술한 저장 매체는 모바일 저장 기기, ROM, RAM, 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함하는 것을 이해할 수 있을 것이다.

또는, 본 발명의 상기 통합된 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로서 판매되거나 사용되는 경우, 컴퓨터 판독 가능 저장 매체에 저장될 수도 있다. 이러한 이해에 기반하여, 본 발명의 실시예의 기술방안은 실질적으로 또는 선행기술에 기여하는 부분이 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 컴퓨터 기기(개인용 컴퓨터, 서버, 또는 네트워크 기기 등)가 본 발명의 각 실시예의 방법의 전부 또는 일부를 실행할 수 있도록 구성된 복수의 명령어를 포함하는 하나의 저장 매체에 저장된다. 전술한 저장 매체는, 모바일 저장 기기, ROM, RAM, 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

이상의 설명은 본 출원의 구체적인 실시형태일 뿐이며, 본 출원의 보호 범위를 한정하려는 것은 아니며, 당업자는 본 발명에 개시된 기술적 범위 내에서의 임의의 변형 또는 교체는 모두 본 출원의 보호 범위 내에 속해야 함을 용이하게 생각할 수 있을 것이다. 따라서, 본 출원의 보호 범위는 특허청구범위의 보호 범위를 기준으로 해야 한다.

Claims (20)

1. 객체를 연관시키는 방법으로서,
   제1 이미지 및 제2 이미지를 획득하는 단계;
   상기 제1 이미지에서의 각 객체의 외관 정보 및 상기 제2 이미지에서의 각 객체의 외관 정보에 기반하여 제1 특징 거리를 결정하는 단계 - 하나의 제1 특징 거리는 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이의 유사도를 나타내고, 하나의 객체의 외관 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 내의 픽셀에 따라 결정됨 - ;
   상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여 제2 특징 거리를 결정하는 단계 - 하나의 제2 특징 거리는 상기 제1 이미지에서의 하나의 객체의 주변 정보와 상기 제2 이미지에서의 하나의 객체 주변 정보 사이의 유사도를 나타내고, 하나의 객체의 주변 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 주변 설정 범위 내의 픽셀에 따라 결정됨- ;
   상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체에 대해, 두 객체의 제1 특징 거리 및 제2 특징 거리에 따라, 상기 두 객체 사이의 특징 거리를 결정하는 단계; 및
   결정된 특징 거리에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계를 포함하는 것을 특징으로 하는 객체를 연관시키는 방법.
2. 제1항에 있어서,
   상기 두 객체의 제1 특징 거리 및 제2 특징 거리에 따라, 상기 두 객체 사이의 특징 거리를 결정하는 단계는,
   상기 두 객체의 제1 특징 거리 및 제2 특징 거리에 대해 가중 합산을 수행하여, 상기 두 객체 사이의 특징 거리를 획득하는 단계 - 상기 두 객체의 유사도가 높을수록, 가중 합산을 수행하는 동안 상기 두 객체의 제2 특징 거리의 가중 계수는 더욱 큼 - 를 포함하는 것을 특징으로 하는 객체를 연관시키는 방법.
3. 제1항 또는 제2항에 있어서,
   상기 객체를 연관시키는 방법은,
   상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 기하학적 거리를 결정하는 단계를 더 포함하고;
   상기 결정된 특징 거리에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계는,
   상기 제1 이미지에서의 하나의 객체 및 상기 제2 이미지에서의 하나의 객체에 대해, 두 객체 사이의 특징 거리 및 기하학적 거리에 따라 상기 두 객체 사이의 거리를 결정하는 단계; 및
   상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 거리에 따라, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계를 포함하는 것을 특징으로 하는 객체를 연관시키는 방법.
4. 제3항에 있어서,
   상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 기하학적 거리를 결정하는 단계는,
   상기 제1 이미지를 수집하는 제1 이미지 수집 기기의 제1 위치, 및 상기 제2 이미지를 수집하는 제2 이미지 수집 기기의 제2 위치를 획득하고, 상기 제1 이미지 수집 기기의 제1 내부 파라미터, 및 상기 제2 이미지 수집 기기의 제2 내부 파라미터를 획득하는 단계;
   상기 제1 이미지에서의 하나의 객체의 중심점의 상기 제1 이미지에서의 제3 위치를 결정하는 단계;
   상기 제1 위치, 상기 제2 위치, 상기 제3 위치, 상기 제1 내부 파라미터 및 상기 제2 내부 파라미터에 기반하여 상기 제2 이미지에서의 극선을 결정하는 단계 - 상기 극선은 상기 제1 이미지에서의 하나의 객체의 중심점과 상기 하나의 객체의 중심점이 상기 제1 이미지 수집 기기의 이미징 평면에서의 이미지 포인트의 연결선을 상기 제2 이미지에 투영하여 얻은 직선을 나타냄 - ;
   상기 제2 이미지에서의 하나의 객체와 상기 극선 사이의 수직 픽셀 거리를 결정하는 단계; 및
   결정된 수직 픽셀 거리에 따라 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 기하학적 거리를 결정하는 단계를 더 포함하는 것을 특징으로 하는 객체를 연관시키는 방법.
5. 제3항에 있어서,
   상기 두 객체 사이의 특징 거리 및 기하학적 거리에 따라 상기 두 객체 사이의 거리를 결정하는 단계는,
   상기 두 객체 사이의 특징 거리 및 상기 기하학적 거리에 대해 가중 합산을 수행하여, 상기 두 객체 사이의 거리를 획득하는 단계를 포함하는 것을 특징으로 하는 객체를 연관시키는 방법.
6. 제3항에 있어서,
   상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 거리에 따라, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하는 단계는,
   상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 거리에 기반하여 거리 행렬을 형성하는 단계 - 상기 거리 행렬에서의 하나의 요소의 값은 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이의 거리를 나타냄 - ; 및
   상기 거리 행렬에 따라 상기 제1 이미지 및 상기 제2 이미지 사이의 인접 행렬을 결정하는 단계 - 상기 인접 행렬에서의 요소의 값은 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이가 연관되거나 연관되지 않음을 나타냄 - 를 포함하는 것을 특징으로 하는 객체를 연관시키는 방법.
7. 객체를 연관시키는 장치로서,
   획득 유닛 및 결정 유닛을 포함하며;
   상기 획득 유닛은, 제1 이미지 및 제2 이미지를 획득하기 위한 것이며;
   상기 결정 유닛은,
   상기 제1 이미지에서의 각 객체의 외관 정보 및 상기 제2 이미지에서의 각 객체의 외관 정보에 기반하여 제1 특징 거리를 결정하고 - 하나의 제1 특징 거리는 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이의 유사도를 나타내고, 하나의 객체의 외관 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 내의 픽셀에 따라 결정됨 - ;
   상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여 제2 특징 거리를 결정하며 - 하나의 제2 특징 거리는 상기 제1 이미지에서의 하나의 객체의 주변 정보와 상기 제2 이미지에서의 하나의 객체 주변 정보 사이의 유사도를 나타내고, 하나의 객체의 주변 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 주변 설정 범위 내의 픽셀에 따라 결정됨- ;
   상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체에 대해, 두 객체의 제1 특징 거리 및 제2 특징 거리에 따라, 상기 두 객체 사이의 특징 거리를 결정하며;
   결정된 특징 거리에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하기 위한 것을 특징으로 하는 객체를 연관시키는 장치.
8. 객체를 연관시키는 시스템으로서,
   제1 뷰에서 하나의 시나리오를 수집하여 제1 이미지를 얻기 위한 제1 이미지 수집 기기;
   제2 뷰에서 상기 시나리오를 수집하여 제2 이미지를 얻기 위한 제2 이미지 수집 기기 - 상기 제1 뷰 및 상기 제2 뷰은 상이함 - ;
   제1 이미지 및 제2 이미지를 획득하고; -
   상기 제1 이미지에서의 각 객체의 외관 정보 및 상기 제2 이미지에서의 각 객체의 외관 정보에 기반하여 제1 특징 거리를 결정하고 - 하나의 제1 특징 거리는 상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체 사이의 유사도를 나타내고, 하나의 객체의 외관 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 내의 픽셀에 따라 결정됨 - ;
   상기 제1 이미지에서의 각 객체의 주변 정보 및 상기 제2 이미지에서의 각 객체의 주변 정보에 기반하여 제2 특징 거리를 결정하며 - 하나의 제2 특징 거리는 상기 제1 이미지에서의 하나의 객체의 주변 정보와 상기 제2 이미지에서의 하나의 객체 주변 정보 사이의 유사도를 나타내고, 하나의 객체의 주변 정보는 상기 객체가 위치한 이미지에서, 상기 객체의 검출 박스 주변 설정 범위 내의 픽셀에 따라 결정됨- ;
   상기 제1 이미지에서의 하나의 객체와 상기 제2 이미지에서의 하나의 객체에 대해, 두 객체의 제1 특징 거리 및 제2 특징 거리에 따라, 상기 두 객체 사이의 특징 거리를 결정하며;
   결정된 특징 거리에 기반하여, 상기 제1 이미지에서의 각 객체와 상기 제2 이미지에서의 각 객체 사이의 연관 관계를 결정하기 위한 프로세서를 포함하는 것을 특징으로 하는 객체를 연관시키는 시스템.
9. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체로서,
   상기 프로그램이 프로세서에 의해 실행될 때, 제1항 또는 제2항에 따른 객체를 연관시키는 방법의 단계를 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
10. 프로세서에서 작동 가능한 컴퓨터 프로그램이 저장된 메모리 및 프로세서를 포함하는 전자 기기로서,
    상기 프로세서는 상기 프로그램을 실행할 때 제1항 또는 제2항에 따른 객체를 연관시키는 방법의 단계를 구현하는 것을 특징으로 하는 전자 기기.
11. 저장 매체에 기록되고, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서,
    상기 컴퓨터 판독 가능 코드가 컴퓨터에 의해 실행될 때 제1항 또는 제2항 에 따른 객체를 연관시키는 방법의 단계를 구현하는 것을 특징으로 하는 컴퓨터 프로그램.
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images