KR20210088438A

KR20210088438A - 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체

Info

Publication number: KR20210088438A
Application number: KR1020207020290A
Authority: KR
Inventors: 종앙 카이; 쿤준 유; 하이유 자오; 슈아이 이
Original assignee: 센스타임 인터내셔널 피티이. 리미티드.
Priority date: 2019-12-30
Filing date: 2020-03-12
Publication date: 2021-07-14
Also published as: WO2021136978A1; AU2020323956B2; AU2020323956A1; CN113261011B; CN113261011A; SG10201913754XA; JP2022522071A

Abstract

본 발명은 적어도 2개의 목표 이미지를 취득하는 것과, 상기 적어도 2개의 목표 이미지 중 각 목표 이미지의 목표 검출 결과에 기초하여, 각 목표 이미지에서의 하나 이상의 목표의, 하나의 목표의 목표 이미지에서의 위치를 나타내기 위한 주의 이미지를 결정하는 것과, 각 목표 이미지 및 각 목표 이미지에서의 하나 이상의 목표의 주의 이미지에 기초하여, 각각의 목표 이미지에서의 적어도 일부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하는 것을 포함하는 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체에 관한 것이다.

Description

이미지 처리 방법 및 장치, 전자 기기 및 기억 매체

본원은 2019년 12월 30일에 제출된, 발명의 명칭이 「IMAGE PROCESSING METHOD AND APPARATUS, ELECTRONIC DEVICE, AND STORAGE MEDIUM」인 싱가포르 특허출원 10201913754X호의 우선권을 주장한다. 상기 출원의 모든 내용이 참조에 의해 본원에 포함된다.

본 발명은 컴퓨터 비전 기술에 관한 것으로, 특히 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체에 관한 것이다.

컴퓨터 비전은 컴퓨터 및 관련 장치를 사용하여 생물학적 시각을 시뮬레이션하는 기술로서, 취득된 이미지 또는 동영상을 처리함으로써, 대응 장면의 3차원 정보를 취득할 수 있다. 컴퓨터 비전의 일 응용에 있어서, 취득된 이미지 또는 동영상을 사용해 목표 검출을 행하여, 목표 대상의 이미지에서의 위치를 결정할 수 있다.

본 발명은 이미지 처리의 기술적 해결 수단을 제공한다.

본 발명의 일 측면에 의하면,

적어도 2개의 목표 이미지를 취득하는 것과,

상기 적어도 2개의 목표 이미지 중 각 목표 이미지의 목표 검출 결과에 기초하여, 각 목표 이미지에서의 하나 이상의 목표의, 하나의 목표의 목표 이미지에서의 위치를 나타내기 위한 주의 이미지를 결정하는 것과,

각 목표 이미지 및 각 목표 이미지에서의 하나 이상의 목표의 주의 이미지에 기초하여, 각각의 목표 이미지에서의 적어도 일부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하는 것을 포함하는 이미지 처리 방법을 제공한다.

가능한 일 실시형태에서는, 상기 적어도 2개의 목표 이미지 중 각 목표 이미지의 목표 검출 결과에 기초하여, 각 목표 이미지에서의 하나 이상의 목표의 주의 이미지를 결정하는 것은,

각 목표 이미지에서의 하나의 목표에 대해, 각 목표 이미지의 목표 검출 결과에 기초하여, 이 목표가 존재하는 제1 이미지 영역을 결정하는 것과,

목표 이미지에서의 제1 이미지 영역 및 이 목표 이미지에서의 제1 이미지 영역 이외의 제2 이미지 영역에 의해, 이 목표의 주의 이미지를 결정하는 것을 포함한다.

가능한 일 실시형태에서는, 목표 이미지에서의 제1 이미지 영역 및 이 목표 이미지에서의 제1 이미지 영역 이외의 이미지 영역에 의해, 이 목표의 주의 이미지를 결정하는 것은,

이미지 사이즈가 상기 목표 이미지에 맞는 초기 이미지를 취득하는 것과,

상기 초기 이미지에서, 상기 제1 이미지 영역에 대응하는 제1 목표 이미지 영역 내의 화소점의 화소값을 제1 화소값으로 하는 것과,

상기 초기 이미지에서, 상기 제2 이미지 영역에 대응하는 제2 목표 이미지 영역 내의 화소점의 화소값을 상기 제1 화소값과 동일하지 않은 제2 화소값으로 하여, 이 목표의 주의 이미지를 얻는 것을 포함한다.

가능한 일 실시형태에서는, 각 목표 이미지 및 각 목표 이미지에서의 하나 이상의 목표의 주의 이미지에 기초하여, 각각의 목표 이미지에서의 적어도 일부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하는 것은,

각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 융합하여, 각 피처리 이미지를 얻는 것과,

각 피처리 이미지에 대해, 각각 특징 추출을 행하여 각 피처리 이미지의 특징맵을 얻는 것과,

각 피처리 이미지의 특징맵에 기초하여, 각각의 목표 이미지에서의 적어도 일부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하는 것을 포함한다.

가능한 일 실시형태에서는, 각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 융합하여, 각 피처리 이미지를 얻는 것은,

각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 소정 차원에서 서로 연결하여 각 피처리 이미지를 얻는 것, 또는

각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 소정 차원에서 가산하여 각 피처리 이미지를 얻는 것을 포함한다.

가능한 일 실시형태에서는, 각 피처리 이미지에 대해, 각각 특징 추출을 행하여 각 피처리 이미지의 특징맵을 얻는 것은,

뉴럴 네트워크의, 피처리 이미지에 대해 일대일로 특징 추출을 행하고, 또한 동일한 네트워크 구조와 네트워크 파라미터를 갖는 각 분기 네트워크를 사용하여, 각 피처리 이미지에 대해, 각각 특징 추출을 행하여 각 피처리 이미지의 특징맵을 얻는 것을 포함한다.

가능한 일 실시형태에서는, 각 피처리 이미지의 특징맵에 기초하여, 각각의 목표 이미지에서의 적어도 일부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하는 것은,

상기 피처리 이미지 중 임의의 2개의 피처리 이미지의 특징맵에 대해, 특징 매칭을 행하여 매칭된 특징맵을 얻는 것과,

상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하는 것을 포함한다.

가능한 일 실시형태에서는, 상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하는 것은,

상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이의 대응 스코어를 얻는 것과,

상기 대응 스코어가 스코어 임계값보다 큰 경우에, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 잠재적인 대응성이 있는 것으로 결정하는 것을 포함한다.

가능한 일 실시형태에서는, 상기 방법은,

상기 대응 스코어가 상기 스코어 임계값 이하인 경우에, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 대응성이 없는 것으로 결정하는 것을 추가로 포함한다.

특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 각 목표 사이의 대응 스코어에 기초하여, 각각의 목표 이미지에서의 목표의 매칭을 실행하여, 각각의 목표 이미지에서의 각 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 얻는 것으로서, 매칭이 실행되는 목표는 각각의 목표 이미지에 속하는 것을 포함한다.

가능한 일 실시형태에서는, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 각 목표 사이의 대응 스코어에 기초하여, 각각의 목표 이미지에서의 목표의 매칭을 실행하여, 각각의 목표 이미지에서의 각 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 얻는 것은,

특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 각 목표 사이의 대응 스코어에 기초하여, 상기 각각의 목표 이미지 중 제1 목표 이미지에서의 각 목표와 상기 각각의 목표 이미지 중 제2 목표 이미지에서의 각 목표의 대응 스코어의 총합을 결정하는 것과,

상기 대응 스코어의 총합이 가장 크고, 또한 미리 설정된 총합 스코어 임계값보다 큰 경우에, 상기 제1 목표 이미지에서의 목표와 상기 제2 목표 이미지에서의 목표가 일대일로 매칭되는 것으로 결정하는 것을 포함한다.

가능한 일 실시형태에서는, 상기 방법은,

상기 대응 스코어의 총합 중 최대의 대응 스코어의 총합이 상기 총합 스코어 임계값 이하인 경우에, 상기 제1 목표 이미지에서의 목표와 상기 제2 목표 이미지에서의 목표가 매칭되지 않는 것으로 결정하는 것을 추가로 포함한다.

가능한 일 실시형태에서는, 상기 적어도 2개의 목표 이미지는 상이한 시각에서 동일한 장면을 동기 촬영하여 얻어진 것이다.

본 발명의 다른 측면에 의하면,

적어도 2개의 목표 이미지를 취득하기 위한 취득 모듈과,

상기 적어도 2개의 목표 이미지 중 각 목표 이미지의 목표 검출 결과에 기초하여, 각 목표 이미지에서의 하나 이상의 목표의, 하나의 목표의 목표 이미지에서의 위치를 나타내기 위한 주의 이미지를 결정하기 위한 제1 결정 모듈과,

각 목표 이미지 및 각 목표 이미지에서의 하나 이상의 목표의 주의 이미지에 기초하여, 각각의 목표 이미지에서의 적어도 일부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하기 위한 제2 결정 모듈을 포함하는 이미지 처리 장치를 제공한다.

가능한 일 실시형태에서는, 상기 제1 결정 모듈은,

각 목표 이미지에서의 하나의 목표에 대해, 각 목표 이미지의 목표 검출 결과에 기초하여, 이 목표가 존재하는 제1 이미지 영역을 결정하기 위한 제1 결정 서브 모듈과,

목표 이미지에서의 제1 이미지 영역 및 이 목표 이미지에서의 제1 이미지 영역 이외의 제2 이미지 영역에 의해, 이 목표의 주의 이미지를 결정하기 위한 제2 결정 서브 모듈을 포함한다.

가능한 일 실시형태에서는, 상기 제2 결정 서브 모듈은,

이미지 사이즈가 상기 목표 이미지에 맞는 초기 이미지를 취득하기 위한 취득 유닛과,

상기 초기 이미지에서, 상기 제1 이미지 영역에 대응하는 제1 목표 이미지 영역 내의 화소점의 화소값을 제1 화소값으로 하기 위한 제1 설치 유닛과,

상기 초기 이미지에서, 상기 제2 이미지 영역에 대응하는 제2 목표 이미지 영역 내의 화소점의 화소값을 상기 제1 화소값과 동일하지 않은 제2 화소값으로 하여, 이 목표의 주의 이미지를 얻기 위한 제2 설치 유닛을 포함한다.

가능한 일 실시형태에서는, 상기 제2 결정 모듈은,

각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 융합하여, 각 피처리 이미지를 얻기 위한 융합 서브 모듈과,

각 피처리 이미지에 대해, 각각 특징 추출을 행하여 각 피처리 이미지의 특징맵을 얻기 위한 특징 추출 서브 모듈과,

각 피처리 이미지의 특징맵에 기초하여, 각각의 목표 이미지에서의 적어도 일부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하기 위한 판단 서브 모듈을 포함한다.

가능한 일 실시형태에서는, 상기 융합 서브 모듈은,

각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 소정 차원에서 서로 연결하여 각 피처리 이미지를 얻기 위한 연결 유닛, 또는,

각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 소정 차원에서 가산하여 각 피처리 이미지를 얻기 위한 가산 유닛을 포함한다.

가능한 일 실시형태에서는, 상기 특징 추출 서브 모듈은,

뉴럴 네트워크의, 피처리 이미지에 대해 일대일로 특징 추출을 행하고, 또한 동일한 네트워크 구조와 네트워크 파라미터를 갖는 각 분기 네트워크를 사용하여, 각 피처리 이미지에 대해, 각각 특징 추출을 행하여 각 피처리 이미지의 특징맵을 얻기 위한 분기 유닛을 포함한다.

가능한 일 실시형태에서는, 상기 특징 추출 서브 모듈은,

상기 피처리 이미지 중 임의의 2개의 피처리 이미지의 특징맵에 대해 특징 매칭을 행하여, 매칭된 특징맵을 얻기 위한 매칭 유닛과,

상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하기 위한 결정 유닛을 포함한다.

가능한 일 실시형태에서는, 상기 결정 유닛은,

상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이의 대응 스코어를 얻기 위한 제1 매칭 서브 유닛과,

상기 대응 스코어가 스코어 임계값보다 큰 경우에, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 잠재적인 대응성이 있는 것으로 결정하기 위한 제1 결정 서브 유닛을 포함한다.

가능한 일 실시형태에서는, 상기 장치는,

상기 대응 스코어가 상기 스코어 임계값 이하인 경우에, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 대응성이 없는 것으로 결정하기 위한 제2 결정 서브 유닛을 추가로 포함한다.

가능한 일 실시형태에서는, 상기 결정 유닛은,

상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이의 대응 스코어를 얻기 위한 제2 매칭 서브 유닛과,

특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 각 목표 사이의 대응 스코어에 기초하여, 각각의 목표 이미지에서의 목표의 매칭을 실행하여, 각각의 목표 이미지에서의 각 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 얻기 위한 것으로서, 매칭이 실행되는 목표는 각각의 목표 이미지에 속하는 매칭 서브 유닛을 포함한다.

가능한 일 실시형태에서는, 상기 매칭 서브 유닛은,

상기 대응 스코어의 총합이 가장 크고, 또한 미리 설정된 총합 스코어 임계값보다 큰 경우에, 상기 제1 목표 이미지에서의 목표와 상기 제2 목표 이미지에서의 목표가 일대일로 매칭되는 것으로 결정하는 것에 사용된다.

가능한 일 실시형태에서는, 상기 매칭 서브 유닛은 추가로,

상기 대응 스코어의 총합 중 최대의 대응 스코어의 총합이 상기 총합 스코어 임계값 이하인 경우에, 상기 제1 목표 이미지에서의 목표와 상기 제2 목표 이미지에서의 목표가 매칭되지 않는 것으로 결정하기 위해 사용된다.

본 발명의 일 측면에 의하면,

프로세서와,

프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고,

상기 프로세서는 상기 이미지 처리 방법을 실행하도록 구성되는 전자 기기를 제공한다.

본 발명의 일 측면에 의하면, 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체에 있어서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 상기 이미지 처리 방법을 실현하는 컴퓨터 판독 가능 기억 매체를 제공한다.

본 발명의 일 측면에 따르면, 컴퓨터 판독 가능한 코드를 포함하고, 컴퓨터 판독 가능한 코드가 전자 기기 상에서 작동하면, 전자 기기의 프로세서가 지시를 내려 상기 이미지 처리 방법을 실행하는 컴퓨터 프로그램을 제공한다.

본 발명의 실시예에서는 적어도 2개의 목표 이미지를 취득하고, 이어서 적어도 2개의 목표 이미지 중 각 목표 이미지의 목표 검출 결과에 기초하여, 각 목표 이미지에서의 하나 이상의 목표의 주의 이미지를 결정하고, 다음으로 각 목표 이미지 및 각 목표 이미지에서의 하나 이상의 목표의 주의 이미지에 기초하여, 각각의 목표 이미지에서의 적어도 일부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정할 수 있다. 이렇게 하여, 얻어진 매칭 결과에 기초하여 각각의 복수의 목표 이미지에서의 목표를 매칭하여, 복수의 이미지 취득 장치로 촬영된 장면에서의 목표 사이의 관련을 확립하고, 시야 범위를 증가시켜, 장면의 보다 전면적인 정보를 취득할 수 있다.

이상의 일반적인 설명과 이하의 상세한 설명은 예시적 및 설명적인 것에 불과하고, 본 발명을 제한하는 것은 아닌 것으로 이해되어야 한다.

이하, 도면을 참고하면서 예시적인 실시예를 상세하게 설명함으로써, 본 발명의 다른 특징 및 측면은 명확해진다.

하기 도면은 명세서의 일부로서 포함되고, 본 발명에 적합한 실시예를 나타내는 것으로서, 명세서와 함께 본 발명의 기술적 수단을 설명하기 위해 사용된다.
도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 나타낸다.
도 2는 본 발명의 실시예에 따른 이미지 처리의 일례의 흐름도를 나타낸다.
도 3은 본 발명의 실시예에서 뉴럴 네트워크를 사용하여 2개의 목표의 매칭 결과를 얻는 일례의 블록도를 나타낸다.
도 4는 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 나타낸다.
도 5는 본 발명의 실시예에 따른 전자 기기의 예의 블록도를 나타낸다.
도 6은 본 발명의 실시예에 따른 전자 기기의 예의 블록도를 나타낸다.

이하에 도면을 참조하면서 본 발명의 다양한 예시적 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 부호가 동일하거나 또는 유사한 기능의 요소를 나타낸다. 도면에서 실시예의 다양한 측면을 나타냈지만, 특별히 언급하지 않는 한, 비례에 따라 도면을 그릴 필요가 없다.

여기에서의 용어 「예시적」이란, 「예, 실시예로서 사용되는 것 또는 설명적인 것」을 의미한다. 여기에서 「예시적」으로 설명되는 어떠한 실시예도 다른 실시예보다 바람직하거나 또한 우수한 것으로 이해해서는 안된다.

본 명세서에서 용어 「및/또는」은 관련 대상의 관련 관계를 기술하기 위한 것에 불과하고, 3개의 관계가 존재 가능함을 나타내며, 예를 들면, A 및/또는 B는 A만이 존재하거나, A와 B가 동시에 존재하거나, B만이 존재하는 3개의 경우를 나타낼 수 있다. 또한, 본 명세서에서 용어 「하나 이상」은 복수 중 어느 하나 또는 복수 중 적어도 2개의 임의의 조합을 나타내고, 예를 들면, A, B 및 C 중 하나 이상을 포함한다는 것은, A, B 및 C로 구성되는 집합에서 선택된 어느 하나 또는 복수의 요소를 포함하는 것을 나타낼 수 있다.

또한, 본 발명을 보다 효과적으로 설명하기 위해, 이하의 구체적인 실시형태에서 다양한 구체적인 상세를 개시한다. 당업자이면 어떤 구체적인 상세가 없어도 본 발명은 동일하게 실시할 수 있는 것으로 이해해야 한다. 일부 실시예에서는 본 발명의 취지를 강조하기 위해 당업자에게 이미 알려진 방법, 수단, 요소 및 회로에 대해 상세한 설명을 하지 않는다.

본 발명의 실시예에서 제공되는 이미지 처리 수단은 적어도 2개의 목표 이미지를 취득하고, 이어서 적어도 2개의 목표 이미지 중 각 목표 이미지의 목표 검출 결과에 기초하여, 각 목표 이미지에서의 하나 이상의 목표의, 하나의 목표의 목표 이미지에서의 위치를 나타내기 위한 주의 이미지를 결정할 수 있다. 이어서, 각 목표 이미지 및 각 목표 이미지에서의 하나 이상의 목표의 주의 이미지에 기초하여, 각각의 목표 이미지에서의 적어도 일부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 얻을 수 있다. 이렇게 하여, 얻어진 매칭 결과에 기초하여, 각각의 목표 이미지에서의 하나 또는 복수의 목표를 매칭하여, 촬영된 목표의 보다 완전한 정보를 얻을 수 있고, 예를 들면, 동일한 목표의 상면도와 측면도를 매칭하여, 상기 목표의 보다 전면적인 정보를 취득할 수 있다.

관련 기술에 있어서, 일반적으로는 복수의 목표 이미지에서의 목표를 공통 벡터 공간에 투영하고, 공통 벡터 공간에서의 각각의 목표의 투영 사이의 거리를 계산함으로써, 각각의 목표 이미지에 있어서 서로 대응하는 목표를 결정한다. 이러한 목표 매칭 방식에서는 목표를 공통 벡터 공간에 투영할 때, 투영을 위한 투영 행렬의 보정을 행할 필요가 있지만, 투영 행렬이 이미지 취득 장치의 자세에 영향을 받고, 즉 이미지 취득 장치의 자세가 변화하면 투영 행렬의 어긋남이 발생하기 때문에, 얻어지는 매칭 결과에 큰 오차가 생긴다. 본 발명의 실시예에서 제공되는 이미지 처리 수단은 각 목표 이미지 및 각 목표 이미지에서의 목표의 주의 이미지에 기초하여, 각각의 목표 이미지에서의 복수의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 얻음으로써, 목표의 공통 벡터 공간에 대한 투영, 투영 행렬의 보정을 행할 필요가 없어, 이미지 취득 장치의 자세에 의한 영향이 작고, 목표 사이의 매칭의 정확성을 높일 수 있다.

본 발명의 실시예는 예를 들면, 대상 마킹이나 이미지 매칭 등의 확장의 장면에 이용 가능하고, 예를 들면, 동일한 장면에서 상이한 시각으로부터 취득된 복수의 이미지를 매칭할 수 있고, 추가로 예를 들면, 복수의 이미지에서의 동일한 대상을 마킹할 수 있다. 본 발명은 특정 응용 장면에 한정되지 않는다. 이하, 실시예에 의해 본 발명의 실시예에서 제공되는 이미지 처리 수단을 설명한다.

도 1에 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 나타낸다. 이 이미지 처리 방법은 사용자측 장치(User Equipment, UE), 휴대 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 퍼스널 디지털 어시스턴트(Personal Digital Assistant, PDA), 휴대용 기기, 계산 장치, 차량 탑재 장치, 웨어러블 장치 등의 단말 장치, 서버 또는 다른 정보 처리 장치에 의해 실행되어도 된다. 일부 가능한 실시형태에서는 이 이미지 처리 방법은 프로세서에 의해 메모리에 기억되어 있는 컴퓨터 판독 가능한 명령을 불러 냄으로써 실현되어도 된다. 이하, 이미지 처리 장치를 실행 주체로 하는 예로서 본 발명의 실시예의 이미지 처리 수단을 설명한다.

도 1에 나타내는 바와 같이, 상기 이미지 처리 방법은 이하의 단계를 포함한다.

단계(S11), 적어도 2개의 목표 이미지를 취득한다.

본 발명의 실시예에서는 이미지 취득 장치에 의해 취득된 적어도 2개의 목표 이미지를 취득해도 된다. 각각의 목표 이미지는 동일한 이미지 취득 장치에서 얻어진 것이어도 되고, 각각의 이미지 취득 장치에서 얻어진 것이어도 된다. 목표 이미지는 각각 취득된 하나의 이미지여도 되고, 취득된 비디오 스트림에서의 1 프레임의 이미지여도 된다. 여기서, 목표 이미지는 적(R), 녹(G), 청(B)의 3색을 겹친 이미지로 이해되는 컬러 이미지여도 된다.

단계(S12), 상기 적어도 2개의 목표 이미지 중 각 목표 이미지의 목표 검출 결과에 기초하여, 각 목표 이미지에서의 하나 이상의 목표의, 하나의 목표의 목표 이미지에서의 위치를 나타내기 위한 주의 이미지를 결정한다.

본 발명의 실시예에서는 적어도 2개의 목표 이미지에 대해 각각 목표 검출을 행하여, 각 목표 이미지의 목표 검출 결과를 얻고, 이어서 각 목표 이미지의 목표 검출 결과에 기초하여, 각 목표 이미지에서의 하나 또는 복수의 대상물의 주의 이미지를 얻도록 해도 된다. 여기서, 목표 검출 결과는 목표의 목표 이미지에서의 투영에 대한 검출 결과여도 되고, 검출 프레임으로 나타내도 된다. 예를 들면, 교통 장면에서는 목표는 보행자, 자동차 또는 비자동차 등의 교통 도로를 통행 가능한 물체이고, 목표 검출 결과는 목표 이미지에 있어서 목표의 투영을 마킹하는 검출 프레임이어도 된다. 여기서, 하나의 주의 이미지는 하나의 목표의 목표 이미지에서의 위치를 나타내도 되고, 이 위치는 이미지 위치여도 된다.

여기서, 복수의 목표가 있는 경우에, 복수의 목표에서 하나의 목표를 선택하고, 이 목표에 대해 하나의 주의 이미지를 취득하도록 해도 된다. 이렇게 하여, 복수의 목표 사이의 간섭을 저감시킬 수 있다.

가능한 일 실시형태에서는 각 목표 이미지에서의 하나의 목표에 대해, 각 목표 이미지의 목표 검출 결과에 기초하여, 이 목표가 존재하는 제1 이미지 영역을 결정하고, 이어서 목표 이미지에서의 제1 이미지 영역 및 이 목표 이미지에서의 제1 이미지 영역 이외의 제2 이미지 영역에 의해, 이 목표의 주의 이미지를 결정하도록 해도 된다.

이 실시형태에서는 어느 하나의 목표 이미지에 대해, 이 목표 이미지의 목표 검출 결과에 대응하는 검출 프레임에 기초하여, 이 검출 프레임에 의해 마킹한 목표의, 목표 이미지에서의 제1 이미지 영역을 결정하도록 해도 되고, 이 제1 이미지 영역은 폐쇄 이미지 영역이어도 된다. 이어서, 목표 이미지에서의 제1 이미지 영역 및 이 목표 이미지에서의 제1 이미지 영역 이외의 제2 이미지 영역에 의해, 이 목표의 주의 이미지를 결정하도록 해도 된다. 예를 들면, 제1 이미지 영역 내의 화소점의 화소값을 복사하고, 또한 제2 이미지 영역의 화소값을 변경하거나, 복사한 제1 이미지 영역의 화소값을 증가 또는 감소시킴으로써, 제1 이미지 영역의 화소값과 제2 이미지 영역의 화소값이 명백하게 상이하도록 하여, 이 목표 이미지에서의 하나의 목표의 주의 이미지를 얻도록 해도 된다. 이렇게 하여, 주의 이미지에 있어서 목표가 존재하는 이미지 영역을 다른 이미지 영역으로부터 구별하여, 각각의 목표 이미지의 목표 사이의 매칭 결과의 정확성을 높일 수 있다.

이 실시형태의 일례에서, 이미지 사이즈가 상기 목표 이미지에 맞는 초기 이미지를 취득하고, 상기 초기 이미지에서, 제1 목표 이미지 영역 내의 화소점의 화소값을 제1 화소값으로 하고, 상기 초기 이미지에서, 상기 제2 이미지 영역에 대응하는 제2 목표 이미지 영역 내의 화소점의 화소값을 상기 제1 화소값과 동일하지 않은 제2 화소값으로 하여, 이 목표의 주의 이미지를 얻도록 해도 된다.

이 예에서, 하나의 초기 이미지를 생성해도 되고, 목표 이미지를 복사하여 초기 이미지를 얻어도 된다. 이 초기 이미지의 이미지 사이즈가 목표 이미지에 맞다. 즉, 초기 이미지는 목표 이미지와 이미지 사이즈가 동일하고, 예를 들면, 목표 이미지의 이미지 사이즈가 3×3㎝이면, 초기 이미지의 이미지 사이즈도 3×3㎝인 것으로 이해되어도 된다. 초기 이미지는 제1 목표 이미지 영역을 포함하고, 제1 목표 이미지 영역의 초기 이미지에서의 이미지 위치는 제1 이미지 영역의 목표 이미지에서의 이미지 위치와 동일하고, 제1 목표 이미지 영역의 화소값은 제1 화소값이 되고, 제1 화소값은 제1 이미지 영역 내의 화소점의 화소값과 동일하고, 즉 제1 목표 이미지 영역은 컬러 이미지 영역이도록 해도 된다. 또는 제1 화소값은 소정값, 예를 들면, 백색에 대응하는 화소값이 되어도 된다. 제2 목표 이미지 영역은 초기 이미지에서, 제1 목표 이미지 영역이 포함되지 않는 이미지 영역이고, 제2 이미지 영역의 화소값은 제2 화소값이 되도록 해도 된다. 제2 화소값은 미리 설정된 화소값, 예를 들면, 흑색에 대응하는 화소값이 되어도 된다. 제2 화소값과 제1 화소값이 상이하기 때문에, 제2 이미지 영역과 제1 이미지 영역을 화소점의 화소값으로 구별할 수 있다. 이러한 방식에 의하면, 목표에 대응하는 이미지 영역을 표시하고, 즉 목표의 위치를 나타내는, 목표에 대응하는 주의 이미지를 취득할 수 있고, 각각의 목표 이미지에서의 목표 사이의 매칭 결과의 정확성을 높일 수 있다.

예를 들면, 목표 이미지가 하나의 채널에 대응하는 경우에, 초기 이미지의 제1 목표 이미지 영역 내의 화소점의 화소값을 1로 직접 설치하고, 제2 목표 이미지 영역 내의 화소점의 화소값을 0으로 설치하여, 주의 이미지를 얻도록 해도 된다. 목표 이미지가 3개의 채널에 대응하는 경우에, 목표 이미지의 제1 이미지 영역 내의 화소점의 화소값을 초기 이미지의 목표 이미지 영역에 복사하고, 제2 이미지 영역 내의 화소점의 화소값을 0으로 설치하여, 주의 이미지를 얻도록 해도 된다.

단계(S13), 각 목표 이미지 및 각 목표 이미지에서의 하나 이상의 목표의 주의 이미지에 기초하여, 각각의 목표 이미지에서의 적어도 일부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정한다.

본 발명의 실시예에서는 훈련된 뉴럴 네트워크를 사용하여, 각 목표 이미지 및 이 목표 이미지에서의 하나의 목표의 주의 이미지에 대해 특징 추출을 행하여, 복수의 목표 이미지에 대응하는 특징맵을 얻도록 해도 된다. 이어서, 각 목표 이미지에 대응하는 특징맵에 기초하여, 각각의 목표 이미지에서의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 얻도록 해도 된다. 여기에서의 대응 관계는 각각의 목표 이미지에서의 목표가 동일한 목표인 것으로 이해되어도 된다. 여기서, 뉴럴 네트워크는 적어도 2개의 분기 네트워크를 포함해도 되고, 하나의 목표 이미지 및 이 목표 이미지에서의 하나의 목표의 주의 이미지를 하나의 분기 네트워크의 입력으로 해도 된다. 각각의 목표 이미지의 목표 검출 결과 사이의 매칭 결과를 이 뉴럴 네트워크의 출력으로 해도 되고, 또는 뉴럴 네트워크의 출력에 대해 특징 처리를 행하고, 예를 들면, 출력 결과에 대해 비교, 정규화 등의 처리를 행하여, 각각의 목표 이미지의 목표 검출 결과 사이의 매칭 결과를 얻어도 된다.

여기서, 목표밖에 포함하지 않는 이미지에 비해 목표 이미지를 뉴럴 네트워크의 입력으로 하는 경우, 목표 이미지에 추가로 목표의 주위의 이미지를 포함하기 때문에, 보다 전면적인 이미지 특징을 얻을 수 있다. 또한, 목표에 대응하는 주의 이미지도 뉴럴 네트워크의 입력이 되기 때문에, 목표의 위치 정보를 제공할 수 있고, 얻어지는 목표 사이의 매칭 결과가 보다 정확해진다.

가능한 일 실시형태에서는, 각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 융합하여, 각 피처리 이미지를 얻고, 이어서 각 피처리 이미지에 대해, 각각 특징 추출을 행하여 각 피처리 이미지의 특징맵을 얻고, 추가로, 각 피처리 이미지의 특징맵에 기초하여, 각각의 목표 이미지에서의 적어도 일부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정한다.

이 실시형태에서는 각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 융합하여 복수의 피처리 이미지를 얻도록 해도 된다. 이어서, 복수의 피처리 이미지를 뉴럴 네트워크의 입력 정보로 하고, 뉴럴 네트워크를 사용하여 각 피처리 이미지에 대해 특징 추출을 행하여, 최종적으로는 각각의 목표 이미지에서의 목표 사이의 매칭 결과를 얻도록 해도 된다. 각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 융합함으로써, 2개의 이미지로부터의 이미지 정보를 보다 바람직하게 융합할 수 있고, 추출된 이미지 특징이 보다 정확해진다.

일례에서, 각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 소정 차원에서 서로 연결하여 각 피처리 이미지를 얻거나, 또는 각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 소정 차원에서 가산하여 각 피처리 이미지를 얻는다.

이 예에서, 각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 소정 차원에서 서로 연결하는 것은 예를 들면, 각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를, 이미지의 길이, 이미지의 폭, 또는 심도 차원, 즉 채널 차원(예를 들면, RGB와 같은 3개의 채널)에서 서로 연결하는 것으로 이해되어도 된다. 심도 차원에서 서로 연결하는 것을 예로 하면 목표 이미지와 주의 이미지를 심도 차원에서 서로 연결하여 6채널의 이미지를 형성하고, 얻어진 피처리 이미지의 이미지 사이즈는 목표 이미지와 주의 이미지의 소정 차원에서의 사이즈의 합이어도 된다. 여기서, 목표 이미지와 주의 이미지의 심도가 동일한 경우에, 주의 이미지는 목표의 위치 정보뿐만 아니라 목표의 이미지 특징도 제공할 수 있고, 뉴럴 네트워크에 의한 특징맵은 보다 정확하고, 또한 전면적인 이미지 특징을 가지게 된다.

이 예에서, 각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 소정 차원에서 가산하는 것은 각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 심도 차원, 즉 채널 차원에서 가산하도록 해도 된다. 여기서, 채널수가 이미지의 심도 차원에 대응한다. 각 목표 이미지와 이 목표 이미지의 주의 이미지는 동일한 채널수를 가져도 되고, 예를 들면, 목표 이미지와 주의 이미지는 모두 RGB 이미지이고, 모두 3개의 채널을 갖는다. 또는 각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지는 채널수가 상이해도 되고, 예를 들면, 목표 이미지가 3개의 채널을 갖고, 주의 이미지가 하나의 채널을 갖는다. 목표 이미지 및 이 목표 이미지의 주의 이미지를 심도 차원에서 가산하고, 예를 들면, 2개의 이미지의 대응 위치에서의 화소점의 R값, G값, B값을 각각 가산하거나, 또는 목표 이미지가 3채널을 갖고, 주의 이미지가 1채널을 갖는 경우에, 대응 위치에서의 목표 이미지의 화소점의 R값에 주의 이미지의 화소점의 화소값을 가산함으로써, 피처리 이미지를 얻도록 해도 된다. 피처리 이미지의 채널수가 목표 이미지의 채널수와 동일하다.

일례에서, 뉴럴 네트워크의, 피처리 이미지에 대해 일대일로 특징 추출을 행하고, 또한 동일한 네트워크 구조와 네트워크 파라미터를 갖는 각 분기 네트워크를 사용하여, 각 피처리 이미지에 대해, 각각 특징 추출을 행하여 각 피처리 이미지의 특징맵을 얻도록 해도 된다.

이 예에서, 뉴럴 네트워크의 분기 네트워크를 사용하여 각 피처리 이미지에 대해 특징 추출 처리를 행해도 되고, 예를 들면, 입력된 각 피처리 이미지에 대해, 합성곱, 풀링, 채널수 저감 등의 특징 추출을 행하여, 각 분기 네트워크의 특징맵을 얻는다. 분기 네트워크끼리의 네트워크 결과는 동일하고, 각 분기 네트워크는 네트워크 파라미터를 공용하도록 해도 되고, 이에 의해, 뉴럴 네트워크의 복잡도를 저감시킨다.

일례에서, 상기 피처리 이미지 중 임의의 2개의 피처리 이미지의 특징맵에 대해, 특징 매칭을 행하여 매칭된 특징맵을 얻고, 이어서 상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하도록 해도 된다.

이 예에서, 복수의 피처리 이미지 중 임의의 2개의 피처리 이미지에 대응하는 특징맵에 대해 특징 매칭을 행하여, 하나의 매칭된 특징맵을 얻도록 해도 된다. 다음으로, 뉴럴 네트워크를 사용하여, 얻어진 매칭된 특징맵에 대해 특징 추출을 행하고, 예를 들면, 얻어진 매칭된 특징맵에 대해, 복수회의 합성곱, 배치 표준화, 정규화 선형, 전체 결합 등의 특징 추출을 행하여, 뉴럴 네트워크의 출력을 취득하고, 이 뉴럴 네트워크의 출력을 상기 임의의 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이의 매칭 결과로 해도 된다. 혹은 뉴럴 네트워크의 출력을 추가로 처리하여 예를 들면, 정규화, 표준화 등의 처리를 행하여, 상기 임의의 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이의 매칭 결과를 취득하도록 해도 된다. 이 실시형태에서는, 임의의 2개의 피처리 이미지의 특징맵에 대해 특징 매칭을 행함으로써, 각각의 목표 이미지에서의 목표를 비교하여 목표 사이의 매칭 결과를 얻을 수 있다.

일례에서, 상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이의 대응 스코어를 얻고, 상기 대응 스코어가 스코어 임계값보다 큰 경우에, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 잠재적인 대응성이 있는 것으로 결정하도록 해도 된다.

이 예에서, 뉴럴 네트워크를 사용하여 매칭된 특징맵에 대해 특징 추출을 행하고, 예를 들면, 얻어진 매칭된 특징맵에 대해, 복수회의 합성곱, 배치 표준화, 정규화 선형, 전체 결합 등의 특징 추출 조작을 행하여, 상기 임의의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이의 대응 스코어를 취득하도록 해도 된다. 이 대응 스코어는 상기 임의의 피처리 이미지에 대응하는 목표 이미지에서의 임의의 2개의 목표 사이의 대응 정도를 나타내는 것이어도 되고, 예를 들면, 대응 스코어가 높을수록 2개의 목표 사이의 대응 정도가 큰 것을 나타내고, 대응 스코어가 낮을수록 2개의 목표 사이의 대응 정도가 작은 것을 나타낸다. 이 예에서, 대응 스코어와 미리 설정된 스코어 임계값을 비교하여, 얻어진 대응 스코어가 스코어 임계값보다 크면 2개의 목표 사이에 잠재적인 대응성이 있고, 즉, 2개의 목표가 동일한 목표일 가능성이 있는 것으로 생각된다. 이러한 방식에 의하면, 목표 사이의 대응 스코어에 기초하여, 2개의 목표 이미지에서 대응 관계가 있을 수 있는 목표를 신속하게 골라 낼 수 있다.

일례에서, 상기 대응 스코어가 상기 스코어 임계값 이하인 경우에, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 대응성이 없는 것으로 결정한다.

이 예에서, 얻어진 대응 스코어가 미리 설정된 스코어 임계값 이하이면 2개의 목표 사이에 대응 관계가 없고, 즉 2개의 목표가 동일한 목표가 아닌 것으로 생각된다. 이러한 방식에 의하면, 임의의 2개의 목표 사이의 대응 스코어에 기초하여, 2개의 목표가 동일한 목표인지 여부를 신속하게 결정할 수 있다.

가능한 일 실시형태에서는, 상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이의 대응 스코어를 얻고, 이어서, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 각 목표 사이의 대응 스코어에 기초하여, 각각의 목표 이미지에서의 목표의 매칭을 실행하여, 각각의 목표 이미지에서의 각 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 얻는다. 여기서, 매칭이 실행되는 목표는 각각의 목표 이미지에 속한다.

이 실시형태에서는 각 목표 이미지의 각각에 복수의 목표를 포함해도 되기 때문에, 하나의 목표 이미지에 있어서의 어떤 목표가 다른 하나의 목표 이미지에서의 복수의 목표 검출 결과에 대해 잠재적인 대응성을 가질 가능성이 있지만, 실은 하나의 목표 이미지에서의 어떤 목표가 다른 하나의 목표 이미지에서의 하나의 목표에 대응하기 때문에, 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이의 대응 스코어에 기초하여, 각각의 목표 이미지에서의 목표의 일대일 매칭을 실행하여, 하나의 목표 이미지에서의 하나의 목표를 다른 하나의 목표 이미지에서의 하나의 목표와 매칭시켜, 각각의 목표 이미지에서의 각 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 얻고, 각각의 목표 이미지에서의 복수의 목표 사이의 글로벌 매칭을 실현하도록 해도 된다. 여기서, 추가로 매칭되어 있는 목표를 마킹하고, 예를 들면, 매칭되어 있는 목표에 대해, 동일한 번호로 마킹하거나, 동일한 색 또는 라벨로 마킹하는 등 함으로써, 동일한 목표를 식별하기 쉽도록 해도 된다.

이 실시형태의 일례에서는 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 각 목표 사이의 대응 스코어에 기초하여, 상기 각각의 목표 이미지 중 제1 목표 이미지에서의 각 목표와 상기 각각의 목표 이미지 중 제2 목표 이미지에서의 각 목표의 대응 스코어의 총합을 결정하고, 이어서 상기 대응 스코어의 총합이 가장 크고, 또한 미리 설정된 총합 스코어 임계값보다 큰 경우에, 상기 제1 목표 이미지에서의 목표와 상기 제2 목표 이미지에서의 목표가 일대일로 매칭되는 것으로 결정하여 상기 매칭 결과를 얻도록 해도 된다.

이 예에서, 각 목표 사이의 대응 스코어의 대응 스코어 총합을 계산함으로써, 2개의 목표 이미지에서의 목표의 매칭을 실행해도 된다. 즉, 제1 목표 이미지에서의 복수의 목표와 제2 목표 이미지에서의 복수의 목표에 대해, 일대일로 매칭을 실행하고, 이어서 매칭이 실행된 목표쌍의 대응 스코어를 계산함으로써, 대응 스코어의 총합을 얻는다. 대응 스코어의 총합이 최대인 경우에, 제1 목표 이미지에서의 목표와 제2 목표 이미지에서의 목표의 매칭이 최적인 것으로 생각되고, 이 최대의 대응 스코어의 총합이 미리 설정된 총합 스코어 임계값보다 크면, 제1 목표 이미지에서의 복수의 목표와 제2 목표 이미지에서의 복수의 목표에 대응 관계가 존재하고, 제1 목표 이미지와 제2 목표 이미지가 동일한 장면을 촬영하여 얻어진 이미지인 것으로 생각된다.

이 예에서, 상기 대응 스코어의 총합 중 최대의 대응 스코어의 총합이 상기 총합 스코어 임계값 이하인 경우에, 상기 제1 목표 이미지에서의 목표와 상기 제2 목표 이미지에서의 목표가 매칭되지 않는 것으로 결정한다.

여기서, 이 최대의 대응 스코어의 총합이 미리 설정된 총합 스코어 임계값 이하이면, 제1 목표 이미지에서의 목표와 제2 목표 이미지에서의 목표의 매칭이 최적이지만, 최대의 대응 스코어의 총합이 미리 설정된 총합 스코어 임계값에 도달하지 않고, 제1 목표 이미지에서의 복수의 목표와 제2 목표 이미지에서의 복수의 목표에 대응 관계가 없고, 제1 목표 이미지와 제2 목표 이미지가 동일한 장면을 촬영하여 얻어진 이미지가 아닌 것으로 생각되고, 예를 들면, 제1 목표 이미지와 제2 목표 이미지에 포함되는 목표는 일부에서 동일하거나, 일부에서 상이하거나, 또는 제1 목표 이미지와 제2 목표 이미지에 포함되는 목표의 전부는 상이하다.

예를 들면, 제1 목표 이미지에 각각 A, B 및 C가 되는 3개의 목표가 존재하고, 제2 목표 이미지에 각각 a, b 및 c가 되는 3개의 목표가 존재하는 것으로 가정한다. 제1 목표 이미지에서의 A와 제2 목표 이미지에서의 a 사이의 대응 스코어를 Aa로 나타내도 된다. 각 목표 사이의 대응 스코어의 총합은 제1 목표 이미지에서의 3개의 목표와 제2 목표 이미지에서의 3개의 목표를 랜덤으로 페어링하여, 페어링된 2개의 목표 사이의 대응 스코어를 가산하여 얻어지는 것이면 되고, 랜덤으로 페어링할 때마다 제1 목표 이미지에서의 하나의 목표에 제2 목표 이미지에서의 하나의 목표가 할당된다. 즉, Aa, Bb, Cc가 1회 랜덤 페어링에 대응하고, Aa, Bc, Cb가 1회의 랜덤 페어링에 대응하고, Ab, Ba, Cc가 1회의 랜덤 페어링에 대응하고, Ab, Bc, Ca가 1회의 랜덤 페어링에 대응하고, Ac, Ba, Cb가 1회의 랜덤 페어링에 대응하고, Ac, Bb, Ca가 1회의 랜덤 페어링에 대응하고, 여기에서 대응 스코어의 합의 가장 큰 1회의 랜덤 페어링을 선택하여, 이 랜덤 페어링의 목표쌍의 대응 스코어의 합을 최대의 대응 스코어의 총합로 해도 된다.

설명하고자 하는 것은 본 발명에서는 각각의 목표 이미지에서의 목표를 페어링할 때의 구체적인 할당 방법이 한정되지 않는다. 여기서, 예를 들면, 탐욕 알고리즘과 같은 관련 알고리즘을 사용하여 하나의 목표 이미지에서의 복수의 목표와 다른 하나의 목표 이미지에서의 복수의 목표를 페어링하여, 대응 스코어의 총합이 가장 큰 페어링을 얻고, 각각의 목표 이미지에서의 목표 사이의 최적의 매칭을 얻도록 해도 된다.

본 발명의 실시예에서 제공된 이미지 처리 수단에 의하면, 각 목표 이미지 및 각 목표 이미지에서의 하나 이상의 목표의 주의 이미지에 기초하여, 각각의 목표 사이의 정확한 매칭 결과를 취득할 수 있고, 얻어진 매칭 결과에 기초하여, 각각의 목표 이미지에서의 목표를 매칭하여, 복수의 이미지 취득 장치에 의해 취득한 목표 이미지 사이의 관련을 확립할 수 있고, 시야의 범위를 크게 하여, 현재 장면의 보다 전면적인 정보를 취득할 수 있다.

도 2에 본 발명의 실시예에 따른 이미지 처리의 일례의 흐름도를 나타낸다.

본 발명의 실시예의 일례는 추가로 복수의 이미지 취득 장치에 의해 상이한 시각에서 동일한 장면을 동기 촬영하여 얻어진 적어도 2개의 목표 이미지를 매칭하는 응용 장면을 제공한다. 도 2에 나타내는 바와 같이, 이하의 단계를 포함해도 된다.

단계(S21), 복수의 이미지 취득 장치에 의해 상이한 시각에서 동일한 장면을 동기 촬영하여 얻어진 적어도 2개의 목표 이미지를 취득하고, 여기서, 각각의 목표 이미지가 각각의 이미지 취득 장치에 대응한다.

단계(S22), 상기 적어도 2개의 목표 이미지 중 각 목표 이미지의 목표 검출 결과에 기초하여, 각 목표 이미지에서의 하나 이상의 목표의 주의 이미지를 결정한다.

단계(S23), 각 목표 이미지 및 이 목표 이미지에서의 하나 이상의 목표의 주의 이미지에 기초하여, 각각의 목표 이미지에서의 적어도 일부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 얻는다.

이 예에서, 복수의 이미지 취득 장치에 의해 상이한 시각에서 동일한 장면을 동기 촬영할 수 있기 때문에, 이미지 취득 장치의 각각의 촬영 각도와 위치가 상이하고, 상이한 각도에서 동일한 장면을 촬영한 목표 이미지, 예를 들면, 동일 물체의 정면도와 상면도를 취득할 수 있다. 각각의 목표 이미지의 목표 사이의 매칭 결과에 기초하여, 복수의 이미지 취득 장치에 의해 동기 촬영한 목표 이미지에서의 동일한 목표의 매칭을 실행할 수 있고, 예를 들면, 각각의 목표 이미지에 있어서 동일한 목표에 동일한 번호, 색 또는 형상 등을 형성하고, 각각의 목표 이미지에서 동일한 목표를 매칭하는 것을 달성한다.

이하, 이 예에 대해 2개의 목표 이미지의 목표를 매칭하는 과정에 의해 설명한다.

도 3에 본 발명의 실시예에서 뉴럴 네트워크를 사용하여 2개의 목표의 매칭 결과를 얻는 일례의 블록도를 나타낸다.

복수의 이미지 취득 장치는 상이한 시각에서 동일한 장면을 동기 촬영할 수 있고, 복수의 이미지 취득 장치 중 임의의 2개의 이미지 취득 장치에 의해 취득한 목표 이미지를, 제1 이미지 취득 장치에 의한 제1 이미지와 제2 이미지 검출 장치에 의한 제2 이미지로 해도 된다. 제1 이미지와 제2 이미지에 대해 각각 목표 검출을 행하여, 제1 이미지와 제2 이미지의 각각에 포함되는 목표를 결정하고, 각 목표 이미지에서 목표가 복수 포함되어도 된다. 각 목표 이미지에서의 복수의 목표에서 어느 하나의 목표를 선택하고, 선택된 목표에 대해, 뉴럴 네트워크를 사용하여 두개의 목표 사이의 매칭 결과를 결정하도록 해도 된다. 제1 이미지에 제1 목표를 포함하고, 제1 목표에 의해 얻어진 주의 이미지를 제1 주의 이미지로 해도 된다. 제2 이미지에 제2 목표를 포함하고, 제2 목표에 의해 얻어진 주의 이미지를 제2 주의 이미지로 해도 된다.

상기 뉴럴 네트워크는 2개의 분기 네트워크, 즉 제1 분기 네트워크와 제2 분기 네트워크를 포함해도 된다. 제1 이미지와 제1 주의 이미지를 제1 분기 네트워크에 입력하고, 또한 제2 이미지와 제2 주의 이미지를 제2 분기 네트워크에 입력하도록 해도 된다. 제1 분기 네트워크에 의한 처리 과정을 예로 하면, 제1 이미지와 제1 주의 이미지를 심도 차원에서 서로 연결하여 입력 이미지를 얻도록 해도 되고, 여기에서, 제1 이미지가 3개의 채널에 대응하고, 제1 주의 이미지가 3개의 채널에 대응하고, 입력 이미지가 6개의 채널에 대응하고, 각 채널이 각각 하나의 심도에 대응한다. 이어서, 제1 분기 네트워크를 사용하여 입력 이미지에 대해 합성곱 처리를 행하여, 입력 이미지의 채널수를 6에서 3으로 저감시키고, 이어서 채널수가 저감된 입력 이미지에 대해, 특징 추출을 행하여 제1 분기 네트워크에 의한 특징맵을 얻도록 해도 되고, 이 특징맵은 3개의 차원의 특징을 갖는 텐서여도 되고, 3개의 차원의 특징은 길이 특징, 폭 특징 및 심도 특징을 포함해도 된다. 특징 추출을 행할 때, 채널수가 저감된 초기 특징맵에 대해 복수회의 합성곱 처리를 행해도 된다. 제2 분기 네트워크의 특징맵도 동일한 방식에 의해 얻을 수 있다.

이어서, 뉴럴 네트워크의 매칭층에 의해 제1 분기 네트워크에 의한 특징맵과 제2 분기 네트워크에 의한 특징맵을 매칭하고, 하나의 매칭된 특징맵을 얻도록 해도 된다. 제1 분기 네트워크에 의한 특징맵과 제2 분기 네트워크에 의한 특징맵을 매칭할 때, 이하의 매칭 식(1)을 이용해도 된다.

단,

는 매칭된 특징맵이고,

이고, 그 중,

는 실수의 집합을 나타낸다.

는 제1 분기 네트워크에 의한 특징맵의 특징 벡터이고,

는 제2 분기 네트워크에 의한 특징맵의 특징 벡터이고, i는 특징맵의 행을 나타내고, 특징맵의 길이 특징에 대응하고, j는 특징맵의 열을 나타내고, 특징맵의 폭 특징에 대응하고, i와 j는 모두 양의 정수이고, k는 행과 열에 대응하는 인덱스를 나타내고, 예를 들면,

이다.

이어서, 이 매칭된 특징맵에 대해, 글로벌 회귀 처리를 행하여 제1 목표와 제2 목표 사이의 대응 스코어를 취득하도록 해도 된다. 여기에서의 글로벌 회귀 처리는 복수회의 합성곱 처리, 배치 표준화 처리, 정규화 선형 처리 및 전체 결합층의 처리를 포함해도 된다. 동일한 방식에 의해, 제1 이미지와 제2 이미지의 임의의 2개의 목표 사이의 대응 스코어를 취득할 수 있다. 이어서, 복수의 목표쌍의 대응 스코어에 기초하여, 매칭한 복수의 목표쌍의 대응 스코어의 총합이 가장 크도록 복수의 제1 목표와 복수의 제2 목표의 일대일 매칭을 실행하도록 해도 된다. 매칭된 목표쌍을 결정한 후, 제1 이미지와 제2 이미지에 있어서 매칭한 목표쌍을 마킹해도 된다.

상기 이미지 처리 수단에 의하면, 목표 이미지에 목표가 존재하는 이미지 영역의 이미지 특징뿐만 아니라, 목표의 주위의 이미지 영역의 이미지 특징도 포함하기 때문에, 목표 이미지에서보다 전면적인 이미지 특징을 취득할 수 있다. 주의 이미지에 목표의 위치 정보와 이미지 특징을 포함하기 때문에, 추가로 목표의 위치 정보와 이미지 특징에 기초하여, 2개의 목표가 대응하는지 여부에 대한 매칭 결과를 얻을 수 있다.

본 발명에서 언급되는 상기 각 방법의 실시예는 원리와 논리에 위반되지 않는 한, 서로 조합하여 실시예를 형성할 수 있는 것을 이해해야 하고, 분량에 한정이 있으므로, 본 발명에서는 생략한다.

또한, 본 발명은 이미지 처리 장치, 전자 기기, 컴퓨터 판독 가능 기억 매체, 프로그램을 추가로 제공하고, 이들 중 전부를 본 발명에서 제공되는 이미지 처리 방법 중 어느 하나를 실현하는 것에 이용 가능하고, 이에 대응하는 기술적 해결 수단 및 설명에 대해서는 방법 부분의 대응하는 기재를 참조하면 되고, 여기에서 상세한 설명을 생략한다.

당업자이면 구체적인 실시형태의 상기 방법에 있어서, 각 단계의 기술 순서는 엄격한 실행 순서는 아니고, 실시 프로세스의 어떠한 제한도 되지 않고, 각 단계의 구체적인 실행 순서는 그 기능과 가능한 내재적 논리에 의존하는 것을 이해해야 한다.

도 4는 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 나타내고, 도 4에 나타내는 바와 같이, 상기 이미지 처리 장치는,

적어도 2개의 목표 이미지를 취득하기 위한 취득 모듈(41)과,

상기 적어도 2개의 목표 이미지 중 각 목표 이미지의 목표 검출 결과에 기초하여, 각 목표 이미지에서의 하나 이상의 목표의, 하나의 목표의 목표 이미지에서의 위치를 나타내기 위한 주의 이미지를 결정하기 위한 제1 결정 모듈(42)과,

각 목표 이미지 및 각 목표 이미지에서의 하나 이상의 목표의 주의 이미지에 기초하여, 각각의 목표 이미지에서의 적어도 일부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하기 위한 제2 결정 모듈(43)을 포함한다.

가능한 일 실시형태에서는, 상기 제1 결정 모듈(42)은,

가능한 일 실시형태에서는, 상기 제2 결정 서브 모듈(42)은,

가능한 일 실시형태에서는, 상기 제2 결정 모듈(42)은,

각 피처리 이미지에 대해, 각각 특징 추출을 행하여 각 피처리 이미지의 특징 맵을 얻기 위한 특징 추출 서브 모듈과,

각 피처리 이미지의 특징 맵에 기초하여, 각각의 목표 이미지에서의 적어도 일부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하기 위한 판단 서브 모듈을 포함한다.

가능한 일 실시형태에서는, 상기 융합 서브 모듈은,

가능한 일 실시형태에서는, 상기 특징 추출 서브 모듈은,

상기 피처리 이미지 중 임의의 2개의 피처리 이미지의 특징 맵에 대해 특징 매칭을 행하여, 매칭 특징 맵을 얻기 위한 매칭 유닛과,

상기 매칭 특징 맵에 기초하여, 특징 맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하기 위한 결정 유닛을 포함한다.

가능한 일 실시형태에서는, 상기 결정 유닛은,

상기 매칭 특징 맵에 기초하여, 특징 맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이의 대응 스코어를 얻기 위한 제1 매칭 서브 유닛과,

상기 대응 스코어가 스코어 임계값보다 큰 경우에, 특징 맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 잠재적인 대응성이 있는 것으로 결정하기 위한 제1 결정 서브 유닛을 포함한다.

가능한 일 실시형태에서는, 상기 장치는,

상기 대응 스코어가 상기 스코어 임계값 이하인 경우에, 특징 맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 대응성이 없는 것으로 결정하기 위한 제2 결정 서브 유닛을 추가로 포함한다.

가능한 일 실시형태에서는, 상기 결정 유닛은,

상기 매칭 특징 맵에 기초하여, 특징 맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이의 대응 스코어를 얻기 위한 제2 매칭 서브 유닛과,

특징 맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 각 목표 사이의 대응 스코어에 기초하여, 각각의 목표 이미지에서의 목표의 매칭을 실행하여, 각각의 목표 이미지에서의 각 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 얻기 위한 것으로서, 매칭이 실행되는 목표는 각각의 목표 이미지에 속하는 매칭 서브 유닛을 포함한다.

가능한 일 실시형태에서는, 상기 매칭 서브 유닛은,

특징 맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 각 목표 사이의 대응 스코어에 기초하여, 상기 각각의 목표 이미지 중 제1 목표 이미지에서의 각 목표와 상기 각각의 목표 이미지 중 제2 목표 이미지에서의 각 목표의 대응 스코어의 총합을 결정하는 것과,

가능한 일 실시형태에서는, 상기 매칭 서브 유닛은 추가로,

일부 실시예에서는 본 발명의 실시예에서 제공된 장치에 구비하는 기능 또는 모듈은 상기 방법 실시예에 기재된 방법을 실행하기 위해 사용되고, 그 구체적인 실시형태에 대해서는 상기 방법 실시예의 설명을 참조하면 되고, 간결하게 하기 위해 여기에서 중복 설명은 생략한다.

본 발명의 실시예는 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체에 있어서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 상기 방법을 실현하는 컴퓨터 판독 가능 기억 매체를 추가로 제공한다. 컴퓨터 판독 가능 기억 매체는 비휘발성 컴퓨터 판독 가능 기억 매체여도 된다.

본 발명의 실시예는 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 프로세서는 상기 방법을 실행하도록 구성되는 전자 기기를 추가로 제공한다.

전자 기기는 단말, 서버 또는 다른 형태의 장치로서 제공되어도 된다.

도 5는 예시적인 일 실시예에 기초하여 나타낸 전자 기기(800)의 블록도이다. 예를 들면, 전자 기기(800)는 휴대 전화, 컴퓨터, 디지털 방송 단말, 메시지 송수신 장치, 게임 콘솔, 태블릿 장치, 의료 기기, 피트니스 기구, 퍼스널 디지털 어시스턴트 등의 단말이어도 된다.

도 5를 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 이상을 포함해도 된다.

처리 컴포넌트(802)는 통상, 전자 기기(800)의 전체적인 동작, 예를 들면, 표시, 전화의 호출, 데이터 통신, 카메라 동작 및 기록 동작에 관련되는 동작을 제어한다. 처리 컴포넌트(802)는 명령을 실행하여 상기 방법 중 전부 또는 일부 단계를 실행하기 위한 하나 이상의 프로세서(820)를 포함해도 된다. 또한, 처리 컴포넌트(802)는 다른 컴포넌트와의 상호 작용을 위한 하나 이상의 모듈을 포함해도 된다. 예를 들면, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808)와의 상호 작용을 위해 멀티미디어 모듈을 포함해도 된다.

메모리(804)는 전자 기기(800)에서의 동작을 서포트하기 위한 다양한 타입의 데이터를 기억하도록 구성된다. 상기 데이터는 예로서, 전자 기기(800)에서 조작하기 위한 모든 애플리케이션 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 예를 들면, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EEPROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM), 프로그래머블 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광디스크 등의 모든 타입의 휘발성 또는 비휘발성 기억 장치 또는 이들의 조합에 의해 실현할 수 있다.

전원 컴포넌트(806)는 전자 기기(800)의 각 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 이상의 전원 및 전자 기기(800)를 위한 전력 생성, 관리 및 배분에 관련되는 다른 컴포넌트를 포함해도 된다.

멀티미디어 컴포넌트(808)는 상기 전자 기기(800)와 사용자 사이에서 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서는 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함해도 된다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하기 위해, 터치 스크린으로서 실현해도 된다. 터치 패널은 터치, 슬라이드 및 터치 패널에서의 제스처를 검지하기 위해, 하나 이상의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 검지할 뿐만 아니라, 상기 터치 또는 슬라이드 조작에 관련되는 지속 시간 및 압력을 검출하도록 해도 된다. 일부 실시예에서는 멀티미디어 컴포넌트(808)는 전면 카메라 및/또는 후면 카메라를 포함한다. 전자 기기(800)가 동작 모드, 예를 들면, 촬영 모드 또는 촬상 모드가 되는 경우, 전면 카메라 및/또는 후면 카메라는 외부의 멀티미디어 데이터를 수신하도록 해도 된다. 각 전면 카메라 및 후면 카메라는 고정된 광학 렌즈계, 또는 초점 거리 및 광학 줌 능력을 갖는 것이어도 된다.

오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들면, 오디오 컴포넌트(810)는 마이크(MIC)를 포함하고, 마이크(MIC)는 전자 기기(800)가 동작 모드, 예를 들면, 호출 모드, 기록 모드 및 음성 인식 모드가 되는 경우, 외부의 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 추가로 메모리(804)에 기억되거나, 또는 통신 컴포넌트(816)에 의해 송신되어도 된다. 일부 실시예에서는 오디오 컴포넌트(810)는 추가로 오디오 신호를 출력하기 위한 스피커를 포함한다.

I/O 인터페이스(812)는 처리 컴포넌트(802)와 주변 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등이어도 된다. 상기 버튼은 홈 버튼, 음량 버튼, 시작 버튼 및 잠금 버튼을 포함해도 되지만, 이들에 한정되지 않는다.

센서 컴포넌트(814)는 전자 기기(800)의 각 측면에서의 상태 평가를 위해 하나 이상의 센서를 포함한다. 예를 들면, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 예를 들면, 전자 기기(800)의 표시 장치 및 키패드와 같은 컴포넌트의 상대적 이미치 처리를 검출할 수 있고, 센서 컴포넌트(814)는 추가로 전자 기기(800) 또는 전자 기기(800)가 있는 컴포넌트의 위치 변화, 사용자와 전자 기기(800)의 접촉 유무, 전자 기기(800) 방위 또는 가감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉도 없는 경우, 근방의 물체의 존재를 검출하도록 구성된 근접 센서를 포함해도 된다. 센서 컴포넌트(814)는 추가로 CMOS 또는 CCD 이미지 센서와 같은, 이미징 애플리케이션에서 사용하기 위한 광센서를 포함해도 된다. 일부 실시예에서는 상기 센서 컴포넌트(814)는 추가로 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 포함해도 된다.

통신 컴포넌트(816)는 전자 기기(800)와 다른 기기 사이의 유선 또는 무선 통신을 실현하도록 배치된다. 전자 기기(800)는 통신 규격에 기초하는 무선 네트워크, 예를 들면, WiFi, 2G 또는 3G, 또는 이들의 조합에 액세스할 수 있다. 일 예시적 실시예에서는 통신 컴포넌트(816)는 방송 채널에 의해 외부의 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서는 상기 통신 컴포넌트(816)는 추가로 근거리 통신을 촉진시키기 위해 근거리 무선 통신(NFC) 모듈을 포함한다. 예를 들면, NFC 모듈은 무선 주파수 식별(RFID) 기술, 적외선 데이터 협회(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 의해 실현할 수 있다.

예시적인 실시예에서는 전자 기기(800)는 하나 이상의 특정 용도용 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 디바이스(DSPD), 프로그래머블 로직 디바이스(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 요소에 의해 실현되고, 상기 방법을 실행하기 위해 사용될 수 있다.

예시적인 실시예에서는 추가로 비휘발성 컴퓨터 판독 가능 기억 매체, 또는 휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(804)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(800)의 프로세서(820)에 의해 실행되면, 상기 방법을 실행시킬 수 있다.

도 6은 예시적인 실시예에 기초하여 나타낸 전자 기기(1900)의 블록도이다. 예를 들면, 전자 기기(1900)는 서버로서 제공되어도 된다. 도 6을 참조하면, 전자 기기(1900)는 하나 이상의 프로세서를 포함하는 처리 컴포넌트(1922) 및 처리 컴포넌트(1922)에 의해 실행 가능한 명령, 예를 들면, 애플리케이션 프로그램을 기억하기 위한, 메모리(1932)를 대표로 하는 메모리 자원을 포함한다. 메모리(1932)에 기억된 애플리케이션 프로그램은 각각이 하나의 명령군에 대응하는 하나 이상의 모듈을 포함해도 된다. 또한, 처리 컴포넌트(1922)는 명령을 실행함으로써, 상기 방법을 실행하도록 구성된다.

전자 기기(1900)는 추가로 전자 기기(1900)의 전원 관리를 실행하도록 구성된 전원 컴포넌트(1926), 전자 기기(1900)를 네트워크에 접속하도록 구성된 유선 또는 무선 네트워크 인터페이스(1950) 및 입출력(I/O) 인터페이스(1958)를 포함해도 된다. 전자 기기(1900)는 메모리(1932)에 기억된 오퍼레이팅 시스템, 예를 들면, Windows Server^TM, Mac OS X^TM, Unix^TM, Linux^TM, FreeBSD^TM 또는 유사한 것에 기초하여 동작할 수 있다.

예시적인 실시예에서는 추가로 비휘발성 컴퓨터 판독 가능 기억 매체 또는 휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(1932)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행되면, 상기 방법을 실행시킬 수 있다.

본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품이어도 된다. 컴퓨터 프로그램 제품은 프로세서에 본 발명의 각 측면을 실현시키기 위한 컴퓨터 판독 가능 프로그램 명령이 갖고 있는 컴퓨터 판독 가능 기억 매체를 포함해도 된다.

컴퓨터 판독 가능 기억 매체는 명령 실행 장치에 의해 사용되는 명령을 저장 및 기억 가능한 유형(有形)의 장치여도 된다. 컴퓨터 판독 가능 기억 매체는 예를 들면, 전기 기억 장치, 자기 기억 장치, 광 기억 장치, 전자 기억 장치, 반도체 기억 장치 또는 상기 임의의 적당한 조합이어도 되지만, 이들에 한정되지 않는다. 컴퓨터 판독 가능 기억 매체의 더욱 구체적인 예(비망라적 리스트)로는 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대형 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 예를 들면, 명령이 기억되어 있는 천공 카드 또는 슬롯 내 돌기 구조와 같은 기계적 부호화 장치 및 상기 임의의 적당한 조합을 포함한다. 여기에서 사용되는 컴퓨터 판독 가능 기억 매체는 순시 신호 자체, 예를 들면, 무선 전파 또는 기타 자유롭게 전파되는 전자파, 도파로 또는 다른 전송 매체를 경유하여 전파되는 전자파(예를 들면, 광파이버 케이블을 통과하는 펄스광) 또는 전선을 경유하여 전송되는 전기 신호로 해석되는 것은 아니다.

여기에서 기술된 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에서 각 계산/처리 기기에 다운로드되어도 되고, 또는 네트워크, 예를 들면, 인터넷, 로컬 에어리어 네트워크, 광역 네트워크 및/또는 무선 네트워크에 의해 외부 컴퓨터 또는 외부 기억 장치에 다운로드되어도 된다. 네트워크는 구리 전송 케이블, 광파이버 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함해도 된다. 각 계산/처리 기기 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전송하고, 각 계산/처리 기기 내의 컴퓨터 판독 가능 기억 매체에 기억시킨다.

본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령은 어셈블러 명령, 명령 세트 아키텍처(ISA) 명령, 기계어 명령, 기계 의존 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터 또는 Smalltalk, C++ 등의 오브젝트 지향 프로그래밍 언어 및 「C」언어 또는 유사한 프로그래밍 언어 등의 일반적인 절차형 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목표 코드(object code)여도 된다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 실행되어도 되고, 독립형 소프트웨어 패키지로서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 또한 부분적으로 리모트 컴퓨터에서 실행되어도 되고, 또는 완전히 리모트 컴퓨터 혹은 서버에서 실행되어도 된다. 리모트 컴퓨터의 경우, 리모트 컴퓨터는 로컬 에어리어 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 종류의 네트워크를 경유하여 사용자의 컴퓨터에 접속되거나, 또는 (예를 들면, 인터넷 서비스 프로바이더를 이용해 인터넷을 경유하여) 외부 컴퓨터에 접속되어도 된다. 일부 실시예에서는 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 예를 들면, 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA) 등의 전자 회로를 퍼스널라이즈하고, 상기 전자 회로에 의해 컴퓨터 판독 가능 프로그램 명령을 실행함으로써, 본 발명의 각 측면을 실현하도록 해도 된다.

또한, 여기에서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하면서 본 발명의 각 측면을 설명했지만, 흐름도 및/또는 블록도의 각 블록 및 흐름도 및/또는 블록도의 각 블록의 조합은 전부 컴퓨터 판독 가능 프로그램 명령에 의해 실현할 수 있는 것으로 이해되어야 한다.

상기 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 제공되어 상기 명령이 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 의해 실행되면, 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현하도록 기계를 제조해도 된다. 또한, 상기 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에 기억시키고, 컴퓨터, 프로그래머블 데이터 처리 장치 및/또는 기타 기기를 특정 방식으로 동작시키도록 해도 된다. 명령을 기억하고 있는 컴퓨터 판독 가능 기억 매체에는 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작의 각 측면을 실현하기 위한 명령을 갖는 제품을 포함한다.

컴퓨터 판독 가능 프로그램 명령은 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에 로드하고, 컴퓨터, 기타 프로그래머블 처리 장치 또는 기타 기기에 일련의 동작 단계를 실행시킴으로써, 컴퓨터에 의해 실행되는 프로세스를 생성하고, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에서 실행되는 명령에 의해 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현한다.

도면 중 흐름도 및 블록도는 본 발명의 복수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 시스템 아키텍처, 기능 및 동작을 나타낸다. 이 점에서는 흐름도 또는 블록도에서의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령의 일부분은 지정된 논리 기능을 실현하기 위한 하나 이상의 실행 가능 명령을 포함한다. 몇 가지 대안으로서의 실현 형태에서는 블록에 표기되는 기능은 도면에 기재된 순서와 상이하게 실현해도 된다. 예를 들면, 두 개의 연속적인 블록은 실질적으로 동시에 실행해도 되고, 또한 이러한 기능에 의해 반대 순서로 실행해도 되는 경우가 있다. 또한, 블록도 및/또는 흐름도에서의 각 블록 및 블록도 및/또는 흐름도에서의 블록의 조합은 지정되는 기능 또는 동작을 실행하는 하드웨어에 기초하는 전용 시스템에 의해 실현해도 되고, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 실현해도 되는 것에 주의해야 한다.

이상, 본 발명의 각 실시예를 기술했지만, 상기 설명은 예시적인 것에 불과하고, 망라적인 것이 아니며, 또한 개시된 각 실시예에 한정되는 것도 아니다. 당업자에게 있어서, 설명된 각 실시예의 범위 및 정신에서 벗어나지 않고, 다양한 수정 및 변경이 자명하다. 본 명세서에 선택된 용어는 각 실시예의 원리, 실제 적용 또는 시장에서의 기술에 대한 기술적 개선을 바람직하게 해석하거나, 또는 다른 당업자에게 본문에 개시된 각 실시예를 이해시키기 위한 것이다.

Claims

적어도 2개의 목표 이미지를 취득하는 것과,
상기 적어도 2개의 목표 이미지 중 각 목표 이미지의 목표 검출 결과에 기초하여, 각 목표 이미지에서의 하나 이상의 목표의, 하나의 목표의 목표 이미지에서의 위치를 나타내기 위한 주의 이미지를 결정하는 것과,
각 목표 이미지 및 각 목표 이미지에서의 하나 이상의 목표의 주의 이미지에 기초하여, 각각의 목표 이미지에서의 일부 또는 전부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하는 것을 포함하는, 이미지 처리 방법.
제 1 항에 있어서,
상기 적어도 2개의 목표 이미지 중 각 목표 이미지의 목표 검출 결과에 기초하여, 각 목표 이미지에서의 하나 이상의 목표의 주의 이미지를 결정하는 것은,
각 목표 이미지에서의 하나의 목표에 대해, 각 목표 이미지의 목표 검출 결과에 기초하여, 이 목표가 존재하는 제1 이미지 영역을 결정하는 것과,
목표 이미지에서의 제1 이미지 영역 및 이 목표 이미지에서의 제1 이미지 영역 이외의 제2 이미지 영역에 의해, 이 목표의 주의 이미지를 결정하는 것을 포함하는, 방법.
제 2 항에 있어서,
목표 이미지에서의 제1 이미지 영역 및 이 목표 이미지에서의 제1 이미지 영역 이외의 이미지 영역에 의해, 이 목표의 주의 이미지를 결정하는 것은,
이미지 사이즈가 상기 목표 이미지에 맞는 초기 이미지를 취득하는 것과,
상기 초기 이미지에서, 상기 제1 이미지 영역에 대응하는 제1 목표 이미지 영역 내의 화소점의 화소값을 제1 화소값으로 하는 것과,
상기 초기 이미지에서, 상기 제2 이미지 영역에 대응하는 제2 목표 이미지 영역 내의 화소점의 화소값을 상기 제1 화소값과 동일하지 않은 제2 화소값으로 하여, 이 목표의 주의 이미지를 얻는 것을 포함하는, 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
각 목표 이미지 및 각 목표 이미지에서의 하나 이상의 목표의 주의 이미지에 기초하여, 각각의 목표 이미지에서의 일부 또는 전부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하는 것은,
각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 융합하여, 각 피처리 이미지를 얻는 것과,
각 피처리 이미지에 대해, 각각 특징 추출을 행하여 각 피처리 이미지의 특징맵을 얻는 것과,
각 피처리 이미지의 특징맵에 기초하여, 각각의 목표 이미지에서의 일부 또는 전부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하는 것을 포함하는, 방법.
제 4 항에 있어서,
각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 융합하여, 각 피처리 이미지를 얻는 것은,
각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 소정 차원에서 서로 연결하여 각 피처리 이미지를 얻는 것, 또는
각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 소정 차원에서 가산하여 각 피처리 이미지를 얻는 것을 포함하는, 방법.
제 4 항에 있어서,
각 피처리 이미지의 특징맵에 기초하여, 각각의 목표 이미지에서의 일부 또는 전부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하는 것은,
상기 피처리 이미지 중 임의의 2개의 피처리 이미지의 특징맵에 대해, 특징 매칭을 행하여 매칭된 특징맵을 얻는 것과,
상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하는 것을 포함하는, 방법.
제 6 항에 있어서,
상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하는 것은,
상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이의 대응 스코어를 얻는 것과,
상기 대응 스코어가 스코어 임계값보다 큰 경우에, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 잠재적인 대응성이 있는 것으로 결정하는 것과,
상기 대응 스코어가 상기 스코어 임계값 이하인 경우에, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 대응성이 없는 것으로 결정하는 것을 포함하는, 방법.
제 6 항에 있어서,
상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하는 것은,
상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이의 대응 스코어를 얻는 것과,
특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 각 목표 사이의 대응 스코어에 기초하여, 각각의 목표 이미지에서의 목표의 매칭을 실행하여, 각각의 목표 이미지에서의 각 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 얻는 것으로서, 매칭이 실행되는 목표는 각각의 목표 이미지에 속하는 것을 포함하는, 방법.
제 8 항에 있어서,
특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 각 목표 사이의 대응 스코어에 기초하여, 각각의 목표 이미지에서의 목표의 매칭을 실행하여, 각각의 목표 이미지에서의 각 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 얻는 것은,
특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 각 목표 사이의 대응 스코어에 기초하여, 상기 각각의 목표 이미지 중 제1 목표 이미지에서의 각 목표와 상기 각각의 목표 이미지 중 제2 목표 이미지에서의 각 목표의 대응 스코어의 총합을 결정하는 것과,
상기 대응 스코어의 총합이 가장 크고, 또한 미리 설정된 총합 스코어 임계값보다 큰 경우에, 상기 제1 목표 이미지에서의 목표와 상기 제2 목표 이미지에서의 목표가 일대일로 매칭되는 것으로 결정하는 것과,
상기 대응 스코어의 총합 중 최대의 대응 스코어의 총합이 상기 총합 스코어 임계값 이하인 경우에, 상기 제1 목표 이미지에서의 목표와 상기 제2 목표 이미지에서의 목표가 매칭되지 않는 것으로 결정하는 것을 포함하는, 방법.
적어도 2개의 목표 이미지를 취득하기 위한 취득 모듈과,
상기 적어도 2개의 목표 이미지 중 각 목표 이미지의 목표 검출 결과에 기초하여, 각 목표 이미지에서의 하나 이상의 목표의, 하나의 목표의 목표 이미지에서의 위치를 나타내기 위한 주의 이미지를 결정하기 위한 제1 결정 모듈과,
각 목표 이미지 및 각 목표 이미지에서의 하나 이상의 목표의 주의 이미지에 기초하여, 각각의 목표 이미지에서의 일부 또는 전부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하기 위한 제2 결정 모듈을 포함하는, 이미지 처리 장치.
제 10 항에 있어서,
상기 제1 결정 모듈은,
각 목표 이미지에서의 하나의 목표에 대해, 각 목표 이미지의 목표 검출 결과에 기초하여, 이 목표가 존재하는 제1 이미지 영역을 결정하기 위한 제1 결정 서브 모듈과,
목표 이미지에서의 제1 이미지 영역 및 이 목표 이미지에서의 제1 이미지 영역 이외의 제2 이미지 영역에 의해, 이 목표의 주의 이미지를 결정하기 위한 제2 결정 서브 모듈을 포함하는, 장치.
제 11 항에 있어서,
상기 제2 결정 서브 모듈은,
이미지 사이즈가 상기 목표 이미지에 맞는 초기 이미지를 취득하기 위한 취득 유닛과,
상기 초기 이미지에서, 상기 제1 이미지 영역에 대응하는 제1 목표 이미지 영역 내의 화소점의 화소값을 제1 화소값으로 하기 위한 제1 설치 유닛과,
상기 초기 이미지에서, 상기 제2 이미지 영역에 대응하는 제2 목표 이미지 영역 내의 화소점의 화소값을 상기 제1 화소값과 동일하지 않은 제2 화소값으로 하여, 이 목표의 주의 이미지를 얻기 위한 제2 설치 유닛을 포함하는, 장치.
제 10 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 제2 결정 모듈은,
각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 융합하여, 각 피처리 이미지를 얻기 위한 융합 서브 모듈과,
각 피처리 이미지에 대해, 각각 특징 추출을 행하여 각 피처리 이미지의 특징맵을 얻기 위한 특징 추출 서브 모듈과,
각 피처리 이미지의 특징맵에 기초하여, 각각의 목표 이미지에서의 일부 또는 전부의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하기 위한 판단 서브 모듈을 포함하는, 장치.
제 13 항에 있어서,
상기 융합 서브 모듈은,
각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 소정 차원에서 서로 연결하여 각 피처리 이미지를 얻기 위한 연결 유닛, 또는,
각 목표 이미지와 이 목표 이미지에서의 하나의 목표의 주의 이미지를 소정 차원에서 가산하여 각 피처리 이미지를 얻기 위한 가산 유닛을 포함하는, 장치.
제 13 항에 있어서,
상기 특징 추출 서브 모듈은,
상기 피처리 이미지 중 임의의 2개의 피처리 이미지의 특징맵에 대해 특징 매칭을 행하여, 매칭된 특징맵을 얻기 위한 매칭 유닛과,
상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 결정하기 위한 결정 유닛을 포함하는, 장치.
제 15 항에 있어서,
상기 결정 유닛은,
상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이의 대응 스코어를 얻기 위한 제1 매칭 서브 유닛과,
상기 대응 스코어가 스코어 임계값보다 큰 경우에, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 잠재적인 대응성이 있는 것으로 결정하기 위한 제1 결정 서브 유닛과,
상기 대응 스코어가 상기 스코어 임계값 이하인 경우에, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이에 대응성이 없는 것으로 결정하기 위한 제2 결정 서브 유닛을 포함하는, 장치.
제 15 항에 있어서,
상기 결정 유닛은,
상기 매칭된 특징맵에 기초하여, 특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 목표 사이의 대응 스코어를 얻기 위한 제2 매칭 서브 유닛과,
특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 각 목표 사이의 대응 스코어에 기초하여, 각각의 목표 이미지에서의 목표의 매칭을 실행하여, 각각의 목표 이미지에서의 각 목표 사이에 대응 관계가 존재하는지 여부에 대한 매칭 결과를 얻기 위한 것으로서, 매칭이 실행되는 목표는 각각의 목표 이미지에 속하는 매칭 서브 유닛을 포함하는, 장치.
제 17 항에 있어서,
상기 매칭 서브 유닛은,
특징맵이 매칭된 2개의 피처리 이미지에 대응하는 목표 이미지에서의 각 목표 사이의 대응 스코어에 기초하여, 상기 각각의 목표 이미지 중 제1 목표 이미지에서의 각 목표와 상기 각각의 목표 이미지 중 제2 목표 이미지에서의 각 목표의 대응 스코어의 총합을 결정하는 것과,
상기 대응 스코어의 총합이 가장 크고, 또한 미리 설정된 총합 스코어 임계값보다 큰 경우에, 상기 제1 목표 이미지에서의 목표와 상기 제2 목표 이미지에서의 목표가 일대일로 매칭되는 것으로 결정하는 것과,
상기 대응 스코어의 총합 중 최대의 대응 스코어의 총합이 상기 총합 스코어 임계값 이하인 경우에, 상기 제1 목표 이미지에서의 목표와 상기 제2 목표 이미지에서의 목표가 매칭되지 않는 것으로 결정하는 것에 사용되는, 장치.
프로세서와,
프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고,
상기 프로세서는 상기 메모리에 기억되어 있는 명령을 불러 내어 제 1 항 내지 제 9 항 중 어느 한 항의 방법을 실행하도록 구성되는, 전자 기기.
컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체에 있어서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 제 1 항 내지 제 9 항 중 어느 한 항의 방법을 실현하는, 컴퓨터 판독 가능 기억 매체.