KR102288237B1 - 이미지 연관 방법, 시스템 및 장치 - Google Patents

Abstract

이미지 연관 방법들, 시스템들 및 장치들이 제공된다. 방법은 제1 이미지 및 제2 이미지를 획득하는 단계 - 제1 이미지는 제1 뷰에서 제1 이미지 캡쳐 디바이스에 의해 장면을 캡쳐함으로써 획득되고, 제2 이미지는 제2 뷰에서 제2 이미지 캡쳐 디바이스에 의해 장면을 동기적으로 캡쳐함으로써 획득되고, 제1 뷰는 제2 뷰와 상이함 - ; 제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 에피폴을 결정하는 단계; 제2 이미지 상에서 제1 바운딩 박스 내의 제1 타겟 점의 투영 점을 결정하는 단계 - 제1 바운딩 박스는 제1 이미지 내의 타겟의 바운딩 박스임 - ; 및 에피폴 및 투영 점에 따라 제2 이미지 내에서 제1 바운딩 박스의 연관 바운딩 박스를 결정하는 단계를 포함한다.

Description

이미지 연관 방법, 시스템 및 장치

본 개시내용은 컴퓨터 비전 기술 분야에 관한 것이고, 구체적으로 이미지 연관 방법, 시스템 및 장치에 관한 것이다.

복수의 이미지 캡쳐 디바이스를 포함하는 시스템(예컨대, 멀티 카메라 시스템)은 실생활에서 매우 일반적이다. 단일 이미지 캡쳐 디바이스만을 갖는 시스템과 비교하여, 복수의 이미지 캡쳐 디바이스를 포함하는 시스템은 더 넓은 시야를 가지며, 단일 이미지 캡쳐 디바이스에 의해서는 해결될 수 없는 블로킹 문제를 해결할 수 있고, 모든 이미지 캡쳐 디바이스들의 정보를 융합함으로써 객체의 완전한 정보를 획득할 수 있다. 그러나, 복수의 이미지 캡쳐 디바이스를 포함하는 시스템은 검출 연관의 문제, 즉, 하나의 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지 내의 객체와 다른 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지 내의 객체가 물리적 공간 내의 동일한 객체인지를 결정하는 것의 문제에 직면한다.

본 개시내용의 실시예들은 이미지 연관 방법, 시스템 및 장치를 제공한다.

구체적으로, 본 개시내용은 이하의 기술적 해법들에 의해 구현된다.

본 개시내용의 실시예들의 제1 양태에 따르면, 이미지 연관 방법으로서,

제1 이미지 및 제2 이미지를 획득하는 단계 - 제1 이미지는 제1 뷰에서 제1 이미지 캡쳐 디바이스에 의해 장면을 캡쳐함으로써 획득되고, 제2 이미지는 제2 뷰에서 제2 이미지 캡쳐 디바이스에 의해 장면을 동기적으로 캡쳐함으로써 획득되고, 제1 뷰는 제2 뷰와 상이함 - ;

제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 에피폴(epipole)을 결정하는 단계 - 에피폴은 제2 이미지의 평면 상에서의 제1 이미지 캡쳐 디바이스의 위치를 나타냄 - ;

제2 이미지 상에서 제1 바운딩 박스 내의 제1 타겟 점의 투영 점(projection point)을 결정하는 단계 - 제1 바운딩 박스는 제1 이미지 내의 타겟의 바운딩 박스임 - ; 및

에피폴 및 투영 점에 따라 제2 이미지 내에서 제1 바운딩 박스의 연관 바운딩 박스를 결정하는 단계 - 연관 바운딩 박스 내의 타겟 및 제1 바운딩 박스 내의 타겟은 장면 내의 동일한 타겟임 -

를 포함하는 이미지 연관 방법이 제공된다.

일부 실시예들에서, 복수의 타겟이 제1 이미지에 포함되고; 제2 이미지 상에서 제1 바운딩 박스 내의 제1 타겟 점의 투영 점을 결정하는 단계는:

제1 이미지 내에서 복수의 타겟에 대응하는 제1 바운딩 박스들을 결정하는 단계 - 제1 바운딩 박스들 각각은 제1 타겟 점을 포함함 - ; 및 최하부로부터 최상부로 제1 이미지 내의 각각의 제1 바운딩 박스의 위치에 따라 순차적으로 제2 이미지 상에서 각각의 제1 바운딩 박스 내의 제1 타겟 점의 투영 점을 결정하는 단계

를 포함하고,

에피폴 및 투영 점에 따라 제2 이미지 내에서 제1 바운딩 박스의 연관 바운딩 박스를 결정하는 단계는:

최하부로부터 최상부로 제1 이미지 내의 제1 바운딩 박스들 각각의 위치에 따라, 제2 이미지 내에서, 에피폴 및 투영 점에 따라 투영 점들 각각에 대응하는 제1 바운딩 박스의 연관 바운딩 박스를 순차적으로 결정하는 단계

를 포함한다.

일부 실시예들에서, 제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 에피폴을 결정하는 단계는:

미리 결정된 기본 행렬에 따라 제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 에피폴을 결정하는 단계

를 포함하고, 기본 행렬은 제1 이미지의 픽셀 좌표계와 제2 이미지의 픽셀 좌표계 사이의 변환 행렬이다.

일부 실시예들에서, 미리 결정된 기본 행렬에 따라 제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 에피폴을 결정하는 단계는:

기본 행렬의 고유 값들 각각, 및 고유 값들 각각에 대응하는 고유 벡터를 결정하는 단계; 및

최소 고유 값에 대응하는 고유 벡터에 따라 제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 에피폴을 결정하는 단계

를 포함한다.

일부 실시예들에서, 제2 이미지 상에서 제1 바운딩 박스 내의 제1 타겟 점의 투영 점을 결정하는 단계는:

미리 결정된 호모그래피 행렬(homography matrix)에 따라 제2 이미지 상에서 제1 타겟 점의 투영 점을 결정하는 단계를 포함하고, 호모그래피 행렬은 제1 이미지 내의 공통 평면과 제2 이미지 내의 공통 평면 사이의 변환 행렬이고, 공통 평면은 제1 타겟 점이 위치되고 제2 이미지 캡쳐 디바이스의 시야에 나타나는 평면이다.

일부 실시예들에서, 에피폴 및 투영 점에 따라 제2 이미지 내에서 제1 바운딩 박스의 연관 바운딩 박스를 결정하는 단계는:

제2 이미지 내의 제2 바운딩 박스들 각각에 대해,

제2 바운딩 박스 내의 제2 타겟 점으로부터 에피폴 및 투영 점에 의해 결정된 직선까지의 수선의 발(perpendicular foot) 및 거리를 결정하는 단계 - 제2 바운딩 박스는 제2 이미지 내의 타겟의 바운딩 박스이고, 제2 바운딩 박스 내의 제2 타겟 점과 제2 바운딩 박스 사이의 상대적 위치 관계는 제1 타겟 점과, 제1 타겟 점이 위치되는 제1 바운딩 박스 사이의 상대적 위치 관계와 동일함 - ;

에피폴 및 투영 점에 의해 결정된 선분에 대한 수선의 발 및 미리 설정된 범위 내의 거리를 갖는 제2 타겟 점의 제2 바운딩 박스를 후보 바운딩 박스로서 결정하는 단계;

후보 바운딩 박스를 후보 바운딩 박스 그룹 내에 배치하는 단계; 및

후보 바운딩 박스 그룹으로부터 제2 이미지 내의 제1 바운딩 박스의 연관 바운딩 박스를 결정하는 단계

를 포함한다.

일부 실시예들에서, 후보 바운딩 박스 그룹으로부터 제2 이미지 내의 제1 바운딩 박스의 연관 바운딩 박스를 결정하는 단계는:

수선의 발과 투영 점 사이의 다음으로 가장 가까운 거리를 갖는 제2 타겟 점의 후보 바운딩 박스를 연관 바운딩 박스로서 결정하는 단계

를 포함한다.

본 개시내용의 실시예들의 제2 양태에 따르면, 이미지 연관 장치로서,

제1 이미지 및 제2 이미지를 획득하도록 구성되는 제1 획득 모듈 - 제1 이미지는 제1 뷰에서 제1 이미지 캡쳐 디바이스에 의해 장면을 캡쳐함으로써 획득되고, 제2 이미지는 제2 뷰에서 제2 이미지 캡쳐 디바이스에 의해 장면을 동기적으로 캡쳐함으로써 획득되고, 제1 뷰는 제2 뷰와 상이함 - ;

제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 에피폴을 결정하도록 구성되는 제1 결정 모듈 - 에피폴은 제2 이미지의 평면 상에서의 제1 이미지 캡쳐 디바이스의 위치를 나타냄 - ;

제2 이미지 상에서 제1 바운딩 박스 내의 제1 타겟 점의 투영 점을 결정하도록 구성되는 제2 결정 모듈 - 제1 바운딩 박스는 제1 이미지 내의 타겟의 바운딩 박스임 - ; 및

에피폴 및 투영 점에 따라 제2 이미지 내에서 제1 바운딩 박스의 연관 바운딩 박스를 결정하도록 구성되는 연관 모듈 - 연관 바운딩 박스 내의 타겟 및 제1 바운딩 박스 내의 타겟은 장면 내의 동일한 타겟임 -

을 포함하는 이미지 연관 장치가 제공된다.

일부 실시예들에서, 복수의 타겟이 제1 이미지에 포함되고; 제2 결정 모듈은:

제1 이미지 내에서 복수의 타겟에 대응하는 제1 바운딩 박스들을 결정하고 - 제1 바운딩 박스들 각각은 제1 타겟 점을 포함함 - ; 최하부로부터 최상부로 제1 이미지 내의 제1 바운딩 박스들 각각의 위치에 따라 순차적으로 제2 이미지 상에서 제1 바운딩 박스들 각각 내의 제1 타겟 점의 투영 점을 결정하도록 구성되고,

연관 모듈은:

최하부로부터 최상부로 제1 이미지 내의 제1 바운딩 박스들 각각의 위치에 따라, 제2 이미지 내에서, 에피폴 및 투영 점에 따라 투영 점들 각각에 대응하는 제1 바운딩 박스의 연관 바운딩 박스를 순차적으로 결정하도록 구성된다.

일부 실시예들에서, 제1 결정 모듈은:

미리 결정된 기본 행렬에 따라 제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 에피폴을 결정하도록 구성되고, 기본 행렬은 제1 이미지의 픽셀 좌표계와 제2 이미지의 픽셀 좌표계 사이의 변환 행렬이다.

일부 실시예들에서, 제1 결정 모듈은:

기본 행렬의 고유 값들 각각, 및 고유 값들 각각에 대응하는 고유 벡터를 결정하도록 구성되는 제1 결정 유닛; 및

최소 고유 값에 대응하는 고유 벡터에 따라 제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 에피폴을 결정하도록 구성되는 제2 결정 유닛

을 포함한다.

일부 실시예들에서, 제2 결정 모듈은:

미리 결정된 호모그래피 행렬에 따라 제2 이미지 상에서 제1 타겟 점의 투영 점을 결정하도록 구성되고, 호모그래피 행렬은 제1 이미지 내의 공통 평면과 제2 이미지 내의 공통 평면 사이의 변환 행렬이고, 공통 평면은 제1 타겟 점이 위치되고 제2 이미지 캡쳐 디바이스의 시야에 나타나는 평면이다.

일부 실시예들에서, 연관 모듈은:

제2 이미지 내의 제2 바운딩 박스들 각각에 대해, 제2 바운딩 박스 내의 제2 타겟 점으로부터 에피폴 및 투영 점에 의해 결정된 직선까지의 수선의 발 및 거리를 결정하도록 구성되는 제3 결정 유닛 - 제2 바운딩 박스는 제2 이미지 내의 타겟의 바운딩 박스이고, 제2 바운딩 박스 내의 제2 타겟 점과 제2 바운딩 박스 사이의 상대적 위치 관계는 제1 타겟 점과, 제1 타겟 점이 위치되는 제1 바운딩 박스 사이의 상대적 위치 관계와 동일함 - ;

에피폴 및 투영 점에 의해 결정된 선분에 대한 수선의 발 및 미리 설정된 범위 내의 거리를 갖는 제2 타겟 점의 제2 바운딩 박스를 후보 바운딩 박스로서 결정하고, 후보 바운딩 박스를 후보 바운딩 박스 그룹 내에 배치하도록 구성되는 제4 결정 유닛; 및

후보 바운딩 박스 그룹으로부터 제2 이미지 내의 제1 바운딩 박스의 연관 바운딩 박스를 결정하도록 구성되는 연관 유닛

을 포함한다.

일부 실시예들에서, 연관 유닛은:

수선의 발과 투영 점 사이의 다음으로 가장 가까운 거리를 갖는 제2 타겟 점의 후보 바운딩 박스를 연관 바운딩 박스로서 결정하도록 구성된다.

본 개시내용의 실시예들의 제3 양태에 따르면, 이미지 연관 시스템으로서,

제1 뷰에서 장면을 캡쳐함으로써 제1 이미지를 획득하도록 구성되는 제1 이미지 캡쳐 디바이스;

제2 뷰에서 장면을 동기적으로 캡쳐함으로써 제2 이미지를 획득하도록 구성되는 제2 이미지 캡쳐 디바이스 - 제1 뷰는 제2 뷰와 상이함 - ; 및

프로세서

를 포함하고, 프로세서는:

제1 이미지 및 제2 이미지를 획득하고; 제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 에피폴을 결정하고 - 에피폴은 제2 이미지의 평면 상에서의 제1 이미지 캡쳐 디바이스의 위치를 나타냄 - ; 제2 이미지 상에서 제1 바운딩 박스 내의 제1 타겟 점의 투영 점을 결정하고 - 제1 바운딩 박스는 제1 이미지 내의 타겟의 바운딩 박스임 - ; 에피폴 및 투영 점에 따라 제2 이미지 내에서 제1 바운딩 박스의 연관 바운딩 박스를 결정하도록 - 연관 바운딩 박스 내의 타겟 및 제1 바운딩 박스 내의 타겟은 장면 내의 동일한 타겟임 - 구성되는 이미지 연관 시스템이 제공된다.

본 개시내용의 실시예들의 제4 양태에 따르면, 컴퓨터 프로그램이 저장된 컴퓨터 판독가능한 저장 매체로서, 프로그램이 프로세서에 의해 실행될 때, 실시예들 중 어느 하나에 따른 방법이 구현되는 컴퓨터 판독가능한 저장 매체가 제공된다.

본 개시내용의 실시예들의 제5 양태에 따르면, 컴퓨터 디바이스로서, 메모리, 프로세서, 및 메모리에 저장되고 프로세서 상에서 실행될 수 있는 컴퓨터 프로그램을 포함하고, 프로세서가 프로그램을 실행할 때, 실시예들 중 어느 하나에 따른 방법이 구현되는 컴퓨터 디바이스가 제공된다.

본 개시내용의 실시예들에 따르면, 제1 이미지 캡쳐 디바이스에 의해 캡쳐된 제1 이미지 및 제2 이미지 캡쳐 디바이스에 의해 캡쳐된 제2 이미지가 획득되고 - 여기서, 제1 이미지는 제1 뷰에서 제1 이미지 캡쳐 디바이스에 의해 장면을 캡쳐함으로써 획득되고, 제2 이미지는 제2 뷰에서 제2 이미지 캡쳐 디바이스에 의해 장면을 동기적으로 캡쳐함으로써 획득되고, 제1 뷰는 제2 뷰와 상이함 - ; 제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 에피폴이 결정되고 - 여기서, 에피폴은 제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 위치를 나타냄 - ; 제2 이미지 상에서 제1 바운딩 박스 내의 제1 타겟 점의 투영 점이 결정되고 - 여기서, 제1 바운딩 박스는 제1 이미지 내의 타겟의 바운딩 박스임 - ; 에피폴 및 투영 점에 따라 제2 이미지 내에서 제1 바운딩 박스의 연관 바운딩 박스가 결정된다 - 여기서, 연관 바운딩 박스 내의 타겟 및 제1 바운딩 박스 내의 타겟은 장면 내의 동일한 타겟임 - . 종래의 3차원(3D) 연관 알고리즘과 관련하여, 이 방법은 단안 깊이 추정 알고리즘(monocular depth estimation algorithm)을 사용하여 거리를 추정하는 것을 회피함으로써, 부정확한 거리 추정에 의해 야기되는 부정확한 연관을 회피하고, 이미지 연관의 신뢰성 및 정확성을 더 개선한다. 또한, 방법은 복수의 이미지 캡쳐 디바이스를 포함하는 상이한 시스템들에 적용되며, 넓은 응용 범위를 갖는다.

상기 일반적인 설명 및 아래의 상세한 설명은 단지 예시적이고 설명적인 것이며, 본 개시내용을 제한하도록 의도된 것이 아님을 이해해야 한다.

본 명세서에 포함되고 본 명세서의 일부를 구성하는 첨부 도면들은 본 개시내용의 실시예들을 설명하고 본 명세서와 함께 본 개시내용의 기술적 해법들을 설명하도록 의도된 것이다.
도 1은 본 개시내용의 실시예에 따른 이미지 연관 방법의 흐름도이다.
도 2는 본 개시내용의 실시예에 따른 복수의 이미지 캡쳐 디바이스를 포함하는 시스템의 개략도이다.
도 3은 본 개시내용의 실시예에 따른 상이한 이미지 캡쳐 디바이스들의 이미지들 내의 대응하는 픽셀 점들의 개략도이다.
도 4는 본 개시내용의 실시예에 따른 이미지 내의 바운딩 박스들의 개략도이다.
도 5는 본 개시내용의 실시예에 따라 연관 바운딩 박스들을 결정하기 위한 개략도이다.
도 6은 본 개시내용의 실시예에 따른 공통 평면의 개략도이다.
도 7은 본 개시내용의 실시예에 따라 후보 바운딩 박스를 결정하기 위한 개략도이다.
도 8은 본 개시내용의 실시예에 따라 연관 바운딩 박스를 결정하기 위한 개략도이다.
도 9는 본 개시내용의 실시예에 따른 이미지 연관 장치의 블록도이다.
도 10은 본 개시내용의 실시예에 따라 본 개시내용의 방법을 구현하기 위한 컴퓨터 디바이스의 개략도이다.

이하에서는, 예시적인 실시예들이 상세하게 설명되고, 그것들의 예들은 첨부 도면들에 도시된다. 이하의 설명이 첨부 도면들에 관련될 때, 달리 언급되지 않는 한, 상이한 첨부 도면들에서의 동일한 번호들은 동일하거나 유사한 요소를 나타낸다. 이하의 예시적인 실시예들에서 설명된 실시예들은 본 출원과 일치하는 모든 실시예를 나타내는 것은 아니다. 반대로, 상기 실시예들은 첨부된 청구항들의 상세한 설명 및 본 출원의 일부 양태들과 일치하는 장치들 및 방법들의 예일 뿐이다.

본 출원에서 사용되는 용어들은 단지 본 출원을 제한하는 것 이외의 특정 실시예들을 설명하도록 의도된 것이다. 본 출원 및 첨부된 청구항들에 사용된 단수 형태인 "하나의(a)", "상기(said)" 및 "그(the)"는 달리 명시적으로 언급되지 않는 한 복수 형태들을 포함하는 것으로 의도된다. 본 명세서에서 사용된 용어 "및/또는"은 하나 이상의 연관된 열거된 항목들의 임의의 조합 또는 모든 가능한 조합을 지칭하고 포함하는 것으로 더 이해될 것이다. 추가로, 본 명세서에서 사용되는 용어 "적어도 하나"는 복수의 요소 중 어느 하나 또는 복수의 요소 중 적어도 2개의 임의의 조합을 나타낸다.

본 출원은 상이한 정보를 설명하기 위해 제1, 제2 및 제3과 같은 용어들을 사용할 수 있지만, 정보는 이러한 용어들로 제한되지 않는다는 것이 이해될 것이다. 이러한 용어들은 동일한 유형의 정보를 구별하기 위해서만 사용된다. 예를 들어, 본 출원의 범위를 벗어나지 않고서, 제1 정보가 제2 정보라고도 지칭될 수 있고, 마찬가지로, 제2 정보는 제1 정보라고도 지칭될 수 있다. 문맥에 따라, 예를 들어, 본 명세서에서 사용된 "~인 경우(if)"라는 단어는 "~인 때" 또는 "~일 때" 또는 "~라는 결정에 응답하여"로서 해석될 수 있다.

본 기술분야의 통상의 기술자가 본 개시내용의 실시예들에서의 기술적 해법들을 더 잘 이해하게 하고, 본 개시내용의 실시예들의 목적들, 특징들 및 이점들이 더 명백하고 쉽게 이해될 수 있도록 하기 위해, 본 개시내용의 실시예들에서의 기술적 해법들은 첨부 도면들을 참조하여 아래에서 더 상세히 설명된다.

도 1에 도시된 바와 같이, 본 개시내용은 이하의 단계들을 포함하는 이미지 연관 방법을 제공한다.

단계(S101)에서, 제1 이미지 및 제2 이미지가 획득되고, 여기서 제1 이미지는 제1 뷰에서 제1 이미지 캡쳐 디바이스에 의해 장면을 캡쳐함으로써 획득되고, 제2 이미지는 제2 뷰에서 제2 이미지 캡쳐 디바이스에 의해 장면을 동기적으로 캡쳐함으로써 획득되고, 제1 뷰는 제2 뷰와 상이하다.

단계(S102)에서, 제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 에피폴이 결정되며, 여기서 에피폴은 제2 이미지의 평면 상에서의 제1 이미지 캡쳐 디바이스의 위치를 나타낸다.

단계(S103)에서, 제2 이미지 상에서 제1 바운딩 박스 내의 제1 타겟 점의 투영 점이 결정되고, 여기서 제1 바운딩 박스는 제1 이미지 내의 타겟의 바운딩 박스이다.

단계(S104)에서, 제2 이미지 내의 제1 바운딩 박스의 연관 바운딩 박스는 에피폴 및 투영 점에 따라 결정되며, 여기서 연관 바운딩 박스 내의 타겟과 제1 바운딩 박스 내의 타겟은 장면 내의 동일한 타겟이다.

본 개시내용의 실시예들은 복수의 이미지 캡쳐 디바이스를 포함하는 시스템에 사용될 수 있으며, 이미지 캡쳐 디바이스는 카메라, 웹캠 등일 수 있다. 실시예에 따른 복수의 이미지 캡쳐 디바이스를 포함하는 시스템은 도 2에 도시된 것과 같다. 도 2는 3개의 이미지 캡쳐 디바이스를 포함하는 시스템을 도시한다. 실시예는 단지 예를 제공하기 위해 사용되는 것으로 이해될 수 있다. 실제 응용에서, 이미지 캡쳐 디바이스의 개수는 2개일 수 있고, 2개보다 많을 수도 있으며, 본 개시내용에서 이에 대한 제한은 없다. 복수의 이미지 캡쳐 디바이스를 포함하는 시스템에서, 각각의 이미지 캡쳐 디바이스들은 특정 영역 내에서 이미지를 캡쳐할 수 있고, 하나 이상의 타겟이 캡쳐된 이미지에 포함될 수 있으며, 여기서 타겟은 사람, 동물, 객체 또는 공간 등을 포함할 수 있지만, 이에 제한되지 않는다. 이미지들 내의 타겟들이 물리적 공간 내의 동일한 타겟인지를 결정하기 위해, 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지들에 대해 연관 처리가 수행될 필요가 있다. 예를 들어, 도 2의 이미지 캡쳐 디바이스(2)에 의해 캡쳐된 이미지는 2개의 타겟을 포함하고, 이미지 캡쳐 디바이스(1)에 의해 캡쳐된 이미지는 하나의 타겟을 포함하고, 이미지 캡쳐 디바이스(3)에 의해 캡쳐된 이미지는 또한 하나의 타겟을 포함한다. 따라서, 이미지 캡쳐 디바이스(1)에 의해 캡쳐된 이미지 내의 타겟이 이미지 캡쳐 디바이스(2)에 의해 캡쳐된 이미지 내의 타겟들 중 하나인지를 결정하고, 이미지 캡쳐 디바이스(3)에 의해 캡쳐된 이미지 내의 타겟이 이미지 캡쳐 디바이스(2)에 의해 캡쳐된 이미지 내의 타겟들 중 하나인지를 결정하기 위해, 3개의 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지들을 연관시킬 필요가 있다.

설명을 쉽게 하기 위해, 이미지 내의 바운딩 박스에 연관된 연관 바운딩 박스가 검색될 때, 이미지는 제1 이미지로 지칭되고, 제1 이미지를 캡쳐하는 이미지 캡쳐 디바이스는 제1 이미지 캡쳐 디바이스로 지칭되며, 여기서 바운딩 박스는 제1 이미지 내에 있고; 바운딩 박스에 연관된 연관 바운딩 박스에 대해 이미지가 검색될 때, 이미지는 제2 이미지라고 지칭되고, 제2 이미지를 캡쳐하는 이미지 캡쳐 디바이스는 제2 이미지 캡쳐 디바이스라고 지칭되며, 여기서 연관 바운딩 박스는 제2 이미지 내에 있다. 여전히 도 2에 도시된 복수의 캡쳐 디바이스를 포함하는 시스템을 예로 들면, 이미지 캡쳐 디바이스(2)에 의해 캡쳐된 이미지 내의 타겟들의 바운딩 박스들에 연관된 연관 바운딩 박스들이 검색될 필요가 있다고 가정하고, 이미지 캡쳐 디바이스(2)에 의해 캡쳐된 이미지는 제1 이미지라고 지칭되고, 이미지 캡쳐 디바이스(2)는 제1 이미지 캡쳐 디바이스라고 지칭되며; 이미지 캡쳐 디바이스(1)에 의해 캡쳐된 이미지 및 이미지 캡쳐 디바이스(3)에 의해 캡쳐된 이미지로부터 연관 바운딩 박스가 결정되는 경우, 이미지 캡쳐 디바이스(1)에 의해 캡쳐된 이미지 및 이미지 캡쳐 디바이스(3)에 의해 캡쳐된 이미지 둘 다는 제2 이미지로 지칭되고, 이미지 캡쳐 디바이스(1) 및 이미지 캡쳐 디바이스(3) 둘 다는 제2 이미지 캡쳐 디바이스라고 지칭된다.

실제 응용에서, 동일한 장면 내의 상이한 뷰들(예를 들어, 상측 뷰, 좌측 뷰, 우측 뷰 등)에서 이미지들을 캡쳐하기 위한 이미지 캡쳐 디바이스들의 수는 2개로 제한되지 않고, 예를 들어 복수 개이다. 이미지 캡쳐 디바이스들의 수가 복수인 경우, 캡쳐된 복수의 이미지 내의 모든 두 개의 이미지 사이의 타겟들은 본 개시내용의 실시예들에서 제공되는 이미지 연관 방법을 사용하여 연관될 수 있으며, 그에 의해 복수의 이미지 내의 타겟들 사이의 연관 관계가 결정되게 된다. 설명을 쉽게 하기 위해, 제1 이미지 캡쳐 디바이스의 개수와 제2 이미지 캡쳐 디바이스의 개수가 모두 하나인 경우가 아래와 같이 설명된다. 이미지 캡쳐 디바이스들의 개수가 2개보다 많은 경우, 이미지 캡쳐 디바이스들에 의해 캡쳐된 이미지들 내의 타겟들의 연관 방법에 관한 세부사항은 여기서 다시 설명되지 않는다.

단계(S101)에서, 시스템이 제1 이미지 캡쳐 디바이스 및 제2 이미지 캡쳐 디바이스를 포함할 때, 이미지들은 상이한 뷰들에서 제1 이미지 캡쳐 디바이스 및 제2 이미지 캡쳐 디바이스에 의해 동기적으로 캡쳐된다. 예를 들어, 제1 이미지 캡쳐 디바이스는 영역에서 상측 뷰 이미지를 캡쳐할 수 있고, 제2 이미지 캡쳐 디바이스는 영역에서 측면 뷰 이미지(예를 들어, 좌측 뷰 이미지, 우측 뷰 이미지 등)를 동기적으로 캡쳐할 수 있다. 이미지는 비디오 내의 이미지 프레임일 수 있고, 이미지 캡쳐 디바이스에 의해 캡쳐된 사진일 수도 있다. 본 개시내용의 실시예들에서의 제1 이미지 및 제2 이미지는 제1 이미지 캡쳐 디바이스 및 제2 이미지 캡쳐 디바이스에 의해 동기적으로 각각 캡쳐된다. 즉, 제1 이미지는 장면에서의 순간 T의 이미지이고, 제2 이미지도 장면에서의 순간 T의 이미지라고 가정된다.

단계(S102)에서, 제2 이미지의 평면 상의 제1 이미지 캡쳐 디바이스의 에피폴은 제1 이미지 캡쳐 디바이스와 제2 이미지 캡쳐 디바이스 사이의 기본 행렬에 따라 결정될 수 있다. 기본 행렬은 제1 이미지의 픽셀 좌표계와 제2 이미지의 픽셀 좌표계 사이의 변환 행렬이다. 기본 행렬은 미리 결정될 수 있고, 제1 이미지 캡쳐 디바이스와 제2 이미지 캡쳐 디바이스 사이의 상대적 위치가 변하지 않는 한 변경되지 않는다. 구체적으로, 기본 행렬의 각각의 고유 값, 및 각각의 고유 값에 대응하는 고유 벡터가 결정될 수 있고, 제2 이미지의 평면 상의 제1 이미지 캡쳐 디바이스의 에피폴은 최소 고유 값에 대응하는 고유 벡터에 따라 결정된다. 제2 이미지의 평면 상의 제1 이미지 캡쳐 디바이스의 에피폴은 제2 이미지 캡쳐 디바이스의 시야에서 제1 이미지 캡쳐 디바이스의 위치를 나타내기 위해 사용될 수 있다. 제1 이미지 캡쳐 디바이스는 제2 이미지 캡쳐 디바이스의 시야를 넘어서 있을 수 있음에 유의해야 한다.

제1 이미지 및 제2 이미지 내의 대응하는 픽셀 점들의 복수의 그룹이 획득되고, 이어서 제1 이미지 캡쳐 디바이스와 제2 이미지 캡쳐 디바이스 사이의 기본 행렬은 대응하는 픽셀 점들의 복수의 그룹에 따라 계산되며, 여기서 대응하는 픽셀 점들의 각각의 그룹에 대해, 대응하는 픽셀 점들의 그룹은 물리적 공간에서의 동일한 물리적 지점에 대응한다. 2개의 이미지 캡쳐 디바이스의 시야의 일부가 중첩될 때, 2개의 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지들 내의 픽셀 점들은 현실 세계에서 대응 관계를 가질 수 있다. 예를 들어, 테이블 상에 잉크 점이 있고, 제1 이미지 및 제2 이미지 내에서 잉크 점에 의해 각각 형성된 픽셀 점들은 대응 관계를 갖는다.

도 3은 본 개시내용의 실시예에 따라 상이한 이미지 캡쳐 디바이스들에 의해 캡쳐된 이미지들 내의 대응하는 픽셀 점들의 개략도를 도시한다. F1 및 F2는 각각 제1 이미지 및 제2 이미지를 나타내고; P는 물리적 공간 내의 점을 나타내며; P1 및 P2는 각각 제1 이미지 및 제2 이미지 내의 점 P의 대응하는 픽셀 점들, 즉 제1 이미지 및 제2 이미지 내의 대응하는 픽셀 점들의 그룹을 나타낸다. O1 및 O2는 각각 제1 이미지 캡쳐 디바이스 및 제2 이미지 캡쳐 디바이스의 광학적 중심들을 나타내고; E1 및 E2는 각각 제1 이미지 및 제2 이미지와 O1 및 O2 사이의 연결선의 교점들을 나타내고, 즉 E1은 제1 이미지의 평면 상의 제2 이미지 캡쳐 디바이스의 에피폴을 나타내고, E2는 제2 이미지의 평면 상의 제1 이미지 캡쳐 디바이스의 에피폴을 나타낸다. 대응하는 픽셀 점들의 복수의 그룹을 획득함으로써, 제1 이미지 캡쳐 디바이스와 제2 이미지 캡쳐 디바이스 사이의 기본 행렬은 대응하는 픽셀 점들의 복수의 그룹에 따라 계산되고, 이어서 제2 이미지의 평면 상의 제1 이미지 캡쳐 디바이스의 에피폴(E2)은 기본 행렬에 따라 결정된다.

단계(S103)에서, 바운딩 박스는 이미지 내의 타겟에 대해 생성된 직사각형 박스를 말하며, 여기서 타겟은 바운딩 박스 내에 위치되고, 이미지 내의 각각의 바운딩 박스의 픽셀 위치 및 바운딩 박스의 크기가 알려져 있다(일반적으로, 각각의 바운딩 박스의 상부 좌측 코너에서의 픽셀 좌표 및 바운딩 박스의 길이 및 폭이 제공됨). 따라서, 이미지 내의 타겟의 픽셀 위치는 바운딩 박스에 의해 결정될 수 있다. 하나 이상의 타겟이 이미지에 포함될 수 있고, 각각의 타겟에 대해 바운딩 박스가 존재하며, 바운딩 박스는 이미지의 상이한 위치들에 분산된다. 도 4는 본 개시내용의 일 실시예에 따른 이미지 내의 바운딩 박스들의 개략도를 도시한다. 도 4에는 3 개의 바운딩 박스가 도시되어 있다. 복수의 바운딩 박스가 존재하는 경우, 바운딩 박스들에 대해, 바운딩 박스들의 연관 바운딩 박스들이 각각 결정될 수 있다. 도 4의 바운딩 박스들에 관해, 바운딩 박스(1)에 연관된 연관 바운딩 박스, 바운딩 박스(2)에 연관된 연관 바운딩 박스, 및 바운딩 박스(3)에 연관된 연관 바운딩 박스가 각각 결정될 수 있다.

실시예에서, 복수의 타겟이 제1 이미지에 포함된다. 제1 이미지 내의 복수의 타겟에 대응하는 제1 바운딩 박스들이 결정되며, 여기서 제1 바운딩 박스들 각각은 제1 타겟 점을 포함한다. 제2 이미지 상의 각각의 제1 바운딩 박스 내의 제1 타겟 점의 투영 점은 제1 이미지 내의 각각의 제1 바운딩 박스의 위치의 최하부에서 최상부로의 순서에 따라 순차적으로 결정될 수 있다. 제1 이미지 내의 각각의 제1 바운딩 박스의 위치의 최하부에서 최상부로의 순서에 따라, 제2 이미지 상의 각각의 투영 점에 대응하는 제1 바운딩 박스의 연관 바운딩 박스는 에피폴 및 투영 점에 따라 순차적으로 결정된다. 본 명세서에서 "최상부" 및 "최하부"는 제1 이미지 내의 상대적 위치 관계를 의미하며, 여기서 "최하부"는 픽셀 좌표들에서 더 큰 수직 좌표를 갖는 이미지 영역을 지칭하고, "최상부"는 픽셀 좌표들에서 더 작은 수직 좌표를 갖는 이미지 영역을 지칭한다.

도 5는 도 4에 도시된 이미지 내의 바운딩 박스들에 대한 연관 바운딩 박스들을 결정하기 위한 개략도를 도시한다. 제1 이미지(F1) 내의 바운딩 박스(2), 바운딩 박스(3) 및 바운딩 박스(1)의 위치들은 최하부로부터 최상부까지이므로, 연관 바운딩 박스들이 제2 이미지(F2)에서 결정될 때, 제2 이미지 상의 바운딩 박스(2) 내의 제1 타겟 점의 투영 점(A2), 제2 이미지 상의 바운딩 박스(3)의 제1 타겟 점의 투영 점(A3), 및 제2 이미지 상의 바운딩 박스(1)의 제1 타겟 점의 투영 점(A1)은 순차적으로 결정된다. 제2 이미지 상의 바운딩 박스(2)의 연관 바운딩 박스(즉, 연관 바운딩 박스(2))는 에피폴 및 A2에 따라 결정되고; 다음으로, 제2 이미지 상의 바운딩 박스(3)의 연관 바운딩 박스(즉, 연관 바운딩 박스(3))는 에피폴 및 A3에 따라 결정되고; 제2 이미지 상의 바운딩 박스(1)의 연관 바운딩 박스(즉, 연관 바운딩 박스(1))는 에피폴 및 A1에 따라 결정되며, 여기서 제1 바운딩 박스의 제1 타겟 점은 제1 바운딩 박스의 중심점일 수 있고, 또한 제1 바운딩 박스 내의 임의의 점일 수 있다.

일반적으로, 제1 이미지 내의 최하부에 더 가까운 타겟은 제1 이미지 캡쳐 디바이스에 더 가까운 타겟이다. 연관 바운딩 박스의 매칭이 먼저 제1 이미지의 최상부에 있는 제1 바운딩 박스로부터 시작하여 수행되는 경우, 제2 이미지에서 더 많은 연관 바운딩 박스가 획득될 수 있고, 따라서, 한편으로는 미스매칭을 야기하는 것이 더 쉬워지고, 다른 한편으로는 매칭 복잡성도 증가된다. 연관 바운딩 박스의 매칭이 먼저 최하부로부터 최상부로 수행되는 경우, 제1 이미지의 최하부에 있는 제1 바운딩 박스에 대한 더 적은 또는 심지어 단 하나의 연관 바운딩 박스가 제2 이미지에서 획득된다. 최하부의 제1 바운딩 박스의 매칭이 완료된 후, 최하부의 제1 바운딩 박스의 연관 바운딩 박스는 최상부의 제1 바운딩 박스의 매칭 동안 배제될 수 있고, 그에 의해 가능한 연관 바운딩 박스들의 수는 감소되고, 매칭 정확성이 향상되고, 매칭 복잡성이 감소된다.

제2 이미지 상의 제1 바운딩 박스의 제1 타겟 점의 투영 점은 제2 이미지 캡쳐 디바이스의 시야 내의 공통 평면 상의 제1 타겟 점의 대응 점이다. 제1 타겟 점이 평면 상에 있을 때, 그 평면이 또한 제2 이미지 캡쳐 디바이스의 시야에도 나타나는 경우, 그 평면은 공통 평면이라고 지칭된다. 일반적으로, 제1 이미지 캡쳐 디바이스 및 제2 이미지 캡쳐 디바이스 둘 다가 평면보다 위에 있고, 평면이 제1 이미지 캡쳐 디바이스 및 제2 이미지 캡쳐 디바이스의 시야에 동시에 나타난다고 가정하면, 그 평면은 공통 평면이다. 공통 평면은 탁상 또는 노면과 같은 평면일 수 있다. 도 6은 실시예에 따른 공통 평면을 도시하고, 공통 평면은 점선 박스 내의 노면이다. 노면이 제1 이미지 캡쳐 디바이스 및 제2 이미지 캡쳐 디바이스의 시야에 동시에 나타나기 때문에, 노면은 공통 평면이다.

실시예에서, 제2 이미지 상의 제1 바운딩 박스의 제1 타겟 점의 투영 점은 제1 이미지 캡쳐 디바이스와 제2 이미지 캡쳐 디바이스 사이의 호모그래피 행렬에 따라 결정될 수 있으며, 여기서 제1 타겟 점은 제1 바운딩 박스의 중심점일 수 있다. 매칭될 필요가 있는 각각의 제1 바운딩 박스에 대해, 제1 바운딩 박스의 중심점이 제1 타겟 점으로서 획득된다. 중심점이 공통 평면에 나타난다고 가정하면, 중심점은 호모그래피 행렬을 사용하여 제2 이미지 캡쳐 디바이스의 시야에서 공통 평면의 픽셀 점에 투영되고, 픽셀 점은 투영 점으로서 표시된다. 호모그래피 행렬은 제1 이미지 및 제2 이미지 상의 픽셀 점들의 복수의 그룹에 의해 미리 계산될 수 있다. 그러나, 호모그래피 행렬을 계산하기 위한 픽셀 점들에 대응하는 모든 물리적 지점은 공통 평면 상에 위치될 필요가 있다.

단계(S104)에서, 제2 이미지 내의 제1 바운딩 박스의 연관 바운딩 박스는 에피폴 및 투영 점에 따라 결정될 수 있다.

구체적으로, 각각의 제2 바운딩 박스 내의 제2 타겟 점으로부터 에피폴 및 투영 점에 의해 결정된 직선까지의 수선의 발 및 거리가 결정될 수 있으며, 여기서 제2 바운딩 박스는 제2 이미지 내의 타겟의 바운딩 박스이고; 제2 바운딩 박스 내의 제2 타겟 점과 제2 바운딩 박스 간의 상대적 위치 관계는 제1 타겟 점과 제1 타겟 점이 위치하는 제1 바운딩 박스 사이의 상대적 위치 관계와 동일하고; 에피폴 및 투영 점에 의해 결정된 선분에 대한 수선의 발 및 미리 설정된 범위 내의 거리를 갖는 제2 타겟 점의 제2 바운딩 박스는 후보 바운딩 박스로서 결정되고; 후보 바운딩 박스는 후보 바운딩 박스 그룹에 배치되고; 제2 이미지 내의 제1 바운딩 박스의 연관 바운딩 박스는 후보 바운딩 박스 그룹으로부터 결정된다.

본 개시내용의 실시예에 따른 후보 바운딩 박스를 결정하기 위한 개략도는 도 7에 도시된 것과 같고, 여기서 E는 에피폴을 나타내고; N은 투영 점을 나타내고; 선분 EG는 선분 EN의 연장선을 나타내고; M1, M2 및 M3은 각각 제2 이미지 내의 3개의 제2 바운딩 박스의 제2 타겟 점들을 나타내고; Q1, Q2 및 Q3은 각각 선분 EN 상의 M1, M2 및 M3의 수선의 발을 나타낸다. M2 및 M3으로부터 직선 GN까지의 거리는 미리 설정된 범위 내에 있고, M1로부터 직선 GN까지의 거리는 미리 설정된 범위를 벗어난 것으로 가정된다. Q3은 선분 EN 상에 있지 않고 선분 EN의 연장선에 있는 한편, M2만이 거리가 미리 설정된 범위 내에 있고 수선의 발은 에피폴 및 투영 점에 의해 결정된 선분 상에 있음을 만족하기 때문에, M2에 대응하는 바운딩 박스가 후보 바운딩 박스로서 결정된다.

후보 바운딩 박스 그룹 내의 후보 바운딩 박스들의 개수가 1보다 많은 경우, 수선의 발과 투영 점 사이의 다음으로 가장 가까운 거리를 갖는 제2 타겟 점의 후보 바운딩 박스가 연관 바운딩 박스로서 결정된다. 도 8은 본 개시내용의 실시예에 따른 연관 바운딩 박스를 결정하기 위한 개략도를 도시하며, 여기서 상부 좌측 코너의 직사각형은 제1 이미지 캡쳐 디바이스의 시야를 나타내고; 상부 우측 코너의 직사각형은 제2 이미지 캡쳐 디바이스의 시야를 나타내고; 아래의 사다리꼴은 공통 평면을 나타내고; 공통 평면 상의 점은 제1 이미지 캡쳐 디바이스에 의해 캡쳐된 제1 이미지 내의 바운딩 박스의 중심점에 대응하고, 제2 이미지 캡쳐 디바이스에 의해 캡쳐된 제2 이미지 내의 중심점의 투영 점에 대응하며; 상부 좌측 코너에 있는 사다리꼴은 제1 이미지 캡쳐 디바이스의 시야 내의 공통 평면을 나타내고, 상부 우측 코너에 있는 사다리꼴은 제2 이미지 캡쳐 디바이스의 시야 내의 공통 평면을 나타낸다.

제2 이미지 내의 제1 이미지의 진한 색 바운딩 박스의 연관 바운딩 박스가 획득될 때, 도 8에 도시된 바와 같이 2개의 바운딩 박스가 제2 이미지에 존재하는 경우, 수선의 발이 제2 이미지 내의 투영 점으로부터 멀리 떨어진 제2 타겟 점에 대응하는 바운딩 박스(즉, 제2 이미지 내의 진한 색 바운딩 박스)가 제1 이미지 내의 진한 색 바운딩 박스의 연관 바운딩 박스로서 사용된다. 수선의 발이 투영 점에 가장 가까운 제2 타겟 점에 대응하는 바운딩 박스(연한 색 바운딩 박스)가 선택되는 경우, 미스매칭이 발생한다.

2차원(2D) 평면 기반 연관 모드에서, 타겟들은 모두 평면(예를 들어 탁상 또는 노면) 상에 나타난다고 가정되고, 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지 내의 객체는 호모그래피 행렬에 의해 다른 이미지 캡쳐 디바이스에 의해 캡쳐된 다른 이미지에 투영되고, 이어서, 최소 손실을 갖는 양분 그래프 매칭 알고리즘(bipartite graph matching algorithm)(Kuhn-Munkres 알고리즘)을 사용하여 매칭이 수행된다. 그러나 Kuhn-Munkres 알고리즘은 평면 상의 객체들의 연관에만 적용가능할 수 있으며, 모든 장면들의 모든 객체들이 공통 2D 평면에 있는 것은 아니므로 응용이 제한된다. 추가로, 이미지 캡쳐 디바이스의 이미징 평면이 2D 평면에 평행하지 않은 경우, 동일한 픽셀 거리들은 이미지의 상이한 위치들에서 상이한 실제 거리들에 대응하고, 최소 손실을 갖는 양분 그래프 매칭 알고리즘이 영향을 받게 되고, 심지어 극단적인 상황들에서는 완전히 이용가능하지 않다. 2개의 평면이 평행하지 않은 경우, 바운딩 박스의 단 하나의 모서리만이 공통 2D 평면과 접촉하지만, 모서리의 중심점은 객체의 중심이 아니다. 따라서, 다양한 잡음들이 고려되지 않더라도, 복수의 이미지 캡쳐 디바이스 내의 바운딩 박스들의 투영들이 완전히 겹치지 않아서, 객체들이 조밀할 때 미스매칭이 발생하게 된다.

2D 공간 기반 연관 모드와 비교하여, 3D 공간 기반 연관 모드는 더 복잡하다. 이미지 캡쳐 디바이스는 타겟의 깊이 거리 정보를 갖지 않기 때문에(즉, 먼 큰 객체와 가까운 작은 객체는 동일한 이미지를 가질 수 있음), 먼저 깊이 추정 알고리즘을 이용하여 깊이 거리를 추정할 필요가 있다(예를 들어, 단안 이미지 캡쳐 디바이스는 객체의 알려진 크기 정보를 사용할 수 있음). 다음으로, 3D 공간 내의 타겟에 대해 최소 손실을 갖는 양분 그래프 매칭이 수행된다. 3D 공간에 기초한 연관 알고리즘의 문제점은 단안 비전 깊이 추정 알고리즘이 깊이 학습 모델 없이 바운딩 박스의 크기에 의한 추정만을 수행할 수 있다는 것이다. 여기에는 두 가지 문제점이 존재한다: 하나는 바운딩 박스가 항상 완벽한 것은 아니므로 객체를 완전히 감쌀 수 없으며, 즉 바운딩 박스의 크기는 객체의 크기를 나타낼 수 없다는 것이고; 다른 하나는 객체의 실제 크기를 알 수 없는 경우가 많으며, 객체의 정확한 유형이 검출되더라도 그 유형의 객체의 크기가 또한 크게 다를 수 있다는 것이다. 그러므로, 깊이 추정의 강건성이 양호하지 않으므로, 매칭 알고리즘의 후속 동작의 정확성에 직접적인 영향을 준다.

본 개시내용에서 제공되는 2.5D 기반 연관 방법의 해법은 2D 기반 연관 모드 및 3D 기반 연관 모드의 장점들을 결합하고, 2D 기반 연관 모드 및 3D 기반 연관 모드의 단점들을 회피하고, 장면의 2D 평면에 기초하여 3D 공간에서 바운딩 박스들의 매칭을 구현한다. 본 개시내용의 실시예들에 따르면, 컴퓨터 비전의 에피폴라 지오메트리에 기초하여, 제2 이미지 캡쳐 디바이스에 의해 캡쳐된 제2 이미지의 평면 상의 제1 이미지 캡쳐 디바이스의 위치가 계산되고, 제1 이미지 캡쳐 디바이스의 바운딩 박스 내에서, 평면 상에 가정되고 제2 이미지 캡쳐 디바이스의 평면에 투영되는 점의 위치가 계산되어, 제2 이미지 내의 가능한 대응하는 연관 바운딩 박스를 검색함으로써, 매칭을 완료한다. 본 개시내용의 실시예들의 기술적 해법들은 3D 공간 내의 객체들의 바운딩 박스들의 연관을 구현할 수 있다. 또한, 종래의 3D 연관 알고리즘과 비교하여, 본 개시내용은 깊이 거리 추정 알고리즘을 사용할 필요가 없고, 이미지 연관의 신뢰성 및 정확성을 향상시키며, 복수의 캡쳐 디바이스를 포함하는 다양한 시스템들에 적용가능하며, 광범위한 응용 범위를 갖는다.

본 기술분야의 통상의 기술자는 상세한 설명의 상술한 방법들에서, 단계들이 기재되는 순서는 구현 프로세스에 대한 임의의 제한을 구성하는 엄격한 실행 순서를 암시하지 않으며, 단계들을 실행하는 특정한 순서는 기능들 및 가능한 내부 로직들에 의해 결정되어야 함을 이해할 수 있다.

도 9에 도시된 바와 같이, 본 개시내용은 이미지 연관 장치로서,

제1 이미지 및 제2 이미지를 획득하도록 구성되는 제1 획득 모듈(901) - 제1 이미지는 제1 뷰에서 제1 이미지 캡쳐 디바이스에 의해 장면을 캡쳐함으로써 획득되고, 제2 이미지는 제2 뷰에서 제2 이미지 캡쳐 디바이스에 의해 장면을 동기적으로 캡쳐함으로써 획득되고, 제1 뷰는 제2 뷰와 상이함 - ;

제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 에피폴을 결정하도록 구성되는 제1 결정 모듈(902) - 에피폴은 제2 이미지의 평면 상에서의 제1 이미지 캡쳐 디바이스의 위치를 나타냄 - ;

제2 이미지 상에서 제1 바운딩 박스 내의 제1 타겟 점의 투영 점을 결정하도록 구성되는 제2 결정 모듈(903) - 제1 바운딩 박스는 제1 이미지 내의 타겟의 바운딩 박스임 - ; 및

에피폴 및 투영 점에 따라 제2 이미지 내에서 제1 바운딩 박스의 연관 바운딩 박스를 결정하도록 구성되는 연관 모듈(904) - 연관 바운딩 박스 내의 타겟 및 제1 바운딩 박스 내의 타겟은 장면 내의 동일한 타겟임 -

를 포함하는 이미지 연관 장치를 더 제공한다.

일부 실시예들에서, 복수의 타겟이 제1 이미지에 포함되고; 제2 결정 모듈은:

제1 이미지 내에서 복수의 타겟에 대응하는 제1 바운딩 박스들을 결정하고 - 제1 바운딩 박스들 각각은 제1 타겟 점을 포함함 - ; 최하부로부터 최상부로 제1 이미지 내의 제1 바운딩 박스들 각각의 위치에 따라 순차적으로 제2 이미지 상에서 제1 바운딩 박스들 각각 내의 제1 타겟 점의 투영 점을 결정하도록 구성되고,

연관 모듈은:

최하부로부터 최상부로 제1 이미지 내의 제1 바운딩 박스들 각각의 위치에 따라, 제2 이미지 내에서, 에피폴 및 투영 점에 따라 투영 점들 각각에 대응하는 제1 바운딩 박스의 연관 바운딩 박스를 순차적으로 결정하도록 구성된다.

일부 실시예들에서, 제1 결정 모듈은:

미리 결정된 기본 행렬에 따라 제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 에피폴을 결정하도록 구성되고, 여기서 기본 행렬은 제1 이미지의 픽셀 좌표계와 제2 이미지의 픽셀 좌표계 사이의 변환 행렬이다.

일부 실시예들에서, 제1 결정 모듈은:

기본 행렬의 고유 값들 각각, 및 고유 값들 각각에 대응하는 고유 벡터를 결정하도록 구성되는 제1 결정 유닛; 및

최소 고유 값에 대응하는 고유 벡터에 따라 제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 에피폴을 결정하도록 구성되는 제2 결정 유닛

을 포함한다.

일부 실시예들에서, 제2 결정 모듈은:

미리 결정된 호모그래피 행렬에 따라 제2 이미지 상에서 제1 타겟 점의 투영 점을 결정하도록 구성되고, 여기서 호모그래피 행렬은 제1 이미지 내의 공통 평면과 제2 이미지 내의 공통 평면 사이의 변환 행렬이고, 공통 평면은 제1 타겟 점이 위치되고 제2 이미지 캡쳐 디바이스의 시야에 나타나는 평면이다.

일부 실시예들에서, 연관 모듈은:

제2 이미지 내의 제2 바운딩 박스들 각각에 대해, 제2 바운딩 박스 내의 제2 타겟 점으로부터 에피폴 및 투영 점에 의해 결정된 직선까지의 수선의 발 및 거리를 결정하도록 구성되는 제3 결정 유닛 - 제2 바운딩 박스는 제2 이미지 내의 타겟의 바운딩 박스이고, 제2 바운딩 박스 내의 제2 타겟 점과 제2 바운딩 박스 사이의 상대적 위치 관계는 제1 타겟 점과, 제1 타겟 점이 위치되는 제1 바운딩 박스 사이의 상대적 위치 관계와 동일함 - ;

에피폴 및 투영 점에 의해 결정된 선분에 대한 수선의 발 및 미리 설정된 범위 내의 거리를 갖는 제2 타겟 점의 제2 바운딩 박스를 후보 바운딩 박스로서 결정하고, 후보 바운딩 박스를 후보 바운딩 박스 그룹 내에 배치하도록 구성되는 제4 결정 유닛; 및

후보 바운딩 박스 그룹으로부터 제2 이미지 내의 제1 바운딩 박스의 연관 바운딩 박스를 결정하도록 구성되는 연관 유닛

을 포함한다.

일부 실시예들에서, 연관 유닛은:

수선의 발과 투영 점 사이의 다음으로 가장 가까운 거리를 갖는 제2 타겟 점의 후보 바운딩 박스를 연관 바운딩 박스로서 결정하도록 구성된다.

일부 실시예들에서, 본 개시내용의 실시예들에 의해 제공되는 장치들에 포함된 기능들 또는 모듈들은 상술한 방법 실시예들에서 설명된 방법들을 구현하기 위해 사용될 수 있다. 특정 구현들에 대해, 위의 방법 실시예들에서의 설명이 참조될 수 있다. 간결함을 위해, 여기에서는 세부사항들이 다시 설명되지 않는다.

본 개시내용의 실시예들은 이미지 연관 시스템으로서,

제1 뷰에서 장면을 캡쳐함으로써 제1 이미지를 획득하도록 구성되는 제1 이미지 캡쳐 디바이스;

제2 뷰에서 장면을 동기적으로 캡쳐함으로써 제2 이미지를 획득하도록 구성되는 제2 이미지 캡쳐 디바이스 - 제1 뷰는 제2 뷰와 상이함 - ; 및

프로세서

를 포함하고, 프로세서는 제1 이미지 및 제2 이미지를 획득하고; 제2 이미지의 평면 상에서 제1 이미지 캡쳐 디바이스의 에피폴을 결정하고 - 에피폴은 제2 이미지의 평면 상에서의 제1 이미지 캡쳐 디바이스의 위치를 나타냄 - ; 제2 이미지 상에서 제1 바운딩 박스 내의 제1 타겟 점의 투영 점을 결정하고 - 제1 바운딩 박스는 제1 이미지 내의 타겟의 바운딩 박스임 - ; 에피폴 및 투영 점에 따라 제2 이미지 내에서 제1 바운딩 박스의 연관 바운딩 박스를 결정하도록 - 연관 바운딩 박스 내의 타겟 및 제1 바운딩 박스 내의 타겟은 장면 내의 동일한 타겟임 - 구성되는, 이미지 연관 시스템을 더 제공한다.

이미지 연관 시스템에서, 제1 이미지 캡쳐 디바이스 및 제2 이미지 캡쳐 디바이스가 어떻게 이미지를 캡쳐하는지, 및 프로세서가 제1 이미지 내의 타겟들의 바운딩 박스들과 제2 이미지 내의 타겟들의 바운딩 박스들을 어떻게 연관시키는지에 대해서는 위의 방법 실시예에서의 설명이 참조될 수 있다. 간결함을 위해, 여기에서는 세부사항들이 다시 설명되지 않는다.

위에서 설명된 장치 실시예들은 단지 개략적이다. 개별적인 부분들로서 기술된 모듈은 물리적으로 분리되거나 분리되지 않을 수 있고, 모듈들로서 표시된 부분들은 물리적 모듈들이거나 아닐 수 있고, 하나의 위치에 위치될 수 있거나, 복수의 네트워크 모듈에 분산될 수 있다. 모듈들의 일부 또는 전부는 실제 필요에 따라 본 명세서의 해법들의 목적을 달성하도록 선택될 수 있다. 본 기술분야의 통상의 기술자는 창조적 노력없이 실시예들을 이해하고 구현할 수 있다.

본 명세서의 장치 실시예들은 서버들 또는 단말 디바이스들과 같은 컴퓨터 디바이스들에 적용될 수 있다. 장치 실시예들은 소프트웨어에 의해 구현될 수 있고, 하드웨어 또는 소프트웨어와 하드웨어의 조합에 의해 또한 구현될 수 있다. 논리적 의미의 장치로서 소프트웨어 구현을 예로 들면, 그것은 비-휘발성 메모리 내의 대응하는 컴퓨터 프로그램 명령어들을 메모리 내로 판독함으로써 형성된다. 하드웨어에 대해, 도 10은 장치가 본 명세서에 따라 위치된 컴퓨터 디바이스의 하드웨어 개략도를 도시한다. 도 10에 도시된 프로세서(1001), 메모리(1002), 네트워크 인터페이스(1003), 및 비-휘발성 메모리(1004)에 더하여, 실시예들의 장치가 위치되는 서버 또는 전자 디바이스는 컴퓨터 디바이스의 실제 기능들에 따라 다른 하드웨어를 더 포함할 수 있다. 세부 사항들은 여기서 다시 설명되지 않는다.

따라서, 본 개시내용의 실시예들은 컴퓨터 프로그램이 저장된 컴퓨터 판독가능한 저장 매체를 더 제공하며, 프로그램이 프로세서에 의해 실행될 때, 실시예들 중 어느 하나에 따른 방법이 구현된다.

따라서, 본 개시내용의 실시예들은 메모리, 프로세서, 및 메모리 상에 저장되고 프로세서 상에서 실행될 수 있는 컴퓨터 프로그램을 포함하는 컴퓨터 디바이스를 더 제공하며, 여기서 프로세서가 프로그램을 실행할 때, 실시예들 중 어느 하나에 따른 방법이 구현된다.

본 개시내용은 프로그램 코드들을 포함하는 하나 이상의 저장 매체(디스크 메모리, CD-ROM(Compact Disc Read-Only Memory) 및 광학 메모리 등을 포함하지만 이에 제한되지 않음) 상에 구현된 컴퓨터 프로그램 제품의 형태를 사용할 수 있다. 컴퓨터 이용가능한 저장 매체는 영구적 및 비-영구적, 이동식 및 고정식 매체를 포함하고, 정보 저장은 임의의 방법 또는 기술에 의해 구현될 수 있다. 정보는 컴퓨터 판독가능한 커맨드, 데이터 구조, 프로그램의 모듈 또는 다른 데이터일 수 있다. 컴퓨터 저장 매체의 예들은 위상 변경 랜덤 액세스 메모리(PRAM), 정적 랜덤 액세스 메모리(SRAM), 동적 랜덤 액세스 메모리(DRAM), 다른 유형의 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전기적으로 소거가능하고 프로그래밍가능한 판독 전용 메모리(EEPROM), 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 비디오 디스크(DVD) 또는 다른 광학 저장소, 및 자기 테이프 카트리지를 포함하지만, 그에 제한되지는 않는다. 자기 테이프 디스크 저장소 또는 다른 자기 저장 디바이스들 또는 임의의 다른 비-전송 매체가 컴퓨팅 디바이스에 의해 액세스될 수 있는 정보를 저장하기 위해 사용될 수 있다.

여기에 개시된 명세서를 고찰하고 개시된 명세서를 실시한 후, 본 기술분야의 통상의 기술자는 본 개시내용의 다른 구현 해법들을 용이하게 생각해낼 것이다. 본 개시내용은 본 개시내용의 임의의 변형들, 사용들 또는 적응적 변경들을 포함하는 것을 목표로 한다. 이러한 변형들, 사용들 또는 적응적 변경들은 본 개시내용의 일반적인 원리를 따르고, 본 개시내용에서 개시되지 않은 기술 분야에서의 공통의 일반적인 지식 또는 공통의 기술적 수단을 포함한다. 본 명세서 및 실시예들은 단지 예시적인 것으로 간주되며, 본 개시내용의 진정한 범위 및 사상은 이하의 청구항들에서 지시된다.

본 개시내용은 위에서 설명되고 첨부 도면들에 도시된 그대로의 구조들에 제한되지 않으며, 본 개시내용의 범위를 벗어나지 않고서 다양한 수정들 및 변경들이 이루어질 수 있음을 이해해야 한다. 본 개시내용의 범위는 첨부된 청구항들에 의해서만 제한된다.

위의 설명은 본 개시내용의 바람직한 실시예들일 뿐이며 본 개시내용을 제한하도록 의도된 것은 아니다. 본 개시내용의 사상 및 원리 내에서 이루어진 임의의 수정, 등가의 대체 또는 개선은 본 개시내용의 보호 범위 내에 속한다.

위의 실시예들의 설명들은 실시예들 사이의 차이들에 초점을 맞추는 경향이 있으며, 실시예들의 동일하거나 유사한 부분들에 대해서는 이러한 실시예들을 참조한다. 간결함을 위해, 세부 사항들은 다시 설명되지 않는다.

Claims (17)

1. 이미지 연관 방법으로서,
   제1 이미지 및 제2 이미지를 획득하는 단계 - 상기 제1 이미지는 제1 뷰에서 제1 이미지 캡쳐 디바이스에 의해 장면을 캡쳐함으로써 획득되고, 상기 제2 이미지는 제2 뷰에서 제2 이미지 캡쳐 디바이스에 의해 상기 장면을 동기적으로 캡쳐함으로써 획득되고, 상기 제1 뷰는 상기 제2 뷰와 상이함 - ;
   상기 제2 이미지의 평면 상에서 상기 제1 이미지 캡쳐 디바이스의 에피폴(epipole)을 결정하는 단계 - 상기 에피폴은 상기 제2 이미지의 평면 상에서의 상기 제1 이미지 캡쳐 디바이스의 위치를 나타냄 - ;
   상기 제2 이미지 상에서 제1 바운딩 박스 내의 제1 타겟 점의 투영 점(projection point)을 결정하는 단계 - 상기 제1 바운딩 박스는 상기 제1 이미지 내의 타겟의 바운딩 박스임 - ; 및
   상기 에피폴 및 상기 투영 점에 따라 상기 제2 이미지 내에서 상기 제1 바운딩 박스의 연관 바운딩 박스를 결정하는 단계 - 상기 연관 바운딩 박스 내의 타겟 및 상기 제1 바운딩 박스 내의 타겟은 상기 장면 내의 동일한 타겟임 -
   를 포함하고,
   상기 에피폴 및 상기 투영 점에 따라 상기 제2 이미지 내에서 상기 제1 바운딩 박스의 연관 바운딩 박스를 결정하는 단계는:
   상기 제2 이미지 내의 제2 바운딩 박스들 각각에 대해,
   상기 제2 바운딩 박스 내의 제2 타겟 점으로부터 상기 에피폴 및 상기 투영 점에 의해 결정된 직선까지의 수선의 발(perpendicular foot) 및 거리를 결정하는 단계 - 상기 제2 바운딩 박스는 상기 제2 이미지 내의 타겟의 바운딩 박스이고, 상기 제2 바운딩 박스 내의 상기 제2 타겟 점과 상기 제2 바운딩 박스 사이의 상대적 위치 관계는 상기 제1 타겟 점과, 상기 제1 타겟 점이 위치되는 상기 제1 바운딩 박스 사이의 상대적 위치 관계와 동일함 - ;
   상기 에피폴 및 상기 투영 점에 의해 결정된 선분에 대한 수선의 발 및 미리 설정된 범위 내의 거리를 갖는 상기 제2 타겟 점의 상기 제2 바운딩 박스를 후보 바운딩 박스로서 결정하는 단계;
   상기 후보 바운딩 박스를 후보 바운딩 박스 그룹 내에 배치하는 단계; 및
   상기 후보 바운딩 박스 그룹으로부터 상기 제2 이미지 내의 상기 제1 바운딩 박스의 상기 연관 바운딩 박스를 결정하는 단계
   를 포함하는, 이미지 연관 방법.
2. 제1항에 있어서, 복수의 타겟이 상기 제1 이미지에 포함되고; 상기 제2 이미지 상에서 제1 바운딩 박스 내의 제1 타겟 점의 투영 점을 결정하는 단계는:
   상기 제1 이미지 내에서 상기 복수의 타겟에 대응하는 제1 바운딩 박스들을 결정하는 단계 - 상기 제1 바운딩 박스들 각각은 제1 타겟 점을 포함함 - ; 및
   상기 제1 이미지 내의 상기 제1 바운딩 박스들 각각의 상기 제1 타겟 점의 위치의 최하부에서 최상부로의 순서에 따라, 순차적으로 상기 제2 이미지 상에서 상기 제1 바운딩 박스들 각각 내의 상기 제1 타겟 점의 투영 점을 결정하는 단계 - 상기 제1 바운딩 박스들 각각의 상기 제1 타겟 점은 상기 제1 바운딩 박스들 각각의 중심점임 -
   를 포함하고,
   상기 에피폴 및 상기 투영 점에 따라 상기 제2 이미지 내에서 상기 제1 바운딩 박스의 연관 바운딩 박스를 결정하는 단계는:
   상기 제1 이미지 내의 상기 제1 바운딩 박스들 각각의 상기 제1 타겟 점의 위치의 최하부에서 최상부로의 순서에 따라, 상기 제2 이미지 내에서, 상기 에피폴 및 상기 투영 점에 따라 상기 투영 점들 각각에 대응하는 상기 제1 바운딩 박스의 연관 바운딩 박스를 순차적으로 결정하는 단계
   를 포함하는, 이미지 연관 방법.
3. 제1항에 있어서, 상기 제2 이미지의 평면 상에서 상기 제1 이미지 캡쳐 디바이스의 에피폴을 결정하는 단계는:
   미리 결정된 기본 행렬에 따라 상기 제2 이미지의 평면 상에서 상기 제1 이미지 캡쳐 디바이스의 에피폴을 결정하는 단계
   를 포함하고, 상기 기본 행렬은 상기 제1 이미지의 픽셀 좌표계와 상기 제2 이미지의 픽셀 좌표계 사이의 변환 행렬인, 이미지 연관 방법.
4. 제1항에 있어서, 상기 제2 이미지 상에서 제1 바운딩 박스 내의 제1 타겟 점의 투영 점을 결정하는 단계는:
   미리 결정된 호모그래피 행렬(homography matrix)에 따라 상기 제2 이미지 상에서 상기 제1 타겟 점의 투영 점을 결정하는 단계
   를 포함하고, 상기 호모그래피 행렬은 상기 제1 이미지 내의 공통 평면과 상기 제2 이미지 내의 상기 공통 평면 사이의 변환 행렬이고, 상기 공통 평면은 상기 제1 타겟 점이 위치되고 상기 제2 이미지 캡쳐 디바이스의 시야에 나타나는 평면인, 이미지 연관 방법.
5. 제1항에 있어서, 상기 후보 바운딩 박스 그룹으로부터 상기 제2 이미지 내의 상기 제1 바운딩 박스의 상기 연관 바운딩 박스를 결정하는 단계는:
   상기 수선의 발과 상기 투영 점 사이의 다음으로 가장 가까운 거리를 갖는 상기 제2 타겟 점의 상기 후보 바운딩 박스를 상기 연관 바운딩 박스로서 결정하는 단계
   를 포함하는, 이미지 연관 방법.
6. 이미지 연관 장치로서,
   제1 이미지 및 제2 이미지를 획득하도록 구성되는 제1 획득 모듈 - 상기 제1 이미지는 제1 뷰에서 제1 이미지 캡쳐 디바이스에 의해 장면을 캡쳐함으로써 획득되고, 상기 제2 이미지는 제2 뷰에서 제2 이미지 캡쳐 디바이스에 의해 상기 장면을 동기적으로 캡쳐함으로써 획득되고, 상기 제1 뷰는 상기 제2 뷰와 상이함 - ;
   상기 제2 이미지의 평면 상에서 상기 제1 이미지 캡쳐 디바이스의 에피폴을 결정하도록 구성되는 제1 결정 모듈 - 상기 에피폴은 상기 제2 이미지의 평면 상에서의 상기 제1 이미지 캡쳐 디바이스의 위치를 나타냄 - ;
   상기 제2 이미지 상에서 제1 바운딩 박스 내의 제1 타겟 점의 투영 점을 결정하도록 구성되는 제2 결정 모듈 - 상기 제1 바운딩 박스는 상기 제1 이미지 내의 타겟의 바운딩 박스임 - ; 및
   상기 에피폴 및 상기 투영 점에 따라 상기 제2 이미지 내에서 상기 제1 바운딩 박스의 연관 바운딩 박스를 결정하도록 구성되는 연관 모듈 - 상기 연관 바운딩 박스 내의 타겟 및 상기 제1 바운딩 박스 내의 타겟은 상기 장면 내의 동일한 타겟임 -
   를 포함하고,
   상기 연관 모듈은:
   상기 제2 이미지 내의 제2 바운딩 박스들 각각에 대해, 상기 제2 바운딩 박스 내의 제2 타겟 점으로부터 상기 에피폴 및 상기 투영 점에 의해 결정된 직선까지의 수선의 발 및 거리를 결정하도록 구성되는 제3 결정 유닛 - 상기 제2 바운딩 박스는 상기 제2 이미지 내의 타겟의 바운딩 박스이고, 상기 제2 바운딩 박스 내의 상기 제2 타겟 점과 상기 제2 바운딩 박스 사이의 상대적 위치 관계는 상기 제1 타겟 점과, 상기 제1 타겟 점이 위치되는 상기 제1 바운딩 박스 사이의 상대적 위치 관계와 동일함 - ;
   상기 에피폴 및 상기 투영 점에 의해 결정된 선분에 대한 수선의 발 및 미리 설정된 범위 내의 거리를 갖는 상기 제2 타겟 점의 상기 제2 바운딩 박스를 후보 바운딩 박스로서 결정하고, 상기 후보 바운딩 박스를 후보 바운딩 박스 그룹 내에 배치하도록 구성되는 제4 결정 유닛; 및
   상기 후보 바운딩 박스 그룹으로부터 상기 제2 이미지 내의 상기 제1 바운딩 박스의 상기 연관 바운딩 박스를 결정하도록 구성되는 연관 유닛
   을 포함하는, 이미지 연관 장치.
7. 제6항에 있어서, 복수의 타겟이 상기 제1 이미지에 포함되고; 상기 제2 결정 모듈은:
   상기 제1 이미지 내에서 상기 복수의 타겟에 대응하는 제1 바운딩 박스들을 결정하고 - 상기 제1 바운딩 박스들 각각은 제1 타겟 점을 포함함 - ;
   상기 제1 이미지 내의 상기 제1 바운딩 박스들 각각의 상기 제1 타겟 점의 위치의 최하부에서 최상부로의 순서에 따라, 순차적으로 상기 제2 이미지 상에서 상기 제1 바운딩 박스들 각각 내의 상기 제1 타겟 점의 투영 점을 결정하도록 - 상기 제1 바운딩 박스들 각각의 상기 제1 타겟 점은 상기 제1 바운딩 박스들 각각의 중심점임 -
   구성되고, 상기 연관 모듈은:
   상기 제1 이미지 내의 상기 제1 바운딩 박스들 각각의 상기 제1 타겟 점의 위치의 최하부에서 최상부로의 순서에 따라, 상기 제2 이미지 내에서, 상기 에피폴 및 상기 투영 점에 따라 상기 투영 점들 각각에 대응하는 상기 제1 바운딩 박스의 연관 바운딩 박스를 순차적으로 결정하도록
   구성되는, 이미지 연관 장치.
8. 제6항에 있어서, 상기 제1 결정 모듈은:
   미리 결정된 기본 행렬에 따라 상기 제2 이미지의 평면 상에서 상기 제1 이미지 캡쳐 디바이스의 에피폴을 결정하도록 구성되고,
   상기 기본 행렬은 상기 제1 이미지의 픽셀 좌표계와 상기 제2 이미지의 픽셀 좌표계 사이의 변환 행렬인, 이미지 연관 장치.
9. 제6항에 있어서, 상기 제2 결정 모듈은:
   미리 결정된 호모그래피 행렬에 따라 상기 제2 이미지 상에서 상기 제1 타겟 점의 투영 점을 결정하도록 구성되고,
   상기 호모그래피 행렬은 상기 제1 이미지 내의 공통 평면과 상기 제2 이미지 내의 상기 공통 평면 사이의 변환 행렬이고, 상기 공통 평면은 상기 제1 타겟 점이 위치되고 상기 제2 이미지 캡쳐 디바이스의 시야에 나타나는 평면인, 이미지 연관 장치.
10. 제6항에 있어서, 상기 연관 유닛은:
    상기 수선의 발과 상기 투영 점 사이의 다음으로 가장 가까운 거리를 갖는 상기 제2 타겟 점의 상기 후보 바운딩 박스를 상기 연관 바운딩 박스로서 결정하도록 구성되는, 이미지 연관 장치.
11. 이미지 연관 시스템으로서,
    제1 뷰에서 장면을 캡쳐함으로써 제1 이미지를 획득하도록 구성되는 제1 이미지 캡쳐 디바이스;
    제2 뷰에서 상기 장면을 동기적으로 캡쳐함으로써 제2 이미지를 획득하도록 구성되는 제2 이미지 캡쳐 디바이스 - 상기 제1 뷰는 상기 제2 뷰와 상이함 - ; 및
    프로세서
    를 포함하고, 상기 프로세서는:
    상기 제1 이미지 및 상기 제2 이미지를 획득하고;
    상기 제2 이미지의 평면 상에서 상기 제1 이미지 캡쳐 디바이스의 에피폴을 결정하고 - 상기 에피폴은 상기 제2 이미지의 평면 상에서의 상기 제1 이미지 캡쳐 디바이스의 위치를 나타냄 - ;
    상기 제2 이미지 상에서 제1 바운딩 박스 내의 제1 타겟 점의 투영 점을 결정하고 - 상기 제1 바운딩 박스는 상기 제1 이미지 내의 타겟의 바운딩 박스임 - ;
    상기 에피폴 및 상기 투영 점에 따라 상기 제2 이미지 내에서 상기 제1 바운딩 박스의 연관 바운딩 박스를 결정하도록 - 상기 연관 바운딩 박스 내의 타겟 및 상기 제1 바운딩 박스 내의 타겟은 상기 장면 내의 동일한 타겟임 -
    구성되고,
    상기 에피폴 및 상기 투영 점에 따라 상기 제2 이미지 내에서 상기 제1 바운딩 박스의 연관 바운딩 박스를 결정하는 것은:
    상기 제2 이미지 내의 제2 바운딩 박스들 각각에 대해,
    상기 제2 바운딩 박스 내의 제2 타겟 점으로부터 상기 에피폴 및 상기 투영 점에 의해 결정된 직선까지의 수선의 발(perpendicular foot) 및 거리를 결정하는 것 - 상기 제2 바운딩 박스는 상기 제2 이미지 내의 타겟의 바운딩 박스이고, 상기 제2 바운딩 박스 내의 상기 제2 타겟 점과 상기 제2 바운딩 박스 사이의 상대적 위치 관계는 상기 제1 타겟 점과, 상기 제1 타겟 점이 위치되는 상기 제1 바운딩 박스 사이의 상대적 위치 관계와 동일함 - ;
    상기 에피폴 및 상기 투영 점에 의해 결정된 선분에 대한 수선의 발 및 미리 설정된 범위 내의 거리를 갖는 상기 제2 타겟 점의 상기 제2 바운딩 박스를 후보 바운딩 박스로서 결정하는 것;
    상기 후보 바운딩 박스를 후보 바운딩 박스 그룹 내에 배치하는 것; 및
    상기 후보 바운딩 박스 그룹으로부터 상기 제2 이미지 내의 상기 제1 바운딩 박스의 상기 연관 바운딩 박스를 결정하는 것을
    포함하는, 이미지 연관 시스템.
12. 컴퓨터 프로그램이 저장된 컴퓨터 판독가능한 저장 매체로서,
    상기 프로그램이 프로세서에 의해 실행될 때, 제1항 내지 제5항 중 어느 한 항에 따른 방법이 구현되는, 컴퓨터 판독가능한 저장 매체.
13. 컴퓨터 디바이스로서,
    메모리, 프로세서, 및 상기 메모리에 저장되고 상기 프로세서 상에서 실행될 수 있는 컴퓨터 프로그램을 포함하고, 상기 프로세서가 상기 프로그램을 실행할 때, 제1항 내지 제5항 중 어느 한 항에 따른 방법이 구현되는, 컴퓨터 디바이스.
14. 삭제
15. 삭제
16. 삭제
17. 삭제

Images