KR20220148726A - 후보 영역을 병합하기 위한 장치 및 방법 - Google Patents

Abstract

제1 이미지에서의 후보 특징과 관련된 제1 후보 영역과 제2 이미지에서의 후보 특징과 관련된 제2 후보 영역을 병합하기 위한 장치, 비일시적 컴퓨터 판독가능 저장 매체, 및 방법이 개시된다. 상기 제1 이미지와 상기 제2 이미지는 중첩 영역을 가지고, 상기 제1 후보 영역의 적어도 일부와 상기 제2 후보 영역의 적어도 일부는 중첩 영역에 위치된다. 상기 제1 이미지와 상기 제2 이미지의 상기 중첩 영역의 크기를 나타내는 이미지 중첩 크기가 결정되고, 상기 제1 후보 영역과 상기 제2 후보 영역의 중첩 비율을 나타내는 후보 영역 중첩 비율이 결정된다. 그런 다음, 상기 이미지 중첩 크기에 기초하여 병합 임계값이 결정되고, 상기 후보 영역 중첩 비율이 상기 병합 임계값보다 크다는 조건에서, 상기 제1 후보 영역과 상기 제2 후보 영역이 병합되어, 병합된 후보 영역을 형성한다.

Description

후보 영역을 병합하기 위한 장치 및 방법{A DEVICE AND A METHOD FOR MERGING CANDIDATE AREAS}

본 발명은 후보 영역을 병합하는 것에 관한 것으로, 구체적으로 제1 이미지의 특징부와 관련된 후보 영역 및 제2 이미지의 특징부와 관련된 제2 후보 영역을 병합하는 것에 관한 것이다.

일부 이미지 처리 적용에서 이미지에서의 후보 영역들이 식별되며, 여기서 상기 후보 영역들은 이미지에서의 물체, 물체의 세그먼트 또는 기타와 같은 특징부들과 관련된다. 예를 들어, 이러한 후보 영역들은 이미지에서 물체 검출과 관련된 후보 경계 박스(box)들일 수 있으며, 여기서 상기 후보 경계 박스들은 예를 들어, 신경망을 사용하여 물체 검출 알고리즘에 의해 유도될 수 있다. 다른 예들에서, 이러한 후보 영역들은 인스턴스 분할 알고리즘에 의해 도출된 후보 다각형(polygon)들 또는 픽셀 마스크들, 또는 모션 검출 알고리즘으로부터 도출된 픽셀 마스크들일 수 있다. 상기 이미지에서의 후보 영역들이 식별되면, 두개의 후보 영역들을 단일 후보 영역으로 병합해야 하는지 여부를 결정하기 위해 병합 알고리즘이 수행될 수 있다. 이러한 결정은 일반적으로 두개의 후보 영역들 간의 중첩 비율, 즉 후보 영역들이 이들 전체 크기와 관련하여 얼마나 중첩되는지에 대한 임계값을 기반으로 한다. 상기 임계값 초과의 중첩 비율에 대해 상기 후보 영역들이 병합되고, 상기 임계값 이하의 중첩 비율에 대해 후보 영역들이 병합되지 않는다. 이러한 병합 알고리즘의 목적은 두개의 후보 영역들을 병합하기로 결정하는 것이 실제로 두개의 후보 영역들이 이미지에서 동일한 특징부와 관련된 경우에 해당해야 한다는 것이다. 이러한 병합 알고리즘은 단일 연속 이미지에서 후보 영역들이 식별될 때 시나리오(scenario)를 위해 개발되었다. 그러나, 이러한 알고리즘이 후보 영역을 병합해야 하는, 즉, 상기 후보 영역들이 실제로 상기 이미지에서 동일한 특징부와 관련된 모든 관련 상황을 식별하는데 성공하지 못하는 시나리오가 존재한다. 이러한 시나리오의 일례는 단일 이미지 센서에 의해 캡처된 불연속 이미지에서 후보 영역들이 식별되었을 때이며, 여기서 불연속 이미지의 두개의 부분(후보 영역들을 식별할 때 두개의 개별 이미지로 처리됨)은 중첩 영역을 가지며, 이러한 경우에서 단일 이미지 센서의 동일한 영역에 의해 캡처된 영역이다. 이러한 시나리오의 또 다른 예는 두개의 개별 이미지 센서에 의해 캡처된 두개의 개별 이미지들에서 후보 영역들이 식별된 경우이고, 여기서 두개의 이미지들은 중첩 영역을 포함하며, 이러한 경우 두개의 개별 이미지 센서 모두에 의해 캡처된 장면의 일부를 나타내는 영역이다.

본 발명의 목적은 두개의 개별 이미지들과 관련하여 두개의 후보 영역들의 향상된 식별 및 병합을 용이하게 하는 것이며, 여기서 상기 두개의 개별 이미지들은 중첩 영역을 갖는다.

제1 양태에 따르면, 제1 이미지에서의 후보 특징부와 관련된 제1 후보 영역 및 제2 이미지에서의 후보 특징부와 관련된 제2 후보 영역을 병합하는 방법이 제공된다. 상기 제1 이미지와 상기 제2 이미지는 중첩 영역을 가지며, 상기 제1 후보 영역의 적어도 일부와 상기 제2 후보 영역의 적어도 일부는 상기 중첩 영역에 위치된다. 상기 방법은 상기 제1 이미지 및 상기 제2 이미지의 중첩 영역의 크기를 나타내는 이미지 중첩 크기를 결정하는 단계; 상기 제1 후보 영역 및 상기 제2 후보 영역 사이의 중첩 비율을 나타내는 후보 영역 중첩 비율을 결정하는 단계; 상기 이미지 중첩 크기에 기초하여 병합 임계값을 결정하는 단계; 및 상기 후보 영역 중첩 비율이 상기 병합 임계값보다 크다는 조건에서, 상기 제1 후보 영역 및 상기 제2 후보 영역을 병합하여, 병합된 후보 영역을 형성하는 단계를 포함한다.

"후보 특징부(candidate feature)"이란 물체, 물체의 일부, 물체의 세그먼트, 움직임이 있는 부분 또는 이전 처리에서 후보 영역이 식별되고 제1 양태에 따라 상기 방법으로 입력되는 이미지의 임의의 다른 특징부를 의미한다.

제1 이미지 및 제2 이미지와 관련된 "이미지"는 후보 영역을 식별할 때 상기 제1 이미지 및 상기 제2 이미지가 개별적으로 처리되었음을 의미한다. 상기 제1 이미지 및 상기 제2 이미지는 제1 이미지 센서 및 제2 이미지 센서 중 각각에 의해 캡처될 수 있다. 대안으로, 상기 제1 이미지 및 상기 제2 이미지는 각각 단일 이미지 센서를 사용하여 캡처된 이미지의 제1 부분 및 제2 부분일 수 있다. 후자의 경우, 상기 제1 이미지 및 상기 제2 이미지는 각각 상기 제1 부분 및 상기 제2 부분의 변환(transformation)일 수 있다.

중첩 영역을 갖는 상기 제1 및 제2 이미지와 관련하여 "중첩 영역(overlapping region)"이란 변환이 있거나 없는 다른 이미지에도 포함되는 상기 제1 및 제2 이미지의 하나의 이미지에서 영역이 있음을 의미하거나, 장면의 동일한 부분을 다른 이미지의 영역으로 나타내는 상기 제1 및 제2 이미지 중 하나의 이미지에서 영역이 있음을 의미한다. 전자의 경우, 상기 제1 및 제2 이미지는 예를 들어 특징부 크기 관계의 왜곡을 감소시키기 위해 장면의 광각 뷰 부분의 변환일 수 있다. 후자의 경우, 상기 제1 및 제2 이미지는 각각 제1 및 제2 이미지 센서에 의해 캡처된 이미지들일 수 있고, 여기서 상기 제1 및 제2 이미지 센서는 상기 장면의 부분적으로 중첩되는 부분을 각각 캡처한다.

상기 제1 후보 영역 및 상기 제2 후보 영역 사이의 중첩 비율과 관련된 "비율"은 상기 제1 및 제2 후보 영역의 크기와 관련된 임의의 종류의 정규화(normalization)를 의미한다.

본 발명자들은 제1 이미지에서 식별된 제1 후보 영역 및 제2 이미지에서 식별된 제2 후보 영역에 대해, 상기 제1 이미지 및 상기 제2 이미지는 중첩 영역을 가지며, 상기 제1 후보 영역 및 상기 제2 후보 사이의 중첩은 상기 중첩 영역의 크기에 의해 크기가 제한된다. 일부가 상기 제1 이미지에 있고 일부가 상기 제2 이미지에 있는 후보 특징부의 경우, 중첩되는 영역에 있는 상기 후보 특징부의 공통 부분, 즉 상기 제1 이미지 및 상기 제2 이미지 모두에서 나타날 공통 부분이 존재할 것이다. 상기 제1 이미지에서 식별된 상기 후보 특징부와 관련된 제1 후보 영역 및 상기 제2 이미지에서 식별된 상기 후보 특징부와 관련된 제2 후보 영역으로서 상기 중첩 영역에서만 중첩될 수 있다. 이러한 제한을 수용하기 위해, 병합 임계값(merge threshold)은 상기 중첩 영역의 크기에 기초하여 결정되는 제1 양태에 따른다.

상기 이미지 중첩 크기에 기초하여 상기 병합 임계값을 결정함으로써, 동일한 후보 특징부에 관한 경우에도 상기 제1 후보 영역 및 상기 제2 후보 영역이 병합되지 않을 위험이 감소된다. 따라서, 두개의 개별 이미지에서 동일한 후보 특징부가 두개의 개별 후보 특징부로 식별될 위험이 감소된다.

상기 병합 임계값은 상기 이미지 중첩 크기에 따라 증가되도록 결정될 수 있다. 예를 들어, 상기 병합 임계값은 상기 이미지 중첩 크기에 비례되도록 결정될 수 있다. 따라서, 제공된 중첩 크기에 대해, 상기 병합 임계값은 제공된 중첩 크기에 비례 상수를 곱한 것으로 결정될 것이다.

상기 후보 영역 중첩 비율은 상기 제1 후보 영역 및 상기 제2 후보 영역의 교집합(intersection)을 상기 제1 후보 영역 및 상기 제2 후보 영역의 합집합(union)으로 나눈 것으로 결정될 수 있다. 이러한 후보 영역 중첩 비율 측정은 일반적으로 IoU(Intersection over Union)라고 한다.

상기 제1 후보 영역 및 상기 제2 후보 영역은 상기 제1 이미지 및 상기 제2 이미지를 포함하는 결합된 이미지의 좌표로 식별될 수 있다. 이는 예를 들어 상기 제 1 이미지 및 상기 제 2 이미지가 각각 제 1 이미지 센서 및 제 2 이미지 센서에 의해 캡처된 경우와 관련될 수 있으며, 여기서 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서는 장면의 부분적으로 중첩되는 부분들을 각각 캡처한다.

상기 제1 이미지는 어안 이미지(fisheye image)의 제1 부분의 제1 변환된 뷰일 수 있고, 상기 제2 이미지는 상기 어안 이미지의 제2 부분의 제2 변환된 뷰일 수 있으며, 상기 제1 후보 영역 및 상기 제2 후보 영역은 상기 어안 이미지의 좌표 또는 일부 다른 좌표계의 좌표로 식별될 수 있다. 이는 상기 제1 이미지 및 상기 제2 이미지가 단일 이미지 센서를 사용하여 캡처된 이미지의 각각의 제1 부분 및 제2 부분이고, 상기 제1 이미지 및 상기 제2 이미지가 각각 상기 제1 부분 및 상기 제2 이미지의 변환인 경우와 관련된다. 따라서, 상기 제1 이미지 및 상기 제2 이미지에서 각각 식별되었던 상기 제1 후보 영역 및 상기 제2 후보 영역은 상기 어안 이미지의 좌표 또는 일부 다른 좌표계의 좌표로 식별되도록 다시 변환되었다.

상기 병합된 후보 영역은 상기 제1 후보 영역 및 상기 제2 후보 영역의 합집합으로 구성될 수 있다. 대안이 예상된다. 예를 들어, 상기 병합된 후보 영역이 특정 형태를 가져야 하는 경우, 상기 병합된 후보 영역은 상기 제1 후보 영역 및 상기 제2 후보 영역을 포함하는 특정 형태의 영역일 수 있다. 예를 들어, 상기 병합된 후보 영역은 상기 제1 후보 영역 및 상기 제2 후보 영역을 포함하는 특정 형태의 가장 작은 영역일 수 있다.

상기 제1 및 제2 후보 영역은 바운딩 박스, 픽셀 마스크, 다각형 영역 중 하나일 수 있다. 상기 병합된 후보 영역은 동일한 유형일 수 있다. 예를 들어, 상기 제1 및 제2 후보 영역이 바운딩 박스라면, 상기 병합된 후보 영역도 바운딩 박스일 수 있다.

제2 양태에 따르면, 처리 능력을 갖는 장치에 의해 실행될 때 제1 양태에 따른 방법을 구현하기 위한 명령어들이 저장된 비-일시적 컴퓨터 판독가능 저장 매체가 제공된다.

적용 가능한 경우, 제1 양태에 따른 방법의 전술한 선택적 추가 특징부는 이러한 제2 양태에도 적용된다. 과도한 반복을 피하기 위해, 위의 내용을 참조한다.

제3 양태에 따르면, 제1 이미지에서의 후보 특징부와 관련된 제1 후보 영역 및 제2 이미지에서의 후보 특징부와 관련된 제2 후보 영역을 병합하기 위한 장치가 제공된다. 상기 제1 이미지 및 상기 제2 이미지는 중첩 영역을 가지며, 상기 제1 후보 영역의 적어도 일부 및 상기 제2 후보 영역의 적어도 일부는 상기 중첩 영역에 위치된다. 상기 장치는 상기 제1 이미지 및 상기 제2 이미지의 중첩 영역의 크기를 나타내는 이미지 중첩 크기를 결정하도록 구성되는 이미지 중첩 크기 결정 기능을 실행하도록 구성된 회로; 상기 제1 후보 영역 및 상기 제2 후보 영역 사이의 중첩을 나타내는 후보 영역 중첩 비율을 결정하도록 구성된 후보 영역 중첩 비율 결정 기능부; 상기 이미지 중첩 크기에 기초하여 병합 임계값을 결정하도록 구성된 병합 임계값 결정 기능부; 및 상기 후보 영역 중첩 비율이 상기 병합 임계값보다 큰 조건에서, 상기 제1 후보 영역 및 상기 제2 후보 영역을 병합하여, 병합된 후보 영역을 형성하도록 구성된 병합 기능부를 포함한다.

제1 양태에 따른 방법의 전술한 선택적 추가 특징부는 적용 가능한 경우, 이러한 제3 양태에도 적용된다. 과도한 반복을 피하기 위해, 위의 내용을 참조한다.

본 발명의 적용 가능성의 추가 범위는 하기에 제공된 상세한 설명으로부터 명백해질 것이다. 그러나, 상세한 설명 및 특정 실시예들은 본 발명의 바람직한 실시 형태들을 나타내면서, 본 발명의 범위 내의 다양한 변경 및 변형이 이러한 상세한 설명으로부터 당업자에게 명백할 것이기 때문에, 단지 예시의 목적으로 제공되는 것으로 이해되어야 한다.

따라서, 본 발명은 설명된 장치의 특정 구성 부분으로 제한되지 않거나 이러한 장치 및 방법으로 설명된 방법의 작용이 다양할 수 있음을 이해할 것이다. 본 명세서에서 사용된 용어는 단지 특정 실시 형태들을 설명하기 위한 것이며 제한하려는 의도가 아님을 이해해야 한다. 명세서 및 첨부된 청구범위에 사용된 바와 같이 관사 "하나", "하나의", "그" 및 "상기"는 문맥이 명백하게 다르게 지칭하지 않는 한 요소 중 하나 이상이 존재함을 의미하는 것임을 유의해야 한다. 따라서, 예를 들어, "유닛" 또는 "상기 유닛"에 대한 언급은 여러 장치 등을 포함할 수 있다. 또한, "구성하는", "포함하는", "함유하는" 및 유사한 문구는 다른 요소 또는 단계를 배제하지 않는다.

본 발명의 상기 및 다른 양태들은 이제 첨부된 도면을 참조하여, 보다 상세하게 설명될 것이다. 도면은 제한하는 것으로 간주되어서는 안되며 대신 설명 및 이해를 위해 사용된다.
도 1a는 어안 렌즈와 단일 이미지 센서를 사용하여 캡처된 파노라마 이미지를 나타낸다.
도 1b는 도 1a의 이미지의 4개 부분 중 각각의 하나의 4개의 변환된 뷰를 포함하는 도 1a의 이미지의 소위 쿼드뷰를 나타낸다.
도 1c는 중첩을 갖는 두개의 이미지들의 개략도를 나타낸다.
도 2a는 제1 이미지 및 제2 이미지에서 후보 특징부와 관련하여 제1 이미지 및 제2 이미지 및 제1 후보 영역 및 제2 후보 영역의 예시를 각각 나타낸다.
도 2b는 제1 이미지 및 제2 이미지의 후보 특징과 관련하여 제1 이미지 및 제2 이미지 및 제1 후보 영역 및 제2 후보 영역의 추가 예시를 각각 나타낸다.
도 3은 제1 이미지에서의 후보 특징부와 관련된 제1 후보 영역 및 제2 이미지에서의 후보 특징부과 관련된 제2 후보 영역을 병합하기 위한 본 개시물의 방법의 실시 형태들과 관련된 흐름도를 나타낸다.
도 4는 제1 이미지에서의 후보 특징부와 관련된 제1 후보 영역 및 제2 이미지에서의 후보 특징부와 관련된 제2 후보 영역을 병합하는 본 개시물의 장치의 실시 형태들과 관련된 개략도를 나타낸다.

본 발명은 이제 본 발명의 현재 바람직한 실시 형태들이 예시된 첨부 도면을 참조하여 이하에서 설명될 것이다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명되는 실시 형태들에 한정되는 것으로 해석되어서는 안된다.

이하에서, 후보 특징부를 언급할 때, 이러한 후보 특징부는 후보 영역이 물체 검출, 인스턴스 분할, 팬옵틱(panoptic) 분할 또는 이미지에서 움직임이 있는 위치를 찾는 작업 기반 움직임과 같은 선행 처리에서 식별되는 것과 관련하여 물체, 물체의 일부, 물체의 세그먼트, 움직임이 있는 부분 또는 이미지의 임의의 다른 특징부와 관련될 수 있다.

또한, 이하에서 이미지를 언급할 때, 이러한 이미지들은 각각의 이미지 센서에 의해 캡처된 것일 수도 있고, 단일 이미지 센서를 이용하여 캡처된 단일 이미지의 일부에 관한 것일 수도 있다. 후자의 경우에서, 이미지들은 단일 이미지의 부분을 변환한 것일 수 있다.

또한, 이하에서 두개의 이미지들과 관련하여 중첩되는 영역 또는 중첩을 언급할 때, 이러한 중첩 영역 또는 중첩은 변환을 갖거나 변환이 없는 두개의 이미지 중 다른 하나의 이미지에도 포함되는 두개의 이미지 중 하나의 이미지의 영역이거나, 두개의 이미지 중 다른 이미지에서의 영역과 동일한 장면 부분을 나타내는 두개의 이미지 중 하나의 이미지에서의 영역이다. 전자의 경우, 두개의 이미지는 예를 들어 특징부 크기 관계의 왜곡을 줄이기 위해 장면의 광각 뷰 부분의 변환일 수 있다. 후자의 경우, 제1 및 제2 이미지는 각각 제1 및 제2 이미지 센서에 의해 캡처된 이미지일 수 있고, 여기서 제1 및 제2 이미지 센서는 장면의 부분적으로 중첩되는 부분을 각각 캡처한다.

본 발명은 제1 이미지에서의 후보 특징부 및 제2 이미지에서의 후보 특징부와 관련된 후보 영역을 각각 식별하기 위해 제1 이미지 및 제2 이미지에 대해 개별적으로 처리가 수행된 경우에 적용 가능하다. 예를 들어, 처리는 각각의 후보 영역이 관련된 후보 특징부가 물체인 물체 검출과 관련될 수 있다. 이러한 물체 검출은 YOLO(You Only Look Once) 아키텍처, SSD(Single Shot MultiBox Detector)/SSD-라이트와 같은 1-단계 신경망, 센터넷(CenterNet) 또는 완전 컨볼루션 1-단계 물체 검출(FCOS) 및 DETR(DEtection TRansformer)과 같은 변압기 기반 네트워크와 같은 1-단계 신경만을 사용할 수 있다. 물체 검출은 또한 영역 기반 컨볼루션 신경망(R-CNN), 패스털 R-CNN(Faster R-CNN) 등과 같은 2/다단계 검출기와 관련될 수 있다. 물체 검출은 배향 기울기의 히스토그램(HOG) 기반일 수 있다. 물체 감지 출력 후보 영역은 박스 또는 다른 유형의 다각형일 수 있다. 처리는 인스턴스 분할(예를 들어 Mask R-CNN) 및 팬옵틱 분할과 같은 분할과 추가로 관련될 수 있으며, 여기서 각각의 후보 영역과 관련된 후보 특징부는 세그먼트이다. 분할 출력 후보 영역은 다각형 또는 픽셀 마스크일 수 있다. 처리는 또한 작업이 이미지에서 움직임이 있는 위치를 찾는 것인 모션 기반 작업과 관련될 수 있으며, 여기서 각각의 후보 영역과 관련된 후보 특징부는 움직임이 있는 부분이다. 움직임-기반 작업의 출력 후보 영역은 다각형 또는 픽셀 마스크일 수 있다.

위에서 설명된 또는 다른 처리가 수행되었을 때, 중첩 영역에 부분적으로 위치된 후보 특징부는 일반적으로 제1 이미지 및 제2 이미지 모두에서 후보 영역이 된다. 그러나, 서로 다른 이미지들에서 후보 영역들 간의 중첩이 중첩 크기에 의해 제한되므로, 동일한 이미지에서 후보 영역들을 병합할 때와 동일한 병합 임계값을 사용하면 동일한 경우에서 동일한 후보 특징부와 관련된 후보 영역들임에도 불구하고 후보 박스를 병합하지 않을 것이다.

그 다음, 본 발명은 후보 영역을 병합할 시기를 결정하는 것에 관한 것이다. 이를 위해, 비-최대 억제(NMS)가 자주 적용된다. 예를 들어, 대부분의 물체 검출 접근법은 특징부 맵에 대해 슬라이딩 윈도우를 적용하고 해당 윈도우에서 계산된 후보 특징부에 따라 전경/배경 신뢰도 값(confidence value, 점수)을 할당한다. 단일 샷 멀티박스 검출기와 같은 일부 딥 러닝 검출기에서, 더 빠른 RCNN 검출기는 특징부 층의 다른 해상도에서 미리 정의된 앵커 박스(anchor box)를 사용한다. 이웃 윈도우(앵커 박스)는 어느 정도 유사한 신뢰도 값을 가지며 후보 영역으로 간주된다. 이는 동일한 후보 물체(후보 특징부)에 대한 많은 후보 영역으로 이어진다. NMS는 IoU(Intersection over Union)를 기반으로 제안(proposal)을 필터링하는데 사용되며, 이는 두개의 후보 영역의 교집합을 두개의 후보 영역의 합집합으로 나눈 것으로 정의될 수 있다.

각각의 후보 영역은 이러한 후보 영역의 IoU를 다른 모든 후보 영역과 함께 계산하여 다른 모든 후보 영역과 비교된다. IoU가 병합 임계값(N)보다 크면, 후보 영역이 병합된다. 일반적인 병합 방법 중 하나는 가장 높은 신뢰도 값을 가진 제안을 선택하는 것이다.

다음에서 첫번째 시나리오는 어안 렌즈를 사용하여 캡처된 파노라마 이미지(110)를 나타내는 도 1a와 관련하여 설명될 것이며, 도 1b는 도 1a의 이미지(110a)의 4개 부분 중 각각의 하나의 4개의 변환된 뷰(이미지들)(112, 114, 116, 118)를 포함하는 도 1a의 이미지의 쿼드뷰를 나타내고, 도 1c는 중첩 영역(140)을 갖는 두개의 이미지(120, 130)의 개략도를 나타낸다.

도 1a에서 알 수 있는 바와 같이, 어안 렌즈의 사용은 광각 뷰(110)를 제공하지만 뷰가 왜곡되어 이미지에서의 특징부의 상대 크기가 뷰에서의 위치에 따라 달라질 것이다. 이미지에서의 후보 특징과 관련하여 후보 영역을 식별하기 위해 도 1a에 개시된 바와 같이 이미지(110)를 처리할 때, 일부 특징부는 왜곡으로 인해 상대적으로 작아질 수 있고 이미지의 처리는 이러한 상대적으로 작은 특징부와 관련하여 오류를 초래할 수 있다. 따라서, 도 1a에 도시된 바와 같이 이미지(110)를 처리하는 대신에, 이미지는 4개의 부분과 같은 부분으로 분할될 수 있다. 또한, 왜곡을 줄이기 위해, 각각의 부분은 도 1b의 쿼드 뷰에서 제1 내지 제4 이미지(부분들)(112, 114, 116, 118)와 같이 불연속적인 이미지 또는 개별 이미지의 일부로 지정될 수 있는 것으로 변환될 수 있어, 특징부의 상대 크기가 이미지들(112, 114, 116, 118) 중 하나에서 이의 위치에 덜 의존한다. 처리 이미지들(112, 114, 116, 118)은 이미지들(112, 114, 116, 118)의 각각의 이미지들에서 후보 특징부와 관련하여 후보 영역들을 개별적으로 제공할 것이다. 또한, 도 1a에서의 이미지(110)는 부분들로 분할되고 그 부분들은 왜곡이 감소되고 이미지(112, 114, 116, 118)의 각각의 이미지가 다른 이미지들(112, 114, 116, 118)에도 포함되는 영역을 포함하도록 개별 이미지들로 변환된다. 이상에서 설명한 바와 같이, 이미지들(112, 114, 116, 118) 중 두개의 이미지들에 포함되는 영역은 두개의 이미지들의 중첩 영역이라고 한다. 중첩 영역(140)을 갖는 제1 이미지(120) 및 제2 이미지(130)의 개략도가 도 1c에 도시된다. 도 1c의 제1 이미지(120) 및 제2 이미지(130)는 제1 이미지(112) 및 제2 이미지(114), 제1 이미지(112) 및 제3 이미지(116), 제2 이미지(114) 및 제4 이미지(118), 제3 이미지(116) 및 제4 이미지(118)와 같이 도 1b에서의 이미지들의 쌍에 해당할 수 있다. 도 1c는 물체 형태에서 특징부(150)가 제1 이미지(120)에만 위치하는 제1 부분, 제2 이미지(130)에만 위치하는 제2 부분 및 제1 이미지(120)와 제2 이미지(130) 모두에 위치되는 것을 의미하는 중첩 영역(140)에 위치하는 제3 부분을 가질 수 있는 방법의 개략도를 제공할 뿐이다. 예를 들어, 도 1c에서 제1 이미지(120) 및 제2 이미지(130) 사이의 중첩 영역(140)은 직사각형이다. 실제 경우에서, 도 1b의 쿼드뷰의 4개의 이미지들(112, 114, 116, 118) 중 2개의 이미지들의 중첩 영역은 일반적으로 직사각형이 아니다. 그러나, 도 1b의 쿼드뷰의 4개의 이미지들(112, 114, 116, 118)의 이미지들의 각각의 중첩 영역은 도 1b의 쿼드뷰의 4개의 이미지들(112, 114, 116, 118)이 도 1b의 쿼드뷰의 4개의 이미지(112, 114, 116, 118)의 각각의 이미지에 사용된 도 1a의 이미지(110)의 각각의 부분과 같은 도 1a의 이미지(110)로부터 생성된 방법의 지식 및 사용된 변환 등에 기초하여 결정될 수 있다.

후보 영역들을 식별하기 위한 적절한 처리를 보장하기 위해, 원본 이미지를 부분으로 분할하고 부분들을 개별 이미지들로 변환하는 것은 바람직하게 개별 이미지들의 임의의 하나에 도시되지 않은 원본 이미지 중 영역이 없도록 구성되어야 한다. 이는 도 1a에서의 원본 이미지(110) 및 도 1b에서의 개별 이미지들(112, 114, 116, 118)에 관한 경우가 아니다.

도 1b의 쿼드뷰는 장면의 하나 이상의 이미지 또는 비디오를 볼 때 장면의 더 나은 오버뷰(overview)를 제공하기 위한 것과 같은 다른 이유로 생성 및 사용될 수도 있다.

다음에서 두번째 시나리오는 중첩을 갖는 두개의 이미지들의 개략도를 나타내는 도 1c와 관련하여 설명될 것이다. 어안 렌즈와 같은 광각 렌즈를 사용하는 대신, 두개의 이미지 센서를 사용하여 광각을 커버하는 파노라마 이미지를 생성할 수 있다. 두번째 시나리오에서, 제1 이미지(120)는 제1 이미지 센서에 의해 캡처된 이미지일 것이고, 제2 이미지(130)는 제2 이미지 센서에 의해 캡처된 이미지일 것이다. 중첩 영역(140)은 제1 이미지 센서 및 제2 이미지 센서 모두에 의해 캡처된 영역일 것이다. 첫번째 시나리오와 대조적으로, 중첩 영역은 따라서 동일한 이미지 센서에 의해 캡처된 제1 이미지 및 제2 이미지 모두에서 영역과 관련되지 않으므로, 동일한 이미지 데이터를 포함하지 않는다. 대신, 제1 이미지 센서 및 제2 이미지 센서에 의해 캡처된 장면의 동일한 부분을 나타내는 제1 이미지 센서 및 제2 이미지 센서 각각으로부터의 이미지 데이터를 포함할 것이다. 이러한 두번째 시나리오에서, 제1 이미지(120) 및 제2 이미지(130)는 나중에 함께 스티칭되어 제1 이미지 센서 및 제2 이미지 센서에 의해 캡처된 장면의 표현을 나타내는 단일 결합 이미지를 형성할 수 있다. 그러나, 이러한 두번째 시나리오에서도 후보 영역들을 식별하기 위해 처리할 때, 예를 들어 위에서 설명한 처리 유형 중 하나를 사용하여 제1 이미지(120) 및 제2 이미지(130)를 개별적으로 처리하는 것이 유리할 수 있다. 예를 들어, 제1 이미지 센서 및 제2 이미지 센서는 같은 위치에 있거나 그렇지 않으면 두개의 처리 유닛 중 각각에 관련될 수 있으며, 따라서 제1 이미지(120) 및 제2 이미지(130)의 처리는 병렬로 수행되어 더 짧은 시간 내에 처리의 결과 후보 영역을 제공할 수 있다. 또한, 제1 이미지(120) 및 제2 이미지(130)를 개별적으로 처리함으로써, 예를 들어 더 작은 물체의 검출을 가능하게 함으로써 더 작은 후보 영역의 식별을 가능하게 하는 두개의 더 작은 이미지를 처리하게 될 것이다. 또한 제1 이미지(120) 및 제2 이미지(130)의 조합을 결합된 이미지로 처리하는 것을 방지하는 하드웨어 제한이 있을 수 있다.

상이한 시나리오 및 상이한 특정 구현예들에서, 두개의 이미지들 사이의 중첩 영역은 도 2a 및 도 2b에 반영된 바와 같이 상이한 크기일 수 있다. 도 2a는 중첩 영역(240a)을 갖는 제1 이미지(220a) 및 제2 이미지(230a)의 예시를 도시한다. 또한, 도 2a에서, 경계 박스의 형태로 제1 후보 영역(260a)은 파선으로 도시되고, 경계 박스 형태로 제2 후보 영역(270a)은 제1 이미지(220a) 및 제2 이미지(230a) 각각에서 물체의 형태로 후보 특징부(250a)과 관련하여 점선으로 도시된다. 도 2b는 중첩 영역(240b)을 갖는 제1 이미지(220b) 및 제2 이미지(230b)의 추가 예시를 도시한다. 또한, 도 2b에서 경계 박스의 형태로 제1 후보 영역(260b)은 파선으로 도시되고 경계 박스의 형태로 제2 후보 영역(270b)은 제1 이미지(220b) 및 제2 이미지(230b)에서 물체의 형태로 후보 경계부(250b)와 관련하여 점선으로 도시된다. 도 2a 및 도 2b의 예시에서 알 수 있는 바와 같이, 도 2a에서의 제1 이미지(220a) 및 제2 이미지(230a)의 중첩 영역(240a)은 도 2b에서의 제1 이미지(220b) 및 제2 이미지(230b)의 중첩 영역(240b)보다 작다. 또한, 이미지가 중첩 영역의 크기에 의해 제한되는 경우 이미지 중 하나의 후보 영역과 다른 것에서의 후보 영역 사이의 교집합의 크기, 적어도 일부가 중첩 영역에 위치되는 하나의 특징부에 대한 후보 영역들 사이의 교집합의 크기는 중첩 영역의 크기에 따라 달라진다. 도 2a 및 도 2b의 예시에서 알 수 있는 바와 같이, 제1 이미지(220a)에서의 후보 영역(260a)과 도 2a의 제2 이미지(230b)의 후보 영역(270a) 사이의 교집합은 제1 이미지(220b)에서의 후보 영역(260b)과 도 2b의 제2 이미지(230b)에서의 후보 영역(270b)의 교집합보다 작은데, 이는 도 2a에서의 중첩 영역(240a)이 도 2b에서의 중첩 영역보다 작기 때문이다. 한편, 이미지들 중 하나에서의 후보 영역과 이미지들의 다른 것에서의 후보 영역 사이의 합집합의 크기는 일반적으로 중첩 영역의 크기에 의해 크게 영향을 받지 않고 실제로 이미지들에서의 후보 영역이 적어도 일부가 중첩 영역에 위치되는 동일한 특징부와 관련되는 경우에서 이들이 관련되는 특징부의 크기에 좌우된다.

도 2a 및 도 2b는 각각 직사각형 경계 박스의 형태로 두개의 후보 영역들을 각각 개시하며, 이는 후보 영역들 각각이 중첩 영역의 일부를 갖는다. 본 개시물의 후보 영역들의 병합은 위에서 설명된 바와 같이 픽셀 마스크 및 다각형 형상과 같은 다른 유형 및 형상의 후보 영역들에 대해 준용하여 적용된다. 또한, 도 2a 및 도 2b에서의 두개의 후보 영역은 물체 형태에서 특징부와 관련된다. 그러나, 본 개시물의 후보 영역들의 병합은 다른 유형의 특징부와 관련되고 위에서 설명된 바와 같은 상이한 유형의 분할로 인한 세그먼트 및 위에서 설명된 바와 같은 움직임-기반 작업으로 인한 움직임과 같은 다른 유형의 처리의 결과인 후보 영역들에 대해 준용하여 적용 가능하다.

제1 이미지(220, 220a, 220b)에서의 후보 특징부(250, 250a, 250b)과 관련된 제1 후보 영역(260a, 260b) 및 제2 이미지(230, 230a, 230b)에서의 후보 특징부(250, 250a, 250b)와 관련된 제2 후보 영역(270a, 270b)을 병합하기 위한 방법(300)의 실시 형태가 흐름도(300)를 나타내는 도 3과 관련하여 설명될 것이고 그리고 도 1a, 도 1b, 도 1c, 도 2a 및 도 2b를 참조하여 설명될 것이다. 제1 이미지(220, 220a, 220b) 및 제2 이미지(230, 230a, 230b)는 중첩 영역(240, 240a, 240b) 및 제1 후보 영역(260a, 260b)의 적어도 일부를 가지고, 제2 후보 영역(270a, 270b)의 적어도 일부는 중첩 영역(240a, 240b)에 위치된다.

제1 이미지(220, 220a, 220b) 및 제2 이미지(230, 230a, 230b)는 중첩 영역(240, 240a, 240b)을 갖도록 야기하는 임의의 시나리오와 관련될 수 있다.

예를 들어, 제1 이미지(220, 220a, 220b)는 어안 이미지(110)의 제1 부분, 즉 어안 렌즈에 의해 캡처된 파노라마 이미지(110)의 제1 변환된 뷰일 수 있고, 제2 이미지(230, 230a, 230b)는 도 1a 및 도 1b와 관련하여 설명된 어안 이미지(110)의 제2 부분의 제2 변환된 뷰일 수 있다. 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)은 이러한 예에서 이미지(110)의 좌표로 식별될 수 있다. 예를 들어, 후보 영역들이 도 1b에서 쿼드뷰의 제1 변환된 뷰(이미지)(112) 및 제2 변환된 뷰(이미지)(114)에서 후보 특징부를 식별하기 위한 이전 처리를 기반으로 식별된 경우, 후보 영역들이 먼저 이미지(110)의 해당하는 부분을 제1 변환된 뷰(이미지)(112) 및 제2 변환된 뷰(이미지)(114)로 변환하는데 사용되는 변환의 역에 의해 도 1a의 이미지(110)의 좌표로 변환될 수 있다. 따라서, 제1 후보 영역(260a, 260b)이 제1 이미지(220, 220a, 220b)에서의 후보 특징부(250, 250a, 250b)과 관련되고, 제2 후보 영역(270a, 270b)이 제2 이미지(230, 230a, 230b)에서의 후보 특징부(250, 250a, 250b)과 관련되더라도, 이는 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)이 제1 이미지(220, 220a, 220b) 및 제2 이미지(230, 230a, 230b) 각각의 좌표로 식별된다는 것을 의미하지 않는다. 도 2a 및 도 2b에서 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)은 직사각형 경계 상자임을 주목해야 한다. 그러나, 도 1a 및 도 1b와 관련된 시나리오에서, 이러한 경계 박스는 4개의 변환된 뷰(이미지)(112, 114, 116, 118)에서 식별된 직사각형 경계 박스를 이미지(110)의 좌표로 변환하는 것과 관련된다.

다른 예로서, 제1 이미지(220, 220a, 220b)는 제1 이미지 센서에 의해 캡처된 이미지일 수 있고, 제2 이미지(230, 230a, 230b)는 도 1c와 관련하여 개시된 바와 같이 제2 이미지 센서에 의해 캡처된 이미지일 수 있다. 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)은 이러한 예에서 제1 이미지(220, 220a, 220b) 및 제2 이미지(230, 230a, 230b)를 포함하는 결합된 이미지의 좌표로 식별될 수 있다.

제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)은 이전에 설명된 유형의 처리와 같이, 제1 이미지(220, 220a, 220b) 및 제2 이미지(270a, 270b)에서의 후보 특징부를 각각 식별하기 위한 이전 처리에 따른 임의의 후보 영역들일 수 있다. 시나리오에 따라, 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)은 각각 제1 이미지(220, 220a, 220b) 및 제2 이미지(230, 230a, 230b)에서 식별된 후보 영역의 변환일 수 있다.

또한, 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)은 시나리오에 따른 변환 유무로 제1 이미지(220, 220a, 220b) 및 제2 이미지(270a, 270b)에서 후보 특징부를 식별하기 위한 이전 처리로부터 직접 생성된 후보 영역일 수 있다. 대안으로, 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)은 위에서 설명된 NMS와 같은 후보 영역 병합 알고리즘에 기초하여 개별적으로 각각의 이미지에서 후보 영역들 먼저 병합한 결과의 후보 영역들일 수 있다. 따라서, 예를 들어, 제1 후보 영역(260a, 260b)은 제1 이미지(220, 220a, 220b)에서의 후보 영역들에만 적용되는 병합 알고리즘에 의해, 즉 제2 이미지(230, 230a, 230b)에서 식별된 임의의 후보 영역들의 고려없이 병합되는 제1 이미지(220, 220a, 220b)에서 식별된 둘 이상의 후보 영역들과 관련될 수 있습니다.

제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)은 전술한 경계 박스, 픽셀 마스크 또는 다각형 영역일 수 있다. 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)의 형상은 위에서 설명된 처리 유형과 같이 이들을 식별하는 데 사용되는 처리 유형에 따라 다르다. 또한, 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)의 형상은 제1 이미지(220, 220a, 220b) 및 제2 이미지(230, 230a, 230b)에서 단일 이미지(110)의 변환된 부분일 때, 제1 이미지(220, 220a, 220b) 및 제2 이미지(230, 230a, 230b)에서 식별된 해당하는 후보 영역들의 변환에 따라 각각 달라질 수 있다.

방법(300)에서 제1 이미지(220, 220a, 220b) 및 제2 이미지(230, 230a, 230b)의 중첩 영역(240, 240a, 240b)의 크기를 나타내는 이미지 중첩 크기가 결정된다(S310). 크기가 결정되는 방식은 일반적으로 중첩되는 영역의 형상에 따라 다르다. 예를 들어, 도 1c, 도 2a 및 도 2b에 도시된 바와 같이 직사각형이고 균일한 폭을 갖는 중첩 영역(240, 240a, 240b)에 대해, 이미지 중첩 크기는 중첩의 폭으로 설정될 수 있다.

그리고, 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)의 중첩 비율을 나타내는 후보 영역 중첩 비율이 결정된다(S320). 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)의 크기와 관련하여 임의의 종류의 정규화가 사용될 수 있고 일반적으로 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)의 합집합의 크기와 관련될 수 있다. 예를 들어, 후보 영역 중첩 비율은 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)의 교집합을 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)의 합집합으로 나눈 값으로 결정될 수 있다.

그런 다음 이미지 중첩 크기에 기초하여 병합 임계값이 결정된다(S340). 병합 임계값은 이미지 중첩 크기에 따라 증가하도록 결정될 수 있다. 예를 들어, 병합 임계값은 이미지 중첩 크기에 비례하도록 결정될 수 있다. 따라서, 제공된 중첩 크기에 대해, 병합 임계값은 제공된 중첩 크기에 비례 상수를 곱한 값으로 결정될 것이다.

후보 영역 중첩 비율이 병합 임계값보다 크다는 조건(C335)에서, 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)은 병합된 후보 영역을 형성하기 위해 병합된다(S340). 병합된 후보 영역은 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)의 합집합으로 구성될 수 있다.

이미지 중첩 크기에 기초하여 병합 임계값을 결정함으로써, 동일한 특징부에 관한 경우에도 제1 후보 영역 및 제2 후보 영역이 병합되지 않을 위험이 감소된다. 따라서, 별도의 이미지들에서 동일한 특징부가 두개의 개별 특징부드로서 식별될 위험이 감소된다.

방법(300)은 후보 영역들의 상이한 형상 및 배향의 식별을 초래하는 특징부들의 상이한 형상 및 배향을 더 잘 수용하도록 적용될 수 있다. 예를 들어, 특징부가 길쭉한 경우 특징부의 다른 방향은 특징부의 다른 비율을 초래하므로 식별된 후보 영역들의 다른 비율은 일반적으로 중첩 영역에 있을 것이다. 예를 들어, 도 2a, 도 2b 및 도 2c와 관련하여, 특징부(250, 250a, 250c)가 수직 대신 수평이었다면, 특징부의 더 작은 비율이 중첩 영역(240, 240a, 240b)에 있었을 것이다. 따라서, 이를 고려하여 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)의 합집합과 중첩 영역(240, 240a, 240b)의 교집합의 크기가 결정될 수 있다. 병합 임계값은 중첩 영역(240, 240a, 240b)의 교집합과 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)의 합집합 크기에 기초하여 병합 임계값을 기반으로 함으로써 이미지 중첩 크기에 기초하여 결정될 수 있다. 예를 들어, 병합 임계값은 중첩 영역(240, 240a, 240b)의 교집합과 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)의 합집합의 크기에 비례하도록 결정될 수 있다. 따라서, 중첩 영역(240, 240a, 240b)의 교집합과 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)의 합집합의 제공된 크기에 대해, 병합 임계값은 중첩 영역(240, 240a, 240b)의 교집합과 제1 후보 영역(260a, 260b) 및 제2 후보 영역(270a, 270b)의 합집합의 제공된 크기에 비례 상수를 곱하여 결정될 것이다. 이러한 적용은 중첩 영역이 균일한 폭을 갖지 않는 경우에도 더 적합하다.

방법(300)의 실시 형태들이 두개의 이미지들과 관련하여 설명되었지만, 방법의 실시 형태들은 3개 이상의 이미지들 있는 경우에도 적용될 수 있다. 이러한 경우, 방법(300)의 실시 형태들은 모든 이미지들에 대해 하나의 단계에서 3개 이상의 이미지들에 대해 적용될 수 있거나 또는 재귀적으로 즉 먼저 중첩을 갖는 처음 두개의 이미지들에 대해, 그런 다음 처음 두개의 이미지들 및 두개의 이미지들 중 하나와 중첩을 갖는 세개 이상의 이미지들의 추가 이미지 등으로부터 결과에 대해 적용될 수 있다.

도 4는 제1 이미지에서의 후보 특징부와 관련된 제1 후보 영역과 제2 이미지에서의 후보 특징부와 관련된 제2 후보 영역을 병합하기 위한 본 개시물의 장치(400)의 실시 형태들과 관련된 개략도를 도시하며, 여기서 제1 이미지 및 제2 이미지는 중첩 영역을 가지고, 제1 후보 영역의 적어도 일부 및 제2 후보 영역의 적어도 일부는 중첩 영역에 위치된다. 장치(400)는 예를 들어 카메라일 수 있다. 장치(400)는 회로(410)를 포함한다. 회로(410)는 장치(400)의 기능(432, 434, 436, 438)을 수행하도록 구성된다. 회로(410)는 중앙 처리 장치(CPU), 마이크로컨트롤러, 또는 마이크로프로세와 같은 프로세스(412)를 포함할 수 있다. 프로세서(412)는 프로그램 코드를 실행하도록 구성된다. 프로그램 코드는 예를 들어 장치(400)의 기능(432, 434, 436, 438)을 수행하도록 구성될 수 있다.

장치(400)는 메모리(430)를 더 포함할 수 있다. 메모리(430)는 버퍼(buffer), 플래시 메모리, 하드 드라이브, 제거가능한 미디어, 휘발성 메모리, 비-휘발성 메모리, 랜덤 액세스 메모리(RAM), 또는 다른 적절한 장치 중 하나 이상일 수 있다. 일반적인 배치에서, 메모리(430)는 장기 데이터 저장을 위한 비-휘발성 메모리 및 회로(410)에 대한 시스템 메모리로서 기능하는 휘발성 메모리를 포함할 수 있다. 메모리(430)는 데이터 버스를 통해 회로(410)와 데이터를 교환할 수 있다. 메모리(430)와 회로(410) 사이에 수반되는 제어 라인 및 어드레스 버스가 또한 존재할 수 있다.

장치(400)의 기능(432, 434, 436, 438)은 장치(400)의 비-일시적 컴퓨터 판독 가능 매체(메모리)(430)에 저장되고 회로(410), 예를 들어 회로(410)에서의 프로세서(412)를 사용하여 실행되는 실행 가능한 논리 루틴(예를 들어, 코드 라인, 소프트웨어 프로그램 등)의 형태로 구현될 수 있다. 또한, 장치(400)의 기능(432, 434, 436, 438)은 독립형 소프트웨어 응용 프로그램일 수 있거나 소프트웨어 응용 프로그램의 일부를 형성할 수 있다. 설명된 기능은 처리 장치, 예를 들어 회로(410)의 프로세서(412)가 수행하도록 구성되는 고려된 방법일 수 있다. 또한, 설명된 기능(432, 434, 436, 438)이 소프트웨어로 구현될 수 있지만, 이러한 기능은 전용 하드웨어 또는 펌웨어, 또는 하드웨어, 펌웨어 및/또는 소프트웨어의 일부 조합을 통해 수행될 수도 있다.

회로(410)는 제1 이미지와 제2 이미지의 중첩 영역의 크기를 나타내는 이미지 중첩 크기를 결정하도록 구성되는 이미지 중첩 크기 결정 기능(432)을 실행하도록 구성된다.

회로(410)는 제1 후보 영역과 제2 후보 영역 사이의 중첩을 나타내는 후보 영역 중첩 비율을 결정하도록 구성되는 후보 영역 중첩 비율 결정 기능(434)을 실행하도록 추가로 구성된다.

회로(410)는 이미지 중첩 크기에 기초하여 병합 임계값을 결정하도록 구성되는 병합 임계값 결정 기능(436)을 실행하도록 추가로 구성된다.

회로(410)는 후보 영역 중첩 비율이 병합 임계값보다 크다는 조건에서, 제1 후보 영역과 제2 후보 영역을 병합하여 병합된 후보 영역을 형성하도록 구성되는 병합 기능(438)을 실행하도록 추가로 구성된다.

장치(400) 및 회로(410)에 의해 수행되는 기능들(432, 434, 436, 438)은 각각 도 3과 관련하여 설명된 방법(300) 및 방법(300)의 해당하는 단계들로서 추가로 적용될 수 있다.

당업자는 본 발명이 전술한 실시 형태들에 제한되지 않는다는 것을 인지할 것이다. 반대로, 첨부된 청구범위 내에서 많은 수정 및 변형이 가능하다. 이러한 수정 및 변형은 도면, 본 개시물 및 첨부된 청구범위의 연구로부터 청구된 발명을 실시하는 당업자에 의해 이해되고 영향을 받을 수 있다.

Claims (15)

1. 제1 이미지에서의 후보 특징부와 관련된 제1 후보 영역 및 제2 이미지에서의 후보 특징부와 관련된 제2 후보 영역을 병합하는 방법으로서, 상기 제1 이미지 및 상기 제2 이미지는 중첩 영역을 가지고, 상기 제1 후보 영역의 적어도 일부 및 상기 제2 후보 영역의 적어도 일부는 중첩 영역에 위치되며,
   상기 제1 이미지와 상기 제2 이미지의 중첩 영역의 크기를 나타내는 이미지 중첩 크기를 결정하는 단계;
   상기 제1 후보 영역과 상기 제2 후보 영역의 중첩 비율을 나타내는 후보 영역 중첩 비율을 결정하는 단계;
   상기 이미지 중첩 크기에 기초하여 병합 임계값을 결정하는 단계; 및
   상기 후보 영역 중첩 비율이 병합 임계값보다 크다는 조건에서, 상기 제1 후보 영역과 상기 제2 후보 영역을 병합하여 병합된 후보 영역을 형성하는 단계를 포함하는 방법.
2. 제1항에 있어서, 상기 병합 임계값은 상기 이미지 중첩 크기에 비례하도록 결정되는 방법.
3. 제1항에 있어서, 상기 후보 영역 중첩 비율은 상기 제1 후보 영역과 상기 제2 후보 영역의 교집합을 상기 제1 후보 영역과 상기 제2 후보 영역의 합집합으로 분할하여 결정되는 방법.
4. 제1항에 있어서, 상기 제1 후보 영역 및 상기 제2 후보 영역은 상기 제1 이미지 및 상기 제2 이미지를 포함하는 결합된 이미지의 좌표로 식별되는 방법.
5. 제1항에 있어서, 상기 제1 이미지는 어안 이미지의 제1 부분의 제1 변환된 뷰이고, 상기 제2 이미지는 상기 어안 이미지의 제2 부분의 제2 변환된 뷰이며, 상기 제1 후보 영역 및 상기 제2 후보 영역은 상기 어안 이미지의 좌표로 식별되는 방법.
6. 제1항에 있어서, 상기 병합된 후보 영역은 상기 제1 후보 영역과 상기 제2 후보 영역의 합집합으로 이루어진 방법.
7. 제1항에 있어서, 상기 제1 및 제2 후보 영역은 경계 박스, 픽셀 마스크, 다각형 영역 중 어느 하나인 방법.
8. 처리 능력을 갖는 장치 상에서 실행될 때, 제1항 내지 제7항 중 어느 한 항에 따른 방법을 구현하기 위한 명령어가 저장된 비-일시적 컴퓨터 판독가능 저장 매체.
9. 제 1 이미지에서의 후보 특징부와 관련된 제1 후보 영역 및 제2 이미지에서의 후보 특징부와 관련된 제2 후보 영역을 병합하기 위한 장치로서, 상기 제1 이미지와 상기 제2 이미지는 중첩 영역을 가지고, 상기 제1 후보 영역의 적어도 일부 및 상기 제2 후보 영역의 적어도 일부는 중첩 영역에 위치되며,
   상기 제1 이미지와 상기 제2 이미지의 중첩 영역의 크기를 나타내는 이미지 중첩 크기를 결정하도록 구성되는 이미지 중첩 크기 결정 기능;
   상기 제1 후보 영역과 상기 제2 후보 영역 사이의 중첩을 나타내는 후보 영역 중첩 비율을 결정하도록 구성되는 후보 영역 중첩 비율 결정 기능;
   상기 이미지 중첩 크기에 기초하여 병합 임계값을 결정하도록 구성되는 병합 임계값 결정 기능; 및
   상기 후보 영역 중첩 비율이 상기 병합 임계값보다 큰 조건에서, 상기 제1 후보 영역과 상기 제2 후보 영역을 병합하여, 병합된 후보 영역을 형성하도록 구성되는 병합 기능을 실행하도록 구성되는 회로를 포함하는 장치.
10. 제9항에 있어서, 상기 병합 임계값 결정 기능은 상기 이미지 중첩 크기에 비례하도록 병합 임계값을 결정하도록 구성되는 장치.
11. 제9항에 있어서, 상기 후보 영역 중첩 비율 결정 기능은 상기 제1 후보 영역과 상기 제2 후보 영역의 교집합을 상기 제1 후보 영역과 상기 제2 후보의 합집합으로 분할하여 상기 후보 영역 중첩 비율을 결정하도록 구성되는 장치.
12. 제9항에 있어서, 상기 제1 후보 영역 및 제2 후보 영역은 상기 제1 이미지 및 상기 제2 이미지를 포함하는 결합된 이미지의 좌표로 식별되는 장치.
13. 제9항에 있어서, 상기 제1 이미지는 어안 이미지의 제1 부분의 제1 변환된 뷰이고 상기 제2 이미지는 상기 어안 이미지의 제2 부분의 제2 변환된 뷰이며, 상기 제1 후보 영역 및 상기 제2 후보 영역은 상기 어안 이미지의 좌표로 식별되는 장치.
14. 제9항에 있어서, 상기 병합된 후보 영역은 상기 제1 후보 영역과 상기 제2 후보 영역의 합집합으로 구성되는 장치.
15. 제9항에 있어서, 상기 제1 및 제2 후보 영역은 경계 박스, 픽셀 마스크 및 다각형 영역 중 하나인 장치.
    

Images