KR20220166845A - 신뢰할 수 있는 스티칭된 이미지를 만들기 위한 시스템 및 방법 - Google Patents

Abstract

스티팅된 이미지(stitched image)에서 아티팩트(artefact)를 검출하는 방법은, 중첩하는 시야(overlapping fields of view)를 갖는 제각기의 차량 탑재 카메라로부터 환경의 컴포넌트 이미지들을 획득하는 단계와, 컴포넌트 이미지로부터 스티칭된 이미지를 형성하는 단계와, 중첩하는 시야에 대응하는 스티칭된 이미지의 적어도 일부를 분류기로 처리하여 스티칭된 이미지 내의 제각기의 위치에 있는 환경으로부터 검출된 객체들의 리스트를 제공하는 단계(420)와, 검출된 객체들의 리스트 내의 임의의 검출된 객체가 검출된 객체들의 리스트 내의 다른 객체와 중복된 것인지 여부를 판정하는 단계(430)와, 중복된 것으로 판정되는 객체를 보고하는 단계를 포함한다.

Description

신뢰할 수 있는 스티칭된 이미지를 만들기 위한 시스템 및 방법

본 출원은 신뢰할 수 있는 스티칭된 이미지를 만들기 위한 시스템 및 방법에 관한 것이다.

스티칭된 이미지는 중첩 시야를 갖는 상이한 포즈의 하나 이상의 카메라에서 획득한 적어도 두 개의 컴포넌트 이미지를 컴포넌트 이미지보다 더 크거나 또는 다른 시야를 가진 이미지를 생성하는 이미지이다.

스티칭 프로세스의 결과 스티칭된 이미지에 아티팩트가 생길 수 있는데, 예를 들면, 컴포넌트 이미지들 내의 동일 객체의 이미지들이 스티칭된 이미지 내의 상이한 위치에 매핑되는 경우 고스트 효과가 생길 수 있다.

US9509909는 합성 뷰 지오메트릭 룩업 테이블, 입력 어안 이미지 및 뷰 중첩 영역 중 적어도 하나로부터 블록 샘플을 추출하는 것과, 추출된 블록 샘플로부터 샘플 인라이어를 선택하는 것과, 선택된 블록 샘플에 대한 최적의 컬러 이득을 추정하는 것과, 추정된 컬러에 기초하여 정교한 보정을 수행하고, 컬러 변환을 적용하는 것과, 합성 서라운드 뷰 이미지를 생성하는 것을 포함하는 측광 오정렬 수정 방법을 기술한다.

US2018/0253875는 컴포넌트 이미지의 하나 이상의 콘텐츠 측정치에 기초하여 한 세트의 스티칭 방식 중에서 스티칭 방식을 선택하고 선택된 스티칭 방식을 적용하는 것을 포함하는 이미지를 스티칭하는 방법을 기술한다.

DE102016124978A1은 디스플레이 장치에서 하나 이상의 수직 객체를 더 잘 나타내기 위해 3차원 가상 공간에서 추가적인 투영 표면을 사용하여 자동차의 운전자 지원 시스템의 디스플레이 장치에서 수직 객체의 인식성을 향상시키는 방법을 기술한다.

US2012/0262580은 차량의 다양한 위치에 배치된 카메라를 통해 차량으로부터의 서라운드 뷰를 제공할 수 있는 시스템을 기술한다. 카메라는 서라운드 뷰에 대응하는 이미지 데이터를 생성할 수 있고, 처리 장치는 이미지 데이터를 처리하고 서라운드 뷰를 생성할 수 있다.

US2009/0110327은 2D 이미지를 기반으로 3D 모델이 생성되는 3D 좌표계에서 평면 식별을 용이하게 하는 방법을 기술한다. 2D 이미지들 중 한 이미지의 관심 영역의 평면에 대한 돌출 방향이 설정되고, 평면 내 관심 영역이 2D 이미지 내의 대응하는 영역과 매칭될 때까지 평면이 돌출된다.

본 발명의 목적은 이전의 작업의 제한들 없이 보다 신뢰할 수 있는 스티칭된 이미지를 작성하는 것이다.

본 발명은 독립항에 의해 정의된다. 종속항은 선택적 특징들을 더 제공한다.

요컨대, 스티칭된 이미지를 보다 신뢰할 수 있게 만드는 방법이 개시된다. 이 방법은 트윈 이펙트 아티팩트(twin-effect artefact)를 효율적으로 그리고 정확하게 검출하는데, 여기서 컴포넌트 이미지 내의 객체가 스티칭된 이미지 내의 개별 위치에 매핑되고, 스티칭된 이미지의 콘텐츠가 신뢰할 수 없는 경우 경고가 발생할 수 있다. 일부 실시예에서, 검출된 아티팩트는 실시간으로 동적 임포스터로 효과적으로 대체되어 신뢰할 수 있는 스티칭된 이미지를 생성한다.

이제 첨부 도면을 참조하여 예를 통해 본 발명의 실시예를 설명할 것이다.
도 1은 여러 차량 탑재 카메라를 구비한 차량을 도시한 것이다.
도 2는 도 1의 차량 및 2개의 카메라 사이의 중복 영역을 보다 상세히 도시한 것이다.
도 3은 상이한 블렌딩 영역을 갖는 동일 장면의 2개의 스티칭된 이미지를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 트윈 이펙트 아티팩트를 검출하고 처리하는 방법을 도시한 것이다.
도 5는 도 4의 실시예에서 채용된 이미지를 라벨링하기 위한, 컨볼루션 신경망(convolutional neural network: CNN)을 도시한 것이다.
도 6은 검출된 알려진 객체들의 라벨이 오버레이된 이미지를 도시한 것이다.
도 7은 제각기의 블렌딩 영역이 표시된 도 3의 장면의 추가 스티칭된 이미지를 도시한 것이다. 좌측 이미지에서, 트윈 이펙트 아티팩트가 검출되고 표시되었다. 우측 이미지에서, 검출된 트윈 이펙트 아티팩트가 처리되었다.
도 8은 제각기의 블렌딩 영역이 표시된 도 3의 장면의 추가 스티칭된 이미지를 도시한 것이다. 좌측 이미지에서, 가로등 구조의 트윈 이펙트 아티팩트가 검출되고 표시되었다. 우측 이미지에서, 검출된 트윈 이펙트 아티팩트가 처리되었다.
도 9는 검출된 트윈 이펙트 아티팩트가 처리된 후의 도 8의 스티칭된 이미지를 도시한 것이다.

차량 운전과 관련된 많은 작업에 있어서, 로컬 환경에 대한 정보를 획득하는 것은 중요하다. 이를 수행할 수 있는 한 방법은 차량에 탑재된 카메라 모듈로부터의 이미지를 분석하는 것이다. 그런 다음 이들 이미지를 함께 스티칭하여 보기에 더 편리한 이미지를 제공할 수 있다.

차량 주변 환경을 이미지화하려고 할 때, 일반적으로 한 대의 카메라는 필요한 모든 데이터를 수집하기에 적절한 시야를 갖지 못할 것이다. 이 문제를 해결하는 한 가지 방법은 여러 대의 카메라를 사용하는 것이다. 도 1에서, 차량(100)은 차량 주변에 위치하는 4개의 카메라(101, 102, 103, 104)를 갖는 것으로 도시되어 있다. 각 카메라의 시야의 한쪽 가장자리는 점선(101a, 102a, 103a, 104a)으로 표시되어 있다. 카메라의 이러한 구성은 영역(101b, 102b, 103b, 104b)에서 중첩되는 시야를 초래한다. 예로서, 영역(102b)은 전면 카메라(101)의 시야(101a)와 좌측 카메라(102)의 시야(102a) 사이의 중첩을 나타낸다. 도시된 구성은 예시적일 뿐이다. 개시된 교시는 다른 카메라 구성과 동일하게 유효하다.

도시된 시야는 약 180도에 대응한다. 넓은 시야는 일반적으로 어안 렌즈와 같은 넓은 시야 렌즈를 갖는 카메라에 의해 달성된다. 어안 렌즈는 일반적으로 원통형 대칭이므로 바람직하다. 본 발명의 다른 응용에서, 시야는 180도보다 작거나 클 수도 있다. 어안 렌즈가 선호되지만, 넓은 시야를 제공하는 임의의 다른 렌즈가 사용될 수 있다. 이러한 맥락에서, 넓은 시야는 100도 이상, 바람직하게는 150도 이상, 보다 바람직하게는 170도 이상의 시야를 갖는 렌즈이다. 일반적으로, 이러한 넓은 시야를 가진 카메라는 획득한 이미지에 이미징 아티팩트 및 왜곡을 만든다.

본 발명에 사용되는 카메라의 감도는 특정 파장 범위로 제한될 필요는 없지만 가장 일반적으로는 가시광선에 민감한 카메라에 사용될 것이다. 카메라는 일반적으로 렌즈 및 센서용 하우징을 포함하는 카메라 모듈의 형태이며, 렌즈는 센서에 빛을 집중시키는 역할을 한다. 카메라 모듈은 또한 센서에 전력을 공급하고 센서와 통신할 수 있는 전자기기를 포함할 수도 있다. 카메라 모듈은 또한 이미지를 처리하기 위한 전자기기를 포함할 수 있다. 처리는, 예를 들어 이득 제어, 노출 제어, 화이트 밸런스, 잡음 제거 등과 같은 낮은 수준의 이미지 신호 처리일 수 있고/또는 컴퓨터 비전과 같은 보다 강력한 처리를 포함할 수 있다.

카메라의 구성이 도 1에서와 같이 차량 주변의 모든 방향으로부터의 일련의 이미지를 제공하는 것과 같은 경우, 컴포넌트 이미지는 다양한 가상 카메라 포즈 중 하나, 특히 차량 위로부터의 스티칭된 이미지를 합성하기에 충분한 정보 보기를 제공할 수 있다.

도 1에 도시된 것과 같이, 여러 대의 카메라가 있는 차량의 경우, 여러 대의 카메라로부터의 여러 이미지보다 차량 바로 위의 관점으로부터의 로컬 환경의 단일 이미지를 포함하는 서라운드 이미지를 디스플레이하는 것이 바람직할 수 있다. 따라서, 4개의 카메라 모두의 이미지가 함께 스티칭되어야 한다. 스티칭이 수행되기 전이나 스티칭 프로세스의 일부로서 이미지가 다른 표면에 매핑될 수 있다. 예를 들어, 컴포넌트 이미지는 스티칭 전에 구형 표면 또는 원통형 표면에 매핑될 수 있다. 일 실시예에서, 구성요소 이미지는 스티칭 전에 바닥이 평평한 보울 표면에 매핑된다. 이러한 매핑은 또한 렌즈 왜곡을 고려하거나 스티칭 프로세스를 용이하게 할 수 있다.

예를 들어, 아래에 설명된 예에서와 같이 다른 시간에 차량이 좌회전하려고 하는 경우, 교차로를 운전자에게 더 명확하게 보여주기 위해 차량 위에 위치한 가상 카메라 포즈로 차량 전면(101) 및 좌측 카메라(102)에서 획득한 컴포넌트 이미지들로부터 스티칭된 이미지를 생성하는 것이 바람직할 수 있다. 차량이 코너에서 우회전하거나 후진하려고 할 때 이미지 쌍으로부터 유사한 스티칭된 이미지가 생성될 수 있다.

컴포넌트 이미지들을 함께 스티칭하기 위한 여러 알려진 방법이 있다. 예를 들어, 직접 스티칭, 선형 블렌딩, 선택적 블렌딩 또는 다중 대역 블렌딩이 있다. 이들 프로세스를 설명하기 위해, 도 1에 도시된 차량의 추가 세부사항을 보여주는 도 2를 참조한다. 도 2에서, 중첩 영역(102b)은 블렌딩 부분(102c)을 갖는다. 블렌딩 부분(102c)은 중첩 영역의 적어도 일부분이고, 두 각도, 즉 각도 오프셋(102d) 및 각도 폭(102e)에 의해 정의된다. 블렌딩 부분(102c) 내의 임의의 컴포넌트 이미지로부터의 데이터는 또 다른 컴포넌트 이미지로부터의 데이터와 결합되고, 스티칭된 이미지를 형성할 때 조합된 데이터가 사용될 것이다. 컴포넌트 이미지들에 블렌딩 부분을 투영하면 컴포넌트 이미지들 내에 블렌딩 영역이 정의된다.

직접 스티칭은 2개의 컴포넌트 이미지 사이의 중복 영역에 트랜지션 라인(line of transition)을 정의한다. 사실상, 각도 폭(102e)은 0으로 설정된다. 스티칭된 이미지는 라인의 한쪽에 있는 한 컴포넌트 이미지로부터의 일련의 이미지와 라인의 다른 쪽에 있는 다른 컴포넌트 이미지로부터의 일련의 이미지를 사용한다. 이 스티칭 프로세스에 의해 한 컴포넌트 이미지와 다른 컴포넌트 이미지 간의 갑작스런 전환이 이루어진다. 결과적으로, 스티칭된 이미지에서 눈에 보이는 이음새 또는 불연속성의 형태의 아티팩트가 발생할 수 있다. 어떤 경우에는, 2019년 10월 7일에 출원된 "전자 제어 장치(An electronic control unit)"라는 제목의 독일 특허 출원 DE102019126814.1(참조번호: 2019PF00721)에 설명된 것과 같은 알려진 카메라 모듈 조화 기술 및 장치에 의해 아티팩트의 가능성 또는 심각성이 감소할 수 있다.

직접 스티칭에 대한 알려진 변형은 동적 심(dynamic seam)을 이용한 직접 스티칭이다. 여기서 직접 스티칭 라인은 반드시 직선일 필요는 없고, 스티칭된 컴포넌트 이미지의 콘텐츠에 따라 조정되는 경로를 갖는다. 이 방법은 일부 고스팅 효과를 해결할 수 있지만, 컴포넌트 이미지의 주어진 객체가 스티칭된 이미지의 별도의 개별 위치에 나타나는 트윈 이펙트 아티팩트를 해결하지는 못할 것이다.

선형 블렌딩은 하나의 컴포넌트 이미지에 대한 픽셀 가중치를 블렌딩 영역을 가로지르는 거리로 선형적으로 조정함으로써 블렌딩 영역(102c)의 픽셀 값을 조정한다. 블렌딩 영역(102c) 내부의 픽셀 값은 컴포넌트 이미지의 픽셀 값의 가중 평균으로 계산된다. 가중치가 점차 0으로 떨어지기 때문에, 급격한 변화 대신 한 뷰에서 다른 뷰로 부드러운 전환이 관찰된다. 선형 블렌딩의 문제는, 블렌딩 영역 내부의 객체가 두 개의 상이한 뷰 사이의 불완전한 객체 정렬로 인해 흐려질 수 있다는 것이다. 따라서, 오정렬된 객체의 블렌딩으로 인해 블렌딩 영역 내부에서 고스팅 효과가 관찰될 수 있다.

선택적 블렌딩은 선형 블렌딩 및 직접 스티칭을 모두 사용하여, 각 픽셀에 대해, 합성 픽셀 값들, 즉 선형 블렌딩으로부터 I_linear 및 직접 스티칭으로부터 I_stitch를 찾는다. 그런 다음, 이들 합성된 픽셀 값은 고려된 위치에서의 두 컴포넌트 이미지 값들 사이의 차이와 관련된 가중치와 결합된다. 차이가 낮을수록 더 높은 선형 블렌딩에 가중치가 부여되고 그 반대의 경우도 마찬가지이다. 선택적 블렌딩은 미스매치된 객체에 대응하는 픽셀들의 블렌딩을 회피하며, 따라서 블러링 및 고스팅 효과를 줄일 수 있다. 그러나, 미스매치된 객체들이 유사한 컬러를 갖거나 또는 측광 정렬 후의 잔여 불일치가 여전히 너무 큰 경우에 이는 실패한다. 후자는 트윈 이펙트 아티팩트의 한 원인이므로, 선택적 스티칭은 트윈 이펙트 아티팩트를 처리하는 이상적인 선택이 아니다. 다시 말해, 선택적 스티칭은 균일하지 않은 컬러 객체에 대한 고스팅 효과를 무효화하는 데 효과적이지만, 트윈 이펙트 아티팩트로 이어지는 극단적인 불일치를 해결하지 못할 것이다.

다중 대역 블렌딩은 컴포넌트 이미지를 하위 대역들로 나누고 하위 대역들을 적응적으로 블렌딩하여 스티칭된 이미지에서 블렌딩 영역의 외관을 개선한다. 일 예에서, 주파수 부대역 분해가 블렌딩 영역(102c)에 적용된다. 고주파수 대역의 경우, 제1의 작은 블렌딩 영역이 적용된다. 저주파수 대역의 경우, 제2의 큰 블렌딩 영역이 사용된다. 결과적으로, 이 동작은 저주파수 성분의 경우 더 긴 공간 범위에 걸쳐 평균을 내고 고주파수 성분의 경우 더 짧은 공간 범위에 걸쳐 평균을 낸다. 고주파수 성분은 더 작은 블렌딩 범위에서 더 잘 보존될 수 있으므로, 이 결과는 블렌딩 영역의 세부 사항을 선명하게 렌더링한다. 그러나, 다중 대역 블렌딩은 비평면 객체에 대한 고스팅 문제를 해결하지 못 한다.

모든 경우에, 스티칭된 이미지에 중요한 트윈 이펙트 아티팩트가 존재할 위험이 있다. 이러한 트윈 이펙트 아티팩트의 가능성 또는 외관은 배경과 대비가 높은 객체가 존재할 때 증가한다. 트윈 이펙트 아티팩트는 다른 경우에도 존재하지만, 흔히 사소한 시각적 영향을 미친다. 예를 들어, 도로 및 하늘에서의 트윈 이펙트 아티팩트는 거의 문제가 되지 않는데, 이는, 도로의 비어있는 두 부분에 중복된 텍스처가 있으면, 일반적으로 문제되지 않는다.

트윈 이펙트 아티팩트의 외관은 사용되는 스티칭 기법 및 스티칭 파라미터에 의존한다. 예를 들어, 컴포넌트 이미지들 사이의 중첩 영역 내의 블렌딩 영역의 크기의 변화는 트윈 이펙트 아티팩트의 외관을 변화시킬 수 있다.

이 변화를 설명하기 위해, 2개의 상이한 스티칭 파라미터를 제각기 사용하여 생성된 스티칭된 이미지 부분의 두 이미지를 보여주는 도 3을 고려한다. 도 3의 좌측에 제1 이미지(300)를 형성하는 스티칭 파라미터는 비교적 넓은 블렌딩 영역(302c)을 정의한다. 이 블렌딩 영역(302c)은 각도 폭(302e) 및 오프셋(302e)에 의해 정의된다. 각도 오프셋은 자동차의 정면 방향으로부터 측정된다. 도 3의 우측에 제2 이미지(300')를 형성하는 스티칭 파라미터는 비교적 좁은 다른 블렌딩 영역(302c')을 정의한다.

도 3에서 스티칭된 이미지들을 생성하기 위해 사용된 컴포넌트 이미지들이 획득되었을 때, 차량의 전방 도로에 한 대의 자동차만 있었다. 그러나, 제1 이미지(300)에서 트윈 이펙트 아티팩트로 인해 블렌딩된 영역(302c)에 부분적으로 투명한 두 대의 자동차가 나타난다. 또 다른 트윈 이펙트 아티팩트가 제2 이미지(300')에 존재하며, 그 결과 제1 이미지(300)와 동일한 위치에 두 대의 자동차가 나타난다. 그러나, 제2 이미지(300')에서 두 대의 자동차는 블렌딩 영역(302c') 밖에 있고 불투명하다. 협소한 블렌딩 영역(302')의 중간 아래쪽 라인과의 직접 스티칭으로 제2 이미지(300')와 유사한 이미지가 생성될 것이다.

통상적으로, 컴포넌트 이미지들의 블렌딩된 영역은 원통형 섹터로 고려될 수 있다. 일례로, 도 3의 제1 이미지(300)를 고려하는데, 여기서 원통형 섹터가 이미지의 높이를 연장하고, 각도 폭(302e) 및 각도 오프셋(302d)에 의해 정의된다. 이중 아티팩트의 외관은 스티칭 기법 및 스티칭 파라미터에 의존하므로, 스티칭 기법 및 스티칭 파라미터를 적응시킴으로써 트윈 이펙트 아티팩트의 가능성을 줄이는 것 및/또는 아티팩트의 심각도를 줄이는 것이 가능하다. 원통형 섹터의 레이어 또는 스택은 조정할 추가적인 스티칭 파라미터 및 더 많은 자유도를 제공하므로, 트윈 이펙트 아티팩트를 완화시키기 위한 많은 자유도를 제공한다. 각 레이어는 원통형 섹터이므로, 각도 폭 및 각도 오프셋 외에 레이어 높이 및 레이어 두께의 두 개의 추가적인 파라미터를 갖는다.

이제 본 발명의 일 실시예를 설명하는 흐름도를 도시한 도 4를 참조한다. 제1 단계(410)는 스티칭된 이미지를 획득하는 것이고, 이는 전술한 기법들 중 어느 하나를 이용하여 중첩 시야를 갖는 카메라 쌍으로부터의 컴포넌트 이미지들을 결합함으로써 이루어질 수 있다. 그럼에도 불구하고, 본 발명의 실시예는 한 쌍의 컴포넌트 이미지 각각에 나타나는 소정의 객체가 스티칭된 이미지 내의 분리된 위치에 매핑될 수 있는 임의의 스티칭된 이미지에 마찬가지로 적용될 수 있다.

어느 경우든, 그 후 스티칭된 이미지는 객체를 검출하기 위해 처리된다(420). 이 검출은 머신 러닝 알고리즘과 같은 알려진 객체 검출 분류기를 사용하여 달성될 수 있다. 이 실시예에서, 분류기는 스티칭된 이미지를 직접 처리할 수 있는데, 이는 이 프로세스가 각 스티칭된 이미지에 대해 한 번만 발생할 필요가 있다는 것을 의미한다. 이에 더하여 또는 이에 갈음하여, 분류기는 각 컴포넌트 이미지에 사용될 수 있고, 각 컴포넌트 이미지의 결과를 스티칭된 이미지에 매핑함으로써 결과들이 결합될 수 있다.

바람직한 실시예에서, 이미지 내 알려진 객체를 라벨링하는 데 CNN이 사용된다. 이러한 CNN의 일례가 도 5에 도시되어 있다. 알려진 객체를 검출하기 위해 CNN을 트레이닝하는 다양한 방법이 당업자에게 알려져 있다. 트레이닝되면, CNN은 이미지를 처리하고 검출된 객체를 적절한 라벨로 표시할 수 있다. 검출된 객체에 적용된 라벨은 통상적으로 검출된 객체의 적어도 일부를 감싸는 경계 박스 및 검출된 알려진 객체의 이름를 정의할 것이다. 경계 박스는 직사각형일 필요는 없고, 편리한 대로 상이한 형상 및 크기를 가질 수 있다. 분류기가 컴포넌트 이미지에 대해 동작하는 경우, 컴포넌트 이미지와 스티칭된 이미지 사이의 매핑으로 인해 스티칭된 이미지에서 경계 상자가 다른 모양이 될 수 있다.

CNN은 하나 이상의 컨볼루션 또는 풀링 레이어로 입력(511) 이미지를 처리함으로써 알려진 객체를 검출할 수 있다. 컨볼루션 레이어(512)에서, 하나 이상의 컨볼루션 커널이 이 이미지를 전달하고, 풀링 레이어(513)에서 처리된 데이터의 공간 해상도가 감소된다. 도 5에 도시된 예에서, 두 개의 컨볼루션 레이어(511, 513)와 두 개의 풀링 레이어(513, 515)가 사용된다. 본 발명의 실시예에서, 임의의 수의 컨볼루션 또는 풀링 계층이 CNN(500)의 은닉 레이어(510)를 형성할 수 있다. 은닉 레이어(510)로부터의 데이터는 그 다음 결과를 형성하기 위해 분류 계층(520)에 의해 처리된다. 도 5에 도시된 예에서, 은닉 레이어로부터의 데이터는 평탄화(521)되어 특징 벡터를 제공하며, 이는 그 후 복수의 완전 연결층(522)을 통과한다. 이 경우, 소프트맥스 동작(523)이 수행되어 이미지, 예컨대 트럭, 가로등 구조물 또는 자동차 내의 알려진 객체를 식별한다.

알려진 대체 분류기를 사용하여 알려진 객체를 감지할 수도 있다. 일부 실시예에서, 분류기는 차량의 LiDAR 센서와 같은 다른 센서로부터 결정된 정보를 이용할 수 있다. 분류기를 훈련할 때 제한된 입력 이미지를 사용할 수 있는 상황에서 도움이 되도록 에지 강화(edge-enhanced) 또는 에지 이미지(edge-images)와 같은 추가 선택적 입력도 입력할 수 있다. 일부 분류기의 경우, 이러한 추가 입력은 네트워크의 복잡성을 줄이는 데 도움이 되는데, 즉, 추가 입력을 사용하면 CNN의 은닉 레이어에서 레이어 수를 줄일 수 있다.

분류기의 일반적인 출력은 도 6의 이미지에 표시된다. 입력 이미지는 신호등(601a), 두 대의 트럭(601b 및 601c), 자동차(601d)를 포함하는 처리된 이미지에 오버레이된 여러 라벨을 갖는다. 각 라벨은 관련 위치를 가지며, 분류기가 라벨링된 객체와 연관되는 것으로 간주하는 입력 이미지의 영역을 표시하는 경계 상자를 표시한다.

하나 이상의 중첩 영역에서 트윈 이펙트 아티팩트를 식별하는 것이 목표이기 때문에, 처리되는 스티칭된 이미지의 영역, 즉, 관심 영역(ROI)은 스티칭된 이미지의 중첩 영역, 즉 컴포넌트 이미지의 시야가 중첩되는 스티칭된 이미지의 영역으로 제한될 수 있다. 이러한 ROI 감소는 처리 속도를 크게 높이고, 원치 않는 객체 검출을 줄이며, 오탐율(rate of false positive)을 크게 줄이다.

ROI는 스티칭 기법 및 파라미터로 정의할 수 있다. 스티칭 각도(예컨대, 도 3의 각도 폭(302e) 및 각도 오프셋(302d))와 같은 파라미터가 ROI를 정의하는 데 사용될 수 있다.

객체들이 검출되면, 이들이 유사한지 확인하기 위해 이들 검출된 객체들이 테스트(430)된다. 즉, 경계 상자 내의 콘텐츠 간의 유사성을 검출하기 위해 검출된 객체들이 처리된다. 일반적인 중복 콘텐츠 검출 알고리즘은 계산 집약적이다. 물체와 카메라 사이의 거리가 멀기 때문에 트윈 이펙트 아티팩트는 대부분 병진 이동으로 나타난다. 따라서, 중복 콘텐츠 평가에서 가능한 모든 변형을 고려할 필요는 없다. 일부 실시예에서, CNN과 같은 분류기는 콘텐츠의 병진 운동으로부터의 중복에 초점을 맞춤으로써 트윈 이펙트 아티팩트를 검출하도록 훈련된다. 병진 운동을 제한하면 오탐(false positive)의 수를 최소화하는 데 도움이 된다. 이 경우의 오탐은 트윈 이펙트 아티팩트로 인한 것이 아닌 유사한 객체이다. 병진 운동에 대해서만 테스트함으로써 범위가 좁아지므로, 오탐 가능성이 거의 최소화된다. 한 카메라에서 다른 카메라로의 시점 변경을 고려하여 분류기를 훈련하는 것을 개선할 수 있다. 이 훈련 개선 사항은 트윈 이펙트 아티팩트의 중복 객체가 시점 변경으로 인해 약간 다르게 나타날 수 있기 때문에 발생한다.

시간 신호는 또한 트윈 이펙트 아티팩트를 감지할 때 오탐을 피하는 데 도움이 될 수 있다. 예를 들어, 트윈 이펙트 아티팩트로 인해 발생하는 중복 객체는 함께 움직이는 경향이 있으며, 심지어 객체가 차량에 접근할 때 함께 블렌딩될 수도 있다. 이것은 일반적으로 다른 유형의 중복 객체가 검출될 수 있는 경우가 아니다.

유사성 테스트는 객체를 검출하는 분류기에 통합되거나 검출된 객체 목록에 별도로 적용될 수 있다. 바람직한 실시예에서, 스티칭된 이미지 내의 객체가 라벨링된 후, CNN은 라벨링된 객체의 유사성을 평가하여 중복을 검출한다. 유사성 테스트의 결과는 유사한 라벨링된 객체들이 검출된다는 것으로, 즉, 트윈 이펙트 아티팩트가 검출될 가능성이 있다는 것이다.

추가적인 선택적 단계는 검출된 중복 객체가 진짜인지 여부를 테스트(440)하는 것이다. 일부 실시예에서, 이 단계는 유사한 중복 객체들이 컴포넌트 이미지들 중 어느 하나에서 검출되는지 확인하기 위해 컴포넌트 이미지들 중 적어도 하나를 처리하는 것을 포함한다. 중복 객체가 컴포넌트 이미지 중 어느 하나에 존재하는 경우, 이들 중복 객체는 스티칭의 아티팩트가 아닐 가능성이 더 많다. 이 단계는 두 개의 실제 유사한 객체가 트윈 이펙트 아티팩트로 잘못 라벨링되지 않도록 하는 데 도움이 된다. 아티팩트로 인해 중복되는 객체는 무시되거나 이미지에서 나중에 제거되는 반면에, 실제 객체, 예컨대 자동차를 무시하거나 제거하는 것은 심각한 실수가 될 수 있으므로, 이것은 중요하다. 결과적으로, 중복된 것처럼 보이는 검출된 객체가 실제인지 여부를 테스트하면 스티칭된 이미지의 신뢰도가 향상된다.

스티칭된 이미지가 트윈 이펙트 아티팩트를 포함하는지 검출하고 선택적으로 확인하는 것에 대한 응답으로 여러 옵션이 사용될 수 있다. 이들은, 스티칭된 이미지가 아티팩트를 포함할 수 있다는 플래그를 지정하는 것, 또는 일부 경우에는 스티칭된 이미지를 수정하려고 시도하거나 후속적으로 생성된 스티칭된 이미지에서 발생하는 그러한 아티팩트를 방지함으로써 능동적으로 응답하는 것을 포함할 수 있다.

따라서, 예를 들어, 아티팩트 검출은 운전자에게 보고되어 운전자가 스티칭된 이미지에서 잠재적으로 오도할 수 있는 정보에 대해 경고받도록 할 수 있다. 예를 들어, 자동차를 주차할 때, 두 개의 명백한 인근 가로등 기둥이 트윈 이펙트 아티팩트로 인한 것으로 보인다는 신호를 운전자에게 알리기 위해 경고가 발행될 수 있다. 그러면 운전자는 거울을 통해 시각적으로 어느 가로등 기둥이 가장 관련성이 높은지 확인하고 그에 따라 차량을 조종할 수 있다. 스티칭된 이미지와 검출된 트윈 이펙트 아티팩트는 하드 드라이브 또는 기타 저장 영역과 같은 차량 하위 시스템에 의해 녹화 및 기록될 수도 있다.

트윈 이펙트 아티팩트의 존재는, 트윈 이펙트 아티팩트를 완화하기 위해 스티칭 파라미터를 조정하도록 구성된 기계 학습 알고리즘에 보고될 수도 있다. 바람직한 실시예에서, 스티칭 파라미터를 조정하는 기계 학습 알고리즘은 컨볼루션 신경망(CNN)이다.

어떤 경우에는, 스티칭된 이미지 콘텐츠는 검출된 트윈 이펙트 아티팩트를 표시하기 위해 간단히 조정될 수 있다.

그러나, 본 실시예에서는, 스티칭된 이미지의 콘텐츠가 디스플레이되기 전에 조정된다.

임포스터는 누락되거나 잘못 표현된 객체를 더 잘 나타내기 위해 이미지에 추가된 그래픽 아티팩트다. 예를 들어, 도 3을 고려하고 차량에 탑재된 모든 카메라는 차량 주변에 위치하며 바깥쪽을 향하고 있다는 점에 유의한다. 따라서, 차량이 이미지에서 잘 렌더링되도록 하는 차량 탑재 카메라의 이미지가 없다. 도 3의 이미지 오른쪽 하단에 표시된 차량은 스티칭된 이미지의 정확한 위치에 중첩된 차량 아바타일 뿐이다. 이러한 아바타는 스티칭된 이미지의 모습을 크게 개선하고 운전자가 스티칭된 이미지에서 차량의 방향을 보다 쉽게 알아볼 수 있게 해준다. 차량 아바타는 정적인 임포스터의 예이고, 이는 적어도 부분적으로 방법이 수행되기 전에 생성되고 필요할 때 사용하기 위해 메모리에 저장되는 임포스터이다. 정적 임포스터의 단점은 대체 이미지가 미리 알려지거나 계산 가능해야 한다는 것이다. 정적 임포스터를 사용할 수 없는 경우, 동적 임포스터가 사용될 수 있다. 동적 임포스터는 하나 이상의 카메라에서 결정된 데이터에 적어도 부분적으로 기반하여 런타임에 생성되는 임포스터이다.

일부 실시예에서, 본 발명은 임포스터를 사용하여 검출된 트윈 이펙트 아티팩트를 다룬다. 구체적으로, 단계(450)에서 중복된 객체들 중 하나가 동적 임포스터로 대체된다. 동적 임포스터는 컴포넌트 이미지의 이미지 데이터를 포함한다. 모든 트윈 이펙트 아티팩트에 대해, 컴포넌트 이미지들 중 하나는 트윈 이펙트 아티팩트의 객체들 중 하나에 대한 데이터를 제공하고 다른 컴포넌트 이미지는 다른 객체에 대한 데이터를 제공한다. 결과적으로, 트윈 이펙트 아티팩트로 검출된 스티칭된 이미지의 영역을 다른 컴포넌트 이미지의 데이터로 교체하면 트윈 이펙트 아티팩트가 제거될 것이다.

이 프로세스의 두 가지 예가 각각 도 7 및 도 8에 도시되어 있다. 도 7에서, 좌측 이미지(700)는 복제된 자동차 형태의 트윈 이펙트 아티팩트를 포함한다. 검출된 트윈 이펙트 아티팩트(701)의 경계 상자는 흰색 및 검은색 점선 상자로 표시된다. 스티칭된 이미지에서, 블렌딩된 영역(702)의 아래 및 왼쪽 영역의 데이터는 좌측을 향하는 차량 탑재 카메라에서 비롯된 컴포넌트 이미지에서 가져온 것이다. 블렌딩 영역(702)의 위 및 오른쪽 영역에 있는 데이터는 전면을 향하는 차량 탑재 카메라에서 비롯된 컴포넌트 이미지에서 가져온 것이다. 결과적으로, 맨 좌측 자동차(703) 객체를 형성하는 데이터는 좌측을 향하는 카메라에서 가져온 것이고, 검출된 트윈 이펙트 아티팩트(701)의 경계 상자에 있는 자동차는 전면을 향하는 카메라에서 가져온 것이다. 우측 이미지(700')에서, 검출된 트윈 이펙트 아티팩트(701)의 경계 상자에 있는 데이터가 좌측을 향하는 카메라의 데이터로 대체되어 트윈 이펙트 아티팩트가 제거되었다. 도 8은 가로등 구조가 또한 트윈 이펙트 아티팩트(801)로 확인되었기 때문에 발생하는 프로세스를 보여준다. 다시, 트윈 이펙트 아티팩트의 경계 상자 내의 데이터를 다른 컴포넌트 이미지의 데이터로 전환하면 트윈 이펙트 아티팩트가 해결된다.

뚜렷한 트윈 이펙트 아티팩트가 없는 스티칭된 결과가 도 9에 도시되어 있다. 스티칭된 이미지에서 조정된 가장자리 영역을 마스킹하기 위해 추가 평활 효과(smoothing effect)가 사용될 수 있다. 예를 들어, 픽셀 값의 갑작스러운 전환을 피하기 위해 임포스터가 원래의 스티칭된 이미지와 블렌딩될 수 있다. 일부 실시예에서, 평활 효과는 임포스터의 가장자리를 흐리게 할 수 있다. 이러한 스무딩 효과는 스티칭된 이미지에서 임포스터를 숨기는 데 도움이 된다.

이미지를 다듬기 위해 스티칭된 이미지의 추가 처리가 발생할 수 있다. 또한, 다른 이미지 아티팩트를 제거하기 위해 별도의 처리가 발생할 수 있다. 예를 들어, 2019년 11월 26일에 출원된 "이미지 처리 모듈"이라는 제목의 독일 특허 출원 번호 102019131971.4(Ref: 2018PF02667)를 참조한다. 트윈 이펙트 아티팩트를 미리 제거하면 트윈 이펙트 아티팩트의 외관을 향상시키는 후속 처리가 방지된다.

설명된 방법은 스티칭된 이미지에서 산만한 고대비 트윈 이펙트 아티팩트를 안정적으로 처리하는 것을 목표로 한다. 다른 중복 콘텐츠 찾기 방법과 달리, 설명된 방법은 불필요한 영역에서 트윈 이펙트 아티팩트를 검출 및/또는 제거하는, 예컨대, 균일한 노면의 모습을 수정하는 리소스를 낭비하지 않는다. 대신 설명된 방법은 시각적으로 가장 눈에 띄는 트윈 이펙트 아티팩트(예컨대, 전방 도로에 있는 자동차의 두 번째 이미지)를 안정적으로 완화하는 데 중점을 둔다.

설명된 방법은 차량 운전자가 스티칭된 이미지를 신뢰하는 데 도움이 될 수 있다. 예를 들어, 차량 내부에 탑재된 디스플레이를 통해 스티칭된 이미지를 보고 있는 운전자, 예컨대 자동차의 승객실에 탑재된 디스플레이 화면에서 스티칭된 이미지를 보고 주차하기 위해 자동차를 조종하는 자동차 운전자를 고려한다. 설명된 방법은 디스플레이된 트윈 이펙트 아티팩트의 존재를 운전자에게 경고하거나 또는 디스플레이된 이미지에서 트윈 이펙트 아티팩트를 제거할 수 있다. 두 경우 모두에서, 디스플레이된 스티칭된 이미지는 보다 신뢰할 수 있을 것이다.

고려되는 차량은 또한 자율 주행 차량, 즉 자율 차량 또는 운전자 보조 기능이 있는 차량일 수 있다. 이 경우, 고려된 이미지의 정확성이 특히 중요하다. 예를 들어, 차량 제어 메커니즘은 스티칭된 이미지에 차량 제어 또는 운전 추천을 기반으로 할 수 있다. 따라서, 트윈 이펙트 아티팩트를 보고하거나 제거함으로써, 차량 제어 메커니즘이 적절한 조치를 취할 수 있다. 따라서, 설명된 방법을 이용하면, 스티칭된 이미지의 트윈 이펙트 아티팩트로 인해 내려지거나 권장되는 잘못된 주행 판단을 줄일 수 있다.

검출된 트윈 이펙트 아티팩트 또는 수정된 스티칭된 이미지의 경고는 차량 시스템에 의해 기록될 수도 있다. 기록은 하드 디스크와 같은 미디어 저장 장치에 기록을 보관하는 형태일 수 있다.

위에서 설명된 예는 차량 정면(101) 및 좌측 카메라(102)로부터 획득된 스티칭된 이미지와 관련하여 제공되었지만, 다른 경우에 인접한 시야를 갖는 카메라들의 다른 조합으로부터의 스티칭 뷰도 관심사이며, 마찬가지로 본 발명은 차량을 둘러싸고 있는 모든 카메라(101 .... 104)에서 얻어진 컴포넌트 이미지들로부터 스티칭된 서라운드 뷰 이미지들을 생성하는 것으로 확장가능하다.

Claims (14)

1. 스티칭된 이미지(stitched image)에서 아티팩트(artefact)를 검출하는 방법으로서,
   중첩하는 시야(overlapping fields of view)를 갖는 제각기의 차량 탑재 카메라로부터 환경의 컴포넌트 이미지들을 획득하는 단계와,
   상기 컴포넌트 이미지들로부터 스티칭된 이미지를 형성하는 단계(410)와,
   상기 중첩하는 시야에 대응하는 상기 스티칭된 이미지의 적어도 일부를 분류기로 처리하여 상기 스티칭된 이미지 내의 제각기의 위치에 있는 상기 환경으로부터 검출된 객체들의 리스트를 제공하는 단계(420)와,
   상기 검출된 객체들의 리스트 내의 임의의 검출된 객체가 상기 검출된 객체들의 리스트 내의 다른 객체와 중복된 것인지 여부를 판정하는 단계(430)와,
   중복된 것으로 판정되는 임의의 객체를 보고하는 단계를 포함하는,
   방법.
   
2. 제1항에 있어서,
   임의의 보고된 중복 객체에 대해, 상기 보고된 중복 객체를 포함하는 상기 스티칭된 이미지의 영역을 상기 컴포넌트 이미지들 중 하나로부터의 임포스터(imposter)로 대체하는 단계(450)를 더 포함하는,
   방법.
   
3. 제2항에 있어서,
   상기 검출된 객체들의 리스트 내의 각각의 검출된 객체(601a)는 경계 박스에 의해 정의되고,
   상기 보고된 중복된 객체를 포함하는 상기 스티칭된 이미지의 영역을 상기 컴포넌트 이미지들 중 하나로부터의 임포스터로 대체하는 단계는 상기 보고된 중복 객체(701)를 상기 보고된 중복 객체의 상기 경계 박스와 동일한 형상의 임포스터(701')로 대체하는 단계를 포함하는,
   방법.
   
4. 제2항 또는 제3항에 있어서,
   상기 임포스터의 적어도 일부는 원래의 스티칭된 이미지와 블렌딩되는(460),
   방법.
   
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   임의의 보고된 중복 객체를 선택하는 단계와,
   상기 선택된 객체가 컴포넌트 이미지 내에 복수 회 나타나는 것에 응답하여, 상기 선택된 객체를 중복되지 않은 것으로 표시하는 단계를 더 포함하는,
   방법.
   
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 컴포넌트 이미지들로부터 스티칭된 이미지를 형성하는 단계는,
   2개의 컴포넌트 이미지의 복수의 중첩 영역을 선택하여 복수의 블렌딩 영역을 정의하는 단계와,
   상기 복수의 블렌딩 영역 중 적어도 2개의 블렌딩 영역의 형상 또는 위치를 조정하는 단계와,
   상기 복수의 블렌딩 영역 내의 상기 2개의 컴포넌트 이미지로부터의 데이터를 결합하는 것을 포함하여, 상기 2개의 컴포넌트 이미지로부터 스티칭된 이미지를 형성하는 단계를 포함하는,
   방법.
   
7. 제6항에 있어서,
   상기 복수의 블렌딩 영역 중 적어도 2개의 블렌딩 영역의 형상 또는 위치를 조정하는 단계는, 스티칭 파라미터를 변화시키며 제각기의 스티칭 파라미터 세트에 기인하는 상기 스티칭된 이미지에서 아티팩트가 검출되는지 여부를 평가함으로써 트레이닝된 컨볼루션 신경망을 사용하여 상기 적어도 2개의 블렌딩 영역의 형상 또는 위치를 정의하는 스티칭 파라미터(102e, 102d)를 선택하는 단계를 포함하는,
   방법.
   
8. 제1항 내지 제 7항 중 어느 한 항에 있어서,
   임의의 보고된 중복 객체는,
   상기 스티칭된 이미지 내의 제1 위치에 매핑되는 제1 차량 탑재 카메라로부터 촬영된 객체와,
   상기 스티칭된 이미지 내의 제2 위치에 매핑되는 제2 차량 탑재 카메라로부터 촬영된 이미지 객체 - 상기 제2 위치는 상기 제1 위치와 임계값보다 더 많이 상이함 -
   로 인해 발생하는 스티칭 아티팩트인,
   방법.
   
9. 제8항에 있어서,
   상기 임계값은, 상기 보고된 중복 객체가 원래의 객체와 중첩되지 않도록 설정되는,
   방법.
   
10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 컴포넌트 이미지들은 2대의 제각기의 카메라(101, 102)로부터 동시에 획득되는,
    방법.
    
11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 검출된 객체들의 리스트 내의 임의의 검출된 객체가 상기 검출된 객체들의 리스트 내의 다른 객체와 중복되는지 여부를 판정하는 단계는, 컨볼루션 신경망을 사용하여 검출된 객체들이 중복되는지 여부를 분류하는 단계를 포함하고,
    상기 컨볼루션 신경망은 중복 객체를 상기 검출된 객체들의 리스트 내의 또 다른 객체의 병진 중복으로 식별하도록 트레이닝된,
    방법.
    
12. 제11항에 있어서,
    상기 또 다른 객체의 병진 중복은 상기 차량 탑재 카메라들 사이의 시점 변화(perspective change)를 설명하도록 조정된 상기 또 다른 객체의 병진 중복인,
    방법.
    
13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 스티칭된 이미지의 적어도 일부는 하나보다 많은 컴포넌트 이미지의 데이터로 형성되는 상기 스티칭된 이미지의 영역들을 포함하는,
    방법.
    
14. 제1항 내지 제13항 중 어느 한 항의 방법에 따라 동작하는 카메라 모듈을 포함하는,
    차량(100).

Images