KR20170106823A - 부분적인 깊이 맵에 기초하여 관심 객체를 식별하는 영상 처리 장치 - Google Patents

Abstract

본 발명은 영상 획득 회로, 관심 영역 선택 회로, 부분 깊이 맵 생성 회로, 객체 후보 선택 회로, 및 객체 식별 회로를 포함하는 영상 처리 장치를 제공한다. 영상 획득 회로는 복수의 영상 촬영 장치를 제어하여 기초 영상의 데이터를 획득한다. 관심 영역 선택 회로는 기초 영상에서 관심 색상을 표현하는 제 1 영역이 기초 영상에서 관심 모양을 표현하는 제 2 영역과 중첩하는 영역을 관심 영역으로서 선택한다. 부분 깊이 맵 생성 회로는 관심 영역에 대하여 부분 깊이 맵을 생성한다. 객체 후보 선택 회로는 부분 깊이 맵에 기초하여 관심 영역에서 관심 객체의 크기를 갖는 것으로 예측되는 관심 객체의 후보를 표현하는 후보 영역을 선택한다. 객체 식별 회로는 후보 영역이 관심 객체를 표현하는지 여부를 식별한다. 본 발명에 따르면, 영상 처리 장치는 적은 양의 계산으로 빠르고 정확하게 관심 객체를 식별할 수 있다.

Description

부분적인 깊이 맵에 기초하여 관심 객체를 식별하는 영상 처리 장치 {IMAGE PROCESSING DEVICE IDENTIFYING OBJECT OF INTEREST BASED ON PARTIAL DEPTH MAP}

본 발명은 영상 처리에 관한 것으로, 좀 더 구체적으로는 복수의 영상 처리 장치를 이용하여 촬영된 영상으로부터 관심 객체를 식별하기 위한 구성 및 동작에 관한 것이다.

근래 다양한 유형의 전자 장치들이 이용되고 있다. 영상 촬영 장치 및 영상 처리 장치는 널리 이용되고 있는 전자 장치들의 예시들이다. 디지털 영상 처리 기술이 발전함에 따라, 촬영된 영상을 분석하거나 영상에 촬영된 객체를 인식하기 위한 다양한 기법들이 제안되어 왔다. 나아가, 영상을 처리함으로써 얻어진 결과에 기초하여 다양한 서비스를 제공하기 위한 아이디어들이 제안되어 왔다.

영상 촬영 장치 및 영상 처리 장치는 단일의 카메라(예컨대, 디지털 카메라, 디지털 캠코더 등)에 구현될 수 있다. 게다가, 근래에는 영상 촬영 장치 및 영상 처리 장치가 다양한 전자 장치/시스템(예컨대, 스마트 폰, 태블릿 컴퓨터, 보안 시스템 등)에 장착될 수 있다. 영상 촬영 장치 및 영상 처리 장치를 포함하는 전자 장치/시스템은 그것의 영상 촬영 장치 및 영상 처리 장치에 의해 촬영/처리된 영상의 데이터에 기초하여, 사용자에게 다양한 서비스를 제공할 수 있다.

예로서, 자율 주행 자동차의 개발 및 상용화가 시도되고 있다. 자율 주행 자동차는 그것에 장착된 영상 촬영 장치 및 영상 처리 장치를 이용하여, 장애물을 감지하고 차선, 교통 표지판, 신호등 등의 객체를 인식하도록 설계된다. 자율 주행 자동차는 감지 및 인식된 결과에 기초하여, 충돌 경고, 하이빔 어시스트, 차선 이탈 경고, 표지판 알림 등 다양한 정보를 생성할 수 있다. 자율 주행 자동차는 생성된 정보에 기초하여, 어떻게 도로 상을 주행해야 할지 판별할 수 있다.

따라서, 자율 주행 자동차의 영상 처리 능력은 자율 수준 및 주행 안전에 영향을 주는 중요한 요인이다. 한편, 몇몇 경우, 장애물, 차선, 교통 표지판, 신호등 등의 객체에 대해 오검출이 발생하거나, 자율 주행 자동차의 영상 처리 능력에 한계가 있을 수 있다. 몇몇 경우, 자율 주행을 위한 정보를 생성하는 데에 복잡하고 많은 양의 계산이 요구될 수 있다. 이러한 경우, 자율 주행 자동차의 영상 처리 능력이 떨어질 수 있다.

자율 주행 자동차의 영상 처리 능력이 떨어지는 경우, 완전히 자율적인 주행이 불가능할 수 있고 안전한 주행이 어려울 수 있다. 따라서, 자율 주행 자동차는 적은 양의 계산으로 빠르고 정확하게 객체를 감지 및 인식하기 위한 영상 처리 능력을 갖출 필요가 있다.

본 발명의 실시 예들은 복수의 영상 처리 장치를 이용하여 촬영된 영상으로부터 관심 객체를 식별하기 위한 구성 및 동작을 제공할 수 있다.

본 발명의 일 실시 예에 따른 영상 처리 장치는 영상 획득 회로, 관심 영역(Region of Interest) 선택 회로, 부분 깊이 맵(Partial Depth Map) 생성 회로, 객체 후보 선택 회로, 및 객체 식별 회로를 포함할 수 있다. 영상 획득 회로는 복수의 영상 촬영 장치를 제어하여 기초 영상의 데이터를 획득할 수 있다. 관심 영역 선택 회로는 기초 영상에서 하나 이상의 관심 색상들을 표현하는 제 1 영역이 기초 영상에서 하나 이상의 관심 모양들을 표현하는 제 2 영역과 중첩하는 영역을 관심 영역으로서 선택할 수 있다. 부분 깊이 맵 생성 회로는 기초 영상의 전체 영역 중 관심 영역에 대하여 부분적인 깊이 맵을 생성할 수 있다. 객체 후보 선택 회로는 부분 깊이 맵에 기초하여 관심 영역에서 관심 객체의 크기를 갖는 것으로 예측되는 관심 객체의 후보를 표현하는 후보 영역을 선택할 수 있다. 객체 식별 회로는 후보 영역이 관심 객체를 표현하는지 여부를 식별할 수 있다.

본 발명의 실시 예들에 따르면, 영상 처리 장치는 적은 양의 계산으로 빠르고 정확하게 관심 객체를 식별할 수 있다.

도 1은 본 발명의 실시 예에 따른 영상 처리 장치를 이용하여 관심 객체를 식별하기 위한 환경을 보여주는 개념도이다.
도 2는 도 1의 영상 처리 장치의 예시적인 구성을 보여주는 블록도이다.
도 3은 도 2의 영상 획득 회로의 예시적인 동작을 설명하는 흐름도이다.
도 4는 도 2의 영상 획득 회로에 의해 획득된 기초 영상의 예시를 보여준다.
도 5는 도 2의 관심 영역 선택 회로의 예시적인 동작을 설명하는 흐름도이다.
도 6은 도 2의 관심 영역 선택 회로에 의해 추출된 제 1 영역의 예시를 보여준다.
도 7은 도 2의 관심 영역 선택 회로에 의해 추출된 제 2 영역의 예시를 보여준다.
도 8은 도 2의 관심 영역 선택 회로에 의해 선택된 관심 영역의 예시를 보여준다.
도 9는 도 2의 부분 깊이 맵 생성 회로의 예시적인 동작을 설명하는 흐름도이다.
도 10은 도 2의 부분 깊이 맵 생성 회로에 의해 생성된 부분 깊이 맵의 예시를 보여준다.
도 11은 도 2의 객체 후보 선택 회로의 예시적인 동작을 설명하는 흐름도이다.
도 12는 도 2의 객체 식별 회로의 예시적인 동작을 설명하는 흐름도이다.
도 13은 도 2의 객체 식별 회로의 예시적인 구성을 보여주는 블록도이다.
도 14 및 도 15는 도 13의 객체 식별 회로를 이용하여 식별 결과를 출력하는 예시적인 과정들을 설명하기 위한 개념도들이다.
도 16은 도 2의 영상 처리 장치를 이용하여 도 4의 기초 영상으로부터 식별된 관심 객체의 예시를 보여준다.
도 17은 도 1의 영상 처리 장치의 예시적인 구성을 보여주는 블록도이다.
도 18은 본 발명의 실시 예에 따른 영상 처리 장치를 이용하여 관심 객체를 식별하도록 설계된 전자 장치/시스템의 예시를 보여주는 개념도이다.

상술한 특성들 및 이하 상세한 설명들은 모두 본 발명의 설명 및 이해를 돕기 위한 예시적인 사항들이다. 즉, 본 발명은 이와 같은 실시 예들에 한정되지 않고 다른 형태로 구체화될 수 있다. 다음 실시 형태들은 단지 본 발명을 완전히 개시하기 위한 예시이며, 본 발명이 속하는 기술 분야의 통상의 기술자들에게 본 발명을 전달하기 위한 설명이다. 따라서, 본 발명의 구성 요소들을 구현하기 위한 방법이 여럿 있는 경우에는, 이 방법들 중 특정한 것 또는 이와 동일성 있는 것 가운데 어떠한 것으로든 본 발명의 구현이 가능함을 분명히 할 필요가 있다.

본 명세서에서 어떤 구성이 특정 요소들을 포함한다는 언급이 있는 경우, 또는 어떤 과정이 특정 단계들을 포함한다는 언급이 있는 경우는, 그 외 다른 요소 또는 다른 단계들이 더 포함될 수 있음을 의미한다. 즉, 본 명세서에서 사용되는 용어들은 특정 실시 형태를 설명하기 위한 것일 뿐이고, 본 발명의 개념을 한정하기 위한 것이 아니다. 나아가, 발명의 이해를 돕기 위해 설명한 예시들은 그것의 상보적인 실시 예도 포함한다.

본 명세서에서 사용되는 용어들은 본 발명이 속하는 기술 분야의 통상의 기술자들이 일반적으로 이해하는 의미를 갖는다. 보편적으로 사용되는 용어들은 본 명세서의 맥락에 따라 일관적인 의미로 해석되어야 한다. 또한, 본 명세서에서 사용되는 용어들은, 그 의미가 명확히 정의된 경우가 아니라면, 지나치게 이상적이거나 형식적인 의미로 해석되지 않아야 한다. 이하 첨부된 도면들을 통하여 본 발명의 실시 예들이 설명될 것이다.

도 1은 본 발명의 실시 예에 따른 영상 처리 장치를 이용하여 관심 객체를 식별하기 위한 환경을 보여주는 개념도이다.

영상 처리 장치(100)는 본 발명의 실시 예에 따라 관심 객체(30)를 식별하기 위해 제공될 수 있다. 예로서, 도 1에 나타낸 것과 같이, 관심 객체(30)는 교통 표지판일 수 있으나, 본 발명은 이 예에 의해 한정되지 않는다. 관심 객체(30)는 장애물, 신호등, 도로 안내판, 사람 등과 같은 다양한 객체 중 하나 이상일 수 있다. 다만, 더 나은 이해를 돕기 위해, 이하의 실시 예들은 관심 객체(30)가 교통 표지판이라는 가정 하에 설명될 것이다.

영상 처리 장치(100)는 다양한 형태의 전자 장치 또는 시스템으로 구현될 수 있다. 예로서, 영상 처리 장치(100)는 뒤에서 설명될 전기/전자 회로들을 포함하는 집적 회로 칩으로 구현될 수 있다. 집적 회로 칩으로 구현된 영상 처리 장치(100)는 다른 전자 장치 또는 시스템 내에 내장될 수 있다. 또는, 영상 처리 장치(100)는 뒤에서 설명될 전기/전자 회로들을 포함하는 독립적인 컴퓨팅 장치(예컨대, 컴퓨터, 노트북, 태블릿, 스마트 폰, 디지털 카메라 등)로 구현될 수 있다. 본 발명의 구현은 이 예들에 의해 한정되지 않고, 다양하게 변경 또는 수정될 수 있다.

영상 처리 장치(100)는 관심 객체(30)를 식별하기 위해 복수의 영상 촬영 장치(예컨대, 영상 촬영 장치들(10, 20))와 연결될 수 있다. 예로서, 영상 촬영 장치들(10, 20) 각각은 디지털 카메라, 디지털 캠코더 등과 같이, 이미지 센서를 이용하여 영상을 촬영하는 전자 장치일 수 있다. 도 1은 영상 촬영 장치들(10, 20)이 영상 처리 장치(100)와 별개로 제공되는 경우를 보여주지만, 몇몇 실시 예에서, 영상 처리 장치(100)가 영상 촬영 장치들(10, 20)을 포함하도록 구현될 수 있다.

영상 촬영 장치들(10, 20)은 객체를 촬영하여 영상을 생성할 수 있다. 여기서, "객체"는 관심 객체(30), 그 외 다른 객체(들), 및 배경 중 적어도 하나를 포함할 수 있다. 나아가, 두 개의 영상 촬영 장치들(10, 20)이 제공되는 경우, 영상 촬영 장치들(10, 20)은 영상 촬영 장치들(10, 20) 각각과 객체 사이의 거리에 관한 정보를 생성할 수 있다.

이러한 거리 정보는 "깊이 맵(Depth Map)"을 생성하기 위해 참조될 수 있다. 전형적인 영상은 객체의 외관(예컨대, 색상, 모양 등)에 관한 정보를 표현할 수 있는 반면, 깊이 맵은 영상 촬영 장치와 객체 사이의 거리에 관한 정보를 표현할 수 있다. 복수의 영상 촬영 장치를 이용하여 깊이 맵을 생성하는 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 잘 알려져 있으므로, 상세한 설명들은 생략될 것이다.

도 1은 두 개의 영상 촬영 장치들(10, 20)을 보여주지만, 몇몇 실시 예에서, 영상 처리 장치(100)는 세 개 이상의 영상 촬영 장치들과 연결되거나 세 개 이상의 영상 촬영 장치들을 포함할 수 있다. 세 개 이상의 영상 촬영 장치들은 객체의 외관에 관한 정보는 물론, 객체로부터의 거리에 관한 정보를 생성하기 위해 제공될 수 있다.

영상 처리 장치(100)는 영상 촬영 장치들(10, 20)을 제어하여, 객체에 관한 영상의 데이터를 획득할 수 있다. 나아가, 영상 처리 장치(100)는 영상 촬영 장치들(10, 20) 각각과 객체 사이의 거리에 관한 정보를 더 획득할 수 있다.

영상 처리 장치(100)는 영상 촬영 장치들(10, 20)로부터 획득된 데이터 및 정보에 기초하여, 관심 객체(30)를 인식할 수 있다. 영상 처리 장치(100)는 영상 촬영 장치들(10, 20)에 의해 촬영된 영상이 관심 객체(30)(예컨대, 교통 표지판)를 포함하는지 여부를 식별할 수 있다. 나아가, 영상 처리 장치(100)는 관심 객체(30)의 유형(예컨대, 최저 주행 속도가 시속 50km임을 나타내는 교통 표지판, 주행을 일시적으로 멈출 것을 나타내는 교통 표지판, 주행 속도를 줄일 것을 나타낸 교통 표지판 등)을 판별할 수 있다.

이를 위해, 본 발명의 실시 예에서, 영상 처리 장치(100)는 영상 촬영 장치들(10, 20)에 의해 촬영된 영상에 표현된 객체의 외관(예컨대, 색상, 모양 등)을 분석할 수 있다. 나아가, 영상 처리 장치(100)는 영상 촬영 장치들(10, 20) 각각과 객체 사이의 거리에 기초하여, 객체의 크기를 분석할 수 있다. 영상 처리 장치(100)는 분석된 결과에 기초하여, 관심 객체(30)를 인식하고 식별할 수 있다. 본 발명의 이러한 실시 예는 도 2 내지 도 17을 참조하여 상세히 설명될 것이다.

도 2는 도 1의 영상 처리 장치의 예시적인 구성을 보여주는 블록도이다. 몇몇 실시 예에서, 영상 처리 장치(100)는 영상 획득 회로(110), 관심 영역 선택 회로(120), 부분 깊이 맵(Partial Depth Map) 생성 회로(130), 객체 후보 선택 회로(140), 객체 식별 회로(150), 및 메모리/스토리지(160)를 포함할 수 있다.

영상 획득 회로(110)는 영상 촬영 장치들(10, 20)을 제어할 수 있다. 예로서, 영상 획득 회로(110)는 영상 촬영 장치들(10, 20)의 동작 타이밍을 동기화시킬 수 있다. 예로서, 영상 획득 회로(110)는 영상 촬영 장치들(10, 20)의 동작 환경을 교정(Calibration)할 수 있다. 이는 영상 촬영 장치들(10, 20)이 상이한 시점들에 동작하거나 상이한 동작 환경들에서 동작하는 경우 정확하지 않은 영상이 촬영될 수 있기 때문이다.

영상 촬영 장치들(10, 20)은 영상 획득 회로(110)의 제어에 따라 기초 영상을 촬영할 수 있다. 여기서, 기초 영상은 관심 객체(30), 그 외 다른 객체(들), 및 배경 중 적어도 하나를 포함하는 객체를 촬영함으로써 생성될 수 있다. 기초 영상의 데이터는 객체의 외관, 및 영상 촬영 장치들(10, 20) 각각과 객체 사이의 거리에 관한 정보를 포함할 수 있다. 영상 획득 회로(110)는 영상 촬영 장치들(10, 20)로부터 기초 영상의 데이터를 획득할 수 있다. 영상 획득 회로(110) 및 기초 영상은 도 3 및 도 4를 참조하여 좀 더 상세히 설명될 것이다.

관심 영역 선택 회로(120)는 영상 획득 회로(110)를 통해 기초 영상의 데이터를 수신할 수 있다. 관심 영역 선택 회로(120)는 기초 영상에서 하나 이상의 관심 색상들을 표현하는 제 1 영역을 추출할 수 있다. 여기서, 관심 색상은 관심 객체(30)가 가질 수 있는 색상을 포함할 수 있다.

나아가, 관심 영역 선택 회로(120)는 기초 영상에서 하나 이상의 관심 모양들을 표현하는 제 2 영역을 추출할 수 있다. 여기서, 관심 모양은 관심 객체(30)가 가질 수 있는 모양을 포함할 수 있다. 따라서, 제 1 영역 및 제 2 영역이 관심 객체(30)를 포함할 가능성이 클 수 있다.

관심 영역 선택 회로(120)는 제 1 영역이 제 2 영역과 중첩하는 영역을 관심 영역으로서 선택할 수 있다. 결과적으로, 관심 영역은 관심 색상 및 관심 모양 모두를 고려하여 선택될 수 있고, 따라서 관심 영역이 관심 객체(30)를 포함할 가능성이 더욱 클 수 있다. 관심 영역 선택 회로(120), 제 1 영역, 제 2 영역, 및 관심 영역은 도 5 내지 도 8을 참조하여 설명될 것이다.

부분 깊이 맵 생성 회로(130)는 영상 획득 회로(110)를 통해 기초 영상의 데이터를 수신할 수 있다. 나아가, 부분 깊이 맵 생성 회로(130)는 관심 영역 선택 회로(120)로부터 관심 영역의 데이터를 수신할 수 있다. 부분 깊이 맵 생성 회로(130)는 수신된 데이터에 기초하여, 관심 영역에 대하여 부분적인 깊이 맵(이하, "부분 깊이 맵")을 생성할 수 있다. 부분 깊이 맵은 영상 촬영 장치들(10, 20) 각각과 관심 영역에 포함되는 객체(들) 사이의 거리에 관한 정보를 표현할 수 있다.

본 발명의 실시 예에서, 기초 영상의 전체 영역에 대하여 깊이 맵을 생성하는 대신, 부분 깊이 맵 생성 회로(130)는 기초 영상의 일부분인 관심 영역을 위해 부분 깊이 맵을 생성할 수 있다. 깊이 맵을 생성하는 것은 복잡하고 많은 양의 계산을 요구할 수 있다. 따라서, 전체 깊이 맵 대신 부분 깊이 맵을 생성하는 것은 계산 복잡도 및 계산량을 현저히 줄일 수 있다. 부분 깊이 맵 생성 회로(130) 및 부분 깊이 맵은 도 9 및 도 10을 참조하여 설명될 것이다.

객체 후보 선택 회로(140)는 부분 깊이 맵 생성 회로(130)로부터 부분 깊이 맵의 데이터를 수신할 수 있다. 객체 후보 선택 회로(140)는 부분 깊이 맵에 기초하여, 관심 영역에 포함되는 객체(들)의 크기를 추정할 수 있다. 객체 후보 선택 회로(140)는 관심 영역에 포함되는 특정 객체가 관심 객체(30)의 크기를 갖는지 여부를 판별할 수 있다. 여기서, 관심 객체(30)의 크기는 실제 관심 객체(30)가 물리적으로 가질 수 있는 크기를 의미할 수 있다.

관심 객체(30)의 크기를 갖는 것으로 추정된 객체는 관심 객체(30)의 후보로서 이해될 수 있다. 객체 후보 선택 회로(140)는 관심 객체(30)의 크기를 갖는 것으로 예측되는 관심 객체(30)의 후보를 표현하는 후보 영역을 선택할 수 있다. 객체 후보 선택 회로(140) 및 후보 영역은 도 10 및 도 11을 참조하여 설명될 것이다.

객체 식별 회로(150)는 객체 후보 선택 회로(140)로부터 후보 영역의 데이터를 수신할 수 있다. 객체 식별 회로(150)는 후보 영역이 관심 객체(30)를 표현하는지 여부를 식별할 수 있다. 나아가, 객체 식별 회로(150)는 관심 객체(30)의 유형을 판별할 수 있다. 따라서, 객체 식별 회로(150)는 관심 객체(30)를 인식할 수 있다. 객체 식별 회로(150)는 식별 결과를 출력할 수 있다. 객체 식별 회로(150) 및 식별 결과는 도 12 내지 도 16을 참조하여 설명될 것이다.

몇몇 실시 예에서, 영상 획득 회로(110), 관심 영역 선택 회로(120), 부분 깊이 맵 생성 회로(130), 객체 후보 선택 회로(140), 및 객체 식별 회로(150) 각각은 하드웨어 형태로 구현될 수 있다. 영상 획득 회로(110), 관심 영역 선택 회로(120), 부분 깊이 맵 생성 회로(130), 객체 후보 선택 회로(140), 및 객체 식별 회로(150) 각각은 위에서 설명된 기능들을 제공하기 위해 하나 이상의 아날로그/논리 회로들을 포함할 수 있다. 예로서, 영상 획득 회로(110), 관심 영역 선택 회로(120), 부분 깊이 맵 생성 회로(130), 객체 후보 선택 회로(140), 및 객체 식별 회로(150)는 전용 논리 회로들(예컨대, FPGA(Field Programmable Gate Array), ASICs(Application Specific Integrated Circuits) 등)로 구현될 수 있다.

메모리/스토리지(160)는 영상 처리 장치(100)를 동작시키기 위해 이용되는 다양한 데이터를 저장할 수 있다. 예로서, 메모리/스토리지(160)는 영상 획득 회로(110), 관심 영역 선택 회로(120), 부분 깊이 맵 생성 회로(130), 객체 후보 선택 회로(140), 및 객체 식별 회로(150)에 의해 처리되거나 참조되는 데이터를 저장할 수 있다. 이를 위해, 메모리/스토리지(160)는 SRAM(Static Random Access Memory), DRAM(Dynamic RAM) 등과 같은 휘발성 메모리, 및/또는 플래시 메모리, PRAM(Phase-change RAM), MRAM(Magnetoresistive RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다.

도 3은 도 2의 영상 획득 회로의 예시적인 동작을 설명하는 흐름도이다. 도 4는 도 2의 영상 획득 회로에 의해 획득된 기초 영상의 예시를 보여준다.

도 2를 참조하여 설명된 것과 같이, 영상 획득 회로(110)는 영상 촬영 장치들(10, 20)을 제어할 수 있다. 영상 획득 회로(110)는 영상 촬영 장치들(10, 20)이 정확한 영상을 촬영할 수 있도록 영상 촬영 장치들(10, 20)의 동작들을 제어할 수 있다.

도 3을 참조하면, S110 동작에서, 영상 획득 회로(110)는 영상 촬영 장치들(10, 20)의 동작 타이밍을 동기화시킬 수 있다. 영상 촬영 장치들(10, 20)의 동작 타이밍이 일관되지 않은 경우, 의도되지 않은 영상이 촬영될 수 있다. 따라서, 영상 획득 회로(110)의 제어에 따라, 영상 촬영 장치들(10, 20)의 동작 타이밍이 동기화될 수 있다. 영상 획득 회로(110)는 영상 촬영 장치들(10, 20)의 동작들을 동시에 트리거(Trigger)할 수 있다.

나아가, S120 동작에서, 영상 획득 회로(110)는 영상 촬영 장치들(10, 20)의 동작 환경을 교정할 수 있다. 영상 촬영 장치들(10, 20)의 동작 환경들이 상이한 경우, 정확하지 않은 영상이 촬영될 수 있다. 따라서, 영상 획득 회로(110)의 제어에 따라, 영상 촬영 장치들(10, 20)의 동작 환경이 교정될 수 있다.

영상 촬영 장치들(10, 20)의 동작 환경을 교정하는 것은 영상 촬영 장치들(10, 20) 각각의 동작 오차를 조정(Tuning)하는 것과 관련될 수 있다. 나아가, 영상 촬영 장치들(10, 20)의 동작 환경을 교정하는 것은 영상 촬영 장치(10)에 의해 촬영되는 공간의 기준 지점(예컨대, 원점(Orientation))과 영상 촬영 장치(20)에 의해 촬영되는 공간의 기준 지점을 매칭(Matching)하는 것과 관련될 수 있다. 즉, 영상 촬영 장치들(10, 20)의 동작 환경을 교정하는 것은 영상 촬영 장치들(10, 20) 각각의 위치 및 방향을 고려하여 영상 촬영 장치들(10, 20)에 의해 촬영되는 공간들 사이의 기하학적 관계를 조화시키는 것과 관련될 수 있다.

예로서, 동작 환경은 내부 파라미터(Intrinsic Parameter) 및 외부 파라미터(Extrinsic Parameter)에 기초하여 정의될 수 있다. 예로서, 내부 파라미터는 영상 촬영 장치들(10, 20) 각각의 내부의 렌즈와 이미지 센서 사이의 오차를 조정하기 위한 파라미터를 포함할 수 있다. 예로서, 외부 파라미터는 영상 촬영 장치들(10, 20) 각각의 위치 및 방향에 기초하여 영상 촬영 장치들(10, 20)과 기준 지점 사이의 기하학적 관계를 정의하기 위한 파라미터를 포함할 수 있다.

이러한 파라미터들에 기초하여, 영상 촬영 장치들(10, 20) 사이의 상관 관계가 정의될 수 있다. 예로서, 두 개의 영상 촬영 장치들(10, 20) 사이의 상관 관계는 에피폴라 기하 구조(Epipolar Geometry)에 기반한 기초 행렬(Fundamental Matrix)에 의해 정의될 수 있다. 예로서, 세 개 이상의 영상 촬영 장치들이 제공되는 경우, 영상 촬영 장치들 사이의 상관 관계는 N-뷰 기하 구조(N-View Geometry)에 기반한 멀티플 뷰 텐서(Multiple View Tensor)에 의해 정의될 수 있다.

몇몇 실시 예에서, 메모리/스토리지(160)는 영상 촬영 장치들(10, 20)의 동작 환경을 교정하기 위해 필요한 데이터를 저장할 수 있다. 예로서, 메모리/스토리지(160)는 내부 파라미터, 외부 파라미터, 및 상관 관계에 관한 정보를 저장할 수 있다. 몇몇 경우, 이러한 정보는 실험을 통해 미리 준비될 수 있다. 영상 획득 회로(110)는 메모리/스토리지(160)에 저장된 데이터를 참조하여 영상 촬영 장치들(10, 20)의 동작 환경을 교정할 수 있다.

도 3에서, S110 동작이 S120 동작과 병렬로 수행되는 것으로 도시되었다. 그러나, 몇몇 경우, S110 및 S120 동작들은 순차적으로 수행될 수 있다.

S130 동작에서, 영상 촬영 장치들(10, 20)은 S110 동작에서 동기화된 동작 타이밍 및 S120 동작에서 교정된 동작 환경 하에서, 객체를 촬영할 수 있다. 이에 따라, 영상 촬영 장치들(10, 20)은 기초 영상의 데이터를 생성할 수 있다. 기초 영상은 관심 객체(30), 그 외 다른 객체(들), 및 배경 중 적어도 하나를 포함하는 객체를 촬영함으로써 생성될 수 있다. 기초 영상의 데이터는 객체의 외관, 및 영상 촬영 장치들(10, 20) 각각과 객체 사이의 거리에 관한 정보를 포함할 수 있다. 영상 획득 회로(110)는 영상 촬영 장치들(10, 20)로부터 기초 영상의 데이터를 획득할 수 있다.

도 4를 참조하면, 영상 획득 회로(110)에 의해 획득된 기초 영상의 예시가 나타나 있다. 예로서, 기초 영상은 관심 객체(30)(예컨대, 교통 표지판)를 포함할 수 있다. 도 4의 기초 영상에서, 주행을 멈출 것을 나타내는 교통 표지판("STOP") 및 도로의 진입부를 나타내는 교통 표지판("↘")이 나타나 있다. 한편, 기초 영상은 관심 객체(30) 외의 다른 객체들 또는 배경을 더 포함할 수 있다. 도 4의 기초 영상에서, 건물, 자동차, 나무 등과 같은 객체들 및 하늘과 같은 배경이 나타나 있다.

다시 도 3을 참조하면, S140 동작에서, 영상 획득 회로(110)는 기초 영상의 데이터를 출력할 수 있다. 출력된 데이터는 관심 영역 선택 회로(120) 및 부분 깊이 맵 생성 회로(130)로 제공될 수 있다. 몇몇 실시 예에서, 메모리/스토리지(160)는 기초 영상의 데이터를 저장할 수 있다.

도 5는 도 2의 관심 영역 선택 회로의 예시적인 동작을 설명하는 흐름도이다. 도 6은 도 2의 관심 영역 선택 회로에 의해 추출된 제 1 영역의 예시를 보여준다. 도 7은 도 2의 관심 영역 선택 회로에 의해 추출된 제 2 영역의 예시를 보여준다. 도 8은 도 2의 관심 영역 선택 회로에 의해 선택된 관심 영역의 예시를 보여준다.

도 5를 참조하면, S210 동작에서, 관심 영역 선택 회로(120)는 영상 획득 회로(110)를 통해(또는, 메모리/스토리지(160)로부터) 기초 영상의 데이터를 수신할 수 있다. 기초 영상의 데이터는 객체의 외관(예컨대, 색상, 모양 등)에 관한 정보를 포함할 수 있다.

S220 동작에서, 관심 영역 선택 회로(120)는 기초 영상에서 하나 이상의 관심 색상들을 표현하는 제 1 영역을 추출할 수 있다. 관심 색상은 관심 객체(30)가 가질 수 있는 색상을 포함할 수 있다. 예로서, 관심 객체(30)가 교통 표지판인 경우, 관심 색상은 빨간색, 노란색, 및 파란색을 포함할 수 있다. 이는 대부분의 교통 표지판이 빨간색, 노란색, 및 파란색 중 적어도 하나의 색상을 포함할 수 있기 때문이다.

도 6을 참조하면, 관심 영역 선택 회로(120)에 의해 추출된 제 1 영역의 예시가 나타나 있다. 도 6의 예시에서, 제 1 영역은 객체들(N1, N2, N3, N4)을 포함할 수 있다. 객체들(N1, N2, N3, N4) 각각은 관심 색상을 표현하기 때문에, 객체들(N1, N2, N3, N4)은 제 1 영역을 위해 추출될 수 있다. 한편, 몇몇 객체들(N1, N2)은 관심 객체(30)와 관련될 수 있지만, 몇몇 객체들(N3, N4)은 관심 객체(30)와 관련되지 않을 수 있다. 이는 제 1 영역이 색상에 기초하여 추출되기 때문이다.

몇몇 실시 예에서, 메모리/스토리지(160)는 관심 색상에 관한 정보를 저장할 수 있다. 관심 영역 선택 회로(120)는 메모리/스토리지(160)에 저장된 정보에 기초하여 제 1 영역을 추출할 수 있다.

다시 도 5를 참조하면, S230 동작에서, 관심 영역 선택 회로(120)는 기초 영상에서 하나 이상의 관심 모양들을 표현하는 제 2 영역을 추출할 수 있다. 관심 모양은 관심 객체(30)가 가질 수 있는 모양을 포함할 수 있다. 예로서, 관심 객체(30)가 교통 표지판인 경우, 관심 모양은 원형, 삼각형, 사각형, 및 팔각형을 포함할 수 있다. 이는 대부분의 교통 표지판이 원형, 삼각형, 사각형, 및 팔각형 중 하나로 구현될 수 있기 때문이다. 관심 영역 선택 회로(120)는 제 2 영역을 추출하기 위해 기초 영상에 대해 다양한 영상 처리 기법(예컨대, 에지 인핸스먼트(Edge Enhancement), 윤곽 추출(Outline Extraction) 등)을 적용할 수 있다.

도 7을 참조하면, 관심 영역 선택 회로(120)에 의해 추출된 제 2 영역의 예시가 나타나 있다. 도 7의 예시에서, 제 2 영역은 객체들(N1, N2, N3, N5)을 포함할 수 있다. 객체들(N1, N2, N3, N5) 각각은 관심 모양을 표현하기 때문에, 객체들(N1, N2, N3, N5)은 제 2 영역을 위해 추출될 수 있다. 한편, 몇몇 객체들(N1, N2)은 관심 객체(30)와 관련될 수 있지만, 몇몇 객체들(N3, N5)은 관심 객체(30)와 관련되지 않을 수 있다. 이는 제 2 영역이 모양에 기초하여 추출되기 때문이다.

몇몇 실시 예에서, 메모리/스토리지(160)는 관심 모양에 관한 정보를 저장할 수 있다. 관심 영역 선택 회로(120)는 메모리/스토리지(160)에 저장된 정보에 기초하여 제 2 영역을 추출할 수 있다.

다시 도 5를 참조하면, S240 동작에서, 관심 영역 선택 회로(120)는 관심 영역을 선택할 수 있다. 관심 영역은 제 1 영역이 제 2 영역과 중첩하는 영역에 대응할 수 있다. 즉, 관심 영역은 관심 색상 및 관심 모양 모두를 표현하는 영역을 포함할 수 있다. 관심 영역은 관심 색상 및 관심 모양 모두를 고려하여 선택될 수 있기 때문에, 관심 영역이 관심 객체(30)를 포함할 가능성이 상당히 클 수 있다.

도 8을 참조하면, 관심 영역 선택 회로(120)에 의해 선택된 관심 영역의 예시가 나타나 있다. 도 8의 예시에서, 관심 영역은 객체들(N1, N2, N3)을 포함할 수 있다. 객체들(N1, N2, N3)은 제 1 영역 및 제 2 영역 모두에 포함되기 때문에, 관심 영역에도 포함될 수 있다. 몇몇 객체들(N1, N2)은 관심 객체(30)와 관련될 수 있지만, 몇몇 객체(N3)는 여전히 관심 객체(30)와 관련되지 않을 수 있다.

다시 도 5를 참조하면, S250 동작에서, 관심 영역 선택 회로(120)는 관심 영역의 데이터를 출력할 수 있다. 예로서, 관심 영역의 데이터는 기초 영상 상에서의 관심 영역의 위치(예컨대, 좌표)에 관한 정보를 포함할 수 있다. 출력된 데이터는 부분 깊이 맵 생성 회로(130)로 제공될 수 있다. 몇몇 실시 예에서, 메모리/스토리지(160)는 관심 영역의 데이터를 저장할 수 있다.

도 9는 도 2의 부분 깊이 맵 생성 회로의 예시적인 동작을 설명하는 흐름도이다. 도 10은 도 2의 부분 깊이 맵 생성 회로에 의해 생성된 부분 깊이 맵의 예시를 보여준다.

도 9를 참조하면, S310 동작에서, 부분 깊이 맵 생성 회로(130)는 영상 획득 회로(110)를 통해(또는, 메모리/스토리지(160)로부터) 기초 영상의 데이터를 수신할 수 있다. 기초 영상의 데이터는 영상 촬영 장치들(10, 20) 각각과 객체 사이의 거리에 관한 정보를 포함할 수 있다. 나아가, 부분 깊이 맵 생성 회로(130)는 관심 영역 선택 회로(120)로부터(또는, 메모리/스토리지(160)로부터) 관심 영역의 데이터를 수신할 수 있다. 관심 영역의 데이터는 기초 영상 상에서의 관심 영역의 위치(예컨대, 좌표)에 관한 정보를 포함할 수 있다.

S320 동작에서, 부분 깊이 맵 생성 회로(130)는 기초 영상의 전체 영역 중 관심 영역에 대하여 부분 깊이 맵을 생성할 수 있다. 부분 깊이 맵은 영상 촬영 장치들(10, 20) 각각과 관심 영역에 포함되는 객체(들) 사이의 거리에 관한 정보를 표현할 수 있다. 부분 깊이 맵 생성 회로(130)는 관심 영역의 데이터 및 기초 영상의 데이터에 기초하여 부분 깊이 맵을 생성할 수 있다.

도 10을 참조하면, 부분 깊이 맵 생성 회로(130)에 의해 생성된 부분 깊이 맵의 예시가 나타나 있다. 예로서, 도 10에서, 검은색 영역은 거리 정보를 포함하지 않는 영역에 대응할 수 있다.

도 10을 도 8과 비교하면, 관심 영역에 대응하는 영역은 검지 않은 색으로 표현되었음이 이해될 수 있다. 검지 않은 색으로 표현된 영역은 거리 정보를 포함하는 부분 깊이 맵에 대응할 수 있다. 예로서, 흰색에 가까운 색상을 표현하는 영역은 영상 촬영 장치들(10, 20) 각각과 객체 사이의 거리가 상대적으로 가까움을 의미할 수 있다. 반면, 예로서, 진한 회색에 가까운 색상을 표현하는 영역은 영상 촬영 장치들(10, 20) 각각과 객체 사이의 거리가 상대적으로 멈을 의미할 수 있다.

예로서, 도 10을 참조하면, 객체(N1)에 대응하는 영역은 객체(N2)에 대응하는 영역에 비해 흰색에 가까운 색상을 표현함이 이해될 수 있다. 따라서, 영상 촬영 장치들(10, 20) 각각과 객체(N1) 사이의 거리는 영상 촬영 장치들(10, 20) 각각과 객체(N2) 사이의 거리보다 가까울 수 있다. 이러한 방식으로, 부분 깊이 맵은 영상 촬영 장치들(10, 20) 각각과 관심 영역에 포함되는 객체(들) 사이의 거리에 관한 정보를 표현할 수 있다.

본 발명의 실시 예에서, 기초 영상의 전체 영역에 대하여 깊이 맵을 생성하는 대신, 부분 깊이 맵 생성 회로(130)는 기초 영상의 일부분인 관심 영역을 위해 부분 깊이 맵을 생성할 수 있다. 관심 영역을 제외한 나머지 영역은 관심 객체(30)를 포함하지 않을 가능성이 상당히 크기 때문에, 관심 영역을 제외한 나머지 영역을 위한 깊이 맵은 생성되지 않아도 무방할 수 있다.

깊이 맵을 생성하는 것은 복잡하고 많은 양의 계산을 요구할 수 있다. 따라서, 전체 깊이 맵 대신 부분 깊이 맵을 생성하는 것은 계산 복잡도 및 계산량을 현저히 줄일 수 있다. 결과적으로, 본 발명의 실시 예에 따른 영상 처리 장치(100)는 빠른 속도로 관심 객체(30)를 식별할 수 있다.

다시 도 9를 참조하면, S330 동작에서, 부분 깊이 맵 생성 회로(130)는 부분 깊이 맵의 데이터를 출력할 수 있다. 부분 깊이 맵의 데이터는 영상 촬영 장치들(10, 20) 각각과 관심 영역에 포함되는 객체(들) 사이의 거리에 관한 정보를 포함할 수 있다. 출력된 데이터는 객체 후보 선택 회로(140)로 제공될 수 있다. 몇몇 실시 예에서, 메모리/스토리지(160)는 부분 깊이 맵의 데이터를 저장할 수 있다.

도 11은 도 2의 객체 후보 선택 회로의 예시적인 동작을 설명하는 흐름도이다. 더 나은 이해를 돕기 위해, 도 10이 도 11과 함께 참조될 것이다.

S410 동작에서, 객체 후보 선택 회로(140)는 부분 깊이 맵 생성 회로(130)로부터(또는, 메모리/스토리지(160)로부터) 부분 깊이 맵의 데이터를 수신할 수 있다. 나아가, S420 동작에서, 객체 후보 선택 회로(140)는 부분 깊이 맵에 기초하여, 관심 영역에 표현된 객체(들)의 크기를 추정할 수 있다.

부분 깊이 맵의 데이터는 영상 촬영 장치들(10, 20) 각각과 관심 영역에 포함되는 객체(들) 사이의 거리에 관한 정보를 포함할 수 있다. 따라서, 부분 깊이 맵은 관심 영역에 표현된 객체의 실제 크기를 추정하기 위해 참조될 수 있다.

예로서, 객체 후보 선택 회로(140)는 관심 영역에 포함되는 특정 객체의 기초 영상 상에서의 크기, 영상 촬영 장치들(10, 20) 각각과 위 특정 객체 사이의 거리, 영상 촬영 장치들(10, 20) 각각이 바라보는 방향을 따르는 직선과 영상 촬영 장치들(10, 20) 각각 및 위 특정 객체에 의해 형성되는 직선 사이의 각도 등과 같은 다양한 정보를 수집할 수 있다. 예로서, 객체 후보 선택 회로(140)는 수집된 정보에 기초하여 삼각함수의 연산을 수행할 수 있다. 이에 따라, 객체 후보 선택 회로(140)는 위 특정 객체의 실제 크기를 추정할 수 있다.

S430 동작에서, 객체 후보 선택 회로(140)는 관심 영역에 포함되는 특정 객체가 관심 객체(30)의 크기를 갖는지 여부를 판별할 수 있다. 여기서, 관심 객체(30)의 크기는 관심 객체(30)가 물리적으로 가질 수 있는 실제 크기를 의미할 수 있다. 예로서, 관심 객체(30)가 교통 표지판인 경우, 관심 객체(30)의 크기는 교통 표지판의 크기일 수 있고, 1㎡ 내외일 수 있다.

관심 객체(30)의 크기를 갖는 것으로 추정된 객체는 관심 객체(30)의 후보로서 이해될 수 있다. 예로서, 1㎡ 내외의 크기를 갖는 것으로 추정된 객체는 교통 표지판의 후보일 수 있다. 객체 후보 선택 회로(140)는 관심 객체(30)의 크기를 갖는 것으로 예측되는 관심 객체(30)의 후보를 표현하는 후보 영역을 선택할 수 있다.

예로서, 도 10을 참조하면, 객체 후보 선택 회로(140)는 객체(N1)가 1㎡ 내외의 실제 크기를 갖는 것으로 추정할 수 있다. 이 경우, 객체(N1)는 관심 객체(30)의 후보로서 선택될 수 있고, 후보 영역에 포함될 수 있다.

예로서, 도 10을 참조하면, 객체 후보 선택 회로(140)는 객체(N2) 역시 1㎡ 내외의 실제 크기를 갖는 것으로 추정할 수 있다. 객체(N2)의 기초 영상 상에서의 크기는 객체(N1)의 기초 영상 상에서의 크기보다 작을 수 있다. 그러나, 영상 촬영 장치들(10, 20) 각각과 객체(N2) 사이의 거리를 고려하면, 객체(N2)의 실제 크기는 객체(N1)의 실제 크기와 비슷할 수 있다. 이 경우, 객체(N2) 역시 관심 객체(30)의 후보로서 선택될 수 있고, 후보 영역에 포함될 수 있다.

한편, 도 10을 참조하면, 몇몇 경우, 객체 후보 선택 회로(140)는 객체(N3)가 1㎡를 상당히 초과하거나 미달하는 실제 크기를 갖는 것으로 추정할 수 있다. 이 경우, 객체(N3)는 관심 객체(30)의 후보로서 선택되지 않을 수 있고, 후보 영역에서 배제될 수 있다. 반면, 몇몇 경우, 객체(N3)가 1㎡ 내외의 실제 크기를 갖는 것으로 추정되면, 객체(N3)는 관심 객체(30)의 후보로서 후보 영역에 포함될 수 있다.

다시 도 11을 참조하면, S440 동작에서, 객체 후보 선택 회로(140)는 후보 영역의 데이터를 출력할 수 있다. 예로서, 후보 영역의 데이터는 기초 영상 상에서의 후보 영역의 위치(예컨대, 좌표)에 관한 정보를 포함할 수 있다. 출력된 데이터는 객체 식별 회로(150)로 제공될 수 있다. 몇몇 실시 예에서, 메모리/스토리지(160)는 후보 영역의 데이터를 저장할 수 있다.

도 12는 도 2의 객체 식별 회로의 예시적인 동작을 설명하는 흐름도이다.

S510 동작에서, 객체 식별 회로(150)는 객체 후보 선택 회로(140)로부터(또는, 메모리/스토리지(160)로부터) 후보 영역의 데이터를 수신할 수 있다. 예로서, 후보 영역의 데이터는 기초 영상 상에서의 후보 영역의 위치(예컨대, 좌표)에 관한 정보를 포함할 수 있다. 도 10 및 도 11을 참조하여 설명된 것과 같이, 후보 영역은 하나 이상의 객체들(예컨대, N개의 객체들)을 포함할 수 있다.

S520 내지 S560 동작들에서, 객체 식별 회로(150)는 후보 영역이 관심 객체(30)를 표현하는지 여부를 식별할 수 있다. 좀 더 구체적으로, 객체 식별 회로(150)는 후보 영역에 포함되는 N개의 객체들 각각이 관심 객체(30)인지 여부를 식별할 수 있다.

N개의 객체들 각각이 관심 객체(30)인지 여부를 식별하기 위해, S520 동작에서, 변수 "i"의 값이 0으로 초기화될 수 있다. 나아가, S530 동작에서, 변수 "i"의 값이 1씩 증가할 수 있다.

S540 동작에서, 예로서, 객체 식별 회로(150)는 후보 영역에 포함되는 i번째 객체가 관심 객체(30)를 표현하는지 여부에 관한 확률 값을 산출할 수 있다. S550 동작에서, 객체 식별 회로(150)는 후보 영역에 포함되는 i번째 객체가 관심 객체(30)를 표현하는지 여부를 식별할 수 있다. 이를 위해, 예로서, 객체 식별 회로(150)는 S540 동작에서 산출되는 확률 값을 참조할 수 있다.

예로서, 높은 확률 값은 후보 영역에 포함되는 i번째 객체가 관심 객체(30)일 가능성이 큼을 의미할 수 있다. 반면, 낮은 확률 값은 후보 영역에 포함되는 i번째 객체가 관심 객체(30)일 가능성이 작음을 의미할 수 있다.

몇몇 실시 예에서, S540 및 S550 동작들 동안, 객체 식별 회로(150)는 관심 객체(30)의 유형을 판별할 수 있다. 예로서, 관심 객체(30)가 교통 표지판인 경우, 관심 객체(30)의 유형은 교통 표지판이 최저 주행 속도가 시속 50km임을 나타내는지, 주행을 일시적으로 중단할 것을 나타내는지, 주행 속도를 줄일 것을 나타내는지 등과 관련될 수 있다. 관심 객체(30)의 판별된 유형에 기초하여, 객체 식별 회로(150)는 관심 객체(30)를 인식할 수 있다.

예로서, 관심 객체(30)가 교통 표지판인 경우, 객체 식별 회로(150)는 문자/도형을 인식하기 위해 다양한 영상 처리(예컨대, 템플릿 매칭(Template Matching) 등)를 수행할 수 있다. 또는, 객체 식별 회로(150)는 교통 표지판의 유형을 인식하기 위해 다양한 기계 학습(Machine Learning) 기법(예컨대, SVM(Support Vector Machine) 학습, 딥 러닝(Deep Learning) 등)을 채용할 수 있다. 다만, 본 발명은 이 예들로 한정되지 않고, 객체 식별 회로(150)는 관심 객체(30)를 인식하기 위해 다양한 알고리즘 또는 스킴을 채용할 수 있다.

S560 동작에서, 변수 "i"의 값이 "N" 이상인지 여부가 판별될 수 있다. 즉, 객체 식별 회로(150)는 후보 영역에 포함되는 N개의 객체들 모두가 식별되었는지 여부를 판별할 수 있다. N개의 객체들 모두가 식별되지는 않은 경우, S530 내지 S550 동작들이 다시 수행될 수 있다.

반면, N개의 객체들 모두가 식별된 경우, S570 동작에서, 객체 식별 회로(150)는 식별 결과를 출력할 수 있다. 식별 결과는 후보 영역에 포함되는 N개의 객체들 각각이 관심 객체(30)인지 여부에 관한 정보, 및/또는 관심 객체(30)의 유형에 관한 정보를 포함할 수 있다.

식별 결과는 메모리/스토리지(160)에 저장될 수 있다. 또는, 식별 결과는 영상 처리 장치(100)의 사용자에게 제공될 수 있다. 몇몇 경우, 식별 결과는 사용자에게 다양한 서비스를 제공하기 위해, 영상 처리 장치(100) 또는 다른 전자 장치/시스템에 의해 참조될 수 있다.

도 13은 도 2의 객체 식별 회로의 예시적인 구성을 보여주는 블록도이다. 몇몇 실시 예에서, 객체 식별 회로(150)는 복수의 관심 객체 식별기(예컨대, 관심 객체 식별기들(151, 152, 153)) 및 최종 판별기(155)를 포함할 수 있다.

예로서, 도 12를 참조하여 설명된 것과 같이, 객체 식별 회로(150)는 관심 객체(30)를 인식하기 위해 다양한 영상 처리를 수행하거나 다양한 기계 학습 기법을 채용할 수 있다. 관심 객체 식별기들(151, 152, 153) 각각은 후보 영역에 포함되는 i번째 객체에 대하여 영상 처리를 수행하거나 기계 학습 기법을 적용할 수 있다. 따라서, 관심 객체 식별기들(151, 152, 153) 각각은 i번째 객체가 관심 객체(30)인지 여부를 식별할 수 있다.

관심 객체 식별기들(151, 152, 153)은 상이한 알고리즘들을 채용할 수 있다. 예로서, 관심 객체 식별기(151)는 i번째 객체에 대하여 영상 처리를 수행할 수 있다. 한편, 관심 객체 식별기(152)는 i번째 객체에 대하여 제 1 기계 학습 기법을 적용할 수 있고, 관심 객체 식별기(153)는 i번째 객체에 대하여 제 2 기계 학습 기법을 적용할 수 있다. 따라서, 관심 객체 식별기들(151, 152, 153)은 하나의 i번째 객체에 대하여 상이한 판별 결과들을 각각 생성할 수 있다.

최종 판별기(155)는 관심 객체 식별기들(151, 152, 153)의 판별 결과들을 수신할 수 있다. 최종 판별기(155)는 수신된 판별 결과들을 종합적으로 고려하여, 최종 식별 결과를 출력할 수 있다.

즉, i번째 객체를 식별하기 위해 하나의 알고리즘을 채용하는 대신, 객체 식별 회로(150)는 i번째 객체를 식별하기 위해 복수의 상이한 알고리즘을 채용할 수 있다. 따라서, 상이한 알고리즘들의 단점들이 상호보완될 수 있고, i번째 객체가 잘못 식별될 가능성이 줄어들 수 있다(즉, 식별의 정확도가 향상될 수 있다).

도 14는 도 13의 객체 식별 회로를 이용하여 식별 결과를 출력하는 예시적인 과정을 설명하기 위한 개념도이다.

더 나은 이해를 돕기 위한 예시로서, 객체 식별 회로(150)는 후보 영역에 포함되는 i번째 객체로서 도 10의 객체(N1)의 데이터를 수신할 수 있다. 객체 식별 회로(150)에 포함되는 관심 객체 식별기들(151, 152, 153) 각각은 객체(N1)의 데이터를 수신할 수 있다.

관심 객체 식별기들(151, 152, 153) 각각은 객체(N1)에 대하여 영상 처리를 수행하거나 기계 학습 기법을 적용할 수 있다. 이에 따라, 관심 객체 식별기들(151, 152, 153) 각각은 객체(N1)가 관심 객체(30)인지 여부(예로서, 객체(N1)가 교통 표지판인지 여부)를 식별할 수 있다.

예로서, 관심 객체 판별기(151)는 객체(N1)가 "STOP"의 단어를 포함하는 교통 표지판일 확률이 0.9임을 판별할 수 있다. 한편, 관심 객체 판별기(152)는 객체(N1)가 "SLOW"의 단어를 포함하는 교통 표지판일 확률이 0.6임을 판별할 수 있고, 관심 객체 판별기(153)는 객체(N1)가 "STOP"의 단어를 포함하는 교통 표지판일 확률이 0.7임을 판별할 수 있다.

최종 판별기(155)는 관심 객체 식별기들(151, 152, 153)의 판별 결과들을 수신할 수 있다. 최종 판별기(155)는 수신된 판별 결과들을 종합적으로 고려할 수 있다. 예로서, 최종 판별기(155)는 관심 객체 식별기들(151, 152, 153)에 의해 산출된 확률 값들에 대해 적절한 통계 처리(예컨대, 가중 평균의 산출)를 수행할 수 있다.

예로서, 최종 판별기(155)는 관심 객체 식별기들(151, 152, 153)로부터 수신된 판별 결과들에 기초하여, 객체(N1)가 "STOP"의 단어를 포함하는 교통 표지판일 확률이 0.8이고 객체(N1)가 "SLOW"의 단어를 포함하는 교통 표지판일 확률이 0.2임을 판별할 수 있다. 이러한 예에서, 최종 판별기(155)는 객체(N1)가 관심 객체(30)(즉, 교통 표지판)임을 식별할 수 있다. 나아가, 최종 판별기(155)는 객체(N1)가 "STOP"의 단어를 포함하는 교통 표지판임을 인식할 수 있다. 최종 판별기(155)는 객체(N1)가 "STOP"의 단어를 포함하는 교통 표지판임을 나타내는 식별 결과를 출력할 수 있다.

도 15는 도 13의 객체 식별 회로를 이용하여 식별 결과를 출력하는 예시적인 과정을 설명하기 위한 개념도이다.

도 10 및 도 11을 참조하여 설명된 것과 같이, 몇몇 경우, 도 10의 객체(N3)는 관심 객체(30)의 크기에 대응하는 실제 크기를 가질 수 있다. 이러한 경우, 객체(N3)는 그것이 관심 객체(30)가 아님에도 불구하고 관심 객체(30)의 후보로서 선택될 수 있다. 더 나은 이해를 돕기 위한 예시로서, 객체 식별 회로(150)는 후보 영역에 포함되는 i번째 객체로서 객체(N3)의 데이터를 수신할 수 있다. 객체 식별 회로(150)에 포함되는 관심 객체 식별기들(151, 152, 153) 각각은 객체(N3)의 데이터를 수신할 수 있다.

관심 객체 식별기들(151, 152, 153) 각각은 객체(N3)에 대하여 영상 처리를 수행하거나 기계 학습 기법을 적용할 수 있다. 이에 따라, 관심 객체 식별기들(151, 152, 153) 각각은 객체(N3)가 관심 객체(30)인지 여부(예로서, 객체(N3)가 교통 표지판인지 여부)를 식별할 수 있다.

예로서, 관심 객체 판별기(151)는 객체(N3)가 "STOP"의 단어를 포함하는 교통 표지판일 확률이 0.05임을 판별할 수 있다. 한편, 관심 객체 판별기(152)는 객체(N3)가 "STOP"의 단어를 포함하는 교통 표지판일 확률이 0.1임을 판별할 수 있고, 관심 객체 판별기(153)는 객체(N3)가 "STOP"의 단어를 포함하는 교통 표지판일 확률이 0.05임을 판별할 수 있다.

최종 판별기(155)는 관심 객체 식별기들(151, 152, 153)의 판별 결과들을 수신할 수 있다. 몇몇 실시 예에서, 관심 객체 식별기들(151, 152, 153)에 의해 산출된 모든 확률 값들이 기준 값 미만인 경우, 최종 판별기(155)는 i번째 객체가 관심 객체(30)와 관련되지 않은 것으로 판별할 수 있다. 기준 값은 관심 객체 식별기들(151, 152, 153) 각각의 식별 능력을 고려하여 적절한 값을 갖도록 선택될 수 있다.

예로서, 기준 값이 0.2인 경우, 최종 판별기(155)는 객체(N3)가 교통 표지판이 아님을 식별할 수 있다. 최종 판별기(155)는 객체(N3)가 교통 표지판이 아님을 나타내는 식별 결과를 출력할 수 있다.

다만, 도 14 및 도 15를 참조하여 설명된 예시들은 더 나은 이해를 돕기 위해 제공된 것이다. 객체 식별 회로(150)의 구성 및 동작은 후보 영역에 포함되는 객체들 각각을 식별하고 인식하기 위해 다양하게 변경 또는 수정될 수 있다. 본 발명은 도 14 및 도 15를 참조하여 설명된 예시들에 의해 한정되지 않는다.

도 16은 도 2의 영상 처리 장치를 이용하여 도 4의 기초 영상으로부터 식별된 관심 객체의 예시를 보여준다. 도 16을 참조하면, 객체들(N1, N2)이 관심 객체(30)로서 식별되었음이 이해될 수 있다.

위에서 설명된 본 발명의 실시 예들에 따르면, 객체들(N1, N2)은 관심 색상 및 관심 모양에 기초하여 제 1 영역 및 제 2 영역에 포함될 수 있다. 따라서, 객체들(N1, N2)은 관심 영역에 포함될 수 있다.

관심 영역에 대하여 생성된 부분 깊이 맵에 기초하여, 객체들(N1, N2) 각각의 실제 크기가 추정될 수 있다. 객체들(N1, N2) 각각의 실제 크기가 관심 객체(30)의 크기와 동일 또는 유사함에 따라, 객체들(N1, N2) 각각은 관심 객체(30)의 후보로서 선택될 수 있다. 나아가, 객체들(N1, N2) 각각은 복수의 관심 객체 판별기를 통해 관심 객체(30)로 판별될 수 있다.

본 발명의 실시 예들에 따르면, 전체 깊이 맵 대신 부분 깊이 맵을 생성함으로써, 계산 복잡도 및 계산량이 현저히 감소할 수 있다. 게다가, 특정 객체가 관심 객체(30)인지 여부를 식별하고 인식하기 위해, 복수의 상이한 알고리즘이 채용될 수 있다. 따라서, 본 발명의 실시 예에 따른 영상 처리 장치(100)는 적은 양의 계산으로 빠르고 정확하게 관심 객체(30)를 식별할 수 있다.

도 17은 도 1의 영상 처리 장치의 예시적인 구성을 보여주는 블록도이다. 몇몇 실시 예에서, 도 1의 영상 처리 장치(100)는 도 17의 영상 처리 장치(200)를 포함할 수 있다. 몇몇 실시 예에서, 영상 처리 장치(200)는 프로세서(210), 메모리(260), 및 스토리지(262)를 포함할 수 있다.

프로세서(210)는 하나 이상의 프로세서 코어들을 포함할 수 있다. 프로세서(210)는 영상 처리 장치(200)를 동작시키기 위해 필요한 다양한 산술/논리 연산을 수행할 수 있다. 이를 위해, 프로세서(210)는 전용 논리 회로들(예컨대, FPGA, ASICs 등)을 포함할 수 있다. 예로서, 프로세서(210)는 영상 처리 장치(200)의 유형에 의존하여, 범용 프로세서, 어플리케이션 프로세서(Application Processor), ISP(Image Signal Processor) 등과 같이 다양한 형태로 구현될 수 있다.

프로세서(210)는 소프트웨어 형태로 구현된 프로그램 코드(Program Code)의 명령어 집합(Instruction Set)을 컴파일(Compile) 및 번역(Interpret)할 수 있다. 나아가, 프로세서(210)는 컴파일 또는 번역된 명령어를 실행할 수 있다. 이에 따라, 프로세서(210)는 프로그램 코드에 의해 의도된 기능들을 제공할 수 있다.

몇몇 실시 예에서, 도 2의 영상 획득 회로(110), 관심 영역 선택 회로(120), 부분 깊이 맵 생성 회로(130), 객체 후보 선택 회로(140), 및 객체 식별 회로(150) 각각은 소프트웨어 형태로 구현될 수 있다. 소프트웨어로 구현된 영상 획득 회로(110), 관심 영역 선택 회로(120), 부분 깊이 맵 생성 회로(130), 객체 후보 선택 회로(140), 및 객체 식별 회로(150)의 기능들은 프로세서(210)에 의해 제공될 수 있다. 이를 위해, 프로세서(210)는 영상 획득 회로(110), 관심 영역 선택 회로(120), 부분 깊이 맵 생성 회로(130), 객체 후보 선택 회로(140), 및 객체 식별 회로(150)의 프로그램 코드들을 실행할 수 있다.

예로서, 프로세서(210)는 영상 촬영 장치들(10, 20)을 제어하여 기초 영상의 데이터를 획득할 수 있다. 예로서, 프로세서(210)는 관심 색상 및 관심 모양에 기초하여 기초 영상으로부터 제 1 영역 및 제 2 영역을 추출할 수 있고, 제 1 영역이 제 2 영역과 중첩하는 영역을 관심 영역으로서 선택할 수 있다. 예로서, 프로세서(210)는 관심 영역에 대하여 부분 깊이 맵을 생성할 수 있다.

예로서, 프로세서(210)는 부분 깊이 맵에 기초하여, 관심 영역에 포함되는 객체의 크기를 추정할 수 있다. 예로서, 프로세서(210)는 추정 결과에 기초하여, 관심 객체(30)의 후보를 선택할 수 있다. 예로서, 프로세서(210)는 관심 객체(30)의 후보가 실제 관심 객체(30)인지 여부를 식별하고 인식할 수 있다. 이에 따라, 프로세서(210)는 식별 결과를 출력할 수 있다.

메모리(260)는 프로세서(210)에 의해 처리된 또는 처리될 데이터를 저장할 수 있다. 메모리(260)는 위에서 설명된 다양한 데이터 및 정보를 저장할 수 있다. 예로서, 메모리(260)는 영상 처리 장치(200)를 위한 버퍼 메모리, 캐시 메모리, 및/또는 워킹 메모리로서 제공될 수 있다.

스토리지(262)는 프로세서(210)를 동작시키기 위해 이용되는 데이터를 저장할 수 있다. 스토리지(262)는 위에서 설명된 다양한 데이터 및 정보를 저장할 수 있다. 예로서, 스토리지(262)는 프로세서(210)에 의해 제공되는 기능들을 실행하기 위해 설계된 소프트웨어(SW)의 명령어 코드들을 저장할 수 있다.

몇몇 실시 예에서, 도 2의 영상 획득 회로(110), 관심 영역 선택 회로(120), 부분 깊이 맵 생성 회로(130), 객체 후보 선택 회로(140), 및 객체 식별 회로(150)는 하드웨어 및 소프트웨어의 하이브리드(Hybrid) 형태로 구현될 수 있다. 본 발명의 실시 예의 구현은 다양하게 변경 또는 수정될 수 있다.

도 18은 본 발명의 실시 예에 따른 영상 처리 장치를 이용하여 관심 객체를 식별하도록 설계된 전자 장치/시스템의 예시를 보여주는 개념도이다.

전자 장치/시스템(1000)은 본 발명의 실시 예에 따른 영상 처리 장치(100 또는 200)를 포함할 수 있다. 예로서, 전자 장치/시스템(1000)은 자동차일 수 있다.

자동차는 위에서 설명된 본 발명의 실시 예들에 따라 영상 처리 장치(100 또는 200)로부터 출력된 식별 결과에 기초하여, 관심 객체(30)(예컨대, 교통 표지판, 장애물, 신호등, 도로 안내판, 사람 등)를 인식할 수 있다. 자동차는 관심 객체(30)를 인식함으로써, 운전자의 조작 없이, 자율적으로 주행할 수 있다. 예로서, 자동차는 교통 표지판 또는 신호등을 인식함으로써, 교통 표지판 또는 신호등의 지시에 대응하여 주행할 수 있다. 예로서, 자동차는 장애물 또는 사람을 인식함으로써, 교통 안전을 도모하기 위해 주행할 수 있다.

위에서 설명된 것과 같이, 본 발명의 실시 예들에 따르면, 영상 처리 장치(100 또는 200)는 전체 깊이 맵 대신 부분 깊이 맵을 생성할 수 있고, 따라서 계산 복잡도 및 계산량이 현저히 감소할 수 있다. 게다가, 특정 객체가 관심 객체(30)인지 여부를 식별하고 인식하기 위해, 영상 처리 장치(100 또는 200)는 복수의 상이한 알고리즘을 채용할 수 있다. 결과적으로, 영상 처리 장치(100 또는 200)를 포함하는 자동차는 적은 양의 계산으로 빠르고 정확하게 관심 객체(30)를 식별할 수 있고, 따라서 효율적이고 안전하게 주행할 수 있다.

도 18에서, 영상 처리 장치(100 또는 200)를 포함하는 전자 장치/시스템(1000)이 자동차인 것으로 도시되었다. 그러나, 몇몇 실시 예에서, 영상 처리 장치(100 또는 200)는 항공기, 드론, 로보트 등과 같은 다른 유형의 전자 장치/시스템에 장착될 수 있다. 본 발명의 실시 예에 따른 영상 처리 장치(100 또는 200)를 포함하는 전자 장치/시스템(1000)은 적은 양의 계산으로 빠르고 정확하게 관심 객체(30)를 식별할 수 있다.

각각의 개념도에 나타낸 구성은 단지 개념적인 관점에서 이해되어야 한다. 본 발명의 이해를 돕기 위해, 개념도에 나타낸 구성 요소 각각의 형태, 구조, 크기 등은 과장 또는 축소되어 표현되었다. 실제로 구현되는 구성은 각각의 개념도에 나타낸 것과 다른 물리적 형상을 가질 수 있다. 각각의 개념도는 구성 요소의 물리적 형상을 제한하기 위한 것이 아니다.

각각의 블록도에 나타낸 장치 구성은 발명의 이해를 돕기 위한 것이다. 각각의 블록은 기능에 따라 더 작은 단위의 블록들로 형성될 수 있다. 또는, 복수의 블록들은 기능에 따라 더 큰 단위의 블록을 형성할 수 있다. 즉, 본 발명의 기술 사상은 블록도에 도시된 구성에 의해 한정되지 않는다.

이상에서, 본 발명에 관한 실시 예들을 중심으로 본 발명이 설명되었다. 다만, 본 발명이 속하는 기술 분야의 특성상, 본 발명이 이루고자 하는 목적은 본 발명의 요지를 포함하면서도 위 실시 예들과 다른 형태로 달성될 수 있다. 따라서, 위 실시 예들은 한정적인 것이 아니라 설명적인 측면에서 이해되어야 한다. 즉, 본 발명의 요지를 포함하면서 본 발명과 같은 목적을 달성할 수 있는 기술 사상은 본 발명의 기술 사상에 포함되는 것으로 해석되어야 한다.

따라서, 본 발명의 본질적인 특성을 벗어나지 않는 범위 내에서 수정 또는 변형된 기술 사상은 본 발명이 청구하는 보호 범위에 포함되는 것이다. 또한, 본 발명의 보호 범위는 위 실시 예들로 한정되는 것이 아니고, 청구항으로부터 읽히는 기술 사상을 커버하는 것으로 이해되어야 한다.

10, 20 : 영상 촬영 장치 30 : 관심 객체
100 : 영상 처리 장치 110 : 영상 획득 회로
120 : 관심 영역 선택 회로 130 : 부분 깊이 맵 생성 회로
140 : 객체 후보 선택 회로 150 : 객체 식별 회로
151, 152, 153 : 관심 객체 판별기
155 : 최종 판별기 160 : 메모리/스토리지
200 : 영상 처리 장치 210 : 프로세서
260 : 메모리 262 : 스토리지
1000 : 전자 장치/시스템

Claims (1)

1. 복수의 영상 촬영 장치를 제어하여 기초 영상의 데이터를 획득하도록 구성되는 영상 획득 회로;
   상기 기초 영상에서 하나 이상의 관심 색상들을 표현하는 제 1 영역이 상기 기초 영상에서 하나 이상의 관심 모양들을 표현하는 제 2 영역과 중첩하는 영역을 관심 영역으로서 선택하도록 구성되는 관심 영역 선택 회로;
   상기 기초 영상의 전체 영역 중 상기 관심 영역에 대하여 부분적인 깊이 맵을 생성하도록 구성되는 부분 깊이 맵 생성 회로;
   상기 부분적인 깊이 맵에 기초하여 상기 관심 영역에서 관심 객체의 크기를 갖는 것으로 예측되는 상기 관심 객체의 후보를 표현하는 후보 영역을 선택하도록 구성되는 객체 후보 선택 회로; 및
   상기 후보 영역이 상기 관심 객체를 표현하는지 여부를 식별하도록 구성되는 객체 식별 회로를 포함하는 영상 처리 장치.

Images