KR20220136196A - 화상 처리 장치, 화상 처리 방법, 이동 장치, 및 저장 매체 - Google Patents

Abstract

처리 부하를 억제하면서 고정밀 영역 분할 결과를 얻을 수 있는 화상 처리 장치를 실현하기 위해서, 화상 처리 장치는 화상 데이터로부터 오브젝트를 검출하도록 구성되는 오브젝트 검출 유닛, 오브젝트 검출 유닛의 검출 결과에 따라 화소에 카테고리가 부여되는 대상 영역을 설정하도록 구성되는 영역 설정 유닛, 및 영역 설정 유닛에 의해 설정된 대상 영역의 카테고리에 속하는 화소에 카테고리를 부여하도록 구성되는 카테고리 부여 유닛을 포함한다.

Description

화상 처리 장치, 화상 처리 방법, 이동 장치, 및 저장 매체{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, MOVING DEVICE, AND STORAGE MEDIUM}

본 발명은 화상 처리 장치, 화상 처리 방법, 이동 장치, 저장 매체 등에 관한 것이다.

차량의 자동 운전 및 자가-추진 로봇의 주위 환경의 이해를 위한 기술 개발이 진전되고 있으며, 특히, 기계 학습을 이용한 대상 오브젝트까지의 거리를 추정하는 기술이 진전되고 있다. 예를 들어, 차량이 주행하는 동안 교통 신호까지의 거리를 추정하기 위해서, 규격에 의해 규정된 교통 신호의 발광 부분의 실제 사이즈를 기계 학습 모델에 의해 영역 분할이 행해진 화상 상의 발광 부분의 직경의 화소수 또는 그 면적과 비교함으로써, 교통 신호까지의 거리를 추정하는 기술이 있다. 영역 분할 방법으로서, 기계 학습 모델이 화상 상의 교통 신호를 식별(카테고리화)하고 그 오브젝트를 포함하는 직사각형(검출 영역)을 설정하는 오브젝트 검출이 있다. 대안적으로, 화소 단위에서 카테고리 분류를 행함으로써 의미적 영역 분할을 행하는 시맨틱 세그멘테이션(semantic segmentation)이라고 불리는 방법이 있다.

Lubor Ladicky, Paul Sturgess, Karteek Alahari, Chris Russell, 및 Philip H.S. Torr, What, Where & How Many? Combining Detectors and CRFs, ECCV2010

영역 분할의 정밀도를 향상시키기 위해서, 상기 문헌은 오브젝트 검출 결과로부터 오브젝트의 존재 범위를 추정하고, 이 추정된 범위에 오브젝트가 존재할 가능성을 상승시키며, 그 후 시맨틱 세그멘테이션을 행하는 기술을 개시하고 있다.

대안적으로, 상기 문헌은, 화상으로부터 대상이 존재하는 영역을 검출하고, 화상으로부터 상기 영역을 확대해서 제1 화상을 잘라내고, 상기 영역 내의 대상으로부터 제2 화상을 생성하고, 제1 화상과 제2 화상을 사용하여 기계 학습을 행하는 기술을 개시하고 있다.

오브젝트 검출을 위해, 고속으로 처리 가능한 복수의 뉴럴 네트워크 구성이 제안되고 있다. 한편, 시맨틱 세그멘테이션은, 고정밀도로 영역 분할이 가능하지만, 오브젝트 검출과 비교할 때 많은 연산량을 필요로 하는 경향이 있다는 것이 알려져 있다. 상기 문헌에 기재된 기술은 이들 기계 학습 모델 각각을 실시하기 때문에, 자동 운전 등의 실시간성이 필요한 처리에 대해서는 처리 부하가 너무 높은 문제가 있다.

결과적으로, 본 발명의 하나의 목적은 처리 부하를 억제하면서 고정밀도의 영역 분할 결과를 얻을 수 있는 화상 처리 장치 등을 제공하는 것이다.

본 발명의 일 양태에 따르면, 적어도 하나의 프로세서 또는 회로를 포함하는 화상 처리 장치가 제공되며, 상기 적어도 하나의 프로세서 또는 회로는,

화상 데이터로부터 오브젝트를 검출하도록 구성되는 오브젝트 검출 유닛;

상기 오브젝트 검출 유닛의 검출 결과에 따라 화소에 카테고리가 부여되는 대상 영역을 설정하도록 구성되는 영역 설정 유닛; 및

상기 영역 설정 유닛에 의해 설정된 상기 대상 영역의 상기 카테고리에 속하는 상기 화소에 상기 카테고리를 부여하도록 구성되는 카테고리 부여 유닛으로서 기능하도록 구성된다.

본 발명의 추가적인 특징은 첨부된 도면을 참고한 실시형태에 대한 다음의 설명으로부터 명확해질 것이다.

도 1은 본 발명의 제1 실시형태에서의 화상 처리 장치의 구성예를 도시하는 블록도이다.
도 2는 제1 실시형태에서의 화상 처리 유닛의 구성예를 도시하는 기능 블록도이다.
도 3은 제1 실시형태에서의 화상 처리 유닛의 동작예를 도시하는 흐름도이다.
도 4a 내지 도 4d는 제1 실시형태에서의 화상 데이터의 예를 도시하는 도면이다.
도 5a 내지 도 5c는 제1 실시형태에서의 대상 영역 설정을 도시하는 도면이다.
도 6a 및 도 6b는 제1 실시형태에서의 영역 어긋남 추정을 도시하는 도면이다.
도 7은 제2 실시형태에서의 화상 처리 유닛의 구성예를 도시하는 블록도이다.
도 8은 제2 실시형태에서의 화상 처리 유닛의 동작예를 도시하는 흐름도이다.
도 9는 도 8에 후속하는 동작예를 도시하는 흐름도이다.
도 10은 제2 실시형태에서의 배율 변경율을 결정하는 방법을 도시하는 도면이다.
도 11은 제3 실시형태에서의 화상 합성 방법을 도시하는 도면이다.
도 12는 제3 실시형태에서의 모델 학습에 사용되는 학습 화상을 생성하는 방법을 도시하는 흐름도이다.

이하, 첨부 도면을 참고하면서, 실시형태를 사용하여 본 발명의 유리한 모드에 대해서 설명한다. 각각의 도면에서, 동일한 부재 또는 요소에는 동일한 참조 부호가 부여되며, 그에 대한 중복하는 설명은 생략하거나 간략화한다.

대안적으로, 실시형태에서, 화상 처리 장치로서의 차량 내 카메라에 대한 적용예에 대해서 설명한다. 그러나, 화상 처리 장치는 디지털 스틸 카메라, 디지털 무비 카메라, 카메라를 구비한 스마트폰, 카메라를 구비한 태블릿 컴퓨터, 네트워크 카메라, 드론 카메라, 및 로봇에 탑재된 카메라 등의 촬상 기능을 갖는 임의의 전자 기기를 포함한다.

대안적으로, 일 실시형태에서는, 이동 장치로서의 자동차에 탑재된 화상 처리 장치의 예를 설명하지만, 이동 장치는 자동차에 한정되지 않고, 비행기, 선박, 로봇, 또는 드론 등의 이동가능한 장치를 포함한다.

(제1 실시형태)

본 발명의 제1 실시형태에서는, 화상 데이터에 대해 오브젝트 검출을 행하고, 카테고리와 그 검출 영역을 특정한다. 또한, 오브젝트 검출에 의해 특정된 검출 영역에서의 예상되는 정답 영역으로부터의 괴리도에 기초하여 검출 영역을 확대한 화상 데이터를 잘라내고, 확대한 화상 데이터에 대하여 시맨틱 세그멘테이션을 행하는 예에 대해서 설명한다. 본 실시형태의 시맨틱 세그멘테이션에서 다루는 검출 대상인 카테고리는 사람, 동물, 자동차, 이륜차, 건물, 도로, 교통 신호, 및 교통 표지 등의 자연물 및 인공물이다.

(화상 처리 장치의 구성)

도 1은 본 실시형태에 따른 화상 처리 장치의 구성예를 도시하는 블록도이다. 화상 처리 장치는 CPU(100), RAM(101), ROM(102), 촬영 유닛(103), 화상 처리 유닛(104), I/F(인터페이스) 유닛(105), 및 버스(106)를 포함한다.

CPU(100)는 RAM(101) 및 ROM(102)에 저장되어 있는 컴퓨터 프로그램 및 데이터를 사용하여 화상 처리 장치 전체의 동작 제어를 행한다.

RAM(101)은, I/F 유닛(105)을 통해서 로드된 컴퓨터 프로그램, 최신의 수 프레임분에 대한 화상 데이터, 화상 처리 유닛(104)에서 사용되는 처리 파라미터 등을 일시적으로 저장하기 위한 저장 영역을 갖는다. 대안적으로, RAM은 CPU(100)가 각종 처리를 실행할 때에 사용되는 저장 영역 또는 화상 처리 유닛(104)이 화상 처리를 실시할 때에 사용되는 저장 영역을 갖는다. 따라서, RAM(101)은 각종 저장 영역을 적절히 제공할 수 있다.

ROM(102)은 본 장치의 설정 데이터, 부트 프로그램 등을 저장한다.

촬영 유닛(103)은 광학 렌즈, CMOS 이미지 센서 등에 의해 구성되는 카메라이며, 촬상 대상인 비디오 데이터를 취득한다. 본 실시형태에서는, 일반적인 센서 보정 또는 디모자이크 처리를 실시함으로써 RGB 컬러 화상으로 변환된 화상이 RAM(101)에 저장된다.

화상 처리 유닛(104)은, ROM(102) 등에 저장된 컴퓨터 프로그램을 실행 가능한 프로세서 또는 전용 화상 처리 회로로서 실현되며, 본 실시형태의 화상 처리 방법을 실시한다. 예를 들어, CPU(100)로부터 화상 처리의 실행 지시를 접수하면, RAM(101)에 저장된 화상 데이터를 처리하고, 검출 대상을 포함하는 영역에 대해 시맨틱 세그멘테이션을 행하는 영역 분할 맵을 출력한다. 대안적으로, 화상 처리 시에는, RAM(101)에 저장된 처리 파라미터를 적절히 판독이면서 처리를 실시한다. 한편, 시맨틱 세그멘테이션에 의해 형성되는 영역 분할 맵은, 각각의 화소마다(예를 들어, 각각의 화소마다 또는 복수의 화소 각각마다) 카테고리 정보를 부여한 맵을 나타낸다.

I/F 유닛(105)은 외부 저장 장치 또는 인터넷에 본 장치를 접속하기 위한 인터페이스로서 기능한다.

상기 유닛 각각은 버스(106)에 접속되어 있다.

한편, 본 실시형태의 화상 처리 장치의 구성은 도 1에 나타낸 구성에 한정되지 않는다.

(화상 처리 유닛의 구성)

이어서, 도 2는 제1 실시형태에서의 화상 처리 유닛의 구성예를 도시하는 기능 블록도이며, 화상 처리 유닛(104)이 전용 화상 처리 회로로서 실현되는 경우에는, 이는 도 2에 나타낸 기능 블록에 의해 구성될 수 있다.

본 실시형태에서는, 화상 처리 유닛(104)은 ROM(102) 등에 저장된 컴퓨터 프로그램을 실행 가능한 프로세서이며, 도 3에 나타낸 처리 흐름도에 따라 처리를 실행함으로써 도 2의 각각의 블록의 기능이 실현된다.

도 2에 나타내는 바와 같이, 화상 처리 유닛(104)은 화상 취득 유닛(200), 오브젝트 검출 유닛(201), 영역 설정 유닛(202), 대상 화상 취득 유닛(203), 시맨틱 세그멘테이션 유닛(204), 및 영역 어긋남 추정 유닛(205)을 포함한다. 참조 번호 200 내지 205 각각은 프로세서에 의해 실현되는 기능 블록이다.

화상 취득 유닛(200)은 RAM(101)에 저장된 처리 대상인 화상 데이터를 취득한다.

오브젝트 검출 유닛(201)은, 화상 데이터로부터 미리결정된 방법을 사용해서 복수의 오브젝트를 검출하고, 이들 오브젝트의 카테고리 및 오브젝트가 검출된 검출 영역을 식별하고 출력한다.

영역 설정 유닛(202)은, 검출 영역에 대하여 실제로 정답 영역이 존재할 가능성이 있는 영역과의 어긋남에 따라서 검출 영역을 수정한 미리결정된 검출 영역을, 시맨틱 세그멘테이션을 실시하기 위한 대상 영역으로서 설정한다. 즉, 영역 설정 유닛은, 오브젝트 검출 유닛의 검출 결과에 따라, 화소에 카테고리가 부여되는 대상 영역을 설정한다.

대상 화상 취득 유닛(203)은 영역 설정 유닛(202)에 의해 설정된 영역의 화상 데이터를 RAM(101)으로부터 취득한다.

시맨틱 세그멘테이션 유닛은, 영역 설정 유닛(202)에 의해 설정된 대상 영역의 화상 데이터를, 대상 화상 취득 유닛(203)을 통해서 입력하고, 오브젝트와 배경에 대해 카테고리에 따라서 영역 분할을 실시한다. 여기서, 시맨틱 세그멘테이션 유닛은, 대상 영역의 화상 데이터 내의 미리결정된 카테고리에 속하는 화소에 카테고리를 부여하는 카테고리 부여 유닛으로서 기능한다.

한편, 각각의 화소마다 카테고리를 부여될 때, 각각의 화소마다가 아니고 복수의 화소 각각마다 카테고리를 부여할 수 있다.

영역 어긋남 추정 유닛(205)은, 오브젝트 검출 유닛(201)과 시맨틱 세그멘테이션 유닛(204)의 출력 결과를 비교하고, 오브젝트 검출 유닛(201)에서 발생하는 영역 어긋남양을 추정한다.

(화상 처리 유닛의 동작의 설명)

도 3은 제1 실시형태에서의 화상 처리 유닛의 동작예를 도시하는 흐름도이다. 화상 처리 유닛(104) 내의 프로세서가 컴퓨터 프로그램을 실행함으로써, 도 2에 나타내는 각각의 블록의 기능이 실현되며, 도 3의 각각의 단계의 처리가 행해진다.

처리가 개시되면, 단계 S300에서, 화상 취득 유닛(200)에 의해 RAM(101)으로부터 화상 데이터를 먼저 취득한다.

도 4는 제1 실시형태에서의 화상 데이터의 예를 도시하는 도면이며, 도 4a에 나타내는 화상 데이터는 사람, 자동차, 및 교통 표지가 도로 위의 대상물인 예이다.

단계 S301에서, 오브젝트 검출 유닛(201)은, 화상 데이터 내의 오브젝트를 검출하고, 오브젝트의 카테고리에 대한 정보와 오브젝트가 검출된 검출 영역을 식별하고 출력한다(오브젝트 검출 단계). 오브젝트 검출 방법은 종래 기술의 방법과 동일한 처리일 수 있다. 비교적 낮은 처리 부하를 가지며 높은 강건성으로 오브젝트 검출을 행할 수 있는 뉴럴 네트워크로서, R-CNN(region-based CNN), YOLO(you only look once), SSD(single shot detector) 등이 알려져 있다.

본 실시형태에서는, 이들 일반적인 뉴럴 네트워크에 대하여, 카테고리(사람, 차량, 표지) 및 각각의 카테고리마다의 검출 영역의 정답 데이터가 서로 관련지어진 학습 화상 데이터 세트에 의해 기계 학습된 모델을 사용해서 오브젝트 검출을 행한다. 검출 영역이 정답 영역과 미리결정된 중복율 이상이 되고 그 후 검출된 카테고리가 정답으로서 올바른 경우에, 검출은 성공적인 것으로 간주되고, 오브젝트 검출에서의 검출 정밀도를 나타내는 검출률이 산출된다. 검출 영역과 정답 영역 사이의 중복율에 대한 기준으로서 IoU(intersection over union) 등이 사용된다. 또한, 미리결정된 중복율의 일례로서는, 50%, 75% 등이 생각될 수 있다.

본 실시형태에서, 도 4b는 오브젝트 검출이 행해지는 경우의 개략도를 나타낸다. 오브젝트 검출 뉴럴 네트워크는, 학습 데이터로부터 오브젝트 검출에 필요한 특징을 자동적으로 정의하고, 이들 국소적인 특징을 점차 통합해서 종합적인 판정을 얻는다. 따라서, 예를 들어, 대상 오브젝트의 식별에 필요한 특징을 표현할만큼 충분히 큰 네트워크 규모가 없을 경우, 학습 데이터와 실제로 추론되는 화상 데이터 사이에서 특징적인 차이가 있을 경우 등에서, 오브젝트 검출의 성능이 충분히 발휘되지 않을 수 있다.

따라서, 화상 데이터에 대해 오브젝트 검출을 행한 경우에 출력되는 검출 영역은 정답인 것으로 간주되는 검출 영역으로부터의 영역 어긋남이 발생한다. 본 실시형태에서는, 이 영역 어긋남을 고려하면서 시맨틱 세그멘테이션을 위한 영역을 설정함으로써, 시맨틱 세그멘테이션의 정밀도를 향상시킨다.

단계 S302에서, 미처리 오브젝트가 있는지 여부에 따라 분기가 행해진다. 미처리 오브젝트가 있을 경우에는, 처리는 단계 S303으로 진행되고, 미검출 및 검출된 오브젝트 모두가 처리된 경우에는 처리는 완료된다.

단계 S303에서, 영역 설정 유닛(202)은, 오브젝트 검출 유닛(201)에 의해 출력되는 검출 영역을 검출 영역에 대하여 실제로 정답 영역이 존재할 가능성이 있는 영역과의 어긋남에 따라서 수정한다. 이에 의해, 시맨틱 세그멘테이션을 실시하는 대상 영역을 최적화되게 설정한다(영역 설정 단계). 도 5를 참고하여 영역 설정 방법에 대해서 설명한다.

도 5는 제1 실시형태에서의 대상 영역 설정을 도시하는 도면이며, 도 5a는 차량이 검출되는 경우의 검출 영역(도면 중 파선의 프레임)과 정답이라고 상정되는 영역(도면 중 실선의 프레임)을 나타내고 있다. 정답이라고 상정되는 영역은 대상 오브젝트에 외접하는 직사각형인 것으로 상정된다.

도면에 나타내는 바와 같이, 검출 영역은 정답 영역과의 영역 어긋남이 발생할 가능성이 있다. 따라서, 본 실시형태에서는, 검출 영역을 정답 영역과의 영역 어긋남에 따라서 수정함으로써 시맨틱 세그멘테이션을 실시하기 위한 영역을 설정한다. 도 5b는 IoU=50%의 경우의 검출 영역과 정답 영역 사이의 관계예를 나타낸다. 도 5b의 좌측의 2개는 정답 영역에 포함되도록 검출 영역이 출력되는 경우를 나타내고, 도 5b의 우측의 2개는 검출 영역이 정답 영역을 포함하도록 출력되는 경우를 나타낸다.

도 5b로부터 IoU=50%을 상정하면, 검출 영역의 폭(w1)은 w0/2 내지 w0*2의 범위이고, 검출 영역의 높이(h1)는 h1/2 내지 h1*2의 범위라는 것을 이해할 수 있다. 따라서, IoU=50%에 기초한 검출률을 얻는 오브젝트 검출 모델에 의해 검출된 검출 영역에 대하여, 실제 정답 영역은 상기 범위에 존재하는 것이 상정된다. 도 5c는, 검출 영역의 변동률(I)이 0.5(IoU=50%에 상당)인 경우의 수정된 영역(도면 중 외측의 직사각형)을 나타낸다. 검출 영역은, 도 5b에 나타내는 정답 영역과 검출 영역 사이의 관계로부터, 수평 방향으로 (1/I-1)*w1의 영역을 확장하고, 수직 방향으로 (1/I-1)*h1의 영역을 확장함으로써 정답 영역을 포함하는 영역으로 수정될 수 있다.

수정된 영역은, 검출 영역이 IoU=50% 이상으로 정답 영역과 중복한다는 것을 전제로 검출 영역의 폭 및 높이를 3배 확장함으로써 얻어진다. 검출 영역이 변동하는 경우에도, 수정 영역 내에는 오브젝트가 포함되며, 따라서 영역 분할이 확실하게 행해질 수 있다. 한편, 영역의 확장을 최소화함으로써, 후속하는 시맨틱 세그멘테이션의 처리량을 억제할 수 있다.

본 실시형태에서는, 이와 같이 하여, 예를 들어 검출 영역에 대하여 실제로 정답 영역이 존재할 가능성이 있는 영역과의 어긋남에 따라서 확대한 것에 의해 수정된 검출 영역을 시맨틱 세그멘테이션의 대상 영역으로서 설정한다. 한편, 오브젝트 검출로 인한 변동률로서, 수평 방향과 수직 방향에서 상이한 변동률을 사용할 수 있거나, 또는 카테고리 값에 따라서 상이한 변동률을 사용할 수 있다. 즉, 영역 설정 유닛은 카테고리에 따라서 검출 영역을 수정하고 대상 영역을 설정할 수 있다.

또한, 검출 영역에 정답 영역을 포함하는 오브젝트 검출을 행하는 경우에는, 검출 영역을 확장하지 않고 시맨틱 세그멘테이션을 행할 수 있다.

단계 S304에서, 대상 화상 취득 유닛(203)은 단계 S303에서 설정된 대상 영역의 화상 데이터를 RAM(101)로부터 취득한다. 여기서 취득되는 화상 데이터는 대상 영역에 한정되기 때문에, RAM(101)에의 액세스 횟수를 저감시킬 수 있다. 대안적으로, RAM(101)에의 액세스 횟수를 더 저감시키기 위해서, 일시적으로 화상 데이터를 유지하는 저장 영역을 화상 취득 유닛(200)에 확보하고, 이 저장 영역에 대상 영역의 화상 데이터가 존재하는 경우에는 저장 영역으로부터 화상 데이터를 판독하는 캐시 구성을 사용할 수 있다.

단계 S305에서, 시맨틱 세그멘테이션 유닛(204)은, 대상 영역의 화상 데이터 내의 미리결정된 카테고리에 속하는 화소에 카테고리를 부여함으로써, 카테고리에 기초하여 각각의 화소마다 영역 분할을 행한다(카테고리 부여 단계). 시맨틱 세그멘테이션 방법은 종래 기술의 방법과 동일한 처리일 수 있다. 고정밀도로 영역 분할을 실시할 수 있는 뉴럴 네트워크로서 SegNet, U-Net 등이 알려져 있다.

이들 네트워크는 인코더-디코더 타입이라 불리며, 인코더측의 제1 반부에 대해 풀링(pooling)을 행하면서 카테고리 분류에 필요한 특징을 포괄적으로 통합한다. 이어서, 디코더측의 제2 반부에 대해 업샘플링(upsampling)을 행하면서 영역 단위의 카테고리 판정으로부터 화소 단위의 카테고리 판정까지 단계적으로 영역 분할(카테고리 분류)을 실현한다.

본 실시형태에서는, 이들 일반적인 뉴럴 네트워크에 대하여, 각각의 화소마다의 카테고리(사람, 차량, 표지) 판정과 관련지어진 학습 화상 데이터 세트에 의해 기계 학습된 모델을 사용해서 시맨틱 세그멘테이션을 실시한다. 도 4c는 화상 데이터에 대한 시맨틱 세그멘테이션 결과를 나타낸다. 본 실시형태에서는, 오브젝트 검출에서의 검출 영역(파선의 프레임에 의해 도시됨)으로부터 IoU 등에 기초하여 확대된 대상 영역(실선의 프레임에 의해 도시됨)을 설정하고, 이 대상 영역에 대하여 시맨틱 세그멘테이션을 실시한다. 따라서, 오브젝트(사람, 차량, 표지)와 배경 부분에 대해 고정밀도로 영역 분할을 실시할 수 있다.

이어서, 단계 S306에서, 영역 어긋남 추정 유닛(205)은 검출 영역에 포함되는 영역 어긋남양을 추정한다. 단계 S303에서, IoU=50%가 상정된 경우의 영역 어긋남양의 추정 방법에 대해서 설명했다. 이것은, 사전에 오브젝트 검출의 검출 정밀도를 알고 있는 경우의 영역 어긋남양의 상정 방법으로서 유효하다. 그러나, 실제로, 오브젝트 검출의 검출 정밀도는 촬상 환경 및 대상 오브젝트의 다양성에 따라 변동한다. 따라서, 영역 어긋남양은 실제로 검출되는 오브젝트의 카테고리 및 촬상 환경으로부터 실시간으로 피드백에 의해 추정되는 것이 바람직하고, 본 실시형태에서는 이러한 구성이 사용된다.

본 실시형태의 오브젝트 검출에 기초한 검출 영역과 시맨틱 세그멘테이션의 결과로부터 각각의 카테고리마다의 영역 어긋남양을 추정하는 방법을 도 6을 참고해서 설명한다.

도 6은 제1 실시형태에서의 영역 어긋남 추정을 도시하는 도면이며; 도 6a는 사람의 예이고 도 6b는 도로 표지의 시맨틱 세그멘테이션의 예를 나타낸다. 각각의 경우에, 파선의 프레임은 오브젝트 검출에 기초한 검출 영역을 나타내고; 도 6a의 사선 부분은 사람의 예이고, 도 6b의 흑색 부분은 카테고리에 기초하여 시맨틱 세그멘테이션에 의해 도로 표지에 대해 영역 분할을 행한 예이다.

먼저, 카테고리에 기초하여 시맨틱 세그멘테이션에 의해 영역 분할이 실시된 오브젝트에 대해서 정답 영역이 추정된다. 정답 영역은 영역 분할이 실시된 상기 오브젝트에 외접하는 직사각형 영역이다. 구체적으로는, 이는 영역 분할 맵 상의 오브젝트 검출 영역으로부터 수직 및 수평 방향으로 충분히 확장된 직사각형 영역을 서서히 축소 방향으로 좁히고, 상하 좌우 변에서 최초에 검출 대상의 카테고리 값(사람, 차량, 표시)에 접촉하는 변의 축소를 정지함으로써 얻어질 수 있다. 이와 같이 하여, 카테고리가 부여된 오브젝트의 정답 영역(실선의 프레임에 의해 도시됨)의 위치와 오브젝트 검출 영역의 위치 사이의 차분을 산출함으로써 대상 영역의 어긋남을 추정한다.

검출 영역의 좌측의 차분은 Ex0으로 설정되고, 그 우측의 차분은 Ex1로 설정되고, 그 상측의 차분은 Ey0으로 설정되며, 그 하측의 차분은 Ey1로 설정된다. 영역 어긋남양은 검출 영역의 폭 또는 높이의 비에 의해 추정된다. 구체적으로는, 검출 영역과 정답 영역 사이의 좌측의 어긋남양은 Ex0/w1인 것으로 추정되고, 우측의 어긋남양은 Ex1/w1인 것으로 추정되고, 상측의 어긋남양은 Ey0/h1인 것으로 추정되며, 하측의 어긋남양은 Ey1/h1인 것으로 추정된다. 이들은 양 및 음의 비율로 추정되고, 양의 비율은 검출 영역이 확대되는 방향을 나타내고, 음의 비율은 검출 영역이 축소되는 방향을 나타낸다.

여기서 추정된 영역 어긋남양은, 영역 설정 유닛(202)에 피드백되고, 영역 설정 동안 검출 영역을 수정하는 경우에 수직 및 수평 방향의 증가 및 축소 비율로서 참조된다. 한편, 오브젝트 검출 및 시맨틱 세그멘테이션은 화상 데이터에 따라서 변동을 포함하는 결과를 출력한다. 따라서, 영역 어긋남양의 추정에서는, 각각의 방향의 복수의 영역 어긋남양을 평활화하고 영역 어긋남양을 산출함으로써 더 높은 정밀도로 영역 어긋남양을 추정할 수 있다. 따라서, 이러한 구성이 사용될 수 있다.

대안적으로, 영역 어긋남양은 갑자기 증가할 수 있기 때문에, 추정된 영역 어긋남양에 대하여 검출 영역을 확대하는 방향으로 마진이 제공될 수 있다. 또한, 검출되는 카테고리에 따라 영역 어긋남양의 경향은 상이하다. 예를 들어, 도 6a에 나타내는 카테고리가 사람인 검출 영역은, 사람의 체형, 복장, 및 자세 등의 많은 변동 요인을 갖기 때문에, 영역 어긋남양은 증가하는 경향이 있다. 한편, 도 6b에 나타내는 표지의 사이즈, 색, 및 형상은 교통 규격 등에 의해 어느 정도 결정되기 때문에, 검출 영역의 어긋남양은 비교적 작다.

따라서, 영역 어긋남양을 추정할 때에, 카테고리에 따른 영역 어긋남양을 추정할 수 있으며, 카테고리에 따른 영역 어긋남양을 사용하여 영역 설정 유닛(202)에서 검출 영역을 수정할 수 있다.

상기 처리에 의해, 오브젝트 검출에 의해 높은 강건성으로 검출된 오브젝트에 대하여 최소 필요 영역에 대해 시맨틱 세그멘테이션을 행함으로써, 처리 부하를 억제한 상태에서 고정밀도의 영역 분할을 실현하는 것이 가능하게 된다.

(화상 처리 유닛의 변형예 1)

상기에서는, 오브젝트 검출에 의해 검출된 각각의 오브젝트에 대하여 대상 영역을 설정하고 시맨틱 세그멘테이션을 행하는 예를 나타냈다. 이 변형예에서는, 복수의 검출 오브젝트에 대하여 이들을 포함하는 1개의 대상 영역을 설정하고, 시맨틱 세그멘테이션을 실시할 수 있다.

도 4d는, 각각의 개별 오브젝트마다 수정된 검출 영역을 산출하고, 그 후 복수의 수정된 검출 영역을 포함하는 영역(400)을 시맨틱 세그멘테이션의 대상 영역으로서 설정하고, 시맨틱 세그멘테이션을 행하는 예이다. 검출되는 오브젝트의 수가 증가하고 밀도가 증가함에 따라, 영역이 서로 중복하는 것이 생각될 수 있다. 이러한 경우에는, 영역(400)과 같은 포괄적인 영역을 대상 영역으로서 설정하고 시맨틱 세그멘테이션을 실시함으로써 전체적인 처리 부하를 저감하는 것이 가능할 수 있다.

(화상 처리 유닛의 변형예 2)

상기에서는, 시맨틱 세그멘테이션을 위한 기계 학습 모델로서, 카테고리(사람, 차량, 표지)에 기초하여 영역을 분할할 수 있도록 학습된 모델을 사용하는 예를 설명하였다. 한편, 오브젝트 검출에 의해 검출된 각각의 오브젝트에 대하여 대상 영역을 설정하고 시맨틱 세그멘테이션을 실시하는 예를 설명했다. 즉, 시맨틱 세그멘테이션을 실시하는 대상 영역에 대해, 영역 분할을 실시하려고 하는 카테고리를 미리 알고 있다. 따라서, 카테고리에 따라 시맨틱 세그멘테이션 방법을 전환할 수 있다.

예를 들어, 도로 표지의 경우, 미리 규격에 의해 결정되는 표준적인 표지 화상을 템플릿으로서 유지하고, 이 템플릿과의 매칭을 통해 영역 분할을 실시함으로써 처리 부하를 억제하는 것이 가능할 수 있다. 대안적으로, 차량의 영역 분할에 관하여, 차량 모델의 추정 등을 일시적으로 행하고 이 차량 모델에 대한 정보를 부가 정보로서 사용하여 시맨틱 세그멘테이션을 행함으로써 영역 분할의 정밀도를 향상시킬 수 있다.

미리 카테고리에 따라서 개별적으로 학습된 모델들 또는 학습 내용을 정의하는 상이한 파라미터 세트들 사이를 전환함으로써 시맨틱 세그멘테이션을 행하도록 정해질 수 있다. 이에 의해, 개별 카테고리에서의 영역 분할의 학습 효율을 향상시키거나 이후에 영역 분할을 위한 카테고리를 추가하는 것이 용이해질 수 있다.

(제2 실시형태)

본 발명의 제2 실시형태에서, 화상 데이터에 대해 오브젝트 검출을 행하고, 카테고리와 그 검출 영역을 특정한다. 또한, 검출된 대상 오브젝트를 포함하는 영역을 시맨틱 세그멘테이션의 가장 높은 분할 정밀도를 가질 것으로 예상되는 영역 사이즈로 배율 변경하고 영역을 처리하는 예에 대해서 설명한다.

본 실시형태의 화상 처리 장치의 구성은 도 1에 나타내는 제1 실시형태와 동일한 구성일 수 있으며, 따라서 그에 대한 설명은 생략한다.

(화상 처리 유닛의 구성)

도 7은 제2 실시형태에서의 화상 처리 유닛의 구성예를 도시하는 블록도이다.

대안적으로, 도 8은 제2 실시형태에서의 화상 처리 유닛(104)의 동작을 나타내는 흐름도이다. 한편, 동일한 명칭 및 동일한 참조 번호를 갖는 전술한 구성요소에 대한 상세한 설명은 생략하며, 그에 대한 설명은 차이가 있는 경우에만 주어진다.

제2 실시형태의 화상 처리 유닛(104)은, 화상 취득 유닛(200), 오브젝트 검출 유닛(201), 영역 설정 유닛(202), 대상 화상 취득 유닛(203), 및 시맨틱 세그멘테이션 유닛(204)을 포함한다. 또한, 화상 처리 유닛은 제1 배율 변경 유닛(206), 화상 합성 유닛(207), 화상 잘라내기 유닛(208), 및 제2 배율 변경 유닛(209)을 포함한다. 영역 설정 유닛에 의해 설정된 대상 영역의 화상 데이터를 시맨틱 세그멘테이션 유닛에 공급하기 전에, 화상 데이터는 제1 배율 변경 유닛에 의해 제1 배율 변경율로 배율 변경된다.

대안적으로, 제1 배율 변경 유닛에 의해 배율 변경된 대상 영역의 화상 데이터는 화상 합성 유닛(207)에 의해 다른 대상 영역의 화상 데이터와 합성된 후 시맨틱 세그멘테이션 유닛에 공급된다. 대안적으로, 시맨틱 세그멘테이션 유닛에 의해 카테고리에 속하는 화소에 카테고리를 부여한 후의 화상 데이터는 제2 배율 변경 유닛(209)에 의해 제2 배율 변경율로 배율 변경된다. 한편, 도 7에는 도시되지 않지만, 제1 실시형태와 유사한 영역 어긋남 추정 유닛(205)이 제2 배율 변경 유닛(209)의 뒤 등에 제공될 수 있다.

대안적으로, 제2 실시형태에서, 참조 번호 200 내지 209 등의 각각은 프로세서에 의해 실현되는 기능 블록이다.

제1 배율 변경 유닛(206)은, 검출 대상의 화상 상의 사이즈가 시맨틱 세그멘테이션에 적합한 사이즈로 되도록 배율 변경율로 대상 영역의 화상 데이터를 확대 또는 축소한다. 화상 합성 유닛(207)은, 복수의 대상 영역의 화상 데이터를 합성하고, 시맨틱 세그멘테이션을 행하기 위한 화상 데이터를 생성한다.

화상 잘라내기 유닛(208)은 시맨틱 세그멘테이션이 행해진 영역 분할 맵으로부터 대상 오브젝트의 영역을 잘라낸다. 즉, 각각의 카테고리에 속하는 화소에 카테고리를 부여한 후의 화상 데이터를 시맨틱 세그멘테이션 유닛에 의해 제2 배율 변경 유닛에 공급하기 전에, 각각의 대상 영역마다 화상 데이터를 잘라낸다.

제2 배율 변경 유닛(209)은, 제1 배율 변경 유닛(206)에서의 배율 변경율의 역수인 배율 변경율로 영역 분할 맵을 확대 또는 축소하고, 입력 화상 데이터 중의 대상 오브젝트와 동일한 해상도를 갖는 영역 분할 맵을 얻는다.

(화상 처리 유닛의 동작에 대한 설명)

도 8은 제2 실시형태에서의 화상 처리 유닛의 동작예를 나타내는 흐름도이며, 도 9는 도 8에 후속하는 동작예를 나타내는 흐름도이다. 화상 처리 유닛(104) 내의 프로세서가 컴퓨터 프로그램을 실행함으로써, 도 7에 나타내는 각각의 블록의 기능을 실현하며, 도 8 및 도 9의 각각의 단계의 처리를 행한다. 한편, 전술한 동일한 명칭 및 동일한 참조 번호를 갖는 단계에 대한 상세한 설명은 생략하며, 그에 대한 설명은 차이가 있는 경우에 추가된다.

처리가 개시되면, 단계 S300 및 S301에서, 화상 데이터에 대하여 오브젝트 검출이 행해지고, 오브젝트의 카테고리에 대한 정보와 검출 영역을 얻는다. 대안적으로, 단계 S302에서 미처리 오브젝트가 있는 경우, 단계 S303에서 각각의 오브젝트의 검출 영역을 제1 실시형태와 동일한 방법을 사용하여 적응적으로 수정하고, 수정된 검출 영역에 대응하는 대상 영역을 설정하고, 단계 S304에서 대상 영역의 화상 데이터를 얻는다. 단계 S302에서 미처리 오브젝트가 없으면, 처리를 종료한다.

단계 S307에서, 후속 스테이지의 시맨틱 세그멘테이션 유닛에서 적합한 화상 사이즈를 갖도록, 대상 영역의 화상 데이터의 배율 변경율을 결정한다. 기계 학습을 사용한 뉴럴 네트워크 구조에서는, 화상 중의 검출 오브젝트의 사이즈의 간건성을 향상시키기 위해서, 풀링층을 다수의 스테이지로 제공하고, 각각의 해상도에서 특징을 추출한다.

이에 의해, 오브젝트의 윤곽이 명료한 경우에는, 화상 상의 사이즈에 의존하지 않는 오브젝트 검출 및 영역 분할이 가능하게 된다. 그러나, 은닉층의 스테이지의 수가 증가함에 따라, 추론을 위한 연산량 및 파라미터 세트를 유지하는 메모리의 양이 급격하게 증가하기 때문에, 은닉층의 스테이지의 수는 대응하는 검출 오브젝트의 사이즈의 변동량에 따라서 적절하게 설정될 필요가 있다.

도 10은 제2 실시형태에서의 배율 변경율을 결정하는 방법을 도시하는 도면이다.

제2 실시형태에서는, 시맨틱 세그멘테이션의 입력 화상 사이즈로서 VGA 화상(640 화소 폭 및 480 화소 높이)을 상정하고, 영역 분할을 행하기 위한 최적 오브젝트 사이즈는 가이드(guide)로서 대략 100 화소× 대략 100 화소이다. 이와 같이, 시맨틱 세그멘테이션을 위한 최적 오브젝트 사이즈를 어느 정도의 사이즈로 정함으로써, 네트워크 구성의 은닉층을 생략하고 처리 부하를 저감하는 것이 가능하다.

대안적으로, 은닉층을 저감할 수 있는 기준으로서는, N과 M이 양의 정수인 경우, 오브젝트 사이즈가 N 화소×M 화소 내지 N/2 화소×M/2 화소의 범위 내에 들어가도록 오브젝트 사이즈를 배율 변경하는 것이 바람직하다. 이것은, 풀링 처리가 종종 데이터양을 수직 및 수평 방향에서 반분하며, 오브젝트 사이즈의 변동에 대하여 유효한 특징을 풀링 횟수에 따라 전환하기 때문이다. 대안적으로, 영역 분할을 행하기 위한 최적 오브젝트 사이즈가 불분명한 모델의 경우에도, 사이즈를 변화시킨 오브젝트 화상을 실제로 처리하고 분할의 정밀도를 확인함으로써 최적 오브젝트 사이즈를 미리 결정할 수 있다.

이 최적 오브젝트 사이즈의 가이드와 오브젝트 검출에서의 검출 영역이 변동 분을 포함하는 것을 고려하여, VGA 화상은 화상을 수직 및 수평으로 16개의 부분으로 분할함으로써 얻어지는 160 픽셀 폭 및 120 픽셀 높이의 사이즈를 갖는 소 영역으로 분할된다. 오브젝트를 포함하는 검출 영역(변동 분을 고려되어 확대된 영역)이 이 소 영역에 들어가도록 배율 변경율을 설정한다. 검출 오브젝트의 폭이 W 화소이고 그 높이가 H 화소인 경우, (W/160) 배 및 (H/120) 배에 의해 얻어진 배율 변경 결과 중 소 영역에 저장될 수 있는 사이즈(폭, 높이)로의 배율 변경이 가능한 배율 변경율을 선택함으로써, 오브젝트의 종횡비를 변경하지 않고 제1 배율 변경율을 결정할 수 있다.

단계 S308에서, 제1 배율 변경 유닛(206)은 상기 제1 배율 변경율을 사용해서 제1 배율 변경 처리를 행한다(제1 배율 변경 단계). 배율 변경 처리의 방법으로서, 공지된 방법이 사용될 수 있다. 한편, 배율 변경율에 따른 축소 및 확대의 경우에, 배율 변경 처리의 방법이 변경될 수 있다. 시맨틱 세그멘테이션에 기초한 영역 분할에서는, 오브젝트의 형상의 명료도가 영역 분할의 정밀도에 크게 영향을 미치지만, 축소의 경우에는, 원래의 화상 데이터의 형상이 열화되기 어렵기 때문에 저차원 보간 방법(바이리니어 보간(bi-linear interpolation))을 사용할 수 있다. 한편, 확대의 경우에는 형상이 열화되는 경향이 있기 때문에, 고차원 보간 방법(바이큐빅 보간(bi-cubic interpolation) 또는 란쵸스 보간(Lanczos interpolation))을 사용하여 연산량과 영역 분할 정밀도를 균형잡는 것이 가능하다.

단계 S309에서, 화상 합성 유닛(207)은 시맨틱 세그멘테이션 유닛(204)에 입력하기 위한 합성된 화상 데이터를 생성한다(화상 합성 단계). 본 실시형태에서는, 도 9에 나타내는 바와 같이, VGA 화상을 16개의 부분으로 분할하여 얻은 소 영역 각각에, 상이한 배율 변경율에 의해 사이즈를 조정한 오브젝트를 포함하는 영역을 순차적으로 합성함으로써 화상 데이터를 생성한다.

한편, 오브젝트 검출의 수가 16 미만인 경우에는, 작은 공백 영역이 있는 상태에서 시맨틱 세그멘테이션을 행할 수 있다. 후속 스테이지의 화상 잘라내기 유닛(208)에서, 작은 공백 영역은 잘리지 않기 때문에, 작은 공백 영역이 있는 경우에도 영항을 받지 않는다. 한편, 단계 S309에서 합성을 행하는 이유는 시맨틱 세그멘테이션 유닛(204)에서의 처리 효율을 향상시키기 위해서이다.

단계 S310에서, 합성 화상이 완성되었는지 여부를 판정하고 분기를 행한다. 합성 화상이 완성되지 않은 경우에는, 처리는 단계 S303으로 되돌아가고, 다음 오브젝트에 대한 처리 영역을 합성한다. 대안적으로, 합성 화상이 완성된 경우에는, 처리는 도 9의 단계 S305로 진행되고, 합성 화상에 대해 시맨틱 세그멘테이션을 행함으로써 합성 화상의 영역 분할 맵을 얻는다.

단계 S311에서, 합성 화상의 영역 분할 맵에서, 미출력 소 영역이 있는지 여부를 판정하고 분기를 행한다. 미출력 소 영역이 있는 경우에는 처리는 단계 S312로 진행되고, 모든 소 영역이 출력된 경우에는 처리는 단계 S302로 진행된다.

단계 S312에서, 화상 잘라내기 유닛(208)은 합성 화상의 영역 분할 맵으로부터 1개의 오브젝트에 대한 영역 분할 맵을 잘라낸다. 본 실시형태에서는, 합성 화상은 16개의 분할된 소 영역으로 구성되기 때문에, 소 영역을 순차적으로 잘라낸다.

단계 S313에서, 제2 배율 변경율을 산출한다. 제2 배율 변경율은, 합성 화상의 소 영역을 원래의 해상도로 되돌리기 위한 배율 변경율이다. 따라서, 이는 제1 배율 변경율의 역수를 계산함으로써 산출된다.

단계 S314에서, 제2 배율 변경 유닛(209)은 제2 배율 변경율에 기초하여 제2 배율 변경 처리를 행한다(제2 배율 변경 단계). 제2 배율 변경 처리는 영역 분할 맵에 대해 행해진다. 영역 분할 맵은, 통상의 화상 데이터와는 달리, 화소값에 대하여 카테고리를 나타내는 값이 부가되어서 저장된다. 한편, 보간 처리를 사용하여 카테고리 값과는 상이한 값이 출력되는 것은 바람직하지 않다. 따라서, 본 실시형태에서는, 제2 배율 변경 처리로서, 최근린 보간(nearest neighbor interpolation)과 같이 보간 후의 맵에 카테고리 값만이 출현하는 보간 방법을 사용한다.

상기 처리에 의해, 시맨틱 세그멘테이션의 처리 부하를 저감하면서 효율적이며 고정밀도인 영역 분할이 가능해진다. 한편, 본 실시형태에 나타낸 합성 화상은 처리 효율을 향상시키기 위한 것이고, 적어도 영역 분할에 적절한 제1 배율 변경 처리와 입력 해상도로 되돌리기 위한 제2 배율 변경 처리를 사용해서 본 실시형태의 효과를 얻을 수 있다.

(제3 실시형태)

제3 실시형태에서는, 오브젝트 검출에 의해 검출된 카테고리에 따라서 미리 정해진 미리결정된 화상 위치 또는 복수의 카테고리에 의해 공유되는 미리결정된 위치 중 어느 하나에 대상 영역의 화상 데이터를 배치함으로써 합성 화상을 생성한다. 그리고 합성 화상에 대해 시맨틱 세그멘테이션을 행한다.

제3 실시형태가 적용되는 화상 처리 장치의 구성은 제1 실시형태 및 제2 실시형태와 동일한 구성일 수 있으며, 그에 대한 설명은 생략한다. 대안적으로, 화상 처리 유닛(104)의 구성은 제2 실시형태의 구성에 의해 실현될 수 있으며, 따라서 그에 대한 설명은 생략한다.

본 실시형태에서는, 도 7에 나타내는 화상 합성 유닛(207) 및 화상 잘라내기 유닛(208)의 동작에 의해, 시맨틱 세그멘테이션의 학습 효율을 향상시킨다.

도 11은, 제3 실시형태에서의 화상 합성 방법을 도시하는 도면이며, 화상 합성 유닛(207)에 의해 합성되는 합성 화상(1000)을 나타낸다. 합성 화상(1000)은, 카테고리에 따라서 미리 위치가 고정된 소 영역과 카테고리에 대해 공통인 소 영역으로 분할된다.

대안적으로, 오브젝트 검출에 의해 검출된 오브젝트의 카테고리와 검출 영역에 기초하여, 실제로 정답 영역이 존재할 가능성이 있는 영역과의 어긋남을 고려해서 확대된 대상 영역을 카테고리에 따라서 어느 화상 위치에 배치해서 합성할지를 화살표로 나타내고 있다.

오브젝트의 카테고리에 따라서 미리 오브젝트가 존재하는 화상의 영역을 한정함으로써, 시맨틱 세그멘테이션을 실현할 때의 모델에서 포괄적인 특징의 학습을 생략하는 것이 가능해진다. 특히, 보틀넥층(bottleneck layer)이라고 불리는 화상의 대부분에 영향을 주는 은닉층을 갖는 네트워크 구성에서, 높은 학습 효율 효과를 얻을 수 있다.

모델 학습시에, 일반적으로는, 화상 상의 어느 위치에 오브젝트가 출현할지를 모르기 때문에, 오브젝트의 카테고리와 오브젝트가 출현하는 위치의 조합에서 다양한 패턴을 상정하고 학습을 행할 필요가 있다. 그러나, 제3 실시형태에서와 같이 오브젝트 검출을 조합함으로써, 오브젝트의 카테고리와 오브젝트가 출현하는 위치를 고정하는 것이 가능하고, 학습 패턴을 한정함으로써 학습 효율을 향상시킬 수 있다. 또한, 소 영역 사이의 경계가 항상 존재하기 때문에, 필요한 특징의 범위는 소 영역 사이로 한정되며, 따라서 보틀넥층의 학습을 생략할 수 있다.

도 12는, 제3 실시형태에서의 모델 학습에 사용되는 학습 화상을 생성하는 방법을 도시하는 흐름도이며, 도 8의 단계 S309의 합성 처리에 대응한다. 화상 처리 유닛(104) 내의 프로세서가 컴퓨터 프로그램을 실행함으로써, 도 7에 나타내는 각각의 블록의 기능이 실현되며, 도 12의 각각의 단계의 처리가 행해진다.

본 실시형태에서의 학습 화상을 생성하는 방법은 일반적인 데이터 세트(입력 화상과 입력 화상 내에 존재하는 오브젝트의 각각의 카테고리마다 분할된 영역 분할 맵의 세트)를 미리 준비(설정)해 두는 것이 전제가 된다.

따라서, 단계 S1100에서, 화상 중의 각각의 오브젝트(카테고리 값)마다의 검출 영역이 영역 분할 맵에 설정된다. 검출 영역은 오브젝트에 외접하는 직사각형 영역을 설정한다. 영역 분할 맵에서, 동일한 오브젝트는 동일한 카테고리 값에 의해 서로 연결되기 때문에, 오브젝트의 수직 및 수평 방향으로 직사각형 영역을 서서히 좁히고 카테고리 값에 접촉하는 변을 고정함으로써 어느 정도 자동적으로 설정을 행하는 것이 가능하다.

단계 S1101에서, 검출 영역은 오브젝트 검출에서의 변동을 고려하여 단계 S1100에서의 검출 영역에 대하여 확대된다. 검출 영역을 확대하는 방법에 관해서는, 제1 실시형태에서 설명된 방법을 사용한 확대가 가능하다.

단계 S1102에서, 단계 S1101에서 확대된 검출 영역은 카테고리 값에 대응하는 위치의 소 영역에 대하여 배치된다. 이 경우, 확대된 검출 영역은 소 영역의 사이즈에 따라 배율 변경이 행해진 후에 배치된다. 단계 S1102에서는, 학습시에 입력 데이터로서의 역할을 하는 화상 데이터와 화상 데이터와 연관지어진 영역 분할 맵의 양자 모두가 생성된다.

단계 S1103에서는, 단계 S1101에서 확대된 검출 영역은 공유 위치의 소 영역에 대하여 배치된다. 이 경우, 배율 변경 처리는 공유 위치의 소 영역의 사이즈에 따라 행해지지만, 이것이 단계 S1102에서의 각각의 카테고리마다의 소 영역의 사이즈와 상이한 경우에는, 상이한 배율 변경율에 의해 배율 변경이 행해진다. 단계 S1103에서도, 학습시에 입력 데이터로서의 역할을 하는 화상 데이터와 화상 데이터와 관련지어진 영역 분할 맵의 양자 모두가 생성되지만, 단계 S1102에서 생성된 데이터를 덮어쓰는 형태로 생성될 수 있다.

단계 S1104에서, 데이터 세트의 입력 화상 중의 모든 오브젝트가 처리되거나 분기된다.

단계 S1105에서, 데이터 세트의 모든 화상이 처리되거나 분기된다.

상기 처리에 의해, 본 실시형태에서의 학습시의 입력 화상 데이터와 정답인 영역 분할 맵을 얻을 수 있다. 이들 데이터 세트는 시맨틱 세그멘테이션의 모델을 효율적으로 학습하는 데 사용될 수 있다.

대안적으로, 제3 실시형태에서와 같이 소 영역 사용 카테고리를 미리 정함으로써, 오브젝트의 출현에 치우침이 있을 경우, 예를 들어 차량 카테고리에 대량의 오브젝트가 존재하는 경우 등에, 시맨틱 세그멘테이션의 실행 효율이 저하될 수 있다. 한편, 본 실시형태에서는, 공유된 소 영역을 설정함으로써, 오브젝트의 출현 빈도에 따라 실행 효율이 저하되는 것을 방지할 수 있다. 한편, 공유된 소 영역을 설정하는 것은 학습 효율과 트레이드오프 관계에 있다.

대안적으로, 합성 화상은 합성 화상을 생성하기 위해 소 영역 사용 카테고리에 따라 미리결정된 종횡비의 영역에 검출 영역의 화상 데이터를 배치함으로써 더 효율적으로 생성될 수 있다. 예를 들어, 차량 카테고리의 경우 정사각형에 가까운 소 영역을 설정하고 사람 카테고리의 경우 수직으로 긴 소 영역을 설정함으로써, 소 영역을 효율적으로 확산시킬 수 있고 시맨틱 세그멘테이션의 실행 효율을 향상시킬 수 있다.

전술한 바와 같이, 오브젝트의 카테고리에 따라서 미리 배치 위치가 정해지는 화상 데이터를 합성하고 합성된 화상 데이터에 대하여 시맨틱 세그멘테이션을 행함으로써, 높은 간건성 및 고정밀 영역 분할을 효율적으로 실현하는 것이 가능하다.

대안적으로, 실시형태에서의 화상 처리 장치를 갖는 촬상 장치 또는 화상 처리 장치가 자동차 등의 이동 장치에 탑재되는 경우에는, 예를 들어 이하와 같은 구성을 갖는다. 즉, 시맨틱 세그멘테이션 유닛(204)은, 카테고리에 속하는 화소에 카테고리가 부여된 후의 화상 데이터에 기초하여, 장해물에 관한 경고 또는 이동 장치의 방향 또는 속도 같은 이동 동작을 제어하는 제어 유닛을 제공한다.

본 실시형태의 화상 처리 장치에서는, 처리 부하를 억제하면서 높은 간건성 및 고정밀 영역 분할의 결과를 얻을 수 있고, 따라서 예를 들어 먼 전방 차량, 장해물 등을 더 빠르게 인식할 수 있으며 사고를 빠르게 회피할 수 있는 등의 우수한 효과를 얻을 수 있다.

본 발명을 예시적인 실시형태를 참고하여 설명하였지만, 본 발명은 개시된 예시적인 실시형태로 한정되지 않는다는 것을 이해해야 한다. 이하의 청구항의 범위는 이러한 모든 변형과 동등한 구조 및 기능을 포함하도록 최광의로 해석되어야 한다. 또한, 본 실시형태에 따른 제어의 일부 또는 전체로서, 상술한 실시형태의 기능을 실현하는 컴퓨터 프로그램이 네트워크 또는 다양한 저장 매체를 통해 화상 처리 장치에 공급될 수 있다. 그 후, 화상 처리 장치의 컴퓨터(또는 CPU, MPU 등)는 프로그램을 판독 및 실행하도록 구성될 수 있다. 이러한 경우에, 프로그램 및 프로그램을 저장하는 저장 매체는 본 발명을 구성한다.

본 출원은 전문이 본원에 참조로 포함되는 2021년 3월 30일자로 출원된 일본 특허 출원 제2021-056596호의 이익을 주장한다.

Claims (26)

1. 적어도 하나의 프로세서 또는 회로를 포함하는 화상 처리 장치이며, 상기 적어도 하나의 프로세서 또는 회로는,
   화상 데이터로부터 오브젝트를 검출하도록 구성되는 오브젝트 검출 유닛;
   상기 오브젝트 검출 유닛의 검출 결과에 따라 화소에 카테고리가 부여되는 대상 영역을 설정하도록 구성되는 영역 설정 유닛; 및
   상기 영역 설정 유닛에 의해 설정된 상기 대상 영역의 상기 카테고리에 속하는 상기 화소에 상기 카테고리를 부여하도록 구성되는 카테고리 부여 유닛으로서 기능하도록 구성되는 화상 처리 장치.
2. 제1항에 있어서,
   상기 영역 설정 유닛은 상기 오브젝트 검출 유닛이 상기 오브젝트를 검출하는 검출 영역을 확대함으로써 상기 대상 영역을 설정하는 화상 처리 장치.
3. 제2항에 있어서,
   상기 영역 설정 유닛은 상기 카테고리에 따라서 상기 검출 영역을 수정함으로써 상기 대상 영역을 설정하는 화상 처리 장치.
4. 제1항에 있어서,
   상기 카테고리 부여 유닛에 의해 상기 카테고리가 부여된 상기 오브젝트의 위치에 기초하여 상기 대상 영역의 어긋남을 추정하도록 구성되는 영역 어긋남 추정 유닛을 더 포함하는 화상 처리 장치.
5. 제4항에 있어서,
   상기 영역 설정 유닛은 상기 영역 어긋남 추정 유닛에 의해 추정된 상기 영역 어긋남을 참조함으로써 상기 대상 영역을 설정하는 화상 처리 장치.
6. 제5항에 있어서,
   상기 영역 어긋남 추정 유닛은, 상기 카테고리 부여 유닛에 의해 상기 카테고리가 부여된 상기 오브젝트의 상기 위치를 상기 오브젝트 검출 유닛이 상기 오브젝트를 검출한 검출 영역의 위치와 비교함으로써 상기 영역 어긋남을 추정하는 화상 처리 장치.
7. 제4항에 있어서,
   상기 영역 어긋남 추정 유닛은 상기 카테고리에 따라 영역 어긋남양을 추정하는 화상 처리 장치.
8. 제2항에 있어서,
   상기 영역 설정 유닛은, 상기 오브젝트 검출 유닛에 의해 검출되는 복수의 상기 검출 영역의 각각을 수정하며, 수정된 복수의 상기 검출 영역을 포함하는 영역을 상기 대상 영역으로서 설정하는 화상 처리 장치.
9. 제1항에 있어서,
   상기 카테고리 부여 유닛은, 상기 오브젝트 검출 유닛에 의해 검출된 상기 오브젝트의 상기 카테고리에 따라 상이한 파라미터 세트를 사용해서 상기 카테고리를 부여하는 화상 처리 장치.
10. 적어도 하나의 프로세서 또는 회로를 포함하는 화상 처리 장치이며, 상기 적어도 하나의 프로세서 또는 회로는,
    화상 데이터로부터 오브젝트를 검출하고, 상기 오브젝트의 카테고리와 상기 오브젝트가 검출되는 미리결정된 검출 영역을 출력하도록 구성되는 오브젝트 검출 유닛;
    상기 검출 영역의 상기 화상 데이터 내의 상기 카테고리에 속하는 화소에 상기 카테고리를 부여하도록 구성되는 카테고리 부여 유닛; 및
    상기 검출 영역의 상기 화상 데이터를 상기 카테고리 부여 유닛에 공급하기 전에, 상기 화상 데이터를 제1 배율 변경율로 배율 변경하도록 구성되는 제1 배율 변경 유닛으로서 기능하도록 구성되는 화상 처리 장치.
11. 제10항에 있어서,
    상기 카테고리 부여 유닛에 의해 상기 카테고리에 속하는 상기 화소에 상기 카테고리가 부여된 후의 상기 화상 데이터를 제2 배율 변경율로 배율 변경하도록 구성되는 제2 배율 변경 유닛을 더 포함하는 화상 처리 장치.
12. 제11항에 있어서,
    상기 제2 배율 변경율은 상기 제1 배율 변경율의 역수인 화상 처리 장치.
13. 제10항에 있어서,
    상기 제1 배율 변경 유닛에 의해 배율 변경된 상기 검출 영역의 상기 화상 데이터를 다른 검출 영역의 화상 데이터와 합성한 후 합성된 상기 화상 데이터를 상기 카테고리 부여 유닛에 공급하도록 구성되는 화상 합성 유닛을 더 포함하는 화상 처리 장치.
14. 제13항에 있어서,
    상기 화상 합성 유닛은, 상기 카테고리에 따라서 미리결정된 위치 또는 복수의 상기 카테고리에 의해 공유되는 미리결정된 위치 중 어느 하나에 상기 검출 영역의 상기 화상 데이터를 배치함으로써 합성 화상을 생성하는 화상 처리 장치.
15. 제13항에 있어서,
    상기 화상 합성 유닛은, 상기 카테고리에 따라서 미리결정된 위치에 상기 검출 영역의 상기 화상 데이터를 배치함으로써 합성 화상을 생성하는 화상 처리 장치.
16. 제13항에 있어서,
    상기 화상 합성 유닛은, 상기 카테고리에 따라서 미리결정된 종횡비를 갖는 영역에 상기 검출 영역의 상기 화상 데이터를 배치함으로써 합성 화상을 생성하는 화상 처리 장치.
17. 제11항에 있어서,
    상기 카테고리 부여 유닛에 의해 상기 카테고리에 속하는 상기 화소에 상기 카테고리가 부여된 후의 상기 화상 데이터를 상기 제2 배율 변경 유닛에 공급하기 전에, 각각의 대상 영역마다 상기 화상 데이터를 잘라내도록 구성되는 잘라내기 유닛을 더 포함하는 화상 처리 장치.
18. 제10항에 있어서,
    상기 카테고리 부여 유닛은 상기 검출 영역의 상기 화상 데이터 내의 상기 카테고리에 속하는 상기 화소에 상기 카테고리를 부여하도록 구성되는 기계 학습 모델을 포함하는 화상 처리 장치.
19. 제18항에 있어서,
    상기 카테고리 부여 유닛은 상기 검출 영역에 대하여 시맨틱 세그멘테이션을 행하는 화상 처리 장치.
20. 화상 처리 방법이며,
    화상 데이터로부터 오브젝트를 검출하는 단계;
    상기 오브젝트 검출 단계에서의 검출 결과에 따라, 화소에 카테고리가 부여되는 대상 영역을 설정하는 단계; 및
    상기 영역을 설정하는 단계에서 설정된 상기 대상 영역의 상기 카테고리에 속하는 상기 화소에 상기 카테고리를 부여하는 단계를 포함하는 화상 처리 방법.
21. 제20항에 있어서,
    상기 영역을 설정하는 단계에서 설정된 상기 대상 영역의 상기 화상 데이터를 상기 카테고리를 부여하는 단계에 공급하기 전에, 상기 화상 데이터를 제1 배율 변경율로 배율 변경하는 제1 배율 변경 단계; 및
    상기 카테고리를 부여하는 단계에서 상기 카테고리에 속하는 상기 화소에 상기 카테고리가 부여된 후의 상기 화상 데이터를 제2 배율 변경율로 배율 변경하는 제2 배율 변경 단계를 더 포함하는 화상 처리 방법.
22. 제21항에 있어서,
    상기 제2 배율 변경율은 상기 제1 배율 변경율의 역수인 화상 처리 방법.
23. 제21항에 있어서,
    상기 제1 배율 변경 단계에서 배율 변경된 상기 대상 영역의 상기 화상 데이터를 다른 대상 영역의 화상 데이터와 합성한 후 합성된 상기 화상 데이터를 상기 카테고리를 부여하는 단계에 공급하는 단계를 더 포함하는 화상 처리 방법.
24. 화상 처리 장치가 탑재된 이동 장치이며, 상기 화상 처리 장치는,
    화상 데이터로부터 오브젝트를 검출하도록 구성되는 오브젝트 검출 유닛;
    상기 오브젝트 검출 유닛의 검출 결과에 따라 화소에 카테고리가 부여되는 대상 영역을 설정하도록 구성되는 영역 설정 유닛; 및
    상기 영역 설정 유닛에 의해 설정된 상기 대상 영역의 상기 카테고리에 속하는 상기 화소에 상기 카테고리를 부여하도록 구성되는 카테고리 부여 유닛을 포함하며,
    상기 이동 장치는, 상기 카테고리 부여 유닛에 의해 상기 카테고리에 속하는 상기 화소에 상기 카테고리가 부여된 후의 상기 화상 데이터에 기초하여 경고 또는 상기 이동 장치의 이동 동작을 제어하도록 구성되는 제어 유닛을 포함하는 이동 장치.
25. 컴퓨터 프로그램을 저장하도록 구성되는 비일시적 컴퓨터 판독가능 저장 매체이며, 상기 컴퓨터 프로그램은 화상 처리 장치가
    화상 데이터로부터 오브젝트를 검출하는 단계;
    상기 오브젝트를 검출하는 단계에서의 검출 결과에 따라, 화소에 카테고리가 부여되는 대상 영역을 설정하는 단계; 및
    상기 영역을 설정하는 단계에서 설정된 상기 대상 영역의 상기 카테고리에 속하는 상기 화소에 상기 카테고리를 부여하는 단계를 실행하게 하는 비일시적 컴퓨터 판독가능 저장 매체.
26. 컴퓨터 프로그램을 저장하도록 구성되는 비일시적 컴퓨터 판독가능 저장 매체이며, 상기 컴퓨터 프로그램은 이동 장치가
    화상 데이터로부터 오브젝트를 검출하는 단계;
    상기 오브젝트를 검출하는 단계에서의 검출 결과에 따라, 화소에 카테고리가 부여되는 대상 영역을 설정하는 단계;
    상기 영역을 설정하는 단계에서 설정된 상기 대상 영역의 상기 카테고리에 속하는 상기 화소에 상기 카테고리를 부여하는 단계; 및
    상기 카테고리를 부여하는 단계에서 상기 카테고리에 속하는 상기 화소에 상기 카테고리가 부여된 후의 상기 화상 데이터에 기초하여 경고 또는 상기 이동 장치의 이동 동작을 제어하는 단계를 실행하게 하는 비일시적 컴퓨터 판독가능 저장 매체.

Images