KR102362596B1

KR102362596B1 - 화상 수신 장치, 화상 전송 시스템 및 화상 수신 방법

Info

Publication number: KR102362596B1
Application number: KR1020150100946A
Authority: KR
Inventors: 겐이찌 이와따; 데쯔야 시바야마; 가쯔시게 마쯔바라; 렌 이마오까; 세이지 모찌즈끼
Original assignee: 르네사스 일렉트로닉스 가부시키가이샤
Priority date: 2014-07-22
Filing date: 2015-07-16
Publication date: 2022-02-15
Also published as: US9554137B2; JP2016025494A; US20160029021A1; CN105306883B; EP2977930A1; CN105306883A; KR20160011580A; EP2977930B1; US20170118468A1; JP6392572B2

Abstract

본 발명은, 수신하는 화상 부호화 스트림을, 디코딩하여 얻어지는 복호 화상에 대하여 화상 인식을 행하는 화상 수신 장치에 있어서, 화상 부호화 스트림의 전송 지연의 영향을 받는 일 없이, 신속히 파라미터를 적절하게 변경하여, 화상 인식율을 향상시킨다.
화상 수신 장치는, 데이터 수신부와, 파라미터 변경부와, 디코드부와, 화상 인식부를 구비한다. 데이터 수신부는, 화상 부호화 데이터와 파라미터를 포함하는 화상 부호화 스트림을 수신한다. 파라미터 변경부는, 데이터 수신부에서 수신된 파라미터, 즉 송신측에서 행하여진 부호화에 대응하여 지정된 파라미터를, 후단에서 실행하는 화상 인식 처리에 적합한 값으로 변경한다. 디코드부는 변경된 파라미터를 적용하고, 수신된 화상 부호화 데이터를 복호하여 화상 복호 데이터를 생성하고, 화상 인식부는 그 화상 복호 데이터에 대하여 화상 인식 처리를 행한다.

Description

화상 수신 장치, 화상 전송 시스템 및 화상 수신 방법{IMAGE RECEIVING DEVICE, IMAGE TRANSMISSION SYSTEM, AND IMAGE RECEIVING METHOD}

본 발명은 화상 수신 장치, 화상 전송 시스템 및 화상 수신 방법에 관한 것이고, 특히 화상 인식 처리를 수반하는 화상 수신 장치, 화상 전송 시스템 및 화상 수신 방법에, 적절하게 이용할 수 있는 것이다.

카메라로 촬영된 것 등의 원화상의 화상 정보를 표시하기 위하여 전송하는 시스템에서는, 원화상을 일단 부호화·압축하여 전송한 후에, 복호하여 얻어진 복호 화상을 표시한다. 화상 정보는 일반적으로 방대하므로, 네트워크 등의 전송로에 있어서의 전송 대역폭을 억제하기 위해서이다. 이러한 화상 전송 시스템에 있어서, 표시 대신에 또는 표시에 더하여, 화상 인식을 행하는 것이 요구되는 경우가 있다. 예를 들어, 감시 카메라에 있어서 수상한 사람을 발견하고, 또한, 차량 탑재 카메라에 있어서, 차간 거리를 구하고, 도로 표식을 인식하거나, 또는, 보행자나 다른 차량, 기타 장해물과의 충돌을 피하기 위해서, 화상 인식을 행하는 것이 요구된다.

특허문헌 1에는, 차량의 운전 지원을 위해서, 압축 신장 후의 영상을 사용하여 화상 인식을 행하는 차량 탑재 카메라 시스템이 개시되어 있다. 차량의 주행 상태와 운전 지원 애플리케이션(차선 일탈 경보, 충돌 방지, 후방 동화상 표시 등)에 따라, 동화상 포맷의 화상 사이즈, 색 포맷, 프레임 레이트, 비트 심도 등의 부호화 제어 정보를 동화상 송신 장치의 인코더 제어부에 송신하고, 송신측이 부호화 제어 정보에 기초하여 부호화 파라미터를 변경하고, 동화상 스트림을 생성한다.

특허문헌 2에는, 화상 부호화의 전단에 특징량 추출부를 구비하고, 특징량 산출부에서 화상의 평탄도(액티비티)를 산출하고, 화상 부호화 처리에 포함되는 디블로킹 필터에 관한 파라미터를 결정함으로써 화질을 개선하는, 화상 부호화 장치가 개시되어 있다.

일본 특허 공개 제2013-239995호 공보 일본 특허 공개 제2008-22404호 공보

특허문헌 1 및 2에 대하여 본 발명자가 검토한 결과, 이하와 같은 새로운 과제가 있는 것을 알았다.

일반적인 화상 부호화 방식은, 사람이 겉보기에 노이즈가 적다고 느끼도록 화상을 생성하는 부호화 방법이나, 발생하는 비트량이 최소가 되도록 부호화 모드를 결정하는 부호화 방법으로 되어 있고, 그 복호 화상을 대상으로서 화상 인식을 하고자 한 경우에, 반드시 화상 인식 처리에 적합하다고는 할 수 없다. 그로 인해, 일반적인 화상 부호화 방식에 의해 압축 신장된 복호 화상에서는, 인식율을 충분히 향상시킬 수 없는 것을 알았다.

특허문헌 2에 기재되는 화상 부호화 방식은, 화상을 표시하기 위하여 적합하기는 하지만, 화상을 인식하기 위하여 적합한 화상 부호화 방식을 제공하고 있지 않은 과제가 있다고 할 수 있다. 화상 인식하기 위한 특징량으로서, 예를 들어 EOH(Edge of Orientation Histogram) 특징량이나 HOG(Histograms of Oriented Gradients) 특징량 등, 에지 정보에 착안한 특징량이 제안되어 있다. 한편, 화상을 표시하기 위하여 적합한 디블로킹 필터 처리는 에지 정보를 상실시키는 처리로 되어 있고, 화상 인식을 위한 특징량을 감쇄하는 처리로 되어 있다.

또한, 특허문헌 1은, 화상 인식율을 높인다고 되어있으나, 상술한 바와 같이, 동화상 포맷의 화상 사이즈, 색 포맷, 프레임 레이트, 비트 심도 등을, 차량의 주행 상태와 운전 지원 애플리케이션의 종류나 목적에 따라, 화상 인식에 필요한 최소한으로 억제하지만, 부호화 파라미터까지 파고들어 최적화하는 것은 아니다. 또한, 부호화 제어 정보 및 동화상 스트림의 네트워크에 있어서의 전송 지연이 있고, 동화상 수신 장치에 의한 부호화 제어 정보의 송신으로부터, 동화상 스트림의 복호까지의 지연 시간이 크다는 문제가 있다.

이러한 과제를 해결하기 위한 수단을 이하에 설명하는데, 기타 과제와 신규의 특징은, 본 명세서의 기술(記述) 및 첨부 도면으로부터 밝혀질 것이다.

일 실시 형태에 의하면, 하기한 바와 같다.

즉, 데이터 수신부와, 파라미터 변경부와, 디코드부와, 화상 인식부를 구비하는 화상 수신 장치를, 이하와 같이 구성한다. 데이터 수신부는, 화상 부호화 데이터와 파라미터를 포함하는 화상 부호화 스트림을 수신한다. 파라미터 변경부는, 데이터 수신부에서 수신된 파라미터를 변경할 수 있고, 디코드부는, 파라미터 변경부에 의해 변경된 파라미터를 적용하여, 수신된 화상 부호화 데이터를 복호하여 화상 복호 데이터를 생성한다. 화상 인식부는, 복호된 화상 복호 데이터에 대하여 화상 인식 처리를 행한다.

상기 일 실시 형태에 의해 얻어지는 효과를 간단하게 설명하면 하기와 같다.

즉, 전송 지연의 영향을 받는 일 없이, 신속히 파라미터를 적절하게 변경하고, 화상 인식율을 향상시킬 수 있다. 화상 송신 장치에 있어서 부호화기가 화상 부호화 스트림에 포함하여 송신하는 파라미터를, 화상 수신 장치측에서 적절히, 화상 인식 처리에 적합한 파라미터로 변경할 수 있기 때문이다.

도 1은 실시 형태 1에 관한 화상 수신 장치의 구성예를 도시하는 블록도.
도 2는 파라미터를 포함하는 화상 부호화 스트림의 예를 도시하는 설명도.
도 3은 파라미터 변경부와 디코더부의 일 구성예를 도시하는 블록도.
도 4는 파라미터 변경부와 디코더부의 다른 구성예를 도시하는 블록도.
도 5는 파라미터의 변경과 디코드 처리의 플로우를 도시하는 흐름도.
도 6은 파라미터 변경과 디코드 처리 동작의 일례(픽처 단위의 피드백)를 모식적으로 도시하는 타이밍 차트.
도 7은 파라미터 변경과 디코드 처리 동작의 다른 예(슬라이스 단위의 피드백)를 모식적으로 도시하는 타이밍 차트.
도 8은 실시 형태 2에 관한 화상 수신 장치의 구성예를 도시하는 블록도.
도 9는 실시 형태 3에 관한 화상 수신 장치의 구성예를 도시하는 블록도.

1. 실시 형태의 개요

우선, 본원에 있어서 개시되는 대표적인 실시 형태에 대하여 개요를 설명한다. 대표적인 실시 형태에 따른 개요 설명에서 괄호를 부여하여 참조하는 도면 중의 참조 부호는 그것이 부여된 구성 요소의 개념에 포함되는 것을 예시하는 것에 지나지 않는다.

[1] <부호화기로부터 수신한 복호 파라미터를 변경하여 복호하는 화상 수신 장치>

본원에 있어서 개시되는 대표적인 실시 형태에 따른 화상 수신 장치(1)는, 데이터 수신부(11)와, 파라미터 변경부(12)와, 디코드부(13)와, 화상 인식부(14)를 구비하고, 이하와 같이 구성된다.

상기 데이터 수신부는, 화상 부호화 데이터와 파라미터를 포함하는 화상 부호화 스트림(33)을 수신한다. 상기 파라미터 변경부는, 상기 데이터 수신부에서 수신된 파라미터를 변경 가능하고, 상기 디코드부는, 상기 데이터 수신부에서 수신된 상기 화상 부호화 데이터와, 상기 파라미터 변경부에 의해 변경된 파라미터를 포함하는 화상 부호화 스트림(34)을 복호하여 화상 복호 데이터(35)를 생성한다. 상기 화상 인식부는, 상기 화상 복호 데이터에 대하여 화상 인식 처리를 행한다.

이에 의해, 전송 지연의 영향을 받는 일 없이, 신속히 파라미터를 적절하게 변경하여, 화상 인식율을 향상시킬 수 있다. 화상 송신 장치에 있어서 부호화기가 화상 부호화 스트림에 포함하여 송신하는 파라미터를, 화상 수신 장치측에서 적절히, 화상 인식 처리에 적합한 파라미터로 변경할 수 있기 때문이다.

[2] <화상 인식 처리의 정확도를 나타내는 지표에 기초하는 파라미터의 변경>

항 1에 있어서, 상기 화상 인식부는, 상기 화상 인식 처리의 과정에서, 화상 인식 처리의 정확도를 나타내는 지표(31)를 산출하고, 상기 파라미터 변경부는, 상기 화상 인식 처리의 과정에서 산출된 화상 인식 처리의 정확도를 나타내는 상기 지표에 기초하여, 상기 데이터 수신부에서 수신된 파라미터를 변경한다.

이에 의해, 화상 인식 처리에 보다 적합하도록 파라미터를 변경할 수 있다.

[3] <화상 수신 장치가 놓여 있는 환경 정보에 기초하는 파라미터의 변경>

항 1 또는 항 2에 있어서, 상기 파라미터 변경부는, 상기 화상 수신 장치가 놓여 있는 환경 정보(30)에 기초하여, 상기 데이터 수신부에서 수신된 파라미터를 변경한다.

이에 의해, 화상 수신 장치가 놓여 있는 환경에, 화상 인식 처리가 보다 적합하도록 파라미터를 변경할 수 있다.

[4] <주행 상황에 기초하는 파라미터의 변경>

항 3에 있어서, 상기 화상 수신 장치는 차량에 탑재되고, 상기 차량에 탑재되는 카메라에 의해 촬상된 화상이 화상 부호화 장치에 의해 화상 부호화 처리가 실시되고, 상기 화상 부호화 처리에 의해 생성된 화상 부호화 스트림이 상기 데이터 수신부에서 수신된다.

상기 파라미터 변경부는, 상기 차량의 주행 상황에 기초하여, 상기 데이터 수신부에서 수신된 파라미터를 변경한다.

이에 의해, 차량 탑재 카메라 시스템에 탑재되는 화상 수신 장치에 있어서, 차량의 주행 상황에 따라 요구되는 화상 인식의 대상물에, 보다 적합하도록 파라미터를 변경할 수 있다.

[5] <디블로킹 필터의 파라미터 변경>

항 1 내지 항 4 중 어느 한 항에 있어서, 상기 디코드부는 디블로킹 필터(135)를 포함한다. 상기 파라미터 변경부는, 상기 데이터 수신부에서 수신된 파라미터로서, 상기 화상 부호화 데이터에 대하여 상기 디블로킹 필터를 걸 것인지 여부를 나타내는 파라미터와 상기 디블로킹 필터의 필터 계수 중 적어도 한쪽을 변경한다.

이에 의해, 화상 인식 처리의 인식율이 충분히 높지 않을 때, 디블로킹 필터의 강도를 저하시켜서 화상의 고주파 성분을 억압시키지 않거나, 억압의 정도를 적게 억제하여, 인식율을 향상할 수 있다.

[6] <양자화 파라미터의 변경>

항 1 내지 항 4 중 어느 한 항에 있어서, 상기 디코드부는 역양자화부(133)를 포함한다. 상기 파라미터는, 상기 화상 부호화 데이터를 생성하기 위하여 실행된 부호화 처리에 포함되는, 양자화 처리에 대응하는 양자화 파라미터를 포함하고, 상기 파라미터 변경부는, 상기 데이터 수신부에서 수신된 파라미터에 포함되는 양자화 파라미터를 변경하여, 상기 역양자화부에 공급한다.

이에 의해, 화상 인식 처리의 인식율이 충분히 높지 않을 때, 양자화 파라미터를 크게 하여 예측 오차 성분을 증폭 강조하여, 인식율을 향상할 수 있다.

[7] <직교 변환 계수의 변경>

항 1 내지 항 4 중 어느 한 항에 있어서, 상기 디코드부는 직교 역변환부를 포함한다. 상기 파라미터는, 상기 화상 부호화 데이터를 생성하기 위하여 실행된 부호화 처리에 포함되는 직교 변환 처리에 대응하는 직교 변환 계수를 포함하고, 상기 파라미터 변경부는, 상기 데이터 수신부에서 수신된 파라미터에 포함되는 상기 직교 변환 계수를 변경하여, 상기 직교 역변환부에 공급한다.

이에 의해, 화상 인식 처리의 인식율이 충분히 높지 않을 때, 직교 변환 계수를 변경하여, 인식율을 향상할 수 있다. 예를 들어, 직교 변환 계수의 고역 성분을 삭제함으로써, 화상 인식 처리부에 입력되는 복호 화상의 주파수 성분을, 화상 인식에 필요해지는 주파수 성분에 적합하게 할 수 있다.

[8] <파라미터 송신부(화상 인식 처리의 정확도를 나타내는 지표)>

항 1에 있어서, 상기 화상 수신 장치는, 파라미터 송신부(17)를 더 구비한다.

상기 화상 인식부는, 상기 화상 인식 처리의 과정에서, 화상 인식 처리의 정확도를 나타내는 지표(31)를 산출하고, 상기 파라미터 변경부는, 상기 화상 인식 처리의 과정에서 산출된 화상 인식 처리의 정확도를 나타내는 상기 지표에 기초하여, 상기 데이터 수신부에서 수신된 파라미터(33)를 변경한다.

상기 파라미터 송신부는, 상기 화상 부호화 스트림을 생성하여 송출한 화상 송신 장치(4)에 대하여 상기 화상 인식 처리의 과정에서 산출된 화상 인식 처리의 정확도를 나타내는 상기 지표(31)를 송출한다.

이에 의해, 화상 인식 처리에 보다 적합하도록 파라미터를 변경할 수 있고, 또한, 화상 부호화 스트림을 생성하는 화상 부호화 장치에 있어서도, 상기 파라미터에 대응하는 부호화 파라미터를 변경시킬 수 있다.

[9] <파라미터 송신부(화상 수신 장치가 놓여 있는 환경 정보)>

항 8에 있어서, 상기 파라미터 변경부는, 상기 화상 수신 장치가 놓여 있는 환경 정보(30)에 기초하여, 상기 데이터 수신부에서 수신된 파라미터(33)를 변경한다.

상기 파라미터 송신부는, 상기 화상 부호화 스트림을 생성하여 송출한 화상 송신 장치(4)에 대하여, 상기 화상 수신 장치가 놓여 있는 환경 정보(30)를 나타내는 지표를 송출한다.

이에 의해, 화상 인식 처리의 환경 정보에 보다 적합하도록 파라미터를 변경할 수 있고, 또한, 화상 부호화 스트림을 생성하는 화상 부호화 장치에 있어서도, 상기 화상 수신 장치가 놓여 있는 환경 정보에 기초하여, 부호화 파라미터를 변경시킬 수 있다.

[10] <파라미터 송신부(주행 상황)>

항 9에 있어서, 상기 화상 수신 장치는 차량에 탑재되고, 상기 차량에 탑재되는 카메라에 의해 촬상된 화상이 화상 부호화 장치에 의해 화상 부호화 처리가 실시되고, 상기 화상 부호화 처리에 의해 생성된 화상 부호화 스트림이 상기 데이터 수신부에서 수신되고, 상기 파라미터 변경부는, 상기 차량의 주행 상황에 기초하여, 상기 데이터 수신부에서 수신된 파라미터를 변경한다. 상기 파라미터 송신부는, 상기 화상 부호화 스트림을 생성하여 송출한 화상 송신 장치에 대하여, 상기 차량의 주행 상황을 나타내는 지표를 송출한다.

이에 의해, 차량 탑재 카메라 시스템에 탑재되는 화상 수신 장치에 있어서, 차량의 주행 상황에 따라 요구되는 화상 인식의 대상물에 보다 적합하도록 파라미터를 변경할 수 있고, 또한, 화상 부호화 스트림을 생성하는 화상 부호화 장치에 있어서도, 상기 차량의 주행 상황에 기초하여, 부호화 파라미터를 변경시킬 수 있다.

[11] <표시용 디코더>

항 1 내지 항 10 중 어느 한 항에 있어서, 상기 화상 수신 장치는, 상기 디코드부와는 다른 디코드부(15)와, 표시부(16)를 더 구비한다.

상기 데이터 수신부는, 수신한 상기 화상 부호화 스트림을 상기 다른 디코드부에 공급한다. 상기 다른 디코드부는, 상기 화상 부호화 스트림에 포함되는 파라미터를 적용하여, 상기 화상 부호화 스트림에 포함되는 화상 부호화 데이터를 복호하고, 상기 화상 복호 데이터와는 다른 화상 복호 데이터를 생성하여, 상기 표시부에 공급한다.

이에 의해, 화상 인식에 적합하게 변경된 파라미터를 적용하여 복호된 화상 복호 데이터는 화상 인식부에 공급되고, 변경 전의 표시에 적합한 파라미터를 적용하여 복호된 화상 복호 데이터는 표시부에 공급되므로, 각각에 적절한 파라미터가 적용된다.

또한, 화상 인식에 적합하도록 변경된 파라미터를 적용하여 복호된 화상 복호 데이터와, 파라미터 변경 전의 표시에 적합한 파라미터를 적용하여 복호된 화상 복호 데이터를 상기 화상 인식부에 공급하고, 상기 화상 인식부는, 당해 2개의 화상 복호 데이터의 차분을 이용하여 화상 인식 처리를 실행할 수 있다. 이에 의해, 화상 인식의 정밀도를 보다 향상시킬 수 있다.

[12] <화상 전송 시스템>

본원에 있어서 개시되는 대표적인 실시 형태는, 항 1 내지 항 11 중 어느 한 항에 기재되는 화상 수신 장치(1)와 화상 송신 장치(4)를 구비하는, 화상 전송 시스템이다. 상기 화상 송신 장치는, 원화상이 입력되고, 상기 파라미터에 대응하는 인코드 파라미터를 사용하여 상기 원화상에 대한 부호화 처리를 행하여 상기 화상 부호화 데이터를 생성하는 화상 부호화 장치를 포함하고, 상기 화상 수신 장치에 상기 화상 부호화 스트림을, 상기 화상 수신 장치에 공급한다.

이에 의해, 전송 지연의 영향을 받는 일 없이, 신속히 파라미터를 적절하게 변경하여, 화상 인식율을 향상할 수 있는 화상 전송 시스템을 제공할 수 있다. 화상 송신 장치와 그것에 탑재되는 화상 부호화 장치에는, 파라미터 변경부에 대응하는 구성 요소를 구비할 필요는 없고, 통상의 화상 부호화 장치, 화상 송신 장치를, 그대로 조합할 수 있다.

[13] <차량 탑재 카메라>

항 12에 있어서, 상기 화상 전송 시스템은, 주위의 화상을 상기 원화상으로 하여 촬상하는 카메라와 차량 탑재 네트워크를 구비하는 차량에 탑재되고, 상기 화상 송신 장치와 상기 화상 수신 장치가 서로 상기 차량 탑재 네트워크로 통신 가능하게 접속된다.

이에 의해, 차량 탑재 카메라에 의해 촬상된 화상에 대한 화상 인식을 행하는 차량 탑재의 화상 전송 시스템에 있어서, 전송 지연을 낮게 억제할 수 있다. 촬상부터 화상의 인식까지의 시간이 짧아도 되므로, 자동차 운전 시의 위험 예지나 회피 등의 안전성을 향상시킬 수 있다.

[14] <부호화기로부터 수신한 복호 파라미터를 변경하여 복호하는 화상 수신 방법>

본원에 있어서 개시되는 대표적인 실시 형태에 따른 화상 수신 방법(1)은, 데이터 수신부(11)와, 파라미터 변경부(12)와, 디코드부(13)와, 화상 인식부(14)를 구비하고, 이하와 같이 구성된다.

상기 데이터 수신부에는, 화상 부호화 데이터와 파라미터를 포함하는 화상 부호화 스트림(33)이 입력된다. 상기 파라미터 변경부는, 상기 데이터 수신부에서 입력된 파라미터를 변경 가능하다(S1 내지 S4). 상기 디코드부는, 상기 데이터 수신부에서 수신된 상기 화상 부호화 데이터와, 상기 파라미터 변경부에 의해 변경된 파라미터를 포함하는 화상 부호화 스트림(34)을 복호하여 화상 복호 데이터(35)를 생성한다(S5). 상기 화상 인식부는, 상기 화상 복호 데이터에 대하여 화상 인식 처리를 행한다.

이에 의해, 전송 지연의 영향을 받는 일 없이, 신속히 파라미터를 적절하게 변경하여, 화상 인식율을 향상시킬 수 있는, 화상 수신 방법이 제공된다. 송신측에 있어서 부호화기가 화상 부호화 스트림에 포함하여 송신하는 파라미터를, 수신측에서 적절히, 화상 인식 처리에 적합한 파라미터로 변경할 수 있기 때문이다.

[15] <화상 인식 처리의 정확도를 나타내는 지표에 기초하는 파라미터의 변경>

항 14에 있어서, 상기 화상 인식부는, 상기 화상 인식 처리의 과정에서, 화상 인식 처리의 정확도를 나타내는 지표(31)를 산출하고, 상기 파라미터 변경부는, 상기 화상 인식 처리의 과정에서 산출된 화상 인식 처리의 정확도를 나타내는 상기 지표에 기초하여, 상기 데이터 수신부에 입력된 파라미터를 변경한다(S3, S4).

[16] <화상 수신 장치가 놓여 있는 환경 정보에 기초하는 파라미터의 변경>

항 14 또는 항 15에 있어서, 상기 파라미터 변경부는, 상기 화상 수신 방법을 사용하는 화상 수신 장치(1)가 놓여 있는 환경 정보(30)에 기초하여, 상기 데이터 수신부에서 수신된 파라미터를 변경한다(S1).

[17] <주행 상황에 기초하는 파라미터의 변경>

항 16에 있어서, 상기 화상 수신 장치는 차량에 탑재되고, 상기 차량에 탑재되는 카메라에 의해 촬상된 화상이 화상 부호화 장치에 의해 화상 부호화 처리가 실시되고, 상기 화상 부호화 처리에 의해 생성된 화상 부호화 스트림이 상기 데이터 수신부에서 수신된다. 상기 파라미터 변경부는, 상기 차량의 주행 상황에 기초하여, 상기 데이터 수신부에서 수신된 파라미터를 변경한다(S1).

이에 의해, 차량 탑재 카메라 시스템에 탑재되는 화상 수신 장치에 있어서, 차량의 주행 상황에 따라 요구되는 화상 인식의 대상물에 보다 적합하도록 파라미터를 변경할 수 있다.

[18] <디블로킹 필터의 파라미터 변경>

항 14 내지 항 17 중 어느 한 항에 있어서, 상기 디코드부는 디블로킹 필터(135)를 포함한다. 상기 파라미터 변경부는, 상기 데이터 수신부에서 수신된 파라미터로서, 상기 화상 부호화 데이터에 대하여 상기 디블로킹 필터를 걸 것인지 여부를 나타내는 파라미터와 상기 디블로킹 필터의 필터 계수 중 적어도 한쪽을 변경한다(S3, S4).

이에 의해, 화상 인식 처리의 인식율이 충분히 높지 않을 때, 디블로킹 필터의 강도를 저하시켜서 화상의 고주파 성분을 억압시키지 않거나, 억압의 정도를 적게 억제하여, 인식율을 향상시킬 수 있다.

[19] <양자화 파라미터의 변경>

항 14 내지 항 17 중 어느 한 항에 있어서, 상기 디코드부는 역양자화부(133)를 포함한다. 상기 파라미터는, 상기 화상 부호화 데이터를 생성하기 위하여 실행된 부호화 처리에 포함되는 양자화 처리에 대응하는 양자화 파라미터를 포함하고, 상기 파라미터 변경부는, 상기 데이터 수신부에서 수신된 파라미터에 포함되는 양자화 파라미터를 변경하여, 상기 역양자화부에 공급한다.

[20] <직교 변환 계수의 변경>

항 14 내지 항 17 중 어느 한 항에 있어서, 상기 디코드부는 직교 역변환부를 포함한다. 상기 파라미터는, 상기 화상 부호화 데이터를 생성하기 위하여 실행된 부호화 처리에 포함되는 직교 변환 처리에 대응하는 직교 변환 계수를 포함하고, 상기 파라미터 변경부는, 상기 데이터 수신부에서 수신된 파라미터에 포함되는 직교 변환 계수를 변경하여, 상기 직교 역변환부에 공급한다.

2. 실시 형태의 상세 사항

실시 형태에 대하여 더욱 상세하게 설명한다.

[실시 형태 1]

도 1은 실시 형태 1에 관한 화상 수신 장치(1)의 구성예를 도시하는 블록도이다.

화상 수신 장치(1)는 데이터 수신부(11), 파라미터 변경부(12), 디코더(13) 및 화상 인식부(14)를 구비한다. 데이터 수신부(11)는 네트워크(2)를 통하여 송출되어 오는 패킷 데이터의 수신과, 패킷 데이터로부터의 화상 부호화 스트림(33)의 추출을 행한다. 화상 부호화 스트림(33)은 부호화된 화상 데이터이고, 엘리멘터리 스트림이라고 불리는 것이다. 엘리멘터리 스트림에는, 예를 들어 MPEG-2(MPEG: Moving Picture Experts Group)나 H.264, HEVC(High Efficiency Video Coding) 등의 부호화 표준에 준거하는 것이 있고, 적어도 시퀀스 레벨, 픽처 레벨의 2계층의 구성을 가지며, 각 계층은 헤더부와 데이터부를 포함한다. 헤더부에는 부호화 시의 각종 파라미터가 포함되어 있고, 통상의 디코더는, 그 파라미터를 복호 파라미터로서 사용하여 데이터부의 복호 처리를 행한다. 파라미터 변경부(12)는, 화상 부호화 스트림(33) 중의 파라미터를 변경하고, 변경된 파라미터를 포함하는 화상 부호화 스트림(34)을 디코더(13)에 공급한다. 디코더(13)는 화상 부호화 스트림(34)에 포함되는 변경된 파라미터를 복호 파라미터로서 사용하고, 화상 부호화 스트림(34)의 데이터부를 복호하여, 복호 화상(35)을 생성한다. 화상 인식부(14)는 복호 화상(35)에 존재하는 오브젝트 등의 검출이나 인식, 추적 처리를 행한다.

파라미터 변경부(12)에 의한 구체적인 파라미터 변경 방법은 후술하지만, 네트워크(2)를 통하여 수신한 화상 부호화 스트림(33)에 포함되는 헤더 내의 파라미터를, 인코더부에 의해 생성되어 부여된 값으로부터 다른 값으로 변경한다. 인코더부에 의해 생성되어 부여된 파라미터는, 복호된 화상을 사람이 보는 것을 전제로 하여, 그 화질의 열화를 억제하는 방향으로 최적화되어 있지만, 화상 인식부(14)에 있어서의 인식 처리를 위하여 적절한 값으로 되어 있다고는 할 수 없다. 따라서, 파라미터 변경부(12)는, 네트워크(2)를 통하여 수신한 화상 부호화 스트림(33)에 포함되는 헤더 내의 파라미터를, 화상 인식부(14)에 있어서의 인식 처리를 위하여 적절한 값으로 변경한다. 이에 의해, 화상 인식부(14)에 있어서의 화상 인식율을 향상시킬 수 있다. 또한, 인코더측에서 생성하는 파라미터의 값을 변경시키는 경우와 비교하여, 네트워크(2)에 의한 전송 지연의 영향을 받는 일 없이, 신속히 파라미터를 적절하게 변경할 수 있다. 화상 수신 장치(1)측만으로 적절히, 화상 인식 처리에 적합한 파라미터의 값으로 변경할 수 있기 때문이다.

이때, 화상 인식부(14)는 화상 인식 처리의 과정에서, 화상 인식 처리의 정확도를 나타내는 지표(31)를 산출하여 파라미터 변경부(12)에 공급하고, 파라미터 변경부(12)는 그 화상 인식 처리의 정확도를 나타내는 지표(31)에 기초하여, 파라미터의 값을 변경하는 것이 적합하다. 이에 의해, 화상 인식부(14)에 의한 화상 인식 처리에, 보다 적합하도록 파라미터의 값을 변경할 수 있기 때문이다.

화상 인식 처리의 정확도를 나타내는 지표(31)는, 예를 들어 화상 인식부(14)에 있어서의 화상 검출, 인식, 추적 처리 결과의 정확도를 나타내는 지표나 인식 영역을 나타내는 정보, 화상 인식 영역 정보 등이다. 인식, 검출 결과의 정확도는, 각 처리 있어서의 유사도를 나타내는 역치나, 식별기 통과 단수 등으로부터 알 수 있다. 인식, 검출 결과의 정확도를 아는 방법은, 인식·검출 알고리즘, 애플리케이션에 따라 다양한 방법을 생각할 수 있지만, 이하와 같은 예가 있다.

얼굴, 표지 등의 물체 검출에 있어서는, 국소 특징량과 통계적 학습 방법을 조합하는 방법이 주류로 되어 있다. 예를 들어, 얼굴 검출에서는, Haar-like 특징량을 다수 조합하여 얼굴의 검출기를 구축한다. 검출기에는, 약식별기를 종속 접속하고, AdaBoost를 사용함으로써 다수의 국소 특징량 중에서 식별에 최적인 특징량을 선택한다. 여기서, 검출의 정확도를 나타내는 것으로서, 종속 접속된 약식별기를 몇단 통과했는지가 지표가 될 수 있다.

표지 인식 등의 특정 물체 인식 처리에서는, 사전 학습도 가능하고, 미리 참조 화상으로부터 구한 특징량과, 입력 화상으로부터의 대응점 탐색을 행함으로써, 표지 인식이 가능해진다. 유사도를 나타내는 값을 역치 처리하므로, 역치와의 유클리드 거리가 유사도를 나타내는 지표가 된다.

물체 추적에 있어서는, 예를 들어 KLT(Kaneda Lucas Tomasi)법은 국소 영역에서의 각 점의 움직임은 동일하다고 가정하고, 미소 시간에 있어서의 영역은 병행 이동뿐이라는 상태를 가정하여 특징점의 이동처를 구한다. 이동 전후에 있어서의 SIFT(Scale Invariant Feature Transform) 등의 특징량의 유사도(유클리드 거리)를 사용하여 특징점 판정을 행하므로, 특징량의 유클리드 거리가 지표가 될 수 있다.

파라미터 변경부(12)는 화상 인식 처리의 정확도를 나타내는 지표(31) 대신에, 또는 이에 더하여 디코더(13)로부터 출력되는 통계 정보(32)에 기초하여, 파라미터의 값을 변경할 수 있다. 통계 정보(32)는, 디코더(13)에 있어서의 각종 파라미터값, 그 분포 등의 통계 정보이다.

파라미터 변경부(12)가 파라미터의 값을 변경할 때에 참조하는 정보는, 화상 인식 처리의 정확도를 나타내는 지표(31)나 통계 정보(32)에 한하지 않고, 수신 유닛 내에서 얻어지는 데이터이면 된다.

또한, 파라미터 변경부(12)는 화상 인식 처리의 정확도를 나타내는 지표(31) 및 통계 정보(32) 대신에, 또는 이들에 더하여 화상 수신 장치(1)가 놓여 있는 환경 정보(30)에 기초하여, 파라미터의 값을 변경할 수 있다. 여기서, 환경 정보(30)로서는, 다양한 정보를 채용할 수 있다. 예를 들어, 화상 수신 장치(1)가 실행하는, 화상 인식부(14)에 의한 화상 인식 처리를 포함하는 애플리케이션 정보이다. 이에 의해, 화상 수신 장치(1)가 놓여 있는 환경에, 화상 인식 처리가 보다 적합하도록 파라미터의 값을 변경할 수 있다.

더욱 구체적인 예를 들면, 차량 탑재 카메라를 탑재한 운전 지원 시스템에 있어서의 화상 수신 장치에 적용할 수 있다. 즉, 화상 수신 장치(1)가 자동차 등의 차량에 탑재되고, 그 차량에 탑재되는 카메라에 의해 촬상된 화상이 화상 부호화 장치에 의해 화상 부호화 처리가 실시되고, 생성된 화상 부호화 스트림이, CAN(Controller Area Network) 등의 차량 탑재 네트워크를 통하여 전송되고, 화상 수신 장치(1)의 데이터 수신부(11)에서 수신된다. 화상 수신 장치(1)의 파라미터 변경부(12)는, 그 차량의 주행 상황에 기초하여, 데이터 수신부(11)에서 수신된 파라미터의 값을, 화상 인식부(14)에 의한 화상 인식 처리에 적합한 값으로 변경한다. 이때, 환경 정보(30)는, 예를 들어 고속 주행 중의 중앙 분리대나 노측대, 차선을 나타내는 백선, 또는, 선행 차량의 화상 인식, 중·저속 주행 중인 보행자나 표지, 장해물 등의 화상 인식, 후퇴 주행 시의 통행 금지나 정차 위치를 나타내는 선, 또는 장해물의 화상 인식 등의 애플리케이션 정보로 할 수 있다. 그 밖에, 자동차의 주행 상태를 나타내는 정보, 낮인지 밤인지, 또는 맑은지 우천인지 등의 환경 정보여도 된다.

이에 의해, 차량 탑재 카메라 시스템에 탑재되는 화상 수신 장치에 있어서, 차량의 주행 상황에 따라 요구되는 화상 인식의 대상물에, 보다 적합하게 파라미터의 값을 변경할 수 있다.

파라미터 변경부(12)에 의해 변경되는 파라미터에 대하여 설명한다.

도 2는 파라미터를 포함하는 화상 부호화 스트림의 예를 도시하는 설명도이다. 동 도면에는 파라미터의 일례로서, H.264의 오디오 비주얼 서비스 전반을 위한 고도 비디오 부호화 방식(Advanced video coding for generic audiovisual services)에 있어서의 화상 데이터의 구조가 나타난다. SPS는 Sequence parameter set, PPS는 Picture parameter set, SH는 Slice header, SD는 Slice data이다. 화상 부호화 스트림은, 동 도면이 시퀀스와 픽처와 슬라이스의 3계층이 예시되는 바와 같이, 복수의 계층을 포함하고 있고, 각 계층의 헤더부인 SPS, PPS, SH와, 최하위 계층의 슬라이스 레벨 데이터부인 SD를 포함한다. 각 계층의 헤더부인 SPS, PPS, SH에 각 계층의 부호화 파라미터가 정의되어 있다. PPS에는 예를 들어 deblocking_filter_control_present_flag가, SH에는 예를 들어disable_deblocking_filter_idc, slice_alpha_c0_offset_div2, slice_beta_offset_div2 등이 각각 포함된다. 이것들은 디블로킹 필터의 처리를 행할지 여부, 또한 처리를 행할 때의 필터 계수를 규정하기 위한 파라미터이며, 적절하게 변경함으로써, 화상 인식부(14)에 입력하는 화상 신호의 주파수 성분을 제어하는 것이 가능하다.

파라미터 변경부(12)에 의해 변경되는 파라미터는, 상술한 디블로킹 필터에 관한 파라미터에 한정되지 않고, 예측 모드, 양자화 파라미터, 직교 변환 계수 등이어도 된다. 양자화 파라미터를 큰 값으로 변경하면, 예를 들어 예측 오차 성분이 증폭 강조되고, 또한, 직교 변환 계수의 변경에 의해, 화상 신호의 주파수 성분을 제어함으로써, 화상 인식부(14)의 처리 정밀도를 바꾸는 것이 가능해진다.

파라미터 변경부(12)와 디코더(13), 보다 상세한 구성예에 대하여 설명한다.

도 3은 파라미터 변경부(12)와 디코더(13)의 일 구성예를 도시하는 블록도이다.

파라미터 변경부(12)는 파라미터 변경 제어부(120)와 가변 길이 복호부(121)와 스트림 변경 처리부(122)를 포함하여 구성되고, 디코더(13)에 접속된다. 데이터 수신부(11)로부터 공급되는 화상 부호화 스트림(33)은, 가변 길이 복호부(121)에 입력된다. 가변 길이 복호부(123)는 입력된 화상 부호화 스트림(33)을 디코딩하고, SPS나 PPS의 파라미터(123)를 추출한다. 파라미터 변경 제어부(120)는 피드백되는 상술한 각 정보(30, 31, 32)를 사용하여, 가변 길이 복호부(123)에서 추출된 파라미터를 변경할지 판단을 행한다. 스트림 변경 처리부(122)는 화상 부호화 스트림(33) 중, 변경해야 한다고 판단된 파라미터(123)를 변경하고, 변경된 파라미터를 헤더부에 포함하는 화상 부호화 스트림(34)을 생성한다. 여기서, 파라미터 변경부(12)가 출력하는 화상 부호화 스트림(34)에 있어서의 파라미터의 변경은, 부호화 표준 규격의 범위 내로서, 규격을 일탈하는 것이 아니다. 따라서 통상의 디코더(13)로 에러가 되지 않는다. 즉, 디코더(13)의 설계 자원의 유용이 가능하게 되어, 비용을 저감할 수 있다.

가변 길이 복호부(121)는, 화상 부호화 스트림(33) 중의 헤더 부분만 복호 가능해도 되고, 데이터부의 가변 길이 복호 기능을 갖고 있어도 된다.

도 4는 파라미터 변경부(12)와 디코더(13)의 다른 구성예를 도시하는 블록도이다. 이 예에서는 파라미터 변경부(12)는 디코더(13)와 혼연일체로서 구성되고, 파라미터 변경 기능을 내부에 구비하는 디코더(13)로서 나타나 있다. 파라미터 변경부(12)나 디코더(13) 등의 기능 블록으로의 분리 방법이나 호칭은, 편의적인 것으로서, 적절히 변경할 수 있다. 도 4에 예시되는 디코더(13)는, 파라미터 처리 제어부(130)와, 가변 길이 복호부(131)와 파라미터 처리부(132)와 역양자화 역변환부(133)와 가산기(134)와 디블로킹 필터(135)와, 픽처 버퍼(136)와, 화면 내 예측부(137)와 화면 간 예측부(138)와, 예측 모드 선택부(139)를 포함하여 구성된다. 데이터 수신부(11)로부터 공급되는 화상 부호화 스트림(33)은 가변 길이 복호부(131)에 입력된다. 가변 길이 복호부(131)는 화상 부호화 스트림(33)의 복호 처리를 행하며, 헤더 파라미터나 직교 변환 계수나 부호화 모드 등의 파라미터(1301)를 출력한다. 파라미터 처리 제어부(130)는 피드백되는 상술한 각 정보(30, 31, 32)를 사용하여, 파라미터(1301)에 포함되는 파라미터를 변경할 것인지 여부의 판단을 행하고, 파라미터 처리부(132)는 필요에 따라 파라미터(1301)에 포함되는 파라미터의 변경을 행하고, 변경 후의 파라미터(1302)를 디코더(13) 내의 각 처리부(133 내지 139)에 출력한다. 역양자화 역변환부(133)는 역양자화 및 역변환을 행하고, 예측 오차분의 화소 데이터를 출력한다. 이 화소 데이터는, 가산기(134)에서, 셀렉터(139)로 선택된 화면 내 예측 화상(137로부터의 출력) 또는 화면 간 예측 화상(138로부터의 출력)과 서로 더하게 하여, 디블로킹 필터(135)로 처리된 결과, 픽처 버퍼(136)에 저장된다. 픽처 버퍼(136) 내의 화상 데이터는, 복호 화상(35)으로서 출력되는 것과 동시에, 화면 간 예측(138)의 참조 화상으로서 사용된다.

본 구성예에서는, 디코더(13) 내의 각 처리부(133 내지 139)에 입력하는 각종 파라미터뿐만 아니라, 필요에 따라서 더 데이터를 변경 처리하는 것이 가능해진다. 예를 들어, 직교 변환 계수의 고역 성분을 삭제함으로써, 복호 화상(35)의 주파수 성분을 제어하는 것이 가능해진다.

파라미터의 변경 처리 수순에 대하여 설명한다.

도 5는 파라미터의 변경과 디코드 처리의 플로우를 도시하는 흐름도이다. 시퀀스(Seq), 픽처(Pic), 슬라이스의 각 계층마다, 파라미터를 변경하는 플로우가 표시된다. 먼저, 환경 정보(30)에 의해 화상 부호화 스트림(33)에 포함되는, 어느 파라미터를 변경할지를 결정한다(S1). 계속해서 시퀀스 레벨의 파라미터 SPS의 변경 처리를 행한다(S2). 이후에는, 픽처마다 정보(31, 32)의 정보를 사용하여, PPS/SPS에 존재하는 파라미터의 변경을 변경한다(S3). 또한 슬라이스를 이용할 수 있는 부호화 표준 규격에서는, 슬라이스마다, 정보(31, 32)의 정보를 사용하여, 슬라이스 헤더(SH) 내의 파라미터를 변경한다(S4). 파라미터 변경 후, 변경된 파라미터를 사용하여 슬라이스 데이터(SD) 처리(디코드 처리)를 행하고(S5), 픽처 종료(S6) 및 시퀀스 종료(S7)까지 디코드 처리를 계속한다.

파라미터 변경과 디코드 처리의 동작예에 대하여 설명한다. 도 6과 도 7은 각각 파라미터 변경과 디코드 처리 동작의 일례를 모식적으로 도시하는 타이밍 차트이며, 도 6에는 픽처 레벨에서의 피드백을 행하는 예가, 도 7에는 슬라이스 레벨에서의 피드백을 행하는 예가, 각각 도시된다. 횡축은 시간이고, 파라미터 변경부(12)와 디코더(13)의 동작이 「디코드」로서 표시되며, 화상 인식부(14)의 동작이 「화상 인식」으로서 표시된다.

도 6은 파라미터 변경과 디코드 처리 동작의 일례(픽처 단위의 피드백)를 모식적으로 도시하는 타이밍 차트이다. 「변경」은 파라미터 변경부(12)에 의한 파라미터의 변경 처리이며, 상단의 「디코드」에 있어서의 「픽처 0 처리」, 「픽처 1 처리」 및 「픽처 2 처리」는 디코더(13)에 의한 복호 처리이다. 하단의 「화상 인식」은 화상 인식부(14)에 있어서의 화상 인식 처리에서, 도시되는 「픽처 0 처리」, 「픽처 1 처리」는 그 화상 인식의 대상인 픽처가 번호로 표시되는 화상 인식 처리이다.

픽처 0의 파라미터를 대상으로 하는 파라미터 변경 처리(「변경」이라고 도시됨) 후, 픽처 0의 디코드 처리(「픽처 0 처리」라고 도시)가 개시된다. 디코드 처리는, 예를 들어 매크로 블록 등의 처리 단위마다 실행되고, 처리가 완료된 매크로 블록으로부터 픽처 처리 결과(35)의 화상 인식부(14)로의 출력이 개시된다. 픽처 처리 결과(35)가 출력된 후, 화상 인식부(14)는 픽처 0를 대상으로 하는 화상 인식 처리(「픽처 0 처리」라고 도시)를 개시한다. 픽처 0의 디코드 처리가 완료된 후, 픽처 0의 디코드 처리에 의해 얻어지는 통계 정보(32)를 사용하여, 다음 픽처 1의 파라미터를 대상으로 하는 파라미터 변경 처리(「변경」이라고 도시)와 그 후의 디코드 처리(「픽처 1 처리」라고 도시)가 개시된다. 픽처 1에 관한 픽처 처리 결과(35)가 출력된 후, 화상 인식부(14)는 픽처 1을 대상으로 하는 화상 인식 처리(「픽처 1 처리」라고 도시)를 개시한다. 픽처 1의 디코드 처리가 완료된 후, 다음 픽처 2의 파라미터를 대상으로 하는 파라미터 변경 처리(「변경」이라고 도시)와 그것에 이어지는 디코드 처리가 개시된다. 픽처 2의 파라미터를 대상으로 하는 파라미터 변경 처리에는, 픽처 1의 디코드 처리(「픽처 1 처리」라고 도시)에 의해 얻어지는 통계 정보(32)에 더하여, 픽처 0을 대상으로 하는 화상 인식 처리(「픽처 0 처리」라고 도시)에 의해 얻어지는, 화상 인식 처리의 정확도를 나타내는 지표(31)가 피드백된다.

도 7은 파라미터 변경과 디코드 처리 동작의 다른 예(슬라이스 단위의 피드백)를 모식적으로 도시하는 타이밍 차트이다. 1 픽처가 2개의 슬라이스를 포함하는 예이다. 「변경」은 파라미터 변경부(12)에 의한 파라미터의 변경 처리인데, 슬라이스 레벨의 파라미터 변경이 포함된다. 상단의 「디코드」에 도시되는 바와 같이, 픽처 0의 슬라이스 0에 관한 파라미터 변경 처리와 디코드 처리와 슬라이스 1에 관한 파라미터 변경 처리와 디코드 처리가 순차 실행되고, 그 후 픽처 1, 픽처2, …의 각각의 슬라이스 0과 슬라이스 1에 관한 파라미터 변경 처리와 디코드 처리가 순차 실행된다.

하단의 「화상 인식」에 도시되는 바와 같이, 화상 인식부(14)는 픽처 0의 슬라이스 0에 관한 슬라이스 처리 결과(35)가 공급되었을 시에 픽처 0의 슬라이스 0을 대상으로 하는 화상 인식 처리를 개시하고, 픽처 0의 슬라이스 1에 관한 슬라이스 처리 결과(35)가 공급되었을 때에 같은 픽처 0의 슬라이스 1을 대상으로 하는 화상 인식 처리를 개시한다. 그 후, 픽처 1, 픽처 2, …의 각각의 슬라이스 0과 슬라이스 1에 관한 화상 인식 처리가 순차 실행된다. 슬라이스 0의 디코드 처리에 의해 얻어지는 통계 정보(32)는 동일한 픽처 내의 슬라이스 0으로부터 다음 슬라이스 1을 위한 파라미터 변경 처리로, 또한, 슬라이스 1의 디코드 처리에 의해 얻어지는 통계 정보(32)는 다음 픽처의 슬라이스 0을 위한 파라미터 변경 처리로, 각각 피드백된다. 화상 인식 처리에 의해 얻어지는 화상 인식 처리의 정확도를 나타내는 지표(31)에 대해서는, 픽처 0의 슬라이스 0로부터 얻어지는 정보(31)가 픽처 1의 슬라이스 0을 위한 파라미터 변경 처리로 피드백되고, 픽처 0의 슬라이스 1로부터 얻어지는 정보(31)가 픽처 1의 슬라이스 1을 위한 파라미터 변경 처리로 피드백된다. 픽처 0의 슬라이스 1로부터 얻어지는 정보(31)는 또한 다음 픽처 2를 위한 파라미터 변경 처리로도 피드백될 수 있다.

도 7에 도시되는 바와 같이, 슬라이스 레벨의 디코드가 가능한 경우에는, 상기 (1), (2)에 더하여, 화상 인식부(14)에서 인식한 결과의 정확도 지표(31)를 다음 슬라이스 처리에 적용하는 것이 가능하다.

도 6 및 도 7에서는, 디코더(13)에 의한 디코드 처리와 화상 인식부(14)에 있어서의 화상 인식 처리에 동일 정도의 시간이 걸리는 경우의 타이밍이 도시된다. 본 발명에 있어서는, 통신로의 지연에 관계없이, 검출이나 인식 처리 개선의 피드백을, 신속하게 또한 일정 기간 내에 행하는 것이 가능하다.

본 발명에 의해 얻어지는 효과에 대하여 설명한다.

본 발명을 선단 운전 시스템(ADAS: Advanced Driver Assistance System)에 적용하는 경우에는, 본 실시 형태에 따른 화상 수신 장치(1)는 내비게이션 등을 제어하는 엔드 포인트가 된다. 카메라 영상은 송신 유닛에 있어서 부호화되고, 부호화된 카메라 영상(화상 부호화 스트림)은 Ethernet(등록 상표), CAN 등의 통신로를 통하여 화상 수신 장치(1)에 전송된다. 본 발명에 있어서는, 통신로의 지연에 관계없이, 인식율 개선의 피드백을 신속하게 또한 일정 기간 내에 행할 수 있다.

또한, 통신로 네트워크가 존재하지 않고, 축적된 부호화 데이터로부터의 오브젝트 인식을 행하는 애플리케이션에 있어서, 본 발명에 의한 화상 인식을 행한다. 부호화 파라미터를 바꿀 수 없는 시스템에 있어서도, 화상 인식율을 향상시키는 효과가 있다.

파라미터를 변경함으로써, 송신 장치가 상정하는 올바른 복호 화상과는 일치하지 않지만, 인식 정밀도를 높이는 것이 가능하게 된다. 복호 화상을 참조 화상으로서 사용하지 않는 한, 오차가 전반하지 않고, 송신측의 부호화에 영향을 미치는 일은 없다.

[실시 형태 2]

도 8은 실시 형태 2에 관한 화상 수신 장치의 구성예를 도시하는 블록도이다.

화상 수신 장치(1)는, 도 1에 도시되는 실시 형태 1에 관한 화상 수신 장치(1)와 마찬가지로, 데이터 수신부(11), 파라미터 변경부(12), 디코더(13) 및 화상 인식부(14)를 구비하고, 또한, 디코더(15)와 표시부(16)를 구비한다. 데이터 수신부(11), 파라미터 변경부(12), 디코더(13) 및 화상 인식부(14)의 구성과 동작에 대해서는, 실시 형태 1에서 설명한 것과 마찬가지이므로, 여기서는 설명을 생략한다. 추가된 디코더(15)에는, 화상 부호화 스트림(33)이 파라미터 변경 처리를 받는 일 없이 입력된다. 그로 인해, 디코더(15)는, 통상과 같은 시인성을 중시한 복호 파라미터인 채로 복호가 행하여진다. 그 복호 화상 출력(36)은 표시부(16)에 공급되어 표시된다.

이에 의해, 화상 인식에 적합하도록 변경된 파라미터를 적용하여 복호된 화상 복호 데이터는 화상 인식부에 공급되고, 변경 전의 표시에 적합한 파라미터를 적용하여 복호된 화상 복호 데이터는 표시부에 공급되므로, 각각에 적절한 파라미터가 적용된다.

본 실시 형태 2에 있어서의 화상 인식부(14)는, 디코더(13)의 복호 화상 출력(35)에 더하여, 디코더(15)의 복호 화상 출력(36)을 입력할 수 있도록 확장할 수 있다. 화상 인식부(14)는, 파라미터가 변경된 복호 화상 출력(35)과 변경되지 않은 복호 화상 출력(36)의 양쪽을 화상 인식 처리에 이용함으로써, 인식 정밀도를 더욱 높일 수 있다. 예를 들어, 디블로킹 필터를 강제적으로 오프로 한 복호 화상 출력(35)과 인코더의 지정대로 디블로킹 필터 처리를 행한 복호 화상 출력(36)에 대하여 화소마다 차분을 계산하면, 디블로킹 필터가 걸리는 화소 주변에 있어서의 에지의 정보를 추출할 수 있다.

디코더(13과 15)의 실장은, 도 8에 도시하는 바와 같이 2계통을 독립적으로 배치해도 되고, 하나의 디코더를 시분할 동작시켜도 된다. 또한, 디코더(13)의 처리 능력이, 화상 인식부(14)의 필요한 인식 처리 성능보다도 큰 경우에는, 디코더(13)를 시분할 동작시킴으로써, 복수의 복호 화상 출력(35)을 화상 인식에 사용할 수 있다.

본 실시 형태 2에서는, 실시 형태 1에 나타낸 방법에 의해 화상 인식율을 향상시키면서, 화상 표시(사람에 의한 인식)도 동시에 행하는 것이 가능해진다. 또한, 복수의 디코드 화상을 화상 인식부에 입력함으로써, 인식 정밀도 개선에 기여하는 것이 가능해진다.

또한, 본 발명에서는, 파라미터를 변경함으로써, 화상 인식·트래킹을 위한 새로운 입력 화상(데이터)을 만들어 낸다고 파악할 수도 있다. 즉, 송신 장치가 상정하는 올바른 복호 화상과는 일치하지 않고, 또한 복호 화상을 참조 화상으로서 이용하여 오차가 전반해도 되고, 외견은 나쁘더라도, 화면 내의 움직임 정보는 잔존하여, 인식에 사용할 수 있다.

실시 형태 1에서는, 파라미터를 변경한 복호 화상을 참조 화상으로서 사용하지 않는 한, 오차가 전반하는 일이 없어, 송신측의 부호화에 영향을 미치는 일은 없다고 하였지만, 본 실시 형태에 있어서는, 파라미터 변경의 범위를 화면 간 예측 및 참조 화상을 포함하는 것으로 해도 된다(화면 내 예측만, 디블로킹 필터 불필요에 한정하지 않음).

[실시 형태 3]

도 9는 실시 형태 3에 관한 화상 수신 장치의 구성예를 도시하는 블록도이다.

화상 수신 장치(1)는 도 1에 도시되는 실시 형태 1에 관한 화상 수신 장치(1)와 마찬가지로, 데이터 수신부(11), 파라미터 변경부(12), 디코더(13) 및 화상 인식부(14)를 구비하고, 또한, 파라미터 송신부(17)를 구비한다. 데이터 수신부(11), 파라미터 변경부(12), 디코더(13) 및 화상 인식부(14)의 구성과 동작에 대해서는, 실시 형태 1에서 설명한 것과 마찬가지이므로, 여기서는 설명을 생략한다. 추가된 파라미터 송신부(17)에는, 예를 들어 화상 인식부(14)에서 인식한 결과의 정확도 지표(31)와 디코드 처리에 의해 얻어지는 통계 정보(32)가 입력되고, 화상 송신 장치 내의 인코더(4)에 송출된다. 송신측에 피드백함으로써, 화상 인식부의 인식 처리 결과의 정확도를 나타내는 지표의 계측을 보조한다. 또한, 화상 송신 장치 내의 인코더(4)에서는, 부호화 시의 파라미터를, 화상 수신 장치(1)에 있어서의 화상 인식 처리에 적합한 값으로 변경할 수 있다.

짧은 시간의 피드백 제어에는, 실시 형태 1에 있어서 도 6과 도 7을 인용하여 설명한 동작을 채용할 수 있다. 보다 오랜 시간의 피드백 제어에는, 도 9의 파라미터 송신부(17)를 이용한 구성으로 한다. 부호화부(인코더(4))의 부호화 모드의 선택에 피드백 제어가 가능해지면, 인식 처리 결과의 정확도를 나타내는 지표(31)의 계측을 보조하는 기능이 되기 때문에, 보다 정확한 피드백이 가능하게 된다. 즉, 화상 인식에 의해 적절한 파라미터에 의한 화상 부호화 스트림이 보내지므로, 화상 수신 장치(1)에 있어서의 화상 인식의 정밀도를 보다 향상시킬 수 있다.

또한, 실시 형태 1에 나타낸 화상 수신 장치(1) 내의 피드백과, 본 실시 형태 3에서 추가한 화상 수신 장치(1) 외, 즉 인코더(4)로의 피드백과의 전환은, 이하와 같이 제어할 수 있다.

예를 들어, 피드백처의 전환 방법으로서, 화상 부호화 스트림(33)에 포함되는 시간 정보에서, 지연 시간을 판단하고, 화상 수신 장치(1) 내의 피드백과 화상 송신 장치(인코더(4))로의 피드백과의 사이의 전환을 행한다. 또한, 인코더(4)측이 반응할 때까지는 화상 수신 장치(1) 내부의 피드백을 사용하고, 그 후, 화상 송신 장치(인코더(4))로의 피드백으로 전환해도 된다. 이에 의해, 전환 타임 래그를 경감할 수 있다.

이상 본 발명자에 의해 이루어진 발명을 실시 형태에 기초하여 구체적으로 설명했지만, 본 발명은 이에 한정되는 것이 아니며, 그 요지를 일탈하지 않는 범위내에서 다양한 변경이 가능한 것은 물론이다.

예를 들어, 화상 수신 장치를 구성하는 각 기능 블록은, 개시되는 블록 분할에 한정되는 것이 아니라, 일부 또는 전체의 기능이 다른 블록에 포함되는 등, 블록 분할의 형태를 변경하는 것은 임의이다. 또한, 각 기능 블록의 실장 방법은, 예를 들어 반도체 집적 회로 등의 하드웨어에 의해 실장되고, 프로세서 상에서 동작하는 소프트웨어로서 실장되며, 또는 그것들을 조합하여 실장되어도 된다.

1: 화상 수신 장치
2: 네트워크
4: 화상 송신 장치(인코더)
11: 데이터 수신부
12: 파라미터 변경부
13, 15: 디코드부(디코더)
14: 화상 인식부
16: 표시부
17: 파라미터 송신부
30: 환경 정보
31: 화상 인식 처리의 정확도를 나타내는 지표(인식율)
32: 통계 정보
33: 화상 부호화 스트림
34: 변경된 파라미터를 포함하는 화상 부호화 스트림
1301: 화상 부호화 스트림에 포함되는 파라미터
1302: 변경된 파라미터
35, 36: 화상 복호 데이터(복호 화상 출력)
120: 파라미터 변경 제어부
121: 가변 길이 복호부
122: 스트림 변경 처리부
123: 파라미터
130: 파라미터 처리 제어부
131: 가변 길이 복호부
132: 파라미터 처리부
133: 역양자화 역변환부
134: 가산부
135: 디블로킹 필터
136: 픽처 버퍼
137: 화면 내 예측부
138: 화면 간 예측부
139: 예측 모드 선택부

Claims

데이터 수신부와, 파라미터 변경부와, 디코드부와, 화상 인식부를 구비하고,
상기 데이터 수신부는, 화상 부호화 데이터와 파라미터를 포함하는 화상 부호화 스트림을 수신하고, 상기 화상 부호화 스트림은 엘리멘터리 스트림을 포함하고, 상기 화상 부호화 데이터는 부호화된 화상을 포함하고, 상기 파라미터는 인코드 파라미터를 포함하고, 화상은 상기 인코드 파라미터에 따라 부호화되어 상기 부호화된 화상을 생성하고,
상기 파라미터 변경부는, 상기 데이터 수신부에서 수신된 상기 화상 부호화 스트림 내의 상기 파라미터를 변경하여 상기 화상 인식부가 행한 화상 인식 처리의 정확도를 증가시키도록 구성되고,
상기 디코드부는, 복호 파라미터로서 상기 파라미터 변경부에 의해 변경된 상기 파라미터를 사용하여, 상기 데이터 수신부에서 수신된 상기 화상 부호화 데이터와, 상기 파라미터 변경부에 의해 변경된 파라미터를 포함하는 화상 부호화 스트림을 복호하여 화상 복호 데이터를 생성하고, 상기 화상 복호 데이터는 복호된 화상을 포함하고,
상기 화상 인식부는, 상기 화상 복호 데이터에 대하여 상기 화상 인식 처리를 행하고,
상기 화상 인식부는, 상기 화상 인식 처리의 과정에서, 화상 인식 처리의 정확도를 나타내는 지표를 산출하고,
상기 파라미터 변경부는, 상기 화상 인식 처리의 과정에서 산출된 화상 인식 처리의 정확도를 나타내는 상기 지표에 기초하여, 상기 데이터 수신부에서 수신된 파라미터를 변경하는,
화상 수신 장치.
삭제
제1항에 있어서,
상기 파라미터 변경부는, 상기 화상 수신 장치가 놓여 있는 환경 정보에 기초하여, 상기 데이터 수신부에서 수신된 파라미터를 변경하는,
화상 수신 장치.
제3항에 있어서,
상기 화상 수신 장치는 차량에 탑재되고, 상기 차량에 탑재되는 카메라에 의해 촬상된 상기 화상이 화상 부호화 장치에 의해 화상 부호화 처리가 실시되고, 상기 화상 부호화 처리에 의해 생성된 화상 부호화 스트림이 상기 데이터 수신부에서 수신되고,
상기 파라미터 변경부는, 상기 차량의 주행 상황에 기초하여, 상기 데이터 수신부에서 수신된 파라미터를 변경하는,
화상 수신 장치.
제1항에 있어서,
상기 디코드부는 디블로킹 필터를 포함하고,
상기 파라미터 변경부는, 상기 데이터 수신부에서 수신된 파라미터로서, 상기 화상 부호화 데이터에 대하여 상기 디블로킹 필터를 걸 것인지 여부를 나타내는 파라미터와 상기 디블로킹 필터의 필터 계수 중 적어도 한쪽을 변경하는,
화상 수신 장치.
제1항에 있어서,
상기 디코드부는 역양자화부를 포함하고,
상기 파라미터는, 상기 화상 부호화 데이터를 생성하기 위하여 실행된 부호화 처리에 포함되는, 양자화 처리에 대응하는 양자화 파라미터를 포함하고,
상기 파라미터 변경부는, 상기 데이터 수신부에서 수신된 파라미터에 포함되는 양자화 파라미터를 변경하여, 상기 역양자화부에 공급하는,
화상 수신 장치.
제1항에 있어서,
상기 디코드부는 직교 역변환부를 포함하고,
상기 파라미터는, 상기 화상 부호화 데이터를 생성하기 위하여 실행된 부호화 처리에 포함되는 직교 변환 처리에 대응하는 직교 변환 계수를 포함하고,
상기 파라미터 변경부는, 상기 데이터 수신부에서 수신된 파라미터에 포함되는 상기 직교 변환 계수를 변경하여, 상기 직교 역변환부에 공급하는,
화상 수신 장치.
제1항에 있어서,
상기 화상 수신 장치는, 파라미터 송신부를 더 구비하고,
상기 화상 인식부는, 상기 화상 인식 처리의 과정에서, 화상 인식 처리의 정확도를 나타내는 지표를 산출하고,
상기 파라미터 변경부는, 상기 화상 인식 처리의 과정에서 산출된 화상 인식 처리의 정확도를 나타내는 상기 지표에 기초하여, 상기 데이터 수신부에서 수신된 파라미터를 변경하고,
상기 파라미터 송신부는, 상기 화상 부호화 스트림을 생성하여 송출한 화상 송신 장치에 대하여 상기 화상 인식 처리의 과정에서 산출된 화상 인식 처리의 정확도를 나타내는 상기 지표를 송출하는,
화상 수신 장치.
제8항에 있어서,
상기 파라미터 변경부는, 상기 화상 수신 장치가 놓여 있는 환경 정보에 기초하여, 상기 데이터 수신부에서 수신된 파라미터를 변경하고,
상기 파라미터 송신부는, 상기 화상 부호화 스트림을 생성하여 송출한 화상 송신 장치에 대하여, 상기 상기 화상 수신 장치가 놓여 있는 환경 정보를 나타내는 지표를 송출하는,
화상 수신 장치.
제9항에 있어서,
상기 화상 수신 장치는 차량에 탑재되고, 상기 차량에 탑재되는 카메라에 의해 촬상된 화상이 화상 부호화 장치에 의해 화상 부호화 처리가 실시되고, 상기 화상 부호화 처리에 의해 생성된 화상 부호화 스트림이 상기 데이터 수신부에서 수신되고,
상기 파라미터 변경부는, 상기 차량의 주행 상황에 기초하여, 상기 데이터 수신부에서 수신된 파라미터를 변경하고,
상기 파라미터 송신부는, 상기 화상 부호화 스트림을 생성하여 송출한 화상 송신 장치에 대하여, 상기 차량의 주행 상황을 나타내는 지표를 송출하는,
화상 수신 장치.
제1항에 있어서,
상기 디코드부와는 다른 디코드부와, 표시부를 더 구비하고,
상기 데이터 수신부는, 수신한 상기 화상 부호화 스트림을 상기 다른 디코드부에 공급하고,
상기 다른 디코드부는, 상기 화상 부호화 스트림에 포함되는 파라미터를 적용하여, 상기 화상 부호화 스트림에 포함되는 화상 부호화 데이터를 복호하고, 상기 화상 복호 데이터와는 다른 화상 복호 데이터를 생성하여, 상기 표시부에 공급하는,
화상 수신 장치.
제1항에 기재되는 화상 수신 장치와,
상기 화상으로서 원화상이 입력되고, 상기 파라미터에 대응하는 상기 인코드 파라미터를 사용하여 상기 원화상에 대한 부호화 처리를 행하여 상기 화상 부호화 데이터를 생성하는 화상 부호화 장치를 포함하고, 상기 화상 수신 장치에 상기 화상 부호화 스트림을 공급하는 화상 송신 장치를 구비하는,
화상 전송 시스템.
제12항에 있어서,
주위의 화상을 상기 원화상으로 하여 촬상하는 카메라와 차량 탑재 네트워크를 구비하는 차량에 탑재되고, 상기 화상 송신 장치와 상기 화상 수신 장치가 서로 상기 차량 탑재 네트워크로 통신 가능하게 접속되는,
화상 전송 시스템.
데이터 수신부와, 파라미터 변경부와, 디코드부와, 화상 인식부를 구비하고,
상기 데이터 수신부에는, 화상 부호화 데이터와 파라미터를 포함하는 화상 부호화 스트림이 입력되고, 상기 화상 부호화 스트림은 엘리멘터리 스트림을 포함하고, 상기 화상 부호화 데이터는 부호화된 화상을 포함하고, 상기 파라미터는 인코드 파라미터를 포함하고, 화상은 상기 인코드 파라미터에 따라 부호화되어 상기 부호화된 화상을 생성하고,
상기 파라미터 변경부는, 상기 데이터 수신부에서 입력된 상기 화상 부호화 스트림 내의 상기 파라미터를 변경하여 상기 화상 인식부가 행한 화상 인식 처리의 정확도를 증가시키고,
상기 디코드부는, 복호 파라미터로서 상기 파라미터 변경부에 의해 변경된 상기 파라미터를 사용하여, 상기 데이터 수신부에서 수신된 상기 화상 부호화 데이터와, 상기 파라미터 변경부에 의해 변경된 파라미터를 포함하는 화상 부호화 스트림을 복호하여 화상 복호 데이터를 생성하고, 상기 화상 복호 데이터는 복호된 화상을 포함하고,
상기 화상 인식부는, 상기 화상 복호 데이터에 대하여 화상 인식 처리를 행하고,
상기 화상 인식부는, 상기 화상 인식 처리의 과정에서, 화상 인식 처리의 정확도를 나타내는 지표를 산출하고,
상기 파라미터 변경부는, 상기 화상 인식 처리의 과정에서 산출된 화상 인식 처리의 정확도를 나타내는 상기 지표에 기초하여, 상기 데이터 수신부에 입력된 파라미터를 변경하는,
화상 수신 방법.
삭제
제14항에 있어서,
상기 파라미터 변경부는, 상기 화상 수신 방법을 사용하는 화상 수신 장치가 놓여 있는 환경 정보에 기초하여, 상기 데이터 수신부에서 수신된 파라미터를 변경하는,
화상 수신 방법.
제16항에 있어서,
상기 화상 수신 장치는 차량에 탑재되고, 상기 차량에 탑재되는 카메라에 의해 촬상된 상기 화상이 화상 부호화 장치에 의해 화상 부호화 처리가 실시되고, 상기 화상 부호화 처리에 의해 생성된 화상 부호화 스트림이 상기 데이터 수신부에서 수신되고,
상기 파라미터 변경부는, 상기 차량의 주행 상황에 기초하여, 상기 데이터 수신부에서 수신된 파라미터를 변경하는,
화상 수신 방법.
제14항에 있어서,
상기 디코드부는 디블로킹 필터를 포함하고,
상기 파라미터 변경부는, 상기 데이터 수신부에서 수신된 파라미터로서, 상기 화상 부호화 데이터에 대하여 상기 디블로킹 필터를 걸 것인지 여부를 나타내는 파라미터와 상기 디블로킹 필터의 필터 계수 중 적어도 한쪽을 변경하는,
화상 수신 방법.
제14항에 있어서,
상기 디코드부는 역양자화부를 포함하고,
상기 파라미터는, 상기 화상 부호화 데이터를 생성하기 위하여 실행된 부호화 처리에 포함되는 양자화 처리에 대응하는 양자화 파라미터를 포함하고,
상기 파라미터 변경부는, 상기 데이터 수신부에서 수신된 파라미터에 포함되는 양자화 파라미터를 변경하여, 상기 역양자화부에 공급하는,
화상 수신 방법.
제14항에 있어서,
상기 디코드부는 직교 역변환부를 포함하고,
상기 파라미터는, 상기 화상 부호화 데이터를 생성하기 위하여 실행된 부호화 처리에 포함되는 직교 변환 처리에 대응하는 직교 변환 계수를 포함하고,
상기 파라미터 변경부는, 상기 데이터 수신부에서 수신된 파라미터에 포함되는 직교 변환 계수를 변경하여, 상기 직교 역변환부에 공급하는,
화상 수신 방법.