KR20200043391A - 화상 블러 보정을 위한 화상 처리, 화상 처리 방법 및 프로그램 - Google Patents

Abstract

화상 처리를 위한 방법들 및 장치가 제공된다. 본 방법은 동일한 피사체를 촬영함으로써 획득된 가시광선 화상 및 원적외선 화상의 입력을 수신하는 단계, 가시광선 화상에서 블러 추정 결과를 추정하는 단계 -블러 추정 결과를 추정하는 단계는 원적외선 화상에 상이한 필터가 적용되는 복수의 필터-적용 원적외선 화상 각각과 가시광선 화상 사이의 상관을 계산하고 계산된 상관이 가장 높은 필터를 선택하는 단계를 포함함-, 및 블러 추정 결과에 적어도 부분적으로 기초하여 가시광선 화상에 대해 보정 프로세스를 수행하여, 블러가 감소된 보정된 가시광선 화상을 생성하는 단계 -보정된 가시광선 화상을 생성하는 단계는 선택된 필터의 특성에 대한 역 특성을 갖는 역필터를 가시광선 화상에 적용하는 단계를 포함함-를 포함한다.

Description

화상 블러 보정을 위한 화상 처리, 화상 처리 방법 및 프로그램

본 출원은 2017년 9월 5일자로 출원된 일본 우선권 특허 출원 JP 2017-170034의 이익을 주장하며, 그 전체 내용은 본 명세서에 참고로 포함된다.

본 개시내용은 화상 처리 디바이스, 화상 처리 방법, 및 프로그램에 관한 것으로, 특히, 동일한 피사체를 촬영함으로써 획득된 가시광선 화상 및 적외선 화상이 입력되고 가사광선 화상의 블러(blur)가 감소되는 화상 처리 디바이스, 화상 처리 방법, 및 프로그램에 관한 것이다.

가시광선 화상들이 야간과 같은 어두운 환경들에서 촬영되는 경우에, 노출 시간을 연장하는 것이 필요하다. 그 결과, 카메라의 움직임 또는 피사체의 움직임으로 인해 야기되는 블러가 쉽게 발생한다.

이 문제를 해결하기 위한 관련 분야의 기술로서, 예를 들어, 특허문헌 1(JP 2003-209735A)에 개시된 기술이 있다.

특허문헌 1에는 가시광선 카메라에 의해 연속적으로 촬영된 복수의 화상을 사용하여 화상의 움직임을 분석하고 움직임의 분석 결과에 기초하여 블러를 보정하는 기술이 개시되어 있다.

그러나, 특허문헌 1에 개시된 구성에서는, 복수의 연속적으로 촬영된 화상이 필요하고 정지 스크린에 대한 프로세스가 수행되지 않을 수 있다는 문제가 있다. 또한, 복수의 연속적으로 촬영된 화상으로부터 화상의 움직임을 분석하는 프로세스가 필요하고 각각의 화상에 대응하는 즉각적인 프로세스가 수행되지 않을 수 있다는 문제가 있다.

JP 2003-209735A

본 개시내용은 예를 들어, 전술한 문제들을 고려하여 이루어진 것이며 본 개시내용은 복수의 연속적으로 촬영된 화상을 사용하지 않고 가시광선 화상 및 적외선 화상을 사용하여 가시광선 화상의 블러를 감소시키거나 해상도를 실현하는 화상 처리 디바이스, 화상 처리 방법, 및 프로그램을 제공한다.

본 개시내용에 따르면, 화상 처리 디바이스가 제공된다. 화상 처리 디바이스는, 동일한 피사체를 촬영함으로써 획득된 가시광선 화상 및 원적외선 화상의 입력을 수신하고, 가시광선 화상에서 블러 추정 결과를 추정하고, 블러 추정 결과를 추정하는 것은 가시광선 화상과 각각이 상이한 필터가 원적외선 화상에 적용되고, 계산된 상관이 가장 높은 필터를 선택하는 것을 포함하는 복수의 필터-적용 원적외선 화상들 각각과의 사이의 상관을 계산하는 것을 포함하고, 블러 추정 결과에 적어도 부분적으로 기초하여 가시광선 화상에 대해 보정 프로세스를 수행하여 블러가 감소된 보정된 가시광선 화상을 생성하도록 구성되는 화상 처리 회로를 포함하고, 가시광선 화상에 대해 선택된 역필터의 특성에 대한 역 특성을 갖는 역필터를 적용하는 것을 포함한다.

본 개시내용에 따르면, 화상 처리 디바이스에서 수행되는 화상 처리 방법이 제공된다. 본 방법은 동일한 피사체를 촬영함으로써 획득된 가시광선 화상 및 원적외선 화상의 입력을 수신하는 단계, 가시광선 화상에서 블러 추정 결과를 추정하는 단계 -블러 추정 결과를 추정하는 단계는 원적외선 화상에 상이한 필터가 적용되는 복수의 필터-적용 원적외선 화상 각각과 가시광선 화상 사이의 상관을 계산하고 계산된 상관이 가장 높은 필터를 선택하는 단계를 포함함-, 및 블러 추정 결과에 적어도 부분적으로 기초하여 가시광선 화상에 대해 보정 프로세스를 수행하여, 블러가 감소된 보정된 가시광선 화상을 생성하는 단계를 포함하고, 보정된 가시광선 화상을 생성하는 단계는 선택된 필터의 특성에 대한 역 특성을 갖는 역필터를 가시광선 화상에 적용하는 단계를 포함한다.

본 개시내용에 따르면, 비일시적 컴퓨터 판독가능 매체가 제공된다. 비일시적 컴퓨터 판독가능 매체는, 화상 처리 디바이스의 화상 처리 회로에 의해 실행될 때, 화상 처리 방법을 수행하는 복수의 명령어로 인코딩된다. 화상 처리 방법은, 동일한 피사체를 촬영함으로써 획득된 가시광선 화상 및 원적외선 화상의 입력을 수신하는 단계, 가시광선 화상에서 블러 추정 결과를 추정하는 단계 -블러 추정 결과를 추정하는 단계는 가시광선 화상과, 상이한 필터가 원적외선 화상에 적용되고, 계산된 상관이 가장 높은 필터를 선택하는 것을 포함하는 복수의 필터-적용 원적외선 화상 화상들 각각과, 블러 추정 결과에 적어도 부분적으로 기초하여 가시광선 화상에 대해 보정 프로세스를 수행하여 블러가 감소되는 보정된 가시광선 화상을 생성하는 단계를 포함함-를 포함하고, 보정된 가시광선 화상을 생성하는 단계는, 상기 선택된 필터의 특성에 대한 역필터를 역필터에 적용하는 단계를 포함한다.

본 개시내용의 일 실시예에 따른 프로그램은, 예를 들어, 다양한 프로그램 코드들을 실행할 수 있는 정보 처리 디바이스 또는 컴퓨터 시스템에 컴퓨터 판독가능 포맷으로 제공되는 프로그램이고, 프로그램은 저장 매체 또는 통신 매체에 의해 제공가능하다는 점에 유의한다. 이러한 프로그램을 컴퓨터 판독가능한 포맷으로 제공함으로써, 프로그램에 대응하는 처리가 정보 처리 디바이스 또는 컴퓨터 시스템 상에서 실현된다.

본 개시내용의 추가 목적들, 특징들, 및 장점들은 이하에서 설명되는 본 개시내용의 실시예들 및 첨부 도면들에 기초하여 더 상세한 설명에 의해 명확해질 것이다. 본 명세서에서, 용어 "시스템"은 다수의 디바이스의 논리적 집합 구성을 지칭하고, 각각의 구성의 디바이스들은 동일한 하우징 내부에 있는 것으로 제한되지 않는다는 점에 유의한다.

본 개시내용의 일 실시예의 구성에 따르면, 가시광선 화상의 블러를 제거하거나 감소시키는 고화질 처리를 수행하는 디바이스 및 방법을 실현하는 것이 가능하다.

구체적으로, 본 디바이스는: 동일한 피사체를 동시에 촬영함으로써 획득된 가시광선 화상 및 원적외선 화상의 입력을 수신하고 가시광선 화상의 블러의 형태를 추정하도록 구성되는 블러 추정 유닛; 블러 추정 유닛의 블러 추정 결과의 입력을 수신하고 가시광선 화상에 대해 보정 프로세스를 수행하여 블러가 제거되거나 감소된 보정된 가시광선 화상을 생성하도록 구성되는 블러 제거 유닛을 포함한다. 블러 추정 유닛은 필터가 원적외선 화상에 적용된 필터-적용 원적외선 화상과 가시광선 화상 사이의 상관을 계산하고 상관이 가장 높은 필터를 선택한다. 블러 제거 유닛은 블러 추정 유닛에 의해 선택된 필터의 특성들에 대한 역 특성들을 갖는 역필터를 가시광선 화상에 적용함으로써 블러가 제거되거나 감소되는 보정된 가시광선 화상을 생성한다.

이들 프로세스를 통해, 가시광선 화상의 블러를 제거하거나 감소시키는 고화질 처리를 수행하는 디바이스 및 방법을 실현하는 것이 가능하다.

본 명세서에서 설명된 유리한 효과들은 단지 예를 위한 것이고 비제한적이며, 추가적인 유리한 효과들이 있을 수 있다는 점에 유의한다.

도 1은 본 개시내용의 실시예에 따른 화상 처리 디바이스에 의해 수행되는 프로세스의 개요를 도시하는 설명도이다.
도 2는 촬영된 화상들의 종류들과 광의 파장들 사이의 대응관계를 도시하는 설명도이다.
도 3은 가시광선 화상 및 원적외선 화상의 예들을 도시하는 설명도이다.
도 4는 본 개시내용의 실시예에 따른 화상 처리 디바이스의 구성 예 및 처리 예를 도시하는 설명도이다.
도 5는 본 개시내용의 실시예 1에 따른 화상 처리 디바이스의 구성 예 및 처리 예를 도시하는 설명도이다.
도 6은 본 개시내용의 실시예 1에 따른 화상 처리 디바이스의 구성 예 및 처리 예를 도시하는 설명도이다.
도 7은 본 개시내용의 실시예 1에 따른 화상 처리 디바이스의 구성 예 및 처리 예를 도시하는 설명도이다.
도 8은 본 개시내용의 실시예 1에 따른 화상 처리 디바이스에 의해 수행되는 프로세스의 시퀀스를 설명하는 흐름도를 도시하는 도면이다.
도 9는 본 개시내용의 실시예 2에 따른 화상 처리 디바이스의 구성 예 및 처리 예를 도시하는 설명도이다.
도 10은 본 개시내용의 실시예 2에 따른 화상 처리 디바이스에 의해 수행되는 프로세스의 처리 예를 도시하는 설명도이다.
도 11은 본 개시내용의 실시예 2에 따른 화상 처리 디바이스의 구성 예 및 처리 예를 도시하는 설명도이다.
도 12는 본 개시내용의 실시예 2에 따른 화상 처리 디바이스에 의해 수행되는 프로세스의 처리 예를 도시하는 설명도이다.
도 13은 본 개시내용의 실시예 2에 따른 화상 처리 디바이스의 구성 예 및 처리 예를 도시하는 설명도이다.
도 14는 본 개시내용의 실시예 2에 따른 화상 처리 디바이스의 구성 예 및 처리 예를 도시하는 설명도이다.
도 15는 본 개시내용의 실시예 2에 따른 화상 처리 디바이스에 의해 수행되는 프로세스의 시퀀스를 설명하는 흐름도를 도시하는 도면이다.
도 16은 본 개시내용의 실시예 2에 따른 화상 처리 디바이스에 의해 수행되는 프로세스의 시퀀스를 설명하는 흐름도를 도시하는 도면이다.
도 17은 본 개시내용의 실시예 3에 따른 화상 처리 디바이스의 구성 예 및 처리 예를 도시하는 설명도이다.
도 18은 본 개시내용의 실시예 3에 따른 화상 처리 디바이스에 의해 수행되는 프로세스의 처리 예를 도시하는 설명도이다.
도 19는 본 개시내용의 실시예 3에 따른 화상 처리 디바이스의 구성 예 및 처리 예를 도시하는 설명도이다.
도 20은 본 개시내용의 실시예 3에 따른 화상 처리 디바이스에 의해 수행되는 프로세스의 처리 예를 도시하는 설명도이다.
도 21은 본 개시내용의 실시예 3에 따른 화상 처리 디바이스에 의해 수행되는 프로세스의 시퀀스를 설명하는 흐름도를 도시하는 도면이다.
도 22는 본 개시내용의 실시예 4에 따른 화상 처리 디바이스에 의해 수행되는 프로세스의 시퀀스를 설명하는 흐름도를 도시하는 도면이다.
도 23은 본 개시내용의 실시예 4에 따른 화상 처리 디바이스에 의해 수행되는 프로세스의 시퀀스를 설명하는 흐름도를 도시하는 도면이다.
도 24는 화상 처리 디바이스의 하드웨어 구성 예를 도시하는 설명도이다.
도 25는 본 개시내용의 실시예에 따른 화상 처리 디바이스의 기능을 갖는 차량 제어 시스템의 구성 예를 도시하는 설명도이다.

이하, 본 개시내용의 실시예에 따른 화상 처리 디바이스, 화상 처리 방법, 및 프로그램의 세부사항에 대해서는 도면들을 참조하여 설명될 것이다. 설명은 이하의 섹션들에 따라 행한다는 점에 유의한다.

1. 본 개시내용에 따른 화상 처리 디바이스의 구성 및 프로세스의 개요

2. 본 개시내용에 따른 화상 처리 디바이스의 구체적인 예

3. (실시예 1) 기본 구성 예 A에 대응하는 화상 처리 디바이스의 구성 및 프로세스

4. (실시예 2) (A+B) 블러 추정 전에 전처리를 수행하는 화상 처리 디바이스의 구성 및 프로세스

5. (실시예 3) (A+C) 블러 추정 결과의 신뢰도를 계산하고 신뢰도에 따라 블러 제거 프로세스를 수행하는 화상 처리 디바이스의 구성 및 프로세스

6. (실시예 4) 신뢰도에 따라 기본 구성 (A) + 전처리 (B) + 블러 제거 프로세스 (C) 모두를 실행하는 화상 처리 디바이스의 프로세스

7. 화상 처리 디바이스의 하드웨어 구성 예

8. 차량에 본 개시내용에 따른 화상 처리 디바이스를 포함하는 차량 제어 시스템의 구성 예

9. 본 개시내용에 따른 구성의 요약

(1. 본 개시내용에 따른 화상 처리 디바이스의 구성 및 프로세스의 개요)

먼저, 본 개시내용의 실시예에 따른 화상 처리 디바이스의 구성 및 프로세스의 개요가 도 1 및 후속 도면들을 참조하여 설명될 것이다.

도 1은 본 개시내용의 실시예에 따른 화상 처리 디바이스에 의해 수행되는 프로세스의 개요를 도시하는 설명도이다.

본 개시내용의 실시예에 따른 화상 처리 디바이스는 동일한 피사체를 촬영함으로써 획득된 가시광선 화상 및 적외선 화상의 입력을 수신하고 가시광선 화상의 블러를 감소시킨다.

가시광선 화상들이 야간과 같은 어두운 환경에서 촬영되는 경우에, 노출 시간을 연장하는 것이 필요하다. 그 결과, 카메라의 움직임 또는 피사체의 움직임으로 인해 야기되는 블러가 쉽게 발생한다.

본 개시내용의 실시예에 따른 화상 처리 디바이스는 예를 들어, 동일한 피사체를 동시에 촬영함으로써 획득된 원적외선 화상을 사용하여 이러한 환경 하에서 촬영된 가시광선 화상의 블러를 감소시킨다.

적외선 화상은 피사체로부터 방출된 열에 따른 화소 값들이 설정된 화상이고, 예를 들어, 사람의 체온이 검출될 수 있다. 따라서, 예를 들어, 암흑 등에서 열을 방출하는 사람 등이 촬영될 수 있고, 적외선 화상이 감시 카메라에 사용된다.

적외선 중에서 파장이 긴 원적외선은 열에 대해 더 높은 감도를 갖고, 따라서 열을 방출하는 사람과 같은 피사체는 노출 시간이 짧은 촬영에서도 비교적 명확하게 촬영될 수 있다.

야간 등의 암흑에서 가시광선 화상의 촬영 시에, 노출 시간을 연장하는 것이 필요하고, 카메라 또는 피사체의 움직임에 따른 블러가 증가한다.

그러나, 원적외선 화상은 암흑에서도 노출 시간을 짧게 설정하여 촬영하고, 열을 방출하는 피사체, 예를 들어, 사람은 명확하게 촬영될 수 있다.

본 개시내용의 실시예에 따른 화상 처리 디바이스는 가시광선 화상과 원적외선 화상 사이의 특성들의 차이를 사용함으로써 많은 블러를 갖는 가시광선 화상을 보정한다. 즉, 보정(블러 제거) 프로세스는 블러가 거의 없는 적외선 화상을 참조 화상으로서 사용하여 블러가 해소되거나 감소된 가시광선 화상을 생성한다.

본 개시내용의 실시예에 따른 화상 처리 디바이스에 의해 수행되는 프로세스의 개요가 도 1을 참조하여 설명될 것이다.

도 1에 도시된 바와 같이, 본 개시내용의 실시예에 따른 화상 처리 디바이스는 동일한 피사체를 동시에 촬영함으로써 획득된 블러가 있는 가시광선 화상(11) 및 블러가 없는 원적외선 화상(12)의 입력을 수신한다.

본 개시내용의 실시예에 따른 화상 처리 디바이스는 먼저 단계 S20에서 2개의 화상을 사용하여 가시광선 화상에 대해 블러 추정을 수행한다.

구체적으로, 예를 들어, 화상의 블러 양을 표시하는 함수인 점 확산 함수(PSF)의 추정이 수행된다.

PSF는 소정 화소 위치들의 화소 값들의 주변에 대한 확산 상태, 즉, 블러 양 또는 블러 형태를 표시하는 함수이다.

단계 S20에서, 다양한 점 확산 함수(PSF)에 대응하는 필터, 즉 블러를 생성하는 필터는 블러가 없는 원적외선 화상(12)에 적용되고, 블러가 의도적으로 생성되는 원적외선 화상이 생성되고, 필터-적용 원적외선 화상 및 블러가 있는 가시광선 화상(11)이 비교(상관 계산)된다.

비교 프로세스(상관 계산)에 기초하여, 점 확산 함수(PSF)에 대응하고 블러가 있는 가시광선 화상(11)의 블러와 동일한 블러를 생성하는 필터가 선택된다.

단계 S20에서 선택될 필터는 블러가 없는 가시광선 화상에 필터가 적용되는 경우에 블러가 있는 가시광선 화상(11)이 생성되는 필터와 동등하다는 점에 유의한다.

그러나, 블러가 없는 가시광선 화상이 촬영된 화상으로서 취득되지 않기 때문에, 블러가 없는 원적외선 화상(12)은 대체 화상으로서 사용된다.

즉, 블러가 있는 가시광선 화상(11)에 존재하는 블러와 동일한 블러가 생성되는 필터는 블러가 없는 원적외선 화상(12)에 대한 적용을 통해 선택되거나 점 확산 함수(PSF)가 계산된다.

다음으로, 단계 S40에서, 가시광선 화상의 블러를 제거하는 프로세스가 수행된다.

블러 제거 프로세스는 전술한 점 확산 함수: PSF=p(x, y)로 표현된 특성들을 갖는 필터의 특성들에 대한 역 특성들을 갖는 역필터를 생성하고 이 생성된 역필터를 블러가 있는 가시광선 화상(11)에 적용하는 프로세스이다.

역필터를 적용하는 프로세스를 통해, 블러가 있는 가시광선 화상(11)으로부터 블러가 제거되어 블러가 감소된 가시광선 화상(13)이 생성된다.

단계 S40의 가시광선 화상 블러 제거 프로세스로서, 디컨볼루션(deconvolution) 프로세스라고 불리는 주파수 도메인에서의 필터링 프로세스가 적용될 수 있다는 점에 유의한다.

블러가 있는 가시광선 화상(11)의 점 확산 함수 (PSF)=p(x, y)가 설정되고, 블러가 있는 가시광선 화상(11)이 b(x, y)로 설정되고, 블러가 없는 진정한 가시광선 화상이 s(x, y)로 설정되고, 각각의 푸리에 변환이 P(u, v), B(u, v), 및 S(u, v)일 때, 다음 관계식들이 성립된다:

b(x, y)=p(x, y)*s(x, y); 및

B(u, v)=P(u, v)·S(U, v),

여기서, *는 컨볼루션 연산이다.

또한, 푸리에 변환이 FT()로 설정될 때, 다음 관계식들이 성립될 수 있다:

B(u, v)=FT(b(x, y));

P(u, v)=FT(p(x, y)); 및

S(u, v)=FT(s(x, y)).

블러가 없는 진정한 가시광선 화상: s(x, y)을 계산하는 프로세스는 블러가 있는 가시광선 화상(11): b(x, y)으로부터 블러가 없는 진정한 가시광선 화상: s(x, y)을 계산하는 프로세스(B(u, v)로부터 S(u, v)를 계산하는 프로세스와 유사함)이고, 이 프로세스를 수행하는 필터는 디컨볼루션 필터라고 불리고, 필터 적용 프로세스는 디컨볼루션 프로세스라고 불린다.

디컨볼루션 필터는 PSF=p(x, y)로 표현된 특성들을 갖는 필터의 특성들에 대한 역 특성들을 갖는 역필터이다.

이러한 방식으로, 단계 S40에서, 단계 S20에서 추정된 블러가 있는 가시광선 화상(11)의 블러 형태를 표시하는 PSF=p(x, y)로 표현된 특성들을 갖는 필터의 특성들에 대한 역 특성들을 갖는 역필터가 생성되고, 생성된 역필터는 블러가 있는 가시광선 화상(11)에 적용된다. 즉, "디컨볼루션 프로세스"를 수행하여 블러가 있는 가시광선 화상(11)으로부터 블러가 제거된, 블러가 감소된 가시광선 화상(13)을 생성한다.

다음으로, 가시광선 화상 및 적외선 화상이 도 2를 참조하여 설명될 것이다.

도 2에 도시된 바와 같이, 가시광선 화상은 파장이 약 0.4 마이크로미터 내지 0.7 마이크로미터의 범위 내에 있는 화상이고 일반적인 카메라에 의해 촬영된 RGB 화상과 같은 컬러 화상이다.

한편, 적외선 화상은 0.7 마이크로미터 이상의 장파장을 갖는 광으로부터 형성된 화상이다. 적외선 화상을 촬영하는 적외선 화상 촬영 카메라는 예를 들어, 암흑에서 열을 생성하는 사람 등을 촬영할 수 있고 감시 카메라 등으로서 사용된다.

적외선들은 도 2에 도시된 바와 같이, 다음의 광선들로 구분된다는 점에 유의한다:

파장이 약 0.7 내지 1 마이크로미터의 범위 내에 있는 근적외선들;

파장이 약 3 내지 5 마이크로미터의 범위 내에 있는 중적외선들; 및

파장이 약 8 내지 14 마이크로미터의 범위 내에 있는 원적외선들.

이하에 설명되는 실시예에 따라, 파장이 주로 약 8 내지 14 마이크로미터의 범위 내에 있는 원적외선의 촬영된 화상인 원적외선 화상을 사용하는 화상 처리 예가 설명될 것이다.

여기서, 본 개시내용의 실시예에 따른 프로세스는 원적외선 화상에 제한되지 않고 다른 적외선 화상들이 사용되는 프로세스도 적용될 수 있다.

전술한 바와 같이, 가시광선 화상이 야간과 같은 어두운 환경에서 촬영되는 경우에, 노출 시간을 연장하는 것이 필요하다. 그 결과, 카메라의 움직임 또는 피사체의 움직임으로 인해 야기되는 블러가 쉽게 발생한다. 한편, 원적외선 화상이 노출 시간을 더 짧게 하여 촬영될 때에도, 열을 생성하는 사람과 같은 피사체가 명확하게 촬영될 수 있다.

구체적인 촬영된 화상의 예가 도 3에 도시되어 있다.

도 3은 야간의 교차점에서 촬영된 가시광선 화상 및 원적외선 화상의 촬영된 화상들의 예들을 도시한다.

2개의 화상은 어두운 환경에서 촬영된 화상들이다. 가시광선 화상에 대해 장시간 노출이 수행된다.

(1) 가시광선 화상과 (2) 원적외선 화상을 비교할 때, (1) 가시광선 화상의 블러가 크고 사람들의 모습들은 거의 인식할 수 없다. (2) 원적외선 화상에서, 사람들의 모습들은 명확하게 나타난다.

이것은 원적외선 화상에서 노출 시간이 짧고 블러가 거의 발생하지 않기 때문이다.

본 개시내용의 실시예에 따른 화상 처리 디바이스는 이러한 방식으로 블러가 거의 발생하지 않는 원적외선 화상을 참조 화상으로서 사용하여 블러가 발생한 가시광선 화상을 보정하여 블러가 제거되거나 감소된 가시광선 화상을 생성한다.

(2. 본 개시내용에 따른 화상 처리 디바이스의 구체적인 예)

다음으로, 본 개시내용의 실시예에 따른 화상 처리 디바이스의 구체적인 예가 설명될 것이다.

도 4는 본 개시내용의 실시예에 따른 화상 처리 디바이스의 복수의 구성 예를 도시한다.

(A) 기본 구성 예

(A+B) 기본 구성 (A) + 블러 추정 전에 전처리가 수행되는 구성 예

(A+C) 기본 구성 (A) + 블러 추정 결과의 신뢰도가 계산되고 신뢰도에 따라 블러 제거 프로세스가 수행되는 구성 예

(A+B+C) 기본 구성 (A) + 전처리 (B) + 신뢰도에 따른 블러 제거 프로세스 (C)가 모두 실행되는 구성 예

본 개시내용의 실시예에 따른 화상 처리 디바이스는 도 4에 도시된 다양한 구성 예들을 갖는다.

각각의 구성 예들의 구체적인 구성 및 프로세스에 대해서는 추후 섹션에서 설명될 것이지만, 4 종류의 구성에 따른 프로세스의 개요에 대해서 먼저 설명할 것이다.

(A) 기본 구성 예

기본 구성 예는 도 1을 참조하여 설명한 프로세스에서와 같이, 단계 S20에서의 블러 추정 프로세스와 단계 S40에서의 블러 제거 프로세스가 수행되는 구성 예이다.

먼저, 단계 S20에서, 동일한 피사체를 동시에 촬영함으로써 획득된 블러가 있는 가시광선 화상(11) 및 블러가 없는 원적외선 화상(12)이 입력되고, 2개의 화상이 서로 비교되고, 블러가 있는 가시광선 화상(11)에 대해 블러 추정 프로세스를 수행한다.

구체적으로, 다양한 점 확산 함수(PSF)들에 대응하는 필터, 즉 블러를 생성하는 필터는 블러가 없는 원적외선 화상(12)에 적용되고, 블러가 의도적으로 생성되는 원적외선 화상이 생성되고, 필터-적용 원적외선 화상 및 블러가 있는 가시광선 화상(11)이 비교(상관 계산)된다.

비교 프로세스(상관 계산)에 기초하여, 점 확산 함수(PSF)에 대응하고 블러가 있는 가시광선 화상(11)의 블러와 동일한 블러를 생성하는 필터가 선택된다.

즉, 블러가 없는 원적외선 화상(12)에 다양한 필터들을 적용하고 블러가 없는 원적외선 화상(12)을 블러가 있는 가시광선 화상(11)과 비교함으로써, 블러가 있는 가시광선 화상(11)의 블러 형태와 동일한 블러를 생성하는 필터가 선택되거나 점 확산 함수(PSF)가 계산된다.

필터는 예를 들어, 미리 결정된 화소 블록 단위로 선택된다.

또한, 단계 S40에서, 단계 S20에서 추정된 블러가 있는 가시광선 화상(11)의 블러 형태를 표시하는 PSF 특성들과 동일한 특성들을 갖는 필터의 특성들에 대한 역 특성들을 갖는 역필터가 선택되거나 생성되고, 선택 또는 생성된 역필터를 블러가 있는 가시광선 화상(11)에 적용하는 디컨볼루션 프로세스가 수행되고, 블러가 있는 가시광선 화상(11)으로부터 블러가 제거된, 블러가 감소된 가시광선 화상(13)이 생성된다.

역필터 적용 프로세스는 예를 들어, 미리 결정된 화소 블록 단위로 수행된다는 점에 유의한다.

(A+B) 기본 구성 (A) + 블러 추정 전에 전처리가 수행되는 구성 예

다음으로, (A+B)의 구성에 대해서 설명할 것이다.

이 구성은 기본 구성 (A)의 프로세스 외에, "블러 추정 전의 전처리"가 수행되는 구성 예이다.

구성 (A+B)에서, 도 4의 2번째 도면 (A+B)에 도시된 바와 같이, 단계 S20의 블러 추정 프로세스의 이전 스테이지에서의 단계들 S11 및 S12의 프로세스들로서, 블러가 있는 가시광선 화상(11) 및 블러가 없는 원적외선 화상(12)에 대한 전처리가 수행된다.

전처리는 가시광선 화상과 원적외선 화상 간의 가시성 차이를 완화하는 프로세스이다. 구체적으로, 예를 들어, 다음의 프로세스들 중 임의의 하나가 전처리로서 수행된다:

(1) 가시광선 화상 및 원적외선 화상 각각의 구배 화상을 생성하는 프로세스;

(2) 가시광선 화상 및 원적외선 화상 각각의 대역-제한 화상을 생성하는 프로세스;

(3) 가시광선 화상으로부터 의사 원적외선 화상을 생성하는 프로세스; 및

(4) 원적외선 화상으로부터 의사 가시광선 화상을 생성하는 프로세스.

이러한 종류의 전처리 중 어느 하나가 수행되고, 단계 S20의 블러 추정은 전처리 후에 화상을 사용하여 수행된다.

전처리를 수행함으로써, 가시광선 화상과 원적외선 화상 사이의 가시성 차이가 완화된다. 그 결과, 단계 S20에서 수행되는 블러 추정 프로세스의 정밀도를 향상시킬 수 있다.

구체적인 구성 예 또는 처리 예는 추후 섹션에서 설명될 것이라는 점에 유의한다.

(A+C) 기본 구성 (A) + 블러 추정 결과의 신뢰도가 계산되고 신뢰도에 따라 블러 제거 프로세스가 수행되는 구성 예

다음으로, 구성 (A+C)이 설명될 것이다.

이 구성은 기본 구성 (A)의 프로세스 외에, "블러 추정 결과의 신뢰도를 계산함으로써 획득된 신뢰도에 따른 블러 제거 프로세스"를 행하는 구성 예이다.

구성 (A+C)에서, 도 4의 3번째 도면 (A+C)에 도시된 바와 같이, 단계 S31에서의 블러 추정 결과의 신뢰도의 계산을 수행함으로써 단계 S32에서의 블러 제거 강도 계산을 수행하는 프로세스는 단계 S20에서의 블러 추정 프로세스 이후에 추가된다.

단계 S40에서의 블러 제거 프로세스에서 적용되는 역필터의 강도는 단계 S32에서 계산된 블러 제거 강도 정보에 따라 조정된다.

구체적으로, 단계 S20에서 수행된 블러 추정 결과의 신뢰도가 낮은 경우, 단계 S40에서의 블러 제거 프로세스에 적용되는 역필터의 강도를 약화시키는 프로세스가 수행된다. 신뢰도의 계산은 예를 들어, 미리 결정된 화소 블록 단위로 수행된다는 점에 유의한다.

프로세스를 수행함으로써, 블러 추정 결과의 신뢰도에 따라 역필터를 적용하는 것이 가능하다.

단계 S31에서의 블러 추정 결과의 신뢰도를 계산하는 프로세스 및 단계 S32에서의 블러 제거 강도 계산 프로세스의 모드로서, 다음의 2개의 모드가 있다는 점에 유의한다:

(1) 단계 S20의 블러 추정 프로세스 시에 수행되는 블러가 없는 원적외선 화상에 대한 필터 처리의 결과와 블러가 있는 가시광선 화상 사이의 상관 값에 기초하여 신뢰도가 계산되고, 단계 S40의 블러 제거 프로세스 시의 필터 적용 레벨이 계산된 신뢰도에 따라 조정되는 구성; 및

(2) 단계 S20의 블러 추정 프로세스 시에 수행되는, 블러가 없는 원적외선 화상에 대한 필터 처리의 결과와 블러가 있는 가시광선 화상 사이의 상관 값을 계산하기 위해 수행되는, 블러가 없는 원적외선 화상을 필터링하는 프로세스에 적용되는 필터의 유효성에 기초한 신뢰도를 계산하고 계산된 신뢰도에 따라 단계 S40의 블러 제거 프로세스 시의 필터 적용 레벨을 조정하는 구성.

단계들 S31 및 S32에서, 프로세스들 중 임의의 하나가 수행된다.

이후의 섹션에서는, 구체적인 구성 예 또는 처리 예가 설명될 것이라는 점에 유의한다.

(A+B+C) 기본 구성 (A) + 전처리 (B) + 신뢰도에 따른 블러 제거 프로세스 (C)가 모두 실행되는 구성 예

다음으로, (A+B+C)의 구성에 대해서 설명할 것이다.

이러한 구성은 기본 구성 (A)의 프로세스 외에, "(B) 블러 추정 전의 전처리와 "(C) 블러 추정 결과의 신뢰도를 계산함으로써 신뢰도에 따른 블러 제거 프로세스"의 양쪽 프로세스를 수행하는 구성 예이다.

이후의 섹션에서는, 구체적인 구성 예 또는 처리 예가 설명될 것이라는 점에 유의한다.

(3. (실시예 1) 기본 구성 예 A에 대응하는 화상 처리 디바이스의 구성 및 프로세스)

다음으로, 도 4를 참조하여 설명된 (기본 구성 예 A)에 대응하는 화상 처리 디바이스의 구성 및 프로세스가 본 개시내용의 실시예에 따른 화상 처리 디바이스의 실시예 1로서 설명될 것이다.

도 5는 기본 구성 예 A에 대응하는 화상 처리 디바이스의 구성 및 프로세스를 도시하는 설명도이다.

"(A) 기본 구성 예"는 단계 S20에서의 블러 추정 프로세스와 단계 S40에서의 블러 제거 프로세스가 수행되는 구성 예이다.

먼저, 단계 S20에서, 동일한 피사체를 동시에 촬영함으로써 획득된 블러가 있는 가시광선 화상(11) 및 블러가 없는 원적외선 화상(12), 이 2개의 화상을 입력하여 서로 비교하고, 블러가 있는 가시광선 화상(11)에 대해 블러 추정 프로세스를 수행한다.

구체적으로는, 필터 뱅크(35)에 저장된 다양한 필터들(블러 생성 필터들)이 블러가 없는 원적외선 화상(12)에 순차적으로 적용되고, 블러가 없는 원적외선 화상(12)에 다양한 형태의 블러가 의도적으로 생성되고, 블러가 의도적으로 생성된 블러가 있는 가시광선 화상(11)과 원적외선 화상 사이의 상관이 계산된다.

필터 뱅크(35)는 블러의 크기 또는 방향이 상이한 많은 블러 생성 필터들을 저장한다. 즉, 다양한 PSF들에 대응하는 많은 필터들이 저장된다.

필터들 각각에 필터 식별자(ID)가 설정된다는 점에 유의한다.

단계 S20에서의 가시광선 화상 블러 추정 프로세스에서, 필터 뱅크(35)에 저장된 필터들은 블러가 없는 원적외선 화상(12)에 순차적으로 적용되어 블러가 있는 가시광선 화상(11)과 블러가 생성되는 원적외선 화상 사이의 상관을 계산한다.

각각의 필터 적용 결과에 기초한 상관 값이 비교되고 가장 높은 상관을 갖는 필터가 블러가 있는 가시광선 화상(11)의 블러의 특성들을 갖는 필터로서 선택된다.

단계 S20에서, 선택된 필터의 식별자인 필터 ID가 취득된다. 필터 ID는 후속 단계 S40의 가시광선 화상 블러 제거 프로세스에 사용된다.

이 프로세스는 예를 들어, 미리 결정된 화소 블록 단위로 수행된다는 점에 유의한다.

단계 S40에서, 단계 S20에서 추정된 블러가 있는 가시광선 화상(11)의 블러 형태를 표시하는 PSF 특성들과 동일한 특성들을 갖는 필터의 특성들에 대한 역 특성들을 갖는 역필터가 선택되거나 생성되고, 선택 또는 생성된 역필터를 블러가 있는 가시광선 화상(11)에 적용하는 디컨볼루션 프로세스가 수행되고, 블러가 제거된, 블러가 감소된 가시광선 화상(13)이 블러가 있는 가시광선 화상(11)으로부터 생성된다.

실시예에서, 역필터는 필터 뱅크(35)에 저장된 필터들의 특성들에 대한 역필터들을 갖는 역필터들을 저장하는 역필터 뱅크(45)로부터 역필터를 선택하여 사용한다는 점에 유의한다.

역필터 뱅크(45)는 필터 뱅크(35)에 저장된 모든 필터의 특성들에 대응하는 역 특성들을 갖는 많은 역필터들을 저장한다.

역필터 식별자(ID)는 역필터들 각각에 설정되고, ID는 필터 뱅크(35)에 저장된 필터에 설정된 필터 ID와 연관되도록 설정된다는 점에 유의한다. 예를 들어, 동일한 ID 또는 일부가 동일한 ID들이 설정된다.

즉, 필터 뱅크(35)에 저장된 필터들의 필터 ID들에 기초하여, ID를 갖는 필터의 특성들에 대한 역 특성들을 갖는 역필터가 역필터 뱅크(45)로부터 바로 선택될 수 있다.

단계 S40에서, 단계 S20에서 선택된 필터 ID와 연관된 역필터를 역필터 뱅크(45)로부터 선택하고, 선택된 역필터를 블러가 있는 가시광선 화상(11)에 적용하여 블러가 있는 가시광선 화상(11)으로부터 블러가 제거된, 블러가 감소된 가시광선 화상(13)을 생성한다.

도 6에 도시된 바와 같이, 화상이 블록 영역들로 분할되고, 필터 선택 및 적용 프로세스가 각각의 블록 단위로 수행된다는 점에 유의한다.

이것은 화상에 포함되는 피사체 영역들 또는 고정된 피사체 영역에 따라 블러 생성 형태가 상이하고, 각각의 블록 영역 단위로 상이한 블러에 따른 필터가 선택되고 적용되기 때문이다.

다음으로, "(A) 기본 구성 예"에 대응하는 화상 처리 디바이스의 구체적인 구성 예 및 프로세스가 도 7을 참조하여 설명될 것이다.

도 7에 도시된 화상 처리 디바이스 A 또는 20-A는 가시광선 화상 입력 유닛(21), 원적외선 화상 입력 유닛(22), 블러 추정 유닛(30), 블러 제거 유닛(40), 필터 뱅크(35), 및 역필터 뱅크(45)를 포함한다.

또한, 블러 추정 유닛(30)은 필터 처리 유닛(31), 상관 계산 유닛(32), 및 필터 결정 유닛(33)을 포함한다.

또한, 블러 제거 유닛(40)은 역필터 처리 유닛(41)을 포함한다.

가시광선 화상 입력 유닛(21)은 보정 전의 가시광선 화상(15)을 블러 추정 유닛(30) 및 블러 제거 유닛(40)에 입력한다.

또한, 원적외선 화상 입력 유닛(22)은 원적외선 화상(16)을 블러 추정 유닛(30)에 입력한다.

가시광선 화상 입력 유닛(21) 및 원적외선 화상 입력 유닛(22)에 의해 입력되는 보정 전의 가시광선 화상(15) 및 원적외선 화상(16)은 동일한 피사체를 동시에 촬영함으로써 획득되는 화상이다.

이러한 화상들은 예를 들어, 암흑에서 촬영된 화상들이다. 가시광선 화상 입력 유닛(21)에 의해 입력되는 보정 전의 가시광선 화상(15)에서는, 장시간 노출로 인해 블러가 생성된다.

한편, 원적외선 화상 입력 유닛(22)에 의해 입력되는 원적외선 화상(16)은 단시간 노출 화상이고, 블러가 거의 없는 화상이다.

보정 전의 가시광선 화상(15)과 원적외선 화상(16)은 모두 수평 측=W 화소들 및 수직 측=H 화소들의 W×H 화소들을 갖는 화상들이라는 점에 유의한다. 도면에는, 보정 전의 가시광선 화상(15) 및 원적외선 화상(16)이 보정 전의 가시광선 화상(W*H)(15) 및 원적외선 화상(W*H)(16)으로서 도시되어 있다.

또한, 도면에 도시된 (W_B*H_B)은 도 6을 참조하여 전술한 하나의 블록 영역을 표시한다.

하나의 화상 프레임의 블록들의 수는 N인 것으로 가정된다.

다음으로, 블러 추정 유닛(30)에 의해 수행되는 프로세스에 대해서 설명할 것이다.

블러 추정 유닛(30)의 필터 처리 유닛(31)은 필터 뱅크(35)에 저장된 다양한 필터들(블러 생성 필터)을 원적외선 화상(16)에 순차적으로 적용한다. 즉, 원적외선 화상(16)에 다양한 형태의 블러가 의도적으로 생성된다.

전술한 바와 같이, 필터 뱅크(35)는 블러의 크기들 또는 방향들이 상이한 많은 블러 생성 필터들을 저장한다. 즉, 다양한 PSF들에 대응하는 많은 필터들이 저장된다.

블러 추정 유닛(30)의 필터 처리 유닛(31)은 필터들을 원적외선 화상(16)에 적용함으로써 블러가 의도적으로 생성된 원적외선 화상을 상관 계산 유닛(32)에 출력한다.

상관 계산 유닛(32)은 보정 전의 가시광선 화상(15)과, 필터들을 적용함으로써 블러가 의도적으로 생성된 원적외선 화상 사이의 상관을 계산한다.

필터 처리 유닛(31) 및 상관 계산 유닛(32)에 의해 수행되는 필터 적용 프로세스 및 상관 계산 프로세스는 보정 전의 가시광선 화상(15)의 N개의 블록 영역 및 원적외선 화상(16)의 N개의 블록 영역의 대응 블록 단위로 수행된다는 점에 유의한다.

필터 처리 유닛(31)은 필터 뱅크(35)에 저장된 다양한 필터들(블러 생성 필터들)을 원적외선 화상(16)의 N개의 블록 각각에 순차적으로 적용한다.

상관 계산 유닛(32)은 보정 전의 가시광선 화상(15)과, 필터 뱅크(35)에 저장된 다양한 필터들(블러 생성 필터들)을 원적외선 화상(16)의 N개의 블록 각각에 순차적으로 적용함으로써 획득된 결과 사이의 상관을 계산하고, N개의 블록 각각에 대한 각각의 필터에 대응하는 상관 값을 필터 결정 유닛(33)에 필터 ID와 함께 출력한다.

필터 결정 유닛(33)은 상관 계산 유닛(32)으로부터의 입력 데이터 중에서, 즉 N개의 블록 각각에서 적용 필터 ID와 상관 값 사이의 대응 데이터 중에서 각각의 블록에서 가장 높은 상관을 갖는 블록에 대응하는 필터를 선택한다.

필터 결정 유닛(33)에 의해 선택된 N개의 블록 각각에서의 N개의 필터의 필터 ID는 블러 제거 유닛(40)의 역필터 처리 유닛(41)에 입력된다.

블러 제거 유닛(40)의 역필터 처리 유닛(41)은 블러 추정 유닛(30)의 필터 결정 유닛(33)으로부터 다음 데이터의 입력을 수신한다. 즉, 역필터 처리 유닛(41)은 다음의 입력을 수신한다:

상관 값이 N개의 블록 각각에서 가장 높은 것으로 결정되는 N개의 필터의 필터 ID들; 및

N개의 블록에 대응하는 N개의 필터 ID.

블러 제거 유닛(40)의 역필터 처리 유닛(41)은 각각의 블록에 대응하는 필터 ID에 기초하여 역필터 뱅크(45)로부터 필터 ID를 갖는 필터의 특성들에 대한 역필터들을 갖는 역필터를 선택하고, 선택된 역필터를 가시광선 화상 입력 유닛(21)으로부터 입력되는 보정 전의 가시광선 화상(15)의 대응 블록에 적용한다.

즉, 역필터 처리 유닛(41)은 블러 추정 유닛(30)에서 선택된 가장 높은 상관 값을 갖는 블록에 대응하는 필터의 특성들에 대한 역 특성들을 갖는 역필터, 구체적으로는, 보정 전의 가시광선 화상(15)의 블러 형태를 표시하는 PSF 특성들과 동일한 특성들을 갖는 필터를 역필터 뱅크(45)로부터 선택하고 선택된 역필터를 보정 전의 가시광선 화상(15)의 대응 블록에 적용한다.

역필터 뱅크(45)는 필터 뱅크(35)에 저장된 모든 필터의 특성들에 대응하는 역 특성들을 갖는 많은 역필터들을 ID들과 함께 저장한다. 블러 추정 유닛(30)의 필터 결정 유닛(33)으로부터 입력되는 필터 ID에 기초하여, 필터 ID에 대응하는 필터의 특성들에 대한 역 특성들을 갖는 역필터가 추출될 수 있다.

역필터 처리 유닛(41)은 가시광선 화상 입력 유닛(21)로부터 입력되는 보정 전의 가시광선 화상(15)의 N개의 블록 각각에 관하여 블러 추정 유닛(30)의 필터 결정 유닛(33)으로부터 입력되는 필터 ID에 기초하여 역필터 뱅크(45)로부터 각각의 블록에서 최대 상관 값을 표시하는 필터의 특성들에 대한 역 특성들을 갖는 역필터를 취득하고, 취득된 역필터를 가시광선 화상 입력 유닛(21)으로부터 입력되는 보정 전의 가시광선 화상(15)의 대응 블록에 적용한다.

가시광선 화상 입력 유닛(21)로부터 입력되는 보정 전의 가시광선 화상(15)의 N개의 모든 블록에 대한 역필터 적용 프로세스가 완료될 때, 완료된 화상은 보정 후의 가시광선 화상(17)으로서 출력된다.

이 프로세스를 통해, 블러가 보정 전의 가시광선 화상(15)으로부터 제거되거나 감소된 보정 후의 가시광선 화상(17)이 생성되어 출력된다.

다음으로, 도 7에 예시된 "(A) 기본 구성 예"에 대응하는 화상 처리 디바이스에 의해 수행되는 프로세스의 시퀀스는 도 8에 도시된 흐름도를 참조하여 설명될 것이다.

도 8에 도시된 흐름도에 따른 프로세스는 예를 들어, 화상 처리 디바이스의 저장 유닛에 저장된 프로그램에 따라 수행될 수 있는 프로세스이며, 프로그램 실행 기능을 갖는 CPU를 포함하는 제어 유닛(데이터 처리 유닛)의 제어 하에서 수행될 수 있다는 점에 유의한다.

이하, 도 8에 도시된 흐름의 각 단계의 프로세스가 순차적으로 설명될 것이다.

(단계 S101)

단계 S101에서는, 보정 대상인 가시광선 화상이 먼저 취득된다.

이 프로세스는 도 7에 도시된 화상 처리 디바이스의 가시광선 화상 입력 유닛(21)에 의해 수행된다. 구체적으로, 예를 들어, 이 프로세스는 가시광선 화상 촬영 카메라에 의해 촬영된 화상을 취득하는 프로세스이다.

(단계 S102)

후속하여, 단계 S102에서, 참조 화상으로서 사용될 원적외선 화상이 취득된다.

이 프로세스는 도 7에 도시된 화상 처리 디바이스에서의 원적외선 화상 입력 유닛(22)에 의해 수행된다. 구체적으로, 예를 들어, 이 프로세스는 원적외선 화상 촬영 카메라에 의해 촬영된 화상을 취득하는 프로세스이다.

단계들 S101 및 S102에서 취득된 가시광선 화상 및 원적외선 화상은 동일한 피사체를 동시에 촬영함으로써 획득한 화상들이라는 점에 유의한다.

이러한 화상들은 예를 들어, 암흑에서 촬영된 화상들이다. 가시광선 화상에서는, 장시간 노출로 인해 블러가 생성된다. 한편, 원적외선 화상은 단시간 노출 화상이고, 블러가 거의 없는 화상이다.

(단계 S103)

후속하여, 단계 S103 내지 단계 S110의 프로세스들은 가시광선 화상 및 원적외선 화상에 설정된 분할 영역들인 모든 블록에 대해 순차적으로 반복 수행되는 루프 프로세스(루프 1)이다.

블록들의 수는 N인 것으로 가정한다는 점에 유의한다.

(단계 S104)

후속하여, 단계 S104 내지 단계 S108의 프로세스들은 필터 뱅크(35)에 저장된 모든 필터와 연관된 모든 필터 ID에 대해 순차적으로 반복 수행되는 루프 프로세스(루프 2)이다.

(단계 S105)

단계 S105에서는, 필터(계수)가 취득된다.

단계들 S105 내지 S106의 프로세스들은 도 7에 도시된 블러 추정 유닛(30)의 필터 처리 유닛(31)에 의해 수행되는 프로세스들이다. 필터 처리 유닛(31)은 필터 뱅크(35)로부터 원적외선 화상의 각각의 블록에 적용된 필터(블러 생성 필터)를 순차적으로 취득한다.

필터 뱅크(35)로부터 순차적으로 취득된 데이터는 필터 구성 데이터인 필터 또는 필터 계수일 수 있다는 점에 유의한다.

(단계 S106)

후속하여, 단계 S106에서, 단계 S105에서 취득된 필터는 원적외선 화상의 하나의 블록, 즉 현재 처리 대상으로서 선택된 블록에 적용된다.

이 프로세스는 원적외선 화상에 블러를 의도적으로 생성하기 위해 수행되는 필터 처리이다.

(단계 S107)

후속하여, 단계 S107에서, 단계 S106에서의 필터 적용 결과의 원적외선 화상의 블록과 가시광선 화상에 대응하는 블록 사이의 상관 값이 계산된다.

이 프로세스는 도 7에 도시된 블러 추정 유닛(30)의 상관 계산 유닛(32)에 의해 수행되는 프로세스이다.

상관 계산 유닛(32)은 필터를 적용함으로써 블러가 의도적으로 생성되는 가시광선 화상과 원적외선 화상 사이의 상관을 계산한다.

(단계 S108)

단계 S108은 단계들 S104 내지 S108의 루프 2의 종료 위치이다.

즉, 필터 뱅크(35)에 저장된 모든 필터와 연관된 모든 필터 ID에 대해 단계들 S105 내지 S107의 프로세스들이 순차적으로 반복 수행된다.

(단계 S109)

하나의 블록에 대한 단계들 S102 내지 S108의 루프 2의 프로세스들이 완료될 때, 프로세스는 단계 S109로 진행한다.

즉, 필터 뱅크(35)에 저장된 모든 필터에 대응하는 상관 값들을 계산하는 프로세스가 하나의 블록에 대해 완료될 때, 프로세스는 단계 S109로 진행한다.

단계 S109의 프로세스는 도 7에 도시된 블러 추정 유닛(30)의 필터 결정 유닛(33)에 의해 수행되는 프로세스이다.

단계 S109에서, 필터 결정 유닛(33)은 단계들 S104 내지 S108의 루프 2의 프로세스들이 완료되는 블록에 대해 필터 뱅크(35)에 저장된 모든 필터에 대응하는 상관 값들 중에서 가장 높은 상관 값을 갖는 필터의 ID를 선택한다.

(단계 S110)

단계 S110은 단계들 S103 내지 S110의 루프 1의 종료 위치이다.

즉, 단계들 S104 내지 S109의 프로세스들은 가시광선 화상 및 원적외선 화상에 설정된 분할 영역들인 모든 블록에 대해 순차적으로 반복 수행된다.

루프 프로세스(루프 1)가 완료될 때, 가장 높은 상관 값을 갖는 필터의 필터 ID는 N개의 모든 블록에서 결정된다.

(단계 S111)

후속하여, 단계 S111 내지 단계 S114의 프로세스들은 가시광선 화상 및 원적외선 화상에 설정된 분할 영역들인 모든 블록에 대해 순차적으로 반복 수행되는 루프 프로세스(루프 3)이다.

블록들의 수는 N인 것으로 가정한다는 점에 유의한다.

(단계 S112)

단계들 S112 및 S113의 프로세스들은 도 7에 도시된 블러 제거 유닛(40)의 역필터 처리 유닛(41)에 의해 수행되는 프로세스들이다.

단계 S112에서, 역필터 처리 유닛(41)은 블러 추정 유닛(30)의 필터 결정 유닛(33)으로부터 처리 대상으로서 선택된 블록과 연관된 최대 상관 값을 갖는 필터의 필터 ID의 입력을 수신하고, 필터 ID에 기초하여 역필터 뱅크(45)로부터 필터 ID를 갖는 필터의 특성들에 대한 역 특성들을 갖는 역필터(계수)를 선택한다.

역필터 뱅크(45)로부터 취득된 데이터는 필터 구성 데이터인 필터 또는 필터 계수일 수 있다는 점에 유의한다.

(단계 S113)

후속하여, 단계 S113에서, 블러 제거 유닛(40)의 역필터 처리 유닛(41)은 처리 대상인 가시광선 화상의 블록들에 단계 S112에서 취득된 역필터를 적용한다.

(단계 S114)

단계 S114는 단계들 S111 내지 S114의 루프 3의 종료 위치이다.

즉, 단계들 S112 및 S113의 프로세스들은 보정 대상 화상인 가시광선 화상에 설정된 분할 영역들인 모든 블록에 대해 순차적으로 반복 수행된다.

가시광선 화상의 N개의 모든 블록에 역필터를 적용하는 프로세스가 완료되면, 완료된 화상은 보정 후의 가시광선 화상으로서 출력된다.

이 프로세스를 통해, 단계 S101에서의 입력 화상인 가시광선 화상, 즉 도 7에 도시된 보정 전의 가시광선 화상(15)으로부터 블러를 제거 또는 감소시켜서, 도 7에 도시된 보정 후의 가시광선 화상(17)을 생성 및 출력한다.

(4. (실시예 2) (A+B) 블러 추정 전에 전처리를 수행하는 화상 처리 디바이스의 구성 및 프로세스)

다음으로, 기본 구성 (A) 외에 도 4를 참조하여 설명된 구성 (A+B), 즉 블러 추정 전에 전처리가 수행되는 구성을 갖는 화상 처리 디바이스의 구체적인 구성 및 구체적인 프로세스에 대해서 본 개시내용의 실시예에 따른 화상 처리 디바이스의 실시예 2로서 설명될 것이다.

도 4를 참조하여 전술한 바와 같이, 구성 (A+B)의 추가 구성에서의 블러 추정 전의 전처리는 구체적으로 예를 들어, 다음과 같은 프로세스들 중 임의의 하나라는 점에 유의한다:

(1) 가시광선 화상 및 원적외선 화상 각각의 구배 화상을 생성하는 프로세스;

(2) 가시광선 화상 및 원적외선 화상 각각의 대역-제한 화상을 생성하는 프로세스;

(3) 가시광선 화상으로부터 의사 원적외선 화상을 생성하는 프로세스; 및

(4) 원적외선 화상으로 의사 가시광선 화상을 생성하는 프로세스.

이들 프로세스 중 어느 하나는 전처리 후의 화상을 사용하여 블러 추정을 수행하도록 수행된다.

도 9 및 후속 도면들을 참조하여 4 종류의 전처리 중 어느 하나가 수행되는 구성을 갖는 화상 처리 디바이스의 구성 예에 대해서 설명할 것이다.

먼저, (1) 가시광선 화상 및 원적외선 화상 각각의 구배 화상을 생성하는 프로세스 및 프로세스를 수행하는 화상 처리 디바이스의 구성 예가 도 9를 참조하여 전처리로서 설명될 것이다.

도 9에 도시된 화상 처리 디바이스 AB1 또는 20-AB1은 블러 추정 유닛(30)에서의 블러 추정 프로세스의 전처리로서, 구배 화상 생성 유닛(51)이 가시광선 화상 및 원적외선 화상 각각의 구배 화상을 생성하는 구성을 갖는다.

도 9에 도시된 화상 처리 디바이스 AB1 또는 20-AB1은 도 7에 도시된 화상 처리 디바이스 A 또는 20-A에 구배 화상 생성 유닛(51)이 추가되는 구성을 갖고, 다른 나머지 구성은 도 7에 도시된 화상 처리 디바이스 A 또는 20-A의 구성과 동일하다.

구배 화상 생성 유닛(51)에 의해 수행되는 프로세스에 대해서 설명할 것이다.

구배 화상 생성 유닛(51)은 가시광선 화상 입력 유닛(21) 및 원적외선 화상 입력 유닛(22)에 의해 입력되는 보정 전의 가시광선 화상(15)과 원적외선 화상(16) 사이의 가시성 차이를 완화하는 프로세스를 수행한다.

예를 들어, 보정 전의 가시광선 화상(15)은 RGB 화소들에 의해 형성되는 컬러 화상이고, 원적외선 화상(16)은 열에 따라 그레이스케일 화소들에 의해 형성되는 단색 화상이다.

블러 추정 유닛(30)의 상관 계산 유닛(32)은 가시광선 화상과 원적외선 화상 사이의 블록 단위의 상관을 계산하는 프로세스를 수행한다. 이러한 방식으로, 출력 화소 값들이 실질적으로 상이한 화상들을 비교함으로써 상관 값들이 획득될 때, 정확한 상관 값들이 획득되지 않을 가능성이 증가한다.

구배 화상 생성 유닛(51)은 이 문제를 해결하기 위한 전처리를 행한다.

즉, 구배 화상 생성 유닛(51)은 가시광선 화상 입력 유닛(21) 및 원적외선 화상 입력 유닛(22)에 의해 입력되는 보정 전의 가시광선 화상(15)과 원적외선 화상(16) 사이의 가시성 차이를 완화하고, 화상들을 유사한 화소 값들에 의해 형성되는 화상들로 변환하는 프로세스를 수행한다.

도 10을 참조하여, 구배 화상 생성 유닛(51)에 의해 수행되는 프로세스의 구체적인 예가 설명될 것이다.

도 10은 암흑에서 동일한 피사체를 촬영함으로써 획득된 (1a) 가시광선 화상 및 (2a) 원적외선 화상에 대한 구배 화상을 생성하는 프로세스의 예를 도시한다.

(1a) 가시광선 화상은 원래 컬러 화상이지만, 본 명세서에서는 단색 화상으로서 간략화되었으며, 이는 예로서 설명될 것이라는 점에 유의한다.

(1a) 가시광선 화상에서는, 블러가 발생한다. (2a) 원적외선 화상에서는, 블러가 발생하지 않는다.

구배 화상은 화소 값의 구배(변화)의 크기에 따라 화소 값이 설정되는 화상이다. 예를 들면, 구배 화상은 화소 값의 큰 구배(변화)를 갖는 영역이 백색에 근접하도록 설정되고, 화소값의 작은 구배(변화)를 갖는 영역이 흑색에 근접하도록 설정된 화상이다.

(1a) 가시광선 화상 및 (2a) 원적외선 화상에서, 사람 영역과 배경 영역 사이의 경계 부분은 화소 값의 변화가 큰 영역이다.

따라서, (1a) 가시광선 화상에 대한 구배 화상을 생성하는 프로세스를 통해 생성되는 (1b) 가시광선 구배 화상 및 (2a) 원적외선 화상에 대한 구배 화상을 생성하는 프로세스를 통해 생성되는 (2b) 원적외선 구배 화상은 모두 사람 영역과 배경 영역 사이의 경계 부분이 백색에 가까운 것으로 설정되고 다른 영역들, 즉 화소 값들의 변화가 작은 영역들이 흑색에 가까운 것으로 설정되는 구배 화상들이다.

미리 결정된 필터 계수를 갖는 필터가 적용되는 필터 계산을 통해 구배 화상이 생성될 수 있다는 점에 유의한다.

이러한 방식으로, 구배 화상 생성 유닛(51)은 출력 화소 값들의 상이한 구성들을 갖는 가시광선 화상 및 원적외선 화상을 구배 화상들로 변환함으로써 2개의 화상의 출력 화소 구성들이 서로 유사하거나 동일하게 되게 하는 프로세스를 수행한다.

도 9에 도시된 바와 같이, 구배 화상 생성 유닛(51)은 생성된 가시광선 구배 화상 및 원적외선 화상의 블러 추정 유닛(30)으로의 입력을 수신한다.

구배 화상 생성 유닛(51)에 의해 생성된 가시광선 구배 화상은 상관 계산 유닛(32)에 입력되고 원적외선 구배 화상은 필터 처리 유닛(31)에 입력된다.

블러 추정 유닛(30)의 필터 처리 유닛(31)은 원적외선 화상(16)에 기초하여 생성된 원적외선 구배 화상에, 필터 뱅크(35)에 저장된 다양한 필터들(블러 생성 필터들)을 순차적으로 적용함으로써 블러가 의도적으로 생성되는 원적외선 구배 화상을 생성하고, 그 후 원적외선 구배 화상을 상관 계산 유닛(32)에 출력한다.

상관 계산 유닛(32)은 다음의 2개의 구배 화상의 입력을 수신하고 블록 단위의 상관 값 계산 프로세스를 수행한다:

(가시광선 구배 화상): 구배 화상 생성 유닛(51)이 보정 전의 가시광선 화상(15)에 기초하여 구배 화상 생성 프로세스를 수행할 때 생성되는 가시광선 구배 화상; 및

(원적외선 구배 화상): 구배 화상 생성 유닛(51)이 원적외선 화상(16)에 기초하여 구배 화상 생성 프로세스를 수행할 때 생성되는 원적외선 구배 화상에 필터 처리 유닛(31) 내의 필터들을 적용함으로써 블러가 의도적으로 생성된 원적외선 구배 화상.

상관 계산 유닛(32)은 다음의 2개의 구배 화상의 입력을 수신하고 블록 단위의 상관 값 계산 프로세스를 수행한다.

2개의 구배 화상은 출력 화소 값들이 유사하고, 원래의 입력 화상들과 비교하여 정확한 상관 값들을 계산하는 것이 용이하도록 설정된다.

상관 계산 유닛(32)은 원적외선 구배 화상의 N개의 블록 각각에 대해, 필터 뱅크(35)에 저장된 다양한 필터들(블러 생성 필터들)을 순차적으로 적용함으로써 획득된 결과와 보정 전의 가시광선 화상(15)에 기초하여 생성된 가시광선 구배 화상 사이의 상관을 계산하고, N개의 블록 각각에 대한 각각의 필터에 대응하는 상관 값을 필터 ID와 함께 필터 결정 유닛(33)에 출력한다.

후속 프로세스는 도 7을 참조하여 전술한 (기본 구성 A)를 갖는 화상 처리 디바이스 A 또는 20-A에 의해 수행되는 프로세스와 동일한 프로세스이다.

후속하여, (2) 가시광선 화상 및 원적외선 화상 각각의 대역-제한 화상을 생성하는 프로세스 및 프로세스를 수행하는 화상 처리 디바이스의 구성 예에 대해서 도 11을 참조하여 전처리로서 설명할 것이다.

도 11에 도시된 화상 처리 디바이스 AB2 또는 20-AB2는 대역-제한 화상 생성 유닛(52)이 가시광선 화상 및 원적외선 화상 각각의 대역-제한 화상을 블러 추정 유닛(30)에서의 블러 추정 프로세스의 전처리로서 생성하는 구성을 갖는다.

도 11에 도시된 화상 처리 디바이스 AB2 또는 20-AB2는 대역-제한 화상 생성 유닛(52)이 전술한 도 7에 도시된 화상 처리 디바이스 A 또는 20-A에 추가되는 구성을 갖고, 다른 나머지 구성은 도 7에 도시된 화상 처리 디바이스 A 또는 20-A의 구성과 동일하다.

대역-제한 화상 생성 유닛(52)에 의해 수행되는 프로세스가 설명될 것이다.

대역-제한 화상 생성 유닛(52)은 가시광선 화상 입력 유닛(21) 및 원적외선 화상 입력 유닛(22)에 의해 입력되는 보정 전의 가시광선 화상(15)과 원적외선 화상(16) 사이의 가시성 차이를 완화하는 프로세스로서 대역-제한 화상을 생성하는 프로세스를 수행한다.

대역-제한 화상 생성 유닛(52)에 의해 수행되는 프로세스의 구체적인 예가 도 12를 참조하여 설명될 것이다.

도 12는 암흑에서 동일한 피사체를 촬영함으로써 획득된 (1a) 가시광선 화상 및 (2a) 원적외선 화상에 대한 대역-제한 화상들을 생성하는 프로세스의 예를 도시한다.

(1a) 가시광선 화상은 원래 컬러 화상이지만, 본 명세서에서는 단색 화상으로서 간략화되었으며, 이는 예로서 설명될 것이라는 점에 유의한다.

(1a) 가시광선 화상에서는, 블러가 발생한다. (2a) 원적외선 화상에서는, 블러가 발생하지 않는다.

대역-제한 화상은 화상이 없는 고대역 부분, 즉 텍스처와 같은 화소 값의 변화가 큰 영역을, 화소 값의 변화가 작은 저대역 영역으로 변환하는 프로세스를 수행함으로써 생성되는 화상이다. 예를 들어, 사람의 의복의 패턴은 도 12에 도시된 (1a) 가시광선 화상에 표시되지만, 형상 부분은 화소 값의 변화가 큰 화소 영역, 즉 고대역 부분이다.

대역-제한 프로세스를 수행함으로써, 고대역 부분으로부터 저대역 부분으로의 변환의 결과로서, 의복 등의 형상이 사라진 화상을 생성하는 것이 가능하다.

의복 등의 형상은 가시광선 화상에 출력되지만, 온도 정보가 출력 화소 값들로 설정되는 원적외선 화상에는 출력되지 않는다.

따라서, 블러 추정 유닛(30)의 상관 계산 유닛(32)에서 상관 계산이 수행되는 경우에, 형상 등에 관한 정보는 정확한 상관 값의 계산에 방해가 된다.

이러한 문제를 해결하기 위해, 대역-제한 화상 생성 유닛(52)은 가시광선 화상 입력 유닛(21) 및 원적외선 화상 입력 유닛(22)에 의해 입력되는 보정 전의 가시광선 화상(15)과 원적외선 화상(16) 간의 가시성 차이를 완화하는 프로세스로서 대역-제한 화상을 생성하는 프로세스를 수행한다.

도 12에 도시된 바와 같이, (1a) 가시광선 화상에 대한 대역-제한 화상을 생성하는 프로세스를 통해 생성된 (1b) 가시광선 대역-제한 화상 및 (2a) 원적외선 화상에 대한 대역-제한 화상을 생성하는 프로세스를 통해 생성된 (2b) 원적외선 대역-제한 화상은 모두 의복의 형상을 출력하지 않고 가시성이 유사한 화상들이다.

미리 결정된 필터 계수를 갖는 필터가 적용되는 필터 계산을 통해 대역-제한 화상이 생성될 수 있다는 점에 유의한다.

이러한 방식으로, 대역-제한 화상 생성 유닛(52)은 출력 화소 값들의 구성들이 상이한 가시광선 화상 및 원적외선 화상을 대역-제한 화상들로 변환함으로써 2개의 화상의 출력 화소 구성들이 서로 유사하거나 동일하게 되게 하는 프로세스를 수행한다.

도 11에 도시된 바와 같이, 대역-제한 화상 생성 유닛(52)은 생성된 가시광선 대역-제한 화상 및 원적외선 대역-제한 화상을 블러 추정 유닛(30)에 입력한다.

대역-제한 화상 생성 유닛(52)에 의해 생성된 가시광선 대역-제한 화상은 상관 계산 유닛(32)에 입력되고 원적외선 대역-제한 화상은 필터 처리 유닛(31)에 입력된다.

블러 추정 유닛(30)의 필터 처리 유닛(31)은 필터 뱅크(35)에 저장된 다양한 필터들(블러 생성 필터들)을 원적외선 화상(16)에 기초하여 생성된 원적외선 대역-제한 화상에 순차적으로 적용함으로써 블러가 의도적으로 생성되는 원적외선 대역-제한 화상을 생성하고, 그 후 원적외선 대역-제한 화상을 상관 계산 유닛(32)에 출력한다.

상관 계산 유닛(32)은 다음의 2개의 대역-제한 화상의 입력을 수신하고 블록 단위의 상관 값 계산 프로세스를 수행한다:

(가시광선 대역-제한 화상): 대역-제한 화상 생성 유닛(52)이 보정 전의 가시광선 화상(15)에 기초하여 대역-제한 화상 생성 프로세스를 수행할 때 발생되는 가시광선 대역-제한 화상; 및

(원적외선 대역-제한 화상): 대역-제한 화상 생성 유닛(52)이 원적외선 화상(16)에 기초하여 대역-제한 화상 생성 프로세스를 수행할 때 생성되는 원적외선 대역-제한 화상에 대해 필터 처리 유닛(31) 내의 필터들을 적용함으로써 블러가 의도적으로 생성되는 원적외선 대역-제한 화상.

상관 계산 유닛(32)은 다음의 2개의 대역-제한 화상의 입력을 수신하고 블록 단위의 상관 값 계산 프로세스를 수행한다.

2개의 대역-제한 화상은 출력 화소 값들이 유사하고, 원래의 입력 화상들과 비교하여 정확한 상관 값들을 계산하는 것이 용이하도록 설정된다.

상관 계산 유닛(32)은 원적외선 대역-제한 화상의 N개의 블록 각각에 대해, 필터 뱅크(35)에 저장된 다양한 필터들(블러 생성 필터들)을 순차적으로 적용함으로써 획득된 결과와 보정 전의 가시광선 화상(15)에 기초하여 생성된 가시광선 대역-제한 화상 사이의 상관을 계산하고, N개의 블록 각각에 대한 각각의 필터에 대응하는 상관 값을 필터 ID와 함께 필터 결정 유닛(33)에 출력한다.

후속 프로세스는 도 7을 참조하여 전술한 (기본 구성 A)를 갖는 화상 처리 디바이스 A 또는 20-A에 의해 수행되는 프로세스와 동일한 프로세스이다.

후속하여, (3) 가시광선 화상으로부터 의사 원적외선 화상을 생성하는 프로세스 및 프로세스를 수행하는 화상 처리 디바이스의 구성 예에 대해서 도 13을 참조하여 전처리로서 설명할 것이다.

도 13에 도시된 화상 처리 디바이스 AB3 또는 20-AB3는 의사 원적외선 화상 생성 유닛(53)이 블러 추정 유닛(30)에서의 블러 추정 프로세스의 전처리로서, 가시광선 화상 입력 유닛(21)으로부터 입력되는 보정 전의 가시광선 화상(15)에 기초한 의사 원적외선 화상을 생성하는 구성을 갖는다.

도 13에 도시된 화상 처리 디바이스 AB3 또는 20-AB3는 도 7에 도시된 화상 처리 디바이스 A 또는 20-A에 의사 원적외선 화상 생성 유닛(53)이 추가되고, 다른 나머지 구성은 도 7에 도시된 화상 처리 디바이스 A 또는 20-A의 구성과 동일한 구성을 갖는다.

의사 원적외선 화상 생성 유닛(53)에 의해 수행되는 프로세스가 설명될 것이다.

의사 원적외선 화상 생성 유닛(53)은 가시광선 화상 입력 유닛(21) 및 원적외선 화상 입력 유닛(22)에 의해 입력되는 보정 전의 가시광선 화상(15)과 원적외선 화상(16) 사이의 가시성 차이를 완화하는 프로세스로서, 보정 전의 가시광선 화상(15)을 의사 원적외선 화상으로 변환하는 프로세스를 수행한다.

화상 변환 프로세스에서는, 예를 들어, 미리 생성된 머신 학습 데이터가 사용된다.

구체적으로, 암흑에서 동일한 피사체를 동시에 촬영함으로써 획득된 가시광선 화상들 및 원적외선 화상들의 많은 화상 쌍들이 준비된다. 가시광선 화상에 대해 소정 화상 변환이 수행될 때 쌍으로서 설정된 원적외선 화상에 가시광선 화상이 접근하는지의 변환 함수는 머신 학습 프로세스를 통해 계산된다.

학습 프로세스를 통해, 예를 들어, 가시광선 화상에서의 피부색에서 둥근 형상은 사람 얼굴이고, 예를 들어, 가시광선 화상의 화소 값들을 사람 온도에 대응하는 원적외선 화상의 화소 값들로 변환하는 프로세스가 수행될 수 있다.

의사 원적외선 화상 생성 유닛(53)은 학습 데이터를 사용하여 가시광선 화상 입력 유닛(21)으로부터 입력되는 보정 전의 가시광선 화상(15)에 대해 화상 변환을 수행하여 의사 원적외선 화상을 생성한다.

도 13에 도시된 바와 같이, 의사 원적외선 화상 생성 유닛(53)은 보정 전의 가시광선 화상(15)에 기초하여 생성된 의사 원적외선 화상의, 블러 추정 유닛(30)의 상관 계산 유닛(32)으로의 입력을 수신한다.

상관 계산 유닛(32)은 다음의 2개의 화상의 입력을 수신하고 블록 단위의 상관 값 계산 프로세스를 수행한다:

(의사 원적외선 화상): 의사 원적외선 화상 생성 유닛(53)이 보정 전의 가시광선 화상(15)에 기초하여 의사 원적외선 화상 화상을 생성하는 프로세스를 수행할 때 생성되는 의사 적외선 화상 화상; 및

(원적외선 화상) 필터 처리 유닛(31)이 원적외선 화상(16)에 필터들을 적용함으로써 의도적으로 블러를 생성하는 원적외선 화상.

상관 계산 유닛(32)은 다음 2개의 화상의 입력을 수신하고 블록 단위의 상관 값 계산 프로세스를 수행한다.

2개의 화상은 출력 화소 값들이 유사하고, 원래의 입력 화상들과 비교하여 정확한 상관 값들을 계산하는 것이 용이하도록 설정된다.

상관 계산 유닛(32)은 원적외선 화상(16)의 N개의 블록 각각에 대해, 필터 뱅크(35)에 저장된 다양한 필터들(블러 생성 필터들)을 순차적으로 적용함으로써 획득된 결과와 보정 전의 가시광선 화상(15)에 기초하여 생성된 의사 원적외선 화상 사이의 상관을 계산하고, N개의 블록 각각에 대한 각각의 필터에 대응하는 상관 값을 필터 ID와 함께 필터 결정 유닛(33)에 출력한다.

후속 프로세스는 도 7을 참조하여 전술한 (기본 구성 A)를 갖는 화상 처리 디바이스 A 또는 20-A에 의해 수행되는 프로세스와 동일한 프로세스이다.

후속하여, (4) 원적외선 화상으로부터 의사 가시광선 화상을 생성하는 프로세스 및 프로세스를 수행하는 화상 처리 디바이스의 구성 예에 대해서 도 14를 참조하여 전처리로서 설명할 것이다.

도 14에 도시된 화상 처리 디바이스 AB4 또는 20-AB4는 의사 가시광선 화상 생성 유닛(54)이 원적외선 화상 입력 유닛(22)으로부터 입력된 원적외선 화상(16)에 기초하여 의사 가시광선 화상을 블러 추정 유닛(30)에서의 블러 추정 프로세스의 전처리로서 생성하는 구성을 갖는다.

도 14에 도시된 화상 처리 디바이스 AB4 또는 20-AB4는 도 7에 도시된 화상 처리 디바이스 A 또는 20-A에 의사 가시광선 화상 생성 유닛(54)이 추가되고, 다른 나머지 구성은 도 7에 도시된 화상 처리 디바이스 A 또는 20-A의 구성과 동일한 구성을 갖는다.

의사 가시광선 화상 생성 유닛(54)에 의해 수행되는 프로세스에 대해 설명할 것이다.

의사 가시광선 화상 생성 유닛(54)은 가시광선 화상 입력 유닛(21) 및 원적외선 화상 입력 유닛(22)에 의해 입력된 보정 전의 가시광선 화상(15)과 원적외선 화상(16) 간의 가시성 차이를 완화하는 프로세스로서 원적외선 화상(16)을 의사 가시광선 화상으로 변환하는 프로세스를 수행한다.

화상 변환 프로세스에서는, 예를 들어, 미리 생성된 머신 학습 데이터가 사용된다.

구체적으로, 암흑에서 동일한 피사체를 동시에 촬영함으로써 획득된 가시광선 화상들 및 원적외선 화상들의 많은 화상 쌍들이 준비된다. 원적외선 화상에 대해 소정 화상 변환이 수행될 때 원적외선 화상이 쌍으로서 설정된 가시광선 화상에 접근하는지의 변환 함수는 머신 학습 프로세스를 통해 계산된다.

의사 가시광선 화상 생성 유닛(54)은 학습 데이터를 사용하여 원적외선 화상 입력 유닛(22)으로부터 입력된 원적외선 화상(16)에 대해 화상 변환을 수행하여 의사 가시광선 화상을 생성한다.

도 14에 도시된 바와 같이, 의사 가시광선 화상 생성 유닛(54)은 원적외선 화상(16)에 기초하여 생성된 의사 가시광선 화상의, 블러 추정 유닛(30)의 필터 처리 유닛(31)으로의 입력을 수신한다.

필터 처리 유닛(31)은 필터 뱅크(35)에 저장된 다양한 필터들(블러 생성 필터들)을 원적외선 화상(16)에 기초하여 생성된 의사 가시광선 화상에 순차적으로 적용함으로써 블러가 의도적으로 생성되는 의사 가시광선 화상을 생성하고, 그 후 의사 가시광선 화상을 상관 계산 유닛(32)에 출력한다.

상관 계산 유닛(32)은 다음의 2개의 화상의 입력을 수신하고 블록 단위의 상관 값 계산 프로세스를 수행한다:

(보정 전의 가시광선 화상(15)) 가시광선 화상 입력 유닛(21)으로부터 입력된 보정 전의 가시광선 화상(15); 및

(의사 가시광선 화상) 의사 가시광선 화상 생성 유닛(54)에 의한 원적외선 화상(16)에 기초하여 생성된 의사 가시광선 화상에 필터 처리 유닛(31) 내의 필터들을 적용함으로써 블러가 의도적으로 생성되는 의사 가시광선 화상.

상관 계산 유닛(32)은 다음 2개의 화상의 입력을 수신하고 블록 단위의 상관 값 계산 프로세스를 수행한다.

2개의 화상은 출력 화소 값들이 유사하고, 원래의 입력 화상들과 비교하여 정확한 상관 값들을 계산하는 것이 용이하도록 설정된다.

상관 계산 유닛(32)은 보정 전의 가시광선 화상(15)과, 원적외선 화상(16)에 기초하여 생성된 의사 가시광선 화상의 N개의 블록 각각에 필터 뱅크(35)에 저장된 다양한 필터들(블러 생성 필터들)을 순차적으로 적용함으로써 획득된 결과 사이의 상관을 계산하고, N개의 블록 각각에 대한 각각의 필터에 대응하는 상관 값을 필터 결정 유닛(33)에 필터 ID와 함께 출력한다.

후속 프로세스는 도 7을 참조하여 전술한 (기본 구성 A)를 갖는 화상 처리 디바이스 A 또는 20-A에 의해 수행되는 프로세스와 동일한 프로세스이다.

도 9 내지 도 14를 참조하여 설명된 바와 같이, 다음의 프로세스들 중 임의의 하나는 구성 (A+B)의 추가 구성에서의 블러 추정 전의 전처리로서 수행된다:

(1) 가시광선 화상 및 원적외선 화상 각각의 구배 화상을 생성하는 프로세스(도 9);

(2) 가시광선 화상 및 원적외선 화상 각각의 대역-제한 화상을 생성하는 프로세스(도 11);

(3) 가시광선 화상으로부터 의사 원적외선 화상을 생성하는 프로세스(도 13); 및

(4) 원적외선 화상으로부터 의사 가시광선 화상을 생성하는 프로세스(도 14).

이들 프로세스 중 어느 하나는 전처리 후의 화상을 사용하여 블러 추정을 수행하도록 수행된다.

도 15 및 도 16에 도시된 흐름도들을 참조하여 블러 추정 전의 전처리를 수행하는 화상 처리 디바이스에 의해 수행되는 프로세스들의 시퀀스들이 설명될 것이다.

도 15에 도시된 흐름도는 다음의 (1) 및 (2) 프로세스 중 하나가 전처리로서 수행되는 경우의 흐름도이다.

(1) 가시광선 화상 및 원적외선 화상 각각의 구배 화상을 생성하는 프로세스(도 9); 및

(2) 가시광선 화상 및 원적외선 화상 각각의 대역-제한 화상을 생성하는 프로세스(도 11).

도 16에 도시된 흐름도는 다음의 (3) 및 (4) 프로세스 중 하나가 전처리로서 수행되는 경우의 흐름도이다.

(3) 가시광선 화상으로부터 의사 원적외선 화상을 생성하는 프로세스(도 13); 및

(4) 원적외선 화상으로부터 의사 가시광선 화상을 생성하는 프로세스(도 14).

먼저, 다음의 (1) 및 (2) 프로세스 중 하나가 수행되는 경우의 흐름도는 도 15에 도시된 흐름도를 참조하여 설명될 것이다.

(1) 가시광선 화상 및 원적외선 화상 각각의 구배 화상을 생성하는 프로세스(도 9); 및

(2) 가시광선 화상 및 원적외선 화상 각각의 대역-제한 화상을 생성하는 프로세스(도 11).

도 15에 도시된 흐름도는 도 8을 참조하여 전술한 도 7의 "(A) 기본 구성 예"에 대응하는 화상 처리 디바이스에 의해 수행되는 프로세스 흐름의 단계들 S101 내지 S114의 프로세스에 단계들 S101b 및 S102b의 프로세스가 추가되는 흐름도이다.

추가 프로세스들인 단계들 S101b 및 S102b 이외의 프로세스들은 도 8을 참조하여 설명한 흐름의 단계들 S101 내지 S114의 프로세스들과 동일하기 때문에, 그에 대한 설명은 생략할 것이다. 추가된 프로세스들인 단계들 S101b 및 S102b의 프로세스들만이 설명될 것이다.

(단계 S101b)

단계 S101b의 프로세스는 단계 S101에서 입력된 보정 대상인 가시광선 화상에 대한 전처리이다.

전처리는 도 9를 참조하여 설명한 구배 화상 생성 유닛(51) 또는 도 11을 참조하여 설명한 대역-제한 화상 생성 유닛(52)에 의해 수행된다.

단계 S101에서는, 보정 대상인 가시광선 화상이 취득된다.

프로세스는 화상 처리 디바이스의 가시광선 화상 입력 유닛(21)에 의해 수행된다. 구체적으로, 프로세스는 예를 들어, 가시광선 화상 촬영 카메라에 의해 촬영된 화상을 취득하는 프로세스이다.

단계 S101b에서는, 단계 S101에서 입력된 가시광선 화상의 구배 화상 또는 대역-제한 화상이 생성된다.

단계 S103 및 후속 단계들에서 수행된 블록 단위의 상관 값을 계산하는 프로세스에서는, 가시광선 화상의 구배 화상 또는 대역-제한 화상을 사용하는 상관 값을 계산하는 프로세스가 수행된다.

(단계 S102b)

단계 S102b의 프로세스는 단계 S102에서 입력된 원적외선 화상에 대한 전처리이다.

전처리는 도 9를 참조하여 설명한 구배 화상 생성 유닛(51) 또는 도 11을 참조하여 설명한 대역-제한 화상 생성 유닛(52)에 의해 수행된다.

단계 S102에서는, 참조 화상인 원적외선 화상이 취득된다.

프로세스는 화상 처리 디바이스의 원적외선 화상 입력 유닛(22)에 의해 수행된다. 구체적으로, 프로세스는 예를 들어, 원적외선 화상 촬영 카메라에 의해 촬영된 화상을 취득하는 프로세스이다.

단계 S102b에서는, 단계 S102에서 입력된 원적외선 화상의 구배 화상 또는 대역-제한 화상이 생성된다.

가시광선 화상의 구배 화상이 단계 S101b에서 생성되는 경우에, 원적외선 화상의 구배 화상은 단계 S102b에서 생성된다는 점에 유의한다.

또한, 단계 S101b에서 가시광선 화상의 대역-제한 화상이 생성되는 경우에, 원적외선 화상의 대역-제한 화상이 단계 S102b에서 생성된다.

단계 S103 및 후속 단계들에서 수행된 블록 단위의 필터 적용 프로세스 및 상관 값 계산 프로세스에서는, 다음의 프로세스들 중 임의의 하나가 수행된다:

가시광선 화상 및 원적외선 화상의 구배 화상을 사용하는 필터 적용 프로세스 및 상관 값 계산 프로세스; 및

가시광선 화상 및 원적외선 화상의 대역-제한 화상을 사용하는 필터 적용 프로세스 및 상관 값 계산 프로세스.

다음으로, 다음의 (3) 및(4) 프로세스들 중 하나가 수행되는 경우의 흐름도가 도 16에 도시된 흐름도를 참조하여 설명될 것이다.

(3) 가시광선 화상으로부터 의사 원적외선 화상을 생성하는 프로세스(도 13); 및

(4) 원적외선 화상으로부터 의사 가시광선 화상을 생성하는 프로세스(도 14).

도 16에 도시된 흐름도는 도 8을 참조하여 전술한 도 7의 "(A) 기본 구성 예"에 대응하는 화상 처리 디바이스에 의해 수행되는 프로세스 흐름의 단계들 S101 내지 S114의 프로세스들에 단계들 S101c 및 S102c의 프로세스들이 추가되는 흐름도이다.

(3) 가시광선 화상으로부터 의사 원적외선 화상을 생성하는 프로세스(도 13)가 블러 추정의 전처리로서 수행되는 경우에, 단계 S101c의 프로세스는 추가 프로세스로서 수행되고 단계 S102c의 프로세스는 수행되지 않는다는 점에 유의한다.

한편, (4) 원적외선 화상으로부터 의사 가시광선 화상을 생성하는 프로세스(도 14)가 블러 추정의 전처리로서 수행되는 경우에, 단계 S101c의 프로세스는 수행되지 않고 단계 S102c의 프로세스는 추가 프로세스로서 수행된다.

추가 프로세스들인 단계들 S101c 및 S102c 이외의 프로세스들은 도 8을 참조하여 설명한 흐름의 단계들 S101 내지 S114의 프로세스들과 동일하기 때문에, 그에 대한 설명은 생략할 것이다. 추가된 프로세스들인 단계들 S101c 및 S102c의 프로세스들만이 설명될 것이다.

(단계 S101c)

단계 S101c의 프로세스는 단계 S101에서 입력된 보정 대상인 가시광선 화상에 대한 전처리이다.

전처리는 도 13을 참조하여 설명된 의사 원적외선 화상 생성 유닛(53)에 의해 수행된다.

단계 S101에서는, 보정 대상인 가시광선 화상이 취득된다.

프로세스는 화상 처리 디바이스의 가시광선 화상 입력 유닛(21)에 의해 수행된다. 구체적으로, 프로세스는 예를 들어, 가시광선 화상 촬영 카메라에 의해 촬영된 화상을 취득하는 프로세스이다.

단계 S101c에서는, 의사 원적외선 화상이 단계 S101에서 입력된 가시광선 화상에 기초하여 생성된다.

도 13을 참조하여 전술한 바와 같이, 가시광선 화상에 기초한 의사 원적외선 화상은 예를 들어, 미리 생성된 학습 데이터를 사용하여 생성된다.

단계 S103 및 후속 단계들에서 수행된 블록 단위의 상관 값을 계산하는 프로세스에서는, 가시광선 화상에 기초하여 생성된 의사 원적외선 화상을 사용하여 상관 값을 계산하는 프로세스가 수행된다.

즉, 단계 S107에서, 단계 S101c에서 생성된 의사 원적외선 화상과 단계 S102에서 입력된 원적외선 화상의 필터 적용 결과 사이의 상관 계산이 수행된다.

(단계 S102c)

단계 S102c의 프로세스는 단계 S102에서 입력된 원적외선 화상에 대한 전처리이다.

전처리는 도 14를 참조하여 설명된 의사 가시광선 화상 생성 유닛(54)에 의해 수행된다.

단계 S102에서는, 참조 화상인 원적외선 화상이 취득된다.

프로세스는 화상 처리 디바이스의 원적외선 화상 입력 유닛(22)에 의해 수행된다. 구체적으로, 프로세스는 예를 들어, 원적외선 화상 촬영 카메라에 의해 촬영된 화상을 취득하는 프로세스이다.

단계 S102c에서는, 의사 가시광선 화상이 단계 S102에서 입력된 원적외선 화상에 기초하여 생성된다.

도 14를 참조하여 전술한 바와 같이, 원적외선 화상에 기초한 의사 가시광선 화상은 예를 들어, 미리 생성된 학습 데이터를 사용하여 생성된다.

단계 S103 및 후속 단계들에서 수행된 블록 단위의 상관 값을 계산하는 프로세스 및 필터 적용 프로세스에서는, 필터 적용 프로세스 및 상관 값 계산 프로세스가 의사 가시광선 화상을 사용하여 수행된다.

즉, 단계 S106에서는, 필터 적용 프로세스가 단계 S102c에서 생성된 의사 가시광선 화상에 대해 수행된다. 또한, 단계 S107에서는, 단계 S101에서 입력된 가시광선 화상 및 단계 S102c에서 생성된 의사 가시광선 화상의 필터 적용 결과들의 상관 계산이 수행된다.

이러한 방식으로, "예 2 (A+B)에 따른 블러 추정 전의 전처리를 수행하는 화상 처리 디바이스"는 블러 추정 전의 전처리, 즉 다음 종류의 전처리 중 하나를 수행하고 전처리 후의 화상을 사용하여 블러 추정을 수행한다:

(1) 가시광선 화상 및 원적외선 화상 각각의 구배 화상을 생성하는 프로세스;

(2) 가시광선 화상 및 원적외선 화상 각각의 대역-제한 화상을 생성하는 프로세스;

(3) 가시광선 화상으로부터 의사 원적외선 화상을 생성하는 프로세스; 및

(4) 원적외선 화상으로부터 의사 가시광선 화상을 생성하는 프로세스.

전처리를 수행함으로써, 보정 전의 가시광선 화상(15)과 원적외선 화상(16) 사이의 가시성 차이가 완화되고, 의사 화소 값들에 의해 형성되는 화상에 기초한 상관 값 계산이 수행될 수 있고, 더 높은 정밀도를 갖는 상관 값 계산이 수행된다. 최종적으로 생성되는 보정 후의 가시광선 화상(17)의 블러 제거 효과가 추가로 개선된다.

(5. (실시예 3) (A+C) 블러 추정 결과의 신뢰도를 계산하고 신뢰도에 따라 블러 제거 프로세스를 수행하는 화상 처리 디바이스의 구성 및 프로세스)

다음으로, 도 4를 참조하여 설명된 구성 (A+C), 즉 기본 구성 (A) 이외에, 블러 추정 유닛(30)에 의해 추정되는 블러 추정 결과의 신뢰도가 계산되고 신뢰도에 따른 블러 제거 프로세스가 수행되는 구성을 갖는 화상 처리 디바이스의 구체적인 구성 및 구체적인 프로세스이 본 개시내용의 실시예에 따른 화상 처리 디바이스의 실시예 3으로서 설명될 것이다.

도 4를 참조하여 전술한 바와 같이, 구성 (A+C)에서의 추가 구성들인 블러 추정 결과의 신뢰도 적용 프로세스에 대한 구성들로서 다음의 2개의 구성이 있다는 점에 유의한다:

(1) 단계 S20의 블러 추정 프로세스 시에 수행되는 블러가 있는 가시광선 화상과 블러가 없는 원적외선 화상에 대한 필터 처리의 결과 사이의 상관 값에 기초하여 신뢰도가 계산되고, 단계 S40의 블러 제거 프로세스 시의 필터 적용 레벨이 계산된 신뢰도에 따라 조정되는 구성; 및

(2) 단계 S20의 블러 추정 프로세스 시에 수행되는, 블러가 있는 가시광선 화상과 블러가 없는 원적외선 화상에 대한 필터 처리의 결과 사이의 상관 값을 계산하기 위해 수행되는, 블러가 없는 원적외선 화상을 필터링하는 프로세스에 적용되는 필터의 유효성에 기초한 신뢰도를 계산하고, 단계 S40의 블러 제거 프로세스 시에 필터 적용 레벨이 계산된 신뢰도에 따라 조정되는 구성.

2 종류의 신뢰도 계산 구성이 있다.

전술한 2 종류의 신뢰도 계산 프로세스를 수행하는 구성을 갖는 화상 처리 디바이스의 구성 예가 도 17 및 후속 도면들을 참조하여 순차적으로 설명될 것이다.

먼저, 신뢰도 계산 프로세스를 갖는 화상 처리 디바이스의 구성 및 프로세스, (1) 단계 S20의 블러 추정 프로세스 시에 수행되는, 블러가 있는 가시광선 화상과 블러가 없는 원적외선 화상에 대한 필터 처리의 결과 사이의 상관 값에 기초하여 신뢰도가 계산되고, 단계 S40의 블러 제거 프로세스 시에 필터 적용 레벨이 계산된 신뢰도에 따라서 조정되는 구성이 도 17을 참조하여 설명될 것이다.

도 17에 도시된 화상 처리 디바이스 AC1 또는 20-AC1는 블러 추정 유닛(30) 내에 신뢰도 계산 유닛(34a)을 포함하고, 블러 제거 유닛(40) 내에 역필터 보정 유닛(42)을 추가로 포함한다.

도 17에 도시된 화상 처리 디바이스 AC1 또는 20-AC1는 신뢰도 계산 유닛(34a) 및 역필터 보정 유닛(42)이 전술한 도 7에 도시된 화상 처리 디바이스 A 또는 20-A에 추가된 구성을 갖는다. 다른 나머지 구성은 도 7에 도시된 화상 처리 디바이스 A 또는 20-A의 구성과 동일하다.

신뢰도 계산 유닛(34a) 및 역필터 보정 유닛(42)에 의해 수행되는 프로세스들이 설명될 것이다.

신뢰도 계산 유닛(34a)은 블러 추정 유닛(30)의 상관 계산 유닛(32)에 의해 계산된 상관 값에 기초한 신뢰도, 즉, 블러가 있는 가시광선 화상과 블러가 없는 원적외선 화상의 필터 처리 결과 사이의 상관 값에 기초한 신뢰도를 계산한다.

신뢰도 계산 유닛(34a)은 계산된 상관 값 신뢰도를 블러 제거 유닛(40)의 역필터 보정 유닛(42)에 출력한다.

역필터 보정 유닛(42)은 신뢰도 계산 유닛(34a)으로부터의 입력된 상관 값 신뢰도에 따라 역필터 처리 유닛(41)에서 적용될 역필터의 강도를 조정한다.

예를 들어, 신뢰도 계산 유닛(34a)으로부터 입력된 상관 값 신뢰도가 높은 경우에, 역필터 처리 유닛(41)에 적용될 역필터의 강도를 약화시키지 않고 역필터 뱅크(45)로부터 취득된 역필터에서 설정된 계수가 변경없이 사용된다. 즉, 역필터 뱅크(45)로부터 취득된 역필터는 보정 전의 가시광선 화상(15)의 처리 대상 블록에 변경없이 적용된다.

반대로, 신뢰도 계산 유닛(34a)으로부터 입력된 상관 값 신뢰도가 낮은 경우에, 역필터 처리 유닛(41)에 적용될 역필터의 강도는 약화된다. 즉, 역필터 뱅크(45)로부터 취득된 역필터에서 설정된 계수는 역필터의 적용 효과를 감소시키도록 조정된다.

구체적으로, 예를 들어 신뢰도 계산 유닛(34a)에 의해 계산된 상관 값 신뢰도가 상관 값 신뢰도 α=1(높은 신뢰도) 내지 0(낮은 신뢰도)의 범위 내에서 설정되는 경우에, 역필터 보정 유닛(42)은 역필터 뱅크(45)로부터 취득된 역필터에서 설정된 계수를 신뢰도 α와 승산함으로써 보정 역필터를 생성하고, 보정 역 필터를 역필터 처리 유닛(41)에 출력한다.

역필터 처리 유닛(41)은 역필터 보정 유닛(42)으로부터 입력된 보정 역필터를 보정 전의 가시광선 화상(15)의 처리 대상 블록에 적용한다.

블러 추정 유닛(30)의 상관 계산 유닛(32)에서의 상관 계산은 블록 단위로 수행되고, 신뢰도 계산 유닛(34a)에서의 신뢰도 계산 프로세스, 역필터 보정 유닛(42)에서의 역필터 보정 프로세스, 및 역필터 처리 유닛(41)에서의 역필터 적용 프로세스도 블록 단위의 프로세스로서 수행된다는 점에 유의한다.

신뢰도 계산 유닛(34a)에 의해 수행되는 상관 값 신뢰도의 구체적인 계산 처리 예가 도 18을 참조하여 설명될 것이다.

도 18은 다음의 도면들을 도시한다.

(a1) 보정 전의 가시광선 화상;

(a2) 보정 전의 가시광선 화상의 상관 값 계산 블록;

(b1) 원적외선 화상;

(b2) 필터 적용 전의 원적외선 화상의 상관 값 계산 블록; 및

(b3) 필터 적용 후의 원적외선 화상의 상관 값 계산 블록.

입력 화상들은 다음 화상들이다:

(a1) 보정 전의 가시광선 화상; 및

(b1) 원적외선 화상.

(b2) 필터 적용이 블러 추정 유닛(30)의 필터 처리 유닛에 입력되기 전의 원적외선 화상의 상관 값 계산 블록이며 필터 뱅크(35)로부터 선택된 필터에 의해 필터 처리가 수행된다.

필터 결과는 (b3) 필터 적용 후의 원적외선 화상의 상관 값 계산 블록이다.

블러 추정 유닛(30)의 상관 계산 유닛(32)에서의 상관 계산의 상관 값 계산 대상들인 블록들은 다음의 2개의 블록들이다:

(a2) 보정 전의 가시광선 화상의 상관 값 계산 블록; 및

(b3) 필터 적용 후의 원적외선 화상의 상관 값 계산 블록.

도 18에 도시된 예에서, (a1) 보정 전의 가시광선 화상 또는 (a2) 보정 전의 가시광선 화상의 상관 값 계산 블록에 도시된 블록에는 수평으로 밝게 빛나는 화상이 나타난다.

반대로, 이러한 수평 화상은 (b1) 원적외선 화상, (b2) 필터 적용 전의 원적외선 화상의 상관 값 계산 블록, 및 (b3) 필터 적용 후의 원적외선 화상의 상관 값 계산 블록에서는 보이지 않는다.

이 현상은 수평으로 밝게 빛나는 피사체가 많은 열을 발산하지 않는 피사체일 경우에 발생하는 현상이다.

블러 추정 유닛(30)의 상관 계산 유닛(32)은 다음 2개의 블록의 상관 값을 계산한다:

(a2) 보정 전의 가시광선 화상의 상관 값 계산 블록; 및

(b3) 필터 적용 후의 원적외선 화상의 상관 값 계산 블록.

그러나, 이들 2개의 블록 간의 유사도가 낮기 때문에, 상관 값은 상당히 낮은 값이다.

이러한 방식으로, 블러 추정 유닛(30)의 상관 계산 유닛(32)에 의해 계산된 상관 값이 로우 값인 경우에, 신뢰도 계산 유닛(34a)은 상관 값 신뢰도를 낮은 값으로 설정한다.

예를 들어, 신뢰도 계산 유닛(34a)에 의해 계산된 상관 값 신뢰도가 상관 값 신뢰도 α=1(높은 신뢰도) 내지 0(낮은 신뢰도)의 범위 내에서 설정되는 경우에, 신뢰도 계산 유닛(34a)은 상관 값 신뢰도를 상관 값 신뢰도 α= 약 0 내지 0.1의 낮은 값으로 설정하고, 낮은 값을 역필터 보정 유닛(42)에 출력한다.

역필터 보정 유닛(42)은 역필터 뱅크(45)로부터 취득된 역필터에서 설정된 계수를 신뢰도 α와 승산함으로써 보정 역필터를 생성하고 보정 역필터를 역필터 처리 유닛(41)에 출력한다.

역필터 처리 유닛(41)은 역필터 보정 유닛(42)으로부터 입력된 보정 역필터를 보정 전의 가시광선 화상(15)의 처리 대상 블록에 적용한다.

그 결과, 신뢰도의 낮은 상관 값이 설정되는 블록에서의 역필터의 적용 효과는 낮게 억제된다.

대조적으로, 신뢰도의 높은 상관 값이 설정되는 블록에 대한 역필터의 적용 효과는 높게 설정된다.

이러한 방식으로, 실시예에서, 상관 계산 유닛(32)에서 계산된 상관 값의 신뢰도에 따른 역필터 적용 프로세스가 실현되고, 역필터의 적용 효과가 높은 상관 값을 갖는 블록에서 증가되고 역필터의 적용 효과가 낮은 상관 값 신뢰도를 갖는 블록에서 낮게 억제되는 프로세스를 수행하는 것이 가능하고, 상관 값 신뢰도에 따라 효과적인 블러 해결 프로세스를 수행하는 것이 가능하다.

다음으로, (2) 단계 S20의 블러 추정 프로세스 시에 수행되는 블러가 있는 가시광선 화상과 블러가 없는 원적외선 화상에 대한 필터 처리의 결과 사이의 상관 값을 계산하기 위해 수행되는 블러가 없는 원적외선 화상을 필터링하는 프로세스에 적용되는 필터의 유효성에 기초한 신뢰도가 계산되고, 단계 S40의 블러 제거 프로세스 시의 필터 적용 레벨이 계산된 신뢰도에 따라서 조정되는 구성, 신뢰도 계산 구성을 갖는 화상 처리 디바이스의 구성 및 프로세스에 대해서, 도 19를 참조하여 설명할 것이다.

도 19에 도시된 화상 처리 디바이스 AC2 또는 20-AC2는 블러 추정 유닛(30) 내에 신뢰도 계산 유닛(34b)을 포함하고 또한 블러 제거 유닛(40) 내에 역필터 보정 유닛(42)을 포함한다.

도 19에 도시된 화상 처리 디바이스 AC2 또는 20-AC2는 신뢰도 계산 유닛(34b) 및 역필터 보정 유닛(42)이 전술한 도 7에 도시된 화상 처리 디바이스 A 또는 20-A에 추가된 구성을 갖는다. 다른 나머지 구성은 도 7에 도시된 화상 처리 디바이스 A 또는 20-A의 구성과 동일하다.

신뢰도 계산 유닛(34b) 및 역필터 보정 유닛(42)에 의해 수행되는 프로세스들이 설명될 것이다.

신뢰도 계산 유닛(34b)은 블러 추정 유닛(30)의 상관 계산 유닛(32)에서의 상관 계산 프로세스에 사용되는 필터 처리 후의 원적외선 화상에 적용되는 필터의 유효성에 기초하여 신뢰도를 계산한다.

신뢰도 계산 유닛(34b)은 계산된 필터 유효성 신뢰도를 블러 제거 유닛(40)의 역필터 보정 유닛(42)에 출력한다.

역필터 보정 유닛(42)은 신뢰도 계산 유닛(34b)으로부터 입력된 필터 유효성 신뢰도에 따라 역필터 처리 유닛(41)에 적용될 역필터의 강도를 조정한다.

예를 들어, 신뢰도 계산 유닛(34b)으로부터 입력된 필터 유효성 신뢰도가 높은 경우에, 역필터 처리 유닛(41)에 적용될 역필터의 강도를 약화시키지 않고 역필터 뱅크(45)로부터 취득된 역필터에서 설정된 계수가 변경없이 사용된다. 즉, 역필터 뱅크(45)로부터 취득된 역필터는 보정 전의 가시광선 화상(15)의 처리 대상 블록에 변경없이 적용된다.

반대로, 신뢰도 계산 유닛(34b)으로부터 입력된 필터 유효성 신뢰도가 낮은 경우에, 역필터 처리 유닛(41)에 적용될 역필터의 강도는 약화된다. 즉, 역필터 뱅크(45)로부터 취득된 역필터에서 설정된 계수는 역필터의 적용 효과를 감소시키도록 조정된다.

구체적으로, 예를 들어, 신뢰도 계산 유닛(34b)에 의해 계산된 필터 유효성 신뢰도가 필터 유효성 신뢰도 α=1(높은 신뢰도) 내지 0(낮은 신뢰도)의 범위 내에서 설정되는 경우에, 역필터 보정 유닛(42)은 역필터 뱅크(45)로부터 취득된 역필터에서 설정된 계수를 신뢰도 α와 승산함으로써 보정 역필터를 생성하고, 보정 역 필터를 역필터 처리 유닛(41)에 출력한다.

역필터 처리 유닛(41)은 역필터 보정 유닛(42)으로부터 입력된 보정 역필터를 보정 전의 가시광선 화상(15)의 처리 대상 블록에 적용한다.

블러 추정 유닛(30)의 상관 계산 유닛(32)에서의 상관 계산은 블록 단위로 수행되고, 신뢰도 계산 유닛(34b)에서의 신뢰도 계산 프로세스, 역필터 보정 유닛(42)에서의 역필터 보정 프로세스, 및 역필터 처리 유닛(41)에서의 역필터 적용 프로세스도 블록 단위의 프로세스로서 수행된다는 점에 유의한다.

신뢰도 계산 유닛(34b)에 의해 수행되는 상관 값 신뢰도의 구체적인 계산 처리 예가 도 20을 참조하여 설명될 것이다.

도 20은 다음의 도면들을 도시한다.

(a1) 보정 전의 가시광선 화상;

(a2) 보정 전의 가시광선 화상의 상관 값 계산 블록;

(b1) 원적외선 화상;

(b2) 필터 적용 전의 원적외선 화상의 상관 값 계산 블록;

(b3) 필터 적용 후의 원적외선 화상의 상관 값 계산 블록; 및

(b4) 최대 상관 값을 갖는 필터 적용 후의 원적외선 화상의 상관 값 계산 블록.

입력 화상들은 다음 화상들이다:

(a1) 보정 전의 가시광선 화상; 및

(b1) 원적외선 화상.

(b2) 필터 적용이 블러 추정 유닛(30)의 필터 처리 유닛에 입력되기 전의 원적외선 화상의 상관 값 계산 블록이며 필터 뱅크(35)로부터 선택된 필터에 의해 필터 처리가 수행된다.

필터 결과는 (b3) 필터 적용 후의 원적외선 화상의 상관 값 계산 블록이다.

블러 추정 유닛(30)의 상관 계산 유닛(32)에서의 상관 계산의 상관 값 계산 대상들인 블록들은 다음의 2개의 블록들이다:

(a2) 보정 전의 가시광선 화상의 상관 값 계산 블록; 및

(b3) 필터 적용 후의 원적외선 화상의 상관 값 계산 블록.

블러 추정 유닛(30)의 상관 계산 유닛(32)에서의 상관 계산을 통한 상관 값 계산 프로세스의 결과로서 최대 상관 값을 갖는 필터 적용 후의 원적외선 화상의 상관 값 계산 블록으로서 선택된 블록은:

(b4) 최대 상관 값을 갖는 필터 적용 후의 원적외선 화상의 상관 값 계산 블록이다.

도 20에 도시된 예에서, 블러 추정 유닛(30)의 상관 계산 유닛(32)에서의 상관 계산을 통한 상관 값 계산 프로세스의 처리 대상 블록은 (a1) 보정 전의 가시광선 화상에 도시된 블록에 도시된 바와 같이, 표시자이다. 이 표시자는 X 마크의 패턴으로 페인팅되고, 열 생성 부분은 표시자의 중간에 추가로 설정된다.

이러한 경우, (b1) 원적외선 화상 또는 (b2) 필터 적용 전의 원적외선 화상의 상관 값 계산 블록에서, 표시자의 중간의 열 생성 부분의 영역은 둥근 화상으로서 출력되지만, X 마크의 형상은 결과적으로 출력되지 않는다.

블러 추정 유닛(30)의 필터 처리 유닛(31)에서, 필터 뱅크(35)에 저장된 필터들은 (b2) 필터 적용 전의 원적외선 화상의 상관 값 계산 블록에 순차적으로 적용되고 상관 계산 유닛(32)에 출력된다.

상관 계산 유닛(32)은 다음의 2개의 블록들의 상관 값을 계산한다:

(a2) 보정 전의 가시광선 화상의 상관 값 계산 블록; 및

다양한 필터들을 적용함으로써 결과적으로 획득된 (b3) 필터 적용 후의 원적외선 화상의 상관 값 계산 블록.

다음으로, 최대 상관 값을 갖는 (b3) 필터 적용 후의 원적외선 화상의 상관 값 계산 블록이 선택되고 상관 값이 계산된다.

선택 결과는 도면에 도시된 바와 같이:

(b4) 최대 상관 값을 갖는 필터 적용 후의 원적외선 화상의 상관 값 계산 블록이다.

(b4) 최대 상관 값을 갖는 필터 적용 후의 원적외선 화상의 상관 값 계산 블록을 생성하는데 적용되는 필터는 도 20에 도시된 필터 F1이다.

신뢰도 계산 유닛(34b)은 (b4) 최대 상관 값을 갖는 필터 적용 후의 원적외선 화상의 상관 값 계산 블록을 생성하는데 적용된 필터 F1의 유효성에 기초하여 신뢰도를 계산한다.

필터 F1은 2개의 방향의 직각에 교차하는 라인들로 흐르는 블러를 생성하는 필터이고, 피사체의 자연스러운 움직임 또는 카메라의 자연스러운 움직임으로부터 있을 수 없는 블러의 형태이다.

통상적으로, 피사체 또는 카메라의 움직임이 하나의 라인을 따른 움직임이기 때문에, 라인을 따라 블러가 생성된다.

이것으로부터, 도 20에 도시된 필터 F1은 정상적인 것으로 가정되는 블러를 생성하는 필터로서의 신뢰도가 낮다고 결정된다.

이러한 방식으로, 신뢰도 계산 유닛(34b)은 예를 들어, 도 20에 도시된 복수의 라인들의 라인들을 갖는 필터가 최대 계산값 계산 블록에 적용되는 경우에, 필터의 신뢰도가 낮다고 결정한다.

반대로, 신뢰도 계산 유닛(34b)은 예를 들어, 한 방향의 라인을 갖는 필터가 최대 계산값 계산 블록에 적용되는 경우에, 필터의 신뢰도가 높다고 결정한다.

예를 들어, 신뢰도 계산 유닛(34b)에 의해 계산된 필터 유효성 신뢰도가 필터 유효성 신뢰도 α=1(높은 신뢰도) 내지 0(낮은 신뢰도)의 범위내에서 설정되는 경우 및 도 20에 도시된 복수의 방향의 라인들을 갖는 필터가 최대 상관 값 계산 블록에 적용되는 경우에, 신뢰도 계산 유닛(34b)은 필터 유효성 신뢰도를 필터 유효성 신뢰도 α= 약 0.1 내지 0.1의 낮은 값으로 설정하고 로우 값을 역필터 보정 유닛(42)에 출력한다.

역필터 보정 유닛(42)은 역필터 뱅크(45)로부터 취득된 역필터에서 설정된 계수를 신뢰도 α와 승산함으로써 보정 역필터를 생성하고 보정 역필터를 역필터 처리 유닛(41)에 출력한다.

역필터 처리 유닛(41)은 역필터 보정 유닛(42)으로부터 입력된 보정 역필터를 보정 전의 가시광선 화상(15)의 처리 대상 블록에 적용한다.

그 결과, 필터 유효성 신뢰도가 낮은 블록에서의 역필터의 적용 효과는 낮게 억제된다.

대조적으로, 필터 유효성 신뢰도가 높은 블록에 대한 역필터의 적용 효과는 높게 설정된다.

이러한 방식으로, 실시예에서, 원적외선 화상에 적용되는 필터 유효성 신뢰도에 따른 역필터 적용 프로세스가 실현되고, 역필터의 적용 효과가 높은 필터 유효성을 갖는 블록에서 증가되고 역필터의 적용 효과가 낮은 필터 유효성 신뢰도를 갖는 블록에서 낮게 억제되는 프로세스를 수행하는 것이 가능하고, 필터 유효성 신뢰도에 따라 효과적인 블러 해결 프로세스를 수행하는 것이 가능하다.

다음으로, 도 17 내지 도 20을 참조하여 설명된 실시예 3, 즉, 구성 (A+C)에서의 블러 추정 결과의 신뢰도를 계산하고 신뢰도에 따른 블러 제거 프로세스를 수행하는 화상 처리 디바이스에서의 프로세스 시퀀스에 대해서 도 21을 참조하여 설명될 것이다.

도 21에 도시된 흐름도는 도 8을 참조하여 전술한 도 7의 "(A) 기본 구성 예"에 대응하는 화상 처리 디바이스에 의해 수행되는 프로세스 흐름의 단계들 S101 내지 S114의 프로세스들에 단계들 S109b 및 S112b의 프로세스들이 추가된 흐름도이다.

추가된 프로세스들인 단계들 S109b 및 S112b 이외의 프로세스들은 도 8을 참조하여 설명한 흐름의 단계들 S101 내지 S114의 프로세스들과 동일하기 때문에, 그 설명을 생략할 것이다. 추가된 프로세스들인 단계들 S109b 및 S112b의 프로세스들만이 설명될 것이다.

(단계 S109b)

단계 S109는 상관 값 또는 필터 유효성에 기초하여 블러 추정 유닛(30)에 의해 수행되는 블러 추정 결과의 신뢰도를 계산하는 프로세스이다.

단계 S109b의 프로세스는 도 17 및 도 18을 참조하여 설명된 블러 추정 유닛(30)의 신뢰도 계산 유닛(34a) 또는 도 19 및 도 20을 참조하여 설명된 블러 추정 유닛(30)의 신뢰도 계산 유닛(34b)에 의해 수행되는 프로세스이다.

도 17에 도시된 화상 처리 디바이스 AC1 또는 20-AC1를 사용한 구성에서, 신뢰도 계산 유닛(34a)은 블러 추정 유닛(30)의 상관 계산 유닛(32)에 의해 계산된 상관 값, 즉 블러가 있는 가시광선 화상과 블러가 없는 원적외선 화상의 필터 처리 결과 사이의 상관 값에 기초하여 신뢰도를 계산한다.

먼저, 도 18을 참조하여 설명된 바와 같이, 블러 추정 유닛(30)의 상관 계산 유닛(32)은 예를 들어, 도 18에 도시된 2개의 블록, 즉 다음의 2개의 블록의 상관 값을 계산한다:

(a2) 보정 전의 가시광선 화상의 상관 값 계산 블록; 및

(b3) 필터 적용 후의 원적외선 화상의 상관 값 계산 블록.

도 18에 도시된 예에서는, 2개의 블록의 유사도가 낮기 때문에, 상관 값은 상당히 낮은 값이다.

이러한 방식으로, 블러 추정 유닛(30)의 상관 계산 유닛(32)에 의해 계산된 상관 값이 로우 값인 경우에, 신뢰도 계산 유닛(34a)은 상관 값 신뢰도를 낮은 값으로 설정한다.

예를 들어, 신뢰도 계산 유닛(34a)에 의해 계산된 상관 값 신뢰도가 상관 값 신뢰도 α=1(높은 신뢰도) 내지 0(낮은 신뢰도)의 범위 내에서 설정되는 경우에, 신뢰도 계산 유닛(34a)은 상관 값 신뢰도를 상관 값 신뢰도 α= 약 0 내지 0.1의 낮은 값으로 설정하고, 낮은 값을 역필터 보정 유닛(42)에 출력한다.

대조적으로, 2개의 블록의 유사도가 높은 경우에, 상관 값은 높은 값이다. 다음으로, 신뢰도 계산 유닛(34a)은 상관 값 신뢰도를 높은 값으로 설정하고, 높은 값을 역필터 보정 유닛(42)에 출력한다.

이러한 방식으로, 도 17에 도시된 화상 처리 디바이스 AC1 또는 20-AC1를 사용한 구성에서, 신뢰도 계산 유닛(34a)은 블러 추정 유닛(30)의 상관 계산 유닛(32)에 의해 계산된 상관 값, 즉 블러가 있는 가시광선 화상과 블러가 없는 원적외선 화상의 필터 처리 결과 사이의 상관 값에 기초하여 신뢰도를 계산한다.

신뢰도 계산 프로세스는 흐름의 루프 1에서 수행되는 프로세스이고, 블록 단위로 반복적으로 수행된다는 점에 유의한다.

즉, 신뢰도 계산 유닛(34a)은 블러 추정 유닛(30)의 상관 계산 유닛(32)에 의해 계산된 블록 단위의 상관 값, 즉, 블러가 없는 원적외선 화상의 필터 처리 결과와 블러가 있는 가시광선 화상 사이의 블록 단위의 상관 값에 기초하여 블록 단위의 상관 값 신뢰도를 계산한다.

다음으로, 도 19에 도시된 화상 처리 디바이스 AC2 또는 20-AC2가 사용되는 구성의 경우에서의 단계 S109b의 프로세스에 대해서 설명할 것이다.

도 19에 도시된 화상 처리 디바이스 AC2 또는 20-AC2를 사용한 구성에서, 신뢰도 계산 유닛(34b)은 블러 추정 유닛(30)의 상관 계산 유닛(32)에서의 상관 계산 프로세스에 사용된 필터 적용 후의 원적외선 화상에 적용되는 필터의 유효성에 기초하여 신뢰도를 계산한다.

도 20을 참조하여 전술한 바와 같이, 신뢰도 계산 유닛(34b)은 도 20에 도시된 바와 같이, "(b4) 최대 상관 값을 갖는 필터 적용 후의 원적외선 화상의 상관 값 계산 블록"을 생성하는데 적용된 필터 F1의 유효성에 기초하여 신뢰도를 계산한다.

예를 들어, 도 20에 도시된 복수의 방향들의 라인들을 따라 블러를 생성하는 필터가 최대 상관 값 계산 블록에 적용되는 경우에, 필터의 신뢰도는 낮은 것으로 결정된다.

반대로, 한 방향의 라인을 따라 블러를 생성하는 필터가 최대 계산 값 계산 블록에 적용되는 경우, 필터의 신뢰도는 높은 것으로 결정된다.

이러한 방식으로, 신뢰도 계산 유닛(34b)은 블러 추정 유닛(30)의 상관 계산 유닛(32)에서의 상관 계산 프로세스에 사용된 필터 프로세스 후의 원적외선 화상에 적용되는 필터의 유효성에 기초하여 신뢰도를 계산한다.

예를 들어, 신뢰도 계산 유닛(34b)에 의해 계산된 필터 유효성 신뢰도가 필터 유효성 신뢰도 α=1(높은 신뢰도) 내지 0(낮은 신뢰도)의 범위내에서 설정되는 경우 및 도 20에 도시된 복수의 방향의 라인들을 갖는 필터가 최대 상관 값 계산 블록에 적용되는 경우에, 신뢰도 계산 유닛(34b)은 필터 유효성 신뢰도를 필터 유효성 신뢰도 α= 약 0.1 내지 0.1의 낮은 값으로 설정하고 로우 값을 역필터 보정 유닛(42)에 출력한다.

대조적으로, 예를 들어, 한 방향의 라인을 갖는 필터가 최대 상관 값 계산 블록에 적용되는 경우, 신뢰도 계산 유닛(34b)은 필터 유효성 신뢰도를 높은 값으로 설정하고 높은 값을 역필터 보정 유닛(42)에 출력한다.

이러한 방식으로, 도 19에 도시된 화상 처리 디바이스 AC2 또는 20-AC2를 사용한 구성에서, 신뢰도 계산 유닛(34b)은 블러 추정 유닛(30)의 상관 계산 유닛(32)에서의 상관 계산 프로세스에 사용된 필터 적용 후의 원적외선 화상에 적용되는 필터의 유효성에 기초하여 신뢰도를 계산한다.

신뢰도 계산 프로세스는 흐름의 루프 1에서 수행되는 프로세스이고, 블록 단위로 반복적으로 수행된다는 점에 유의한다.

(단계 S112b)

다음으로, 도 21에 도시된 흐름의 하나의 추가된 단계의 프로세스인 단계 S112b의 프로세스가 설명될 것이다.

단계 S112b는 도 17 및 도 19에 도시된 블러 제거 유닛(40)의 역필터 보정 유닛(42)에서 수행되는 프로세스이다.

도 17에 예시된 구성에서, 역필터 보정 유닛(42)은 신뢰도 계산 유닛(34a)으로부터 입력된 블러 추정 결과 신뢰도인 상관 값 신뢰도에 따라 역필터 처리 유닛(41)에서 적용될 역필터의 강도를 조정한다.

또한, 도 19에 도시된 구성에서, 역필터 보정 유닛(42)은 신뢰도 계산 유닛(34b)으로부터 입력된 블러 추정 결과 신뢰도인 필터 유효성 신뢰도에 따라 역필터 처리 유닛(41)에 적용될 역필터의 강도를 조정한다.

예를 들어, 신뢰도 계산 유닛(34a) 또는 신뢰도 계산 유닛(34b)으로부터 입력된 블러 추정 결과 신뢰도인 상관 값 신뢰도 또는 필터 유효성 신뢰도가 높은 경우에, 역필터 처리 유닛(41)에 적용될 역필터의 강도없이 역필터 뱅크(45)로부터 취득된 역필터에서 설정된 계수가 변경없이 사용된다. 즉, 역필터 뱅크(45)로부터 취득된 역필터는 변경없이 보정 전의 가시광선 화상(15)의 처리 대상 블록에 적용된다.

반대로, 신뢰도 계산 유닛(34a) 또는 신뢰도 계산 유닛(34b)으로부터 입력된 블러 추정 결과 신뢰도인 상관 값 신뢰도 또는 필터 유효성 신뢰도가 낮은 경우에, 역필터 처리 유닛(41)에 적용될 역필터의 강도는 약화된다. 즉, 역필터 뱅크(45)로부터 취득된 역필터에서 설정된 계수는 역필터의 적용 효과를 감소시키도록 조정된다.

이러한 방식으로, "(실시예 3) (A+C) 블러 추정 결과의 신뢰도를 계산하고 신뢰도에 따른 블러 제거 프로세스를 수행하는 화상 처리 디바이스"는 블러 추정 결과의 신뢰도로서 다음의 신뢰도들 중 임의의 하나를 계산하고 블러 추정 결과의 신뢰도에 따라 역필터의 적용 효과를 조정하는 프로세스를 수행한다:

상관 계산 유닛(32)에 의해 계산된 상관 값 신뢰도; 및

원적외선 화상에 적용되는 필터의 유효성 신뢰도.

블러 추정 결과의 높은 신뢰도를 갖는 블록에서 역필터의 적용 효과가 증가되고, 블러 추정 결과의 낮은 신뢰도를 갖는 블록에서 역필터의 적용 효과가 낮게 억제되고, 블러 추정 결과의 신뢰도에 따라 최적 블러 제거 프로세스를 수행하는 것이 가능한 프로세스를 수행하는 것이 가능하다.

(6. (실시예 4) 기본 구성 (A) + 전처리 (B) + 신뢰도에 따른 블러 제거 프로세스들 (C) 모두를 실현하는 화상 처리 디바이스의 프로세스)

다음으로, 본 개시내용의 실시예에 따른 화상 처리 디바이스의 실시예 4로서, 기본 구성 (A) + 전처리 (B) + 신뢰도에 따른 블러 제거 프로세스 (C) 모두를 실현하는 화상 처리 디바이스의 프로세스가 설명될 것이다.

실시예 4는 도 4를 참조하여 전술한 구성 (A+B+C), 즉 "(B) 블러 추정 전의 전처리" 및 "(C) 블러 추정 결과의 신뢰도를 계산함으로써 신뢰도에 따른 블러 제거 프로세스"의 양쪽 프로세스가 기본 구성 (A)의 프로세스에 추가하여 수행되는 구성 예이다.

화상 처리 디바이스의 구성은 예를 들어, 실시예 2로서 전술한 "(B) 블러 추정 전의 전처리"를 수행하기 위한 구성 (A+B)에 대응하는 화상 처리 디바이스의 도 9, 도 11, 도 13, 및 도 14의 구성들 중 어느 하나 및 실시예 3으로서 전술한 "(C) 블러 추정 결과의 신뢰도를 계산함으로써 신뢰도에 따른 블러 제거 프로세스"를 수행하기 위한 구성 (A+C)에 대응하는 화상 처리 디바이스의 도 17 및 도 19의 구성들 중 어느 하나의 조합 구성이다.

프로세스 흐름은 실시예 2로서 전술한 "(B) 블러 추정 전의 전처리"를 수행하기 위한 프로세스 흐름들인 도 15 및 도 16 에 도시된 프로세스 흐름들 중 어느 하나 및 실시예 3으로서 전술한 "(C) 블러 추정 결과의 신뢰도를 계산함으로써 신뢰도에 따른 블러 제거 프로세스"를 수행하기 위한 프로세스 흐름인 도 21에 도시된 프로세스 흐름의 조합 흐름이다.

실시예 4의 프로세스 시퀀스를 설명하기 위한 흐름도들이 도 22 및 도 23에 도시되어 있다.

도 22에 도시된 흐름도는 실시예 2로서 전술한 "(B) 블러 추정 전의 전처리"를 수행하기 위한 프로세스 흐름인 도 15에 도시된 프로세스 흐름 및 실시예 3으로서 전술한 "(C) 블러 추정 결과의 신뢰도를 계산함으로써 신뢰도에 따른 블러 제거 프로세스"를 수행하기 위한 프로세스 흐름인 도 21에 도시된 프로세스 흐름의 조합 흐름이다.

도 22에 도시된 흐름은 도 8을 참조하여 전술한 도 7의 "(A) 기본 구성 예"에 대응하는 화상 처리 디바이스에 의해 수행되는 프로세스 흐름의 단계 S101 내지 S114의 프로세스들에 다음의 프로세스들이 추가된 흐름이다:

(추가된 프로세스 1) 도 15를 참조하여 설명된 "(B) 블러 추정 전의 전처리"를 수행하기 위한 (A+B) 구성을 갖는 화상 처리 디바이스에 의해 수행되는 프로세스 단계들인 단계들 S101b 및 S102b의 프로세스들; 및

(추가된 프로세스 2) 도 21을 참조하여 설명된 "(C) 블러 추정 결과의 신뢰도를 계산함으로써 신뢰도에 따른 블러 제거 프로세스"를 수행하기 위한 (A+C) 구성을 갖는 화상 처리 디바이스에 의해 수행되는 프로세스 단계들인 단계들 S109b 및 S112b의 프로세스들.

각각의 단계의 구체적인 프로세스가 위에서 설명되었기 때문에, 그 설명은 생략될 것이다.

또한, 도 23에 도시된 흐름도는 실시예 2로서 전술한 "(B) 블러 추정 전의 전처리"를 수행하기 위한 프로세스 흐름인 도 16에 도시된 프로세스 흐름 및 실시예 3으로서 전술한 "(C) 블러 추정 결과의 신뢰도를 계산함으로써 신뢰도에 따른 블러 제거 프로세스"를 수행하기 위한 프로세스 흐름인 도 21에 도시된 프로세스 흐름의 조합 흐름이다.

도 23에 도시된 흐름은 도 8을 참조하여 전술한 도 7의 "(A) 기본 구성 예"에 대응하는 화상 처리 디바이스에 의해 수행되는 프로세스 흐름의 단계 S101 내지 S114의 프로세스들에 다음의 프로세스들이 추가된 흐름이다:

(추가된 프로세스 1) 도 16을 참조하여 설명된 "(B) 블러 추정 전의 전처리"를 수행하기 위한 (A+B) 구성을 갖는 화상 처리 디바이스에 의해 수행되는 프로세스 단계들인 단계들 S101c 및 S102c의 프로세스들; 및

(추가된 프로세스 2) 도 21을 참조하여 설명된 "(C) 블러 추정 결과의 신뢰도를 계산함으로써 신뢰도에 따른 블러 제거 프로세스"를 수행하기 위한 (A+C) 구성을 갖는 화상 처리 디바이스에 의해 수행되는 프로세스 단계들인 단계들 S109b 및 S112b의 프로세스들.

각각의 단계의 구체적인 프로세스가 위에서 설명되었기 때문에, 그 설명은 생략될 것이다.

실시예 4는 실시예 2에서의 전술한 블러 추정 전의 전처리 및 실시예 3에 따른 블러 추정 결과의 신뢰도를 계산함으로써 신뢰도에 따른 블러 제거 프로세스, 이들 2개의 프로세스가 함께 수행되는 구성이다.

전처리를 수행함으로써, 보정 전의 가시광선 화상(15)과 원적외선 화상(16) 사이의 가시성 차이가 완화되고, 의사 화소 값들에 의해 형성되는 화상에 기초한 상관 값 계산이 수행될 수 있고, 더 높은 정밀도를 갖는 상관 값 계산이 수행된다. 최종적으로 생성되는 보정 후의 가시광선 화상(17)의 블러 제거 효과가 추가로 개선된다.

또한, 블러 추정 결과의 신뢰도를 계산하고 신뢰도에 따라 블러 제거 프로세스를 수행함으로써, 블러 추정 결과의 신뢰도에 따른 최적 블러 제거 프로세스를 수행하는 것이 가능하다.

(7. 화상 처리 디바이스의 하드웨어 구성 예)

다음으로, 도 24를 참조하여, 화상 처리 디바이스의 하드웨어 구성 예에 대해서 설명할 것이다.

도 24는 본 개시내용의 실시예에 따른 프로세스를 수행하는 화상 처리 디바이스의 하드웨어 구성 예를 도시하는 도면이다.

중앙 처리 장치(CPU)(81)는 판독 전용 메모리(ROM)(82) 또는 저장 유닛(88)에 저장된 프로그램에 따라 다양한 프로세스들을 수행하는 제어 유닛 또는 데이터 처리 유닛으로서 기능한다. 예를 들어, 프로세스는 전술한 실시예에서 설명된 시퀀스에 따라 수행된다. 랜덤 액세스 메모리(RAM)(83)는 예를 들어, CPU(81)에 의해 실행될 데이터 또는 프로그램을 저장한다. CPU(81), ROM(82) 및 RAM(83)은 버스(84)에 의해 서로 접속된다.

CPU(81)는 버스(84)를 통해 입출력 인터페이스(85)에 접속된다. 가시광선 카메라, (원)적외선 카메라 등으로 형성된 촬상 유닛(95)에 의해 촬영된 화상을 입력하고 사용자 입력을 수행할 수 있는 다양한 스위치, 키보드, 마우스, 마이크로폰 등인 입력 유닛 (86)과 디스플레이 유닛(96), 스피커 등에 대한 데이터 출력을 수행하는 출력 유닛(87)이 입출력 인터페이스(85)에 접속된다. CPU(81)는 입력 유닛(86)으로부터 입력된 명령어들에 응답하여 다양한 프로세스들을 수행하고 처리 결과들을 예를 들어, 출력 유닛(87)에 출력한다.

입출력 인터페이스(85)에 접속된 저장 유닛(88)은 예를 들어, 하드 디스크로 형성되고, CPU(81)에 의해 실행될 다양한 종류의 데이터 및 프로그램을 저장한다. 통신 유닛(89)은 Wi-Fi 통신, 블루투스(등록 상표)(BT) 통신, 및 인터넷 또는 근거리 네트워크와 같은 네트워크를 통한 다른 데이터 통신을 위한 송수신 유닛으로서 기능하고 외부 디바이스와 통신한다.

입출력 인터페이스(85)에 접속된 드라이브(90)는 자기 디스크, 광 디스크, 광자기 디스크, 또는 메모리 카드와 같은 반도체 메모리와 같은 착탈식 매체(91)를 구동하고, 데이터 기록 또는 판독을 수행한다.

(8. 차량에 본 개시내용에 따른 화상 처리 디바이스를 포함하는 차량 제어 시스템의 구성 예)

다음으로, 전술한 본 개시내용에 따른 화상 처리 디바이스가 차량에 제공되는 차량 제어 시스템의 한 구성 예에 대해서 설명할 것이다.

도 25는 전술한 프로세스를 수행하는 화상 처리 디바이스를 포함하는 차량 제어 시스템(100)의 개략적 기능의 구성 예를 도시하는 블록도이다.

전술한 개시 내용에 따른 화상 처리 디바이스는 도 25에 도시된 차량 제어 시스템(100)의 검출 유닛(131)의 외부 정보 검출 유닛(141), 데이터 취득 유닛(102), 출력 제어 유닛(105), 및 출력 유닛(106)의 구성의 일부에 대응한다는 점에 유의한다.

전술한 본 개시내용에 따른 화상 처리 디바이스에 의해 수행되는 프로세스는 주로 도 25에 도시된 차량 제어 시스템(100)의 검출 유닛(131)의 외부 정보 검출 유닛(141)에 의해 수행된다.

도 25에 도시된 차량 제어 시스템(100)의 데이터 취득 유닛(102)은 가시광선 카메라 및 (원)적외선 카메라를 포함하고 외부 정보 검출 유닛(141)은 이 카메라에 의해 촬영된 화상의 입력을 수신하고 전술한 프로세스를 수행한다.

예를 들어, 처리 결과는 도 25에 도시된 차량 제어 시스템(100)의 출력 유닛(106)을 포함하는 디스플레이 유닛 상에 표시되고, 처리 결과는 사용자(드라이버)에 의해 확인된다는 점에 유의한다.

이하, 도 25에 도시된 차량 제어 시스템(100)의 구성이 설명될 것이다.

차량 제어 시스템(100)이 설치되는 차량이 다른 차량들과 구별되는 경우에, 차량은 자기 차(self-car) 또는 자기 차량(self-vehicle)이라고 지칭된다는 점에 유의한다.

차량 제어 시스템(100)은 입력 유닛(101), 데이터 취득 유닛(102), 통신 유닛(103), 차량내 디바이스(104), 출력 제어 유닛(105), 출력 유닛(106), 구동 시스템 제어 유닛(107), 구동 시스템(108), 보디 시스템 제어 유닛(109), 보디 시스템(110), 저장 유닛(111), 및 자동 운전 제어 유닛(112)을 포함한다. 입력 유닛(101), 데이터 취득 유닛(102), 통신 유닛(103), 출력 제어 유닛(105), 구동 시스템 제어 유닛(107), 보디 시스템 제어 유닛(109), 저장 유닛(111), 및 자동 운전 제어 유닛(112)은 서로 통신 네트워크(121)에 접속된다. 예를 들어, 통신 네트워크(121)는 CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network), 또는 FlexRay(등록 상표)와 같은 임의의 표준에 준거한 차량내 네트워크, 버스 등으로 형성된다. 차량 제어 시스템(100)의 각각의 유닛은 일부 경우에서 통신 네트워크(121)에 접속되지 않고 직접 접속된다는 점에 유의한다.

차량 제어 시스템(100)의 각각의 유닛이 통신 네트워크(121)를 통해 통신을 수행하는 경우에, 통신 네트워크(121)는 이하에서 설명되지 않을 것이라는 점에 유의한다. 예를 들어, 입력 유닛(101) 및 자동 운전 제어 유닛(112)이 통신 네트워크(121)를 통해 통신을 수행하는 경우에, 입력 유닛(101) 및 자동 운전 제어 유닛(112)이 통신을 수행한다고 간단히 설명된다.

입력 유닛(101)은 승객이 다양한 종류의 데이터, 명령어들 등을 입력하는데 사용되는 디바이스를 포함한다. 예를 들어, 입력 유닛(101)은 터치 패널, 버튼, 마이크로폰, 스위치, 및 레버와 같은 조작 디바이스와, 사운드, 제스처 등에 의한 수동 조작 이외의 방법에 따른 입력을 수행할 수 있는 조작 디바이스를 포함한다. 또한, 예를 들어, 입력 유닛(101)은 적외선 또는 다른 전파들을 사용하는 원격 제어 디바이스 또는 차량 제어 시스템(100)에 대한 조작에 대응하는 모바일 디바이스 또는 착용가능 디바이스와 같은 외부 접속 디바이스일 수 있다. 입력 유닛(101)은 승객에 의해 입력된 데이터, 명령어 등에 기초하여 입력 신호를 생성하고 입력 신호를 차량 제어 시스템(100)의 각각의 유닛에 공급한다.

데이터 취득 유닛(102)은 차량 제어 시스템(100)의 프로세스에 사용될 데이터를 취득하는 다양한 센서들을 포함하고 획득된 데이터를 차량 제어 시스템(100)의 각각의 유닛에 공급한다.

예를 들어, 데이터 취득 유닛(102)은 자기 차의 상태 등을 검출하는 다양한 센서들을 포함한다. 구체적으로, 예를 들어, 데이터 취득 유닛(102)은 자이로 센서, 가속도 센서, IMU(inertial measurement unit), 및 가속기 페달의 조작 양, 브레이크 페달의 조작 양, 스티어링 휠의 스티어링 각도, 엔진의 회전수, 모터의 회전수, 휠의 회전 속도 등을 검출하는 센서를 포함한다.

또한, 예를 들어, 데이터 취득 유닛(102)은 자기 차의 외부 정보를 검출하는 다양한 센서들을 포함한다. 구체적으로, 예를 들어, 데이터 취득 유닛(102)은 ToF(time of flight) 카메라, 가시광선 카메라, 스테레오 카메라, 단안 카메라, (원)적외선 카메라, 및 다른 카메라들과 같은 촬상 디바이스를 포함한다. 또한, 예를 들어, 데이터 취득 유닛(102)은 날씨, 기상 등을 검출하는 환경 센서 및 자기 차 주위의 물체를 검출하는 주변 정보 검출 센서를 포함한다. 환경 센서는 예를 들어, 빗방울 센서, 안개 센서, 일조 센서, 또는 눈 센서로 형성된다. 주변 정보 검출 센서는 예를 들어, 초음파 센서, 레이더, LiDAR(light detection and ranging or laser imaging detection and ranging), 또는 소나(sonar)로 형성된다.

또한, 예를 들면, 데이터 취득 유닛(102)은 자기 차의 현재 위치를 검출하는 다양한 센서들을 포함한다. 구체적으로, 예를 들어, 데이터 취득 유닛(102)은 GNSS 위성으로부터 GNSS 신호를 수신하는 GNSS(Global Navigation Satellite System) 수신기 등을 포함한다.

또한, 예를 들어, 데이터 취득 유닛(102)은 자동차 내부의 정보를 검출하는 다양한 센서들을 포함한다. 구체적으로, 예를 들어, 데이터 취득 유닛(102)은 운전자를 촬상하는 촬상 디바이스, 운전자의 생체 정보를 검출하는 생체 센서, 및 자동차 내부의 사운드를 수집하는 마이크로폰을 포함한다. 생체 센서는 예를 들어, 시트면 또는 스티어링 휠에 설치되고, 시트에 앉아 있는 승객 또는 스티어링 휠을 잡고 있는 운전자의 생체 정보를 검출한다.

통신 유닛(103)은 차내 디바이스(104) 및 차밖의 다양한 디바이스들, 서버, 기지국 등과의 통신을 수행하고 차량 제어 시스템(100)의 각각의 유닛으로부터 공급되는 데이터를 전송하거나, 수신된 데이터를 차량 제어 시스템(100)의 각각의 유닛에 공급한다. 통신 유닛(103)에 의해 지원되는 통신 프로토콜은 특별히 제한되지 않고 통신 유닛(103)은 또한 복수 종류의 통신 프로토콜을 지원할 수 있다는 점에 유의한다.

예를 들어, 통신 유닛(103)은 무선 LAN, 블루투스(등록 상표), NFC(Near Field Communication), 무선 USB(WUSB) 등을 통해 차량내 디바이스(104)와 무선 통신을 수행한다. 또한, 예를 들어, 통신 유닛(103)은 접속 단자(도시되지 않음) (및 필요에 따라 케이블)를 통해 USB(Universal Serial Bus), HDMI(High-Definition Multimedia Interface: 등록 상표), MHL(Mobile High-definition Link) 등에 의해, 차량내 디바이스(104)와 유선 통신을 행한다.

또한, 예를 들어, 통신 유닛(103)은 기지국 또는 액세스 포인트를 통해 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크, 또는 서비스 제공자에 속하는 네트워크) 상에 있는 디바이스(예를 들어, 애플리케이션 서버 또는 제어 서버)와의 통신을 수행한다. 또한, 예를 들어, 통신 유닛(103)은 P2P(Peer to Peer) 기술을 사용하여 자기 차 근처에 있는 단말기(예를 들어, 보행자 또는 저장 단말기 또는 MTC(machine type communication) 단말기)와의 통신을 수행한다. 또한, 예를 들어, 통신 유닛(103)은 차량 대 차량 통신, 차량 대 인프라스트럭처 통신, 차량 대 홈 통신, 및 차량 대 보행자 통신과 같은 V2X 통신을 수행한다. 또한, 예를 들어, 통신 유닛(103)은 비컨 수신 유닛을 포함하고, 도로 상에 설치된 무선국 등으로부터 전송된 전파 또는 전자기파를 수신하고, 현재 위치, 정체, 교통 규제, 소요 시간 등과 같은 정보를 취득한다.

차량내 디바이스(104)는 예를 들어, 승객에 의해 운반되는 모바일 디바이스 또는 착용가능 디바이스, 자기 차에 반입되어 장착되는 정보 디바이스, 및 임의의 목적지까지의 경로 탐색을 수행하는 내비게이션 디바이스를 포함한다.

출력 제어 유닛(105)은 자기 차의 승객 또는 자동차 외부에 대한 다양한 종류의 정보의 출력을 제어한다. 예를 들어, 출력 제어 유닛(105)은 시각 정보(예를 들어, 화상 데이터)와 청각 정보(예를 들어, 사운드 데이터) 사이의 적어도 하나의 정보를 포함하는 출력 신호를 생성하고 출력 신호를 출력 유닛(106)에 공급함으로써 출력 유닛(106)으로부터의 시각 정보 및 청각 정보의 출력을 제어한다. 구체적으로, 예를 들어, 출력 제어 유닛(105)은 데이터 취득 유닛(102)으로부터 상이한 촬상 디바이스에 의해 촬상된 화상 데이터를 합성하고, 새의 눈 화상, 파노라마 화상 등을 생성하고, 생성된 화상을 포함하는 출력 신호를 출력 유닛(106)에 공급한다. 또한, 예를 들어, 출력 제어 유닛(105)은 충돌, 접촉, 또는 위험 영역에의 진입과 같은 위험에 대한 경고 사운드, 경고 메시지 등을 포함하는 사운드 데이터를 생성하고, 생성된 사운드 데이터를 포함하는 출력 신호를 출력 유닛(106)에 공급한다.

출력 유닛(106)은 자기 차의 승객 또는 자동차 외부의 시각 정보 또는 청각 정보를 출력할 수 있는 디바이스를 포함한다. 예를 들어, 출력 유닛(106)은 디스플레이 디바이스, 기기 패널, 오디오 스피커, 헤드폰, 승객이 착용한 안경 타입 디스플레이와 같은 착용가능 디바이스, 프로젝터, 및 램프를 포함한다. 출력 유닛(106)에 포함된 디스플레이 디바이스는 통상의 디스플레이를 포함하는 디바이스일 수 있으며, 예를 들어 헤드-업 디스플레이, 투과 디스플레이, 또는 증강 현실(AR) 디스플레이 기능을 갖는 디바이스와 같은 운전자의 시야 내에서 시각 정보를 표시하는 디바이스일 수 있다.

구동 시스템 제어 유닛(107)은 다양한 제어 신호들을 생성하고 제어 신호들을 구동 시스템(108)에 공급함으로써 구동 시스템(108)을 제어한다. 또한, 구동 시스템 제어 유닛(107)은 필요에 따라 구동 시스템(108) 이외의 각각의 유닛에 제어 신호를 공급하고, 구동 시스템(108)의 제어 상태의 통지 등을 수행한다.

구동 시스템(108)은 자기 차의 구동 시스템에 관련된 다양한 디바이스를 포함한다. 예를 들어, 구동 시스템(108)은 내연 기관, 구동 모터 등의 구동력을 발생시키는 구동력 발생 디바이스, 구동력을 휠들에 전송하는 구동력 전달 메커니즘, 타각(rudder angle)을 조정하는 스티어링 메커니즘, 제동력을 발생시키는 제동 디바이스, ABS(antilock brake system), ESC(electronic stability control), 및 전기 파워 스티어링 디바이스를 포함한다.

보디 시스템 제어 유닛(109)은 다양한 제어 신호들을 생성하고 제어 신호들을 보디 시스템(110)에 공급함으로써 보디 시스템(110)을 제어한다. 또한, 보디 시스템 제어 유닛(109)은 필요에 따라, 보디 시스템(110)이외의 각각의 유닛에 제어 신호를 공급하고, 보디 시스템(110)의 제어 상태의 통지 등을 수행한다.

보디 시스템(110)은 자동차 보디에 장착된 보디 시스템의 다양한 디바이스들을 포함한다. 예를 들어, 보디 시스템(110)은 키리스 엔트리 시스템(keyless entry system), 스마트 키 시스템, 파워 윈도우 디바이스, 파워 시트, 스티어링 휠, 공조 디바이스(air-conditioning device), 및 다양한 램프들(예를 들어, 헤드 램프, 백 램프, 브레이크 램프, 깜박이(blinker), 및 안개 램프)을 포함한다.

저장 유닛(111)은 예를 들어, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브(HDD)와 같은 자기 저장 디바이스, 반도체 저장 디바이스, 광학 저장 디바이스, 및 광자기 저장 디바이스를 포함한다. 저장 유닛(111)은 차량 제어 시스템(100)의 각각의 유닛에 의해 사용될 데이터, 다양한 프로그램 등을 저장한다. 예를 들어, 저장 디바이스(111)는 동적 맵과 같은 3차원 고정밀도 맵, 정밀도가 고정밀도 맵보다 낮고 넓은 영역을 커버하는 글로벌 맵, 및 자기 차의 주변 정보를 포함하는 로컬 맵과 같은 맵 데이터를 저장한다.

자동 운전 제어 유닛(112)은 자율 주행 또는 운전 지원과 같은 자동 운전에 관련된 제어를 수행한다. 구체적으로, 예를 들어, 자동 운전 제어 유닛(112)은 자기 차의 충돌 회피 또는 충격 완화, 차량간 거리에 기초한 추종 주행, 차량 속도 유지 주행, 자기 차의 충돌 경고, 또는 자기 차의 차선 일탈 경고를 포함하는 ADAS(advanced driver assistance system)의 기능을 실현하기 위한 협력 제어를 수행한다. 또한, 예를 들어, 자동 운전 제어 유닛(112)은 운전자의 조작에 관계없이 차량이 자율적으로 주행하는 자동 운전 등을 수행하기 위한 협력 제어를 수행한다. 자동 운전 제어 유닛(112)은 검출 유닛(131), 자기 위치 추정 유닛(132), 상황 분석 유닛(133), 계획 유닛(134), 및 동작 제어 유닛(135)을 포함한다.

검출 유닛(131)은 자동 운전의 제어에 필요한 다양한 종류의 정보를 검출한다. 검출 유닛(131)은 외부 정보 검출 유닛(141), 내부 정보 검출 유닛(142), 및 차량 상태 검출 유닛(143)을 포함한다.

외부 정보 검출 유닛(141)은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 자기 차의 외부 정보를 검출하는 프로세스를 수행한다. 예를 들어, 외부 정보 검출 유닛(141)은 자기 차 주위의 물체를 검출, 인식, 및 추적하는 프로세스와, 물체까지의 거리를 검출하는 프로세스를 수행한다. 검출 대상 피사체의 예들은 차량, 사람, 장애물, 구조물, 도로, 교통 신호등, 교통 표지판, 및 도로 표지판을 포함한다. 또한, 예를 들어, 외부 정보 검출 유닛(141)은 자기 차의 주변 환경을 검출하는 프로세스를 수행한다. 검출 대상 주변 환경의 예들은 날씨, 온도, 습도, 밝기, 및 노면 상태를 포함한다. 외부 정보 검출 유닛(141)은 검출 프로세스의 결과를 표시하는 데이터를 자기 위치 추정 유닛(132), 상황 분석 유닛(133)의 맵 분석 유닛(151), 교통 규칙 인식 유닛(152), 및 상황 인식 유닛(153), 및 동작 제어 유닛(135)의 긴급사태 회피 유닛(171)에 공급한다.

내부 정보 검출 유닛(142)은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 차량 내부의 정보를 검출하는 프로세스를 수행한다. 예를 들어, 내부 정보 검출 유닛(142)은 운전자를 인증하고 인식하는 프로세스, 운전자 상태를 검출하는 프로세스, 승객을 검출하는 프로세스, 및 차량 내부의 환경을 검출하는 프로세스를 수행한다. 검출 대상 운전자 상태의 예들은 상태, 각성도, 집중도, 피로도 및 시선 방향을 포함한다. 차량 내부의 검출 대상 환경의 예들은 온도, 습도, 밝기, 및 고약한 냄새를 포함한다. 내부 정보 검출 유닛(142)은 검출 결과의 결과를 표시하는 데이터를 상황 분석 유닛(133)의 상황 인식 유닛(153), 동작 제어 유닛(135)의 긴급사태 회피 유닛(171) 등에 공급한다.

차량 상태 검출 유닛(143)은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 자기 차 상태를 검출하는 프로세스를 수행한다. 검출 대상 자기 차 상태의 예들은 속도, 가속도, 타각, 이상의 유무 및 내용, 운전 조작 상태, 파워 시트의 위치 및 경사, 도어 락 상태, 및 다른 차량 디바이스 상태들을 포함한다. 차량 상태 검출 유닛(143)은 검출 프로세스의 결과를 표시하는 데이터를 상황 분석 유닛(133)의 상황 인식 유닛(153), 동작 제어 유닛(135)의 긴급사태 회피 유닛(171) 등에 공급한다.

자기 위치 추정 유닛(132)은 외부 정보 검출 유닛(141) 및 상황 분석 유닛(133)의 상황 인식 유닛(153)과 같은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 자기 차의 위치, 자세 등을 추정하는 프로세스를 수행한다. 또한, 자기 위치 추정 유닛(132)은 필요에 따라 자기 위치를 추정하는데 사용될 로컬 맵(이하, 자기 위치 추정 맵이라고 칭함)을 생성한다. 자기 위치 추정 맵은 예를 들어, SLAM(simultaneous localization and mapping)과 같은 기술을 사용한 고정밀도 맵으로서 고려된다. 자기 위치 추정 유닛(132)은 추정 프로세스의 결과를 표시하는 데이터를 상황 분석 유닛(133)의 맵 분석 유닛(151), 교통 규칙 인식 유닛(152), 및 상황 인식 유닛(153)에 공급한다. 또한, 자기 위치 추정 유닛(132)은 자기 위치 추정 맵을 저장 유닛(111)에 저장한다.

상황 분석 유닛(133)은 자기 차 및 주변 상황의 상황을 분석하는 프로세스를 수행한다. 상황 분석 유닛(133)은 맵 분석 유닛(151), 교통 규칙 인식 유닛(152), 상황 인식 유닛(153) 및 상황 예측 유닛(154)을 포함한다.

맵 분석 유닛(151)은 필요에 따라, 자기 위치 추정 유닛(132) 및 외부 정보 검출 유닛(141)과 같은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호를 사용하면서, 저장 유닛(111)에 저장된 다양한 맵들을 분석하는 프로세스를 수행함으로써 자동 운전 프로세스에 필요한 정보를 포함하는 맵을 구성한다. 맵 분석 유닛(151)은 구성된 맵을 교통 규칙 인식 유닛(152), 상황 인식 유닛(153), 상황 예측 유닛(154), 계획 유닛(134)의 루트 계획 유닛(161), 액션 계획 유닛(162), 및 동작 계획 유닛 (163) 등에 공급한다.

교통 규칙 인식 유닛(152)은 자기 위치 추정 유닛(132), 외부 정보 검출 유닛(141), 및 맵 분석 유닛(151)과 같은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 차기 차 주변의 교통 규칙을 인식하는 프로세스를 수행한다. 인식 프로세스를 통해, 예를 들어, 자기 차 주위의 신호의 위치 및 상태, 자기 차 주위의 교통 규제의 내용, 및 주행이 가능한 차선이 인식된다. 교통 규칙 인식 유닛(152)은 인식 프로세스의 결과를 표시하는 데이터를 상황 예측 유닛(154) 등에 공급한다.

상황 인식 유닛(153)은 자기 위치 추정 유닛(132), 외부 정보 검출 유닛(141), 내부 정보 검출 유닛(142), 차량 상태 검출 유닛(143), 및 맵 분석 유닛(151)과 같은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 자기 차에 관련된 상황을 인식하는 프로세스를 수행한다. 예를 들어, 상황 인식 유닛(153)은 자기 차의 상황, 자기 차 주위의 상황, 자기 차의 운전자의 상황 등을 인식하는 프로세스를 수행한다. 또한, 상황 인식 유닛(153)은 필요에 따라, 자기 차 주위의 상황을 인식하는데 사용될 로컬 맵(이하, 상황 인식 맵이라고 칭함)을 생성한다. 상황 인식 맵은 예를 들어, 점유 그리드 맵으로서 간주된다.

자기 차의 인식 대상 상황의 예들은 자기 차의 위치, 자세, 움직임(예를 들어, 속도, 가속도, 또는 이동 방향) 및 이상의 유무 및 내용을 포함한다. 자기 차 주위의 인식 대상 상황의 예들은 주위의 고정된 물체의 종류 및 위치, 주위의 이동체의 종류, 위치, 및 움직임(예를 들어, 속도, 가속도, 또는 이동 방향), 주위의 도로의 구성 및 표면 상태, 주위의 날씨, 온도, 습도, 및 밝기를 포함한다. 인식 대상 운전자 상태의 예들은 상태, 각성도, 집중도, 피로도, 시선의 움직임, 및 운전 조작을 포함한다.

상황 인식 유닛(153)은 인식 프로세스의 결과를 표시하는 데이터(필요에 따라, 상황 인식 맵을 포함함)를 자기 위치 추정 유닛(132), 상황 예측 유닛(154) 등에 공급한다. 또한, 상황 인식 유닛(153)은 상황 인식 맵을 저장 유닛(111)에 저장한다.

상황 예측 유닛(154)은 맵 분석 유닛(151), 교통 규칙 인식 유닛(152), 및 상황 인식 유닛(153)과 같은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 자기 차에 관련된 상황을 예측하는 프로세스를 수행한다. 예를 들어, 상황 예측 유닛(154)은 자기 차의 상황, 자기 차 주위의 상황, 운전자의 상황 등을 예측하는 프로세스를 수행한다.

자기 차의 예측 대상 상황의 예들은 자기 차의 거동, 이상의 발생, 및 주행가능 거리를 포함한다. 자기 차 주위의 예측 대상 상황의 예들은 자기 차 주위의 이동체의 거동, 신호 상태의 변화, 및 날씨와 같은 환경의 변화를 포함한다. 운전자의 예측 대상 상황의 예들은 운전자의 거동 및 상태를 포함한다.

상황 예측 유닛(154)은 예측 프로세스의 결과를 표시하는 데이터를 교통 규칙 인식 유닛(152) 및 상황 인식 유닛(153)으로부터의 데이터와 함께, 계획 유닛(134)의 루트 계획 유닛(161), 액션 계획 유닛 (162), 및 동작 계획 유닛(163)에 공급한다.

루트 계획 유닛(161)은 맵 분석 유닛(151) 및 상황 예측 유닛(154)과 같은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 목적지까지의 루트를 계획한다. 예를 들면, 경로 계획 유닛(161)은 글로벌 맵에 기초하여 현재 위치로부터 지정된 목적지까지의 경로를 설정한다. 또한, 예를 들어, 경로 계획 유닛(161)은, 정체, 사고, 교통 규제, 또는 공사 등의 상황, 또는 운전자의 상태 등에 기초하여 경로를 적절히 변경한다. 경로 계획 유닛(161)은 계획된 경로를 표시하는 데이터 등을 액션 계획 유닛(162)에 공급한다.

액션 계획 유닛(162)은 맵 분석 유닛(151) 및 상황 예측 유닛(154)과 같은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 경로 계획 유닛(161)에 의해 계획된 경로가 계획된 시간 내에서 자기 차가 안전하게 주행할 수 있도록 자기 차의 액션을 계획한다. 예를 들어, 액션 계획 유닛(162)은 출발, 정지, 주행 방향(예를 들어, 전방 이동, 후방 이동, 좌회전, 우회전, 및 방향 전환), 주행 차선, 주행 속도, 및 추월의 계획을 수행한다. 액션 계획 유닛(162)은 자기 차의 계획된 액션을 표시하는 데이터를 동작 계획 유닛(163) 등에 공급한다.

동작 계획 유닛(163)은 맵 분석 유닛(151) 및 상황 예측 유닛(154)과 같은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 액션 계획 유닛(162)에 의해 계획된 액션을 실현하기 위한 자기 차의 동작을 계획한다. 예를 들어, 동작 계획 유닛(163)은 가속, 감속, 주행 궤도 트랙 등의 계획을 수행한다. 동작 계획 유닛(163)은 자기 차의 계획된 동작을 표시하는 데이터를 동작 제어 유닛(135)의 가속 및 감속 제어 유닛(172) 및 방향 제어 유닛(173) 등에 공급한다.

동작 제어 유닛(135)은 자기 차의 동작의 제어를 수행한다. 동작 제어 유닛(135)은 긴급사태 회피 유닛(171), 가속 및 감속 제어 유닛(172), 및 방향 제어 유닛(173)을 포함한다.

긴급사태 회피 유닛(171)은 외부 정보 검출 유닛(141), 내부 정보 검출 유닛(142), 및 차량 상태 검출 유닛(143)의 검출 결과에 기초하여 충돌, 접촉, 위험 영역에의 진입, 운전자의 이상, 및 차량의 이상과 같은 긴급사태를 검출하는 프로세스를 수행한다. 긴급사태의 발생이 검출되는 경우에, 긴급사태 회피 유닛(171)은 급정지 또는 급선회와 같은 긴급사태를 회피하기 위한 자기 차의 동작을 계획한다. 긴급사태 회피 유닛(171)은 자기 차의 계획된 동작을 표시하는 데이터를 가속 및 감속 제어 유닛(172), 방향 제어 유닛(173) 등에 공급한다.

가속 및 감속 제어 유닛(172)은 동작 계획 유닛(163) 또는 긴급사태 회피 유닛(171)에 의해 계획된 자기 차의 동작을 실현하기 위한 가속 및 감속 제어를 수행한다. 예를 들어, 가속 및 감속 제어 유닛(172)은 계획된 가속 또는 감속 또는 급정지를 실현하기 위한 구동력 발생 디바이스 또는 제동 디바이스의 제어 목표값을 계산하여 계산된 제어 목표값을 표시하는 제어 명령을 구동 시스템 제어 유닛(107)에 공급한다.

방향 제어 유닛(173)은 동작 계획 유닛(163) 또는 긴급사태 회피 유닛(171)에 의해 계획된 자기 차의 동작을 실현하기 위한 방향 제어를 수행한다. 예를 들어, 방향 제어 유닛(173)은 동작 계획 유닛(163) 또는 긴급사태 회피 유닛(171)에 의해 계획된 주행 궤도 또는 급선회를 실현하기 위한 스티어링 메커니즘의 제어 목표값을 계산하고 계산된 제어 목표값을 표시하는 제어 명령어를 구동 시스템 제어 유닛(107)에 공급한다.

(9. 본 개시내용에 따른 구성의 요약)

따라서, 전술한 내용은 특정 실시예들을 참조하여 본 개시내용의 실시예들의 상세한 설명을 제공한다. 그러나, 본 기술분야의 통상의 기술자들은 본 개시내용의 요지를 벗어나지 않고 이러한 실시예들에 대한 수정들 및 치환들을 행할 수 있다는 것이 명백하다. 다시 말해서, 본 개시내용은 예로서 개시되었고, 제한된 방식으로 해석되지 않아야 한다. 본 개시내용의 요지는 청구항들을 고려하여 결정되어야 한다.

본 기술분야의 통상의 기술자들은 다양한 수정들, 조합들, 하위 조합들 및 변경들이 첨부된 청구 범위 또는 그 등가물의 범위 내에 있는 한 설계 요건 및 다른 요인에 따라 발생할 수 있음을 이해해야 한다.

또한, 본 기술은 아래와 같이 구성될 수도 있다.

(1) 화상 처리 디바이스로서,

동일한 피사체를 촬영함으로써 획득된 가시광선 화상 및 원적외선 화상의 입력을 수신하고;

가시광선 화상에서 블러 추정 결과를 추정하고 -블러 추정 결과를 추정하는 것은 원적외선 화상에 상이한 필터가 적용되는 복수의 필터-적용 원적외선 화상 각각과 가시광선 화상 사이의 상관을 계산하고 계산된 상관이 가장 높은 필터를 선택하는 것을 포함함-; 및

블러 추정 결과에 적어도 부분적으로 기초하여 가시광선 화상에 대해 보정 프로세스를 수행하여, 블러가 감소된 보정된 가시광선 화상을 생성하도록 구성되는 화상 처리 회로를 포함하고, 보정된 가시광선 화상을 생성하는 것은 선택된 필터의 특성에 대한 역 특성을 갖는 역필터를 가시광선 화상에 적용하는 것을 포함하는 화상 처리 디바이스.

(2)

(1)에 따른 화상 처리 디바이스에서, 화상 처리 회로는 필터를 가시광선 화상의 일부에 적용하는 것에 기초하여 필터를 선택하도록 추가로 구성되고, 선택된 필터에 대응하는 역필터는 선택된 필터가 적용된 원적외선 화상의 일부에 대응하는 가시광선 화상의 일부에 적용된다.

(3)

(1)에 따른 화상 처리 디바이스에서, 화상 처리 회로는 점 확산 함수들에 대응하는 상이한 필터들을 저장하는 필터 뱅크로부터 상이한 필터들을 순차적으로 취득하고 상이한 필터들을 원적외선 화상에 적용하도록 추가로 구성된다.

(4)

(1)에 따른 화상 처리 디바이스에서, 화상 처리 회로는 블러 추정 결과를 추정하기 전에 상관의 계산의 정밀도를 개선하기 위한 전처리를 수행하도록 추가로 구성된다.

(5)

(4)에 따른 화상 처리 디바이스에서, 전처리를 수행하는 것은 가시광선 화상 및 원적외선 화상의 구배 화상들을 생성하여 가시광선 구배 화상 및 원적외선 구배 화상을 생성하는 것을 포함하고, 가시광선 화상과 복수의 필터-적용 원적외선 화상 사이의 상관을 계산하는 것은 원적외선 구배 화상에 상이한 필터가 적용된 복수의 필터-적용 원적외선 화상 각각과 가시광선 구배 화상 사이의 상관을 계산하는 것을 포함한다.

(6)

(4)에 따른 화상 처리 디바이스에서, 전처리를 수행하는 것은 가시광선 화상 및 원적외선 화상의 대역-제한 화상들을 생성하여 가시광선 대역-제한 화상 및 원적외선 대역-제한 화상을 생성하는 것을 포함하고, 복수의 필터-적용 원적외선 화상 각각과 가시광선 화상 사이의 상관을 계산하는 것은 원적원선 대역-제한 화상에 상이한 필터가 적용된 복수의 필터-적용 원적외선 대역-제한 화상 각각과 가시광선 대역-제한 화상 사이의 상관을 계산하는 것을 포함한다.

(7)

(4)에 따른 화상 처리 디바이스에서, 전처리를 수행하는 것은 가시광선 화상에 기초하여 의사 원적외선 화상을 생성하는 것을 포함하고, 화상 처리 회로는 원적원선 화상에 상이한 필터가 적용된 복수의 필터-적용 원적외선 화상 각각과 의사 원적외선 화상 사이의 상관을 계산하도록 추가로 구성된다.

(8)

(4)에 따른 화상 처리 디바이스에서, 전처리를 수행하는 것은 원적외선 화상에 기초하여 의사 가시광선 화상을 생성하는 것을 포함하고, 화상 처리 회로는 의사 가시광선 화성에 상이한 필터가 적용된 복수의 필터-적용 의사 가시광선 화상 각각과 가시광선 화상 사이의 상관을 계산하도록 추가로 구성된다.

(9)

(1)에 따른 화상 처리 디바이스에서, 화상 처리 회로는:

블러 추정 결과의 신뢰도를 계산하고;

블러 추정 결과의 신뢰도가 제1 임계값보다 작은 경우에 가시광선 화상에 대한 역필터의 적용 강도를 약화시키도록 추가로 구성된다.

(10)

(9)에 따른 화상 처리 디바이스에서, 선택된 필터에 대응하도록 계산된 상관 값에 따라 블러 추정 결과의 신뢰도를 계산하여, 상관 값이 제2 임계값보다 높을 때에는 신뢰도가 제1 임계값보다 높게 되도록 하고 상관 값이 제2 임계값보다 작을 때에는 신뢰도가 제1 임계값보다 작게 되도록 한다.

(11)

(9)에 따른 화상 처리 디바이스에서, 신뢰도는 선택된 필터의 유효성에 기초하여 계산된다.

(12)

(11)에 따른 화상 처리 디바이스에서, 신뢰도 계산 유닛을 계산하는 것은, 선택된 필터가 복수의 방향의 라인들을 따라 블러를 생성하는 필터일 때 신뢰도를 제1 임계값보다 작게 설정하고, 선택된 필터가 한 방향의 라인을 따라 블러를 생성하는 필터일 때 신뢰도를 제1 임계값보다 높게 설정하는 것을 포함한다.

(13)

화상 처리 디바이스에서 수행되는 화상 처리 방법으로서,

동일한 피사체를 촬영함으로써 획득된 가시광선 화상 및 원적외선 화상의 입력을 수신하는 단계;

가시광선 화상에서 블러 추정 결과를 추정하는 단계 -블러 추정 결과를 추정하는 단계는 원적외선 화상에 상이한 필터가 적용되는 복수의 필터-적용 원적외선 화상 각각과 가시광선 화상 사이의 상관을 계산하고 계산된 상관이 가장 높은 필터를 선택하는 단계를 포함함-; 및

블러 추정 결과에 적어도 부분적으로 기초하여 가시광선 화상에 대해 보정 프로세스를 수행하여, 블러가 감소된 보정된 가시광선 화상을 생성하는 단계를 포함하고, 보정된 가시광선 화상을 생성하는 단계는 선택된 필터의 특성에 대한 역 특성을 갖는 역필터를 가시광선 화상에 적용하는 단계를 포함하는 화상 처리 방법.

(14)

화상 처리 디바이스의 화상 처리 회로에 의해 실행될 때, 화상 처리 방법을 수행하는 복수의 명령어로 인코딩된 비일시적 컴퓨터 판독가능 매체로서, 화상 처리 방법은:

동일한 피사체를 촬영함으로써 획득된 가시광선 화상 및 원적외선 화상의 입력을 수신하는 단계;

가시광선 화상에서 블러 추정 결과를 추정하는 단계 -블러 추정 결과를 추정하는 단계는 원적외선 화상에 상이한 필터가 적용되는 복수의 필터-적용 원적외선 화상 각각과 가시광선 화상 사이의 상관을 계산하고 계산된 상관이 가장 높은 필터를 선택하는 단계를 포함함-; 및

블러 추정 결과에 적어도 부분적으로 기초하여 가시광선 화상에 대해 보정 프로세스를 수행하여, 블러가 감소된 보정된 가시광선 화상을 생성하는 단계를 포함하고, 보정된 가시광선 화상을 생성하는 단계는 선택된 필터의 특성에 대한 역 특성을 갖는 역필터를 가시광선 화상에 적용하는 단계를 포함하는 비일시적 컴퓨터 판독가능 매체.

또한, 본 명세서에서 설명된 일련의 프로세스는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합 구성에 의해 실행될 수 있다. 프로세스가 소프트웨어에 의해 실행되는 경우에, 프로세스 시퀀스를 기록한 프로그램은 전용 하드웨어에 내장된 컴퓨터의 메모리에 설치되어 실행되거나, 프로그램은 다양한 프로세스들을 실행할 수 있는 범용 컴퓨터에 설치되어 실행될 수 있다. 예를 들어, 프로그램은 기록 매체에 미리 기록될 수 있다. 기록 매체로부터 컴퓨터 상의 설치에 더하여, 프로그램은 또한 LAN(Local Area Network) 또는 인터넷과 같은 네트워크를 통해 수신될 수 있고 내장 하드 디스크와 같은 기록 매체 상에 설치될 수 있다.

또한, 본 명세서에서 설명된 다양한 프로세스들은 전술한 바와 같이 시간순으로 실행될 수 있고 또한 프로세스들을 실행하는 디바이스의 처리 능력에 따라 또는 필요에 따라 병렬로 또는 개별적으로 실행될 수 있다. 본 명세서에서, 용어 "시스템"은 다수의 디바이스의 논리적 집합 구성을 지칭하고, 각각의 구성의 디바이스들은 동일한 하우징 내부에 있는 것으로 제한되지 않는다는 점에 유의한다.

산업상 이용가능성

전술한 바와 같이, 본 개시내용의 일 실시예의 구성에 따르면, 가시광선 화상의 블러를 제거하거나 감소시키기 위한 고화질 처리를 수행하는 디바이스 및 방법을 실현하는 것이 가능하다.

구체적으로, 본 디바이스는: 동일한 피사체를 동시에 촬영함으로써 획득된 가시광선 화상 및 원적외선 화상을 입력하고 가시광선 화상의 블러의 형태를 추정하도록 구성되는 블러 추정 유닛; 블러 추정 유닛의 블러 추정 결과를 입력하고 가시광선 화상에 대해 보정 프로세스를 수행하여 블러가 제거되거나 감소된 보정된 가시광선 화상을 생성하도록 구성되는 블러 제거 유닛을 포함한다. 블러 추정 유닛은 필터가 원적외선 화상에 적용된 필터-적용 원적외선 화상과 가시광선 화상 사이의 상관을 계산하고 상관이 가장 높은 필터를 선택한다. 블러 제거 유닛은 블러 추정 유닛에 의해 선택된 필터에 대한 역 특성들을 갖는 역필터를 가시광선 화상에 적용함으로써 블러가 제거되거나 감소되는 보정된 가시광선 화상을 생성한다.

이들 프로세스를 통해, 가시광선 화상의 블러를 제거하거나 감소시키는 고화질 처리를 수행하는 디바이스 및 방법을 실현하는 것이 가능하다.

11: 블러가 있는 가시광선 화상
12: 블러가 없는 원적외선 화상
13: 블러가 감소된 가시광선 화상
15: 보정 전의 가시광선 화상
16: 원적외선 화상
17: 보정 후의 가시광선 화상
21: 가시광선 화상 입력 유닛
22: 원적외선 화상 입력 유닛
30: 블러 추정 유닛
31: 필터 처리 유닛
32: 상관 계산 유닛
33: 필터 결정 유닛
34: 신뢰도 계산 유닛
40: 블러 제거 유닛
41: 역필터 처리 유닛
42: 역필터 보정 유닛
35: 필터 뱅크
45: 필터 뱅크
81: CPU
82: ROM
83: RAM
84: 버스
85: 입출력 인터페이스
86: 입력 유닛
87: 출력 유닛
88: 저장 유닛
89: 통신 유닛
90: 드라이브
91: 착탈식 매체
95: 촬상 유닛(카메라)
96: 디스플레이 유닛
100: 차량 주행 제어 디바이스
101: 입력 유닛
102: 데이터 취득 유닛
103: 통신 유닛
104: 차량내 디바이스
105: 출력 제어 유닛
106: 출력 유닛
107: 구동 시스템 제어 유닛
108: 구동 시스템
109: 보디 시스템 제어 유닛
110: 보디 시스템
111: 저장 유닛
112: 자동 운전 제어 유닛
131: 검출 유닛
132: 자기 위치 추정 유닛
133: 상황 분석 유닛
134: 계획 유닛
135: 동작 제어 유닛
141: 외부 정보 검출 유닛
142: 내부 정보 검출 유닛
143: 차량 상태 검출 유닛
151: 맵 분석 유닛
152: 교통 규칙 인식 유닛
153: 상황 인식 유닛
154: 상황 예측 유닛
161: 경로 계획 유닛
162: 액션 계획 유닛
163: 동작 계획 유닛
171: 긴급사태 회피 유닛
172: 가속 및 감속 제어 유닛
173: 방향 제어 유닛
201: 디스플레이 유닛

Claims (14)

1. 화상 처리 디바이스로서,
   동일한 피사체를 촬영함으로써 획득된 가시광선 화상 및 원적외선 화상의 입력을 수신하고;
   상기 가시광선 화상에서 블러 추정 결과를 추정하고 -상기 블러 추정 결과를 추정하는 것은 상기 원적외선 화상에 상이한 필터가 적용되는 복수의 필터-적용 원적외선 화상 각각과 상기 가시광선 화상 사이의 상관을 계산하고 상기 계산된 상관이 가장 높은 필터를 선택하는 것을 포함함-; 및
   상기 블러 추정 결과에 적어도 부분적으로 기초하여 상기 가시광선 화상에 대해 보정 프로세스를 수행하여, 블러가 감소된 보정된 가시광선 화상을 생성하도록 구성되는 화상 처리 회로를 포함하고, 상기 보정된 가시광선 화상을 생성하는 것은 상기 선택된 필터의 특성에 대한 역 특성을 갖는 역필터를 상기 가시광선 화상에 적용하는 것을 포함하는 화상 처리 디바이스.
2. 제1항에 있어서,
   상기 화상 처리 회로는 상기 필터를 상기 가시광선 화상의 일부에 적용하는 것에 기초하여 상기 필터를 선택하도록 추가로 구성되고, 상기 선택된 필터에 대응하는 상기 역필터는 상기 선택된 필터가 적용된 상기 원적외선 화상의 일부에 대응하는 상기 가시광선 화상의 일부에 적용되는 화상 처리 디바이스.
3. 제1항에 있어서,
   상기 화상 처리 회로는 점 확산 함수들에 대응하는 상이한 필터들을 저장하는 필터 뱅크로부터 상이한 필터들을 순차적으로 취득하고 상기 상이한 필터들을 상기 원적외선 화상에 적용하도록 추가로 구성되는 화상 처리 디바이스.
4. 제1항에 있어서,
   상기 화상 처리 회로는 상기 블러 추정 결과를 추정하기 전에 상기 상관의 계산의 정밀도를 개선하기 위한 전처리를 수행하도록 추가로 구성되는 화상 처리 디바이스.
5. 제4항에 있어서,
   상기 전처리를 수행하는 것은 상기 가시광선 화상 및 상기 원적외선 화상의 구배 화상들을 생성하여 가시광선 구배 화상 및 원적외선 구배 화상을 생성하는 것을 포함하고, 상기 가시광선 화상과 상기 복수의 필터-적용 원적외선 화상 각각 사이의 상기 상관을 계산하는 것은 상기 원적외선 구배 화상에 상이한 필터가 적용된 복수의 필터-적용 원적외선 화상 각각과 상기 가시광선 구배 화상 사이의 상관을 계산하는 것을 포함하는 화상 처리 디바이스.
6. 제4항에 있어서,
   상기 전처리를 수행하는 것은 상기 가시광선 화상 및 상기 원적외선 화상의 대역-제한 화상들을 생성하여 가시광선 대역-제한 화상 및 원적외선 대역-제한 화상을 생성하는 것을 포함하고, 상기 복수의 필터-적용 원적외선 화상 각각과 상기 가시광선 화상 사이의 상관을 계산하는 것은 상기 원적원선 대역-제한 화상에 상이한 필터가 적용된 복수의 필터-적용 원적외선 대역-제한 화상 각각과 상기 가시광선 대역-제한 화상 사이의 상관을 계산하는 것을 포함하는 화상 처리 디바이스.
7. 제4항에 있어서,
   상기 전처리를 수행하는 것은 상기 가시광선 화상에 기초하여 의사 원적외선 화상을 생성하는 것을 포함하고, 상기 화상 처리 회로는 상기 원적원선 화상에 상이한 필터가 적용된 상기 복수의 필터-적용 원적외선 화상 각각과 상기 의사 원적외선 화상 사이의 상관을 계산하도록 추가로 구성되는 화상 처리 디바이스.
8. 제4항에 있어서,
   상기 전처리를 수행하는 것은 상기 원적외선 화상에 기초하여 의사 가시광선 화상을 생성하는 것을 포함하고, 상기 화상 처리 회로는 상기 의사 가시광선 화상에 상이한 필터가 적용된 상기 복수의 필터-적용 의사 가시광선 화상 각각과 상기 가시광선 화상 사이의 상관을 계산하도록 추가로 구성되는 화상 처리 디바이스.
9. 제1항에 있어서,
   상기 화상 처리 회로는:
   상기 블러 추정 결과의 신뢰도를 계산하고;
   상기 블러 추정 결과의 신뢰도가 제1 임계값보다 작은 경우에 상기 가시광선 화상에 대한 상기 역필터의 적용 강도를 약화시키도록 추가로 구성되는 화상 처리 디바이스.
10. 제9항에 있어서,
    상기 선택된 필터에 대응하도록 계산된 상관 값에 따라 상기 블러 추정 결과의 신뢰도를 계산하여, 상기 상관 값이 제2 임계값보다 높을 때에는 상기 신뢰도가 상기 제1 임계값보다 높게 되도록 하고 상기 상관 값이 상기 제2 임계값보다 작을 때에는 상기 신뢰도가 상기 제1 임계값보다 작게 되도록 하는 화상 처리 디바이스.
11. 제9항에 있어서,
    상기 신뢰도는 상기 선택된 필터의 유효성에 기초하여 계산되는 화상 처리 디바이스.
12. 제11항에 있어서,
    계산 유닛에서 상기 신뢰도를 계산하는 것은, 상기 선택된 필터가 복수의 방향의 라인들을 따라 블러를 생성하는 필터일 때 상기 신뢰도를 상기 제1 임계값보다 작게 설정하고, 상기 선택된 필터가 한 방향의 라인을 따라 블러를 생성하는 필터일 때 상기 신뢰도를 상기 제1 임계값보다 높게 설정하는 것을 포함하는 화상 처리 디바이스.
13. 화상 처리 디바이스에서 수행되는 화상 처리 방법으로서,
    동일한 피사체를 촬영함으로써 획득된 가시광선 화상 및 원적외선 화상의 입력을 수신하는 단계;
    상기 가시광선 화상에서 블러 추정 결과를 추정하는 단계 -상기 블러 추정 결과를 추정하는 단계는 상기 원적외선 화상에 상이한 필터가 적용되는 복수의 필터-적용 원적외선 화상 각각과 상기 가시광선 화상 사이의 상관을 계산하고 상기 계산된 상관이 가장 높은 필터를 선택하는 단계를 포함함-; 및
    상기 블러 추정 결과에 적어도 부분적으로 기초하여 상기 가시광선 화상에 대해 보정 프로세스를 수행하여, 블러가 감소된 보정된 가시광선 화상을 생성하는 단계 -상기 보정된 가시광선 화상을 생성하는 단계는 상기 선택된 필터의 특성에 대한 역 특성을 갖는 역필터를 상기 가시광선 화상에 적용하는 단계를 포함함-를 포함하는 화상 처리 방법.
14. 복수의 명령어로 인코딩된 비일시적 컴퓨터 판독가능 매체로서,
    상기 복수의 명령어는, 화상 처리 디바이스의 화상 처리 회로에 의해 실행될 때, 화상 처리 방법을 수행하고,
    상기 화상 처리 방법은:
    동일한 피사체를 촬영함으로써 획득된 가시광선 화상 및 원적외선 화상의 입력을 수신하는 단계;
    상기 가시광선 화상에서 블러 추정 결과를 추정하는 단계 -상기 블러 추정 결과를 추정하는 단계는 상기 원적외선 화상에 상이한 필터가 적용되는 복수의 필터-적용 원적외선 화상 각각과 상기 가시광선 화상 사이의 상관을 계산하고 상기 계산된 상관이 가장 높은 필터를 선택하는 단계를 포함함-; 및
    상기 블러 추정 결과에 적어도 부분적으로 기초하여 상기 가시광선 화상에 대해 보정 프로세스를 수행하여, 블러가 감소된 보정된 가시광선 화상을 생성하는 단계 -상기 보정된 가시광선 화상을 생성하는 단계는 상기 선택된 필터의 특성에 대한 역 특성을 갖는 역필터를 상기 가시광선 화상에 적용하는 단계를 포함함-를 포함하는 비일시적 컴퓨터 판독가능 매체.

Images