KR20200050959A

KR20200050959A - 화상 처리 디바이스, 화상 처리 방법, 및 프로그램

Info

Publication number: KR20200050959A
Application number: KR1020207005593A
Authority: KR
Inventors: 스그루 아오키; 류타 사토; 아츠시 이토; 히데키 오야이즈; 다케시 우에모리
Original assignee: 소니 주식회사
Priority date: 2017-09-05
Filing date: 2018-08-30
Publication date: 2020-05-12
Also published as: JP2019046277A; JP7027737B2; EP3679545A1; CN111052174A; WO2019049763A1; US11288777B2; US20220180483A1; US20200193570A1

Abstract

화상 처리 방법들 및 장치가 설명된다. 화상 처리 방법은 동일한 피사체를 사진촬영함으로써 획득된 가시광 화상 및 적외선 화상의 입력을 수신하는 단계, 가시광 화상, 적외선 화상, 및 움직임 정보에 기초하여 가시광 화상과 연관된 블러 추정치를 추정하는 단계, 및 추정된 블러 추정치에 기초하여 보정된 가시광 화상을 생성하는 단계를 포함한다.

Description

화상 처리 디바이스, 화상 처리 방법, 및 프로그램

본 출원은 2017년 9월 5일자로 출원된 일본 우선권 특허 출원 JP 2017-170035호의 이익을 주장하며, 그 전체 내용은 본 명세서에 참조로 포함된다.

본 개시내용은 화상 처리 디바이스, 화상 처리 방법, 및 프로그램에 관한 것이다. 구체적으로, 본 개시내용은 가시광 화상 및 적외선 화상과 함께 카메라 움직임 정보를 입력하여 가시광 화상의 블러(blur)(디포커싱)를 감소시키기 위한 화상 처리 디바이스, 화상 처리 방법, 및 프로그램에 관한 것이다.

야간과 같은 어두운 환경에서 가시광 화상을 촬영하는 경우, 노광 시간을 길게 할 필요가 있고, 그 결과, 카메라 움직임 또는 피사체 움직임으로 인한 디포커싱인 블러가 쉽게 생성된다.

이러한 문제를 해결하기 위한 관련 기술로서, 예를 들어, 특허 문헌 1(JP 2003-209735 A)에 개시된 기술이 있다.

특허문헌 1은 가시광 카메라에 의해 연속적으로 촬영된 다수의 화상에 의해 화상 움직임을 분석하고, 이러한 움직임 분석 결과에 기초하여 디포커싱을 보정하는 기술을 개시하고 있다.

그러나, 특허문헌 1에 기재된 전술한 구성에서는, 다수의 연속적으로 촬영된 화상이 필요하고, 정지 화상에 대한 처리를 실행할 수 없다는 문제가 있다. 또한, 다수의 연속적으로 촬영된 화상으로부터의 화상 움직임을 분석하는 처리가 필요하고, 따라서 각각의 화상에 대한 즉각적인 처리가 수행될 수 없다는 문제가 있다.

또한, 특허문헌 1에 기재된 전술한 구성은 고정된 카메라에 의해 촬영된 화상들에 대한 디포커싱 보정을 개시하고 있으며, 이동하는 카메라의 경우에서의 처리에 대해서는 개시하고 있지 않다. 예를 들어, 차량내 카메라와 같은 이동하는 카메라의 경우에서의 디포커싱 저감을 위한 효과가 발휘되기 어렵다는 문제가 있다.

JP 2003-209735 A

본 개시내용은 예를 들어, 전술한 문제점들을 고려하여 이루어진 것이며, 다수의 연속적으로 촬영된 화상의 사용을 필요로 하지 않고 가시광 화상 및 적외선 화상에 의해 가시광 화상에 대한 블러(디포커싱)의 제거 또는 저감을 달성하기 위한 화상 처리 디바이스, 화상 처리 방법, 및 프로그램을 제공하도록 의도된다.

또한, 본 개시내용은 예를 들어, 차량내 카메라와 같은 이동하는 카메라의 경우에도 카메라 움직임을 고려한 처리에 의해 가시광 화상에 대한 블러(디포커싱)의 효과적인 제거 또는 저감을 달성하기 위한 화상 처리 디바이스, 화상 처리 방법, 및 프로그램을 제공하도록 의도된다.

본 개시내용에 따르면, 화상 처리 디바이스가 제공된다. 화상 처리 디바이스는 동일한 피사체를 사진촬영함으로써 획득된 가시광 화상 및 적외선 화상의 입력을 수신하고, 가시광 화상, 적외선 화상 및 움직임 정보에 기초하여 가시광 화상과 연관된 블러 추정치를 추정하고, 추정된 블러 추정치에 기초하여 보정된 가시광 화상을 생성하도록 구성되는 화상 처리 회로를 포함한다.

본 개시내용에 따르면, 화상 처리 디바이스에서 수행되는 화상 처리 방법이 제공된다. 화상 처리 방법은 동일한 피사체를 사진촬영함으로써 획득된 가시광 화상 및 적외선 화상의 입력을 수신하는 단계, 가시광 화상, 적외선 화상, 및 움직임 정보에 기초하여 가시광 화상과 연관된 블러 추정치를 추정하는 단계, 및 추정된 블러 추정치에 기초하여 보정된 가시광 화상을 생성하는 단계를 포함한다.

본 개시내용에 따르면, 비일시적 컴퓨터 판독가능 매체가 제공된다. 비일시적 컴퓨터 판독가능 매체는 화상 처리 디바이스의 화상 처리 회로에 의해 실행될 때, 화상 처리 방법을 수행하는 복수의 명령어로 인코딩된다. 화상 처리 방법은 동일한 피사체를 사진촬영함으로써 획득된 가시광 화상 및 적외선 화상의 입력을 수신하는 단계, 가시광 화상, 적외선 화상, 및 움직임 정보에 기초하여 가시광 화상과 연관된 블러 추정치를 추정하는 단계, 및 추정된 블러 추정치에 기초하여 보정된 가시광 화상을 생성하는 단계를 포함한다.

본 개시내용의 프로그램은 예를 들어, 프로그램 코드들을 실행할 수 있는 정보 처리 디바이스 또는 컴퓨터 시스템에 다양한 프로그램 코드들을 컴퓨터 판독가능 형태로 제공하도록 구성된 저장 매체 또는 통신 매체에 의해 제공될 수 있는 프로그램이라는 점에 유의한다. 이러한 프로그램은 컴퓨터 판독가능 형태로 제공되어 정보 처리 디바이스 또는 컴퓨터 시스템 상에서 프로그램에 따른 처리를 구현한다.

본 개시내용의 다른 목적들, 특징들, 및 유리한 효과들은 본 개시내용의 실시예들 및 후술하는 첨부된 도면들에 기초하는 보다 상세한 설명으로부터 명백해 질 것이다. 본 명세서에서의 시스템은 다수의 디바이스의 논리 구성 세트이고, 동일한 하우징 내의 각각의 디바이스 구성에 한정되지 않는다는 점에 유의한다.

본 개시내용의 일 실시예의 구성에 따르면, 가시광 화상에 대한 블러(디포커싱)를 제거 또는 저감시키는 화상 품질 개선 처리를 실행하기 위한 디바이스 및 방법이 구현된다.

구체적으로, 동일한 피사체의 동시 사진촬영된 가시광 화상 및 원적외선 화상과 카메라 움직임 정보가 입력된다. 카메라 움직임으로 인한 가시광 화상에 대한 블러(디포커싱)로서의 카메라 움직임-기반 블러가 추정된다. 가시광 화상, 원적외선 화상, 및 카메라 움직임-기반 블러는 가시광 화상-기반 블러와 카메라 움직임-기반 블러의 통합된 블러에 대응하는 블러를 생성하기 위한 필터로서의 통합된 필터를 추정하기 위해 이용된다. 추정된 통합된 필터의 특성과 반대인 특성을 갖는 역 특성 필터(opposite characteristic filter)가 가시광 화상에 적용되어, 블러가 제거되거나 저감된 보정된 가시광 화상을 생성한다.

이러한 타입들의 처리에 의해, 가시광 화상에 대한 블러(디포커싱)를 제거하거나 저감시키는 화상 품질 개선 처리를 실행하기 위한 디바이스 및 방법이 구현된다.

본 명세서에 기재된 유리한 효과들은 단지 예들로서 제시되었으며, 제한되지 않는다는 점에 유의한다. 더욱이, 추가적인 유리한 효과들이 제공될 수 있다.

도 1은 본 개시내용의 화상 처리 디바이스에 의해 실행되는 처리의 개요를 설명하기 위한 도면을 도시한다.
도 2는 촬영된 화상의 타입과 광 파장 사이의 대응관계를 설명하기 위한 도면을 도시한다.
도 3은 가시광 화상 및 원적외선 화상의 예들을 설명하기 위한 도면들을 도시한다.
도 4는 카메라 움직임으로 인한 촬영된 화상에 대한 블러를 설명하기 위한 도면들을 도시한다.
도 5는 카메라 움직임으로 인한 촬영된 화상에 대한 블러와 피사체 움직임의 영향을 설명하기 위한 도면들을 도시한다.
도 6은 자동차에의 카메라 장착의 예 및 카메라 움직임의 검출을 설명하기 위한 도면들을 도시한다.
도 7은 본 개시내용의 화상 처리 디바이스의 구성 및 처리 예들을 설명하기 위한 도면들을 도시한다.
도 8은 본 개시내용의 화상 처리 디바이스의 구성 및 처리 예들을 설명하기 위한 도면을 도시한다.
도 9는 본 개시내용의 제1 실시예의 화상 처리 디바이스의 구성 및 처리 예들을 설명하기 위한 도면을 도시한다.
도 10은 카메라 움직임 블러 맵을 설명하기 위한 도면들을 도시한다.
도 11은 본 개시내용의 제1 실시예의 화상 처리 디바이스의 구성 및 처리 예들을 설명하기 위한 도면을 도시한다.
도 12는 본 개시내용의 제1 실시예의 화상 처리 디바이스에 의해 실행되는 처리의 시퀀스를 설명하기 위한 흐름도를 도시한다.
도 13은 본 개시내용의 제1 실시예의 화상 처리 디바이스에 의해 실행되는 처리의 시퀀스를 설명하기 위한 흐름도를 도시한다.
도 14는 본 개시내용의 제1 실시예의 화상 처리 디바이스에 의해 실행되는 처리의 시퀀스를 설명하기 위한 흐름도를 도시한다.
도 15는 본 개시내용의 제2 실시예의 화상 처리 디바이스의 구성 및 처리 예들을 설명하기 위한 도면을 도시한다.
도 16은 필터 뱅크 풀(filter bank pool)에 저장된 데이터와, 카메라 움직임에 기초한 필터 뱅크 선택 처리의 예를 설명하기 위한 도면들을 도시한다.
도 17은 본 개시내용의 제2 실시예의 화상 처리 디바이스의 구성 및 처리 예들을 설명하기 위한 도면을 도시한다.
도 18은 본 개시내용의 제2 실시예의 화상 처리 디바이스에 의해 실행되는 처리의 예들을 설명하기 위한 도면들을 도시한다.
도 19는 본 개시내용의 제2 실시예의 화상 처리 디바이스에 의해 실행되는 처리의 시퀀스를 설명하기 위한 흐름도를 도시한다.
도 20은 본 개시내용의 제2 실시예의 화상 처리 디바이스에 의해 실행되는 처리의 시퀀스를 설명하기 위한 흐름도를 도시한다.
도 21은 본 개시내용의 제2 실시예의 화상 처리 디바이스에 의해 실행되는 처리의 시퀀스를 설명하기 위한 흐름도를 도시한다.
도 22는 본 개시내용의 제3 실시예의 화상 처리 디바이스의 구성 및 처리 예들을 설명하기 위한 도면을 도시한다.
도 23은 본 개시내용의 제3 실시예의 화상 처리 디바이스에 의해 실행되는 처리의 예들을 설명하기 위한 도면들을 도시한다.
도 24는 본 개시내용의 제3 실시예의 화상 처리 디바이스의 구성 및 처리 예들을 설명하기 위한 도면을 도시한다.
도 25는 본 개시내용의 제3 실시예의 화상 처리 디바이스에 의해 실행되는 처리의 시퀀스를 설명하기 위한 흐름도를 도시한다.
도 26은 본 개시내용의 제3 실시예의 화상 처리 디바이스에 의해 실행되는 처리의 시퀀스를 설명하기 위한 흐름도를 도시한다.
도 27은 본 개시내용의 제4 실시예의 화상 처리 디바이스에 의해 실행되는 처리의 예를 설명하기 위한 도면을 도시한다.
도 28은 본 개시내용의 제4 실시예의 화상 처리 디바이스에 의해 실행되는 처리의 예를 설명하기 위한 도면을 도시한다.
도 29는 본 개시내용의 제4 실시예의 화상 처리 디바이스에 의해 실행되는 처리의 시퀀스를 설명하기 위한 흐름도를 도시한다.
도 30은 본 개시내용의 제4 실시예의 화상 처리 디바이스에 의해 실행되는 처리의 시퀀스를 설명하기 위한 흐름도를 도시한다.
도 31은 화상 처리 디바이스의 하드웨어 구성 예를 설명하기 위한 도면을 도시한다.
도 32는 본 개시내용의 화상 처리 디바이스의 기능을 갖는 차량 제어 시스템의 구성 예를 설명하기 위한 도면을 도시한다.

이하, 본 개시내용의 실시예에 따른 화상 처리 디바이스, 화상 처리 방법, 및 프로그램의 상세에 대해서 도면들을 참조하여 설명할 것이다. 설명은 다음의 내용들에 따라 이루어질 것이라는 점에 유의한다:

1. 본 개시내용의 화상 처리 디바이스의 구성 및 처리의 개요

2. 카메라 움직임으로 인해 생성된 블러의 구체적인 예들

3. 차량에 대한 카메라 장착의 예

4. 본 개시내용의 화상 처리 디바이스의 구성 및 처리의 개요

5. (제1 실시예) 구성 A에 대응하는 화상 처리 디바이스의 구성 및 처리

6. (제2 실시예) 구성 B에 대응하는 화상 처리 디바이스의 구성 및 처리

7. (제3 실시예) 구성 A+C에 대응하는 화상 처리 디바이스의 구성 및 처리

8. (제4 실시예) 구성 B+C에 대응하는 화상 처리 디바이스의 구성 및 처리

9. 화상 처리 디바이스의 하드웨어 구성 예

10. 차량에 본 개시내용의 화상 처리 디바이스를 포함하는 차량 제어 시스템의 구성 예

11. 본 개시내용의 구성의 요약

(1. 본 개시내용의 화상 처리 디바이스의 구성 및 처리의 개요)

먼저, 도 1 및 후속 도면들을 참조하여 본 개시내용의 화상 처리 디바이스의 구성 및 처리의 개요에 대해 설명할 것이다.

도 1은 본 개시내용의 화상 처리 디바이스에 의해 실행되는 처리의 개요를 설명하기 위한 도면이다.

본 개시내용의 화상 처리 디바이스는 동일한 피사체의 사진촬영된 가시광 화상 및 적외선 화상을 수신하고, 이들 화상을 촬영한 카메라들의 카메라 움직임 정보를 수신함으로써, 가시광 화상에 대한 블러(디포커싱)를 감소시키는 처리를 실행하도록 구성된다.

야간과 같은 어두운 환경에서 가시광 화상을 촬영하는 경우, 노광 시간이 길 필요가 있고, 그 결과, 카메라 움직임 또는 피사체 움직임으로 인한 블러가 쉽게 생성된다.

본 개시내용의 화상 처리 디바이스는 예를 들어, 이러한 환경 하에서 촬영된 가시광 화상에 대한 블러를 저감시키기 위해 동일한 피사체의 동시 사진촬영된 원적외선 화상을 이용한다.

적외선 화상은 피사체로부터 생성된 열에 따라 화소 값이 설정되고, 예를 들어, 사람의 체온을 검출할 수 있다. 따라서, 암흑 등에서 열을 생성하는 사람 등이 사진촬영될 수 있고, 적외선 화상이 보안 카메라 등에 이용된다.

적외선 광 중에서, 파장이 긴 원적외선 광은 열에 대해 높은 감도를 나타낸다. 따라서, 노광 시간이 짧은 사진촬영에서도, 사람과 같은 열을 생성하는 피사체는 비교적 명확하게 사진촬영될 수 있다.

야간과 같은 암흑에서 가시광 화상을 촬영하는 경우, 노광 시간을 길게 할 필요가 있고, 블러(디포커싱)는 카메라 또는 피사체 움직임과 관련하여 확산된다.

그러나, 원적외선 화상은 암흑에서 노광 시간을 짧게 하여 사진촬영이 수행될 때에도, 예를 들어, 사람과 같은 열을 생성하는 피사체를 명확하게 촬영할 수 있다.

본 개시내용의 화상 처리 디바이스는 가시광 화상과 원적외선 화상 사이의 특성들의 차이를 이용함으로써, 블러들이 더 큰 가시광 화상을 보정한다. 즉, 블러들이 적은 적외선 화상을 참조 화상으로서 사용하여 보정(블러 제거) 처리가 수행되고, 이러한 방식으로, 블러가 제거되거나 저감된 가시광 화상이 생성된다.

본 개시내용의 화상 처리 디바이스에 의해 실행되는 처리의 개요가 도 1을 참조하여 설명될 것이다.

도 1에 도시된 바와 같이, 본 개시내용의 화상 처리 디바이스는 블러가 있는 가시광 화상(11) 및 블러가 없는 원적외선 화상(12)을 수신하며, 이들 화상은 동일한 피사체를 동시 사진촬영한 것이다.

또한, 이들 화상을 촬영한 카메라들에 대한 카메라 움직임 정보(13)가 또한 입력된다.

본 개시내용의 화상 처리 디바이스는 먼저 단계 S20에서, 입력된 2개의 화상과 카메라 움직임 정보를 이용하여 가시광 화상 블러 추정을 수행한다.

구체적으로, 예를 들어, 화상 디포커싱 양을 표시하는 함수로서의 PSF(point spread function)가 추정된다.

PSF는 특정 화소 위치의 화소 값 주위의 확산 정도, 즉 디포커싱 양 또는 디포커싱 형태를 표시하는 함수이다.

단계 S20에서는, 다양한 PSF(point spread function)들에 대응하는 필터들, 즉, 블러들을 생성하기 위한 필터들(디포커싱)이 블러가 없는 원적외선 화상(12)에 적용됨으로써, 의도적으로 블러를 발생시킨 원적외선 화상을 생성한다. 이러한 필터가 적용된 원적외선 화상과 블러가 있는 가시광 화상(11)이 서로 비교된다(상관이 산출된다).

이러한 비교 처리(상관 산출)에 기초하여, 블러가 있는 가시광 화상(11)과 유사한 블러(디포커싱)를 생성하기 위한 PSF(point spread function)에 대응하는 필터가 선택된다.

단계 S20에서 선택될 필터는 블러가 없는(디포커싱이 없는) 가시광 화상에 그러한 필터를 적용하는 경우에 블러가 있는 가시광 화상(11)을 생성하기 위한 필터에 대응한다는 점에 유의한다.

그러나, 블러가 없는(디포커싱이 없는) 가시광 화상은 촬영된 화상으로서 캡처되지 않기 때문에, 블러가 없는 원적외선 화상(12)을 대체 화상으로서 이용한다.

즉, 블러가 없는 원적외선 화상(12)에 적용함으로써, 블러가 있는 가시광 화상(11)과 유사한 블러(디포커싱)를 생성하기 위한 필터가 선택되거나, 블러가 있는 가시광 화상(11)과 유사한 블러(디포커싱)를 생성하기 위한 PSF(point spread function)가 산출된다.

다음으로, 가시광 화상에 대한 블러를 제거하는 처리가 단계 S40에서 수행된다.

블러 제거 처리는 전술한 점 확산 함수: PSF=p(x, y)로 표시된 필터 특성들과 반대인 특성들을 갖는 역 필터를 생성함으로써, 이 생성된 역 필터를 블러가 있는 가시광 화상(11)에 적용하는 처리이다.

이러한 역 필터 적용 처리에 의해, 블러(디포커싱)가 블러가 있는 가시광 화상(11)으로부터 제거되고, 따라서, 블러가 감소된 가시광 화상(15)이 생성된다.

단계 S40의 가시광 화상 블러 제거 처리로서, "디컨볼루션 처리(deconvolution processing)"라고 불리는 주파수 도메인에서의 필터 처리가 적용가능하다는 점에 유의한다.

블러가 있는 가시광 화상(11)의 점 확산 함수가 (PSF)=p(x, y)이고, 블러가 있는 가시광 화상(11)이 b(x, y)이며, 블러가 없는 적절한 가시광 화상이 s(x, y)일 때, 각각의 푸리에 변환이 P(u, v), B(u, v), S(u, v)인 경우, 다음의 관계식들이 충족된다:

b(x, y)=p(x, y)*s(x, y)

B(u, v)=P(u, v) x S(U, v)

여기서, "*"는 컨볼루션 연산을 표시한다.

B(u, v)=FT[b(x, y)]

P(u, v)=FT[p(x, y)]

S(u, v)=FT[s(x, y)]

또한, 푸리에 변환이 FT[]일 때, 전술한 관계식들이 충족된다.

블러가 없는 적절한 가시광 화상: s(x, y)을 산출하는 처리는 블러가 있는 가시광 화상(11): b(x, y)으로부터 블러가 없는 적절한 가시광 화상: s(x, y)을 산출하는 처리(B(u, v)로부터 S(u, v)를 산출하는 처리와 유사함)이다. 이러한 처리를 수행하기 위한 필터는 "디컨볼루션 필터(deconvolution filter)"라고 칭하고, 이러한 필터를 적용하는 처리는 "디컨볼루션 처리(deconvolution processing)"라고 칭한다.

디컨볼루션 필터는 PSF=p(x, y)로 표시된 필터 특성들과 반대인 특성들을 갖는 역 필터이다.

전술한 바와 같이, 단계 S40에서는, 단계 S20에서 추정된 블러가 있는 가시광 화상(11)의 블러 형태를 표시하는 PSF=p(x, y)로 표시된 필터 특성들과 반대인 특성들을 갖는 역 필터가 생성되고, 생성된 역 필터는 블러가 있는 가시광 화상(11)에 적용된다.

즉, "디컨볼루션 처리"를 실행하여, 블러가 있는 가시광 화상(11)으로부터, 블러(디포커싱)가 제거된 블러가 감소된 가시광 화상(15)을 생성한다.

다음으로, 가시광 화상 및 적외선 화상이 도 2를 참조하여 설명될 것이다.

도 2에 도시된 바와 같이, 가시광 화상은 약 0.4㎛ 내지 0.7㎛의 파장 범위를 갖는 화상이고, RGB 화상과 같은, 전형적인 카메라에 의해 촬영된 컬러 화상이다.

한편, 적외선 화상은 파장이 0.7㎛ 이상인 장파장 광을 갖는 화상이다. 적외선 화상을 촬영하도록 구성된 적외선 화상 카메라는 예를 들어, 암흑 등에서 열을 생성하는 사람 등을 사진촬영할 수 있고, 보안 카메라 등에 이용된다.

도 2에 도시된 바와 같이, 적외선 광은 다음과 같이 나누어진다는 점에 유의한다:

약 0.7 내지 1㎛의 파장을 갖는 근적외선 광;

약 3 내지 5㎛의 파장을 갖는 중적외선 광; 및

약 8 내지 14㎛의 파장을 갖는 원적외선 광.

후술하는 실시예들에서는, 원적외선 화상을, 약 8 내지 14㎛의 파장을 갖는 원적외선 광으로 촬영된 화상으로서 이용하는 화상 처리 예가 주로 설명될 것이다.

본 개시내용의 처리는 원적외선 화상에 한정되지 않고, 다른 적외선 화상들을 이용하는 처리에도 적용가능하다는 점에 유의한다.

먼저 설명한 바와 같이, 야간과 같은 어두운 환경에서 가시광 화상을 촬영할 경우, 노광 시간을 길게 할 필요가 있고, 그 결과, 카메라 움직임 또는 피사체 움직임으로 인한 블러가 쉽게 생성된다. 한편, 원적외선 화상은 노광 시간을 짧게 한 사진촬영시에도, 사람과 같은, 열을 생성하는 피사체를 명확하게 촬영할 수 있다.

구체적인 촬영된 화상 예들이 도 3에 도시될 것이다.

도 3은 야간 동안 교차로에서 사진촬영할 때 촬영된 화상들로서의 가시광 화상 및 원적외선 화상의 예들을 도시한다.

이들 2개의 화상은 어두운 환경에서 촬영된 화상들이고, 가시광 화상에 대해 긴 노출이 수행된다.

(1) 가시광 화상 및 (2) 원적외선 화상이 서로 비교될 때, (1) 가시광 화상은 큰 블러들(디포커싱)을 나타내고, 인식가능한 사람 출현을 거의 나타내지 않는다. 그러나, (2) 원적외선 화상은 명확하게 사람 출현을 나타낸다.

이것은 원적외선 화상에 대한 노광 시간이 짧고 블러들(디포커싱)이 거의 발생하지 않기 때문이다.

전술한 바와 같이, 본 개시내용의 화상 처리 디바이스는 블러들이 거의 없는 원적외선 화상을 참조 화상으로서 사용하여 블러가 있는 가시광 화상을 보정함으로써, 블러가 제거되거나 저감된 가시광 화상을 생성한다.

(2. 카메라 움직임으로 인해 생성된 블러의 구체적인 예들)

다음으로, 화상을 촬영하도록 구성된 카메라의 움직임으로 인해 생성된 블러의 구체적인 예들이 도 4 및 후속 도면들을 참조하여 설명될 것이다.

본 개시내용의 구성은 예를 들어, 가시광 화상 카메라 및 원적외선 화상 카메라가 차량에 장착되어 이들 카메라에 의해 촬영된 화상들로부터 블러가 없는 가시광 화상을 생성하고 블러가 없는 가시광 화상을 드라이버에게 제공하는 구성을 구현한다.

차량이 고속으로 이동하기 때문에, 카메라들도 고속으로 이동하면서 화상들을 촬영한다. 따라서, 촬영된 화상들은 카메라 움직임에 따라 블러링된다(디포커싱된다).

도 4는 다양한 타입들의 카메라 움직임에 대응하는 블러 형태들을 설명하기 위한 도면들을 도시하고, 다음의 4가지 타입의 카메라 움직임과 관련하여 촬영된 화상에 생성된 블러의 방향 및 크기는 벡터로 표시된다:

(1) 카메라는 전방으로 직진하고;

(2) 카메라는 후방으로 직진하고;

(3) 카메라는 우측으로 회전하며;

(4) 카메라는 상방으로 회전한다.

예를 들어, "(1) 카메라가 전방으로 직진"하는 경우, 도 4의 (1)에 도시된 바와 같이, 촬영된 화상의 중심 부분으로부터 주변 부분으로 향하는 방향으로 화상이 흐르도록 블러가 생성된다. 블러의 크기는 화상의 중심에서 더 작고, 화상의 주변부쪽으로 향할수록 더 커진다.

또한, "(2) 카메라가 후방으로 직진"하는 경우, 도 4의 (2)에 도시된 바와 같이, 촬영된 화상의 주변 부분으로부터 중앙 부분으로 향하는 방향으로 화상이 흐르도록 블러가 생성된다. 블러의 크기는 화상의 중심에서 더 작고, 화상의 주변부쪽으로 향할수록 더 커진다.

또한, "(3) 카메라가 우측으로 회전"하는 경우, 도면에 도시된 바와 같이, 촬영된 화상의 우측으로부터 좌측으로 향하는 방향으로 화상이 흐르도록 블러가 생성된다. 블러의 크기는 화상에서 실질적으로 균일하다.

또한, "(4) 카메라가 상방으로 회전"하는 경우, 도면에 도시된 바와 같이, 촬영된 화상의 상부로부터 하부로 향하는 방향으로 화상이 흐르도록 블러가 생성된다. 블러의 크기는 화상에서 실질적으로 균일하다.

전술한 바와 같이, 촬영된 화상은 카메라 움직임에 따라 블러링된다(디포커싱된다).

도 4에 도시된 바와 같은 각각의 화상의 벡터의 설정 예는 카메라에 의해 촬영된 화상에 움직이는 피사체가 존재하지 않을 경우에 블러의 방향 및 크기를 표시하는 벡터를 나타낸다는 점에 유의한다.

움직이는 피사체가 카메라에 의해 촬영된 화상에 존재하는 경우, 블러의 방향 및 크기를 표시하는 벡터는 피사체 움직임에 따라 변한다.

도 5는 카메라가 움직이고 있고 카메라에 의해 촬영된 화상 상의 피사체도 움직이고 있을 경우에 블러의 방향 및 크기를 표시하는 벡터의 예들의 도면들을 도시한다.

도 5는 이하의 2개의 화상 예를 도시한다:

(1) 카메라가 전방으로 직진하는 동안, 좌측 전방쪽의 피사체는 카메라보다 고속으로 전방으로 이동하고;

(2) 카메라가 후방으로 직진하는 동안, 좌측 전방쪽의 피사체는 카메라보다 고속으로 후방으로 이동한다.

도 5의 (1)의 예는 예를 들어, 모터바이크가 차량내 카메라의 전방 좌측을 고속으로 앞질러 가는 상황에 대응한다.

카메라가 전방으로 직진하고 있고 움직이는 피사체가 존재하지 않을 경우의 블러의 방향 및 크기는 도 4의 (1)을 참조하여 앞서 설명된 바와 같이 설정된다. 그러나, 움직이는 피사체가 존재할 경우, 도 5의 (1)에 도시된 설정이 된다.

도 5의 (1)에 도시된 점선 프레임은 카메라보다 고속으로 전방으로 움직이는 피사체로 인해 생성된 블러의 방향 및 크기를 표시하는 벡터에 대응한다.

이러한 벡터는 다른 영역 내의 벡터들의 방향과 반대 방향으로 향한다.

또한, 도 5의 (2)의 예는 예를 들어, 후방을 사진촬영하기 위한 차량내 카메라에 의해 촬영된 화상의 예이며, 모터바이크가 차량의 후방 좌측으로부터 고속으로 접근하고 있는 상황에 대응한다.

카메라가 후방으로 직진하고 있고 움직이는 피사체가 존재하지 않을 경우의 블러의 방향 및 크기는 도 4의 (2)를 참조하여 앞서 설명한 바와 같이 설정된다. 그러나, 움직이는 피사체가 존재할 경우, 도 5의 (2)에 도시된 설정이 된다.

도 5의 (2)에 도시된 점선 프레임은 카메라보다 고속으로 후방으로 움직이는 피사체로 인해 생성된 블러의 방향 및 크기를 표시하는 벡터에 대응한다.

전술한 바와 같이, 카메라가 움직이고 있고 카메라에 의해 촬영된 화상 상의 피사체도 움직이고 있는 경우, 블러의 방향 및 크기는 이러한 타입들의 움직임에 따라 결정된다.

따라서, 블러를 고정밀도로 제거하거나 저감시키기 위해, 카메라 움직임 또는 피사체 움직임을 고려한 처리가 수행될 필요가 있다.

(3. 차량에 대한 카메라 장착의 예)

다음으로, 차량에 장착된 카메라들에 의해 촬영된 입력 화상들에 의한 처리를 수행하도록 구성된 화상 처리 디바이스의 예가 본 개시내용의 화상 처리 디바이스의 하나의 구성 예로서 설명될 것이다.

전술한 바와 같이, 본 개시내용의 화상 처리 디바이스의 하나의 구성 예는 예를 들어, 차량에 장착된 가시광 화상 카메라 및 원적외선 화상 카메라에 의해 촬영된 화상들이 입력되어 블러가 없는 가시광 화상을 생성하고 블러가 없는 가시광 화상을 드라이버에게 제공하는 구성을 구현한다.

도 6은 차량에의 카메라 장착의 일례의 도면들을 도시한다.

도 6의 (a)에 상면도로서 도시된 바와 같이, 가시광 카메라 및 원적외선 카메라를 포함하는 2개의 카메라가 차량에 장착된다. 이들 카메라에 의해 촬영된 화상들은 차량 내부에 제공된 화상 처리 디바이스에 입력되고, 이어서 가시광 화상의 블러(디포커싱)를 제거하거나 저감시키는 처리가 실행된다.

블러(디포커싱)가 제거되거나 저감된 가시광 화상은 드라이버의 좌석에 제공된 디스플레이 상에 표시된다. 또한, 이러한 가시광 화상은 자동 운전 제어기에 출력되고, 예를 들어, 장애물 검출 정보와 같은 자동 운전을 위한 정보로서 이용된다.

도 6에 도시된 예는 카메라가 전방 방향만을 촬영하는 설정을 나타내고 있지만, 예로서 제시되었다는 점에 유의한다. 각각의 카메라가 차량의 후방 또는 측면 방향에도 설정되어 모든 방향의 화상들을 촬영하도록 설정될 수 있다.

전술한 바와 같이, 본 개시내용의 화상 처리 디바이스는 가시광 화상 및 원적외선 화상을 수신하는 것은 물론, 카메라 움직임 정보를 수신한다는 점에 유의한다. 이러한 방식으로, 화상 처리 디바이스는 고정밀도 블러 제거 처리를 구현한다.

예를 들어, 카메라는 차량과 함께 움직이도록 설정되어 있고, 카메라 움직임 정보는 카메라 또는 차량에 장착된 센서로부터 취득된다.

센서는 예를 들어, 자이로, IMU, 가속도 센서, 기울기 센서 등을 포함한다.

IMU(inertial measurement unit)는 3축 방향의 각도, 각속도, 또는 가속도를 검출하도록 구성된 센서라는 점에 유의한다.

도 6의 (c)에 도시된 바와 같이, 센서는 예를 들어, 카메라 이동 방향, 카메라 이동 속도, 카메라 회전 반경 등을 검출하고, 카메라 움직임 정보로서, 이 타입들의 정보를 화상 처리 디바이스의 데이터 프로세서에 입력한다.

(4. 본 개시내용의 화상 처리 디바이스의 구성 및 처리의 개요)

다음으로, 도 7 및 후속 도면들을 참조하여 본 개시내용의 화상 처리 디바이스의 구성 및 처리의 개요에 대해 설명할 것이다.

도 1을 참조하여 앞서 설명된 바와 같이, 본 개시내용의 화상 처리 디바이스는 동일한 피사체의 동시 사진촬영된 가시광 화상 및 원적외선 화상과 이러한 화상들을 촬영한 카메라들의 카메라 움직임 정보를 수신함으로써, 가시광 화상의 블러를 제거하거나 저감시키는 처리를 실행한다.

이러한 처리를 실행하도록 구성된 화상 처리 디바이스의 다수의 구성 예가 도 7 및 도 8을 참조하여 설명될 것이다.

도 7 및 도 8은 본 개시내용의 화상 처리 디바이스의 다음과 같은 다수의 구성 예를 도시한다:

(구성 A) 가시광 화상 및 원적외선 화상을 사용한 화상-기반 블러 추정 후에, 카메라 움직임 정보에 기초한 카메라 움직임-기반 블러 추정 정보를 이용하여 최종적으로 통합된 블러 추정을 실행하는 구성 예;

(구성 B) 가시광 화상 및 원적외선 화상을 사용한 화상-기반 블러 추정과 카메라 움직임 정보에 기초한 카메라 움직임-기반 블러 추정을 조합하여 실행하여 통합된 블러 추정을 실행하는 구성 예;

(구성 A+C) 구성 A + 필터(블러) 추정 결과의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 수행하는 구성 예; 및

(구성 B+C) 구성 B + 필터(블러) 추정 결과의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 수행하는 구성 예.

본 개시내용의 화상 처리 디바이스는 도 5 및 도 6에 도시된 바와 같은 다양한 구성 예들을 포함한다.

이들 각각의 구성예의 구체적인 구성 및 처리가 후술될 것이지만, 이들 4가지 타입의 구성에 따른 처리의 개요가 먼저 설명될 것이다.

(구성 A) 가시광 화상 및 원적외선 화상을 사용한 화상-기반 블러 추정 후에, 카메라 움직임 정보에 기초한 카메라 움직임-기반 블러 추정 정보를 이용하여 최종적으로 통합된 블러 추정을 실행하는 구성 예.

이 구성 A에서는, 도 1을 참조하여 설명된 2개의 처리 단계, 즉, 단계 S20의 블러 추정 처리 및 단계 S40의 블러 제거 처리가 수행된다.

도 7에 도시된 구성 A에서는, 도 1을 참조하여 설명된 단계 S20의 블러 추정 처리가 다음 3개의 단계를 포함한다는 점에 유의한다.

(단계 S21) 화상-기반 블러의 추정(Et);

(단계 S22) 카메라 움직임-기반 블러의 추정(Ec); 및

(단계 S23) 통합된 블러의 추정(Eall).

도 7 및 다른 도면들과 다음 설명에서 사용된 각각의 참조 기호의 의미에 대해 설명될 것이다:

Et: 가시광 화상 및 원적외선 화상에 기초하여 추정된 가시광 화상 블러, 구체적으로 PSF(point spread function)와 같은 디포커싱 형태 정보로서의 화상-기반 블러;

Ec: 화상(가시광 화상 및 원적외선 화상)을 촬영한 카메라의 움직임에 기초하여 추정된 가시광 화상 블러, 구체적으로 PSF와 같은 디포커싱 형태 정보로서의 카메라 움직임-기반 블러; 및

Eall: 화상-기반 블러(Et) 및 카메라 움직임-기반 블러(Ec)의 통합된 가시광 화상 블러, 구체적으로 PSF와 같은 디포커싱 형태 정보로서의 통합된 블러.

또한, 화상-기반 블러(Et)와 유사한 화상 블러(디포커싱)를 생성하기 위한 필터 또는 필터를 형성하는 필터 계수가 화상-기반 필터(Etf)로서 취해지고,

카메라 움직임-기반 블러(Ec)와 유사한 화상 블러(디포커싱)를 생성하기 위한 필터 또는 필터를 형성하는 필터 계수가 카메라 움직임-기반 필터(Ecf)로서 취해지고,

통합된 블러(Eall)와 유사한 화상 블러(디포커싱)를 생성하기 위한 필터 또는 필터를 형성하는 필터 계수가 통합된 필터(Eallf)로서 취해진다.

각각의 블러 및 각각의 필터는 분할된 화상 영역으로서의 각 블록 단위로 취득/산출/적용될 수 있다는 점에 유의한다.

또한, 단일 블러 형태로부터, 이러한 블러를 생성하기 위한 단일 필터가 고유하게 결정된다.

따라서, 예를 들어, 특정 형태의 화상-기반 필터(Etf)와 카메라 움직임-기반 블러(Ec)를 비교하여 화상-기반 필터(Etf)의 적용에 의해 생성된 블러 형태가 카메라 움직임-기반 블러(Ec)와 일치하거나 유사한지의 여부를 판정하는 처리가 수행될 수 있다. 즉, 블러와 필터 사이의 유사도를 판정하는 처리도 수행된다.

후술하는 실시예들에서, 그러한 처리도 수행된다.

도 7에 도시된 구성 A에서 실행되는 처리가 설명될 것이다.

먼저, 단계 S21에서는, 동일한 피사체의 동시 사진촬영된 블러가 있는 가시광 화상(11) 및 블러가 없는 원적외선 화상(12)이 입력되고, 이어서 서로 비교된다. 이러한 방식으로, 블러가 있는 가시광 화상(11)에 대한 화상-기반 블러(Et)를 추정하는 처리가 수행된다.

구체적으로, 다양한 PSF(point spread function)들에 대응하는 필터들, 즉, 블러들(디포커싱)을 생성하기 위한 필터들이 블러가 없는 원적외선 화상(12)에 적용됨으로써, 의도적으로 블러를 발생시킨 원적외선 화상을 생성한다. 이러한 필터가 적용된 원적외선 화상 및 블러가 있는 가시광 화상(11)은 서로 비교된다(상관이 산출된다).

즉, 블러가 없는 원적외선 화상(12)에 다양한 필터들이 적용되어 블러를 생성하고, 블러가 있는 가시광 화상(11)과의 비교가 수행된다. 이러한 방식으로, 블러가 있는 가시광 화상(11)의 블러 형태와 유사한 블러(디포커싱)를 생성하기 위한 필터가 선택되거나, 블러가 있는 가시광 화상(11)의 블러 형태와 유사한 블러(디포커싱)를 생성하기 위한 PSF(point spread function)가 산출된다.

예를 들어, 필터 선택은 미리 결정된 화소 블록 단위로 실행된다는 점에 유의한다.

다음으로, 단계 S22에서는, 카메라 움직임-기반 블러(Ec)를 추정하는 처리가 수행된다.

구체적으로, 촬영된 화상 상에 생성될 것으로 추정되는 블러는 예를 들어, IMU와 같은 센서에 의해 취득된 카메라 움직임에 따라 추정된다.

예를 들어, 도 4를 참조하여 앞서 설명된 블러의 방향 및 크기를 표시하는 벡터가 추정된다. 즉, 다양한 타입의 카메라 움직임에 따라 화상 상에 생성된 블러가 화상의 각 블록 단위로 추정된다.

다음으로, 단계 S23에서는, 단계 S21에서 추정된 화상-기반 블러(Et) 및 단계 S22에서 추정된 카메라 움직임-기반 블러(Ec)의 통합된 블러(Eall)가 추정된다.

이러한 통합 처리는 분할된 화상 영역으로서의 각 블록 단위로 실행된다.

이러한 통합 처리에 의해, 심지어 카메라 움직임을 고려하여, 가시광 화상(11)의 각 블록 단위로 블러가 추정된다.

이들 단계 S21 내지 S23의 처리가 종료되면, 단계 S40의 블러 제거 처리가 후속하여 실행된다.

단계 S40에서는, 단계 S23에서 추정된 블러가 있는 가시광 화상(11)의 블러 형태(Eall)를 표시하는 PSF 특성들과 유사한 필터 특성들과 반대인 특성들을 갖는 "역 필터"가 산출되거나 다양한 역 필터들을 저장하는 역 필터 뱅크로부터 선택되고, 이어서 산출되거나 선택된 역 필터가 블러가 있는 가시광 화상(11)에 적용된다.

전술한 바와 같이, 이러한 역 필터 적용 처리는 디컨볼루션 처리라고 호칭된다는 점에 유의한다. 디컨볼루션 처리를 실행하여, 블러가 있는 가시광 화상(11)으로부터, 블러(디포커싱)가 제거된 블러가 감소된 가시광 화상(15)을 생성한다.

역 필터를 산출하거나 선택 및 적용하는 처리가 미리 결정된 화소 블록 단위로 실행된다는 점에 유의한다.

(구성 B) 가시광 화상 및 원적외선 화상을 사용한 화상-기반 블러 추정과 카메라 움직임 정보에 기초한 카메라 움직임-기반 블러 추정을 조합하여 실행하여 통합된 블러 추정을 실행하는 구성 예.

다음으로, 구성 B가 설명될 것이다.

구성 B와 전술한 구성 A 사이의 차이는 도 1을 참조하여 설명된 단계 S20의 블러 추정 처리가 다음 2개의 단계를 포함한다는 점이다:

(단계 S22) 카메라 움직임-기반 블러의 추정(Ec); 및

(단계 S25) 통합된 블러의 추정(Eall).

먼저, 단계 S22에서는, 카메라 움직임-기반 블러(Ec)를 추정하는 처리가 수행된다.

이러한 처리는 전술한 (구성 A)에서의 단계 S22의 처리와 유사한 처리이다. 즉, 다양한 타입의 카메라 움직임에 따라 화상 상에 생성된 블러가 화상의 각 블록 단위로 추정된다.

다음으로, 단계 S25에서는, 통합된 블러(Eall)를 추정하는 처리가 실행된다.

이러한 처리는 동일한 피사체의 동시 사진촬영된 블러가 있는 가시광 화상(11) 및 블러가 없는 원적외선 화상(12)에 기초하여 블러가 있는 가시광 화상(11)의 블러를 추정하는 처리에서 단계 S22에서 이미 취득된 카메라 움직임-기반 블러(Ec)를 이용한 처리를 수행하기 위한 것이다.

구체적인 처리가 후술될 것이지만, 예를 들어, 이하의 2가지 타입의 처리 중 임의의 것이 실행된다:

(1) 단계 S22에서 이미 취득된 카메라 움직임-기반 블러(Ec)에 기초하여, 원적외선 화상에 적용될 필터, 즉, 블러(디포커싱)를 생성하기 위한 필터를 선택하는 처리; 및

(2) 단계(S22)에서 이미 취득된 카메라 움직임-기반 블러(Ec)에 기초하여, 필터가 적용된 원적외선 화상과 블러가 있는 가시광 화상(11) 사이의 상관 값을 보정하는 처리.

예를 들어, 단계 S25에서는, 이러한 2가지 타입의 처리 중 임의의 것을 실행하여 통합된 블러(Eall)를 추정하는 처리를 실행한다.

구체적인 처리에 대해서는 후술할 것이다.

단계 S40에서는, 단계 S25에서 추정된 블러가 있는 가시광 화상(11)의 블러 형태(Eall)를 표시하는 PSF 특성들과 유사한 필터 특성들과 반대인 특성들을 갖는 "역 필터"가 산출되거나 다양한 역 필터들을 저장하는 역 필터 뱅크로부터 선택되고, 이어서 산출되거나 선택된 역 필터가 블러가 있는 가시광 화상(11)에 적용된다.

(구성 A+C) 구성 A + 필터(블러) 추정 결과의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 수행하는 구성 예.

다음으로, (구성 A+C)가 설명될 것이다.

이 구성은 구성 A에 추가하여, 필터(블러) 추정 결과의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 수행하는 구성 예이다.

(구성 A+C)는 도 8의 (A+C)의 도면에 도시된 바와 같이, 단계 S40에서의 블러 제거 처리 전에 단계 S31에서 블러 추정 신뢰도 산출 처리가 실행되는 것을 특징으로 한다.

다른 구성들은 구성 A의 구성들과 유사하다.

단계 S31에서의 블러 추정 신뢰도 산출 처리에서는, 단계 S21의 화상-기반 블러 추정 결과(Et) 및 단계 S22의 카메라 움직임-기반 블러 추정 결과(Ec)가 서로 비교되고, 2개의 블러 추정 결과들 사이의 일치도가 높은 경우에 단계 S23에서 생성된 통합된 블러(Eall)의 추정 결과의 신뢰도가 높다고 판정한다.

단계 S31에서 생성된 신뢰도 정보는 단계 S40의 블러 제거 처리시 이용된다.

즉, 단계 S40의 블러 제거 처리시 적용되는 역 필터의 강도는 단계 S31에서 산출된 신뢰도 정보에 의해 조정된다.

구체적으로, 단계 S23에서 생성된 통합된 블러(Eall)의 추정 결과의 신뢰도가 낮은 경우, 단계 S40의 블러 제거 처리시 적용되는 역 필터의 강도를 감소시키는 처리가 수행된다. 신뢰도의 산출은 예를 들어, 미리 결정된 화소 블록 단위로 실행된다는 점에 유의한다.

이러한 처리에 의해, 필터(블러) 추정 결과의 신뢰도에 따라 역 필터가 적용될 수 있다.

다음으로, (구성 B+C)가 설명될 것이다.

이 구성은 구성 B에 추가하여, 필터(블러) 추정 결과의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 수행하는 구성 예이다.

(구성 B+C)는 도 8의 (B+C)의 도면에 도시된 바와 같이, 단계 S40에서의 블러 제거 처리 전에 단계 S32에서 블러 추정 신뢰도 산출 처리가 실행되는 것을 특징으로 한다.

다른 구성들은 구성 B의 구성들과 유사하다.

단계 S32에서의 블러 추정 신뢰도 산출 처리에서는, 단계 S22의 카메라 움직임-기반 블러 추정 결과(Ec) 및 단계 S25의 통합된 블러 추정 결과(Eall)가 서로 비교되고, 2개의 블러 추정 결과들 사이의 일치도가 높은 경우에 단계 S23에서 생성된 통합된 블러(Eall)의 추정 결과의 신뢰도가 높다고 판정한다.

단계 S32에서 생성된 신뢰도 정보는 단계 S40의 블러 제거 처리시 이용된다.

즉, 단계 S40의 블러 제거 처리시 적용되는 역 필터의 강도는 단계 S32에서 산출된 신뢰도 정보에 의해 조정된다.

구체적인 구성 예들 또는 처리 예들에 대해서는 후술될 것이라는 점에 유의한다.

(5. (제1 실시예) 구성 A에 대응하는 화상 처리 디바이스의 구성 및 처리)

다음으로, 본 개시내용의 화상 처리 디바이스의 제1 실시예로서, 도 7을 참조하여 설명된 구성 A에 대응하는 화상 처리 디바이스의 구체적인 구성 및 처리에 대해서 설명한다.

도 7을 참조하여 앞서 설명한 바와 같이, 구성 A는 가시광 화상 및 원적외선 화상을 사용한 화상-기반 블러 추정 후에, 카메라 움직임 정보에 기초한 카메라 움직임-기반 블러 추정 정보를 이용하여 최종적으로 통합된 블러 추정을 실행하는 구성이다.

구성 A의 통합된 블러(Eall) 추정 처리의 처리 형태는 다음 2가지 타입을 포함한다는 점에 유의한다:

(A1) 적용되거나 선택될 통합된 블러(Eall)가 피사체의 움직임량에 따라 화상-기반 블러(Et)와 카메라 움직임-기반 블러(Ec) 사이에서 스위칭되는 구성; 및

(A2) 화상-기반 블러(Et) 및 카메라 움직임-기반 블러(Ec)의 가중 평균을 통합된 블러(Eall)로서 이용하여 피사체의 움직임량에 따라 가중 평균 형태를 변경하는 구성.

도 4를 참조하여 앞서 설명한 바와 같이, 카메라 움직임-기반 블러(Ec)는 카메라 움직임에만 기초하여 화상에 대한 블러 형태를 추정하기 위한 것이다. 촬영된 화상 상의 피사체가 도 5를 참조하여 앞서 설명한 바와 같이 움직임이 있는 경우, 화상에 생성된 블러는 피사체 움직임에 따라 설정된다.

따라서, 촬영된 화상 상의 피사체의 움직임이 많은 경우, 카메라 움직임-기반 블러(Ec)가 직접 적용될 때, 잘못된 블러 추정이 수행된다.

전술한 (A1), (A2)는 이러한 문제를 해결하기 위한 2가지 타입의 방법이다.

피사체의 움직임량은 예를 들어, 다음의 입력된 환경 정보에 의해 판정된다는 점에 유의한다:

(a) 맵 정보: 저장 유닛에 미리 저장되어 있는 맵 정보 또는 네트워크를 통해 입력된 맵 정보는 도시 지역과 같은 차량/보행자가 많은 지역에는 피사체 움직임이 많다고 판정하고, 산간지 등에는 피사체 움직임이 적다고 판정한다;

(b) 시간 정보: 화상 처리 디바이스 또는 외부 디바이스에서 또는 네트워크를 통해 취득된 시간 정보는 시간대에 따라 피사체의 움직임량을 판정하는데, 예를 들어, 주간에는 피사체 움직임이 많고 야간에는 피사체 움직임이 적다고 판정한다;

(c) 교통 정보: 교통 정보는 네트워크를 통해 입력되고, 도로가 혼잡한 상황에서는 피사체 움직임이 많다고 판정하고 도로가 혼잡하지 않은 상황에서는 피사체 움직임이 적다고 판정한다;

(d) 화상 상의 위치(블록): 피사체의 움직임량은 화상 상의 영역 단위(블록 단위)로 미리 정의되고, 예를 들어, 수평 방향의 블록들은 피사체 움직임이 많고 상하 방향의 블록들은 피사체 움직임이 적다고 판정한다.

구성 A를 갖는 화상 처리 디바이스는 예를 들어, 전술한 환경 정보 (a) 내지 (d)를 수신하여, 통합된 블러(Eall) 추정 처리를 실행한다.

전술한 구성 (A1)에서는, 예를 들어, 전술한 환경 정보 (a) 내지 (d)를 입력하여 피사체의 움직임량을 판정한다. 피사체 움직임이 주어진 임계값 이상인 것으로 판정될 경우, 화상-기반 블러(Et)는 통합된 블러(Eall)로서 적용된다. 피사체 움직임이 임계값보다 작은 경우, 카메라 움직임-기반 블러(Ec)가 선택된다.

또한, 전술한 구성 (A2)에서는, 예를 들어, 전술한 환경 정보 (a) 내지 (d)를 입력하여 피사체의 움직임량을 판정한다. 화상-기반 블러(Et) 및 카메라 움직임-기반 블러(Ec)의 가중 평균의 형태는 피사체 움직임의 판정된 양에 따라 변경되고, 가중 평균 결과는 통합된 블러(Eall)로서 취해진다.

이하, 이들 2가지 타입의 처리를 실행하도록 구성된 화상 처리 디바이스의 구성에 대해서 순차적으로 설명할 것이다.

(A1) 적용되거나 선택될 통합된 블러(Eall)가 피사체의 움직임량에 따라 화상-기반 블러(Et)와 카메라 움직임-기반 블러(Ec) 사이에서 스위칭되는 구성;

전술한 구성 (A1)은 도 9를 참조하여 먼저 설명될 것이다.

도 9는 구성 A1에 대응하는 화상 처리 디바이스의 구성 및 처리를 설명하기 위한 도면이다.

도 9에 도시된 화상 처리 디바이스(A1, 20-A1)는 가시광 화상 입력 유닛(21), 원적외선 화상 입력 유닛(22), 카메라 움직임 정보 입력 유닛(23), 화상-기반 블러 추정기(30), 카메라 움직임-기반 블러 추정기(40), 통합된 블러 추정기(50), 블러 제거기(60), 필터 뱅크(35), 카메라 움직임 블러 맵 저장 유닛(45) 및 환경 정보 저장 유닛/입력 유닛(55)을 갖는다.

또한, 화상-기반 블러 추정기(30)는 필터 프로세서(31), 상관 연산기(32), 및 화상-기반 필터(Etf) 결정기(33)를 갖는다.

카메라 움직임-기반 블러 추정기(40)는 카메라 움직임 블러 맵 취득기(41)를 갖는다.

통합된 블러 추정기(50)는 피사체 움직임 판정기(51) 및 통합된 필터(Eallf) 결정기(52)를 갖는다.

또한, 블러 제거기(60)는 역 필터 산출기(61) 및 역 필터 프로세서(62)를 갖는다.

가시광 화상 입력 유닛(21)은 보정전 가시광 화상(25)을 화상-기반 블러 추정기(30) 및 블러 제거기(60)에 입력한다.

또한, 원적외선 화상 입력 유닛(22)은 원적외선 화상(26)을 화상-기반 블러 추정기(30)에 입력한다.

또한, 카메라 움직임 정보 입력 유닛(23)은 예를 들어, IMU와 같은 움직임 센서에 의해 취득된 카메라 움직임 정보를 카메라 움직임-기반 블러 추정기(40)에 입력한다.

가시광 화상 입력 유닛(21) 및 원적외선 화상 입력 유닛(22)으로부터 입력된 보정전 가시광 화상(25) 및 원적외선 화상(26)은 동일한 피사체의 동시 사진촬영된 화상들이다.

이러한 화상들은 예를 들어, 암흑에서 촬영된 화상들이며, 가시광 화상 입력 유닛(21)으로부터 입력된 보정전 가시광 화상(25)은 긴 노출로 인해 블러링된다(디포커싱된다).

한편, 원적외선 화상 입력 유닛(22)으로부터 입력된 원적외선 화상(26)은 단시간 동안 노출된 화상이며, 블러(디포커싱)이 거의 없는 화상이다.

보정전 가시광 화상(25) 및 원적외선 화상(26) 중 임의의 것은 WxH 화소를 갖는 화상, 즉, 가로 방향의 W 화소들 및 길이 방향의 H 화소들을 갖는 화상이라는 점에 유의한다. 도면에서, 보정전 가시광 화상(25) 및 원적외선 화상(26)은 보정전 가시광 화상 [W*H](25) 및 원적외선 화상 [W*H](26)으로서 도시되어 있다.

또한, 도면에 도시된 [W_B*H_B]는 분할된 화상 영역으로서의 단일 블록 영역을 표시한다.

화상 프레임 당 블록들의 수는 N이다.

다음으로, 화상-기반 블러 추정기(30)에 의해 실행되는 처리가 설명될 것이다.

화상-기반 블러 추정기(30)의 필터 프로세서(31)는 원적외선 화상(26)에, 필터 뱅크(35)에 저장되어 있는 다양한 필터들(블러(디포커싱) 생성 필터들)을 순차적으로 적용한다. 즉, 원적외선 화상(26) 상에 다양한 형태의 블러가 의도적으로 생성된다.

필터 뱅크(35)에는, 상이한 블러(디포커싱) 크기들 및 방향들의 많은 블러 생성 필터들이 저장된다. 즉, 다양한 PSF에 대응하는 많은 필터들이 저장된다.

화상-기반 블러 추정기(30)의 필터 프로세서(31)에 의해 원적외선 화상(26)에 필터들을 적용함으로써 의도적으로 블러링된 원적외선 화상은 상관 연산기(32)에 출력된다.

상관 연산기(32)는 필터 적용에 의해 의도적으로 블러링된 원적외선 화상과 보정전 가시광 화상(25) 사이의 상관을 산출한다.

필터 프로세서(31) 및 상관 연산기(32)에 의해 실행되는 필터 적용 처리 및 상관 산출 처리는 보정전 가시광 화상(25)의 N개의 블록 영역과 원적외선 화상(26)의 N개의 블록 영역의 대응하는 블록 단위로 실행된다는 점에 유의한다.

필터 프로세서(31)는 원적외선 화상(26)의 N개의 블록 각각에 대해 필터 뱅크(35)에 저장된 다양한 필터들(블러(디포커싱) 생성 필터들)을 순차적으로 적용한다.

원적외선 화상(26)의 N개의 블록 각각에 대해, 상관 연산기(32)는 필터 뱅크(35)에 저장된 다양한 필터들(블러(디포커싱) 생성 필터들)을 순차적으로 적용함으로써 획득된 결과와 보정전 가시광 화상(25) 사이의 상관을 산출하고, N개의 블록 각각에 대한 각각의 필터에 대응하는 상관 값을 화상-기반 필터(Etf) 결정기(33)에 출력한다.

각각의 블록에 대해, 화상-기반 필터(Etf) 결정기(33)는 상관 연산기(32)로부터의 입력 데이터, 즉, N개의 블록 각각에 대한 각각의 필터에 대응하는 상관 값들로부터, 가장 상관이 높은 블록에 대응하는 필터를 선택한다.

화상-기반 필터(Etf) 결정기(33)에 의해 선택된 N개의 블록 각각에 대한 N개의 필터는 통합된 블러 추정기(50)의 통합된 필터(Eallf) 결정기(52)에 입력된다.

통합된 블러 추정기(50)의 통합된 필터(Eallf) 결정기(52)는 화상-기반 필터(Etf) 결정기(33)로부터 가장 상관이 높은 블록에 대응하는 화상-기반 필터(Etf)를 수신하고, 카메라 움직임-기반 블러 추정기(40)의 카메라 움직임 블러 맵 취득기(41)로부터 카메라 움직임에 대응하는 카메라 움직임 블러 맵을 추가로 수신한다.

카메라 움직임-기반 블러 추정기(40)의 카메라 움직임 블러 맵 취득기(41)는 카메라 움직임 정보 입력 유닛(23)으로부터 입력된 카메라 움직임 정보에 기초하여, 카메라 움직임 블러 맵 저장 유닛(45)에 다양한 타입의 카메라 움직임에 대응하여 저장된 블러 맵들로부터 단일 카메라 움직임 블러 맵을 취득하고, 이러한 카메라 움직임 블러 맵을 통합된 블러 추정기(50)의 통합된 필터(Eallf) 결정기(52)에 입력한다.

카메라 움직임 블러 맵 저장 유닛(45)에 다양한 타입의 카메라 움직임에 대응하여 저장된 블러 맵들의 예들이 도 10에 도시된다.

도 10은 도 4를 참조하여 앞서 설명된 것과 유사한 카메라 움직임에 따라 촬영된 화상 상에 생성된 블러의 방향 및 크기를 표시하는 벡터의 설정들의 도면들을 도시한다.

각각의 화상은 미리 결정된 크기를 갖는 블록들로 분할된다. 도면에서는 간단한 방식으로 도시되었지만, 블러의 방향 및 크기를 표시하는 벡터는 각 블록 단위로 설정된다는 점에 유의한다.

분할된 화상 영역으로서의 각 블록 단위로 카메라 움직임에 따른 블러의 방향 및 크기를 표시하는 벡터의 전술한 설정들을 갖는 데이터는 카메라 움직임 블러 맵이라고 지칭될 것이다.

블록은 화상-기반 블러 추정기(30)의 상관 연산기(32)에서의 상관 산출 처리가 실행되는 블록과 동일한 블록이고, 또한 통합된 블러 추정기(50)에서 생성되는 통합된 필터(Eall)의 단위라는 점에 유의한다.

도 10은 다음의 4가지 타입의 카메라 움직임에 대응하는 블러 맵들의 예들을 도시한다:

(1) 카메라가 전방으로 직진할 경우의 카메라 움직임 블러 맵;

(2) 카메라가 후방으로 직진할 경우의 카메라 움직임 블러 맵;

(3) 카메라가 우측으로 회전할 경우의 카메라 움직임 블러 맵; 및

(4) 카메라가 상방으로 회전할 경우의 카메라 움직임 블러 맵.

전술한 것 이외에, 다양한 타입의 카메라 움직임에 대응하는 블러 맵들이 또한 카메라 움직임 블러 맵 저장 유닛(45)에 저장된다는 점에 유의한다.

카메라 움직임-기반 블러 추정기(40)의 카메라 움직임 블러 맵 취득기(41)는 카메라 움직임 정보 입력 유닛(23)으로부터 입력된 카메라 움직임 정보에 기초하여, 검출된 카메라 움직임과 일치하거나 그에 가장 가까운 카메라 움직임 설정에 대응하는 블러 맵을 선택하고, 선택된 블러 맵을 통합된 블러 추정기(50)의 통합된 필터(Eallf) 결정기(52)에 입력한다.

통합된 블러 추정기(50)의 통합된 필터(Eallf) 결정기(52)는 피사체 움직임 판정기(51)로부터 입력된 피사체 움직임량 판정 정보, 즉, 피사체 움직임량에 관한 판정 정보에 기초하여, 통합된 필터(Eallf)를, 카메라 움직임-기반 블러(Ec)에 기초한 화상-기반 필터(Etf) 또는 카메라 움직임-기반 필터(Ecf)로 설정할지를 결정한다.

이러한 결정 처리는 각 블록 단위로 실행된다는 점에 유의한다.

피사체 움직임 판정기(51)는 환경 정보 저장 유닛/입력 유닛(55)으로부터 환경 정보를 취득하고, 화상의 각 블록에 대하여, 블록이 많은 피사체 움직임 또는 적은 피사체 움직임을 포함하는지를 판정한다.

전술한 바와 같이, 환경 정보는 예를 들어, 맵 정보, 시간 정보, 교통 정보, 및 화상 상의 블록 위치에 관한 정보를 포함한다.

피사체 움직임 판정기(51)는 미리 정의된 알고리즘을 실행하여, 전술한 다양한 타입의 환경 정보에 기초하여, 각 블록 단위로, 블록이 많은 피사체 움직임을 포함하는지 또는 적은 피사체 움직임을 포함하는지를 판정하고, 이러한 블록별 판정 정보를 통합된 필터(Eallf) 결정기(52)에 출력한다.

통합된 필터(Eallf) 결정기(52)는 피사체 움직임 판정기(51)로부터 입력된 블록별 판정 정보, 즉, 블록이 많은 피사체 움직임 또는 적은 피사체 움직임을 포함하는지에 관한 판정 정보에 기초하여 이하의 처리를 수행한다.

많은 피사체 움직임을 갖는 블록에 대해서는, 화상-기반 블러 추정기(30)로부터 입력된 화상-기반 필터(Etf)가 통합된 필터(Eallf)로서 설정된다.

한편, 적은 피사체 움직임을 갖는 블록에 대해서는, 카메라 움직임-기반 블러 추정기(40)로부터 입력된 카메라 움직임 블러 맵에 포함된 블록별 카메라 움직임-기반 블러(Ec)에 기초하여 결정되는 카메라 움직임-기반 필터(Ecf)가 통합된 필터(Eallf)로서 설정된다.

전술한 바와 같이, 통합된 필터(Eallf) 결정기(52)는 각 블록 단위로, 화상-기반 필터(Etf) 및 카메라 움직임-기반 필터(Ecf) 중 임의의 것을 통합된 필터(Eallf)로서 취하는 필터 선택 처리를 수행한다.

통합된 필터(Eallf) 결정기(52)에 의해 결정된 블록별 통합된 필터(Eallf)는 블러 제거기(60)의 역 필터 산출기(61)에 입력된다.

블러 제거기(60)의 역 필터 산출기(61)는 통합된 필터(Eallf) 결정기(52)에 의해 결정된 블록별 통합된 필터(Eallf)를 수신함으로써, 각각의 블록별 통합된 필터(Eallf)와 반대인 특성들을 갖는 역 필터를 생성한다.

즉, 역 필터 산출기(61)는 디컨볼루션 필터를 생성하고, 디컨볼루션 필터를 역 필터 프로세서(62)에 출력한다.

디컨볼루션 필터는 각각의 블록별 통합된 필터(Eallf)와 반대인 특성들을 갖는 필터이다.

블러 제거기(60)의 역 필터 프로세서(62)는 역 필터 산출기(61)로부터 각 블록에 대응하는 역 필터를 수신하고, 입력된 역 필터를, 가시광 화상 입력 유닛(21)으로부터 입력된 보정전 가시광 화상(25)의 대응하는 블록에 적용한다.

즉, 역 필터 프로세서(62)는 보정전 가시광 화상(25)의 대응하는 블록에, 화상-기반 필터(Etf) 또는 카메라 움직임-기반 필터(Ecf) 중 임의의 것과 반대인 특성들을 갖는 역 필터를 통합된 블러 추정기(50)의 통합된 필터(Eallf) 결정기(52)에 의해 결정된 블록별 필터로서 적용한다.

가시광 화상 입력 유닛(21)으로부터 입력된 보정전 가시광 화상(25)의 N개의 블록 모두에 대한 역 필터 적용 처리가 완료될 때, 최종 화상은 보정후 가시광 화상(27)으로서 출력된다.

이러한 타입들의 처리에 의해, 블러(디포커싱)가 제거 또는 감소된 보정후 가시광 화상(27)이 보정전 가시광 화상(25)으로부터 생성되어, 출력된다.

(A2) 화상-기반 블러(Et) 및 카메라 움직임-기반 블러(Ec)의 가중 평균이 피사체의 움직임량에 따라 가중 평균 형태를 변경하기 위해 통합된 블러(Eall)로서 이용되는 구성:

다음으로, 전술한 구성 (A2)이 도 11을 참조하여 설명될 것이다.

도 11은 구성 A2에 대응하는 화상 처리 디바이스의 구성 및 처리를 설명하기 위한 도면이다.

도 11에 도시된 화상 처리 디바이스(A2, 20-A2)는 가시광 화상 입력 유닛(21), 원적외선 화상 입력 유닛(22), 카메라 움직임 정보 입력 유닛(23), 화상-기반 블러 추정기(30), 카메라 움직임-기반 블러 추정기(40), 통합된 블러 추정기(50), 블러 제거기(60), 필터 뱅크(35), 카메라 움직임 블러 맵 저장 유닛(45), 및 환경 정보 저장 유닛/입력 유닛(55)을 갖는다.

카메라 움직임-기반 추정기(40)는 카메라 움직임 블러 맵 취득기(41)를 갖는다.

통합된 블러 추정기(50)는 가중치 산출기(53) 및 통합된 필터(Eallf) 산출기(54)를 갖는다.

도 9를 참조하여 앞서 설명된 구성 A1에 대응하는 화상 처리 디바이스(A1, 20-A1)와의 차이는 통합된 블러 추정기(50)의 구성만인데, 즉, 통합된 블러 추정기(50)가 가중치 산출기(53) 및 통합된 필터(Eallf) 산출기(54)를 갖는다는 점이다.

다른 구성은 도 9를 참조하여 앞서 설명된 구성 A1에 대응하는 화상 처리 디바이스(A1, 20-A1)의 구성과 유사하고, 유사한 처리가 또한 적용된다.

이하, 도 11에 도시된 화상 처리 디바이스(A2, 20-A2)에서의 통합된 블러 추정기(50)의 가중치 산출기(53) 및 통합된 필터(Eallf) 산출기(54)의 처리가 설명될 것이다.

통합된 블러 추정기(50)의 통합된 필터(Eallf) 산출기(54)는 화상-기반 필터(Etf) 결정기(33)로부터 가장 높은 상관을 갖는 블록에 대응하는 화상-기반 필터(Etf)를 수신하고, 카메라 움직임-기반 블러 추정기(40)의 카메라 움직임 블러 맵 취득기(41)로부터 카메라 움직임에 대응하는 카메라 움직임 블러 맵을 추가로 수신한다.

카메라 움직임-기반 블러 추정기(40)의 카메라 움직임 블러 맵 취득기(41)는 카메라 움직임 정보 입력 유닛(23)으로부터 입력된 카메라 움직임 정보에 기초하여, 카메라 움직임 블러 맵 저장 유닛(45)에 저장된 다양한 타입의 카메라 움직임에 대응하는 블러 맵들로부터 단일 카메라 움직임 블러 맵을 취득하고, 그러한 카메라 움직임 블러 맵을 통합된 블러 추정기(50)의 통합된 필터(Eallf) 산출기(54)에 입력한다.

통합된 필터(Eallf) 산출기(54)는 카메라 움직임 블러 맵으로부터 취득된 블록별 카메라 움직임 블러(Ec)로부터, 그러한 블러에 대응하는 필터, 즉 그러한 블러를 생성하기 위한 필터로서 카메라 움직임 필터(Ecf)를 산출한다.

또한, 통합된 필터(Eallf) 산출기(54)는 가중치 산출기(53)로부터 입력된 가중치 정보를 사용하여 화상-기반 필터(Etf) 및 카메라 움직임-기반 필터(Ecf)에 대한 가중 평균을 수행하여, 통합된 필터(Eallf)를 산출한다.

구체적으로, 통합된 필터(Eallf)는 예를 들어, 가중 계수들 α, β을 사용하여 다음의 계산 표현식에 따라 산출된다:

Eallf = α(Etf) + β(Ecf)

전술한 표현식은 각 필터의 필터 계수를 산출하기 위한 표현식에 대응한다는 점에 유의한다.

또한, 통합된 필터(Eallf)를 산출하는 처리는 각 블록 단위로 실행된다.

가중 계수들 α, β은 0 내지 1의 값들이고, 가중치 산출기(53)로부터 입력된다.

가중치 산출기(53)는 환경 정보 저장 유닛/입력 유닛(55)으로부터 환경 정보를 취득하고, 화상의 각 블록에 대하여 가중 계수들 α, β을 산출한다.

가중치 산출기(53)는 미리 정의된 알고리즘을 실행하여, 전술한 바와 같은 다양한 타입의 환경 정보에 기초하여, 각 블록 단위로 가중 계수들 α, β을 산출한다.

구체적으로, 많은 피사체 움직임을 갖는 블록에 대해서는, 가중 계수 α가 더 큰 값으로 설정된다. 즉, 화상-기반 필터(Etf)의 기여율을 높게 설정한 통합된 필터(Eallf)가 산출될 수 있도록 가중 계수가 설정된다.

한편, 작은 피사체 움직임을 갖는 블록에 대해서는, 가중 계수 β가 더 큰 값으로 설정된다. 즉, 카메라 움직임-기반 필터(Ecf)의 기여율을 높게 설정한 통합된 필터(Eallf)가 산출될 수 있도록 가중 계수가 설정된다.

통합된 필터(Eallf) 산출기(54)는 가중치 산출기(53)로부터 입력된 블록별 가중치 정보, 즉, 전술한 각각의 블록별 가중 계수들 α, β을 사용하여 화상-기반 필터(Etf) 및 카메라 움직임-기반 필터(Ecf)에 대한 가중 평균을 수행하여, 통합된 필터(Eallf)를 산출한다.

그 결과, 많은 피사체 움직임을 갖는 블록에 대해서는, 화상-기반 블러 추정기(30)로부터 입력된 화상-기반 필터(Etf)의 기여율이 높은 통합된 필터(Eallf)가 산출된다.

한편, 적은 피사체 움직임을 갖는 블록에 대해서는, 카메라 움직임-기반 블러 추정기(40)로부터 입력된 카메라 움직임 블러 맵에 포함된 블록별 카메라 움직임-기반 블러(Ec)에 기초하여 결정된 카메라 움직임-기반 필터(Ecf)의 기여율이 높은 통합된 필터(Eallf)가 산출된다.

전술한 바와 같이, 통합된 필터(Eallf) 산출기(54)는 각 블록 단위로, 화상-기반 필터(Etf) 및 카메라 움직임-기반 필터(Ecf)의 가중 평균을 산출하여, 통합된 필터(Eallf)를 산출하는 처리를 수행한다.

통합된 필터(Eallf) 산출기(54)에 의해 산출된 블록별 통합된 필터(Eallf)는 블러 제거기(60)의 역 필터 산출기(61)에 입력된다.

블러 제거기(60)의 역 필터 프로세서(62)는 역 필터 산출기(61)로부터 각 블록에 대응하는 역 필터를 수신하고, 입력된 역 필터를 가시광 화상 입력 유닛(21)으로부터 입력된 보정전 가시광 화상(25)의 대응하는 블록에 적용한다.

다음으로, 도 9 및 도 11을 참조하여 설명된 구성 A에 대응하는 화상 처리 디바이스에 의해 실행되는 처리의 시퀀스가 도 12 및 후속 도면들에 도시된 흐름도들을 참조하여 설명될 것이다.

도 12 및 후속 도면들에 도시된 흐름도들에 따른 처리는 예를 들어, 화상 처리 디바이스의 저장 유닛에 저장된 프로그램에 따라 실행가능한 처리이고, 프로그램 실행 기능을 갖는 CPU 등을 포함하는 제어기(데이터 프로세서)의 제어 하에서 실행될 수 있다는 점에 유의한다.

먼저, 도 9를 참조하여 설명된 바와 같이 피사체의 움직임량에 따라 (A1) 적용되거나 선택될 통합된 블러(Eall)가 화상-기반 블러(Et)와 카메라 움직임-기반 블러(Ec) 사이에서 스위칭되도록 구성되는 화상 처리 디바이스(-A1)에 의해 실행되는 처리의 시퀀스가 도 12의 흐름도를 참조하여 설명될 것이다.

이하, 도 12에 도시한 흐름의 각 단계의 처리에 대해서 순차적으로 설명할 것이다.

(단계 S101)

먼저, 단계 S101에서, 보정 대상으로서의 가시광 화상이 취득된다.

이 처리는 도 9에 도시된 화상 처리 디바이스에서의 가시광 화상 입력 유닛(21)에 의해 수행된다. 구체적으로, 이 처리는 예를 들어, 가시광 화상 카메라에 의해 촬영된 화상을 취득하는 처리이다.

(단계 S102)

다음으로, 단계 S102에서, 참조 화상으로서 이용될 원적외선 화상이 취득된다.

이 처리는 도 9에 도시된 화상 처리 디바이스에서의 원적외선 화상 입력 유닛(22)에 의해 실행된다. 구체적으로, 이 처리는 예를 들어, 원적외선 화상 카메라에 의해 촬영된 화상을 취득하는 처리이다.

단계 S101 및 단계 S102에서 취득된 가시광 화상 및 원적외선 화상은 동일한 피사체의 동시 사진촬영에 의해 촬영된 화상들이라는 점에 유의한다.

이러한 화상들은 예를 들어, 암흑에서 촬영된 화상들이고, 가시광 화상은 긴 노출로 인해 블러링된다(디포커싱된다). 한편, 원적외선 화상은 단시간 동안 노출된 화상이며, 블러(디포커싱)이 거의 없는 화상이다.

(단계 S103)

다음으로, 단계(S103)에서, 카메라 움직임 정보가 획득된다.

이 처리는 도 9에 도시된 화상 처리 디바이스에서의 카메라 움직임 정보 입력 유닛(23)에 의해 수행된다. 구체적으로, 예를 들어, IMU와 같은 센서에 의해 카메라 움직임 정보가 취득되어 입력된다.

(단계 S104)

다음으로, 단계 S104에서, 카메라 움직임 블러 맵은 단계 S103에서 입력된 카메라 움직임 정보에 기초하여 취득된다.

이 처리는 도 9에 도시된 화상 처리 디바이스에서의 카메라 움직임-기반 블러 추정기(40)의 카메라 움직임 블러 맵 취득기(41)에 의해 실행되는 처리이다.

카메라 움직임-기반 블러 추정기(40)의 카메라 움직임 블러 맵 취득기(41)는 카메라 움직임 정보 입력 유닛(23)으로부터 입력된 카메라 움직임 정보에 기초하여, 카메라 움직임 블러 맵 저장 유닛(45)에 저장된 다양한 타입의 카메라 움직임에 대응하는 블러 맵들로부터 단일 카메라 움직임 블러 맵을 취득하고, 이 카메라 움직임 블러 맵을 통합된 블러 추정기(50)의 통합된 필터(Eallf) 결정기(52)에 입력한다.

(단계 S105)

후속 단계 S105로부터 단계 S107까지의 처리는 가시광 화상 및 원적외선 화상에 설정된 분할된 영역들로서의 모든 블록에 대해 순차, 반복적으로 실행되는 루프 처리(루프 1)이다.

블록들의 수는 N이라는 점에 유의한다.

(단계 S106)

단계 S106에서, 화상-기반 필터(Etf)가 각 블록 단위로 취득된다.

이 처리는 도 9에 도시된 화상 처리 디바이스에서의 화상-기반 블러 추정기(30)에 의해 실행되는 처리이다.

단계 S106의 처리의 상세에 대해서는 도 13에 도시된 흐름을 참조하여 설명될 것이다.

단계 S106에서 각 블록 단위로 화상-기반 필터(Etf)를 취득하는 이러한 처리에 대해서는, 단계 S101에서 취득된 가시광 화상 및 단계 S102에서 취득된 원적외선 화상이 이용된다. 따라서, 도 13에는 또한 단계 S101 및 단계 S102가 도시되어 있다.

단계 S106의 상세한 처리는 도 13에 도시된 단계들 S121 내지 S126의 처리이다.

이하, 이 처리에 대해서 순차적으로 설명할 것이다.

(단계 S121)

단계 S121 내지 단계 S125의 처리는 필터 뱅크(35)에 저장된 모든 필터에 대응하는 모든 필터 ID에 대해 순차, 반복적으로 실행되는 루프 처리(루프 1b)이다.

(단계 S122)

단계 S122에서, 필터(계수)가 취득된다.

단계들 S122 내지 S123의 처리는 도 9에 도시된 화상-기반 블러 추정기(30)의 필터 프로세서(31)에 의해 실행되는 처리이다. 필터 프로세서(31)는 필터 뱅크(35)로부터, 원적외선 화상의 각각의 블록에 적용될 필터(필터(디포커싱) 생성 필터)를 순차적으로 취득한다.

필터 뱅크(35)로부터 순차적으로 취득된 데이터는 필터 자체 또는 필터를 형성하는 데이터로서의 필터 계수 중 임의의 것일 수 있다는 점에 유의한다.

(단계 S123)

다음으로, 단계 S123에서, 단계 S122에서 취득된 필터는 원적외선 화상의 단일 블록, 즉, 현재 처리 대상으로서 선택된 블록에 적용된다.

이 처리는 원적외선 화상을 의도적으로 블러링하기 위한 필터 처리이다.

(단계 S124)

다음으로, 단계(S124)에서, 단계(S123)에서 필터 적용 결과로서 원적외선 화상의 블록과 가시광 화상의 대응하는 블록 사이의 상관 값이 산출된다.

이 처리는 도 9에 도시된 화상-기반 블러 추정기(30)의 상관 연산기(32)에 의해 실행되는 처리이다.

상관 연산기(32)는 필터 적용에 의해 의도적으로 블러링시킨 원적외선 화상과 가시광 화상 사이의 상관을 산출한다.

(단계 S125)

단계 S125는 단계들 S121 내지 S125의 루프 1b의 종료 위치이다.

즉, 단계들 S122 내지 S124의 처리는 필터 뱅크(35)에 저장된 모든 필터에 대응하는 모든 필터 ID에 대해 순차, 반복적으로 실행된다.

(단계 S126)

단일 블록에 대한 단계들 S121 내지 S125의 루프 1b의 처리가 완료될 때, 처리는 단계 S126으로 진행한다.

즉, 단일 블록에 대해, 필터 뱅크(35)에 저장된 모든 필터에 대응하는 상관 값들을 산출하는 처리가 종료될 때, 처리는 단계 S126으로 진행한다.

단계 S126의 처리는 도 9에 도시된 화상-기반 블러 추정기(30)의 화상-기반 필터(Etf) 결정기(33)에 의해 실행되는 처리이다.

단계 S126에서, 화상-기반 필터(Etf) 결정기(33)는 단계들 S121 내지 S125의 루프 1b의 처리가 완료된 블록에 대해, 필터 뱅크(35)에 저장된 모든 필터에 대응하는 상관 값들 중에서 가장 높은 상관 값을 갖는 필터 ID를 선택한다.

도 12에 도시된 흐름의 단계 S106의 처리는 이 단계들 S121 내지 S126의 처리를 포함한다.

도 12를 다시 참조하여, 단계 S106의 처리 후의 처리가 설명될 것이다.

(단계 S107)

단계 S107은 단계들 S105 내지 S107의 루프 1의 종료 위치이다.

즉, 단계 S106의 처리는 가시광 화상 및 원적외선 화상에 설정된 분할된 영역들로서의 모든 블록에 대해 순차, 반복적으로 실행된다.

이 루프 처리(루프 1)가 완료될 때, 모든 N 블록에 대해 가장 높은 상관 값을 갖는 화상-기반 필터(Etf)가 결정된다.

(단계 S108)

다음으로, 단계 S108에서, 화상의 촬영시의 환경 정보가 취득된다.

이 처리는 도 9에 도시된 화상 처리 디바이스의 환경 정보 저장 유닛/입력 유닛(55)을 이용하여 실행된다.

(단계 S109)

후속 단계 S109로부터 단계 S112까지의 처리는 가시광 화상 및 원적외선 화상에 설정된 분할된 영역들로서의 모든 블록에 대해 순차, 반복적으로 실행되는 루프 처리(루프 2)이다.

블록들의 수는 N이라는 점에 유의한다.

(단계 S110)

단계들 S110 내지 S111의 처리는 도 9에 예시된 통합된 블러 추정기(50)에 의해 실행되는 처리이다.

먼저, 단계(S110)에서, 통합된 블러 추정기(50)의 피사체 움직임 판정기(51)는 전술한 바와 같이 미리 정의된 알고리즘을 실행하여, 다양한 타입의 환경 정보에 기초하여 블록이 각 블록 단위로 많은 피사체 움직임을 포함하는지 또는 적은 피사체 움직임을 포함하는지를 판정한다. 각 블록 단위의 판정 정보는 통합된 필터(Eallf) 결정기(52)에 출력된다.

(단계 S111)

다음으로, 단계 S111에서, 통합된 필터(Eallf) 결정기(52)는 각 블록 단위로, 화상-기반 필터(Etf) 및 카메라 움직임-기반 필터(Ecf) 중 임의의 것을 통합된 필터(Eallf)로서 취하는 필터 선택 처리를 수행한다.

구체적으로, 많은 피사체 움직임을 갖는 블록에 대해서는, 화상-기반 블러 추정기(30)로부터 입력된 화상-기반 필터(Etf)가 통합된 필터(Eallf)로서 설정된다.

(단계 S112)

단계 S112는 단계들 S109 내지 S112의 루프 2의 종료 위치이다.

즉, 가시광 화상 및 원적외선 화상에 설정된 분할 영역들로서의 모든 블록에 대하여 단계 S110 내지 S111의 처리를 순차, 반복적으로 실행한다.

이 루프 처리(루프 2)가 완료될 때, 모든 N개의 블록에 대해 통합된 필터(Eallf)가 결정되게 된다.

(단계 S113)

후속 단계 S113으로부터 단계 S116까지의 처리는 가시광 화상 및 원적외선 화상에 설정된 분할된 영역들로서의 모든 블록에 대해 순차, 반복적으로 실행되는 루프 처리(루프 3)이다.

블록들의 수는 N이라는 점에 유의한다.

(단계 S114)

단계들 S114 내지 S115의 처리는 도 9에 도시된 블러 제거기(60)에 의해 실행되는 처리이다.

먼저, 단계 S114에서, 블러 제거기(60)의 역 필터 산출기(61)는 통합된 필터(Eallf) 결정기(52)에 의해 결정된 블록별 통합된 필터(Eallf)를 수신함으로써, 각각의 블록별 통합된 필터(Eallf)와 반대인 특성들을 갖는 역 필터를 산출한다.

(단계 S115)

다음으로, 단계 S115에서, 블러 제거기(60)의 역 필터 프로세서(62)는 단계 S114에서 산출된 역 필터를 가시광 화상의 처리 대상 블록에 적용한다.

(단계 S116)

단계 S116은 단계들 S113 내지 S116의 루프 3의 종료 위치이다.

즉, 보정 대상 화상으로서의 가시광 화상에 설정된 분할 영역으로서의 모든 블록에 대하여, 단계들 S114 내지 S115의 처리를 순차, 반복적으로 실행한다.

가시광 화상의 모든 N개의 블록에 대해 역 필터 적용 처리가 완료될 때, 최종 화상은 보정후 가시광 화상으로서 출력된다.

이들 타입의 처리에 의해, 도 9에 도시된 바와 같이 블러(디포커싱)이 제거되거나 감소된 보정후 가시광 화상(27)이 단계 S101에서의 입력 화상으로서의 가시광 화상, 즉, 도 9에 도시된 보정전 가시광 화상(25)으로부터 생성되어, 출력된다.

다음으로, 도 11을 참조하여 설명된 바와 같이, (A2) 화상-기반 블러(Et) 및 카메라 움직임-기반 블러(Ec)의 가중 평균을 통합된 블러(Eall)로서 이용하여, 피사체의 움직임량에 따라 가중 평균 형태를 변경하도록 구성된 화상 처리 디바이스(-A2)에 의해 실행되는 처리의 시퀀에 대해 도 14의 흐름도를 참조하여 설명할 것이다.

도 14에 도시된 흐름과 구성 A1에 대응하는 처리를 설명하기 위한 도 12에 도시된 흐름 간의 차이는 도 14에 도시된 흐름의 단계들 S110b 내지 S111b뿐이라는 점에 유의한다. 즉, 차이는 도 12에 도시된 흐름의 단계 S110이 도 14에 도시된 흐름의 단계 S110b로 대체되고 도 12에 도시된 흐름의 단계 S111이 도 14에 도시된 흐름의 단계 S111b로 대체된다는 것이다.

다른 타입들의 처리는 도 12에 도시된 흐름의 각 타입의 처리와 유사한 처리이므로, 그 설명은 반복되지 않을 것이다. 이하, 전술한 단계들 S110b 내지 S111b의 처리에 대해서 설명할 것이다.

(단계 S110b)

블록들의 수는 N이라는 점에 유의한다.

단계들 S110b 내지 S111b의 처리는 도 11에 도시된 통합된 블러 추정기(50)에 의해 실행되는 처리이다.

먼저, 단계 S110b에서, 통합된 블러 추정기(50)의 가중치 산출기(53)는 환경 정보 저장 유닛/입력 유닛(55)으로부터 환경 정보를 취득하고, 화상의 각 블록에 대한 가중치 정보를 산출한다.

예를 들어, 화상-기반 필터(Etf) 및 카메라 움직임-기반 필터(Ecf)의 가중 평균을 계산하기 위한 표현식, 즉, 다음과 같은 가중 계수들 α, β에 의한 통합된 필터(Eallf)를 산출하기 위한 표현식은 Eallf=α(Etf)+β(Ecf)이다.

가중치 정보는 전술한 표현식에서의 가중 계수들 α, β의 각각의 값이다.

통합된 블러 추정기(50)의 가중치 산출기(53)는 전술한 바와 같이 미리 정의된 알고리즘을 실행하여, 다양한 타입의 환경 정보에 기초하여 각 블록 단위로 가중 계수들 α, β을 산출한다.

구체적으로, 많은 피사체 움직임을 갖는 블록에 대해서는, 가중 계수 α가 더 큰 값으로 설정된다.

한편, 작은 피사체 움직임을 갖는 블록에 대해서는, 가중 계수 β가 더 큰 값으로 설정된다.

(단계 S111b)

다음으로, 단계 S111b에서, 통합된 필터(Eallf) 산출기(54)는 가중치 산출기(53)로부터 입력된 블록별 가중치 정보, 즉, 전술한 바와 같은 각 블록 단위의 가중 계수들 α, β을 사용하여, 화상-기반 필터(Etf) 및 카메라 움직임-기반 필터(Ecf)에 대한 가중 평균을 수행함으로써, 통합된 필터(Eallf)를 산출한다.

구체적으로, 많은 피사체 움직임을 갖는 블록에 대해서는, 화상-기반 필터(Etf)의 기여율을 높게 설정한 통합된 필터(Eallf)가 산출된다.

한편, 적은 피사체 움직임을 갖는 블록에 대해서는, 카메라 움직임-기반 필터(Ecf)의 기여율을 높게 설정한 통합된 필터(Eallf)가 산출된다.

단계들 S109 내지 S112에서, 가시광 화상 및 원적외선 화상에 설정된 분할 영역들로서의 모든 블록에 대해 단계들 S110b 내지 S111b의 처리가 순차, 반복적으로 실행된다.

단계(S113)에 후속하는 단계들에서, 통합된 필터(Eallf)의 역 필터의 산출 및 보정 대상 가시광 화상에 대한 통합된 필터(Eallf)의 적용 처리는 블러 제거기(60)에서 수행된다.

이들 타입의 처리에 의해, 도 11에 도시된 바와 같이 블러(디포커싱)이 제거되거나 감소된 보정후 가시광 화상(27)이 단계 S101에서의 입력 화상으로서의 가시광 화상, 즉, 도 11에 도시된 보정전 가시광 화상(25)으로부터 생성되어, 출력된다.

(6. (제2 실시예) 구성 B에 대응하는 화상 처리 디바이스의 구성 및 처리)

다음으로, 도 7을 참조하여 설명된 구성 B에 대응하는 화상 처리 디바이스의 구체적인 구성 및 처리에 대해서 본 개시내용의 화상 처리 디바이스의 제2 실시예로서 설명할 것이다.

도 7을 참조하여 앞서 기술된 바와 같이, 구성 B는 가시광 화상과 원적외선 화상을 사용하는 화상-기반 블러 추정 및 카메라 움직임 정보에 기초한 카메라 움직임-기반 블러 추정을 조합하여 실행해서 통합된 블러 추정을 실행하는 구성이다.

다음과 같은 2가지 타입의 처리 중 임의의 것이 구성 B에서의 통합된 블러(Eall)를 생성하는 처리에서 실행된다는 점에 유의한다:

(B1) 카메라 움직임-기반 블러(Ec)에 기초하여, 원적외선 화상에 적용될 필터, 즉, 블러(디포커싱)를 생성하는 필터를 선택하는 처리; 및

(B2) 카메라 움직임-기반 블러(Ec)에 기초하여 필터가 적용된 원적외선 화상과 블러가 있는 가시광 화상 사이의 상관 값을 보정하는 처리.

(B1) 카메라 움직임-기반 블러(Ec)에 기초하여, 원적외선 화상에 적용될 필터, 즉, 블러(디포커싱)를 생성하기 위한 필터를 선택하는 처리:

전술한 처리를 실행하도록 구성된 화상 처리 디바이스(-B1)의 구성을 먼저 도 15를 참조하여 설명할 것이다.

도 15는 화상 처리 디바이스(-B1)의 구성 및 처리를 설명하기 위한 도면이다.

도 15에 도시된 화상 처리 디바이스(B1, 20-B1)는 가시광 화상 입력 유닛(21), 원적외선 화상 입력 유닛(22), 카메라 움직임 정보 입력 유닛(23), 블러 추정기(30b), 카메라 움직임-기반 블러 추정기(40), 블러 제거기(60), 필터 뱅크 풀(36), 및 카메라 움직임 블러 맵 저장 유닛(45)을 갖는다.

또한, 블러 추정기(30b)는 필터 프로세서(31), 상관 연산기(32), 필터 뱅크 선택기(34), 및 통합된 필터(Eallf) 결정기(37)를 갖는다.

가시광 화상 입력 유닛(21)은 보정전 가시광 화상(25)을 블러 추정기(30b) 및 블러 제거기(60)에 입력한다.

또한, 원적외선 화상 입력 유닛(22)은 원적외선 화상(26)을 블러 추정기(30b)에 입력한다.

또한, 카메라 움직임 정보 입력 유닛(23)은 IMU와 같은 움직임 센서에 의해 취득된 카메라 움직임 정보를 예를 들어, 카메라 움직임-기반 블러 추정기(40)에 입력한다.

보정전 가시광 화상(25) 및 원적외선 화상(26) 중 임의의 것은 WxH 화소를 갖는 화상, 즉, 가로 방향의 W 화소들 및 길이 방향의 H 화소들을 갖는 화상라는 점에 유의한다. 도면에서, 보정전 가시광 화상(25) 및 원적외선 화상(26)은 보정전 가시광 화상 [W*H](25) 및 원적외선 화상 [W*H](26)으로서 도시되어 있다.

화상 프레임 당 블록들의 수는 N이다.

다음으로, 블러 추정기(30b)에 의해 실행되는 처리에 대해서 설명할 것이다.

블러 추정기(30b)의 필터 프로세서(31)는 원적외선 화상(26)에, 필터 뱅크 선택기(34)에 의해 필터 뱅크 풀(36)로부터 선택된 필터 뱅크(35)에 저장된 다양한 필터들(블러(디포커싱) 생성 필터들)을 순차적으로 적용한다. 즉, 원적외선 화상(26) 상에 다양한 형태의 블러가 의도적으로 생성된다.

필터 뱅크(35)에서, 특정 범위들 내의 크기들 및 방향들에 대한 다수의 상이한 블러(디포커싱) 생성 필터들이 저장된다. 즉, 다양한 PSF에 대응하는 많은 필터들이 저장된다.

필터 뱅크(35)는 필터 뱅크 선택기(34)에 의해 필터 뱅크 풀(36)로부터 선택된 하나의 필터 뱅크이다.

필터 뱅크 선택기(34)는 카메라 움직임-기반 블러 추정기(40)의 카메라 움직임 블러 맵 취득기(41)로부터 카메라 움직임에 대응하는 카메라 움직임 블러 맵을 수신하고, 필터 뱅크 풀(36)로부터, 입력된 카메라 움직임 블러 맵에 설정된 블러와 유사한 방향들 및 크기들을 갖는 블러들에 대응하는 필터들을 저장한 필터 뱅크를 선택한다.

이러한 필터 뱅크 선택 처리는 분할된 화상 영역으로서의 각 블록 단위로 실행된다는 점에 유의한다.

필터 뱅크 풀(36)에 저장된 필터 뱅크들의 예들 및 카메라 움직임 블러 맵에 기초하여 필터 뱅크를 선택하는 처리의 예가 도 16을 참조하여 설명될 것이다.

도 16의 (1)은 필터 뱅크 풀(36)에 저장된 필터 뱅크들의 예들을 도시한다.

필터 뱅크 풀(36)에 저장된 필터 뱅크들은 예를 들어, 도 16의(1)에 도시된 바와 같은 다음의 필터 뱅크들을 포함한다:

(a1) 수평 블러에 대응하는 필터 뱅크;

(a2) 긴 수평 블러에 대응하는 필터 뱅크;

(b1) 수직 블러에 대응하는 필터 뱅크; 및

(c) 우측 상단을 향하는 대각선 방향의 블러에 대응하는 필터 뱅크.

전술한 바와 같이, 유사한 설정들을 갖는 다수의 블러에 대응하는 다수의 필터, 즉, 유사한 블러들을 생성하기 위한 유사한 계수 설정들을 갖는 다수의 필터를 저장한 다수의 필터 뱅크들이 필터 뱅크 풀(36)에 저장된다.

필터 뱅크 선택기(34)는 카메라 움직임-기반 블러 추정기(40)의 카메라 움직임 블러 맵 취득기(41)로부터 카메라 움직임에 대응하는 카메라 움직임 블러 맵을 수신하고, 필터 뱅크 풀(36)로부터, 입력된 카메라 움직임 블러 맵에 설정된 블러와 유사한 방향들 및 크기들을 갖는 블러들에 대응하는 필터들을 저장하는 필터 뱅크를 선택한다.

도 16의 (2)는 카메라 움직임-기반 블러 추정기(40)의 카메라 움직임 블러 맵 취득기(41)로부터 필터 뱅크 선택기(34)에 입력된 카메라 움직임에 대응하는 카메라 움직임 블러 맵의 예이다.

이 카메라 움직임 블러 맵은 카메라가 직진하고 있다는 판정에 기초하여 취득된 블러 맵이다.

필터 뱅크 선택기(34)는 카메라 움직임 블러 맵을 수신하고, 입력된 카메라 움직임 블러 맵의 각각의 블록에 대해, 필터 뱅크 풀(36)로부터 필터 뱅크를 선택하는데, 이 필터 뱅크는 블록에 설정된 블러와 유사한 방향들 및 크기들을 갖는 블러들에 대응하는 필터들을 저장한다.

도 16에 도시된 예들에는, 두꺼운 파선 프레임들에 의해 표시된 4개의 블록에 대해 각각 선택된 필터 뱅크들이 도시되어 있다.

좌측 단부에서의 중앙 블록은 가로 방향으로 연장된 카메라 움직임-기반 블러(Ec)가 설정된 블록이다.

필터 뱅크 선택기(34)는 이 블록에 대한 필터 뱅크로서, (a2) 긴 수평 블러에 대응하는 필터 뱅크를 선택하는데, 이러한 필터 뱅크는 그러한 수평으로 연장된 블러와 유사한 블러들을 생성하기 위한 필터들을 저장한다.

좌측으로부터 3번째 중앙 블록은 가로 방향의 카메라 움직임-기반 블러(Ec)가 설정된 블록이다.

필터 뱅크 선택기(34)는 이 블록에 대한 필터 뱅크로서, (a1) 수평 블러에 대응하는 필터 뱅크를 선택하고, 이러한 필터 뱅크는 그러한 수평 블러와 유사한 블러들을 생성하기 위한 필터들을 저장한다.

좌측으로부터 5번째 위치 및 상부로부터 2번째 위치에 있는 블록은 길이 방향의 카메라 움직임-기반 블러(Ec)가 설정된 블록이다.

필터 뱅크 선택기(34)는 이 블록에 대한 필터 뱅크로서, (b1) 수직 블러에 대응하는 필터 뱅크를 선택하고, 이러한 필터 뱅크는 그러한 수직 블러와 유사한 블러들을 생성하기 위한 필터들을 저장한다.

우측으로부터의 4번째 위치 및 상부로부터의 3번째 위치에 있는 블록은 우측 상단을 향하는 대각선 방향의 카메라 움직임-기반 블러(Ec)가 설정된 블록이다.

필터 뱅크 선택기(34)는 이 블록에 대한 필터 뱅크로서, (c) 우측 상단을 향하는 대각선 방향의 블러에 대응하는 필터 뱅크를 선택하고, 이러한 필터 뱅크는 우측 상단을 향하는 대각선 방향의 그러한 블러와 유사한 블러들을 생성하기 위한 필터들을 저장한다.

전술한 바와 같이, 필터 뱅크 선택기(34)는 카메라 움직임 블러 맵 취득기(41)로부터 카메라 움직임에 대응하는 카메라 움직임 블러 맵을 수신하고, 입력된 카메라 움직임 블러 맵의 각각의 블록에 대해, 필터 뱅크 풀(36)로부터 필터 뱅크를 선택하고, 이러한 필터 뱅크는 블록에 블러와 유사한 방향들 및 크기들을 갖는 블러들에 대응하는 필터들을 저장한다.

도 15에 도시된 필터 뱅크 n(35)는 특정 블록에 대해 선택된 필터 뱅크이다.

선택된 필터 뱅크(35)는 필터 프로세서(31)에 입력된다.

블러 추정기(30b)의 필터 프로세서(31)는 원적외선 화상(26)의 각각의 블록에, 필터 뱅크 선택기(34)에 의해 선택된 필터 뱅크(35)에 저장된 필터들을 순차적으로 적용한다.

필터 적용에 의해 의도적으로 블러링시킨 원적외선 화상은 상관 연산기(32)에 출력된다.

상관 연산기(32)는 필터 적용에 의해 의도적으로 블러링시킨 원적외선 화상과 보정전 가시광 화상(25) 사이의 상관을 산출한다.

필터 프로세서(31) 및 상관 연산기(32)에 의해 실행되는 필터 적용 처리 및 상관 산출 처리는 보정전 가시광 화상(25)의 N개의 블록 영역 및 원적외선 화상(26)의 N개의 블록 영역의 대응하는 블록 단위로 실행된다는 점에 유의한다.

원적외선 화상(26)의 N개의 블록 각각에 대해, 상관 연산기(32)는 필터 뱅크(35)에 저장된 다양한 필터들(블러(디포커싱) 생성 필터들)의 순차적인 적용에 의해 획득된 결과와 보정전 가시광 화상(25) 사이의 상관을 산출하고, N개의 블록들 각각에 대한 각각의 필터에 대응하는 상관 값을 통합된 필터(Eallf) 결정기(37)에 출력한다.

각각의 블록에 대해, 통합된 필터(Eallf) 결정기(37)는 상관 연산기(32)로부터의 입력 데이터, 즉, N개의 블록 각각에 대한 각각의 필터에 대응하는 상관 값들로부터, 가장 높은 상관을 갖는 블록에 대응하는 필터를 선택한다.

통합된 필터(Eallf) 결정기(37)에 의해 N개의 블록 각각에 대해 선택된 N개의 필터는 블러 제거기(60)의 역 필터 산출기(61)에 입력된다.

블러 제거기(60)의 역 필터 산출기(61)는 통합된 필터(Eallf) 결정기(37)에 의해 결정된 블록별 통합된 필터(Eallf)를 수신함으로써, 각각의 블록별 통합된 필터(Eallf)와 반대인 특성들을 갖는 역 필터를 생성한다.

즉, 디컨볼루션 필터가 생성되고, 역 필터 프로세서(62)에 출력된다.

블러 제거기(60)의 역 필터 프로세서(62)는 역 필터 산출기(61)로부터 각각의 블록에 대응하는 역 필터를 수신함으로써, 입력된 역 필터를, 가시광 화상 입력 유닛(21)으로부터 입력된 보정전 가시광 화상(25)의 대응하는 블록에 적용한다.

즉, 역 필터 프로세서(62)는 보정전 가시광 화상(25)의 대응하는 블록에, 통합된 필터(Eallf) 결정기(37)에 의해 결정된 블록별 통합된 필터(Eallf)와 반대인 특성들을 갖는 역 필터를 적용한다.

(B2) 카메라 움직임-기반 블러(Ec)에 기초하여 필터가 적용된 원적외선 화상과 블러가 있는 가시광 화상 사이의 상관 값을 보정하는 처리:

다음으로, 전술한 처리를 실행하도록 구성된 화상 처리 디바이스(-B2)의 구성이 도 17을 참조하여 설명될 것이다.

도 17은 화상 처리 디바이스(-B2)의 구성 및 처리를 설명하기 위한 도면이다.

도 17에 도시된 화상 처리 디바이스(B2, 20-B2)는 가시광 화상 입력 유닛(21), 원적외선 화상 입력 유닛(22), 카메라 움직임 정보 입력 유닛(23), 블러 추정기(30b), 카메라 움직임-기반 블러 추정기(40), 블러 제거기(60), 및 카메라 움직임 블러 맵 저장 유닛(45)을 갖는다.

또한, 블러 추정기(30b)는 필터 프로세서(31), 상관 연산기(32), 통합된 필터(Eallf) 결정기(37), 필터(블러) 비교기(38), 및 상관 보정기(39)를 갖는다.

도 15를 참조하여 앞서 설명된 화상 처리 디바이스(B1, 20-B1)와의 차이는 필터 뱅크 풀(36)이 제공되지 않는다는 점과 블러 추정기(30b)의 구성이다.

도 17에 도시된 화상 처리 디바이스(B2, 20-B2)의 블러 추정기(30b)는 도 15를 참조하여 앞서 설명된 필터 뱅크 선택기(34)를 갖지 않고, 필터(블러) 비교기(38) 및 상관 보정기(39)를 갖는다.

이하, 필터(블러) 비교기(38) 및 상관 보정기(39)에 의해 실행되는 처리에 대해 주로 설명할 것이다.

필터(블러) 비교기(38)는 다음 타입들의 정보 각각을 수신한다.

필터 프로세서(31)에서의 원적외선 화상(26)에 적용될 블러(디포커싱) 생성 필터는 필터 뱅크(35)로부터 입력된다.

또한, 카메라 움직임에 대응하는 카메라 움직임 블러 맵은 카메라 움직임-기반 블러 추정기(40)의 카메라 움직임 블러 맵 취득기(41)로부터 입력된다.

필터(블러) 비교기(38)는 이들 2개의 필터(블러) 간의 유사도를 판정하여, 유사도에 따른 보정 계수(0 내지 1)를 산출하고, 그 보정 계수를 상관 보정기(39)에 출력한다.

2개의 필터(블러) 사이의 유사도가 높을수록 더 큰(1에 더 가까운) 보정 계수가 설정되고, 유사도가 낮을수록 더 작은(0에 더 가까운) 보정 계수가 설정된다.

상관 보정기(39)는 필터(블러) 비교기(38)로부터 입력된 보정 계수를, 상관 연산기(32)로부터 입력된 상관 값(보정전 가시광 화상(25)과 필터가 적용된 원적외선 화상의 대응하는 블록 사이의 상관 값)에 승산함으로써, 보정된 상관 값을 산출하고 보정된 상관 값을 통합된 필터 결정기(37)에 출력한다.

전술된 일련의 처리의 구체적인 예가 도 18을 참조하여 설명될 것이다.

도 18은 다음과 같은 타입들의 정보 각각을 도시한다:

(1) 필터 뱅크(35)로부터 취득된 필터 F1;

(2) 상관 연산기(32)에 의해 산출된 상관 값;

(3) 카메라 움직임-기반 블러;

(4) 필터(블러) 유사도에 기초한 산출된 보정 계수; 및

(5) 상관 보정기(39)에 의해 산출된 보정된 상관 값.

도 18의 (1)에 도시된 필터 뱅크(35)로부터 취득된 필터 F1은 도 17에 도시된 블러 추정기(30b)의 필터 프로세서(31)의 원적외선 화상(26)에 적용될 블러(디포커싱) 생성 필터이다.

필터(블러) 비교기(38)는 이러한 필터를 수신한다.

도 18에는 3가지 타입만이 도시되지만, 이밖에, 많은 필터들이 필터 프로세서(31)에서의 원적외선 화상(26)에 순차적으로 적용된다.

이러한 필터 적용 처리는 각 블록 단위로 실행된다는 점에 유의한다.

도 18의 (2)에 도시된 바와 같이 상관 연산기(32)에 의해 산출된 상관 값은 도 17에 도시된 블러 추정기(30b)의 상관 연산기(32)에서 산출되는 상관 값이다.

즉, 이러한 상관 값은 보정전 가시광 화상(25)과 필터가 적용된 원적외선 화상의 대응하는 블록 사이의 상관 값이다.

상관 값=0.5;

상관 값=0.4; 및

상관 값=0.1:

도면에는 이들 상관 값이 원적외선 화상(26)에 적용되는 3가지 타입의 필터 각각에 대응하는 3가지 타입의 상관 값으로서 선두로부터 이 순서로 계산되는 예가 도시되어 있다.

도 18의 (3)의 카메라 움직임-기반 블러는 카메라 움직임-기반 블러 추정기(40)의 카메라 움직임 블러 맵 취득기(41)로부터 입력되고 카메라 움직임에 대응하는 카메라 움직임 블러 맵으로부터 취득되는 블러이다.

이러한 블러는 상관 연산기(32)에서의 상관 값 산출 대상 블록에 대응하는 블록에 대한 카메라 움직임-기반 블러이고, 카메라 움직임 블러 맵으로부터 취득된다.

도 18의 (3)에 도시된 예에는, 우측 하단을 향하는 대각선 방향으로 연장되는 카메라 움직임-기반 블러(Ec)가 도시되어 있다.

필터(블러) 비교기(38)는 도 18의 (1)에 도시된 바와 같은 필터 뱅크(35)로부터 취득된 필터(F1)와 도 18의 (3)에 도시된 바와 같은 카메라 움직임-기반 블러(Ec)의 2개의 필터(블러)를 비교한다.

필터(F1)는 블러 생성 필터이고, 도 18의 (1)에 도시된 바와 같은 필터 뱅크(35)로부터 취득된 필터(F1)에 의해 생성된 블러가 도 18의 (3)에 도시된 카메라 움직임-기반 블러(Ec)와 유사한지의 여부가 판정된다는 점에 유의한다.

필터(블러) 비교기(38)는 이들 2개의 필터(블러) 간의 유사도를 판정함으로써, 유사도에 따른 보정 계수(0 내지 1)를 산출하고, 그 보정 계수를 상관 보정기(39)에 출력한다.

도 18의 (4)에 도시된 바와 같은 필터(블러) 유사도에 기초하여 산출된 보정 계수는 전술한 보정 계수이다.

상관 계수=0.3;

상관 계수=0.9; 및

상관 계수=0.9:

도 18에 도시된 예는 이들 상관 계수가 원적외선 화상(26)에 적용되는 3가지 타입의 필터 각각에 대응하는 3가지 타입의 상관 계수로서 선두로부터 이 순서로 산출되는 예를 도시한다.

2개의 필터(블러) 사이의 유사도가 높을수록 더 큰(1에 더 가까운) 보정 계수가 설정된다.

도 18에 도시된 예에서, 도 18의 (3)에 도시된 카메라 움직임-기반 블러(Ec)는 우측 하단을 향하는 대각선 방향의 블러이다.

도 18의 (1)에서 필터 뱅크(35)로부터 취득된 필터(F1)로서 도시되어 있는 3가지 타입의 필터 중에서, 가로 방향의 블러에 대응하는 제1 필터가 우측 하단을 향하는 대각선 방향의 카메라 움직임-기반 블러(Ec)와의 유사도가 낮다고 판정되기 때문에, 상관 계수=0.3이 산출된다.

한편, 우측 하단을 향하는 방향의 제2 블러에 대응하는 필터 및 길이 방향의 제3 블러에 대응하는 필터는 도 18의 (3)에 도시된 바와 같은 우측 하단을 향하는 대각선 방향의 카메라 움직임-기반 블러(Ec)와의 유사도가 높다고 판정되고, 상관 계수=0.9가 산출된다.

필터(블러) 비교기(38)는 이러한 보정 계수들을 상관 보정기(39)에 출력한다.

상관 보정기(39)는 필터(블러) 비교기(38)로부터 입력된 보정 계수를, 상관 연산기(32)로부터 입력된 상관 값, 즉, 도 18의 (2)에 도시된 바와 같은 상관 연산기(32)에 의해 산출된 상관 값에 곱함으로써, 보정된 상관 값을 산출한다.

그러한 보정된 상관 값은 도 18의 (5)에 도시된 바와 같다.

보정된 상관 값=0.5x0.3=0.15;

보정된 상관 값=0.4 x0.9=0.36; 및

보정된 상관 값=0.1x0.9=0.09:

도 18의 (5)에 도시된 예는 이들 보정된 상관 값이 원적외선 화상(26)에 적용되는 3가지 타입의 필터 각각에 대응하는 3가지 타입의 보정된 상관 값으로서 선두로부터 이 순서로 산출되는 예를 도시한다.

상관 보정기(39)에 의해 산출된 보정된 상관 값들은 통합된 필터 결정기(37)에 출력된다.

각각의 블록에 대해, 통합된 필터 결정기(37)는 상관 보정기(39)로부터의 입력 데이터, 즉, N개의 블록 각각에 대한 각각의 필터에 대응하는 보정된 상관 값들로부터, 가장 높은 상관을 갖는 블록에 대응하는 필터를 선택한다.

도 18에 도시된 예에서는, 제2 엔트리가 도 18의 (5)에 도시된 바와 같이 보정된 상관 값이 가장 높은 엔트리이다.

이 경우, 제2 엔트리에 대한 필터, 즉, 도 18의 (1)에서 필터 뱅크로부터 취득된 필터 F1로서 표시된 제2 필터는 통합된 필터(Eallf)로서 결정된다.

통합된 필터(Eallf) 결정기(37)에 의해 결정된 통합된 필터(Eallf)는 블러 제거기(60)의 역 필터 산출기(61)에 입력된다.

블러 제거기(60)의 역 필터 산출기(61)는 블록별 통합된 필터(Eallf)를 수신함으로써, 각각의 블록별 통합된 필터(Eallf)와 반대인 특성들을 갖는 역 필터를 생성한다.

블러 제거기(60)의 역 필터 프로세서(62)는 역 필터 산출기(61)로부터 각각의 블록에 대응하는 역 필터를 수신함으로써, 입력된 역 필터를 가시광 화상 입력 유닛(21)으로부터 입력된 보정전 가시광 화상(25)의 대응하는 블록에 적용한다.

다음으로, 도 15 및 도 17을 참조하여 설명된 구성 B에 대응하는 화상 처리 디바이스에 의해 실행되는 처리의 시퀀스가 도 19 및 후속 도면들의 흐름도를 참조하여 설명될 것이다.

도 15를 참조하여 설명된 전술한 처리를 실행하도록 구성된 화상 처리 디바이스(-B1)에 의해 실행되는 처리의 시퀀스가 도 19에 도시된 흐름도를 참조하여 먼저 설명될 것이다.

도 19에 도시된 흐름에서, 동일한 단계 번호가 도 12를 참조하여 앞서 설명된 구성 A에 대응하는 화상 처리 디바이스(-A1)에 의해 실행되는 것과 유사한 처리를 실행하는 단계를 나타내는데 사용된다는 점에 유의한다.

이하, 도 19에 도시된 흐름의 각 단계의 처리가 순차적으로 설명될 것이다.

(단계 S101)

이 처리는 도 15에 도시된 화상 처리 디바이스에서의 가시광 화상 입력 유닛(21)에 의해 수행된다. 구체적으로, 이 처리는 예를 들어, 가시광 화상 카메라에 의해 촬영된 화상을 취득하는 처리이다.

(단계 S102)

이 처리는 도 15에 도시된 화상 처리 디바이스에서의 원적외선 화상 입력 유닛(22)에 의해 실행된다. 구체적으로, 이 처리는 예를 들어, 원적외선 화상 카메라에 의해 촬영된 화상을 취득하는 처리이다.

(단계 S103)

다음으로, 단계 S103에서, 카메라 움직임 정보가 취득된다.

이 처리는 도 15에 도시된 화상 처리 디바이스에서의 카메라 움직임 정보 입력 유닛(23)에 의해 수행된다. 구체적으로, 예를 들어, IMU와 같은 센서에 의해 카메라 움직임 정보가 취득되어 입력된다.

(단계 S104)

다음으로, 단계 S104에서, 단계 S103에서 입력된 카메라 움직임 정보에 기초하여 카메라 움직임 블러 맵이 취득된다.

이 처리는 도 15에 도시된 화상 처리 디바이스에서의 카메라 움직임-기반 블러 추정기(40)의 카메라 움직임 블러 맵 취득기(41)에 의해 실행되는 처리이다.

카메라 움직임-기반 블러 추정기(40)의 카메라 움직임 블러 맵 취득기(41)는 카메라 움직임 정보 입력 유닛(23)으로부터 입력된 카메라 움직임 정보에 기초하여, 카메라 움직임 블러 맵 저장 유닛(45)에서 다양한 타입들의 카메라 움직임에 대응하여 저장된 블러 맵들로부터 단일 카메라 움직임 블러 맵을 취득하고, 카메라 움직임 블러 맵을 블러 추정기(30b)의 필터 뱅크 선택기(34)에 입력한다.

(단계 S105)

블록들의 수는 N이라는 점에 유의한다.

(단계 S105b)

단계 S105b의 처리는 도 15에 도시된 블러 추정기(30b)의 필터 뱅크 선택기(34)에 의해 실행되는 처리이다.

필터 뱅크 선택기(34)는 카메라 움직임-기반 블러 추정기(40)의 카메라 움직임 블러 맵 취득기(41)로부터 카메라 움직임에 대응하는 카메라 움직임 블러 맵을 수신함으로써, 필터 뱅크 풀(36)로부터, 입력된 카메라 움직임 블러 맵에 설정된 블러와 유사한 방향들 및 크기들을 갖는 블러들에 대응하는 필터들을 저장하는 필터 뱅크를 선택한다.

(단계 S106b)

다음으로, 단계 S106b에서, 통합된 필터(Eallf)를 결정하는 처리가 실행된다.

이러한 단계 S106b의 처리는 도 15에 도시된 블러 추정기(30b)의 필터 프로세서(31), 상관 연산기(32), 및 통합된 필터 결정기(37)에 의해 실행되는 처리이다.

단계 S106b의 처리의 시퀀스는 도 13을 참조하여 앞서 설명된 단계 S106의 처리, 즉, 도 13에 도시된 단계들 S121 내지 S126의 처리와 동일하다.

도 13을 참조하여 설명된 단계들 S121 내지 S126의 처리에서는, 출력 필터가 화상-기반 필터(Etf)라는 점에 유의한다. 그러나, 도 19의 흐름의 단계 S106b에서는, 도 13에 도시된 단계 S126에서 도 15에 도시된 통합된 필터 결정기(37)에 의한 최대 상관 값을 갖는 필터를 통합된 필터(Eallf)로서 선택하는 처리가 수행된다.

(단계 S107)

단계 S107은 단계들 S105 내지 S107의 루프 1의 종료 위치이다.

즉, 단계들 S105b 내지 S106b의 처리는 가시광 화상 및 원적외선 화상에 설정된 분할된 영역들로서의 모든 블록들에 대해 순차, 반복적으로 실행된다.

이 루프 처리(루프 1)가 완료되면, 가장 높은 상관 값을 갖는 통합된 필터(Eallf)가 N개의 블록들 모두에 대해 결정된다.

(단계 S113)

후속 단계 S113으로부터 단계 S116까지의 처리는 가시광 화상 및 원적외선 화상에 설정된 분할된 영역들로서의 블록들 모두에 대해 순차, 반복적으로 실행되는 루프 처리(루프 3)이다.

블록들의 수는 N이라는 점에 유의한다.

(단계 S114)

단계들 S114 내지 S115의 처리는 도 15에 도시된 블러 제거기(60)에 의해 실행되는 처리이다.

먼저, 단계 S114에서, 블러 제거기(60)의 역 필터 산출기(61)는 통합된 필터(Eallf) 결정기(37)에 의해 결정된 블록별 통합된 필터(Eallf)를 수신함으로써, 각각의 블록별 통합된 필터(Eallf)의 특성들과 반대인 특성들을 갖는 역 필터를 산출한다.

(단계 S115)

(단계 S116)

단계 S116은 단계들 S113 내지 단계 S116의 루프 3의 종료 위치이다.

즉, 단계들 S114 내지 S115의 처리는 보정 대상 화상으로서의 가시광 화상에 설정된 분할된 영역으로서의 모든 블록에 대하여 순차, 반복적으로 실행된다.

이들 타입의 처리에 의해, 도 15에 도시된 바와 같이 블러(디포커싱)이 제거되거나 감소된 보정후 가시광 화상(27)이 단계 S101에서의 입력 화상으로서의 가시광 화상, 즉, 도 15에 도시된 보정전 가시광 화상(25)으로부터 생성되어, 출력된다.

도 17을 참조하여 설명된 전술한 처리를 실행하도록 구성된 화상 처리 디바이스(-B2)에 의해 실행되는 처리의 시퀀스가 도 20의 흐름도를 참조하여 설명될 것이다.

도 20에 도시된 흐름은 도 19를 참조하여 설명된 도 20의 흐름의 단계들 S105b 내지 S106b의 처리가 도 19의 흐름에 도시된 단계 S106c로 대체된다는 점에서 상이하다.

다른 타입들의 처리는 도 19에 도시된 흐름을 참조하여 설명된 것과 유사하므로, 그 설명은 반복되지 않을 것이다. 도 20의 흐름에 도시된 단계 S106c의 처리가 주로 설명될 것이다.

(단계 S106c)

단계 S106c는 가시광 화상 및 원적외선 화상에 설정된 분할된 영역들로서의 모든 블록에 대해 순차, 반복적으로 실행되는 루프 처리(루프 1)로서 실행된다.

단계 S106은 도 17에 도시된 블러 추정기(30b)에 의해 블록별 통합된 필터(Eallf)를 산출하는 처리이다.

단계 S106c의 처리의 상세한 시퀀스는 도 21에 도시된 흐름을 참조하여 설명될 것이다.

단계 S106c에서의 각각의 블록별 통합된 필터(Eallf)를 산출하는 처리에 대해서는, 단계 S101에서 취득된 가시광 화상, 단계 S102에서 취득된 원적외선 화상, 및 단계들 S103 내지 S104에서 취득된 카메라 움직임 블러 맵이 이용되기 때문에, 도 21에도 단계들 S101 내지 S104가 도시되어 있다.

단계 S106c의 상세한 처리는 도 21에 도시된 단계들 S121 내지 S126의 처리이다.

이하, 이러한 처리에 대해서 순차적으로 설명할 것이다.

(단계 S121)

(단계 S122)

단계 S122에서, 필터(계수)가 취득된다.

단계들 S122 내지 S123의 처리는 도 17에 도시된 블러 추정기(30b)의 필터 프로세서(31)에 의해 실행되는 처리이다. 필터 프로세서(31)는 필터 뱅크(35)로부터, 원적외선 화상의 각각의 블록에 적용된 필터(필터(디포커싱) 생성 필터)를 순차적으로 취득한다.

(단계 S123)

(단계 S124)

다음으로, 단계 S124에서, 단계 S123에서의 필터 적용 결과로서의 원적외선 화상의 블록과 가시광 화상의 대응하는 블록 사이의 상관 값이 산출된다.

이 처리는 도 17에 도시된 블러 추정기(30b)의 상관 연산기(32)에 의해 실행되는 처리이다.

(단계 S125)

단계 S125는 단계들 S121 내지 S125의 루프 1b의 종료 위치이다.

(단계 S125c)

단일 블록에 대해 단계들 S121 내지 S125의 루프 1b의 처리가 완료될 때, 처리는 단계 S125c로 진행한다.

즉, 단일 블록에 대해 필터 뱅크(35)에 저장된 모든 필터에 대응하는 상관 값들을 산출하는 처리가 종료될 때, 처리는 단계 S125c로 진행한다.

단계 S125c의 처리는 도 17에 도시된 블러 추정기(30b)의 필터(블러) 비교기(38) 및 상관 보정기(39)에 의해 실행되는 처리이다.

상관 보정기(39)는 필터(블러) 비교기(38)로부터 입력된 보정 계수를, 상관 연산기(32)로부터 입력된 상관 값(보정전 가시광 화상(25)과 필터가 적용된 원적외선 화상의 대응하는 블록 사이의 상관 값)에 승산함으로써, 보정된 상관 값을 산출하고 그 보정된 상관 값을 통합된 필터 결정기(37)에 출력한다.

(단계 S126)

단계 S126의 처리는 도 17에 도시된 블러 추정기(30b)의 통합된 필터(Eallf) 결정기(37)에 의해 실행되는 처리이다.

단계 S126에서, 통합된 필터(Eallf) 결정기(37)는 단계 S125b에서 상관 보정기(39)에 의해 블록들에 대응하는 산출된 보정된 상관 값들 중에서 가장 높은 상관 값을 갖는 필터를, 블록에 대응하는 통합된 필터(Eallf)로서 결정한다.

통합된 필터(Eallf) 결정기(37)에 의해 블록에 대응하여 결정된 통합된 필터(Eallf)는 도 17에 도시된 블러 제거기(60)의 역 필터 산출기(61)에 입력된다.

(단계 S107)

단계 S107은 단계들 S105 내지 S107의 루프 1의 종료 위치이다.

이 루프 처리(루프 1)가 완료될 때, 통합된 필터(Eallf)는 모든 N개의 블록에 대해 결정된다.

다음으로, 도 20에 도시된 단계들 S113 내지 S116의 처리가 실행된다.

즉, 블러 제거기(60)의 역 필터 산출기(61)는 통합된 필터(Eallf) 결정기(37)에 의해 결정된 블록별 통합된 필터(Eallf)를 수신함으로써, 각각의 블록별 통합된 필터(Eallf)와 반대인 특성들을 갖는 역 필터를 산출한다. 블러 제거기(60)의 역 필터 프로세서(62)는 가시광 화상의 처리 대상 블록에 역 필터를 적용한다.

이들 타입의 처리에 의해, 도 17에 도시된 바와 같이 블러(디포커싱)이 제거되거나 감소된 보정후 가시광 화상(27)이 단계 S101에서의 입력 화상으로서의 가시광 화상, 즉, 도 17에 도시된 보정전 가시광 화상(25)으로부터 생성되어, 출력된다.

(7. (제3 실시예) 구성 A+C에 대응하는 화상 처리 디바이스의 구성 및 처리)

다음으로, 도 8을 참조하여 설명된 구성 A+C, 즉, 구성 A를 기본 구성으로 하고, 또한 필터(블러) 추정 결과의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 수행하는 화상 처리 디바이스의 구성 및 처리를 본 개시내용의 화상 처리 디바이스의 제3 실시예로 하여 설명할 것이다.

구성 A는 화상-기반 필터(Etf) 및 카메라 움직임-기반 필터(Ecf)의 통합된 필터(Eallf)를 추정하여, 통합된 필터(Eallf)와 반대인 특성들을 갖는 역 필터를 블러가 있는 가시광 화상에 적용하는 구성이다.

이하에 제3 실시예로서 설명된 구성 A+C는 구성 A에서 추정된 화상-기반 필터(Etf) 또는 카메라 움직임-기반 필터(Ecf)의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 행하는 구성이다.

구성 A에 대해서는, 통합된 블러(Eall)를 추정하는 처리의 다음과 같은 2가지 타입의 처리 형태가 도 9 내지 도 14를 참조하여 앞서 설명된 바와 같이 제공된다는 점에 유의한다:

(A1) 적용되거나 선택될 통합 블러(Eall)가 피사체의 움직임량에 따라 화상-기반 블러(Et)와 카메라 움직임-기반 블러(Ec) 사이에서 스위칭되는 구성. 및

이하, 구성 C, 즉, 필터(블러) 추정 결과의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 수행하도록 구성된 화상 처리 디바이스의 구성 및 처리가 이러한 구성들 A1, A2 각각과 관련하여 설명될 것이다.

구성 A1+C; 및

구성 A2+C:

이들 2개의 구성 예 및 이러한 2가지 타입의 처리는, 다시 말해서, 도 22 및 후속 도면들을 참조하여 설명될 것이다.

(A1) 적용되거나 선택될 통합된 블러(Eall)가 피사체의 움직임량에 따라 화상-기반 블러(Et)와 카메라 움직임-기반 블러(Ec) 사이에서 스위칭되는 구성:

구성 A1+C, 즉, 필터(블러) 추정 결과의 신뢰도를 산출하여 전술한 구성의 신뢰도에 따른 블러 제거 처리를 수행하도록 구성된 화상 처리 디바이스의 구성이 도 22를 참조하여 설명될 것이다.

도 22에 도시된 화상 처리 디바이스(A1+C, 20-A1C)는 도 9를 참조하여 앞서 설명된 화상 처리 디바이스(A1, 20-A1)의 구성에 신뢰도 산출기(70)가 추가되고 또한 역 필터 보정기(63)가 블러 제거기(60)에 추가되도록 구성된다.

다른 구성들은 도 9에 도시된 화상 처리 디바이스(A1, 20-A1)의 구성과 동일하다.

신뢰도 산출기(70) 및 역 필터 보정기(63)에 의해 실행되는 처리가 설명될 것이다.

신뢰도 산출기(70)는 필터(블러) 비교기(71)를 갖는다.

신뢰도 산출기(70)의 필터(블러) 비교기(71)는 다음과 같은 2개의 데이터를 수신한다:

(1) 화상-기반 블러 추정기(30)에 의해 생성되는 화상-기반 필터(Etf); 및

(2) 카메라 움직임-기반 블러 추정기(40)에 의해 취득되는 카메라 움직임 블러 맵.

화상-기반 블러 추정기(30)에 의해 생성된 화상-기반 필터(Etf)는 분할된 화상 영역으로서의 각 블록 단위의 필터이다.

카메라 움직임-기반 블러 추정기(40)에 의해 취득된 카메라 움직임 블러 맵은 각 블록 단위로, 도 10을 참조하여 앞서 설명된 바와 같은 카메라 움직임에 대응하는 블러 정보를 갖는 데이터이다.

신뢰도 산출기(70)의 필터(블러) 비교기(71)는 화상-기반 블러 추정기(30)에 의해 생성된 블록별 화상-기반 필터(Etf)와 이러한 블록에 대응하는 카메라 움직임 블러 맵 내의 블록의 카메라 움직임-기반 블러(Ec)를 비교한다.

여기에서 비교 대상으로서의 필터는 블러 생성 필터라는 점에 유의한다. 예를 들어, 필터 계수 및 블러를 표시하는 함수(PSF)가 서로 직접 비교될 수 있고, 이러한 비교는 필터와 블러 사이의 유사성을 판정할 수 있다.

카메라 움직임-기반 블러(Ec)를 카메라 움직임-기반 필터(Ecf)로 변환하여 이 카메라 움직임-기판 필터(Ecf)를 화상-기반 필터(Etf)와 비교하는 처리가 수행될 수 있거나, 화상-기반 필터(Etf)를 화상-기반 블러(Ec)로 변환하여 이 화상-기반 블러(Ec)를 카메라 움직임-기반 블러(Ec)와 비교하는 처리가 수행될 수 있다는 점에 유의한다.

어느 경우에서도, 화상-기반 블러(Et) 또는 화상-기반 필터(Etf)를 카메라 움직임-기반 블러(Ec) 또는 카메라 움직임-기반 필터(Ecf)와 비교하는 처리는 화상 상의 동일 위치에 위치하는 대응하는 블록들 사이에서 수행된다.

이러한 비교 처리 결과로서 2개의 필터(블러) 사이의 유사도가 높은 경우, 신뢰도의 값은 높게 설정된다.

한편, 2개의 필터(블러) 간의 유사도가 낮은 경우, 신뢰도의 값은 낮게 설정된다.

신뢰도는 예를 들어, 신뢰도=0 내지 1의 값이라는 점에 유의한다.

도 23은 신뢰도 산출기(70)의 필터(블러) 비교기(71)에 의해 실행되는 신뢰도 계산 처리의 예들을 도시한다.

도 23은 필터(블러) 비교기(71)에 의해 실행되는 신뢰도 산출 처리의 예들로서 2가지 예를 도시하고 있다.

(제1 예)는 화상-기반 블러 추정기(30)에 의해 생성된 화상-기반 필터(블러)가 수평으로 긴 필터(블러)이고 카메라 움직임 블러 맵 내의 블록으로부터 취득된 카메라 움직임-기반 필터(블러)가 우측 하단을 향하는 대각선 방향의 필터(블러)인 예이다.

이 경우, 이들 2개의 필터(블러) 간의 유사도가 낮다고 판정하고, 신뢰도가 예를 들어, 0.1의 낮은 값으로 설정된다.

(제2 예)는 화상-기반 블러 추정기(30)에 의해 생성된 화상-기반 필터(블러)가 우측 하단을 향하는 대각선 방향의 필터(블러)이고 카메라 움직임 블러 맵 내의 블록으로부터 취득된 카메라 움직임-기반 필터(블러)가 우측 하단을 향하는 대각선 방향의 필터(블러)인 예이다.

이 경우, 이들 2개의 필터(블러) 간의 유사도가 높다고 판정하고, 신뢰도가 예를 들어, 0.9의 높은 값으로 설정된다.

신뢰도 산출기(70)의 필터(블러) 비교기(71)는 산출된 신뢰도를 블러 제거기(60)의 역 필터 보정기(63)에 출력한다.

역 필터 보정기(63)는 신뢰도 산출기(70)로부터 입력된 신뢰도에 따라, 역 필터 프로세서(62)에서 적용하는 역 필터의 강도를 조정한다.

예를 들어, 신뢰도 산출기(70)로부터 입력된 신뢰도가 높은 경우에, 역 필터 산출기(61)에 의해 산출된 역 필터에 설정된 계수는 역 필터 프로세서(62)에서 적용하는 역 필터의 강도의 감소없이 직접 이용된다. 즉, 역 필터 산출기(61)에 의해 산출된 역 필터는 보정전 가시광 화상(25)의 처리 대상 블록에 직접 적용된다.

한편, 신뢰도 산출기(70)로부터 입력된 신뢰도가 낮은 경우에, 역 필터 프로세서(62)에서 적용하는 역 필터의 강도가 감소된다. 즉, 역 필터 산출기(61)에 의해 산출된 역 필터에 설정된 계수는 역 필터 적용 효과를 더 낮추도록 조정된다.

구체적으로, 신뢰도 산출기(70)에 의해 산출된 상관 값의 신뢰도가 예를 들어, 상관 값 신뢰도 α=1(높은 신뢰도) 내지 0(낮은 신뢰도)로서 설정되는 경우, 역 필터 보정기(63)는 역 필터 산출기(61)에 의해 산출된 역 필터에 설정된 계수를 신뢰도 α에 승산하여 보정된 역 필터를 생성함으로써, 보정된 역 필터를 역 필터 프로세서(62)에 출력한다.

역 필터 프로세서(62)는 역 필터 보정기(63)로부터 입력된 보정된 역 필터를 보정전 가시광 화상(25)의 처리 대상 블록에 적용한다.

신뢰도 산출기(70)의 신뢰도 산출 처리, 역 필터 보정기(63)의 역 필터 보정 처리, 역 필터 프로세서(62)의 역 필터 적용 처리는 각 블록 단위의 처리로서 실행된다는 점에 유의한다.

전술한 바와 같이, 본 실시예에서, 추정된 필터(블러)의 신뢰도에 따른 역 필터 적용 처리가 구현된다. 역 필터 적용 효과는 높은 신뢰도를 갖는 블록에 대해서는 향상될 수 있고, 낮은 신뢰도를 갖는 블록에 대해서는 낮게 억제될 수 있다. 신뢰도에 따라 효과적인 블러 제거 처리가 수행될 수 있다.

구성 A2+C, 즉, 필터(블러) 추정 결과의 신뢰도를 산출하여 전술한 구성의 신뢰도에 따른 블러 제거 처리를 수행하도록 구성된 화상 처리 디바이스의 구성이 도 24를 참조하여 설명될 것이다.

도 24에 도시된 화상 처리 디바이스(A2+C, 20-A2C)는 도 11을 참조하여 앞서 설명된 화상 처리 디바이스(A2, 20-A2)의 구성에 신뢰도 산출기(70)가 추가되고 또한 역 필터 보정기(63)가 블러 제거기(60)에 추가되도록 구성된다.

다른 구성들은 도 11에 도시된 화상 처리 디바이스(A2, 20-A2)의 구성과 동일하다.

신뢰도 산출기(70) 및 역 필터 보정기(63)에 의해 실행되는 처리는 도 22 및 도 23을 참조하여 전술한 화상 처리 디바이스(A1+C, 20-A1C)에 관하여 설명된 것과 유사한 처리이다.

즉, 신뢰도 산출기(70)는 화상 상의 동일한 위치에 위치한 대응하는 블록들 사이에서, 화상-기반 블러(Et) 또는 화상-기반 필터(Etf)를 카메라 움직임-기반 블러(Ec) 또는 카메라 움직임-기반 필터(Ecf)와 비교하는 처리를 수행한다.

이러한 비교 처리의 결과로서 2개의 필터(블러) 간의 유사도가 높은 경우, 신뢰도의 값은 높게 설정된다.

한편, 유사도가 낮은 경우에, 신뢰도의 값은 낮게 설정된다.

다음으로, 도 22 내지 도 24를 참조하여 설명된 제3 실시예, 즉, 구성 A1+C 또는 구성 A2+C를 갖는 화상 처리 디바이스에서의 처리의 시퀀스에 대해서는 도 25 및 후속 도면에 도시된 흐름도들을 참조하여 설명할 것이다.

도 25에 도시된 흐름도는 도 22를 참조하여 앞서 설명한 구성 A1+C, 즉, 전술한 구성에서 필터(블러) 추정 결과의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 수행하도록 구성된 화상 처리 디바이스에 의해 실행되는 처리의 시퀀스를 설명하기 위한 흐름도이다.

도 25에 도시된 흐름도는 도 12를 참조하여 앞서 설명한 바와 같은 도 9의 "구성 A1"에 대응하는 화상 처리 디바이스에 의해 실행되는 처리 흐름의 단계들 S101 내지 S116의 처리에 단계 S112b 및 단계 S114b의 처리가 추가된 흐름도이다.

추가 처리로서 단계 S112b 및 단계 S114b 이외의 다른 처리는 도 12를 참조하여 설명된 흐름의 단계들 S101 내지 S116의 처리와 유사하므로, 그 설명은 반복되지 않을 것이다. 추가 처리로서 단계 S112b 및 단계 S114b의 처리만이 설명될 것이다.

(단계 S112b)

단계 S112b는 신뢰도 산출 처리이며, 각 블록 단위로 반복적으로 실행된다.

도 22에 도시된 신뢰도 산출기(70)의 필터(블러) 비교기(71)는 화상 상의 동일한 위치에 위치한 대응하는 블록들 사이에서, 화상-기반 블러(Et) 또는 화상-기반 필터(Etf)를 카메라 움직임-기반 블러(Ec) 또는 카메라 움직임-기반 필터(Ecf)와 비교하는 처리를 수행한다. 이러한 비교 처리의 결과로서 2개의 필터(블러) 간의 유사도가 높은 경우, 신뢰도의 값은 높게 설정된다. 유사도가 낮은 경우, 신뢰도의 값은 낮게 설정된다.

모든 블록에 대해 신뢰도 산출 처리가 완료될 때, 처리는 단계 S113으로 진행한다.

(단계 S114b)

다음으로, 도 25에 도시된 흐름의 다른 추가 단계의 처리로서의 단계 S114b의 처리가 설명될 것이다.

단계 S114b는 도 22에 도시된 블러 제거기(60)의 역 필터 보정기(63)에서 실행되는 처리이다.

도 24를 참조하여 앞서 설명된 구성 A2+C, 즉, 전술한 구성에서 필터(블러) 추정 결과의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 수행하도록 구성된 화상 처리 디바이스에 의해 실행되는 처리의 시퀀스가 도 26에 도시된 흐름도를 참조하여 설명될 것이다.

도 26에 도시된 흐름도는 도 14를 참조하여 앞서 설명한 바와 같은 도 11의 "구성 A2"에 대응하는 화상 처리 디바이스에 의해 실행되는 처리 흐름의 단계들 S101 내지 S116의 처리에 단계 S112b 및 단계 S114b의 처리가 추가된 흐름도이다.

추가 처리로서 단계 S112b 및 단계 S114b 이외의 다른 처리는 도 14를 참조하여 설명된 흐름의 단계들 S101 내지 S116의 처리와 유사하다.

또한, 추가 처리로서의 단계 S112b 및 단계 S114b의 처리는 도 25의 흐름도를 참조하여 설명된 바와 같은 구성 A1+C의 화상 처리 디바이스의 처리로서의 단계 S112b 및 단계 S114b의 처리와 유사한 처리이다.

즉, 단계 S112b에서, 화상-기반 필터(블러)와 카메라 움직임-기반 필터(블러) 간의 유사도에 기초하여 신뢰도가 산출된다.

또한, 단계 S114b에서, 신뢰도에 따라 역 필터의 적용된 강도를 제어하는 역 필터 보정 처리가 수행된다.

이러한 타입들의 처리에 의해, 추정된 필터(블러)의 신뢰도에 따른 역 필터 적용 처리가 구현된다. 역 필터 적용 효과는 높은 신뢰도를 갖는 블록에 대해서는 향상될 수 있고, 낮은 신뢰도를 갖는 블록에 대해서는 낮게 억제될 수 있다. 신뢰도에 따라 효과적인 블러 제거 처리가 수행될 수 있다.

(8. (제4 실시예) 구성 B+C에 대응하는 화상 처리 디바이스의 구성 및 처리)

다음으로, 도 8을 참조하여 설명된 구성 B+C, 즉, 구성 B를 기본 구성으로 하고, 또한 필터(블러) 추정 결과의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 수행하는 화상 처리 디바이스의 구성 및 처리를 본 개시내용의 화상 처리 디바이스의 제4 실시예로 하여 설명할 것이다.

구성 B는 도 15 내지 도 21을 참조하여 앞서 설명된 구성이며, 구성 B는 가시광 화상 및 원적외선 화상을 사용하는 화상-기반 블러 추정 및 카메라 움직임 정보에 기초한 카메라 움직임-기반 블러 추정을 조합하여 실행함으로써 통합된 블러 추정을 실행하는 구성이다.

이하에 제4 실시예로서 설명된 구성 B+C는 구성 B에서 추정된 화상-기반 필터(Etf) 또는 카메라 움직임-기반 필터(Ecf)의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 행하는 구성이다.

도 15 내지 도 21을 참조하여 앞서 설명한 바와 같이, 구성 B에서의 통합된 블러(Eall)를 생성하는 처리에서, 다음과 같은 2가지 타입의 처리 중 임의의 것이 실행된다는 점에 유의한다:

(B1) 카메라 움직임-기반 블러(Ec)에 기초하여, 원적외선 화상에 적용될 필터, 즉, 블러(디포커싱)를 생성하기 위한 필터를 선택하는 처리(도 15); 및

(B2) 카메라 움직임-기반 블러(Ec)에 기초하여 필터가 적용된 원적외선 화상과 블러가 있는 가시광 화상 사이의 상관 값을 보정하는 처리(도 17).

이하, 구성 C, 즉, 필터(블러) 추정 결과의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 수행하도록 구성된 화상 처리 디바이스의 구성 및 처리가 이러한 구성들 B1, B2 각각과 관련하여 설명될 것이다.

구성 B1+C; 및

구성 B2+C:

이들 2개의 구성 예 및 이러한 2가지 타입의 처리는, 다시 말해서, 도 27 및 후속 도면을 참조하여 설명될 것이다.

먼저, 구성 B1+C, 즉, (B1) 원적외선 화상에 적용될 필터, 즉, 블러(디포커싱)를 생성하기 위한 필터를 카메라 움직임-기반 블러(Ec)에 기초하여 선택하도록 구성된 디바이스에서, 필터(블러) 추정 결과의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 수행하도록 구성된 화상 처리 디바이스의 구성에 대해서는 도 27을 참조하여 설명할 것이다.

도 27에 도시된 화상 처리 디바이스(B1+C, 20-B1C)는 도 15를 참조하여 앞서 설명된 화상 처리 디바이스(B1, 20-B1)의 구성에 신뢰도 산출기(70)가 추가되고 또한 역 필터 보정기(63)가 블러 제거기(60)에 추가되도록 구성된다.

다른 구성들은 도 15에 도시된 화상 처리 디바이스(B1, 20-B1)의 구성과 동일하다.

신뢰도 산출기(70) 및 역 필터 보정기(63)에 의해 실행되는 처리는 도 22 및 도 23을 참조하여 앞서 설명된 화상 처리 디바이스(A1+C, 20-A1C)에 의해 실행되는 처리와 실질적으로 유사한 처리이다.

도 22 및 도 23을 참조하여 앞서 설명된 화상 처리 디바이스(A1+C, 20-A1C)의 신뢰도 산출기(70)는 화상-기반 필터(블러)와 카메라 움직임-기반 필터(블러)를 비교하는 처리를 실행하지만, 도 27에 도시된 화상 처리 디바이스(B1+C, 20-B1C)의 신뢰도 산출기(70)는 통합된 필터(블러)와 카메라 움직임-기반 필터(블러)를 비교하는 처리를 실행한다는 점에 유의한다.

도 27에 도시된 바와 같이, 신뢰도 산출기(70)는 블러 추정기(30b)에 의해 생성된 통합된 필터 및 카메라 움직임-기반 블러 추정기(40)로부터 출력된 카메라 움직임 블러 맵을 수신함으로써, 이들 필터(블러) 간의 유사도를 판정한다.

즉, 신뢰도 산출기(70)는 화상 상의 동일한 위치에 위치된 대응하는 블록들 사이에서, 통합된 필터(블러)와 카메라 움직임-기반 필터(블러)를 비교하는 처리를 수행한다.

이러한 비교 처리의 결과로서 2개의 필터(블러) 간의 유사도가 높은 경우, 신뢰도의 값은 높게 설정된다. 유사도가 낮은 경우, 신뢰도의 값은 낮게 설정된다.

전술한 바와 같이, 본 실시예에서, 추정된 필터(블러)의 신뢰도에 따른 역 필터 적용 처리도 구현된다. 역 필터 적용 효과는 높은 신뢰도를 갖는 블록에 대해서는 향상될 수 있고, 낮은 신뢰도를 갖는 블록에 대해서는 낮게 억제될 수 있다. 신뢰도에 따라 효과적인 블러 제거 처리가 수행될 수 있다.

다음으로, 구성 B2+C, 즉, (B2) 필터가 적용된 원적외선 화상과 블러가 있는 가시광 화상 사이의 상관 값을 카메라 움직임-기반 블러(Ec)에 기초하여 보정하도록 구성된 디바이스에서, 필터(블러) 추정 결과의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 수행하도록 구성된 화상 처리 디바이스의 구성에 대해서는 도 28을 참조하여 설명할 것이다.

도 28에 도시된 화상 처리 디바이스(B2+C, 20-B2C)는 도 17을 참조하여 앞서 설명된 화상 처리 디바이스(B2, 20-B2)의 구성에 신뢰도 산출기(70)가 추가되고 또한 역 필터 보정기(63)가 블러 제거기(60)에 추가되도록 구성된다.

다른 구성들은 도 17에 도시된 화상 처리 디바이스(B2, 20-B2)의 구성과 동일하다.

신뢰도 산출기(70) 및 역 필터 보정기(63)에 의해 실행되는 처리는 도 27을 참조하여 앞서 설명된 화상 처리 디바이스(B1+C, 20-B1C)에 의해 실행되는 처리와 유사한 처리이다.

즉, 도 28에 도시된 화상 처리 디바이스(B2+C, 20-B2C)의 신뢰도 산출기(70)는 화상 상의 동일한 위치에 위치한 대응하는 블록들 사이에서, 통합된 필터(블러)와 카메라 움직임-기반 필터(블러)를 비교하는 처리를 수행한다.

도 28에 도시된 신뢰도 산출기(70)의 필터(블러) 비교기(71)는 산출된 신뢰도를 블러 제거기(60)의 역 필터 보정기(63)에 출력한다.

다음으로, 도 27 내지 도 28을 참조하여 설명된 제4 실시예, 즉, 구성 B1+C 또는 구성 B2+C를 갖는 화상 처리 디바이스에서의 처리의 시퀀스에 대해서는 도 29 및 후속 도면에 도시된 흐름도들을 참조하여 설명할 것이다.

도 29에 도시된 흐름도는 도 27을 참조하여 앞서 설명한 구성 B1+C, 즉, (B1) 원적외선 화상에 적용될 필터, 즉, 블러(디포커싱)를 생성하기 위한 필터를 카메라 움직임-기반 블러(Ec)에 기초하여 선택하도록 구성된 디바이스에서, 필터(블러) 추정 결과의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 수행하도록 구성된 화상 처리 디바이스에 의해 실행되는 처리의 시퀀스를 설명하기 위한 흐름도이다.

도 29에 도시된 흐름도는 도 19를 참조하여 앞서 설명한 바와 같은 도 15의 "구성 B1"에 대응하는 화상 처리 디바이스에 의해 실행되는 처리 흐름의 단계들 S101 내지 S116의 처리에 단계 S112b 및 단계 S114b의 처리가 추가된 흐름도이다.

추가 처리로서 단계 S112b 및 단계 S114b 이외의 다른 처리는 도 19를 참조하여 설명된 흐름의 단계들 S101 내지 S116의 처리와 유사하다.

신뢰도의 산출시 비교 대상으로서의 데이터는 도 25의 흐름도를 참조하여 설명된 바와 같은 구성 A1+C를 갖는 화상 처리 디바이스의 처리로서의 단계 S112b에서의 화상-기반 필터(블러) 및 카메라 움직임-기반 필터(블러)이지만, 구성 B1+C에서, 단계 S112b에서의 신뢰도의 산출시 비교 대상으로서의 데이터는 통합된 필터(블러) 및 카메라 움직임-기반 필터(블러)라는 점에 유의한다.

차이는 전술한 점뿐이다.

도 29에 도시된 흐름에서의 단계 S112b에서, 통합된 필터(블러)와 카메라 움직임-기반 필터(블러)를 비교하는 처리는 화상 상의 동일한 위치에 있는 대응하는 블록들 사이에서 수행된다.

다음으로, 도 28을 참조하여 설명된 구성 B2+C, 즉, (B2) 필터가 적용된 원적외선 화상과 블러가 있는 가시광 화상 사이의 상관 값을 카메라 움직임-기반 블러(Ec)에 기초하여 보정하도록 구성된 디바이스에서, 필터(블러) 추정 결과의 신뢰도를 산출하여 신뢰도에 따른 블러 제거 처리를 수행하도록 구성된 화상 처리 디바이스에 의해 실행되는 처리의 시퀀스에 대해서는 도 30에 도시된 흐름도를 참조하여 설명할 것이다.

도 30에 도시된 흐름도는 도 20을 참조하여 앞서 설명한 바와 같은 도 17의 "구성 B2"에 대응하는 화상 처리 디바이스에 의해 실행되는 처리 흐름의 단계들 S101 내지 S116의 처리에 단계 S112b 및 단계 S114b의 처리가 추가된 흐름도이다.

추가 처리로서 단계 S112b 및 단계 S114b 이외의 다른 처리는 도 20을 참조하여 설명된 흐름의 단계들 S101 내지 S116의 처리와 유사하다.

또한, 추가 처리로서의 단계 S112b 및 단계 S114b의 처리는 도 29를 참조하여 설명된 바와 같은 구성 B1+C의 화상 처리 디바이스의 처리로서의 단계 S112b 및 단계 S114b의 처리와 유사한 처리이다.

도 30에 도시된 흐름에서의 단계 S112b에서, 통합된 필터(블러)와 카메라 움직임-기반 필터(블러)를 비교하는 처리는 화상 상의 동일한 위치에 있는 대응하는 블록들 사이에서 수행된다.

(9. 화상 처리 디바이스의 하드웨어 구성 예)

다음으로, 도 31을 참조하여, 화상 처리 디바이스의 하드웨어 구성 예에 대해서 설명할 것이다. 도 31은 본 개시내용의 처리를 실행하도록 구성된 화상 처리 디바이스의 하드웨어 구성 예의 도면이다.

중앙 처리 장치(CPU)(81)는 판독 전용 메모리(ROM)(82) 또는 저장 유닛(88)에 저장된 프로그램에 따라 다양한 타입의 처리를 실행하도록 구성된 제어기 또는 데이터 프로세서로서 기능한다. 예를 들어, CPU(81)는 전술한 실시예들에서 설명된 시퀀스에 따라 처리를 실행한다. 랜덤 액세스 메모리(RAM)(83)에는, 예를 들어, CPU(81)에 의해 실행될 프로그램 또는 데이터가 저장된다. CPU(81), ROM(82), 및 RAM(83)은 버스(84)를 통해 함께 접속된다.

CPU(81)는 버스(84)를 통해 입출력 인터페이스(85)에 접속된다. 가시광 카메라, 적외선(원적외선) 카메라 등을 포함하는 촬상기(95)에 의해 촬영된 화상을 입력하고, 다양한 사용자 입력가능 스위치들, 키보드, 마우스, 마이크로폰 등을 포함하도록 구성된 입력 유닛(86), 및 디스플레이(96), 스피커 등에 대한 데이터 출력을 실행하도록 구성된 출력 유닛(87)은 입출력 인터페이스(85)에 접속된다. CPU(81)는 입력 유닛(86)으로부터 입력된 지시에 응답하여 다양한 타입의 처리를 실행하고, 처리 결과를 예를 들어, 출력 유닛(87)에 출력한다.

입출력 인터페이스(85)에 접속된 저장 유닛(88)은 예를 들어, 하드 드라이브 등을 포함하고, CPU(81)에 의해 실행될 프로그램 또는 다양한 타입의 데이터를 저장한다. 통신 유닛(89)은 Wi-Fi 통신, 블루투스(등록 상표)(BT) 통신, 또는 인터넷 및 근거리 통신망과 같은 다른 네트워크들의 데이터 통신을 위한 송수신기로서 기능하고, 그에 의해 외부 디바이스와 통신한다.

입출력 인터페이스(85)에 접속된 드라이브(90)는 자기 디스크, 광 디스크, 광자기 디스크, 또는 메모리 카드와 같은 반도체 메모리와 같은 이동식 매체(91)를 구동하여, 데이터 기록 또는 판독을 실행한다.

(10. 차량에 본 개시내용의 화상 처리 디바이스를 포함하는 차량 제어 시스템의 구성 예)

다음으로, 차량에, 본 개시내용의 전술한 화상 처리 디바이스를 포함하는 차량 제어 시스템의 하나의 구성 예에 대해서 설명될 것이다.

도 32는 전술한 처리를 실행하도록 구성된 화상 처리 디바이스를 포함하는 차량 제어 시스템(100)의 기능적 구성 예의 개략적인 블록도이다.

본 개시내용의 전술한 화상 처리 디바이스는 도 32에 도시된 차량 제어 시스템(100)의 검출기(131), 데이터 취득기(102), 출력 제어기(105), 및 출력 유닛(106)의 구성들의 일부에 대응한다는 점에 유의한다.

본 개시내용의 전술한 화상 처리 디바이스에 의해 실행되는 처리는 주로 도 32에 도시된 차량 제어 시스템(100)의 검출기(131)의 차량외 정보 검출기(141)에 의해 실행된다.

도 32에 도시된 차량 제어 시스템(100)의 데이터 취득기(102)는 가시광 카메라, 적외선(원적외선) 카메라, 및 IMU와 같은 센서를 포함하고, 검출기(131)는 이러한 카메라들에 의해 촬영된 화상들 및 차량 움직임 정보(= 카메라 움직임 정보)를 수신하여 전술한 처리를 실행한다.

처리 결과는 예를 들어, 도 32에 도시된 차량 제어 시스템(100)의 출력 유닛(106)을 형성하는 디스플레이 상에 표시되어, 사용자(드라이버)에 의해 체크된다는 점에 유의한다.

이하, 도 32에 도시된 차량 제어 시스템(100)의 구성이 설명될 것이다.

차량 제어 시스템(100)이 제공된 차량을 다른 차량들과 구별할 경우, 이러한 차량은 이하에서 대상 차 또는 대상 차량으로서 설명될 것이라는 점에 유의한다.

차량 제어 시스템(100)은 입력 유닛(101), 데이터 취득기(102), 통신 유닛(103), 차량내 장비(104), 출력 제어기(105), 출력 유닛(106), 구동 시스템 제어기(107), 구동 시스템(108), 보디 시스템 제어기(109), 보디 시스템(110), 저장 유닛(111), 및 자동 운전 제어기(112)를 포함한다. 입력 유닛(101), 데이터 취득기(102), 통신 유닛(103), 출력 제어기(105), 구동 시스템 제어기(107), 보디 시스템 제어기(109), 저장 유닛(111), 및 자동 운전 제어기(112)는 통신 네트워크(121)를 통해 함께 접속된다. 통신 네트워크(121)는 CAN(controller area network), LIN(local interconnect network), 근거리 통신망(LAN), 또는 FlexRay(등록 상표)와 같은 임의의 표준에 따라 예를 들어, 차량내 통신 네트워크, 버스 등을 포함한다. 차량 제어 시스템(100)의 각각의 유닛은 통신 네트워크(121) 없이 직접적으로 연결될 수 있다는 점에 유의한다.

차량 제어 시스템(100)의 각각의 유닛이 통신 네트워크(121)를 통해 통신을 수행하는 경우, 통신 네트워크(121)는 이하에서 설명되지 않을 것이라는 점에 유의한다. 예를 들어, 입력 유닛(101) 및 자동 운전 제어기(112)가 통신 네트워크(121)를 통해 서로 통신하는 경우, 단순히 서로 통신하는 입력 유닛(101) 및 자동 운전 제어기(112)로서 설명된다.

입력 유닛(101)은 승객이 다양한 타입의 데이터, 지시 등을 입력하기 위해 사용하는 디바이스를 포함한다. 예를 들어, 입력 유닛(101)은 터치 패널, 버튼, 마이크로폰, 스위치, 및 레버와 같은 조작 디바이스; 및 예를 들어, 오디오 또는 제스처와 같은 수동 조작 이외의 다른 방법들에 의한 입력을 허용하는 조작 장치를 포함한다. 또한, 입력 유닛(101)은 예를 들어, 적외선 또는 다른 전파들을 이용하는 원격 제어 디바이스, 또는 차량 제어 시스템(100)의 조작과 호환가능한 모바일 장비 또는 착용가능 장비와 같은 외부 접속 장비일 수 있다. 입력 유닛(101)은 예를 들어, 승객이 입력한 데이터 또는 지시에 기초하여 입력 신호를 생성하고, 그 입력 신호를 차량 제어 시스템(100)의 각각의 유닛에 공급한다.

데이터 취득기(102)는 예를 들어, 차량 제어 시스템(100)의 처리에 사용되는 데이터를 취득하도록 구성된 다양한 센서들을 포함하고, 취득된 데이터를 차량 제어 시스템(100)의 각각의 유닛에 공급한다.

예를 들어, 데이터 취득기(102)는 대상 차의 상태 등을 검출하기 위한 다양한 센서들을 포함한다. 구체적으로, 데이터 취득기(102)는 예를 들어, 자이로 센서, 가속도 센서, IMU(inertial measurement unit), 및 가속기 페달 조작량, 브레이크 페달 조작량, 스티어링 휠 조타각, 엔진의 회전수, 모터의 회전수, 휠 회전 속도 등을 검출하기 위한 센서를 포함한다.

또한, 데이터 취득기(102)는 예를 들어, 대상 차의 외부에 관한 정보를 검출하기 위한 다양한 센서들을 포함한다. 구체적으로, 데이터 취득기(102)는 예를 들어, ToF(time-of-flight) 카메라, 가시광 카메라, 스테레오 카메라, 단안 카메라, 적외선(원적외선) 카메라, 및 다른 카메라들과 같은 촬상 디바이스를 포함한다. 또한, 예를 들어, 데이터 취득기(102)는 예를 들어, 날씨 또는 기상 현상을 검출하기 위한 환경 센서, 및 대상 차 주위의 피사체를 검출하기 위한 주변 정보 검출 센서를 포함한다. 환경 센서는 예를 들어, 빗방울 센서, 안개 센서, 일조 센서, 눈 센서 등을 포함한다. 주변 정보 검출 센서는 예를 들어, 초음파 센서, 레이더, LiDAR(light detection and ranging, laser imaging detection and ranging), 소나(sonar) 등을 포함한다.

또한, 데이터 취득기(102)는 예를 들어, 대상 차의 현재 위치를 검출하기 위한 다양한 센서들을 포함한다. 구체적으로, 데이터 취득기(102)는 예를 들어, GNSS(global navigation satellite system) 위성 등으로부터 GNSS 신호를 수신하도록 구성된 GNSS 수신기를 포함한다.

또한, 데이터 취득기(102)는 예를 들어, 차량내 정보를 검출하기 위한 다양한 센서들을 포함한다. 구체적으로, 데이터 취득기(102)는 예를 들면, 드라이버를 촬상하도록 구성된 촬상 디바이스, 드라이버의 생체 정보를 검출하도록 구성된 생체 센서, 차량 내부의 오디오를 수집하도록 구성된 마이크로폰 등을 포함한다. 생체 센서는 예를 들어, 좌석 표면, 스티어링 휠 등에 제공되어, 좌석에 착석한 승객 또는 스티어링 휠을 쥐고 있는 드라이버의 생체 정보를 검출한다.

통신 유닛(103)은 차량내 장비(104) 및 차량 외부의 다양한 타입의 장비, 서버 및 기지국과 통신하고, 이에 의해 차량 제어 시스템(100)의 각각의 유닛으로부터 공급되는 데이터를 송신하거나, 수신된 데이터를 차량 제어 시스템(100)의 각각의 유닛에 공급한다. 통신 유닛(103)에 의해 지원되는 통신 프로토콜은 특별히 한정되지 않고, 통신 유닛(103)은 다수의 타입의 통신 프로토콜을 지원할 수 있다는 점에 유의한다.

예를 들어, 통신 유닛(103)은 무선 LAN, 블루투스(등록 상표), NFC(near field communication), WUSB(wireless USB) 등을 통해 차량내 장비(104)와 무선 통신을 수행한다. 또한, 통신 유닛(103)은 예를 들어, USB(universal serial bus), HDMI(high-definition multimedia interface)(등록 상표), MHL(mobile high-definition link) 등에 의해 도시되지 않은 접속 단자(및 필요에 따라 케이블)를 통해 차량내 장비(104)와 유선 통신을 수행한다.

또한, 통신 유닛(103)은 예를 들어, 기지국 또는 액세스 포인트를 통해 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크, 또는 사업자 고유의 네트워크) 상에 존재하는 장비(예를 들어, 애플리케이션 서버 또는 제어 서버)와 통신한다. 또한, 통신 유닛(103)은 예를 들어, P2P(peer-to-peer) 기술을 사용하여, 대상 차 근처에 존재하는 단말기(예를 들어, 보행자 또는 점포의 단말기 또는 MTC(machine type communication) 단말기)와 통신한다. 또한, 통신 유닛(103)은 예를 들어, 차량 대 차량 통신, 차량 대 인프라스트럭처 통신, 차량 대 홈 통신, 또는 차량 대 보행자 통신과 같은 V2X 통신을 수행한다. 또한, 통신 유닛(103)은 예를 들어, 비컨 수신기를 포함하여, 도로 상에 배치된 무선국으로부터 송신된 전파 또는 전자기파를 수신하고, 이에 의해 현재 위치, 교통 정체, 교통 규제, 또는 소요 시간과 같은 정보를 취득한다.

차량내 장비(104)는 예를 들어, 승객의 모바일 장비 또는 착용가능 장비, 대상 차에 설치되거나 부착된 정보 장비, 임의의 목적지까지의 경로를 검색하도록 구성된 내비게이션 디바이스 등을 포함한다.

출력 제어기(105)는 대상 차의 승객 또는 대상 차의 외부에 대한 다양한 타입의 정보의 출력을 제어한다. 예를 들어, 출력 제어기(105)는 시각 정보(예를 들어, 화상 데이터) 또는 오디오 정보(예를 들어, 오디오 데이터) 중 적어도 하나를 포함하는 출력 신호를 생성하고, 그 출력 신호를 출력 유닛(106)에 공급한다. 이러한 방식으로, 출력 제어기(105)는 출력 유닛(106)으로부터 시각 정보 및 오디오 정보의 출력을 제어한다. 구체적으로, 출력 제어기(105)는 예를 들어, 데이터 취득기(102)의 상이한 촬상 디바이스들에 의해 촬영된 화상 데이터를 합성하여, 예를 들어, 조감 화상(bird's-eye image) 또는 파노라마 화상을 생성함으로써, 생성된 화상을 포함하는 출력 신호를 출력 유닛(106)에 공급한다. 또한, 출력 제어기(105)는 예를 들어, 충돌, 접촉 및 위험 지역으로의 진입과 같은 위험에 대한 경고음 또는 경보 메시지를 포함하는 오디오 데이터를 생성하여, 생성된 오디오 데이터를 포함하는 출력 신호를 출력 유닛(106)에 공급한다.

출력 유닛(106)은 시각적 정보 또는 오디오 정보를 대상 차의 승객 또는 대상 차의 외부에 출력하도록 구성된 디바이스를 포함한다. 예를 들어, 출력 유닛(106)은 예를 들어, 디스플레이 디바이스, 기기 패널, 오디오 스피커, 헤드폰들, 승객이 부착하는 안경 디스플레이와 같은 착용가능 디바이스, 프로젝터, 및 램프를 포함한다. 출력 유닛(106)에 제공된 디스플레이 디바이스는 전형적인 디스플레이를 갖는 디바이스뿐만 아니라, 헤드-업 디스플레이, 투과형 디스플레이, 및 증강 현실(AR) 디스플레이 기능을 갖는 디바이스와 같은 드라이버의 시야 내에 시각적 정보를 표시하도록 구성된 디바이스일 수 있다.

구동 시스템 제어기(107)는 다양한 제어 신호들을 생성하고 이 신호들을 구동 시스템(108)에 공급함으로써, 구동 시스템(108)을 제어한다. 또한, 구동 시스템 제어기(107)는 필요에 따라, 구동 시스템(108) 이외의 각각의 유닛에 제어 신호를 공급함으로써, 예를 들어, 구동 시스템(108)의 제어 상태에 통지한다.

구동 시스템(108)은 대상 차의 구동 시스템과 관련하여 다양한 디바이스들을 포함한다. 예를 들어, 구동 시스템(108)은 내연 기관, 구동용 모터 등의 구동력을 생성하기 위한 구동력 발생 디바이스, 구동력을 휠에 전달하기 위한 구동력 전달 기구, 타각을 조절하도록 구성된 스티어링 기구, 제동력을 발생시키도록 구성된 제동 디바이스, ABS(antilock brake system), ESC(electronic stability control), 전동 파워 스티어링 디바이스 등을 포함한다.

보디 시스템 제어기(109)는 다양한 제어 신호들을 생성하고 이 신호들을 보디 시스템(110)에 공급함으로써, 보디 시스템(110)을 제어한다. 또한, 보디 시스템 제어기(109)는 필요에 따라, 보디 시스템(110) 이외의 각각의 유닛에 제어 신호를 공급함으로써, 예를 들어, 보디 시스템(110)의 제어 상태를 통지한다.

보디 시스템(110)은 차체 상에 설치된 보디 시스템의 다양한 디바이스들을 포함한다. 예를 들어, 보디 시스템(110)은 키리스 엔트리 시스템(keyless entry system), 스마트 키 시스템, 파워 윈도우 디바이스, 파워 시트, 스티어링 휠, 공조 디바이스(air-conditioning device), 다양한 램프들(예를 들어, 헤드 램프, 백 램프, 브레이크 램프, 인디케이터, 안개 램프 등) 등을 포함한다.

예를 들어, 저장 유닛(111)은 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브(HDD)와 같은 자기 저장 디바이스, 반도체 저장 디바이스, 광학 저장 디바이스, 및 자기-광학 저장 디바이스 등을 포함한다. 저장 유닛(111)은 예를 들어, 차량 제어 시스템(100)의 각각의 유닛에 의해 사용되는 다양한 프로그램들 또는 데이터를 저장한다. 예를 들어, 저장 유닛(111)은 다이내믹 맵과 같은 3차원 고정밀도 맵, 고정밀도 맵보다 낮은 정확도를 갖고 넓은 지역을 커버하는 글로벌 맵, 및 대상 차 주위의 정보를 포함하는 로컬 맵을 포함하는 맵 데이터를 저장한다.

자동 운전 제어기(112)는 자율 주행 또는 운전 지원과 같은 자동 운전에 관한 제어를 수행한다. 구체적으로, 예를 들어, 자동 운전 제어기(112)는 예를 들어, 대상 차의 충돌 회피 또는 충격 완화, 차간 거리에 기초한 추종 주행(follow-up running), 차속 유지 주행, 대상 차 충돌 경고, 또는 대상 차 차선 일탈 경고를 포함하는 ADAS(advanced driver assistance system) 기능을 구현할 목적으로 협력 제어를 수행한다. 또한, 예를 들어, 자동 운전 제어기(112)는 예를 들어, 드라이버의 조작에 관계없이 자율 주행하는 자동 운전을 목적으로 협력 제어를 수행한다. 자동 운전 제어기(112)는 검출기(131), 자기 위치 추정기(132), 상황 분석기(133), 계획기(134) 및 동작 제어기(135)를 포함한다.

검출기(131)는 자동 운전의 제어에 필요한 다양한 타입의 정보를 검출한다. 검출기(131)는 차량외 정보 검출기(141), 차량내 정보 검출기(142), 및 차량 상태 검출기(143)를 포함한다.

차량외 정보 검출기(141)는 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 대상 차 외부의 정보를 검출하는 처리를 수행한다. 예를 들어, 차량외 정보 검출기(141)는 대상 차 주위의 피사체를 검출, 인식, 및 추적하는 처리 및 피사체까지의 거리를 검출하는 처리를 수행한다. 검출 대상으로서의 피사체는 예를 들면, 차량, 사람, 장애물, 구조물, 도로, 신호등, 교통 표지, 도로 표시 등을 포함한다. 또한, 차량외 정보 검출기(141)는 예를 들어, 대상 차 주위의 환경을 검출하는 처리를 수행한다. 검출 대상으로서의 주변 환경은 예를 들어, 날씨, 기온, 습도, 밝기, 도로 상태 등을 포함한다. 차량외 정보 검출기(141)는 예를 들어, 검출 처리 결과를 표시하는 데이터를 자기 위치 추정기(132), 상황 분석기(133)의 맵 분석기(151), 교통 규칙 인식기(152), 및 상황 인식기(153), 및 동작 제어기(135)의 긴급 사태 회피기(171)에 공급한다.

차량내 정보 검출기(142)는 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 차량 내의 정보를 검출하는 처리를 수행한다. 예를 들어, 차량내 정보 검출기(142)는 드라이버를 인증하고 인식하는 처리, 드라이버의 상태를 검출하는 처리, 승객을 검출하는 처리, 차량 내의 환경을 검출하는 처리 등을 수행한다. 검출 대상으로서의 드라이버의 상태는 예를 들어, 몸 상태, 각성도, 집중도, 피로도, 시선 등을 포함한다. 검출 대상으로서의 차량내 환경은 예를 들어, 기온, 습도, 밝기, 냄새 등을 포함한다. 차량내 정보 검출기(142)는 예를 들어, 검출 처리 결과를 표시하는 데이터를 상황 분석기(133)의 상황 인식기(153) 및 동작 제어기(135)의 긴급 사태 회피기(171)에 공급한다.

차량 상태 검출기(143)는 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 대상 차의 상태를 검출하는 처리를 수행한다. 검출 상태로서의 대상 차의 상태는 예를 들어, 속도, 가속도, 타각, 이상 유무 및 내용, 운전 조작 상태, 파워 시트의 위치 및 기울기, 도어 잠금 상태, 다른 차량내 장비 상태 등을 포함한다. 차량 상태 검출기(143)는 예를 들어, 검출 처리 결과를 표시하는 데이터를 상황 분석기(133)의 상황 인식기(153) 및 동작 제어기(135)의 긴급 사태 회피기(171)에 공급한다.

자기 위치 추정기(132)는 차량외 정보 검출기(141) 및 상황 분석기(133)의 상황 인식기(153)와 같은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 대상 차의 위치, 자세 등을 추정하는 처리를 수행한다. 또한, 자기 위치 추정기(132)는 필요에 따라, 자기 위치의 추정에 사용되는 로컬 맵(이하, 자기 위치 추정 맵이라고 함)을 생성한다. 자기 위치 추정 맵은 예를 들어, SLAM(simultaneous localization and mapping)과 같은 기술을 사용하는 고정밀도 맵이다. 자기 위치 추정기(132)는 예를 들어, 추정 처리 결과를 표시하는 데이터를 상황 분석기(133)의 맵 분석기(151), 교통 규칙 인식기(152) 및 상황 인식기(153)에 공급한다. 또한, 자기 위치 추정기(132)는 자기 위치 추정 맵을 저장 유닛(111)에 저장한다.

상황 분석기(133)는 대상 차 상황 또는 주위 상황을 분석하는 처리를 수행한다. 상황 분석기(133)는 맵 분석기(151), 교통 규칙 인식기(152), 상황 인식기(153), 및 상황 예측기(154)를 포함한다.

필요에 따라, 맵 분석기(151)는 자기 위치 추정기(132) 및 차량외 정보 검출기(141)와 같은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호를 사용하여, 저장 유닛(111)에 저장된 다양한 맵들을 분석하는 처리를 수행함으로써, 자동 운전 처리에 필요한 정보를 포함하는 맵을 구축한다. 맵 분석기(151)는 예를 들어, 구축된 맵을 교통 규칙 인식기(152), 상황 인식기(153), 상황 예측기(154), 및 계획기(134)의 루트 계획기(161), 액션 계획기(162), 및 동작 계획기(163)에 공급한다.

교통 규칙 인식기(152)는 자기 위치 추정기(132), 차량외 정보 검출기(141), 및 맵 분석기(151)와 같은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 대상 차의 교통 규칙을 인식하는 처리를 수행한다. 이러한 인식 처리에 의해, 예를 들어, 대상 차 주위의 신호등의 위치 및 상태, 대상 차 주위의 교통 규제 내용, 주행가능 차선 등이 인식된다. 교통 규칙 인식기(152)는 예를 들어, 인식 처리 결과를 표시하는 데이터를 상황 예측기(154)에 공급한다.

상황 인식기(153)는 자기 위치 추정기(132), 차량외 정보 검출기(141), 차량내 정보 검출기(142), 차량 상태 검출기(143), 및 맵 분석기(151)와 같은 차량 제어 시스템(100)의 각각의 유닛으로부터 데이터 또는 신호에 기초하여 대상 차에 관한 상황을 인식하는 처리를 수행한다. 예를 들어, 상황 인식기(153)는 예를 들어, 대상 차 상황, 대상 차 주위 상황, 및 대상 차 드라이버 상황을 인식하는 처리를 수행한다. 또한, 상황 인식기(153)는 필요에 따라, 대상 차 주위 상황의 인식에 사용되는 로컬 맵(이하 "상황 인식 맵"이라고 함)을 생성한다. 상황 인식 맵은 예를 들어, 점유 그리드 맵(occupancy grid map)이다.

예를 들어, 인식 대상으로서의 대상 차 상황은 예를 들어, 대상 차의 위치, 자세, 및 움직임(예를 들어, 속도, 가속도, 이동 방향 등) 및 이상 유무 및 내용을 포함한다. 인식 대상으로서의 대상 차 주위 상황은 예를 들어, 주위의 정지 피사체의 타입 및 위치, 주위의 동물체의 타입, 위치, 및 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 주위의 도로 구성, 주위의 도로 표면 상태, 주위의 날씨, 주위의 기온, 주위의 습도, 주위의 밝기 등을 포함한다. 인식 대상으로서의 드라이버의 상태는 예를 들어, 몸 상태, 각성도, 집중도, 피로도, 눈 움직임, 및 운전 조작을 포함한다.

상황 인식기(153)는 예를 들어, 인식 처리 결과를 표시하는 데이터(필요에 따라, 상황 인식 맵을 포함함)를 자기 위치 추정기(132) 및 상황 예측기(154)에 공급한다. 또한, 상황 인식기(153)는 상황 인식 맵을 저장 유닛(111)에 저장한다.

상황 예측기(154)는 맵 분석기(151), 교통 규칙 인식기(152), 및 상황 인식기(153)와 같은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 대상 차에 관한 상황을 예측하는 처리를 수행한다. 예를 들어, 상황 예측기(154)는 대상 차 상황, 대상 차 주위 상황, 드라이버 상황 등을 예측하는 처리를 수행한다.

예측 대상으로서의 대상 차 상황은 예를 들어, 대상 차 행동, 이상의 발생, 주행가능 거리 등을 포함한다. 예측 대상으로서의 대상 차 주위 상황은 예를 들어, 대상 차 주위의 동물체의 행동, 신호등의 상태 변화, 날씨와 같은 환경의 변화 등을 포함한다. 예측 대상으로서의 드라이버 상황은 예를 들어, 드라이버의 거동, 몸 상태 등을 포함한다.

상황 예측기(154)는 예를 들어, 예측 처리 결과를 표시하는 데이터를, 교통 규칙 인식기(152) 및 상황 인식기(153)로부터의 데이터와 함께, 계획기(134)의 루트 계획기(161), 액션 계획기(162), 및 동작 계획기(163)에 공급한다.

루트 계획기(161)는 맵 분석기(151) 및 상황 예측기(154)와 같은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 목적지까지의 루트를 계획한다. 예를 들어, 루트 계획기(161)는 글로벌 맵에 기초하여 현재 위치로부터 지정된 목적지까지의 루트를 설정한다. 또한, 예를 들면, 루트 계획기(161)는 교통 정체, 사고, 교통 규제, 및 공사와 같은 상황, 드라이버의 몸 상태 등에 기초하여, 필요에 따라 루트를 변경한다. 루트 계획기(161)는 계획된 루트를 표시하는 데이터를, 예를 들어, 액션 계획기(162)에 공급한다.

맵 분석기(151) 및 상황 예측기(154)와 같은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여, 액션 계획기(162)는 루트 계획기(161)에 의해 계획된 루트를 따라 계획된 시간 내에서 안전하게 주행하기 위한 대상 차 액션을 계획한다. 예를 들어, 액션 계획기(162)는 발진, 정지, 진행 방향(예를 들어, 전진, 후퇴, 좌회전, 우회전, 방향 전환 등), 주행 차선, 주행 속도, 및 추월을 위한 계획을 수행한다. 액션 계획기(162)는 예를 들어, 계획된 대상 차 액션을 표시하는 데이터를 동작 계획기(163)에 공급한다.

동작 계획기(163)는 맵 분석기(151) 및 상황 예측기(154)와 같은 차량 제어 시스템(100)의 각각의 유닛으로부터의 데이터 또는 신호에 기초하여 액션 계획기(162)에 의해 계획된 액션을 구현하기 위한 대상 차 동작을 계획한다. 예를 들어, 동작 계획기(163)는 가속, 감속, 주행 궤도 등에 대한 계획을 수행한다. 동작 계획기(163)는, 예를 들어, 계획된 대상 차 동작을 표시하는 데이터를 동작 제어기(135)의 가감속 제어기(172) 및 방향 제어기(173)에 공급한다.

동작 제어기(135)는 대상 차 동작의 제어를 수행한다. 동작 제어기(135)는 긴급 사태 회피기(171), 가감속 제어기(172), 및 방향 제어기(173)를 포함한다.

차량외 정보 검출기(141), 차량내 정보 검출기(142), 및 차량 상태 검출기(143)의 검출 결과에 기초하여, 긴급 사태 회피기(171)는 충돌, 접촉, 위험 지역으로의 진입, 드라이버 이상, 및 차량 이상과 같은 긴급 사태를 검출하는 처리를 수행한다. 비상 사태의 발생을 검출할 경우, 긴급 사태 회피기(171)는 급정차 및 급선회와 같은 긴급 사태를 회피하기 위한 대상 차 동작을 계획한다. 긴급 사태 회피기(171)는 예를 들어, 계획된 대상 차 동작을 표시하는 데이터를 가감속 제어기(172) 및 방향 제어기(173)에 공급한다.

가감속 제어기(172)는 동작 계획기(163) 또는 긴급 사태 회피기(171)에 의해 계획된 대상 차 동작을 구현하기 위한 가감속 제어를 수행한다. 예를 들어, 가감속 제어기(172)는 계획된 가속, 감속, 또는 급정차를 구현하기 위한 구동력 발생 디바이스 또는 제동 디바이스의 제어 목표값을 연산하고, 그에 의해 연산된 제어 목표값을 표시하는 제어 명령을 구동 시스템 제어기(107)에 공급한다.

방향 제어기(173)는 동작 계획기(163) 또는 긴급 사태 회피기(171)에 의해 계획된 대상 차 동작을 구현하기 위한 방향 제어를 수행한다. 예를 들어, 방향 제어기(173)는 동작 계획기(163) 또는 긴급 사태 회피기(171)에 의해 계획된 주행 궤도 또는 급선회를 구현하기 위한 스티어링 기구의 제어 목표값을 연산함으로써, 연산된 제어 목표값을 표시하는 제어 명령을 구동 시스템 제어기(107)에 공급한다.

(11. 본 개시내용의 구성의 요약)

본 개시내용의 실시예들은 특정 예들을 참조하여 위에서 상세히 설명되었다. 그러나, 본 개시내용의 요지로부터 벗어나지 않고 본 기술분야의 통상의 기술자에 의해 실시예들에 대한 수정 또는 대체가 이루어질 수 있다는 것이 명백하다. 즉, 본 개시내용은 예들의 형태로 개시되었으며, 제한된 방식으로 해석되어서는 안된다. 본 개시내용의 요지를 판단하기 위해서는, 청구항들이 참조될 필요가 있다.

본 명세서에 개시된 기술은 다음의 구성들을 채용할 수 있다는 점에 유의한다.

(1)

화상 처리 디바이스는:

동일한 피사체를 사진촬영함으로써 획득된 가시광 화상 및 적외선 화상의 입력을 수신하고;

가시광 화상, 적외선 화상, 및 움직임 정보에 기초하여, 가시광 화상과 연관된 블러 추정치를 추정하고;

추정된 블러 추정치에 기초하여, 보정된 가시광 화상을 생성하도록 구성되는 화상 처리 회로를 포함한다.

(2)

(1)의 화상 처리 디바이스에서, 적외선 화상은 원적외선 화상이다.

(3)

(1)의 화상 처리 디바이스에서, 가시광 화상과 연관된 블러 추정치를 추정하는 것은:

가시광 화상 및 적외선 화상에 기초하여, 화상-기반 블러 추정치를 추정하는 것;

움직임 정보에 기초하여, 움직임-기반 블러 추정치를 추정하는 것; 및

화상-기반 블러 추정치 및 움직임-기반 블러 추정치에 기초하여, 가시광 화상과 연관된 블러 추정치를 추정하는 것을 포함한다.

(4)

(3)의 화상 처리 디바이스에서, 화상-기반 블러 추정치를 추정하는 것은:

상이한 블러링 특성들을 갖는 복수의 필터 각각을 적외선 화상에 적용하여 복수의 블러가 있는 적외선 화상을 생성하는 것;

가시광 화상을 복수의 블러가 있는 적외선 화상과 비교하는 것; 및

복수의 필터 중에서, 가시광 화상과 가장 유사한 블러링을 갖는 블러가 있는 적외선 화상을 생성한 필터를 선택하는 것을 포함한다.

(5)

(4)의 화상 처리 디바이스에서, 상이한 블러링 특성들은 상이한 PSF(point-spread function)들에 대응한다.

(6)

(4)의 화상 처리 디바이스에서, 가시광 화상을 복수의 블러가 있는 적외선 화상들과 비교하는 것은:

가시광 화상과 복수의 블러가 있는 적외선 화상 각각 사이의 상관 값들을 산출하는 것을 포함하고,

복수의 필터 중에서 필터를 선택하는 것은 산출된 상관 값들 중에서 가장 높은 상관 값을 갖는 블러가 있는 적외선 화상을 생성한 필터를 선택하는 것을 포함한다.

(7)

(3)의 화상 처리 디바이스에서, 움직임-기반 블러 추정치를 추정하는 것은:

움직임 정보에 기초하여, 가시광 화상에서의 블러의 방향 및 크기를 결정하는 것을 포함한다.

(8)

(7)의 화상 처리 디바이스에서, 움직임-기반 블러 추정치를 추정하는 것은:

가시광 화상 내에서, 각각이 가시광 화상의 일부에 대응하는 복수의 화상 블록을 특정하는 것을 추가로 포함하고,

가시광 화상에서의 블러의 방향 및 크기를 결정하는 것은 복수의 화상 블록의 각각의 화상 블록에 대한 가시광 화상에서의 블러의 방향 및 크기를 결정하는 것을 포함한다.

(9)

(3)의 화상 처리 디바이스에서, 화상-기반 블러 추정치 및 움직임-기반 블러 추정치에 기초하여 가시광 화상과 연관된 블러 추정치를 추정하는 것은 가시광 화상과 연관된 블러 추정치로서 화상-기반 블러 추정치 또는 움직임-기반 블러 추정치를 선택하는 것을 포함한다.

(10)

(9)의 화상 처리 디바이스에서, 가시광 화상과 연관된 블러 추정치로서 화상-기반 블러 추정치 또는 움직임-기반 블러 추정치를 선택하는 것은:

가시광 화상에서 피사체에 대한 피사체의 움직임량을 판정하는 것;

판정된 피사체의 움직임량이 임계값보다 클 때 가시광 화상과 연관된 블러 추정치로서 화상-기반 블러 추정치를 선택하는 것; 및

판정된 피사체의 움직임량이 임계값보다 작을 때 가시광 화상과 연관된 블러 추정치로서 움직임-기반 블러 추정치를 선택하는 것을 포함한다.

(11)

(10)의 화상 처리 디바이스에서, 피사체의 움직임량을 판정하는 것은 환경 정보에 기초하여 피사체의 움직임량을 판정하는 것을 포함하고, 환경 정보는 맵 정보, 시간 정보, 및 교통 정보 중 하나 이상을 포함한다.

(12)

(10)의 화상 처리 디바이스에서, 피사체의 움직임량을 판정하는 것은 가시광 화상의 하나 이상의 부분에 대한 피사체의 움직임량을 판정하는 것을 포함한다.

(13)

(3)의 화상 처리 디바이스에서, 화상-기반 블러 추정치 및 움직임-기반 블러 추정치에 기초하여 가시광 화상과 연관된 블러 추정치를 추정하는 것은 화상-기반 블러 추정치 및 움직임-기반 블러 추정치를 결합하는 것을 포함한다.

(14)

가시광 화상, 적외선 화상, 및 움직임-기반 블러 추정치에 기초하여 가시광 화상과 연관된 블러 추정치를 추정하는 것을 포함한다.

(15)

(14)의 화상 처리 디바이스에서, 가시광 화상, 적외선 화상, 및 움직임-기반 블러 추정치에 기초하여 가시광 화상과 연관된 블러 추정치를 추정하는 것은:

움직임-기반 블러 추정치에 기초하여, 상이한 블러링 특성들을 갖는 복수의 필터 중에서 필터를 선택하는 것을 포함한다.

(16)

(14)의 화상 처리 디바이스에서, 가시광 화상과 연관된 블러 추정치를 추정하는 것은:

가시광 화상과 복수의 블러가 있는 적외선 화상 각각 사이의 상관 값들을 산출하는 것; 및

복수의 필터 중에서 필터를 선택하는 것 -필터의 선택은 산출된 상관 값들 및 움직임-기반 블러 추정치에 기초함-을 포함한다.

(17)

(1)의 화상 처리 디바이스에서, 가시광 화상과 연관된 블러 추정치를 추정하는 것은 상이한 블러링 특성들을 갖는 복수의 필터 중에서 필터를 선택하는 것을 포함하고,

보정된 가시광 화상을 생성하는 것은 선택된 필터의 특성에 대한 역 특성을 가시광 화상에 적용하는 것을 포함한다.

(18)

화상 처리 디바이스에서 수행되는 화상 처리 방법은:

동일한 피사체를 사진촬영함으로써 획득된 가시광 화상 및 적외선 화상의 입력을 수신하는 단계;

가시광 화상, 적외선 화상, 및 움직임 정보에 기초하여, 가시광 화상과 연관된 블러 추정치를 추정하는 단계; 및

추정된 블러 추정치에 기초하여, 보정된 가시광 화상을 생성하는 단계를 포함한다.

(19)

화상 처리 디바이스의 화상 처리 회로에 의해 실행될 때, 화상 처리 방법을 수행하는 복수의 명령어로 인코딩된 비일시적 컴퓨터 판독가능 매체에서, 화상 처리 방법은:

또한, 명세서에서 설명된 일련의 처리는 하드웨어, 소프트웨어, 또는 그 조합 구성에 의해 실행될 수 있다. 소프트웨어에 의해 처리를 실행하는 경우, 처리 시퀀스를 기록하는 프로그램은 전용 하드웨어에 포함되는 컴퓨터 내의 메모리에 설치 및 실행될 수 있거나, 프로그램은 다양한 타입의 처리를 실행하도록 구성된 범용 컴퓨터에 설치 및 실행될 수 있다. 예를 들어, 프로그램은 미리 기록 매체에 기록될 수 있다. 프로그램은 기록 매체로부터 컴퓨터에 설치될 수 있을 뿐만 아니라, LAN(local area network) 또는 인터넷과 같은 네트워크를 통해 수신될 수 있다. 그 후, 프로그램은 내장 하드 드라이브와 같은 기록 매체에 설치될 수 있다.

명세서에서 설명된 다양한 타입의 처리는 설명된 바와 같이 시간순으로 실행될 수 있을 뿐만 아니라, 처리를 실행하도록 구성된 디바이스의 처리 능력에 따라 또는 필요에 따라 병렬로 또는 개별적으로 실행될 수 있다는 점에 유의한다. 또한, 본 명세서에서의 시스템은 다수의 디바이스의 논리 구성 세트이고, 동일한 하우징 내의 각각의 디바이스 구성에 한정되지 않는다.

산업상 이용가능성

전술한 바와 같이, 본 개시내용의 일 실시예의 구성에 따르면, 가시광 화상에 대한 블러(디포커싱)를 제거 또는 저감시키는 화상 품질 개선 처리를 실행하기 위한 디바이스 및 방법이 구현된다.

구체적으로, 동일한 피사체의 동시 사진촬영된 가시광 화상 및 원적외선 화상과 카메라 움직임 정보가 입력되고; 카메라 움직임으로 인한 가시광 화상에 대한 블러(디포커싱)로서의 카메라 움직임-기반 블러가 추정되고; 가시광 화상, 원적외선 화상, 및 카메라 움직임-기반 블러는 가시광 화상-기반 블러와 카메라 움직임-기반 블러의 통합된 블러에 대응하는 블러를 생성하기 위한 필터로서의 통합된 필터를 추정하기 위해 이용되고; 추정된 통합된 필터의 특성과 반대인 특성을 갖는 역 특성 필터가 가시광 화상에 적용되어, 블러가 제거되거나 저감된 보정된 가시광 화상을 생성한다.

11 : 블러가 있는 가시광 화상
12 : 블러가 없는 원적외선 화상
13 : 카메라 움직임 정보
15 : 블러가 감소된 가시광 화상
21 : 가시광 화상 입력 유닛
22 : 원적외선 화상 입력 유닛
23 : 카메라 움직임 정보 입력 유닛
25 : 보정전 가시광 화상
26 : 원적외선 화상
27 : 보정후 가시광 화상
30 : 화상-기반 블러 추정기
30b : 블러 추정기
31 : 필터 프로세서
32 : 상관 연산기
33 : 화상-기반 필터 결정기
34 : 필터 뱅크 선택기
35 : 필터 뱅크
37 : 통합된 필터 결정기
38 : 필터(블러) 비교기
39 : 상관 보정기
40 : 카메라 움직임-기반 블러 추정기
41 : 카메라 움직임 블러 맵 취득기
45 : 카메라 움직임 블러 맵 저장 유닛
50 : 통합된 블러 추정기
51 : 피사체 움직임 판정기
52 : 통합된 필터 결정기
55 : 환경 정보 저장 유닛/입력 유닛
60 : 블러 제거기
61 : 역 필터 산출기
62 : 역 필터 프로세서
63 : 역 필터 보정기
70 : 신뢰도 산출기
71 : 필터(블러) 비교기
81 : CPU
82 : ROM
83 : RAM
84 : 버스
85 : 입출력 인터페이스
86 : 입력 유닛
87 : 출력 유닛
88 : 저장 유닛
89 : 통신 유닛
90 : 드라이브
91 : 이동식 매체
95 : 촬상기(카메라)
96 : 디스플레이
100 : 차량 제어 시스템
101 : 입력 유닛
102 : 데이터 취득기
103 : 통신 유닛
104 : 차량내 장비
105 : 출력 제어기
106 : 출력 유닛
107 : 구동 시스템 제어기
108 : 구동 시스템
109 : 보디 시스템 제어기
110 : 보디 시스템
111 : 저장 유닛
112 : 자동 운전 제어기
131 : 검출기
132 : 자기 위치 추정기
133 : 상황 분석기
134 : 계획기
135 : 동작 제어기
141 : 차량외 정보 검출기
142 : 차량내 정보 검출기
143 : 차량 상태 검출기
151 : 맵 분석기
152 : 교통 규칙 인식기
153 : 상황 인식기
154 : 상황 예측기
161 : 루트 계획기
162 : 액션 계획기
163 : 동작 계획기
171 : 긴급 사태 회피기
172 : 가감속 제어기
173 : 방향 제어기
201 : 디스플레이

Claims

화상 처리 디바이스로서,
동일한 피사체를 사진촬영함으로써 획득된 가시광 화상 및 적외선 화상의 입력을 수신하고;
상기 가시광 화상, 상기 적외선 화상, 및 움직임 정보에 기초하여, 상기 가시광 화상과 연관된 블러 추정치(blur estimate)를 추정하고;
상기 추정된 블러 추정치에 기초하여, 보정된 가시광 화상을 생성하도록 구성되는 화상 처리 회로를 포함하는 화상 처리 디바이스.
제1항에 있어서,
상기 적외선 화상은 원적외선 화상인 화상 처리 디바이스.
제1항에 있어서,
상기 가시광 화상과 연관된 상기 블러 추정치를 추정하는 것은:
상기 가시광 화상 및 상기 적외선 화상에 기초하여, 화상-기반 블러 추정치를 추정하는 것;
상기 움직임 정보에 기초하여, 움직임-기반 블러 추정치를 추정하는 것; 및
상기 화상-기반 블러 추정치 및 상기 움직임-기반 블러 추정치에 기초하여, 상기 가시광 화상과 연관된 상기 블러 추정치를 추정하는 것을 포함하는 화상 처리 디바이스.
제3항에 있어서,
상기 화상-기반 블러 추정치를 추정하는 것은:
상이한 블러링 특성들을 갖는 복수의 필터 각각을 상기 적외선 화상에 적용하여 복수의 블러가 있는 적외선 화상을 생성하는 것;
상기 가시광 화상을 상기 복수의 블러가 있는 적외선 화상과 비교하는 것; 및
복수의 필터 중에서, 상기 가시광 화상과 가장 유사한 블러링을 갖는 블러가 있는 적외선 화상을 생성한 필터를 선택하는 것을 포함하는 화상 처리 디바이스.
제4항에 있어서,
상기 상이한 블러링 특성들은 상이한 PSF(point-spread function)들에 대응하는 화상 처리 디바이스.
제4항에 있어서,
상기 가시광 화상을 상기 복수의 블러가 있는 적외선 화상과 비교하는 것은:
상기 가시광 화상과 상기 복수의 블러가 있는 적외선 화상 각각 사이의 상관 값들을 산출하는 것을 포함하고,
상기 복수의 필터 중에서 필터를 선택하는 것은 상기 산출된 상관 값들 중에서 가장 높은 상관 값을 갖는 상기 블러가 있는 적외선 화상을 생성한 필터를 선택하는 것을 포함하는 화상 처리 디바이스.
제3항에 있어서,
상기 움직임-기반 블러 추정치를 추정하는 것은:
상기 움직임 정보에 기초하여, 상기 가시광 화상에서의 블러의 방향 및 크기를 판정하는 것을 포함하는 화상 처리 디바이스.
제7항에 있어서,
상기 움직임-기반 블러 추정치를 추정하는 것은:
상기 가시광 화상 내에서, 각각이 상기 가시광 화상의 일부에 대응하는 복수의 화상 블록을 특정하는 것을 추가로 포함하고,
상기 가시광 화상에서의 블러의 방향 및 크기를 결정하는 것은 상기 복수의 화상 블록의 각각의 화상 블록에 대한 상기 가시광 화상에서의 블러의 방향 및 크기를 결정하는 것을 포함하는 화상 처리 디바이스.
제3항에 있어서,
상기 화상-기반 블러 추정치 및 상기 움직임-기반 블러 추정치에 기초하여 상기 가시광 화상과 연관된 상기 블러 추정치를 추정하는 것은 상기 가시광 화상과 연관된 상기 블러 추정치로서 상기 화상-기반 블러 추정치 또는 상기 움직임-기반 블러 추정치를 선택하는 것을 포함하는 화상 처리 디바이스.
제9항에 있어서,
상기 가시광 화상과 연관된 상기 블러 추정치로서 상기 화상-기반 블러 추정치 또는 상기 움직임-기반 블러 추정치를 선택하는 것은:
상기 가시광 화상에서 피사체에 대한 피사체의 움직임량을 판정하는 것;
상기 판정된 피사체의 움직임량이 임계값보다 클 때 상기 가시광 화상과 연관된 블러 추정치로서 상기 화상-기반 블러 추정치를 선택하는 것; 및
상기 판정된 피사체의 움직임량이 상기 임계값보다 작을 때 상기 가시광 화상과 연관된 상기 블러 추정치로서 상기 움직임-기반 블러 추정치를 선택하는 것을 포함하는 화상 처리 디바이스.
제10항에 있어서,
상기 피사체의 움직임량을 판정하는 것은 환경 정보에 기초하여 피사체의 움직임량을 판정하는 것을 포함하고, 상기 환경 정보는 맵 정보, 시간 정보, 및 교통 정보 중 하나 이상을 포함하는 화상 처리 디바이스.
제10항에 있어서,
상기 피사체의 움직임량을 판정하는 것은 상기 가시광 화상의 하나 이상의 부분에 대한 피사체의 움직임량을 판정하는 것을 포함하는 화상 처리 디바이스.
제3항에 있어서,
상기 화상-기반 블러 추정치 및 상기 움직임-기반 블러 추정치에 기초하여 상기 가시광 화상과 연관된 상기 블러 추정치를 추정하는 것은 상기 화상-기반 블러 추정치 및 상기 움직임-기반 블러 추정치를 결합하는 것을 포함하는 화상 처리 디바이스.
제1항에 있어서,
상기 가시광 화상과 연관된 상기 블러 추정치를 추정하는 것은:
상기 움직임 정보에 기초하여, 움직임-기반 블러 추정치를 추정하는 것; 및
상기 가시광 화상, 상기 적외선 화상, 및 상기 움직임-기반 블러 추정치에 기초하여 상기 가시광 화상과 연관된 상기 블러 추정치를 추정하는 것을 포함하는 화상 처리 디바이스.
제14항에 있어서,
상기 가시광 화상, 상기 적외선 화상, 및 상기 움직임-기반 블러 추정치에 기초하여 상기 가시광 화상과 연관된 상기 블러 추정치를 추정하는 것은:
상기 움직임-기반 블러 추정치에 기초하여, 상이한 블러링 특성들을 갖는 복수의 필터 중에서 필터를 선택하는 것을 포함하는 화상 처리 디바이스.
제14항에 있어서,
상기 가시광 화상과 연관된 상기 블러 추정치를 추정하는 것은:
상이한 블러링 특성들을 갖는 복수의 필터 각각을 상기 적외선 화상에 적용하여 복수의 블러가 있는 적외선 화상을 생성하는 것;
상기 가시광 화상과 복수의 블러가 있는 적외선 화상 각각 사이의 상관 값들을 산출하는 것; 및
상기 복수의 필터 중에서 필터를 선택하는 것 -상기 필터의 선택은 상기 산출된 상관 값들 및 상기 움직임-기반 블러 추정치에 기초함-을 포함하는 화상 처리 디바이스.
제1항에 있어서,
상기 가시광 화상과 연관된 블러 추정치를 추정하는 것은 상이한 블러링 특성들을 갖는 복수의 필터 중에서 필터를 선택하는 것을 포함하고,
상기 보정된 가시광 화상을 생성하는 것은 상기 선택된 필터의 특성에 대한 역 특성을 상기 가시광 화상에 적용하는 것을 포함하는 화상 처리 디바이스.
화상 처리 디바이스에서 수행되는 화상 처리 방법으로서,
동일한 피사체를 사진촬영함으로써 획득된 가시광 화상 및 적외선 화상의 입력을 수신하는 단계;
상기 가시광 화상, 상기 적외선 화상, 및 움직임 정보에 기초하여, 상기 가시광 화상과 연관된 블러 추정치를 추정하는 단계; 및
상기 추정된 블러 추정치에 기초하여, 보정된 가시광 화상을 생성하는 단계를 포함하는 화상 처리 방법.
화상 처리 디바이스의 화상 처리 회로에 의해 실행될 때, 화상 처리 방법을 수행하는 복수의 명령어로 인코딩된 비일시적 컴퓨터 판독가능 매체로서,
상기 화상 처리 방법은:
동일한 피사체를 사진촬영함으로써 획득된 가시광 화상 및 적외선 화상의 입력을 수신하는 단계;
상기 가시광 화상, 상기 적외선 화상, 및 움직임 정보에 기초하여, 상기 가시광 화상과 연관된 블러 추정치를 추정하는 단계; 및
상기 추정된 블러 추정치에 기초하여, 보정된 가시광 화상을 생성하는 단계를 포함하는 비일시적 컴퓨터 판독가능 매체.