KR20080106391A - 화상 처리 장치, 및 화상 처리 방법, 및 컴퓨터 프로그램 - Google Patents

Abstract

쟈키니스 및 블러의 쌍방을 저감한 고품질의 화상을 출력하는 장치 및 방법을 제공한다. 일정한 프레임 레이트로 출력하는 동화상을 생성할 때, 동화상을 구성하는 프레임 화상을 구분한 분할 영역 단위로 출력 화상의 프레임 레이트에 따른 피사체의 이동 속도를 산출하고, 분할 영역 단위의 이동 속도에 대응하는 최적의 촬상 셔터 속도로서, 출력 화상의 화상 열화가 저감되는 최적 셔터 속도를 분할 영역 단위로 취득하고, 취득한 최적 셔터 속도에 대응하는 화상을 분할 영역 단위로 생성하고, 생성한 분할 영역 화상을 결합한 프레임 화상을 출력시킨다. 본 구성에 따르면, 쟈키니스 및 블러의 쌍방을 저감한 고품질의 화상의 출력이 가능해진다.

쟈키니스, 블러, 프레임 레이트, 분할 영역 단위, 이동 속도, 최적 셔터 속도, 공간 특징량, 필터링 처리

Description

화상 처리 장치, 및 화상 처리 방법, 및 컴퓨터 프로그램{VIDEO IMAGE PROCESSING DEVICE, VIDEO IMAGE PROCESSING METHOD, AND COMPUTER PROGRAM}

본 발명은, 화상 처리 장치, 및 화상 처리 방법, 및 컴퓨터 프로그램에 관한 것이다. 특히 이동하는 피사체의 촬영 화상에 발생하는 쟈키니스나 블러 등의 화질 열화를 저감하여, 고품질의 출력 화상을 생성하는 화상 처리 장치, 및 화상 처리 방법, 및 컴퓨터 프로그램에 관한 것이다.

고속 셔터로 촬상된 동화상이나 애니메이션 등을, 프로젝터나 디스플레이 등의 표시 디바이스를 이용하여 표시하면, 화상 중에 포함되는 이동 물체의 움직임이 불연속으로 표시되어, 화상을 관찰하는 관찰자가 다중상을 지각하게 된다고 하는 화상 열화가 빈번하게 발생한다. 이것은, 일반적으로 쟈키니스라고 불리는 화질 열화의 현상이다.

한편, 오픈 셔터 등 저속의 셔터 스피드로 촬상된 동화상을 표시하면, 움직임 불선명의 영향에 의해, 피사체의 디테일 결손이나 엣지가 불선명해지는 일이 자주 있다. 이 현상은, 블러(불선명)라고 불리는 화질 열화의 현상이다.

이들의, 쟈키니스와 블러의 발생 원리에 대하여, 도 1∼3을 이용하여 설명한다. 인간의 지각 특성으로서, 눈에 입사한 광을 일정 시간 적분한 값으로서 지각 하는 것이 알려져 있다. 도 1∼3은, 이 지각 특성에 기초한 관찰자로부터의 물체의 보이는 양태를 모의적으로 설명하는 도면이다.

도 1은, 정지 물체와 이동 물체의 실세계에서의 보이는 양태를 설명하는 예이다.

도 1의 (1)은, 횡축을 위치(x), 종축을 시간(t)으로 하여, 정지 물체(11)와 이동 물체(12)의 시간적 변이를 나타내고 있고, 도 1의 (2)는, 이들 정지 물체(11)와 이동 물체(12)를 관찰하는 관찰자의 지각 상황을 모의적으로 도시한 도면이다. 관찰자는, 이동 물체(12)를 추종하여 관찰하는 추종시와, 및 이동 물체(12)를 추종하지 않고 시점을 고정하여 관찰하는 고정시를 행하는 2가지의 서로 다른 관찰 형태에서의 지각 상황이 있다. 각각 (a) 추종시, (b) 고정시로서 나타내고 있다.

도 1의 (2)의 (a) 추종시에 도시하는 바와 같이, 이동 물체(12)를 관찰자가 추종시한 경우, 이동 물체(12)의 보이는 양태는, 도 1의 (2)의 이동 물체 지각 정보 a12와 같이 된다. 이것은 도 1의 (2)의 (b) 고정시에서의 고정 물체(11)의 보이는 양태인 고정 물체 지각 정보 b11과 마찬가지의 보이는 양태이다. 이와 같이, 관찰자가 이동 물체(12)를 추종시한 경우에는, 고정시에서의 고정 물체(11)의 보이는 양태와 마찬가지로 관찰자는 지각한다.

한편, 도 1의 (2)의 (b) 고정시에 도시하는 바와 같이, 이동 물체(12)를 관찰자가 고정시한 경우, 이동 물체(12)의 보이는 양태는, 도 1의 (2)의 이동 물체 지각 정보 b12와 같이 된다. 이것은, 관찰자가 이동 물체를 연속적으로 이동하도록 변화하는 지각을 행하는 것으로서, 관찰자가 위화감을 발생하는 일이 없다.

도 2는, 고속 셔터로 촬상된 동화상이나 애니메이션 등을, 프로젝터나 디스플레이 등의 표시 디바이스를 이용하여 표시한 경우에 관찰자에 의해 지각되는 쟈키니스의 발생을 설명하는 도면이다. 즉, 화상 중에 포함되는 이동 물체의 움직임이 불연속으로 표시되어, 화상을 관찰하는 관찰자가 다중상을 지각한다고 하는 현상이다.

도 2에서는, 도 1의 실세계에서의 이동 물체를, 고속 셔터를 이용하여 촬상해서, 60Hz로 리플래쉬되는 표시 디바이스에 표시한 경우, 관찰자로부터의 보이는 양태를 모의적으로 도시하고 있다. 도 2의 (1)는, 표시 정지 물체(21)와 표시 이동 물체(22)의 표시 디바이스 상에서의 표시 위치의 변화를 나타내고 있다. 종축이 시간 (t)이고 표시 디바이스의 리프레시 간격(1/60sec)마다 단락이 설정되어 있다. 횡축이 표시 위치(x)이다.

도 2의 (2)는, 표시 디바이스에 표시되는 표시 정지 물체(21)와 표시 이동 물체(22)를 관찰하는 관찰자의 지각 상황을 모의적으로 도시한 도면이다. 관찰자는, 표시 이동 물체(22)를 추종하여 관찰하는 추종시와, 및 표시 이동 물체(22)를 추종하지 않고 시점을 고정하여 관찰하는 고정시를 행하는 2가지의 서로 다른 관찰 형태에서의 지각 상황이 있다. 이들을 각각 (a) 추종시, (b) 고정시로서 나타내고 있다.

도 2의 (2)의 (a)에 도시한 바와 같이, 표시 디바이스에 표시되는 표시 이동 물체(22)를, 관찰자가 추종시한 경우의 보이는 양태(a22)는, 도 1을 참조하여 설명한 도 1의 (2)의 (a)의 추종시의 보이는 양태(a12)와 마찬가지의 보이는 양태로서, 정지 물체를 고정시한 경우와 마찬가지로 관찰자는 지각하게 된다.

한편, 표시 디바이스에 표시되는 표시 이동 물체(22)를, 관찰자가 고정시한 경우에는, 도 2의 (2)의 (b)에 도시한 바와 같이, 관찰자의 시각에 의한 지각상, 실세계와는 달리 표시 이동 물체(22)는, 연속적이 아니라 이산적으로 이동 변화하는 보이는 양태(b22)로 된다. 결과적으로, 관측자는, 눈에 입사한 광을 일정 시간 적분한 값으로서 지각한다고 하는 지각 특성에 기초하여, 표시 디바이스에 표시되는 이동 물체를 다중상으로서 지각하게 된다.

관측자는, 원래 1개의 물체임에도 불구하고, 복수의 물체와 같이 느껴지게 되게 된다. 이러한 현상을 쟈키니스 열화라고 한다. 쟈키니스 열화는, 원리적으로 이동 속도가 빠른 물체일수록 발생하기 쉽다. 또한, 쟈키니스 열화는, 표시 디바이스의 프레임 레이트가 낮을수록 발생하기 쉽고, 프레임 레이트가 높을수록 발생하기 어렵다. 또한, 쟈키니스 열화는, 일반적으로, 공간적인 휘도의 변화가 큰 부분, 바꿔 말하면, 공간 콘트라스트가 높은 부분에서 생기기 쉽다.

도 3은, 예를 들면 오픈 셔터 등의 저속 셔터로 촬상된 동화상이나 애니메이션 등을, 프로젝터나 디스플레이 등의 표시 디바이스를 이용하여 표시한 경우에 관찰자에 의해 지각되는 블러의 발생을 설명하는 도면이다. 블러는, 움직임 불선명의 영향에 의해, 피사체의 디테일의 결손이나 엣지가 불선명해지는 현상이다.

도 3에서는, 도 1의 실세계에서의 이동 물체를, 저속 셔터를 이용하여 촬상해서, 60Hz로 리플래쉬되는 표시 디바이스에 표시한 경우, 관찰자로부터의 보이는 양태를 모의적으로 나타내고 있다. 도 3의 (1)은, 표시 정지 물체(31)와 표시 이 동 물체(32)의 표시 디바이스 상에서의 표시 위치의 변화를 도시하고 있다. 종축이 시간 (t)이며 표시 디바이스의 리프레시 간격(1/60sec)마다 단락이 설정되어 있다. 횡축이 표시 위치(x)이다.

도 3의 (2)는, 표시 디바이스에 표시되는 표시 정지 물체(31)와 표시 이동 물체(32)를 관찰하는 관찰자의 지각 상황을 모의적으로 도시한 도면이다. 관찰자는, 표시 이동 물체(32)를 추종하여 관찰하는 추종시, 및 표시 이동 물체(32)를 추종하지 않고 시점을 고정하여 관찰하는 고정시를 행하는 2가지의 서로 다른 관찰 형태에서의 지각 상황이 있다. 이들을 각각 (a) 추종시, (b) 고정시로서 나타내고 있다.

도 3의 (2)의 (b)에 도시한 바와 같이, 표시 디바이스에 표시되는 표시 이동 물체(32)를, 관찰자가 고정시한 경우(b32)에서는, 도 1을 참조하여 설명한 도 1의 (2)의 (b)의 고정시와 마찬가지의 보이는 양태(b12)로서, 관찰자가 이동 물체를 연속적으로 이동하도록 변화하는 지각을 행하여, 관찰자가 위화감을 발생하는 일이 없다.

한편, 표시 디바이스에 표시되는 표시 이동 물체(32)를, 관찰자가 추종시한 경우에는, 도 3의 (2)의 (a)의 보이는 양태(a32)에 나타낸 바와 같이, 관찰자에게는, 정지 물체를 고정시한 경우와는 다른, 불선명한 상으로서 지각된다. 이것은, 도 3의 (1)의 표시 이동 물체(32)에 나타낸 바와 같이, 촬상시에 있어서, 저속 셔터에 기초한 장기간의 노광중인 이동 물체의 움직임이 1 프레임에 기록되고, 이 이동하는 물체가 1 프레임 중에 띠 형상으로 표시되기 때문이다. 이러한 현상을 블 러 열화라고 한다.

앞서 설명한 바와 같이, 쟈키니스 열화 및 블러 열화의 발생은, 촬상시의 셔터 속도에 대하여, 상반되는 관계에 있기 때문에, 단순한 셔터 제어로는 어느 한쪽의 열화가 두드러지게 된다.

또한, 쟈키니스는, 원래의 동화상과는 다른 프레임 레이트로 변환하여 표시하는 경우, 발생하기 쉬운 화질 열화로서 알려져 있다. 예를 들면, 고프레임 레이트의 원동화상을, 원동화상보다도 낮은 프레임 레이트로 변환하여 표시하는 수단으로서는, 변환 후의 프레임 수에 맞추어, 단순히 씨닝하는 방법이 일반적인데, 이 경우, 원동화상은 짧은 노광 시간에 촬상되기 때문에, 쟈키니스가 발생하기 쉽다.

이 프레임 레이트 변환 시에 발생하는 쟈키니스를 억제하기 위한 방법으로서, 씨닝에 의한 프레임 레이트의 변환을 행하지 않고, 변환 후의 프레임 수에 맞추어, 단순히 원래의 동화상의 구성 프레임의 평균화를 행하는 방법이 알려져 있다. 이 프레임 평균화 방법에 의해, 쟈키니스의 억제가 가능해진다. 그러나, 이 방법은, 결과적으로, 고속 셔터 대응의 고프레임 레이트 화상에 기초한 평균화에 의해, 저프레임 레이트, 즉 저속 셔터에서의 촬영 화상을 생성하는 것에 상당하여, 블러 열화를 두드러지게 하게 된다고 하는 문제를 발생시키게 된다.

한편, 저프레임 레이트의 원동화상을, 원동화상보다도 높은 프레임 레이트로 변환하여 표시하는 경우, 시간적으로 존재하지 않는 프레임에 대하여, 전후의 존재하는 프레임을 복수회 표시하는 방법이, 가장 간이하다. 그러나, 이러한 프레임 레이트 변환을 행하면, 이동하는 피사체의 움직임은 이산적으로 되기 때문에, 쟈키 니스가 발생하기 쉽다.

이와 같이, 저프레임 레이트의 원화상으로부터 고프레임 레이트의 화상을 생성하는 프레임 레이트 변환 처리를 행하는 경우에 쟈키니스의 발생을 억제하기 위한 방법으로서, 움직임 보상을 이용하여 시간적으로 존재하지 않는 프레임을 보간 처리에 의해 생성하여, 고프레임 레이트의 동화상을 작성하는 방법이 알려져 있다. (예를 들면 특허 문헌 1) 이 방법을 이용함으로써, 쟈키니스 열화의 개선이 도모된다.

[특허 문헌1] 일본 특허 공개 평성 11-112939호 공보

<발명의 개시>

<발명이 해결하고자 하는 과제>

전술한 바와 같이, 쟈키니스 및 블러의 발생은, 촬상시의 셔터 속도에 대하여, 상반되는 관계에 있기 때문에, 단순한 셔터 제어로는 어느 한쪽의 열화가 두드러지는 문제가 있다. 또한, 프레임 레이트 변환시에서는, 상기한 대로, 원리적으로, 쌍방의 열화를 억제하는 것은 곤란하며, 한쪽의 열화를 억제하면 다른 쪽이 두드러진다고 하는 문제가 있다.

예를 들면 저프레임 레이트로부터 고프레임 레이트의 변환을 행하는 경우에는, 전술한 프레임 보간을 행하고, 상당히 높은 프레임 레이트로까지 변환하면, 동화상을 표시했을 때의 쟈키니스 열화를 저감하는 것은 가능하다. 그러나, 현행의 필름(1 초당 24 프레임)이나 텔레비전(1 초당 50 프레임 혹은 60 프레임) 표준의 동화상 포맷에서의 표시에서는, 프레임 레이트는 충분히 높지 않기 때문에, 쟈키니 스 열화의 저감에는 한계가 있다. 현행의 텔레비전 표준 이상으로, 고속의 프레임 레이트의 동화상을, 표시 가능한 표시 디바이스는, 현재 시점에서 극히 한정되어 있으며, 현행의 많은 표시 디바이스에 대해서는, 프레임 보간에 의한 화질 열화의 개선에 한계가 있다.

본 발명은, 이러한 문제를 감안하여 이루어진 것으로, 동화상 화질 열화의 요인인 쟈키니스와 블러의 쌍방을 억제하는 것을 가능하게 하는 화상 처리 장치, 및 화상 처리 방법, 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.

본 발명은, 예를 들면, 입력 화상 신호의 분할 영역마다, 프레임간의 이동 속도나 공간적인 특징량을 산출하고, 산출한 이동 속도나 공간 특징량에 기초하여 영역마다 적응적인 필터링 처리를 행함으로써, 쟈키니스와 블러의 쌍방의 발생을 억제한 화질 열화가 적은 고화질의 화상 신호를 생성하여 출력하는 것을 가능하게 한 화상 처리 장치, 및 화상 처리 방법, 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.

<과제를 해결하기 위한 수단>

본 발명의 제1 측면은, 동화상에 대한 화상 처리를 실행하는 화상 처리 장치로서, 동화상을 구성하는 프레임 화상을 구분한 분할 영역 단위로 출력 화상의 프레임 레이트에 따른 피사체의 이동 속도를 산출하는 이동 속도 연산부와, 상기 분할 영역 단위의 이동 속도 정보를 입력받고, 이동 속도에 대응하는 최적의 촬상 셔터 속도로서, 출력 화상의 화상 열화가 저감되는 최적 셔터 속도를 상기 분할 영역 단위로 취득하고, 취득한 최적 셔터 속도에 대응하는 화상을 상기 분할 영역 단위 로 생성하고, 생성한 분할 영역 화상을 결합한 프레임 화상을 출력하는 화상 생성 처리부를 갖는 것을 특징으로 하는 화상 처리 장치에 있다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에 있어서, 상기 이동 속도 연산부는, 입력 화상의 프레임으로부터 선택된 탐색용 프레임과 참조용 프레임을 적용한 블록 매칭 처리에 의해 분할 영역 단위로 이동 속도를 산출하는 처리를 실행하는 구성인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에 있어서, 상기 이동 속도 연산부는, 입력 화상의 프레임으로부터 선택된 탐색용 프레임과 참조용 프레임을 적용한 블록 매칭 처리에 의해 분할 영역 단위로 움직임 벡터를 구하는 블록 매칭부와, 상기 블록 매칭부에서 산출한 움직임 벡터 정보에 기초하여, 출력 화상의 프레임 레이트에 따른 피사체의 이동 속도를 산출하는 움직임 벡터 규격화부를 갖는 구성인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에 있어서, 상기 이동 속도 연산부는, 상기 탐색용 프레임을, 출력 화상의 프레임 레이트에 따른 프레임 간격으로 입력 화상의 프레임으로부터 선택하는 처리를 실행하는 구성인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에 있어서, 상기 화상 생성 처리부는, 이동 속도와, 출력 화상의 화상 열화가 저감되는 촬상 셔터 속도를 대응시킨 테이블을 유지하고, 그 테이블을 참조하여 이동 속도에 대응하는 최적 셔터 속도를 상기 분할 영역 단위로 취득하는 구성인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에 있어서, 상기 테이블은, 이동 속도 구간 정보와, 최적 셔터 속도 정보를 대응시킨 테이블인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에 있어서, 상기 화상 생성 처리부는, 이동 속도와, 출력 화상의 화상 열화가 저감되는 최적 셔터 속도의 대응 관계가 서로 다른 복수의 상이한 테이블을 갖고, 유저 선택 정보에 기초하여, 적용하는 테이블을 결정하는 구성인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에 있어서, 상기 화상 생성 처리부는, 상기 분할 영역 단위로, 이동 속도에 대응하는 최적 셔터 속도를 산출하는 최적 셔터 속도 산출부와, 상기 최적 셔터 속도 산출부가 산출한 최적 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하는 필터링 처리부를 갖는 구성인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에 있어서, 상기 필터링 처리부는, 입력 화상의 프레임으로부터 선택된 프레임에 기초하여, 상기 최적 셔터 속도 산출부가 산출한 촬상 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하는 처리를 실행하는 구성인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에 있어서, 상기 필터링 처리부는, 상기 최적 셔터 속도 산출부가 산출한 최적 셔터 속도에 따른 가중 계수를 설정하고, 입력 화상의 복수 프레임의 화소값의 가중 평균을 실행하여, 출력 화상 프레임의 화소값을 결정하는 처리를 실행하는 구성인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에 있어서, 상기 화상 생성 처리부는, 입력 화상의 프레임에 포함되지 않는 중간 프레임을 생성하는 중간 프레임 생성부를 갖고, 상기 최적 셔터 속도 산출부가 산출한 최적 셔터 속도에 대응하는 화상을, 상기 중간 프레임을 적용하여 분할 영역 단위로 생성하는 처리를 실행하는 구성인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에 있어서, 상기 화상 처리 장치는, 또한, 상기 분할 영역 단위로 공간 콘트라스트의 크기를 검출하는 공간 특징량 검출부를 갖고, 상기 화상 생성 처리부는, 공간 콘트라스트가 미리 정한 임계값 미만의 분할 영역에 대해서는, 상기 이동 속도에 대응하여 산출되는 최적 셔터 속도보다 높은 셔터 속도를 최적 셔터 속도로서 설정하는 처리를 실행하는 구성인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에 있어서, 상기 화상 처리 장치는, 상기 분할 영역 단위로 공간 콘트라스트의 크기를 검출하는 공간 특징량 검출부를 더 갖고, 상기 화상 생성 처리부는, 공간 콘트라스트가 미리 정한 임계값 미만의 분할 영역에 대해서는, 상기 이동 속도에 대응하여 산출되는 최적 셔터 속도를 산출하지 않고, 입력 화상이 갖는 프레임 레이트에 대응하는 셔터 속도를 최적 셔터 속도로서 설정하는 처리를 실행하는 구성인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 장치의 일 실시 양태에 있어서, 상기 출력 화상의 화상 열화는, 쟈키니스 및 블러에 의한 화상 열화이고, 상기 화상 생성 처리부는, 쟈키니스 및 블러에 의한 화상 열화가 저감되는 최적 셔터 속도를 상기 분할 영역 단위로 취득하고, 취득한 최적 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하는 처리를 실행하는 구성인 것을 특징으로 한다.

또한, 본 발명의 제2 측면은, 화상 처리 장치에 있어서, 동화상에 대한 화상 처리를 실행하는 화상 처리 방법으로서, 이동 속도 연산부에 있어서, 동화상을 구성하는 프레임 화상을 구분한 분할 영역 단위로 출력 화상의 프레임 레이트에 따른 피사체의 이동 속도를 산출하는 이동 속도 연산 스텝과, 화상 생성 처리부에 있어서, 상기 분할 영역 단위의 이동 속도 정보를 입력받고, 이동 속도에 대응하는 최적의 촬상 셔터 속도로서, 출력 화상의 화상 열화가 저감되는 최적 셔터 속도를 상기 분할 영역 단위로 취득하고, 취득한 최적 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하고, 생성한 분할 영역 화상을 결합한 프레임 화상을 출력하는 화상 생성 처리 스텝을 갖는 것을 특징으로 하는 화상 처리 방법에 있다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에 있어서, 상기 이동 속도 연산 스텝은, 입력 화상의 프레임으로부터 선택된 탐색용 프레임과 참조용 프레임을 적용한 블록 매칭 처리에 의해 분할 영역 단위로 이동 속도를 산출하는 처리를 실행하는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에 있어서, 상기 이동 속도 연산 스텝은, 입력 화상의 프레임으로부터 선택된 탐색용 프레임과 참조용 프레임을 적용한 블록 매칭 처리에 의해 분할 영역 단위로 움직임 벡터를 구하는 블록 매칭 처리 스텝, 상기 블록 매칭 처리 스텝에서 산출한 움직임 벡터 정보에 기초하여, 출력 화상의 프레임 레이트에 따른 피사체의 이동 속도를 산출하는 움직임 벡 터 규격화 스텝을 갖는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에 있어서, 상기 이동 속도 연산 스텝은, 상기 탐색용 프레임을, 출력 화상의 프레임 레이트에 따른 프레임 간격으로 입력 화상의 프레임으로부터 선택하는 처리를 실행하는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에 있어서, 상기 화상 생성 처리 스텝은, 이동 속도와, 출력 화상의 화상 열화가 저감되는 촬상 셔터 속도를 대응시킨 테이블을 참조하여 이동 속도에 대응하는 최적 셔터 속도를 상기 분할 영역 단위로 취득하는 스텝을 포함하는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에 있어서, 상기 테이블은, 이동 속도 구간 정보와, 최적 셔터 속도 정보를 대응시킨 테이블인 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에 있어서, 상기 화상 생성 처리 스텝은, 이동 속도와, 출력 화상의 화상 열화가 저감되는 최적 셔터 속도의 대응 관계가 서로 다른 복수의 상이한 테이블로부터의 유저 선택 정보에 기초하여 적용 테이블을 결정하는 처리를 실행하는 스텝을 포함하는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에 있어서, 상기 화상 생성 처리 스텝은, 상기 분할 영역 단위로, 이동 속도에 대응하는 최적 셔터 속도를 산출하는 최적 셔터 속도 산출 스텝과, 상기 최적 셔터 속도 산출 스텝에서 산출한 최적 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하는 필터링 처리 스텝을 포함하는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에 있어서, 상기 필터링 처리 스텝은, 입력 화상의 프레임으로부터 선택된 프레임에 기초하여, 상기 최적 셔터 속도 산출 스텝에서 산출한 촬상 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하는 처리를 실행하는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에 있어서, 상기 필터링 처리 스텝은, 상기 최적 셔터 속도 산출 스텝에서 산출한 최적 셔터 속도에 따른 가중 계수를 설정하고, 입력 화상의 복수 프레임의 화소값의 가중 평균을 실행하여, 출력 화상 프레임의 화소값을 결정하는 처리를 실행하는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에 있어서, 상기 화상 생성 처리 스텝은, 입력 화상의 프레임에 포함되지 않는 중간 프레임을 생성하고, 상기 최적 셔터 속도 산출 스텝에서 산출한 최적 셔터 속도에 대응하는 화상을, 상기 중간 프레임을 적용하여 분할 영역 단위로 생성하는 처리를 실행하는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에 있어서, 상기 화상 처리 방법은, 공간 특징량 검출부에 있어서, 상기 분할 영역 단위로 공간 콘트라스트의 크기를 검출하는 공간 특징량 검출 스텝을 더 갖고, 상기 화상 생성 처리 스텝은, 공간 콘트라스트가 미리 정한 임계값 미만의 분할 영역에 대해서는, 상기 이동 속도에 대응하여 산출되는 최적 셔터 속도보다 높은 셔터 속도를 최적 셔터 속도로서 설정하는 처리를 실행하는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에 있어서, 상기 화상 처리 방법은, 공간 특징량 검출부에 있어서, 상기 분할 영역 단위로 공간 콘트라스트의 크기를 검출하는 공간 특징량 검출 스텝을 더 갖고, 상기 화상 생성 처리 스텝은, 공간 콘트라스트가 미리 정한 임계값 미만의 분할 영역에 대해서는, 상기 이동 속도에 대응하여 산출되는 최적 셔터 속도를 산출하지 않고, 입력 화상이 갖는 프레임 레이트에 대응하는 셔터 속도를 최적 셔터 속도로서 설정하는 처리를 실행하는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법의 일 실시 양태에 있어서, 상기 출력 화상의 화상 열화는, 쟈키니스 및 블러에 의한 화상 열화이고, 상기 화상 생성 처리 스텝은, 쟈키니스 및 블러에 의한 화상 열화가 저감되는 최적 셔터 속도를 상기 분할 영역 단위로 취득하고, 취득한 최적 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하는 처리를 실행하는 것을 특징으로 한다.

또한, 본 발명의 제3 측면은, 화상 처리 장치에 있어서, 동화상에 대한 화상 처리를 실행시키는 컴퓨터 프로그램으로서, 이동 속도 연산부에 있어서, 동화상을 구성하는 프레임 화상을 구분한 분할 영역 단위로 출력 화상의 프레임 레이트에 따른 피사체의 이동 속도를 산출시키는 이동 속도 연산 스텝과, 화상 생성 처리부에 있어서, 상기 분할 영역 단위의 이동 속도 정보를 입력받고, 이동 속도에 대응하는 최적의 촬상 셔터 속도로서, 출력 화상의 화상 열화가 저감되는 최적 셔터 속도를 상기 분할 영역 단위로 취득하고, 취득한 최적 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하고, 생성한 분할 영역 화상을 결합한 프레임 화상을 출력 시키는 화상 생성 처리 스텝을 실행시키는 것을 특징으로 하는 컴퓨터 프로그램에 있다.

또한, 본 발명의 컴퓨터 프로그램은, 예를 들면, 다양한 프로그램 코드를 실행 가능한 범용 컴퓨터 시스템에 대하여, 컴퓨터 판독 가능한 형식으로 제공하는 기억 매체, 통신 매체, 예를 들면, CD나 FD, MO 등의 기억 매체, 혹은, 네트워크 등의 통신 매체에 의해 제공 가능한 컴퓨터 프로그램이다. 이러한 프로그램을 컴퓨터 판독 가능한 형식으로 제공함으로써, 컴퓨터 시스템 상에서 프로그램에 따른 처리가 실현된다.

본 발명의 또 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시예나 첨부하는 도면에 기초하는, 보다 상세한 설명에 의해 밝혀질 것이다. 또한, 본 명세서에 있어 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 케이스 내에 있는 것에 한정되지는 않는다.

<발명의 효과>

본 발명의 구성에 따르면, 일정한 프레임 레이트로 출력하는 동화상을 생성할 때, 동화상을 구성하는 프레임 화상을 구분한 분할 영역 단위로 출력 화상의 프레임 레이트에 따른 피사체의 이동 속도를 산출하고, 분할 영역 단위의 이동 속도에 대응하는 최적의 촬상 셔터 속도로서, 출력 화상의 화상 열화가 저감되는 최적 셔터 속도를 분할 영역 단위로 취득하고, 취득한 최적 셔터 속도에 대응하는 화상을 분할 영역 단위로 생성하고, 생성한 분할 영역 화상을 결합한 프레임 화상을 출력시키는 구성으로 했으므로, 출력 화상에서의 화상 열화, 구체적으로는, 쟈키니스 및 블러의 쌍방을 저감한 고품질의 화상을 출력하는 것이 가능해진다.

도 1은 쟈키니스와 블러의 발생 원리에 대하여 설명하는 도면으로서, 정지 물체와 이동 물체의 실세계에서의 보이는 양태를 설명하는 도면.

도 2는 쟈키니스의 발생 원리에 대하여 설명하는 도면.

도 3은 블러의 발생 원리에 대하여 설명하는 도면.

도 4는 본 발명의 제1 실시예에 따른 화상 처리 장치의 구성을 도시하는 블록도.

도 5는 화상 신호의 각 프레임 화상에 관한 영역 분할 처리에 대하여 설명하는 도면.

도 6은 출력 화상 신호의 프레임 레이트값을 외부로부터 입력받는 구성을 갖는 화상 처리 장치의 구성예를 도시하는 도면.

도 7은 이동 속도 연산부의 상세한 구성을 도시하는 도면.

도 8은 이동 속도 검출부의 상세한 구성예를 도시하는 도면.

도 9는 이동 속도 연산부에 있어 실행하는 움직임 벡터의 검출에 적용하는 탐색용 프레임과 참조용 프레임의 선별 처리를 설명하는 도면.

도 10은 화상 생성 처리부의 상세한 구성예를 도시하는 블록도.

도 11은 화상 생성 처리 부내에 중간 프레임 생성부를 가한 화상 생성 처리부의 구성예를 도시하는 도면.

도 12는 필터링 처리에 이용하는 입력 화상 프레임과, 출력되는 화상 프레임 과의 대응에 대하여 설명하는 도면.

도 13은 이동 속도와 최적의 촬상 셔터 속도의 대응 관계의 일례를 도시하는 도면.

도 14는 이동 속도 정보에 기초하여, 최적의 촬상 셔터 속도를 산출하는 기본적인 처리예에 대하여 설명하는 도면.

도 15는 이동 속도와 최적의 촬상 셔터 속도의 관계의 일례를 조화해서 도시한 도면.

도 16은 이동 속도와 최적의 촬상 셔터 속도의 관계의 일례를 조화한 대응 데이터 구성을 도시하는 도면.

도 17은 이동 속도 연산부에 있어서, 각 분할 영역에 대하여 이동 속도가 산출된 어떤 1매의 탐색용 프레임을 도시하는 도면.

도 18은 화상 생성 처리부에 있어 행해지는 이동 속도에 기초한 최적의 촬상 셔터 속도의 산출에 적용하는 그래프(테이블)를 도시하는 도면.

도 19는 프레임을 이용한 필터링 처리에 대하여 설명하는 도면.

도 20은 이동 속도와 최적의 촬상 셔터 속도의 관계를 도시하는 복수의 상이한 곡선의 예를 도시하는 도면.

도 21은 이동 속도와 최적의 촬상 셔터 속도의 관계를 도시하는 복수의 상이한 곡선으로부터 사용자가 곡선을 선택할 수 있도록 구성한 인터페이스를 도시하는 도면.

도 22는 본 발명의 제2의 실시예에 따른 화상 처리 장치의 구성예를 도시하 는 블록도.

도 23은 공간 특징량 검출부의 상세한 구성예를 도시하는 도면.

도 24는 화상 생성 처리부의 구성 및 처리에 대하여 설명하는 도면.

<발명을 실시하기 위한 최선의 형태>

이하, 도면을 참조하면서, 본 발명의 화상 처리 장치, 및 화상 처리 방법, 및 컴퓨터 프로그램의 구성에 대하여 설명한다.

본 발명의 화상 처리 장치에서는, 일정한 프레임 레이트로 입력되는 입력 동화상에 대하여, 각 프레임 화상을 소정의 분할 영역으로 구획하고, 각 분할 영역 단위로 프레임간의 이동 속도나 공간적인 특징량을 산출하고, 산출한 각 분할 영역의 이동 속도나 공간 특징량에 기초하여 각 영역마다 최적의 필터링 처리를 행함으로써, 각 영역에 따라서 쟈키니스나 블러를 저감시킨 화상을 생성하고, 쟈키니스나 블러 쌍방의 발생을 억제한 화질 열화가 적은 고화질의 화상 신호를 생성하여 출력한다.

예를 들면, 본 발명의 화상 처리 장치에서는, 프레임간의 이동 속도나 공간적인 특징량과 필터링 처리 파라미터를 대응시킨 테이블을 유지하고, 이 테이블에 기초하여, 각 분할 영역에 대응하는 최적의 필터링 처리를 행한다. 또한, 각 분할 영역에 대응하는 최적의 필터링 처리는, 구체적으로는, 각 분할 영역에 있어서, 쟈키니스와 블러의 발생을 저감시키기 위한 최적의 촬상 셔터 속도를 결정하고, 그 촬상 셔터 속도에 대응한 화상을 생성하는 처리에 상당한다.

즉, 각 분할 영역에 대응하는 최적의 필터링 처리의 파라미터의 결정 처리 는, 각 영역에 대하여 쟈키니스와 블러의 발생을 저감시키는 최적의 셔터 속도를 결정하는 처리를 포함하는 것이다. 본 발명의 화상 처리 장치에서는, 각 분할 영역 각각에 대응하여, 쟈키니스와 블러의 발생을 저감시키는 최적의 셔터 속도를 결정하고, 그 결정한 셔터 속도에 따른 의사 화상을 각 분할 영역마다 개별로 생성하여 출력한다.

이하, 본 발명의 화상 처리 장치의 상세에 대하여 설명한다. 이하의 항목에 따라서, 상세 내용을 설명한다.

1. 본 발명의 화상 처리 장치에서의 기본 처리의 개요

2. 입력 화상 신호 및 출력 화상 신호에 관한 설명

3. 이동 속도 연산부의 처리의 상세

4. 화상 생성 처리부의 처리에 관한 설명

5. 필터링 처리부의 실행하는 필터링 처리의 상세

6. 필터링 처리에 이용하는 프레임의 선별 방법에 대하여

7. 이동 속도와 최적의 촬상 셔터 속도의 대응 관계에 대하여

8. 최적의 촬상 셔터 속도 산출 방법에 대하여

9. 최적의 촬상 셔터 속도 산출 및, 출력 프레임 생성 처리의 구체예

10. 이동 속도와 최적의 셔터 속도 곡선의 조정 기능을 가진 장치에 대하여

11. 제2 실시예의 개요

[1. 본 발명의 화상 처리 장치에서의 기본 처리의 개요]

우선, 본 발명의 화상 처리 장치의 기본 처리의 개요에 대하여 설명한다. 도 4는, 본 발명의 제1 실시예에 따른 화상 처리 장치(100)의 구성을 도시하는 블록도이다. 화상 처리 장치(100)는, 처리 대상 화상으로서, 일정한 프레임 레이트를 갖는 화상 신호를 입력받는다. 이 입력 화상 신호는, 이동 속도 연산부(101) 및 화상 생성 처리부(102)에 입력된다.

이동 속도 연산부(101)에서는, 도 5에 도시한 바와 같이, 입력 화상 신호의 각 프레임 화상에 대하여, 영역 분할이 이루어지고, 분할 영역 각각에 포함되는 화상에 대하여 블록 매칭 처리를 실행하고, 분할 영역 각각의 화상 데이터의 프레임간의 이동 속도(V1, V2, V3…)를 산출한다. 단, 여기서 산출하는 프레임간의 이동 속도(V1, V2, V3…)는, 출력 화상 신호가 갖는 프레임 레이트에 대응하는 프레임간의 움직임 속도이다. 화상 처리 장치는, 출력 화상 프레임 레이트 정보(103)를 기억부에 유지하고, 이동 속도 연산부(101)에서는, 출력 화상 프레임 레이트 정보(103)에 기초하여 분할 영역 각각의 프레임간 이동 속도(V1, V2, V3…)를 산출한다.

이동 속도 연산부(101)에서 산출된 각 분할 영역에서의 이동 속도는, 화상 생성 처리부(102)에 입력된다. 화상 생성 처리부(102)에는, 이미 입력 화상 신호가 입력되어 있다. 화상 생성 처리부(102)는, 이동 속도 연산부(101)에서 산출된 각 분할 영역에서의 이동 속도(V1, V2, V3…)에 따라서, 입력 화상을 각 분할 영역 단위로 변환 처리를 행한다. 즉, 각 분할 영역 단위로 구해진 이동 속도(Vn)에 기초하여, 쟈키니스와 블러의 발생을 저감시키는 최적의 셔터 속도에 대응하는 의사적인 화상으로 변환하는 처리를 실행한다.

각 분할 영역 단위로 구해진 이동 속도(Vn)와, 쟈키니스와 블러의 발생을 저감시키는 최적의 촬상 셔터 속도의 관계는, 출력 화상 신호가 갖는 프레임 레이트에 따라서 산출 가능하다. 화상 생성 처리부(102)는, 이 대응 관계를 미리 설정한 테이블로서 유지하고, 출력 화상 프레임 레이트 정보(103)를 적용하여, 유지 테이블로부터, 각 영역마다의 최적의 촬상 셔터 속도를 구한다. 혹은, 미리 정한 산출식에 의해, 각 분할 영역 단위로 구해진 이동 속도(Vn)에 기초하여, 쟈키니스와 블러의 발생을 저감시키는 최적의 촬상 셔터 속도를 산출한다.

화상 생성 처리부(102)는, 또한, 구한 촬상 셔터 속도에 대응하는 의사 화상을 각 분할 영역마다 생성하고, 이들 분할 영역마다의 생성 화상을 합성해서 1 프레임 화상을 생성하여, 미리 정해진 프레임 레이트로 출력한다. 이들 처리에 의해, 쟈키니스와 블러에 의한 화질 열화의 쌍방이 저감된 고화질 데이터를 출력한다.

이와 같이, 화상 생성 처리부(102)에서는, 이동 속도 연산부(101)에서 산출된 각 분할 영역에서의 이동 속도에 기초하여 결정되는 최적의 촬상 셔터 속도로 촬상한 화상을 의사적으로 생성한다. 이 화상 생성 처리는, 예를 들면 시간 방향의 필터링 처리 등에 의해 실현된다. 화상 생성 처리부(102)에서 작성된 화상은, 일정한 프레임 레이트를 갖는 출력 화상 신호로서 출력된다.

[2. 입력 화상 신호 및 출력 화상 신호에 관한 설명]

다음으로, 입력 화상 신호 및 출력 화상 신호가 갖는 프레임 레이트에 대하여 자세히 해석한다. 또한, 도 4에 도시하는 화상 처리 장치(100)에 있어서, 입력 화상 신호, 및 변환 처리에 의해 생성되는 출력 화상 신호의 프레임 레이트는 한정되는 것이 아니라, 다양한 설정이 가능하다. 단, 화상 생성 처리부(102)에 있어서, 쟈키니스와 블러에 의한 화질 열화의 쌍방을 저감하는 최적 셔터 속도에서의 촬상 화상을 영역마다 의사적으로 생성하기 위한 처리로서, 시간 방향의 필터링 처리를 채용하는 경우, 입력 화상 신호는, 출력 화상 신호가 갖는 원하는 프레임 레이트에 대하여, 될 수 있는 한 높은 프레임 레이트를 갖고 있는 것이 바람직하다. 이것은, 화상 생성 처리부(102)에서 행해지는 화상 변환 처리에 있어서, 보다 높은 프레임 레이트의 입력 화상 신호를 사용하는 쪽이 보다 원활한 화상의 생성이 용이해지기 때문이다.

또한, 도 4에 도시하는 예에서는, 화상 처리 장치(100)에 있어서, 출력 화상 신호의 프레임 레이트값은, 기억부에 유지한 것을 참조하는 구성으로서 설명했지만, 이 출력 화상 신호의 프레임 레이트값을 외부로부터 입력받는 구성으로 하여도 된다.

출력 화상 신호의 프레임 레이트값을 외부로부터 입력받는 구성을 갖는 화상 처리 장치의 구성예를 도 6에 도시한다. 외부로부터 입력받는 출력 화상 신호의 프레임 레이트값은, 도 6에 도시하는 이동 속도 연산부(101), 화상 생성 처리부(102)의 쌍방에 입력된다. 화상 생성 처리부(102)는, 화상 변환 처리를, 입력된 프레임 레이트 정보에 기초하여 실행한다. 이러한 구성으로 함으로써, 다양한 프레임 레이트에 대응한 최적의 화상 변환이 실행 가능해진다.

이후, 본 발명의 화상 처리 장치의 실행하는 처리의 구체예에 대하여 설명한 다. 설명의 편의상, 입력 화상 신호와 출력 화상 신호가 갖는 프레임 레이트의 예로서,

입력 화상 신호의 프레임 레이트를 240(프레임/초),

출력 화상 신호의 프레임 레이트를 60(프레임/초),

이들 설정에서의 처리예에 대하여 설명한다. 단, 이 프레임 레이트는 일례이며, 본 발명의 화상 처리 장치에서는, 입출력 화상의 프레임 레이트는 한정되지 않는다.

[3. 이동 속도 연산부의 처리의 상세]

우선, 이동 속도 연산부(101)의 처리의 상세에 대하여 설명한다. 이동 속도 연산부(101)는, 출력 화상 신호가 갖는 프레임 레이트를 기준으로 하여, 도 5를 참조하여 설명한 바와 같이 화상의 분할 영역마다 프레임간의 이동 속도를 산출하여, 화상 생성 처리부에 출력한다. 이동 속도란, 피사체가 1 프레임 사이에 어느 정도 이동했는지를 나타낸다. 예를 들면, 단위는 화소/프레임이고, 출력 화상 신호가 갖는 프레임 레이트를 기준으로 한다.

도 7은, 이동 속도 연산부(101)의 상세한 구성을 도시하는 것이다. 도 7에 도시한 바와 같이, 이동 속도 연산부(101)는, 입력 화상 신호의 복수의 프레임을 기억하는 화상 축적부(201), 블록 매칭 처리에 이용하는 프레임을 선별하여 화상 축적부(201)로부터의 판독 제어를 행하는 제어부(202), 움직임 검출의 대상으로 되는 프레임을 영역으로 분할하는 영역 분할부(203), 블록 매칭 처리를 행하고 영역마다의 이동 속도를 산출하는 이동 속도 검출부(204)를 갖는다.

이동 속도 연산부(101)에 입력된 입력 화상 신호는, 우선 화상 축적부(201)에 입력되고, 저장된다. 화상 축적부(201)는, 복수의 프레임을 기억할 수 있는 기억부이다. 이동 속도 검출부(204)에서 행해지는 실제의 블록 매칭 처리시에, 움직임 벡터 검출 대상으로 되는 탐색용 프레임, 및 그 참조용 프레임의, 적어도 2 프레임의 데이터가 필요하며, 화상 축적부(201)는, 이들 복수의 프레임을 기억한다.

제어부(202)는, 탐색용 및 참조용 프레임을 선별하여, 화상 축적부(201)로부터의 판독 제어를 행한다. 탐색용 및 참조용 프레임의 선별은, 제어부(202)에 입력된 출력 화상의 프레임 레이트 정보에 기초하여, 제어부(202)에서 행해진다. 이 선별 방법에 대해서는, 뒤에 자세히 설명한다.

제어부(202)에 의해 판독된, 움직임 벡터 검출 대상으로 되는 탐색용 프레임은, 영역 분할부(203)에 출력된다. 또한, 마찬가지로 제어부(202)에 의해 판독된 참조용 프레임은, 이동 속도 검출부(204)에 직접 출력된다. 영역 분할부(203)에 출력된 탐색용 프레임은, 이동 속도를 산출하는 영역의 단위인, 적당한 크기의 블록으로 분할된다. 이동 속도를 산출하는 영역마다 분할된 탐색용 프레임은, 이동 속도 검출부(204)에 입력된다.

도 8은, 이동 속도 검출부(204)의 상세한 구성예를 도시하는 도면이다. 이동 속도 검출부(204)에 입력된 탐색용 프레임 화상 데이터는, 블록 매칭부(221)에 입력된다. 블록 매칭부(221)에서는, 마찬가지로 블록 매칭부(221)에 입력된 참조용 프레임과의 사이에서, 분할 영역마다 블록 매칭 처리를 행한다. 블록 매칭은, 미소 화상 영역마다 프레임간에서 대응하는 화소 위치를 검출하는 처리이다.

이동 속도 검출부(204)는, 분할 영역마다 블록 매칭 처리를 행하고, 이 처리에 의해, 프레임간에서의 피사체의 이동 정보로서, 분할 영역마다의 움직임 벡터량을 산출한다. 또한, 블록 매칭 처리에서의 매칭 평가 함수 등의 설정은 다양한 설정이 가능하며, 그 방법은 특별히 한정되지 않는다.

블록 매칭부(221)에서의 블록 매칭 처리에 의해 산출된, 분할 영역마다의 움직임 벡터량은, 움직임 벡터 규격화부(222)에 입력된다. 이하, 움직임 벡터 규격화부(222)에서 행해지는 처리에 대하여 설명한다.

블록 매칭부(221)에서의 블록 매칭 처리에 의해 산출된 탐색용 프레임 각 영역의 움직임 벡터량은, 참조용 프레임에 대하여 어느 정도 이동했는지를 나타내는 것이다. 한편, 구해야 할 이동 속도(화소/프레임)는, 출력 화상이 갖는 프레임 레이트를 기준으로 한, 1 프레임간의 이동량이다. 이 때문에, 블록 매칭 처리에 의해 얻어진 움직임 벡터량을, 출력 화상 신호가 갖는 프레임 레이트를 기준으로 한, 1 프레임간의 이동량을 표시하는 이동 속도(단위는 화소/프레임)로 규격화할 필요가 있다.

움직임 벡터 규격화부(222)는, 출력 화상 신호의 프레임 레이트 정보에 기초한 제어 신호를 제어부(202)로부터 입력받고, 이 제어 신호에 기초하여, 블록 매칭 처리에 의해 얻어진 움직임 벡터량을, 출력 화상 신호가 갖는 프레임 레이트를 기준으로 한, 1 프레임간의 이동량을 표시하는 이동 속도(단위는 화소/프레임)로 규격화하는 처리를 실행한다.

이 움직임 벡터의 규격화에 의해, 출력 화상 신호가 갖는 프레임 레이트를 기준으로 한 이동 속도(화소/프레임)가 산출된다. 또한, 이 규격화의 방법에 대해서는, 뒤에 자세히 설명한다.

움직임 벡터 규격화부(222)에 있어서, 산출된 화상의 각 영역에서의 출력 프레임 대응의 이동 속도는, 이동 속도 연산부(101)의 출력으로서, 이동 속도 검출부(204)로부터, 화상 생성 처리부(102)에 출력된다.

이와 같이, 이동 속도 연산부(101)에서는, 출력 화상 신호가 갖는 프레임 레이트를 기준으로 하여, 분할 영역마다 이동 속도(화소/프레임)를 구하는 처리를 실행한다. 이 처리에는, 우선, 입력 화상으로부터 탐색용 프레임과 참조용 프레임을 선택하고, 이들 2개의 프레임에 기초하여 움직임 벡터를 검출하는 것이 필요하다. 이 움직임 벡터의 검출에 적용하는 탐색용 프레임과 참조용 프레임의 선별 방법에 대하여, 자세히 설명한다.

(이동 속도 연산시에 적용하는 프레임에 대하여)

도 9는, 이동 속도 연산부(101)에 있어서, 움직임 벡터의 검출에 적용하는 탐색용 프레임과 참조용 프레임의 선별 처리를 설명하는 도면이다.

이 처리예는, 전술한 바와 같이,

입력 화상 신호의 프레임 레이트를 240(프레임/초),

출력 화상 신호의 프레임 레이트를 60(프레임/초),

이들 설정에서의 처리예를 설명하는 도면이다.

또한, 이동 속도 연산부(101)에 있어서, 움직임 벡터의 검출에 적용하는 탐색용 프레임과 참조용 프레임은, 입력 화상을 구성하는 프레임이며 240(프레임/초) 의 프레임 레이트를 갖는 입력 화상 신호의 구성 프레임으로부터, 움직임 벡터의 검출에 적용하는 탐색용 프레임과 참조용 프레임이 선택된다.

도 9 중에는, 입력 화상 신호의 각 프레임에 프레임 번호가 기재되어 있는데, 이 번호는 시각 0(초)에 입력 화상 신호의 0번째의 프레임이 촬상된 것으로 하여 표현한 것이다. 입력 화상 신호의 프레임 레이트는 240(프레임/초)이기 때문에, 시각 s(초)에서는 240×s번째의 프레임으로 표기한다.

제어부(202)에 의해 행해지는, 탐색용 및 참조용 프레임의 선별 방법에 대하여, 도 9를 참조하여 설명한다.

우선, 탐색용 프레임의 선별에 대하여 설명한다.

탐색용 프레임은, 출력 화상이 갖는 프레임 레이트에 기초하여 추출한다.

여기에서, 출력 화상 신호의 프레임 레이트는,

60(프레임/초)

이기 때문에, 입력 화상 신호 [240(프레임/초)] 중에서, 1/60초간마다 촬상된 프레임을, 탐색 대상으로 하여 추출한다.

도 9 중에서는, 240×s+0번째, 240×s+4번째, 240×s+8번째의 프레임을, 선택된 탐색 프레임으로서 나타내고 있다. 결과적으로 탐색용 프레임은, 출력 화상의 프레임과 동일 수로 된다. 바꿔 말하면, 출력 화상의 1 프레임을 생성하기 위해서, 1개의 탐색용 프레임이 선택된다.

다음으로, 참조용 프레임의 선별에 대하여 설명한다.

참조용 프레임은, 1개의 탐색 프레임에 대응하여, 1개의 참조용 프레임이 선 택된다. 구체적으로는, 도 9에 도시하는 (예 1), (예 2), (예 3)과 같이, 다양한 선택 방법이 적용 가능하다.

탐색용 프레임을 240×s+0번째의 프레임으로 하고, 이 240×s+0번째의 프레임에 대한 참조 프레임을 선택하는 예에 대하여 설명한다. 전술한 바와 같이, 구해야 할 이동 속도(화소/프레임)는, 출력 화상이 갖는 프레임 레이트 60(프레임/초)을 기준으로 한다. 따라서, 탐색용 프레임과 참조용 프레임의 간격이 1/60초간의 경우이면, 그 탐색용 프레임과 참조용 프레임에 기초하여 산출되는 이동 벡터는, 출력 화상이 갖는 프레임 레이트 60(프레임/초)에 대응하는 이동 속도에 상당하는 크기를 갖는다. 따라서, 이 경우에는, 블록 매칭 처리에 의해 얻어지는 움직임 벡터의 규격화는 필요 없다.

도 9에 도시하는 (예 1)의 참조용 프레임의 선별 처리예는, 탐색용 프레임과 참조용 프레임의 간격을 1/60초간으로 한 처리예이다.

탐색용 프레임인 240×s+0번째의 프레임의 1/60초 후에 촬상된 프레임은, 240×s+4번째의 프레임이고, 이 240×s+4번째의 프레임을, 탐색용 프레임인 240×s+0번째의 프레임에 대응하는 참조용 프레임으로서 선택한다.

또한, 다음의 탐색용 프레임인 240×s+4번째의 프레임의 1/60초 후에 촬상된 프레임은, 240×s+8번째의 프레임이고, 이 240×s+8번째의 프레임을, 탐색용 프레임인 240×s+4번째의 프레임에 대응하는 참조용 프레임으로서 선택한다.

이 (예 1)과 같이, 탐색용 프레임과 참조용 프레임의 간격을 1/60초로 설정한 예라면, 그 탐색용 프레임과 참조용 프레임에 기초하여 산출되는 이동 벡터는, 출력 화상이 갖는 프레임 레이트 60(프레임/초)에 대응하는 이동 속도에 상당하는 크기를 갖는다. 따라서, 이 경우에는, 블록 매칭 처리에 의해 얻어지는 움직임 벡터의 규격화는 필요 없다.

이에 대하여, 도 9에 도시하는 (예 2), (예 3)과 같은 참조용 프레임의 선택도 가능하다. (예 2)에서는, 탐색용 프레임에 대응하는 참조용 프레임을 탐색용 프레임의 다음 프레임, 즉, 1/240초 후의 프레임으로 설정하고, (예 3)에서는, 탐색용 프레임에 대응하는 참조용 프레임을 탐색용 프레임의 2개 후의 프레임, 즉, 2/240초 후의 프레임으로 설정한 예이다. 이와 같이, 탐색용 프레임에 보다 가까운 프레임을 참조용 프레임으로서 설정하는 것도 가능하다.

보다 탐색용 프레임에 가까운 참조용 프레임을 선별함으로써, 프레임간의 피사체의 이동량이 작아져서, 블록 매칭 처리시에서 탐색 범위를 작게 할 수 있다. 이 때문에, 블록 매칭 처리의 고속화, 고정밀도화를 기대할 수 있다.

240×s+0번째의 프레임을 탐색용 프레임으로 했을 때, 도 9에 도시하는 (예 2)에서는, 240×s+1번째의 프레임을 참조용 프레임으로서 선택하고, (예 3)에서는, 240×s+2번째의 프레임을 참조용 프레임으로 하고 있다.

(예 2), (예 3)의 경우, 이동 속도 검출부(204)의 블록 매칭 처리부(221)에서의 블록 매칭 처리에 의해 얻어진 움직임 벡터는, 출력 화상 신호의 프레임 레이트 상당의 이동 속도와는 다르기 때문에, 구한 움직임 벡터에 기초하여, 출력 화상 신호의 프레임 레이트 상당의 이동 속도로 변환하는 규격화 처리를 행하는 것이 필요해진다. 이하에서는 움직임 벡터를 규격화하는 방법에 대하여 설명한다.

(움직임 벡터의 규격화에 대하여)

도 9의 (예 2)의 경우에는, 탐색용 프레임인 240×s+0번째의 프레임과, 참조용의 240×s+1번째의 프레임간은, 1/240초의 차로 촬상된 프레임이다. 한편, 출력 화상이 갖는 프레임 레이트는 60(프레임/초)이다. 이동 속도 검출부(204)의 움직임 벡터 규격화부(222)는, 1/240초의 차로 촬상된 프레임간에 있어서 산출한 이동 벡터에 기초하여, 출력 화상이 갖는 프레임 레이트 [60(프레임/초)] 상당의 이동 속도로 변환하는 규격화 처리를 행한다. 이 규격화 처리는, 이동 벡터에 기초하여, 1/60초간의 이동량을 구하는 것에 상당한다.

도 9에 도시하는 (예 2)의 경우,

블록 매칭 처리에 의해 얻어진 움직임 벡터는, 1/240초의 차로 촬상된 프레임에 기초하여 산출한 이동 벡터이고,

산출해야 할 이동량은, 1/60초간의 이동량이므로,

블록 매칭 처리에 의해 얻어진 움직임 벡터의 크기에,

(1/60)/(1/240)=4

의 값을 곱함으로써, 출력 화상 신호의 프레임 레이트 [60(프레임/초)] 상당으로 규격화된 이동 속도를 산출할 수 있다.

또한, 도 9에 도시하는 (예 3)의 경우,

블록 매칭 처리에 의해 얻어진 움직임 벡터는, 2/240초의 차로 촬상된 프레임에 기초하여 산출한 이동 벡터이고,

산출해야 할 이동량은, 1/60초간의 이동량이므로,

블록 매칭 처리에 의해 얻어진 움직임 벡터의 크기에,

(1/60)/(2/240)=2

의 값을 곱함으로써, 출력 화상 신호의 프레임 레이트 [60(프레임/초)] 상당으로 규격화된 이동 속도를 산출할 수 있다.

이러한 움직임 벡터의 규격화는, 이동 속도 검출부(204) 내의 움직임 벡터 규격화부(222)에서 행해지는데, 본 실시예에서는, 제어부(202)에서 탐색용 및 참조용 프레임을 선별할 때, 규격화에 필요한 움직임 벡터의 크기에 곱하는 계수를 실제로 수치 정밀도로 산출하고, 그 값을 제어 신호로서 움직임 벡터 규격화부(222)에 출력하는 구성을 취하고 있다.

지금까지, 탐색용 프레임의 선별, 참조용 프레임의 선별, 및, 얻어진 움직임 벡터를 규격화하여 이동 속도를 산출하는 방법을 설명했다. 앞서 설명한 바와 같이, 본 처리예에서는, 출력 화상 1 프레임을 생성하기 위해서, 1개의 이동 속도의 탐색용 프레임을 설정하고 있다. 결과적으로, 출력 화상의 프레임 수와 동일 수의 탐색용 프레임이 선택되고, 이들 각 탐색용 프레임에 대하여, 프레임 내에 설정되는 각 분할 영역의 이동 속도가, 출력 화상의 프레임 레이트 상당의 값으로서 산출되어, 이동 속도 연산부(101)로부터 화상 생성 처리부(102)에 출력된다.

[4. 화상 생성 처리부의 처리에 관한 설명]

다음으로, 화상 생성 처리부(102)가 실행하는 처리의 상세에 대하여 설명한다. 화상 생성 처리부(102)에서는, 이동 속도 연산부(101)로부터 입력된 화상 중의 각 영역에서의 이동 속도에 따라서, 입력 화상의 분할 영역마다 적응적인 화상 변환 처리를 행하고, 각 분할 영역마다 쟈키니스 및 블러의 발생이 가장 억제되는 화상, 즉, 최적의 셔터 속도로 촬상한 화상을 의사적으로 작성하고, 각 분할 영역 단위로 생성한 최적 셔터 속도에 대응하는 의사 화상을 합성하여 1개의 프레임 화상을 생성하여 출력한다.

도 10은, 화상 생성 처리부(102)의 상세한 구성예를 도시하는 블록도이다. 화상 생성 처리부(102)는, 도 10에 도시한 바와 같이, 입력 화상 신호의 복수의 프레임을 기억하는 화상 축적부(251), 필터링 처리에 이용하는 프레임을 선별하여 화상 축적부(251)로부터의 판독 제어를 행하는 제어부(252), 이동 속도에 기초하여 각 영역에 대하여 최적의 촬상 셔터 속도를 산출하는 최적 셔터 속도 산출부(253), 입력 화상에 대하여 영역마다 적응적인 필터링 처리를 행하는 필터링 처리부(254)를 갖는 구성이다.

화상 생성 처리부(102)는, 처리 대상 화상의 분할 영역 단위로 최적 셔터 속도의 촬상 화상을 의사적으로 생성한다. 즉, 분할 영역마다 쟈키니스 및 블러의 발생이 가장 억제되는 화상을 생성한다. 이 화상 생성 처리의 일례로서, 시간 방향의 필터링 처리를 이용한 처리예에 대하여, 이하 설명한다.

출력 화상 신호의 어떤 1 프레임을 생성하는 처리의 흐름을, 도 10을 참조하여 설명한다. 화상 생성 처리부(102)에 입력된 입력 화상 신호는, 우선 화상 축적부(251)에 입력, 저장된다. 화상 축적부(251)는, 복수의 프레임을 기억할 수 있는 기억부이다. 화상 축적부(251)에 축적된 입력 화상 신호로부터, 후단의 필터링 처리에 이용하는 프레임이 순차 판독되게 되는데, 이 판독 제어는 제어부(252)에서 행해진다.

출력 화상의 어떤 1 프레임을 생성하기 위해서 이용하는 판독 프레임의 선별에 관한 상세 내용은 후술한다. 제어부(252)의 제어에 의해 판독된 입력 화상 중의 각 프레임은, 필터링 처리부(254)에 입력된다.

한편, 최적 셔터 속도 산출부(253)에는, 이동 속도 연산부(101)로부터 출력된, 입력 화상의 각 분할 영역 대응의 이동 속도 정보가 입력된다. 이 이동 속도 정보는, 이동 속도 연산부(101) 내의 제어부(202)(도 7 참조)에 의해 입력 화상 신호로부터 선별된, 탐색용 프레임 내의 각 영역에 대하여 산출된 것이며, 앞서 도 9를 참조하여 설명한 바와 같이, 각 탐색용 프레임은 생성하는 출력 화상의 각 프레임에 일대일로 대응하고 있다.

최적 셔터 속도 산출부(253)는, 입력된 각 분할 영역 대응의 이동 속도 정보에 기초하여 출력 화상의 해당 프레임 내의 각 영역에 대하여, 최적의 촬상 셔터 속도를 산출한다. 이동 속도와 최적의 촬상 셔터 속도의 관계에 관한 상세 내용은 후술하지만, 출력 화상이 지정의 프레임 레이트로 표시되었을 때, 쟈키니스 열화와 불선명 열화의 쌍방이 가장 저감하는 설정 조건에 기초하여 최적의 촬상 셔터 속도가 산출된다. 이 설정 조건은, 미리 최적 셔터 속도 산출부(253)가 갖고 있다.

최적 셔터 속도 산출부(253)는, 각 분할 영역 대응의 이동 속도 정보를 입력받고, 쟈키니스 열화와 불선명 열화의 쌍방이 가장 저감하는 최적의 촬상 셔터 속도를 산출한다. 여기서 산출하는 최적의 촬상 셔터 속도는, 출력 화상의 각 프레임에 설정되는 분할 영역 단위의 최적 촬상 셔터 속도이다. 최적 셔터 속도 산출 부(253)는, 산출한 출력 화상 프레임 내의 각 분할 영역 대응의 최적의 촬상 셔터 속도를, 필터링 처리부(254)에 출력한다.

필터링 처리부(254)에는, 또한, 제어부(252)의 제어에 기초하여 화상 축적부(251)로부터 판독된 출력 화상의 해당 프레임 생성하기 위해서 이용하는 입력 화상 프레임이 입력된다. 필터링 처리부(254)는, 이 입력 화상에 대한 화상 처리를 실행한다. 즉, 최적 셔터 속도 산출부(253)로부터 입력되는 출력 화상 프레임 내의 각 분할 영역 대응의 최적의 촬상 셔터 속도에 기초하여, 입력 화상 프레임의 분할 영역 각각에 대하여, 최적 셔터 속도의 촬상 화상을 의사적으로 생성하는 필터링 처리를 행한다. 필터링 처리부(254)에서 생성된 화상은, 출력 화상 신호의 1 프레임으로서 출력된다.

화상 생성 처리부(102)에서는, 여기까지 설명한 처리를, 출력 화상의 프레임 수만큼 반복함으로써, 지정의 프레임 레이트를 갖는 출력 화상 신호를 출력한다.

[5. 필터링 처리부가 실행하는 필터링 처리의 상세]

필터링 처리부(254)는, 최적 셔터 속도 산출부(253)로부터 입력되는 출력 화상 프레임 내의 각 분할 영역 대응의 최적의 촬상 셔터 속도에 기초하여, 입력 화상 프레임의 분할 영역 각각에 대하여, 최적 셔터 속도의 촬상 화상을 의사적으로 생성하는 필터링 처리를 행한다. 이 필터링 처리를, 가장 간단히 실현하는 방법의 한 가지 방법은, 입력 화상 프레임의 분할 영역을 시간 방향으로 평균화하는 처리이다.

최적의 촬상 셔터 속도에 따라서, 영역마다 평균화에 이용하는 프레임 수를 바꾸어 평균화를 행함으로써, 촬상시에서의 셔터 속도가 각 영역에 있어서 서로 다른 출력 화상을 의사적으로 생성할 수 있다.

또한, 시간 방향의 평균화 처리를 행할 때, 기존의 프레임 사이를 보간하는 중간 프레임을 작성함으로써, 보다 원활한 움직임 불선명 생성을 행하는 방법을 이용하는 것도 유효하다. 이 보간 처리는, 출력 화상 신호의 프레임 레이트에 대하여, 입력 화상 신호의 프레임 레이트가 충분히 크지 않은 경우에는 특히 유효하다. 이 보간 처리를 실행하는 화상 생성 처리부(102)의 구성예를 도 11에 도시한다.

도 11은, 화상 생성 처리부(102) 내에 중간 프레임 생성부를 가한 구성예를 도시하는 것이다. 도 11에 있어서, 입력 화상 신호는 화상 축적부(251)와 함께 중간 프레임 생성부(250)에 입력된다. 중간 프레임 생성부(250)는, 기존의 프레임에 기초하여 중간 프레임을 생성하고, 이 중간 프레임을 이용함으로써, 후단의 필터링 처리부(254)에서 행해지는 필터링 처리에 있어서 원활한 화상을 생성할 수 있다.

중간 프레임 생성부(250)에서의 중간 프레임의 생성 처리 방법에는, 다양한 기존의 방법이 적용 가능하다. 예를 들면, 기존의 전후 프레임을, 가중치를 붙여서 블렌드하는 방법 외에, 도 11에 도시한 바와 같이, 중간 프레임 생성부(250)에, 영역마다의 이동 속도 정보를 입력하고, 이 이동 속도 정보에 기초한 가중 부여나 화상 블렌드를 실행함으로써, 보다 정밀도가 높은 중간 프레임 생성이 가능해진다.

또한, 필터링 처리부(254)에서의 최적 셔터 속도의 촬상 화상을 의사적으로 생성하는 필터링 처리로서는, 시간 방향의 평균화 처리 외에, 시간 방향으로 대역 제한 필터 처리를 행하고, 신호의 제한(혹은 통과) 대역을 변경하는 구성으로 하여 도 된다. 또한, 시간 방향의 필터링뿐만 아니라, 공간 방향의 대역 제한 필터링이나, 움직임 벡터를 이용하여 주위의 화소 정보를 취득함으로써 움직임 불선명을 생성하는 방법(예를 들면, "Image-Based Motion Blur for Stop Motion Animation," G.J.Brostow et al. SIGGRAPH2001. 등에 개시된 방법) 등을 적용하는 등, 다양한 방법의 적용이 가능하다.

[6. 필터링 처리에 이용하는 프레임의 선별 방법에 대하여]

전술한 바와 같이, 필터링 처리부(254)는, 최적 셔터 속도 산출부(253)로부터 입력되는 출력 화상 프레임 내의 각 분할 영역 대응의 최적의 촬상 셔터 속도에 기초하여, 입력 화상 프레임의 분할 영역 각각에 대하여, 최적 셔터 속도의 촬상 화상을 의사적으로 생성하는 필터링 처리를 행한다. 즉, 입력 화상 프레임의 분할 영역 각각에 대하여, 쟈키니스 및 블러의 발생이 가장 억제되는 최적 셔터 속도의 촬상 화상을 의사적으로 생성한다.

출력 화상의 1 프레임을 생성하기 위해서 이용하는 판독 프레임의 선별 처리에 대하여, 도 12를 참조하여 설명한다. 도 12는, 필터링 처리에 이용하는 입력 화상 프레임과, 출력되는 화상 프레임과의 대응에 대하여 설명하는 도면이다.

앞서 설명한 바와 같이, 본 발명의 화상 처리 장치에서는, 입력 화상 및 출력 화상의 프레임 레이트의 조합은 다양한 설정이 가능하지만, 여기에서는, 그 일례로서,

입력 화상 신호의 프레임 레이트를 240(프레임/초),

출력 화상 신호의 프레임 레이트를 60(프레임/초),

이들의 조합의 예를 설명한다. 또한, 여기서 설명하는 처리예에서는, 중간 프레임의 생성은 행하지 않는 것으로 한다.

도 12에 있어서, (a)입력 화상 신호에는, 앞서 설명한 도 9와 마찬가지로, 각 프레임에, 프레임 번호를 표시하고 있다. 이 프레임 번호는 시각 0(초)에 입력 화상 신호의 0번째의 프레임이 촬상된 것으로 하여 표현한 것이다. 입력 화상 신호의 프레임 레이트는 240(프레임/초)이기 때문에, 시각 s(초)에서는 240×s번째의 프레임으로 표기한다.

도 10에 도시하는 화상 생성 처리부(102)의 제어부(252)의 제어 하에, 출력 화상의 어떤 1 프레임을 생성하기 위한 필터링 처리에 이용하는 판독 프레임의 선별 처리가 실행된다. 도 12에는, 이 프레임 선별 처리예의 2개의 예(예 1), (예 2)를 도시하고 있다.

도 12의 (a) 입력 화상 신호에는, 앞서, 도 9를 참조하여 설명한 탐색용 프레임을 240×s+0번째, 240×s+4번째, 240×s+8번째의 프레임으로서 사선으로 도시하고 있다.

본 처리예에서는, 출력 화상 신호의 프레임 레이트는,

60(프레임/초)

이기 때문에, 입력 화상 신호 [240(프레임/초)] 중에서, 1/60초간마다 촬상된 프레임을, 탐색 대상으로 하여 추출한다. 즉, 이동 속도 연산부(101)에서 탐색 대상의 프레임으로서 선별되는 프레임은, 240×s+0번째, 240×s+4번째, 240×s+8번째의 프레임이며, 사선으로 표시한 프레임이다.

본 실시예에 있어서, 출력 화상을 생성하기 위한 필터링 처리에 이용하는 입력 화상 프레임은, 각 출력 화상 프레임에 대응하는 탐색용 프레임을 포함하는 전후 프레임을 이용한다. 또한, 1개의 출력 프레임을 생성하기 위한 필터링 처리에 적용하는 입력 화상 프레임에 대해서는, 이와 같이, 각 출력 화상 프레임에 대응하는 탐색용 프레임을 포함하는 전후 프레임을 이용하는 처리로 하는 것이 필수로 되는 것이 아니라, 각 출력 화상 프레임에 대응하는 탐색용 프레임을 포함하는 전체 프레임만, 혹은 후 프레임만 등, 다양한 처리 형태를 적용하는 것이 가능하다.

그러나, 앞서 도 9를 참조하여 설명한 바와 같이, 출력 화상의 1 프레임에 대하여, 1개의 이동 속도의 탐색용 프레임이 대응시켜져 있고, 출력 화상 프레임을 필터링 처리에 의해 생성하는 경우에, 그 출력 화상 프레임에 대응하는 탐색용 프레임을 포함하도록 그 전후 프레임을 이용함으로써, 이동 속도 정보를 반영한 필터링 처리가 가능해진다.

도 12에는, (예 1), (예 2)로서, 화상 생성 처리부(102)의 제어부(252)의 제어 하에, 출력 화상의 어떤 1 프레임을 생성하기 위한 필터링 처리에 이용하는 판독 프레임의 2개의 선별 처리예를 도시하고 있다.

또한, 60×s+0번째의 출력 화상의 프레임과 대응하는 입력 화상 중의 이동 속도 검출 적용 탐색 프레임은 240×s+0번째의 입력 화상 프레임이다.

60×s+1번째의 출력 화상의 프레임과 대응하는 입력 화상 중의 이동 속도 검출 적용 탐색 프레임은 240×s+4번째의 입력 화상 프레임이다.

60×s+2번째의 출력 화상의 프레임과 대응하는 입력 화상 중의 이동 속도 검 출 적용 탐색 프레임은 240×s+8번째의 입력 화상 프레임이다.

우선, (예 1)의 처리예에 대하여 설명한다.

(예 1)에서는, 60×s+0번째의 출력 화상 프레임(310)을 생성하는 경우의 필터링 처리에 적용하는 입력 화상 프레임은, 도면에 도시한 바와 같이, 대응하는 이동 속도의 탐색용 프레임인 240×s+0번째와, 그 전 1 프레임과 후 2 프레임으로 한 설정이다. 즉, 240×s-1번째, 240×s+0번째, 240×s+1번째, 240×s+2번째의 합계 4 프레임을, 필터링 처리에 이용하는 프레임으로서 선택하는 예를 도시하고 있다.

도면에는, 출력 화상 프레임에 대응하는 이동 속도 검출에 적용한 탐색용 프레임을 [0]으로 하여, n개 전의 프레임을 [-n], n개 후의 프레임 [+n]로서 나타내고 있다. (예 1)의 경우, 1개의 출력 화상 프레임을 생성하는 경우의 필터링 처리에 적용하는 입력 화상 프레임은, 출력 화상 프레임에 대응하는 이동 속도의 탐색용 프레임의 1개 전(-1)의 프레임으로부터 2개 후(+2)의 프레임, 즉 -1, 0, +1, +2의 4 프레임으로 한 설정이다. 이들 4 프레임을 적용하여, 각 분할 영역마다 최적 셔터 속도의 촬상 화상을 의사적으로 생성하는 필터링 처리를 행한다. 예를 들면, 입력 화상 프레임의 분할 영역을 시간 방향으로 평균화하는 처리를 행한다.

(예 1)에서는, 60×s+1번째, 및, 60×s+2번째의 출력 화상의 프레임(311, 312)을 생성하는 경우도 마찬가지로, 대응하는 탐색용 프레임과 그 전 1 프레임과 후 2 프레임(-1∼+2)의 합계 4 프레임을, 필터링 처리에 이용하는 프레임으로서 선택하고 있다.

(예 2)에서는, 60×s+0번째의 출력 화상 프레임(320)을 생성하는 경우의 필 터링 처리에 적용하는 입력 화상 프레임은, 도면에 도시한 바와 같이, 대응하는 이동 속도의 탐색용 프레임인 240×s+0번째와, 그 전 2 프레임과 후 2 프레임으로 한 설정이다. 즉, 240×s-2번째, 240×s-1번째, 240×s+0번째, 240×s+1번째, 240×s+2번째의 합계 5 프레임을, 필터링 처리에 이용하는 프레임으로서 선택하는 예를 도시하고 있다.

(예 2)에서는, 60×s+1번째, 및, 60×s+2번째의 출력 화상의 프레임(321, 322)을 생성하는 경우도 마찬가지로, 대응하는 탐색용 프레임과 그 전 2 프레임과 후 2 프레임(-2∼+2)의 합계 5 프레임을, 필터링 처리에 이용하는 프레임으로서 선택하고 있다. 예 2의 경우, 이들 5 프레임을 적용하여, 각 분할 영역마다 최적 셔터 속도의 촬상 화상을 의사적으로 생성하는 필터링 처리를 행한다. 예를 들면, 입력 화상 프레임의 분할 영역을 시간 방향으로 평균화하는 처리를 행한다.

(예 2)의 경우, 예를 들면, 240×s+2번째의 프레임이, 60×s+0번째와 60×s+1번째의 출력 화상의 프레임(320, 321)의 생성을 위한 필터링 처리에, 240×s+6번째의 프레임이, 60×s+1번째와 60×s+2번째의 출력 화상의 프레임(321, 322)의 생성을 위한 필터링 처리에, 각각 중복하여 이용되지만, 이러한 중복한 프레임 선택은 특별히 문제로는 되지 않는다.

[7. 이동 속도와 최적의 촬상 셔터 속도의 대응 관계에 대하여]

상술한 바와 같이, 도 11에 도시하는 화상 생성 처리부(102)에서의 최적 셔터 속도 산출부(253)는, 이동 속도 연산부(101)로부터 출력된, 화상 중의 각 분할 영역에서의 이동 속도를 입력으로 하고, 이 분할 영역 각각의 이동 속도 정보에 기 초하여, 최적의 촬상 셔터 속도, 즉, 쟈키니스 및 블러가 가장 저감되는 촬상 셔터 속도를 산출한다.

이 때, 최적 셔터 속도 산출부(253)는, 이동 속도와 최적의 촬상 셔터 속도를 대응시킨 테이블, 혹은 미리 설정된 산출식에 기초하여 촬상 셔터 속도를 구한다. 최적 셔터 속도 산출부(253)는, 이동 속도와 최적의 촬상 셔터 속도를 대응시킨 테이블 또는 산출식 정보를 보유하고 있다.

도 13은, 이동 속도와 최적의 촬상 셔터 속도의 대응 관계의 일례를 도시한 것이다. 그래프의 횡축은 이동 속도, 종축은 셔터 속도를 나타내고 있고, 그래프중의 곡선이 이동 속도와 최적의 촬상 셔터 속도의 대응 관계를 나타낸다. 도 13의 곡선은, 주관 평가 실험에 의해 구한 결과를 나타내는 그래프이다.

피사체의 휘도, 이동 속도, 촬상 셔터 속도에 대하여, 복수의 패턴에 대하여 실험을 행함으로써, 쟈키니스 열화와 불선명 열화의 쌍방이 가장 저감하는 조건을 탐색하고, 또한, 복수의 피험자에 관한 결과를 평균해서, 어떤 함수에서 근사하는 것에 의해 얻어진 곡선이 도 13에 도시하는 곡선이다.

이후, 본 실시예에서는, 실험에 의해 얻어진 결과인 도 13의 곡선을 예로 하여 설명을 진행하여 가지만, 이 곡선은, 이동 속도와 최적 촬상 셔터 속도의 대응을 나타내는 일례이며, 본 발명의 장치는, 이 곡선의 적용에 한정되는 것은 아니다. 최적 셔터 속도 산출부(253)는, 입력받는 각 분할 영역의 이동 속도 정보에 기초하여 쟈키니스 열화와 불선명 열화의 쌍방이 가장 저감하는 최적의 촬상 셔터 속도를 산출 가능한 구성이면 되며, 이를 위한 대응 테이블 또는 산출식을 유지하 는 것이 필요하다.

또한, 본 실시예에 따른 처리를 실장한 장치에서는, 속도와 최적의 촬상 셔터 속도의 대응 관계를, 출력 화상 신호를 표시하는 디바이스의 응답 특성이나, 사용자의 기호에 따라서, 변경할 수 있도록 구성하는 것도 가능하다. 이에 관한 상세 내용은 후술한다.

[8. 최적의 촬상 셔터 속도 산출 방법에 대하여]

이하, 최적 셔터 속도 산출부(253)가, 도 13에 도시하는 그래프 데이터를, 이동 속도-최적 촬상 셔터 속도의 대응 테이블로서 유지하고 있는 경우, 어떤 분할 영역의 이동 속도 정보를 입력하여, 최적 촬상 셔터 속도를 산출하는 처리예에 대하여 설명한다. 즉, 화상 중의 어떤 분할 영역에서의 이동 속도 정보를 최적 셔터 속도 산출부(253)에 입력했을 때, 그 영역에 대하여 최적의 촬상 셔터 속도를 산출하는 가장 기본적인 처리예에 대하여, 도 14를 이용하여 설명한다.

우선, 어떤 출력 프레임의 하나의 분할 영역에서의 이동 속도의 값을, 그래프의 횡축으로부터 탐색한다. 예를 들면, 도 14의 횡축상의 이동 속도점(331)이, 어떤 출력 프레임의 1개의 분할 영역에서의 이동 속도의 값인 것으로 한다. 다음으로, 횡축의 값에 대응하는 그래프 곡선상의 점을 탐색한다. 도면에 도시하는 화살표 A에 의해, 횡축의 값(이동 속도점(331))에 대응하는 그래프 곡선상의 점을 탐색한다. 도면에 도시하는 그래프 점(332)이 탐색된다.

다음으로, 탐색한 그래프 곡선상의 점(332)에 대응하는 종축상의 값을 탐색한다. 도면에 도시하는 화살표 B에 의해, 그래프 곡선상의 점(332)에 대응하는 종 축상의 값(최적 촬상 셔터 속도점(333))을 탐색한다. 이 처리에 의해, 특정한 분할 영역의 이동 속도에 대하여 최적의 촬상 셔터 속도의 값(최적 촬상 셔터 속도점(333))을 획득할 수 있다. 이 요령으로, 각 분할 영역에 대응하는 이동 속도에 대응하는 최적 셔터 속도를 구한다. 결정한 최적의 촬상 셔터 속도는, 도 11에 도시하는 화상 생성 처리부(102)의 최적 셔터 속도 산출부(253)로부터 출력되어, 필터링 처리부(254)에 입력된다.

또한, 전술한 촬상 셔터 속도의 산출 방법은, 가장 기본적인 수단의 일례이며, 산출 처리의 고속화나 기억 데이터량의 삭감의 필요성에 따라서 간략화하여도 된다. 도 15는, 도 13에 도시한 이동 속도와 최적의 촬상 셔터 속도의 관계의 일례를 조화해서 도시한 것이다. 이동 속도와 최적의 촬상 셔터 속도의 관계의 정보를, 도 13과 같이 조화한 데이터로서 표현함으로써, 최적 셔터 속도 산출부(253)가 미리 갖고 있어야 할 정보는, 한정된 조합의 테이블 형상의 데이터로 되고, 데이터량은 경감된다.

즉, 이 예에서는, 최적 셔터 속도 산출부(253)가 미리 갖고 있어야 할 정보는, 도 16에 도시하는 이동 속도와 최적 셔터 속도의 대응 데이터로 된다. 도 16에 도시한 바와 같이

이동 속도가 0∼Va에서는, 최적 셔터 속도=t4,

이동 속도가 Va∼Vb에서는, 최적 셔터 속도=tk,

이동 속도가 Vb∼Vc에서는, 최적 셔터 속도=tl,

:

이동 속도가 Vg∼Vh에서는, 최적 셔터 속도=tr,

이동 속도가 Vh∼에서는, 최적 셔터 속도=ts,

이와 같이, 이동 속도의 구간 데이터에 대응하는 최적 셔터 속도를 설정한 테이블을, 도 15에 도시하는 그래프에 기초하여 생성하고, 이 대응 테이블을 유지하는 구성으로 하여도 된다. 이 구성에 의해, 최적 셔터 속도 산출부(253)가 유지해야 할 데이터량은 경감된다. 또한, 이 경우, 계산 코스트의 점에도 편리성이 있다. 즉, 최적 셔터 속도 산출부(253)는, 어떤 영역의 이동 속도 정보를 입력받아 그 영역에 최적의 촬상 셔터 속도를 산출하는 경우, 이동 속도가 도 16에 도시하는 테이블의 어느 구간에 대응하는지를 판별하여, 그 구간에 대응시켜진 최적 셔터 속도 데이터를 취득하는 것만으로, 각 이동 속도에 대응하는 최적의 촬상 셔터 속도를 취득할 수 있다.

[9. 최적의 촬상 셔터 속도 산출 및, 출력 프레임 생성 처리의 구체예]

다음으로, 최적의 촬상 셔터 속도 산출 및, 출력 프레임 생성 처리의 구체예에 대하여, 도 17∼도 19를 참조하여 설명한다.

이하의 설명에 있어서도,

입력 화상의 프레임 레이트는 240(프레임/초),

출력 화상의 프레임 레이트는 60(프레임/초),

이 프레임 레이트 설정으로서 설명한다. 또한, 본 예에서는, 입력 화상의 각 프레임은, 단일의 셔터 속도 1/240(초)로 촬상되고 있는 것으로 하여 설명한다.

도 17은, 본 발명의 화상 처리 장치의 이동 속도 연산부(101)(도 4 참조)에 있어서, 각 분할 영역에 대하여 이동 속도가 산출된, 어떤 1매의 탐색용 프레임을 도시하고 있다. 본 예에서는, 화상 프레임을 4×4 화소의 영역으로 분할하고, 이들 4×4 화소의 분할 영역을 단위로 하여, 각 분할 영역의 이동 속도를 검출하는 것으로 한다. 도 7을 참조하여 설명한 이동 속도 연산부(101)의 영역 분할부(203)에 있어서 4×4 화소 단위로 분할되고, 각각의 영역에 대하여 대응하는 이동 속도의 값이 산출된다.

각 분할 영역의 이동 속도는, 앞서 도 7∼도 9를 참조하여 설명한 이동 속도 검출 처리, 즉, 탐색용 프레임과 참조용 프레임을 설정하고, 이들 프레임간에 있어서 블록 매칭을 실행함으로써 산출된다.

도 17에 도시하는 분할 영역 중, 6개에 식별 기호 A∼F를 표시하고 있다. 여기서, 각각의 영역 A∼E의 분할 영역에서 산출된 이동 속도를, 각각 Va, Vb, Vc, Vd, Ve, Vf로 한다.

도 18은, 화상 생성 처리부(102)에서 행해지는 이동 속도에 기초한 최적의 촬상 셔터 속도의 산출에 적용하는 그래프(테이블)를 도시하고 있다. 이 테이블은, 도 11을 참조하여 설명한 화상 생성 처리부(102)의 최적 셔터 속도 산출부(253)에 유지된 테이블이며, 이동 속도와 최적의 촬상 셔터 속도의 대응 데이터이다. 최적 셔터 속도 산출부(253)는, 이 테이블을 적용하여, 각 분할 영역에 대응하여 구해진 이동 속도에 기초하여, 각 분할 영역에 대응하는 최적 셔터 속도를 산출한다. 도 18에 도시하는 데이터는, 앞서, 도 15를 참조하여 설명한 그래프와 마찬가지로 소정의 이동 속도 구간마다, 최적 셔터 속도를 대응시킨 데이터이다.

최적 셔터 속도 산출부(253)는, 각 분할 영역에 대응하여 구해진 이동 속도 정보를 입력받아, 도 18에 도시하는 데이터를 적용하여 각 분할 영역에 대응하는 최적 셔터 속도를 산출한다. 이하, 도 17에 도시하는 프레임 화상 데이터가, 출력 화상 프레임에 대응하는 탐색용 프레임으로서 화상 생성 처리부(102)에 입력된 경우의 처리예에 대하여 설명한다.

도 11에 도시하는 화상 생성 처리부(102)의 최적 셔터 속도 산출부(253)에는, 도 17에 도시하는 프레임 화상의 각 분할 영역의 이동 속도 정보가 입력된다. 분할 영역 A∼F(4×4 화소)에 대해서는, 이동 속도 정보 Va∼Vf가 입력된다.

여기서, 도 17에 도시하는 분할 영역 A∼F 각각이 갖는 이동 속도 Va∼Vf의 값과, 도 18에 도시하는 그래프의 횡축에 도시하는 임계값 th1∼th6의 대소 관계는, 이하의 설정으로 한다.

0≤Va<th1

th1≤Vb<th2

th2≤Vc<th3

th3≤Vd<th4

th4≤Ve<th5

th6≤Vf

앞서 설명한 바와 같이, 어떤 영역의 이동 속도로부터 그 영역에 최적의 촬상 셔터 속도를 산출하는 처리는, 우선, 이동 속도가 상기 임계값에 의해 구획된 이동 속도 구간의 어느 구간에 있는지를 판별하고, 다음으로, 그 이동 속도 구간에 대응시켜진 최적 셔터 속도를 취득하는 처리로서 실행된다.

예를 들면, 도 17에 도시하는 분할 영역 C는, 이동 속도 Vc를 갖는다.

th2≤Vc<th3

이고, 이동 속도 Vc는, 이동 속도 구간 th2∼th3에 포함된다. 이동 속도 구간 th2∼th3에 대응하는 최적 셔터 속도는, 도 18에 도시하는 그래프로부터 [1/120초]이다. 이와 같이, 이동 속도 Vc를 갖는 분할 영역 C에서의 최적 셔터 속도는 [1/120초]라고 판정된다. 이것은, 분할 영역 C의 화상을 셔터 속도 1/120초로 한 의사 화상으로 한 경우에, 쟈키니스 및 블러가 가장 저감된 화상으로 하는 것이 가능함을 의미하고 있다.

이 셔터 속도 정보가 도 11에 도시하는 화상 생성 처리부(102)의 필터링 처리부(254)에 입력되고, 필터링 처리부(254)에서는, 분할 영역 C의 화상을 셔터 속도 1/120초로 한 의사 화상으로 하기 위한 화상 생성 처리(필터링 처리)를 실행한다. 화상 필터링 처리는, 앞서, 도 12를 참조하여 설명한 바와 같이, 기존의 전후 프레임을, 가중치를 붙여서 블렌드하는 처리로서 실행된다.

도 19를 참조하여 필터링 처리부(254)에서 실행하는 필터링 처리, 즉, 쟈키니스 및 블러가 가장 저감된 셔터 속도 촬상 화상으로서의 의사 화상의 생성 처리에 대하여 설명한다.

필터링 처리부(254)에는, 각 영역에 대응하는 최적 셔터 속도 정보와, 앞서 도 12를 참조하여 설명한 바와 같이, 도 11에 도시하는 화상 생성 처리부(102)의 제어부(252)에서 선택된 필터링 처리에 적용하는 입력 화상 프레임이 입력된다. 본 예에서는, 필터링 처리에 이용하는 프레임을, 도 12를 참조하여 설명한 (예 2)와 같이, 이동 속도의 탐색용 프레임의 전후 2 프레임인 것으로 한다.

도 19에는, 필터링 처리부(254)에 입력된 출력 화상 프레임에 대응하는 이동 속도의 탐색용 프레임과 그 전후 2 프레임의 5개의 입력 프레임을 도시하고 있다. 이들 5개의 프레임은, 출력 화상 프레임에 대응하는 이동 속도의 탐색용 프레임인 240×s+0번째의 프레임, 및, 필터링에 이용하는 프레임으로서 그 전후 2 프레임인 240×s-2번째, 240×s-1번째, 240×s+1번째, 240×s+2번째의 프레임이다. 이들 입력 프레임중에 나타내는 화소(351(-2)∼351(2))는, 앞서 도 17을 참조하여 설명한 처리 대상의 4×4 화소의 분할 영역에 포함되는 화소인 것으로 한다. 입력 프레임중에 나타내는 화소(351(-2)∼351(2))의 각 화소값을 in(-2), in(-1), in(0), in(1), in(2)로 한다.

또한, 도 19에는, 이들 각 프레임을 이용한 필터링 처리의 결과, 출력되는 출력 프레임(370)을 도시하고 있다. 이 프레임은, 도 12의 (예 2)에서 나타낸 [60×s+0번째의 출력 프레임](320)에 상당한다. 출력 프레임(370) 중, 주목 화소(351(-2)∼351(2))와 위치적으로 대응하는 출력 화소(371의 화소값을 out(0)으로 한다.

본 예에서는, 출력 프레임중의 출력 화소(371)의 화소값 out(0)는, 입력 화상의 각 프레임의 주목 화소(351(-2)∼351(2))의 화소값 in(-2), in(-1), in(0), in(1), in(2)을 가중 평균함으로써 산출하는 것으로 하고, 이하, 예를 들어서 설명한다.

(A) 주목 화소가 분할 영역 A 내의 화소인 경우

우선, 주목 화소가, 도 17의 영역 A 내에 존재하는 예를 생각한다.

주목 화소는 이동 속도 Va(0≤Va<th1)를 갖고 있다.

이 경우, 주목 화소에 대한 최적의 셔터 속도는, 이미 최적 셔터 속도 산출부(253)에 있어서 도 18의 테이블로부터 산출되어, 필터링 처리부(254)에 입력되어 있고, 그 값은 1/240(초)이다.

입력 화상의 각 프레임은 단일의 셔터 속도 1/240(초)로 촬상되고 있다. 이 때문에, 240×s+0번째의 입력 프레임의 주목 화소의 화소값은, 도 18의 테이블로부터 산출된 최적의 셔터 속도(1/240초)로 촬상되고 있는 화상이며, 출력 프레임중의 주목 화소의 화소값 out(0)는, in(0)의 값을 그대로 이용하면 된다. 수식으로 표현하면 다음과 같이 된다.

out(0)=in(0)

(B)주목 화소가 분할 영역 B 내의 화소인 경우

다음으로, 주목 화소가 도 17의 영역 B 내에 존재하는 경우를 생각한다.

주목 화소는 이동 속도 Vb(th1≤Vb<th2)를 갖고 있다.

이 경우, 주목 화소에 대한 최적의 셔터 속도는, 이미 최적 셔터 속도 산출부(253)에서 도 18의 테이블로부터 산출되어, 필터링 처리부(254)에 입력되어 있고, 그 값은 1/160(초)이다.

입력 화상의 각 프레임은 단일의 셔터 속도 1/240(초)로 촬상되고 있고, 주목 화소에 대한 최적 셔터 속도 1/160(초)은,

(1/160)/(1/240)=1.5배이다.

이 경우, 출력 프레임중의 주목 화소의 화소값 out(0)는, 다음과 같이 입력 화상의 각 프레임의 주목 화소의 화소값을 가중 평균의 계산에 의해 구한다.

out(0)=(in(-1)*0.25+in(0)+in(1)*0.25)/1.5

상기 식은, 출력 화상 프레임에 대응하는 이동 속도의 탐색용 프레임인 240×s+0번째의 프레임의 화소의 화소값의 가중치를 [1]로 하고,

1개 전의 프레임과 1개 후의 프레임의 대응 화소의 화소값의 가중치를 각각 [0.25]로 하고, 가중 평균에 의해, 출력 화상 프레임의 화소값 out(0)를 산출한 것이다. 상기 식에 의해, 주목 화소의 원래의 노광 시간보다도 1.5배의 기간, 노광되어 촬상된 화소를 의사적으로 생성할 수 있다.

(C) 주목 화소가 분할 영역 C 내의 화소인 경우

다음으로, 주목 화소가 도 17의 영역 C 내에 존재하는 경우를 생각한다.

주목 화소는 이동 속도 Vc(th2≤Vc<th3)를 갖고 있다.

이 경우, 주목 화소에 대한 최적의 셔터 속도는, 이미 최적 셔터 속도 산출부(253)에서 도 18의 테이블로부터 산출되어, 필터링 처리부(254)에 입력되어 있고, 그 값은 1/120(초)이다.

입력 화상의 각 프레임은 단일의 셔터 속도 1/240(초)로 촬상되고 있고, 주목 화소에 대한 최적 셔터 속도 1/120(초)은,

(1/120)/(1/240)=2.0배이다.

이 경우, 출력 프레임중의 주목 화소의 화소값 out(0)는, 다음과 같이 입력 화상의 각 프레임의 주목 화소의 화소값을 가중 평균의 계산에 의해 구한다.

out(0)=(in(-1)*0.5+in(0)+in(1)*0.5)/2.0

상기 식에 의해, 주목 화소의 원래의 노광 시간보다도 2.0배의 기간, 노광되어 촬상된 화소를 의사적으로 생성한다.

(D) 주목 화소가 분할 영역 D 내의 화소인 경우

다음으로, 주목 화소가 도 17의 영역 D 내에 존재하는 경우를 생각한다.

주목 화소는 이동 속도 Vd(th3≤Vd<th4)를 갖고 있다.

이 경우, 주목 화소에 대한 최적의 셔터 속도는, 이미 최적 셔터 속도 산출부(253)에서 도 18의 테이블로부터 산출되어, 필터링 처리부(254)에 입력되어 있고, 그 값은 1/96(초)이다.

입력 화상의 각 프레임은 단일의 셔터 속도 1/240(초)로 촬상되고 있고, 주목 화소에 대한 최적 셔터 속도 1/96(초)은,

(1/96)/(1/240)=2.5배이다.

이 경우, 출력 프레임중의 주목 화소의 화소값 out(0)는, 다음과 같이 입력 화상의 각 프레임의 주목 화소의 화소값을 가중 평균의 계산에 의해 구한다.

out(0)=(in(-1)*0.75+in(0)+in(1)*0.75)/2.5

상기 식에 의해, 주목 화소의 원래의 노광 시간보다도 2.5배의 기간, 노광되어 촬상된 화소를 의사적으로 생성한다.

(E)주목 화소가 분할 영역 E 내의 화소인 경우

다음으로, 주목 화소가 도 17의 영역 E 내에 존재하는 경우를 생각한다.

주목 화소는 이동 속도 Ve(th4≤Ve<th5)를 갖고 있다.

이 경우, 주목 화소에 대한 최적의 셔터 속도는, 이미 최적 셔터 속도 산출부(253)에서 도 18의 테이블로부터 산출되어, 필터링 처리부(254)에 입력되어 있고, 그 값은 1/80(초)이다.

입력 화상의 각 프레임은 단일의 셔터 속도 1/240(초)로 촬상되고 있고, 주목 화소에 대한 최적 셔터 속도 1/80(초)은,

(1/80)/(1/240)=3.0배이다.

이 경우, 출력 프레임중의 주목 화소의 화소값 out(0)는, 다음과 같이 입력 화상의 각 프레임의 주목 화소의 화소값을 가중 평균의 계산에 의해 구한다.

out(0)=(in(-1)+in(0)+in(1))/3.0

상기 식에 의해, 주목 화소의 원래의 노광 시간보다도 3.0배의 기간, 노광되어 촬상된 화소를 의사적으로 생성한다.

(F)주목 화소가 분할 영역 F 내의 화소인 경우

다음으로, 주목 화소가 도 17의 영역 F 내에 존재하는 경우를 생각한다.

주목 화소는 이동 속도 Vf(th6≤Vf)를 갖고 있다.

이 경우, 주목 화소에 대한 최적의 셔터 속도는, 이미 최적 셔터 속도 산출부(253)에서 도 18의 테이블로부터 산출되어, 필터링 처리부(254)에 입력되어 있고, 그 값은 1/60(초)이다.

입력 화상의 각 프레임은 단일의 셔터 속도 1/240(초)로 촬상되고 있고, 주목 화소에 대한 최적 셔터 속도 1/60(초)은,

(1/60)/(1/240)=4.0배이다.

이 경우, 출력 프레임중의 주목 화소의 화소값 out(0)는, 다음과 같이 입력 화상의 각 프레임의 주목 화소의 화소값을 가중 평균의 계산에 의해 구한다.

out(0)=(in(-2)*0.5+in(-1)+in(0)+in(1)+in(2)*0.5)/4.0

상기 식에 의해, 주목 화소의 원래의 노광 시간보다도 4.0배의 기간, 노광되어 촬상된 화소를 의사적으로 생성한다.

이와 같이, 필터링 처리부(254)에서는, 각 화소가 최적의 셔터 속도로 촬상된 출력 프레임을 생성하기 위해서, 입력 화상 프레임의 화소값을 이동 속도에 따른 계수를 설정해서 가중 평균에 의한 필터링 처리를 실행하여 화소값을 설정한 화상을 생성한다.

이와 같이, 필터링 처리부(254)에서는, 생성하는 출력 화상의 셔터 속도에 따라서, 필터링 처리에 적용하는 입력 화상 프레임의 수를 적절히, 변경하여 처리를 행한다.

[10. 이동 속도와 최적의 셔터 속도 곡선의 조정 기능을 가진 장치에 대하여]

또한, 본 발명에 따른 화상 처리 구성을 실장한 장치에서는, 출력 화상을 표시하는 표시 디바이스의 응답 특성이나, 장치의 사용자의 기호에 따라서, 이동 속도와 최적의 촬상 셔터 속도의 관계를 조정하는 기능을 갖게 하는 구성으로 하여도 된다.

도 20은, 이동 속도와 최적의 촬상 셔터 속도의 관계를 나타내는 곡선의 예 를 몇 가지 도시하고 있다. 예를 들면, 도 20에 도시하는 제1 단계∼제5 단계의 곡선 중에서, 사용자가 이동 속도와 최적의 촬상 셔터 속도의 관계를 조정 가능하게 한다. 이동 속도와 최적의 촬상 셔터 속도의 관계는, 출력 화상을 표시하는 표시 디바이스의 응답 특성이나, 장치의 사용자의 기호에 따라서 상이한 경우가 있다. 이러한 경우, 이동 속도와 최적의 촬상 셔터 속도의 관계를 조정 가능하게 함으로써, 상황에 따른 최적의 처리가 가능해진다.

예를 들면, 도 20에 도시하는 이동 속도와 최적 촬상 셔터 속도의 관계를 도시하는 복수의 곡선 중, 제1 단계와 제5 단계를 비교한 경우, 이동 속도가 동일한 경우에의 최적의 촬상 셔터 속도는, 제5 단계 쪽이 고속이다. 이 때문에, 필터링 처리에 의해 생성되는 출력 화상은, 제1 단계를 채용한 경우 쪽이, 제5 단계를 채용한 경우에 비하여, 보다 쟈키니스 열화가 저감된 화상으로 되고, 반대로 제5 단계를 채용한 경우 쪽이 제1 단계를 채용한 경우에 비하여, 보다 블러 열화가 저감된 화상으로 된다.

장치의 사용자는, 그 기호에 따라서, 가장 쌍방의 열화가 신경 쓰이지 않도록, 도 20중에 도시하는 제1 단계∼제5 단계의 곡선을 선택하여, 이동 속도에 대응하는 최적 셔터 속도를 조정할 수 있다. 이 이동 속도와 최적의 촬상 셔터 속도의 관계를 조정하는 기능은, 꼭 일반적인 표시 장치에 있어서, 휘도의 감마 곡선을 조정하는 기능과 아주 닮은 것이다.

사용자가, 이동 속도와 최적의 촬상 셔터 속도의 관계를 조정하기 위해서 필요한 정보를 입력하는 수단으로서는 다양한 구성이 적용 가능하다. 예를 들면, 장 치에 설정된 유저 인터페이스(GUI)에 의해 입력하는 방법이 생각된다. 이 경우, 장치는 표시 디바이스, 마우스 등의 입력 디바이스를 갖고, 유저는 이들 입력 디바이스를 사용하여, 조정을 행하게 된다. 도 21은, 사용자가 이동 속도와 최적의 촬상 셔터 속도의 관계를 조정할 때에 이용하는, 유저 인터페이스의 구성예이다.

도 21은, 도 20에서 도시한 제1 단계∼제5 단계의 곡선 중에서, 이동 속도와 최적의 촬상 셔터 속도의 관계를, 사용자가 선택할 수 있도록 구성되어 있고, 스크롤 바(381)를 이동시켜 입력할 수 있도록 설계되어 있다. 유저는 어떠한 입력 디바이스를 이용하여 스크롤 바(381)를 움직이고, OK 버튼(382)을 조작함으로써, 이동 속도와 최적의 촬상 셔터 속도의 관계를 조정하는 것이 가능하게 되어 있다.

[11. 제2 실시예의 개요]

도 22는, 본 발명의 제2의 실시예에 따른 화상 처리 장치의 구성예를 도시하는 블록도이다. 제2 실시예의 블록도는, 도 4를 참조하여 설명한 제1 실시예에 공간 특징량 검출부(503)를 덧붙인 것이다. 화상 처리 장치(500)는, 처리 대상 화상으로서, 일정한 프레임 레이트를 갖는 화상 신호를 입력받는다. 이 입력 화상 신호는, 이동 속도 연산부(501), 화상 생성 처리부(502), 및 공간 특징량 검출부(503)에 입력된다.

이하, 제1 실시예와의 차분을 중심으로 하여, 화상 처리 장치(500)의 처리에 대하여 설명한다. 일정한 프레임 레이트를 갖는 입력 화상 신호는, 이동 속도 연산부(501)에 입력된다. 이동 속도 연산부(501)에 입력된 입력 화상 신호는, 앞서, 도 4 이하를 참조하여 설명한 제1 실시예와 마찬가지의 처리를 실행하여, 프레임 내의 각 분할 영역의 이동 속도를 산출한다. 이 이동 속도는, 출력 화상의 프레임 레이트 상당의 값으로서 산출되어, 이동 속도 연산부(501)로부터 화상 생성 처리부(502)에 출력된다.

공간 특징량 검출부(503)에도 마찬가지로, 입력 화상 신호가 입력된다. 공간 특징량 검출부(503)의 처리에 대하여, 도 23을 참조하여 설명한다. 도 23은, 공간 특징량 검출부(503)의 상세한 구성예를 도시하는 도면이다. 도 23에 도시한 바와 같이, 공간 특징량 검출부(503)는, 입력 화상 신호의 복수의 프레임을 기억하는 화상 축적부(521), 공간 콘트라스트의 크기를 평가하는 대상의 프레임을 선별하여 판독 제어를 행하는 제어부(522), 평가 대상으로 되는 프레임을 영역으로 분할하는 영역 분할부(523), 공간 필터링 처리 등에 의해 각 영역에서의 공간 콘트라스트의 크기를 평가하는 공간 콘트라스트 평가부(524)를 갖는다.

본 실시예에서는, 처리의 기준으로 하는 공간 콘트라스트 임계값을, 미리 공간 콘트라스트 평가부(524)가 갖고 있다. 공간 특징량 검출부(503)는, 처리 대상으로 하는 분할 영역 각각에 대하여, 공간 콘트라스트의 크기가 임계값 이상인지의 여부를 판정하고, 처리 대상으로 하는 분할 영역의 공간 콘트라스트의 크기가 임계값 이상인 경우, 공간 특징량 정보로서 신호 [0], 임계값보다도 작은 경우, 공간 특징량 정보로서 신호 [1]을 출력한다.

공간 특징량 검출부(503)에 입력된 입력 화상 신호는, 우선 화상 축적부(521)에 입력되어 기억된다. 이 기억 화상 프레임 데이터는, 제어부(522)의 제어 하에, 공간 콘트라스트의 평가 대상으로서 선택된 프레임이 화상 축적부(521)로 부터 판독된다.

공간 콘트라스트의 평가 대상으로 되는 프레임은, 출력 화상의 프레임 레이트 정보에 기초하여 실행된다. 이 프레임 선택 처리는, 앞서 도 7∼도 9를 참조하여 설명한 이동 속도 연산부의 제어부에서의 움직임 벡터 검출 대상으로 되는 탐색용 프레임의 선별과 마찬가지의 처리이다. 화상 축적부(521)로부터 판독된 프레임은, 영역 분할부(523)에 입력된다.

영역 분할부(523)에서 행해지는 영역 분할 처리는, 앞서, 제1 실시예에서 도 7을 참조하여 설명한 이동 속도 연산부의 영역 분할부에서 실행되는 움직임 벡터 검출 대상으로 되는 탐색용 프레임의 영역 분할 처리와 마찬가지로 행해진다. 앞서, 도 5를 참조하여 설명한 바와 같이, 1 프레임의 화상이 미리 정해진 화소 영역으로 분할된다.

각 분할 영역의 화상 데이터는, 공간 콘트라스트 평가부(524)에 입력되고, 공간 필터링 처리가 행해진다. 즉, 처리 대상으로 하는 분할 영역 각각에 대하여, 공간 콘트라스트의 크기가 임계값 이상인지의 여부를 판정하고, 처리 대상으로 하는 분할 영역의 공간 콘트라스트의 크기가 임계값 이상인 경우, 공간 특징량 정보로서 신호 [0], 임계값보다도 작은 경우, 공간 특징량 정보로서 신호 [1]을 출력한다.

이와 같이, 본 실시예에서는, 도 22에 도시하는 화상 생성 처리부(502)는, 이동 속도 연산부(501)로부터 출력되는 화상 중의 각 영역에서의 이동 속도 정보, 및, 공간 특징량 검출부(503)로부터 출력되는 화상 중의 각 영역에서의 공간 특징 량 정보를 입력받는다.

도 24를 참조하여, 본 실시예에서의 화상 생성 처리부(502)의 구성 및 처리에 대하여 설명한다. 도 24에 도시하는 화상 생성 처리부(502)에 있어서, 공간 특징량 검출부(503)로부터 입력된 공간 특징량 정보는, 이동 속도 정보와 마찬가지로, 최적 셔터 속도 산출부(553)에 입력된다. 최적 셔터 속도 산출부(553)는, 이들 각 정보를 적용하여, 각 분할 영역에 대응하는 최적 셔터 속도를 산출한다.

최적 셔터 속도 산출부(553)에서의 처리는, 예를 들면 다음과 같이 행해진다. 최적 셔터 속도 산출부(553)에 입력된 공간 특징량 정보가 신호 [0]인 경우, 즉, 처리 대상으로 하는 분할 영역의 공간 콘트라스트의 크기가 임계값 이상인 경우, 그 영역은 그 이동 속도 정보만에 기초하여, 앞서 도 13∼도 17을 참조하여 설명한 이동 속도와 최적 셔터 속도의 대응 테이블에 기초하여, 최적의 촬상 셔터 속도를 산출한다.

한편, 공간 특징량 정보가 신호 [1]인 경우, 즉, 처리 대상으로 하는 분할 영역의 공간 콘트라스트의 크기가 임계값 미만인 경우, 그 영역은 그 이동 속도에 상관없이, 최적 셔터 속도를 최대의 프레임 레이트에 상당하는 셔터 속도, 예를 들면 도 13의 t4를 셔터 속도로서 설정한다.

이 최적 셔터 속도의 결정 처리는, 공간 콘트라스트가 작은 영역에서는, 쟈키니스 열화는 두드러지지 않는다고 하는 사실을 고려한 것이다. 즉, 처리 대상의 분할 영역의 공간 특징량 정보가 신호 [1]인 경우, 처리 대상으로 하는 분할 영역의 공간 콘트라스트의 크기가 임계값 미만으로서, 공간 콘트라스트가 작아서, 쟈키 니스 열화는 두드러지지 않는다. 따라서, 이러한 영역은, 최대의 프레임 레이트에 상당하는 셔터 속도, 예를 들면 도 13의 t4를 셔터 속도로서 설정하여 선명한 화상을 출력한다.

한편, 분할 영역의 공간 특징량 정보가 신호 [0]인 경우, 처리 대상으로 하는 분할 영역의 공간 콘트라스트의 크기가 임계값 이상으로서, 공간 콘트라스트가 커서, 쟈키니스 열화가 두드러지는 영역으로 판정되므로, 앞서 설명한 실시예와 마찬가지로, 앞서 도 13∼도 17을 참조하여 설명한 이동 속도와 최적 셔터 속도의 대응 테이블에 기초하여, 최적의 촬상 셔터 속도를 산출한다.

또한, 공간 특징량 정보는, 본 실시예에서 설명한 예에서는, 소정의 임계값의 전후에서 [0], [1]의 2종류의 정보로 한 예를 설명했지만, 이 외의 설정으로 하여도 된다. 예를 들면, 공간 특징량 검출부(503)가 미리 1개의 임계값을 갖고 있는 것이 아니라, 콘트라스트의 값에 따른 서로 다른 출력값을 출력하기 위한 보다 상세한 테이블을 갖는 구성으로 하고, 공간 특징량 정보로서 2 종류보다 다종류의 신호를 화상 생성 처리부(502)에 출력하는 구성으로 하는 것도 가능하다.

도 24에 도시하는 화상 생성 처리부(502)의 최적 셔터 속도 산출부(553)에 있어서, 화상 중의 각 영역에서의 최적의 촬상 셔터 속도를 산출한 후의 처리, 즉, 필터링 처리부(554)에서의 처리는, 앞의 실시예에서 설명한 처리와 마찬가지이며, 각 분할 영역에 있어서, 복수의 입력 화상 프레임에 기초하여, 최적 셔터 속도에 대응하는 의사 화상을 생성하는 처리로서 실행된다.

본 처리예에서는, 이와 같이, 공간 특징량 검출부(503)에 있어서 분할 영역 단위로 공간 콘트라스트의 크기를 검출하고, 화상 생성 처리부(502)에 있어서, 공간 콘트라스트가 미리 정한 임계값 미만인 분할 영역에 대해서는, 이동 속도에 대응하여 산출되는 최적 촬상 셔터 속도보다 높은 셔터 속도를 최적 셔터 속도로서 설정한다. 혹은, 공간 콘트라스트가 미리 정한 임계값 미만인 분할 영역에 대해서는, 이동 속도에 대응하여 산출되는 최적 촬상 셔터 속도를 산출하지 않고, 입력 화상이 갖는 프레임 레이트에 대응하는 최고의 셔터 속도를 최적 셔터 속도로서 설정하는 처리를 실행한다.

이상, 특정한 실시예를 참조하면서, 본 발명에 대하여 자세히 해석해 왔다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 그 실시예의 수정이나 대용을 할 수 있는 것은 자명하다. 즉, 예시라고 하는 형태로 본 발명을 개시하여 온 것이며, 한정적으로 해석되어서는 안 된다. 본 발명의 요지를 판단하기 위해서는, 특허청구범위의 란을 참작해야 한다.

또한, 명세서 내에서 설명한 일련의 처리는 하드웨어, 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시킨다든지, 혹은, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다.

예를 들면, 프로그램은 기록 매체로서의 하드디스크나 ROM(Read Only Memory)에 미리 기록하여 놓을 수 있다. 혹은, 프로그램은 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등의 리무버블 기록 매체에, 일시적 혹은 영속적으로 저장(기록)하여 놓을 수 있다. 이러한 리무버블 기록 매체는, 소위 팩키지 소프트웨어로서 제공할 수 있다.

또한, 프로그램은, 전술한 바와 같은 리무버블 기록 매체로부터 컴퓨터에 인스톨하는 외에, 다운로드 사이트로부터, 컴퓨터에 무선 전송하거나, LAN(Local Area Network), 인터넷이라고 하는 네트워크를 통해서, 컴퓨터에 유선으로 전송하고, 컴퓨터에서는, 그와 같이 해서 전송되어 오는 프로그램을 수신하여, 내장하는 하드디스크 등의 기록 매체에 인스톨할 수 있다.

또한, 명세서에 기재된 각종 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라서 병렬적으로 혹은 개별로 실행되어도 된다. 또한, 본 명세서에서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 케이스 내에 있는 것에 한정되지는 않는다.

이상, 설명한 바와 같이, 본 발명의 구성에 따르면, 일정한 프레임 레이트로 출력하는 동화상을 생성할 때, 동화상을 구성하는 프레임 화상을 구분한 분할 영역 단위로 출력 화상의 프레임 레이트에 따른 피사체의 이동 속도를 산출하고, 분할 영역 단위의 이동 속도에 대응하는 최적의 촬상 셔터 속도로서, 출력 화상의 화상 열화가 저감되는 최적 셔터 속도를 분할 영역 단위로 취득하고, 취득한 최적 셔터 속도에 대응하는 화상을 분할 영역 단위로 생성하고, 생성한 분할 영역 화상을 결합한 프레임 화상을 출력시키는 구성으로 했으므로, 출력 화상에서의 화상 열화, 구체적으로는, 쟈키니스 및 블러의 쌍방을 저감한 고품질의 화상을 출력하는 것을 가능하게 한 화상 처리 장치가 실현된다.

Claims (29)

1. 동화상에 대한 화상 처리를 실행하는 화상 처리 장치로서,

   동화상을 구성하는 프레임 화상을 구분한 분할 영역 단위로 출력 화상의 프레임 레이트에 따른 피사체의 이동 속도를 산출하는 이동 속도 연산부와,

   상기 분할 영역 단위의 이동 속도 정보를 입력받고, 이동 속도에 대응하는 최적의 촬상 셔터 속도로서, 출력 화상의 화상 열화가 저감되는 최적 셔터 속도를 상기 분할 영역 단위로 취득하고, 취득한 최적 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하고, 생성한 분할 영역 화상을 결합한 프레임 화상을 출력하는 화상 생성 처리부

   를 갖는 것을 특징으로 하는 화상 처리 장치.
2. 제1항에 있어서,

   상기 이동 속도 연산부는,

   입력 화상의 프레임으로부터 선택된 탐색용 프레임과 참조용 프레임을 적용한 블록 매칭 처리에 의해 분할 영역 단위로 이동 속도를 산출하는 처리를 실행하는 구성인 것을 특징으로 하는 화상 처리 장치.
3. 제1항에 있어서,

   상기 이동 속도 연산부는,

   입력 화상의 프레임으로부터 선택된 탐색용 프레임과 참조용 프레임을 적용한 블록 매칭 처리에 의해 분할 영역 단위로 움직임 벡터를 구하는 블록 매칭부와,

   상기 블록 매칭부에서 산출한 움직임 벡터 정보에 기초하여, 출력 화상의 프레임 레이트에 따른 피사체의 이동 속도를 산출하는 움직임 벡터 규격화부를 갖는 구성인 것을 특징으로 하는 화상 처리 장치.
4. 제2항 또는 제3항에 있어서,

   상기 이동 속도 연산부는,

   상기 탐색용 프레임을, 출력 화상의 프레임 레이트에 따른 프레임 간격으로 입력 화상의 프레임으로부터 선택하는 처리를 실행하는 구성인 것을 특징으로 하는 화상 처리 장치.
5. 제1항에 있어서,

   상기 화상 생성 처리부는,

   이동 속도와, 출력 화상의 화상 열화가 저감되는 촬상 셔터 속도를 대응시킨 테이블을 유지하고, 그 테이블을 참조하여 이동 속도에 대응하는 최적 셔터 속도를 상기 분할 영역 단위로 취득하는 구성인 것을 특징으로 하는 화상 처리 장치.
6. 제5항에 있어서,

   상기 테이블은,

   이동 속도 구간 정보와, 최적 셔터 속도 정보를 대응시킨 테이블인 것을 특징으로 하는 화상 처리 장치.
7. 제5항에 있어서,

   상기 화상 생성 처리부는,

   이동 속도와, 출력 화상의 화상 열화가 저감되는 최적 셔터 속도의 대응 관계가 서로 다른 복수의 상이한 테이블을 갖고, 유저 선택 정보에 기초하여, 적용하는 테이블을 결정하는 구성인 것을 특징으로 하는 화상 처리 장치.
8. 제1항에 있어서,

   상기 화상 생성 처리부는,

   상기 분할 영역 단위로, 이동 속도에 대응하는 최적 셔터 속도를 산출하는 최적 셔터 속도 산출부와,

   상기 최적 셔터 속도 산출부가 산출한 최적 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하는 필터링 처리부를 갖는 구성인 것을 특징으로 하는 화상 처리 장치.
9. 제8항에 있어서,

   상기 필터링 처리부는,

   입력 화상의 프레임으로부터 선택된 프레임에 기초하여, 상기 최적 셔터 속 도 산출부가 산출한 촬상 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하는 처리를 실행하는 구성인 것을 특징으로 하는 화상 처리 장치.
10. 제8항에 있어서,

    상기 필터링 처리부는,

    상기 최적 셔터 속도 산출부가 산출한 최적 셔터 속도에 따른 가중 계수를 설정하고, 입력 화상의 복수 프레임의 화소값의 가중 평균을 실행하여, 출력 화상 프레임의 화소값을 결정하는 처리를 실행하는 구성인 것을 특징으로 하는 화상 처리 장치.
11. 제1항에 있어서,

    상기 화상 생성 처리부는,

    입력 화상의 프레임에 포함되지 않는 중간 프레임을 생성하는 중간 프레임 생성부를 갖고, 상기 최적 셔터 속도 산출부가 산출한 최적 셔터 속도에 대응하는 화상을, 상기 중간 프레임을 적용하여 분할 영역 단위로 생성하는 처리를 실행하는 구성인 것을 특징으로 하는 화상 처리 장치.
12. 제1항에 있어서,

    상기 화상 처리 장치는,

    상기 분할 영역 단위로 공간 콘트라스트의 크기를 검출하는 공간 특징량 검 출부를 더 갖고,

    상기 화상 생성 처리부는,

    공간 콘트라스트가 미리 정한 임계값 미만의 분할 영역에 대해서는, 상기 이동 속도에 대응하여 산출되는 최적 셔터 속도보다 높은 셔터 속도를 최적 셔터 속도로서 설정하는 처리를 실행하는 구성인 것을 특징으로 하는 화상 처리 장치.
13. 제1항에 있어서,

    상기 화상 처리 장치는,

    상기 분할 영역 단위로 공간 콘트라스트의 크기를 검출하는 공간 특징량 검출부를 더 갖고,

    상기 화상 생성 처리부는,

    공간 콘트라스트가 미리 정한 임계값 미만의 분할 영역에 대해서는, 상기 이동 속도에 대응하여 산출되는 최적 셔터 속도를 산출하지 않고, 입력 화상이 갖는 프레임 레이트에 대응하는 셔터 속도를 최적 셔터 속도로서 설정하는 처리를 실행하는 구성인 것을 특징으로 하는 화상 처리 장치.
14. 제1항 내지 제13항 중 어느 한 항에 있어서,

    상기 출력 화상의 화상 열화는, 쟈키니스 및 블러에 의한 화상 열화이고,

    상기 화상 생성 처리부는,

    쟈키니스 및 블러에 의한 화상 열화가 저감되는 최적 셔터 속도를 상기 분할 영역 단위로 취득하고, 취득한 최적 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하는 처리를 실행하는 구성인 것을 특징으로 하는 화상 처리 장치.
15. 화상 처리 장치에서, 동화상에 대한 화상 처리를 실행하는 화상 처리 방법으로서,

    이동 속도 연산부에서, 동화상을 구성하는 프레임 화상을 구분한 분할 영역 단위로 출력 화상의 프레임 레이트에 따른 피사체의 이동 속도를 산출하는 이동 속도 연산 스텝과,

    화상 생성 처리부에서, 상기 분할 영역 단위의 이동 속도 정보를 입력받고, 이동 속도에 대응하는 최적의 촬상 셔터 속도로서, 출력 화상의 화상 열화가 저감되는 최적 셔터 속도를 상기 분할 영역 단위로 취득하고, 취득한 최적 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하고, 생성한 분할 영역 화상을 결합한 프레임 화상을 출력하는 화상 생성 처리 스텝,

    을 갖는 것을 특징으로 하는 화상 처리 방법.
16. 제15항에 있어서,

    상기 이동 속도 연산 스텝은,

    입력 화상의 프레임으로부터 선택된 탐색용 프레임과 참조용 프레임을 적용한 블록 매칭 처리에 의해 분할 영역 단위로 이동 속도를 산출하는 처리를 실행하는 것을 특징으로 하는 화상 처리 방법.
17. 제15항에 있어서,

    상기 이동 속도 연산 스텝은,

    입력 화상의 프레임으로부터 선택된 탐색용 프레임과 참조용 프레임을 적용한 블록 매칭 처리에 의해 분할 영역 단위로 움직임 벡터를 구하는 블록 매칭 처리 스텝,

    상기 블록 매칭 처리 스텝에서 산출한 움직임 벡터 정보에 기초하여, 출력 화상의 프레임 레이트에 따른 피사체의 이동 속도를 산출하는 움직임 벡터 규격화 스텝을 갖는 것을 특징으로 하는 화상 처리 방법.
18. 제16항 또는 제17항에 있어서,

    상기 이동 속도 연산 스텝은,

    상기 탐색용 프레임을, 출력 화상의 프레임 레이트에 따른 프레임 간격으로 입력 화상의 프레임으로부터 선택하는 처리를 실행하는 것을 특징으로 하는 화상 처리 방법.
19. 제15항에 있어서,

    상기 화상 생성 처리 스텝은,

    이동 속도와, 출력 화상의 화상 열화가 저감되는 촬상 셔터 속도를 대응시킨 테이블을 참조하여 이동 속도에 대응하는 최적 셔터 속도를 상기 분할 영역 단위로 취득하는 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
20. 제19항에 있어서,

    상기 테이블은,

    이동 속도 구간 정보와, 최적 셔터 속도 정보를 대응시킨 테이블인 것을 특징으로 하는 화상 처리 방법.
21. 제19항에 있어서,

    상기 화상 생성 처리 스텝은,

    이동 속도와, 출력 화상의 화상 열화가 저감되는 최적 셔터 속도의 대응 관계가 서로 다른 복수의 상이한 테이블로부터의 유저 선택 정보에 기초하여 적용 테이블을 결정하는 처리를 실행하는 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
22. 제15항에 있어서,

    상기 화상 생성 처리 스텝은,

    상기 분할 영역 단위로, 이동 속도에 대응하는 최적 셔터 속도를 산출하는 최적 셔터 속도 산출 스텝과,

    상기 최적 셔터 속도 산출 스텝에서 산출한 최적 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하는 필터링 처리 스텝을 갖는 것을 특징으로 하는 화상 처리 방법.
23. 제22항에 있어서,

    상기 필터링 처리 스텝은,

    입력 화상의 프레임으로부터 선택된 프레임에 기초하여, 상기 최적 셔터 속도 산출 스텝에서 산출한 촬상 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하는 처리를 실행하는 것을 특징으로 하는 화상 처리 방법.
24. 제22항에 있어서,

    상기 필터링 처리 스텝은,

    상기 최적 셔터 속도 산출 스텝에서 산출한 최적 셔터 속도에 따른 가중 계수를 설정하고, 입력 화상의 복수 프레임의 화소값의 가중 평균을 실행하여, 출력 화상 프레임의 화소값을 결정하는 처리를 실행하는 것을 특징으로 하는 화상 처리 방법.
25. 제15항에 있어서,

    상기 화상 생성 처리 스텝은,

    입력 화상의 프레임에 포함되지 않는 중간 프레임을 생성하고, 상기 최적 셔터 속도 산출 스텝에서 산출한 최적 셔터 속도에 대응하는 화상을, 상기 중간 프레임을 적용하여 분할 영역 단위로 생성하는 처리를 실행하는 것을 특징으로 하는 화 상 처리 방법.
26. 제15항에 있어서,

    상기 화상 처리 방법은,

    공간 특징량 검출부에서, 상기 분할 영역 단위로 공간 콘트라스트의 크기를 검출하는 공간 특징량 검출 스텝을 더 갖고,

    상기 화상 생성 처리 스텝은,

    공간 콘트라스트가 미리 정한 임계값 미만의 분할 영역에 대해서는, 상기 이동 속도에 대응하여 산출되는 최적 셔터 속도보다 높은 셔터 속도를 최적 셔터 속도로서 설정하는 처리를 실행하는 것을 특징으로 하는 화상 처리 방법.
27. 제15항에 있어서,

    상기 화상 처리 방법은,

    공간 특징량 검출부에서, 상기 분할 영역 단위로 공간 콘트라스트의 크기를 검출하는 공간 특징량 검출 스텝을 더 갖고,

    상기 화상 생성 처리 스텝은,

    공간 콘트라스트가 미리 정한 임계값 미만의 분할 영역에 대해서는, 상기 이동 속도에 대응하여 산출되는 최적 셔터 속도를 산출하지 않고, 입력 화상이 갖는 프레임 레이트에 대응하는 셔터 속도를 최적 셔터 속도로서 설정하는 처리를 실행하는 것을 특징으로 하는 화상 처리 방법.
28. 제15항 내지 제27항 중 어느 한 항에 있어서,

    상기 출력 화상의 화상 열화는, 쟈키니스 및 블러에 의한 화상 열화이고,

    상기 화상 생성 처리 스텝은,

    쟈키니스 및 블러에 의한 화상 열화가 저감되는 최적 셔터 속도를 상기 분할 영역 단위로 취득하고, 취득한 최적 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하는 처리를 실행하는 것을 특징으로 하는 화상 처리 방법.
29. 화상 처리 장치에서, 동화상에 대한 화상 처리를 실행시키는 컴퓨터 프로그램으로서,

    이동 속도 연산부에서, 동화상을 구성하는 프레임 화상을 구분한 분할 영역 단위로 출력 화상의 프레임 레이트에 따른 피사체의 이동 속도를 산출시키는 이동 속도 연산 스텝과,

    화상 생성 처리부에서, 상기 분할 영역 단위의 이동 속도 정보를 입력받고, 이동 속도에 대응하는 최적의 촬상 셔터 속도로서, 출력 화상의 화상 열화가 저감되는 최적 셔터 속도를 상기 분할 영역 단위로 취득하고, 취득한 최적 셔터 속도에 대응하는 화상을 상기 분할 영역 단위로 생성하고, 생성한 분할 영역 화상을 결합한 프레임 화상을 출력시키는 화상 생성 처리 스텝

    을 실행시키는 것을 특징으로 하는 컴퓨터 프로그램.

Images