KR101092287B1

KR101092287B1 - 화상 처리 장치 및 화상 처리 방법

Info

Publication number: KR101092287B1
Application number: KR1020057018691A
Authority: KR
Inventors: 데쓰지로 곤도; 마사노리 가네마루
Original assignee: 소니 주식회사
Priority date: 2004-02-13
Filing date: 2005-02-10
Publication date: 2011-12-13
Also published as: WO2005079062A1; US20070040918A1; US8139152B2; US20100165129A1; US7710498B2; KR20060112592A

Abstract

모션 벡터 검출부(30a)는 시간 적분 효과를 가지는 화상 센서에 의해 취득된 복수개 화소로 이루어지는 화상을 사용하여 모션 벡터의 검출을 행한다. 시간 해상도 창조부(90)는 검출된 모션 벡터와 복수개 화소로 이루어지는 화상을 사용하여, 시간 해상도가 높은 화상을 생성한다. 모션 블러링 경감 화상 생성부(40)는 화상 내의 모션 오브젝트 화소의 화소값은 이 모션 오브젝트에 대응하는 모션 블러링이 생기고 있지 않은 각 화소의 화소값을 이동하면서 시간 방향으로 적분한 값인 것으로 하고, 검출된 모션 벡터를 사용하여 모션 오브젝트의 모션 블러링이 경감되어 있는 모션 블러링 경감 화상을 생성한다.

모션, 벡터, 화소, 해상도, 화상.

Description

화상 처리 장치 및 화상 처리 방법 {IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}

본 발명은 화상 처리 장치와 화상 처리 방법 및 프로그램에 관한 것이다. 상세하게는 시간 적분 효과를 가지는 화상 센서에 의해 취득된 복수개 화소로 이루어지는 화상을 사용하여 모션 벡터의 검출을 행하고, 검출된 모션 벡터와 복수개 화소로 이루어지는 화상을 사용하여, 이 화상보다 시간 해상도가 높은 화상을 생성한다. 또, 검출된 모션 벡터를 사용하여 화상 내의 모션 오브젝트에 생긴 모션의 흐릿함, 즉 모션 블러링(motion blurring)을 경감시키는 것이다.

종래의 프레임 레이트 변환, 예를 들면 텔레시네(tele-cine) 변환에 있어서의 2-3 풀다운 방식에서는 필름의 1코마의 화상을 2회 반복하는 처리와 3회 반복하는 처리의 조(組)를 주기적으로 실시하여, 프레임 레이트를 변환하는 것이 행해지고 있다. 또, 일본 일본국 특개 2002-199349호 공보에 나타나 있는 바와 같이, 변환 후 프레임 레이트의 교사 화상 신호와, 거기에 대응하여, 변환 전 프레임 레이트의 학생 화상 신호 사이의 관계를, 변환 전 프레임 레이트의 학생 화상 신호에 대한 성질의 분류마다 학습하고, 이 학습의 결과 얻어지는 예측 계수를 사용하여 변환 전 프레임 레이트의 화상 신호를 변환 후 프레임 레이트의 화상 신호로 변환 함으로써, 시간 해상도가 고정밀이며 모션이 자연스러운 화상 신호를 얻는 것이 행해지고 있다.

그런데, 프레임 레이트 변환과 상이한 화상 처리를 행하는 경우, 이 상이한 화상 처리로 모션 벡터가 필요하게 되는 경우가 있어, 화상 처리마다 모션 벡터를 검출하고, 검출한 모션 벡터를 사용하는 것으로 하면, 구성이 복잡해져 버린다. 또, 화상 처리에서 사용하는 모션 벡터가 정확하게 검출되지 않으면, 화상 처리에 의해 원하는 화상, 예를 들면 고정밀이며 모션이 자연스러운 화상을 얻을 수 없게 되어 버린다.

그래서, 모션 벡터를 사용한 화상 처리를 효율 양호하게 행할 수 있고, 또 화상 처리에 의해 원하는 화상을 얻을 수 있도록 하기 위해, 본 발명에 관한 화상 처리 장치는 시간 적분 효과를 가지는 화상 센서에 의해 취득된 복수개 화소로 이루어지는 화상을 사용하여 모션 벡터의 검출을 행하는 모션 벡터 검출 수단과, 모션 벡터 검출 수단에 의해 검출된 모션 벡터와 복수개 화소로 이루어지는 화상을 사용하여, 이 화상보다 시간 해상도가 높은 화상을 생성하는 시간 해상도 창조 수단과, 화상 내의 모션 오브젝트 화소의 화소값은 이 모션 오브젝트에 대응하는 모션 블러링이 생기고 있지 않은 각 화소의 화소값을 이동하면서 시간 방향으로 적분한 값인 것으로 하고, 모션 벡터 검출 수단에 의해 검출된 모션 벡터를 사용하여 모션 오브젝트의 모션 블러링이 경감되어 있는 모션 블러링 경감 화상을 생성하는 모션 블러링 경감 화상 생성 수단을 가지는 것이다.

본 발명에 관한 화상 처리 방법은 시간 적분 효과를 가지는 화상 센서에 의해 취득된 복수개 화소로 이루어지는 화상을 사용하여 모션 벡터의 검출을 행하는 모션 벡터 검출 스텝과, 모션 벡터 검출 스텝에서 검출된 모션 벡터와 복수개 화소로 이루어지는 화상을 사용하여, 상기 화상보다 시간 해상도가 높은 화상을 생성하는 시간 해상도 창조 스텝과, 화상 내의 모션 오브젝트 화소의 화소값은 이 모션 오브젝트에 대응하는 모션 블러링이 생기고 있지 않은 각 화소의 화소값을 이동하면서 시간 방향으로 적분한 값인 것으로 하고, 모션 벡터 검출 스텝에서 검출된 모션 벡터를 사용하여 모션 오브젝트의 모션 블러링이 경감되어 있는 모션 블러링 경감 화상을 생성하는 모션 블러링 경감 화상 생성 스텝을 포함하는 것이다.

본 발명에 관한 프로그램은 컴퓨터에, 시간 적분 효과를 가지는 화상 센서에 의해 취득된 복수개 화소로 이루어지는 화상을 사용하여 모션 벡터의 검출을 행하는 모션 벡터 검출 스텝과, 모션 벡터 검출 스텝에서 검출된 모션 벡터와 복수개 화소로 이루어지는 화상을 사용하여, 이 화상보다 시간 해상도가 높은 화상을 생성하는 시간 해상도 창조 스텝과, 화상 내의 모션 오브젝트 화소의 화소값은 이 모션 오브젝트에 대응하는 모션 블러링이 생기고 있지 않은 각 화소의 화소값을 이동하면서 시간 방향으로 적분한 값인 것으로 하고, 모션 벡터 검출 스텝에서 검출된 모션 벡터를 사용하여 모션 오브젝트의 모션 블러링이 경감되어 있는 모션 블러링 경감 화상을 생성하는 모션 블러링 경감 화상 생성 스텝을 실행시키는 것이다.

본 발명에서는 시간 적분 효과를 가지는 화상 센서에 의해 취득된 복수개 화소로 이루어지는 화상을 사용하여 모션 벡터의 검출이 행해지고, 시간 해상도가 높은 화상에 대한 모션 벡터가 검출된다. 이 검출된 모션 벡터와 복수개 화소로 이루어지는 화상을 사용하여, 이 화상보다 시간 해상도가 높은 화상이 생성된다. 또, 모션 오브젝트의 화소값은 모션 오브젝트에 대응하는 모션 블러링이 생기고 있지 않은 각 화소의 화소값이 이동하면서 시간 방향으로 적분된 값인 것으로 하고, 모션 오브젝트에 생긴 모션 블러링이 노광 기간에 따라 보정된 모션 벡터를 사용하여 경감된다. 또, 복수개 화소로 이루어지는 화상으로서 모션 블러링이 경감되어 있는 모션 블러링 경감 화상을 사용하여, 시간 해상도가 높은 화상이 생성된다.

본 발명에 의하면, 시간 적분 효과를 가지는 화상 센서에 의해 취득된 복수개 화소로 이루어지는 화상을 사용하여 모션 벡터의 검출이 행해지고, 검출된 모션 벡터와 복수개 화소로 이루어지는 화상을 사용하여, 이 화상보다 시간 해상도가 높은 화상이 생성된다. 또, 화상 내의 모션 오브젝트의 화소값은 모션 오브젝트에 대응하는 모션 블러링이 생기고 있지 않은 각 화소의 화소값이 이동하면서 시간 방향으로 적분된 값인 것으로 하고, 검출된 모션 벡터에 따라 모션 오브젝트에 생긴 모션 블러링이 경감된다. 이 때문에, 시간 해상도가 높은 화상의 생성과 모션 블러링 경감의 각각에서 모션 벡터의 검출을 낱낱히 행할 필요가 없어, 시간 해상도가 높은 화상의 생성과 모션 블러링의 경감을 간단한 구성으로 행할 수 있다.

또, 시간 해상도가 높은 화상의 생성은 모션 블러링이 경감되어 있는 모션 블러링 경감 화상을 사용하여 행해지므로, 시간 해상도가 높은 화상의 모션 블러링을 적게 할 수 있다.

또한, 화상 센서에 의해 취득된 복수개 화소로 이루어지는 화상을 복수개 사용하여 모션 벡터가 검출되고, 이 검출한 모션 벡터를 사용하여 할당을 행하고, 시간 해상도가 높은 화상에 대한 모션 벡터가 생성되므로, 시간 해상도가 높은 화상을 정확하게 생성할 수 있다. 또, 검출된 모션 벡터가 노광 기간에 따라 보정되므로, 셔터 동작 등을 행한 경우라도, 정확하게 모션 블러링을 경감할 수 있다.

또한, 모션 벡터 검출 수단에 의해 검출된 모션 벡터를 사용하여, 생성하는 화상 내 주목 화소의 모션 벡터를 결정하고, 화상 센서에 의해 취득된 화상으로부터 주목 화소에 대응하는 복수개 화소를 클래스 탭으로 추출하고, 이 클래스 탭의 화소값으로부터 주목 화소에 대응하는 클래스가 결정된다. 또, 화상 센서에 의해 취득된 화상에 대응하는 시간 해상도의 제1 화상과, 이 제1 화상보다 시간 해상도보다 해상도가 높은 제2 화상 사이에서, 제2 화상 내의 주목 화소에 대응하는 제1 화상 내의 복수개 화소로부터 주목 화소를 예측하는 예측 계수가 결정된 클래스에 따라 사용하는 것으로 하고, 화상 센서에 의해 취득된 화상으로부터, 생성하는 화상 내의 주목 화소에 대한 복수개 화소를 예측 탭으로 추출하고, 예측 계수와 예측 탭과의 선형 1차 결합에 의해 주목 화소에 대응하는 예측값을 생성함으로써, 시간 해상도가 높은 화상이 생성된다. 이 때문에, 고정밀이며 모션이 자연스러운 시간 해상도가 높은 화상을 얻을 수 있다.

도 1은 본 발명을 적용하는 시스템의 구성을 나타낸 블록도이다.

도 2는 화상 센서에 의한 촬상을 나타낸 도면이다.

도 3 (A) 및 도 3 (B)는 촬상 화상을 설명하기 위한 도면이다.

도 4는 화소값의 시간 방향 분할 동작을 설명하기 위한 도면이다.

도 5는 화상 처리 장치의 구성을 나타낸 블록도이다.

도 6은 모션 벡터 검출부의 구성을 나타낸 블록도이다.

도 7은 모션 블러링 경감 화상 생성부의 구성을 나타낸 블록도이다.

도 8은 영역 특정부의 구성을 나타낸 블록도이다.

도 9는 화상 메모리로부터 판독한 화상 데이터를 나타낸 도면이다.

도 10은 영역 판정 처리를 나타낸 도면이다.

도 11은 혼합비 산출부의 구성을 나타낸 블록도이다.

도 12는 이상적인 혼합비를 나타낸 도면이다.

도 13은 전경 배경(前景背景) 분리부의 구성을 나타낸 블록도이다.

도 14는 모션 블러링 조정부의 구성을 나타낸 블록도이다.

도 15는 처리 단위를 나타낸 도면이다.

도 16은 모션 블러링이 경감된 화소값의 위치를 나타낸 도면이다.

도 17은 화상 처리 장치의 다른 구성을 나타낸 도면이다.

도 18은 화상 처리 장치의 동작을 나타낸 플로차트이다.

도 19는 모션 블러링 경감 화상 생성 처리를 나타낸 플로차트이다.

도 20은 모션 블러링 경감 화상 생성부의 다른 구성을 나타낸 블록도이다.

도 21은 처리 영역을 나타낸 도면이다.

도 22 (A) 및 도 22 (B)는 처리 영역의 설정예를 나타낸 도면이다.

도 23은 처리 영역에 있어서의 실세계 변수의 시간 혼합을 설명하기 위한 도 면이다.

도 24 (A)∼도 24 (C)는 오브젝트가 이동하는 경우를 나타낸 도면이다.

도 25 (A)∼도 25 (F)는 오브젝트의 추종을 행한 확대 표시 화상을 나타낸 도면이다.

도 26은 화상 처리 장치의 다른 구성을 나타낸 블록도이다.

도 27은 공간 해상도 창조부의 구성을 나타낸 블록도이다.

도 28은 학습 장치의 구성을 나타낸 블록도이다.

도 29는 공간 해상도 창조 처리를 맞추어 행하는 경우의 동작(1/2)을 나타낸 플로차트이다.

도 30은 공간 해상도 창조 처리를 맞추어 행하는 경우의 동작(2/2)을 나타낸 플로차트이다.

도 31은 화상 처리 장치의 다른 구성을 나타낸 블록도이다.

도 32는 모션 벡터 검출부의 다른 구성을 나타낸 도면이다.

도 33은 모션 벡터의 할당 처리를 설명하기 위한 도면이다.

도 34는 시간 해상도 창조부의 구성을 나타낸 도면이다.

도 35 (A) 및 도 35 (B)는 시간 모드값 결정부의 동작을 설명하기 위한 도면이다.

도 36은 클래스 화소군을 나타낸 도면이다.

도 37은 클래스값 결정 처리를 설명하기 위한 도면이다.

도 38은 시간 해상도 창조 처리를 나타낸 플로차트이다.

도 39는 탭 중심 위치 결정 처리를 나타낸 플로차트이다.

도 40은 학습 장치의 구성을 나타낸 블록도이다.

도 41은 예측 계수의 학습 처리를 나타낸 플로차트이다.

도 42는 시간 해상도 창조 처리를 맞추어 행하는 경우의 동작을 나타낸 플로차트이다.

도 43은 영역 선택을 가능하게 했을 때의 동작을 나타낸 플로차트이다.

이하, 도면을 참조하면서, 본 발명의 실시의 한 예에 대하여 설명한다. 도 1은 본 발명을 적용하는 시스템의 구성을 나타낸 블록도이다. 화상 센서(10)는, 예를 들면, 고체 촬상 소자인 CCD(Charge-Coupled Device) 영역 센서나 CM0S 영역 센서를 구비한 비디오 카메라 등으로 구성되어 있고, 실세계를 촬상한다. 예를 들면, 도 2에 나타낸 바와 같이, 화상 센서(10)와 배경(背景)에 대응하는 오브젝트 OBb 사이를, 전경(前景)에 대응하는 모션 오브젝트 OBf가 화살표 A 방향으로 이동할 때, 화상 센서(10)는 전경에 대응하는 모션 오브젝트 OBf를 배경에 대응하는 오브젝트 OBb와 함께 촬상한다.

이 화상 센서(10)는 각각 시간 적분 효과를 가지는 복수개의 검출 소자로 이루어지는 것이며, 입력되는 광에 따라 발생된 전하(電荷)를 검출 소자마다 노광 기간 적분한다. 즉, 화상 센서(10)로 광전 변환을 행하고, 입력된 광을 화소 단위로 전하로 변환하여, 예를 들면 1 프레임 기간 단위로 축적을 행한다. 이 축적된 전하량에 따라 화소 데이터를 생성하고, 이 화소 데이터를 사용하여 원하는 프레임 레이트의 화상 데이터 DVa를 생성하여 도 1에 나타낸 화상 처리 장치(20)에 공급한다. 또, 화상 센서(10)에 셔터 기능이 형성되어 있고, 셔터 속도에 따라 노광 기간을 조정하여 화상 데이터 DVa의 생성이 행해지는 경우에는, 노광 기간을 나타내는 노광 기간 파라미터 HE를 화상 처리 장치(20)에 공급한다. 이 노광 기간 파라미터 HE는 1 프레임 기간에서의 셔터 개방 기간을, 예를 들면 「0∼1.O」의 값으로 나타낸 것이며, 셔터 기능을 사용하지 않을 때의 값은 「1.0」, 셔터 기간이 1/2 프레임 기간일 때의 값은 「0.5」로 되는 것이다.

화상 처리 장치(20)는 화상 센서(10)에서의 시간 적분 효과에 의해 화상 데이터 DVa에 파묻혀 버린 유의(有意) 정보를 추출하고, 이동하는 전경에 대응하는 모션 오브젝트 OBf에 생긴 시간 적분 효과에 의한 모션 블러링을, 유의 정보를 이용하여 경감시킨다. 그리고, 화상 처리 장치(20)에는 모션 블러링의 경감을 행하는 화상 영역을 선택하기 위한 영역 선택 정보 HA가 공급된다.

도 3은 화상 데이터 DVa로 나타나는 촬상 화상을 설명하기 위한 도면이다. 도 3 (A)는 움직이고 있는 전경에 대응하는 모션 오브젝트 OBf와, 정지하고 있는 배경에 대응하는 오브젝트 OBb를 촬상하여 얻어지는 화상을 나타내고 있다. 그리고, 전경에 대응하는 모션 오브젝트 OBf는 화살표 A 방향으로 수평 이동하고 있는 것으로 한다.

도 3 (B)는 도 3 (A)의 파선으로 나타낸 라인 L에 있어서의 화상과 시간의 관계를 나타내고 있다. 모션 오브젝트 OBf의 라인 L에 있어서의 이동 방향의 길이가 예를 들면 9화소분이며, 1노광 기간 중에 5화소 이동하는 경우, 프레임 기간 개 시 시에 화소 위치 P21에 있던 전단(前端)과 화소 위치 P13에 있던 후단(後端)은 각각 화소 위치 P25, P17에서 노광 기간의 종료로 된다. 또, 셔터 기능이 이용되고 있지 않을 때, 1 프레임에 있어서의 노광 기간은 1 프레임 기간과 동일한 것이 되며, 다음의 프레임 기간 개시 시에 전단이 화소 위치 P26, 후단이 화소 위치 P18로 된다. 그리고, 설명을 간단하게 하기 위해, 특히 기재가 없는 경우에는 셔터 기능이 이용되고 있지 않은 것으로 하여 설명을 행한다.

이 때문에, 라인 L의 프레임 기간에 있어서, 화소 위치 P12까지와 화소 위치 P26으로부터는 배경 성분만의 배경 영역이 된다. 또, 화소 위치 P17∼P21은 전경 성분만의 전경 영역이 된다. 화소 위치 P13∼P16과 화소 위치 P22∼P25는 배경 성분과 전경 성분이 혼합된 혼합 영역이 된다. 혼합 영역은 시간의 경과에 대응하여 배경 성분이 전경에 덮여 가려지는 커버드 백그라운드 영역과, 시간의 경과에 대응하여 배경 성분이 나타나는 언커버드 백그라운드 영역으로 분류된다. 그리고, 도 3 (B)에서는 전경의 오브젝트 진행 방향 전단 측에 위치하는 혼합 영역이 커버드 백그라운드 영역, 후단 측에 위치하는 혼합 영역이 언커버드 백그라운드 영역이 된다. 이와 같이, 화상 데이터 DVa에는 전경 영역, 배경 영역, 또는 커버드 백그라운드 영역 또는 언커버드 백그라운드 영역을 포함하는 화상이 포함되게 된다.

여기에서, 1 프레임은 단시간이며, 전경에 대응하는 모션 오브젝트 OBf는 강체(剛體)로서 등속(等速)으로 이동하고 있는 것으로 가정하여, 도 4에 나타낸 바와 같이, 1노광 기간에 있어서의 화소값의 시간 방향 분할 동작을 행하고, 화소값을 가상 분할수로 등시간(等時間) 간격으로 분할한다.

가상 분할수는 전경에 대응하는 모션 오브젝트의 1 프레임 기간 내에서의 모션량 v 등에 대응하여 설정한다. 예를 들면, 1 프레임 기간 내의 모션량 v가 전술한 바와 같이 5화소일 때는 모션량 v에 대응하여 가상 분할수를 「5」로 설정하고, 1 프레임 기간을 등시간 간격으로 5분할한다.

또, 배경에 대응하는 오브젝트 OBb를 촬상했을 때 얻어지는 화소 위치 Px의 1 프레임 기간의 화소값을 Bx, 라인 L에서의 길이가 9화소분인 전경에 대응하는 모션 오브젝트 OBf를 정지시켜 촬상했을 때 각 화소에서 얻어지는 화소값을 F09(전단측)∼F01(후단측)로 한다.

이 경우, 예를 들면 화소 위치 P15의 화소값 DP15는 식 (1)로 표현된다.

이 화소 위치 P15에서는, 배경의 성분을 2가상 분할 시간( 프레임 기간/v) 포함하고, 전경 성분을 3가상 분할 시간 포함하므로, 배경 성분의 혼합비 α는 (2/5)이다. 동일하게, 예를 들면 화소 위치 P22에서는 배경의 성분을 1가상 분할 시간 포함하고, 전경 성분을 4가상 분할 시간 포함하므로, 혼합비 α는 (1/5)이다.

또, 전경에 대응하는 모션 오브젝트가 강체이며, 전경의 화상이 다음의 프레임에서 5화소 우측에 표시되도록 등속으로 이동한다고 가정하고 있으므로, 예를 들면, 화소 위치 P13의 최초의 가상 분할 시간에 있어서의 전경의 성분(F01/v)은 화소 위치 P14에 있어서의 2번째의 가상 분할 시간에 있어서의 전경의 성분, 화소 위치 P15에 있어서의 3번째의 가상 분할 시간에 있어서의 전경의 성분, 화소 위치 P16에 있어서의 4번째의 가상 분할 시간에 있어서의 전경의 성분, 화소 위치 P17에 있어서의 5번째의 가상 분할 시간에 있어서의 전경의 성분과 동일하게 된다. 또, 화소 위치 P14의 최초의 가상 분할 시간에 있어서의 전경의 성분(F02/v)으로부터 화소 위치 P21의 최초의 가상 분할 시간에 있어서의 전경의 성분(F09/v)에 대해서도, 전경의 성분(F01/v)과 동일하다.

이 때문에, 식 (2)에 나타낸 바와 같이, 혼합비 α를 사용하여 각 화소 위치의 화소값 DP를 나타낼 수도 있다. 그리고, 식 (2)에서, 「FE」는 전경의 성분 합계값을 나타내고 있다.

이와 같이, 전경의 성분이 이동하기 때문에, 1 프레임 기간에서는, 상이한 전경의 성분이 가산되므로, 모션 오브젝트에 대응하는 전경의 영역은 모션 블러링을 포함하는 것으로 된다. 이 때문에, 화상 처리 장치(20)에서는, 화상 데이터 DVa에 파묻혀 버린 유의 정보로 혼합비 α를 추출하고, 이 혼합비 α를 이용하여 전경에 대응하는 모션 오브젝트 OBf의 모션 블러링을 경감시킨 화상 데이터 DVout를 생성한다.

도 5는 화상 처리 장치(20)의 구성을 나타낸 블록도이다. 화상 처리 장치(20)에 공급된 화상 데이터 DVa는 모션 벡터 검출부(30)와 모션 블러링 경감 화상 생성부(40)에 공급된다. 또, 영역 선택 정보 HA와 노광 기간 파라미터 HE는 모션 벡터 검출부(30)에 공급된다. 또한, 후술하는 메모리(55)로부터 판독된 화상 데이 터 DVm은 모션 벡터 검출부(30)에 공급된다. 모션 벡터 검출부(30)는 영역 선택 정보 HA에 따라, 모션 블러링 경감 처리를 행하는 처리 영역을 순차적으로 추출한다. 또한, 화상 데이터 DVa 또는 화상 데이터 DVm에 있어서의 처리 영역의 화상 데이터를 사용하여 처리 영역 내에서의 모션 오브젝트에 대응하는 모션 벡터 MVC를 검출하고, 모션 블러링 경감 화상 생성부(40)에 공급한다. 예를 들면, 시간적으로 연속되는 적어도 제1 화상과 제2 화상 중, 한쪽 화상 내의 모션 오브젝트의 위치에 대응하는 주목 화소를 설정하고, 이 주목 화소에 대한 모션 벡터를 제1 화상과 제2 화상을 사용하여 검출한다. 또, 처리 영역을 나타내는 처리 영역 정보 HZ를 생성하여, 모션 블러링 경감 화상 생성부(40)에 공급한다. 또한, 전경의 오브젝트 모션에 따라 영역 선택 정보 HA의 갱신을 행하고, 모션 오브젝트의 모션에 따라 처리 영역을 이동시킨다.

모션 블러링 경감 화상 생성부(40)는 모션 벡터 MVC와 처리 영역 정보 HZ와 화상 데이터 DVa에 따라 영역 특정이나 혼합비의 산출을 행하고, 산출한 혼합비를 사용하여 전경 성분이나 배경 성분의 분리를 행한다. 또한, 분리한 전경 성분의 화상에 대하여 모션 블러링 조정을 행하여 모션 블러링 경감 오브젝트 화상의 화상 데이터인 전경 성분 화상 데이터 DBf를 생성한다. 또, 배경 성분 화상 데이터 DBb에 따른 배경 화상 상에, 전경 성분 화상 데이터 DBf에 따른 모션 블러링이 경감된 전경 영역의 화상을 합성하여 모션 블러링 경감 화상의 화상 데이터 DVout를 생성한다. 이 화상 데이터 DVout는 메모리(55)나 화상 표시 장치(도시하지 않음)에 공급된다. 여기에서, 모션 블러링 경감 오브젝트 화상인 전경 영역의 화상은 검출된 모션 벡터 MVC에 대응하는 시공간 위치에 합성시킴으로써, 모션 오브젝트를 추종한 위치에 모션 블러링이 경감된 모션 오브젝트의 화상을 출력할 수 있다. 즉, 시간적으로 연속되는 적어도 제1 화상과 제2 화상을 사용하여 모션 벡터를 검출했을 때, 이 검출된 모션 벡터에 대응하는 한쪽 화상 내의 주목 화소의 위치 또는 다른 쪽 화상 내의 주목 화소에 대응하는 위치에, 모션 블러링이 경감된 모션 오브젝트(10)의 화상을 합성한다.

도 6은 모션 벡터 검출부(30)의 구성을 나타낸 블록도이다. 영역 선택 정보 HA는 처리 영역 설정부(31)에 공급된다. 또, 화상 데이터 DVa와 메모리(55)로부터 판독된 화상 데이터 DVm은 화상 데이터 선택부(32)에 공급된다. 또한, 노광 기간 파라미터 HE는 모션 벡터 보정부(34)에 공급된다.

처리 영역 설정부(31)는 영역 선택 정보 HA에 따라, 모션 블러링 경감 처리를 행하는 처리 영역을 순차적으로 추출하고, 이 처리 영역을 나타내는 처리 영역 정보 HZ를 검출부(33)와 모션 블러링 경감 화상 생성부(40)에 공급한다. 또, 후술하는 검출부(33)에서 검출된 모션 벡터 MV를 이용하여 영역 선택 정보 HA를 갱신하고, 모션 블러링의 경감을 행하는 화상 영역을 모션 오브젝트의 모션에 맞추어 추적시킨다.

화상 데이터 선택부(32)는 메모리(55)로부터 판독한 화상 데이터 DVm을 사용하여 모션 벡터 MV의 검출이 가능해질 때까지 화상 데이터 DVa를 검출부(33)에 공급하고, 그 후, 메모리(55)로부터 판독한 화상 데이터 DVm으로 모션 벡터의 검출이 가능해졌을 때, 메모리(55)로부터 판독한 화상 데이터 DVm을 검출부(33)에 공급한 다.

검출부(33)는, 예를 들면, 블록 매칭법, 구배법(句配法), 위상 상관법, 또는 펠리커시브법 등의 방법에 의해, 처리 영역 정보 HZ로 나타낸 처리 영역에 대하여 모션 벡터 검출을 행하여 검출한 모션 벡터 MV를 모션 벡터 보정부(34)에 공급한다. 또는 검출부(33)는 영역 선택 정보 HA로 나타내는 영역 내에 설정된 추적점의 주변, 예를 들면 영역 선택 정보 HA로 나타내는 영역 내의 화상 특징량과 동일한 화상 특징량을 가지는 영역을, 시간 방향에 있어서의 복수개의 주변 프레임의 화상 데이터로부터 검출함으로써, 추적점의 모션 벡터 MV를 산출하여 처리 영역 설정부(31)에 공급한다.

여기에서, 검출부(33)가 출력하는 모션 벡터 MV는 모션량(규범)과 모션 방향(각도)에 대응하는 정보가 포함되어 있다. 모션량은 모션 오브젝트에 대응하는 화상의 위치 변화를 나타내는 값이다. 예를 들면, 전경에 대응하는 모션 오브젝트 OBf가, 어느 프레임을 기준으로 하여 다음의 프레임에서 수평 방향으로 move-x, 수직 방향으로 move-y만큼 이동했을 때, 모션량은 식 (3)에 의해 구할 수 있다. 또, 모션 방향은 식 (4)에 의해 구할 수 있다. 이 모션량과 모션 방향은 처리 영역에 대하여 한 쌍만 부여된다.

모션 벡터 보정부(34)는 노광 기간 파라미터 HE를 사용하여 모션 벡터 MV의 보정을 행한다. 모션 벡터 보정부(34)에 공급된 모션 벡터 MV는 전술한 바와 같이 프레임 사이의 모션 벡터이다. 그러나, 후술하는 모션 블러링 경감 화상 생성부(40)에서 사용하는 모션 벡터는 프레임 내의 모션 벡터를 사용하여 처리를 행하기 때문에, 셔터 기능이 사용되어 1 프레임에서의 노광 기간이 1 프레임 기간보다 짧을 때, 프레임 사이의 모션 벡터를 사용해 버리면 모션 블러링 경감 처리를 정확하게 행할 수 없다. 이 때문에, 프레임 사이의 모션 벡터인 모션 벡터 MV를 1 프레임 기간에 대한 노출 기간의 비율로 보정하여, 모션 벡터 MVC로 모션 블러링 경감 화상 생성부(40)에 공급한다.

도 7은 모션 블러링 경감 화상 생성부(40)의 구성을 나타낸 블록도이다. 영역 특정부(41)는 화상 데이터 DVa에 따른 표시 화상에서의 처리 영역 정보 HZ로 나타난 처리 영역 내의 각 화소가 전경 영역, 배경 영역, 또는 혼합 영역의 어느 쪽에 속하는가를 나타내는 정보(이하, 영역 정보라고 함) AR을 생성하여 혼합비 산출부(42)와 전경 배경 분리부(43), 및 모션 블러링 조정부(44)에 공급한다.

혼합비 산출부(42), 화상 데이터 DVa 및 영역 특정부(41)로부터 공급된 영역 정보 AR을 기초로, 혼합 영역에서 배경 성분의 혼합비 α를 산출하고, 산출한 혼합비 α를 전경 배경 분리부(43)에 공급한다.

전경 배경 분리부(43)는 영역 특정부(41)로부터 공급된 영역 정보 AR, 및 혼합비 산출부(42)로부터 공급된 혼합비 α를 기초로, 화상 데이터 DVa를 전경 성분만으로 이루어지는 전경 성분 화상 데이터 DBe와 배경 성분만으로 이루어지는 배경 성분 화상 데이터 DBb로 분리하고, 전경 성분 화상 데이터 DBe를 모션 블러링 조정부(44)에 공급한다.

모션 블러링 조정부(44)는 모션 벡터 MVC로 나타난 모션량 및 영역 정보 AR을 기초로, 전경 성분 화상 데이터 DBe에 포함되는 1 이상의 화소를 나타내는 조정 처리 단위를 결정한다. 조정 처리 단위, 모션 블러링 경감의 처리 대상이 되는 1군의 화소를 지정하는 데이터이다.

모션 블러링 조정부(44)는 전경 배경 분리부(43)로부터 공급된 전경 성분 화상, 모션 벡터 검출부(30)로부터 공급된 모션 벡터 MVC 및 그 영역 정보 AR, 및 조정 처리 단위를 기초로, 전경 성분 화상 데이터 DBe에 포함되는 모션 블러링을 저감시킨다. 이 모션 블러링을 저감시킨 전경 성분 화상 데이터 DBf를 출력부(45)에 공급한다.

도 8은 영역 특정부(41)의 구성을 나타낸 블록도이다. 화상 메모리(411)는 입력된 화상 데이터 DVa를 프레임 단위로 기억한다. 화상 메모리(411)는 처리 대상이 프레임 #n일 때, 프레임 #n의 2개 전의 프레임인 프레임 #n-2, 프레임 #n의 하나 전의 프레임인 프레임 #n-1, 프레임 #n, 프레임 #n의 하나 후의 프레임인 프 레임 #n+1, 및 프레임 #n의 2개 후의 프레임인 프레임 #n+2를 기억한다.

정동(靜動) 판정부(412)는 프레임 #n에 대한 처리 영역 정보 HZ로 특정된 영역과 동일한 영역의 프레임 #n-2, #n-1, #n+1, #n+2의 화상 데이터를 화상 메모리(411)로부터 판독하고, 판독한 화상 데이터의 프레임 간 차분 절대값을 산출한다. 이 프레임 간 차분 절대값이 미리 설정하고 있는 임계값 Th보다 큰지 여부에 의해, 모션 부분인가 정지 부분인가를 판별하고, 이 판별 결과를 나타내는 정동 판정 정보 SM을 영역 판정부(413)에 공급한다.

도 9는 화상 메모리(411)로부터 판독한 화상 데이터를 나타내고 있다. 그리고, 도 9는 처리 영역 정보 HZ로 특정된 영역 내에서의 1개 라인의 화소 위치 P01∼P37의 화상 데이터를 판독한 경우를 나타내고 있다.

정동 판정부(412)는 연속되는 2 프레임 화소마다의 프레임 간 차분 절대값을 구하고, 프레임 차분 절대값이 미리 설정하고 있는 임계값 Th보다 큰지 여부를 판정하여, 프레임 간 차분 절대값이 임계값 Th보다 클 때는 모션, 프레임 간 차분 절대값이 임계값 Th 이하일 때는 정지라고 판정한다.

영역 판정부(413)는 정동 판정부(412)에서 얻어진 판정 결과를 사용하여, 처리 영역 정보 HZ로 특정된 영역의 각 화소가 정지 영역, 커버드 백그라운드 영역, 언커버드 백그라운드 영역, 모션 영역의 어느 쪽에 속하는가, 도 10에 나타낸 바와 같이 영역 판정 처리를 행한다.

예를 들면, 최초에 프레임 #n-1과 프레임 #n의 정동 판정 결과가 정지인 화소를 정지 영역의 화소라고 판정한다. 또, 프레임 #n과 프레임 #n+1의 정동 판정 결과가 정지인 화소를 정지 영역의 화소라고 판정한다.

다음에, 프레임 #n-2와 프레임 #n-1의 정동 판정 결과가 정지이며, 프레임 #n-1과 프레임 #n의 정동 판정 결과가 모션인 화소를 커버드 백그라운드 영역의 화소라고 판정한다. 또, 프레임 #n과 프레임 #n+1의 정동 판정 결과가 모션이며, 프레임 #n+1과 프레임 #n+2의 정동 판정 결과가 정지인 화소를 언커버드 백그라운드 영역의 화소라고 판정한다.

그 후, 프레임 #n-1과 프레임 #n의 정동 판정 결과와 프레임 #n과 프레임 #n+1의 정동 판정 결과가 모두 모션인 화소를 모션 영역의 화소라고 판정한다.

그리고, 커버드 백그라운드 영역에 있어서의 모션 영역 측의 화소나 언커버드 백그라운드 영역에 있어서의 모션 영역 측의 화소는 배경 성분이 포함되어 있지 않아도, 커버드 백그라운드 영역이나 언커버드 백그라운드 영역이라고 판별되어 버리는 경우가 있다. 예를 들면 도 9의 화소 위치 P21은 프레임 #n-2와 프레임 n-1의 정동 판정 결과가 정지이며, 프레임 #n-1과 프레임 #n의 정동 판정 결과가 모션이기 때문에, 배경 성분이 포함되어 있지 않아도 커버드 백그라운드 영역이라고 판별되어 버린다. 또, 화소 위치 P17은 프레임 #n과 프레임 n+1의 정동 판정 결과가 모션이며, 프레임 #n+1과 프레임 #n+2의 정동 판정 결과가 정지이기 때문에, 배경 성분이 포함되어 있지 않아도 언커버드 백그라운드 영역이라고 판별되어 버린다. 이 때문에, 커버드 백그라운드 영역에 있어서의 모션 영역 측의 화소와 언커버드 백그라운드 영역에 있어서의 모션 영역 측의 화소를 모션 영역의 화소로 보정함으로써, 각 화소의 영역 판정을 정밀도 양호하게 행할 수 있다. 이와 같이 하여 영 역 판정을 행하고, 각 화소가 정지 영역이나 커버드 백그라운드 영역, 언커버드 백그라운드 영역, 모션 영역 중 어느 하나에 속하는 것인가를 나타내는 영역 정보 AR을 생성하여, 혼합비 산출부(42)와 전경 배경 분리부(43)와 모션 블러링 조정부(44)에 공급한다.

그리고, 영역 특정부(41)는 언커버드 백그라운드 영역 및 커버드 백그라운드 영역에 대응하는 영역 정보에 논리합을 적용함으로써, 혼합 영역에 대응하는 영역 정보를 생성하여, 각 화소가 정지 영역이나 혼합 영역, 모션 영역의 어느 쪽에 속하는 것인가를 영역 정보 AR로 나타내는 것으로 해도 된다.

도 11은 혼합비 산출부(42)의 구성을 나타낸 블록도이다. 추정 혼합비 처리부(421)는 화상 데이터 DVa를 기초로 커버드 백그라운드 영역에 대응하는 연산을 행하여 화소마다 추정 혼합비 αc를 산출하고, 이 산출한 추정 혼합비 αc를 혼합비 결정부(423)에 공급한다. 또, 추정 혼합비 처리부(422)는 화상 데이터 DVa를 기초로 언커버드 백그라운드 영역에 대응하는 연산을 행하여 화소마다 추정 혼합비 αu를 산출하고, 이 산출한 추정 혼합비 αu를 혼합비 결정부(423)에 공급한다.

혼합비 결정부(423)는 추정 혼합비 처리부(421, 422)로부터 공급된 추정 혼합비 αc, αu와 영역 특정부(41)로부터 공급된 영역 정보 AR에 따라, 배경 성분의 혼합비 α를 설정한다. 혼합비 결정부(423)는 대상이 되는 화소가 모션 영역에 속하는 경우, 혼합비 α를 「α=O」으로 설정한다. 또, 대상이 되는 화소가 정지 영역에 속하는 경우, 혼합비 α를 「α=1」로 설정한다. 대상이 되는 화소가 커버드 백그라운드 영역에 속하는 경우, 추정 혼합비 처리부(421)로부터 공급된 추정 혼합 비 αc를 혼합비 α로 설정하고, 대상이 되는 화소가 언커버드 백그라운드 영역에 속하는 경우, 추정 혼합비 처리부(422)로부터 공급된 추정 혼합비 αu를 혼합비 α로 설정한다. 이 설정된 혼합비 α를 전경 배경 분리부(43)에 공급한다.

여기에서, 프레임 기간이 짧고, 전경에 대응하는 모션 오브젝트가 강체로 프레임 기간 내에 등속으로 움직이고 있다고 가정할 수 있으면, 혼합 영역에 속하는 화소의 혼합비 α는 화소의 위치 변화에 대응하여, 직선적으로 변화한다. 이와 같은 경우, 이상적인 혼합비 α의 혼합 영역에서의 경사 θ는 도 12에 나타낸 바와 같이, 전경에 대응하는 모션 오브젝트의 프레임 기간 내에 있어서의 모션량 v의 역수(逆數)로 나타낼 수 있다. 즉, 정지(배경) 영역에 있어서의 혼합비 α는 「1」, 모션(전경) 영역에 있어서의 혼합비α는 「O」의 값을 가지며, 혼합 영역에서는 「O」으로부터 「1」의 범위에서 변화한다.

도 9에 나타낸 커버드 백그라운드 영역의 화소 위치 P24의 화소값 DP24는 프레임 #n-1에 있어서의 화소 위치 P24의 화소값을 B24로 했을 때 식 (5)로 표현할 수 있다.

이 화소값 DP24에서는, 화소값 DP24 중에 배경 성분이 (3/v) 포함되기 때문에, 모션량 v가 「v=5」일 때 혼합비 α는「α=(3/5)」로 된다.

즉, 커버드 백그라운드 영역에 있어서의 화소 위치 Pg의 화소값 Dgc는 식 (6)으로 나타낼 수 있다. 그리고 「Bg」는 프레임 #n-1에 있어서의 화소 위치 Pg의 화소값, 「FEg」는 화소 위치 Pg에 있어서의 전경 성분의 합계를 나타내고 있다.

또, 화소값 Dgc의 화소 위치에 있어서의 프레임 #n+1에서의 화소값을 Fg로 하고, 이 화소 위치에서의 (Fg/v)가 각각 동일한 것으로 하면, FEg=(1-αc)Fg로 된다. 즉, 식 (6)은 식 (7)로 나타낼 수 있다.

이 식 (7)을 변형하면 식 (8)로 된다.

식 (8)에서, Dgc, Bg, Fg는 기지(旣知)이기 때문에, 추정 혼합비 처리부(421)는 커버드 백그라운드 영역의 화소에 대하여, 프레임 #n-1, #n, #n+1의 화소값을 사용하여 추정 혼합비 αc를 구할 수 있다.

언커버드 백그라운드 영역 대해서도, 커버드 백그라운드 영역과 동일하게 하여, 언커버드 백그라운드 영역의 화소값을 DPu로 하면, 식 (9)를 얻을 수 있다.

식 (9)에서도, Dgu, Bg, Fg는 기지이기 때문에, 추정 혼합비 처리부(422)는 언커버드 백그라운드 영역의 화소에 대하여, 프레임 #n-1, #n, #n+1의 화소값을 사 용하여 추정 혼합비 αu를 구할 수 있다.

혼합비 결정부(423)는 영역 정보 AR이 정지 영역인 것을 나타내고 있을 때 혼합비 α를 「α=1」, 모션 영역인 것을 나타내고 있을 때 혼합비 α를 「α=O」으로 하여 출력한다. 또, 커버드 백그라운드 영역인 것을 나타내고 있을 때는, 추정 혼합비 처리부(421)에서 산출한 추정 혼합비 αc, 언커버드 백그라운드 영역인 것을 나타내고 있을 때는 추정 혼합비 처리부(422)에서 산출한 추정 혼합비 αu를 각각 혼합비 α로 하여 출력한다.

도 13은 전경 배경 분리부(43)의 구성을 나타낸 블록도이다. 전경 배경 분리부(43)에 공급된 화상 데이터 DVa와 영역 특정부(41)로부터 공급된 영역 정보 AR은 분리부(431), 스위치부(432), 및 스위치부(433)에 공급된다. 혼합비 산출부(42)로부터 공급된 혼합비 α는 분리부(431)에 공급된다.

분리부(431)는 영역 정보 AR에 따라, 화상 데이터 DVa로부터 커버드 백그라운드 영역과 언커버드 백그라운드 영역의 화소 데이터를 분리한다. 이 분리한 데이터와 혼합비 α에 따라 모션을 생기게 한 전경의 오브젝트 성분과 정지하고 있는 배경의 성분을 분리하여, 전경의 오브젝트 성분인 전경 성분을 합성부(434)에 공급하고, 배경 성분을 합성부(435)에 공급한다.

예를 들면, 도 9의 프레임 #n에서, 화소 위치 P22∼P25는 커버드 백그라운드 영역에 속하는 영역이며, 각각의 화소 위치 P22∼P25에서의 혼합비를 혼합비 α22∼α25로 하면, 화소 위치 P22의 화소값 DP22는 프레임 #n-1에서의 화소 위치 P22의 화소값을 「B22j」로 한 경우, 식 (10)으로 표현된다.

이 프레임 #n에서의 화소 위치 P22의 전경 성분 FE22는 식 (11)로 표현할 수 있다.

즉, 프레임 #n에 있어서의 커버드 백그라운드 영역의 화소 위치 Pg의 전경 성분 FEgc는 프레임 #n-1에 있어서의 화소 위치 Pg의 화소값을 「Bgj」로 했을 때, 식 (12)를 사용하여 구할 수 있다.

또, 언커버드 백그라운드 영역에서의 전경 성분 FEgu도, 커버드 백그라운드 영역에서의 전경 성분 FEgc와 동일하게 하여 구할 수 있다.

예를 들면, 프레임 #n에서, 언커버드 백그라운드 영역 내의 화소 위치 P16의 화소값 DP16은 프레임 #n+1에 있어서의 화소 위치 P16의 화소값을 「B16k」로 했을 때, 식 (13)으로 표현된다.

이 프레임 #n에 있어서의 화소 위치 P16의 전경 성분 FE16은 식 (14)로 표현할 수 있다.

즉, 프레임 #n에 있어서의 언커버드 백그라운드 영역의 화소 위치 Pgu의 전경 성분 FEgu는 프레임 #n+1에 있어서의 화소 위치 Pg의 화소값을 「Bgk」로 했을 때, 식 (15)를 사용하여 구할 수 있다.

이와 같이, 분리부(431)는 화상 데이터 DVa와 영역 특정부(41)에서 생성된 영역 정보 AR과 혼합비 산출부에서 산출된 혼합비 α를 사용하여, 전경 성분과 배경 성분을 분리할 수 있다.

스위치부(432)는 영역 정보 AR에 따라 스위치 제어를 행하고, 화상 데이터 DVa로부터 모션 영역의 화소 데이터를 선택하여 합성부(434)에 공급한다. 스위치부(433)는 영역 정보 AR에 따라 스위치 제어를 행하고, 화상 데이터 DVa로부터 정지 영역의 화소 데이터를 선택하여 합성부(435)에 공급한다.

합성부(434)는 분리부(431)로부터 공급된 전경의 오브젝트 성분과 스위치부(432)로부터 공급된 모션 영역의 데이터를 사용하여, 전경 성분 화상 데이터 DBe를 합성하고, 모션 블러링 조정부(44)에 공급한다. 또, 합성부(434)는 전경 성분 화상 데이터 DBe의 생성 처리의 최초에 실행되는 초기화에서, 내장하고 있는 프레임 메모리에 모든 화소값이 O인 초기 데이터를 저장하고, 이 초기 데이터에 화상 데이터를 덮어쓰기한다. 따라서, 배경 영역에 대응하는 부분은 초기 데이터의 상태로 된다.

합성부(435)는 분리부(431)로부터 공급된 배경의 성분과 스위치부(433)로부 터 공급된 정지 영역의 데이터를 사용하여, 배경 성분 화상 데이터 DBb를 합성하고 출력부(45)에 공급한다. 또, 합성부(435)는 배경 성분 화상 데이터 DBb의 생성 처리의 최초에 실행되는 초기화에서, 내장하고 있는 프레임 메모리에 모든 화소값이 O인 화상을 저장하고, 이 초기 데이터에 화상 데이터를 덮어쓰기한다. 따라서, 전경 영역에 대응하는 부분은 초기 데이터의 상태로 된다.

도 14는 모션 블러링 조정부(44)의 구성을 나타낸 블록도이다. 모션 벡터 검출부(30)로부터 공급된 모션 벡터 MVC는 조정 처리 단위 결정부(441)와 모델화부(442)에 공급된다. 영역 특정부(41)로부터 공급된 영역 정보 AR은 조정 처리 단위 결정부(441)에 공급된다. 또, 전경 배경 분리부(43)로부터 공급된 전경 성분 화상 데이터 DBe는 가산 대입부(444)에 공급된다.

조정 처리 단위 결정부(441)는 영역 정보 AR과 모션 벡터 MVC에 따라, 전경 성분 화상의 커버드 백그라운드 영역으로부터 언커버드 백그라운드 영역까지의 모션 방향으로 나란히 하여 연속되는 화소를 조정 처리 단위로 설정한다. 또는 언커버드 백그라운드 영역으로부터 커버드 백그라운드 영역까지의 모션 방향으로 나란히 하여 연속되는 화소를 조정 처리 단위로 설정한다. 이 설정한 조정 처리 단위를 나타내는 조정 처리 단위 정보 HC를 모델화부(442)와 가산 대입부(444)에 공급한다. 도 15는 조정 처리 단위를 나타내고 있으며, 예를 들면 도 9에 있어서의 프레임 #n의 화소 위치 P13∼P25를 조정 처리 단위로 한 경우를 나타내고 있다. 그리고, 조정 처리 단위 결정부(44l)에서는, 모션 방향이 수평 방향이나 수직 방향과 상이한 경우, 어핀 변환(affin transformation)을 행하여 모션 방향을 수평 방향이 나 수직 방향으로 변환함으로써, 모션 방향이 수평 방향이나 수직 방향의 경우와 동일하게 처리할 수 있다.

모델화부(442)는 모션 벡터 MVC 및 설정된 조정 처리 단위 정보 HC를 기초로, 모델화를 실행한다. 이 모델화에서는, 조정 처리 단위에 포함되는 화소의 수, 화상 데이터 DVa의 시간 방향의 가상 분할수, 및 화소마다의 전경 성분의 수에 대응하는 복수개의 모델을 미리 기억해 두고, 조정 처리 단위, 및 화소값의 시간 방향의 가상 분할수를 기초로, 화상 데이터 DVa와 전경의 성분과의 대응을 지정하는 모델 MD를 선택하도록 해도 된다.

모델화부(442)는 선택한 모델 MD를 방정식 생성부(443)에 공급한다.

방정식 생성부(443)는 모델화부(442)로부터 공급된 모델 MD를 기초로 방정식을 생성한다. 조정 처리 단위를 전술한 바와 같이 프레임 #n의 화소 위치 P13∼P25로 하고, 모션량 v가 「5화소」에서 가상 분할수를 「5」로 했을 때, 조정 처리 단위 내의 화소 위치 C01에서의 전경 성분 FE01이나 화소 위치 C02∼C13에서의 전경 성분 FE02∼FE13은 식 (16)∼(28)로 나타낼 수 있다.

방정식 생성부(443)는 생성한 방정식을 변형하여 새로운 방정식을 생성한다. 방정식 생성부(443)가 생성하는 방정식을 식 (29)∼식 (41)로 나타낸다.

이 식 (29)∼(41)은 식 (42)로 표현할 수도 있다.

식 (42)에서, j는 조정 처리 단위 내의 화소 위치를 나타낸다. 이 예에서, j는 1∼13 중 어느 하나의 값을 가진다. 또, i는 전경의 성분 위치를 나타낸다. 이 예에서, i는 1∼9 중 어느 하나의 값을 가진다. aij는 i 및 j의 값에 대응하여, O 또는 1의 값을 가진다.

여기에서, 오차를 고려하면, 식 (42)와 식 (43)과 같이 표현할 수 있다.

식(43)에서, ej는 주목 화소 cj에 포함되는 오차이다. 이 식 (43)은 식 (44)로 재기록할 수 있다.

여기에서, 최소 제곱법을 적용하기 위해, 오차의 제곱합 E를 식 (45)로 나타내도록 정의한다.

오차가 최소로 되기 위해서는, 오차의 제곱합 E에 대한 변수 Fk에 의한 편미분(偏微分)의 값이 0이 되면 되기 때문에, 식 (46)을 만족시키도록 Fk를 구한다.

식 (46)에서, 모션량 v는 고정값이기 때문에, 식 (47)을 인도할 수 있다.

식 (47)을 전개하여 이항(移項)하면, 식 (48)을 얻는다.

이 식 (48)의 k에, 1∼9의 정수 중 어느 하나를 대입하여 얻어지는 9개의 식으로 전개한다. 또한, 얻어진 9개의 식을, 행렬에 의해 1개의 식에 의해 표현할 수 있다. 이 식을 정규 방정식이라고 부른다.

이와 같은 최소 제곱법에 따른, 방정식 생성부(443)가 생성하는 정규 방정식의 예를 식 (49)에 나타낸다.

이 식 (49)를 AㆍF=vㆍFE로 나타내면, A, v는 모델화의 시점에서 기지이다. 또, FE는 가산 대입 동작에서 화소값을 입력함으로써 기지로 되고, F가 미지(未知) 이다.

이와 같이, 최소 제곱법에 따른 정규 방정식에 의해 전경 성분 F를 산출함으로써, 화소값 FE에 포함되어 있는 오차를 분산시킬 수 있다. 방정식 생성부(443)는 이와 같이 생성된 정규 방정식을 가산 대입부(444)에 공급한다.

가산 대입부(444)는 조정 처리 단위 결정부(441)로부터 공급된 조정 처리 단위 정보 HC를 기초로, 전경 성분 화상 데이터 DBe를 방정식 생성부(443)로부터 공급된 행렬의 식으로 설정한다. 또한, 가산 대입부(444)는 화상 데이터가 설정된 행렬식을 연산부(445)에 공급한다.

연산부(445)는 쓸어내기법(Gauss-Jordan의 소거법) 등의 해법에 따른 처리에 의해, 모션 블러링이 경감된 전경 성분 Fi/v를 산출하여, 모션 블러링이 경감된 전경의 화소값 F01∼F09를 생성한다. 이 생성된 화소값 F01∼F09는 전경 성분 화상의 위치를 변화시키지 않기 때문에, 조정 처리 단위의 중심을 기준으로 하여 화소값 F01∼F09의 화상 위치를 설정하고, 예를 들면 1 프레임 기간의 1/2의 위상으로 출력부(45)에 공급한다. 즉, 도 16에 나타낸 바와 같이, 화소값 F01∼F09를 화소 위치 C03∼C11의 화상 데이터로 하여, 모션 블러링이 경감된 전경 성분 화상의 화상 데이터 DVafc를 1 프레임 기간의 1/2의 타이밍에서 출력부(45)에 공급한다.

그리고, 연산부(445)는 화소값이 짝수개일 때, 예를 들면 화소값 F01∼F08을 구했을 때는, 중앙의 2개의 화소값 F04, F05 중 어느 하나를 조정 처리 단위의 중심으로 하여 출력한다. 또, 셔터 동작이 행해지고 1 프레임에서의 노광 기간이 1 프레임 기간보다 짧을 때는, 노광 기간의 1/2의 위상으로 출력부(45)에 공급한다.

출력부(45)는 전경 배경 분리부(43)로부터 공급된 배경 성분 화상 데이터 DBb에, 모션 블러링 조정부(44)로부터 공급된 전경 성분 화상 데이터 DBf를 합성하여 화상 데이터 DVout를 생성해서 출력한다. 또, 생성한 화상 데이터 DVout를 메모리(55)에 공급한다. 여기에서, 모션 블러링이 경감된 전경 성분 화상은 모션 벡터 검출부(30)에서 검출된 모션 벡터 MVC에 대응하는 시공간 위치에 합성한다. 즉, 모션 벡터 MVC에 따라 설정된 처리 영역 정보 HZ에 의해 나타난 위치에 모션 블러링이 경감된 전경 성분 화상을 합성함으로써, 모션 블러링이 경감된 전경 성분 화상을 모션 블러링 조정 전의 화상 위치에 정확하게 출력할 수 있다.

메모리(55)는 출력부(45)로부터 공급된 모션 블러링 경감 화상의 화상 데이터 DVout를 기억한다. 또, 기억하고 있는 화상 데이터를 화상 데이터 DVm으로 하여, 모션 벡터 검출부(30)에 공급한다.

이와 같이 하여, 화상 내의 모션 오브젝트의 모션 블러링이 경감되어 있는 모션 블러링 경감 화상을 생성하고, 이 모션 블러링 경감 화상을 사용하여 모션 벡터를 검출하기 때문에, 화상 센서(10)로부터의 화상 데이터 DVa에 따른 화상에 모션 블러링을 생기게 하고 있어도, 이 모션 블러링에 의한 영향을 적게 하여 모션 오브젝트의 모션 벡터를 정밀도 양호하게 검출할 수 있다.

또, 화상 내의 처리 영역에서는, 모션 오브젝트에 대응하는 모션 블러링이 생기고 있지 않은 각 화소의 화소값이 모션 벡터에 대응하여 이동하면서 시간 방향으로 적분된 값인 것으로 하여 모델화하고, 전경 오브젝트 성분과 배경 오브젝트 성분과의 혼합비를 유의 정보로 추출할 수 있고, 이 유의 정보를 이용하여 모션 오 브젝트의 성분을 분리하고, 분리한 모션 오브젝트의 성분에 따라 정밀도 양호하고 모션 블러링을 경감시킬 수 있다.

또한, 주목 화소 또는 모션 벡터에 따라 주목 화소에 대응하는 위치에 모션 블러링이 경감된 모션 오브젝트의 화상이 출력되므로, 모션 오브젝트의 화상을 정확한 위치에 출력할 수 있다.

그런데, 모션 블러링의 경감은 소프트웨어를 사용해도 실현할 수 있다. 도 17은 화상 처리 장치의 다른 구성으로 소프트웨어에서 모션 블러링 경감을 행하는 경우를 나타내고 있다. CPU(Central Processing Unit)(61)는 ROM(Read Only Memory)(62), 또는 기억부(63)에 기억되어 있는 프로그램에 따라 각종의 처리를 실행한다. 이 기억부(63)는, 예를 들면 하드 디스크 등으로 구성되며, CPU(61)가 실행하는 프로그램이나 각종의 데이터를 기억한다. RAM(Random Access Memory)(64)에는, CPU(61)가 실행하는 프로그램이나 각종의 처리를 행할 때 사용되는 데이터 등이 적당히 기억된다. 이들 CPU(61), ROM(62), 기억부(63) 및 RAM(64)은 버스(65)에 의해 서로 접속되어 있다.

CPU(61)에는, 버스(65)를 통해 입력 인터페이스부(66)나 출력 인터페이스부(67), 통신부(68), 드라이브(69)가 접속되어 있다. 입력 인터페스부(66)에는, 키보드나 포인팅 디바이스(예를 들면 마우스 등), 마이크로폰 등의 입력 장치가 접속된다. 또, 출력 인터페이스부(67)에는, 디스플레이, 스피커 등의 출력 장치가 접속되어 있다. CPU(61)는 입력 인터페이스부(66)로부터 입력되는 지령에 대응하여 각종의 처리를 실행한다. 그리고, CPU(61)는 처리의 결과 얻어진 화상이나 음성 등을 출력 인터페이스부(67)로부터 출력한다. 통신부(68)는 인터넷, 그 밖의 네트워크를 통해 외부의 장치와 통신한다. 이 통신부(68)는 화상 센서(10)로부터 출력된 화상 데이터 DVa의 수납이나, 프로그램의 취득 등에 사용된다. 드라이브(69)는 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리 등이 장착되었을 때, 그들을 구동하여 거기에 기록되어 있는 프로그램이나 데이터 등을 취득한다. 취득된 프로그램이나 데이터는 필요에 따라 기억부(63)에 전송되어 기억된다.

다음에, 도 18의 플로차트를 참조하여, 화상 처리 장치의 동작에 대하여 설명한다. 스텝 ST1에서, CPU(61)는 화상 센서(10)에 의해 생성된 화상 데이터 DVa를 입력부나 통신부 등을 통해 취득하고, 이 취득한 화상 데이터 DVa를 기억부(63)에 기억시킨다.

스텝 ST2에서 CPU(61)는 모션 블러링 경감 화상을 사용하여 모션 벡터의 검출이 가능한지 여부를 판별한다. 여기에서, 기억부(63)나 RAM(64)에, 모션 블러링 경감 화상의 화상 데이터가 모션 벡터의 검출에 필요하게 되는 프레임수만큼 기억되어 있지 않아, 모션 블러링 경감 화상의 화상 데이터를 사용한 모션 벡터의 검출을 할 수 없을 때는 스텝 ST3으로 진행한다. 또, 모션 블러링 경감 화상의 화상 데이터가 모션 벡터의 검출에 필요하게 되는 프레임수만큼 기억되어 있고, 이 기억되어 있는 화상 데이터를 사용하여 모션 벡터의 검출을 할 수 있을 때는 스텝 ST4로 진행한다.

스텝 ST3에서 CPU(61)는 스텝 ST1에서 취득한 화상 데이터 DVa를 모션 벡터 검출용 데이터로 설정하고 스텝 ST5로 진행한다. 또, 스텝 ST4에서 CPU(61)는 기 억되어 있는 모션 블러링 경감 화상의 화상 데이터 DVm을 모션 벡터 검출용 데이터로 설정하고 스텝 ST5로 진행한다.

스텝 ST5에서 CPU(61)는 외부로부터의 지시를 받아 처리 영역을 결정한다.

스텝 ST6에서 CPU(61)는 모션 벡터 검출용 데이터를 사용하여, 스텝 ST5에서 결정된 처리 영역에서의 전경에 대응하는 모션 오브젝트 OBf의 모션 벡터를 검출한다.

스텝 ST7에서 CPU(61)는 노광 기간 파라미터를 취득하여 스텝 ST8로 진행하고, 스텝 ST6에서 검출한 모션 벡터를 노광 기간 파라미터에 따라 보정하여 스텝 ST9로 진행한다.

스텝 ST9에서 CPU(61)는 보정된 모션 벡터에 따라, 모션 오브젝트 0Bf의 모션 블러링을 경감하기 위한 모션 블러링 경감 오브젝트 화상 생성 처리를 행하여, 모션 오브젝트 OBf의 모션 블러링을 경감시킨 화상 데이터를 생성한다. 도 19는 모션 블러링 경감 오브젝트 화상 생성 처리를 나타낸 플로차트이다.

스텝 ST15에서 CPU(61)는 스텝 ST5에서 결정된 처리 영역에 대하여 영역 특정 처리를 행하고, 결정된 처리 영역 내의 화소가 배경 영역, 전경 영역, 커버드 백그라운드 영역, 언커버드 백그라운드 영역의 어느 쪽에 속하는지 판별하여 영역 정보를 생성한다. 이 영역 정보의 생성에서는, 처리의 대상이 프레임 #n일 때, 프레임 #n-2, #n-1, #n, #n+1, #n+2의 화상 데이터를 사용하여 프레임 간 차분 절대값을 산출한다. 이 프레임 간 차분 절대값이 미리 설정하고 있는 임계값 Th보다 큰지 여부에 의해, 모션 부분인가 정지 부분인가를 판별하고, 이 판별 결과에 따라 영역의 판별을 행하여 영역 정보를 생성한다.

스텝 ST16에서 CPU(61)는 혼합비 산출 처리를 행하고, 스텝 ST15에서 생성한 영역 정보를 사용하여, 배경 성분이 포함되는 비율을 나타내는 혼합비 α를 처리 영역 내의 각 화소에 대하여 산출하고 스텝 ST17로 진행한다. 이 혼합비 α의 산출에서는, 커버드 백그라운드 영역이나 언커버드 백그라운드 영역의 화소에 대하여, 프레임 #n-1, #n, #n+1의 화소값을 사용하여 추정 혼합비 αc를 구한다. 또, 배경 영역은 혼합비 α를 「1」, 전경 영역은 혼합비 α를 「O」으로 한다.

스텝 ST17에서 CPU(61)는 전경 배경 분리 처리를 행하고, 스텝 ST15에서 생성한 영역 정보와 스텝 ST16에서 산출한 혼합비 α에 따라, 전경 성분만으로 이루어지는 전경 성분 화상 데이터와, 배경 성분만으로 이루어지는 배경 성분 화상 데이터에 처리 영역 내의 화상 데이터를 분리한다. 즉, 프레임 #n에서의 커버드 백그라운드 영역에 대해서는 전술한 식 (12), 언커버드 백그라운드 영역에 대해서는 전술한 식 (15)의 연산을 행하여 전경 성분을 구하고, 전경 성분 화상 데이터와 배경 성분만으로 이루어지는 배경 성분 화상 데이터로 분리한다.

스텝 ST18에서 CPU(61)는 모션 블러링 조정 처리를 행하고, 스텝 ST8에서 얻어진 보정 후의 모션 벡터와 스텝 ST15에서 생성한 영역 정보를 기초로, 전경 성분 화상 데이터에 포함되는 1 이상의 화소를 나타내는 조정 처리 단위를 결정하고, 스텝 ST17에서 분리한 전경 성분 화상 데이터에 포함되는 모션 블러링을 저감시킨다. 즉, 모션 벡터 MVC와 처리 영역 정보 HZ와 영역 정보 AR에 따라 조정 처리 단위를 설정하고, 이 모션 벡터 MVC 및 설정된 조정 처리 단위를 기초로, 모델화를 실행하 여 정규 방정식을 작성한다. 이 작성한 정규 방정식에 화상 데이터를 설정하여, 쓸어내기법(Gauss-Jordan의 소거법) 등의 해법에 따른 처리를 행하고, 모션 블러링 경감 오브젝트 화상의 화상 데이터, 즉 모션 블러링이 경감된 전경 성분 화상 데이터를 생성한다.

스텝 ST10에서 CPU(61)는 처리 결과의 출력 처리를 행하고, 스텝 ST17에서 분리한 배경 성분 화상 데이터에 따른 화상 상의 스텝 ST8에서 얻어진 모션 벡터에 대응하는 시공간 위치에, 스텝 ST18에서 생성한 모션 블러링이 경감되어 있는 전경 성분 화상 데이터를 합성하고, 처리 결과인 모션 블러링 경감 화상의 화상 데이터 DVout를 생성하여 출력한다.

스텝 ST11에서 CPU(61)는 모션 블러링의 경감 처리를 종료하는지 여부를 판별한다. 여기에서, 다음의 프레임 화상에 대하여 모션 블러링의 경감 처리를 행할 때는 스텝 ST2로 복귀하고, 모션 블러링의 경감 처리를 행하지 않을 때는 처리를 종료한다. 이와 같이, 소프트웨어에 의해서도, 모션 블러링의 경감 처리를 행할 수 있다.

또, 전술한 실시예에서는, 모션 블러링을 경감시키는 오브젝트의 모션 벡터를 구하고, 모션 블러링을 경감시키는 오브젝트가 포함되는 처리 영역을, 정지 영역과 모션 영역과 혼합 영역 등으로 구분하고, 모션 영역과 혼합 영역의 화상 데이터를 사용하여 모션 블러링을 경감시키는 처리를 행하는 것이지만, 화소마다 모션 벡터를 구하여 모션 블러링 경감 화상 생성 처리를 행하는 것으로 하면, 전경ㆍ배경ㆍ혼합 영역을 특정하지 않고 모션 블러링의 경감을 행할 수 있다.

이 경우, 모션 벡터 검출부(30)에서는, 주목 화소의 모션 벡터를 구하여 모션 블러링 경감 화상 생성부(40)에 공급한다. 또, 주목 화소의 화소 위치를 나타내는 처리 영역 정보 HD를 출력부에 공급한다.

도 20은 전경ㆍ배경ㆍ혼합 영역을 특정하지 않고 모션 블러링을 경감할 수 있는 모션 블러링 경감 화상 생성부의 구성을 나타내고 있다. 모션 블러링 경감 화상 생성부(40a)의 처리 영역 설정부(48), 모션 블러링을 경감시키는 화상 상의 주목 화소에 대하여, 이 주목 화소에 대한 모션 벡터의 모션 방향에 맞추어 처리 영역을 설정하고 연산부(49)에 통지한다. 또, 주목 화소의 위치를 출력부(45a)에 공급한다. 도 21은 처리 영역을 나타내고 있으며, 주목 화소를 중심으로 하여 모션 방향으로 (2N+1) 화소분의 처리 영역을 설정한다. 도 22는 처리 영역의 설정예를 나타내고 있으며, 모션 블러링을 경감시키는 모션 오브젝트 OBf의 화소에 대하여 모션 벡터의 방향이 예를 들면 화살표 B로 나타낸 바와 같이 수평 방향인 경우에는, 도 22 (A)에 나타낸 바와 같이 수평 방향으로 처리 영역 WA를 설정한다. 또, 모션 벡터의 방향이 경사 방향인 경우에는, 도 22 (B)에 나타낸 바와 같이, 해당하는 각도 방향으로 처리 영역 WA를 설정한다. 단, 경사 방향으로 처리 영역을 설정할 때는, 처리 영역의 화소 위치에 상당하는 화소값을 보간 등에 의해 구한다.

여기에서, 처리 영역 내에서는, 도 23에 나타낸 바와 같이, 실세계 변수(Y_-8, …, Y_o, …, Y₈)가 시간 혼합되어 있다. 그리고, 도 23은 모션량 v가 「v=5」로서 처리 영역을 13화소(N=6: N은 주목 화소에 대한 처리폭의 화소수)로 한 경우이 다.

연산부(49)는 이 처리 영역에 대하여 실세계 추정을 행하고, 추정한 실세계의 중심 화소 변수 Y_O만을, 모션 블러링 제거가 이루어진 주목 화소의 화소값으로 출력한다.

여기에서, 처리 영역을 구성하는 화소의 화소값을 X_-N, X_-N+1, …, X₀, …, X_N-1, X_N로 하면, 식 (50)에 나타낸 바와 같은 (2N+1)개의 혼합식이 성립된다. 그리고, 정수(定數) h는 모션량 v를 1/2배 했을 때의 정수(整數) 부분의 값(소수점 이하를 잘라내 버린 값)을 나타내고 있다.

그러나, 구하고 싶은 실세계 변수(Y_-N-h, …, Y_O, …, Y_N _+h)는 (2N+v)개 있다. 즉, 변수의 수보다 식의 수가 적으므로, 식 (5O)에 따라 실세계 변수(Y_-N-h, …, Y_O, …, Y_N _+h)를 구할 수 없다.

그래서, 공간 상관을 사용한 구속식(拘束式)인 식 (51)을 사용함으로써, 실세계 변수보다 식의 수를 늘리고, 최소 제곱법을 이용하여, 실세계 변수의 값을 구한다.

즉, 식 (50)으로 표현되는 (2N+1)개의 혼합식과 식 (51)로 표현되는 (2N+v-1)개의 구속식을 맞춘 (4N+v)개의 식을 사용하여, (2N+v)개의 미지 변수인 실세계 변수 (Y_-N-h, …, Y_O, …, Y_N _+h)를 구한다.

여기에서, 각 식에서 발생하는 오차의 제곱합이 최소가 되는 추정을 행함으로써, 모션 블러링 경감 화상 생성 처리를 행하면서, 실세계에서의 화소값의 변동을 작게 할 수 있다.

식 (52)는 도 23에 나타낸 바와 같이 처리 영역을 설정한 경우를 나타내고 있으며, 식 (50)과 식 (51)에 각각의 식에서 발생하는 오차를 가한 것이다.

이 식 (52)는 식 (53)으로 나타낼 수 있고, 식 (54)에 나타낸 오차의 제곱합 E를 최소로 하는 Y(=Y_i)는 식 (55)로 구해진다. 그리고, 식 (55)에서, T는 전치(轉置) 행렬인 것을 나타내고 있다.

여기에서, 오차의 제곱합은 식 (56)에서 나타내는 것이 되며, 이 오차의 제곱합을 편미분(偏微分)하여, 식 (57)에 나타낸 바와 같이 편미분값이 0이 되도록 하면, 오차의 제곱합이 최소가 되는 식 (55)를 구할 수 있다.

이 식 (55)의 선형 결합을 행함으로써, 실세계 변수(Y_-N-h, …, Y_O, …, Y_N _+h)를 각각 구할 수 있고, 중심 화소 변수 Y_O의 화소값을 주목 화소의 화소값으로서 출력한다. 예를 들면, 연산부(49)는 모션량마다 미리 구해 둔 행렬 (A^TA)^-1A^T를 기억해 두고, 모션량에 따른 행렬과 처리 영역 내 화소의 화소값에 따라, 중심 화소 변수 Y₀의 화소값을 주목값으로 출력한다. 이와 같은 처리를 처리 영역 내의 전(全)화소에 대하여 행함으로써, 모션 블러링이 경감되어 있는 실세계 변수를 전화면, 또는, 사용자가 지정한 영역에 대하여 구할 수 있다.

전술에서는, AY=X+e에 있어서의 오차의 제곱합 E를 최소로 하도록, 최소 제곱법으로 실세계 변수(Y_-N-h, …, Y_O, …, Y_N _+h)를 구하고 있지만, 식의 수=변수의 수 가 일치하도록 식 (58)을 만드는 것도 가능하다. 이 식을 AY=X로 두고, Y=A^-1X로 변형함으로써, 실세계 변수(Y_-N-h, …, Y_O, …, Y_N _+h)를 구하는 것도 가능하다.

출력부(45a)에서는, 연산부(49)에서 구한 중심 화소 변수 Y₀의 화소값을, 모션 벡터 검출부(30)로부터 공급된 처리 영역 정보 HZ로 나타난 영역 내에 설정한 주목 화소의 화소값으로 한다. 또, 배경 영역이나 혼합 영역이기 때문에 중심 화소 변수 Y₀를 구할 수 없을 때는, 모션 블러링 경감 화상 생성 처리 전의 주목 화소의 화소값을 사용하여, 화상 데이터 DVout를 생성한다.

이와 같이, 모션 오브젝트의 화소마다의 모션이 상이한 경우라도, 주목 화소에 대응하는 모션 벡터로, 실세계를 추정하는 것이 가능해져, 정밀도가 높은 모션 블러링 경감 화상 생성 처리를 행할 수 있다. 예를 들면, 모션 오브젝트가 강체라 고 가정할 수 없는 경우라도, 모션 오브젝트의 화상의 모션 블러링을 경감시킬 수 있다.

그런데, 전술한 실시예에서는, 모션 오브젝트 OBf의 모션 블러링을 경감시켜 화상 표시를 행하는 것이며, 도 24에 나타낸 바와 같이 모션 오브젝트 OBf가 도 24 (A), 도 24 (B), 도 24 (C)의 순으로 이동해도, 이 모션 오브젝트 OBf를 추종하면서, 모션 오브젝트 OBf의 모션 블러링을 경감시켜 양호한 화상을 표시하는 것이다. 그러나, 모션 오브젝트 OBf를 기준으로 하여, 모션 블러링이 경감된 모션 오브젝트 OBf의 화상이 화면 상의 소정 위치가 되도록 화상의 표시 위치를 제어함으로써, 모션 오브젝트 OBf를 추종하고 있는 화상 표시를 행할 수도 있다.

이 경우, 모션 벡터 검출부(30)에서는, 영역 선택 정보 HA로 나타내는 영역 내에 형성한 추적점을 모션 벡터 MV에 따라 이동시키고, 이 이동 후의 추적점을 나타낸 좌표 정보 HG를 출력부(45)에 공급한다. 출력부(45)는 좌표 정보 HG로 나타난 추적점이 화면 상의 소정 위치가 되도록 화상 데이터 DVout를 생성한다. 이와 같이 하여, 모션 오브젝트 OBf를 추종하고 있도록 화상 표시를 행할 수 있다.

또한, 모션 오브젝트 OBf를 기준으로 하여, 즉 영역 선택 정보 HA로 나타내는 영역 내에 형성한 추적점을 기준으로 하여, 모션 블러링이 경감되어 있는 화상 데이터 DVout를 사용하여 확대 화상을 생성하고, 추적점이 화면 상의 소정 위치가 되도록 표시하면, 도 25 (A)∼도 25 (C)에 나타낸 바와 같이 모션 오브젝트 OBf가 이동해도, 도 25 (D)∼도 25 (F)에 나타낸 바와 같이 모션 오브젝트 OBf를 추종하면서 모션 오브젝트 OBf의 확대 화상을 출력할 수 있다. 이 경우, 모션 오브젝트 OBf의 확대 화상이 화상의 화상 프레임의 크기로 표시되므로, 추적점이 화면 상의 소정 위치가 되도록 표시 화상을 이동시켜도, 화면 상에 표시가 없는 부분이 생겨 버리는 것을 방지할 수 있다. 또, 확대 화상의 생성에서는, 모션 블러링이 경감되어 있는 화상의 화소값의 반복을 행함으로써 확대 화상을 생성할 수 있다. 예를 들면 각 화소값을 2회 반복함으로써, 세로 방향과 가로 방향의 사이즈를 2배로 한 확대 화상을 생성할 수 있다. 또, 인접 화소의 평균값 등을 새로운 화소값으로 하면, 이 인접 화소 사이에 새로운 화소가 형성되어 확대 화상을 생성할 수 있다. 또한, 모션 블러링이 경감된 화상을 사용하여 공간 해상도 창조를 행함으로써 고정밀도로 모션 블러링이 적은 확대 화상을 출력할 수 있다. 이하, 공간 해상도 창조를 행하여 확대 화상을 생성하는 경우에 대하여 설명한다.

도 26은 화상 처리 장치의 다른 구성으로, 공간 해상도 창조를 행하여 확대 화상의 출력을 가능하게 하는 경우를 나타내고 있다. 그리고, 도 26에서, 도 5와 대응하는 부분에 대해서는 동일 부호를 부여하고, 상세한 설명은 생략한다.

모션 벡터 검출부(30)에서 생성된 좌표 정보 HG는 공간 해상도 창조부(70)에 공급된다. 또, 모션 블러링 경감 화상 생성부(40)로부터 출력되는 모션 블러링 경감 화상의 화상 데이터 DVout는 공간 해상도 창조부(70)에 공급된다.

도 27은 공간 해상도 창조부의 구성을 나타내고 있다. 모션 블러링의 경감이 이루어진 화상 데이터 DVout는 공간 해상도 창조부(70)에 공급된다.

공간 해상도 창조부(70)는 화상 데이터 DVout의 주목 화소를 클래스 분류하는 클래스 분류부(71), 클래스 분류부(71)에서의 클래스 분류 결과에 따른 예측 계 수를 출력하는 예측 계수 메모리(72), 예측 계수 메모리(72)로부터 출력된 예측 계수와 화상 데이터 DVout를 사용하여 예측 연산을 행하고, 보간 화소 데이터 DH를 생성하는 예측 연산부(73), 모션 벡터 검출부(30)로부터의 좌표 정보 HG에 따라, 오브젝트 OBj의 화상을 표시 화소분 판독하여 확대 화상의 화상 데이터 DVz를 출력하는 확대 화상 출력부(74)를 가지고 있다.

화상 데이터 DVout는 클래스 분류부(71)의 클래스 화소군 잘라내기부(711)와 예측 연산부(73)의 예측 화소군 잘라내기부(731)와 확대 화상 출력부(74)에 공급된다. 클래스 화소군 잘라내기부(711)는 모션의 정도를 나타내기 위한 클래스 분류(모션 클래스)를 위해 필요한 화소를 잘라낸다. 이 클래스 화소군 잘라내기부(711)에서 잘라낸 화소군은 클래스값 결정부(712)에 공급된다. 클래스값 결정부(712)는 클래스 화소군 잘라내기부(711)에서 잘라낸 화소군의 화소 데이터에 대하여 프레임 간 차분을 산출하여, 예를 들면 이 프레임 간 차분의 절대값의 평균값을, 미리 설정한 복수개의 임계값과 비교함으로써 클래스 분배를 행하여, 클래스값 CL을 결정한다.

예측 계수 메모리(72)에는, 예측 계수가 기억되어 있고, 클래스 분류부(71)에서 결정된 클래스값 CL에 따른 예측 계수 KE를 예측 연산부(73)에 공급한다.

예측 연산부(73)의 예측 화소군 잘라내기부(731)는 예측 연산에 사용하는 화소 데이터(즉 예측탭) TP를 화상 데이터 DVout로부터 잘라내, 연산 처리부(732)에 공급한다. 연산 처리부(732)는 예측 계수 메모리(72)로부터 공급된 예측 계수 KE와 예측탭 TP를 사용하여, 각각 선형 1차 연산을 행함으로써, 주목 화소에 대응하 는 보간 화소 데이터 DH를 산출하여 확대 화상 출력부(74)에 공급한다.

확대 화상 출력부(74), 화상 데이터 DVout와 보간 화소 데이터 DH로부터, 좌표 정보 HG에 따른 위치가 화면 상의 소정 위치로 되도록 표시 사이즈 분의 화소 데이터를 판독함으로써, 확대 화상의 화상 데이터 DVz를 생성하여 출력한다.

이와 같이 확대 화상의 생성을 행하고, 생성한 보간 화소 데이터 DH와 화상 데이터 DVout를 사용하여, 모션 블러링이 경감된 고화질의 확대 화상을 출력할 수 있다. 예를 들면, 보간 화소 데이터 DH를 생성하여 수평 방향이나 수직 방향의 화소수를 2배로 하면, 모션 오브젝트 OBf를 종횡 2배로 하여, 모션 블러링이 경감된 화상을 고화질로 출력할 수 있다.

그리고, 예측 계수 메모리(72)에 기억되어 있는 예측 계수는 도 28에 나타낸 학습 장치를 사용하여 작성할 수 있다. 그리고 도 28에서, 도 27과 대응하는 부분에 대해서는 동일 부호를 부여하고 있다.

학습 장치(75)는 클래스 분류부(71)와 예측 계수 메모리(72)와 계수 산출부(76)를 가지고 있다. 클래스 분류부(71)와 계수 산출부(76)에는 교사 화상의 화소수를 삭감함으로써 생성된 학생 화상의 화상 데이터 GS가 공급된다.

클래스 분류부(71), 학생 화상의 화상 데이터 GS로부터, 클래스 화소군 잘라내기부(711)에 의해, 클래스 분류를 행하기 위해 필요한 화소를 잘라내고, 이 잘라낸 화소군의 화소 데이터를 사용하여 클래스 분배를 행하고, 클래스값을 결정한다.

계수 산출부(76)의 학생 화소군 잘라내기부(761)는 예측 계수의 산출에 사용하는 화소 데이터를 학생 화상의 화상 데이터 GS로부터 잘라내, 예측 계수 학습부 (762)에 공급한다.

예측 계수 학습부(762)는 클래스 분류부(71)로부터 공급된 클래스값으로 나타난 클래스마다, 교사 화상의 화상 데이터 GT와 학생 화소군 잘라내기부(761)로부터의 화소 데이터와 예측 계수를 사용하여 정규 방정식을 생성한다. 또한, 정규 방정식을 쓸어내기법 등의 일반적인 행렬 해법을 이용하여 예측 계수에 대하여 각각 풀어, 얻어진 계수를 예측 계수 메모리(72)에 저장한다.

도 29, 30은 공간 해상도 창조 처리를 맞추어 행하는 경우의 동작을 나타낸 플로차트이다.

스텝 ST21에서 CPU(61)는 화상 데이터 DVa를 취득하고 스텝 ST22로 진행한다.

스텝 ST22에서 CPU(61)는 처리 영역을 설정하고 스텝 ST23으로 진행한다.

스텝 ST23에서 CPU(61)는 변수 i를 「i=0」으로 설정하고 스텝 ST24로 진행한다.

스텝 ST24에서 CPU(61)는 변수 i가 「i≠0」인지 여부를 판별한다. 여기에서 「i≠0」이 아닐 때는 스텝 ST25로 진행하고, 「i≠0」일 때는 스텝 ST29로 진행한다.

스텝 ST25에서 CPU(61)는 스텝 ST22에서 설정한 처리 영역에 대하여 모션 벡터를 검출하고 스텝 ST26으로 진행한다.

스텝 ST26에서 CPU(61)는 노광 기간 파라미터를 취득하여 스텝 ST27로 진행하고, 스텝 ST25에서 검출한 모션 벡터를 노광 기간 파라미터에 따라 보정하여 스 텝 ST28로 진행한다.

스텝 ST28에서 CPU(61)는 보정 후의 모션 벡터와 화상 데이터 DVa를 사용하여 도 19에 나타낸 모션 블러링 경감 오브젝트 화상 생성 처리를 행하고, 모션 블러링이 경감된 모션 오브젝트의 화상을 생성하여 스텝 ST33으로 진행한다.

스텝 ST33에서 CPU(61)는 처리 결과의 기억 처리를 행하고, 도 18의 스텝 ST10과 동일하게 하여 배경 성분 데이터에, 스텝 ST27에서 구해진 모션 벡터에 대응하는 시공간 위치에, 모션 블러링을 경감시킨 전경 화상의 화상 데이터를 합성하고, 처리 결과인 화상 데이터 DVout를 생성한다. 또한 생성한 처리 결과인 화상 데이터 DVout를 기억부(63) 또는 RAM(64)에 기억시켜 스텝 ST34로 진행한다.

스텝 ST34에서 CPU(61)는 모션 오브젝트의 모션에 맞추어 처리 영역을 이동시키고 추적 후 처리 영역의 설정을 행하여 스텝 ST35로 진행한다. 이 추적 후 처리 영역의 설정에서는, 예를 들면 모션 오브젝트 0Bf의 모션 벡터 MV를 검출하여 행한다. 또는 스텝 ST25나 스텝 ST29에서 검출되어 있는 모션 벡터를 사용하여 행한다.

스텝 ST35에서 CPU(61)는 변수 i를 「i=i+1」로 설정하고 스텝 ST36으로 진행한다.

스텝 ST36에서 CPU(61)는 처리 결과가 모션 벡터의 검출 가능분만큼 기억되었는지 여부를 판별한다. 여기에서, 모션 벡터의 검출이 가능한 프레임수분만큼 모션 블러링이 경감된 화상 데이터 DVout가 기억되어 있지 않은 때는 스텝 ST24로 복귀한다.

스텝 ST36으로부터 스텝 ST24로 복귀하여, 스텝 ST24의 처리가 CPU(61)에서 행해질 때는, 변수 i가 「i≠0」이기 때문에 스텝 ST29로 진행하고, 스텝 ST34에서 설정된 추적 후 처리 영역에 대하여 모션 벡터를 검출하고 스텝 ST30으로 진행한다.

CPU(61)는 스텝 ST26∼28과 동일한 처리를 스텝 ST30∼32에서 행하고 스텝 ST33으로 진행한다. 스텝 ST33으로부터의 처리를 반복하고, 처리 결과가 모션 벡터의 검출 가능분만큼 기억된 것을 스텝 ST36에서 CPU(61)가 판별하면 스텝 ST36으로부터 도 30의 스텝 ST37로 진행한다.

스텝 ST37에서 CPU(61)는 변수 i를 「i=0」으로 설정하고 스텝 ST38로 진행한다.

스텝 ST38에서 CPU(61)는 변수 i가 「i≠0」인지 여부를 판별하여, 「i≠0」이 아닐 때는 스텝 ST39로 진행하고, 「i≠0」일 때는, 스텝 ST43으로 진행한다.

스텝 ST39에서 CPU(61)는 기억되어 있는 처리 결과를 사용하여 스텝 ST22에서 설정된 처리 영역에 대하여 모션 벡터를 검출하고 스텝 ST40으로 진행한다.

스텝 ST40에서 CPU(61)는 노광 기간 파라미터를 취득하여 스텝 ST41로 진행하고, 스텝 ST39에서 검출한 모션 벡터를 노광 기간 파라미터에 따라 보정하여 스텝 ST42로 진행한다.

스텝 ST42에서 CPU(61)는 보정 후의 모션 벡터와 화상 데이터 DVa를 사용하여 모션 블러링 경감 오브젝트 화상 생성 처리를 행하고, 모션 블러링이 경감된 모션 오브젝트의 화상을 생성하여 스텝 ST47로 진행한다.

스텝 ST47에서 CPU(61)는 처리 결과의 출력과 기억 처리를 행하고, 스텝 ST33과 동일하게 하여 처리 결과인 화상 데이터 DVout를 생성하여 출력한다. 또, 생성한 화상 데이터 DVout를 기억부(63) 또는 RAM(64)에 기억시킨다.

스텝 ST48에서 CPU(61)는 스텝 ST47에서 생성한 화상 데이터 DVout를 사용하여 공간 해상도 창조 처리를 행하고, 좌표 정보 HG로 나타난 위치가 화면 상의 일정 위치가 되도록 표시 화면 사이즈 확대 화상의 화상 데이터 DVz를 생성한다.

스텝 ST49에서 CPU(61)는 스텝 ST34와 동일하게 하여 추적 후 처리 영역의 설정을 행하고 스텝 ST50으로 진행한다.

스텝 ST50에서 CPU(61)는 변수 i를 「i=i+1」로 설정하여 스텝 ST51로 진행한다.

스텝 ST51에서 CPU(61)는 동작의 종료인지 여부를 판별한다. 여기에서, 동작의 종료가 아닐 때는 스텝 ST38로 복귀한다.

스텝 ST51로부터 스텝 ST38로 복귀하여, 스텝 ST38의 처리가 CPU(61)에서 행해질 때, 변수 i가 「i≠0」이기 때문에 스텝 ST43으로 진행하고, 스텝 ST43에서는, 기억되어 있는 처리 결과를 이용하고 추적 후 처리 영역에 대하여 모션 벡터를 검출하고 스텝 ST44로 진행한다.

CPU(61)는 스텝 ST40∼42와 동일한 처리를 스텝 ST44∼46에서 행하고 스텝 ST47로 진행하여, 스텝 ST47로부터의 처리를 행한다. 그 후, 화상 데이터 DVa의 종료 또는 동작의 종료 조작이 행해졌을 때는 스텝 ST51에서 동작의 종료라고 판별하여 처리를 종료한다.

또, 모션 블러링이 경감된 화상 데이터 DVout를 사용하여 공간 해상도 창조뿐만 아니라, 일본국 특개 2002-199349호 공보에 나타나 있는 시간 해상도 창조를 행하여, 시간 해상도가 높은 화상을 고화질로 생성할 수도 있다. 도 31은 시간 해상도 창조를 행하여 프레임 레이트의 변환을 가능하게 하는 경우의 화상 처리 장치의 구성을 나타내고 있다. 그리고, 도 31에서, 도 5와 대응하는 부분에 대해서는 동일 부호를 부여하고, 상세한 설명은 생략한다.

시간 해상도 창조 전후에 있어서의 프레임 레이트를 나타내는 주파수 정보 HF는 모션 벡터 검출부(30a)와 시간 해상도 창조부(90)에 공급된다. 모션 벡터 검출부(30a)는 도 32에 나타낸 바와 같이, 전술한 도 6에 나타낸 모션 벡터 검출부(30)에 모션 벡터 할당부(35)를 추가한 것이다. 그리고, 도 32에서, 도 6과 대응하는 부분에 대해서는 동일 부호를 부여하고, 상세한 설명은 생략한다.

모션 벡터 할당부(35)는 공급된 주파수 정보 HF에 따라, 새롭게 생성하는 프레임 화상의 모션 벡터 MVD를, 모션 벡터 MV에 따라 생성한다. 예를 들면, 새롭게 생성하는 프레임 화상의 화소에 대하여 모션 벡터 MV를 사용하여 모션 벡터의 할당을 행하고, 할당 후의 모션 벡터 MVD를 시간 해상도 창조부(90)에 공급한다.

주파수 정보 HF는 프레임 주파수 변환의 레이트를 나타내는 정보이며, 예를 들면 배속 변환이나 2.5배속 변환 또는 24P 화상으로부터 60P 화상으로 변환하는 이른바 24-60 변환 등을 나타내는 정보이다.

여기에서, 모션 벡터 할당 처리에 대하여, 예를 들면 주파수 정보 HF가 프레임 배속 변환을 나타내는 정보인 경우를 설명한다. 이 경우, 도 33에 나타낸 바와 같이 화상 데이터 DVa의 2 프레임 RFa, RFb 사이에 새롭게 2 프레임 RFn0, RFn1의 화상을 생성한다. 이 새롭게 생성하는 2 프레임의 화상을 주목 프레임으로 한다. 모션 벡터 할당부(35)는 모션 벡터 검출부(30)로부터 공급된 화상 데이터 DVa의 모션 벡터 MV로부터, 주목 프레임의 각 화소에 대하여, 교차하는 모션 벡터를 검출하고, 검출한 모션 벡터를 주목 프레임 화상의 모션 벡터 MVC로 할당한다. 예를 들면 주목 프레임 RFn0의 화소 PGn0x에 있어서, 이 화소 PGn0x에 대한 화소 영역 PW를 모션 벡터 MV-j가 교차 할 때, 이 모션 벡터 MV-j를 화소 PGn0x의 모션 벡터 MVC-n0x로 할당한다. 또, 교차하는 모션 벡터가 복수개일 때는 교차하는 복수개의 모션 벡터를 평균화하여 할당한다. 또한, 교차하는 모션 벡터를 검출할 수 없을 때는 주변 화소나 근거리의 화소에 할당된 모션 벡터를 평균화하거나, 가중한 후 평균화하여 할당한다. 이와 같이 하여, 주목 프레임의 모든 화소에 모션 벡터를 할당한다.

또, 모션 벡터 검출부(30a)에서 생성된 처리 영역 정보 HZ와 모션 벡터 MVC는 모션 블러링 경감 화상 생성부(40)에 공급된다. 또한, 메모리(55)로부터 판독된 화상 데이터 DVm은 모션 벡터 검출부(30a)뿐만 아니라 화상 데이터 선택부(85)에도 공급된다.

화상 데이터 선택부(85)는 화상 센서(10)로부터 공급된 화상 데이터 DVa 또는 메모리(55)로부터 판독된 화상 데이터 DVm 중 어느 하나를 선택하여, 화상 데이터 DVs로 시간 해상도 창조부(90)에 공급한다.

시간 해상도 창조부(90)는 화상 데이터 DVs와 모션 벡터 MVD 및 주파수 정보 HF에 따라, 원하는 프레임 레이트의 화상 데이터 DVt를 생성한다.

도 34는 시간 해상도 창조부의 구성을 나타내고 있다. 시간 해상도 창조부(90)는 화상 데이터 DVs의 주목 화소를 클래스 분류하는 클래스 분류부(91), 클래스 분류부(91)에서의 클래스 분류 결과에 따른 예측 계수를 출력하는 예측 계수 메모리(92), 예측 계수 메모리(92)로부터 출력된 예측 계수와 화상 데이터 DVs를 사용하여 예측 연산을 행하고, 프레임 보간 화소 데이터를 생성하는 예측 연산부(93)를 가지고 있다.

화상 데이터 DVs는 클래스 분류부(91)의 클래스 화소군 잘라내기부(913)와 예측 연산부(93)의 예측 화소군 잘라내기부(931)에 공급된다. 주파수 정보 HF는 시간 모드값 결정부(911)에 공급된다. 또, 생성하는 프레임 상의 주목 화소에 할당된 모션 벡터 MVD는 시간 모드값 결정부(912)와 위치 모드값 결정부(915)에 공급된다.

시간 모드값 결정부(911)는 공급된 주파수 정보 HF에 따라, 생성하는 프레임의 시간 위치를 나타내는 시간 모드값 TM을 결정하고, 탭 중심 위치 결정부(912)와 위치 모드값 결정부(915) 및 예측 계수 메모리(92)에 공급한다. 도 35는 시간 모드값 결정부(911)의 동작을 설명하기 위한 도면이다. 시간 모드값 결정부(911)는 변환 전후의 주파수로부터 생성하는 주목 프레임의 시간 위치에 관한 시간 모드값을 결정한다.

도 35 (A)는 프레임 배속 변환하는 경우를 나타낸다. 이 경우에는, 전술한 바와 같이 화상 데이터 DVa의 2 프레임 RFa, RFb 사이에 주목 프레임인 2 프레임 RFn0, RFn1을 생성한다. 그리고, 2 프레임 RFn0, RFn1의 어느 쪽을 생성하는가에 의해, 모드 0 및 모드 1이 규정된다. 예를 들면 2 프레임 사이에서, 보다 시간적으로 전의 주목 프레임 RFn0 상의 화소값을 생성하는 경우에는, 시간 모드 값이 0으로 되고, 다른 쪽의 주목 프레임 RFn1 상의 화소값을 생성하는 경우에는, 시간 모드 값이 1로 된다. 또, 도 35 (B)는 프레임 주파수를 2.5배로 변환하는 경우를 나타내고 있으며, 4 종류의 시간적 위치의 주목 프레임 상의 화소값을 생성하게 되므로, 어느 프레임 위치의 계수를 생성하는가에 의해, 시간 모드 값이 0에서 3까지의 어느 하나의 값을 취한다.

탭 중심 위치 결정부(912)는 모션 벡터 MVD를 사용하여, 시간 모드값 TM으로 나타난 주목 프레임 상에서의 주목 화소의 모션 벡터를 결정한다. 즉, 모션 벡터 할당부(35)에 의해, 새롭게 생성하는 프레임 화상의 화소에 대하여 모션 벡터의 할당이 행해지고 있을 때는, 주목 화소에 대응하는 모션 벡터를 선택한다. 이 결정된 모션 벡터에 따라, 주목 프레임 상의 주목 화소에 대응하는 화상 데이터 DVs의 전후 2 프레임 상의 위치를 검출하여, 탭 중심 위치 TC로 설정한다.

클래스 화소군 잘라내기부(913)는 이 탭 중심 위치 TC를 기준으로 하여, 주목 프레임에 대한 화상 데이터 DVs의 전후 2 프레임으로부터, 모션의 정도를 나타내기 위한 클래스 분류를 위해 필요한 화소를 잘라내 클래스값 결정부(914)에 공급한다.

도 36은 전술한 탭 중심 위치 TC에 따라, 클래스 화소군 잘라내기부(913)에 의해 인출되는 클래스 화소군의 몇개인가의 예를 나타내고 있다. 그리고, 도면에 서는 탭 중심 위치 TC의 화소를 검은 원, 탭 중심 위치 TC의 주변에 위치하고 있으며 클래스 화소로 사용되는 화소를 ×가 기재된 동그라미 표시로 나타내고 있다. 이와 같은 클래스 화소군을 주목 프레임에 대한 화상 데이터 DVs의 전후 2 프레임으로부터 잘라낸다.

클래스값 결정부(914)는 클래스 화소군 잘라내기부(913)에서 잘라낸 화소군의 화소 데이터에 대하여 프레임 간 차분을 산출하고, 예를 들면 이 프레임 간 차분의 절대값의 평균값을, 미리 설정한 복수개의 임계값과 비교함으로써 클래스 분배를 행하여 클래스값 CM을 결정한다.

도 37은 클래스값의 결정 처리를 설명하기 위한 도면이다. 클래스값 결정부(914)는 잘라낸 클래스 화소군의 화소값을, 예를 들면 1비트 ADRC(Adaptive Dynamic Range Coding)에 의해 부호화하고, 부호화의 결과(비트열)를 정수로 본 값을 클래스값으로 한다.

여기에서, 화소값이 8비트로 표현되어 있을 때는, 화소값으로 0에서 255까지의 값을 취할 수 있다. 도 37에서는, 주목 프레임에 대한 화상 데이터 DVs의 전후 2 프레임으로부터, 각각 5개의 화소를 잘라내, 합계 10화소에 의해 클래스 화소군이 구성되어 있는 것으로 한다. 이 10화소의 클래스 화소값의 최대값과 최소값의 차가 다이내믹 레인지 DR이다. 1비트 ADRC이므로, 다이내믹 레인지 DR이 1/2로 된 값이 중간값 CLV로 되고, 이 중간값 CLV에 대한 클래스 화소값의 대소 관계가 조사된다. 클래스 화소값이 중간값 CLV보다 작으면, "Ou"로 부호화되고, 클래스 화소값이 중간값 CLV 이상이면, "1"로 부호화된다. 도 37의 예에서는, 1비트 ADRC의 결과의 부호화 값의 비트열이 (OOOO1OOOO1)로 된다. 이 비트열을 정수로 본 값(=33)이 클래스값으로 된다.

클래스수를 삭감하기 위해, 부호화 결과의 비트열을 비트마다 반전시킨 값을 클래스 값으로 해도 된다. 이 경우에는, 클래스수는 절반이 된다. 또, 탭 배치가 좌우/상하로 대칭인 경우, 화소값을 정렬하여 동일한 계산을 행하고, 클래스수를 각각 절반으로 해도 된다.

위치 모드값 결정부(915)는 탭 중심 위치 TC, 모션 벡터 MVD 및 시간 모드값 TM에 따라 위치 모드값 HM을 결정하여, 예측 계수 메모리(92)에 공급한다. 탭 중심 위치 TC는 전술한 바와 같이 주목 프레임 상의 주목 화소와 교차하는 모션 벡터와 주목 화소의 위치에 따라 설정되는 것이며, 각 화소의 중심을 나타내는 위치를 정수 격자점 위치로 할 때, 탭 중심 위치 TC는 정수 격자점 위치에 대하여 소수 이하(화소 간 거리 이하)의 어긋남을 가지는 경우가 발생한다. 따라서, 위치 모드값 결정부(915)는 이 소수 이하의 어긋남에 따른 클래스 분배를 행하여 위치 모드값 HM을 결정한다. 여기에서, 예를 들면 프레임 주파수를 5배로 하고, 주목 화소와 교차하는 모션 벡터는 1개인 것으로 한 경우, 정수 격자점 위치에 대하여 소수 이하의 어긋남은 0, 0.2, O.4, 0.6, 0.8의 5 방법의 패턴이 된다. 이 소수 이하의 어긋남량을 수평 방향 및 수직 방향마다 고려하면, 5×5=25 방법의 조합을 고려할 수 있기 때문에, 소수 이하의 어긋남이 어느 조합에 해당하는가에 의해 25 방법의 위치 모드값 HM을 결정한다.

예측 계수 메모리(92)는 공급된 시간 모드값 TM, 위치 모드값 HM, 클래스값 CM의 조합에 대응하는 예측 계수 KF를 판독하여 예측 연산부(93)의 연산 처리부(932)에 공급한다.

예측 연산부(93)의 예측 화소군 잘라내기부(931)는 탭 중심 위치 결정부(912)에서 결정된 탭 중심 위치 TC를 기준으로 하여, 예측 연산에 사용하는 예측 탭 TF를 변환 전의 화상 데이터 DVs로부터 잘라내, 연산 처리부(932)에 공급한다. 연산 처리부(932)는 예측 계수 메모리(92)로부터 공급된 예측 계수 KF와 예측탭 TF를 사용하여, 선형 1차 연산을 행함으로써, 변환 후의 화상 데이터 DVt를 생성한다.

이와 같이 모션 블러링 경감 화상 생성 처리 후의 화상 데이터 DVm을 사용하여 모션 벡터의 검출을 행하고, 검출한 모션 벡터를 사용하여 시간 해상도 창조를 행함으로써, 프레임 레이트 변환 후의 화상에서의 모션을 정밀도 양호하게 표시할 수 있다. 또한, 화상 데이터 선택부(85)에서는, 화상 데이터 DVs로 화상 데이터 DVm을 선택하면, 모션 블러링이 경감된 화상을 사용하여, 새로운 프레임의 화상을 생성할 수 있다. 예를 들면, 화상 데이터 DVout가 24 프레임/초일 때, 시간 해상도 창조를 행하여, 60 프레임/초로 모션 블러링이 경감된 화상의 화상 데이터 DVt를 생성할 수 있다. 또, 화상 데이터 DVs로 화상 데이터 DVa를 선택하면, 화상 데이터 DVt는 화상 센서(10)에서 얻어진 화상의 프레임 레이트를 변환한 화상으로 된다.

도 38은 시간 해상도 창조 처리를 소프트웨어로 실현되는 경우의 플로차트이다. 스텝 ST61에서 CPU(61)는 주파수 정보 HF에 따라 시간 모드값 TM을 결정한다. 스텝 ST62에서 CPU(61)는 탭 중심 위치 결정 처리를 행한다.

도 39는 탭 중심 위치 결정 처리를 나타낸 플로차트이다. 스텝 ST621에서 CPU(61)는 주목 프레임 상의 주목 화소 위치를 결정한다. 스텝 ST622에서 CPU(61)는 주목 화소에 대응하는 위치의 산출을 행한다. 즉, 시간 모드값 TM으로 나타나는 주목 프레임 상에 설정된 주목 화소의 모션 벡터에 따라, 주목 프레임에 대한 화상 데이터 DVs의 전후 2 프레임 상의 주목 화소에 대응하는 위치를 소수 정밀도로 산출한다. 스텝 ST623은 산출한 주목 화소에 대응하는 위치에 가장 근접한 화소 위치를 탭 중심 위치 TC로 결정한다.

탭 중심 위치 결정 처리가 종료되어 스텝 ST63으로 진행하면, 스텝 ST63에서 CPU(61)는 위치 모드값 HM을 결정한다. 이 위치 모드값 HM의 결정에서는, 전술한 스텝 ST622에서 주목 화소에 대응하는 위치를 소수 정밀도로 산출하고, 이 위치와 가장 근접한 화소 위치와의 차분을 위치 모드값 HM으로 변환한다.

스텝 ST64에서 CPU(61)는 스텝 ST62에서 결정한 탭 중심 위치 TC에 따라 클래스 화소군의 잘라내기를 행하고, 스텝 ST65에서 CPU(61)는 잘라낸 클래스 화소군에 따라 클래스값 CM을 결정한다.

스텝 ST66에서 CPU(61)는 스텝 ST62에서 결정한 탭 중심 위치 TC에 따라 예측 화소군의 잘라내기를 행한다. 스텝 ST67에서 CPU(61)는 클래스값 CM과 위치 모드값 HM과 시간 모드값 TM에 따른 예측 계수를 판독한다. 스텝 ST68에서 CPU(61)는 예측 화소군의 복수개의 화소와 예측 계수의 선형 1차 결합(예측 연산)에 의해, 주목 프레임의 주목 화소의 데이터를 생성한다. 스텝 ST69에서 CPU(61)는 생성한 주목 화소의 데이터를 화상 데이터 DVt로 출력한다.

스텝 ST70에서 CPU(61)는 주목 프레임 내 전화소를 처리했는지 여부가 결정된다. 여기에서, 처리가 종료되어 있지 않으면, 스텝 ST62로 복귀하고, 프레임 내 전화소를 처리했다고 판단되면 처리를 종료한다.

예측 계수 메모리(92)에 기억되어 있는 예측 계수는 도 40에 나타낸 학습 장치를 사용하여 형성할 수 있다. 그리고, 도 40에서, 도 34와 대응하는 부분에 대해서는 동일 부호를 부여하고 있다.

먼저, 교사 화상(주목 프레임의 화상에 상당)의 화상 데이터 GT를 사용하여 프레임 레이트 변환을 행하고, 학생 화상(화상 데이터 DVs의 화상에 상당)의 화상 데이터 GS를 생성하여, 학생 화상의 화상 데이터 GS를 클래스 분류부(94)와 계수 산출부(95)에 공급한다.

클래스 분류부(94)의 모션 벡터 검출부(941)는 소정수의 프레임 사이에서의 모션 벡터를 검출하여, 탭 중심 위치 결정부(912)와 위치 모드값 결정부(915)에 공급한다. 탭 중심 위치 결정부(912)는 전술한 바와 같이 탭 중심 위치를 결정하여, 클래스 화소군 잘라내기부(913)와 학생 화소군 잘라내기부(951)에 공급한다.

학생 화소군 잘라내기부(951)는 탭 중심 위치에 따라, 복수개의 학생 화소로 이루어지는 학생 화소군을 화상 데이터 GS로부터 잘라낸다. 잘라내어진 학생 화소군은 예측 계수 학습부(952)에 공급된다.

클래스 화소군 잘라내기부(913)는 탭 중심 위치에 따라, 복수개의 학생 화소로 이루어지는 클래스 화소군을 잘라낸다. 잘라낸 클래스 화소군은 클래스값 결정 부(914)에 공급된다. 클래스값 결정부(914)는 전술한 바와 같이 클래스 화소군으로부터 클래스값을 결정한다. 이 결정된 클래스값은 예측 계수 학습부(952)에 공급된다.

위치 모드값 결정부(915)는 전술한 바와 같이 탭 중심 위치, 모션 벡터 및 시간 모드값에 따라 위치 모드값을 결정하여 예측 계수 학습부(952)에 공급한다. 또한, 시간 모드값에 따라 교사 화소 잘라내기부(942)가 교사 화소를 잘라낸다. 잘라내어진 교사 화소는 예측 계수 학습부(952)에 공급된다.

예측 계수 학습부(952)는 공급된 시간 모드값, 위치 모드값, 클래스값, 학생 화소군, 교사 화소를 사용하여 학생 화소군으로부터 교사 화소를 예측하기 위한 예측 계수를 학습한다. 예측 계수의 학습에서는, 복수개의 예측 계수와 학생 화소와의 선형 1차 연산에 의해 예측값을 추정했을 때, 예측값과 교사 화상 중의 참값과의 오차의 제곱합을 최소로 하도록, 예측 계수를 정한다. 실제적인 계산방법으로서는, 오차의 제곱합에 관한 식을 편미분하여, 편미분값이 O이 되도록 예측 계수가 정해진다. 그 경우에, 전술한 바와 같이 정규 방정식이 세워지고, 정규 방정식이 쓸어내기법 등의 일반적인 행렬 해법에 따라 풀려 예측 계수가 산출된다. 이 산출된 예측 계수를 예측 계수 메모리(92)에 저장한다.

도 41은 예측 계수의 학습 처리를 소프트웨어로 행하는 경우의 플로차트를 나타내고 있다. 스텝 ST81에서 CPU(61)는 교사 화상의 화상 데이터를 사용하여 프레임 레이트 변환을 행하고 학생 화상의 화상 데이터를 생성한다. 스텝 ST82에서 CPU(61)는 주파수 정보에 따라 시간 모드값을 결정한다.

스텝 ST83에서 CPU(61)는 교사 화상의 모션 벡터를 검출하고, 스텝 ST84에서 CPU(61)는 시간 모드값과 모션 벡터에 따라 탭 중심 위치를 결정한다.

스텝 ST85에서 CPU(61)는 모션 벡터나 탭 중심 위치 및 시간 모드값으로부터 위치 모드값를 결정한다.

스텝 ST86에서 CPU(61)는 탭 중심 위치의 정보에 따라 학생 화상으로부터 클래스 화소군을 잘라낸다. 스텝 ST87에서 CPU(61)는 클래스 화소군에 따라 클래스값을 결정한다. 스텝 ST88에서 CPU(61)는 탭 중심 위치의 정보에 따라 학생 화상으로부터 학생 화소군을 잘라낸다. 스텝 ST89에서 CPU(61)는 교사 화상으로부터 교사 화소를 잘라낸다.

스텝 ST90으로부터 스텝 ST95까지의 처리는 최소 제곱법에 따른 예측 계수 학습 처리이다. 즉, 복수개의 예측 계수와 학생 화소와의 선형 1차 결합에 의해 예측값을 추정했을 때, 예측값과 교사 화상 중의 참값과의 오차의 제곱합을 최소로 하도록, 예측 계수를 정한다. 실제적인 계산방법으로서는, 오차의 제곱합에 관한 식을 편미분하여, 편미분값이 O이 되도록 예측 계수가 정해진다. 그 경우에 정규 방정식이 세워지고, 정규 방정식이 쓸어내기법 등의 일반적인 행렬 해법에 따라 풀려, 예측 계수가 산출된다.

스텝 ST90에서 CPU(61)는 각 클래스마다의 정규 방정식에 데이터를 가산 대입하는 처리를 행한다. 스텝 ST91에서 CPU(61)는 프레임 내 전화소를 처리했는지 여부를 판별한다. 여기에서 처리가 종료되어 있지 않으면, 스텝 ST84(탭 중심 위치 결정)로 복귀한다. 프레임 내 전화소를 처리했다고 판단되면 스텝 ST92로 진행 한다. 스텝 ST92에서 CPU(61)는 화상 내의 전 프레임의 처리를 종료했는지 여부를 판별한다. 여기에서, 처리가 종료되어 있지 않다고 판별했을 때는 스텝 ST82로 복귀하고, 처리가 종료되어 있다고 판별했을 때는 스텝 ST93으로 진행한다. 스텝 ST93에서 CPU(61)는 입력 전화상을 처리했는지 여부를 판별한다. 여기에서, 처리가 종료되어 있지 않다고 판별했을 때는 스텝 ST81로 복귀한다. 또, 전화상의 처리가 완료되었다고 판별했을 때는 스텝 ST94로 진행한다. 스텝 ST94에서 CPU(61)는 쓸어내기법에 의해 정규 방정식을 풀고, 구해진 예측 계수를 스텝 ST95에서 출력하여 예측 계수 메모리(92)에 저장시킨다.

도 42는 전술한 시간 해상도 창조 처리를 맞추어 행하는 경우의 동작을 나타낸 플로차트이다.

스텝 ST101에서 CPU(61)는 모션 벡터 경감 처리의 처리 결과가 모션 벡터의 검출 가능분만큼 기억되었는지 여부를 판별한다. 여기에서, 모션 벡터의 검출 가능분만큼 처리 결과가 기억되어 있지 않은 때는 스텝 ST101로 복귀하고, 모션 벡터의 검출 가능분만큼 처리 결과가 기억되었을 때는 스텝 ST102로 진행한다.

스텝 ST102에서 CPU(61)는 기억되어 있는 처리 결과를 사용하여 모션 벡터를 검출하고 스텝 ST103으로 진행한다.

스텝 ST103에서 CPU(61)는 검출한 모션 벡터를 이용하여 새롭게 생성하는 프레임 상의 각 화소에 대하여 모션 벡터의 할당을 행하고 스텝 ST104로 진행한다.

스텝 ST104에서 CPU(61)는 모션 벡터 경감 처리를 행할 때 취득한 노광 기간 파라미터에 따라 모션 벡터를 보정하여 스텝 ST105로 진행한다.

스텝 ST105에서 CPU(61)는 시간 해상도 창조 처리를 행하고, 기억되어 있는 처리 결과와 스텝 ST104에서 구한 모션 벡터에 따라 시간 해상도 창조 후의 프레임 레이트인 화상 데이터 DVt를 생성하여 스텝 ST106으로 진행한다.

스텝 ST106에서 화상 데이터 DVa가 종료되어 있지 않은 때, 또는 동작의 종료 조작이 행해지고 있지 않은 때는 스텝 ST102로 복귀하고, 화상 데이터 DVa의 종료 또는 동작의 종료 조작이 행해졌을 때는 동작의 종료로 판별하고 처리를 종료한다.

이와 같이, 모션 블러링 경감 화상을 사용함으로써, 모션 벡터를 정밀도 양호하게 검출할 수 있고, 검출된 모션 벡터를 사용하여 모션 블러링이 적은 시간 해상도가 높은 화상을 얻을 수 있다.

또, 모션 블러링의 처리를 행하는 화상 영역을 나타낸 영역 선택 정보 HA가 화상 처리 장치(20)에 공급될 때, 모션 블러링 경감 화상 생성부(40)에서는, 이 영역 선택 정보 HA로 선택된 영역에 대하여 모션 블러링의 경감을 행하도록 한다. 또한, 모션 벡터 검출부(30)에서 검출된 모션 벡터 MV에 따라 처리 영역을 순차적으로 이동시킨다. 즉, 모션 벡터 검출부(30)는 모션 오브젝트를 트래킹할 수 있다. 이와 같이 하면, 모션 오브젝트에 맞추어 영역을 최초로 설정하는 것만으로, 모션 오브젝트의 모션에 맞추어 처리를 행하는 화상 영역을 이동시킬 수 있어, 모션 오브젝트가 포함된 영역에 대해서만 모션 블러링의 경감이 행해지므로, 효율적으로 모션 블러링의 경감을 행할 수 있다.

도 43은 모션 블러링의 경감을 행하는 영역의 선택을 가능하게 했을 때의 동 작을 나타낸 플로차트이다.

스텝 ST111에서 CPU(61)는 화상 센서(10)에 의해 생성된 화상 데이터 DVa를, 입력부나 통신부 등을 통해 취득하고, 이 취득한 화상 데이터 DVa를 기억부(63)에 기억시킨다.

스텝 ST112에서 CPU(61)는 각 화소의 모션 벡터 MV를 검출하여 스텝 ST113으로 진행한다.

스텝 ST113에서 CPU(61)는 노광 기간 파라미터 HE를 취득하여 스텝 ST114로 진행하고, 스텝 ST114에서는, 노광 기간 파라미터 HE에 따라, 스텝 ST112에서 검출한 모션 벡터 MV의 보정을 행하여 모션 벡터 MVB를 생성한다.

스텝 ST115에서 CPU(61)는 모션 블러링의 경감을 행하는 화상 영역의 영역 선택이 행해졌는지 여부를 판별한다. 여기에서, 영역 선택이 행해지고 있지 않은 때는 스텝 ST116으로 진행하여, 전화면에 대하여 모션 블러링 경감 화상 생성 처리를 행하고, 화상 데이터 DVct를 생성하여 스텝 ST119로 진행한다. 또, 영역 선택이 행해졌을 때는 스텝 ST117로 진행하고, 이 스텝 ST117에서 선택 영역의 갱신을 행한다. 예를 들면, 선택된 영역 내의 모션 오브젝트의 모션에 맞추어, 선택 영역을 순차적으로 이동시킴으로써, 모션 블러링의 경감을 행하는 선택 영역을 모션 오브젝트에 추종시킨다. 스텝 ST118에서는 모션 오브젝트의 모션에 맞추어 이동되는 선택 영역에 대하여 모션 블러링 경감 화상 생성 처리를 행하고, 화상 데이터 DVct를 생성하여 스텝 ST119로 진행한다.

스텝 ST119에서 CPU(61)는 모션 블러링 경감 화상의 화상 데이터 DVct가 시 간 해상도 창조를 행할 수 있는 프레임수만큼 기억되어 있는지 여부를 판별한다. 여기에서, 기억되어 있지 않은 때는 스텝 ST112로 복귀하고, 기억되어 있을 때는 스텝 ST120으로 진행한다.

스텝 ST120에서 CPU(61)는 주파수 정보 HF에 따라, 스텝 ST112에서 검출한 모션 벡터 MV를 사용하고, 생성하는 프레임의 화소에 대한 모션 벡터의 할당을 행하여 모션 벡터 MVC를 생성한다.

스텝 ST121에서 CPU(61)는 시간 해상도 창조 처리를 행하고, 주파수 정보 HF와 모션 블러링 경감 화상의 화상 데이터 DVct 및 할당된 모션 벡터 MVC를 사용하여, 새롭게 생성하는 프레임의 화상 데이터 DVR를 생성한다.

스텝 ST122에서 CPU(61)는 처리를 종료하는지 여부를 판별한다. 여기에서, 화상 데이터 DVa가 종료되어 있지 않은 때, 또는 종료 조작이 행해지고 있지 않은 때는 스텝 ST112로 복귀한다. 또, 화상 데이터 DVa가 종료되었을 때나 종료 조작이 행해졌을 때는 처리를 종료한다.

이와 같이 처리를 행함으로써, 영역 선택 정보 HA로 선택된 영역에 대하여 모션 블러링의 경감을 행하고, 이 모션 블러링이 경감된 화상을 사용하여 시간 해상도 창조를 행할 수 있다.

이상과 같이, 본 발명에 관한 화상 처리 장치와 화상 처리 방법 및 프로그램은 모션 벡터의 검출 및 검출한 모션 벡터를 사용한 화상 처리에 유용하고, 모션이 있는 오브젝트의 화상 처리에 적합하다.

Claims

시간 적분 효과를 가지는 화상 센서에 의해 취득된 복수개 화소로 이루어지는, 시간적으로 연속하는 화상 내의 처리 영역에서 모션 오브젝트의 화소의 화소값에 기초하여, 상기 모션 오브젝트에 대응하는 모션 벡터의 검출을 행하는 모션 벡터 검출 수단과,

상기 모션 벡터 검출 수단에 의해 검출된 모션 벡터와 상기 복수개 화소로 이루어지는 화상을 사용하여, 상기 화상보다 시간 해상도가 높은 화상을 생성하는 시간 해상도 창조(創造) 수단과,

상기 처리 영역에서의 상기 모션 오브젝트 화소의 화소값은, 상기 모션 오브젝트에 대응하는 모션 블러링(motion blurring)이 생기고 있지 않은 각 화소의 화소값이 이동하면서 시간 방향으로 적분한 값인 것으로 하고, 상기 처리 영역의 화소의 화소값에 기초하여, 상기 처리 영역에 포함되는 상기 모션 오브젝트의 모션 블러링이 경감되어 있는 모션 블러링 경감 화상을 생성하는 모션 블러링 경감 화상 생성 수단

을 구비하고,

상기 모션 벡터 검출 수단은, 화상 센서에 의해 취득된 복수개 화소로 이루어지는 화상을 복수개 사용하여 모션 벡터를 검출하고, 검출된 모션 벡터에 따라, 상기 시간 해상도가 높은 화상에 대한 모션 벡터를 생성하여, 상기 시간 해상도 창조 수단에 공급하는,

화상 처리 장치.
삭제
제1항에 있어서,

상기 모션 벡터 검출 수단은, 화상 센서에 의해 취득된 복수개 화소로 이루어지는 화상을 복수개 사용하여 모션 벡터를 검출하고, 검출된 모션 벡터를 노광 기간에 따라 보정하여, 상기 모션 블러링 경감 화상 생성 수단에 공급하는, 화상 처리 장치.
제1항에 있어서,

상기 시간 해상도 창조 수단은, 상기 모션 블러링 경감 화상을 사용하여, 상기 모션 블러링 경감 화상보다 시간 해상도가 높은 화상을 생성하는, 화상 처리 장치.
제4항에 있어서,

상기 시간 해상도 창조 수단은,

상기 모션 벡터 검출 수단에 의해 검출된 모션 벡터를 사용하여, 상기 생성하는 상기 시간 해상도가 높은 화상 내 주목 화소의 모션 벡터를 결정하고, 상기 모션 블러링 경감 화상으로부터 상기 주목 화소에 대응하는 복수개 화소를 클래스 탭으로서 추출하고, 상기 클래스 탭의 화소값으로부터 상기 주목 화소에 대응하는 클래스를 결정하는 클래스 결정 수단과,

상기 모션 블러링 경감 화상에 대응하는 시간 해상도의 제1 화상과, 상기 제1 화상보다 시간 해상도가 높은 제2 화상과의 사이에서, 상기 제2 화상 내의 주목 화소에 대응하는 상기 제1 화상 내의 복수개 화소에 따라 상기 주목 화소를 예측하는 예측 계수를 상기 클래스마다 학습하여 생성된 예측 계수를 클래스마다 기억하는 기억 수단과,

상기 클래스 결정 수단에 의해 결정된 클래스에 대응하는 예측 계수를 상기 기억 수단으로부터 검출하고, 상기 모션 블러링 경감 화상으로부터, 상기 생성하는 화상 내의 주목 화소에 대한 복수개 화소를 예측 탭으로 추출하고, 상기 기억 수단으로부터 검출한 예측 계수와 상기 예측 탭과의 선형 1차 결합에 의해 상기 주목 화소에 대응하는 예측값을 생성하는 예측값 생성 수단을 구비하는, 화상 처리 장치.
시간 적분 효과를 가지는 화상 센서에 의해 취득된 복수개 화소로 이루어지는, 시간적으로 연속하는 화상 내의 처리 영역에서 모션 오브젝트의 화소의 화소값에 기초하여, 상기 모션 오브젝트에 대응하는 모션 벡터의 검출을 행하는 모션 벡터 검출 스텝과,

상기 모션 벡터 검출 스텝에서 검출된 모션 벡터와 상기 복수개 화소로 이루어지는 화상을 사용하여, 상기 화상보다 시간 해상도가 높은 화상을 생성하는 시간 해상도 창조 스텝과,

상기 처리 영역에서의 모션 오브젝트 화소의 화소값은 상기 모션 오브젝트에 대응하는 모션 블러링이 생기고 있지 않은 각 화소의 화소값이 이동하면서 시간 방향으로 적분한 값인 것으로 하고, 상기 처리 영역의 화소의 화소값에 기초하여, 상기 처리 영역에 포함되는 상기 모션 오브젝트의 모션 블러링이 경감되어 있는 모션 블러링 경감 화상을 생성하는 모션 블러링 경감 화상 생성 스텝

을 포함하고,

상기 모션 벡터 검출 스텝은, 화상 센서에 의해 취득된 복수개 화소로 이루어지는 화상을 복수개 사용하여 모션 벡터를 검출하고, 검출된 모션 벡터에 따라, 상기 시간 해상도가 높은 화상에 대한 모션 벡터를 생성하여, 상기 시간 해상도 창조 스텝에 공급하는,

화상 처리 방법.
삭제
제6항에 있어서,

상기 모션 벡터 검출 스텝은, 화상 센서에 의해 취득된 복수개 화소로 이루어지는 화상을 복수개 사용하여 모션 벡터를 검출하고, 검출된 모션 벡터를 노광 기간에 따라 보정하여, 상기 모션 블러링 경감 화상 생성 스텝에 공급하는, 화상 처리 방법.
제6항에 있어서,

상기 시간 해상도 창조 스텝은, 상기 모션 블러링 경감 화상을 사용하여, 상기 화상보다 시간 해상도가 높은 화상을 생성하는, 화상 처리 방법.
제9항에 있어서,

상기 시간 해상도 창조 스텝은,

상기 모션 벡터 검출 스텝에서 검출된 모션 벡터를 사용하여, 상기 생성하는 상기 시간 해상도가 높은 화상 내 주목 화소의 모션 벡터를 결정하고, 상기 모션 블러링 경감 화상으로부터 상기 주목 화소에 대응하는 복수개 화소를 클래스 탭으로서 추출하고, 상기 클래스 탭의 화소값으로부터 상기 주목 화소에 대응하는 클래스를 결정하는 클래스 결정 스텝과,

상기 모션 블러링 경감 화상에 대응하는 시간 해상도의 제1 화상과, 상기 제1 화상보다 시간 해상도가 높은 제2 화상과의 사이에서, 상기 제2 화상 내의 주목 화소에 대응하는 상기 제1 화상 내의 복수개 화소에 따라, 상기 주목 화소를 예측하는 예측 계수를 상기 클래스마다 학습하여 생성된 예측 계수를 클래스마다 기억하는 기억 스텝과,

상기 클래스 결정 스텝에 의해 결정된 클래스에 대응하는 예측 계수를 상기 기억 스텝으로부터 검출하고, 상기 모션 블러링 경감 화상으로부터, 상기 생성하는 화상 내의 주목 화소에 대한 복수개 화소를 예측 탭으로 추출하고, 상기 기억 스텝으로부터 검출한 예측 계수와 상기 예측 탭과의 선형 1차 결합에 의해 상기 주목 화소에 대응하는 예측값을 생성하는 예측값 생성 스텝을 포함하는, 화상 처리 방법.
삭제