KR20090107911A

KR20090107911A - 화상 처리 장치, 촬상 장치, 화상 처리 방법 및 프로그램

Info

Publication number: KR20090107911A
Application number: KR1020087024345A
Authority: KR
Inventors: 준 무라야마; 마사히로 와따나베; 아쯔시 이또; 세이지 고바야시; 요이찌 야가사끼; 겐지 다나까
Original assignee: 소니 가부시끼 가이샤
Priority date: 2007-02-07
Filing date: 2008-02-07
Publication date: 2009-10-14
Also published as: US20100225772A1; JP5045674B2; EP2111039A1; WO2008096818A1; KR101426095B1; MY151708A; EP2111039A4; US8063939B2; CN101543053B; EP2111039B1; CN101543053A; JPWO2008096818A1

Abstract

피사체를 촬상함으로써 얻은 화상 데이터로서, 피사체를 촬상할 때의 촬상 조건에 따라서 그 화상 데이터에 의해 나타내어지는 화상의 움직임 흐려짐의 정도가 변화되는 화상 데이터에 대해, 화상 처리를 실시하는 화상 처리 장치(1)에서, 촬상 조건을 나타내는 촬상 정보에 기초하여, 화상에 관한 움직임을 나타내는 움직임 정보를 보정하는 움직임 정보 보정부(12)와, 움직임 정보 보정부(12)에 의해 보정된 움직임 정보를 이용하여, 화상 데이터에 대해 화상 처리를 실시함으로써, 화상에 움직임 흐려짐을 부가하는 움직임 흐려짐 부가부(13)를 구비한다.

화상 데이터, 움직임 흐려짐 부가부, 화상 취득부, 움직임 정보 보정부, 화상 처리 장치

Description

화상 처리 장치, 촬상 장치, 화상 처리 방법 및 프로그램{IMAGE PROCESSING DEVICE, IMAGE PICKING-UP DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM}

본 발명은, 동화상에 대해 움직임 흐려짐을 부가하는 화상 처리를 행하는 화상 처리 장치, 촬상 장치, 화상 처리 방법 및 그 화상 처리를 컴퓨터에 실행시키는 프로그램에 관한 것이다.

본 출원은, 일본에서 2007년 2월 7일에 출원된 일본 특허 출원 번호 2007-028389를 기초로 하여 우선권을 주장하는 것이며, 이 출원을 참조함으로써, 본 출원에 원용된다.

셔터 기능을 갖는 촬상 장치에 의해 프레임 레이트로 결정되는 기간에 대해 각 프레임이 짧은 유효 노광 시간에서 촬상된 동화상을, 표시 디바이스를 이용하여 표시하면, 화상 내에 포함되는 이동 물체의 움직임이 불연속으로 표시되어, 화상을 관찰하는 관찰자가 다른 중상을 지각하게 된다고 하는 시각상의 화상 열화가 발생하는 경우가 있다.

이와 같은 움직임의 부자연스러움에 의한 동화상의 열화는, 일반적으로 모션 제키네스(Motion Jerkiness)라고 불린다(참고 문헌:ANSI T1.801.02-1996).

<발명의 개시>

<발명이 해결하고자 하는 과제>

모션 제키네스가 발생하는 구체예에 대해, 도 11에 도시한 바와 같은 동화상 촬상 장치(500) 및 동화상 재생 장치(600)를 이용하여 설명한다.

동화상 촬상 장치(500)는, 동화상을 촬상하여 MPEG(Moving Picture Experts Group) 등의 부호화 방법으로 부호화하고, 이 부호화된 화상 데이터를 DVD(Digital Versatile Disc) 등의 기록 매체(700)에 기록하는 것이며, 구체적으로는 다음과 같은 구성을 갖고 있다.

즉, 동화상 촬상 장치(500)는 피사체상으로부터의 광을 집광하는 촬상 광학계(510)와, 이 촬상 광학계(510)에 의해 집광된 광을 수광하여 화상 신호로 변환하는 촬상 소자(520)와, 이 촬상 소자(520)에 의해 변환된 화상 신호를 부호화하는 부호화 처리부(530)와, 부호화 처리부(530)에 의해 부호화된 화상 데이터를 전송로를 통하여 외부로 송신하는 송신 처리부(540)와, 부호화 처리부(530)에 의해 부호화된 화상 데이터를 DVD(Digital Versatile Disc) 등의 기록 매체(700)에 기록하는 기록 처리부(550)를 구비한다.

또한, 이 촬상 광학계(510)는 외부로부터 입사하는 광량을 조절하는 조리개 기구(511)와, 조리개 기구(511)에 의해 광량이 조절된 피사체광을 촬상 소자(520)의 수광면에 집광시키는 광학 렌즈계(512)로 구성된다.

한편, 동화상 재생 장치(600)는 부호화된 화상 데이터를 복호하여, 디스플레이 등에 표시 출력하는 것이며, 구체적으로는 다음과 같은 구성을 갖고 있다. 즉, 동화상 재생 장치(600)는 전송로를 통하여 전송되어 오는 부호화된 화상 데이터를 수신하는 수신 처리부(610)와, 기록 매체(700)로부터 부호화된 화상 데이터를 재생하는 재생 처리부(620)와, 수신 처리부(610) 및 재생 처리부(620)로부터 출력되는 부호화된 화상 데이터를 복호하는 복호 처리부(630)와, 복호 처리부(630)에 의해 복호된 화상 신호를 표시하는 디스플레이 등의 표시 출력부(640)를 구비한다.

예를 들면 밝은 야외 등에서 동화상을 촬상할 때, 동화상 촬상 장치(500)에서는, 조리개 기구(511)를 좁힘으로써 촬상 소자(520)에 입사시키는 광량을 제한하여 노광량을 적절하게 제어하고 있다. 그러나, 통상적으로 조리개 기구(511)를 지나치게 좁히면 회절 현상에 의해 상이 뿌옇게 되므로, 동화상 촬상 장치(500)에서는 조리개 기구(511)에 의해 광량을 조절하는 것 외에, 프레임 레이트로 결정되는 기간에 대한 각 프레임의 유효 노광 시간의 비를 나타내는 셔터 속도를 빠르게 함으로써 적절한 노광 제어를 행하고 있다. 또한, 조리개 기구가 설치되어 있지 않은 동화상 촬상 장치에서는, 셔터 속도를 변경함으로써 노광 제어를 행하고 있다.

이상과 같은 구성으로 이루어지는 동화상 촬상 장치(500)에서는 셔터 속도를 빠르게 함으로써, 야외 촬상 시 등에서 적절한 노광 제어를 행할 수 있지만, 이에 수반하여, 전술한 제키네스에 의한 화상의 열화가 생기게 된다.

즉, 동화상 재생 장치(600)는 동화상 촬상 장치(500)에 의해 제키네스 열화를 포함하여 촬상되면, 그대로 제키네스 열화를 포함한 화상 데이터를 복호하여 표시 출력부(640)에 의해 표시하게 된다.

이상과 같이, 셔터 속도를 제어 가능한 셔터 기능을 갖는 촬상 장치에 의해, 빠른 셔터 속도로 촬상됨으로써, 동화상의 프레임 레이트로 결정되는 기간에 대해 유효 노광 기간이 짧은 화상은 정지 화상으로서 표시하였을 때에는 선예도가 높지만, 동화상으로서 표시하였을 때에는 화상 내의 동체의 움직임이 매끄럽지는 않아, 인간의 시각 특성상, 부자연스럽게 보이게 된다.

본 발명은, 이와 같은 실정을 감안하여 제안된 것으로서, 셔터 기능을 갖는 촬상 장치에 의해 취득된 동화상에 적절한 움직임 흐려짐을 부가함으로써 제키네스 열화를 저감시키는 화상 처리 장치, 촬상 장치, 화상 처리 방법 및 프로그램을 제공하는 것을 목적으로 한다.

전술한 과제를 해결하기 위한 수단으로서, 본 발명에 따른 화상 처리 장치는, 피사체를 촬상함으로써 얻은 화상 데이터로서, 피사체를 촬상할 때의 촬상 조건에 따라서 화상 데이터에 의해 나타내어지는 화상의 움직임 흐려짐의 정도가 변화되는 화상 데이터에 대해, 화상 처리를 실시하는 화상 처리 장치로서, 촬상 조건을 나타내는 촬상 정보에 기초하여, 화상에 관한 움직임을 나타내는 움직임 정보를 보정하는 움직임 정보 보정 수단과, 움직임 정보 보정 수단에 의해 보정된 움직임 정보를 이용하여, 화상 데이터에 대해 화상 처리를 실시함으로써, 화상에 움직임 흐려짐을 부가하는 움직임 흐려짐 부가 수단을 구비한다.

또한, 본 발명에 따른 촬상 장치는, 피사체를 촬상함으로써, 촬상 조건에 따라서 촬상에 의해 얻어지는 화상 데이터에 의해 나타내어지는 화상에 생기는 움직임 흐려짐의 정도가 변화되는 화상 데이터를 출력하는 촬상 수단과, 촬상 조건을 나타내는 촬상 정보에 기초하여, 화상에 관한 움직임을 나타내는 움직임 정보를 보정하는 움직임 정보 보정 수단과, 움직임 정보 보정 수단에 의해 보정된 움직임 정 보를 이용하여, 화상 데이터에 대해 화상 처리를 행함으로써, 화상에 움직임 흐려짐을 부가하는 움직임 흐려짐 부가 수단을 구비한다.

또한, 본 발명에 따른 화상 처리 방법은, 피사체를 촬상함으로써 얻은 화상 데이터로서, 피사체를 촬상할 때의 촬상 조건에 따라서 화상 데이터에 의해 나타내어지는 화상의 움직임 흐려짐의 정도가 변화되는 화상 데이터에 대해 화상 처리를 실시하는 화상 처리 방법으로서, 촬상 조건을 나타내는 촬상 정보에 기초하여, 화상에 관한 움직임을 나타내는 움직임 정보를 보정하는 움직임 정보 보정 스텝과, 움직임 정보 보정 스텝에 의해 보정된 움직임 정보를 이용하여, 화상 데이터에 대해 화상 처리를 실시함으로써, 화상에 움직임 흐려짐을 부가하는 움직임 흐려짐 부가 스텝을 갖는다.

또한, 본 발명에 따른 프로그램은, 피사체를 촬상함으로써 얻은 화상 데이터로서, 피사체를 촬상할 때의 촬상 조건에 따라서 화상 데이터에 의해 나타내어지는 화상의 움직임 흐려짐의 정도가 변화되는 화상 데이터에 대해 화상 처리를 실시하는 화상 처리 방법을 컴퓨터에 실행시키는 프로그램으로서, 화상 처리 방법은 촬상 조건을 나타내는 촬상 정보에 기초하여, 화상에 관한 움직임을 나타내는 움직임 정보를 보정하는 움직임 정보 보정 스텝과, 움직임 정보 보정 스텝에 의해 보정된 움직임 정보를 이용하여, 화상 데이터에 대해 화상 처리를 실시함으로써, 화상에 움직임 흐려짐을 부가하는 움직임 흐려짐 부가 스텝을 갖는다.

본 발명의 또 다른 목적, 본 발명에 의해 얻어지는 구체적인 이점은, 이하에 설명되는 실시 형태의 설명으로부터 한층 더 명백하게 된다.

도 1은 본 발명이 적용된 화상 처리 장치의 구성을 도시하는 블록도.

도 2는 제1 실시 형태에 따른 수신/재생 장치의 전체 구성을 도시하는 블록도.

도 3은 움직임 벡터 생성 처리부의 구성을 도시하는 블록도.

도 4는 움직임 벡터 추정 처리부가 행하는 처리 공정을 설명하기 위한 플로우차트.

도 5는 움직임 흐려짐 부가 처리부의 구성을 도시하는 블록도.

도 6은 움직임 벡터 마스크 처리부에 관련되는 구체적인 처리 공정을 모식적으로 도시하는 도면.

도 7은 최적 셔터 속도 산출/판별부 및 움직임 벡터 보정부에 관련되는 구체적인 처리 공정을 모식적으로 도시하는 도면.

도 8은 피사체 속도에 따른 최적 셔터 속도 곡선의 일례를 도시하는 그래프.

도 9는 필터 파라미터 산출 처리부의 처리 내용을 설명하기 위한 도면.

도 10은 제2 실시 형태에 따른 송신/기록 장치의 전체 구성을 도시하는 블록도.

도 11은 동화상 촬상 장치와 동화상 재생 장치의 구성을 도시하는 블록도.

<발명을 실시하기 위한 최량의 형태>

이하, 본 발명을 실시하기 위한 최량의 형태에 대해서, 도면을 참조하면서 상세히 설명한다.

본 발명이 적용된 화상 처리 장치는 인간의 시각 특성상, 부자연스럽게 보이게 되는 제키네스 열화를 포함한 동화상에 대해, 적응적으로 움직임 흐려짐을 부가하여, 이와 같은 열화를 저감하는 것이며, 예를 들면 도 1에 도시하는 화상 처리 장치(1)에 의해 실현된다.

즉, 화상 처리 장치(1)는 피사체를 촬상할 때의 촬상 조건에 따라서 화상 데이터에 의해 나타내어지는 화상의 움직임 흐려짐의 정도가 변화되는 화상 데이터에 대해 화상 처리를 실시하는 처리 장치로서, 피사체를 촬상함으로써 얻은 화상 데이터를 취득하는 화상 취득부(11)와, 화상 취득부(11)에 의해 취득한 화상 데이터의 화상에 관한 움직임을 나타내는 움직임 정보를 보정하는 움직임 정보 보정부(12)와, 화상 취득부(11)에 의해 취득된 화상 데이터에 대해 화상 처리를 실시함으로써 화상에 움직임 흐려짐을 부가시키는 움직임 흐려짐 부가부(13)를 구비한다.

움직임 정보 보정부(12)는 화상 취득부(11)에 의해 취득된 화상 데이터의 프레임 레이트로 결정되는 기간에 대한 각 프레임의 유효 노광 시간의 비를 나타내는 셔터 속도 등의 촬상 정보에 기초하여, 화상 데이터의 화상에 관한 움직임을 나타내는 움직임 정보를 보정하고, 보정한 움직임 정보를 움직임 흐려짐 부가부(13)에 공급한다.

여기서, 촬상 정보란, 피사체를 촬상할 때에 촬상 장치에서 설정되는 다양한 조건 중, 화상 데이터에 의해 나타내어지는 화상의 움직임 흐려짐의 정도를 변화시키는 촬상 조건을 나타내는 정보이면 되고, 전술한 셔터 속도를 나타내는 정보에 한정되는 것은 아니다.

또한, 움직임 정보란, 프레임간에서의 화상의 움직임을 나타내는 정보에 한정되는 것이 아니라, 예를 들면 필드간에서의 화상의 움직임을 나타내는 정보 등, 화상 데이터를 동화상으로서 취급하였을 때의 화상에 관한 움직임을 나타내는 정보이면 된다.

움직임 흐려짐 부가부(13)는 움직임 정보 보정부(12)에 의해 보정된 움직임 정보를 이용하여, 화상 데이터에 움직임 흐려짐을 부가하여, 그 화상 처리 장치(1)의 외부로 출력한다.

이상과 같은 구성으로 이루어지는 화상 처리 장치(1)에서는, 화상 데이터에 의해 나타내어지는 화상의 움직임 흐려짐의 정도를 변화시키는 촬상 조건을 나타내는 촬상 정보에 기초하여 적응적으로 화상 데이터에 움직임 흐려짐을 부가함으로써, 인간의 시각 특성상, 부자연스럽게 보이게 되는 제키네스 열화를 포함한 동화상에 대해 움직임 흐려짐을 부가하여, 이와 같은 열화를 저감하는 것이다.

이하에서는, 제1 실시 형태 및 제2 실시 형태를 이용하여, 전술한 화상 처리 장치(1)에 관련되는 구체적인 처리 내용을 설명한다.

<제1 실시 형태>

우선, 화상 처리 장치(1)가 적용된 제1 실시 형태에 따른 화상 처리 장치로서, 도 2에 도시한 바와 같은, 전송로를 통하여 전송되어 오는 화상 데이터의 수신, 또는 DVD 등의 기록 매체(200)에 기록된 화상 데이터의 재생을 행하는 수신/재생 장치(100)를 설명한다.

이 수신/재생 장치(100)는, 도 2에 도시한 바와 같이, 전송로를 통하여 전송 되어 오는 부호화된 화상 데이터를 수신하는 수신 처리부(110)와, 기록 매체(200)로부터 부호화된 화상 데이터를 재생하는 재생 처리부(120)와, 부호화된 화상 데이터를 복호 화상 데이터 DD로 복호하는 복호 처리부(130)와, 복호 화상 데이터 DD로부터 움직임 벡터 VD를 생성하는 움직임 벡터 생성 처리부(140)와, 복호 화상 데이터 DD에 움직임 벡터에 따른 움직임 흐려짐을 부가하는 움직임 흐려짐 부가 처리부(150)와, 움직임 흐려짐이 부가됨으로써 제키네스 열화가 저감된 동화상을 표시 장치에 표시시키는 동화상 표시 출력부(160)와, 복호 화상을 정지 화상으로서 표시 장치에 표시시키는 정지 화상 표시 출력부(170)를 구비하고 있다.

수신 처리부(110) 및 재생 처리부(120)는, 각각 MPEG 규격 등의 화상의 움직임 정보에 기초하여 예측 부호화된 화상 데이터를 취득하고, 이 화상 데이터를 복호 처리부(130)에 공급하는 처리부이다.

또한, 수신/재생 장치(100)는 외부로부터 화상 데이터를 취득하는 기능으로서, 수신 처리부(110) 및 재생 처리부(120) 중 적어도 어느 한쪽을 구비하고 있으면 된다.

또한, 수신/재생 장치(100)는 외부로부터 화상 데이터를 취득하는 것 외에, 화상 데이터에 관한 촬상 정보로서, 셔터 속도 SSD를 나타내는 셔터 속도 정보를 취득한다. 또한, 셔터 속도 정보는 화상 데이터의 메타 데이터로서 포함되어 있어도 된다.

여기서, 셔터 속도 정보란, 전술한 바와 같이 화상 데이터에 의해 나타내어지는 화상의 움직임 흐려짐의 정도를 변화시키는 촬상 조건을 나타내는 촬상 정보 이다. 구체적으로, 셔터 속도 정보는, 셔터 기능을 갖는 촬상 장치에 의해 화상 데이터가 촬상되었을 때의 프레임 레이트로 결정되는 기간에 대한 각 단위 화상의 유효 노광 시간의 비를 나타낸다.

또한, 셔터 기능으로서는 촬상 소자의 유효 노광 시간을 제어하는 전자 셔터, 개폐 기구를 이용하여 유효 노광 시간 중만 개방하여 촬상 소자측에 렌즈로부터의 광을 통과시키는 메카니컬 셔터 및 액정 소자의 투과율을 제어하여 유효 노광 시간 중만 촬상 소자측에 렌즈로부터의 광을 통과시키는 액정 셔터 등에 의해 실현된다.

또한, 수신 처리부(110) 및 재생 처리부(120)에 의해 동화상으로서 취득되는 화상 데이터는, 단위 시간을 1초로 하고, 이 단위 시간에 대해 60프레임의 화상수로 구성되어 있는 것으로 한다. 즉, 본 실시 형태에서는 화상 데이터가 프레임 레이트 60[fps:frame per second]의 프로그레시브 형식의 단위 화상으로 구성되어 있는 것으로서 이하 설명한다. 또한, 화상 데이터는 프로그레시브 형식에 한정되는 것이 아니라, 필드 화상 단위로 처리하는 인터레이스 방식으로 구성되어 있도록 하여도 된다. 또한, 프레임 레이트에 대해서도, 본 실시 형태에서 이용하는 60[fps]에만 한정되는 것은 아니다.

복호 처리부(130)는 수신 처리부(110), 또는 재생 처리부(120)로부터 취득한 화상 데이터를 복호한다. 또한, 복호 처리부(130)는, 이 복호 처리 시에, 화상 데이터와 함께, 이 화상 데이터에 관한 촬상 정보로서 셔터 속도 정보를 취득한다. 셔터 속도 정보는 데이터량이 적으므로 화상 데이터에 포함되어 압축시킬 필요성이 낮으므로, 압축되어 있지 않은 경우에는, 간단히 화상 데이터와 분리하면 된다. 또한, 화상 데이터에 메타 데이터로서 셔터 속도 정보가 포함되어 있는 경우에는, 복호 처리부(130)는 셔터 속도 정보도 복호하면 된다.

그리고, 복호 처리부(130)는, 이 복호 화상 데이터 DD를 움직임 벡터 생성 처리부(140)에 공급한다. 또한, 복호 처리부(130)는, 이 복호 화상 데이터 DD와 그 셔터 속도 정보를 움직임 흐려짐 부가 처리부(150)에 공급한다.

또한, 복호 처리부(130)는, 이 복호 화상 데이터 DD를 정지 화상으로서 처리할 때에는, 정지 화상 표시 출력부(170)에만 복호 화상 데이터 DD를 공급하여, 복호 화상 데이터 DD를 동화상으로서 처리하지 않아도 된다.

움직임 벡터 생성 처리부(140)는, 복호 처리부(130)로부터 공급되는 복호 화상 데이터 DD로부터, 이 복호 화상 데이터 DD의 움직임 정보로서, 움직임 벡터 VD를 생성한다. 여기서, 움직임 벡터란, 프레임간에서의 동화상의 이동 위치와 이동 방향을 나타내는 정보이다. 본 실시 형태에서는, 현재의 처리 대상으로 되는 프레임 화상을 처리 대상 프레임이라고 부르고, 이 처리 대상 프레임에 대해 1프레임 전의 프레임 화상을 직전 프레임이라고 부른다.

또한, 정밀도 좋게 동체의 움직임 정보를 취득하기 위해 화소 단위로 움직임 벡터를 생성하도록 하는 것도 가능하지만, 본 실시 형태에 따른 움직임 벡터 생성 처리부(140)에서는 연산 처리의 부담을 경감하기 위해, 프레임 화상을 복수의 영역으로 분할한 화소 블록 단위로 움직임 벡터를 생성한다.

또한, MPEG 규격 등에 의해 부호화된 화상 데이터에는 부호화 처리를 행하기 위한 움직임 정보로서 움직임 벡터가 포함되어 있다. 본 실시 형태에서는 이와 같은 부호화 정보로서의 움직임 벡터를 유용하여 이용하는 것도 가능하며, 이를 채용하는 것은 처리의 경감화에서 유의이다. 그러나, 이 부호화 정보로서의 움직임 벡터는, 어디까지나 동화상을 부호화하기 위한 정보이며, 부호화 처리가 움직임 벡터 이외에 잔차 정보 등과 조합하여 이용하여 행해지므로, 화상 전체에 걸쳐서 실제의 동체의 움직임에 따른 값을 충실히 나타내고 있다고는 할 수 없다.

따라서, 본 실시 형태에서는, 보다 실제의 동체의 움직임에 충실한 움직임 흐려짐을 부가하기 위해서, 움직임 벡터 생성 처리부(140)는 부호화 처리를 행하기 위한 움직임 정보와는 상이한 새로운 움직임 정보로서, 후술하는 처리 공정에 의해 복호 화상에서의 실제의 동체의 움직임에 따른 움직임 벡터를 정밀도 좋게 검출한다.

또한, 수신/재생 장치(100)에서는, 전술한 바와 같이 복호 화상 데이터 DD를 이용하여 정밀도 좋게 움직임 벡터를 검출하고, 이 움직임 벡터를 이용하여 적절한 크기/방향으로 화상에 움직임 흐려짐을 부가하여, 제키네스 열화를 저감할 수 있다. 따라서, 이와 같은 관점에서는, 반드시 화상 데이터에 의해 나타내어지는 화상의 움직임 흐려짐의 정도를 변화시키는 촬상 조건을 나타내는 촬상 정보에 기초하여 움직임 벡터를 보정하지 않아도 된다.

움직임 흐려짐 부가 처리부(150)는, 구체적으로는 후술하는 처리 공정에 의해, 복호 처리부(130)로부터 공급되는 복호 화상 데이터 DD에 대해, 셔터 속도 정보 및 움직임 벡터 생성 처리부(140)로부터 공급되는 움직임 벡터 VD에 따라서 움 직임 흐려짐을 부가한다.

동화상 표시 출력부(160)는 움직임 흐려짐 부가 처리부(150)에 의해 움직임 흐려짐이 부가됨으로써, 제키네스 열화가 저감된 동화상을, LCD 등의 표시 장치에 동화상으로서 출력한다.

정지 화상 표시 출력부(170)는 복호 처리부(130)로부터 공급된 복호 화상 데이터 DD를 정지 화상으로서, LCD 등의 표시 장치에 출력한다.

다음으로 움직임 벡터 생성 처리부(140)의 구성과 동작에 대해서 설명한다.

움직임 벡터 생성 처리부(140)는, 전술한 바와 같이 화소 블록 단위로 움직임 벡터를 정밀도 좋게 생성하는 부위로서, 구체적으로는, 도 3에 도시한 바와 같이, 처리 대상 프레임과 직전 프레임으로부터 움직임 벡터를 검출하는 움직임 벡터 검출부(141)와, 처리 대상 프레임의 움직임 벡터와 직전 프레임의 움직임 벡터를 화소 블록마다 비교하여, 상관이 높은 화소 블록을 특정하는 화소 블록 특정 처리부(142)와, 화소 블록 특정 처리부(142)에 의해 특정된 화소 블록의 움직임 벡터로부터, 그 이외의 화소 블록의 움직임 벡터를 추정하는 움직임 벡터 추정 처리부(143)와, 움직임 벡터에 대해 평활화 처리를 실시하는 움직임 벡터 평활화 처리부(144)로 구성된다.

움직임 벡터 검출부(141)에는 복호 처리부(130)로부터 공급된 복호 화상 데이터 DD를 1프레임분 지연시키는 지연부(141a)가 설치되어 있다. 움직임 벡터 검출부(141)는 복호 처리부(130)로부터 공급된 복호 화상 데이터 DD를 처리 대상 프레임으로 하고, 지연부(141a)에 의해 1프레임분 지연된 직전 프레임으로부터, 처리 대상 프레임의 움직임 벡터를, 화소 블록 단위로 검출하고, 검출한 움직임 벡터를 화소 블록 특정 처리부(142)에 공급한다.

또한, 움직임 벡터 검출부(141)에 관련되는 처리를 소프트웨어에 의해 실장하는 경우에는, 일반적인 블록 매칭법을 이용하여 화소 블록 단위로 움직임 벡터를 검출하면 된다.

화소 블록 특정 처리부(142)에는 움직임 벡터 검출부(141)로부터 공급되는 움직임 벡터를 1프레임분 지연시키는 지연부(142a)가 설치되어 있다. 화소 블록 특정 처리부(142)는 움직임 벡터 검출부(141)로부터 공급되는 처리 대상 프레임의 움직임 벡터와, 지연부(142a)에 의해 지연된 직전 프레임의 움직임 벡터를, 다음에 설명하는 바와 같이 화소 블록 단위로 비교하고, 이 비교 결과로부터 상관이 높은 화소 블록을 특정한다.

구체적으로, 화소 블록 특정 처리부(142)는 처리 대상 프레임의 하나의 화소 블록의 움직임 벡터를 (x, y)로 하고, 이에 대응하는 직전 프레임의 화소 블록의 움직임 벡터를 (x', y')로 하고, 임의로 결정되는 상관 판정 계수를 α로 하여, 하기의 수학식 1에 의해, 이 화소 블록의 벡터 상관 계수 σ를 산출한다.

또한, 상관 판정 계수 α는, 그 정의 영역을 0<α<1로 하고, α의 값이 클수록, 벡터 상관 계수 σ의 값이 1로서 산출되는 계수이다.

화소 블록 특정 처리부(142)는, 전술한 수학식 1로부터 각 화소 블록의 벡터 상관 계수 σ를 산출하고, 벡터 상관 계수 σ가 1인 화소 블록을 상관이 높은 움직임 벡터를 갖는 것으로서 특정한다.

움직임 벡터 추정 처리부(143)는, 화소 블록 특정 처리부(142)에서 벡터 상관 계수 σ의 값이 1로서 특정된 화소 블록의 움직임 벡터로부터, 이 벡터 상관 계수 σ의 값이 0인 화소 블록의 움직임 벡터를 추정한다.

즉, 움직임 벡터 추정 처리부(143)는, 전단의 화소 블록 특정 처리부(142)에서, 벡터 상관 계수 σ의 값이 1로 된 화소 블록이 유효한 움직임 벡터를 갖고 있는 것으로 하여, 그 이외의 화소 블록, 즉 벡터 상관 계수 σ의 값이 0으로 되어 유효하지 않은 움직임 벡터를 갖고 있는 화소 블록의 움직임 벡터를 갱신한다.

구체적인 움직임 벡터 추정 처리부(143)의 처리 공정에 대해서는, 도 4를 참조하여 상세히 설명한다.

스텝 S1에서, 움직임 벡터 추정 처리부(143)는 처리 대상 프레임에서의 현재의 처리 대상의 화소 블록(이하, 주목 화소 블록이라고 함)의 벡터 상관 계수 σ가 1인지 0인지를 판단한다. 즉, 움직임 벡터 추정 처리부(143)는, 이 화소 블록의 움직임 벡터가 유효한지의 여부를 판단한다. 그리고, 움직임 벡터 추정 처리부(143)는, 이 화소 블록의 움직임 벡터가 유효할 때 움직임 벡터의 값을 갱신하지 않고 본 처리 공정을 종료하고, 이 화소 블록의 움직임 벡터가 유효하지 않을 때 스텝 S2로 진행한다.

스텝 S2에서, 움직임 벡터 추정 처리부(143)는 주목 화소 블록에 대해, 그 주목 화소 블록의 주변에 유효한 벡터를 갖는 주변 화소 블록이 존재하는지의 여부를 판단한다. 구체적으로는, 움직임 벡터 추정 처리부(143)는 주변 화소 블록으로서, 이 주목 화소 블록에 인접하는 합계 8개의 화소 블록에 대해 유효한 움직임 벡터가 존재하는지의 여부를 판단하고, 유효한 움직임 벡터가 존재할 때, 스텝 S3으로 진행하고, 유효한 움직임 벡터가 존재하지 않을 때, 이 주목 화소 블록의 움직임 벡터를 갱신하지 않고 본 처리 공정을 종료한다.

여기서, 유효한 움직임 벡터가 존재하지 않는 주목 화소 블록에 대해, 보다 광범위하게 위치하는 주변 화소 블록을 이용하여 추정 처리를 행하지 않는 이유는, 다음과 같다.

제1 이유로서는, 보다 광범위하게 위치하는 화소 블록을 이용하여 추정 처리 를 행하는 것은 가능하지만, 만약 실현하였다고 하여도, 고정 시간 처리에서 본 처리 공정을 종료하기 위해서는, 주변 화소 블록으로서 취급되는 화상 데이터를 일시적으로 기억하기 위한 기억 영역이 증대되게 되기 때문이다.

제2 이유로서는, 본 처리 공정의 후단에서, 전술한 인접하는 합계 8개의 화소 블록보다도 광범위한 주변 화소 블록을 이용하여 주목 화소 블록의 움직임 벡터에 대해 평활화 처리를 실시함으로써, 유효하지 않은 움직임 벡터를 적절하게 보정할 수 있기 때문이다.

스텝 S3에서, 움직임 벡터 추정 처리부(143)는, 유효한 움직임 벡터를 갖는 주변 화소 블록의 움직임 벡터만으로부터, 이 주목 화소 블록의 움직임 벡터를 추정하여 갱신하고, 본 처리를 종료한다. 움직임 벡터 추정 처리부(143)에서는, 추정 처리의 일례로서, 유효한 움직임 벡터를 갖는 주변 화소 블록의 움직임 벡터만을 입력으로 한 메디안 필터에 의해 주목 화소 블록의 움직임 벡터를 출력하여 평활화한다.

움직임 벡터 추정 처리부(143)는, 이상과 같이 하여 처리 대상 프레임의 움직임 벡터를 화소 블록 단위로 추정한다. 그리고, 움직임 벡터 추정 처리부(143)는 화소 블록 특정 처리부(142)에서 특정된 움직임 벡터를 포함시킨 움직임 벡터를, 움직임 벡터 평활화 처리부(144)에 공급한다.

움직임 벡터 평활화 처리부(144)는 처리 대상 화상을 구성하는 각 화소 블록의 움직임 벡터에 대해 평활화 처리를 실시한다. 구체적으로, 움직임 벡터 평활화 처리부(144)는, 평활화 처리 전의 주목 화소 블록의 움직임 벡터와 전술한 인접 화 소 블록보다도 광범위한 주변 화소 블록의 움직임 벡터를 입력 I(x+i, y+j)로 하여, 하기에 나타내는 수학식 2로 표현되는 바와 같은 가우스형 함수에 의해, 평활화 처리 후의 주목 화소 블록의 움직임 벡터 J(x, y)를 출력한다.

여기서, r은 주목 화소 블록과 각 주변 화소 블록과의 2차원 공간 상의 거리를 나타내고, σ²은 이 거리 r에 대한 분산을 나타내고, t²은 움직임 벡터에 대한 분산을 나타내고 있다. 즉, σ² 및 t²은, 평활화의 정도를 나타내는 값으로서 임의로 설정되는 파라미터로 되어 있다.

움직임 벡터 평활화 처리부(144)는, 처리 대상 프레임을 구성하는 각 화소 블록에 대해 전술한 평활화 처리를 실시하여, 움직임 벡터 VD를 움직임 흐려짐 부가 처리부(150)에 공급한다.

이와 같이, 움직임 벡터 평활화 처리부(144)는 처리 대상 프레임을 구성하는 각 화소 블록으로부터, 유효한 움직임 벡터를 갖는 화소 블록을 특정하고, 이 유효한 움직임 벡터로부터 그 이외의 움직임 벡터를 추정하므로, 정밀도 좋게 실제의 동체의 움직임에 따른 움직임 벡터를 생성할 수 있다.

또한, 움직임 벡터 생성 처리부(140)에서는, 움직임 벡터 검출부(141)에 의 해 검출한 움직임 벡터를, 화소 블록 특정 처리부(142) 및 움직임 벡터 추정 처리부(143)를 통하지 않고, 직접 움직임 벡터 평활화 처리부(144)에 공급하여 평활화 처리를 실시하여도 되고, 이와 같은 처리를 행한 경우에도, 전술한 부호화 정보로서 움직임 벡터에 비해, 실제의 동체의 움직임에 따른 정밀도가 좋은 움직임 벡터를 생성할 수 있다.

다음으로, 움직임 흐려짐 부가 처리부(150)의 구체적인 구성에 대해서, 도 5를 참조하여 상세히 설명한다.

움직임 흐려짐 부가 처리부(150)는, 도 5에 도시한 바와 같이 움직임 흐려짐을 부가하는 화상 영역을 특정하는 움직임 벡터 마스크 정보를 생성하는 움직임 벡터 마스크 처리부(151)와, 움직임 벡터에 따라서 적합한 셔터 속도(이하, 최적 셔터 속도 정보라고 함)를 산출함과 함께, 이 최적 셔터 속도 정보와 실제로 동화상이 촬상되었을 때의 셔터 속도 정보를 비교하여 후술하는 판별 처리를 행하는 최적 셔터 속도 산출/판별부(152)와, 최적 셔터 속도 산출/판별부(152)의 판별 결과에 기초하여 움직임 벡터를 보정하는 움직임 벡터 보정부(153)와, 처리 대상 프레임의 각 화소에 따른 움직임 흐려짐 부가를 위한 필터 파라미터를 산출하는 필터 파라미터 산출부(154)와, 처리 대상 프레임의 각 화소의 화소값에 대해 움직임 흐려짐 필터 처리를 실시하는 움직임 흐려짐 부가 필터(155)로 구성되어 있다.

여기서, 화소 단위로 모든 처리를 행하는 것도 가능하지만, 연산 처리의 부담을 경감하기 위해, 움직임 흐려짐 부가 처리부(150)에서는 움직임 벡터 마스크 처리부(151), 최적 셔터 속도 산출/판별부(152) 및 움직임 벡터 보정부(153)에 관 련되는 처리를, 화소 블록 단위로 행하는 것으로 한다. 또한, 필터 파라미터 산출부(154) 및 움직임 흐려짐 부가 필터(155)는, 복호 화상 데이터 DD에 움직임 흐려짐을 부가하는 필터 처리에 해당으므로, 화소 블록이 아니라, 화소 단위로 행한다.

움직임 벡터 마스크 처리부(151)는 처리 대상 프레임 중, 움직임 흐려짐을 부가하는 화상 영역을 특정하기 위해, 움직임 벡터 생성 처리부(140)로부터 공급되는 화소 블록 단위의 움직임 벡터 VD에 대해, 도 6에 도시한 바와 같은 마스크 처리를 실시하여, 마스크 처리 후의 화소 블록 단위의 움직임 벡터를 최적 셔터 속도 산출/판별부(152) 및 움직임 벡터 보정부(153)에 공급한다.

여기서, 움직임 흐려짐을 부가할 필요가 있는, 제키네스 열화가 발생하기 쉬운 화상 영역은, 특히 화면 내의 동체 화상 영역 및 엣지 주변의 화상 영역에 집중한다.

따라서, 움직임 벡터 마스크 처리부(151)에서는, 도 6에 도시하는 처리에 의해, 제키네스가 발생하기 쉬운, 공간 콘트라스트가 높은 엣지 주변의 화소 블록의 움직임 벡터만 유효한 값으로서 출력한다. 즉, 스텝 S11에서, 움직임 벡터 마스크 처리부(151)는, 복호 처리부(130)로부터 공급되는 복호 화상 데이터 DD에 대해, 화소 블록 단위로, 처리 대상 프레임 내의 공간 콘트라스트가 높은 영역을 특정하기 위한 처리로서 화상의 엣지를 검출한다.

또한, 스텝 S11의 처리와 병렬하여, 스텝 S12에서, 움직임 벡터 마스크 처리부(151)는, 처리 대상 프레임 내의 동체 영역을 특정하기 위한 처리로서, 프레임간에서의 차분을 화소 블록 단위로 산출함으로써 동체 화상 영역을 검출한다.

스텝 S13에서, 움직임 벡터 마스크 처리부(151)는, 전술한 스텝 S11 및 스텝 S12 중 어느 한쪽 또는 양쪽에 관련되는 처리로, 제키네스 열화가 발생하기 쉬운 영역으로서 검출되었는지의 여부를, 화소 블록 단위로 판단한다. 그리고, 제키네스 열화가 발생하기 쉬운 영역으로 판단한 화소 블록에 대해, 움직임 벡터 마스크 처리부(151)는 마스크 처리용의 플래그를 「1」로 설정한다. 또한, 제키네스가 발생하기 쉬운 영역으로 판단되지 않았던 화소 블록에 대해, 움직임 벡터 마스크 처리부(151)는 마스크 처리용의 플래그를 「0」으로 설정한다.

스텝 S14에서, 움직임 벡터 마스크 처리부(151)는 움직임 벡터 생성 처리부(140)로부터 공급되는 움직임 벡터 VD에 대해, 전술한 플래그가 「1」로 설정되어 있는 화소 블록의 움직임 벡터 VD인지의 여부를 판단한다.

움직임 벡터 마스크 처리부(151)는, 플래그가 「1」로 설정되어 있는 화소 블록의 움직임 벡터에 대해서는, 그 값을 바꾸지 않고, 후단의 최적 셔터 속도 산출/판별부(152) 및 움직임 벡터 보정부(153)에 출력한다.

또한, 움직임 벡터 마스크 처리부(151)는, 플래그가 「0」으로 설정되어 있는 화소 블록의 움직임 벡터에 대해서는, 스텝 S15에서, 움직임 벡터의 값을 0 또는 무효로 하는 마스크 처리를 실시하여, 후단의 최적 셔터 속도 산출/판별부(152) 및 움직임 벡터 보정부(153)에 출력한다.

다음으로 최적 셔터 속도 산출/판별부(152) 및 움직임 벡터 보정부(153)에 관련되는 처리 공정에 대해서 도 7을 이용하여 설명한다.

스텝 S31로서, 최적 셔터 속도 산출/판별부(152)는, 예를 들면 도 8에 도시 한 바와 같은 평가 지표에 기초하여 처리 대상 프레임의 각 화소 블록의 움직임 벡터에 따른 최적 셔터 속도를 산출한다.

여기서, 도 8은 움직임 벡터로서 검출되는 동체의 이동 속도를 나타내는 피사체 속도와, 이 피사체 속도에 따른 최적 셔터 속도 곡선을 나타낸 도면이다. 또한, 최적 셔터 속도란, 피사체의 이동 속도에 따른, 시각 특성상, 제키네스 열화가 지각되기 어렵고, 또한 움직임 흐려짐이 과도하게 부가됨으로써 피사체의 디테일이 결손되거나 불선명하게 되는 흐려짐 열화도 지각되기 어려운 셔터 속도이다. 즉, 이 최적 셔터 속도보다도 빠른 셔터 속도로 피사체를 촬상하면, 촬상 화상에는 제키네스 열화가 생겨 있다라고 판단할 수 있다. 한편, 이 최적 셔터 속도보다도 느린 셔터 속도로 피사체를 촬상하면, 촬상 화상에는 흐려짐 열화가 생겨 있다라고 판단할 수 있다.

따라서, 최적 셔터 속도 산출/판별부(152)는, 각 화소 블록의 움직임 벡터를 도 8 중의 피사체 속도에 대응시킴으로써, 각 화소의 움직임 벡터에 따른 최적 셔터 속도를 산출한다. 또한, 도 8의 실선으로 나타내어져 있는 최적 셔터 속도 곡선 SS0은, 임의의 피사체 속도와 최적의 셔터 속도의 대응 관계를 나타낸 일례라서, 구체적으로는 심리 실험에 기초하여 얻어진 실험 결과값을 연결한 곡선이다. 여기서, 도 8에 도시한 움직임 흐려짐 영역 A1은, 최적 셔터 속도 곡선 SS0에 기초하여, 피사체의 움직임에 의한 움직임 흐려짐이 과도하게 포함된다고 판별되는 영역이다. 마찬가지로 하여, 제키네스 영역 A2는, 최적 셔터 속도 곡선 SS0에 기초하여, 피사체의 움직임에 의한 움직임 흐려짐이 포함되지 않고, 시각 특성상 제키 네스 열화가 생겨 있다라고 판별되는 영역이다.

이 실선으로 나타내어져 있는 최적 셔터 속도 곡선 SS0을 직접 이용하여, 움직임 벡터에 따른 최적 셔터 속도를 구하는 경우에는, 임의의 눈금 폭으로 움직임 벡터에 따른 최적 셔터 속도 정보를 테이블로서 기억 매체에 미리 기억하고, 이 기록 매체를 참조하면 된다.

또한, 본 실시 형태에서는, 이 실선으로 나타내어진 최적 셔터 속도 곡선에 근사하는 함수를 이용함으로써, 움직임 벡터에 따른 최적 셔터 속도를 산출하도록 하여도 된다. 이 경우, 최적 셔터 속도 산출/판별부(152)는, 임의의 화소 블록에서의 움직임 벡터를 v로 하여, 하기의 수학식 3으로 표현되는 최적 셔터 속도 곡선의 근사 함수에 의해 최적 셔터 속도 SSD'를 산출한다.

또한, 전술한 수학식 3에서의 각 파라미터 A, B, γ는, 도 8 중에 도시한 최적 셔터 속도 곡선의 곡선 형상에 따라서 적절한 값을 선택하여 이용하도록 하면 된다. 셔터 속도 곡선의 구체예로서, 도 8에서는 수학식 3 내의 각 파라미터 중, A, B의 값을 고정으로 하고, γ를 3단계로 변화시켰을 때의 곡선 형상 SS1∼SS3을 나타내고 있다.

움직임 벡터에 따른 최적 셔터 속도 SSD'가 산출되면, 스텝 S32에서, 최적 셔터 속도 산출/판별부(152)는, 이 최적 셔터 속도 SSD'와, 복호 처리부(130)로부 터 공급되는 실제로 촬상된 셔터 속도 SSD를 비교하여, 화소 블록 단위로 도 8에 도시한 제키네스 영역 A2에 해당하고 있는지를 판별한다.

이 판별 결과로부터, 현재의 처리 대상의 화소 블록에서, 셔터 속도 SSD가 최적 셔터 속도 SSD'보다도 빨라, 제키네스 영역 A2에 해당할 때, 움직임 벡터 보정부(153)은, 스텝 S33으로 진행한다. 또한, 현재의 처리 대상의 화소 블록에서, 셔터 속도 SSD가 최적 셔터 속도 SSD'보다도 느려 제키네스 영역 A2에 해당하지 않을 때, 움직임 벡터 보정부(153)는, 스텝 S34로 진행한다.

스텝 S33에서, 움직임 벡터 보정부(153)는 처리 대상의 화소 블록에서 제키네스 열화가 생겨 있으므로, 예를 들면 셔터 속도 SSD가 빨라지는 것에 수반하여 증가하여 값이 1에 수속하는 함수 fs(SSD)를 움직임 벡터의 값에 곱하는 처리를 행한다.

또한, 움직임 벡터 보정부(153)는, 함수 fs(SSD) 대신에, 움직임 벡터 VD를 변수로 한 fs(VD) 또는, 셔터 속도 SSD와 움직임 벡터 VD를 2변수로 한 fs(SSD, VD)를 이용하여 승산 처리를 행하도록 하여도 된다.

스텝 S34에서, 움직임 벡터 보정부(153)는 처리 대상의 화소 블록에서 제키네스 열화가 생겨 있지 않으므로, 예를 들면 이 움직임 벡터의 값에 0을 곱하여 무효로 하는 마스크 처리를 실시한다.

이와 같이 하여, 최적 셔터 속도 산출/판별부(152)는, 처리 대상으로 되어 있는 동화상이 실제로 촬상되었을 때의 셔터 속도 SSD를 고려하여, 제키네스 열화가 생겨 있는지의 여부를 판별한다. 그리고, 움직임 벡터 보정부(153)는 제키네스 열화가 생겨 있다고 판별된 화소 블록의 움직임 벡터에 대해, 적절한 움직임 흐려짐을 부가하기 위한 보정 처리를 실시하므로, 시각 특성상, 보다 자연스러운 동화상으로 되도록 움직임 흐려짐 부가 처리를 행할 수 있다.

본 실시 형태에서는, 화상 데이터에 의해 나타내어지는 화상의 움직임 흐려짐의 정도를 변화시키는 촬상 조건을 나타내는 촬상 정보의 일례로서, 셔터 속도 정보를 예로 들어 설명하였지만, 다음에 설명하는 바와 같은 촬상 조건을 나타내는 촬상 정보를 이용하여 움직임 벡터를 보정하도록 하여도 된다.

즉, 촬상 소자에 입사시키는 광량을 제한하여 노광량을 제어하는 조리개 기구를 갖는 촬상 장치에 의해 화상 데이터가 촬상되어 있는 경우, 움직임 흐려짐 부가 처리부(150)에서는 촬상 정보로서, 화상 데이터를 촬상하였을 때의 조리개값 F를 나타내는 조리개값 정보에 기초하여, 움직임 벡터를 보정하도록 하여도 된다. 구체적으로, 조리개값 F가 크고 피사계 심도가 깊은 촬상 조건에서 촬상된 화상 데이터에 의해 나타내어지는 화상은, 공간 콘트라스트가 높은 화상 영역이 보다 증가하므로, 제키네스 열화가 눈에 띄기 쉽다고 하는 특징이 있다. 따라서, 움직임 흐려짐 부가 처리부(150)에서는, 조리개값 F가 커지는 것에 수반하여 증가하여 값이 1에 수속하는 함수를 움직임 벡터의 값에 곱하는 보정 처리를 하면 된다.

또한, 자이로스코프에 의해 검출되는 각속도에 따라서 촬상 화상의 흔들림을 보정하는 흔들림 보정 기구를 갖는 촬상 장치에 의해 화상 데이터가 촬상되어 있는 경우, 움직임 흐려짐 부가 처리부(150)에서는 촬상 정보로서, 이 화상 데이터를 촬상하였을 때의 자이로스코프에 의해 검출되는 각속도를 나타내는 각속도 정보에 기 초하여, 움직임 벡터를 보정하도록 하여도 된다. 구체적으로, 자이로스코프에 의해 검출되는 각속도가 큰 촬상 조건에서 촬상된 화상 데이터에 의해 나타내어지는 화상은, 화면 내의 움직임이 커서, 제키네스 열화가 눈에 띄기 쉽다고 하는 특징이 있다. 따라서, 움직임 흐려짐 부가 처리부(150)에서는, 자이로스코프에 의해 검출되는 각속도가 커지는 것에 수반하여 증가하여 값이 1에 수속하는 함수를 움직임 벡터의 값에 곱하는 보정 처리를 하면 된다.

또한, 피사체를 확대한 줌 기능을 갖는 촬상 장치에 의해 화상 데이터가 촬상되어 있는 경우, 움직임 흐려짐 부가 처리부(150)에서는 촬상 정보로서, 이 화상 데이터를 촬상하였을 때의 촬상 장치에 설치되어 있는 줌 기능의 확대율을 나타내는 줌 정보에 기초하여, 움직임 벡터를 보정하도록 하여도 된다. 구체적으로, 확대율이 큰 촬상 조건에서 촬상된 화상 데이터에 의해 나타내어지는 화상은 화면 내의 움직임이 커서, 제키네스 열화가 눈에 띄기 쉽다고 하는 특징이 있다. 따라서, 움직임 흐려짐 부가 처리부(150)에서는, 확대율이 커지는 것에 수반하여 증가하여 값이 1에 수속하는 함수를 움직임 벡터의 값에 곱하는 보정 처리를 하면 된다.

또한, 움직임 흐려짐 부가 처리부(150)에서는, 전술한 셔터 속도 정보, 조리개값 정보, 각속도 정보 및 줌 정보를 조합하여 이용하여 움직임 벡터를 보정하도록 하여도 된다. 또한, 촬상 정보는, 전술한 셔터 속도 정보, 조리개값 정보, 각속도 정보 및 줌 정보에 한정되는 것이 아니라, 화상 데이터에 의해 나타내어지는 화상의 움직임 흐려짐의 정도를 변화시키는 촬상 조건을 나타내는 정보이면, 다른 정보를 이용하여 움직임 벡터의 보정 처리를 하여도 된다.

필터 파라미터 산출부(154)는 처리 대상 프레임을 구성하는 각 화소에 대해 움직임 흐려짐을 부가하기 위해, 다음에 설명하는 바와 같은 필터 파라미터를 화소 단위로 산출한다. 우선, 필터 파라미터 산출부(154)는, 유효한 움직임 벡터 정보를 갖는 화소를 주목 화소로 하여, 각 주목 화소의 움직임 벡터 상에 위치하는 화소(이하, 파라미터 산출 대상 화소라고 함)를 특정한다. 그리고, 필터 파라미터 산출부(154)는, 이 주목 화소에 대한 특정된 파라미터 산출 대상 화소의 상대 위치에 따른 필터 파라미터를, 다음에 나타내는 바와 같이 하여 산출한다.

즉, 필터 파라미터 산출부(154)는, 도 9에 도시한 바와 같이, 움직임 벡터의 시점 S와 종점 E의 중점을 주목 화소 P0의 위치로 한 벡터 상에 위치하는 화소 모두를 파라미터 산출 대상 화소로서 특정한다. 또한, 도 9에 도시한 바와 같이, 절대값 v는 주목 화소의 움직임 벡터의 절대값이다.

계속해서, 필터 파라미터 산출부(154)는 움직임 벡터의 절대값 v와, 주목 화소 P0의 화소 위치와 전술한 처리에 의해 특정한 파라미터 산출 대상 화소 P1의 화소 위치 사이의 거리 d에 따라서, 움직임 흐려짐 부가의 강도 σ를 하기의 수학식 4에 의해 산출한다.

여기서, 수학식 내의 강도 σ를 제곱한 값이 후단의 움직임 흐려짐 부가 필터(155)에서의 가우스형 함수의 분산으로 되도록, 수학식 4는 설정되어 있다.

또한, 필터 파라미터 산출부(154)는 주목 화소 P0을 원점으로 하였을 때의 각 파라미터 산출 대상 화소 P1의 직교 좌표 평면 x-y의 좌표점을 (x₁, y₁)로 하여, 움직임 흐려짐을 부가하는 각도 방향 θ를 하기의 수학식 5로부터 산출한다.

이와 같이 하여, 필터 파라미터 산출부(154)는 주목 화소의 움직임 벡터로부터 파라미터 산출 대상 화소를 특정하고, 특정한 각 파라미터 산출 대상 화소에 대해 파라미터 정보(σ, θ)를 설정하고, 처리 대상 프레임 단위로 움직임 흐려짐 부가 필터(155)에 공급한다.

또한, 필터 파라미터 산출부(154)에 관련되는 처리에서는, 임의의 화소에 대해 중복하여 파라미터 산출 대상 화소가 특정되는 경우가 있다. 이 경우에는, 처리를 단순화하기 위해, 예를 들면 중복하여 특정된 파라미터 정보 중, σ가 큰 값의 정보를, 그 화소의 파라미터 정보로서 설정하면 된다. 또한, 필터 파라미터 산출부(154)에서는, 각 파라미터 산출 대상 화소의 파라미터 정보(σ, θ)에 대해, 가우스 함수형 필터 처리나 메디안 필터 처리 등의 평활화 처리를 실시함으로써, 후단의 움직임 흐려짐 부가 필터(155)로부터 출력되는 동화상의 화질을 높일 수 있다.

움직임 흐려짐 부가 필터(155)는, 필터 파라미터 산출부(154)로부터 공급되 는 파라미터 정보에 따라서, 복호 처리부(130)로부터 공급되는 복호 화상 데이터 DD의 처리 대상 프레임의 각 화소의 화소값에 대해, 다음에 설명하는 바와 같은 처리 대상 프레임 내에서의 공간적인 필터 처리를 실시한다. 본 실시 형태에서, 움직임 흐려짐 부가 필터(155)는, 이하에 설명하는 제1 필터 처리, 또는 제2 필터 처리의 한쪽 또는 양쪽을 실행함으로써, 움직임 흐려짐을 부가한 화상을 출력한다.

우선, 제1 필터 처리에 대해서 설명한다. 제1 필터 처리에서, 움직임 흐려짐 부가 필터(155)는, 움직임 흐려짐 부가 필터 처리 전의 움직임 흐려짐 부가 대상 화소의 화소값과 화소의 주변에 위치하는 주변 화소의 화소값을 입력 I(x+i, y+j)로 하여, 하기의 수학식 6으로 표현되는 바와 같은 가우스형 함수에 의해, 필터 처리 후의 주목 화상의 화소값 J(x, y)를 출력한다.

또한, 입력 I(x+i, y+j)로 되는 주변 화소는, 움직임 벡터를 부가하는 각도 방향에 따라서 설정된다. 또한, r은 움직임 흐려짐 부가 대상 화소와 주변 화소 사이의 거리를 나타낸다.

움직임 흐려짐 부가 필터(155)는 처리 대상 프레임을 구성하는 전체 화소 중, 파라미터 정보(σ, θ)가 설정되어 있는 화소마다, 전술한 필터 처리를 실시하여 화소값을 갱신한다. 이와 같이 하여 움직임 흐려짐 부가 필터(155)는, 제키네 스 열화가 저감된 동화상을 동화상 표시 출력부(160)에 공급할 수 있다.

그런데, 주목 화소의 주변에 위치하는 주변 화소에는, 본래 움직임이 없는 영역, 즉 배경 영역으로 되어 있는 것이 있다. 이와 같은 배경 영역에 위치하는 주변 화소는, 본래 주목 화소에 대해 움직임 흐려짐을 부가하는 데에 고려할 필요가 없다. 이와 같은 점에 주목한 처리 방법이 다음에 설명하는 제2 필터 처리이다.

즉, 제2 필터 처리에서, 움직임 흐려짐 부가 필터(155)는 주목 화소의 움직임 벡터의 값이 0 또는 무효일 때에, 그 주목 화소의 주변에 위치하는 주변 화소 중 움직임 벡터의 값이 0 또는 무효인 화소의 화소값 I(x+i₀, y+j₀)을 주목 화소의 화소값 I(x, y) 대신에, 상기의 수학식 6에 의해 주목 화소의 화소값 J(x, y)를 산출한다. 이와 같이 하여, 움직임 흐려짐 부가 필터(155)는, 제1 필터 처리보다도, 시각 특성상 자연스럽게 제키네스 열화를 저감한 화상을 출력한다.

이상과 같이, 이 수신/재생 장치(100)에 따르면, 화소 블록 특정 처리부(142)가 처리 대상 프레임의 움직임 벡터와 직전 프레임의 움직임 벡터를 비교하고, 이 비교 결과로부터 유효한 움직임 벡터를 갖는 화소 블록을 특정하고, 움직임 벡터 추정 처리부(143)가 이 특정된 화소 블록의 움직임 벡터로부터, 그 이외의 화소 블록의 움직임 벡터를 추정함으로써, 모든 화상 영역에 대해 실제의 움직임을 보다 충실히 표현한 정밀도가 높은 움직임 벡터를 생성하므로, 이 생성한 움직임 벡터에 따라서 시각 특성상, 보다 자연스러운 동화상으로 되도록 움직임 흐려짐을 부가할 수 있다. 따라서, 이 수신/재생 장치(100)에 따르면, 제키네스 열화를 포함하는 동화상 데이터로부터, 인간의 시각 특성상, 보다 자연스럽게 제키네스 열화를 저감한 동화상을 출력할 수 있다.

또한, 이 수신/재생 장치(100)에 따르면, 최적 셔터 속도 산출/판별부(152)가 동화상의 촬상 시의 셔터 속도 정보에 따라서 움직임 벡터를 보정함으로써, 후단의 필터 파라미터 산출부(154)에서 산출되는 움직임 흐려짐 부가 강도 σ의 값을 제어하므로, 움직임 흐려짐 부가 필터(155)에 의해 촬상 시의 셔터 속도 정보에 따라서 적절한 움직임 흐려짐을 부가할 수 있어, 인간의 시각 특성상, 보다 자연스럽게 제키네스 열화를 저감한 화상을 출력할 수 있다.

또한, 전술한 본 실시 형태에 따른 수신/재생 장치(100)에서는, 움직임 벡터를 이용하여 각 단위 화상에 움직임 흐려짐을 부가하는 공간적인 필터 처리 대신에, 다른 움직임 정보를 이용하여 화상 데이터에 움직임 흐려짐을 부가하도록 하여도 된다.

예를 들면, 수신/재생 장치(100)는, 1프레임에 대해 복수의 프레임을 서로 겹치게 하는 시간적인 필터 처리를 행함으로써, 동화상에 움직임 흐려짐을 부가하는 처리를 행하도록 하여도 된다. 이 경우, 수신/재생 장치(100)는 움직임 벡터 대신에, 움직임 정보로서 프레임간의 차분에 의해 동체 화상 영역을 검출하고, 이 검출한 동체 화상 영역을 나타내는 정보를 촬상 정보에 기초하여 보정하고 나서, 이 움직임 정보를 이용하여 시간적인 필터 처리를 실시함으로써, 촬상 시의 셔터 속도 정보에 따라서 적절한 움직임 흐려짐을 부가할 수 있어, 인간의 시각 특성상, 보다 자연스럽게 제키네스 열화를 저감한 화상을 출력할 수 있다.

또한, 이 시간적인 필터 처리의 구체예로서, 매초당 240프레임의 프레임 레이트로 촬상한 화상으로부터, 이와 같은 제키네스 열화를 저감하기 위해, 움직임 흐려짐을 부가한 매초당 60프레임의 프레임 레이트의 동화상을 출력하는 화상 처리 장치가, 본건 출원인이 앞서 출원하고, 본 출원의 우선일에서 미공개인 특허 문헌(일본 특원 제2006-096792)에 기재되어 있다.

또한, 이 수신/재생 장치(100)를 구성하는 각 처리부는, 예를 들면 FPGA 등에 의해 설계되는 하드웨어에 의해 실현된다. 또한, 전술한 부호화된 화상 데이터로부터 움직임 흐려짐이 부가된 복조 화상 데이터를 출력할 때까지의 각 처리부가 행하는 화상 처리 공정은, 프로그램에 따라서 컴퓨터에 의해 실행되도록 하여도 된다.

<제2 실시 형태>

다음으로, 화상 처리 장치(1)가 적용된 제2 실시 형태에 따른 화상 처리 장치로서, 도 10에 도시한 바와 같은 피사체를 촬상하고, 그 촬상한 동화상에 전술한 움직임 흐려짐 부가 처리를 실시하여, 전송로에의 송신 처리, 또는 DVD 등의 기록 매체(400)에의 기록 처리를 행하는 송신/기록 장치(300)의 구성에 대해서 설명한다.

본 실시 형태에서는, 전술한 제1 실시 형태와 마찬가지로, 화상 데이터가 프레임 레이트 60fps의 프로그레시브 형식의 단위 화상으로 구성되어 있는 것으로서 설명한다. 또한, 프로그레시브 형식에 한정되는 것이 아니라, 인터레이스 방식에 의해 동화상의 단위 화상이 구성되어 있도록 하여도 된다. 또한, 프레임 레이트에 대해서도, 본 실시 형태에서 이용하는 60[fps]에만 한정되는 것은 아니다.

송신/기록 장치(300)는, 도 10에 도시한 바와 같이, 피사체상으로부터의 광을 집광하는 촬상 광학계(310)와, 이 촬상 광학계(310)에 의해 집광된 광을 수광하여 화상 신호로 변환하는 촬상 소자(320)와, 화상 신호로부터 움직임 벡터를 생성하는 움직임 벡터 생성 처리부(330)와, 화상 신호에 대해 움직임 흐려짐을 부가하는 움직임 흐려짐 부가 처리부(340)와, 화상 신호를 MPEG 등의 움직임 정보에 기초하여 예측 부호화하는 동화상 부호화 처리부(350)와, 화상 신호를 JPEG 등의 부호화 방법에 의해 부호화하는 정지 화상 부호화 처리부(360)와, 부호화된 화상 데이터를 전송로를 통하여 외부로 송신하는 송신 처리부(370)와, 부호화된 화상 데이터를 기록 매체(400)에 기록하는 기록 처리부(380)를 구비한다.

촬상 광학계(310)는, 외부로부터 입사하는 광량을 조절하는 조리개 기구(311)와, 이 조리개 기구에 의해 광량이 조절된 피사체광을 촬상 소자(320)의 수광면에 집광시키는 광학 렌즈계(312)로 구성되어 있다.

촬상 소자(320)는 촬상 광학계(310)에 의해 집광된 광을 수광면에서 수광하여 화상 신호로 변환한다. 촬상 소자(320)는, 이 화상 신호를 동화상으로서 처리하는 경우에는, 움직임 흐려짐 부가 처리부(340) 및 움직임 벡터 생성 처리부(330)에 공급한다. 또한, 촬상 소자(320)는, 이 화상 신호를 정지 화상으로서 처리하는 경우에는, 정지 화상 부호화 처리부(360)에 공급한다.

이상과 같은 촬상 광학계(310) 및 촬상 소자(320)를 구비하는 송신/기록 장 치(300)는 셔터 속도를 제어함으로써 노광량을 제어하기 때문에, 촬상 소자의 유효 노광 시간을 제어하는 전자 셔터, 개폐 기구를 이용하여 유효 노광 시간 중만 개방하여 촬상 소자측에 렌즈로부터의 광을 통과시키는 메카니컬 셔터 및 액정 소자의 투과율을 제어하여 유효 노광 시간 중만 촬상 소자측에 렌즈로부터의 광을 통과시키는 액정 셔터 등에 의해 실현되는 셔터 기능을 갖고 있다.

또한, 송신/기록 장치(300)는 조리개 기구(311)를 이용하여 조리개값 F를 조정함으로써 노광량을 제어한다.

또한, 송신/기록 장치(300)는 촬상 화상의 흔들림을 보정하기 위해 전술한 흔들림 보정 기능이나, 피사체를 확대하여 촬상하기 위한 줌 기능을 설정하여도 된다.

이상과 같이 송신/기록 장치(300)에서는 화상 데이터에 의해 나타내어지는 화상의 움직임 흐려짐의 정도를 변화시키는 촬상 조건을 나타내는 다양한 촬상 정보를 조정함으로써 피사체를 촬상하고, 이와 같은 촬상 정보를 움직임 흐려짐 부가 처리부(340)에 통지한다. 또한, 촬상 정보는 화상 신호의 메타 데이터로서 포함시켜 출력하도록 하여도 된다.

이하에서는, 촬상 소자(320)로부터 출력되는 화상 신호가, 예를 들면 노광 제어하기 위해 셔터 속도를 빠르게 한 것에 의해, 제키네스 열화가 생겨 있는 것으로서 설명한다.

움직임 벡터 생성 처리부(330)는 촬상 소자(320)로부터 공급되는 화상 데이터로부터 다음에 설명하는 처리에 의해, 처리 대상 프레임마다 움직임 벡터를 생성 하여, 움직임 흐려짐 부가 처리부(340) 및 동화상 부호화 처리부(350)에 각각 공급한다.

구체적으로, 움직임 벡터 생성 처리부(330)는, 전술한 제1 실시 형태에서의 움직임 벡터 생성 처리부(140)와 마찬가지의 구성으로 이루어지고, 이 구성에 의해, 처리 대상 프레임을 구성하는 각 화소 블록에 대해 정밀도 좋게 움직임 벡터를 생성할 수 있다. 또한, 움직임 벡터 생성 처리부(330)의 구체적인 구성과 그 처리에 관해서는, 그 설명을 생략한다.

또한, 송신/기록 장치(300)에서는, 제1 실시 형태와 마찬가지로, 움직임 벡터 생성 처리부(330)에 관련되는 처리를 행하는 대신에, 움직임 정보로서 프레임간의 차분에 의해 동체 화상 영역을 검출하고, 이 검출한 동체 화상 영역을 나타내는 정보를, 촬상 정보에 기초하여 보정하여 시간적인 필터 처리를 실시함으로써, 촬상 시의 셔터 속도 정보에 따라서 적절한 움직임 흐려짐을 부가할 수 있다.

움직임 흐려짐 부가 처리부(340)는, 촬상 소자(320)로부터 공급되는 화상 데이터에 대해, 다음에 나타내는 처리에 의해, 그 화상 데이터에 대응하는 촬상 정보 및 움직임 벡터 생성 처리부(330)로부터 공급되는 움직임 벡터에 따라서 움직임 흐려짐을 부가한다. 구체적으로, 움직임 흐려짐 부가 처리부(340)는, 전술한 제1 실시 형태에서의 움직임 흐려짐 부가 처리부(150)와 마찬가지의 구성으로 이루어지고, 이 구성에 의해, 예를 들면 동화상의 촬상 시의 셔터 속도 정보에 따른 움직임 흐려짐을 부가하므로, 촬상 정보에 따라서 적절한 움직임 흐려짐을 동화상에 부가할 수 있어, 인간의 시각 특성상, 보다 자연스럽게 제키네스 열화를 저감한 동화상 을 출력할 수 있다. 또한, 움직임 흐려짐 부가 처리부(340)의 구체적인 구성과 그 처리에 관해서는, 그 설명을 생략한다.

동화상 부호화 처리부(350)는 움직임 흐려짐 부가 처리부(340)로부터 공급되는 제키네스 열화가 저감된 화상 데이터를 MPEG 등의 부호화 방법에 의해 부호화하고, 이 부호화한 화상 데이터를, 송신 처리부(370) 및 기록 처리부(380)에 공급한다. 또한, 동화상 부호화 처리부(350)는 움직임 벡터 생성 처리부(330)에서 검출한 움직임 벡터, 또는 움직임 흐려짐 부가 처리부(340)로부터 공급되는 화상 데이터로부터 검출한 움직임 벡터를 이용하여 부호화용의 움직임 벡터 정보를 생성한다.

정지 화상 부호화 처리부(360)는 촬상 소자(320)로부터 공급되는 정지 화상 데이터를, JPEG 등의 부호화 방법으로 부호화하고, 부호화 정지 화상 데이터를, 송신 처리부(370) 및 기록 처리부(380)에 공급한다.

송신 처리부(370)는 부호화된 화상 데이터를 전송로를 통하여 외부에 송신한다. 또한, 기록 처리부(380)는 부호화된 화상 데이터를 기록 매체(400)에 기록한다. 또한, 송신/기록 장치(300)는 화상 데이터를 출력하기 위한 기능으로서, 송신 처리부(370) 및 기록 처리부(380) 중 적어도 어느 한쪽을 구비하고 있으면 된다.

이와 같이 하여, 송신/기록 장치(300)는, 전술한 바와 같이 제키네스 열화가 저감된 화상 데이터를 부호화하여 송신 처리 또는 기록 처리를 행할 수 있다.

따라서, 이 송신/기록 장치(300)에 의해 송신된 송신 데이터 및 기록 매체(400)에 기록된 기록 데이터의 재생을 행하는 재생 장치는 움직임 흐려짐 부가 처리를 행하지 않고, 기존의 재생 처리 공정을 행하는 것만으로, 제키네스 열화가 저감된 동화상을 표시 장치에 표시시킬 수 있다.

또한, 송신/기록 장치(300)에서는, 촬상 소자(320)로부터 출력되는 화상 신호를 정지 화상으로서 처리하는 경우에는, 정지 화상 부호화 처리부(360)를 통하여 송신 처리 또는 기록 처리를 행한다. 또한, 송신/기록 장치(300)는 촬상 소자(320)로부터 출력되는 화상 신호를 정지 화상 데이터로서 처리하는 경우에, 움직임 흐려짐 부가 처리부(340)에 의한 처리를 무효로 하면, 동화상 부호화 처리부(350)를 통하여 송신 처리 또는 기록 처리를 행하도록 하여도 된다.

이와 같이 하여, 송신/기록 장치(300)에서는 촬상 소자(320)에 의해 출력되는 화상 데이터를 동화상으로서 화상 처리를 실시할 때에만, 움직임 흐려짐 부가 처리부(340)가 화상 데이터에 움직임 흐려짐을 부가하는 처리를 행하므로, 예를 들면 화상 데이터를 정지 화상으로서 화상 처리를 실시하는 경우에는 공간적인 콘트라스트가 높은 화상 데이터에 대해 기록 처리 또는 송신 처리를 행할 수 있다.

또한, 제1 실시 형태와 마찬가지로, 송신/기록 장치(300)를 구성하는 각 처리부는, 예를 들면 FPGA 등에 의해 설계되는 하드웨어에 의해 실현된다. 또한, 촬상한 화상 신호에 움직임 흐려짐을 부가하여 기록 처리 또는 송신 처리를 행할 때까지의 각 처리부가 행하는 화상 처리 공정은, 프로그램에 따라서 컴퓨터에 의해 실행시키도록 하여도 된다.

또한, 본 발명은 도면을 참조하여 설명한 전술한 실시예에 한정되는 것이 아니라, 첨부한 청구의 범위 및 그 주지를 일탈하지 않고, 다양한 변경, 치환 또는 그 동등한 것을 행할 수 있는 것은 물론이다.

Claims

피사체를 촬상함으로써 얻은 화상 데이터로서, 그 피사체를 촬상할 때의 촬상 조건에 따라서 그 화상 데이터에 의해 나타내어지는 화상의 움직임 흐려짐의 정도가 변화되는 화상 데이터에 대해, 화상 처리를 실시하는 화상 처리 장치로서,

상기 촬상 조건을 나타내는 촬상 정보에 기초하여, 상기 화상에 관한 움직임을 나타내는 움직임 정보를 보정하는 움직임 정보 보정 수단과,

상기 움직임 정보 보정 수단에 의해 보정된 움직임 정보를 이용하여, 상기 화상 데이터에 대해 화상 처리를 실시함으로써, 상기 화상에 움직임 흐려짐을 부가하는 움직임 흐려짐 부가 수단을 구비하는 화상 처리 장치.
제1항에 있어서,

상기 촬상 정보는, 촬상 시의 셔터 속도를 나타내는 정보인 화상 처리 장치.
제1항에 있어서,

상기 촬상 정보는, 촬상 시의 조리개값을 나타내는 정보인 화상 처리 장치.
제1항에 있어서,

상기 화상 데이터로부터, 상기 움직임 정보로서 움직임 벡터를 생성하는 움직임 벡터 생성 수단을 더 구비하고,

상기 움직임 정보 보정 수단은, 상기 촬상 정보를 이용하여, 상기 움직임 벡터 생성 수단에 의해 생성된 움직임 벡터를 보정하고,

상기 움직임 흐려짐 부가 수단은, 상기 움직임 정보 보정 수단에 의해 보정된 움직임 벡터를 이용하여, 상기 화상 데이터에 공간적인 필터 처리를 실시하는 화상 처리 장치.
제4항에 있어서,

상기 움직임 벡터 생성 수단은,

상기 화상 데이터로부터, 처리 대상 화상으로 되는 단위 화상의 움직임 벡터를 검출하는 움직임 벡터 검출 수단과,

상기 움직임 벡터 검출 수단이 검출한 처리 대상 화상의 움직임 벡터와, 그 처리 대상 화상 이전의 처리 대상 화상의 움직임 벡터를 화소 블록 단위로 비교하여, 상관이 높은 화소 블록을 특정하는 화소 블록 특정 수단과,

상기 화소 블록 특정 수단에 의해 특정된 화소 블록의 움직임 벡터로부터, 그 특정된 화소 블록 이외의 화소 블록의 움직임 벡터를 추정하는 움직임 벡터 추정 수단을 갖는 화상 처리 장치.
제4항에 있어서,

상기 움직임 벡터 생성 수단은,

상기 화상 데이터로부터, 처리 대상 화상으로 되는 단위 화상의 움직임 벡터 를 검출하는 움직임 벡터 검출 수단과,

상기 움직임 벡터 검출 수단이 검출한 처리 대상 화상의 움직임 벡터를 평활화하는 움직임 벡터 평활화 수단을 갖는 화상 처리 장치.
제4항에 있어서,

상기 움직임 흐려짐 부가 수단은,

상기 처리 대상 화상을 구성하는 주목 화소에 대한, 상기 움직임 정보 보정 수단에 의해 보정된 움직임 벡터 상에 위치하는 파라미터 산출 대상 화소를 특정하고, 그 주목 화소부터 그 파라미터 산출 대상 화소까지의 거리에 따른 필터 파라미터를 산출하는 필터 파라미터 산출 처리 수단과,

상기 처리 대상 화상을 구성하는 각 화소의 화소값에, 상기 필터 파라미터에 따른 필터 처리를 실시하는 움직임 흐려짐 필터로 이루어지는 화상 처리 장치.
제1항에 있어서,

상기 화상 데이터는, 상기 움직임 정보를 이용하여 부호화되어 있고,

상기 화상 데이터를, 상기 움직임 정보를 이용하여 복호하는 복호 수단을 더 구비하고,

상기 움직임 정보 보정 수단은, 상기 촬상 정보에 기초하여, 상기 복호 수단이 상기 화상 데이터를 복호하는 데에 이용한 움직임 정보를 보정하는 화상 처리 장치.
제1항에 있어서,

상기 화상 데이터는, 상기 움직임 정보를 이용하여 부호화되어 있고,

상기 화상 데이터를, 상기 움직임 정보를 이용하여 복호하는 복호 수단과,

상기 복호 수단에 의해 복호된 화상 데이터로부터, 새로운 움직임 정보를 생성하는 움직임 정보 생성 수단을 더 구비하고,

상기 움직임 정보 보정 수단은, 상기 촬상 정보에 기초하여, 상기 움직임 정보 생성 수단에 의해 생성된 움직임 정보를 보정하는 화상 처리 장치.
제1항에 있어서,

상기 화상 데이터를 동화상으로서 화상 처리를 실시할 때에만, 상기 움직임 흐려짐 부가 수단은, 그 화상 데이터에 움직임 흐려짐을 부가하는 화상 처리 장치.
피사체를 촬상함으로써, 촬상 조건에 따라서 촬상에 의해 얻어지는 화상 데이터에 의해 나타내어지는 화상에 생기는 움직임 흐려짐의 정도가 변화되는 화상 데이터를 출력하는 촬상 수단과,

상기 촬상 조건을 나타내는 촬상 정보에 기초하여, 상기 화상에 관한 움직임을 나타내는 움직임 정보를 보정하는 움직임 정보 보정 수단과,

상기 움직임 정보 보정 수단에 의해 보정된 움직임 정보를 이용하여, 상기 화상 데이터에 대해 화상 처리를 행함으로써, 상기 화상에 움직임 흐려짐을 부가하 는 움직임 흐려짐 부가 수단을 구비하는 촬상 장치.
피사체를 촬상함으로써 얻은 화상 데이터로서, 그 피사체를 촬상할 때의 촬상 조건에 따라서 그 화상 데이터에 의해 나타내어지는 화상의 움직임 흐려짐의 정도가 변화되는 화상 데이터에 대해 화상 처리를 실시하는 화상 처리 방법으로서,

상기 촬상 조건을 나타내는 촬상 정보에 기초하여, 상기 화상에 관한 움직임을 나타내는 움직임 정보를 보정하는 움직임 정보 보정 스텝과,

상기 움직임 정보 보정 스텝에 의해 보정된 움직임 정보를 이용하여, 상기 화상 데이터에 대해 화상 처리를 실시함으로써, 상기 화상에 움직임 흐려짐을 부가하는 움직임 흐려짐 부가 스텝을 갖는 화상 처리 방법.
피사체를 촬상함으로써 얻은 화상 데이터로서, 그 피사체를 촬상할 때의 촬상 조건에 따라서 그 화상 데이터에 의해 나타내어지는 화상의 움직임 흐려짐의 정도가 변화되는 화상 데이터에 대해 화상 처리를 실시하는 화상 처리 방법을 컴퓨터에 실행시키는 프로그램으로서,

상기 화상 처리 방법은,

상기 촬상 조건을 나타내는 촬상 정보에 기초하여, 상기 화상에 관한 움직임을 나타내는 움직임 정보를 보정하는 움직임 정보 보정 스텝과,

상기 움직임 정보 보정 스텝에 의해 보정된 움직임 정보를 이용하여, 상기 화상 데이터에 대해 화상 처리를 실시함으로써, 상기 화상에 움직임 흐려짐을 부가 하는 움직임 흐려짐 부가 스텝을 갖는 프로그램.