KR101129591B1 - 화상 처리 장치와 화상 처리 방법 및 기록 매체 - Google Patents

화상 처리 장치와 화상 처리 방법 및 기록 매체 Download PDF

Info

Publication number
KR101129591B1
KR101129591B1 KR1020077013870A KR20077013870A KR101129591B1 KR 101129591 B1 KR101129591 B1 KR 101129591B1 KR 1020077013870 A KR1020077013870 A KR 1020077013870A KR 20077013870 A KR20077013870 A KR 20077013870A KR 101129591 B1 KR101129591 B1 KR 101129591B1
Authority
KR
South Korea
Prior art keywords
pixel
processing
image
motion
interest
Prior art date
Application number
KR1020077013870A
Other languages
English (en)
Other versions
KR20070095295A (ko
Inventor
타카히로 나가노
테츠지로 콘도
츠토무 와타나베
쥰이치 이시바시
히사카즈 시라키
나오키 후지와라
마사노리 카네마루
신이치로 카네코
야스히로 슈토
Original Assignee
소니 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼가이샤 filed Critical 소니 가부시끼가이샤
Publication of KR20070095295A publication Critical patent/KR20070095295A/ko
Application granted granted Critical
Publication of KR101129591B1 publication Critical patent/KR101129591B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

움직임 벡터 설정부(31)는, 주목 화상(注目畵像)내의 화소 단위로 움직임 벡터를 설정한다. 움직임 벡터에 의거해서, 주목 화소 설정부(35)에서 처리 대상인 복수(複數; plurality) 화상에서의 화상마다 주목 화소를 설정한다. 움직임 벡터와 노광 시간 비율(露光時間比率) 설정부(32)에 의해서 화상 단위로 설정한 노광 시간 비율에 의거해서, 블러량 설정부(33)에서 화소 단위의 움직임 블러량(motion blur amount)을 설정한다. 처리 영역 설정부(36)는, 움직임 블러량에 의거해서 복수 화상마다의 주목 화소에 대한 처리 영역을 설정한다. 처리 계수 설정부(37)는, 움직임 블러량에 따라서 처리 계수를 설정한다. 화소값 생성부(38)는, 처리 영역내의 화소에 대응하는 화소값과 처리 계수와의 선형 결합(線形結合)에 의해 주목 화소에 대응하는 움직임 블러 제거후의 화소값을 생성하고, 통합부(39)에서 하나의 화소값으로서 출력한다. 시간 방향의 정보를 의의있게(有意義) 활용해서, 움직임 블러 제거 처리를 정밀도좋게 행한다.

Description

화상 처리 장치와 화상 처리 방법 및 기록 매체{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM}
본 발명은, 화상(畵像) 처리 장치와 화상 처리 방법 및 화상 처리 프로그램에 관한 것이다. 자세하게는, 주목 화상(注目畵像)내(內)의 화소 단위로 움직임 벡터의 설정을 행하고, 이 움직임 벡터에 의거해서, 처리 대상인 복수(複數; plurality) 화상에서의 화상마다 주목 화소를 설정한다. 또, 움직임 벡터와 화상 단위로 설정된 노광 시간 비율(露光時間比率)에 의거해서, 화소 단위로 움직임 블러량(motion blur amount)을 설정해서, 이 움직임 블러량에 의거해서 처리 계수와 주목 화소에 대한 처리 영역을 설정해서, 처리 영역내의 화소에 대응하는 화소값과 처리 계수와의 선형 결합(線形結合)에 의해 주목 화소에 대응하는 움직임 블러 제거후의 화소값을 생성하는 것이다.
종래부터, 현실 세계(現實世界)에서의 사상(事象)을, 센서를 이용해서 데이터화하는 것이 행해지고 있다. 이 센서를 이용해서 취득된 데이터는, 현실 세계의 정보(예를 들면, 광)가, 현실 세계보다 낮은 차원의 시공간에 사영(射影; 투영)해 서 얻어진 정보이다. 이 때문에, 사영해서 얻어진 정보는, 사영에 의해 발생하는 일그러짐(歪)을 가지고 있다. 예를 들면, 정지(靜止)되어 있는 배경 앞(前)에서 이동하는 물체를 비디오 카메라로 촬상해서 화상 신호로서 데이터화하는 경우, 현실 세계의 정보를 샘플링해서 데이터화하기 때문에, 화상 신호에 의거해서 표시되는 화상에서는, 사영에 의해 발생하는 일그러짐으로서, 움직이고 있는 물체가 흐릿해져 버리는 움직임 블러가 생긴다.
이 때문에, 일본 특개 제2001-250119호 공보(대응 미국 출원 번호 : 09/830858, 대응 유럽 특허 공개 번호 : EP1164545)에서 개시(開示)되어 있는 바와 같이, 예를 들면 입력 화상에 포함되는 전경의 오브젝트에 대응하는 화상 오브젝트의 윤곽(輪郭)을 검출함으로써, 전경(前景)의 오브젝트에 대응하는 화상 오브젝트를 개략적으로(粗; 대충) 추출하고, 이 개략적으로 추출된 전경의 오브젝트에 대응하는 화상 오브젝트의 움직임 벡터를 검출해서, 검출한 움직임 벡터 및 움직임 벡터의 위치 정보를 이용해서 움직임 블러의 경감(輕減)이 행해지고 있다.
그런데, 이와 같은 종래의 움직임 블러 제거 처리에서는, 입력 화상중인 움직임 블러를 일으키고 있는 부분의 블러량(blur amount)에 따른 공간적인 처리를 행하는 것에 의해서 블러 제거가 행해지고 있다. 그러나, 동화상(動畵像)에서도 동일(同)한 바와 같은 공간적으로 완결(完結)된 처리를 행하므로, 처리한 후의 해상도(解像度)가 불충분한 경우가 생긴다. 또, 시간 방향의 정보도 사용해서 처리를 행하는 것으로 한 경우, 실제(實際) 화상의 노광 시간은 셔터 스피드와의 관계로부터(관계상) 카메라측의 설정으로 정해지기 때문에, 물체의 움직임량과 입력 화상의 블러량과는 반드시 일치하지 않는다. 이 때문에, 안이(安易)하게 입력 화상의 블러량 혹은 움직임량만을 이용해도 시간 방향의 정보를 의의 있게(有意義) 활용해서 처리를 행할 수가 없다.
본 발명에 관계된 화상 처리 장치는, 주목 화상내의 화소 단위로 움직임 벡터를 설정하는 움직임 벡터 설정부와, 움직임 벡터 설정부에 의해 설정된 움직임 벡터에 의거해서, 처리 대상인 복수 화상에서의 화상마다 주목 화소를 설정하는 주목 화소 설정부와, 주목 화상의 시간 간격과 노광 시간과의 비율인 노광 시간 비율을 화상 단위로 설정하는 노광 시간 비율 설정부와, 움직임 벡터 설정부에 의해 화소 단위로 설정된 움직임 벡터와, 노광 시간 비율 설정부에 의해 설정된 노광 시간 비율에 의거해서, 화소 단위로 움직임 블러량을 설정하는 움직임 블러량 설정부와, 움직임 블러량 설정부에 의해 설정된 움직임 블러량 및 움직임 벡터에 대응하는 움직임 방향에 의거해서, 주목 화소 설정부에 의해 설정된 화상마다의 주목 화소에 대한 처리 영역을 설정하는 처리 영역 설정부와, 움직임 블러량 설정부에 의해 설정된 주목 화소의 움직임 블러량에 의거해서, 특정의 처리 계수(處理係數)를 설정하거나, 혹은 주목 화소의 움직임 블러량과 움직임 방향에 따라서 처리 계수를 설정하는 처리 계수 설정부와, 화상마다 설정된 처리 영역내의 화소에 대응하는 화소값으로부터 움직임 방향에 따라서 생성된 새로운 처리용의 화소값과, 처리 계수 설정부에 의해 설정된 특정의 처리 계수와의 선형 결합, 혹은 처리 영역내의 화소에 대응하는 화소값과 주목 화소의 움직임 블러량과 움직임 방향에 따라서 설정된 처리 계수의 선형 결합에 의해 주목 화소에 대응하는 화소값을 생성하는 화소값 생성부를 구비하는 것이다.
본 발명에 관계된 화상 처리 방법은, 주목 화상내의 화소 단위로 움직임 벡터를 설정하는 움직임 벡터 설정 공정과, 움직임 벡터 설정 공정에 의해 설정된 움직임 벡터에 의거해서, 처리 대상인 복수 화상에서의 화상마다 주목 화소를 설정하는 주목 화소 설정 공정과,
주목 화상의 시간 간격과 노광 시간과의 비율인 노광 시간 비율을 화상 단위로 설정하는 노광 시간 비율 설정 공정과, 움직임 벡터 설정 공정에 의해 화소 단위로 설정된 움직임 벡터와, 노광 시간 비율 설정 공정에 의해 설정된 노광 시간 비율에 의거해서, 화소 단위로 움직임 블러량을 설정하는 움직임 블러량 설정 공정과, 움직임 블러량 설정 공정에 의해 설정된 움직임 블러량 및 움직임 벡터에 대응하는 움직임 방향에 의거해서, 주목 화소 설정 공정에 의해 설정된 화상마다의 주목 화소에 대한 처리 영역을 설정하는 처리 영역 설정 공정과, 움직임 블러량 설정 공정에 의해 설정된 주목 화소의 움직임 블러량에 의거해서, 특정의 처리 계수를 설정하거나, 혹은 주목 화소의 움직임 블러량과 움직임 방향에 따라서, 처리 계수를 설정하는 처리 계수 설정 공정과, 화상마다 설정된 처리 영역내의 화소에 대응하는 화소값으로부터 움직임 방향에 따라서 생성된 새로운 처리용의 화소값과, 처리 계수 설정 공정에 의해 설정된 특정의 처리 계수와의 선형 결합, 혹은 처리 영역내의 화소에 대응하는 화소값과 주목 화소의 움직임 블러량과 움직임 방향에 따라서 설정된 처리 계수의 선형 결합에 의해 주목 화소에 대응하는 화소값을 생성하는 화소값 생성 공정을 구비하는 것이다.
본 발명에 관계된 화상 처리 프로그램은, 컴퓨터에, 주목 화상내의 화소 단위로 움직임 벡터를 설정하는 움직임 벡터 설정 스텝과, 움직임 벡터 설정 스텝에 의해 설정된 움직임 벡터에 의거해서, 처리 대상인 복수 화상에서의 화상마다 주목 화소를 설정하는 주목 화소 설정 스텝과, 주목 화상의 시간 간격과 노광 시간과의 비율인 노광 시간 비율을 화상 단위로 설정하는 노광 시간 비율 설정 스텝과, 움직임 벡터 설정 스텝에 의해 화소 단위로 설정된 움직임 벡터와, 노광 시간 비율 설정 스텝에 의해 설정된 노광 시간 비율에 의거해서, 화소 단위로 움직임 블러량을 설정하는 움직임 블러량 설정 스텝과, 움직임 블러량 설정 스텝에 의해 설정된 움직임 블러량 및 움직임 벡터에 대응하는 움직임 방향에 의거해서, 주목 화소 설정 스텝에 의해 설정된 화상마다의 주목 화소에 대한 처리 영역을 설정하는 처리 영역 설정 스텝과, 움직임 블러량 설정 스텝에 의해 설정된 주목 화소의 움직임 블러량에 의거해서, 특정의 처리 계수를 설정하거나, 혹은 주목 화소의 움직임 블러량과 움직임 방향에 따라서, 처리 계수를 설정하는 처리 계수 설정 스텝과, 화상마다 설정된 처리 영역내의 화소에 대응하는 화소값으로부터 움직임 방향에 따라서 생성된 새로운 처리용의 화소값과, 처리 계수 설정 스텝에 의해 설정된 특정의 처리 계수와의 선형 결합, 혹은 처리 영역내의 화소에 대응하는 화소값과 주목 화소의 움직임 블러량과 움직임 방향에 따라서 설정된 처리 계수의 선형 결합에 의해, 주목 화소에 대응하는 화소값을 생성하는 화소값 생성 스텝을 실행시키는 것이다.
본 발명에서는, 주목 화상내의 화소 단위로 움직임 벡터가 설정되어, 이 움직임 벡터에 의거해서, 처리 대상인 복수 화상에서의 화상마다 주목 화소가 설정된다. 또, 움직임 벡터와 화상 단위로 설정된 노광 시간 비율에 의거해서, 화소 단위로 움직임 블러량이 설정된다. 이 움직임 블러량 및 움직임 벡터에 대응하는 움직임 방향에 의거해서, 처리 영역이 설정되어, 처리 영역내의 화소에 대응하는 화소값으로부터 움직임 방향에 따라서 생성된 새로운 처리용의 화소값과 설정된 특정의 처리 계수와의 선형 결합, 혹은 처리 영역내의 화소에 대응하는 화소값과 주목 화소의 움직임 블러량과 움직임 방향에 따라서 설정된 처리 계수의 선형 결합에 의해 주목 화소에 대응하는 화소값이 생성된다. 또, 화상마다의 주목 화소에 대응하는 움직임 블러 제거후의 화소값이 통합(統合) 처리되어 단일(單一)의 화소값으로서 출력된다. 또, 노셔터 동작으로 촬상된 화상에 대해서는, 설정된 움직임 벡터의 움직임량이 움직임 블러량으로서 이용된다. 또, 움직임 벡터의 움직임량은 화소 이하 단위로 설정된다.
[발명의 효과]
본 발명에 의하면, 주목 화상내의 화소 단위로 움직임 벡터가 설정되어, 이 움직임 벡터에 의거해서, 처리 대상인 복수 화상에서의 화상마다 주목 화소가 설정된다. 또, 움직임 벡터와 화상 단위로 설정된 노광 시간 비율에 의거해서, 화소 단위로 움직임 블러량이 설정된다. 이 움직임 블러량 및 움직임 벡터에 대응하는 움직임 방향에 의거해서, 처리 영역이 설정되어, 처리 영역내의 화소에 대응하는 화소값으로부터 움직임 방향에 따라서 생성된 새로운 처리용의 화소값과 설정된 특정의 처리 계수와의 선형 결합, 혹은 처리 영역내의 화소에 대응하는 화소값과 주목 화소의 움직임 블러량과 움직임 방향에 따라서 설정된 처리 계수의 선형 결합에 의해 주목 화소에 대응하는 화소값이 생성된다.
이 때문에, 화상 신호 내에 파묻혀(埋; bury) 있는 실세계 정보를, 공간 방향의 정보뿐만 아니라 시간 방향의 정보를 이용해서 취득하는 것이 가능하게 되며, 화상 센서에서의 일그러짐을 받은 움직임 블러 화상으로부터 움직임 블러를 제거한 해상도가 높은 화상을 재현할 수 있다.
또, 처리 계수는, 움직임 벡터의 움직임량은 화소 이하 단위로 설정되므로, 정밀도(精度) 좋게 움직임 블러를 제거할 수 있다. 또, 화상마다의 주목 화소에 대응하는 움직임 블러 제거후의 화소값이 통합 처리되어 단일의 화소값으로서 출력되므로, 예를 들면 노이즈가 적은 움직임 블러 제거 화상 등을 얻을 수가 있다. 또, 노셔터 동작으로 촬상된 화상에 대해서는, 설정된 움직임 벡터의 움직임량이 움직임 블러량으로서 이용되므로, 움직임 블러 제거 처리를 용이하게 행할 수가 있다.
도 1은 시스템의 구성을 도시하는 도면,
도 2는 화상 센서에 의한 촬상을 설명하기 위한 도면,
도 3의 (a)와 (b)는 촬상 화상을 설명하기 위한 도면,
도 4는 화소값의 시간 방향 분할 동작을 설명하기 위한 도면,
도 5는 셔터 동작을 행하였을 때의 화소값의 시간 방향 분할 동작을 설명하기 위한 도면,
도 6은 화상 처리 장치의 기능 블록도,
도 7은 소프트웨어를 이용할 때의 화상 처리 장치의 구성을 도시하는 도면,
도 8은 노광 시간 비율 설정부의 기능 블록도,
도 9는 영역 특정부의 기능 블록도,
도 10은 영역 판정 처리를 설명하기 위한 도면,
도 11은 이상적(理想的)인 혼합비를 도시하는 도면,
도 12는 처리 영역을 설명하기 위한 도면,
도 13의 (a)와 (b)는 처리 영역을 도시하는 도면,
도 14는 화소값의 산출 방법을 설명하기 위한 도면,
도 15는 화상 처리를 도시하는 플로차트,
도 16은 처리 계수를 학습에 의해서 구해서 블러 제거 처리를 행하는 경우의 구성을 도시하는 도면,
도 17은 학습부의 기능 블록도,
도 18은 예측 탭을 이산적(離散的)으로 선택하는 경우의 동작을 설명하기 위한 도면,
도 19는 액티비티의 산출을 설명하기 위한 도면,
도 20은 처리 계수의 학습 처리를 도시하는 플로차트,
도 21은 클래스 분류를 이용한 화상 처리의 플로차트,
도 22는 클래스 분류를 행하는 경우의 학습부의 기능 블록도,
도 23은 클래스 분류를 이용한 처리 계수의 학습 처리를 도시하는 플로차트,
도 24는 처리 영역을 설명하기 위한 도면,
도 25의 (a)와 (b)는 처리 영역의 설정예를 도시하는 도면,
도 26은 처리 영역에서의 실세계 변수의 시간 혼합을 설명하기 위한 도면,
도 27은 0.5 화소 단위의 더해넣기(足入; 가산) 모델을 도시하는 도면,
도 28은 화상 처리 장치의 다른 기능 블록도,
도 29는 노셔터 동작에 한정하였을 때의 화상 처리 장치의 기능 블록도,
도 30은 곱합(積和) 연산을 행할 때의 화상 처리 장치의 기능 블록도.
이하, 도면을 참조하면서, 본 발명의 실시형태에 대해서 설명한다. 도 1은, 본 발명을 적용하는 시스템의 구성을 도시하는 블록도이다. 화상 센서(10)는 현실 사회를 촬상한 화상 신호 DVa를 생성해서 화상 처리 장치(20)에 공급한다. 화상 처리 장치(20)는, 공급된 입력 화상의 화상 신호 DVa에 파묻혀 버린 정보의 추출을 행하고, 파묻혀 버린 정보를 추출한 화상 신호 DVout를 생성해서 출력한다. 또한, 화상 처리 장치(20)는, 외부로부터 공급된 여러 가지 정보 ET를 이용해서, 화상 신호 DVa에 파묻혀 버린 정보의 추출도 행할 수 있도록 이루어져 있다.
화상 센서(10)는, 고체 촬상 소자(固體撮像素子)인 CCD(Charge-Coupled Device) 에리어 센서나 MOS 에리어 센서를 구비한 비디오 카메라 등으로 구성되어 있으며, 현실 사회를 촬상한다. 예를 들면, 도 2에 도시하는 바와 같이, 화상 센서(10)와 배경에 대응하는 오브젝트 OBb 사이를, 전경에 대응하는 움직임 오브젝트 OBf가 화살표 A방향으로 이동할 때, 화상 센서(10)는, 전경에 대응하는 움직임 오브젝트 OBf를 배경에 대응하는 오브젝트 OBb와 함께 촬상한다.
이 화상 센서(10)의 검출 소자는, 노광 시간에 대응하는 기간, 입력된 광을 전하(電荷)로 변환해서, 광전 변환(光電變換)된 전하를 축적(蓄積)한다. 전하의 양(量)은, 입력된 광의 세기(强)와, 광이 입력되고 있는 시간에 거의 비례한다. 검출 소자는, 노광 시간에 대응하는 기간에서, 입력된 광으로부터 변환된 전하를, 이미 축적되어 있는 전하에 더해(加) 간다. 즉, 검출 소자는 노광 시간에 대응하는 기간, 입력되는 광을 적분(積分)해서, 적분된 광에 대응하는 양의 전하를 축적한다. 검출 소자는, 시간에 대해서, 적분 효과가 있다고도 말할 수 있다. 이와 같이, 화상 센서에서 광전 변환을 행하고, 입력된 광을 화소 단위로 전하로 변환해서 노광 시간 단위로 축적한다. 이 축적된 전하량에 따라서 화소 신호를 생성해서, 이 화소 신호를 이용해서 소망의(원하는) 프레임 레이트(frame rate)의 화상 신호를 생성해서 화상 처리 장치에 공급한다. 또한, 화상 센서의 노광 시간은, 상술한 바와 같이 화상 센서가 입력된 광을 전하로 변환해서 검출 소자에 그 전하를 축적하는 기간이며, 셔터 동작이 행해지고 있지 않을 때는 화상 시간 간격(1프레임 기간)과 똑같(等)은 것이다. 또, 셔터 동작이 행해질 때는 셔터 열림 시간(開時間)과 똑같은 것이다.
도 3의 (a) 및 (b)는, 화상 신호로 나타내어지는 촬상 화상을 설명하기 위한 도면이다. 도 3의 (a)는, 움직이고 있는 전경에 대응하는 움직임 오브젝트 OBf와, 정지하고 있는 배경에 대응하는 오브젝트 OBb를 촬상해서 얻어지는 화상을 도시하고 있다. 또한, 전경에 대응하는 움직임 오브젝트 OBf는, 화살표 A방향으로 수평 이동하고 있는 것으로 한다.
도 3의 (b)는 도 3의 (a)에 도시하는 바와 같이 화살표 A방향으로 신장(伸)한 라인 L(파선(破線)으로 나타낸다)의 위치에서의 화상과 시간의 관계를 도시하고 있다. 움직임 오브젝트 OBf의 라인 L에서의 이동 방향의 길이가 예를 들면 9화소분(分)이며, 1노광 시간 중에 5화소 이동하는 경우, 프레임 기간 개시시(開始時)에 화소 위치 P21에 있던 전단(前端)과 화소 위치 P13에 있던 후단(後端)은, 각각 화소 위치 P25, P17에서 노광 시간의 종료로 된다. 또, 셔터 동작이 행해지고 있지 않을 때, 1프레임에서의 노광 시간은 1프레임 기간과 똑같기 때문에, 다음 프레임 기간 개시시에 전단이 화소 위치 P26, 후단이 화소 위치 P18로 된다.
이 때문에, 라인 L의 프레임 기간에서, 화소 위치 P12까지와 화소 위치 P26부터는, 배경 성분만의 배경 영역으로 된다. 또, 화소 위치 P17～P21은, 전경 성분만의 전경 영역으로 된다. 화소 위치 P13～P16과 화소 위치 P22～P25는, 배경 성분과 전경 성분이 혼합(混合)된 혼합 영역으로 된다. 혼합 영역은, 시간의 경과에 대응해서 배경 성분이 전경으로 덮혀서(覆) 가려지(隱)는 커버드 백그라운드(corved background) 영역과, 시간의 경과에 대응해서 배경 성분이 나타나는 언커버드 백그라운드(uncorved background) 영역으로 분류(分類)된다. 또한, 도 3의 (b)에서는, 전경의 오브젝트 OBf의 진행 방향 전단측에 위치하는 혼합 영역이 커버 드 백그라운드 영역, 후단 측에 위치하는 혼합 영역이 언커버드 백그라운드 영역으로 된다. 이와 같이, 화상 신호에는 전경 영역, 배경 영역, 또는 커버드 백그라운드 영역 혹은 언커버드 백그라운드 영역을 포함하는 화상이 포함되게 된다.
여기서, 화상 시간 간격은 단(短)시간이며, 전경에 대응하는 움직임 오브젝트 OBf는 강체(剛體)로서 등속(等速)으로 이동하고 있다고 가정해서, 라인 L에서의 화소값의 시간 방향 분할 동작을 도 4에 도시하는 바와 같이 행한다. 이 시간 방향 분할 동작에서는, 화소값을 시간 방향으로 전개해서 가상 분할수(分割數)로 등시간 간격으로 분할한다. 또한, 도 4에서 세로(縱) 방향은 시간에 대응하고, 도면중의 위에서 아래로 향해서 시간이 경과하는 것을 나타내고 있다.
가상 분할수는, 움직임 오브젝트의 화상 시간 간격으로의 움직임량 v 등에 대응해서 설정한다. 예를 들면, 1프레임 기간내의 움직임량 v가 상술한 바와 같이 5화소일 때는, 움직임량 v에 대응해서 가상 분할수를「5」로 설정해서, 1프레임 기간을 등시간 간격으로 5분할한다.
또, 배경에 대응하는 오브젝트 OBb를 촬상하였을 때에 얻어지는 화소 위치 Px의 1프레임 기간의 화소값을 Bx, 라인 L에서의 길이가 9화소분인 전경에 대응하는 움직임 오브젝트 OBf를 정지시켜서 촬상하였을 때에, 각 화소에서 얻어지는 화소값을 F09(전단측)～F01(후단측)로 한다.
이 경우, 예를 들면 화소 위치 P14의 화소값 DP14는, 식 (1)로 나타내어진다.
Figure 112007044312038-pct00001
이 화소 위치 P14에서는, 배경의 성분을 3가상 분할 시간(프레임 기간/v) 포함하고, 전경 성분을 2가상 분할 시간 포함하므로, 화소값에 대한 배경 성분의 혼합비 α는 (3/5)로 된다. 마찬가지로, 예를 들면 화소 위치 P22에서는, 배경의 성분을 1가상 분할 시간 포함하고, 전경 성분을 4가상 분할 시간 포함하므로, 혼합비 α는 (1/5)로 된다.
또, 셔터 동작이 행해져서, 1프레임 기간에 대한 노광 시간의 비율을 나타내는 노광 시간 비율이 변화되었을 때, 예를 들면 노광 시간 비율이 「3/5」일 때는, 도 5에 도시하는 바와 같이, 1프레임 기간에서의 화소값의 시간 방향 분할 동작을 행하고, 화소값을 노광 시간 비율에 따른 가상 분할수로 등시간 간격으로 분할한다.
가상 분할수는, 움직임 오브젝트의 화상 시간 간격내에서의 움직임량 v 등에 대응해서 설정한다. 예를 들면, 1프레임 기간내의 움직임량 v가 상술한 바와 같이 5화소일 때는, 움직임량 v에 대응해서 가상 분할수를「5」로 설정해서, 1프레임 기간을 등시간 간격으로 5분할한다.
이 경우, 예를 들면 화소 위치 P14의 화소값 DP14는, 식 (2)로 나타내어진다.
Figure 112007044312038-pct00002
이 화소 위치 P14에서는, 배경의 성분을 1가상 분할 시간(프레임 기간/v) 포함하고, 전경 성분을 2가상 분할 시간 포함하므로, 혼합비 α는 (1/3)로 된다. 마찬가지로, 예를 들면 화소 위치 P22에서는, 배경의 성분을 1가상 분할 시간 포함하고, 전경 성분을 2가상 분할 시간 포함하므로, 혼합비 α는 (1/3)로 된다.
또, 셔터 동작이 행해졌을 때, 노광 시간 비율과 1프레임 기간내에서의 움직임량 v를 승산(乘算)해서 노광 시간내 움직임량 vs를 산출할 수가 있다.
이와 같이, 전경의 성분이 이동하기 때문에, 1노광 시간에서는, 다른(異) 전경의 성분이 가산(加算)되므로, 움직임 오브젝트에 대응하는 전경의 영역은, 움직임 블러를 포함하는 것으로 된다. 이 때문에, 화상 처리 장치(20)에서는, 화상 신호에 파묻혀 버린 유의(有意) 정보를 추출해서 전경에 대응하는 움직임 오브젝트 OBf의 움직임 블러를 경감(輕減)시킨 화상 신호 DVout를 생성한다.
도 6은 화상 처리 장치의 기능 블록도이다. 또한, 화상 처리 장치의 각 기능은 하드웨어로 실현하는지, 소프트웨어로 실현하는지는 불문한다. 다시 말해, 도 6의 기능 블록은, 하드웨어로 실현하는 것으로 해도 좋고, 소프트웨어로 실현하는 것으로 해도 좋다.
여기서, 소프트웨어를 이용할 때의 화상 처리 장치(20)의 구성을 예를 들면 도 7에 도시한다. CPU(Central Processing Unit)(201)는, ROM(Read Only Memory)(202), 또는 기억부(208)에 기억되어 있는 프로그램에 따라서 각종 처리를 실행하는 것이며, ROM(202)이나 기억부(208)에는, 화상 처리 장치의 각 기능을 실현하는 프로그램이 기억된다. RAM(Random Access Memory)(203)에는, CPU(201)가 실행하는 프로그램이나 데이터 등이 적당히 기억된다. 이들 CPU(201), ROM(202) 및 RAM(203)은, 버스(204)에 의해 상호(相互) 접속되어 있다.
또, CPU(201)에는, 버스(204)를 거쳐서 입출력 인터페이스(205)가 접속되어 있다. 입출력 인터페이스(205)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(206), 디스플레이, 스피커 등으로 이루어지는 출력부(207)가 접속되어 있다. CPU(201)는, 입력부(206)로부터 입력되는 지령(指令)에 대응해서 각종 처리를 실행한다. 그리고, CPU(201)는, 처리 결과 얻어진 화상이나 음성 등을 출력부(207)에 출력한다.
입출력 인터페이스(205)에 접속되어 있는 기억부(208)는, 예를 들면 하드 디스크 등으로 구성되며, CPU(201)가 실행하는 프로그램이나 각종 데이터를 기억한다. 통신부(209)는, 인터넷, 그 밖의 네트워크를 거쳐서 외부의 장치와 통신한다. 이 예의 경우, 통신부(209)는 센서의 출력을 취입(取入; capturing)하는 취득부로서 작용한다. 또, 통신부(209)를 거쳐서 프로그램을 취득하고, 기억부(208)에 기억해도 좋다.
입출력 인터페이스(205)에 접속되어 있는 드라이브부(210)는, 자기(磁氣) 디스크, 광디스크, 광자기 디스크, 혹은 반도체 메모리 등의 기록 매체가 장착(裝着)되었을 때, 그들을 구동하고, 기록 매체에 기록되어 있는 프로그램이나 데이터 등을 취득한다. 취득된 프로그램이나 데이터는, 필요에 따라서 기억부(208)에 전송되어 기억된다.
도 6에 도시하는 바와 같이, 화상 처리 장치(20)에 공급된 입력 화상의 화상 신호 DVa는, 움직임 벡터 설정부(31)의 움직임 벡터 추정부(311)와, 노광 시간 비율 설정부(32) 및 주목 화소 설정부(35)에 공급된다.
움직임 벡터 추정부(311)는, 화상 신호 DVa에 의거해서 주목 화상의 화소마다의 움직임 벡터 vpa를 추정해서, 추정된 움직임 벡터 vpa를 움직임 벡터 선택부(312)에 공급한다. 이 움직임 벡터 추정부(311)에서는, 블록 매칭법이나 구배법(勾配法) 등의 수법을 이용함으로써, 화소마다의 움직임 벡터를 추정할 수 있다. 여기서, 주목 화상이라 함은, 화상 처리 장치(20)에 공급된 입력 화상에서 움직임 블러 제거 처리를 행하는 화상을 나타내고 있으며, 주목 화소라 함은, 주목 화상내에서, 움직임 블러 제거 처리를 행하는 화소를 나타내고 있다.
움직임 벡터 선택부(312)에는, 외부로부터 정보 ET로서 움직임 벡터 vpb가 공급되었을 때, 이 움직임 벡터 vpb가 입력가능하게 되어 있으며, 움직임 벡터 추정부(311)로부터 공급된 움직임 벡터 vpa, 혹은 외부로부터 공급된 움직임 벡터 vpb의 어느것인가를 선택해서, 움직임 벡터 vp로서 블러량 설정부(33)와 주목 화소 설정부(35)에 공급한다. 또, 후술하는 처리 계수 설정부(37)에 기억시키는 처리 계수에 따라서, 움직임 벡터 vp를 처리 영역 설정부(36), 처리 계수 설정부(37), 화소값 생성부(38)에 공급한다. 움직임 벡터의 선택은, 예를 들면 유저가 행하는 것으로서, 주목 화상으로부터 검출한 움직임 벡터를 이용해서 움직임 블러 제거 처리를 행하는 것으로 하였을 때에는, 움직임 벡터 추정부(311)로부터 공급된 움직임 벡터 vpa를 선택한다. 또, 움직임 블러 제거 처리에서 이용하는 움직임 벡터를 설정할 때에는, 입력한 움직임 벡터 vpb를 선택시킨다.
노광 시간 비율 설정부(32)는, 주목 화상의 시간 간격에서의 노광 시간의 비율을 나타내는 노광 시간 비율 ER을 화상 단위로 설정한다. 이 노광 시간 비율 ER은, 예를 들면 일본 특개 제2003-6648호 공보에 개시된 기술을 이용해서 설정할 수 있다.
도 8은 노광 시간 비율 설정부(32)의 기능 블록도이다. 노광 시간 비율 설정부(32)의 오브젝트 추출부(321)는, 화상 신호 DVa에 의거해서 주목 화상에 포함되는 움직임이 있는 오브젝트에 대응하는 화상 오브젝트 OBm을 개략적으로 추출해서, 추출한 화상 오브젝트 OBm을 움직임 검출부(322)에 공급한다. 예를 들면, 상술한 바와 같이 움직이고 있는 전경의 오브젝트에 대응하는 화상 오브젝트의 윤곽을 검출함으로써, 화상 오브젝트 OBm을 개략적으로 추출해서 움직임 검출부(322)에 공급한다. 또한, 화상 오브젝트 OBm이라 함은, 촬상의 대상으로 되는, 현실 세계에서의 오브젝트에 대응하는 화상을 의미하는 것이다.
또, 오브젝트 추출부(321)는, 예를 들면 내부에 마련(設)되어 있는 배경 메모리에 기억되어 있는 배경의 화상과, 주목 화상과의 차(差)부터, 움직이고 있는 전경의 오브젝트에 대응하는 화상 오브젝트 OBm을 개략적으로 추출하도록 해도 좋다.
움직임 검출부(322)는, 개략적으로 추출된 화상 오브젝트 OBm의 프레임간(間) 움직임 벡터의 움직임량 vm을, 상술한 바와 같은 움직임 벡터 검출법을 이용해서 검출하여 비율 연산부(325)에 공급한다. 또, 움직임 검출부(322)는, 움직임이 있는 화상 오브젝트가 복수 포함되어 있을 때에는, 프레임간 움직임 벡터를 화 상 오브젝트마다 구해서, 구한 복수의 프레임간 움직임 벡터로부터 통계적 수법을 이용해서, 하나의 프레임간 움직임 벡터의 움직임량 vm을 결정한다. 이 통계적 수법으로서는, 단순 평균, 오브젝트의 표시 면적이나 표시 위치에 따라서 가중(重付; weighting)을 행하고 나서 평균을 산출하는 가중 평균, 메디안(median) 등을 이용할 수가 있다.
영역 특정부(323)는, 주목 화상에 대해서, 움직임 부분인 전경 영역, 정지 부분인 배경 영역, 혼합 영역인 커버드 백그라운드 영역과 언커버드 백그라운드 영역의 특정을 행하고, 특정 결과를 나타내는 영역 정보 JF를 혼합비 산출부(324)에 공급한다.
도 9는 영역 특정부(323)의 기능 블록도이다. 화상 메모리부(323a)는, 입력된 화상 신호 DVa를 프레임 단위로 기억한다. 화상 메모리부(323a)는, 주목 화상이 (t)프레임일 때, (t)프레임의 2개 전(前)의 프레임인 (t-2)프레임, (t)프레임의 하나 전의 프레임인 (t-1)프레임, (t)프레임, (t)프레임의 하나 후(後)의 프레임인 (t+1) 프레임 및 (t)프레임의 2개 후의 프레임인 (t+2) 프레임을 기억한다.
정지/움직임(靜動) 판정부(323b)는, 연속하는 2프레임의 화소마다의 프레임간 차분(差分) 절대값을 구하고, 프레임간 차분 절대값이 미리 설정되어 있는 임계값Th보다 큰지 여부를 판정하고, 프레임간 차분 절대값이 임계값Th보다도 클 때는 움직임, 프레임간 차분 절대값이 임계값Th 이하일 때는 정지로 판정한다.
영역 판정부(323c)는, 정지/움직임 판정부(323b)에서 얻어진 판정 결과를 이용해서, 화소가 전경 영역, 배경 영역, 혼합 영역인 커버드 백그라운드 영역이나 언커버드 백그라운드 영역의 어느것에 속하는지, 도 10에 도시하는 바와 같이 영역 판정 처리를 행한다.
예를 들면, 최초에 (t-1)프레임과 (t)프레임의 정지/움직임 판정의 결과가 정지인 화소를 배경 영역의 화소로 판정한다. 또, (t)프레임과 (t+1)프레임의 정지/움직임 판정의 결과가 정지인 화소를 배경 영역의 화소로 판정한다. 다음에, (t-2)프레임과 (t-1)프레임의 정지/움직임 판정의 결과가 정지이며, (t-1)프레임과 (t)프레임의 정지/움직임 판정의 결과가 움직임인 화소를 커버드 백그라운드 영역의 화소로 판정한다. 또, (t)프레임과 (t+1)프레임의 정지/움직임 판정의 결과가 움직임이며, (t+1)프레임과 (t+2)프레임의 정지/움직임 판정의 결과가 정지인 화소를 언커버드 백그라운드 영역의 화소로 판정한다. 그 후, (t-1)프레임과 (t)프레임의 정지/움직임 판정의 결과와 (t)프레임과 (t+1)프레임의 정지/움직임 판정의 결과가 모두(共) 움직임인 화소를 전경 영역의 화소로 판정한다.
혼합비 산출부(324)는, 화상 신호 DVa및 영역 특정부(323)로부터 공급된 영역 정보 JF를 기초로 혼합비 α를 산출해서, 산출한 혼합비 α를 비율 연산부(325)에 공급한다. 이 혼합비 α는, 상술한 바와 같이, 화소값에서의 배경 성분의 비율(割合)을 나타내는 값이다.
여기서, 전경에 대응하는 오브젝트가 노광 시간내에 등속으로 움직이고 있다고 가정함으로써, 혼합 영역에 속하는 화소의 혼합비 α는, 화소의 위치의 변화에 대응해서, 직선적(直線的)으로 변화한다. 예를 들면 화소의 위치의 변화를 1차원으로 하면, 혼합비 α의 변화는, 직선으로 표현할 수가 있다. 또, 1프레임의 기간 은 짧으므로, 전경에 대응하는 오브젝트가 강체이며, 등속으로 이동하고 있다고 가정하면, 혼합비 α의 기울기(傾)는, 전경의 노광 시간내 움직임량 vs의 역비(逆比)로 된다. 또한, 복수의 혼합 영역에 대해서 혼합비 α의 산출을 행하고, 복수의 혼합비 α를 산출하였을 때에는 상술한 바와 같이 통계적 수법을 이용해서, 하나의 혼합비 α를 결정한다. 또한, 도 11에는 이상적인 혼합비 α를 도시하고 있으며, 전경 영역에서는 혼합비 α=0, 배경 영역에서는 혼합비 α=1로 된다. 또, 혼합 영역에서의 혼합비 α의 기울기 α1은, 노광 시간내 움직임량 vs의 역수(逆數)를 나타내는 것이다.
비율 연산부(325)는, 혼합비 산출부(324)로부터 공급된 혼합비 α에 의거해서, 혼합 영역에서의 기울기 α1의 역수를 산출해서, 노광 시간내 움직임량 vs를 구한다. 또, 노광 시간내 움직임량 vs를 움직임 검출부(322)로부터 공급된 프레임간 움직임 벡터의 움직임량 vm으로 제산(除算; divide; 나눗셈)해서, 주목 화상의 시간 간격에 대한 노광 시간의 비율을 나타내는 노광 시간 비율 ER을 설정해서 블러량 설정부(33)에 공급한다.
블러량 설정부(33)의 블러량 산출부(331)는, 움직임 벡터 설정부(31)로부터 공급된 화소마다의 움직임 벡터의 움직임량에 대해서 노광 시간 비율 ER을 승산함으로써, 화소마다의 움직임 블러량 MBa를 산출해서 움직임 블러량 선택부(332)에 공급한다. 움직임 블러량 선택부(332)에는, 외부로부터 정보 ET로서 움직임 블러량 MBb가 공급되었을 때, 이 움직임 블러량 MBb가 입력가능하게 되어 있으며, 블러량 산출부(331)로부터 공급된 움직임 블러량 MBa, 외부로부터 입력된 움직임 블러량 MBb의 어느것인가를 선택해서 움직임 블러량 MBp로서, 처리 영역 설정부(36)나 처리 계수 설정부(37)에 공급한다.
주목 화소 설정부(35)는, 주목 화상을 포함시켜서 복수의 처리 대상 화상을 설정해서, 움직임 벡터 설정부(31)에 의해 설정된 움직임 벡터 vp에 의거해서, 주목 화상의 주목 화소에 대응하는 처리 대상 화상 위(上)의 화소를 검출해서, 이 검출한 화소를 각 처리 대상 화상의 주목 화소에 설정한다. 또, 주목 화소를 설정한 복수의 처리 대상 화상의 화상 신호를 처리 영역 설정부(36)에 공급한다.
예를 들면, (t)프레임의 화상을 주목 화상으로 할 때, (t-1)프레임, (t)프레임, (t+1)프레임의 화상을 처리 대상 화상으로 한다. 여기서, 움직임 벡터 vp에 의거해서, 주목 화상의 주목 화소에 대응하는 (t-1)프레임이나 (t+1)프레임의 화상 위의 화소를 주목 화소로서 설정한다. 또, (t)프레임의 처리 대상 화상의 화상 신호 DVa(t)를 처리 영역 설정부(36)의 (t)프레임 탭 선택부(362), 주목 화소를 설정한 (t-1)프레임의 처리 대상 화상의 화상 신호 DVa(t-1)을 (t-1)프레임 탭 선택부(361), 주목 화소를 설정한 (t+1)프레임의 처리 대상 화상의 화상 신호 DVa(t+1)을 (t+1)프레임 탭 선택부(363)에 각각 공급한다.
또한, 주목 화상의 주목 화소가 (t+1)프레임에서 움직임 벡터 vp만큼 이동하는 경우, (t+1)프레임의 화상을 움직임 벡터 vp만큼 되돌려보내도록(리턴시키도록) 이동시키면, 주목 화상의 주목 화소와 이동후의 (t+1)프레임의 주목 화소의 위치는 같게 되며, 처리 영역 설정부(36)에서의 처리 영역의 설정을 용이하게 할 수가 있다.
또, 기준으로 되는 주목 화상은, (t)프레임의 화상에 한정되는 것은 아니고, (t-1)프레임이나 (t+1)프레임의 화상을 주목 화상으로 할 수도 있다. 또, 주목 화상의 어느 화소를 주목 화소로 할지에 대해서는, 외부로부터 주목 화소를 지정하거나, 주목 화상내의 화소를 순차(順次) 자동적으로 주목 화소로 지정한다. 이와 같이 하면, 소망의 화소에 대해서만, 움직임 블러 제거 처리를 행하는 것으로 하거나, 주목 화상 전체에 대해서 움직임 블러 제거 처리를 자동적으로 행할 수가 있다. 또, 외부로부터 범위를 지정해서, 이 범위내의 화소를 순차 자동적으로 주목 화소로 지정하도록 하면, 소망의 범위에 대해서 움직임 블러 제거 처리를 행하는 것이 가능하게 된다.
처리 영역 설정부(36)의 (t-1)프레임 탭 선택부(361)는, 주목 화소 설정부(35)로부터 공급된 처리 대상 화상에서의 주목 화소에 대한 처리 영역을, 블러량 설정부(33)에서 설정된 움직임 블러량 MBp 및 움직임 벡터 vp에 대응하는 움직임 방향에 의거해서 설정한다. 또, 처리 영역의 화소값을 화소값 생성부(38)의 블러 제거 처리부(381)에 공급한다.
도 12에는 처리 영역을 도시하고 있으며, 동그라미 표시(丸印)로 나타내는 주목 화소를 기준으로 해서 처리 영역 WA를 설정한다. 여기서, 처리 계수 설정부(37)에 움직임 블러량과 움직임 방향에 의거한 처리 계수를 미리 기억시켜 두는 경우, 처리 영역 WA는, 공간적으로는, 도 13의 (a)에 도시하는 바와 같이, 검은 동그라미 표시(黑丸印)로 나타내는 주목 화소를 기준으로 해서 화살표로 나타내는 움직임 방향에, 움직임 블러량 MBp에 따른 처리 영역 WA를 설정한다. 또, 후술하는 처리 계수 설정부(37)에, 특정의 처리 계수 예를 들면 움직임 방향을 수평 방향으로 하였을 때의 처리 계수를 미리 기억해 두는 것으로 한 경우, 도 13의 (b)에 도시하는 바와 같이, 검은 동그라미 표시로 나타내는 주목 화소를 기준으로 해서 화살표시로 나타내는 움직임 방향과 직교(直交)하는 방향에 폭(幅)을 가지(持)게 해서, 움직임 블러량 MBp에 따른 처리 영역 WA를 움직임 방향에 설정해서, 처리 계수와 선형 결합되는 화소 위치(삼각 표시)의 화소값을 보간(補間) 등에 의해서 생성할 수 있도록 한다. 예를 들면 처리 계수를 생성할 때의 움직임 방향을 수평 방향으로 하였을 때, 이 수평에 대해서 각도차 θ를 가지는 움직임 방향의 움직임 블러가 생기고 있는 경우, 도 14에 도시하는 바와 같이, 삼각 표시로 나타내는 위치 Pwa의 화소값 DPw를, 주변의 화소 위치 Pw1, Pw2, Pw3, Pw4의 화소값을 이용해서 식 (3)으로부터 산출한다.
Figure 112007044312038-pct00003
또한, 식 (3)에서, βh=cosθ, βv=sinθ, DPw1은 화소 위치 Pw1의 화소값, DPw2～DPw4는 화소 위치 Pw2～Pw4의 화소값이다.
또, 1프레임 기간 내에서의 피사체(被寫體)의 이동량이 많으면 움직임 블러량 MBp가 크고, 이동량이 적으면 움직임 블러량 MBp가 작다. 따라서, 움직임 블러량 MBp가 클 때에는 처리 영역 WA를 움직임 방향으로 넓게 설정한다.
(t)프레임 탭 선택부(362), (t+1)프레임 탭 선택부(363)도, (t-1)프레임 탭 선택부(361)와 마찬가지로, 각각 주목 화소 설정부(35)로부터 공급된 처리 대상 화상에서의 주목 화소를 기준으로 해서, 블러량 설정부(33)에서 설정된 움직임 블러량 MBp 및 움직임 벡터 vp에 대응하는 움직임 방향에 의거하는 처리 영역을 상술한 바와 같이 설정한다. 또, 처리 영역의 화소값을 블러 제거 처리부(382, 383)에 공급한다.
처리 계수 설정부(37)는, 메모리를 이용해서 구성되어 있으며, 움직임 블러량 MBp에 의거한 특정의 처리 계수, 혹은 움직임 블러량 MBp 및 움직임 벡터 vp에 대응하는 움직임 방향에 의거하는 처리 계수가 미리 기억되어 있다. 처리 계수 설정부(37)는, 움직임 블러량 MBp에 의거한 특정의 처리 계수를 기억하고 있을 때, 블러량 설정부(33)로부터 공급된 움직임 블러량 MBp에 따른 특정의 처리 계수를 메모리로부터 판독출력(讀出; read out)해서, 블러 제거 처리부(381, 382, 383)에 공급함으로써, 처리 계수의 설정을 행한다. 또, 움직임 블러량 MBp 및 움직임 벡터 vp에 대응하는 움직임 방향에 의거하는 처리 계수를 기억하고 있을 때, 블러량 설정부(33)로부터 공급된 움직임 블러량 MBp와 움직임 벡터 선택부(312)에서 선택된 움직임 벡터 Vp에 의거하는 움직임 방향에 따른 처리 계수를 메모리로부터 판독출력해서, 블러 제거 처리부(381, 382, 383)에 공급함으로써, 처리 계수의 설정을 행한다.
화소값 생성부(38)의 블러 제거 처리부(381)는, 처리 계수 설정부(37)로부터 움직임 블러량 MBp에 의거한 특정의 처리 계수가 공급될 때, (t-1)프레임 탭 선택부(361)로부터 공급된 처리 영역의 화소값을 이용해서, 처리 계수와 선형 결합되는 화소 위치의 화소값을 보간 등에 의해서 생성한다. 또, 생성한 화소값과 공급된 처리 계수를 이용해서 선형 결합을 행하고, 블러 제거 처리후의 화소값을 생성해서 통합부(39)에 공급한다. 블러 제거 처리부(382)는, (t)프레임 탭 선택부(362)로부터 공급된 처리 영역의 화소값을 이용해서, 처리 계수와 선형 결합되는 화소 위치의 화소값을 보간 등에 의해서 생성한다. 또, 생성한 화소값과 공급된 처리 계수를 이용해서 선형 결합을 행하고, 블러 제거 처리후의 화소값을 생성해서 통합부(39)에 공급한다. 블러 제거 처리부(383)는, (t+1)프레임 탭 선택부(363)로부터 공급된 처리 영역의 화소값과, 처리 계수 설정부(37)로부터 공급된 처리 계수를 이용해서 선형 결합을 행하고, 블러 제거 처리후의 화소값을 생성해서 통합부(39)에 공급한다.
또, 화소값 생성부(38)의 블러 제거 처리부(381)는, 처리 계수 설정부(37)로부터 움직임 블러량과 움직임 방향에 따른 처리 계수가 공급될 때, (t-1)프레임 탭 선택부(361)로부터 공급된 처리 영역의 화소값과 공급된 처리 계수를 이용해서 선형 결합을 행하고, 블러 제거 처리후의 화소값을 생성해서 통합부(39)에 공급한다. 마찬가지로, 블러 제거 처리부(382)는, (t)프레임 탭 선택부(362)로부터 공급된 처리 영역의 화소값과 공급된 처리 계수를 이용해서 선형 결합을 행하고, 블러 제거 처리후의 화소값을 생성해서 통합부(39)에 공급한다. 또, 블러 제거 처리부(383)는, (t+1)프레임 탭 선택부(363)로부터 공급된 처리 영역의 화소값과 공급된 처리 계수를 이용해서 선형 결합을 행하고, 블러 제거 처리후의 화소값을 생성해서 통합부(39)에 공급한다.
식 (4)는, 처리 영역의 화소값과 처리 계수의 선형 결합의 1예로서, 곱합 연산을 행하는 경우를 나타내고 있다.
Figure 112007044312038-pct00004
식 (4)에서 q’는, 블러 제거가 행해진 화소의 화소값을 나타내고 있다. ci (i는, 1 내지 n의 정수값(整數値)으로 처리 범위내의 각 화소를 나타낸다)는, 처리 영역의 화소값을 나타내고 있다. 또, di는 처리 계수를 나타내고 있다.
통합부(39)는, 블러 제거 처리부(381～383)로부터 공급된 블러 제거후의 화소값을 통합해서, 움직임 블러 제거가 이루어진 화상인 예측 화상에서의 주목 화소의 화소값을 생성해서 화상 신호 DVout로서 출력한다. 이 화소값의 통합에서는, 통계적 처리를 이용하는 것으로 한다. 예를 들면, 단순평균, 가중 평균, 메디안 필터 등을 이용할 수가 있다. 여기서, 가중 평균에서는, 예를 들면 (t-1)프레임의 화소값 : t 프레임의 화소값 : (t+1)프레임의 화소값 =2 : 6 : 2 의 가중을 행해서 평균값을 산출한다.
도 15는 소프트웨어로 화상 처리를 행하는 경우의 플로차트를 도시하고 있다. 스텝 ST1에서 CPU(201)는, 주목 화상에 움직임 블러의 제거를 행할 주목 화소를 설정해서 스텝 ST2로 진행한다. 스텝 ST2에서 CPU(201)는, 주목 화소의 움직임 벡터를 검출해서 스텝 ST3으로 진행한다. 스텝 ST3에서 CPU(201)는, 노광 시간 비율을 산출한다. 스텝 ST4에서 CPU(201)는, 주목 화소의 움직임 블러량을 검출한 다. 즉, 스텝 ST2에서 검출한 움직임 벡터와 스텝 ST3에서 산출한 노광 시간 비율을 이용해서 연산 처리를 행하고, 주목 화소의 노광 시간내에서의 움직임 블러량을 검출한다.
스텝 ST5에서 CPU(201)는, 처리 영역을 설정한다. 즉, CPU(201)는, 주목 화상의 주목 화소에 의거해서, 처리 대상 화상을 설정해서 처리 대상 화상에 주목 화소를 설정한다. 또, 각 처리 대상 화상의 주목 화소를 기준으로 해서, 스텝 ST4에서 구한 움직임 블러량이나 스텝 ST2에서 검출한 움직임 벡터에 대응하는 움직임 방향에 따른 처리 영역을 설정해서 스텝 ST6으로 진행한다. 스텝 ST6에서 CPU(201)는, 처리 계수의 설정을 행한다. 이 처리 계수의 설정에서는, 움직임량에 따른 특정의 움직임 블러 제거용의 처리 계수, 혹은 움직임량과 스텝 ST2에서 검출된 움직임 방향에 따른 움직임 블러 제거용의 처리 계수를 설정한다.
스텝 ST7에서 CPU(201)는, 스텝 ST6에서 설정한 처리 계수를 이용해서 블러 제거 처리를 각 처리 대상 화상에 대해서 행한다. 즉, 각 처리 대상 화상에 대해서 스텝 ST5에서 설정한 처리 영역의 화소값과 스텝 ST6에서 설정한 처리 계수와의 연산 처리를 행하고, 블러 제거가 이루어진 화소값을 각 처리 대상 화상의 주목 화소마다 산출해서 스텝 ST8로 진행한다.
스텝 ST8에서 CPU(201)는, 스텝 ST7에서 처리 대상 화상마다 산출한 화소값의 통합 처리를 행하고, 얻어진 화소값을 주목 화소의 움직임 블러 제거 처리후의 화소값으로서 출력해서 스텝 ST9로 진행한다. 스텝 ST9에서 CPU(201)는, 처리 범위의 전화소(全畵素)에 대해서 블러 제거 처리가 완료했는지 여부를 판별하고, 블 러 제거 처리가 행해지고 있지 않은 화소가 있을 때는 스텝 ST1로 되돌아가며, 처리 범위의 전화소에 대해서 블러 제거가 완료하였을 때는 주목 화상에 대한 화상 처리를 종료한다.
이와 같이, 주목 화상의 주목 화소에 대응시켜서 각 처리 대상 화상에 주목 화소를 설정해서, 각 처리 대상 화상에 대한 움직임 블러 제거 처리를 행하는 것에 의해, 소망의 주목 화소에 대해서 움직임 블러 제거를 시간 방향으로 순차 행한 화소값을 얻을 수 있게 된다. 즉, 실세계 신호의 움직임 방향의 시간축(時間軸)에 대한 정상성(定常性)을 이용해서, 실세계 신호를 구축하는게 되며, 각 처리 대상 화상에 대한 움직임 블러 제거 처리 결과를 통합하는 것에 의해, 처리의 정밀도를 높일 수가 있다.
다음에, 처리 계수 설정부(37)에 미리 기억되는 처리 계수를 학습에 의해서 구해서 블러 제거 처리를 행하는 경우와, 처리 계수를 모델식(式)으로부터 구해서 블러 제거 처리를 행하는 경우에 대해서 설명한다.
도 16은, 처리 계수를 학습에 의해서 구해서 블러 제거 처리를 행하는 경우의 구성을 도시한 것이다. 학습부(51)는, 교사 화상인 정지 화상(靜止畵)과, 이 정지 화상에 움직임 블러를 부가(付加)한 학생 화상을 이용해서 학습처리를 실행하고, 이 학습에 의해 얻어지는 처리 계수를 화상 처리 장치(20)의 처리 계수 설정부(37)에 기억시킨다. 화상 처리 장치(20)는, 상술한 바와 같이 입력 화상으로 되는 움직임 블러를 포함하는 화상으로부터 주목 화상에 대한 처리 영역을 설정해서, 이 처리 영역의 화소값과 처리 계수 설정부(37)에 기억되어 있는 움직임 블러 량에 따른 처리 계수를 이용해서 연산 처리를 행하고, 블러 제거후의 화소값을 생성한다.
도 17은, 학습부(51)의 기능 블록도이다. 학습부(51)의 학생 화상 생성부(511)는, 입력 화상인 교사 화상에 대해서 움직임량 혹은 움직임 방향과 움직임량에 따른 움직임 블러를 부가해서 학생 화상을 생성해서 예측 탭 추출부(512)에 공급한다.
예측 탭 추출부(512)는, 블러 제거를 행하는 주목 화소에 대해서 복수의 화소를 예측 탭으로서 설정해서, 학생 화상으로부터 예측 탭의 화소값을 추출해서, 정규 방정식 생성부(513)에 출력한다.
정규 방정식 생성부(513)는, 예측 탭 추출부(512)로부터 공급된 예측 탭의 화소값과, 교사 화상의 화소값으로부터 정규 방정식을 생성하고, 계수 결정부(514)에 공급한다. 계수 결정부(514)는 정규 방정식 생성부(513)로부터 공급된 정규 방정식에 의거하여 처리 계수를 연산해서, 처리 계수 설정부(37)에 기억시킨다. 이 정규 방정식 생성부(513)와, 계수 결정부(514)에 대해서 더 설명한다.
상술(上述)한 식 (4)에서, 학습전에는 처리 계수 di의 각각이 미정 계수(未定係數)이다. 학습은, 복수의 교사 화상(정지 화상)의 화소를 입력하는 것에 의해서 행한다. 교사 화상의 화소가 m개(個) 존재하고, m개의 화소의 화소값을 「qk (k는, 1 내지 m의 정수값(整數値))」로 기술(記述)하는 경우, 식 (4)로부터, 다음 식 (5)가 설정된다.
Figure 112007044312038-pct00005
즉, 식 (5)는, 우변의 연산을 행함으로써, 움직임 블러가 없는 실제의 화소값 qk와 거의 똑같은 블러 제거후의 화소값 qk’를 얻을 수가 있다. 또한, 식 (5)에서, 이퀄(=)이 아니라 니어이퀄(≒)로 되어 있는 것은 오차(誤差)를 포함하기 때문이다. 즉, 좌변의 연산 결과인 블러 제거후의 화소값은, 움직임 블러가 없는 실제의 화상에서의 주목 화소의 화소값과 엄밀(嚴密)하게는 일치하지 않고, 소정(所定; 미리 정해진)의 오차를 포함하기 때문이다.
이 식 (5)에서, 오차의 제곱합(自乘和)을 최소로 하는 처리 계수 di가 학습에 의해 구해지면, 그 처리 계수 di는, 블러 제거후의 화소값 qk를 움직임 블러가 없는 화소값에 접근(近)시키기 위한 최적인 계수로 생각된다. 따라서, 예를 들면 학습에 의해 모아(集)진 m개 (단, m은 n보다 큰 정수(整數))의 화소값 qk를 이용해서, 최소 제곱법에 의해 최적인 처리 계수 di를 결정한다.
식 (5)의 우변의 처리 계수 di를 최소 제곱법으로 구하는 경우의 정규 방정식은, 식 (6)으로서 나타낼 수가 있다.
Figure 112007044312038-pct00006
따라서, 식 (6)에 나타내는 정규 방정식을 푸는 것으로 처리 계수 di를 결정할 수 있다. 구체적으로는, 식 (6)으로 나타내어지는 정규 방정식의 각 행렬(行列)의 각각을, 다음 식 (7) 내지 (9)와 같이 정의(定義)하면, 정규 방정식은, 다음 식 (10)과 같이 나타내어진다.
Figure 112007044312038-pct00007
Figure 112007044312038-pct00008
Figure 112007044312038-pct00009
Figure 112007044312038-pct00010
식 (8)로 나타내어지는 바와 같이, 행렬 DMAT의 각 성분은, 구하고 싶은 처리 계수 di이다. 따라서, 식 (10)에서, 좌변의 행렬 CMAT와 우변의 행렬 QMAT가 결정되면, 행렬 해법(行列解法)에 의해서 행렬 DMAT(즉, 처리 계수 di)의 산출이 가능하다. 구체적으로는, 식 (7)로 나타내어지는 바와 같이, 행렬 CMAT의 각 성분은, 예측 탭 cik가 이미 알려져(旣知) 있으면 연산가능하다. 예측 탭 cik는, 예측 탭 추출부(512)에 의해 추출되므로, 정규 방정식 생성부(513)는, 예측 탭 추출부(512)로부터 공급되는 예측 탭 cik의 각각을 이용해서 행렬 CMAT의 각 성분을 연산할 수가 있다.
또, 식 (9)로 나타내어지는 바와 같이, 행렬 QMAT의 각 성분은, 예측 탭 cik와 정지 화상의 화소값 qk가 이미 알려져 있으면 연산가능하다. 예측 탭 cik는, 행렬 CMAT의 각 성분에 포함되는 것과 동일(同一)한 것이며, 또, 화소값 qk는, 예측 탭 cik 에 포함되는 주목 화소(학생 화상의 화소)에 대한 교사 화상의 화소이다. 따라서, 정규 방정식 생성부(513)는, 예측 탭 추출부(512)로부터 공급된 예측 탭 cik와, 교사 화상을 이용해서 행렬 QMAT의 각 성분을 연산할 수가 있다.
이와 같이 해서, 정규 방정식 생성부(513)는, 행렬 CMAT와 행렬 QMAT의 각 성분을 연산하고, 그 연산 결과를 계수 결정부(514)에 공급한다.
계수 결정부(514)는, 상술한 식 (8)의 행렬 DMAT의 각 성분인 처리 계수 di를 연산한다. 구체적으로는, 상술한 식 (10)의 정규 방정식은, 다음 식 (11)과 같이 변형할 수 있다.
Figure 112007044312038-pct00011
식 (11)에서, 좌변의 행렬 DMAT의 각 성분이, 구하는 처리 계수 di이다. 또, 행렬 CMAT와 행렬 QMAT의 각각의 각 성분은, 정규 방정식 생성부(513)로부터 공급된다. 따라서, 계수 결정부(514)는, 정규 방정식 생성부(513)로부터 행렬 CMAT와 행렬 QMAT의 각각의 각 성분이 공급되어 왔을 때, 식 (11)의 우변의 행렬 연산을 행함으로써 행렬 DMAT를 연산하고, 그 연산 결과(처리 계수 di)를 처리 계수 설정부(37)에 기억시킨다. 또, 움직임량 v를 바꾸어서(변경해서) 상술한 학습을 행하는 것으로 하면, 움직임량에 따른 처리 계수를 처리 계수 설정부(37)에 기억시킬 수가 있다.
예측 탭의 선택은, 예를 들면 주목 화소를 기준으로 해서 움직임 방향으로「3×움직임량+9화소」의 범위에 포함되는 화소를 예측 탭으로 한다. 또, 「2×움직임량+3화소」의 범위에 포함되는 화소를 예측 탭으로 하면, 탭수(數)가 적고 구성을 간단하게 할 수 있다. 또, 예측 탭의 선택에서는, 움직임량 v에 따라서 예측 탭을 이산적으로 선택하는 것으로 해도 좋다. 또한, 선택하는 예측 탭은, 상술한 처리 영역의 화소에 대응하는 것이다.
여기서, 움직임량 v에 따라서 예측 탭을 이산적으로 선택하는 경우에 대해서 도 18을 이용해서 설명한다. 예를 들면, 도 18에 도시하는 화소 위치 P47을 주목 화소 위치로 해서 주목 화소의 화소값 F19를 구하는 경우, 파선으로 나타내는 바와 같이 최초로 주목 화소의 성분 F19/v가 나타나는 화소 위치 P45 및, 화소 위치 P45와 인접(隣接)해서 주목 화소의 성분 F19/v를 가지고 있지 않은 화소 위치 P44에 대해서 생각하면, 식 (12)가 성립한다. 또한, 화소 위치 P44, P45의 화소값을 DP44, DP45로 한다.
Figure 112007044312038-pct00012
마찬가지로, 파선으로 나타내는 바와 같이 최후(最後; 마지막)에 주목 화소의 성분 F19/v가 나타나는 화소 위치 P49 및, 화소 위치 P40과 인접해서 주목 화소의 성분 F19/v를 가지고 있지 않은 화소 위치 P50에 대해서 생각하면, 식 (13)이 성립한다.
Figure 112007044312038-pct00013
여기서, 화소값 F14의 레벨은 공간 상관(空間相關)을 이용해서 근사적(近似的)으로 구한다. 예를 들면 화소 위치 P42와 주변 화소의 공간 상관이 높으면 식 (14)에 나타내는 바와 같은 근사가 성립한다.
Figure 112007044312038-pct00014
여기서 말하는 공간 상관이라 함은, 각 화소의 액티비티(Activity)의 대소(大小)로 나타내어지는 관계이다. 즉, 액티비티라 함은, 예를 들면 기준으로 하는 화소에 인접하는 화소 사이의 차분값의 합(和)이다. 도 19는 액티비티의 산출을 설명하기 위한 도면이다. 예를 들면, 화소 위치 P42를 중심으로 해서 3화소×3화소의 합계 9화소의 화소 사이의 차분이 화소 위치 P42의 액티비티 AC(P42)이며, 이하의 식 (15)로 나타내어진다. 또한, 도 19에서, 화소 위치 P42-U는 화소 위치 P42보다도 하나 위의 라인의 화소, 화소 위치 P42-L은 화소 위치 P42보다도 하나 아래의 라인의 화소인 것을 나타내고 있으며, 그 밖의 것(他)도 마찬가지이다.
Figure 112007044312038-pct00015
식 (15)로 나타내어지는 화소 위치 P42로 나타내어지는 화소의 액티비티 AC(P42)는, 그 값이 작을 수록, 화소 위치 P42의 화소와 주변 화소의 공간 상관이 높고, 화소 위치 P42의 화소값은 주변 화소의 화소값에 근사하고 있는 것이 나타내 어진다. 거꾸로, 액티비티가 클 때는, 화소 위치 P42의 화소와 주변 화소의 공간 상관이 낮고, 화소 위치 P42의 화소값은 주변 화소의 화소값과 다를 가능성이 높다. 즉, 공간 상관이 높다고 하는 것은, 화소내에서의 화소값의 변화도 적다고 가정할 수가 있으므로, 식 (16)으로 나타내는 바와 같은 관계가 성립한다고 생각된다.
Figure 112007044312038-pct00016
따라서, 액티비티 AC(P42)가 작을 때에는, 이하의 식 (17)이 도출되는게 되기 때문에, 식 (14)가 성립한다고 생각된다.
Figure 112007044312038-pct00017
이상의 결과로부터, 식 (12)를 변형하고, 식 (14)의 관계를 대입(代入)하면, 이하의 식 (18)로 나타내어지는 바와 같이, 움직임 블러가 없는 화상의 화소에 입사(入射)되는 광의 레벨로서, F19가 구해지게 된다.
Figure 112007044312038-pct00018
마찬가지로 생각하면 식 (19)도 성립한다.
Figure 112007044312038-pct00019
이와 같이 생각하면, 주목 화소의 화소값 F19를 구할 때에는, 화소 위치 P42, P44, P45, P49, P50, P52가 얻어지면 좋기 때문에, 주목 화소의 화소 위치 P47을 기준으로 해서 화소 위치 P42, P44, P45, P49, P50, P52의 화소를 예측 탭으로서 이용할 수도 있다.
도 20은 처리 계수의 학습 처리를 도시하는 플로차트이다. 스텝 ST11에서는, 교사 화상으로부터 학생 화상을 생성한다. 즉, 교사 화상에 움직임 블러를 부가해서, 움직임 블러가 부가된 화상인 학생 화상을 생성한다.
스텝 ST12에서는, 학생 화상 중에서 예측 탭을 추출한다. 스텝 ST13에서는, 예측 탭 및 교사 화상의 화소로부터, 정규 방정식을 생성한다.
스텝 ST14에서는, 스텝 ST13에서 생성한 정규 방정식을 풀어서 처리 계수를 결정하고, 처리 계수 설정부(37)에 기억시킨다. 여기서, 움직임 방향을 특정해서 움직임 블러량만을 전환(切煥)해서 처리 계수를 결정하였을 때에는, 움직임 블러량에 따라서 처리 계수를 기억시킨다. 또, 움직임 블러량과 움직임 방향을 전환해서 처리 계수를 결정하였을 때에는, 움직임 블러량과 움직임 방향에 따라서 처리 계수를 기억시킨다.
스텝 ST15에서, 모든(全) 화소에 대해서 처리를 행하(施)였는지 여부를 판정해서, 모든 화소에 대해서 처리를 행하고 있지 않을 때는, 새로운 화소에 대해서 스텝 ST12부터의 처리를 되풀이(繰返; 반복)하고, 모든 화소의 처리가 종료하였을 때에는, 학습 처리를 종료한다.
이상의 처리를 행하고, 학습에 의해서 움직임 블러를 제거하기 위한 처리 계수를 생성해서 처리 계수 설정부(37)에 기억시키는 것에 의해, 움직임 블러의 제거 처리가 실행가능하게 된다.
또, 상술한 바와 같이 액티비티의 대소, 즉 공간 상관의 유무를 검출할 때에는, 액티비티의 대소에 의해 클래스 분류를 행하고, 클래스 분류 결과인 클래스 코 드에 대응해서 처리 영역을 변경시킴으로써, 블러 제거의 정밀도를 향상시킬 수도 있다.
이 경우, 처리 영역 설정부(36)에서는, 주목 화소에 대한 클래스 탭을 추출해서, 추출한 클래스 탭으로부터 클래스 코드를 결정하고, 이 클래스 코드에 따라서 주목 화소에 대한 처리 영역을 설정해서, 처리 영역의 화소값을 화소값 생성부(38)에 공급한다. 또, 결정한 클래스 코드를 처리 영역 설정부(36)로부터 처리 계수 설정부(37)에 공급해서, 움직임 블러량 MBp와 움직임 벡터 vp에 대응하는 움직임 방향 및 클래스 코드에 따른 처리 계수를 메모리로부터 판독출력해서 화소값 생성부(38)에 공급시킨다.
여기서, 액티비티의 대소에 의해 클래스 분류가 행해지고 있을 때, 도 18, 도 19를 참조해서 설명한 바와 같이, 액티비티의 산출에 이용한 화소를 클래스 탭으로서 추출한다. 이 추출한 클래스 탭을 이용해서 상술한 바와 같이 액티비티를 구하고, 구한 액티비티에 의해 클래스 코드를 검출한다. 예를 들면 액티비티 AC(P42), AC(P52)를 구해서, 액티비티 AC(P42)가 액티비티 AC(P52)보다도 작을 때 클래스 코드를「1」, 액티비티 AC(P52)가 액티비티 AC(P42)보다도 작을 때 클래스 코드를「2」로 해서, 클래스 코드를 처리 계수 설정부(37)에 공급한다.
또, 처리 영역 설정부(36)에서는, 클래스 코드에 대응해서 주목 화소에 대응하는 처리 영역의 설정을 행한다. 예를 들면, 클래스 코드가「1」이었던 경우, 화소 위치 P52보다도 화소 위치 P42의 공간 상관이 높으므로, 화소 위치 P42, P44, P45의 화소값을 처리 영역의 화소값으로서 화소값 생성부(38)에 공급한다. 또, 클래스 코드가「2」이었던 경우, 화소 위치 P42보다도 화소 위치 P52의 공간 상관이 높으므로, 화소 위치 P49, P50, P52의 화소값을 처리 영역의 화소값으로서 화소값 생성부(38)에 공급한다.
처리 계수 설정부(37)는, 움직임 방향을 특정해서 움직임 블러량만을 전환하거나, 혹은 움직임 블러량과 움직임 방향을 전환할 뿐만 아니라, 클래스 코드마다 생성된 처리 계수를 미리 기억하고 있다. 여기서, 처리 계수 설정부(37)는, 움직임 블러량 MBp와 클래스 코드에 의거한 특정의 처리 계수를 기억하고 있을 때, 블러량 설정부(33)로부터 공급된 움직임 블러량 MBp와 처리 영역 설정부(36)로부터 공급된 클래스 코드에 따른 특정의 처리 계수를 메모리로부터 판독출력해서, 블러 제거 처리부(381, 382, 383)에 공급함으로써, 처리 계수의 설정을 행한다. 또, 움직임 블러량 MBp와 움직임 벡터 vp에 대응하는 움직임 방향 및 클래스 코드에 의거하는 처리 계수를 기억하고 있을 때, 블러량 설정부(33)로부터 공급된 움직임 블러량 MBp와 움직임 벡터 선택부(312)에서 선택된 움직임 벡터 vp에 의거하는 움직임 방향 및 처리 영역 설정부(36)로부터 공급된 클래스 코드에 따른 처리 계수를 메모리로부터 판독출력해서, 블러 제거 처리부(381, 382, 383)에 공급함으로써, 처리 계수의 설정을 행한다.
화소값 생성부(38)의 블러 제거 처리부(381～383)는, 처리 영역의 화소값과 처리계수 설정부(37)로부터 공급된 처리 계수를 이용해서 연산 처리를 행하고, 블러 제거 처리후의 화소값을 생성해서 통합부(39)에 공급한다. 통합부(39)는, 블러 제거 처리부(381～383)로부터 공급된 화소값을 통합해서, 움직임 블러 제거가 이루어진 화상인 예측 화상에서의 주목 화소의 화소값을 출력한다.
도 21에는 클래스 분류를 이용한 화상 처리의 플로차트를 도시하고 있다. 스텝 ST21에서 CPU(201)는, 주목 화상에 움직임 블러의 제거를 행할 주목 화소를 설정해서 스텝 ST22로 진행한다. 스텝 ST22에서 CPU(201)는, 주목 화소의 움직임 벡터를 검출해서 스텝 ST23으로 진행한다. 스텝 ST23에서 CPU(201)는, 노광 시간 비율을 산출한다. 스텝 ST24에서 CPU(201)는, 주목 화소의 움직임 블러량을 검출한다. 즉, 스텝 ST22에서 검출한 움직임 벡터와 스텝 ST23에서 산출한 노광 시간 비율을 이용해서 연산 처리를 행하고, 주목 화소의 노광 시간내에서의 움직임 블러량을 검출한다.
스텝 ST25에서 CPU(201)는, 스텝 ST24에서 구한 움직임 블러량에 따라서 클래스 탭을 추출해서 스텝 ST26으로 진행한다. 스텝 ST26에서 CPU(201)는, 클래스 분류를 행하고, 클래스 탭으로부터 클래스 코드를 결정한다. 스텝 ST27에서 CPU(201)는, 클래스 코드에 대응한 처리 영역을 스텝 ST22에서 검출한 움직임 벡터에 대응하는 움직임 방향에 설정한다.
스텝 ST28에서 CPU(201)는, 클래스 코드를 이용해서 처리 계수의 설정을 행한다. 이 처리 계수의 설정에서는, 스텝 ST24에서 구한 주목 화소의 움직임 블러량과 스텝 ST26에서 결정된 클래스 코드에 따른 특정의 움직임 블러 제거용의 처리 계수, 혹은 움직임량과 스텝 ST22에서 검출된 움직임 벡터에 따른 움직임 방향과 클래스 코드에 따른 움직임 블러 제거용의 처리 계수를 설정해서 스텝 ST29로 진행 한다.
스텝 ST29에서 CPU(201)는, 스텝 ST28에서 설정한 처리 계수를 이용해서 블러 제거 처리를 각 처리 대상 화상에 대해서 행한다. 즉, 각 처리 대상 화상에 대해서 스텝 ST27에서 설정한 처리 범위의 화소값과 스텝 ST28에서 설정한 처리 계수와의 연산 처리를 행하고, 블러 제거가 이루어진 화소값을 각 처리 대상 화상의 주목 화소마다 산출해서 스텝 ST30으로 진행한다.
스텝 ST30에서 CPU(201)는, 스텝 ST29에서 처리 대상 화상마다 산출한 화소값의 통합 처리를 행하고, 얻어진 화소값을 주목 화소의 움직임 블러 제거 처리후의 화소값으로서 출력해서 스텝 ST31로 진행한다. 스텝 ST31에서 CPU(201)는, 처리 범위의 전화소에 대해서 블러 제거 처리가 완료했는지 여부를 판별하고, 블러 제거 처리가 행해지고 있지 않은 화소가 있을 때는 스텝 ST21로 되돌아가며, 처리 범위의 전화소에 대해서 블러 제거가 완료하였을 때는 주목 화상에 대한 화상 처리를 종료한다.
다음에, 클래스 분류를 행하는 경우의 처리 계수의 학습에 대해서 설명한다. 도 22는, 클래스 분류를 행하는 경우의 학습부(52)의 기능 블록도이다. 또한 도 22에서, 도 17과 대응하는 부분에 대해서는 동일 부호를 붙이고, 상세한 설명은 생략한다.
학습부(52)의 클래스 탭 추출부(521)는, 상술한 바와 같이 클래스 탭을 선택해서, 선택한 클래스 탭을 클래스 분류부(522)에 공급한다. 클래스 분류부(522)는, 상술한 바와 같이 클래스 분류를 행하고 클래스 코드를 결정하여 예측 탭 추출 부(523)와 정규 방정식 생성부(524)에 공급한다.
예측 탭 추출부(523)는 클래스 코드에 따라서 예측 탭을 전환해서 추출하여, 정규 방정식 생성부(524)에 공급한다.
정규 방정식 생성부(524)는, 기본적으로 도 17의 정규 방정식 생성부(513)와 마찬가지인 것이지만, 클래스 분류부(522)로부터 공급되는 클래스 코드마다 정규 방정식을 생성해서 계수 결정부(525)에 출력한다. 따라서, 계수 결정부(525)는, 클래스 코드마다 계수를 결정하고, 이 계수를 처리 계수 설정부(37)에 기억시킨다. 여기서, 움직임 방향을 특정해서 움직임 블러량만을 전환해서 학생 화상을 생성하고 있을 때에는, 움직임 블러량 MBp와 클래스 코드에 따른 특정의 처리 계수가 처리 계수 설정부(37)에 기억된다. 또, 움직임 블러량과 움직임 방향을 전환해서 학생 화상을 생성하고 있을 때에는, 움직임 블러량 MBp와 움직임 벡터 vp에 대응하는 움직임 방향 및 클래스 코드에 따른 처리 계수가 처리 계수 설정부(37)에 기억된다.
도 23은 클래스 분류를 이용한 처리 계수의 학습 처리를 도시하는 플로차트이다. 스텝 ST41에서는, 교사 화상으로부터 학생 화상을 생성한다. 즉, 교사 화상에 움직임 블러를 부가해서, 움직임 블러가 부가된 화상인 학생 화상을 생성한다.
스텝 ST42에서는, 학생 화상으로부터 클래스 탭을 추출한다. 이 클래스 탭의 추출은, 상술한 스텝 ST25와 마찬가지로 해서 행한다.
스텝 ST43에서는, 추출한 클래스 탭으로부터 클래스 분류를 행하고 클래스 코드를 결정한다. 스텝 ST44에서는, 스텝 ST43에서 결정한 클래스 코드에 대응해서, 학생 화상으로부터 예측 탭을 추출한다.
스텝 ST45에서는, 예측 탭 및 교사 화상의 화소로부터 클래스 코드마다 정규 방정식을 생성한다.
스텝 ST46에서는, 스텝 ST45에서 생성한 정규 방정식을 풀어서 처리 계수를 결정하고, 처리 계수 설정부(37)에 기억시킨다.
스텝 ST47에서, 모든 화소에 대해서 처리를 행하였는지 여부를 판정해서, 모든 화소에 대해서 처리를 행하고 있지 않을 때는, 새로운 화소에 대해서 스텝 ST42부터의 처리를 되풀이하고, 모든 화소의 처리가 종료했을 때는, 학습 처리를 종료한다.
다음에, 처리 계수 설정부(37)에 기억되는 처리 계수를 모델식으로부터 구해서 블러 제거 처리를 행하는 경우에 대해서 설명한다.
도 24에는 처리 영역을 도시하고 있으며, 주목 화소를 중심으로 해서 움직임 방향으로 (2N+1)화소분의 처리 영역을 설정한다. 도 25의 (a) 및 (b)에는 처리 영역의 설정예를 도시하고 있으며, 움직임 블러를 경감시키는 움직임 오브젝트 OBf의 화소에 대해서, 움직임 벡터의 방향이 예를 들면 화살표 B로 나타내는 바와 같이 수평 방향인 경우는, 도 25의 (a)에 도시하는 바와 같이 수평 방향에 처리 영역 WB를 설정한다. 또, 움직임 벡터의 방향이 기울기 방향인 경우는, 도 25의 (b)에 도시한 바와 같이, 해당하는 각도 방향에 처리 영역 WB를 설정한다. 단, 기울기 방향에 처리 영역을 설정할 때에는, 처리 영역의 화소 위치에 상당하는 화소값을, 상 술한 도 14에 도시하는 바와 같이 보간 등에 의해서 구한다.
여기서, 처리 영역내에서는, 도 26에 도시하는 바와 같이, 실세계 변수(Y-8, …, Y0, …, Y8)가 시간 혼합되어 있다. 또한, 도 26은 움직임량 v가 「v=5」로서 처리 영역을 13화소(N=6 : N은 주목 화소에 대한 처리폭의 화소수)로 한 경우이다.
블러 제거 처리에서는, 이 처리 영역에 대해서 실세계 추정을 행하고, 추정한 실세계의 중심 화소 변수 Y0만을, 움직임 블러 제거가 이루어진 주목 화소의 화소값으로서 출력한다.
여기서, 처리 영역을 구성하는 화소의 화소값을 X-N, X-N+1, …, X0, …, XN-1, XN으로 하면, 식 (20)에 나타내는 바와 같은 (2N+1)개의 혼합식이 성립한다. 또한, 정수(定數)h는, 움직임량 v를 1/2배했을 때의 정수 부분(整數部分)의 값(소수점 이하를 잘라버린(切捨) 값)을 나타내고 있다.
Figure 112007044312038-pct00020
그러나, 구하고 싶은 실세계 변수(Y-N-h, …, Y0, …, YN +h)는, (2N+v)개 있다. 즉, 변수의 수보다도 식의 수가 적으므로, 식 (20)에 의거해서 실세계 변수(Y-N-h, …, Y0, …, YN+h)를 구할 수가 없다.
그래서, 공간 상관을 이용한 구속식(拘束式)인 식 (21)을 이용함으로써, 실세계 변수보다도 식의 수를 늘리고, 최소 제곱법을 이용해서, 실세계 변수의 값을 구한다.
Figure 112007044312038-pct00021
즉, 식 (20)으로 나타내어지는 (2N+1)개의 혼합식과 식 (21)로 나타내어지는 (2N+v-1)개의 구속식을 합(合)한 (4N+v)개의 식을 이용해서, (2N+v)개의 미지 변수(未知變數)인 실세계 변수 (Y-N-h, …, Y0, …, YN+h)를 구한다.
여기서, 각 식에서 발생하는 오차의 이승합(二乘和)이 최소로 되는 바와 같은 추정을 행함으로써, 움직임 블러 경감 화상 생성 처리를 행하면서, 실세계에서의 화소값의 변동을 작게 할 수 있다.
식 (22)는, 도 26에 도시하는 바와 같이 처리 영역을 설정한 경우를 나타내고 있으며, 식 (20)과 식 (21)에 각각의 식에서 발생하는 오차를 더한 것이다
Figure 112007044312038-pct00022
이 식 (22)는 식 (23)으로서 나타낼 수가 있고, 식 (24)에 나타내는 오차의 이승합 E를 최소로 하는 바와 같은 Y(=Yi)는 식 (25)에서, T는 전치 행렬(轉置行列)인 것을 나타내고 있다.
Figure 112007044312038-pct00023
Figure 112007044312038-pct00024
Figure 112007044312038-pct00025
여기서, 오차의 이승합은 식 (26)로 나타내는 것으로 되며, 이 오차의 이승합을 편미분(偏微分)해서, 식 (27)에 나타내는 바와 같이 편미분값이 0으로 되도록 하면, 오차의 이승합이 최소로 되는 식 (25)를 구할 수가 있다.
Figure 112007044312038-pct00026
Figure 112007044312038-pct00027
이 식 (25)의 선형 결합을 행함으로써, 실세계 변수(Y-N-h, … Y0, …, YN+h)를 각각 구할 수가 있고, 중심 화소 변수 Y0의 화소값을 주목 화소의 화소값으로서 출력한다. 즉, 중심 화소 변수 Y0에 대한 계수를 움직임량마다 구해서 처리 계수로서 처리 계수 설정부(37)에 기억시켜 두고, 이 처리 계수 설정부(37)에 기억되어 있는 움직임량에 따른 처리 계수를 이용해서, 화소값과 곱합 연산을 행하는 것에 의해 움직임 블러가 제거된 화소값을 출력한다. 이와 같은 처리를 처리 영역내의 전화소에 대해서 행함으로써, 움직임 블러가 경감되어 있는 실세계 변수를 처리 영역에 대해서 구할 수가 있다.
상기 기술에서는, AY=X+e에서의 오차의 이승합 E를 최소로 하도록, 최소 제곱법으로 실세계 변수(Y-N-h, … Y0, …, YN +h)를 구하고 있지만, 식의 수= 변수의 수로 되도록 식을 만드는 것도 가능하다. 이 식을 AY=X로 하면, Y=A-1X로 변형하는 것에 의해, 실세계 변수(Y-N-h, … Y0, …, YN+h)를 구할 수가 있다.
또, 상술한 모델식의 블러 제거 처리에서는, 전경 오브젝트가 화소 단위로 움직이는 경우에 대해서 설명했지만, 전경 오브젝트의 움직임량이 화소 단위가 아닐 때에는, 노광 시간내에서의 전경 오브젝트의 적분 범위가 화소 단위로 움직이는 경우와는 다른 것으로 된다. 이 때문에, 화소 단위 이하의 움직임량에 따른 처리 계수를 미리 구해서 두는 것으로 하면, 화소 단위 이하의 움직임량이 생겨도, 움직임량에 따른 처리 계수를 이용함으로써 정밀도좋게 블러 제거 처리를 행할 수가 있다.
여기서, 도 26에서는, 실세계 변수 (Y-8, …, Y0, …, Y8)가 시간 혼합되어 있는 화소 단위로의 더해넣기 모델을 도시하고 있지만, 예를 들면 움직임량이 5.5화소일 때는, 도 27에 도시하는 바와 같이 0.5화소 단위의 더해넣기 모델을 설정한다. 이 더해넣기 모델에서는, 움직임량의 소수부(小數部)에 대응하기 위해서, 움직임 방향과 시간 방향의 분할을 각각 예를 들면 2배로 한다. 이 때문에, 1화소 단위로의 더해넣기 모델에서는, 하나의 성분을 움직임량으로 제산하고 있었지만, 움직임 방향과 시간 방향의 분할을 각각 예를 들면 2배로 했을 때는, 제산 결과를 또 1/4배한다. 즉, 하나의 성분을 4배의 움직임량인「22」로 제산한다. 또, 처리 영역을 구성하는 화소의 화소값으로서, (t)프레임의 화소값 DP-4(t)～DP4(t)와 (t+1)프레임의 화소값 DP-3(t+1)～DP4(t+1)을 이용한다. 이와 같이 더해넣기 모델을 설정하면, 상술한 식 (22)는, 식 (28)로서 나타낼 수가 있다.
Figure 112007044312038-pct00028
도 28은, 도 27에 도시하는 더해넣기 모델을 이용하는 경우의 화상 처리 장치의 기능 블록도이다. 또한, 도 28에서, 도 6과 대응하는 부분에 대해서는 동일 부호를 붙이고, 상세한 설명은 생략한다.
(t)프레임 탭 선택부(362a)는, 처리 영역의 화소값을 추출해서, 블러 제거 처리부(381a, 382a)에 공급하고, 블러 제거 처리부(381a)에서는, (t-1)프레임 탭 선택부(361)와 (t)프레임 탭 선택부(362a)로부터 공급된 화소값과, 처리 계수 설정부(37)로부터 공급된 처리 계수를 이용해서 연산 처리를 행하고, 움직임 블러 제거 된 주목 화소의 화소값을 생성한다. 즉, 식 (28)의 Y0 에 대한 처리 계수와, (t-1)프레임 탭 선택부(361)와 (t)프레임 탭 선택부(362a)로부터 공급된 화소값을 서로곱해서(掛合) 연산을 행하는 것에 의해, 움직임량이 화소 단위가 아닌 경우이더라도, 주목 화소의 움직임 블러 제거후의 화소값을 구할 수가 있다. 또, (t+1)프레임 탭 선택부(363a)는, 처리 영역의 화소값을 추출해서, 블러 제거 처리부(382a, 383a)에 공급하고, (t+2)프레임 탭 선택부(364)로부터 처리 영역의 화소값을 블러 제거 처리부(383a)에 공급하면, 블러 제거 처리부(382a, 383a)에서도 블러 제거 처리부(381a)와 마찬가지인 처리를 행할 수가 있으므로, 각 블러 제거 처리부에서 얻어진 주목 화소의 화소값을 통합 처리함으로써, 더욱 더 처리 정밀도를 높일 수가 있다.
이와 같이 실세계 변수의 값을 구할 때에, 많은 화소값을 이용해서 실세계 변수의 값이 구해지므로, 보다 정밀도가 양호한 블러 제거 처리를 행할 수가 있다. 또, 이와 같이 해서 구한 처리 계수를 미리 산출해서 두면, 움직임량이 화소단위가 아니더라도, 움직임량에 따른 처리 계수를 판독출력함으로써, 실세계 변수의 값 즉 블러 제거후의 주목 화소의 화소값을 용이하게 얻을 수가 있다.
다음에, 셔터 동작이 행해지지 않을 때는, 노광 시간 비율이 1로 되며, 주목 화소의 움직임량은, 움직임 벡터 설정부(31)에서 설정된 움직임 벡터의 움직임량과 똑같게 된다. 이 때문에, 노셔터 동작에 한정했을 때는, 도 29에 도시하는 바와 같이, 노광 시간 비율 산출부를 마련하는 일 없이 화상 처리 장치를 구성할 수 있 다. 또한, 도 29에서도, 도 6과 대응하는 부분에 대해서는 동일 부호를 붙이고, 상세한 설명은 생략한다.
이 경우, 움직임 벡터 설정부(31)에서 설정된 움직임 벡터 vp를 주목 화소 설정부(35)나 처리 영역 설정부(36) 및 처리 계수 설정부(37)에 공급해서, 이 움직임 벡터 vp에 의거하는 움직임 블러량과 움직임 방향에 따라서 처리 영역의 설정이나 처리 계수의 설정을 행하는 것으로 하면, 상술한 형태와 마찬가지로 해서 움직임 블러 제거를 행할 수가 있다.
또, 움직임 블러량 MBp에 의거해서 처리 계수 설정부(37)로부터 화소값 생성부(38)의 블러 제거 처리부(381, 382, 383)에 각각 공급하는 특정의 처리 계수, 혹은 주목 화소의 움직임 블러량과 움직임 방향에 따라서 각각 공급하는 처리 계수를, 관계지어서 두는 것으로 하면, 블러 제거 처리부(381, 382, 383)의 각각에서 화소값을 생성해서 통합부(39)에서 통합하는 처리를 행하지 않더라도, 각 처리 계수와 처리 범위의 화소값을 이용한 곱합 연산 처리를 행함으로써 주목 화소의 화소값을 생성할 수 있다.
도 30은, 처리 계수와 탭의 화소값을 이용한 곱합 연산 처리를 행하는 경우의 화상 처리 장치의 기능 블록도이다. 또한, 도 30에서도, 도 6과 대응하는 부분에 대해서는 동일 부호를 붙이고, 상세한 설명은 생략한다.
이 경우, 처리 계수 설정부(37)는, 관계지어져 기억되어 있는 처리 계수로부터 움직임 블러량 MBp와 움직임 벡터 vp에 대응하는 움직임 방향에 따른 처리 계수를 선택해서 곱합 연산 처리부(40)에 공급한다. 곱합 연산 처리부(40)에서는, 처 리 영역 설정부(36)에서 움직임 벡터 vp에 대응하는 움직임 방향에 설정된 처리 범위의 화소값과 처리 계수의 곱합 연산에 의해, 주목 화소의 움직임 블러 제거후의 화소값을 생성해서 출력한다. 예를 들면, 상술한 통합부(39)에서 행한 가중을, 처리 계수 설정부(37)에 기억되어 있는 처리 계수에 대해서 미리 행해 두면, 곱합 연산 처리부(40)로부터 출력되는 화소값은, 상술한 바와 같이 복수 프레임의 움직임 블러 제거 처리후의 화상 신호를 이용해서 가중을 행한 경우와 동등한 화소값을 얻을 수가 있다. 또, 처리 대상 화상을 N프레임분으로 해서 곱합 연산을 행할 때, 각 처리 대상 화상에 대한 처리 계수를 미리 1/N배해 둠으로써, 곱합 연산 처리후의 화소값의 다이나믹 레인지가 변화해 버리는 것도 방지할 수 있다.
이상과 같이, 본 발명에 관계된 화상 처리 장치와 화상 처리 방법 및 화상 처리 프로그램은, 화상 센서를 이용해서 현실 사회를 촬상해서 얻어지는 화상 신호에 파묻혀 버린 정보를 추출할 때에 유용하며, 움직임 블러를 제거한 해상도가 높은 화상을 얻는 경우에 매우 적합하다.

Claims (7)

  1. 주목 화상(注目畵像)내의 화소 단위로 움직임 벡터를 설정하는 움직임 벡터 설정부와,
    상기 움직임 벡터 설정부에 의해 설정된 움직임 벡터에 의거해서, 처리 대상인 복수(複數; plurality) 화상에서의 화상마다 주목 화소를 설정하는 주목 화소 설정부와,
    주목 화상의 시간 간격과 노광 시간(露光時間)과의 비율인 노광 시간 비율(比率)을 화상 단위로 설정하는 노광 시간 비율 설정부와,
    상기 움직임 벡터 설정부에 의해 화소 단위로 설정된 움직임 벡터와, 상기 노광 시간 비율 설정부에 의해 설정된 노광 시간 비율에 의거해서, 화소 단위로 움직임 블러량(motion blur amount)을 설정하는 움직임 블러량 설정부와,
    상기 움직임 블러량 설정부에 의해 설정된 움직임 블러량 및 상기 움직임 벡터에 대응하는 움직임 방향에 의거해서, 상기 주목 화소 설정부에 의해 설정된 화상마다의 주목 화소에 대한 처리 영역을 설정하는 처리 영역 설정부와,
    상기 움직임 블러량 설정부에 의해 설정된 상기 주목 화소의 움직임 블러량에 의거해서, 특정의 처리 계수를 설정하거나, 혹은 상기 주목 화소의 움직임 블러량과 움직임 방향에 따라서 처리 계수를 설정하는 처리 계수 설정부와,
    상기 화상마다 설정된 처리 영역내의 화소에 대응하는 화소값으로부터 상기 움직임 방향에 따라서 생성된 새로운 처리용의 화소값과, 상기 처리 계수 설정부에 의해 설정된 상기 특정의 처리 계수와의 선형 결합(線形結合), 혹은 상기 처리 영역내의 화소에 대응하는 화소값과 상기 주목 화소의 움직임 블러량과 움직임 방향에 따라서 설정된 처리 계수의 선형 결합에 의해 상기 주목 화소에 대응하는 화소값을 생성하는 화소값 생성부를 구비하는 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 처리 계수 설정부는, 상기 움직임 블러량 설정부에 의해 설정된 각 화상의 주목 화소에 대한 움직임 블러량에 의거해서, 화상마다, 처리 계수를 설정하는 것을 특징으로 하는 화상 처리 장치.
  3. 제2항에 있어서,
    상기 화소값 생성부에 의해 생성된 화상마다의 주목 화소에 대응하는 화소값을 통합 처리하고, 단일(單一)의 화소값을 출력하는 통합부를 구비하는 것을 특징으로 하는 화상 처리 장치.
  4. 제1항에 있어서,
    상기 주목 화상이 노셔터로 촬상된 화상일 때, 상기 움직임 블러량 설정부는, 상기 움직임 벡터에 대응하는 움직임량을 움직임 블러량으로서 설정하는 것을 특징으로 하는 화상 처리 장치.
  5. 제1항에 있어서,
    상기 움직임 벡터 설정부는, 상기 움직임 벡터의 움직임량을 화소 이하 단위로 설정하는 것을 특징으로 하는 화상 처리 장치.
  6. 주목 화상내의 화소 단위로 움직임 벡터를 설정하는 움직임 벡터 설정 공정과,
    상기 움직임 벡터 설정 공정에 의해 설정된 움직임 벡터에 의거해서, 처리 대상인 복수 화상에서의 화상마다 주목 화소를 설정하는 주목 화소 설정 공정과,
    주목 화상의 시간 간격과 노광 시간과의 비율인 노광 시간 비율을 화상 단위로 설정하는 노광 시간 비율 설정 공정과,
    상기 움직임 벡터 설정 공정에 의해 화소 단위로 설정된 움직임 벡터와, 상기 노광 시간 비율 설정 공정에 의해 설정된 노광 시간 비율에 의거해서, 화소 단위로 움직임 블러량을 설정하는 움직임 블러량 설정 공정과,
    상기 움직임 블러량 설정 공정에 의해 설정된 움직임 블러량 및 상기 움직임 벡터에 대응하는 움직임 방향에 의거해서, 상기 주목 화소 설정 공정에 의해 설정된 화상마다의 주목 화소에 대한 처리 영역을 설정하는 처리 영역 설정 공정과,
    상기 움직임 블러량 설정 공정에 의해 설정된 상기 주목 화소의 움직임 블러량에 의거해서, 특정의 처리 계수를 설정하거나, 혹은 상기 주목 화소의 움직임 블러량과 움직임 방향에 따라서, 처리 계수를 설정하는 처리 계수 설정 공정과,
    상기 화상마다 설정된 처리 영역내의 화소에 대응하는 화소값으로부터 상기 움직임 방향에 따라서 생성된 새로운 처리용의 화소값과, 상기 처리 계수 설정 공정에 의해 설정된 상기 특정의 처리 계수와의 선형 결합, 혹은 상기 처리 영역내의 화소에 대응하는 화소값과 상기 주목 화소의 움직임 블러량과 움직임 방향에 따라서 설정된 처리 계수의 선형 결합에 의해 상기 주목 화소에 대응하는 화소값을 생성하는 화소값 생성 공정을 구비하는 것을 특징으로 하는 화상 처리 방법.
  7. 컴퓨터에,
    주목 화상내의 화소 단위로 움직임 벡터를 설정하는 움직임 벡터 설정 스텝과,
    상기 움직임 벡터 설정 스텝에 의해 설정된 움직임 벡터에 의거해서, 처리 대상인 복수 화상에서의 화상마다 주목 화소를 설정하는 주목 화소 설정 스텝과,
    주목 화상의 시간 간격과 노광 시간과의 비율인 노광 시간 비율을 화상 단위로 설정하는 노광 시간 비율 설정 스텝과,
    상기 움직임 벡터 설정 스텝에 의해 화소 단위로 설정된 움직임 벡터와, 상기 노광 시간 비율 설정 스텝에 의해 설정된 노광 시간 비율에 의거해서, 화소 단위로 움직임 블러량을 설정하는 움직임 블러량 설정 스텝과,
    상기 움직임 블러량 설정 스텝에 의해 설정된 움직임 블러량 및 상기 움직임 벡터에 대응하는 움직임 방향에 의거해서, 상기 주목 화소 설정 스텝에 의해 설정된 화상마다의 주목 화소에 대한 처리 영역을 설정하는 처리 영역 설정 스텝과,
    상기 움직임 블러량 설정 스텝에 의해 설정된 상기 주목 화소의 움직임 블러량에 의거해서, 특정의 처리 계수를 설정하거나, 혹은 상기 주목 화소의 움직임 블러량과 움직임 방향에 따라서, 처리 계수를 설정하는 처리 계수 설정 스텝과,
    상기 화상마다 설정된 처리 영역내의 화소에 대응하는 화소값으로부터 상기 움직임 방향에 따라서 생성된 새로운 처리용의 화소값과, 상기 처리 계수 설정 스텝에 의해 설정된 상기 특정의 처리 계수와의 선형 결합, 혹은 상기 처리 영역내의 화소에 대응하는 화소값과 상기 주목 화소의 움직임 블러량과 움직임 방향에 따라서 설정된 처리 계수의 선형 결합에 의해, 상기 주목 화소에 대응하는 화소값을 생성하는 화소값 생성 스텝을 실행시키기 위한 화상 처리 프로그램이 기록되어 있는, 컴퓨터 판독가능한 기록 매체.
KR1020077013870A 2004-12-21 2005-12-21 화상 처리 장치와 화상 처리 방법 및 기록 매체 KR101129591B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00369267 2004-12-21
JP2004369267 2004-12-21
PCT/JP2005/023988 WO2006068282A1 (ja) 2004-12-21 2005-12-21 画像処理装置と画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
KR20070095295A KR20070095295A (ko) 2007-09-28
KR101129591B1 true KR101129591B1 (ko) 2012-03-28

Family

ID=36601869

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077013870A KR101129591B1 (ko) 2004-12-21 2005-12-21 화상 처리 장치와 화상 처리 방법 및 기록 매체

Country Status (6)

Country Link
US (1) US8213496B2 (ko)
EP (1) EP1830561A4 (ko)
JP (1) JP4766333B2 (ko)
KR (1) KR101129591B1 (ko)
CN (1) CN100486299C (ko)
WO (1) WO2006068282A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4674620B2 (ja) * 2008-07-29 2011-04-20 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP5338684B2 (ja) * 2010-01-08 2013-11-13 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP5526942B2 (ja) * 2010-03-31 2014-06-18 ソニー株式会社 ロボット装置、ロボット装置の制御方法およびプログラム
FR2968878A1 (fr) 2010-12-14 2012-06-15 Thomson Licensing Procede et dispositif pour generer des images comportant du flou cinetique
KR101926490B1 (ko) * 2013-03-12 2018-12-07 한화테크윈 주식회사 이미지 처리 장치 및 방법
JP6411768B2 (ja) 2014-04-11 2018-10-24 Hoya株式会社 画像処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030040A (ja) * 1998-07-14 2000-01-28 Canon Inc 画像処理装置及びコンピュータ読み取り可能な記憶媒体
JP2002373336A (ja) * 2001-06-15 2002-12-26 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003233817A (ja) * 2002-02-08 2003-08-22 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4833535A (en) * 1987-02-04 1989-05-23 Kabushiki Kaisha Toshiba Image transmission apparatus
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
JP3169783B2 (ja) * 1995-02-15 2001-05-28 日本電気株式会社 動画像の符号化・復号システム
US7583292B2 (en) 1999-12-28 2009-09-01 Sony Corporation Signal processing device and method, and recording medium
JP4491965B2 (ja) 1999-12-28 2010-06-30 ソニー株式会社 信号処理装置および方法、並びに記録媒体
JP4596202B2 (ja) 2001-02-05 2010-12-08 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP4596221B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US6965645B2 (en) * 2001-09-25 2005-11-15 Microsoft Corporation Content-based characterization of video frame sequences
JP3702260B2 (ja) * 2002-09-19 2005-10-05 株式会社東芝 目標角速度計測装置および目標角速度計測方法
US7406123B2 (en) * 2003-07-10 2008-07-29 Mitsubishi Electric Research Laboratories, Inc. Visual complexity measure for playing videos adaptively
US7580620B2 (en) * 2006-05-08 2009-08-25 Mitsubishi Electric Research Laboratories, Inc. Method for deblurring images using optimized temporal coding patterns

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030040A (ja) * 1998-07-14 2000-01-28 Canon Inc 画像処理装置及びコンピュータ読み取り可能な記憶媒体
JP2002373336A (ja) * 2001-06-15 2002-12-26 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003233817A (ja) * 2002-02-08 2003-08-22 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
CN100486299C (zh) 2009-05-06
JP4766333B2 (ja) 2011-09-07
JPWO2006068282A1 (ja) 2008-06-12
US20080129873A1 (en) 2008-06-05
EP1830561A1 (en) 2007-09-05
US8213496B2 (en) 2012-07-03
WO2006068282A1 (ja) 2006-06-29
KR20070095295A (ko) 2007-09-28
EP1830561A4 (en) 2009-08-05
CN101084671A (zh) 2007-12-05

Similar Documents

Publication Publication Date Title
US7710461B2 (en) Image processing device, image processing method, and image processing program
JP4766334B2 (ja) 画像処理装置と画像処理方法および画像処理プログラム
KR101092287B1 (ko) 화상 처리 장치 및 화상 처리 방법
KR100846261B1 (ko) 화상 처리 장치, 화상 처리 방법, 기록 매체 및 촬상 장치
KR100897965B1 (ko) 화상 처리 장치 및 방법, 및 촬상 장치
KR100924401B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램을 기록한 기록 매체 및 촬상 장치
KR101129591B1 (ko) 화상 처리 장치와 화상 처리 방법 및 기록 매체
KR100859382B1 (ko) 화상 처리 장치 및 방법, 및 촬상 장치
KR100848427B1 (ko) 화상 처리 장치
KR20060119707A (ko) 화상 처리 장치와 화상 처리 방법 및 프로그램
KR101161706B1 (ko) 화상 처리 장치와 학습 장치와 계수 생성 장치 및 방법
US7412075B2 (en) Picture processing apparatus for processing picture data in accordance with background information
US7352917B2 (en) Image processing apparatus and method, and image pickup apparatus
KR101211074B1 (ko) 학습 장치와 학습 방법 및 학습 프로그램
KR100894923B1 (ko) 화상 처리 장치, 방법 및 기록 매체와 촬상 장치
KR100858761B1 (ko) 화상 처리 장치
KR100895744B1 (ko) 화상 처리 장치, 방법 및 기록 매체, 및 촬상 장치
Ferdjali et al. TOWARDS A DIGITAL VIDEO STABILIZATION APPROACH USING OBJECTIVE IMAGE QUALITY ASSESSMENT METRICS

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee