WO2007114220A1

WO2007114220A1 - 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム

Info

Publication number: WO2007114220A1
Application number: PCT/JP2007/056804
Authority: WO
Inventors: Atsushi Ito; Seiji Kobayashi
Original assignee: Sony Corporation
Priority date: 2006-03-31
Filing date: 2007-03-29
Publication date: 2007-10-11
Also published as: EP2003876A4; US20090207259A1; EP2003876A9; EP2003876A2; JP4961800B2; CN101326810B; TW200740215A; KR20080106391A; TWI379588B; US8072498B2; CN101326810A; JP2007274299A; KR101362651B1

Abstract

ジャーキネスおよびブラーの双方を低減した高品質の画像を出力する装置および方法を提供する。一定のフレームレートで出力する動画像を生成する際、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出し、分割領域単位の移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度を分割領域単位で取得し、取得した最適シャッタ速度に対応する画像を分割領域単位で生成して、生成した分割領域画像を結合したフレーム画像を出力させる。本構成によれば、ジャーキネスおよびブラーの双方を低減した高品質の画像の出力が可能となる。

Description

明細書

画像処理装置、および画像処理方法、並びにコンピュータ 'プログラム技術分野

[0001] 本発明は、画像処理装置、および画像処理方法、並びにコンピュータ 'プログラムに関する。特に移動する被写体の撮影画像に発生するジャーキネスゃブラーなどの画質劣化を低減し、高品質な出力画像を生成する画像処理装置、および画像処理方法、並びにコンピュータ 'プログラムに関する。

背景技術

[0002] 高速シャツタで撮像された動画像やアニメーションなどを、プロジェクタやディスプレィなどの表示デバイスを用いて表示すると、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が多重像を知覚してしまうという画像劣化が頻繁に発生する。これは、一般にジャーキネスと呼ばれる画質劣化の現象である。

[0003] 一方、オープンシャツタなど低速のシャツタスピードで撮像された動画像を表示すると、動きボケの影響により、被写体のディテールの欠損やエッジが不鮮明になること力くある。この現象は、ブラー（ぼけ）と呼ばれる画質劣化の現象である。

[0004] これらの、ジャーキネスとブラーの発生原理について、図 1〜3を用いて説明する。

人間の知覚特性として、目に入射した光を一定時間積分した値として知覚することが知られている。図 1〜3は、この知覚特性に基づく観察者力の物体の見え方を模擬的に説明する図である。

[0005] 図 1は、静止物体と移動物体の実世界における見え方を説明する例である。

図 1 (1)は、横軸を位置 (x)、縦軸を時間 (t)として、静止物体 11と移動物体 12の時間的変移を示しており、図 1 (2)は、これらの静止物体 11と移動物体 12を観察する観察者の知覚状況を模擬的に示した図である。観察者は、移動物体 12を追従して観察する追従視と、および移動物体 12を追従しないで視点を固定して観察する固定視を行なう 2通りの異なる観察形態における知覚状況がある。それぞれ (a)追従視， ( b)固定視として示してある。

[0006] 図 1 (2)の (a)追従視に示すように、移動物体 12を観察者が追従視した場合、移動物体 12の見え方は、図 1 (2)の移動物体知覚情報 al2のようになる。これは図 1 (2) の（b)固定視における固定物体 11の見え方である固定物体知覚情報 bl lと同様の見え方である。このように、観察者が移動物体 12を追従視した場合は、固定視における固定物体 11の見え方と同様に観察者は知覚する。

[0007] 一方、図 1 (2)の (b)固定視に示すように、移動物体 12を観察者が固定視した場合、移動物体 12の見え方は、図 1 (2)の移動物体知覚情報 b 12のようになる。これは、観察者が移動物体を連続的に移動するように変化する知覚を行うものであり、観察者が違和感を生じることはな、。

[0008] 図 2は、高速シャツタで撮像された動画像やアニメーションなどを、プロジェクタゃデイスプレイなどの表示デバイスを用いて表示した場合に観察者によって知覚されるジヤーキネスの発生を説明する図である。すなわち、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が多重像を知覚してしまうという現象である。

[0009] 図 2では、図 1中の実世界における移動物体を、高速シャツタを用いて撮像し、 60 Hzでリフレッシュされる表示デバイスに表示した場合、観察者からの見え方を模擬的に表している。図 2 (1)は、表示静止物体 21と表示移動物体 22の表示デバイス上での表示位置の変化を示している。縦軸が時間（t)であり表示デバイスのリフレッシュ間隔（lZ60sec)毎に区切りを設定してある。横軸が表示位置 (X)である。

[0010] 図 2 (2)は、表示デバイスに表示される表示静止物体 21と表示移動物体 22を観察する観察者の知覚状況を模擬的に示した図である。観察者は、表示移動物体 22を追従して観察する追従視と、および表示移動物体 22を追従しなヽで視点を固定して観察する固定視を行なう 2通りの異なる観察形態における知覚状況がある。これらをそれぞれ (a)追従視，（b)固定視として示してある。

[0011] 図 2 (2) (a)に示すように、表示デバイスに表示される表示移動物体 22を、観察者が追従視した場合の見え方 (a22)は、図 1を参照して説明した図 1 (2) (a)の追従視の見え方 (al2)と同様の見え方であり、静止物体を固定視した場合と同じように観察者は知覚することになる。

[0012] 一方、表示デバイスに表示される表示移動物体 22を、観察者が固定視した場合においては、図 2 (2) (b)に示すように、観察者の視覚による知覚上、実世界とは異なり表示移動物体 22は、連続的ではなく離散的に移動変化するような見え方 (b22)となる。結果として、観測者は、目に入射した光を一定時間積分した値として知覚するという知覚特性に基づいて、表示デバイスに表示される移動物体を多重像として知覚すること〖こなる。

[0013] 観測者は、本来 1つの物体であるにも拘らず、複数の物体のように感じ取ってしまうことになる。このような現象をジャーキネス劣化という。ジャーキネス劣化は、原理的に移動速度の速い物体ほど発生しやすい。また、ジャーキネス劣化は、表示デバイスのフレームレートが低いほど発生しやすぐフレームレートが高いほど発生しにくい。さらに、ジャーキネス劣化は、一般的に、空間的な輝度の変化が大きい部分、言い換えれば、空間コントラストの高、部分にぉ、て生じやす、。

[0014] 図 3は、例えばオープンシャツタなどの低速シャツタで撮像された動画像やアニメ一シヨンなどを、プロジェクタやディスプレイなどの表示デバイスを用いて表示した場合に観察者によって知覚されるブラーの発生を説明する図である。ブラーは、動きボケの影響により、被写体のディテールの欠損やエッジが不鮮明になる現象である。

[0015] 図 3では、図 1中の実世界における移動物体を、低速シャツタを用いて撮像し、 60 Hzでリフレッシュされる表示デバイスに表示した場合、観察者からの見え方を模擬的に表している。図 3 (1)は、表示静止物体 31と表示移動物体 32の表示デバイス上での表示位置の変化を示している。縦軸が時間（t)であり表示デバイスのリフレッシュ間隔（lZ60sec)毎に区切りを設定してある。横軸が表示位置 (X)である。

[0016] 図 3 (2)は、表示デバイスに表示される表示静止物体 31と表示移動物体 32を観察する観察者の知覚状況を模擬的に示した図である。観察者は、表示移動物体 32を追従して観察する追従視と、および表示移動物体 32を追従しなヽで視点を固定して観察する固定視を行なう 2通りの異なる観察形態における知覚状況がある。これらをそれぞれ (a)追従視，（b)固定視として示してある。

[0017] 図 3 (2) (b)に示すように、表示デバイスに表示される表示移動物体 32を、観察者が固定視した場合 (b32)においては、図 1を参照して説明した図 1 (2) (b)の固定視と同様の見え方 (b 12)であり、観察者が移動物体を連続的に移動するように変化する知覚を行い、観察者が違和感を生じることはない。

[0018] 一方、表示デバイスに表示される表示移動物体 22を、観察者が追従視した場合においては、図 3 (2) (a)の見え方 (a32)に示すように、観察者には、静止物体を固定視した場合とは異なる、ぼやけた像として知覚される。これは、図 3 (1)の表示移動物体 22に示すように、撮像時において、低速シャツタに基づく長期間の露光中の移動物体の動きが 1フレームに記録され、この移動する物体が 1フレーム中に帯状に表示されるためである。このような現象をブラー劣化と、う。

[0019] 先に説明した通り、ジャーキネス劣化およびブラー劣化の発生は、撮像時のシャツタ速度について、相反する関係にあるため、単純なシャツタ制御ではいずれかの劣化が目立ってしまう。

[0020] また、ジャーキネスは、元の動画像と異なるフレームレートに変換して表示する場合、発生しやすい画質劣化として知られている。例えば、高フレームレートの元動画像を、元動画像よりも低いフレームレートに変換して表示する手段としては、変換後のフレーム数に合わせて、単純に間引く方法が一般的であるが、この場合、元動画像は短、露光時間で撮像されるため、ジャーキネスが発生しやす、。

[0021] このフレームレート変換に際して発生するジャーキネスを抑制するための手法として、間引きによるフレームレートの変換を行わず、変換後のフレーム数に合わせて、単純に元の動画像の構成フレームの平均化を行う方法が知られて、る。このフレーム平均化手法によって、ジャーキネスの抑制が可能となる。しかし、この手法は、結果として、高速シャツタ対応の高フレームレート画像に基づく平均化によって、低フレームレート、すなわち低速シャツタでの撮影画像を生成することに相当し、ブラー劣化を目立たせてしまうという問題を発生させることになる。

[0022] 一方、低フレームレートの元動画像を、元動画像よりも高、フレームレートに変換して表示する場合、時間的に存在しないフレームについて、前後の存在するフレームを複数回表示する手法が、最も簡易である。しかし、このようなフレームレート変換を行うと、移動する被写体の動きは離散的になるため、ジャーキネスが発生しやすい。

[0023] このように、低フレームレートの元画像から高フレームレートの画像を生成するフレームレート変換処理を行なう場合にジャーキネスの発生を抑制するための手法として、動き補償を用いて時間的に存在しないフレームを補間処理によって生成し、高フレームレートの動画像を作成する手法が知られている。（例えば特許文献 1)この手法を用いることで、ジャーキネス劣化の改善が図られる。

特許文献 1：特開平 11― 112939号公報

発明の開示

発明が解決しょうとする課題

[0024] 上述のように、ジャーキネスおよびブラーの発生は、撮像時のシャツタ速度について、相反する関係にあるため、単純なシャツタ制御ではいずれかの劣化が目立ってしまう問題がある。また、フレームレート変換時においては、前記の通り、原理的に、双方の劣化を抑制することは困難であり、一方の劣化を抑制すると他方が目立ってしまうという問題がある。

[0025] 例えば低フレームレートから高フレームレートの変換を行う場合には、前述したフレーム補間を行い、相当に高いフレームレートにまで変換すれば、動画像を表示した際のジャーキネス劣化を低減することは可能である。しかし、現行のフィルム（1秒当たり 24フレーム）やテレビジョン（1秒当たり 50フレームもしくは 60フレーム）標準の動画像フォーマットでの表示では、フレームレートは十分に高くないため、ジャーキネス劣化の低減には限界がある。現行のテレビジョン標準以上に、高速なフレームレートの動画像を、表示可能な表示デバイスは、現在のところごく限られており、現行の多くの表示デバイスに対しては、フレーム補間による画質劣化の改善には限界がある。

[0026] 本発明は、このような問題に鑑みてなされたものであり、動画質劣化の要因であるジャーキネスとブラーの双方を抑制することを可能とする画像処理装置、および画像処理方法、並びにコンピュータ 'プログラムを提供することを目的とする。

[0027] 本発明は、例えば、入力画像信号の分割領域毎に、フレーム間の移動速度や空間的な特徴量を算出し、算出した移動速度や空間特徴量に基づいて領域毎に適応的なフィルタリング処理を行うことで、ジャーキネスとブラーの双方の発生を抑制した画質劣化の少ない高画質な画像信号を生成して出力することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ 'プログラムを提供することを目的とする。課題を解決するための手段

[0028] 本発明の第 1の側面は、

動画像に対する画像処理を実行する画像処理装置であり、

動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出する移動速度演算部と、

前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャツタ速度を前記分割領域単位で取得し、取得した最適シャツタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力する画像生成処理部と、

を有することを特徴とする画像処理装置にある。

[0029] さらに、本発明の画像処理装置の一実施態様において、前記移動速度演算部は、入力画像のフレーム力選択された探索用フレームと参照用フレームを適用したプロックマッチング処理により分割領域単位で移動速度を算出する処理を実行する構成であることを特徴とする。

[0030] さらに、本発明の画像処理装置の一実施態様において、前記移動速度演算部は、入力画像のフレーム力選択された探索用フレームと参照用フレームを適用したプロックマッチング処理により分割領域単位で動きベクトルを求めるブロックマッチング部と、前記ブロックマッチング部において算出した動きベクトル情報に基づいて、出力画像のフレームレートに応じた被写体の移動速度を算出する動きベクトル規格ィ匕部とを有する構成であることを特徴とする。

[0031] さらに、本発明の画像処理装置の一実施態様において、前記移動速度演算部は、前記探索用フレームを、出力画像のフレームレートに応じたフレーム間隔で入力画像のフレーム力も選択する処理を実行する構成であることを特徴とする。

[0032] さらに、本発明の画像処理装置の一実施態様において、前記画像生成処理部は、移動速度と、出力画像の画像劣化が低減される撮像シャツタ速度とを対応付けたテ一ブルを保持し、該テーブルを参照して移動速度に対応する最適シャツタ速度を前記分割領域単位で取得する構成であることを特徴とする。 [0033] さらに、本発明の画像処理装置の一実施態様において、前記テーブルは、移動速度区間情報と、最適シャツタ速度情報とを対応付けたテーブルであることを特徴とする。

[0034] さらに、本発明の画像処理装置の一実施態様において、前記画像生成処理部は、移動速度と、出力画像の画像劣化が低減される最適シャツタ速度との対応関係の異なる複数の異なるテーブルを有し、ユーザ選択情報に基づいて、適用するテーブルを決定する構成であることを特徴とする。

[0035] さらに、本発明の画像処理装置の一実施態様において、前記画像生成処理部は、前記分割領域単位で、移動速度に対応する最適シャツタ速度を算出する最適シャツタ速度算出部と、前記最適シャツタ速度算出部の算出した最適シャツタ速度に対応する画像を前記分割領域単位で生成するフィルタリング処理部とを有する構成であることを特徴とする。

[0036] さらに、本発明の画像処理装置の一実施態様において、前記フィルタリング処理部は、入力画像のフレーム力選択されたフレームに基づいて、前記最適シャツタ速度算出部の算出した撮像シャツタ速度に対応する画像を前記分割領域単位で生成する処理を実行する構成であることを特徴とする。

[0037] さらに、本発明の画像処理装置の一実施態様において、前記フィルタリング処理部は、前記最適シャツタ速度算出部の算出した最適シャツタ速度に応じた重み係数を設定して、入力画像の複数フレームの画素値の加重平均を実行して、出力画像フレームの画素値を決定する処理を実行する構成であることを特徴とする。

[0038] さらに、本発明の画像処理装置の一実施態様において、前記画像生成処理部は、入力画像のフレームに含まれな、中間フレームを生成する中間フレーム生成部を有し、前記最適シャツタ速度算出部の算出した最適シャツタ速度に対応する画像を、前記中間フレームを適用して分割領域単位で生成する処理を実行する構成であることを特徴とする。

[0039] さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出部を有し、前記画像生成処理部は、空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャツタ速度より高いシャツタ速度を最適シャツタ速度として設定する処理を実行する構成であることを特徴とする

[0040] さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出部を有し、前記画像生成処理部は、空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャツタ速度を算出することなぐ入力画像の持つフレームレートに対応するシャツタ速度を最適シャツタ速度として設定する処理を実行する構成であることを特徴とする。

[0041] さらに、本発明の画像処理装置の一実施態様において、前記出力画像の画像劣化は、ジャーキネスおよびブラーによる画像劣化であり、前記画像生成処理部は、ジヤーキネスおよびブラーによる画像劣化が低減される最適シャツタ速度を前記分割領域単位で取得し、取得した最適シャツタ速度に対応する画像を前記分割領域単位で生成する処理を実行する構成であることを特徴とする。

[0042] さらに、本発明の第 2の側面は、

画像処理装置におヽて、動画像に対する画像処理を実行する画像処理方法であり、

移動速度演算部において、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出する移動速度演算ステップと、

画像生成処理部において、前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャツタ速度として、出力画像の画像劣化が低減される最適シャツタ速度を前記分割領域単位で取得し、取得した最適シャツタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力する画像生成処理ステップと、

を有することを特徴とする画像処理方法にある。

[0043] さらに、本発明の画像処理方法の一実施態様において、前記移動速度演算ステツプは、入力画像のフレーム力選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で移動速度を算出する処理を実行することを特徴とする。

[0044] さらに、本発明の画像処理方法の一実施態様にお!、て、前記移動速度演算ステツプは、入力画像のフレーム力選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で動きベクトルを求めるブロックマッチング処理ステップ、前記ブロックマッチング処理ステップにお、て算出した動きべタトル情報に基づいて、出力画像のフレームレートに応じた被写体の移動速度を算出する動きベクトル規格化ステップとを有することを特徴とする。

[0045] さらに、本発明の画像処理方法の一実施態様において、前記移動速度演算ステツプは、前記探索用フレームを、出力画像のフレームレートに応じたフレーム間隔で入力画像のフレームから選択する処理を実行することを特徴とする。

[0046] さらに、本発明の画像処理方法の一実施態様にお!ヽて、前記画像生成処理ステツプは、移動速度と、出力画像の画像劣化が低減される撮像シャツタ速度とを対応付けたテーブルを参照して移動速度に対応する最適シャツタ速度を前記分割領域単位で取得するステップを含むことを特徴とする。

[0047] さらに、本発明の画像処理方法の一実施態様において、前記テーブルは、移動速度区間情報と、最適シャツタ速度情報とを対応付けたテーブルであることを特徴とする。

[0048] さらに、本発明の画像処理方法の一実施態様にお!ヽて、前記画像生成処理ステツプは、移動速度と、出力画像の画像劣化が低減される最適シャツタ速度との対応関係の異なる複数の異なるテーブルからのユーザ選択情報に基づいて適用テーブルを決定する処理を実行するステップを含むことを特徴とする。

[0049] さらに、本発明の画像処理方法の一実施態様にお!ヽて、前記画像生成処理ステツプは、前記分割領域単位で、移動速度に対応する最適シャツタ速度を算出する最適シャツタ速度算出ステップと、前記最適シャツタ速度算出ステップにおいて算出した最適シャツタ速度に対応する画像を前記分割領域単位で生成するフィルタリング処理ステップとを有することを特徴とする。

[0050] さらに、本発明の画像処理方法の一実施態様において、前記フィルタリング処理ステツプは、入力画像のフレームから選択されたフレームに基づいて、前記最適シャツタ速度算出ステップにおいて算出した撮像シャツタ速度に対応する画像を前記分割領域単位で生成する処理を実行することを特徴とする。

[0051] さらに、本発明の画像処理方法の一実施態様において、前記フィルタリング処理ステツプは、前記最適シャツタ速度算出ステップにお、て算出した最適シャツタ速度に応じた重み係数を設定して、入力画像の複数フレームの画素値の加重平均を実行して、出力画像フレームの画素値を決定する処理を実行することを特徴とする。

[0052] さらに、本発明の画像処理方法の一実施態様にお!、て、前記画像生成処理ステツプは、入力画像のフレームに含まれない中間フレームを生成し、前記最適シャツタ速度算出ステップにおいて算出した最適シャツタ速度に対応する画像を、前記中間フレームを適用して分割領域単位で生成する処理を実行することを特徴とする。

[0053] さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、空間特徴量検出部において、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出ステップを有し、前記画像生成処理ステップは、空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャツタ速度より高いシャツタ速度を最適シャツタ速度として設定する処理を実行することを特徴とする。

[0054] さらに、本発明の画像処理方法の一実施態様にお!、て、前記画像処理方法は、さらに、空間特徴量検出部において、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出ステップを有し、前記画像生成処理ステップは、空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャツタ速度を算出することなく、入力画像の持つフレームレートに対応するシャツタ速度を最適シャツタ速度として設定する処理を実行することを特徴とする。

[0055] さらに、本発明の画像処理方法の一実施態様において、前記出力画像の画像劣化は、ジャーキネスおよびブラーによる画像劣化であり、前記画像生成処理ステップは、ジャーキネスおよびブラーによる画像劣化が低減される最適シャツタ速度を前記分割領域単位で取得し、取得した最適シャツタ速度に対応する画像を前記分割領域単位で生成する処理を実行することを特徴とする。 [0056] さらに、本発明の第 3の側面は、

画像処理装置において、動画像に対する画像処理を実行させるコンピュータ 'プログラムであり、

移動速度演算部において、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出させる移動速度演算ステップと、

画像生成処理部において、前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャツタ速度として、出力画像の画像劣化が低減される最適シャツタ速度を前記分割領域単位で取得し、取得した最適シャツタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力させる画像生成処理ステップと、

を実行させることを特徴とするコンピュータ 'プログラムにある。

[0057] なお、本発明のコンピュータ 'プログラムは、例えば、様々なプログラム 'コードを実行可能な汎用コンピュータ ·システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、 CDや FD、 MOなどの記憶媒体、あるいは、ネットヮークなどの通信媒体によって提供可能なコンピュータ 'プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ 'システム上でプログラムに応じた処理が実現される。

[0058] 本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づぐより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

発明の効果

[0059] 本発明の構成によれば、一定のフレームレートで出力する動画像を生成する際、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出し、分割領域単位の移動速度に対応する最適な撮像シャツタ速度として、出力画像の画像劣化が低減される最適シャツタ速度を分割領域単位で取得し、取得した最適シャツタ速度に対応する画像を分割領域単位で生成して、生成した分割領域画像を結合したフレーム画像を出力させる構成としたので、出力画像における画像劣化、具体的には、ジャーキネスおよびブラーの双方を低減した高品質の画像を出力することが可能となる。

図面の簡単な説明

[図 1]ジャーキネスとブラーの発生原理について説明する図であり、静止物体と移動物体の実世界における見え方を説明する図である。

[図 2]ジャーキネスの発生原理について説明する図である。

[図 3]ブラーの発生原理について説明する図である。

[図 4]本発明の第 1の実施例に係る画像処理装置の構成を示すブロック図である。

[図 5]画像信号の各フレーム画像についての領域分割処理について説明する図である。

[図 6]出力画像信号のフレームレート値を外部から入力する構成を持つ画像処理装置の構成例を示す図である。

[図 7]移動速度演算部の詳細な構成を示す図である。

[図 8]移動速度検出部の詳細な構成例を示す図である。

[図 9]移動速度演算部において実行する動きベクトルの検出に適用する探索用フレームと参照用フレームの選別処理を説明する図である。

[図 10]画像生成処理部の詳細な構成例を示すブロック図である。

[図 11]画像生成処理部内に中間フレーム生成部を加えた画像生成処理部の構成例を示す図である。

[図 12]フィルタリング処理に用いる入力画像フレームと、出力される画像フレームとの対応について説明する図である。

[図 13]移動速度と最適な撮像シャツタ速度の対応関係の一例を示す図である。

[図 14]移動速度情報に基づいて、最適な撮像シャツタ速度を算出する基本的な処理例について説明する図である。

[図 15]移動速度と最適な撮像シャツタ速度の関係の一例を粗ィ匕して示した図である。

[図 16]移動速度と最適な撮像シャツタ速度の関係の一例を粗化した対応データ構成を示す図である。 [図 17]移動速度演算部において、各分割領域について移動速度が算出されたある 1 枚の探索用フレームを示す図である。

[図 18]画像生成処理部において行われる移動速度に基づく最適な撮像シャツタ速度の算出に適用するグラフ（テーブル)を示す図である。

[図 19]フレームを用いたフィルタリング処理について説明する図である。

[図 20]移動速度と最適な撮像シャツタ速度の関係を表す複数の異なる曲線の例を示す図である。

[図 21]移動速度と最適な撮像シャツタ速度の関係を表す複数の異なる曲線力使用者が曲線を選択できるよう構成したインタフェースを示す図である。

[図 22]本発明の第 2の実施例に係る画像処理装置の構成例を示すブロック図である

[図 23]空間特徴量検出部の詳細な構成例を示す図である。

[図 24]画像生成処理部の構成および処理について説明する図である。

発明を実施するための最良の形態

[0061] 以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにコンピュータ 'プログラムの構成について説明する。

[0062] 本発明の画像処理装置では、一定のフレームレートで入力する入力動画像について、各フレーム画像を所定の分割領域に区切り、各分割領域単位でフレーム間の移動速度や空間的な特徴量を算出し、算出した各分割領域の移動速度や空間特徴量に基づ!/、て各領域毎に最適なフィルタリング処理を行うことで、各領域に応じてジャーキネスやブラーを低減させた画像を生成し、ジャーキネスゃブラー双方の発生を抑制した画質劣化の少ない高画質な画像信号を生成して出力する。

[0063] 例えば、本発明の画像処理装置では、フレーム間の移動速度や空間的な特徴量とフィルタリング処理パラメータとを対応付けたテーブルを保持し、このテーブルに基づいて、各分割領域に対応する最適なフィルタリング処理を行う。なお、各分割領域に対応する最適なフィルタリング処理は、具体的には、各分割領域において、ジャーキネスとブラーの発生を低減させるための最適な撮像シャツタ速度を決定し、その撮像シャツタ速度に対応した画像を生成する処理に相当する。 [0064] すなわち、各分割領域に対応する最適なフィルタリング処理のパラメータの決定処理は、各領域につ!、てジャーキネスとブラーの発生を低減させる最適なシャツタ速度を決定する処理を含むものである。本発明の画像処理装置では、各分割領域各々に対応して、ジャーキネスとブラーの発生を低減させる最適なシャツタ速度を決定し、その決定したシャツタ速度に従った擬似画像を各分割領域毎に個別に生成して出力する。

[0065] 以下、本発明の画像処理装置の詳細について説明する。以下の項目に従って、詳細を説明する。

1.本発明の画像処理装置における基本処理の概要

2.入力画像信号および出力画像信号に関する説明

3.移動速度演算部の処理の詳細

4.画像生成処理部の処理についての説明

5.フィルタリング処理部の実行するフィルタリング処理の詳細

6.フィルタリング処理に用いるフレームの選別方法につ！ヽて

7.移動速度と最適な撮像シャツタ速度との対応関係について

8.最適な撮像シャツタ速度算出方法について

9.最適な撮像シャツタ速度算出および、出力フレーム生成処理の具体例

10.移動速度と最適なシャツタ速度曲線の調整機能を有した装置について

11.第 2の実施例の概要

[0066] [1.本発明の画像処理装置における基本処理の概要]

まず、本発明の画像処理装置の基本処理の概要について説明する。図 4は、本発明の第 1の実施例に係る画像処理装置 100の構成を示すブロック図である。画像処理装置 100は、処理対象画像として、一定のフレームレートを有する画像信号を入力する。この入力画像信号は、移動速度演算部 101および画像生成処理部 102に入力される。

[0067] 移動速度演算部 101では、図 5に示すように、入力画像信号の各フレーム画像について、領域分割がなされ、分割領域各々に含まれる画像についてブロックマツチング処理を実行し、分割領域各々の画像データのフレーム間の移動速度 (VI, V2, V 3 · · を算出する。ただし、ここで算出するフレーム間の移動速度 (VI, V2, V3 ' · ·) は、出力画像信号の有するフレームレートに対応するフレーム間の動速度である。画像処理装置は、出力画像フレームレート情報 103を記憶部に保持し、移動速度演算部 101では、出力画像フレームレート情報 103に基づいて分割領域各々のフレーム間移動速度 (VI, V2, ν3 · · ·)を算出する。

[0068] 移動速度演算部 101において算出された各分割領域における移動速度は、画像生成処理部 102に入力される。画像生成処理部 102には、既に入力画像信号が入力されている。画像生成処理部 102は、移動速度演算部 101において算出された各分割領域における移動速度 (VI, V2, V3 - - -)に応じて、入力画像を各分割領域単位で変換処理を行なう。すなわち、各分割領域単位で求められた移動速度 (Vn)に基づ、て、ジャーキネスとブラーの発生を低減させる最適なシャツタ速度に対応する擬似的な画像に変換する処理を実行する。

[0069] 各分割領域単位で求められた移動速度 (Vn)と、ジャーキネスとブラーの発生を低減させる最適な撮像シャツタ速度の関係は、出力画像信号の持つフレームレートに応じて算出可能である。画像生成処理部 102は、この対応関係を予め設定したテーブルとして保持し、出力画像フレームレート情報 103を適用して、保持テーブルから、各領域ごとの最適な撮像シャツタ速度を求める。あるいは、予め定めた算出式により、各分割領域単位で求められた移動速度 (Vn)に基づいて、ジャーキネスとブラーの発生を低減させる最適な撮像シャツタ速度を算出する。

[0070] 画像生成処理部 102は、さらに、求めた撮像シャツタ速度に対応する擬似画像を各分割領域ごとに生成し、これらの分割領域ごとの生成画像を合成して 1フレーム画像を生成し、予め定められたフレームレートで出力する。これらの処理によって、ジャーキネスとブラーによる画質劣化の双方が低減された高画質データを出力する。

[0071] このように、画像生成処理部 102では、移動速度演算部 101において算出された各分割領域における移動速度に基づいて決定される最適な撮像シャツタ速度で撮像した画像を擬似的に生成する。この画像生成処理は、例えば時間方向のフィルタリング処理等によって実現される。画像生成処理部 102において作成された画像は、一定のフレームレートを有する出力画像信号として出力される。 [0072] [2.入力画像信号および出力画像信号に関する説明]

次に、入力画像信号および出力画像信号の有するフレームレートについて詳解する。なお、図 4に示す画像処理装置 100において、入力画像信号、および変換処理により生成される出力画像信号のフレームレートは限定されるものではなぐ様々な設定が可能である。ただし、画像生成処理部 102において、ジャーキネスとブラーによる画質劣化の双方を低減する最適シャツタ速度での撮像画像を領域毎に擬似的に生成するための処理として、時間方向のフィルタリング処理を採用する場合、入力画像信号は、出力画像信号が有する所望のフレームレートに対し、できる限り高いフレームレートを有していることが好ましい。これは、画像生成処理部 102で行われる画像変換処理において、より高いフレームレートの入力画像信号を使用する方がより滑らかな画像の生成が容易となるからである。

[0073] なお、図 4に示す例では、画像処理装置 100において、出力画像信号のフレームレート値は、記憶部に保持したものを参照する構成として説明したが、この出力画像信号のフレームレート値を外部力も入力する構成としてもよい。

[0074] 出力画像信号のフレームレート値を外部から入力する構成を持つ画像処理装置の構成例を図 6に示す。外部力も入力する出力画像信号のフレームレート値は、図 6に示す移動速度演算部 101、画像生成処理部 102の双方に入力される。画像生成処理部 102は、画像変換処理を、入力されたフレームレート情報に基づいて実行する。このような構成とすることで、様々なフレームレートに対応した最適な画像変換が実行可能となる。

[0075] 以降、本発明の画像処理装置の実行する処理の具体例につ!、て説明する。説明の便宜上、入力画像信号と出力画像信号が有するフレームレートの例として、入力画像信号のフレームレートを 240 (フレーム Z秒）、

出力画像信号のフレームレートを 60 (フレーム Z秒）、

これらの設定における処理例について説明する。ただし、このフレームレートは一例であり、本発明の画像処理装置では、入出力画像のフレームレートは限定されない。

[0076] [3.移動速度演算部の処理の詳細]

まず、移動速度演算部 101の処理の詳細について説明する。移動速度演算部 10 1は、出力画像信号が有するフレームレートを基準として、図 5を参照して説明したように画像の分割領域毎にフレーム間の移動速度を算出し、画像生成処理部に出力する。移動速度とは、被写体が 1フレーム間にどれだけ移動したかを表わす。例えば、単位は画素 Zフレームであり、出力画像信号が有するフレームレートを基準とする

[0077] 図 7は、移動速度演算部 101の詳細な構成を示すものである。図 7に示すように移動速度演算部 101は、入力画像信号の複数のフレームを記憶する画像蓄積部 201 、ブロックマッチング処理に用いるフレームを選別し画像蓄積部 201からの読み出し制御を行う制御部 202、動き検出の対象となるフレームを領域に分割する領域分割部 203、ブロックマッチング処理を行い領域毎の移動速度を算出する移動速度検出部 204を有する。

[0078] 移動速度演算部 101に入力した入力画像信号は、まず画像蓄積部 201に入力され、格納される。画像蓄積部 201は、複数のフレームを記憶できる記憶部である。移動速度検出部 204において行われる実際のブロックマッチング処理の際、動きべタトル検出対象となる探索用フレーム、およびその参照用フレームの、少なくとも 2フレームのデータが必要となり、画像蓄積部 201は、これらの複数のフレームを記憶する。

[0079] 制御部 202は、探索用および参照用フレームを選別し、画像蓄積部 201からの読み出し制御を行う。探索用および参照用フレームの選別は、制御部 202に入力された出力画像のフレームレート情報を基に、制御部 202において行われる。この選別方法については、後に詳しく述べる。

[0080] 制御部 202によって読み出された、動きベクトル検出対象となる探索用フレームは、領域分割部 203へと出力される。また、同じく制御部 202によって読み出された参照用フレームは、移動速度検出部 204へと直接に出力される。領域分割部 203へと出力された探索用フレームは、移動速度を算出する領域の単位である、適当な大きさのブロックへと分割される。移動速度を算出する領域毎に分割された探索用フレームは、移動速度検出部 204に入力される。

[0081] 図 8は、移動速度検出部 204の詳細な構成例を示す図である。移動速度検出部 2 04に入力した探索用フレーム画像データは、ブロックマッチング部 221に入力される。ブロックマッチング部 221では、同じくブロックマッチング部 221に入力された参照用フレームとの間で、分割領域毎にブロックマッチング処理を行う。ブロックマツチングは、微小画像領域毎にフレーム間で対応する画素位置を検出する処理である。

[0082] 移動速度検出部 204は、分割領域毎にブロックマッチング処理を行い、この処理によって、フレーム間での被写体の移動情報として、分割領域毎の動きベクトル量を算出する。なお、ブロックマッチング処理におけるマッチング評価関数などの設定は様々な設定が可能であり、その方法は特に限定されない。

[0083] ブロックマッチング部 221におけるブロックマッチング処理により算出された、分割領域毎の動きベクトル量は、動きベクトル規格ィ匕部 222に入力する。以下、動きべタトル規格ィ匕部 222にお、て行われる処理にっ、て説明する。

[0084] ブロックマッチング部 221におけるブロックマッチング処理により算出された探索用フレーム各領域の動きベクトル量は、参照用フレームに対してどれだけ移動したかを表わすものである。一方、求めるべき移動速度 (画素 Zフレーム）は、出力画像の有するフレームレートを基準とした、 1フレーム間の移動量である。そのため、ブロックマツチング処理により得られた動きベクトル量を、出力画像信号が有するフレームレートを基準とした、 1フレーム間の移動量を表す移動速度（単位は画素 Zフレーム)へと規格化する必要がある。

[0085] 動きベクトル規格ィ匕部 222は、出力画像信号のフレームレート情報に基づく制御信号を制御部 202から入力し、この制御信号に基づいて、ブロックマッチング処理により得られた動きベクトル量を、出力画像信号が有するフレームレートを基準とした、 1 フレーム間の移動量を表す移動速度（単位は画素 Zフレーム)へと規格化する処理を実行する。

[0086] この動きベクトルの規格ィ匕により、出力画像信号が有するフレームレートを基準とした移動速度 (画素 Zフレーム）が算出される。なお、この規格ィ匕の方法については、後に詳しく述べる。

[0087] 動きベクトル規格ィ匕部 222において、算出された画像の各領域における出力フレーム対応の移動速度は、移動速度演算部 101の出力として、移動速度検出部 101 から、画像生成処理部 102へ出力される。 [0088] このように、移動速度演算部 101では、出力画像信号が有するフレームレートを基準として、分割領域ごとに移動速度 (画素 Zフレーム)を求める処理を実行する。この処理には、まず、入力画像力も探索用フレームと参照用フレームを選択して、これらの 2つのフレームに基づ!/、て動きベクトルを検出することが必要である。この動きべクトルの検出に適用する探索用フレームと参照用フレームの選別方法について、詳しく説明する。

[0089] (移動速度演算時に適用するフレームにつ、て）

図 9は、移動速度演算部 101において、動きベクトルの検出に適用する探索用フレームと参照用フレームの選別処理を説明する図である。

この処理例は、前述したように、

入力画像信号のフレームレートを 240 (フレーム Z秒）、

出力画像信号のフレームレートを 60 (フレーム Z秒）、

これらの設定における処理例を説明する図である。

[0090] なお、移動速度演算部 101において、動きベクトルの検出に適用する探索用フレームと参照用フレームは、入力画像を構成するフレームであり 240 (フレーム Z秒）のフレームレートを持つ入力画像信号の構成フレームから、動きベクトルの検出に適用する探索用フレームと参照用フレームが選択される。

[0091] 図 9中では、入力画像信号の各フレームにフレーム番号が記してある力この番号は時刻 0 (秒）に入力画像信号の 0番目のフレームが撮像されたとして表現したものである。入力画像信号のフレームレートは 240 (フレーム Z秒)であるため、時刻 s (秒）では 240 X s番目のフレームと表記する。

[0092] 制御部 202によって行われる、探索用および参照用フレームの選別方法について、図 9を参照して説明する。

まず、探索用フレームの選別について説明する。

探索用フレームは、出力画像の有するフレームレートを基に抽出する。ここで、出力画像信号のフレームレートは、

60 (フレーム Z秒）

であるため、入力画像信号 [240 (フレーム Z秒) ]中から、 1Z60秒間毎に撮像されたフレームを、探索対象として抽出する。

[0093] 図 9中では、 240 X S + 0番目、 240 X S+4番目、 240 X S + 8番目のフレームを、選択された探索フレームとして示している。結果的に探索用フレームは、出力画像のフレームと同数となる。言い換えれば、出力画像の 1フレームを生成するために、 1つの探索用フレームが選択される。

[0094] 次に、参照用フレームの選別について説明する。

参照用フレームは、 1つの探索フレームに対応して、 1つの参照用フレームが選択される。具体的には、図 9に示す (例 1)、（例 2)、（例 3)のように、様々な選択手法が適用可能である。

[0095] 探索用フレームを 240 X s + O番目のフレームとし、この 240 X s + O番目のフレームに対する参照フレームを選択する例について説明する。前述した通り、求めるべき移動速度 (画素 Zフレーム）は、出力画像の有するフレームレート 60 (フレーム Z秒)を基準とする。従って、探索用フレームと参照用フレームの間隔が 1Z60秒間の場合であれば、その探索用フレームと参照用フレームに基づいて算出される移動ベクトルは、出力画像の有するフレームレート 60 (フレーム Z秒）に対応する移動速度に相当する大きさを持つ。従って、この場合は、ブロックマッチング処理により得られる動きべタトルの規格ィ匕は必要な、。

[0096] 図 9に示す (例 1)の参照用フレームの選別処理例は、探索用フレームと参照用フレ一ムの間隔を 1 Z60秒間とした処理例である。

探索用フレームである 240 X s + 0番目のフレームの 1/60秒後に撮像されたフレームは、 240 X s+4番目のフレームであり、この 240 X s+4番目のフレームを、探索用フレームである 240 X s + O番目のフレームに対応する参照用フレームとして選択する。

[0097] また、次の探索用フレームである 240 X s+4番目のフレームの 1/60秒後に撮像されたフレームは、 240 X s + 8番目のフレームであり、この 240 X S + 8番目のフレームを、探索用フレームである 240 X s+4番目のフレームに対応する参照用フレームとして選択する。

[0098] この（例 1)のように、探索用フレームと参照用フレームの間隔を 1Z60秒に設定した例であれば、その探索用フレームと参照用フレームに基づいて算出される移動べタトルは、出力画像の有するフレームレート 60 (フレーム Z秒）に対応する移動速度に相当する大きさを持つ。従って、この場合は、ブロックマッチング処理により得られる動きベクトルの規格ィ匕は必要な、。

[0099] これに対し、図 9に示す (例 2)、（例 3)のような参照用フレームの選択も可能である。（例 2)では、探索用フレームに対応する参照用フレームを探索用フレームの次のフレーム、すなわち、 1Z240秒後のフレームに設定し、（例 3)では、探索用フレームに対応する参照用フレームを探索用フレームの 2つ後のフレーム、すなわち、 2/240 秒後のフレームに設定した例である。このように、探索用フレームにより近いフレームを参照用フレームとして設定することも可能である。

[0100] より探索用フレームに近い参照用フレームを選別することで、フレーム間の被写体の移動量は小さくなり、ブロックマッチング処理時において探索範囲を小さくすることができる。そのため、ブロックマッチング処理の高速化、高精度化を見込むことができる。

[0101] 240 X s + O番目のフレームを探索用フレームとしたとき、図 9に示す（例 2)では、 2 40 X s+ 1番目のフレームを参照用フレームとして選択し、（例 3)では、 240 X S + 2 番目のフレームを参照用フレームとして、る。

[0102] (例 2)、（例 3)の場合、移動速度検出部 204のブロックマッチング処理部 221におけるブロックマッチング処理によって得られた動きベクトルは、出力画像信号のフレームレート相当の移動速度と異なるため、求めた動きベクトルに基づいて、出力画像信号のフレームレート相当の移動速度に変換する規格ィ匕処理を行なうことが必要となる

。以下では動きベクトルを規格ィ匕する方法にっ、て説明する。

[0103] (動きベクトルの規格化について）

図 9中の（例 2)の場合では、探索用フレームである 240 X s + O番目のフレームと、参照用の 240 X s + 1番目のフレーム間は、 1/240秒の差で撮像されたフレームである。一方、出力画像の有するフレームレートは 60 (フレーム Z秒)である。移動速度検出部 204の動きベクトル規格ィ匕部 222は、 1Z240秒の差で撮像されたフレーム間において算出した移動ベクトルに基づいて、出力画像の有するフレームレート [60 (フレーム z秒) ]相当の移動速度に変換する規格化処理を行なう。この規格化処理は、移動ベクトルに基づいて、 1Z60秒間の移動量を求めることに相当する。

[0104] 図 9に示す (例 2)の場合、

ブロックマッチング処理によって得られた動きベクトルは、 1Z240秒の差で撮像されたフレームに基づいて算出した移動ベクトルであり、

算出すべき移動量は、 1Z60秒間の移動量であるので、

ブロックマッチング処理によって得られた動きベクトルの大きさに、

(1/60) / (1/240) =4

の値を乗じることで、出力画像信号のフレームレート [60 (フレーム Z秒) ]相当に規格化された移動速度が算出できる。

[0105] また、図 9に示す (例 3)の場合、

ブロックマッチング処理によって得られた動きベクトルは、 2Z240秒の差で撮像されたフレームに基づいて算出した移動ベクトルであり、

算出すべき移動量は、 1Z60秒間の移動量であるので、

(1/60) / (2/240) = 2

[0106] このような動きベクトルの規格ィ匕は、移動速度検出部 204内の動きベクトル規格ィ匕部 222において行われる力本実施例では、制御部 202において探索用および参照用フレームを選別する際、規格ィ匕に必要な動きベクトルの大きさに乗じる係数を実数値精度で算出し、その値を制御信号として動きベクトル規格ィ匕部 222へと出力する構成をとつている。

[0107] ここまで、探索用フレームの選別、参照用フレームの選別、および、得られた動きべタトルを規格化して移動速度を算出する方法を説明した。先に、説明した通り、本処理例では、出力画像 1フレームを生成するために、 1つの移動速度の探索用フレームを設定している。結果として、出力画像のフレーム数と同数の探索用フレームが選択され、これらの各探索用フレームについて、フレーム内に設定される各分割領域の移動速度が、出力画像のフレームレート相当の値として算出され、移動速度演算部 10 1から画像生成処理部 102に出力される。

[0108] [4.画像生成処理部の処理についての説明]

次に、画像生成処理部 102の実行する処理の詳細について説明する。画像生成処理部 102では、移動速度演算部 101から入力した画像中の各領域における移動速度に応じて、入力画像の分割領域毎に適応的な画像変換処理を行い、各分割領域ごとにジャーキネスおよびブラーの発生が最も抑制される画像、すなわち、最適なシャツタ速度で撮像した画像を擬似的に作成し、各分割領域単位で生成した最適シャッタ速度に対応する擬似画像を合成して 1つのフレーム画像を生成して出力する。

[0109] 図 10は、画像生成処理部 102の詳細な構成例を示すブロック図である。画像生成処理部 102は、図 10に示すように、入力画像信号の複数のフレームを記憶する画像蓄積部 251、フィルタリング処理に用いるフレームを選別し画像蓄積部 251からの読み出し制御を行う制御部 252、移動速度を基に各領域に対して最適な撮像シャツタ速度を算出する最適シャツタ速度算出部 253、入力画像に対し領域毎に適応的なフィルタリング処理を行うフィルタリング処理部 254を有する構成である。

[0110] 画像生成処理部 102は、処理対象画像の分割領域単位で最適シャツタ速度の撮像画像を擬似的に生成する。すなわち、分割領域ごとにジャーキネスおよびブラーの発生が最も抑制される画像を生成する。この画像生成処理の一例として、時間方向のフィルタリング処理を用いた処理例について、以下説明する。

[0111] 出力画像信号のある 1フレームを生成する処理の流れを、図 10を参照して説明する。画像生成処理部 102に入力した入力画像信号は、まず画像蓄積部 251に入力、格納される。画像蓄積部 251は、複数のフレームを記憶できる記憶部である。画像蓄積部 251に蓄積された入力画像信号から、後段のフィルタリング処理に用いるフレームが順次読み出されることになる力この読み出し制御は制御部 252において行われる。

[0112] 出力画像のある 1フレームを生成するために用いる読み出しフレームの選別につ!/ヽての詳細は後述する。制御部 252の制御によって読み出された入力画像中の各フレームは、フィルタリング処理部 254へ入力される。 [0113] 一方、最適シャツタ速度算出部 253には、移動速度演算部 251から出力された、入力画像の各分割領域対応の移動速度情報が入力される。この移動速度情報は、移動速度演算部 101内の制御部 202 (図 7参照）によって入力画像信号力も選別された、探索用フレーム内の各領域について算出されたものであり、先に図 9を参照して説明したように、各探索用フレームは生成する出力画像の各フレームに一対一で対応している。

[0114] 最適シャツタ速度算出部 253は、入力した各分割領域対応の移動速度情報に基づいて出力画像の該当フレーム内の各領域について、最適な撮像シャツタ速度を算出する。移動速度と最適な撮像シャツタ速度の関係についての詳細は後述する力出力画像が指定のフレームレートで表示された際、ジャーキネス劣化とボケ劣化の双方が最も低減する設定条件に基づいて最適な撮像シャツタ速度が算出される。この設定条件は、予め最適シャツタ速度算出部 253が有している。

[0115] 最適シャツタ速度算出部 253は、各分割領域対応の移動速度情報を入力し、ジャーキネス劣化とボケ劣化の双方が最も低減する最適な撮像シャツタ速度を算出する。ここで算出する最適な撮像シャツタ速度は、出力画像の各フレームに設定される分割領域単位の最適撮像シャツタ速度である。最適シャツタ速度算出部 253は、算出した出力画像フレーム内の各分割領域対応の最適な撮像シャツタ速度を、フィルタリング処理部 254へと出力する。

[0116] フィルタリング処理部 254には、さらに、制御部 252の制御に基づいて画像蓄積部 251から読み出された出力画像の当該フレーム生成するために用いる入力画像フレームが入力される。フィルタリング処理部 254は、この入力画像に対する画像処理を実行する。すなわち、最適シャツタ速度算出部 253から入力される出力画像フレーム内の各分割領域対応の最適な撮像シャツタ速度に基づ、て、入力画像フレームの分割領域各々について、最適シャツタ速度の撮像画像を擬似的に生成するフィルタリング処理を行う。フィルタリング処理部 254において生成された画像は、出力画像信号の 1フレームとして出力される。

[0117] 画像生成処理部 102では、ここまでに説明した処理を、出力画像のフレーム数だけ繰り返すことにより、指定のフレームレートを有する出力画像信号を出力する。 [0118] [5.フィルタリング処理部の実行するフィルタリング処理の詳細]

フィルタリング処理部 254は、最適シャツタ速度算出部 253から入力される出力画像フレーム内の各分割領域対応の最適な撮像シャツタ速度に基づ、て、入力画像フレームの分割領域各々について、最適シャツタ速度の撮像画像を擬似的に生成するフィルタリング処理を行う。このフィルタリング処理を、最も簡単に実現する方法の 1つの手法は、入力画像フレームの分割領域を時間方向に平均化する処理である。

[0119] 最適な撮像シャツタ速度に応じて、領域毎に平均化に用いるフレーム数を変えて平均化を行うことによって、撮像時におけるシャツタ速度が各領域において異なる出力画像を擬似的に生成することができる。

[0120] また、時間方向の平均化処理を行う際、既存のフレーム間を補間する中間フレームを作成することで、より滑らかな動きボケ生成を行う方法を用いることも有効である。この補間処理は、出力画像信号のフレームレートに対し、入力画像信号のフレームレートが十分に大きくな、場合には特に有効である。この補間処理を実行する画像生成処理部 102の構成例を図 11に示す。

[0121] 図 11は、画像生成処理部 102内に中間フレーム生成部を加えた構成例を示すものである。図 11において、入力画像信号は画像蓄積部 251とともに中間フレーム生成部 250に入力される。中間フレーム生成部 250は、既存のフレームを基に中間フレームを生成し、この中間フレームを用いることで、後段のフィルタリング処理部 254 にお、て行われるフィルタリング処理にぉ、て滑らかな画像を生成することができる。

[0122] 中間フレーム生成部 250における中間フレームの生成処理手法には、様々な既存の手法が適用可能である。例えば、既存の前後フレームを、重みをつけてブレンドする方法のほ力、図 11に示すように、中間フレーム生成部 250に、領域毎の移動速度情報を入力し、この移動速度情報に基づく重みづけや画像ブレンドを実行することで、より精度の高い中間フレーム生成が可能となる。

[0123] また、フィルタリング処理部 254における最適シャツタ速度の撮像画像を擬似的に生成するフィルタリング処理としては、時間方向の平均化処理のほか、時間方向に帯域制限フィルタ処理を行い、信号の制限 (もしくは通過)帯域を変更する構成としてもよい。さらに、時間方向のフィルタリングのみならず、空間方向の帯域制限フィルタリングや、動きベクトルを利用して周囲の画素情報を取得することによって動きボケを生成する方法（例えば、" Image— Based Motion Blur for Stop Motion A nimation,〃 G. J. Brostow et al. SIGGRAPH2001.などに開示された方法)等を適用するなど、さまざまな方法の適用が可能である。

[0124] [6.フィルタリング処理に用いるフレームの選別方法について]

前述したように、フィルタリング処理部 254は、最適シャツタ速度算出部 253から入力される出力画像フレーム内の各分割領域対応の最適な撮像シャツタ速度に基づいて、入力画像フレームの分割領域各々について、最適シャツタ速度の撮像画像を擬似的に生成するフィルタリング処理を行う。すなわち、入力画像フレームの分割領域各々について、シヤーキネスおよびブラーの発生が最も抑制される最適シャツタ速度の撮像画像を擬似的に生成する。

[0125] 出力画像の 1フレームを生成するために用いる読み出しフレームの選別処理について、図 12を参照して説明する。図 12は、フィルタリング処理に用いる入力画像フレームと、出力される画像フレームとの対応について説明する図である。

[0126] 先に、説明したように、本発明の画像処理装置では、入力画像及び出力画像のフレームレートの組み合わせは様々な設定が可能である力ここでは、その一例として入力画像信号のフレームレートを 240 (フレーム Z秒）、

出力画像信号のフレームレートを 60 (フレーム Z秒）、

これらの組み合わせの例を説明する。また、ここで説明する処理例においては、中間フレームの生成は行わな、ものとする。

[0127] 図 12において、（a)入力画像信号には、先に説明した図 9と同様、各フレームに、フレーム番号を示している。このフレーム番号は時刻 0 (秒）に入力画像信号の 0番目のフレームが撮像されたとして表現したものである。入力画像信号のフレームレートは 240 (フレーム Z秒）であるため、時刻 s (秒）では 240 X s番目のフレームと表記する。

[0128] 図 10に示す画像生成処理部 102の制御部 252の制御のもと、出力画像のある 1フレームを生成するためのフィルタリング処理に用いる読み出しフレームの選別処理が実行される。図 12には、このフレーム選別処理例の 2つの例（例 1)、（例 2)を示している。

[0129] 図 12の (a)入力画像信号には、先に、図 9を参照して説明した探索用フレームを 2 40 X s + 0番目、 240 X S+4番目、 240 X S + 8番目のフレームとして斜線で示している。

本処理例では、出力画像信号のフレームレートは、

60 (フレーム Z秒）

であるため、入力画像信号 [240 (フレーム Z秒) ]中から、 1Z60秒間毎に撮像されたフレームを、探索対象として抽出する。すなわち、移動速度演算部 101において探索対象のフレームとして選別されるフレームは、 240 X S + 0番目、 240 X S+4番目、 240 X s + 8番目のフレームであり、斜線で示したフレームである。

[0130] 本実施例において、出力画像を生成するためのフィルタリング処理に用いる入力画像フレームは、各出力画像フレームに対応する探索用フレームを含む前後フレームを用いる。なお、 1つの出力フレームを生成するためのフィルタリング処理に適用する入力画像フレームについては、このように、各出力画像フレームに対応する探索用フレームを含む前後フレームを用いる処理とすることが必須となるものではなぐ各出力画像フレームに対応する探索用フレームを含む前フレームのみ、ある、は後フレームのみなど、様々な処理形態を適用することが可能である。

[0131] しかし、先に図 9を参照して説明したように、出力画像の 1フレームに対して、 1つの移動速度の探索用フレームが対応付けられており、出力画像フレームをフィルタリング処理により生成する場合に、その出力画像フレームに対応する探索用フレームを含むようその前後フレームを用いることで、移動速度情報を反映したフィルタリング処理が可能となる。

[0132] 図 12には、（例 1)、（例 2)として、画像生成処理部 102の制御部 252の制御のもと、出力画像のある 1フレームを生成するためのフィルタリング処理に用いる読み出しフレームの 2つの選別処理例を示している。

[0133] なお、 60 X s + O番目の出力画像のフレームと対応する入力画像中の移動速度検出適用探索フレームは 240 X s + O番目の入力画像フレームである。 60 X s+ 1番目の出力画像のフレームと対応する入力画像中の移動速度検出適用探索フレームは 240 X s+4番目の入力画像フレームである。

60 X s + 2番目の出力画像のフレームと対応する入力画像中の移動速度検出適用探索フレームは 240 X s + 8番目の入力画像フレームである。

[0134] まず、（例 1)の処理例について説明する。

(例 1)においては、 60 Xs + 0番目の出力画像フレーム 310を生成する場合のフィルタリング処理に適用する入力画像フレームは、図に示すように、対応する移動速度の探索用フレームである 240 Xs + 0番目と、その前 1フレームと後 2フレームとした設定である。すなわち、 240Xs— 1番目、 240XS + 0番目、 240XS + 1番目、 240Xs + 2番目の計 4フレームを、フィルタリング処理に用いるフレームとして選択する例を示している。

[0135] 図には、出力画像フレームに対応する移動速度検出に適用した探索用フレームを

[0]として、 n個前のフレームを [ n]、 n個後のフレーム [+n]として示してある。（例 1)の場合、 1つの出力画像フレームを生成する場合のフィルタリング処理に適用する入力画像フレームは、出力画像フレームに対応する移動速度の探索用フレームの 1 つ前（一1)のフレームから 2つ後（ + 2)のフレーム、すなわち 1, 0, +1, +2の 4フレームとした設定である。これらの 4フレームを適用して、各分割領域毎に最適シャツタ速度の撮像画像を擬似的に生成するフィルタリング処理を行う。例えば、入力画像フレームの分割領域を時間方向に平均化する処理を行なう。

[0136] (例 1)では、 60Xs+l番目、および、 60 Xs + 2番目の出力画像のフレーム 311, 312を生成する場合も同様に、対応する探索用フレームとその前 1フレームと後 2フレーム（一 1〜+ 2)の計 4フレームを、フィルタリング処理に用いるフレームとして選択している。

[0137] (例 2)においては、 60 Xs + 0番目の出力画像フレーム 320を生成する場合のフィルタリング処理に適用する入力画像フレームは、図に示すように、対応する移動速度の探索用フレームである 240 Xs + 0番目と、その前 2フレームと後 2フレームとした設定である。すなわち、 240Xs— 2番目、 240Xs— 1番目、 240XS + 0番目、 240Xs +1番目、 240 Xs + 2番目の計 5フレームを、フィルタリング処理に用いるフレームとして選択する例を示して、る。

[0138] (例 2)では、 60 X s+ l番目、および、 60 X s + 2番目の出力画像のフレーム 321, 322を生成する場合も同様に、対応する探索用フレームとその前 2フレームと後 2フレーム（ 2〜 + 2)の計 5フレームを、フィルタリング処理に用いるフレームとして選択している。例 2の場合、これらの 5フレームを適用して、各分割領域毎に最適シャツタ速度の撮像画像を擬似的に生成するフィルタリング処理を行う。例えば、入力画像フレームの分割領域を時間方向に平均化する処理を行なう。

[0139] (例 2)の場合、例えば、 240 X s + 2番目のフレーム力 60 X s + 0番目と 60 X s + l 番目の出力画像のフレーム 320, 321の生成のためのフィルタリング処理に、 240 X s + 6番目のフレームが、 60 X s + 1番目と 60 X s + 2番目の出力画像のフレーム 321 , 322の生成のためのフィルタリング処理に、それぞれ重複して用いられる力このような重複したフレーム選択は特に問題とはならない。

[0140] [7.移動速度と最適な撮像シャツタ速度の対応関係について]

前述した通り、図 11に示す画像生成処理部 102における最適シャツタ速度算出部 253は、移動速度演算部 101から出力された、画像中の各分割領域における移動速度を入力とし、この分割領域各々の移動速度情報に基づいて、最適な撮像シャツタ速度、すなわち、ジャーキネスおよびブラーが最も低減される撮像シャツタ速度を算出する。

[0141] その際、最適シャツタ速度算出部 253は、移動速度と最適な撮像シャツタ速度とを対応付けたテーブル、あるいは予め設定された算出式に基づヽて撮像シャツタ速度を求める。最適シャツタ速度算出部 253は、移動速度と最適な撮像シャツタ速度とを対応付けたテーブルまたは算出式情報を保持している。

[0142] 図 13は、移動速度と最適な撮像シャツタ速度の対応関係の一例を示したものである。グラフの横軸は移動速度、縦軸はシャツタ速度を示しており、グラフ中の曲線が移動速度と最適な撮像シャツタ速度との対応関係を示す。図 13の曲線は、主観評価実験により求めた結果を示すグラフである。

[0143] 被写体の輝度、移動速度、撮像シャツタ速度にっ、て、複数のパターンにつ、て実験を行うことで、ジャーキネス劣化とボケ劣化の双方が最も低減する条件を探索し、さらに、複数の被験者についての結果を平均して、ある関数で近似することにより得られた曲線が図 13に示す曲線である。

[0144] 以降、本実施例では、実験によって得られた結果である図 13の曲線を例として説明を進めていくが、この曲線は、移動速度と最適撮像シャツタ速度との対応を示す一例であり、本発明の装置は、この曲線の適用に限定されるものではない。最適シャツタ速度算出部 253は、入力する各分割領域の移動速度情報に基づいてジャーキネス劣化とボケ劣化の双方が最も低減する最適な撮像シャツタ速度を算出可能な構成であればよぐそのための対応テーブルまたは算出式を保持することが必要となる。

[0145] また、本実施例に係る処理を実装した装置にお!、ては、速度と最適な撮像シャツタ速度の対応関係を、出力画像信号を表示するデバイスの応答特性や、使用者の嗜好に応じて、変更できるように構成することも可能である。これについての詳細は後述する。

[0146] [8.最適な撮像シャツタ速度算出方法について]

以下、最適シャツタ速度算出部 253が、図 13に示すグラフデータを、移動速度最適撮像シャツタ速度の対応テーブルとして保持してヽる場合、ある分割領域の移動速度情報を入力して、最適撮像シャツタ速度を算出する処理例について説明する。すなわち、画像中のある分割領域における移動速度情報を最適シャツタ速度算出部 253に入力したとき、その領域に対し最適な撮像シャツタ速度を算出する最も基本的な処理例について、図 14を用いて説明する。

[0147] まず、ある出力フレームの 1つの分割領域における移動速度の値を、グラフの横軸から探索する。例えば、図 14の横軸上の移動速度点 331が、ある出力フレームの 1 つの分割領域における移動速度の値であるとする。次に、横軸の値に対応するダラフ曲線上の点を探索する。図に示す矢印 Aによって、横軸の値 (移動速度点 331)に対応するグラフ曲線上の点を探索する。図に示すグラフ点 332が探索される。

[0148] 次に、探索したグラフ曲線上の点 332に対応する縦軸上の値を探索する。図に示す矢印 Bによって、グラフ曲線上の点 332に対応する縦軸上の値 (最適撮像シャツタ速度点 333)を探索する。この処理によって、特定の分割領域の移動速度に対し最適な撮像シャツタ速度の値 (最適撮像シャツタ速度点 333)を獲得することができる。この要領で、各分割領域に対応する移動速度に対応する最適シャツタ速度を求める

。決定した最適な撮像シャツタ速度は、図 11に示す画像生成処理部 102の最適シャッタ速度算出部 253から出力され、フィルタリング処理部 254へ入力される。

[0149] なお、上述の撮像シャツタ速度の算出方法は、最も基本的な手段の一例であり、算出処理の高速ィ匕ゃ記憶データ量の削減の必要性に応じて簡略ィ匕してもよい。図 15 は、図 13に示した移動速度と最適な撮像シャツタ速度の関係の一例を粗ィ匕して示したものである。移動速度と最適な撮像シャツタ速度の関係の情報を、図 13のように粗化したデータとして表現することにより、最適シャツタ速度算出部 253が予め有しているべき情報は、限られた組み合わせのテーブル状のデータとなり、データ量は軽減される。

[0150] すなわち、この例では、最適シャツタ速度算出部 253が予め有しているべき情報は、図 16に示す移動速度と最適シャツタ速度の対応データとなる。図 16に示すように、移動速度が 0〜Vaでは、最適シャツタ速度 =t4、

移動速度力 SVa〜Vbでは、最適シャツタ速度 = tk、

移動速度が Vb〜Vcでは、最適シャツタ速度 = tl、移動速度が Vg〜Vhでは、最適シャツタ速度 =tr、

移動速度が Vh〜では、最適シャツタ速度 = ts、

このように、移動速度の区間データに対応する最適シャツタ速度を設定したテープルを、図 15に示すグラフに基づいて生成し、この対応テーブルを保持する構成としてもよい。この構成によって、最適シャツタ速度算出部 253が保持すべきデータ量は軽減される。また、この場合、計算コストの点にも利便性がある。すなわち、最適シャツタ速度算出部 253は、ある領域の移動速度情報を入力してその領域に最適な撮像シャツタ速度を算出する場合、移動速度が図 16に示すテーブルのどの区間に対応するかを判別し、その区間に対応付けられた最適シャツタ速度データを取得するのみで、各移動速度に対応する最適な撮像シャツタ速度を取得することができる。

[0151] [9.最適な撮像シャツタ速度算出および、出力フレーム生成処理の具体例] 次に、最適な撮像シャツタ速度算出および、出力フレーム生成処理の具体例について、図 17〜図 19を参照して説明する。

[0152] 以下の説明においても、

入力画像のフレームレートは 240 (フレーム Z秒）、

出力画像のフレームレートは 60 (フレーム Z秒）、

このフレームレート設定として説明する。また、本例では、入力画像の各フレームは、単一のシャツタ速度 1Z240 (秒)で撮像されて!、るものとして説明する。

[0153] 図 17は、本発明の画像処理装置の移動速度演算部 101 (図 4参照）において、各分割領域について移動速度が算出された、ある 1枚の探索用フレームを図示している。本例では、画像フレームを 4 X 4画素の領域に分割し、これらの 4 X 4画素の分割領域を単位として、各分割領域の移動速度を検出するものとする。図 7を参照して説明した移動速度演算部 101の領域分割部 203において 4 X 4画素単位に分割され、各々の領域について対応する移動速度の値が算出される。

[0154] 各分割領域の移動速度は、先に図 7〜図 9を参照して説明した移動速度検出処理

、すなわち、探索用フレームと参照用フレームを設定し、これらのフレーム間においてブロックマッチングを実行することで算出される。

[0155] 図 17に示す分割領域の内、 6つに識別記号 A〜Fを示している。ここで、各々の領域 A〜Eの分割領域において算出された移動速度を、それぞれ Va、 Vb、 Vc、 Vd、 Veゝ Vfとする。

[0156] 図 18は、画像生成処理部 102において行われる移動速度に基づく最適な撮像シャッタ速度の算出に適用するグラフ (テーブル)を示している。このテーブルは、図 11 を参照して説明した画像生成処理部 102の最適シャツタ速度算出部 253に保持されたテーブルであり、移動速度と最適な撮像シャツタ速度との対応データである。最適シャツタ速度算出部 253は、このテーブルを適用して、各分割領域に対応して求められた移動速度に基づいて、各分割領域に対応する最適シャツタ速度を算出する。図 18に示すデータは、先に、図 15を参照して説明したグラフと同様、所定の移動速度区間毎に、最適シャツタ速度を対応付けたデータである。

[0157] 最適シャツタ速度算出部 253は、各分割領域に対応して求められた移動速度情報を入力し、図 18に示すデータを適用して各分割領域に対応する最適シャツタ速度を算出する。以下、図 17に示すフレーム画像データ力出力画像フレームに対応する探索用フレームとして画像生成処理部 102に入力した場合の処理例について説明する。

[0158] 図 11に示す画像生成処理部 102の最適シャツタ速度算出部 253には、図 17に示すフレーム画像の各分割領域の移動速度情報が入力される。分割領域 A〜F (4 X 4 画素）に対しては、移動速度情報 Va〜Vfが入力される。

ここで、図 17に示す分割領域 A〜Fの各々が有する移動速度 Va〜Vfの値と、図 1 8に示すグラフの横軸に示す閾値 thl〜th6との大小関係は、以下の設定であるとする。

0≤Va<thl

thl≤Vb<th2

th2≤Vc<th3

th3≤Vd<th4

th4≤Ve<th5

th6≤Vf

[0159] 先に説明した通り、ある領域の移動速度から当該領域に最適な撮像シャツタ速度を算出する処理は、まず、移動速度が上記閾値によって区切られた移動速度区間のどの区間にあるかを判別し、次に、その移動速度区間に対応付けられた最適シャツタ速度を取得する処理として実行される。

[0160] 例えば、図 17に示す分割領域 Cは、移動速度 Vcを有する。

th2≤Vc<th3

であり、移動速度 Vcは、移動速度区間 th2〜th3に含まれる。移動速度区間 th2〜 th3に対応する最適シャツタ速度は、図 18に示すグラフから [1Z120秒]である。このように、移動速度 Vcを有する分割領域 Cにおける最適シャツタ速度は [1Z120秒 ]であると判定される。これは、分割領域 Cの画像をシャツタ速度 1Z120秒とした擬似画像とした場合に、ジャーキネスおよびブラーが最も低減された画像とすることが可能であることを意味して、る。

[0161] このシャツタ速度情報が図 11に示す画像生成処理部 102のフィルタリング処理部 2 54に入力され、フィルタリング処理部 254では、分割領域 Cの画像をシャツタ速度 1 Z 120秒とした擬似画像とするための画像生成処理 (フィルタリング処理)を実行する。画像フィルタリング処理は、先に、図 12を参照して説明したように、既存の前後フレームを、重みをつけてブレンドする処理として実行される。

[0162] 図 19を参照してフィルタリング処理部 254において実行するフィルタリング処理、すなわち、ジャーキネスおよびブラーが最も低減されたシャツタ速度撮像画像としての擬似画像の生成処理にっ、て説明する。

[0163] フィルタリング処理部 254には、各領域に対応する最適シャツタ速度情報と、先に図 12を参照して説明したように、図 11に示す画像生成処理部 102の制御部 252において選択されたフィルタリング処理に適用する入力画像フレームが入力される。本例では、フィルタリング処理に用いるフレームを、図 12を参照して説明した (例 2)のように、移動速度の探索用フレームの前後 2フレームであるとする。

[0164] 図 19には、フィルタリング処理部 254に入力された出力画像フレームに対応する移動速度の探索用フレームとその前後 2フレームの 5つの入力フレームを示している。これらの 5つのフレームは、出力画像フレームに対応する移動速度の探索用フレームである 240 X s + O番目のフレーム、および、フィルタリングに用いるフレームとしてその前後 2フレームである 240 X s 2番目、 240 X s— 1番目、 240 X S+ 1番目、 240 X s + 2番目のフレームである。これらの入力フレーム中に示す画素 351 ( 2)〜35 1 (2)は、先に図 17を参照して説明した処理対象の 4 X 4画素の分割領域に含まれる画素であるとする。入力フレーム中に示す画素 351 (— 2)〜351 (2)の各画素値を in (— 2)、 in (— 1)、 in (0)、 in(l)、 in (2)とする。

[0165] また、図 19には、これらの各フレームを用いたフィルタリング処理の結果、出力される出力フレーム 370を示している。このフレームは、図 12の（例 2)において示す [60 X s + O番目の出力フレーム] 320に相当する。出力フレーム 370中、注目画素 351 ( — 2)〜351 (2)と位置的に対応する出力画素 371の画素値を out (0)とする。

[0166] 本例では、出力フレーム中の出力画素 371の画素値 out (0)は、入力画像の各フレームの注目画素 351 (— 2)〜351 (2)の画素値 in (— 2)、 in (— 1)、 in (0)、 in (l) 、 in (2)を加重平均することで算出するものとし、以下、例をあげて説明する。 [0167] (A)注目画素が分割領域 A内の画素である場合

まず、注目画素が、図 17の領域 A内に存在する例を考える。

注目画素は移動速度 Va (0≤Va<thl)を有して!/、る。

この場合、注目画素に対する最適なシャツタ速度は、既に最適シャツタ速度算出部 253において図 18のテーブルから算出され、フィルタリング処理部 254に入力されており、その値は 1Z240 (秒）である。

[0168] 入力画像の各フレームは単一のシャツタ速度 1Z240 (秒)で撮像されている。そのため、 240 X s + O番目の入力フレームの注目画素の画素値は、図 18のテーブルから算出された最適なシャツタ速度（1Z240秒)で撮像されて!、る画像であり、出カフレーム中の注目画素の画素値 out (0)は、 in (0)の値をそのまま用いればよい。数式で表現すると以下のようになる。

out (O) =in(0)

[0169] (B)注目画素が分割領域 B内の画素である場合

次に、注目画素が図 17の領域 B内に存在する場合を考える。

注目画素は移動速度 Vb (thl≤Vb<th2)を有して!/、る。

この場合、注目画素に対する最適なシャツタ速度は、既に最適シャツタ速度算出部 253において図 18のテーブルから算出され、フィルタリング処理部 254に入力されており、その値は 1Z160 (秒）である。

[0170] 入力画像の各フレームは単一のシャツタ速度 1Z240 (秒)で撮像されており、注目画素に対する最適シャツタ速度 1Z160 (秒）は、

(1/160) / (1/240) = 1. 5倍である。

この場合、出力フレーム中の注目画素の画素値 out (0)は、以下のように入力画像の各フレームの注目画素の画素値を加重平均の計算により求める。

out (0) = (in(- l) * 0. 25+in(0) +in (l) * 0. 25) /1. 5

上記式は、出力画像フレームに対応する移動速度の探索用フレームである 240 X s + 0番目のフレームの画素の画素値の重みを [1]とし、

1つ前のフレームと 1つ後のフレームの対応画素の画素値の重みをそれぞれ [0. 2 5]として、加重平均によって、出力画像フレームの画素値 out (0)を算出したものである。上記式により、注目画素の元々の露光時間よりも 1. 5倍の期間、露光されて撮像された画素を擬似的に生成することができる。

[0171] (C)注目画素が分割領域 C内の画素である場合

次に、注目画素が図 17の領域 C内に存在する場合を考える。

注目画素は移動速度 Vc (th2≤Vc<th3)を有して!/、る。

この場合、注目画素に対する最適なシャツタ速度は、既に最適シャツタ速度算出部 253において図 18のテーブルから算出され、フィルタリング処理部 254に入力されており、その値は 1Z120(秒）である。

[0172] 入力画像の各フレームは単一のシャツタ速度 1Z240 (秒)で撮像されており、注目画素に対する最適シャツタ速度 1Z120(秒）は、

(1/120) / (1/240) = 2. 0倍である。

out (0) = (in(- l)水 0. 5+in (0) +in (l)水 0. 5) /2. 0

上記式により、注目画素の元々の露光時間よりも 2. 0倍の期間、露光されて撮像された画素を擬似的に生成する。

[0173] (D)注目画素が分割領域 D内の画素である場合

次に、注目画素が図 17の領域 D内に存在する場合を考える。

注目画素は移動速度 Vd (th3≤Vd< th4)を有して!/、る。

この場合、注目画素に対する最適なシャツタ速度は、既に最適シャツタ速度算出部 253において図 18のテーブルから算出され、フィルタリング処理部 254に入力されており、その値は 1Z96 (秒）である。

[0174] 入力画像の各フレームは単一のシャツタ速度 1Z240 (秒)で撮像されており、注目画素に対する最適シャツタ速度 1Z96 (秒）は、

(1/96) / (1/240) = 2. 5倍である。

out (0) = (in(- l) * 0. 75+in(0) +in (l) * 0. 75) /2. 5 上記式により、注目画素の元々の露光時間よりも 2. 5倍の期間、露光されて撮像された画素を擬似的に生成する。

[0175] (E)注目画素が分割領域 E内の画素である場合

次に、注目画素が図 17の領域 E内に存在する場合を考える。

注目画素は移動速度 Ve (th4≤Ve<th5)を有して!/、る。

この場合、注目画素に対する最適なシャツタ速度は、既に最適シャツタ速度算出部 253において図 18のテーブルから算出され、フィルタリング処理部 254に入力されており、その値は 1Z80 (秒）である。

[0176] 入力画像の各フレームは単一のシャツタ速度 1Z240 (秒)で撮像されており、注目画素に対する最適シャツタ速度 1Z80 (秒）は、

(1/80) / (1/240) = 3. 0倍である。

out (O) = (in(- l) +in (0) +in(l) ) /3. 0

上記式により、注目画素の元々の露光時間よりも 3. 0倍の期間、露光されて撮像された画素を擬似的に生成する。

[0177] (F)注目画素が分割領域 F内の画素である場合

次に、注目画素が図 17の領域 F内に存在する場合を考える。

注目画素は移動速度 Vf (th6≤ Vf)を有して、る。

この場合、注目画素に対する最適なシャツタ速度は、既に最適シャツタ速度算出部 253において図 18のテーブルから算出され、フィルタリング処理部 254に入力されており、その値は 1Z60 (秒）である。

入力画像の各フレームは単一のシャツタ速度 1Z240 (秒)で撮像されており、注目画素に対する最適シャツタ速度 1Z60 (秒）は、

(1/60) / (1/240) =4. 0倍である。

out (0) = (in (— 2) * 0. 5+in (— l) +in (0) +in (l) +in(2) * 0. 5) /4. 0 上記式により、注目画素の元々の露光時間よりも 4. 0倍の期間、露光されて撮像された画素を擬似的に生成する。

[0178] このように、フィルタリング処理部 254では、各画素が最適なシャツタ速度で撮像された出力フレームを生成するため、入力画像フレームの画素値を移動速度に応じた係数を設定して加重平均によるフィルタリング処理を実行して画素値を設定した画像を生成する。

[0179] このように、フィルタリング処理部 254では、生成する出力画像のシャツタ速度に応じて、フィルタリング処理に適用する入力画像フレームの数を適宜、変更して処理を行なう。

[0180] [10.移動速度と最適なシャツタ速度曲線の調整機能を有した装置について] さらに、本発明に係る画像処理構成を実装した装置においては、出力画像を表示する表示デバイスの応答特性や、装置の使用者の嗜好に応じて、移動速度と最適な撮像シャツタ速度の関係を調整する機能を持たせる構成としてもよい。

[0181] 図 20は、移動速度と最適な撮像シャツタ速度の関係を表す曲線の例をいくつ力示している。例えば、図 20中に示す第 1段階〜第 5段階の曲線のなかから、使用者が移動速度と最適な撮像シャツタ速度の関係を調整可能とする。移動速度と最適な撮像シャツタ速度の関係は、出力画像を表示する表示デバイスの応答特性や、装置の使用者の嗜好に応じて異なる場合がある。このような場合、移動速度と最適な撮像シャッタ速度の関係を調整可能とすることで、状況に応じた最適な処理が可能となる。

[0182] 例えば、図 20に示す移動速度と最適撮像シャツタ速度の関係を示す複数の曲線中、第 1段階と第 5段階を比較した場合、移動速度が等しい場合における最適な撮像シャツタ速度は、第 5段階の方が高速である。そのため、フィルタリング処理により生成される出力画像は、第 1段階を採用した場合の方が、第 5段階を採用した場合と比べ、よりジャーキネス劣化が低減された画像となり、反対に第 5段階を採用した場合の方が第 1段階を採用した場合と比べ、よりブラー劣化が低減された画像となる。

[0183] 装置の使用者は、その嗜好に応じて、最も双方の劣化が気にならないよう、図 20中に示す第 1段階〜第 5段階の曲線を選択して、移動速度に対応する最適シャツタ速度を調整することができる。この移動速度と最適な撮像シャツタ速度の関係を調整する機能は、ちょうど一般的な表示装置において、輝度のガンマ曲線を調整する機能とよく似たものである。

[0184] 使用者が、移動速度と最適な撮像シャツタ速度の関係を調整するために必要な情報を入力する手段としては様々な構成が適用可能である。例えば、装置に設定されたユーザインタフェース (GUI)によって入力する方法が考えられる。この場合、装置は表示デバイス、マウスなどの入力デバイスを持ち、ユーザはこれらの入力デバイスを使用して、調整を行うこととなる。図 21は、使用者が移動速度と最適な撮像シャツタ速度の関係を調整する際に用いる、ユーザインタフェースの構成例である。

[0185] 図 21は、図 20において示した第 1段階〜第 5段階の曲線のなかから、移動速度と最適な撮像シャツタ速度の関係を、使用者が選択できるよう構成されており、スクロールバ一 381を移動させて入力できるように設計してある。ユーザは何ら力入力デバイスを用いてスクロールバー 381を動かし、 OKボタン 382を操作することで、移動速度と最適な撮像シャツタ速度の関係を調整することが可能となっている。

[0186] [11.第 2の実施例の概要]

図 22は、本発明の第 2の実施例に係る画像処理装置の構成例を示すブロック図である。第 2の実施例のブロック図は、図 4を参照して説明した第 1の実施例に空間特徴量検出部 503を付けカ卩えたものである。画像処理装置 500は、処理対象画像として、一定のフレームレートを有する画像信号を入力する。この入力画像信号は、移動速度演算部 501、画像生成処理部 502、および空間特徴量検出部 503に入力される。

[0187] 以下、第 1の実施例との差分を中心として、画像処理装置 500の処理について説明する。一定のフレームレートを有する入力画像信号は、移動速度演算部 501に入力される。移動速度演算部 501に入力した入力画像信号は、先に、図 4以下を参照して説明した第 1の実施例と同様の処理を実行して、フレーム内の各分割領域の移動速度を算出する。この移動速度は、出力画像のフレームレート相当の値として算出され、移動速度演算部 501から画像生成処理部 502に出力される。

[0188] 空間特徴量検出部 503にも同様に、入力画像信号が入力される。空間特徴量検出部 503の処理について、図 23を参照して説明する。図 23は、空間特徴量検出部 503の詳細な構成例を示す図である。図 23に示すように、空間特徴量検出部 503は、入力画像信号の複数のフレームを記憶する画像蓄積部 521、空間コントラストの大きさを評価する対象のフレームを選別し読み出し制御を行う制御部 522、評価対象となるフレームを領域に分割する領域分割部 523、空間フィルタリング処理などにより各領域における空間コントラストの大きさを評価する空間コントラスト評価部 524を有する。

[0189] 本実施例では、処理の基準とする空間コントラスト閾値を、予め空間コントラスト評価部 524が有している。空間特徴量検出部 503は、処理対象とする分割領域各々について、空間コントラストの大きさが閾値以上である力否かを判定し、処理対象とする分割領域の空間コントラストの大きさが閾値以上である場合、空間特徴量情報として信号 [0]、閾値よりも小さい場合、空間特徴量情報として信号 [1]を出力する。

[0190] 空間特徴量検出部 503に入力した入力画像信号は、まず画像蓄積部 521に入力され記憶される。この記憶画像フレームデータは、制御部 522の制御のもと、空間コントラストの評価対象として選択されたフレームが画像蓄積部 521から読み出される。

[0191] 空間コントラストの評価対象となるフレームは、出力画像のフレームレート情報を基に実行される。このフレーム選択処理は、先に、図 7〜図 9を参照して説明した移動速度演算部の制御部における動きベクトル検出対象となる探索用フレームの選別と同様の処理である。画像蓄積部 521から読み出されたフレームは、領域分割部 523 に入力される。

[0192] 領域分割部 523において行われる領域分割処理は、先に、第 1の実施例において図 7を参照して説明した移動速度演算部の領域分割部において実行される動きべクトル検出対象となる探索用フレームの領域分割処理と同様に行われる。先に、図 5を参照して説明したように、 1フレームの画像が予め定められた画素領域に分割される

[0193] 各分割領域の画像データは、空間コントラスト評価部 524へ入力され、空間フィルタリング処理が行われる。すなわち、処理対象とする分割領域各々について、空間コントラストの大きさが閾値以上である力否かを判定し、処理対象とする分割領域の空間コントラストの大きさが閾値以上である場合、空間特徴量情報として信号 [0]、閾値よりも小さい場合、空間特徴量情報として信号 [1]を出力する。

[0194] このように、本実施例では、図 22に示す画像生成処理部 502は、移動速度演算部 501から出力される画像中の各領域における移動速度情報、および、空間特徴量検出部 503から出力される画像中の各領域における空間特徴量情報を入力する。

[0195] 図 24を参照して、本実施例における画像生成処理部 502の構成および処理について説明する。図 24に示す画像生成処理部 502において、空間特徴量検出部 503 から入力した空間特徴量情報は、移動速度情報と同様に、最適シャツタ速度算出部 553へ入力される。最適シャツタ速度算出部 553は、これらの各情報を適用して、各分割領域に対応する最適シャツタ速度を算出する。

[0196] 最適シャツタ速度算出部 553における処理は、例えば以下のように行われる。最適シャツタ速度算出部 553に入力した空間特徴量情報が信号 [0]の場合、すなわち、処理対象とする分割領域の空間コントラストの大きさが閾値以上である場合、当該領域はその移動速度情報のみに基づいて、先に図 13〜図 17を参照して説明した移動速度と最適シャツタ速度との対応テーブルに基づ、て、最適な撮像シャツタ速度を算出する。

[0197] 一方、空間特徴量情報が信号 [1]の場合、すなわち、処理対象とする分割領域の空間コントラストの大きさが閾値未満である場合、当該領域はその移動速度に関わらず、最適シャツタ速度を最大のフレームレートに相当するシャツタ速度、例えば図 13 中の t4をシャツタ速度として設定する。

[0198] この最適シャツタ速度の決定処理は、空間コントラストが小さい領域では、ジャーキネス劣化は目立たないという事実を考慮したものである。すなわち、処理対象の分割領域の空間特徴量情報が信号 [1]の場合、処理対象とする分割領域の空間コントラストの大きさが閾値未満であり、空間コントラストが小さぐジャーキネス劣化は目立たない。従って、このような領域は、最大のフレームレートに相当するシャツタ速度、例えば図 13中の t4をシャツタ速度として設定して鮮明な画像を出力する。

[0199] 一方、分割領域の空間特徴量情報が信号 [0]の場合、処理対象とする分割領域の空間コントラストの大きさが閾値以上であり、空間コントラストが大きぐジャーキネス劣化が目立つ領域であると判定されるので、先に説明した実施例と同様、先に図 13〜図 17を参照して説明した移動速度と最適シャツタ速度との対応テーブルに基づいて、最適な撮像シャツタ速度を算出する。

[0200] なお、空間特徴量情報は、本実施例で説明した例にぉ、ては、所定の閾値の前後で [0] , [1]の 2種類の情報とした例を説明した力この他の設定としてもよい。例えば、空間特徴量検出部 503が予め 1つの閾値を有しているのではなぐコントラストの値に応じた異なる出力値を出力するためのより詳細なテーブルを有する構成とし、空間特徴量情報として 2種類より多種類の信号を画像生成処理部 502へ出力する構成にすることも可能である。

[0201] 図 24に示す画像生成処理部 502の最適シャツタ速度算出部 553において、画像中の各領域における最適な撮像シャツタ速度を算出した後の処理、すなわち、フィルタリング処理部 554における処理は、先の実施例において説明した処理と同様であり、各分割領域において、複数の入力画像フレームに基づいて、最適シャツタ速度に対応する擬似画像を生成する処理として実行される。

[0202] 本処理例では、このように、空間特徴量検出部 503にお、て分割領域単位で空間コントラストの大きさを検出し、画像生成処理部 502において、空間コントラストが予め定めた閾値未満の分割領域については、移動速度に対応して算出される最適撮像シャツタ速度より高いシャツタ速度を最適シャツタ速度として設定する。あるいは、空間コントラストが予め定めた閾値未満の分割領域については、移動速度に対応して算出される最適撮像シャツタ速度を算出することなぐ入力画像の持つフレームレートに対応する最高のシャツタ速度を最適シャツタ速度として設定する処理を実行する。

[0203] 以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

[0204] また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる力、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

[0205] 例えば、プログラムは記録媒体としてのハードディスクや ROM (Read Only Memory )に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、 CD -ROM(Compact Disc Read Only Memory), MO(Magneto optical)ディスク， DVD( Digital Versatile Disc),磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納 (記録)しておくことができる。このようなリムーバブル記録媒体は、 V、わゆるパッケージソフトウェアとして提供することができる。

[0206] なお、プログラムは、上述したようなリムーバブル記録媒体力コンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、 LAN(Local A rea Network),インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

[0207] なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

産業上の利用可能性

[0208] 以上、説明したように、本発明の構成によれば、一定のフレームレートで出力する動画像を生成する際、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出し、分割領域単位の移動速度に対応する最適な撮像シャツタ速度として、出力画像の画像劣化が低減される最適シャツタ速度を分割領域単位で取得し、取得した最適シャツタ速度に対応する画像を分割領域単位で生成して、生成した分割領域画像を結合したフレーム画像を出力させる構成としたので、出力画像における画像劣化、具体的には、ジャーキネスおよびブラーの双方を低減した高品質の画像を出力することが可能とした画像処理装置が実現される。

Claims

請求の範囲

[1] 動画像に対する画像処理を実行する画像処理装置であり、

を有することを特徴とする画像処理装置。

[2] 前記移動速度演算部は、

入力画像のフレーム力も選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で移動速度を算出する処理を実行する構成であることを特徴とする請求項 1に記載の画像処理装置。

[3] 前記移動速度演算部は、

入力画像のフレーム力も選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で動きベクトルを求めるブロックマッチング部と、

前記ブロックマッチング部において算出した動きベクトル情報に基づいて、出力画像のフレームレートに応じた被写体の移動速度を算出する動きベクトル規格ィ匕部とを有する構成であることを特徴とする請求項 1に記載の画像処理装置。

[4] 前記移動速度演算部は、

前記探索用フレームを、出力画像のフレームレートに応じたフレーム間隔で入力画像のフレームから選択する処理を実行する構成であることを特徴とする請求項 2または 3に記載の画像処理装置。

[5] 前記画像生成処理部は、

移動速度と、出力画像の画像劣化が低減される撮像シャツタ速度とを対応付けたテ一ブルを保持し、該テーブルを参照して移動速度に対応する最適シャツタ速度を前記分割領域単位で取得する構成であることを特徴とする請求項 1に記載の画像処理装置。

[6] 前記テーブルは、

移動速度区間情報と、最適シャツタ速度情報とを対応付けたテーブルであることを特徴とする請求項 5に記載の画像処理装置。

[7] 前記画像生成処理部は、

移動速度と、出力画像の画像劣化が低減される最適シャツタ速度との対応関係の異なる複数の異なるテーブルを有し、ユーザ選択情報に基づいて、適用するテープルを決定する構成であることを特徴とする請求項 5に記載の画像処理装置。

[8] 前記画像生成処理部は、

前記分割領域単位で、移動速度に対応する最適シャツタ速度を算出する最適シャッタ速度算出部と、

前記最適シャツタ速度算出部の算出した最適シャツタ速度に対応する画像を前記分割領域単位で生成するフィルタリング処理部とを有する構成であることを特徴とする請求項 1に記載の画像処理装置。

[9] 前記フィルタリング処理部は、

入力画像のフレーム力選択されたフレームに基づいて、前記最適シャツタ速度算出部の算出した撮像シャツタ速度に対応する画像を前記分割領域単位で生成する処理を実行する構成であることを特徴とする請求項 8に記載の画像処理装置。

[10] 前記フィルタリング処理部は、

前記最適シャツタ速度算出部の算出した最適シャツタ速度に応じた重み係数を設定して、入力画像の複数フレームの画素値の加重平均を実行して、出力画像フレームの画素値を決定する処理を実行する構成であることを特徴とする請求項 8に記載の画像処理装置。

[11] 前記画像生成処理部は、

入力画像のフレームに含まれなヽ中間フレームを生成する中間フレーム生成部を有し、前記最適シャツタ速度算出部の算出した最適シャツタ速度に対応する画像を、前記中間フレームを適用して分割領域単位で生成する処理を実行する構成であることを特徴とする請求項 1に記載の画像処理装置。

[12] 前記画像処理装置は、さらに、

前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出部を有し前記画像生成処理部は、

空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャツタ速度より高いシャツタ速度を最適シャツタ速度として設定する処理を実行する構成であることを特徴とする請求項 1に記載の画像処理装置。

[13] 前記画像処理装置は、さらに、

空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャツタ速度を算出することなぐ入力画像の持つフレームレートに対応するシャツタ速度を最適シャツタ速度として設定する処理を実行する構成であることを特徴とする請求項 1に記載の画像処理装置。

[14] 前記出力画像の画像劣化は、ジャーキネスおよびブラーによる画像劣化であり、前記画像生成処理部は、

ジャーキネスおよびブラーによる画像劣化が低減される最適シャツタ速度を前記分割領域単位で取得し、取得した最適シャツタ速度に対応する画像を前記分割領域単位で生成する処理を実行する構成であることを特徴とする請求項 1から請求項 13いずれかに記載の画像処理装置。

[15] 画像処理装置において、動画像に対する画像処理を実行する画像処理方法であり、

移動速度演算部において、動画像を構成するフレーム画像を区分した分割領域単位で出力画像のフレームレートに応じた被写体の移動速度を算出する移動速度演算ステップと、画像生成処理部において、前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャツタ速度として、出力画像の画像劣化が低減される最適シャツタ速度を前記分割領域単位で取得し、取得した最適シャツタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力する画像生成処理ステップと、

を有することを特徴とする画像処理方法。

[16] 前記移動速度演算ステップは、

入力画像のフレーム力も選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で移動速度を算出する処理を実行することを特徴とする請求項 15に記載の画像処理方法。

[17] 前記移動速度演算ステップは、

入力画像のフレーム力も選択された探索用フレームと参照用フレームを適用したブロックマッチング処理により分割領域単位で動きベクトルを求めるブロックマッチング処理ステップ、

前記ブロックマッチング処理ステップにお、て算出した動きベクトル情報に基づヽて、出力画像のフレームレートに応じた被写体の移動速度を算出する動きベクトル規格化ステップとを有することを特徴とする請求項 15に記載の画像処理方法。

[18] 前記移動速度演算ステップは、

前記探索用フレームを、出力画像のフレームレートに応じたフレーム間隔で入力画像のフレーム力選択する処理を実行することを特徴とする請求項 16または 17に記載の画像処理方法。

[19] 前記画像生成処理ステップは、

移動速度と、出力画像の画像劣化が低減される撮像シャツタ速度とを対応付けたテ一ブルを参照して移動速度に対応する最適シャツタ速度を前記分割領域単位で取得するステップを含むことを特徴とする請求項 15に記載の画像処理方法。

[20] 前記テーブルは、

移動速度区間情報と、最適シャツタ速度情報とを対応付けたテーブルであることを特徴とする請求項 19に記載の画像処理方法。

[21] 前記画像生成処理ステップは、

移動速度と、出力画像の画像劣化が低減される最適シャツタ速度との対応関係の異なる複数の異なるテーブル力ものユーザ選択情報に基づいて適用テーブルを決定する処理を実行するステップを含むことを特徴とする請求項 19に記載の画像処理方法。

[22] 前記画像生成処理ステップは、

前記分割領域単位で、移動速度に対応する最適シャツタ速度を算出する最適シャッタ速度算出ステップと、

前記最適シャツタ速度算出ステップにおいて算出した最適シャツタ速度に対応する画像を前記分割領域単位で生成するフィルタリング処理ステップとを有することを特徴とする請求項 15に記載の画像処理方法。

[23] 前記フィルタリング処理ステップは、

入力画像のフレーム力選択されたフレームに基づいて、前記最適シャツタ速度算出ステップにおいて算出した撮像シャツタ速度に対応する画像を前記分割領域単位で生成する処理を実行することを特徴とする請求項 22に記載の画像処理方法。

[24] 前記フィルタリング処理ステップは、

前記最適シャツタ速度算出ステップにおいて算出した最適シャツタ速度に応じた重み係数を設定して、入力画像の複数フレームの画素値の加重平均を実行して、出力画像フレームの画素値を決定する処理を実行することを特徴とする請求項 22に記載の画像処理方法。

[25] 前記画像生成処理ステップは、

入力画像のフレームに含まれない中間フレームを生成し、前記最適シャツタ速度算出ステップにおいて算出した最適シャツタ速度に対応する画像を、前記中間フレームを適用して分割領域単位で生成する処理を実行することを特徴とする請求項 15に記載の画像処理方法。

[26] 前記画像処理方法は、さらに、

空間特徴量検出部において、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出ステップを有し、前記画像生成処理ステップは、

空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャツタ速度より高いシャツタ速度を最適シャツタ速度として設定する処理を実行することを特徴とする請求項 15に記載の画像処理方法。

[27] 前記画像処理方法は、さらに、

空間特徴量検出部において、前記分割領域単位で空間コントラストの大きさを検出する空間特徴量検出ステップを有し、

前記画像生成処理ステップは、

空間コントラストが予め定めた閾値未満の分割領域については、前記移動速度に対応して算出される最適シャツタ速度を算出することなぐ入力画像の持つフレームレートに対応するシャツタ速度を最適シャツタ速度として設定する処理を実行することを特徴とする請求項 15に記載の画像処理方法。

[28] 前記出力画像の画像劣化は、ジャーキネスおよびブラーによる画像劣化であり、前記画像生成処理ステップは、

ジャーキネスおよびブラーによる画像劣化が低減される最適シャツタ速度を前記分割領域単位で取得し、取得した最適シャツタ速度に対応する画像を前記分割領域単位で生成する処理を実行することを特徴とする請求項 15から請求項 27いずれかに記載の画像処理方法。

[29] 画像処理装置において、動画像に対する画像処理を実行させるコンピュータ 'プログラムであり、

画像生成処理部において、前記分割領域単位の移動速度情報を入力し、移動速度に対応する最適な撮像シャツタ速度として、出力画像の画像劣化が低減される最適シャツタ速度を前記分割領域単位で取得し、取得した最適シャツタ速度に対応する画像を前記分割領域単位で生成し、生成した分割領域画像を結合したフレーム画像を出力させる画像生成処理ステップと、を実行させることを特徴とするコンピュータ ·プログラム。