JP5962278B2

JP5962278B2 - 画像処理プログラム、画像処理装置及び画像処理方法

Info

Publication number: JP5962278B2
Application number: JP2012156164A
Authority: JP
Inventors: 北　耕次; 耕次北
Original assignee: Noritsu Precision Co Ltd
Current assignee: Noritsu Precision Co Ltd
Priority date: 2012-07-12
Filing date: 2012-07-12
Publication date: 2016-08-03
Anticipated expiration: 2032-07-12
Also published as: US20140019864A1; US9395887B2; JP2014022756A

Description

本発明は、タイムライン上のフレーム群からノイズを除去するための画像処理プログラム、画像処理装置及び画像処理方法に関する。

従来より、動画などのタイムライン上のフレーム群からノイズを除去する技術が公知である。例えば、特許文献１には、フレーム群をタイムラインに沿って複数枚ずつに分け、分けられた単位で平均化することにより、フレーム群からノイズを除去する技術が開示されている。そして、特許文献１では、この平均化の単位となるフレームの枚数を決定するに当たり、フレーム群に含まれる各隣接フレームに対しその差分値を算出し、これらの差分値のヒストグラムを作成し、所定の閾値以上の差分値の総個数を算出した後、この総個数に応じて決定している。

特開２００７−３２３４８０号公報

ところで、動画などのフレーム群は、その撮影や記録時の条件等によっては、タイムライン上で同じフレームが概ね同じ枚数ずつ連続するような態様で記録されることがある。例えば、記録装置のフレームレートが、撮像装置のフレームレートより大きいような場合である。この例において、さらに具体的な例を挙げると、撮像装置のフレームレートが１ＦＰＳで、記録装置のフレームレートが３０ＦＰＳである場合、記録されたフレーム群のタイムライン上では、同じフレームが概ね３０枚ずつ連続して配列されることになる。

しかしながら、同じフレームを記録したはずの複数枚分のフレームの画像データが、様々なノイズの影響により、完全に同じにはならないことがある。この意味で、「同じ」フレームとは言っても、厳密には、ノイズ分の差が生じており、「類似の」フレームである。そして、このような状況下では、これらの複数枚の類似フレームを利用して、ノイズを除去することが可能になる。

しかしながら、特許文献１の装置は、このような状況下で十分に機能しない。なぜなら、特許文献１の装置では、ノイズを除去する単位となるフレームの枚数が、上述の態様で決定されるため、類似フレームの連続枚数を正しく評価できないからである。なお、この問題は、類似フレームにノイズ分の差しか生じていない場合だけでなく、タイムラインに沿って類似フレームが概ね同じ枚数ずつ連続して出現する状況全般に当てはまる。
本発明は、タイムラインに沿って類似フレームが概ね同じ枚数ずつ連続して出現するフレーム群に対し、ノイズを高精度に除去することが可能な画像処理プログラム、画像処理装置及び画像処理方法を提供することを目的とする。

本発明の第１観点に係る画像処理プログラムは、タイムライン上のフレーム群からノイズを除去するための画像処理プログラムであって、判断ステップと、分割ステップと、除去ステップとをコンピュータに実行させる。判断ステップは、フレーム群に含まれる隣接フレーム間の変化が大きくなる変化点が、タイムラインに沿って概ね同じ間隔で出現するか否かを判断するステップである。分割ステップは、変化点が概ね同じ間隔で出現すると判断された場合には、当該間隔に従って、フレーム群をタイムラインに沿って複数のグループに分割するステップである。除去ステップは、グループ単位で、フレーム群からノイズを除去するステップである。

ここでは、隣接フレーム間の変化が大きくなる変化点が、タイムラインに沿って概ね同じ間隔で出現するか否かが判断される。言い換えると、類似フレームが、タイムライン上で概ね同じ枚数ずつ連続するような態様で配列されているか否かが判断される。そして、タイムライン上のフレーム群がそのような態様で配列されていると判断された場合には、変化点が出現する間隔、すなわち、類似フレームが連続する間隔に従って、ノイズを除去する単位となるグループが決定される。すなわち、ノイズを除去する単位となるグループが、類似フレームのグループとなる。従って、タイムラインに沿って類似フレームが概ね同じ枚数ずつ連続して出現するフレーム群に対し、ノイズを高精度に除去することができる。

本発明の第２観点に係る画像処理プログラムは、本発明の第１観点に係る画像処理プログラムであって、除去ステップは、各グループについて、そのグループに属するＸ枚のフレームを代表するＹ枚の代表フレームを生成するステップである。ここで、Ｘ≧２であり、Ｙ＜Ｘである。すなわち、ここでは、Ｘ枚の類似フレームから、Ｘ枚より少ないＹ枚のフレームが生成される。従って、類似フレームが複数枚ずつ存在することの冗長性が低減される。

本発明の第３観点に係る画像処理プログラムは、本発明の第２観点に係る画像処理プログラムであって、Ｙ＝１である。すなわち、ここでは、複数枚の類似フレームから、１枚のフレームが生成される。従って、類似フレームが複数枚ずつ存在することの冗長性がさらに低減される。

本発明の第４観点に係る画像処理プログラムは、本発明の第１観点から第３観点のいずれかに係る画像処理プログラムであって、除去ステップは、各グループについて、そのグループに属する２枚以上のフレームを平均化することにより、ノイズを除去するステップである。従って、ノイズを容易に除去することができる。

本発明の第５観点に係る画像処理プログラムは、本発明の第１観点から第４観点のいずれかに係る画像処理プログラムであって、フレーム群は、撮像装置により撮像され、撮像装置よりもフレームレートの大きい記録装置により記録されたフレーム群である。
すなわち、ここでは、ノイズ除去の対象となるフレーム群が、タイムラインに沿って主にノイズ分の差しかない類似フレームが概ね同じ枚数ずつ連続するフレーム群となる。従って、ノイズがさらに高精度に除去される。

本発明の第６観点に係る画像処理プログラムは、本発明の第１観点から第５観点のいずれかに係る画像処理プログラムであって、除去ステップは、各グループについて、そのグループに属する除外フレーム以外のフレームを用いて、ノイズを除去するステップである。除外フレームは、タイムラインに沿って連続して出現した複数の変化点に共通して対応するフレームである。

タイムライン上のフレーム群が、前述のような複数のグループに分割される場合、グループ内で始端および終端のフレームは、同じグループ内の他のフレームと類似していない可能性が相対的に高い。その結果、タイムライン上では、グループの境界付近に、連続して複数の変化点が出現することがある。ここでは、タイムラインに沿って連続して出現した複数の変化点に共通して対応するフレームは、同じグループ内の他のフレームと類似していない始端又は終端のフレームであると考えられるから、ノイズの除去処理の対象から除外される。その結果、ノイズをさらに高精度に除去することができる。

本発明の第７観点に係る画像処理装置は、タイムライン上のフレーム群からノイズを除去するための画像処理装置であって、判断部と、分割部と、除去部とを備える。判断部は、フレーム群に含まれる隣接フレーム間の変化が大きくなる変化点が、タイムラインに沿って概ね同じ間隔で出現するか否かを判断する。分割部は、変化点が概ね同じ間隔で出現すると判断された場合には、間隔に従って、フレーム群をタイムラインに沿って複数のグループに分割する。除去部は、グループ単位で、フレーム群からノイズを除去する。

本発明の第８観点に係る画像処理方法は、タイムライン上のフレーム群からノイズを除去するための画像処理方法であって、判断ステップと、分割ステップと、除去ステップとを備える。判断ステップは、フレーム群に含まれる隣接フレーム間の変化が大きくなる変化点が、タイムラインに沿って概ね同じ間隔で出現するか否かを判断するステップである。分割ステップは、変化点が概ね同じ間隔で出現すると判断された場合には、間隔に従って、フレーム群をタイムラインに沿って複数のグループに分割するステップである。除去ステップは、グループ単位で、フレーム群からノイズを除去するステップである。

本発明によれば、ノイズを除去する単位となるグループが、類似フレームのグループとなる。従って、タイムラインに沿って類似フレームが概ね同じ枚数ずつ連続して出現するフレーム群に対し、ノイズを高精度に除去することができる。

本発明の一実施形態に係る画像処理装置のブロック図。画像データが取り込まれる前の基本画面の図。画像データが取り込まれた後の基本画面の図。１のタイムラインに属する静止画群を示す図。防犯カメラ、ビデオテープレコーダ、ビデオキャプチャユニットおよび画像処理装置の図。防犯カメラで撮像されたフレームと、ＶＨＳ（登録商標）テープに記録されたフレームとを同じタイムライン上に並べた図。アナログノイズ除去処理の流れを示すフローチャート。タイムライン上での選択フレーム群、差分画像群及び差分度群の関係を示す図。タイムライン上の差分度（最大値）のグラフ。図３の状態からアナログノイズ除去処理が実行された後の基本画面の図。変形例に係るタイムライン上の差分度（平均値）のグラフ。

以下、図面を参照しつつ、本発明の一実施形態に係る画像処理プログラム、画像処理装置および画像処理方法について説明する。
＜１．画像処理装置の概要＞
図１に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、汎用のパーソナルコンピュータである。画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２が、これを格納するＣＤ−ＲＯＭ等のコンピュータが読み取り可能な記録媒体等から提供され、インストールされている。画像処理プログラム２は、動画および静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。

画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０および制御部４０を有する。ディスプレイ１０と、入力部２０と、記憶部３０と、制御部４０とは、互いにバス線やケーブル等５で接続されており、適宜、通信可能である。本実施形態では、ディスプレイ１０は、液晶ディスプレイであり、後述する画面等をユーザに対し表示する。入力部２０は、マウスおよびキーボート等から構成され、画像処理装置１に対するユーザからの操作を受け付ける。記憶部３０は、ハードディスク等から構成される。制御部４０は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成される。

画像処理プログラム２は、記憶部３０内に格納されている。記憶部３０内には、ソフトウェア管理領域５０が確保されている。ソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。ソフトウェア管理領域５０内には、オリジナル画像領域５１および加工ファイル領域５２が確保されている。各領域５１，５２の役割については、後述する。

制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に画像処理部４１として動作する。特に、画像処理部４１は、後述するアナログノイズ除去処理が開始されると、エリア設定部４１ａ、パターン検出部４１ｂ、グループ分割部４１ｃ及びノイズ除去部４１ｄとして動作する。各部４１，４１ａ〜４１ｄの動作については、後述する。

＜２．画像処理装置の構成および動作の詳細＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図２参照）がディスプレイ１０上に表示される。なお、制御部４０は、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示を制御する。

＜２−１．画像データの取り込み＞
基本画面Ｗ１は、オリジナル画像領域５１への画像データの取り込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する画像処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。

静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパスおよびファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパスおよびフォルダ名をユーザに入力させる。その後、制御部４０は、指定された１の静止画ファイル又は指定された１のフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。

一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパスおよびファイル名を入力する。制御部４０は、ユーザが動画ファイルを指定したことを検知すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルの全タイムラインのうち、任意の長さのタイムラインの選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して任意の長さのタイムラインの選択を行ったことを検知すると、その選択に対応する静止画ファイル群を生成する。この静止画ファイル群は、ユーザの選択に係るタイムラインの動画に含まれるフレーム群に１対１で対応する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。

従って、本実施形態では、後述する画像処理の対象は、動画ファイルではなく、静止画ファイルである。静止画ファイルは、オリジナル画像領域５１へファイル単位、フォルダ単位、あるいは動画ファイルの全部又は一部のタイムライン単位で取り込まれる。

＜２−２．静止画ファイル群の再生＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、制御部４０は、基本画面Ｗ１上に表示ウィンドウＷ２（図３参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１への静止画ファイル群の取り込み動作の数だけ、表示される。

表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームに対応する静止画ファイル）が表示される。なお、制御部４０は、静止画ファイル群が動画ファイルに由来するものではなく、静止画ファイルに由来するものであっても、静止画ファイル群に含まれる静止画ファイルをタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性（ファイル名、作成日時、更新日時等）から自動的に判断される。

後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。制御部４０は、表示ウィンドウＷ２内に現在表示されているフレームの識別情報をリアルタイムに管理する。

制御部４０は、表示ウィンドウＷ２内で、その表示ウィンドウＷ２に対応する静止画ファイル群を、動画として再生可能である。図３に示すとおり、制御部４０は、基本画面Ｗ１上に、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４、タイムラインバーＴ５およびＦＰＳ設定エリアＴ６を表示する。

表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。ウィンドウ選択プルダウンメニューＴ１は、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応する静止画ファイル群を、アクティブファイル群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブ表示フレームと呼ぶ。

再生ボタンＴ２は、アクティブファイル群の動画としての再生の命令をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内に、アクティブファイル群のフレームをタイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブ表示フレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。制御部４０は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブ表示フレームに固定する。

コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブ表示フレームを、アクティブファイル群のタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。

タイムラインバーＴ５は、アクティブファイル群のタイムラインを図式的に表す。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブファイル群のフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブファイル群のタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。

図３に示すように、タイムラインバーＴ５は、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを異なる態様で表示する。選択フレーム群とは、アクティブファイル群のタイムライン上で現在選択されている区間に対応するフレーム群である。非選択フレーム群とは、アクティブファイル群のタイムライン上で現在選択されていない区間に対応するフレーム群である。本実施形態では、領域Ａ１は、薄いトーンの色で表示され、領域Ａ２は、濃いトーンの色で表示される。

タイムラインバーＴ５は、アクティブファイル群のタイムライン上の任意の区間の選択をユーザから受け付ける。選択される区間は、連続区間であっても、不連続区間であってもよい。言い換えると、ユーザは、入力部２０を介してタイムラインバーＴ５を操作することにより、アクティブファイル群の全フレームの中から、任意のフレームを任意の数だけ選択することができる。具体的には、ユーザは、タイムラインバーＴ５上で選択したいフレームに対応する分割領域を選択する。分割領域は、同時に複数選択が可能である。画像処理部４１は、選択フレーム群を後述される画像処理の対象として認識する。なお、ユーザによりタイムラインバーＴ５上の分割領域が選択される度に、アクティブ表示フレームは、最新に選択された分割領域に対応するフレームに切り替わる。
ＦＰＳ設定エリアＴ６は、アクティブファイル群の動画としての再生時のフレームレートを表示しつつ、その変更をユーザから受け付ける。

＜２−３．画像処理＞
以下、選択フレーム群に対する画像処理（後述するアナログノイズ除去処理を除く。）について説明する。画像処理部４１は、ノイズ除去、シャープネス、明るさ／コントラスト／彩度調整、画像解像度、回転、画像平均、文字／矢印／モザイクの付加などの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム２に組み込まれている。

ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、画像処理モジュールの中から任意のものを、任意の順番に、任意の回数だけ選択することが可能である。必要であれば、ユーザは、画像処理モジュールの選択に併せて、その画像処理モジュールの実行時に用いられるパラメータを入力する。画像処理部４１は、ユーザが画像処理モジュールを１つ選択したことを検知する度に、選択フレーム群に対しその画像処理モジュールを実行する。なお、選択フレーム群に対し画像処理モジュールを実行するとは、選択フレーム群に含まれる各フレームに対しその画像処理モジュールを実行することである。

フレームに対し画像処理モジュールが１回、２回、３回，・・・と、順次実行されてゆくにつれて、そのフレームは、第１次、第２次、第３次，・・・と、順次加工されてゆく。第０次フレームは、オリジナル画像領域５１に保存されている静止画ファイルに対応する。第（ｍ＋１）次フレームは、第ｍ次フレームに対応する静止画ファイルに対し画像処理モジュールを１回実行した後の静止画ファイルに対応する（ｍは、０以上の整数）。画像処理部４１は、第１次以降のフレームに対応する静止画ファイルを順次生成し、これらの静止画ファイルを加工ファイル領域５２内にそれぞれ別個に保存する。

図４は、１のタイムラインに属する静止画群が画像処理プログラム２によりどのように管理されるかを示す概念図である。図４において、横軸のＮ軸は、タイムライン上のフレームの順番を示しており、縦軸のＭ軸は、加工の順番を示している。図４のＮ−Ｍ空間内の座標（ｎ，ｍ）に対応する四角形は、静止画Ｉ（ｎ，ｍ）を表している。静止画Ｉ（ｎ，ｍ）は、タイムライン上でｎ番目のフレームの第ｍ次の静止画である（ｎは、自然数であり、ｍは、０以上の整数である）。

制御部４０は、各フレームについて、現在選択されている座標ｍの値をパラメータｍ_sとしてリアルタイムに管理する。オリジナル画像領域５１へ静止画ファイル群が取り込まれた直後、座標ｍ_sは、初期値０である。その後、画像処理モジュールが１回実行される度に、そのフレームの座標ｍ_sは１ずつインクリメントされる。また、ユーザは、入力部２０を介して所定の操作を行うことにより、選択フレーム群の座標ｍ_sを自在に変更することができる。なお、フレームに対し画像処理モジュールを実行するとは、そのフレームの第ｍ_s次の静止画に対し画像処理モジュールを実行することである。従って、座標ｍ_sを変更することには、画像処理モジュールの実行の対象を変更するという意味がある。

ところで、フレームを表示するとは、そのフレームの座標ｍ_sの静止画を表示することである。従って、座標ｍ_sを変更することには、アクティブな表示ウィンドウＷ２に表示される対象を変更するという意味もある。

＜２−４．アナログノイズ除去処理＞
次に、アナログノイズ除去処理について説明する。画像処理部４１は、アナログノイズ除去モジュールを実行可能である。アナログノイズ除去モジュールは、画像処理プログラム２に組み込まれている。以下、アナログノイズ除去処理が効果的なフレーム群の一例（以下、対象フレーム群と呼ぶ。）について説明した後、対象フレーム群に対するアナログノイズ除去処理の流れについて説明する。

＜２−４−１．アナログノイズ除去処理が効果的なフレーム群の例＞
対象フレーム群は、防犯カメラ３により撮像され、ビデオテープレコーダ４により記録された動画に含まれるフレーム群である。図５に示すように、防犯カメラ３は、同軸ケーブル６を介してビデオテープレコーダ４に接続され、ビデオテープレコーダ４にアナログビデオ信号を出力する。ビデオテープレコーダ４は、防犯カメラ３からのアナログビデオ信号を、アナログ式の記録媒体であるＶＨＳ（登録商標）テープ７に記録する。

ユーザは、ＶＨＳ（登録商標）テープ７に記録されている映像の画像処理を望む場合、ビデオキャプチャユニット８を介してビデオテープレコーダ４を画像処理装置１に接続する。ビデオキャプチャユニット８は、ビデオテープレコーダ４から送信されてくるアナログビデオ信号をデジタルビデオ信号に変換し、画像処理装置１に出力する。画像処理装置１には、エンコーダプログラム（図示されない）がインストールされている。エンコーダプログラムは、ビデオキャプチャユニット８からのデジタルビデオ信号を符号化し、画像処理プログラム２が取り込み可能な動画ファイル又は静止画ファイル群を生成するプログラムである。ユーザは、エンコーダプログラムを起動して、ＶＨＳ（登録商標）テープ７に記録されている映像を含む動画ファイル又は静止画ファイル群を生成する。続いて、ユーザは、上述した態様で、その動画ファイル又は静止画ファイル群からオリジナル画像領域５１へ画像データを取り込む。この時、オリジナル画像領域５１に保存される静止画ファイル群に対応するフレーム群が、対象フレーム群である。

本実施形態では、防犯カメラ３のフレームレートと、ビデオテープレコーダ４のフレームレートとが異なる。具体的には、防犯カメラ３のフレームレートは、１ＦＰＳ（ＦｒａｍｅＰｅｒＳｅｃｏｎｄ）であり、ビデオテープレコーダ４のフレームレートは、２９．９７ＦＰＳである。従って、本実施形態では、防犯カメラ３のフレームレートが、ビデオテープレコーダ４のフレームレートよりも小さく、さらに、両者は整数倍の関係にない。

その結果、図６に示すように、防犯カメラ３で撮像された１枚のフレームが、２９枚のフレーム又は３０枚のフレームとして、ＶＨＳ（登録商標）テープ７に記録され得る。より正確には、防犯カメラ３のタイムラインに沿って１枚目のフレームは、２９枚のフレームとして、２枚目のフレームは、２９枚のフレームとして、３枚目のフレームは、３０枚のフレームとしてＶＨＳ（登録商標）テープ７に順次記録され得、以下同様に続き得る。

従って、ＶＨＳ（登録商標）テープ７には、防犯カメラ３で撮像された同じ１枚のフレームがタイムラインに沿って複数枚ずつ連続して出現するような態様で記録される。ただし、防犯カメラ３の同じ１枚のフレームに由来してＶＨＳ（登録商標）テープ７に記録される複数枚のフレームは、主としてランダムノイズの分だけ異なる。言い換えると、ＶＨＳ（登録商標）テープ７には、タイムラインに沿って、主にランダムノイズ分の差しかない類似フレームが複数枚ずつ連続するフレーム群が記録される。

また、防犯カメラ３の１枚のフレームに由来してＶＨＳ（登録商標）テープ７に記録されるフレーム数は、防犯カメラ３のフレームによらず概ね同数であるが、防犯カメラ３のフレームによって数枚程度異なる。従って、ＶＨＳ（登録商標）テープ７には、タイムラインに沿って防犯カメラ３で撮像された同じ１枚のフレームが概ね同じ枚数ずつ（約３０枚ずつ）連続して出現するような態様で記録されることになる。以下、ＶＨＳ（登録商標）テープ７に記録されているフレームのうち、防犯カメラ３のタイムラインに沿ってｎ枚目のフレームに対応するフレームを、グループＧ（ｎ）に属するものとする（ｎは、自然数）。

本実施形態では、防犯カメラ３およびビデオテープレコーダ４は、インターレース方式である。従って、防犯カメラ３で撮像される１枚のフレームは、１つの奇数フィールドおよび１つの偶数フィールドからなる。同様に、ＶＨＳ（登録商標）テープ７に記録される１枚のフレームも、１つの奇数フィールドおよび１つの偶数フィールドからなる。従って、ＶＨＳ（登録商標）テープ７にタイムラインに沿って順次記録されるフレームの配列の中で、境界Ｌ付近のフレームは、防犯カメラ３の異なるフレームに由来する２つのフィールドを組み合わせた画像になる可能性が相対的に高い。図６に示すように、境界Ｌとは、ＶＨＳ（登録商標）テープ７にタイムラインに沿って順次記録されるフレームの配列の中で、グループＧ（ｎ）に属するフレーム群と、グループＧ（ｎ＋１）に属するフレーム群との境界である（ｎは、自然数）。従って、グループＧ（ｎ）内でタイムラインに沿って始端および終端のフレームは、同じグループＧ（ｎ）内の他のフレームと類似していない可能性が相対的に高くなる。

＜２−４−２．アナログノイズ除去処理の流れ＞
以下、図７を参照しつつ、対象フレーム群に対するアナログノイズ除去処理の流れについて説明する。上記のとおり、本実施形態では、対象フレーム群とは、アナログ式の防犯カメラ３およびアナログ式のビデオテープレコーダ４により録画されたものである。従って、対象フレーム群に含まれる各フレームは、ランダムノイズを含むが、対象フレーム群に対しアナログノイズ除去処理を実行することにより、そのランダムノイズを除去することができる。

画像処理部４１は、選択フレーム群を、アナログノイズ除去処理の実行の対象とする。従って、ユーザは、入力部２０を操作することにより、アナログノイズ除去処理の実行の対象としたい対象フレーム群を、選択フレーム群として選択する。ただし、選択フレーム群にフレームが１枚しか含まれない場合には、アナログノイズ除去処理は実行できないものとする。画像処理部４１は、複数枚のフレームを含む選択フレーム群が適切に指定されている状態で、ユーザが基本画面Ｗ１上で所定の操作を行ったことを検知すると、図７に示すアナログノイズ除去処理を開始する。

まず、ステップＳ１では、エリア設定部４１ａが、所定のルールに従って、選択フレーム群に含まれる各フレームから特定のエリアＢ１（図３参照）を除外する。本実施形態では、除外される特定のエリアＢ１とは、フレームの下方の横に細長い領域である。また、本実施形態では、特定のエリアＢ１の位置を特定するための所定のルールとして、例えば、フレームの下方のＸ％を除外するようにする（又は、フレームの上方のＸ％を残すようにする）等の情報が、予め定められているものとする。なお、ステップＳ１において特定のエリアＢ１を除外するのは、そのようなエリアＢ１には、時刻等の字幕の情報が表示されることが多いからである。言い換えると、選択フレーム群に特定のエリアＢ１を残した状態では、後のステップＳ２〜Ｓ５においてグループＧ（ｎ）を正しく判断することができなくなり得るからである。従って、この観点からは、特定のエリアＢ１としては、フレームの下方のエリアに代えて又は加えて、例えば、フレームの上方のＸ％を除外するようにすることもできる。以下では、簡単のため、特定のエリアＢ１が除外された選択フレーム群についても、単に選択フレーム群と呼ぶ。

そして、続くステップＳ２〜ステップＳ４では、パターン検出部４１ｂが、選択フレーム群に含まれる隣接フレーム間の変化が大きくなる変化点が、タイムラインに沿って概ね同じ間隔で出現するか否かを判断する。
いま、選択フレーム群には、Ｋ枚のフレームＦ₁，・・・，Ｆ_K（Ｋは、２以上の整数）が含まれているものとする。この場合において、ステップＳ２では、パターン検出部４１ｂが、Ｋ枚のフレームＦ₁，・・・，Ｆ_Kから（Ｋ−１）枚の差分画像Ｐ₁，・・・，Ｐ_K-1を生成する（図８参照）。ここで、差分画像Ｐ_iとは、フレームＦ_iとフレームＦ_i+1との差分画像であり（ｉ＝１，２，・・・，Ｋ−１）、各画素について、フレームＦ_iのその画素の画素値からフレームＦ_i+1のその画素の画素値を減算することにより生成される。

続くステップＳ３では、パターン検出部４１ｂは、差分画像Ｐ₁，・・・，Ｐ_K-1に含まれる各差分画像Ｐ_iに対し、差分度Ｄ_iを算出する。差分度Ｄ_iは、隣接するフレームＦ_iとフレームＦ_i+1との間の変化の度合いを表す指数であり、本実施形態では、差分画像Ｐ_iに含まれる画素値の絶対値の最大値である。

続くステップＳ４では、パターン検出部４１ｂは、差分度Ｄ₁，・・・，Ｄ_K-1が所定の閾値以上となる点（変化点）が、タイムラインに沿って概ね同じ間隔で出現するか否かを判断する。なお、本実施形態では、パターン検出部４１ｂは、差分度Ｄ₁，・・・，Ｄ_K-1と比較される閾値の値として、差分度Ｄ₁，・・・，Ｄ_K-1のうち、差分度Ｄ₁，・・・，Ｄ_K-1の平均値以上となる差分度群の平均値を算出する。

図９は、対象フレーム群に対してアナログノイズ除去処理を実行した場合の、タイムライン（横軸）−差分度Ｄ_i（縦軸）のグラフである。このように、対象フレーム群に対してアナログノイズ除去処理が実行される場合には、変化点がタイムラインに沿って概ね同じ間隔で出現する。より具体的には、変化点が、タイムラインに沿って、原則として２９枚、２９枚、３０枚、・・・のフレームに相当する時間の間隔で出現する。なお、図９では、差分度Ｄ_iが、タイムライン上の全区間に対し常におおよそ１００以上であるが、この１００は、ランダムノイズの影響によるものである。

ステップＳ４についてより具体的に説明すると、まず、パターン検出部４１ｂは、２９，２９，３０，・・・のような、タイムライン上における変化点間のフレームの枚数の配列を特定する。そして、パターン検出部４１ｂは、この配列に含まれる全要素（２９，２９，３０等）に対し、所定の範囲（例えば、４）内に収まっている要素の割合が所定の割合（例えば、９０％）以上である場合には、変化点がタイムラインに沿って概ね同じ間隔で出現すると判断する。この場合、処理は、ステップＳ５に進められる。一方、そうでない場合には、変化点がタイムラインに沿って概ね同じ間隔で出現しないと判断され、処理が終了する。

次に、ステップＳ５では、グループ分割部４１ｃが、ステップＳ４で特定された変化点間のフレームの枚数の配列、すなわち、変化点がタイムラインに沿って出現する間隔のとおりに、選択フレーム群をタイムラインに沿ってグループＧｃ（１），Ｇｃ（２），・・・に分割する。このグループＧｃ（１），Ｇｃ（２），・・・は、本来的にはグループＧ（１），Ｇ（２），・・・に一致するはずであるが、タイムライン上で現実に変化点が出現するパターンには、図９のＣ１〜Ｃ３のような例外が存在し得る。そこで、この誤差をなくすために、以下の処理を施す。

すなわち、グループ分割部４１ｃは、図９のＣ３のように、変化点が本来存在すべき場所にない場合に対応すべく、ステップＳ４で特定された変化点間のフレームの枚数の配列に従って、本来あるべきはずの変化点の位置を推測し、グループＧｃ（１），Ｇｃ（２），・・・を修正する。具体的には、本実施形態では、ステップＳ４で特定された変化点間のフレームの枚数の配列（２９，２９，３０，・・・）の中に、他の要素の概ねＮ倍（ただし、Ｎは整数）の要素が含まれる場合に、当該要素に対応するフレーム群をタイムラインに沿ってＮ個のグループに分割することにより、グループＧｃ（１），Ｇｃ（２），・・・が修正される。また、グループ分割部４１ｃは、図９のＣ１，Ｃ２のように、タイムライン上で複数の変化点が連続する場合には、ステップＳ４で特定された変化点間のフレームの枚数の配列に従って、より妥当でないと判断される方の変化点を無視することにより、グループＧｃ（１），Ｇｃ（２），・・・を修正する。具体的には、本実施形態では、ステップＳ４で特定された変化点間のフレームの枚数の配列（２９，２９，３０，・・・）の中に値が「１」の要素が含まれる場合に、当該要素に対応するフレームを、当該要素の直前又は直後の要素であってより小さい方の要素に対応するグループに分類し直すことにより、グループＧｃ（１），Ｇｃ（２），・・・が修正される。そして、その結果、正しいグループＧ（１），Ｇ（２），・・・が規定されることになる。その後、グループ分割部４１ｃは、選択フレーム群をタイムラインに沿ってグループＧ（１），Ｇ（２），・・・に分割し直す。

続いて、ステップＳ６では、ノイズ除去部４１ｄが、ステップＳ５でグループ分割部４１ｃにより分割されたグループＧ（ｎ）の単位で、選択フレーム群からランダムノイズを除去する。具体的には、ノイズ除去部４１ｄは、各グループＧ（１），Ｇ（２），・・・について、以下の平均処理を実行する。グループＧ（１）についての平均処理は、以下のとおりである。

まず、ノイズ除去部４１ｄは、グループＧｅ（１）を定義する。グループＧｅ（１）とは、グループＧ（１）に属する全フレームから除外フレームを除外したグループである。除外フレームは、タイムラインに沿って連続して出現した複数の変化点に共通して対応するフレームである。

ここで、隣接するグループＧ（ｎ）間の境界Ｌ付近のフレーム、すなわち、グループＧ（ｎ）内の始端および終端のフレームは、同じグループＧ（ｎ）内の他のフレームと類似していない可能性が相対的に高い。このようなフレームは、上記のとおり、防犯カメラ３の異なるフレームに由来する２つのフィールドを組み合わせた画像である可能性が相対的に高いからである。そして、タイムラインに沿って連続して出現した複数の変化点に共通して対応するフレームは、そのような始端又は終端のフレームであると考えられるため、ステップＳ６においては、平均処理の対象から除外すべく、グループＧ（ｎ）から除外されるようになっている。

続いて、ノイズ除去部４１ｄは、グループＧｅ（１）に含まれる全フレームを平均化し、グループＧ（１）を代表する１枚の代表フレームを生成する。具体的には、ノイズ除去部４１ｄは、各画素について、グループＧｅ（１）に含まれる全フレームの画素値の平均値を算出し、算出された平均値をその画素の画素値とする新たな１枚の代表フレームを生成する。代表フレームの静止画ファイルは、グループＧｅ（１）に含まれる全フレームの静止画ファイルとは別のファイルとして、加工ファイル領域５２内に保存される。

以後、グループＧ（２），・・・についても、同様の平均処理が実行される。そして、全グループＧ（１），Ｇ（２），・・・についての平均処理が終了すると、グループＧ（１），Ｇ（２），・・・の数と同数の代表フレーム群が生成されたことになる。以後、制御部４０は、これらの代表フレーム群を、新たなタイムライン上の動画として管理する。

続くステップＳ７では、制御部４０は、この新たなタイムラインに対応する表示ウィンドウＷ２を新たに作成し、基本画面Ｗ１上に表示する。図１０は、図３の状態からアナログノイズ除去処理が実行された後の基本画面Ｗ１の図である。図３及び図１０のＦＰＳ設定エリアＴ６を比較すれば分かるように、制御部４０は、この新たなタイムラインのフレームレートを算出する。具体的には、この新たなフレームレートは、元の選択フレーム群のフレームレートに、ステップＳ６で省略されたフレームの割合（元の選択フレーム群に含まれるフレーム枚数分の代表フレーム群に含まれるフレームの枚数）を乗じることにより算出される。そして、その後、アナログノイズ除去処理が終了する。

＜３．用途＞
画像処理プログラム２は、多種多様な動画に対する画像処理を取り扱うことができるが、例えば、警察等の機関が事件の捜査のために防犯カメラの監視映像を解析するのにも利用され得る。本実施形態に係るアナログノイズ除去処理は、例えば、防犯カメラにより撮像され、ビデオテープレコーダにより記録された監視映像からランダムノイズ等の様々なノイズを除去するのに有用である。

＜４．特徴＞
＜４−１＞
上記実施形態では、ステップＳ２〜Ｓ４において、選択フレーム群に含まれる隣接フレーム間の変化が大きくなる変化点が、タイムラインに沿って概ね同じ間隔で出現するか否かが判断される。言い換えると、類似フレームが、タイムライン上で概ね同じ枚数ずつ連続するような態様で配列されているか否かが判断される。そして、タイムライン上の選択フレーム群がそのような態様で配列されていると判断された場合には、変化点が出現する間隔、すなわち、類似フレームが連続する間隔に従って、ランダムノイズを除去する単位となるグループＧ（１），Ｇ（２），・・・が決定される。すなわち、ランダムノイズを除去する単位となるグループＧ（１），Ｇ（２），・・・が、類似フレームのグループとなる。従って、選択フレーム群が、タイムラインに沿って類似フレームが概ね同じ枚数ずつ連続して出現するフレーム群である場合には、ランダムノイズを高精度に除去することができる。

＜４−２＞
上記実施形態では、ステップＳ６において、複数枚の類似フレームからなる各グループＧｅ（ｎ）について、それらの類似フレームからランダムノイズの除去された１枚の代表フレームが生成される。従って、新たなタイムライン上では、類似フレームが複数枚ずつ存在することの冗長性が排除される。

＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。
＜５−１＞
アナログノイズ除去処理が実行されるタイミングは、上述した態様に限られない。例えば、オリジナル画像領域５１への画像データの取り込み時に、取り込み元となる静止画ファイル又は動画ファイルに含まれるフレーム群に対して自動的に実行されるようにしてもよい。さらに、この場合においては、オリジナル画像領域５１への画像データの取り込み時に自動的にアナログノイズ除去処理を実行するか否かを、ユーザが環境設定等で予め設定できるようにすることが好ましい。

＜５−２＞
上記実施形態では、ステップＳ１で除外される特定のエリアＢ１は、その位置が予め定められているものとしたが、選択フレーム群を画像処理することにより、字幕等の除外すべき情報を表示するエリアが存在しているか否かを自動的に判断し、そのようなエリアが存在すると判断された場合に限り、そのようなエリアが特定のエリアＢ１として除外されるようにしてもよい。あるいは、アナログノイズ除去処理を開始する前に、ユーザに特定のエリアＢ１（又は、特定のエリアＢ１以外の残すべきエリア）を手動で選択させるようにしてもよい。

＜５−３＞
ステップＳ４において、差分度Ｄ₁，・・・，Ｄ_K-1と比較される所定の閾値は、上述したものに限られず、グループＧ（ｎ）間の境界Ｌに対応する変化点を検出することが可能な値であれば、任意のものを採用することができる。例えば、差分度Ｄ₁，・・・，Ｄ_K-1の平均値であってもよい。

＜５−４＞
上記実施形態では、ステップＳ３において、差分度Ｄ_iとして、差分画像Ｐ_iに含まれる画素値の絶対値の最大値が算出されたが、この態様に限られず、例えば、差分画像Ｐ_iに含まれる画素値の絶対値の平均値が算出されてもよいし、上位Ｌ個の画素値の絶対値の平均値が算出されてもよい（Ｌ≧２）。ここで、図１１は、対象フレーム群に対してアナログノイズ除去処理を実行した場合の、タイムライン（横軸）−差分画像Ｐ_iに含まれる画素値の絶対値の平均値である差分度Ｄ_i（縦軸）のグラフである。なお、上記実施形態のように、差分度Ｄ_iとして差分画像Ｐ_iの画素値の絶対値の最大値を用いる場合には、差分度Ｄ_iとして図１１に示す平均値を用いる場合よりも、小さな点の変化が見つけやすくなるという利点がある。

＜５−５＞
上記実施形態では、ステップＳ６において、各グループＧ（ｎ）について生成される代表フレームの枚数Ｙは１枚であったが、これに限られず、任意の枚数とすることができる。グループＧ（ｎ）に属するフレームの枚数をＸ枚としたときに、Ｙ＝Ｘであってもよいし、Ｙ＞Ｘであってもよいし、Ｙ＜Ｘであってもよい。ただし、類似フレームの冗長性を低減する観点からは、Ｙ＜Ｘであることが望ましい。

＜５−６＞
アナログノイズ除去処理は、上記実施形態で例示された対象フレーム群に対してのみ適用可能なのではなく、タイムラインに沿って類似フレームが概ね同じ枚数ずつ連続して出現するフレーム群全般に対して適用可能である。例えば、記録装置のフレームレートが撮像装置のフレームレートの整数倍である場合には、タイムラインに沿って類似フレームが同じ枚数（複数枚）ずつ連続して出現する可能性が高くなるが、そのような場合にも当然適用可能である。

＜５−７＞
上記実施形態では、アナログノイズ除去処理が効果的なフレーム群として、アナログ式の記録装置（ビデオテープレコーダ４）に記録された映像に含まれるフレーム群を例示したが、デジタル式の記録装置に記録されたデジタル圧縮形式の画像データから生成されるフレーム群であってもよい。デジタル圧縮形式の画像データに含まれるフレーム群にも、各種のノイズが含まれるからである。特に、フレーム間の圧縮が行われる動画ファイルの場合には、複数枚に１枚の割合でしか完全なフレームのデータが含まれないことがある。その場合、その他のフレームのデータとしては、完全なフレームからの差分のデータのみが記録されることが多く、ノイズ量が増加しがちである。従って、このようなデジタル圧縮形式の画像データから生成されるフレーム群は、上述のアナログノイズ除去処理を実行するのに適している。

＜５−８＞
ステップＳ６において、フレーム群からノイズを除去する方法は、平均値を算出する上記態様に限られない。例えば、各画素について、所定の刻み毎にフレーム群の画素値のヒストグラムを作成し、最大分布の刻みの画素値を、その画素のノイズ除去後の画素値としてもよい。なお、平均値を算出する方法としても、相加平均値や相乗平均値を算出する等、複数の画素値を均す様々な方法を適宜選択し得る。

＜５−９＞
上記実施形態では、防犯カメラ３およびビデオテープレコーダ４の両方が、インターレース方式であったが、アナログノイズ除去処理は、インターレース方式でない機器によって撮像され、記録されたフレーム群に対しても適用可能である。しかしながら、上述のアナログノイズ除去処理は、グループＧ（ｎ）の始端及び終端フレームの少なくとも一方をステップＳ６の平均処理から除外する機能を有しているため、撮像装置および記録装置の少なくとも一方がインターレース方式である場合に、特に有用である。

＜５−１０＞
上記実施形態では、ステップＳ７で生成された代表フレーム群は、新たなタイムライン上で管理されることとしたが、元のタイムライン上で管理してもよい。そして、選択フレーム群が座標ｍ＝ｊ（ｊは、０以上の整数）の静止画に対応するものとしたときに、代表フレーム群は、座標ｍ＝（ｊ＋１）の静止画に対応するものとする。その結果、ユーザは、フレームの座標ｍ_sを操作することにより、アクティブな表示ウィンドウＷ２上でアナログノイズ除去処理の実行前後の静止画を瞬時に切り替えながら、確認することができる。

＜５−１１＞
上記実施形態では、オリジナル画像領域５１へ取り込まれた画像データは、全て静止画ファイルとして保存されるようになっていた。しかしながら、オリジナル画像領域５１へ取り込まれた画像データを、動画ファイルとして保存するようにしてもよい。さらに、その後、動画ファイルに対して画像処理が施される場合には、その画像処理後の画像データも動画ファイルの形式で保存するようにしてもよい。

１画像処理装置（コンピュータ）
２画像処理プログラム
３防犯カメラ（撮像装置）
４ビデオテープレコーダ（記録装置）
４１ｂパターン検出部（判断部）
４１ｃグループ分割部（分割部）
４１ｄノイズ除去部（除去部）
Ｇ（ｎ）グループ

Claims

タイムライン上のフレーム群からノイズを除去するための画像処理プログラムであって、
前記フレーム群に含まれる隣接フレーム間の変化が大きくなる変化点が、前記タイムラインに沿って概ね同じ間隔で出現するか否かを判断するステップと、
前記変化点が前記概ね同じ間隔で出現すると判断された場合には、前記間隔に従って、前記フレーム群を前記タイムラインに沿って複数のグループに分割するステップと、
前記グループ単位で、前記フレーム群からノイズを除去するステップと
をコンピュータに実行させる、
画像処理プログラム。
前記ノイズを除去するステップは、前記各グループについて、そのグループに属するＸ枚のフレームを代表するＹ枚の代表フレームを生成するステップであり、
Ｘ≧２であり、Ｙ＜Ｘである、
請求項１に記載の画像処理プログラム。
Ｙ＝１である、
請求項２に記載の画像処理プログラム。
前記ノイズを除去するステップは、前記各グループについて、そのグループに属する２枚以上のフレームを平均化することにより、前記ノイズを除去するステップである、
請求項１から３のいずれかに記載の画像処理プログラム。
前記フレーム群は、撮像装置により撮像され、前記撮像装置よりもフレームレートの大きい記録装置により記録されたフレーム群である、
請求項１から４のいずれかに記載の画像処理プログラム。
前記ノイズを除去するステップは、前記各グループについて、そのグループに属する除外フレーム以外のフレームを用いて、前記ノイズを除去するステップであり、
前記除外フレームは、前記タイムラインに沿って連続して出現した複数の前記変化点に共通して対応するフレームである、
請求項１から５のいずれかに記載の画像処理プログラム。
前記複数のグループに分割するステップは、前記変化点が前記概ね同じ間隔で出現すると判断された場合に、隣接する前記変化点間に含まれるフレームどうしが同じグループに分類されるように、前記複数のグループを作成するステップである、
請求項１から６のいずれかに記載の画像処理プログラム。
タイムライン上のフレーム群からノイズを除去するための画像処理装置であって、
前記フレーム群に含まれる隣接フレーム間の変化が大きくなる変化点が、前記タイムラインに沿って概ね同じ間隔で出現するか否かを判断する判断部と、
前記変化点が前記概ね同じ間隔で出現すると判断された場合には、前記間隔に従って、前記フレーム群を前記タイムラインに沿って複数のグループに分割する分割部と、
前記グループ単位で、前記フレーム群からノイズを除去する除去部と
を備える、
画像処理装置。
タイムライン上のフレーム群からノイズを除去するための画像処理方法であって、
前記フレーム群に含まれる隣接フレーム間の変化が大きくなる変化点が、前記タイムラインに沿って概ね同じ間隔で出現するか否かを判断するステップと、
前記変化点が前記概ね同じ間隔で出現すると判断された場合には、前記間隔に従って、前記フレーム群を前記タイムラインに沿って複数のグループに分割するステップと、
前記グループ単位で、前記フレーム群からノイズを除去するステップと
を備える、
画像処理方法。