WO2015146240A1

WO2015146240A1 - 画像処理装置

Info

Publication number: WO2015146240A1
Application number: PCT/JP2015/051362
Authority: WO
Inventors: 北　耕次
Original assignee: Ｎｋワークス株式会社
Priority date: 2014-03-27
Filing date: 2015-01-20
Publication date: 2015-10-01
Also published as: JPWO2015146240A1; EP3125191A4; JP6520920B2; US10311550B2; CN105993032A; US20170193636A1; EP3125191A1

Abstract

　対象画像において輪郭線を維持しつつも、対象画像に含まれるざらつきを除去する画像処理装置が提供される。前記画像処理装置は、平滑化部と、加重平均部とを備える。前記平滑化部は、前記対象画像を平滑化した平滑化画像を生成する。前記加重平均部は、前記対象画像と、差分画像とを加重平均した加重平均画像を生成する。前記差分画像は、前記平滑化画像から前記対象画像を減算した画像である。

Description

画像処理装置

　本発明は、対象画像に含まれるざらつきを除去する画像処理装置、画像処理プログラム及び画像処理方法に関する。

　モニター画面に表示される画像をカメラで撮影した画像は、当該画面のドットパターンが写り込んでおり、ざらつきのある画像となる。このような画像から当該ざらつきを除去するためには、公知のノイズ除去の技術を用いて、画像を平滑化することが考えられる。平滑化処理は、各画素の画素値を、当該画素の近傍領域内の画素の画素値の平均値に置き換える処理である。このとき、単なる平均処理を行うこともできるが、ガウシアンフィルタやメディアンフィルタ等の様々なフィルタを用いて、近傍領域の画素値に重みを付けて平均化することもできる。近傍領域のサイズ（「半径」と表現されることが多い）は、平滑化処理のパラメータとなる。そして、近傍領域のサイズが大きいほど、ノイズが除去され易くなる。

　しかしながら、ノイズのある画像を平滑化すると、ノイズだけでなく、輪郭線（エッジ）までもぼけてしまうことになる。このような問題に対処するため、特許文献１は、各注目画素の近傍領域のサイズを、近傍領域内でのエッジ強度が閾値以上となるように設定し、近傍領域のサイズに応じて平滑化強度を変える技術を開示している。すなわち、エッジの集中している部分では、近傍領域のサイズが小さく設定され、エッジがあまり表れない部分では、近傍領域のサイズが大きく設定される。

特開２０１０－０５７１５７号公報

　上記のとおり、特許文献１の方法は、輪郭線（エッジ）の検出を必要とする。一方、以上のモニター画面の接写によるドットパターンは、輪郭線の検出を妨げる可能性が高い。そうすると、特許文献１の方法では、上述のドットパターンのようなざらつきを除去することは困難である。

　本発明は、対象画像において輪郭線を維持しつつも、ざらつきを除去することができる画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的とする。

　本発明の第１観点に係る画像処理装置は、対象画像に含まれるざらつきを除去する画像処理装置であって、平滑化部と、加重平均部とを備える。前記平滑化部は、前記対象画像を平滑化した平滑化画像を生成する。前記加重平均部は、前記対象画像と、差分画像とを加重平均した加重平均画像を生成する。前記差分画像は、前記平滑化画像から前記対象画像を減算した画像である。

　ここでは、まず、対象画像が平滑化され、平滑化画像が生成される。平滑化画像は、対象画像に対し、ざらつきが弱められた画像となる。従って、平滑化画像から対象画像を減算した差分画像においては、ざらつき以外の画素の画素値は概ね０となり、暗いざらつきが生じている画素の画素値はプラス値となり、明るいざらつきが生じている画素の画素値はマイナス値となる。その結果、当該差分画像と対象画像とを加重平均した加重平均画像は、ざらつきが除去（抑制）された画像となる。なお、平滑化画像においては、ざらつきが弱められるだけでなく、輪郭線のぼけも生じる。しかしながら、ざらつきのような細かい特徴は、輪郭線に比べ空間周波数が高いため、平滑化の影響をより敏感に受ける。従って、差分画像においては、輪郭線の情報よりも、ざらつきの情報の方がより多く残存していることになる。従って、このような差分画像と対象画像との加重平均画像においては、ざらつきが効果的に除去される一方、輪郭線は、比較的元の状態を維持している。従って、ここでは、以上のような加重平均画像を生成することにより、対象画像において輪郭線を維持しつつも、ざらつきを除去することができる。

　なお、以上の説明においては、差分画像において明るいざらつきが生じている画素の画素値はマイナス値となると述べたが、通常、画像処理では、画素値はマイナス値を取れないように定義されていることが多い。このような場合には、一般の画像処理において行われているように、各画素の画素値に一律の底上げ（例えば、画素値が０～２５５の値を取る場合には、各画素値に一律に１２８を足す）をしたものを、差分画像と呼ぶ。

　本発明の第２観点に係る画像処理装置は、第１観点に係る画像処理装置であって、コントラスト強調部をさらに備える。前記コントラスト強調部は、前記加重平均画像のコントラストを強調する。

　平滑化画像から対象画像を減算した差分画像は、画像内において画素値の変化が殆どない画像である。例えば、画像が、０～２５５の範囲の値を取る複数の色成分からなるカラー画像として定義されている場合には、差分画像は、灰色がかった画像となる。従って、このような差分画像が足し合わされた加重平均画像は、コントラストの低い画像となる。そのため、ここでは、加重平均画像のコントラストを強調する処理を加えることにより、差分画像の重ね合わせによるコントラストの低下が補償される。

　本発明の第３観点に係る画像処理装置は、第１観点又は第２観点に係る画像処理装置であって、前記加重平均部は、前記平滑化画像から前記対象画像を減算した差分画像を生成した後、前記対象画像と前記差分画像とを加重平均することにより、前記加重平均画像を生成する。

　ここでは、まず、差分画像が生成され、その後、当該差分画像と対象画像とが加重平均される。

　本発明の第４観点に係る画像処理装置は、第２観点に係る画像処理装置であって、前記加重平均部は、前記対象画像から前記平滑化画像を減算した逆差分画像を生成した後、前記逆差分画像の階調を反転することにより、前記差分画像を生成する。

　ここでは、平滑化画像から対象画像を減算した差分画像を生成するために、まず、対象画像から平滑化画像を減算した逆差分画像が生成され、その後、逆差分画像の階調の反転が行われる。

　本発明の第５観点に係る画像処理プログラムは、対象画像に含まれるざらつきを除去する画像処理プログラムであって、コンピュータに以下のステップを実行させる。
１）前記対象画像を平滑化した平滑化画像を生成するステップ。
２）前記対象画像と、前記平滑化画像から前記対象画像を減算した差分画像とを加重平均した加重平均画像を生成するステップ。
　ここでは、第１観点と同様の効果を奏することができる。

　本発明の第６観点に係る画像処理方法は、対象画像に含まれるざらつきを除去する画像処理方法であって、以下のステップを備える。
１）前記ざらつきが残存するように前記対象画像を平滑化した平滑化画像を生成するステップ。
２）前記対象画像と、前記平滑化画像から前記対象画像を減算した差分画像とを加重平均した加重平均画像を生成するステップ。
　ここでは、第１観点と同様の効果を奏することができる。

　本発明によれば、対象画像において輪郭線を維持しつつも、ざらつきを除去することができる。

本発明の一実施形態に係る画像処理装置のブロック図。画像データが取り込まれる前の基本画面の図。画像データが取り込まれた後の基本画面の図。１のタイムラインに属する静止画群を示す図。モニター画面をカメラで撮影した画像の例を示す図。ざらつき除去処理の流れを示すフローチャート。実施例に係るざらつき除去後の画像を示す図。比較例に係るざらつき除去後の画像を示す図。

　以下、図面を参照しつつ、本発明の一実施形態に係る画像処理装置、画像処理プログラム及び画像処理方法について説明する。

　＜１．画像処理装置の概要＞
　図１に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、汎用のパーソナルコンピュータである。画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２が、これを格納するＣＤ－ＲＯＭ、ＵＳＢメモリ等のコンピュータが読み取り可能な記録媒体６０等から提供され、インストールされている。画像処理プログラム２は、動画及び静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。

　画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０及び制御部４０を有する。これらの部１０～４０は、互いにバス線やケーブル等５を介して接続されており、適宜、通信可能である。ディスプレイ１０は、液晶ディスプレイ等から構成され、後述する画面等をユーザに対し表示する。入力部２０は、マウスやキーボート、タッチパネル等から構成され、画像処理装置１に対するユーザからの操作を受け付ける。記憶部３０は、ハードディスクやフラッシュメモリ等から構成される不揮発性の記憶領域である。制御部４０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等から構成される。

　画像処理プログラム２は、記憶部３０内に格納されている。記憶部３０内には、ソフトウェア管理領域５０が確保されている。ソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。ソフトウェア管理領域５０内には、オリジナル画像領域５１及び加工ファイル領域５２が確保されている。各領域５１，５２の役割については、後述する。

　制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に表示制御部４１及び画像処理部４２として動作する。また、画像処理部４２は、後述するざらつき除去処理の実行中、仮想的に平滑化部４２ａ、加重平均部４２ｂ及びコントラスト強調部４２ｃとして動作する。表示制御部４１は、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示を制御する。画像処理部４２は、様々な種類の画像処理を実行する。各部４１，４２，４２ａ～４２ｃの動作の詳細は、後述する。

　＜２．画像処理装置の構成及び動作の詳細＞
　制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検出すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図２参照）がディスプレイ１０上に表示される。

　＜２－１．画像データの取込み＞
　基本画面Ｗ１は、オリジナル画像領域５１への画像データの取込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する再生処理及び画像処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。

　静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパス及びファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパス及びフォルダ名をユーザに入力させる。その後、制御部４０は、指定された静止画ファイル又は指定されたフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。

　一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパス及びファイル名を入力する。表示制御部４１は、ユーザが動画ファイルを指定したことを検出すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルのタイムラインの全区間うち、任意の区間の選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して特定の区間を選択したことを検出すると、選択された区間に含まれるフレーム群に１対１で対応する静止画ファイル群を生成する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。従って、本実施形態では、後述する再生処理及び画像処理の対象となる画像データは、動画ファイルではなく、静止画ファイルである。

　なお、制御部４０は、オリジナル画像領域５１へ取り込まれた静止画ファイル群が動画ファイルに由来するものではなく、静止画ファイルに由来するものであっても、静止画ファイル群をタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性（ファイル名、作成日時、更新日時等）から自動的に判断される。

　＜２－２．再生処理＞
　オリジナル画像領域５１へ静止画ファイル群が取り込まれると、表示制御部４１は、基本画面Ｗ１上に表示ウィンドウＷ２（図３参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１へ取り込まれた静止画ファイル群のタイムラインの数だけ作成される。

　表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームに対応する静止画ファイル）が表示される。その後、後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。

　図３に示すとおり、基本画面Ｗ１上には、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４及びタイムラインバーＴ５が配置されている。

　表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。ウィンドウ選択プルダウンメニューＴ１は、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応するタイムラインを、アクティブタイムラインと呼び、アクティブタイムラインに属するフレーム群を、アクティブフレーム群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブフレームと呼ぶ。

　表示制御部４１は、アクティブな表示ウィンドウＷ２内で、アクティブフレーム群を動画として再生可能である。再生ボタンＴ２は、アクティブフレーム群の動画としての再生の命令をユーザから受け付ける。表示制御部４１は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検出すると、アクティブな表示ウィンドウＷ２内に、アクティブフレーム群に含まれるフレームを、タイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブフレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。表示制御部４１は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検出すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブフレームに固定する。

　コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブフレームを、アクティブタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。

　タイムラインバーＴ５は、アクティブタイムラインを図式的に示すオブジェクトである。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブフレーム群に含まれるフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。

　図３に示すように、表示制御部４１は、タイムラインバーＴ５上において、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを、異なる表示形式で表示する。選択フレーム群とは、アクティブタイムライン上で現在選択されている区間に属するフレーム群である。非選択フレーム群とは、アクティブタイムライン上で現在選択されていない区間に属するフレーム群である。

　タイムラインバーＴ５は、アクティブタイムライン上の任意の区間の選択をユーザから受け付ける。このとき選択される区間は、連続区間であってもよいし、図３に示すように、不連続区間であってもよい。具体的には、ユーザは、入力部２０を介してタイムラインバーＴ５上の分割領域を操作することにより、アクティブフレーム群の中から、任意のフレームを任意の数だけ選択することができる。分割領域は、同時に複数選択が可能である。表示制御部４１は、ユーザによりタイムラインバーＴ５上の分割領域が選択される度に、アクティブフレームを最新に選択された分割領域に対応するフレームに直ちに切り替える。画像処理部４２は、選択フレーム群を後述される画像処理の対象として認識する。

　＜２－３．画像処理＞
　画像処理部４２は、選択フレーム群に対し、ノイズ除去、ざらつき除去、シャープネス、明るさ／コントラスト／彩度調整、画像解像度、文字／矢印／モザイクの付加などの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム２に組み込まれている。

　ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、画像処理モジュールの中から任意のものを、任意の順番に、任意の回数だけ選択することが可能である。画像処理部４２は、ユーザが画像処理モジュールを選択したことを検出する度に、その時点の選択フレーム群に対しその画像処理モジュールを実行する。また、選択フレーム群に対し画像処理モジュールを実行するとは、選択フレーム群に含まれる各フレームに対しその画像処理モジュールを実行することである。

　フレームに対し画像処理モジュールが１回、２回、３回，・・・と、順次実行されてゆくにつれて、そのフレームは、第１次、第２次、第３次，・・・と、順次加工されてゆく。第０次フレームは、オリジナル画像領域５１に保存されている静止画ファイルに対応する。第（ｍ＋１）次フレームは、第ｍ次フレームの静止画ファイルに対し画像処理モジュールを１回実行した後の静止画ファイルに対応する（ｍは、０以上の整数）。画像処理部４２は、第１次以降のフレームに対応する静止画ファイルを順次生成し、これらの静止画ファイルを加工ファイル領域５２内にそれぞれ別個に保存する。

　図４は、１のタイムラインに属する画像群が画像処理プログラム２によりどのように管理されるかを示す概念図である。図４において、横軸のＮ軸は、タイムライン上のフレームの順番を示しており、縦軸のＭ軸は、加工の順番を示している。図４のＮ－Ｍ空間内の座標（ｎ，ｍ）に対応する四角形は、画像Ｉ（ｎ，ｍ）を表している。画像Ｉ（ｎ，ｍ）は、タイムライン上でｎ番目のフレームの第ｍ次の画像である（ｎは、自然数であり、ｍは、０以上の整数である）。

　制御部４０は、各フレームについて、現在選択されている座標ｍの値をパラメータｍ_sとして管理する。オリジナル画像領域５１へ静止画ファイル群が取り込まれた直後、座標ｍ_sは、初期値０である。その後、画像処理モジュールが１回実行される度に、そのフレームの座標ｍ_sは１ずつインクリメントされる。また、ユーザは、入力部２０を介して所定の操作を行うことにより、任意のフレームの座標ｍ_sを自在に変更することができる。なお、フレームに対し画像処理モジュールを実行するとは、そのフレームの第ｍ_s次の画像に対し画像処理モジュールを実行することである。従って、座標ｍ_sを変更することには、画像処理モジュールの実行の対象を変更するという意味がある。また、フレームを表示するとは、そのフレームの座標ｍ_sの画像を表示することである。従って、座標ｍ_sを変更することには、アクティブな表示ウィンドウＷ２内に表示される対象を変更するという意味もある。

　＜２－３－１．ざらつき除去処理＞
　以下、画像処理プログラム２に実装されている画像処理の１つである、ざらつき除去処理について説明する。ざらつき除去処理とは、画像に含まれるざらつきを除去する処理である。ここでいう「ざらつき」とは、典型的には、テレビやパソコン等のモニター画面をカメラで撮影した画像に写る、当該画面のドットパターンのことである。しかしながら、ざらつき除去処理では、発生の由来に関わらず、画像内に写り込んでいる細かな特徴のパターン、すなわち、画像に生じている任意のテクスチャの除去が可能である。この意味で、本実施形態に係るざらつき除去は、ノイズ除去の一種であると考えることもできる。なお、図５に示す画像は、ざらつきを有する画像の一例であり、実際に液晶テレビのモニター画面に写る画像を撮影したものである。

　ざらつき除去処理は、図６に示すフローチャートに従って進められる。ざらつき除去処理は、基本画面Ｗ１上でユーザが所定の操作を行ったことが検出されたときに、開始される。

　まず、ステップＳ１では、以後の処理において使用されるパラメータの設定が行われる。具体的には、ステップＳ１では、パラメータ設定ウィンドウ（図示されない）が基本画面Ｗ１上に重ねて表示される。パラメータ設定ウィンドウは、以後の処理において使用されるパラメータである、平滑化のアルゴリズム、半径Ｒ、及び混合割合αの指定をユーザから受け付ける。本実施形態では、平滑化のアルゴリズムとしては、平均、ガウシアン、メディアン及びラプラシアンのいずれかが選択可能である。そして、これらのパラメータの設定が終わり、ユーザがパラメータ設定ウィンドウ上に配置されているＯＫボタン等を押下したことが検出されると、処理はステップＳ２に進む。

　ステップＳ２～Ｓ６は、選択フレーム群に含まれる各フレームに対し繰り返し実行される。ステップＳ２では、画像処理部４２が、選択フレーム群の中から未処理のフレームを１枚選択し、対象フレームＦとして設定する。

　続くステップＳ３では、平滑化部４２ａが、ステップＳ１で指定された平滑化のアルゴリズムに従って、対象フレームＦを平滑化する。本実施形態における平滑化とは、対象フレームＦに含まれる各画素の画素値を、当該画素の近傍領域内の画素の画素値の平均値（単なる平均値の場合もあれば、重み付き平均値の場合もある）に置き換える処理である。
ステップＳ１で指定される半径Ｒは、この近傍領域のサイズを意味する。平滑化部４２ａは、各画素を中心とする２Ｒ×２Ｒの局所領域を近傍領域として設定し、平滑化を行う。以下、対象フレームＦの平滑化により生成される画像を、平滑化画像Ｇと呼ぶ。

　平滑化画像Ｇは、対象フレームＦと比較して、ざらつきが弱められた画像となっている。なお、半径Ｒが大きく設定されている程、ざらつきが消えることになるが、一方で、輪郭線（エッジ）までぼけてしまうことになる。本実施形態に係るざらつき除去処理は、輪郭線を残しつつ、ざらつきを除去することができるが、当該効果を十分に発揮させるためには、半径Ｒは、比較的小さく設定されていることが好ましい。なお、ここでいう「比較的小さい」とは、ステップＳ３の平滑化のみによりざらつきを除去する場合に必要とされる半径Ｒよりも小さい、という意味である。例えば、対象フレームＦからステップＳ３の平滑化のみによりざらつきを除去しようとすれば、Ｒ＝３．５程度が必要であるとする。このような対象フレームＦに対し本実施形態に係るざらつき除去処理を実行する場合には、例えば、Ｒ＝１程度に設定されることが好ましくなり得る。この場合、輪郭線を十分に維持することができる。一方、この場合、当然ながら、ステップＳ３により生成される平滑化画像Ｇにおいては、ざらつきが十分に除去されていないことになる。しかしながら、以下のステップＳ４，Ｓ５を経ることで、最終的には輪郭線が十分に維持されているのにもかかわらず、対象画像からざらつきが十分に除去されることになる。

　続いて、ステップＳ４では、加重平均部４２ｂが、平滑化画像Ｇから対象フレームＦを減算した差分画像を生成する。なお、画像Ａから画像Ｂを減算するとは、各画素について、画像Ａにおける当該画素の画素値から、画像Ｂの当該画素の画素値を減算することである。なお、本実施形態では、対象フレームＦは、ＲＧＢの３つの色成分を有するカラー画像であり、各色成分についての画素値は、０～２５５までの値を取るように定義されているものとする。この場合、画素値の減算は、各色成分について行われる。

　以上の処理のみから得られる差分画像においては、ざらつき以外の画素の画素値は概ね０となり、明るいざらつきが生じている画素の画素値はマイナス値となり、暗いざらつきが生じている画素の画素値はプラス値となる。明るいざらつきとは、ざらつきがなかった場合の本来の画素値よりも、画素値が大きいざらつきであり、暗いざらつきとは、ざらつきがなかった場合の本来の画素値よりも、画素値が小さいざらつきである。なお、通常、モニター画面の接写により生じるドットパターンは、明るく写り、ドットパターンの周辺の格子状の線は、暗く写る。ところで、本実施形態では、画素値が０～２５５までの値を取るように定義されているため、差分画像において明るいざらつきの情報が失われてしまい得る。従って、本実施形態のステップＳ４では、平滑化画像Ｇから対象フレームＦを減算した後に、各画素の画素値に一律１２８が加算されるものとする。また、一律の加算は、各色成分について行われる。以下では、このような加算処理を経た画像を、差分画像Ｈと呼ぶ。以上の結果、ステップＳ４で得られる差分画像Ｈは、暗いざらつきの部分が白っぽく写り、明るいざらつきが黒っぽく写り、輪郭線の部分が白っぽく又は黒っぽく写り、その他の部分が灰色に写る画像となる。

　まとめると、対象フレームＦの画素番号ｊ（ｊ＝１，２，・・・，Ｊ、Ｊは、対象フレームＦの画素数）の画素値を、Ｖ_F（ｊ）と表し、平滑化画像Ｇの画素番号ｊの画素値をＶ_G（ｊ）と表し、差分画像Ｈの画素番号ｊの画素値をＶ_H（ｊ）と表す場合、Ｖ_F（ｊ），Ｖ_G（ｊ），Ｖ_H（ｊ）の間には、以下の関係が成り立つ（ｊ＝１，２，・・・，Ｊ）。
Ｖ_H（ｊ）＝Ｖ_G（ｊ）－Ｖ_F（ｊ）＋１２８　　　　　（式１）

　続くステップＳ５では、加重平均部４２ｂは、ステップＳ１で設定された混合割合αの値を用いて、対象フレームＦと差分画像Ｈとを重みを付けて足し合わせる。具体的には、加重平均部４２ｂは、各画素について、差分画像Ｈの当該画素の画素値をα倍した値と、対象フレームＦの当該画素の画素値を（１－α）倍した値とを加算する。この加算の処理は、各色成分について行われる。なお、混合割合αとしては、０～１の間の数値（０及び１は、含まれない）を設定可能であるものとする。また、αは、α＞０．５となるように設定されることが好ましい。この場合、加重平均画像Ｌにおいては、ざらつきや輪郭線が増幅して足し合わされる。

　以下では、ステップＳ５により得られる画像を、加重平均画像Ｌと呼ぶ。また、加重平均画像Ｌの画素値を、Ｖ_L（ｊ）と表す場合、Ｖ_L（ｊ），Ｖ_H（ｊ），Ｖ_F（ｊ）の間には、以下の関係が成り立つ（ｊ＝１，２，・・・，Ｊ）。
Ｖ_L（ｊ）＝αＶ_H（ｊ）＋（１－α）Ｖ_F（ｊ）　　　　　（式２）
　なお、式２に式１を代入すると、以下の式３となる。
Ｖ_L（ｊ）＝（１－２α）Ｖ_F（ｊ）＋αＶ_G（ｊ）＋１２８α　　　　（式３）

　ところで、ざらつきのような細かな特徴又はテクスチャは、輪郭線に比べ空間周波数が高いため、ステップＳ２における平滑化の影響をより敏感に受ける。そのため、差分画像Ｈにおいては、輪郭線の情報よりも、ざらつきの情報の方がより多く残存していることになる。従って、このような差分画像Ｈと対象フレームＦとの加重平均画像Ｌにおいては、ざらつきが除去される一方、輪郭線は、比較的元の状態を保っている。ただし、全体的に灰色がかった差分画像Ｈが足し合わされているため、加重平均画像Ｌは、全体的にコントラストが低い。

　そこで、続くステップＳ６では、コントラスト強調部４２ｃが、加重平均画像Ｌのコントラストを強調するように補正する。コントラストの補正後の加重平均画像Ｌは、ざらつき除去処理による最終的な補正画像Ｑとなる。補正画像Ｑは、加重平均画像Ｌと同様、対象フレームＦと比較して、輪郭線を維持しつつも、ざらつきが除去された画像となっている。なお、補正画像Ｑの画素番号ｊ（ｊ＝１，２，・・・，Ｊ）の画素値をＶ_Q（ｊ）と表す場合、本実施形態では、以下の式４に従って、コントラストが補正される。
Ｖ_Q（ｊ）＝（Ｖ_L（ｊ）－１２８）＊（１／（１－α））＋１２８　（式４）

　以上のステップＳ２～Ｓ６が、選択フレーム群に含まれる全てのフレームについて繰り返されると、ざらつき補正処理は終了する。

　ざらつき除去処理が終了した後、ユーザは、補正画像Ｑをアクティブな表示ウィンドウＷ２上に表示させることで、輪郭線を維持しつつも、ざらつきの除去された画像を確認することができる。

　＜３．用途＞
　画像処理プログラム２は、多種多様な動画に対する画像処理を取り扱うことができ、例えば、警察等の機関が事件の捜査のために防犯カメラの監視映像を解析する場面でも利用され得る。具体的には、警察等の捜査機関は、事件現場の近隣の防犯カメラの映像を確認する。このとき、各所の防犯カメラの映像は、ビデオテープで録画されていることが多く、これをコンピュータでの画像処理が可能なようにデジタル映像に変換することが困難なことがある。また、防犯カメラの所有者の下で監視映像を閲覧させてもらう許可を得ることができたとしても、その提出までを常に要求できる訳ではない。従って、現実には、現場のモニター画面に写る画像をデジタルカメラ等で撮影し、これを持ち帰ることがしばしば行われている。上記実施形態に係るざらつき除去処理は、このようなモニター画面越しに撮影された映像から、モニター画面のドットパターンに由来するざらつきを除去するのに利用することができる。

　ところで、以上のざらつき除去処理は、除去対象となるざらつきよりも空間周波数の高い成分が本来の絵柄（ざらつきの乗っていない絵柄）の中に含まれていない画像に対し、特に有効に機能する。なお、モニター画面を撮影した画像の場合、モニター画面のドットパターンよりも高周波の成分が絵柄に含まれることは通常は起こり得ない。従って、本実施形態に係るざらつき除去処理は、モニター画面の撮影により生じたドットパターンの除去に特に有効である。

　＜４．変形例＞
　以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。

　＜４－１＞
　加重平均画像Ｌを生成する方法は、上述したものに限られない。例えば、上記実施形態におけるステップＳ４では、平滑化画像Ｇから対象フレームＦを減算することにより差分画像Ｈが生成されたが、逆に、対象フレームＦから平滑化画像Ｇを減算することにより逆差分画像を得てもよい。この場合、加重平均部４２ｂは、当該逆差分画像の階調を反転させることにより、差分画像Ｈを得ることができる。以後の処理は、上記実施形態と同様に行うことができる。

　或いは、ステップＳ４，Ｓ５の処理を段階的に経るのではなく、以上の式３に基づいて、対象フレームＦ及び平滑化画像Ｇから直接的に加重平均画像Ｌを生成してもよい。

　＜４－２＞
　上記実施形態において、ステップＳ６を省略してもよい。この場合、ざらつき除去処理による最終的な補正画像は、加重平均画像Ｌとなる。なお、ユーザは、加重平均画像Ｌのコントラストが低いと感じ、不都合を感じた場合にのみ、別途、コントラスト調整の画像処理を行って、手動で補正画像Ｑを得ればよい。また、そもそもステップＳ４において、各画素値に対する所定値の一律の加算処理が行われていない場合には、加重平均画像Ｌのコントラストが低下することはないと言える。この場合には、勿論、ステップＳ６におけるコントラストの強調処理は不要である。

　＜５．評価＞
　以下、本発明の実施例について説明する。ただし、本発明は、以下の実施例に限定されない。本実施例では、図５に示す対象画像に対し、半径Ｒ＝１で上記実施形態に係るステップＳ３～Ｓ６を実行したところ、図７に示す画像（補正画像Ｑ）が得られた。一方、図５に示す対象画像に対し、半径Ｒ＝３で上記実施形態に係るステップＳ３（平滑化処理）のみを行ったところ、図８に示す画像が得られた。

　図５と図７を比較すると、上記実施形態のざらつき除去のアルゴリズムによれば、ドットパターンを除去可能なことが分かる。また、図７と図８を比較すると、上記実施形態のざらつき除去のアルゴリズムによれば、輪郭線を維持しつつも、ざらつきを除去可能であることが分かる。

１　画像処理装置
２　画像処理プログラム
４２ａ　平滑化部
４２ｂ　加重平均部
４２ｃ　コントラスト強調部

Claims

　対象画像に含まれるざらつきを除去する画像処理装置であって、
　前記対象画像を平滑化した平滑化画像を生成する平滑化部と、
　前記対象画像と、前記平滑化画像から前記対象画像を減算した差分画像とを加重平均した加重平均画像を生成する加重平均部と
を備える、
画像処理装置。
　前記加重平均画像のコントラストを強調するコントラスト強調部
をさらに備える、
請求項１に記載の画像処理装置。
　前記加重平均部は、前記平滑化画像から前記対象画像を減算した差分画像を生成した後、前記対象画像と前記差分画像とを加重平均することにより、前記加重平均画像を生成する、
請求項１又は２に記載の画像処理装置。
　前記加重平均部は、前記対象画像から前記平滑化画像を減算した逆差分画像を生成した後、前記逆差分画像の階調を反転することにより、前記差分画像を生成する、
請求項２に記載の画像処理装置。
　対象画像に含まれるざらつきを除去する画像処理プログラムであって、
　前記対象画像を平滑化した平滑化画像を生成するステップと、
　前記対象画像と、前記平滑化画像から前記対象画像を減算した差分画像とを加重平均した加重平均画像を生成するステップと
をコンピュータに実行させる、
画像処理プログラム。
　対象画像に含まれるざらつきを除去する画像処理方法であって、
　前記ざらつきが残存するように前記対象画像を平滑化した平滑化画像を生成するステップと、
　前記対象画像と、前記平滑化画像から前記対象画像を減算した差分画像とを加重平均した加重平均画像を生成するステップと
を備える、
画像処理方法。