JP4715178B2 - 画像補正装置、画像補正方法およびコンピュータプログラム - Google Patents

画像補正装置、画像補正方法およびコンピュータプログラム Download PDF

Info

Publication number
JP4715178B2
JP4715178B2 JP2004346241A JP2004346241A JP4715178B2 JP 4715178 B2 JP4715178 B2 JP 4715178B2 JP 2004346241 A JP2004346241 A JP 2004346241A JP 2004346241 A JP2004346241 A JP 2004346241A JP 4715178 B2 JP4715178 B2 JP 4715178B2
Authority
JP
Japan
Prior art keywords
image
block noise
correction
display
noise reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004346241A
Other languages
English (en)
Other versions
JP2006157579A (ja
JP2006157579A5 (ja
Inventor
新吾 湯田坂
祥一 中條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004346241A priority Critical patent/JP4715178B2/ja
Publication of JP2006157579A publication Critical patent/JP2006157579A/ja
Publication of JP2006157579A5 publication Critical patent/JP2006157579A5/ja
Application granted granted Critical
Publication of JP4715178B2 publication Critical patent/JP4715178B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、画像を所定の画素数の縦横のブロックに分割して圧縮した圧縮画像を補正する技術に関する。
静止画像を圧縮する技術として、JPEG(Joint Photographic Expert Group)と呼ばれる形式が普及している。JPEGは効果的にデータ圧縮を行なうことができるが、一般的には不可逆な形式である。こうした不可逆形式のJPEGは、前記ブロック単位での圧縮処理を基本とする圧縮アルゴリズムであることから、圧縮率を高くした場合に、伸長時におけるブロックノイズの発生が問題となる。そこで、ノイズ除去の方法として、下記の特許文献1等が提案されている。
特開2003−234907号公報
一方、静止画像を加工(補正)するものとして、レタッチソフトウェアが知られている。レタッチソフトウェアでは、静止画像を一旦画面に表示して、操作者からの入力装置を用いた操作指令を受けることで、操作者との間でインターフェースが図られている。上記画面に表示される静止画像は、補正対象としての元画像であることから、元画像がJPEG形式の画像である場合、ブロックノイズを含んだものとなる。
上記レタッチソフトウェアの一つとして、デジタルカメラ(デジタルスチールカメラ)で撮影した手ブレを補正する手ブレ補正処理があるが、この手ブレ補正処理においては、操作者は画面に表示された静止画像を見て、手ブレが顕著に表われているエッジを指定するといった処理を行なう。エッジの指定のために拡大率を上げると、表示画像が上記ブロックノイズを含んでいる場合、操作者は、ブロック同士の境界をエッジとして誤認識してしまい、結果として補正精度が低下するという問題があった。
本発明の解決しようとする課題は、圧縮画像の表示装置への表示を伴う画像補正処理において、表示画像の視認性を向上することにより、補正精度の向上を図ることにある。
前述した課題の少なくとも一部を解決するための手段として、以下に示す構成をとった。
本発明の画像補正装置は、
画像を所定の画素数の縦横のブロックに分割して圧縮した圧縮画像を元画像として、該元画像を補正する画像補正装置であって、
所定の補正処理の実行を開始する旨の指令を受ける指令受信手段と、
前記指令を受けたときに、前記圧縮画像を伸長する際に発生するブロックノイズを低減するブロックノイズ低減処理を前記元画像に対して実行するノイズ低減手段と、
前記ブロックノイズ低減処理の実行後の元画像を表示用画像として表示装置に表示する画像表示手段と、
操作者からの入力装置を用いた操作指令に基づいて、前記表示用画像に対するパラメータを指定するパラメータ指定手段と、
前記指定されたパラメータに基づいて、前記所定の補正処理を実行する補正手段と
を備えることを特徴としている。
上記構成の画像補正装置によれば、圧縮画像である元画像に対してブロックノイズ低減処理が実行されて、そのブロックノイズが低減された後の元画像が、表示用画像として表示装置へ表示される。このために、操作者は、入力装置を用いて、表示用画像に対するパラメータを指定するに際して、ブロックノイズが低減された画像を見ることができる。したがって、この画像補正装置によれば、表示用画像の視認性の点で優れており、この結果、補正精度を向上することができるという効果を奏する。
前記画像表示手段は、操作者からの入力装置を用いた操作指令に基づいて、前記表示用画像の表示倍率を拡大する表示拡大手段を備える構成としてもよい。
この構成によれば、表示倍率を拡大することで、表示用画像に対するパラメータの指定が容易となる。一方、圧縮画像を拡大すると、ブロックノイズにおけるブロック同士の境界をエッジとして誤認識してしまう可能性が高まるが、この画像補正装置によれば、表示用画像はブロックノイズが低減されていることから、上記誤認識を防止することができる。
前記ノイズ低減手段は、前記指令を受けたときに、補正対象の画像が、前記圧縮画像であるか否かを判定する画像判定手段を備え、該画像判定手段により圧縮画像と判定されたときに、前記補正対象の画像を前記元画像として、前記ブロックノイズ低減処理を実行するように構成してもよい。
この構成によれば、画像を所定の画素数の縦横のブロックに分割して圧縮した圧縮画像に対してだけ、ブロックノイズ低減処理を実行することができる。
また、前記ノイズ低減手段は、前記指令を受けたときに、前記圧縮画像に発生し得るブロックノイズの程度を判定するノイズ判定手段を備え、該ノイズ判定手段によりブロックノイズの程度が大きいと判定されたときに、前記ブロックノイズ低減処理を実行するように構成してもよい。
この構成によれば、発生し得るブロックノイズの程度が大きい場合にだけ、ブロックノイズ低減処理を実行することができる。このために、表示装置に表示した際に誤認識となり得ないような小さな程度のブロックノイズについてはブロックノイズ低減処理を実行する必要がないことから、処理全体としての高速化を図ることができる。
前記パラメータ指定手段は、前記表示装置に表示された表示用画像における所定の部位を、操作者からの入力装置を用いた操作指令に基づいて指定する所定部位指定手段を備える構成としてもよい。
この構成によれば、操作者にとって、表示用画像における所定の部位を指定するに際して、ブロックノイズが低減された画像を見ることができ、視認性に優れている。
前記所定の補正処理は、撮影装置で撮影して得られた画像の手ブレを補正する手ブレ補正処理であり、前記所定部位指定手段により指定される所定の部位は、画像を構成するオブジェクトのエッジ部である構成としてもよい。
この構成によれば、手ブレ補正のために手ブレが顕著に表わされているエッジ部を指定するに際して、ブロックノイズにおけるブロック同士の境界をエッジとして誤認識することを確実に防止することができる。
上記手ブレ補正を行なう画像補正装置において、前記補正手段は、前記所定部位指定手段により指定された所定の部位に基づいて、前記手ブレの方向と程度を検出する手ブレ方向・程度検出手段と、該検出された手ブレの方向と程度の入力を受けて、該入力に基づいて前記手ブレ補正処理を実行する手ブレ補正手段とを備える構成としてもよい。
この構成によれば、操作者によって、手ブレが顕著に表わされている所定の部位の指定を受けることができることから、手ブレ方向・程度検出手段により検出される手ブレの方向と程度の精度を高めることができる。この結果、手ブレ補正の精度を高めることができる。
上記手ブレ補正手段は、入力された前記手ブレの方向と程度に基づいて、動作ぼかしを掛けるモーションブラーフィルタを設定するフィルタ設定手段と、該設定されたモーションブラーフィルタを用いて、前記撮影画像に対して演算処理を行なうフィルタ演算手段と、前記撮影画像と前記フィルタ演算手段により得られた画像との差分を演算する画像差分演算手段と、前記撮影画像に対して前記差分を合成することにより、前記撮影画像に対して前記手ブレの方向と反対側にぶれた画像を補正後画像として生成する画像合成手段とを備える構成としてもよい。
この構成によれば、手ブレを高精度に補正することができる。
前記圧縮画像は、JPEG形式の画像データとすることができる。
本発明の画像補正方法は、
画像を所定の画素数の縦横のブロックに分割して圧縮した圧縮画像を元画像として、該元画像を補正する画像補正方法であって、
(a)所定の補正処理の実行を開始する旨の指令を受ける行程と、
(b)前記指令を受けたときに、前記圧縮画像を伸長する際に発生するブロックノイズを低減するブロックノイズ低減処理を前記元画像に対して実行する行程と、
(c)前記ブロックノイズ低減処理の実行後の元画像を表示用画像として表示装置に表示する行程と、
(d)操作者からの入力装置を用いた操作指令に基づいて、前記表示用画像に対するパラメータを指定する行程と、
(e)前記指定されたパラメータに基づいて、前記所定の補正処理を実行する行程と
を備えることを特徴としている。
本発明のコンピュータプログラムは、
画像を所定の画素数の縦横のブロックに分割して圧縮した圧縮画像を元画像として、該元画像を補正するためのコンピュータプログラムであって、
(a)所定の補正処理の実行を開始する旨の指令を受ける機能と、
(b)前記指令を受けたときに、前記圧縮画像を伸長する際に発生するブロックノイズを低減するブロックノイズ低減処理を前記元画像に対して実行する機能と、
(c)前記ブロックノイズ低減処理の実行後の元画像を表示用画像として表示装置に表示する機能と、
(d)操作者からの入力装置を用いた操作指令に基づいて、前記表示用画像に対するパラメータを指定する機能と、
(e)前記指定されたパラメータに基づいて、前記所定の補正処理を実行する機能と
をコンピュータに実現させることを特徴としている。
本発明の画像補正方法およびコンピュータプログラムによっても、本発明の画像補正装置と同様に、表示用画像の視認性に優れており、この結果、補正精度を向上することができるという効果を奏する。
本発明の記録媒体は、本発明のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体を特徴としている。この記録媒体は、本発明のコンピュータプログラムと同様な作用・効果を有している。
本発明は、以下のような他の態様も含んでいる。その第1の態様は、本発明のコンピュータプログラムを通信経路を介して供給するプログラム供給装置としての態様である。この第1の態様では、コンピュータプログラムをコンピュータネットワーク上のサーバなどに置き、通信経路を介して、必要なプログラムをコンピュータにダウンロードし、これを実行することで、上記の方法や装置を実現することができる。
本発明を実施するための最良の形態を実施例に基づき説明する。この実施例を、次の順序に従って説明する。
A.装置の構成:
B.コンピュータ処理:
B−1.処理の全体:
B−2.手ブレ補正:
C.作用・効果:
D.他の実施形態:
A.装置の構成:
図1は、本発明の一実施例を適用するコンピュータシステムの概略構成を示す説明図である。この実施例のコンピュータシステムは、本発明の画像補正装置を構成するパーソナルコンピュータ10を中心に備え、その周辺装置として、ディスプレイ20とキーボード22とマウス24を備える。さらに、パーソナルコンピュータ10には、デジタルカメラ26とCDドライブ28とプリンタ29が接続されている。キーボード22とマウス24は、本発明でいう入力装置に該当する。ディスプレイ20は、本発明でいう表示装置である。マウス24は、トラックボール、トラックパッド、タブレット等の他のポインティングデバイスに換えることができる。
パーソナルコンピュータ10は、中央演算処理装置としてのCPU11を中心にバス12により相互に接続されたメモリ13、表示画像メモリ14、ハードディスクドライブ15、入力制御ユニット16、表示制御ユニット17、出力制御ユニット18等を備える。メモリ13は、各種データ等を記憶するもので、CPU11の作業領域となる。表示画像メモリ14は、ディスプレイ20に表示する画像の画像データを一旦記憶するメモリである。
ハードディスクドライブ15は、画像補正装置のソフトウェアとしてのコンピュータプログラムPrを記憶する。また、ハードディスクドライブ15には、画像データDpが1または複数記憶されている。画像データDpは、デジタルカメラ26によって撮影した画像の画像データであり、ハードディスクドライブ15の所定の領域(例えば、ホルダ)に格納されている。画像は、カラー画像である。
入力制御ユニット16は、キーボード22やマウス24から入力操作を取り込み、デジタルカメラ26から画像データを取り込み、CDドライブ28からデータを取り込む制御ユニットである。表示制御ユニット17は、ディスプレイ20への信号出力を制御する制御ユニットである。出力制御ユニット18は、プリンタ29への印刷を制御する制御ユニットである。
コンピュータプログラムPrは、もともとは、記録媒体としてのCD−ROM(図示せず)に記憶されている。そのCD−ROMをCDドライブ28にセットして、所定のインストールプログラムを起動することで、コンピュータプログラムPrをCD−ROMから読み出してハードディスクドライブ15にインストールすることができる。このコンピュータプログラムPrをCPU11が実行することにより、本発明の画像補正装置の各種構成要件は実現される。
図1では、各種構成要件が、CPU11の内部で実現される機能のブロックによって示されている。すなわち、CPU11は、指令受信部30、ノイズ低減部31、画像表示部32、パラメータ指定部33、補正部34を機能として備える。コンピュータプログラムPrは、実際は、デジタルカメラ26で撮影した画像を修整するフォトレタッチ用のアプリケーションプログラムであり、その中の一部のモジュールによって、上述した各部30ないし34の機能をパーソナルコンピュータ10に実現させる。各部30ないし34については、後ほど詳述する。
なお、コンピュータプログラムPrは、CD−ROMに替えて、フレキシブルディスク、光磁気ディスク、ICカード等の他の携帯型記録媒体(可搬型記録媒体)に格納された構成として、これらから提供されたものとすることができる。また、このコンピュータプログラムPrは、外部のネットワークに接続される特定のサーバから、ネットワークを介して提供されたものとすることもできる。上記ネットワークとしては、インターネットであってもよく、特定のホームページからダウンロードして得たコンピュータプログラムであってもよい。あるいは、電子メールの添付ファイルの形態で供給されたコンピュータプログラムであってもよい。
B.コンピュータ処理:
B−1.処理の全体:
このコンピュータプログラムPrを起動すると、まず、ディスプレイ20にアプリケーションウィンドウが表示される。このアプリケーションウィンドウは、グラフィカル・ユーザ・インタフェース(GUI)を構成している。
図2は、アプリケーションウィンドウWDの一例を示す説明図である。図示するように、アプリケーションウィンドウWDの左側の処理メニュー欄MNには、[入力]、[修整]、[印刷]、[出力]の4種類のボタンBT1,BT2,BT3,BT4が、下方に向かって順に並んでおり、操作者は、これらボタンBT1〜BT4を順にマウス24によりクリックしていくことで、CRTディスプレイ12の画面上で、デジタルカメラ26で撮影した撮影画像を取り込み、修整して、出力する作業を進めていくことができる。
操作者は、まず、[入力]のボタンBT1をクリックすることで、ハードディスクドライブ15から画像データDpを取り込む処理を行なう。なお、ここでは、ハードディスクドライブ15に換えて、デジタルカメラ26から直接画像データを取り込む構成や、DVD等の他の記憶媒体から画像データを取り込む構成に換えることができる。この取り込んだ画像データDpは、アプリケーションウィンドウWDの作業フィールドFDWに表示される。
その後、操作者は、[修整]のボタンBT2をクリックすることで、上記取り込んだ画像データDpの修整を行なう。図2は、[修整]のボタンBT2がクリックされたときのものである。図示するように、アプリケーションウィンドウWDのメニューバーMBには、[ファイル]、[コースメニュー]、[編集]、[表示]、[修整]、[修復・加工]等のボタンが設けられている。[修整]のボタンをクリックすることにより、画像データDpに対して、回転やトリミングを行なったり、明度や彩度などの色補正を行なうことができる。図中には、[修復・加工]のボタンをクリックしたときに開くプルダウンメニューDMが示されている。操作者は、[修復・加工]のボタンをクリックし、プルダウンメニューDMから所望の選択肢をクリックすることにより、画像データDpに対して、「手ブレ補正」や「ピンボケ補正」等を行なうこともできる。
操作者は、[印刷]のボタンBT3をクリックすることで、上記修整済みの画像データDpを、出力制御ユニット18を介してプリンタ29から印刷することができる。また、操作者は、[出力]のボタンBT4をクリックすることで、上記修整済みの画像データDpを、HDD15や外部機器に出力することができる。
B−2.手ブレ補正:
上記「手ブレ補正」が、本発明に関わるものである。プルダウンメニューDMの[手ブレ補正]の選択肢がクリックされたときに実行される処理ルーチンについて、以下、詳細に説明する。
図3は、CPU11により実行される処理ルーチンを示すフローチャートである。プルダウンメニューDMの[手ブレ補正]の選択肢がクリックされると、マウス24から手ブレ補正を開始する旨の指令が入力制御ユニット16を介してCPU11に送られてくるが、CPU11はその指令を受けたときに、この処理ルーチンを実行開始する。処理が開始されると、CPU11は、まず、先に[入力]のボタンBT1をクリックしてハードディスクドライブ15から取り込んだ画像データDp、すなわち、手ブレ補正の対象である画像データ(以下、元画像データと呼ぶ)Dpが、JPEG形式の画像データであるか否かを判別する(ステップS100)。
ステップS100で、元画像データDpがJPEG形式の画像データであると判別されると、CPU11は、元画像データDpを伸長する際に生じ得るブロックノイズの程度を判定するブロックノイズ判定ルーチンを実行する(ステップS110)。このブロックノイズ判定ルーチンでは、縦横8ピクセルをブロックとして圧縮したJPEG圧縮に伴うブロックノイズの程度を判定するものとして以下に説明する。
図4は、ブロックノイズ判定ルーチンの詳細を示すフローチャートである。図示するように、このルーチンに処理が移行すると、CPU11は、まず、JPEG展開された対象となる赤(R),緑(G),青(B)の表色系で表現された元画像データDpを次式(1)によりY(輝度),I(オレンジ−シアン),Q(緑−マゼンダ)の三要素からなるYIQ色空間に変換する(ステップS111)。
Figure 0004715178
続いて、CPU11は、YIQ色空間に変換した画像のYチャンネルを用いて水平方向と垂直方向における各画素間の輝度強度差を計算する(ステップS112)。この実施例では、輝度強度差は、水平方向の輝度強度差をdx(x,y)とし、垂直方向の輝度強度差をdy(x,y)とし、各画素の輝度をY(x,y)とすると、次式(2)および式(3)により計算される。この輝度強度差は、式(2)および式(3)から解るように、隣接する画素間の輝度の偏差を表わす。輝度強度差の計算を模式的に示す模式図を図5に示す。
Figure 0004715178
次に、計算した輝度強度差から水平方向と垂直方向の各画素における輝度の変化の滑らかさを計算する(ステップS113)。実施例では、各画素における輝度の変化の滑らかさは、水平方向の画素における輝度の変化の滑らかさをsx(x,y)とし、垂直方向の画素における輝度の変化の滑らかさをsy(x,y)とすると、次式(4)および式(5)により計算される。この画素における輝度の変化の滑らかさは、式(4)および式(5)から解るように、隣接する画素間の輝度の偏差の絶対値の和の大きさを表わす。図6に一次元に模式化した画像の輝度と輝度強度差と輝度の変化の滑らかさの一例を示す。
Figure 0004715178
こうして各画素の輝度の変化の滑らかさを計算すると、JPEG圧縮に用いたブロックの境界に位置する画素(以下、境界ピクセルという。)における水平方向および垂直方向の輝度の変化の滑らかさの平均ave(psx),ave(psy)を計算すると共に(ステップS114)、境界ピクセル以外の画素(以下、内部ピクセルという。)における水平方向および垂直方向の輝度の変化の滑らかさの平均ave(nsx),ave(nsy)を計算する(ステップS115)。具体的には、水平方向の境界ピクセルにおける輝度の変化の滑らかさの平均ave(psx)についてxが8の倍数のsx(x,y)の総和をその個数で割ることにより計算し、垂直方向の境界ピクセルにおける輝度の変化の滑らかさの平均ave(psy)についてyが8の倍数のsx(x,y)の総和をその個数で割ることにより計算し、水平方向の内部ピクセルにおける輝度の変化の滑らかさの平均ave(nsx)についてxが8の倍数ではないsx(x,y)の総和をその個数で割ることにより計算し、垂直方向の内部ピクセルにおける輝度の変化の滑らかさの平均ave(nsy)についてyが8の倍数ではないsx(x,y)の総和をその個数で割ることにより計算する。
そして、水平方向の内部ピクセルにおける輝度の変化の滑らかさの平均ave(nsx)に対する水平方向の境界ピクセルにおける輝度の変化の滑らかさの平均ave(psx)の比{ave(psx)/ave(nsx)}として水平方向のブロックノイズ評価値Hhを計算すると共に(ステップS116)、垂直方向の内部ピクセルにおける輝度の変化の滑らかさの平均ave(nsy)に対する垂直方向の境界ピクセルにおける輝度の変化の滑らかさの平均ave(psy)の比{ave(psy)/ave(nsy)}として垂直方向のブロックノイズ評価値Hvを計算し(ステップS117)、水平方向のブロックノイズ評価値Hhと垂直方向のブロックノイズ評価値Hvとの平均を画像におけるブロックノイズ評価値Hとして計算する(ステップS118)。
水平方向のブロックノイズ評価値Hhや垂直方向のブロックノイズ評価値Hvは、内部ピクセルにおける輝度の変化の滑らかさの平均に対する境界ピクセルにおける輝度の変化の滑らかさの比であるから、ブロックノイズの程度が小さいときには値1に近い値となり、ブロックノイズの程度が大きいときには値1より大きな値となる。しかも、内部ピクセルにおける輝度の変化の滑らかさの平均が小さいとき、例えば滑らかに色調や明るさが変化するような画像では、境界ピクセルにおける輝度の変化の滑らかさの平均が際だつから、ブロックノイズ評価値として大きな値となり、内部ピクセルにおける輝度の変化の滑らかさの平均が大きいとき、例えば、色調や明るさが大きく変化する画像では、境界ピクセルにおける輝度の変化の滑らかさの平均が埋没するから、ブロックノイズ評価値として小さな値となる。したがって、より適切にブロックノイズの程度を表わすことができる。
そして、ブロックノイズ評価値Hの値に基づいてブロックノイズの程度を判定する(ステップS119)。この実施例では、ブロックノイズ評価値Hとして、ブロックノイズが全くないときには値1となり、ブロックノイズがひどいときには値10に近くなるから、値1から値10の範囲でブロックノイズの程度を判定することができる。ステップS119の実行後、「リターン」に抜けてこのブロックノイズ判定ルーチンを一旦終了する。
以上説明したブロックノイズ判定ルーチンによれば、境界ピクセルにおける輝度の変化の滑らかさに基づいてブロックノイズの程度を判定するから、適正にブロックノイズの程度を判定することができる。しかも、ブロックノイズ評価値Hを内部ピクセルにおける輝度の変化の滑らかさの平均に対する境界ピクセルにおける輝度の変化の滑らかさの比として計算するから、滑らかに色調や明るさが変化するような画像では境界ピクセルにおける輝度の変化の滑らかさの平均を際だたせて大きな値としてブロックノイズ評価値Hを計算し、色調や明るさが大きく変化する画像では境界ピクセルにおける輝度の変化の滑らかさの平均を埋没させて小さな値としてブロックノイズ評価値Hを計算するから、ブロックノイズ評価値Hによる評価を目視の評価に対応させることができる。この結果、適正にブロックノイズの程度を判定することができる。さらに、値1から値10の範囲となるブロックノイズ評価値Hを用いるから、数値によってブロックノイズを判定することができる。
図3に戻って、上記ブロックノイズ判定ルーチンの実行後、CPU11は、ステップS110で求められたブロックノイズの程度が大きいか否かを判定する(ステップS120)。具体的には、上記ブロックノイズ評価値Hが、所定の閾値(例えば、値5)より大きいか否かによって、ブロックノイズの程度が大きいか否かを判定する。ここで、ブロックノイズの程度が大きいと判定された場合には、CPU11は、元画像データDpを伸長する際に発生するブロックノイズを低減するブロックノイズ低減ルーチンを実行する(ステップS130)。
図7は、ブロックノイズ低減ルーチンの詳細を示すフローチャートである。図示するように、処理が開始されると、CPU11は、元画像データDpから直径3ピクセルでぼかした平均化画像データBを作成する処理を行なう(ステップS131)。詳細には、各画素に対して直径3ピクセルの領域を求めて、その領域内の画素値の平均値をとることにより、平均化画像データBを作成する。次いで、CPU11は、元画像データDpと平均化画像データBとの各画素値の差分を計算し、差分が2以上の画素値を値1に、それ以外の画素値を値0とすることにより、高周波成分抽出画像データCを作成する処理を行なう(ステップS132)。
その後、CPU11は、マトリックス−ノイズ除去法によって元画像データDpのノイズ除去を行なうことによってノイズ除去後画像データDを作成する処理を行なう(ステップS133)。マトリックス−ノイズ除去法は、下記の式(6)に従う演算を元画像データDpの各画素に順に施す。
Figure 0004715178
上記F(p,q)で表わされる画素値p,qの距離の絶対値は、pのRGB値を(Rp, Gp, Bp)、qのRGB値を(Rq, Gq, Bq)としたとき、例えば{(Rp−Rq)*(Rp−Rq)+(Gp−Gq)*(Gp−Gq)+(Bp−Bq)*(Bp−Bq)}1/2、あるいは|(Rp+Gp+Bp)−(Rq−Gq−Bq)|/3等の計算式が考えられる。元画像データDpの幅がXピクセル、高さがYピクセルであるとすると、上記式(6)に従う演算は0≦i<X,0≦j<Yの範囲内で行なう。
上記式(6)の意味するところは、要は、注目画素からの距離がr以内の画素で、画素値の差がしきい値t内の画素のみで平均値をとっている(ぼかしている)。換言すれば、周辺画素の中で色の近いものだけを選んで平均をとるということになる。
ステップS133の実行後、CPU11は、下記の式(7)ないし(10)に従う演算を実行することにより、出力画像データEを作成する(ステップS134)。
Figure 0004715178
式(7)ないし(10)の意味するところは次のようなものである。ブロックノイズは8×8(縦横共に8ピクセル)のブロックの境界のみに現われるが、実際にはそれ以外の部分にもモスキートノイズ等の他のノイズを引き起こすことから、上記ブロックの境界だけを補正してしまうと不自然になってしまう。そこで、式(7)ないし(10)に従う演算処理により、JPEGのブロックノイズはできるだけ取り除きつつ、一般的なノイズも取り除かれるようにしている。一般的なノイズは、高周波成分に含まるが、高周波成分には複雑なテクスチャなどノイズ以外の成分も含まれてしまい、単純に高周波成分を取り除いてしまうと全体に平面的な画像になってしまう。そこで、JPEGのブロックノイズはできるだけ取り除きつつ、ノイズではない可能性のある高周波成分はなるべく残すということを図っている。
詳細には、式(7)によれば、ステップS132で作成した高周波成分抽出画像データCにおける、座標(x,y)の周辺225ピクセル(縦横共に15ピクセルの矩形に含まれるピクセル数、すなわち(8+8−1)×(8+8−1)=225ピクセル)についての画素値の合計を求めることにより、高周波成分と判断される画素値の数(以下、「高周波成分の数」と呼ぶ)HF(x,y)を算出している。
続く式(8)によれば、高周波成分の数HFからJPEGのブロックノイズの可能性のあるものを取り除いた数を高周波レベルNL(x,y)として記憶する。この結果、ブロックノイズ以外のノイズか、ノイズではない高周波成分が高周波レベルNL(x,y)として求められることになる。なお、BN(x,y)は、座標(x,y)の周辺225ピクセル内のブロックノイズの数であり、その225ピクセル内に位置する8×8のブロック境界上に存在する高周波成分の数によって求められる。
その後、式(9)によれば、ノイズ除去をかける強度(補正強度)CVを求めている。式中のTは、有効画素数であり、通常は周辺画素数の値225をとる。なお、画像の外周8ピクセル以内ではHFの計算でi+mやj+nが負の値や画像サイズを超える部分を除いて有効画素数を求めている。
式(10)によれば、出力画像データEを構成する各画素値を求めている。補正強度CVが大きいほど、ノイズ除去後画像データDの画素値dに近くなり、補正強度CVが小さいほど、元画像データDpの画素値aに近くなる。ステップS134の実行後、「リターン」に抜けてこのブロックノイズ低減ルーチンを一旦終了する。
図3に戻って、上記ブロックノイズ低減ルーチンの実行後、CPU11は、ステップS140に処理を進めて、ブロックノイズ低減ルーチンで作成された出力画像データEを、表示用画像データDDとして記憶する。一方、ステップS100で元画像データDpがJPEG形式の画像データでないと判定された場合、またはステップS120でブロックノイズの程度が大きくないと判定された場合には、ステップS150に処理を進めて、元画像データDpを、表示用画像データDDとして記憶する。ステップS140またはS150で表示用画像データDDを得ると、CPU11は、ステップS160に処理を進めて、[注目領域の指定]ウィンドウWD1を、ディスプレイ20に表示する処理を行なう。
図8は、[注目領域の指定]ウィンドウWD1の一例を示す説明図である。図示するように、[注目領域の指定]ウィンドウWD1には、画像表示フィールドFD1と、[領域指定]ボタンBT11と、[拡大]ボタンBT12と、[縮小]ボタンBT13が設けられている。
画像表示フィールドFD1には、ステップS140またはS150で得られた表示用画像データDDが表示される。すなわち、元画像データDpがJPEG形式の画像データであり、伸長時のブロックノイズの発生の程度が大きい場合には、そのブロックノイズの発生を低減させた表示用画像データDDが表示され、一方、元画像データDpがJPEG形式の画像データでない場合、または伸長時のブロックノイズの発生の程度が大きくない場合には、元画像データDpがそのまま表示用画像データDDとして表示される。なお、その表示の開始時には、表示倍率が調整され、表示用画像データDDの画像全体が表示される。
「拡大」ボタンBT12は、画像表示フィールドFD1に表示された画像の表示倍率を拡大するためのスイッチである。「拡大」ボタンがクリックされると、「表示拡大モード」になり、画像上にマウスカーソルを移動するとマウスカーソルの形状が変化し、この状態でクリックを行なうことで、表示倍率を10%単位で拡大することができる。同時にクリックした位置が画像表示フィールドFD1の中心に設定される。「縮小」ボタンBT13は、画像表示フィールドFD1に表示された画像の表示倍率を縮小するためのスイッチである。「縮小」ボタンがクリックされると、「表示縮小モード」になり、画像上にマウスカーソルを移動するとマウスカーソルの形状が変化し、この状態でクリックを行なうことで、表示倍率を10%単位で縮小することができる。同時にクリックした位置が画像表示フィールドFD1の中心に設定される。図4に示した例では、「拡大」ボタンBT12をクリックして上記のように操作がなされた結果、画像データDpは所望の倍率に拡大され、撮影画像に写ったピアノの角部辺りがクローズアップされて、画像表示フィールドFD1の中心に位置するように表示されている。
[領域指定]ボタンBT11は、画像表示フィールドFD1に表示された撮影画像に対して注目する領域(以下、「注目領域」と呼ぶ)を指定するためのスイッチである。[領域指定]ボタンBT11がクリックされると、「領域指定モード」になり、撮影画像上をドラッグして始点と終点を結んだ直線を対角線とする矩形で注目領域を指定することができる。
図9は、注目領域SAの指定がなされた後の[注目領域の指定]ウィンドウWD1の一例を示す説明図である。図示するように、画像表示フィールドFD1に表示された画像に対して、矩形の線分によって注目領域SAが指定される。操作者は、[領域指定]ボタンBT11をクリックした後、マウス24を用いたドラッグ操作により、画像表示フィールドFD1に表示された撮影画像上に所望の領域を指定することができる。図示の例では、撮影画像に写ったピアノの角部を中心として、注目領域SAが指定されている。ピアノの角部のように周囲との濃度値(階調値)の差が大きい領域の境界、すなわちオブジェクトのエッジ部は、手ブレが顕著に現われることから、手ブレの検出が容易であるためである。この注目領域SAを指定する処理が図3のステップS170である。
その後、[注目領域の指定]ウィンドウWD1において、[OK]ボタンBT14がクリックされると、[注目領域の指定]ウィンドウWD1は閉じられ、CPU11は、図3に示すように、続くステップS180に処理を進める。ステップS180では、ステップS170で指定された注目領域SAと座標位置の一致する領域を元画像データDp上で特定して、その領域で囲まれたデータを、注目画像データGSとして抽出する。なお、注目領域SAの指定が操作者によりなされない状態で、[OK]ボタンBT14がクリックされた場合には、画像データDp全体を注目画像データGSとする。
その後、CPU11は、注目画像データGSで示される注目画像についての手ブレの方向θ1と程度m1を検出する手ブレ方向・程度検出ルーチンを実行する(ステップS190)。
図10は、手ブレ方向・程度検出ルーチンの詳細を示すフローチャートである。図示するように、このルーチンに処理が移行すると、CPU11は、まず、初期設定として、変数m1と変数θ1にそれぞれ値0をセットする(ステップS191)。次いで、CPU11は、ステップS120で抽出した注目画像データGSを構成する画素を1つ注目画素として選択する処理を行なう(ステップS192)。次いで、CPU11は、その注目画素を中心とする縦方向に3画素、横方向に3画素の3×3の領域に対して、水平方向ソーベル(Sobel)フィルタを用いたフィルタ演算処理を実行する(ステップS193)。
図11は、水平方向ソーベルフィルタを示す説明図である。水平方向ソーベルフィルタは、縦方向に3画素、横方向に3画素の3×3のフィルタであり、図示のごとく、各ピクセルの重み係数が定められている。
ステップS193では、詳細には、注目画素を中心とする3×3の領域に対して、水平方向ソーベルフィルタに示される係数をそれぞれ乗算し、結果を合計するといったフィルタ演算処理を実行する。この合計値をThとする。
図10に戻り、ステップS193の実行後、CPU11は、ステップS191で選択された注目画素を中心とする縦方向に3画素、横方向に3画素の3×3の領域に対して、垂直方向ソーベル(Sobel)フィルタを用いたフィルタ演算処理を実行する(ステップS194)。
図12は、垂直方向ソーベルフィルタを示す説明図である。垂直方向ソーベルフィルタは、縦方向に3画素、横方向に3画素の3×3のフィルタであり、図示のごとく、各ピクセルの重み係数が定められている。
ステップS194では、詳細には、注目画素を中心とする3×3の領域に対して、垂直方向ソーベルフィルタに示される係数をそれぞれ乗算し、結果を合計するといったフィルタ演算処理を実行する。この合計値をTvとする。
ステップS194の実行後、CPU11は、ステップS193とステップS194のフィルタ演算処理により求められた合計値Th、Tvから、注目画素におけるエッジの方向θと程度mを算出する処理を行なう(ステップS195)。図13は、合計値Th、Tvとエッジの方向θ、程度mとの関係を示す説明図である。図示するように、ベクトル演算することで、合計値Th、Tvの和であるベクトルαが求まり、このベクトルαの方向θと長さmを、注目画素におけるエッジの方向θと程度mとする。
図10に戻り、ステップS195の実行後、CPU11は、ステップS195で求めた程度mが、変数m1より大きいか否かを判別する(ステップS196)。ここで、大きいと判別された場合には、変数m1に程度mを代入するとともに、変数θ1にステップS195で求めたエッジの方向θを代入する(ステップS197)。すなわち、程度mが、これまでの値より大きくなったときに、その程度mと方向θを、m1、θ1に記憶する処理を行なう。ステップS197の実行後、CPU11は、ステップS198に処理を進める。一方、ステップS196で、程度mが、変数m1以下であると判別された場合には、CPU11は、ステップS197を実行することなく、ステップS198に処理を進める。
ステップS198では、CPU11は、注目画像データGSの全画素についてステップS192ないしS197の処理が終了したか否かを判定し、終了していなければ、ステップS192で画素を次の画素に移行して、ステップS193ないしS197の処理を繰り返す。一方、ステップS198で全画素についての処理が終了したと判定された場合には、「リターン」に抜けて、このルーチンの処理を一旦終了する。
上記のように構成された手ブレ方向・程度検出ルーチンによれば、注目画像データGSの中で、エッジの程度が最大となる画素におけるエッジの方向θ1と程度m1が得られる。
図3に戻って、手ブレ方向・程度検出ルーチンを抜けると、CPU11は、ステップS200に処理を進める。ステップS200では、CPU11は、ステップS180で抽出した注目画像データGSについての手ブレ補正ルーチンを実行する。
図14は、注目画像データGSについての手ブレ補正ルーチンの詳細を示すフローチャートである。図示するように、このルーチンに処理が移行すると、CPU11は、まず、手ブレ方向・程度検出ルーチンで算出されたエッジの方向θ1と程度m1に基づいて、モーションブラー(Motion Blur)フィルタを算出する処理を行なう(ステップS201)。モーションブラーフィルタは、画像に対し「動作ぼかし」をかけるフィルタであり、動作の方向とぼかしの程度の入力に応じてフィルタの係数が定まる。すなわち、動作の方向θおよび程度mと、モーションブラーフィルタF1とは、次式(11)の関係が成り立つ。
F1=F(θ,m) ...(11)
ここで、Fは、モーションブラーフィルタを求める際の関数である。
そこで、ステップS201では、「動作の方向θ」を、手ブレ方向・程度検出ルーチンで算出されたエッジの方向θ1とし、「動作の程度m」を、手ブレ方向・程度検出ルーチンで算出されたエッジの程度m1として、上記式(11)の関係から、モーションブラーフィルタF1を算出する。
図15は、モーションブラーフィルタの一例を示す説明図である。モーションブラーフィルタF1は、縦方向に3画素、横方向に3画素の3×3のフィルタであり、図示のごとく、各ピクセルの重み係数が定められている。
図14に戻り、ステップS141の実行後、CPU11は、その注目画像データGSに対して、モーションブラーフィルタF1を用いたフィルタ演算処理を実行する(ステップS202)。詳細には、手ブレ方向・程度検出ルーチンと同様に、注目画像データGSから注目画素を選択して、その注目画素を中心とする縦方向に3画素、横方向に3画素の3×3の領域を抽出して、この3×3の領域に対して、フィルタ、ここでは、モーションブラーフィルタF1を用いたフィルタ演算処理を実行していく、このフィルタ演算処理によって求められた値に注目画素の階調値を変換する。この一連の処理を注目画素を順次切り換えて、注目画像データGSの全画素について行なう。こうして得られた新たな画像データをぼかし画像データGS*とする。
続いて、CPU11は、ステップS180で抽出した注目画像データGSからステップS202で求められたぼかし画像データGS*を引くことによって、両者の差分DSを演算する(ステップS203)。詳細には、注目画像データGSとぼかし画像データGS*とを、画素毎にRGB毎の階調値の引き算を行なうことで、両画像データGS、GS*の差分DSの演算を行なう。
その後、CPU11は、ステップS203で算出された差分DSを、ステップS120で抽出した注目画像データGSに加えて、新たな画像データを生成する(ステップS204)。詳細には、注目画像データGSと差分DSとを、画素毎にRGB毎の階調値の足し算を行なうことで、両データGS、DSを合成する演算を行なう。
図16は、注目画像データGSについての手ブレ補正ルーチンに従う処理内容を概念的に示す説明図である。図中において、ハッチングの部分が、注目画像GSにおける所定の部位であり、ここでは、ピアノの角部を模式化したものである。この部位の画像部分には、手ブレによるぼけた部分を含んでいる。この手ブレの方向θ1と程度m1は、手ブレ方向・程度検出ルーチンにより自動的に検出されているが、図中のベクトルVは、この手ブレの方向θ1と程度m1を示すものである。ステップS201、S202によれば、ベクトルVの方向θ1、長さm1でもって動作ぼかしがなされることから、ピアノの角部の下側境界線は、図中、1点鎖線の位置に移動し、この1点鎖線を境界とするぼかし画像GS*が生成される。
ステップS203によれば、注目画像GSからぼかし画像GS*を引くことで両画像の差分DSが、図示するように求まり、ステップS204では、この差分DSを注目画像GSに足し込むことで(ベクトルVの方向を正の方向とすると、差分DSは負の値をとることから)、注目画像GSから手ブレにより動作ぼかしされた分だけ取り除くことができる。この結果、図中2点鎖線に示すように、手ブレがない新たな画像データTGSを生成することができる。こうして得られた画像データTGSは、高精度に手ブレが補正されている。以下、この画像データTGSを「補正後注目画像データ」と呼ぶ。
図14に戻り、ステップS204の実行後、「リターン」に抜けて、このルーチンの処理を一旦終了する。
図3に戻って、注目画像データGSについての手ブレ補正ルーチンを抜けると、CPU11は、ステップS210に処理を進める。ステップS210では、CPU11は、[手ブレ補正]ウィンドウWD2を表示する処理を行なう。
図17は、[手ブレ補正]ウィンドウWD2の一例を示す説明図である。図示するように、[手ブレ補正]ウィンドウWD2には、[元画像]表示フィールドFD11と、[補正後]表示フィールドFD12とが設けられている。[補正後]表示フィールドFD12の上部には、[ウィンドウに合わせて表示]ボタンBT21、[100%表示]ボタンBT22、[10%縮小表示]ボタンBT23、[10%拡大表示]ボタンBT24が設けられている。下方には、[OK]ボタンBT25が設けられている。
[元画像]表示フィールドFD11には、ステップS180で抽出した注目画像データGSが表示される。[補正後]表示フィールドFD12には、注目画像データGSについての手ブレ補正ルーチンで得られた補正後注目画像データTGSが表示される。両画像データGS、TGSは、注目画像のサイズと両表示フィールドFD11、FD12のサイズから自動計算された同じ位置および表示倍率で表示されており、操作者による比較が容易なように構成されている。
[ウィンドウに合わせて表示]ボタンBT21がクリックされると、[元画像]・[補正後]表示フィールドFD11、FD12内に画像全体が表示されるように表示倍率が計算され、その表示倍率で両表示フィールドFD11、FD12の画像が表示される。[100%表示]ボタンBT22がクリックされると、両画像ともに、ディスプレイ20の1 画素と画像データの1 画素が1:1 になるように表示される。[10%縮小表示]ボタンBT23がクリックされると、両画像の現在の表示倍率を10%縮小して表示される。[10%拡大表示]ボタンBT24がクリックされると、両画像の現在の表示倍率を10%拡大して表示される。
[OK]ボタンBT25は、[補正後]表示フィールドFD12に表示された補正後画像が良好だと操作者によって判断されたときに、操作者からのクリックを受け付けるものである。一方、[手動補正]ボタンBT26は、補正後画像が不可であると操作者によって判断されたときに、操作者からのクリックを受け付けるもので、この[手動補正]ボタンBT26がクリックされたときには、操作者による手動にて手ブレ補正を行なうことが可能となる。
図3に戻って、ステップS210で、上述した構成の[手ブレ補正]ウィンドウWD2が表示されると、CPU11は、ステップS220に処理を進めて、操作者による操作指令は、上記[OK]ボタンBT25と[キャンセル]ボタンBT26のいずれをクリックするものであるかを判別する処理を行なう。ここで、[OK]ボタンBT25がクリックされたと判定された場合には、手ブレ補正の対象である画像データDpに対して手ブレ補正処理を実行する(ステップS230)。
ステップS230の手ブレ補正処理は、詳細には、ステップS190の手ブレ方向・程度検出ルーチンで検出された手ブレの方向θ1と程度m1を、手ブレ補正を施す画像データDp全体の手ブレの方向として、この手ブレの方向θ1と程度m1を用いて補正を行なうものである。すなわち、図14に示した「注目画像データGSについての手ブレ補正ルーチン」において、処理対象を注目画像データGSに換えて画像データDpとした手ブレ補正処理を行なう。こうして得られた新たな画像データは、手ブレが補正された補正後画像データとして出力される。ステップS230の実行後、「リターン」に抜けてこの処理ルーチンを終了する。
一方、ステップS220で、[キャンセル]ボタンBT26がクリックされたと判定された場合には、CPU11は、処理を「リターン」に進めて、この処理ルーチンを終了する。
図1に示した指令受信部30は、CPU11による、マウス24からの手ブレ補正を開始する旨の指令を受ける構成に対応する。ノイズ低減部31は、CPU11により実行されるステップS130に、画像表示部32は、CPU11により実行されるステップS160に対応し、パラメータ指定部33は、CPU11により実行されるステップS170ないしS190に対応し、補正部34は、CPU11により実行されるステップS200,S230に対応する。
C.作用・効果:
以上のように構成されたこの実施例のコンピュータシステムによれば、JPEG形式の元画像データDpに対してブロックノイズ低減処理が実行されて、そのブロックノイズが低減された後の元画像データDpが、表示用画像データDDとして[注目領域の指定]ウィンドウWD1に表示される。このために、操作者は、マウス24を用いて、表示用画像におけるオブジェクトのエッジ部を指定するに際して、ブロックノイズが低減された画像を見ることができる。これにより、操作者は、ブロックノイズにおけるブロック同士の境界をエッジとして誤認識することがない。したがって、このコンピュータシステムによれば、視認性の点で優れており、この結果、補正精度を向上することができるという効果を奏する。
また、この実施例では、[注目領域の指定]ウィンドウWD1には、「拡大」ボタンBT12が設けられていることから、表示用画像におけるオブジェクトのエッジ部の指定が容易である。一方、JPEG形式の画像データを拡大すると、ブロックノイズにおけるブロック同士の境界をエッジとして誤認識してしまう可能性が高まるが、この実施例では、表示用画像はブロックノイズが低減されていることから、上記誤認識を防止することができる。
さらに、この実施例では、元画像データDpがJPEG形式の画像データであり、伸長時のブロックノイズの発生の程度が大きい場合に、[注目領域の指定]ウィンドウWD1の表示用画像は、ブロックノイズの発生を低減させたものを用いており、元画像データDpがJPEG形式の画像データでない場合、または伸長時のブロックノイズの発生の程度が大きくない場合には、表示用画像は、元画像データDpがそのまま用いられている。この構成によれば、発生し得るブロックノイズの程度が大きい場合にだけ、ブロックノイズ低減処理が実行される。このために、表示の際に誤認識となり得ないような小さな程度のブロックノイズについてはブロックノイズ低減処理を実行する必要がないことから、処理全体としての高速化を図ることができる。
D.他の実施形態:
なお、この発明は上記の実施例や変形例に限られるものではなく、本発明の要旨を逸脱しない範囲において種々なる態様にて実施することが可能であり、例えば次のような変形も可能である。
(1)前記実施例では、ブロックノイズ判定ルーチンにより、元画像データDpの伸長時のブロックノイズの発生の程度が小さいと判定された場合には、ブロックノイズ低減処理を実行しないように構成されていたが、これに換えて、ブロックノイズの発生の程度にかかわらずJPEG形式の画像データであれば必ずブロックノイズ低減処理を実行するように構成してもよい。
(2)前期実施例では、ブロックノイズ低減処理が施された後の出力画像データEは、[注目領域の指定]ウィンドウWD1の表示用画像として用いられるだけであったが、これに換えて、表示用画像として用いると共に、手ブレ補正処理の処理対象とすることもできる。すなわち、図3のステップS180で、「注目領域SAと座標位置の一致する領域を元画像データDp上で特定して、その領域で囲まれたデータを、注目画像データGSとして抽出する」構成に換えて、「表示用画像(=出力画像データE)に指定された注目領域SAで囲まれた領域のデータをそのまま注目画像データGSとして抽出する」構成とするとともに、ステップS230で手ブレ補正処理を実行する対象を、元画像データDpに換えて出力画像データEとすることができる。この構成によれば、手ブレ補正処理を行なった結果物である画像データは、ノイズが浮き上がることなくエッジのみが強調され、伸長時における画質の劣化が目立たないものとなる。
(3)前記実施例では、パラメータ指定部33により指定されるパラメータを、画像を構成するオブジェクトのエッジ部を含む注目領域SAとしたが、これに換えて、画像における他の所定の部位とすることもできる。さらには、表示用画像上の所定の部位に換えて、スライダーバー等の操作によって入力可能なパラメータの強度等を指定する構成とすることもできる。例えば、シャープフィルタの強度をスライダーバーによって入力可能な構成として、操作者が、表示用画像を見て、その表示用画像からスライダーバーの指示値を換えることでシャープフィルタの強度を変える構成とすることもできる。
(4)前記実施例では、画像補正処理として手ブレ補正処理としていたが、これに換えて、「周辺減光補正」、「スターシャープフィルタ」等の天体画像補正処理や、その他の画像解析・測定処理等とすることができる。要は、補正処理の際に、表示用画像に対してパラメータの設定を必要とする技術であれば適用可能である。
(5)前期実施例では、JPEG形式の画像データを補正する構成であったが、これに換えて、画像を所定の画素数の縦横のブロックに分割して圧縮した圧縮画像であれば、他の圧縮画像データとすることもできる。
(6)前記実施例では、手ブレ補正を行なう手ブレ補正ルーチンを、モーションブラーフィルタを用いてフィルタリングすることにより動作ぼかしを行なって、手ブレ補正を行なう構成であったが、この方法に限る必要もなく、要は、手ブレの方向と程度の入力を受けて、該入力に基づいて撮影画像の手ブレの補正を実行するものであればどのような構成とすることもできる。また、ブロックノイズ判定ルーチンについても、前述した方法に限る必要もなく、JPEG形式の画像に対してブロック境界を横切る強さの相違に基づいて画像の質の評価を行なうものや、JPEG形式の画像に対してブロック境界における周波数の測定値を用いて画像の質の評価を行なうもの等に換えることもできる。
(7)前記実施例では、手ブレを補正する対象としての画像データDpは、デジタルカメラ26により撮影したものとしたが、これに替えて、カラースキャナ等を用いて獲得した銀塩写真の画像データであってもよい。要は、なんらかの撮影装置(例えば、静止画の撮影機能を持ったビデオカメラ)で撮影して得られた撮影画像で、ブロック毎に分割して圧縮した圧縮画像であれば、どのような構成であってもよい。例えば、HDD15等の記憶装置に予め用意したものに換えて、ネットワークを介して外部から取り込んだものであってもよい。
本発明の一実施例を適用するコンピュータシステムの概略構成を示す説明図である。 アプリケーションウィンドウWDの一例を示す説明図である。 CPU11により実行される処理ルーチンを示すフローチャートである。 ブロックノイズ判定ルーチンの詳細を示すフローチャートである。 輝度強度差を計算する際の動作を示す説明図である。 輝度と輝度強度差と輝度の変化の滑らかさの一例を示す説明図である。 ブロックノイズ低減ルーチンの詳細を示すフローチャートである。 [注目領域の指定]ウィンドウWD1の一例を示す説明図である。 注目領域SAの指定がなされた後の[注目領域の指定]ウィンドウWD1の一例を示す説明図である。 手ブレ方向・程度検出ルーチンの詳細を示すフローチャートである。 水平方向ソーベルフィルタを示す説明図である。 垂直方向ソーベルフィルタを示す説明図である。 合計値Th、Tvとエッジの方向θ、程度mとの関係を示す説明図である。 注目画像データGSについての手ブレ補正ルーチンの詳細を示すフローチャートである。 モーションブラーフィルタの一例を示す説明図である。 注目画像データGSについての手ブレ補正ルーチンに従う処理内容を概念的に示す説明図である。 [手ブレ補正]ウィンドウWD2の一例を示す説明図である。
符号の説明
10...パーソナルコンピュータ
11...CPU
12...バス
13...メモリ
14...表示画像メモリ
15...ハードディスクドライブ
16...入力制御ユニット
17...表示制御ユニット
18...出力制御ユニット
20...ディスプレイ
22...キーボード
24...マウス
26...デジタルカメラ
28...CDドライブ
29...プリンタ
30…指令受信部
31…ノイズ低減部
32…画像表示部
33…パラメータ指定部
34…補正部
Pr...コンピュータプログラム
F1、F2...モーションブラーフィルタ
WD...アプリケーションウィンドウ
FDW...作業フィールド
WD1...[注目領域の指定]ウィンドウ
BT11…[領域指定]ボタン
BT12…[拡大]ボタン
BT13…[縮小]ボタン
FD1...画像表示フィールド
WD2...[手ブレ補正]ウィンドウ
FD11...[元画像]表示フィールド
FD12...[補正後]表示フィールド
BT25...[OK]ボタン
SA...注目領域
Dp…元画像データ
GS...注目画像データ
B…平均化画像データ
C…高周波成分抽出画像データ
D…ノイズ除去後画像データ
DD…表示用画像データ

Claims (10)

  1. 画像を所定の画素数の縦横のブロックに分割して圧縮した圧縮画像を元画像として、該
    元画像を補正する画像補正装置であって、
    所定の補正処理の実行を開始する旨の指令を受ける指令受信手段と、
    前記指令を受けたときに、前記圧縮画像を伸張する際に発生するブロックノイズを低減
    するブロックノイズ低減処理を前記元画像に対して実行するノイズ低減手段と、
    前記ブロックノイズ低減処理の実行後の元画像を表示用画像として表示装置に表示する
    画像表示手段と、
    操作者からの入力装置を用いた操作指令に基づいて、前記表示用画像に対するパラメー
    タを指定するパラメータ指定手段と、
    前記指定されたパラメータに基づいて、前記所定の補正処理を実行する補正手段と
    を備え、
    前記ノイズ低減手段は、前記元画像の高周波成分の画素の数と、ブロックノイズの画素の数との差を求め、該差に基づいて前記ブロックノイズ低減処理に際しての強度を設定することを特徴とする、画像補正装置。
  2. 請求項1に記載の画像補正装置であって、
    前記ノイズ低減手段は、
    前記指令を受けたときに、補正対象の画像が、前記圧縮画像であるか否かを判定する画
    像判定手段
    を備え、該画像判定手段により圧縮画像と判定されたときに、前記補正対象の画像を前
    記元画像として、前記ブロックノイズ低減処理を実行するように構成した、
    画像補正装置。
  3. 請求項1に記載の画像補正装置であって、
    前記ノイズ低減手段は、
    前記指令を受けたときに、前記圧縮画像に発生し得るブロックノイズの程度を判定する
    ノイズ判定手段
    を備え、該ノイズ判定手段によりブロックノイズの程度が大きいと判定されたときに、
    前記ブロックノイズ低減処理を実行するように構成した、
    画像補正装置。
  4. 請求項1ないし3のいずれかに記載の画像補正装置であって、
    前記パラメータ指定手段は、
    前記表示装置に表示された表示用画像における画像を構成するオブジェクトのエッジ部
    を、操作者からの入力装置を用いた操作指令に基づいて指定する所定部位指定手段
    を備え、
    前記所定の補正処理は、
    撮影装置で撮影して得られた画像の手ブレを補正する手ブレ補正処理であり、前記所定
    部位指定手段により指定されたエッジ部に基づいて、前記手ブレの方向と程度を検出する
    手ブレ方向・程度検出手段と、
    該検出された手ブレの方向と程度の入力を受けて、該入力に基づいて前記手ブレ補正処
    理を実行する手ブレ補正手段と
    を備える画像補正装置。
  5. 請求項4に記載の画像補正装置であって、
    前記手ブレ補正手段は、
    入力された前記手ブレの方向と程度に基づいて、動作ぼかしを掛けるモーションブラー
    フィルタを設定するフィルタ設定手段と、
    該設定されたモーションブラーフィルタを用いて、前記撮影画像に対して演算処理を行
    なうフィルタ演算手段と、
    前記撮影画像と前記フィルタ演算手段により得られた画像との差分を演算する画像差分
    演算手段と、
    前記撮影画像に対して前記差分を合成することにより、前記撮影画像に対して前記手ブ
    レの方向と反対側にぶれた画像を補正後画像として生成する画像合成手段と
    を備える画像補正装置。
  6. 前記圧縮画像は、JPEG形式の画像データである請求項1ないし5のいずれかに記載
    の画像補正装置。
  7. 画像を所定の画素数の縦横のブロックに分割して圧縮した圧縮画像を元画像として、該
    元画像を補正する画像補正方法であって、
    (a)所定の補正処理の実行を開始する旨の指令を受ける程と、
    (b)前記指令を受けたときに、前記圧縮画像を伸張する際に発生するブロックノイズを
    低減するブロックノイズ低減処理を前記元画像に対して実行する程と、
    (c)前記ブロックノイズ低減処理の実行後の元画像を表示用画像として表示装置に表示
    する程と、
    (d)操作者からの入力装置を用いた操作指令に基づいて、前記表示用画像に対するパラ
    メータを指定する程と、
    (e)前記指定されたパラメータに基づいて、前記所定の補正処理を実行する程と
    を備え、
    前記程(b)は、前記元画像の高周波成分の画素の数と、ブロックノイズの画素の数との差を求め、該差に基づいて前記ブロックノイズ低減処理に際しての強度を設定する工程を含むことを特徴とする、画像補正方法。
  8. 画像を所定の画素数の縦横のブロックに分割して圧縮した圧縮画像を元画像として、該
    元画像を補正するためのコンピュータプログラムであって、
    (a)所定の補正処理の実行を開始する旨の指令を受ける機能と、
    (b)前記指令を受けたときに、前記圧縮画像を伸張する際に発生するブロックノイズを
    低減するブロックノイズ低減処理を前記元画像に対して実行する機能と、
    (c)前記ブロックノイズ低減処理の実行後の元画像を表示用画像として表示装置に表示
    する機能と、
    (d)操作者からの入力装置を用いた操作指令に基づいて、前記表示用画像に対するパラ
    メータを指定する機能と、
    (e)前記指定されたパラメータに基づいて、前記所定の補正処理を実行する機能と
    前記機能(b)は、前記元画像の高周波成分の画素の数と、ブロックノイズの画素の数との差を求め、該差に基づいて前記ブロックノイズ低減処理に際しての強度を設定する機能と、を備え、
    前記機能(a)ないし(e)をコンピュータに実現させるコンピュータプログラム。
  9. 請求項8に記載のコンピュータプログラムであって、
    前記機能(d)は、
    前記表示装置に表示された表示用画像における所定の部位を、操作者からの入力装置を
    用いた操作指令に基づいて指定する機能
    を備えるコンピュータプログラム。
  10. 請求項8ないし9にいずれかに記載のコンピュータプログラムを記録したコンピュータ
    読み取り可能な記録媒体。
JP2004346241A 2004-11-30 2004-11-30 画像補正装置、画像補正方法およびコンピュータプログラム Active JP4715178B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004346241A JP4715178B2 (ja) 2004-11-30 2004-11-30 画像補正装置、画像補正方法およびコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004346241A JP4715178B2 (ja) 2004-11-30 2004-11-30 画像補正装置、画像補正方法およびコンピュータプログラム

Publications (3)

Publication Number Publication Date
JP2006157579A JP2006157579A (ja) 2006-06-15
JP2006157579A5 JP2006157579A5 (ja) 2007-11-29
JP4715178B2 true JP4715178B2 (ja) 2011-07-06

Family

ID=36635308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004346241A Active JP4715178B2 (ja) 2004-11-30 2004-11-30 画像補正装置、画像補正方法およびコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP4715178B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5012315B2 (ja) * 2007-08-20 2012-08-29 セイコーエプソン株式会社 画像処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH033571A (ja) * 1989-05-31 1991-01-09 Matsushita Electric Ind Co Ltd 手ぶれ補正装置
JPH08307760A (ja) * 1995-04-28 1996-11-22 Matsushita Electric Ind Co Ltd 画像メモリ機能付き映像装置
JPH10229546A (ja) * 1997-02-13 1998-08-25 Sony Corp 映像信号処理装置及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH033571A (ja) * 1989-05-31 1991-01-09 Matsushita Electric Ind Co Ltd 手ぶれ補正装置
JPH08307760A (ja) * 1995-04-28 1996-11-22 Matsushita Electric Ind Co Ltd 画像メモリ機能付き映像装置
JPH10229546A (ja) * 1997-02-13 1998-08-25 Sony Corp 映像信号処理装置及び方法

Also Published As

Publication number Publication date
JP2006157579A (ja) 2006-06-15

Similar Documents

Publication Publication Date Title
KR102277048B1 (ko) 미리보기 사진 블러링 방법 및 장치 및 저장 매체
KR101036787B1 (ko) 움직임 벡터 연산 방법과 이 방법을 이용한 손 떨림 보정장치, 촬상 장치, 및 동영상 생성 장치
JP4403397B2 (ja) ユーザインタフェース提供装置
WO2018176925A1 (zh) Hdr图像的生成方法及装置
US9262684B2 (en) Methods of image fusion for image stabilization
JP2019160298A (ja) 一連の画像の画像内のオブジェクト境界安定化のための画像処理装置及び方法
CN106462955B (zh) 具有时间平滑和用户超驰的自动视频质量增强
US7580566B2 (en) Image processing device, image processing method, storage medium, and program
US7668389B2 (en) Image processing method, image processing apparatus, and image processing program
JP4443064B2 (ja) 局所的な色補正を実行する方法および装置
JP2001118062A (ja) ダイナミックレンジ自動圧縮方法
JP2006050494A (ja) 画像撮影装置
JP5653104B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2004310475A (ja) 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム
JP2008118216A (ja) 画像処理装置および画像処理プログラム
JP2004362443A (ja) パラメータ決定方式
CN113888509A (zh) 一种图像清晰度的评价方法、装置、设备及存储介质
JP4715178B2 (ja) 画像補正装置、画像補正方法およびコンピュータプログラム
JP4784175B2 (ja) 逆光画像判定および暗部補正
JP4692102B2 (ja) 画像領域の指定
JP6938282B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4100860B2 (ja) 画像処理装置および画像処理方法および記録媒体
JP4507338B2 (ja) 画像補正装置、及び画像補正プログラムを記録した記録媒体
JP2018128764A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2006155063A (ja) 画像補正装置、画像補正方法およびコンピュータプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070808

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071011

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20071011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110314

R150 Certificate of patent or registration of utility model

Ref document number: 4715178

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350