JP4759877B2 - 画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置 - Google Patents
画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置 Download PDFInfo
- Publication number
- JP4759877B2 JP4759877B2 JP2001243915A JP2001243915A JP4759877B2 JP 4759877 B2 JP4759877 B2 JP 4759877B2 JP 2001243915 A JP2001243915 A JP 2001243915A JP 2001243915 A JP2001243915 A JP 2001243915A JP 4759877 B2 JP4759877 B2 JP 4759877B2
- Authority
- JP
- Japan
- Prior art keywords
- brightness
- change
- saturation
- data
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/202—Gamma control
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0247—Flicker reduction other than flicker reduction circuits used for single beam cathode-ray tubes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S348/00—Television
- Y10S348/91—Flicker reduction
Description
【発明の属する技術分野】
本発明は、フリッカ等の不要な明度変化ないしは彩度変化に対して、精度良くフリッカ等の有無の判定や画像データの補正を行うことができる、コンピュータ用の画像処理プログラム及びこれを記録した記録媒体、画像処理方法並びに画像処理装置に関するものである。
【0002】
【従来の技術】
一般に、蛍光灯等の照明具により照明された環境下で、デジタルカメラ等により撮影された動画には、撮影される条件によってはフリッカ等の不要な明度変化ないしは彩度変化が発生することがある。なお、フリッカとは、照明具の照明特性変化の周波数と、動画のフレームレートとが同期しないことにより、動画の明度、彩度などが周期的に変化するといった好ましくない現象である。また、ここで、「不要な」とは、単に必要がないということを意味するのではなく、好ましくない、ないしは除去されるべきであることを意味するものである。
【0003】
かくして、例えば特開2000−324365号公報には、過去数フレームの画像データに基づいて動画データを補正し、フリッカの発生を防止ないしは抑制するようにした画像処理装置が開示されている。
【0004】
【発明が解決しようとする課題】
しかしながら、例えば特開2000−324365号公報に開示されている従来のフリッカの防止・抑制手法では、フリッカの有無の判定ないしはこれを解消するための画像補正の精度が十分ではないといった問題がある。
【0005】
また、フリッカに加えて、その他の原因により動画に不要な明度変化ないしは彩度変化が生じている場合、例えばデジタルカメラの不適切な自動露出等により長周期で明度ないしは彩度がふらつくような場合には、該明度変化ないしは彩度変化は重畳された複数の変化パターンを含むことになる。しかしながら、上記従来のフリッカの防止・抑制手法では、このような場合は不要な明度変化ないしは彩度変化を有効に防止ないしは抑制することができないといった問題がある。
【0006】
本発明は、上記従来の問題を解決するためになされたものであって、自動的に、動画におけるフリッカ等の不要な明度変化又は彩度変化の有無ないしは態様を精度良く判定することができ、さらには動画に不要な明度変化又は彩度変化が生じるのを有効に防止ないしは抑制することができる手段を提供することを解決すべき課題とする。
【0007】
【課題を解決するための手段】
上記課題を解決するためになされた本発明にかかる画像処理プログラムは、(1)動画像を入力するステップ(以下、「動画像入力ステップ」という。)と、(2)動画像の明度又は彩度についての画像データに基づいて明度又は彩度について、移行平均の時間間隔を異ならせて時間軸方向に画像データの移行平均をとることにより、移行平均の時間間隔が異なる複数の基準データを作成するステップ(以下、「第1の基準データ作成ステップ」という。)と、(3)複数の基準データのうちのいずれか1つの基準データに対して、画像データに所定の明度又は彩度の変化があれば、動画像が不要な明度変化又は彩度変化(例えば、フリッカ)を伴っていると判定するステップ(以下、「変化判定ステップ」という。)とをコンピュータに実行させることを特徴とするものである。
コンピュータでこの画像処理プログラムを実行すれば、自動的に、動画におけるフリッカ等の不要な明度変化又は彩度変化の有無ないしは態様を精度良く判定することができる。
【0009】
本発明にかかる記録媒体は、(1)上記動画像入力ステップと、(2)上記第1の基準データ作成ステップと、(3)上記変化判定ステップとをコンピュータに実行させるための画像処理プログラムを記録していることを特徴とするものである。コンピュータにこの記録媒体を装着し、これに記録されているプログラムを実行すれば、自動的に、動画におけるフリッカ等の不要な明度変化又は彩度変化の有無ないしは態様を精度良く判定することができる。
【0011】
本発明にかかる画像処理方法は、(1)上記動画像入力ステップと、(2)上記第1の基準データ作成ステップと、(3)上記変化判定ステップとを含んでいることを特徴とするものである。この画像処理方法によれば、自動的に、動画におけるフリッカ等の不要な明度変化又は彩度変化の有無ないしは態様を精度良く判定することができる。
【0014】
本発明にかかる画像処理装置は、(1)動画像を入力する動画像入力手段と、(2)動画像の明度又は彩度についての画像データに基づいて、明度又は彩度について、移行平均の時間間隔を異ならせて時間軸方向に前記画像データの移行平均をとることにより、移行平均の時間間隔が異なる複数の基準データを作成する基準データ作成手段と、(3)複数の基準データのうちのいずれか1つの基準データに対して、画像データに所定の明度又は彩度の変化があれば、前記動画像が不要な明度変化又は彩度変化を伴っていると判定する変化判定手段とを備えていることを特徴とするものである。この画像処理装置によれば、自動的に、動画におけるフリッカ等の不要な明度変化又は彩度変化の有無ないしは態様を精度良く判定することができる。
【0016】
【発明の実施の形態】
以下、本発明のいくつかの実施の形態を説明する。なお、いずれの実施の形態も、フリッカ等の不要な明度変化の有無ないしは態様を判定し、あるいは明度を補正するものであるが、同様の手法で不要な彩度変化についてもその有無ないしは態様を判定し、あるいは彩度を補正することができる。
また、各実施の形態において、ハードウエア構成は実質的に同一であり、そのソフトウエアが異なるだけである。そこで、まず各実施の形態に共通な、本発明にかかる画像処理装置のハードウエア構成を説明する。
【0017】
図14に示すように、本発明にかかる画像処理装置Sには、動画におけるフリッカ等の不要な明度変化の有無ないしは態様を判定し、あるいは明度を補正するための各種データ処理を行うホストコンピュータ1(以下、略して「コンピュータ1」という。)が設けられている。このコンピュータ1には、各種データを記憶するための外部記憶装置2と、各種情報をディスプレイ上に表示するモニタ3と、ユーザ(オペレータ)がコンピュータ1を操作するためのマウス4及びキーボード5とが接続されている。
【0018】
図15に示すように、コンピュータ1には、記憶装置11と入出力インターフェース12とCPU/メモリ13とが設けられている。記憶装置11は、実質的に、処理演算部14とOSセクション15とで構成されている。ここで、モニタ3とマウス4とキーボード5とは、それぞれ、入出力インターフェース12に接続されている。なお、入出力インターフェース12には、画像データ入出力装置16も接続されている。
【0019】
以下、各実施の形態を具体的に説明する。
(実施の形態1)
実施の形態1においては、図14及び図15に示す画像処理装置Sを用いて、図1のフローチャートに示すデータ処理手順にしたがって、自動的に基準明度データが作成され、不要な明度変化の有無ないしは態様が判定される。なお、このフローチャートに示すデータ処理手順のプログラムは、コンピュータ1の記憶装置11又は外部記憶装置2(記録媒体)に記録されている(実施の形態2〜5についても同様である。)。
【0020】
以下、図1に示すフローチャートを参照しつつ、実施の形態1にかかるデータ処理手順ないしは画像処理手順を説明する。
画像データ入出力部16からコンピュータ1に動画像が入力されると、コンピュータ1は動画データ処理を開始し、まず各フレームの平均明度Liを計算する(ステップS11)。ここで、添え字のiは、フレーム番号を表す。なお、例えば2画素毎にサンプリングするなどして、このデータ処理を高速化することもできる。
【0021】
続いて、コンピュータ1は、各フレームの平均明度Liに対して、時間軸方向に移行平均(ないしは、移動平均)をとり、基準明度データを作成する(ステップS12)。ここでは、例えば移行平均を、あるフレーム(添え字i)と、その前のnフレームと、その後のnフレームとを使用し、次の式1を用いて計算する。つまり、基準明度L'iは、移行平均がとられた後における各フレームの平均明度(以下、「移行平均明度L'i」という。)を表している。
【0022】
ただし、一連のフレーム中で最初のフレームないしはその近傍のフレーム、あるいは最後のフレームないしはその近傍のフレームについて、式1を用いて移行平均明度L'iを算出する場合は、その前後に計算に用いるべきフレームが存在しないことがあるが、このようなフレームは移行平均をとる対象とはしない。
図6に、各フレーム毎の平均明度Liの経時変化(実線)と、式1を用いて算出された移行平均明度L'iの経時変化(点線)とを示す。図6から明らかなとおり、移行平均明度L'iは平均化ないしは平滑化されている。
【0023】
次に、コンピュータ1は、次の式2を用いて、各フレームについて、平均明度Liと移行平均明度L'iとの差分Di(以下、「明度差分Di」という。)を算出して、差分データを作成する(ステップS13)。
Di=Li−L'i…………………………………………………………式2
図7に、この明度差分Diの経時変化の一例を示す。図7から明らかなとおり、この例では、明度差分Diは時間に対して周期的に変化している。すなわち、不要な明度変化が存在する。
【0024】
この後、コンピュータ1は、一連の明度差分Diのデータから不要な明度変化部分を抽出する。すなわち、明度差分Diのデータをその符号に基づいてグループ分けし(ステップS14)、不要な明度変化の有無ないしは態様を判定する(ステップS15)。具体的には、明度差分Diの周期性を検出(チェック)し、周期性があれば不要な明度変化があると判定する。
【0025】
以下、表1〜表4を参照しつつ、表1又は表3に示すような明度差分Diのデータが得られた場合について、不要な明度変化の周期性の判定手法を説明する。
すなわち、まず、ある明度差分Diと次の明度差分Di+1とについて符号を比較し、符号がマイナス又は0からプラスに変わっている場合のフレーム番号(i+1)を順次抽出(チェック)してゆく。そして、この抽出されたフレーム(以下、「抽出フレーム」という。)の明度差分データを1番目グループとし、この抽出フレームより後側のフレーム(ただし、次の抽出フレームより前側にあるもの)の明度差分データを該抽出フレームの後に振り分けて、順次、2番目グループ、3番目グループ、………とする。そして、各グループ毎のメンバー数と、各グループにおける明度差分の平均値とを計算する。
【0026】
表2及び表4は、それぞれ、表1及び表3に示す明度差分データを、このようにグループ分けすることにより得られたものである。
例えば、表2では、表1における最初の抽出フレームであるフレーム2の明度差分データが1番目グループとされ、これに続くフレーム3及びフレーム4の明度差分データが、それぞれ、2番目グループ及び3番目グループとされている。なお、この場合4番目グループ及び5番目グループに該当するフレームは存在しないので、これらに欄にはデータは記載されていない(「なし」と記載)。
【0027】
表1 整数の周期性を持つ明度差分データの例
【0028】
表2 表1に示す明度差分データのグループ分け
注:1巡目は、うまくグループに振り分けられない場合がある
ので、計算から省いても良い。上記の例では省いている。
【0029】
表3 小数の周期性を持つ明度差分データの例
【0030】
表4 表3に示す明度差分データのグループ分け
注:1巡目は、うまくグループに振り分けられない場合がある
ので、計算から省いても良い。上記の例では省いている。
【0031】
かくして、表2あるいは表4において、あるグループのメンバー数に対して、2つ次の(次の次の)グループのメンバー数が急に減少している箇所(表4の例では、3番目グループと5番目グループ)があれば、周期性をもつ可能性があると判断する。
【0032】
具体的には、例えば1番目グループのメンバー数(例えば、表4では6)に基づいて、第1閾値Th1と第2閾値Th2とを設定する。例えば、第1閾値Th1をメンバー数の8割とし(表4の例では、4.8)、第2閾値Th2を2割とする(表4の例では、1.2)。そして、メンバー数が第1閾値Th1より小さくなるグループを見出す(表4の例では、4番目グループ)。そして、見出されたグループの次のグループ(表4の例では、5番目グループ)のメンバー数が第2閾値Th2より小さい場合は、周期性をもつ可能性があると判断する。
【0033】
その場合、平均値が第1閾値Th1より大きいメンバーをもつグループ(表4の例では、1〜3番目グループ)の数を該周期の整数部分とし、その次のグループのメンバー数を1番目グループのメンバー数で割った値(表4の例では、2/6=0.33)を該周期の小数部分とする。例えば、表4に示す例では、およそ3.33(3+0.33=3.33)の周期性をもつ可能性があると判断される。これは、整数周期を持つ場合にも当てはまる。例えば、表2に示す例では、3の周期性をもつ可能性があると判断される。
【0034】
次に、周期性をもつ可能性があると判断された場合は、周期性の整数部に該当する各グループ(表4の例では、1〜3番目グループ)の平均値の最大値(表4の例では、6.17)と最小値(表4の例では、−3.67)との差(表4の例では、9.84)が、第3閾値Th3(例えば、3)より大きければ、不要な明度変化があると判定される。
【0035】
かくして、コンピュータ1と、図1のフローチャートに示す手順を実行するプログラムを記録している記録媒体とを用いて画像処理が行われる、実施の形態1にかかる画像処理装置ないしは画像処理方法によれば、自動的に、動画におけるフリッカ等の不要な明度変化の有無ないしは態様を精度良く判定することができる。
【0036】
(実施の形態2)
以下、本発明の実施の形態2を説明する。
実施の形態2においては、図14及び図15に示す画像処理装置Sを用いて、図2のフローチャートに示すデータ処理手順にしたがって、自動的に基準明度データ(移行平均明度)が作成され、動画にフリッカ等の不要な明度変化が生じるのが有効に防止ないしは抑制される。
【0037】
以下、図2に示すフローチャートを参照しつつ、実施の形態2にかかるデータ処理手順を説明する。ただし、図2に示すフローチャートのステップS21〜ステップS22におけるデータ処理手順は、それぞれ、図1に示すフローチャート(実施の形態1)におけるステップS11〜ステップS12でのデータ処理手順と同一であるので、説明の重複を避けるため、ステップS21〜ステップS22についての説明は省略する。
【0038】
実施の形態2では、コンピュータ1は、実施の形態1の場合と同様の手順で基準明度データ(移行平均明度)を作成した後、明度を補正して不要な明度変化を除去する。すなわち、コンピュータ1は、ガンマ補正用の変換テーブルを作成し(ステップS23)、このガンマ補正テーブルを用いて、動画の明度データ(ないしは、動画データ)にガンマ補正を施す(ステップS24)。
【0039】
ガンマ補正テーブルは、例えば図8に示すようなガンマ補正グラフ(ガンマ補正のカーブ)ないしはガンマ補正特性をもつ、現実の明度(横軸)と補正後の明度(縦軸)との対応関係を示すテーブルである。そして、明度のガンマ補正は、横軸(X軸)上に現実の明度を示す点をとり、この点を上向きに伸ばしてガンマ補正グラフと交差する点を求め、この交差点を左向きに伸ばして縦軸(Y軸)と交差する点を求め、この交差点の値を補正後の明度とするといった手順で行われる。
【0040】
図8から明らかなとおり、このガンマ補正グラフは、現実の明度及び補正後の明度がともに0(最小明度)である点(0,0)と、現実の明度が平均明度Liであり補正後の明度が移行平均明度L'iである点(Li,Li’)と、現実の明度及び補正後の明度がともに255(最大明度)である点(255,255)とを直線で結んだ折れ線である。つまり、図8におけるガンマ補正グラフは、現実の明度が平均明度Liである場合はこれを移行平均明度L'iに変換し、それ以外の場合は直線補間を行うといった変換特性を有している。
【0041】
なお、図9に示すように、ガンマ補正グラフとして、点(0,0)と点(Li,L'i)と点(255,255)とを通る曲線(例えば、2次曲線)を用いて明度変化のガンマ補正(補間)を行うようにしてもよい。この場合、図8に示す折れ線(直線)状のガンマ補正グラフを用いる場合に比べて、より滑らかにガンマ補正(補間)を行うできる。
【0042】
なお、実施の形態2における明度の補正においては、実施の形態1における不要な明度変化の判定で用いられた移行平均(式1)を用いることは必ずしも必要ではない。ただ、式1で示す移行平均を用いない場合は、基準明度データ(移行平均明度)をつくり直す必要があるので、計算時間は余計にかかる。しかしながら、移行平均の項数をパラメータとすることにより、明度の補正量を制御することができる。
【0043】
例えば、図13(a)に示すように、移行平均の項数が少ない場合は、各フレーム毎の平均明度(実線)の変化における長周期成分はあまり平均化されない。
他方、図13(b)に示すように、移行平均の項数が多い場合は、各フレーム毎の平均明度(実線)の変化における長周期成分はかなり平均化される。このように、移行平均の項数を変えることにより、任意の補正特性で明度の補正を行うことが可能となる。なお、ユーザの指示により補正特性を変えることもできる。
【0044】
かくして、コンピュータ1と、図2のフローチャートに示す手順を実行するプログラムを記録している記録媒体とを用いて画像処理が行われる、実施の形態2にかかる画像処理装置ないしは画像処理方法によれば、自動的に、動画にフリッカ等の不要な明度変化が生じるのを有効に防止ないしは抑制することができる。
【0045】
(実施の形態3)
以下、本発明の実施の形態3を説明する。
実施の形態3においては、図14及び図15に示す画像処理装置Sを用いて、図3のフローチャートに示すデータ処理手順にしたがって、自動的に基準明度データ(移行平均明度)が作成され、動画に不要な明度変化が生じるのが有効に防止ないしは抑制される。
【0046】
以下、図3に示すフローチャートを参照しつつ、実施の形態3にかかるデータ処理手順を説明する。ただし、実施の形態3にかかるデータ処理手順の基本的な手法は実施の形態2にかかるデータ処理手順と共通であり、データ補正を行う時間範囲をユーザが指定して明度を補正する点が異なるだけである。そこで、説明の重複を避けるため、以下では主として実施の形態2と異なる部分を説明する。
【0047】
画像データ入出力部16からコンピュータ1に動画像が入力されると、コンピュータ1は動画データ処理を開始する。その際、ユーザはまず補正すべき時間範囲を指定する(ステップS31)。次に、コンピュータ1は、自動的に、指定された時間内の基準明度データ(移行平均明度)を作成する(ステップS32)。なお、基準明度データの作成手順は、実施の形態2の場合と同様である。この後、コンピュータ1は、実施の形態2の場合と同様に、ガンマ補正用の変換テーブルを作成し(ステップS33)、明度にガンマ補正を施す(ステップS34)。
【0048】
この種の動画において、フリッカとは別の原因により、例えばデジタルカメラの不適切な自動露出等により明度がふらつくような場合には、明度は経時的にゆっくりと変化する。そして、このような場合は、全時間範囲ではなく、特定の時間範囲において、明度の補正が必要とされるだけであることが多い。
そこで、実施の形態3では、図10に示すように、ユーザが補正したい時間範囲を指定することにより、その時間範囲についてのみ基準明度データを作成し、明度を補正するようにしている。
【0049】
この場合、明度基準データ(移行平均明度)を補正時間範囲より何フレーム分か多めに用いることにより、以下のように明度の時間的な変化を円滑化することができる。
すなわち、補正時間範囲とその他の範囲との境界部近傍では、基準明度データとして移行平均によって得られる値(移行平均明度)をそのまま用いるのではなく、各フレームの平均明度Liと移行平均明度L'iとから、次の式3を用いて補正移行平均明度Lc'iを算出し、これを基準明度データとする。なお、式3において、aは0以上で1以下の補正係数(修正量)ないしはなまし係数である。
Lc'i=(1−a)・Li+a・L'i…………………………………………式3
【0050】
ここで、表5に示すように、補正係数aを上記境界部近傍で、0から1に向かって、又は1から0に向かって滑らかに変化させることにより、実際の明度の補正を円滑化することができる。なお、表5において、ユーザが指定した時間範囲内のフレームは、フレーム番号が7〜17のフレームである。
【0051】
表5 補正係数の設定手法
注) *:指定された時間範囲内のフレーム
【0052】
かくして、コンピュータ1と、図3のフローチャートに示す手順を実行するプログラムを記録している記録媒体とを用いて画像処理が行われる、実施の形態3にかかる画像処理装置ないしは画像処理方法によれば、ユーザが指定した時間範囲内において、自動的に動画に不要な明度変化が生じるのを有効に防止ないしは抑制することができる。
【0053】
(実施の形態4)
以下、本発明の実施の形態4を説明する。
実施の形態4においては、図14及び図15に示す画像処理装置Sを用いて、図4のフローチャートに示すデータ処理手順にしたがって、自動的に基準明度データが作成され、動画に不要な明度変化が生じるのが有効に防止ないしは抑制される。
【0054】
以下、図4に示すフローチャートを参照しつつ、実施の形態4にかかるデータ処理手順を説明する。ただし、実施の形態4にかかるデータ処理手順の基本的な手法は、実施の形態2にかかるデータ処理手順と共通であり、複数の周期性をもつ不要な明度変化を、複数回にわたって補正する点が異なるだけである。そこで、説明の重複を避けるため、以下では主として実施の形態2と異なる部分を説明する。
【0055】
図4に示すように、実施の形態4では、コンピュータ1は、まず短周期の不要な明度変化を補正し(ステップS41)、次に長周期の不要な明度変化を補正する(ステップS42)。その他の点については、実施の形態2の場合と同様である。
【0056】
例えば、実施の形態1にかかる手順ないしは実施の形態2にかかる手順で、フリッカに起因する短周期の不要な明度変化を補正したとしても、不適切な自動露出等に起因して時間的にゆっくりとした長周期の不要な明度変化が依然として残る場合がある(図11中の一番上のグラフ参照)。
しかしながら、図11に示すように、このような場合でも、図4に示すフローチャートにしたがってステップS41とステップS42とに示す手順で、明度変化を複数回補正することにより、動画をほぼ完全に補正することができる。
【0057】
かくして、コンピュータ1と、図4のフローチャートに示す手順を実行するプログラムを記録している記録媒体とを用いて画像処理が行われる、実施の形態4にかかる画像処理装置ないしは画像処理方法によれば、不要な明度変化が複数の周期性をもつ場合でも、自動的に、動画に不要な明度変化が生じるのを有効に防止ないしは抑制することができる。
【0058】
(実施の形態5)
以下、本発明の実施の形態5を説明する。
実施の形態5においては、図14及び図15に示す画像処理装置Sを用いて、図5のフローチャートに示すデータ処理手順にしたがって、自動的に基準明度データが作成され、不要な明度変化の有無ないしは態様が判定される。
【0059】
以下、図5に示すフローチャートを参照しつつ、実施の形態5にかかるデータ処理手順を説明する。ただし、実施の形態5にかかるデータ処理手順の基本的な手法は、実施の形態1にかかるデータ処理手順と共通であり、複数(複数種)の基準明度データを用いて上記判定の精度を高める点が異なるだけである。そこで、説明の重複を避けるため、以下では主として実施の形態1と異なる部分を説明する。
【0060】
図5に示すように、実施の形態5では、コンピュータ1は、まず実施の形態1の場合と同様の手順で自動的に基準明度データ(移行平均明度)を作成する(ステップS51)。次に、コンピュータ1は、不要な明度変化があるか否かを判定する(ステップS52)。ここで、不要な明度変化がなければ、基準明度データをつくり直して、不要な明度変化があるか否かを判定し直すか否かを判定する(ステップS53)。該判定をし直す場合は、ステップS51〜ステップS53が繰り返し実行される。なお、ステップS52で不要な明度変化があると判定されたとき、あるいはステップS52で不要な明度変化がないと判定された場合において該判定をし直さないときは、このデータ処理ルーチンは終了する。
【0061】
短周期の不要な明度変化が生じている場合、移行平均の項数が判定精度に影響を及ぼすことがある。例えば、50Hzの照明と15fpsのフレームレートとの組み合わせで発生したフリッカ画像の場合、計算上の明度変化は、3フレームごとの周期性を持つ。
このため、例えば図12(a)に示すように、項数を3の倍数にして移行平均をとると精度が良くなることがある。
これに対して、図12(b)に示すように、3フレーム毎の周期性を持つときに、項数を4にして移行平均をとると、周期性が多少残ってしまうことになる。
なお、図12(c)に示すように、移行平均の項数が多い場合は、長周期成分もかなり平均化される。
【0062】
また、移行平均の項数を増やすほど明度変化における長周期成分も平均化ないしは平滑化されるので、元の動画がもつ周期の長さによって、移行平均のとり方が判定精度に影響を及ぼす場合がある。
したがって、実際には基準明度データの作成方法によって、判定精度が変わってくる可能性があるため、ある基準明度データを用いてフリッカでないと判定しても、別の基準明度データを用いた場合は、フリッカであると判定される可能性がある。しかしながら、図5のフローチャートに示す手順で判定を行う場合は、複数の基準明度データを用いて該判定が行われるので、かかるフリッカを見逃すことがなく、判定精度を向上させることができる。
【0063】
かくして、コンピュータ1と、図5のフローチャートに示す手順を実行するプログラムを記録している記録媒体とを用いて画像処理が行われる、実施の形態5にかかる画像処理装置ないしは画像処理方法によれば、自動的に、不要な明度変化の有無ないしは態様を精度良く判定することができる。
【0064】
実施の形態1〜5では、前記のとおり不要な明度変化の有無ないしは態様を判定し、あるいは明度を補正するようにしている。しかしながら、実施の形態1〜5にかかる不要な明度変化の判定手法ないしは明度の補正手法は、不要な彩度変化の判定ないしは彩度の補正にも、ほぼそのまま応用することができる。したがって、実施の形態1〜5において、「明度」を「彩度」と読み替えることにより(例えば、「基準明度データ」を「基準彩度データ」と読み替える。)、不要な彩度変化の有無ないしは態様を精度良く判定することができ、あるいは彩度を精度良く補正することができる。
【0065】
さらに、実施の形態1〜5にかかる不要な明度変化の判定手法ないしは明度の補正手法は、不要な明度変化と不要な彩度変化の両方の判定ないしは明度及び彩度の補正にも、ほぼそのまま応用することができる。
例えば、実施の形態1ないしは実施の形態2にかかるデータ処理により、基準明度データに基づいて不要な明度変化があると判定し、明度の補正を行った後、さらに基準彩度データを作成し、不要な彩度変化の有無ないしは態様を判定し、必要があれば彩度を補正することにより、明度及と彩度の両方を補正するようにしてもよい。なお、彩度変化の判定ないしは彩度の補正を行った後で、明度変化の判定ないしは明度の補正を行うようにしてもよい。また、明度変化及び彩度変化の判定に、基準明度データあるいは基準彩度データの一方のみを用いるようにしてもよい。
【0066】
このように、実施の形態1〜5あるいはその修正例及び変形例においては、すべて判定や補正が自動的に行われるので、ユーザはほとんで何もせずに、良好な判定結果ないしは補正結果を得ることができる。
また、コンピュータによる不要な明度変化ないしは彩度変化の自動判定を行わず、ユーザが明度ないしは彩度の補正を指示したときにのみ、コンピュータが自動的に該補正を行うようにしてもよい。
【0067】
さらに、移行平均として、次の式4を用いて算出される重み付き移行平均を用いてもよい。
L'i={Li-1+2Li+Li+1}/4………………………………………式4
この場合は、元の明度変化を多少残した基準明度データを作成することができる。明度ないしは彩度の補正においては、例えば長周期の明度変化ないしは彩度変化に対して、元の明度変化ないしは彩度変化をある程度残した方が、過度な補正を防止することができるので、好ましい結果を得ることができる場合もある。
【0068】
【発明の効果】
以上、本発明によれば、不要な明度変化又は彩度変化の判定あるいは明度又は彩度の補正を、ノンリニア補正の特徴を生かして、補正対象フレームより未来のフレームを含む任意のフレームを使用して、精度良く行うことができる。
また、複数の異なる周期性をもった動画の不要な明度変化又は彩度変化に対しても、対応することができる。
さらに、補正する場合だけでなく、フリッカなどの明度変化又は彩度変化があるかどうかの判定にも使用し、フリッカがあると判定された場合にのみ補正することにより、該補正を高速でかつ精度良く行うことができる。
【図面の簡単な説明】
【図1】 本発明の実施の形態1にかかる不要な明度変化の判定手順を示すフローチャートである。
【図2】 本発明の実施の形態2にかかる明度の補正手順を示すフローチャートである。
【図3】 本発明の実施の形態3にかかる明度の補正手順を示すフローチャートである。
【図4】 本発明の実施の形態4にかかる明度の補正手順を示すフローチャートである。
【図5】 本発明の実施の形態5にかかる不要な明度変化の判定手順を示すフローチャートである。
【図6】 平均明度及び移行平均明度の、時間に対する変化特性の一例を示すグラフである。
【図7】 平均明度と移行平均明度の差分の、時間に対する変化特性の一例を示すグラフである。
【図8】 ガンマ補正テーブルのガンマ補正特性を示すグラフである。
【図9】 もう1つのガンマ補正テーブルのガンマ補正特性を示すグラフである。
【図10】 ユーザが指定する時間範囲内でのみ明度の補正が行われる場合における、平均明度及び移行平均明度の、時間に対する変化特性の一例を示すグラフである。
【図11】 明度の補正が2回行われる場合における、平均明度及び移行平均明度の、時間に対する変化特性の一例を示すグラフである。
【図12】 (a)〜(c)は、それぞれ、移行平均の項数が互いに異なる場合における、平均明度及び移行平均明度の、時間に対する変化特性の一例を示すグラフである。
【図13】 (a)及び(b)は、それぞれ、移行平均の項数が少ない場合と多い場合とにおける、平均明度及び移行平均明度の、時間に対する変化特性の一例を示すグラフである。
【図14】 本発明にかかる画像処理装置の概略構成を示すブロック図である。
【図15】 図14に示す画像処理装置のより詳細な構成を示すブロック図である。
【符号の説明】
S…画像処理装置、1…ホストコンピュータ(コンピュータ)、2…外部記憶装置、3…モニタ、4…マウス、5…キーボード、11…記憶装置、12…入出力インターフェース、13…CPU/メモリ、14…処理演算部、15…OSセクション、16…画像データ入出力部。
Claims (4)
- 動画像を入力するステップと、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度について、移行平均の時間間隔を異ならせて時間軸方向に前記画像データの移行平均をとることにより、移行平均の時間間隔が異なる複数の基準データを作成するステップと、
前記複数の基準データのうちのいずれか1つの基準データに対して、前記画像データに所定の明度又は彩度の変化があれば、前記動画像が不要な明度変化又は彩度変化を伴っていると判定するステップとをコンピュータに実行させるための画像処理プログラム。 - 動画像を入力するステップと、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度について、移行平均の時間間隔を異ならせて時間軸方向に前記画像データの移行平均をとることにより、移行平均の時間間隔が異なる複数の基準データを作成するステップと、
前記複数の基準データのうちのいずれか1つの基準データに対して、前記画像データに所定の明度又は彩度の変化があれば、前記動画像が不要な明度変化又は彩度変化を伴っていると判定するステップとをコンピュータに実行させるための画像処理プログラムを記録した記録媒体。 - 動画像を入力するステップと、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度について、移行平均の時間間隔を異ならせて時間軸方向に前記画像データの移行平均をとることにより、移行平均の時間間隔が異なる複数の基準データを作成するステップと、
前記複数の基準データのうちのいずれか1つの基準データに対して、前記画像データに所定の明度又は彩度の変化があれば、前記動画像が不要な明度変化又は彩度変化を伴っていると判定するステップとを含んでいる画像処理方法。 - 動画像を入力する動画像入力手段と、
前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度について、移行平均の時間間隔を異ならせて時間軸方向に前記画像データの移行平均をとることにより、移行平均の時間間隔が異なる複数の基準データを作成する基準データ作成手段と、
前記複数の基準データのうちのいずれか1つの基準データに対して、前記画像データに所定の明度又は彩度の変化があれば、前記動画像が不要な明度変化又は彩度変化を伴っていると判定する変化判定手段とを備えている画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001243915A JP4759877B2 (ja) | 2001-08-10 | 2001-08-10 | 画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置 |
US10/215,186 US7043093B2 (en) | 2001-08-10 | 2002-08-09 | Program for processing image, recording medium of the program and method of and apparatus for processing image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001243915A JP4759877B2 (ja) | 2001-08-10 | 2001-08-10 | 画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011091111A Division JP5201238B2 (ja) | 2011-04-15 | 2011-04-15 | 画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003060936A JP2003060936A (ja) | 2003-02-28 |
JP4759877B2 true JP4759877B2 (ja) | 2011-08-31 |
Family
ID=19073932
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001243915A Expired - Fee Related JP4759877B2 (ja) | 2001-08-10 | 2001-08-10 | 画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7043093B2 (ja) |
JP (1) | JP4759877B2 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3928424B2 (ja) * | 2001-12-26 | 2007-06-13 | コニカミノルタビジネステクノロジーズ株式会社 | 動画におけるフリッカ補正 |
EP1566964A4 (en) * | 2002-11-29 | 2008-11-19 | IMAGE PLAYER AND IMAGE PROCESSING | |
US7142234B2 (en) * | 2002-12-10 | 2006-11-28 | Micron Technology, Inc. | Method for mismatch detection between the frequency of illumination source and the duration of optical integration time for imager with rolling shutter |
JP2004260574A (ja) * | 2003-02-26 | 2004-09-16 | Matsushita Electric Ind Co Ltd | フリッカ検出方法およびフリッカ検出装置 |
KR100499149B1 (ko) * | 2003-06-30 | 2005-07-04 | 삼성전자주식회사 | 디스플레이 주변 조명의 밝기 특성을 시각적으로 측정하는방법 |
KR100601654B1 (ko) * | 2004-01-08 | 2006-07-14 | 삼성전자주식회사 | 입력 영상의 화질 개선을 위한 장치 및 방법 |
JP4591037B2 (ja) * | 2004-10-25 | 2010-12-01 | ソニー株式会社 | フリッカ成分検出装置及びフリッカ成分検出方法 |
JP4354449B2 (ja) * | 2005-10-26 | 2009-10-28 | オリンパス株式会社 | 表示画像撮像方法および装置 |
GB2432071A (en) * | 2005-11-04 | 2007-05-09 | Autoliv Dev | Determining pixel values for an enhanced image dependent on earlier processed pixels but independent of pixels below the pixel in question |
FR2910673A1 (fr) * | 2006-12-21 | 2008-06-27 | Thomson Licensing Sas | Procede de traitement d'image et dispositif implementant ledit procede |
KR20080098864A (ko) * | 2007-05-07 | 2008-11-12 | 삼성전자주식회사 | 이미지 센서의 플리커 감소 방법 및 장치 |
US8218868B2 (en) * | 2007-06-13 | 2012-07-10 | Sensors Unlimited, Inc. | Method and apparatus for enhancing images |
US8451356B2 (en) * | 2008-10-09 | 2013-05-28 | Sony Corporation | System and method for correcting artifacts in sequential imagers caused by transient light disturbances |
EP2262228A1 (en) * | 2009-06-09 | 2010-12-15 | Global IP Solutions (GIPS) AB | Detection and supression of flicker in a sequence of images |
JP5644451B2 (ja) * | 2010-05-25 | 2014-12-24 | 株式会社リコー | 画像処理装置および画像処理方法、ならびに、撮像装置 |
TWI449027B (zh) * | 2011-08-30 | 2014-08-11 | Novatek Microelectronics Corp | 適應性畫素補償方法 |
CN106063250B (zh) | 2015-01-27 | 2019-05-10 | 华为技术有限公司 | 一种全景拍摄曝光方法及装置 |
KR102546995B1 (ko) * | 2016-11-04 | 2023-06-26 | 삼성디스플레이 주식회사 | 표시 패널의 휘도 보상 방법 |
WO2020157979A1 (ja) * | 2019-02-01 | 2020-08-06 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイおよび画像表示方法 |
CN110445952B (zh) * | 2019-07-15 | 2021-12-21 | 浙江大华技术股份有限公司 | 摄像头的画面闪烁处理方法、装置、设备和存储介质 |
GB2586128B (en) * | 2019-08-05 | 2024-01-10 | Sony Interactive Entertainment Inc | Image processing system and method |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4670787A (en) * | 1985-07-31 | 1987-06-02 | Rca Corporation | Suppression of field-rate brightness variations for a television camera |
US5625411A (en) * | 1992-12-22 | 1997-04-29 | Fuji Photo Film, Ltd. | Video camera printer apparatus and method of controlling same and apparatus and method for detecting print inhibit signal |
JPH06311396A (ja) * | 1993-04-27 | 1994-11-04 | Mitsubishi Electric Corp | 映像回路 |
JP3508250B2 (ja) | 1994-11-25 | 2004-03-22 | ソニー株式会社 | 動画像処理装置 |
US6320906B1 (en) * | 1996-05-21 | 2001-11-20 | Matsushita Electric Industrial Co., Ltd. | Motion vector detecting circuit |
JP3989615B2 (ja) * | 1997-06-27 | 2007-10-10 | 松下電器産業株式会社 | 固体撮像装置 |
JPH11122513A (ja) * | 1997-10-09 | 1999-04-30 | Matsushita Electric Ind Co Ltd | 蛍光灯フリッカー補正装置及びそれを使用したカメラ |
JP2983509B2 (ja) * | 1998-02-10 | 1999-11-29 | 日本放送協会 | テレビジョン映像のフリッカ検出方法および装置 |
JP3506900B2 (ja) * | 1998-03-03 | 2004-03-15 | 松下電器産業株式会社 | フリッカ補正装置 |
JPH11313226A (ja) * | 1998-04-27 | 1999-11-09 | Matsushita Electric Ind Co Ltd | フリッカ補正装置及び補正方法 |
US6519002B1 (en) * | 1998-08-31 | 2003-02-11 | Intel Corporation | Method and apparatus to minimize flicker effects from a discharge light source during digital video capture |
JP2000324365A (ja) | 1999-05-13 | 2000-11-24 | Hitachi Ltd | 画像処理装置 |
US6710818B1 (en) * | 1999-10-08 | 2004-03-23 | Matsushita Electric Industrial Co., Ltd. | Illumination flicker detection apparatus, an illumination flicker compensation apparatus, and an ac line frequency detection apparatus, methods of detecting illumination flicker, compensating illumination flicker, and measuring ac line frequency |
JP3539901B2 (ja) * | 1999-10-08 | 2004-07-07 | 松下電器産業株式会社 | フリッカ検出・補正装置およびフリッカ検出・補正方法 |
-
2001
- 2001-08-10 JP JP2001243915A patent/JP4759877B2/ja not_active Expired - Fee Related
-
2002
- 2002-08-09 US US10/215,186 patent/US7043093B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20030067546A1 (en) | 2003-04-10 |
US7043093B2 (en) | 2006-05-09 |
JP2003060936A (ja) | 2003-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4759877B2 (ja) | 画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置 | |
KR100567475B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을기록한 컴퓨터 판독 가능한 기록 매체 | |
TWI392377B (zh) | 增強數位影像的對比的方法及相關的電腦及電腦系統 | |
US20050162620A1 (en) | Image processing apparatus | |
JP2008511258A (ja) | リアルタイム画像安定化 | |
JP5547464B2 (ja) | フィルムモードまたはカメラモードの検出方法 | |
JP2011128978A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2009253646A (ja) | 画像処理装置、画像処理方法 | |
KR100593117B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을기록한 기록 매체 | |
JPWO2010116400A1 (ja) | 被写体動き検出装置および方法 | |
JP2007081611A (ja) | 表示画面補正パラメータ設定方法 | |
KR20080011051A (ko) | 화상처리장치 및 화상처리방법과 프로그램 | |
JP5201238B2 (ja) | 画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置 | |
JP4784175B2 (ja) | 逆光画像判定および暗部補正 | |
JP2006285655A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP3900972B2 (ja) | コントラスト強調方式 | |
JP2011130128A (ja) | 画像処理装置及びその制御方法、プログラム | |
JP2012220674A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2003022068A (ja) | 画像処理装置及び方法 | |
JP2021057824A5 (ja) | ||
JP2007195216A (ja) | 画像処理装置および画像処理方法並びに画像処理プログラム | |
JP4442102B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2012054659A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2011250102A (ja) | 画像処理装置およびその制御方法 | |
JP5634245B2 (ja) | 動きベクトル検出装置及びその制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100601 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100728 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20100728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110215 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110415 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110523 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |