JP4759877B2 - 画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置 - Google Patents

画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置 Download PDF

Info

Publication number
JP4759877B2
JP4759877B2 JP2001243915A JP2001243915A JP4759877B2 JP 4759877 B2 JP4759877 B2 JP 4759877B2 JP 2001243915 A JP2001243915 A JP 2001243915A JP 2001243915 A JP2001243915 A JP 2001243915A JP 4759877 B2 JP4759877 B2 JP 4759877B2
Authority
JP
Japan
Prior art keywords
brightness
change
saturation
data
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001243915A
Other languages
English (en)
Other versions
JP2003060936A (ja
Inventor
基広 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Business Technologies Inc
Original Assignee
Konica Minolta Business Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Business Technologies Inc filed Critical Konica Minolta Business Technologies Inc
Priority to JP2001243915A priority Critical patent/JP4759877B2/ja
Priority to US10/215,186 priority patent/US7043093B2/en
Publication of JP2003060936A publication Critical patent/JP2003060936A/ja
Application granted granted Critical
Publication of JP4759877B2 publication Critical patent/JP4759877B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0247Flicker reduction other than flicker reduction circuits used for single beam cathode-ray tubes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S348/00Television
    • Y10S348/91Flicker reduction

Description

【0001】
【発明の属する技術分野】
本発明は、フリッカ等の不要な明度変化ないしは彩度変化に対して、精度良くフリッカ等の有無の判定や画像データの補正を行うことができる、コンピュータ用の画像処理プログラム及びこれを記録した記録媒体、画像処理方法並びに画像処理装置に関するものである。
【0002】
【従来の技術】
一般に、蛍光灯等の照明具により照明された環境下で、デジタルカメラ等により撮影された動画には、撮影される条件によってはフリッカ等の不要な明度変化ないしは彩度変化が発生することがある。なお、フリッカとは、照明具の照明特性変化の周波数と、動画のフレームレートとが同期しないことにより、動画の明度、彩度などが周期的に変化するといった好ましくない現象である。また、ここで、「不要な」とは、単に必要がないということを意味するのではなく、好ましくない、ないしは除去されるべきであることを意味するものである。
【0003】
かくして、例えば特開2000−324365号公報には、過去数フレームの画像データに基づいて動画データを補正し、フリッカの発生を防止ないしは抑制するようにした画像処理装置が開示されている。
【0004】
【発明が解決しようとする課題】
しかしながら、例えば特開2000−324365号公報に開示されている従来のフリッカの防止・抑制手法では、フリッカの有無の判定ないしはこれを解消するための画像補正の精度が十分ではないといった問題がある。
【0005】
また、フリッカに加えて、その他の原因により動画に不要な明度変化ないしは彩度変化が生じている場合、例えばデジタルカメラの不適切な自動露出等により長周期で明度ないしは彩度がふらつくような場合には、該明度変化ないしは彩度変化は重畳された複数の変化パターンを含むことになる。しかしながら、上記従来のフリッカの防止・抑制手法では、このような場合は不要な明度変化ないしは彩度変化を有効に防止ないしは抑制することができないといった問題がある。
【0006】
本発明は、上記従来の問題を解決するためになされたものであって、自動的に、動画におけるフリッカ等の不要な明度変化又は彩度変化の有無ないしは態様を精度良く判定することができ、さらには動画に不要な明度変化又は彩度変化が生じるのを有効に防止ないしは抑制することができる手段を提供することを解決すべき課題とする。
【0007】
【課題を解決するための手段】
上記課題を解決するためになされた本発明にかかる画像処理プログラムは、(1)動画像を入力するステップ(以下、「動画像入力ステップ」という。)と、(2)動画像の明度又は彩度についての画像データに基づいて明度又は彩度について、移行平均の時間間隔を異ならせて時間軸方向に画像データの移行平均をとることにより、移行平均の時間間隔が異なる複数の基準データを作成するステップ(以下、「第1の基準データ作成ステップ」という。)と、(3)複数の基準データのうちのいずれか1つの基準データに対て、画像データに所定の明度又は彩度の変化があれば、動画像が不要な明度変化又は彩度変化(例えば、フリッカ)を伴っていると判定するステップ(以下、「変化判定ステップ」という。)とをコンピュータに実行させることを特徴とするものである。
コンピュータでこの画像処理プログラムを実行すれば、自動的に、動画におけるフリッカ等の不要な明度変化又は彩度変化の有無ないしは態様を精度良く判定することができる。
【0009】
本発明にかかる記録媒体は、(1)上記動画像入力ステップと、(2)上記第1の基準データ作成ステップと、(3)上記変化判定ステップとをコンピュータに実行させるための画像処理プログラムを記録していることを特徴とするものである。コンピュータにこの記録媒体を装着し、これに記録されているプログラムを実行すれば、自動的に、動画におけるフリッカ等の不要な明度変化又は彩度変化の有無ないしは態様を精度良く判定することができる。
【0011】
本発明にかかる画像処理方法は、(1)上記動画像入力ステップと、(2)上記第1の基準データ作成ステップと、(3)上記変化判定ステップとを含んでいることを特徴とするものである。この画像処理方法によれば、自動的に、動画におけるフリッカ等の不要な明度変化又は彩度変化の有無ないしは態様を精度良く判定することができる。
【0014】
本発明にかかる画像処理装置は、(1)動画像を入力する動画像入力手段と、(2)動画像の明度又は彩度についての画像データに基づいて、明度又は彩度について、移行平均の時間間隔を異ならせて時間軸方向に前記画像データの移行平均をとることにより、移行平均の時間間隔が異なる複数の基準データを作成する基準データ作成手段と、(3)複数の基準データのうちのいずれか1つの基準データに対て、画像データに所定の明度又は彩度の変化があれば、前記動画像が不要な明度変化又は彩度変化を伴っていると判定する変化判定手段とを備えていることを特徴とするものである。この画像処理装置によれば、自動的に、動画におけるフリッカ等の不要な明度変化又は彩度変化の有無ないしは態様を精度良く判定することができる。
【0016】
【発明の実施の形態】
以下、本発明のいくつかの実施の形態を説明する。なお、いずれの実施の形態も、フリッカ等の不要な明度変化の有無ないしは態様を判定し、あるいは明度を補正するものであるが、同様の手法で不要な彩度変化についてもその有無ないしは態様を判定し、あるいは彩度を補正することができる。
また、各実施の形態において、ハードウエア構成は実質的に同一であり、そのソフトウエアが異なるだけである。そこで、まず各実施の形態に共通な、本発明にかかる画像処理装置のハードウエア構成を説明する。
【0017】
図14に示すように、本発明にかかる画像処理装置Sには、動画におけるフリッカ等の不要な明度変化の有無ないしは態様を判定し、あるいは明度を補正するための各種データ処理を行うホストコンピュータ1(以下、略して「コンピュータ1」という。)が設けられている。このコンピュータ1には、各種データを記憶するための外部記憶装置2と、各種情報をディスプレイ上に表示するモニタ3と、ユーザ(オペレータ)がコンピュータ1を操作するためのマウス4及びキーボード5とが接続されている。
【0018】
図15に示すように、コンピュータ1には、記憶装置11と入出力インターフェース12とCPU/メモリ13とが設けられている。記憶装置11は、実質的に、処理演算部14とOSセクション15とで構成されている。ここで、モニタ3とマウス4とキーボード5とは、それぞれ、入出力インターフェース12に接続されている。なお、入出力インターフェース12には、画像データ入出力装置16も接続されている。
【0019】
以下、各実施の形態を具体的に説明する。
(実施の形態1)
実施の形態1においては、図14及び図15に示す画像処理装置Sを用いて、図1のフローチャートに示すデータ処理手順にしたがって、自動的に基準明度データが作成され、不要な明度変化の有無ないしは態様が判定される。なお、このフローチャートに示すデータ処理手順のプログラムは、コンピュータ1の記憶装置11又は外部記憶装置2(記録媒体)に記録されている(実施の形態2〜5についても同様である。)。
【0020】
以下、図1に示すフローチャートを参照しつつ、実施の形態1にかかるデータ処理手順ないしは画像処理手順を説明する。
画像データ入出力部16からコンピュータ1に動画像が入力されると、コンピュータ1は動画データ処理を開始し、まず各フレームの平均明度Lを計算する(ステップS11)。ここで、添え字のiは、フレーム番号を表す。なお、例えば2画素毎にサンプリングするなどして、このデータ処理を高速化することもできる。
【0021】
続いて、コンピュータ1は、各フレームの平均明度Lに対して、時間軸方向に移行平均(ないしは、移動平均)をとり、基準明度データを作成する(ステップS12)。ここでは、例えば移行平均を、あるフレーム(添え字i)と、その前のnフレームと、その後のnフレームとを使用し、次の式1を用いて計算する。つまり、基準明度L'は、移行平均がとられた後における各フレームの平均明度(以下、「移行平均明度L'」という。)を表している。
Figure 0004759877
【0022】
ただし、一連のフレーム中で最初のフレームないしはその近傍のフレーム、あるいは最後のフレームないしはその近傍のフレームについて、式1を用いて移行平均明度L'を算出する場合は、その前後に計算に用いるべきフレームが存在しないことがあるが、このようなフレームは移行平均をとる対象とはしない。
図6に、各フレーム毎の平均明度Lの経時変化(実線)と、式1を用いて算出された移行平均明度L'の経時変化(点線)とを示す。図6から明らかなとおり、移行平均明度L'は平均化ないしは平滑化されている。
【0023】
次に、コンピュータ1は、次の式2を用いて、各フレームについて、平均明度Lと移行平均明度L'との差分D(以下、「明度差分D」という。)を算出して、差分データを作成する(ステップS13)。
=L−L'i…………………………………………………………式2
図7に、この明度差分Dの経時変化の一例を示す。図7から明らかなとおり、この例では、明度差分Dは時間に対して周期的に変化している。すなわち、不要な明度変化が存在する。
【0024】
この後、コンピュータ1は、一連の明度差分Dのデータから不要な明度変化部分を抽出する。すなわち、明度差分Diのデータをその符号に基づいてグループ分けし(ステップS14)、不要な明度変化の有無ないしは態様を判定する(ステップS15)。具体的には、明度差分Dの周期性を検出(チェック)し、周期性があれば不要な明度変化があると判定する。
【0025】
以下、表1〜表4を参照しつつ、表1又は表3に示すような明度差分Dのデータが得られた場合について、不要な明度変化の周期性の判定手法を説明する。
すなわち、まず、ある明度差分Dと次の明度差分Di+1とについて符号を比較し、符号がマイナス又は0からプラスに変わっている場合のフレーム番号(i+1)を順次抽出(チェック)してゆく。そして、この抽出されたフレーム(以下、「抽出フレーム」という。)の明度差分データを1番目グループとし、この抽出フレームより後側のフレーム(ただし、次の抽出フレームより前側にあるもの)の明度差分データを該抽出フレームの後に振り分けて、順次、2番目グループ、3番目グループ、………とする。そして、各グループ毎のメンバー数と、各グループにおける明度差分の平均値とを計算する。
【0026】
表2及び表4は、それぞれ、表1及び表3に示す明度差分データを、このようにグループ分けすることにより得られたものである。
例えば、表2では、表1における最初の抽出フレームであるフレーム2の明度差分データが1番目グループとされ、これに続くフレーム3及びフレーム4の明度差分データが、それぞれ、2番目グループ及び3番目グループとされている。なお、この場合4番目グループ及び5番目グループに該当するフレームは存在しないので、これらに欄にはデータは記載されていない(「なし」と記載)。
【0027】
表1 整数の周期性を持つ明度差分データの例
Figure 0004759877
【0028】
表2 表1に示す明度差分データのグループ分け
Figure 0004759877
注:1巡目は、うまくグループに振り分けられない場合がある
ので、計算から省いても良い。上記の例では省いている。
【0029】
表3 小数の周期性を持つ明度差分データの例
Figure 0004759877
【0030】
表4 表3に示す明度差分データのグループ分け
Figure 0004759877
注:1巡目は、うまくグループに振り分けられない場合がある
ので、計算から省いても良い。上記の例では省いている。
【0031】
かくして、表2あるいは表4において、あるグループのメンバー数に対して、2つ次の(次の次の)グループのメンバー数が急に減少している箇所(表4の例では、3番目グループと5番目グループ)があれば、周期性をもつ可能性があると判断する。
【0032】
具体的には、例えば1番目グループのメンバー数(例えば、表4では6)に基づいて、第1閾値Th1と第2閾値Th2とを設定する。例えば、第1閾値Th1をメンバー数の8割とし(表4の例では、4.8)、第2閾値Th2を2割とする(表4の例では、1.2)。そして、メンバー数が第1閾値Th1より小さくなるグループを見出す(表4の例では、4番目グループ)。そして、見出されたグループの次のグループ(表4の例では、5番目グループ)のメンバー数が第2閾値Th2より小さい場合は、周期性をもつ可能性があると判断する。
【0033】
その場合、平均値が第1閾値Th1より大きいメンバーをもつグループ(表4の例では、1〜3番目グループ)の数を該周期の整数部分とし、その次のグループのメンバー数を1番目グループのメンバー数で割った値(表4の例では、2/6=0.33)を該周期の小数部分とする。例えば、表4に示す例では、およそ3.33(3+0.33=3.33)の周期性をもつ可能性があると判断される。これは、整数周期を持つ場合にも当てはまる。例えば、表2に示す例では、3の周期性をもつ可能性があると判断される。
【0034】
次に、周期性をもつ可能性があると判断された場合は、周期性の整数部に該当する各グループ(表4の例では、1〜3番目グループ)の平均値の最大値(表4の例では、6.17)と最小値(表4の例では、−3.67)との差(表4の例では、9.84)が、第3閾値Th3(例えば、3)より大きければ、不要な明度変化があると判定される。
【0035】
かくして、コンピュータ1と、図1のフローチャートに示す手順を実行するプログラムを記録している記録媒体とを用いて画像処理が行われる、実施の形態1にかかる画像処理装置ないしは画像処理方法によれば、自動的に、動画におけるフリッカ等の不要な明度変化の有無ないしは態様を精度良く判定することができる。
【0036】
(実施の形態2)
以下、本発明の実施の形態2を説明する。
実施の形態2においては、図14及び図15に示す画像処理装置Sを用いて、図2のフローチャートに示すデータ処理手順にしたがって、自動的に基準明度データ(移行平均明度)が作成され、動画にフリッカ等の不要な明度変化が生じるのが有効に防止ないしは抑制される。
【0037】
以下、図2に示すフローチャートを参照しつつ、実施の形態2にかかるデータ処理手順を説明する。ただし、図2に示すフローチャートのステップS21〜ステップS22におけるデータ処理手順は、それぞれ、図1に示すフローチャート(実施の形態1)におけるステップS11〜ステップS12でのデータ処理手順と同一であるので、説明の重複を避けるため、ステップS21〜ステップS22についての説明は省略する。
【0038】
実施の形態2では、コンピュータ1は、実施の形態1の場合と同様の手順で基準明度データ(移行平均明度)を作成した後、明度を補正して不要な明度変化を除去する。すなわち、コンピュータ1は、ガンマ補正用の変換テーブルを作成し(ステップS23)、このガンマ補正テーブルを用いて、動画の明度データ(ないしは、動画データ)にガンマ補正を施す(ステップS24)。
【0039】
ガンマ補正テーブルは、例えば図8に示すようなガンマ補正グラフ(ガンマ補正のカーブ)ないしはガンマ補正特性をもつ、現実の明度(横軸)と補正後の明度(縦軸)との対応関係を示すテーブルである。そして、明度のガンマ補正は、横軸(X軸)上に現実の明度を示す点をとり、この点を上向きに伸ばしてガンマ補正グラフと交差する点を求め、この交差点を左向きに伸ばして縦軸(Y軸)と交差する点を求め、この交差点の値を補正後の明度とするといった手順で行われる。
【0040】
図8から明らかなとおり、このガンマ補正グラフは、現実の明度及び補正後の明度がともに0(最小明度)である点(0,0)と、現実の明度が平均明度Lであり補正後の明度が移行平均明度L'である点(L,L’)と、現実の明度及び補正後の明度がともに255(最大明度)である点(255,255)とを直線で結んだ折れ線である。つまり、図8におけるガンマ補正グラフは、現実の明度が平均明度Lである場合はこれを移行平均明度L'に変換し、それ以外の場合は直線補間を行うといった変換特性を有している。
【0041】
なお、図9に示すように、ガンマ補正グラフとして、点(0,0)と点(L,L')と点(255,255)とを通る曲線(例えば、2次曲線)を用いて明度変化のガンマ補正(補間)を行うようにしてもよい。この場合、図8に示す折れ線(直線)状のガンマ補正グラフを用いる場合に比べて、より滑らかにガンマ補正(補間)を行うできる。
【0042】
なお、実施の形態2における明度の補正においては、実施の形態1における不要な明度変化の判定で用いられた移行平均(式1)を用いることは必ずしも必要ではない。ただ、式1で示す移行平均を用いない場合は、基準明度データ(移行平均明度)をつくり直す必要があるので、計算時間は余計にかかる。しかしながら、移行平均の項数をパラメータとすることにより、明度の補正量を制御することができる。
【0043】
例えば、図13(a)に示すように、移行平均の項数が少ない場合は、各フレーム毎の平均明度(実線)の変化における長周期成分はあまり平均化されない。
他方、図13(b)に示すように、移行平均の項数が多い場合は、各フレーム毎の平均明度(実線)の変化における長周期成分はかなり平均化される。このように、移行平均の項数を変えることにより、任意の補正特性で明度の補正を行うことが可能となる。なお、ユーザの指示により補正特性を変えることもできる。
【0044】
かくして、コンピュータ1と、図2のフローチャートに示す手順を実行するプログラムを記録している記録媒体とを用いて画像処理が行われる、実施の形態2にかかる画像処理装置ないしは画像処理方法によれば、自動的に、動画にフリッカ等の不要な明度変化が生じるのを有効に防止ないしは抑制することができる。
【0045】
(実施の形態3)
以下、本発明の実施の形態3を説明する。
実施の形態3においては、図14及び図15に示す画像処理装置Sを用いて、図3のフローチャートに示すデータ処理手順にしたがって、自動的に基準明度データ(移行平均明度)が作成され、動画に不要な明度変化が生じるのが有効に防止ないしは抑制される。
【0046】
以下、図3に示すフローチャートを参照しつつ、実施の形態3にかかるデータ処理手順を説明する。ただし、実施の形態3にかかるデータ処理手順の基本的な手法は実施の形態2にかかるデータ処理手順と共通であり、データ補正を行う時間範囲をユーザが指定して明度を補正する点が異なるだけである。そこで、説明の重複を避けるため、以下では主として実施の形態2と異なる部分を説明する。
【0047】
画像データ入出力部16からコンピュータ1に動画像が入力されると、コンピュータ1は動画データ処理を開始する。その際、ユーザはまず補正すべき時間範囲を指定する(ステップS31)。次に、コンピュータ1は、自動的に、指定された時間内の基準明度データ(移行平均明度)を作成する(ステップS32)。なお、基準明度データの作成手順は、実施の形態2の場合と同様である。この後、コンピュータ1は、実施の形態2の場合と同様に、ガンマ補正用の変換テーブルを作成し(ステップS33)、明度にガンマ補正を施す(ステップS34)。
【0048】
この種の動画において、フリッカとは別の原因により、例えばデジタルカメラの不適切な自動露出等により明度がふらつくような場合には、明度は経時的にゆっくりと変化する。そして、このような場合は、全時間範囲ではなく、特定の時間範囲において、明度の補正が必要とされるだけであることが多い。
そこで、実施の形態3では、図10に示すように、ユーザが補正したい時間範囲を指定することにより、その時間範囲についてのみ基準明度データを作成し、明度を補正するようにしている。
【0049】
この場合、明度基準データ(移行平均明度)を補正時間範囲より何フレーム分か多めに用いることにより、以下のように明度の時間的な変化を円滑化することができる。
すなわち、補正時間範囲とその他の範囲との境界部近傍では、基準明度データとして移行平均によって得られる値(移行平均明度)をそのまま用いるのではなく、各フレームの平均明度Lと移行平均明度L'とから、次の式3を用いて補正移行平均明度Lc'を算出し、これを基準明度データとする。なお、式3において、aは0以上で1以下の補正係数(修正量)ないしはなまし係数である。
Lc'=(1−a)・L+a・L'…………………………………………式3
【0050】
ここで、表5に示すように、補正係数aを上記境界部近傍で、0から1に向かって、又は1から0に向かって滑らかに変化させることにより、実際の明度の補正を円滑化することができる。なお、表5において、ユーザが指定した時間範囲内のフレームは、フレーム番号が7〜17のフレームである。
【0051】
表5 補正係数の設定手法
Figure 0004759877
注) *:指定された時間範囲内のフレーム
【0052】
かくして、コンピュータ1と、図3のフローチャートに示す手順を実行するプログラムを記録している記録媒体とを用いて画像処理が行われる、実施の形態3にかかる画像処理装置ないしは画像処理方法によれば、ユーザが指定した時間範囲内において、自動的に動画に不要な明度変化が生じるのを有効に防止ないしは抑制することができる。
【0053】
(実施の形態4)
以下、本発明の実施の形態4を説明する。
実施の形態4においては、図14及び図15に示す画像処理装置Sを用いて、図4のフローチャートに示すデータ処理手順にしたがって、自動的に基準明度データが作成され、動画に不要な明度変化が生じるのが有効に防止ないしは抑制される。
【0054】
以下、図4に示すフローチャートを参照しつつ、実施の形態4にかかるデータ処理手順を説明する。ただし、実施の形態4にかかるデータ処理手順の基本的な手法は、実施の形態2にかかるデータ処理手順と共通であり、複数の周期性をもつ不要な明度変化を、複数回にわたって補正する点が異なるだけである。そこで、説明の重複を避けるため、以下では主として実施の形態2と異なる部分を説明する。
【0055】
図4に示すように、実施の形態4では、コンピュータ1は、まず短周期の不要な明度変化を補正し(ステップS41)、次に長周期の不要な明度変化を補正する(ステップS42)。その他の点については、実施の形態2の場合と同様である。
【0056】
例えば、実施の形態1にかかる手順ないしは実施の形態2にかかる手順で、フリッカに起因する短周期の不要な明度変化を補正したとしても、不適切な自動露出等に起因して時間的にゆっくりとした長周期の不要な明度変化が依然として残る場合がある(図11中の一番上のグラフ参照)。
しかしながら、図11に示すように、このような場合でも、図4に示すフローチャートにしたがってステップS41とステップS42とに示す手順で、明度変化を複数回補正することにより、動画をほぼ完全に補正することができる。
【0057】
かくして、コンピュータ1と、図4のフローチャートに示す手順を実行するプログラムを記録している記録媒体とを用いて画像処理が行われる、実施の形態4にかかる画像処理装置ないしは画像処理方法によれば、不要な明度変化が複数の周期性をもつ場合でも、自動的に、動画に不要な明度変化が生じるのを有効に防止ないしは抑制することができる。
【0058】
(実施の形態5)
以下、本発明の実施の形態5を説明する。
実施の形態5においては、図14及び図15に示す画像処理装置Sを用いて、図5のフローチャートに示すデータ処理手順にしたがって、自動的に基準明度データが作成され、不要な明度変化の有無ないしは態様が判定される。
【0059】
以下、図5に示すフローチャートを参照しつつ、実施の形態5にかかるデータ処理手順を説明する。ただし、実施の形態5にかかるデータ処理手順の基本的な手法は、実施の形態1にかかるデータ処理手順と共通であり、複数(複数種)の基準明度データを用いて上記判定の精度を高める点が異なるだけである。そこで、説明の重複を避けるため、以下では主として実施の形態1と異なる部分を説明する。
【0060】
図5に示すように、実施の形態5では、コンピュータ1は、まず実施の形態1の場合と同様の手順で自動的に基準明度データ(移行平均明度)を作成する(ステップS51)。次に、コンピュータ1は、不要な明度変化があるか否かを判定する(ステップS52)。ここで、不要な明度変化がなければ、基準明度データをつくり直して、不要な明度変化があるか否かを判定し直すか否かを判定する(ステップS53)。該判定をし直す場合は、ステップS51〜ステップS53が繰り返し実行される。なお、ステップS52で不要な明度変化があると判定されたとき、あるいはステップS52で不要な明度変化がないと判定された場合において該判定をし直さないときは、このデータ処理ルーチンは終了する。
【0061】
短周期の不要な明度変化が生じている場合、移行平均の項数が判定精度に影響を及ぼすことがある。例えば、50Hzの照明と15fpsのフレームレートとの組み合わせで発生したフリッカ画像の場合、計算上の明度変化は、3フレームごとの周期性を持つ。
このため、例えば図12(a)に示すように、項数を3の倍数にして移行平均をとると精度が良くなることがある。
これに対して、図12(b)に示すように、3フレーム毎の周期性を持つときに、項数を4にして移行平均をとると、周期性が多少残ってしまうことになる。
なお、図12(c)に示すように、移行平均の項数が多い場合は、長周期成分もかなり平均化される。
【0062】
また、移行平均の項数を増やすほど明度変化における長周期成分も平均化ないしは平滑化されるので、元の動画がもつ周期の長さによって、移行平均のとり方が判定精度に影響を及ぼす場合がある。
したがって、実際には基準明度データの作成方法によって、判定精度が変わってくる可能性があるため、ある基準明度データを用いてフリッカでないと判定しても、別の基準明度データを用いた場合は、フリッカであると判定される可能性がある。しかしながら、図5のフローチャートに示す手順で判定を行う場合は、複数の基準明度データを用いて該判定が行われるので、かかるフリッカを見逃すことがなく、判定精度を向上させることができる。
【0063】
かくして、コンピュータ1と、図5のフローチャートに示す手順を実行するプログラムを記録している記録媒体とを用いて画像処理が行われる、実施の形態5にかかる画像処理装置ないしは画像処理方法によれば、自動的に、不要な明度変化の有無ないしは態様を精度良く判定することができる。
【0064】
実施の形態1〜5では、前記のとおり不要な明度変化の有無ないしは態様を判定し、あるいは明度を補正するようにしている。しかしながら、実施の形態1〜5にかかる不要な明度変化の判定手法ないしは明度の補正手法は、不要な彩度変化の判定ないしは彩度の補正にも、ほぼそのまま応用することができる。したがって、実施の形態1〜5において、「明度」を「彩度」と読み替えることにより(例えば、「基準明度データ」を「基準彩度データ」と読み替える。)、不要な彩度変化の有無ないしは態様を精度良く判定することができ、あるいは彩度を精度良く補正することができる。
【0065】
さらに、実施の形態1〜5にかかる不要な明度変化の判定手法ないしは明度の補正手法は、不要な明度変化と不要な彩度変化の両方の判定ないしは明度及び彩度の補正にも、ほぼそのまま応用することができる。
例えば、実施の形態1ないしは実施の形態2にかかるデータ処理により、基準明度データに基づいて不要な明度変化があると判定し、明度の補正を行った後、さらに基準彩度データを作成し、不要な彩度変化の有無ないしは態様を判定し、必要があれば彩度を補正することにより、明度及と彩度の両方を補正するようにしてもよい。なお、彩度変化の判定ないしは彩度の補正を行った後で、明度変化の判定ないしは明度の補正を行うようにしてもよい。また、明度変化及び彩度変化の判定に、基準明度データあるいは基準彩度データの一方のみを用いるようにしてもよい。
【0066】
このように、実施の形態1〜5あるいはその修正例及び変形例においては、すべて判定や補正が自動的に行われるので、ユーザはほとんで何もせずに、良好な判定結果ないしは補正結果を得ることができる。
また、コンピュータによる不要な明度変化ないしは彩度変化の自動判定を行わず、ユーザが明度ないしは彩度の補正を指示したときにのみ、コンピュータが自動的に該補正を行うようにしてもよい。
【0067】
さらに、移行平均として、次の式4を用いて算出される重み付き移行平均を用いてもよい。
L'i={Li-1+2Li+Li+1}/4………………………………………式4
この場合は、元の明度変化を多少残した基準明度データを作成することができる。明度ないしは彩度の補正においては、例えば長周期の明度変化ないしは彩度変化に対して、元の明度変化ないしは彩度変化をある程度残した方が、過度な補正を防止することができるので、好ましい結果を得ることができる場合もある。
【0068】
【発明の効果】
以上、本発明によれば、不要な明度変化又は彩度変化の判定あるいは明度又は彩度の補正を、ノンリニア補正の特徴を生かして、補正対象フレームより未来のフレームを含む任意のフレームを使用して、精度良く行うことができる。
また、複数の異なる周期性をもった動画の不要な明度変化又は彩度変化に対しても、対応することができる。
さらに、補正する場合だけでなく、フリッカなどの明度変化又は彩度変化があるかどうかの判定にも使用し、フリッカがあると判定された場合にのみ補正することにより、該補正を高速でかつ精度良く行うことができる。
【図面の簡単な説明】
【図1】 本発明の実施の形態1にかかる不要な明度変化の判定手順を示すフローチャートである。
【図2】 本発明の実施の形態2にかかる明度の補正手順を示すフローチャートである。
【図3】 本発明の実施の形態3にかかる明度の補正手順を示すフローチャートである。
【図4】 本発明の実施の形態4にかかる明度の補正手順を示すフローチャートである。
【図5】 本発明の実施の形態5にかかる不要な明度変化の判定手順を示すフローチャートである。
【図6】 平均明度及び移行平均明度の、時間に対する変化特性の一例を示すグラフである。
【図7】 平均明度と移行平均明度の差分の、時間に対する変化特性の一例を示すグラフである。
【図8】 ガンマ補正テーブルのガンマ補正特性を示すグラフである。
【図9】 もう1つのガンマ補正テーブルのガンマ補正特性を示すグラフである。
【図10】 ユーザが指定する時間範囲内でのみ明度の補正が行われる場合における、平均明度及び移行平均明度の、時間に対する変化特性の一例を示すグラフである。
【図11】 明度の補正が2回行われる場合における、平均明度及び移行平均明度の、時間に対する変化特性の一例を示すグラフである。
【図12】 (a)〜(c)は、それぞれ、移行平均の項数が互いに異なる場合における、平均明度及び移行平均明度の、時間に対する変化特性の一例を示すグラフである。
【図13】 (a)及び(b)は、それぞれ、移行平均の項数が少ない場合と多い場合とにおける、平均明度及び移行平均明度の、時間に対する変化特性の一例を示すグラフである。
【図14】 本発明にかかる画像処理装置の概略構成を示すブロック図である。
【図15】 図14に示す画像処理装置のより詳細な構成を示すブロック図である。
【符号の説明】
S…画像処理装置、1…ホストコンピュータ(コンピュータ)、2…外部記憶装置、3…モニタ、4…マウス、5…キーボード、11…記憶装置、12…入出力インターフェース、13…CPU/メモリ、14…処理演算部、15…OSセクション、16…画像データ入出力部。

Claims (4)

  1. 動画像を入力するステップと、
    前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度について、移行平均の時間間隔を異ならせて時間軸方向に前記画像データの移行平均をとることにより、移行平均の時間間隔が異なる複数の基準データを作成するステップと、
    前記複数の基準データのうちのいずれか1つの基準データに対して、前記画像データに所定の明度又は彩度の変化があれば、前記動画像が不要な明度変化又は彩度変化を伴っていると判定するステップとをコンピュータに実行させるための画像処理プログラム。
  2. 動画像を入力するステップと、
    前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度について、移行平均の時間間隔を異ならせて時間軸方向に前記画像データの移行平均をとることにより、移行平均の時間間隔が異なる複数の基準データを作成するステップと、
    前記複数の基準データのうちのいずれか1つの基準データに対して、前記画像データに所定の明度又は彩度の変化があれば、前記動画像が不要な明度変化又は彩度変化を伴っていると判定するステップとをコンピュータに実行させるための画像処理プログラムを記録した記録媒体。
  3. 動画像を入力するステップと、
    前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度について、移行平均の時間間隔を異ならせて時間軸方向に前記画像データの移行平均をとることにより、移行平均の時間間隔が異なる複数の基準データを作成するステップと、
    前記複数の基準データのうちのいずれか1つの基準データに対して、前記画像データに所定の明度又は彩度の変化があれば、前記動画像が不要な明度変化又は彩度変化を伴っていると判定するステップとを含んでいる画像処理方法。
  4. 動画像を入力する動画像入力手段と、
    前記動画像の明度又は彩度についての画像データに基づいて、明度又は彩度について、移行平均の時間間隔を異ならせて時間軸方向に前記画像データの移行平均をとることにより、移行平均の時間間隔が異なる複数の基準データを作成する基準データ作成手段と、
    前記複数の基準データのうちのいずれか1つの基準データに対して、前記画像データに所定の明度又は彩度の変化があれば、前記動画像が不要な明度変化又は彩度変化を伴っていると判定する変化判定手段とを備えている画像処理装置。
JP2001243915A 2001-08-10 2001-08-10 画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置 Expired - Fee Related JP4759877B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001243915A JP4759877B2 (ja) 2001-08-10 2001-08-10 画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置
US10/215,186 US7043093B2 (en) 2001-08-10 2002-08-09 Program for processing image, recording medium of the program and method of and apparatus for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001243915A JP4759877B2 (ja) 2001-08-10 2001-08-10 画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011091111A Division JP5201238B2 (ja) 2011-04-15 2011-04-15 画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置

Publications (2)

Publication Number Publication Date
JP2003060936A JP2003060936A (ja) 2003-02-28
JP4759877B2 true JP4759877B2 (ja) 2011-08-31

Family

ID=19073932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001243915A Expired - Fee Related JP4759877B2 (ja) 2001-08-10 2001-08-10 画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置

Country Status (2)

Country Link
US (1) US7043093B2 (ja)
JP (1) JP4759877B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3928424B2 (ja) * 2001-12-26 2007-06-13 コニカミノルタビジネステクノロジーズ株式会社 動画におけるフリッカ補正
EP1566964A4 (en) * 2002-11-29 2008-11-19 IMAGE PLAYER AND IMAGE PROCESSING
US7142234B2 (en) * 2002-12-10 2006-11-28 Micron Technology, Inc. Method for mismatch detection between the frequency of illumination source and the duration of optical integration time for imager with rolling shutter
JP2004260574A (ja) * 2003-02-26 2004-09-16 Matsushita Electric Ind Co Ltd フリッカ検出方法およびフリッカ検出装置
KR100499149B1 (ko) * 2003-06-30 2005-07-04 삼성전자주식회사 디스플레이 주변 조명의 밝기 특성을 시각적으로 측정하는방법
KR100601654B1 (ko) * 2004-01-08 2006-07-14 삼성전자주식회사 입력 영상의 화질 개선을 위한 장치 및 방법
JP4591037B2 (ja) * 2004-10-25 2010-12-01 ソニー株式会社 フリッカ成分検出装置及びフリッカ成分検出方法
JP4354449B2 (ja) * 2005-10-26 2009-10-28 オリンパス株式会社 表示画像撮像方法および装置
GB2432071A (en) * 2005-11-04 2007-05-09 Autoliv Dev Determining pixel values for an enhanced image dependent on earlier processed pixels but independent of pixels below the pixel in question
FR2910673A1 (fr) * 2006-12-21 2008-06-27 Thomson Licensing Sas Procede de traitement d'image et dispositif implementant ledit procede
KR20080098864A (ko) * 2007-05-07 2008-11-12 삼성전자주식회사 이미지 센서의 플리커 감소 방법 및 장치
US8218868B2 (en) * 2007-06-13 2012-07-10 Sensors Unlimited, Inc. Method and apparatus for enhancing images
US8451356B2 (en) * 2008-10-09 2013-05-28 Sony Corporation System and method for correcting artifacts in sequential imagers caused by transient light disturbances
EP2262228A1 (en) * 2009-06-09 2010-12-15 Global IP Solutions (GIPS) AB Detection and supression of flicker in a sequence of images
JP5644451B2 (ja) * 2010-05-25 2014-12-24 株式会社リコー 画像処理装置および画像処理方法、ならびに、撮像装置
TWI449027B (zh) * 2011-08-30 2014-08-11 Novatek Microelectronics Corp 適應性畫素補償方法
CN106063250B (zh) 2015-01-27 2019-05-10 华为技术有限公司 一种全景拍摄曝光方法及装置
KR102546995B1 (ko) * 2016-11-04 2023-06-26 삼성디스플레이 주식회사 표시 패널의 휘도 보상 방법
WO2020157979A1 (ja) * 2019-02-01 2020-08-06 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像表示方法
CN110445952B (zh) * 2019-07-15 2021-12-21 浙江大华技术股份有限公司 摄像头的画面闪烁处理方法、装置、设备和存储介质
GB2586128B (en) * 2019-08-05 2024-01-10 Sony Interactive Entertainment Inc Image processing system and method

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4670787A (en) * 1985-07-31 1987-06-02 Rca Corporation Suppression of field-rate brightness variations for a television camera
US5625411A (en) * 1992-12-22 1997-04-29 Fuji Photo Film, Ltd. Video camera printer apparatus and method of controlling same and apparatus and method for detecting print inhibit signal
JPH06311396A (ja) * 1993-04-27 1994-11-04 Mitsubishi Electric Corp 映像回路
JP3508250B2 (ja) 1994-11-25 2004-03-22 ソニー株式会社 動画像処理装置
US6320906B1 (en) * 1996-05-21 2001-11-20 Matsushita Electric Industrial Co., Ltd. Motion vector detecting circuit
JP3989615B2 (ja) * 1997-06-27 2007-10-10 松下電器産業株式会社 固体撮像装置
JPH11122513A (ja) * 1997-10-09 1999-04-30 Matsushita Electric Ind Co Ltd 蛍光灯フリッカー補正装置及びそれを使用したカメラ
JP2983509B2 (ja) * 1998-02-10 1999-11-29 日本放送協会 テレビジョン映像のフリッカ検出方法および装置
JP3506900B2 (ja) * 1998-03-03 2004-03-15 松下電器産業株式会社 フリッカ補正装置
JPH11313226A (ja) * 1998-04-27 1999-11-09 Matsushita Electric Ind Co Ltd フリッカ補正装置及び補正方法
US6519002B1 (en) * 1998-08-31 2003-02-11 Intel Corporation Method and apparatus to minimize flicker effects from a discharge light source during digital video capture
JP2000324365A (ja) 1999-05-13 2000-11-24 Hitachi Ltd 画像処理装置
US6710818B1 (en) * 1999-10-08 2004-03-23 Matsushita Electric Industrial Co., Ltd. Illumination flicker detection apparatus, an illumination flicker compensation apparatus, and an ac line frequency detection apparatus, methods of detecting illumination flicker, compensating illumination flicker, and measuring ac line frequency
JP3539901B2 (ja) * 1999-10-08 2004-07-07 松下電器産業株式会社 フリッカ検出・補正装置およびフリッカ検出・補正方法

Also Published As

Publication number Publication date
US20030067546A1 (en) 2003-04-10
US7043093B2 (en) 2006-05-09
JP2003060936A (ja) 2003-02-28

Similar Documents

Publication Publication Date Title
JP4759877B2 (ja) 画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置
KR100567475B1 (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을기록한 컴퓨터 판독 가능한 기록 매체
TWI392377B (zh) 增強數位影像的對比的方法及相關的電腦及電腦系統
US20050162620A1 (en) Image processing apparatus
JP2008511258A (ja) リアルタイム画像安定化
JP5547464B2 (ja) フィルムモードまたはカメラモードの検出方法
JP2011128978A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2009253646A (ja) 画像処理装置、画像処理方法
KR100593117B1 (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을기록한 기록 매체
JPWO2010116400A1 (ja) 被写体動き検出装置および方法
JP2007081611A (ja) 表示画面補正パラメータ設定方法
KR20080011051A (ko) 화상처리장치 및 화상처리방법과 프로그램
JP5201238B2 (ja) 画像処理プログラム及びその記録媒体、画像処理方法並びに画像処理装置
JP4784175B2 (ja) 逆光画像判定および暗部補正
JP2006285655A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP3900972B2 (ja) コントラスト強調方式
JP2011130128A (ja) 画像処理装置及びその制御方法、プログラム
JP2012220674A (ja) 画像処理装置、画像処理方法及びプログラム
JP2003022068A (ja) 画像処理装置及び方法
JP2021057824A5 (ja)
JP2007195216A (ja) 画像処理装置および画像処理方法並びに画像処理プログラム
JP4442102B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2012054659A (ja) 画像処理装置、画像処理方法及びプログラム
JP2011250102A (ja) 画像処理装置およびその制御方法
JP5634245B2 (ja) 動きベクトル検出装置及びその制御方法、プログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100728

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110523

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees