JP5594055B2 - 画像処理装置、電子機器及び画像処理方法 - Google Patents

画像処理装置、電子機器及び画像処理方法 Download PDF

Info

Publication number
JP5594055B2
JP5594055B2 JP2010237485A JP2010237485A JP5594055B2 JP 5594055 B2 JP5594055 B2 JP 5594055B2 JP 2010237485 A JP2010237485 A JP 2010237485A JP 2010237485 A JP2010237485 A JP 2010237485A JP 5594055 B2 JP5594055 B2 JP 5594055B2
Authority
JP
Japan
Prior art keywords
correction
value
circuit
ratio
correction coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010237485A
Other languages
English (en)
Other versions
JP2012090233A (ja
Inventor
信明 関根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Semiconductor Ltd
Original Assignee
Fujitsu Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Semiconductor Ltd filed Critical Fujitsu Semiconductor Ltd
Priority to JP2010237485A priority Critical patent/JP5594055B2/ja
Priority to US13/197,403 priority patent/US8913164B2/en
Publication of JP2012090233A publication Critical patent/JP2012090233A/ja
Application granted granted Critical
Publication of JP5594055B2 publication Critical patent/JP5594055B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene

Description

画像処理装置、電子機器及び画像処理方法に関するものである。
従来、デジタルカメラ等の電子機器は、撮像した画像のデータについて、補正カーブを用いてトーン補正を行う機能を有している(例えば、特許文献1参照)。例えば逆光撮影環境下では、撮像した画像が周囲に比べて中央に位置する人物像が暗くなってしまう。このため、補正カーブを適用する、又は複数の補正カーブから選択した1つの補正カーブを用いてトーン補正を行うことで、見やすい画像データを生成することができる。なお、このような補正テーブルは、暗い画像を明るく補正するためのものだけでなく、明るい画像の輝度を抑えるための補正カーブを格納した補正テーブルもある。補正カーブは、テーブルの切替えやテーブルの補正データを書き換えることにより、使い分けられる。
特開2009−212960号公報
ところで、電子機器では、補正データの切替えや書き換えは、連続する画像間で急激な変化を生じさせる。例えば、電子機器にて静止画の連続撮影や動画撮影中に、外部の明るさや、撮影位置が頻繁に変わる場合、入力される画像の輝度は、それに伴って頻繁に変わる。このとき、補正カーブを切替えると、切替が終了したときに外部の明るさが更に変化するため、再度補正カーブを切替えることになる。この結果、画像の明暗が複数回繰り返される、つまり画像にちらつきが生じる場合がある。
本発明の一観点によれば、第1の補正特性に基づいて、入力画像の画素値に対応する第1の補正値を出力する第1補正回路と、第2の補正特性に基づいて、前記入力画像の画素値に対応する第2の補正値を出力する第2補正回路と、前記第1の補正値と前記第2の補正値とを合成する割合を複数の段階に対して段階的に設定して出力する制御回路と、前記割合に基づいて、前記第1の補正値と前記第2の補正値とを合成する合成回路とを有し、前記制御回路は、前記複数の段階の各段階に対する前記割合と、前記各段階に対する前記割合が設定される前記入力画像のフレーム数とを格納するテーブルを有し、前記フレーム数の前記入力画像に対して同じ前記割合を設定して出力し、前記合成回路の出力に応じて前記入力画像の画素値を補正して補正画素値を出力する。
本発明の一観点によれば、適切な補正を行うことができる。
電子機器のブロック回路図。 第1実施形態のトーンコントロール回路のブロック回路図。 (a)はトーンカーブの説明図、(b)は補正係数曲線の説明図。 (a)〜(c)は補正係数値の合成割合を示す説明図。 トーンコントロール回路の動作を示すタイミングチャート。 (a)(b)はトーン補正の説明図。 第2実施形態のトーンコントロール回路のブロック回路図。 (a)〜(c)は遷移段数決定処理の説明図。 段数算出テーブルの説明図。 段数算出テーブルの変形例を示す説明図。 段数算出テーブルの変形例を示す説明図。 (a)〜(d)はパラメータテーブルの説明図。 特性値差算出処理の変形例を示す説明図。 特性値差算出処理の変形例を示す説明図。 (a)(b)はトーン補正の変形例を示す説明図。 補正テーブルへの書き込みの変形例を示すブロック回路図。 第3実施形態のトーンコントロール回路のブロック回路図。 ゲイン係数テーブルの説明図。 補正係数値の特性図。 折れ線テーブルの説明図。 トーンコントロール回路の変形例を示すブロック回路図。 トーンコントロール回路の変形例を示すブロック回路図。 トーンコントロール回路の変形例を示すブロック回路図。
以下、実施形態を図面に従って説明する。
(システム構成)
図1に示す電子機器1は、例えば、携帯電話機、デジタルカメラ、ビデオカメラ等の電子機器である。
電子機器1は、撮像装置2、画像処理装置3、表示装置4、外部メモリ5、記録媒体6、操作入力装置7を有する。撮像装置2は、例えば、CMOSセンサモジュール、CCDイメージセンサモジュール等の撮像装置である。表示装置4は、例えば、液晶表示装置、有機EL表示装置等の表示装置である。外部メモリ5は、複数フレームの画像データを記憶可能なメモリ、例えば、同期型半導体記憶装置(SDRAM:Synchronous Dynamic Random Access Memory)である。記録媒体6は、例えば、メモリカード、USBメモリ、DVD等の可搬型記録媒体である。操作入力装置7は、例えば操作スイッチ、ボリュームスイッチ、ダイヤルスイッチ、タッチパネル等の入力装置である。
撮像装置2は、撮像素子2aを含む。撮像素子2aは、入射光に応じた撮像信号(アナログ信号)を出力する。撮像装置2は、撮像素子2aの出力信号をデジタル信号に変換し、そのデジタル信号を出力する。この撮像装置2から出力されるデジタル信号は、撮像素子2aにて撮像された1画面分の画像データ(1フレームのフレーム画像)である。
画像処理装置3は、撮像装置2から出力される画像データGDを入力し、外部メモリ5に格納する。画像処理装置3は、操作入力装置7からの入力信号に基づいて設定される各種のモードに応じて、外部メモリ5に記憶された画像データGDに対して、トーン補正、γ補正、圧縮伸張処理等の各種の画像処理を行い、処理後の画像データを外部メモリ5に格納する。
画像処理装置3は、画像処理した画像データGDを表示装置4に出力する。表示装置4は、画像処理装置3から出力される1フレームの画像データGDに基づいて、表示部4aに画像を表示する。また、画像処理装置3は、例えば操作入力装置7からの入力信号に基づいて、外部メモリ5から読み出した画像データを記録媒体6に格納する。
画像処理装置3は、中央処理装置(CPU)10、撮像装置インタフェース11、表示装置インタフェース12、外部メモリインタフェース13、記録媒体インタフェース14、操作入力装置インタフェース15を有している。また、画像処理装置3は、圧縮伸張処理部17、画像信号処理部18を有している。図1において、インタフェースを「I/F」と表記した。以下の説明において、「I/F」を用いる。
CPU10、各I/F11〜15、圧縮伸張処理部17、画像信号処理部18は、バス19を介して互いに電気的に接続されている。CPU10は、各I/F11〜15、圧縮伸張処理部17、画像信号処理部18を統括制御する制御回路である。
CPU10は、操作入力装置I/F15を介して操作入力装置7からの入力信号、CPU10が実行するプログラム、I/F11〜15,各処理部17,18の出力信号(例えば割り込み信号)、等に基づいて、各I/F11〜15、圧縮伸張処理部17、画像信号処理部18に対して、制御信号の出力、動作状態に応じた情報の設定(レジスタ設定)、等を実行する。
例えば、CPU10は、操作入力装置7の出力信号に応答して各種動作状態を設定するための設定画面を表示する。そして、CPU10は、その設定画面の表示において、操作入力装置7の出力信号に応答して、撮影モード(静止画,動画)や補正の種類・有無などを受け付け、撮影情報、等を設定するため制御信号を出力する。また、CPU10は、設定画面における操作入力装置7の出力信号に応答して、各I/F11〜15,各処理部17,18に対して制御信号を出力する。
例えば、撮像装置I/F11は、制御信号に応答して、撮像装置2に対して画像データGDを出力するように指令信号を出力する。そして、撮像装置I/F11は、撮像装置2から出力される画像データGDを受け取り、その画像データGDを外部メモリI/F13を介して外部メモリ5に格納する。表示装置I/F12は、制御信号に応答して、外部メモリI/F13を介して外部メモリ5から読み出した画像データGDを表示装置4に出力する。記録媒体I/F14は、制御信号に応答して、外部メモリI/F13を介して外部メモリ5から読み出した画像データGDを記録媒体6に格納する。
圧縮伸張処理部17は、CPU10からの制御信号に基づいて、外部メモリ5から読み出した画像データを例えばJPEG方式にて圧縮処理し、処理後のデータを外部メモリ5に格納する。また、圧縮伸張処理部17は、CPU10からの制御信号に基づいて、外部メモリ5から読み出したデータを対応する方式に従って伸張処理し、処理後のデータを外部メモリ5に格納する。
画像信号処理部18は、画像信号(画像データ)を処理する複数の処理部を含む。画像信号処理部18は、CPU10からの制御信号に基づいて、外部メモリI/F13を介して外部メモリ5から読み出した画像データを処理し、処理後のデータを外部メモリI/F13を介して外部メモリ5に格納する。画像信号処理部18に含まれる処理部は、例えば、プリプロセス部、色空間変換部、解像度変換部、等を含む。プリプロセス部は、撮像装置2から出力されるベイヤ配列のデータの並び替えや、ホワイトバランス等の処理を行う。色空間変換部は、データの形式を変換する。例えば、色空間変換部は、RGB形式の画像データをYCbCr形式の画像データに変換する。YCbCr形式は、輝度情報(Y)と色差(Cb,Cr)とにより、画素の色を表現する形式である。解像度変換部は、画像データの画像サイズ(縦横の画素数)を拡大又は縮小する処理を行う。
また、画像信号処理部18は、トーンカーブにより画像データを補正するトーンコントロール回路20(図2参照)を含む。トーンカーブは、入力値に対応する出力値の特性を示すもの(特性曲線)であり、テーブルデータや計算式として管理される。トーンコントロール回路20は、画像データの各画素データに含まれる所定の画素情報(例えば輝度情報)の値を、トーンカーブに応じた値に変換するトーン補正を行う。例えば、トーンコントロール回路20は、外部メモリ5から読み出した画像データに対してトーン補正処理を行い、その処理後の画像データを外部メモリ5に格納する。
以下、トーンコントロール回路の実施形態を説明する。
尚、各実施形態において互いに同じ構成部材については同じ符号を付して説明の一部を省略する。
(第1実施形態)
図2に示すように、トーンコントロール回路20は、第1補正回路21、第2補正回路22、合成回路23、補正演算回路24、フレームカウンタ25、合成制御回路26、第1フリップフロップ回路27、第2フリップフロップ回路28を有している。
画素データPa(入力画像)は、第1補正回路21と第2補正回路22とフレームカウンタ25に供給される。第1補正回路21は、第1補正テーブル21aを有している。第1補正テーブル21aは、画素データPaの輝度値Xaに対する第1補正係数値K1を求めるテーブルであって、例えば、RAMである。第1補正テーブル21aには、所定形状の補正係数曲線に基づく補正係数値が格納されている。第1補正回路21は、画素データPaの輝度値Xaに応じて第1補正テーブル21aから読み出した第1補正係数値K1を出力する。この第1補正係数値K1は、第1の補正値の一例である。
第2補正回路22は、第1補正回路21と同様に、第2補正テーブル22aを有している。第2補正テーブル22aは、画素データPaの輝度値Xaに対する第2補正係数値K2を求めるテーブルであって、例えば、RAMである。第2補正テーブル22aには、所定形状の補正係数曲線に基づく補正係数値が格納されている。第2補正回路22は、画素データPaの輝度値Xaに応じて第2補正テーブル22aから読み出した第2補正係数値K2を出力する。この第2補正係数値K2は、第2の補正値の一例である。
合成回路23は、第1補正係数値K1と第2補正係数値K2を入力する。また、合成回路23は、合成制御回路26から出力される制御信号を入力する。この制御信号は、第1補正係数値K1と第2補正係数値K2の何れか一方に基づいて第3補正係数値K3を生成するための制御信号を含む。つまり、合成回路23は、合成制御回路26から出力される制御信号に応答して、第1補正係数値K1と第2補正係数値K2の何れか一方を選択する機能を有する。そして、合成回路23は、選択した補正係数値と等しい第3補正係数値K3を出力する。なお、選択しなかった補正係数値を出力する補正回路に対するアクセスを停止する、つまり、画素データPaに応答しないようにすることで、その補正回路が含む補正テーブルの値(補正データ)を例えばCPU10が変更することが可能となる。
また、合成制御回路26から出力される制御信号は合成割合(ブレインド比)を含む。合成回路23は、合成割合に基づいて、第1補正係数値K1と第2補正係数値K2とから第3補正係数値K3を算出する。合成割合は、第1補正係数値K1と第2補正係数値K2とを合成するそれぞれの割合(比)である。合成回路23は、この比に従って第1補正係数値K1と第2補正係数値K2とを合成(ブレンド)して第3補正係数値K3を生成する。例えば、第1補正係数値K1と第2補正係数値K2の比を7:3とすると、合成回路23は、第3補正係数値K3を、
K3=(K1×7/(7+3)+K2×3/(7+3))
により算出する。
画素データPaは、第1フリップフロップ回路27に供給され、第1フリップフロップ回路27の出力信号は第2フリップフロップ回路28に供給され、第2フリップフロップ回路28は画素データPbを出力する。この画素データPbは補正演算回路24に供給される。即ち、補正演算回路24は、第1及び第2フリップフロップ回路27,28を介して画素データPaを受け取る。
補正演算回路24は、合成回路23から出力される第3補正係数値K3を受け取る。補正演算回路24は、画素データPbと第3補正係数値K3に基づいて算出した画素データPc(出力画像)を出力する。詳しくは、補正演算回路24は、画素データPbに第3補正係数値K3を乗算し、その乗算結果の画素データPcを出力する。
各フリップフロップ回路27,28は、供給されるクロック信号(図示略)に応答して、入力信号を保持し、その保持した信号レベルと等しいレベルの信号を出力する。従って、補正演算回路24に供給される画素データPbは、画素データPaに対して、クロック信号の2サイクル遅延する。フリップフロップ回路27,28は遅延回路の一例である。
このフリップフロップ回路27,28の段数は、第1及び第2補正回路21,22において画素データPaに対応する補正係数値K1,K2を出力するまでの時間と、合成回路23において第1及び第2補正係数値K1,K2を合成して生成した第3補正係数値K3を出力するまでの時間との合計値に応じて設定される。
例えば、第1補正回路21及び第2補正回路22と、合成回路23において、入力データに対する出力データの遅延時間(レイテンシ)を「1」(クロック信号の1周期分)とする。図5は、トーンコントロール回路20の動作を示すタイミング図である。図5において、4つの画素データPa(「1」〜「4」と表記)に対する処理を説明する。なお、説明において、値に各画素の番号を括弧を付して説明する。例えば、1つめの画素データをPa(1)と表す。
この場合、図5に示すように、1つめの画素データPa(1)に基づき、図2に示す第1及び第2補正回路21,22は、画素データPa(1)から1サイクル遅れて、補正係数値K1(1),K2(1)をそれぞれ出力する。合成回路23は、補正係数値K1(1),K2(1)の出力タイミングから1サイクル遅れて補正係数値K3(1)を出力する。
図2に示すフリップフロップ回路28は、画素データPa(1)から2サイクル遅れて画素データPb(1)を出力する。従って、補正演算回路24には、画素データPb(1)と補正係数値K3(1)が同時に入力される。そして、補正演算回路24は、この画素データPb(1)と補正係数値K3(1)に基づいて画素データPc(1)を算出する。このように、トーンコントロール回路20は、各画素データPaに対応する第3補正係数値K3により、画素データPaを画素データPcにそれぞれ補正することができる。
第1補正テーブル21aに格納された補正係数値と第2補正テーブル22aに格納された補正係数値は互いに異なる値である。つまり、第1補正回路21の補正曲線と第2補正回路22の補正係数曲線は、互いに異なる形状(特性)である。各補正テーブル21a,22aの補正係数曲線は、画素データの輝度値を補正するトーンカーブに対応する。
図3(a)に実線で示すトーンカーブT1は、入力画像に対して出力画像を明るくするためのものであり、図3(a)に一点鎖線で示すトーンカーブT2は、入力画像に対して出力画像を暗くするためのものである。
第1補正テーブル21aには、図3(b)に実線で示す補正係数曲線L1の補正係数値が格納されている。この補正係数曲線L1の形状、つまり補正係数値は、図3(a)に実線で示す第1のトーンカーブT1に対応して設定されている。合成回路23は、補正係数値K1,K2の合成比を10:0とすると、補正係数値K1と等しい補正係数値K3を出力する。つまり、トーンコントロール回路20は、画素データPaの輝度値Xaと、第1補正係数曲線L1により輝度値Xaに対応して得られた補正係数値K3(=K1)により画素データPcの輝度値Xcを算出する。この輝度値Xcは、トーンカーブT1により画素データPaの輝度値Xaを補正した輝度値と等しい。
同様に、第2補正テーブル22aには、図3(b)に一点鎖線で示す補正係数曲線L2の補正係数値が格納されている。この補正係数曲線L2の形状、つまり補正係数値は、図3(a)に一点鎖線で示す第2のトーンカーブT2に対応して設定されている。合成回路23は、補正係数値K1,K2の合成比を0:10とすると、補正係数値K2と等しい補正係数値K3を出力する。つまり、トーンコントロール回路20は、画素データPaの輝度値Xaと、第2補正係数曲線L2により輝度値Xaに対応して得られた補正係数値K3(=K2)により画素データPcの輝度値Xcを算出する。この輝度値Xcは、トーンカーブT2により画素データPaの輝度値Xaを補正した輝度値と等しい。
つまり、トーンコントロール回路20は、補正係数値K1,K2の合成比が10:0のとき、図3(a)に示す第1のトーンカーブT1によるトーン補正と同様に、画素データPaの輝度値Xaを補正した輝度値Xcを出力する。また、トーンコントロール回路20は、補正係数値K1,K2の合成比が0:10のとき、図3(a)に示す第2のトーンカーブT2によるトーン補正と同様に、画素データPaの輝度値Xaを補正した輝度値Xcを出力する。
更に、トーンコントロール回路20の合成回路23は、合成比に応じて第1補正係数値K1と第2補正係数値K2を合成して第3補正係数値K3を算出する。例えば、第1補正係数値K1と第2補正係数値K2の合成割合を「7:3」とすると、図4(a)に示すように、輝度値Xaに対応する第1補正係数値K1と第2補正係数値K2の間であって合成割合(7:3)に対応する値が第3補正係数値K3となる。また、第1補正係数値K1と第2補正係数値K2の合成割合を「5:5」とすると、図4(b)に示すように、輝度値Xaに対応する第1補正係数値K1と第2補正係数値K2の間であって合成割合(5:5)に対応する値が第3補正係数値K3となる。また、第1補正係数値K1と第2補正係数値K2の合成割合を「3:7」とすると、図4(c)に示すように、輝度値Xaに対応する第1補正係数値K1と第2補正係数値K2の間であって合成割合(3:7)に対応する値が第3補正係数値K3となる。
そして、補正演算回路24は、画素データPb(Pa)の輝度値Xaに第3補正係数値K3を乗算して画素データPcの輝度値Xcを算出する。従って、トーンコントロール回路20は、合成比の設定に応じて、第1及び第2のトーンカーブT1,T2と異なるカーブに応じて画素データPa(Pb)を補正処理した画素データPcを出力する。
第1補正テーブル21aにおける補正係数曲線L1の係数データと、第2補正テーブル22aにおける補正係数曲線L2の係数データは、CPU10にて適宜所定のタイミングで格納される。例えば、CPU10は、電子機器1の初期設定時に、各係数データを対応する補正テーブル21a,22aに格納する。例えば、CPU10が実行するプログラムは、計算式によって各補正係数曲線L1,L2の係数データを算出し、算出した係数データを対応する補正テーブル21a,22aに格納するためのプログラムを含む。
合成回路23における合成割合(合成比)は、合成制御回路26により設定される。
合成制御回路26は、パラメータテーブルPTを含む。このテーブルPTには、遷移情報がCPU10により格納される。
遷移情報は、遷移段数を含む。また、遷移情報は、遷移段数に対応し、遷移の段階に対して関連付けられた合成割合とフレーム数を含む。遷移段数(遷移の段階の数)は、合成割合を段階的に変更する回数(段数)である。合成割合は、変更する各段において設定する合成割合であり、遷移情報は、遷移段数に応じた数の合成割合を含む。フレーム数は、変更する各段の合成割合により処理するフレームの数である。
CPU10は、補正値の変更が必要と判定すると、補正の種類に応じて選択信号を出力する。例えば、画像を明るくする補正の場合、図3(a)に示すトーンカーブT1が用いられる。従って、CPU10は、このトーンカーブT1に対応する補正係数曲線L1(図3(b)参照)選択するための選択信号を出力する。また、画像を暗くする補正の場合、図3(a)に示すトーンカーブT2が用いられる。従って、CPU10は、このトーンカーブT2に対応する補正係数曲線L2(図3(b)参照)を選択するための選択信号を出力する。
また、CPU10は、補正値の変更が必要と判定すると、合成制御回路26のテーブルPTに遷移情報を格納する。
CPU10は、例えば、各フレームにおける輝度値の変化量に基づいて、補正値変更が必要か否かを判定する。図1において、例えば撮像装置I/F11に含まれる算出回路は、撮像装置2から順次入力される画像データGDについて、連続する2つのフレーム間の輝度値の差を算出する。フレームにおける輝度は、例えば、フレームに含まれる画像データGDの輝度値の平均値、フレームに含まれる画像データGDの全ての画素の輝度値の合計値、ヒストグラム(同じ輝度値を持つ画素の数)において最大値となる輝度値、等を用いることができる。なお、輝度値の差を算出する回路は、画像信号処理部18に含まれても良い。また、CPU10が各フレームの輝度値及びフレーム間の輝度値の差の少なくとも一方を算出する構成としてもよい。
CPU10は、例えば輝度値の差がしきい値で設定される範囲を超える(範囲内に含まれる値と異なる)場合に補正値の変更が必要と判定する。そして、CPU10は、例えば輝度値の差に基づいて、上記の遷移情報を合成制御回路26のテーブルPTに設定する。例えば、CPU10は、輝度値の差に応じて、第1及び第2補正係数値K1,K2の何れか一方の割合を増加させ、何れか他方割合を減少させるように合成割合を設定する。
合成割合の増加・減少は、上記の選択する補正係数曲線に対応する。例えば、第1補正係数曲線L1、つまり第1補正係数値K1を選択する場合、CPU10は、第1補正係数値K1の割合を増加させ、第2補正係数値K2の割合を減少させるように、合成割合を設定する。また、第2補正係数曲線L2、つまり第2補正係数値K2を選択する場合、CPU10は、第1補正係数値K1の割合を減少させ、第2補正係数値K2の割合を増加させるように、合成割合を設定する。
合成制御回路26は、CPU10により遷移情報がテーブルPTに書き込まれると、各フレームに対する補正値の変更処理(補正値遷移処理)のための制御を開始する。尚、合成制御回路26は、CPU10が出力する他の制御信号に応答して制御を開始するようにしてもよい。例えば、CPU10が出力する開始信号に応答して制御を開始するようにしてもよい。
合成制御回路26は、フレームカウンタ25から出力される信号に基づいて、合成割合を合成回路23に出力するタイミングを判定する。例えば、合成制御回路26は、フレームカウンタ25にフレーム数と等しいカウントアップ値を設定し、スタート信号を出力する。フレームカウンタ25は、入力画像のフレームをカウントする。このカウントには、入力画像に含まれる画素数、入力画像のフレームを制御する信号(例えば垂直同期信号)などが用いられる。フレームカウンタ25は、カウント値がカウントアップ値と等しくなるとカウントアップ信号を出力する。合成制御回路26は、カウントアップ信号に応答して、合成回路23に合成割合を設定する。
一例として、合成制御回路26のテーブルPTに格納されている遷移情報を、
遷移段数=3、
1段目に対する合成割合「7:3」、フレーム数「2」、
2段目に対する合成割合「5:5」、フレーム数「2」、
3段目に対する合成割合「3:7」、フレーム数「2」、
とする。
今、合成回路23は、合成制御回路26から出力される制御信号に応答して選択した第1補正回路21を使用してトーン補正を行っている。従って、図6(a)に示すように、第1のフレーム画像F1は、第1補正回路21の第1補正係数値K1を用いてトーン補正される。詳しくは、トーンコントロール回路20は、第1のフレーム画像F1に含まれる各画素データPaに、それぞれの画素データPaに対応して算出された第3補正係数値K3を乗算して画素データPcを出力する。
そして、第2のフレーム画像F2に対する処理を開始する前にCPU10から遷移情報がテーブルPTに書き込まれると、合成制御回路26はそのテーブルPTに格納された遷移情報に従って制御を開始する。
先ず、合成制御回路26はフレームカウンタ25に1段目のフレーム数に応じたカウントアップ値と開始信号を出力する。フレームカウンタ25は、カウントアップ値を入力するとカウント値をクリアし、開始信号に応答してカウントを開始する。また、合成制御回路26は、合成回路23に、1段目の合成割合(7:3)を出力する。
合成回路23は、合成割合に応じて、第1補正回路21から出力される第1補正係数値K1と第2補正回路22から出力される第2補正係数値K2とを合成して第3補正係数値K3を生成する。補正演算回路24は、この第3補正係数値K3に基づいて、画素データPb(Pa)から画素データPcを生成する。従って、図6(a)に示すように、第2のフレーム画像F2は、第1補正係数値K1と第2補正係数値K2が合成割合(7:3)にて合成された第3補正係数値K3を用いてトーン補正される。
フレームカウンタ25は、第2のフレーム画像F2に対する処理が終了する(実際には第2のフレーム画像F2に含まれる全ての画素データPaが入力される)と、カウント値をカウントアップする。この時のカウント値は「1」であるため、フレームカウンタ25はカウントアップ信号を出力しない。このため、合成制御回路26は合成割合を出力しない。従って、合成回路23は、先に設定された合成割合(7:3)に従って第3補正係数値K3を算出する。これにより、図6(a)に示すように、第3のフレーム画像F3は、第1補正係数値K1と第2補正係数値K2が合成割合(7:3)にて合成された第3補正係数値K3を用いてトーン補正される。
フレームカウンタ25は、第3のフレーム画像F3に対する処理が終了すると、カウント値をカウントアップする。この時のカウント値は「2」であるため、フレームカウンタ25はカウントアップ信号を出力する。合成制御回路26はカウントアップ信号に応答して、次の遷移段(2段目)に対応するフレーム数(=2)をフレームカウンタ25に出力する。フレームカウンタ25は、カウントアップ値を入力するとカウント値をクリアし、合成制御回路26からの開始信号に応答してカウントを開始する。また、合成制御回路26は、次の遷移段(2段目)に対応する合成割合(5:5)を出力する。
合成回路23は、合成割合に応じて、第1補正回路21から出力される第1補正係数値K1と第2補正回路22から出力される第2補正係数値K2とを合成して第3補正係数値K3を生成する。補正演算回路24は、この第3補正係数値K3に基づいて、画素データPb(Pa)から画素データPcを生成する。従って、図6(a)に示すように、第4のフレーム画像F4は、第1補正係数値K1と第2補正係数値K2が合成割合(5:5)にて合成された第3補正係数値K3を用いてトーン補正される。
同様に、第5のフレーム画像F5は、第1補正係数値K1と第2補正係数値K2が合成割合(5:5)にて合成された第3補正係数値K3を用いてトーン補正される。更に、第6及び第7のフレーム画像F6,F7は、第1補正係数値K1と第2補正係数値K2が合成割合(3:7)にて合成された第3補正係数値K3を用いてトーン補正される。
フレームカウンタ25は、第7のフレーム画像F7に対する処理が終了すると、カウント値をカウントアップする。この時のカウント値は「2」であるため、フレームカウンタ25はカウントアップ信号を出力する。合成制御回路26はカウントアップ信号を入力し、このカウントアップ信号の入力回数と遷移段数とを比較する。合成制御回路26は、入力回数が遷移段数と等しいため、補正値の変更処理(補正値遷移処理)が終了したと判定する。そして、合成制御回路26は、CPU10から出力される選択信号に基づいて、第2補正回路22の第2補正係数値K2を選択するように制御信号を出力する。合成回路23は、その制御信号に応答して第2補正係数値K2を選択し、選択した第2補正係数値K2と等しい第3補正係数値K3を出力する。
補正演算回路24は、この第3補正係数値K3に基づいて、画素データPb(Pa)から画素データPcを生成する。従って、図6(a)に示すように、第8のフレーム画像F8は、第2補正係数値K2と等しい第3補正係数値K3を用いてトーン補正される。
別の例として、合成制御回路26のテーブルPTに格納されている遷移情報を、
遷移段数=2、
1段目に対する合成割合「7:3」、フレーム数「3」、
2段目に対する合成割合「3:7」、フレーム数「2」、
とする。
また、第1補正回路21を使用してトーン補正を行うように設定されている。この場合、図6(a)に示すフレーム遷移と同様に、図6(b)に示すように、第2〜第4のフレーム画像F2〜F4は、第1補正係数値K1と第2補正係数値K2が合成割合(7:3)にて合成された第3補正係数値K3を用いてトーン補正される。第5及び第6のフレーム画像F5,F6は、第1補正係数値K1と第2補正係数値K2が合成割合(3:7)にて合成された第3補正係数値K3を用いてトーン補正される。そして、第7のフレーム画像F7は、選択された第2補正係数値K2と等しい第3補正係数値K3を用いてトーン補正される。
以上説明したように、本実施形態によれば、以下の効果を奏する。
(1)トーンコントロール回路20は、第1補正回路21の第1補正係数値K1によるトーン補正から第2補正回路22の第2補正係数値K2によるトーン補正が移行する時、3段階にトーン補正を遷移させて第2補正回路22の補正係数値K2によるトーン補正に移行するようにした。
従って、第1補正テーブル21aに格納した補正係数値特性曲線と第2補正テーブル22aに格納した補正係数値特性曲線に大きな違いがあっても、連続する複数のフレーム画像の輝度は段階的に変化する。そのため、見る人にとって、画像の輝度が段階的に変化する、即ち急激な変化を抑制することができるため、見る人にとって違和感の少ないフレーム画像を生成することができる。
(2)トーンコントロール回路20は、補正係数値を変更する各段階において、設定されたフレーム数のフレーム画像について同じ補正係数値K3を用いてトーン補正を行った後に、次の段階に移行するようにした。従って、連続するフレーム画像における輝度の変化量(短時間当りの輝度の変化量、遷移に要するフレーム数に対する輝度の変化量(平均値))を設定することが可能となり、見る人にとって違和感の少ないフレーム画像を生成することができる。
(3)トーンコントロール回路20は、CPU10による遷移情報の設定に応答して各フレーム画像に対する補正係数値K3を算出してフレーム画像に対するトーン補正を段階的に変更し、連続する複数のフレーム画像の輝度を段階的に変化させるようにした。従って、CPU10がトーンカーブを書き換える等の処理を行う必要がないため、CPU10の負荷増加を抑制することができる。
(第2実施形態)
図7に示すように、トーンコントロール回路20aは、第1補正回路21、第2補正回路22、合成回路23、補正演算回路24、フレームカウンタ25、合成制御回路26a、第1フリップフロップ回路27、第2フリップフロップ回路28を有している。また、トーンコントロール回路20aは、第1特性値算出回路31、第2特性値算出回路32、特性値差算出回路33、段数算出回路34を有している。
第1特性値算出回路31は、第1補正回路21の第1補正テーブル21aに格納された補正係数値の特性値を算出する回路である。特性値は、例えば、補正係数曲線を表す補正係数値の所定範囲における総和値である。所定範囲は、第1補正回路21の入力値、即ち輝度値Xaにおける第1の値から第2の値までの間の各補正係数値の合計値である。例えば、所定範囲を入力値の全域(入力値が8ビットの場合は0〜255)とする。補正係数値の総和は、その範囲における補正特性曲線の面積である。曲線の面積は、図8(a)に示すように、曲線と入力値の軸とに挟まれた領域の面積である。第1特性値算出回路31は、例えばCPU10(図1参照)が第1補正回路21の第1補正テーブル21aに補正係数値Kを格納する際に、各輝度値Xaに対する補正係数値Kを積算し、その積算結果を第1特性値S1とする。
第2特性値算出回路32は、第2補正回路22の第2補正テーブル22aに格納された補正係数値の特性値を算出する回路である。この特性値は、図8(b)に示すように、第2補正テーブル22aに格納された補正係数値を示す曲線L2の面積である。第2特性値算出回路32は、第1特性値算出回路31と同様に、各輝度値Xaに対する補正係数値Kを積算し、その積算値を第2特性値S2とする。
特性値差算出回路33は、第1特性値算出回路31から出力される第1特性値S1と、第2特性値算出回路32から出力される第2特性値S2とに基づいて特性差分値S3を算出する。例えば、特性値差算出回路33は、第1特性値S1と第2特性値S2の差を算出し、その絶対値を特性差分値S3とする。
段数算出回路34は、特性値差算出回路33が算出した特性差分値S3を入力する。段数算出回路34は、遷移段数を求めるための段数算出テーブルSTを有している。段数算出テーブルSTは、特性差分値S3に応じて段数値Aが段階的に変化するように値が格納されたテーブルである。このテーブルSTの値は、例えば、図1に示すCPU10により格納される。CPU10は、例えば入力値の範囲を複数に区分した各区分の境界値と、各区分の値(オフセット値)をテーブルSTに格納する。
例えば、区分値をBD1〜BD3、オフセット値をOF0〜OF3とする。入力値(特性差分値S3)が0以上BD1未満の場合にはオフセット値OF0とする。入力値(特性差分値S3)がBD1以上BD2未満の場合にはオフセット値OF1とする。入力値(特性差分値S3)がBD2以上BD3未満の場合にはオフセット値OF2とする。入力値(特性差分値S3)がBD3以上(上限は最大値)の場合にはオフセット値OF3とする。オフセット値OF0〜OF3は、入力値(特性差分値S3)に対応する段数値Aである。
輝度値Xaと補正係数値Kをそれぞれ8ビットのデジタル値で表すと、それらは「0」〜「255」の値をとる。従って、第1特性値S1、第2特性値S2、特性差分値S3は、「0」〜「65536」の間の値をとる。図9は段数算出テーブルSTの第1の例を示す。この例では、境界値BD1〜BD3を「16384」「32768」「49152」とし、オフセット値OF0〜OF3を「1」〜「4」としている。図10は、段数算出テーブルSTの第2の例を示す。この例では、境界値BD1〜BD2を「30000」「50000」とし、オフセット値OF0〜OF2を「1」〜「3」としている。図11は、段数算出テーブルSTの第3の例を示す。この例では、境界値BD1〜BD3を「16384」「32768」「49152」とし、オフセット値OF0〜OF3を「4」〜「1」としている。
段数算出回路34は、入力する特性差分値S3に対応する段数値A(オフセット値)を出力する。
合成制御回路26aは、段数算出回路34から出力される段数値Aを入力する。
合成制御回路26aは、パラメータテーブルPT1〜PT4を含む。各パラメータテーブルPT1〜PT4には、遷移段数に応じた遷移情報がそれぞれ格納されている。遷移情報は、遷移の段階値mと、各段階における合成割合と、各段階においてトーン補正するフレーム数nが関連付けて格納されている。
例えば、図12(a)に示すパラメータテーブルPT1は、遷移段数「4」に対応するテーブルである。図12(b)に示すパラメータテーブルPT2は、遷移段数「3」に対応するテーブルである。図12(c)に示すパラメータテーブルPT3は、遷移段数「2」に対応するテーブルである。図12(d)に示すパラメータテーブルPT4は、遷移段数「1」に対応するテーブルである。
パラメータテーブルPT1には、遷移段数(=4)に応じて、1段目〜4段目における合成割合とフレーム数とが格納されている。例えば、パラメータテーブルPT1には、段階「1」に対し、合成割合「8:2」、フレーム数「2」が関連付けて記憶され、段階「2」に対し、合成割合「6:4」、フレーム数「3」が関連付けて記憶されている。また、パラメータテーブルPT1には、段階「3」に対し、合成割合「4:6」、フレーム数「3」が関連付けて記憶され、段階「4」に対し、合成割合「2:8」、フレーム数「2」が関連付けて記憶されている。
合成制御回路26aは、段数算出回路34から出力される選択信号に応答して、その選択信号に対応するパラメータテーブルを選択する。そして、合成制御回路26aは、選択したパラメータテーブルに格納された遷移情報に従って、合成回路23とフレームカウンタ25とを制御する。
以上説明したように、本実施形態によれば、上記実施形態の効果に加え、以下の効果を奏する。
(4)第1特性値算出回路31は第1補正テーブル21aの補正係数曲線L1に応じた特性値S1を算出する。第2特性値算出回路32は第2補正テーブル22aの補正係数曲線L2に応じた特性値S2を算出する。特性値差算出回路33は、第1特性値S1と第2特性値S2の特性差分値S3(差分絶対値)を算出し、段数算出回路34は、段数算出テーブルSTを含み、特性差分値S3に応じた段数値Aを出力する。そして、合成制御回路26aは、段数値Aに対応するパラメータテーブルを選択し、そのパラメータテーブルに格納された遷移情報に従って合成回路23等を制御するようにした。
従って、第1補正テーブル21aの補正係数曲線と第2補正テーブル22aの補正係数曲線の違いに応じて、自動的に遷移段数や合成割合等が決定される。このため、CPU10が合成制御回路26aに対してトーン補正の係数を変更するときに遷移情報を格納する必要がなく、CPU10の負荷を低減することができる。
(5)段数算出テーブルSTに格納する値について、特性差分値S3が大きいほど遷移段数が多くなるように設定することで、連続する2つのフレーム画像における輝度の差が小さくなる。その結果、見る人にとってより連続的に輝度が変化する画像を見ることができる。
以上説明した実施形態について、以下のように変更しても良い。
・上記第2実施形態では、特性差分値S3を、図8(a)〜(c)に示すように、テーブルにおける全ての輝度値Xaに使って求めた。これに対し、所定の範囲における輝度値Xaとその輝度値Xaに対応する補正係数値Kを用いて特性差分値S3を算出するようにしてもよい。例えば、図13に示すように、輝度値Xaが大きい領域における特性差分値S3を求めてもよい。また、図14に示すように、輝度値Xaが小さい領域における特性差分値S3を求めてもよい。
・補正係数曲線の特性値として、所定範囲における補正係数値の総和を用いたが、所定の輝度値における補正係数値、所定の輝度値における補正係数曲線の傾き、最大値及び最小値、等を用いるようにしてもよい。
・第1補正テーブル21aの補正係数値K1,第2補正テーブル22aの補正係数値K2を変更する(書き換える)ようにしてもよい。例えば、CPU10は、操作入力装置の操作によって指定された補正係数値により、第1補正テーブル21aと第2補正テーブル22aの少なくとも一方の補正データを書き換える。第2実施形態の場合、特性値算出回路31,32は、対応する補正テーブル21a,22aの特性値S1,S2を算出し、その算出結果によって生成される特性差分値S3によりパラメータテーブルPT1〜PT4のうちの1つが自動的に選択される。従って、補正テーブル21a,22aの補正係数値K1,K2を変更した場合に、その値に応じて遷移情報をCPU10が設定する必要が無いため、CPU10の負荷を低減することができる。
また、段階的に、合成割合を変更して遷移している途中において、CPU10は、強制的に遷移を完了させる機能を持たせてもよい。例えば、第1補正回路21の第1補正係数値K1から第2補正回路22の第2補正係数値K2に段階的に合成割合を変更して遷移しているとする。この遷移途中において、例えば、第1補正テーブル21aに対して補正係数曲線(第1補正係数値K1a)を書き替えるイベントが生じる場合がある。この場合、図15(a)に示すように、第1補正テーブル21aの補正係数値K1を利用したトーン補正、つまり第4のフレーム画像F4のトーン補正が完了するまで、第1補正テーブル21aの補正係数曲線を異なる補正係数曲線(第1補正係数値K1a)に書き替えることができない。
これに対し、図15(b)に示すように、CPU10は、強制的に遷移を完了させ、直ちに第2補正テーブル22aの第2補正係数値K2を使っての第3のフレーム画像F3のトーン補正を実行させる。そして、CPU10は、第2補正テーブル22aの第2補正係数値K2を使ってのトーン補正を実行している間に、第1補正テーブル21aに補正係数曲線(第1補正係数値K1a)の格納を完了させるようにする。これによって、第2補正回路22の第2補正係数値K2から第1補正回路21の第1補正係数値K1aへの段階的なトーン補正が第4のフレーム画像F4から速やかに実行させることができる。
・トーンコントロール回路において、補正テーブル21a,22aの補正係数値の変更を可能に構成してもよい。例えば、図16に示すように、合成回路23から出力される補正係数値K3を例えば第1補正回路21に供給する。そして、第1補正回路21の第1補正係数値K1と、第2補正回路22の第2補正係数値K2とを、例えば、合成割合K1:K2=7:3で生成した第3補正係数値K3を第1補正回路21に入力する。
これによって、遷移途中で、第2補正回路22の第2補正テーブル22aの補正係数曲線を書き替えるイベントが生じた場合、まず、遷移途中の合成割合K1:K2=7:3で得た第3補正係数値K3を第1補正テーブル21aに書き込む。一方、CPU10は、第2補正テーブル22aに異なる補正係数曲線の補正係数値を格納する。そして、以後、第1補正回路21の第1補正係数値K1と第2補正回路22の第2補正係数値K2を合成して各段階をトーン補正する。
従って、遷移途中での補正係数値の変更を容易に行うことができるようになる。しかも、合成回路23が所定の合成割合で得た第3補正係数値K3に基づいて第1補正テーブル21aに補正係数曲線の補正係数値を格納するようにしたので、CPU10の負荷が軽減される。
・上記実施形態では、合成回路23に対して選択信号を供給して第1及び第2補正係数値K1,K2の何れか一方を選択するようにした。これに対し、一方の補正係数値の合成割合を0(ゼロ)に設定した合成割合を含む制御信号を供給するようにしてもよい。そして、合成割合を0に設定した補正係数値を出力する補正回路に対するアクセスを停止する、つまり、画素データPaに応答しないようにすることで、その補正回路が含む補正テーブルの値(補正データ)を例えばCPU10が変更することが可能となる。
(第3実施形態)
図17に示すように、トーンコントロール回路20bは、第1補正回路21、第2補正回路22、合成回路23b、補正演算回路24、第1フリップフロップ回路27、第2フリップフロップ回路28を有している。また、トーンコントロール回路20bは、第1ゲイン係数算出回路41、第2ゲイン係数算出回路42、第1乗算回路43、第2乗算回路44、α値算出回路45を有している。
第1ゲイン係数算出回路41は、折れ線テーブル41aを有している。折れ線テーブル41aは、画素データPaの輝度値Xaに対するゲイン係数G(第1ゲイン係数G1)を求めるテーブルであって、例えばパラメータと入力値から出力値を求める演算回路である。第1ゲイン係数算出回路41は、画素データPa(輝度値Xa)を入力し、その輝度値Xaに応じて折れ線テーブル41aから第1ゲイン係数G1を求め、その第1ゲイン係数G1を出力する。第1乗算回路43は、第1補正回路21から出力される第1補正係数値K1に、第1ゲイン係数算出回路41から出力される第1ゲイン係数G1を乗算し、その乗算結果である第1補正係数値K1aを出力する。
第2ゲイン係数算出回路42は、折れ線テーブル42aを有している。折れ線テーブル42aは、画素データPaの輝度値Xaに対するゲイン係数G(第2ゲイン係数G2)を求めるテーブルであって、例えばパラメータと入力値から出力値を求める演算回路である。第2ゲイン係数算出回路42は、画素データPa(輝度値Xa)を入力し、その輝度値Xaに応じて折れ線テーブル42aから第2ゲイン係数G2を求め、その第2ゲイン係数G2を出力する。第2乗算回路44は、第2補正回路22から出力される第2補正係数値K2に、第2ゲイン係数算出回路42から出力される第2ゲイン係数G2を乗算し、その乗算結果である第2補正係数値K2aを出力する。
α値算出回路45は、折れ線テーブル45aを有している。折れ線テーブル45aは、画素データPaの輝度値Xaに対するα値を求めるテーブルであって、例えばパラメータと入力値から出力値を求める演算回路である。α値は、2つの画像を合成する際の係数である。α値算出回路45は、画素データPa(輝度値Xa)を入力し、その輝度値Xaに応じて折れ線テーブル45aから求めたα値を出力する。
図18は、第1ゲイン係数算出回路41の折れ線テーブル41aを示す特性図である。第1折れ線テーブル41aは、入力値である輝度値Xaが複数に区分されて、各区分の最小値(0,BD1〜BD3)におけるオフセット値OF(OF1〜OF4)と、そのオフセット値OFを通る直線の傾きGA(GA1〜GA4)により特定される折れ線テーブルで、以下の演算式、
G1=Xa × Ga + OF
により出力値G1を算出する。第2折れ線テーブル42aと折れ線テーブル45aは、第1折れ線テーブル41aと同様の演算式により出力値を算出する。CPU10は、各折れ線テーブル41a,42a,45aのパラメータを、それぞれ所定のタイミングで個々に書き替え、テーブルの特性を変更する。また、各折れ線テーブルは、演算により出力値を算出する回路以外に、例えばRAMなどの方式により出力値を出力する構成としてもよい。
合成回路23bは、第1乗算回路43から第1補正係数値K1aを入力し、第2乗算回路44から第2補正係数値K2aを入力する。また、合成回路23bは、α値算出回路45からα値を入力する。合成回路23bは、α値に基づいて、第1補正係数値K1a及び第2補正係数値K2aを合成し第3補正係数値K3を算出する。例えば、合成回路23bは、アルファブレンドして第3補正係数値K3を算出する。アルファブレンドは、α値と、第1補正係数値K1a及び第2補正係数値K2aに基づいて、以下の演算式、
K3=K1a×α+K2a×(1−α)
により第3補正係数値K3を算出する。このように算出された第3補正係数値K3は、α値が大きければ、第1補正回路21に基づく第1補正係数値K1aに近い値となり、α値が小さければ第2補正回路22に基づく第2補正係数値K2aに近い値となる。
例えば、図19に示すように、第1補正テーブル21aに第1補正係数曲線L1が格納され、第2補正テーブル22aに第2補正係数曲線L2が格納されている。第1ゲイン係数算出回路41及び第2ゲイン係数算出回路42からそれぞれ「1」の第1及び第2ゲイン係数G1,G2が出力される。
一例として、α値を算出する折れ線テーブル45aの折れ線を、図20に示す実線とすると、合成回路23bから出力される第3補正係数値K3は、図19に破線Laで示す特性曲線を描く。別の例として、α値を算出する折れ線テーブル45aの折れ線を、図20に示す破線とすると、合成回路23bから出力される第3補正係数値K3は、図19に破線Lbで示す値曲線を描く。
以上説明したように、本実施形態によれば、上記各実施形態の効果に加え、以下の効果を奏する。
(6)α値算出回路45の折れ線テーブル45aの形状をパラメータによって変化させるだけで第3補正係数値K3を変更させることができる。即ち、第1補正テーブル21a及び第2補正テーブル22aの補正係数曲線を書き替えることなく、実際に使用される第3補正係数値K3を高速に変更させることができる。
つまり、CPU10が、α値算出回路45に対して、α値算出回路45の折れ線テーブル45aの形状を変化させるためのパラメータ、区間数、各区間のオフセット等の制御信号を出力するだけで、第3補正係数値K3を高速に変更させることができる。
(7)各折れ線テーブル41a,42a,45aの折れ線の形状を変更することで、第3補正係数値K3が描く特性曲線の形状を適宜変更することができる。従って、トーンコントロール回路20bに入力される画素データPaに対して、トーンコントロール回路20bが出力する画素データPcの値、つまり、画素データPaに対して適用するトーンカーブの形状を容易に変更することができる。また、各区間の値(オフセット値OF,傾きGA)を適宜設定することで、例えば3次曲線のように、複雑な形状のトーンカーブによるトーン補正を行うことができる。
尚、上記各実施の形態は、以下の態様で実施してもよい。
・上記第1及び第2実施形態について記載した変形例を第3実施形態に適宜適用してもよい。
・上記各実施形態のトーンコントロール回路の構成を適宜変更してもよい。
例えば、図21に示すように、トーンコントロール回路20cを構成してもよい。このトーンコントロール回路20cは、第1補正回路21、第2補正回路22、合成回路23b、フリップフロップ回路27,28、補正演算回路24、α値算出回路45を含む。
また、図22に示すように、トーンコントロール回路20dを構成してもよい。このトーンコントロール回路20dは、補正回路21,22、合成回路23b、補正演算回路24、フリップフロップ回路27,28、ゲイン係数算出回路41,42、乗算回路43,44を有している。そして、CPU10は、合成回路23bにα値を設定する。
・上記各実施形態では、第1補正回路21と第2補正回路22に、トーンカーブT1,T2に応じた補正係数曲線L1,L2の補正係数値K1,K2をテーブル形式にて格納したが、トーンカーブT1,T1のデータを格納するようにしてもよい。図23は、このようなトーンコントロール回路20eの一例を示す。
第1補正回路21の第1補正テーブル21aには、画素データPaの輝度値Xaに対する出力画素(画素データPc)の輝度値Xcを求めるための補正カーブ(例えば、図3(a)に示すトーンカーブT1)の補正データが格納されている。また、第2補正回路22の第2補正テーブル22aには、画素データPaの輝度値Xaに対する出力画素Pcの輝度値Xcを求めるための補正カーブ(例えば、図3(a)に示すトーンカーブT2)の補正データが格納されている。
第1補正回路21は、画素データPaを入力し、第1補正テーブル21aを使って補正した画素データPb1の輝度値を合成回路23に出力する。同様に、第2補正回路22は、画素データPaを入力し、第2補正テーブル22aを用いて補正した画素データPb2の輝度値を合成回路23に出力する。各補正回路21,22から出力される画素データの輝度値は、補正値の一例である。
合成制御回路26は、第1のトーンカーブT1によるトーン補正から第2のトーンカーブT2によるトーン補正に切替えるとき、合成回路23に合成割合を出力する。合成回路23は、合成制御回路26から与えられた合成割合にて第1補正回路21の第1補正画素Pb1と第2補正回路22の第2補正画素Pb2を合成して出力画素Pcとして出力する。この場合でも、第1のトーンカーブT1を用いたトーン補正から第2のトーンカーブT2を用いたトーン補正に切替えるときに、各フレーム画像の輝度が段階的に変更されるため、見る人にとって連続性のある高品質な画像を得ることができる。
・第1実施形態では、例えば「1:3」や「2:5」のように、合成割合を適宜変更してもよい。
・上記各実施形態におけるトーンコントロール回路の動作を、設定、例えば動作モードに応じて実行するようにしてもよい。例えば、電子機器(画像処理装置)は、第1実施形態のトーンコントロール回路20と第2実施形態のトーンコントロール回路20aを含む。例えば、CPU10は、設定される動作モードに応じて処理を切替えるようにトーンコントロール回路を制御する。
・上記各実施形態において、各トーンコントロール回路が行う処理の一部を、例えばCPU10が実行するようにしてもよい。例えば、第1実施形態において、CPU10は、フレーム画像の切り替わりを例えば垂直同期信号により検出し、合成回路23に合成割合を設定するための制御信号を出力する。このようにすると、合成制御回路26とフレームカウンタ25を省略することができ、CPU10が任意のタイミング(任意の数のフレーム画像が経過する毎)で合成割合を変更することができる。また、α値をCPU10が合成回路23bに設定する構成としてもよい。
また、第2実施形態では、第1特性値算出回路31、第2特性値算出回路32、特性値差算出回路33、段数算出回路34の機能のうちの少なくとも一部をCPU10が実行するようにする。例えば、CPU10が各補正テーブル21a,22aの特性値を算出するようにしてもよく、特性値として利用する値(輝度値の範囲、総和、傾き、最大値、等)を容易に変更することが可能となる。
・上記各実施形態では、段階的なトーン補正の終了後に、第1及び第2補正回路21,22の何れか一方の出力値、即ち第1補正係数値K1と第2補正係数値K2の何れか一方を選択し、その選択した補正係数値にてフレーム画像のトーン補正を行うようにした。これに対し、第1補正係数値K1と第2補正係数値K2を合成した第3補正係数値K3によりフレーム画像のトーン補正を行うようにしてもよい。例えば、図6(a)における第8のフレーム画像F8を、例えば1:9の合成割合にて第1補正係数値K1と第2補正係数値K2とを合成した第3補正係数値K3にてトーン補正する。合成割合は、例えば合成制御回路26やCPU10により、設定画面にて設定される。このようにすると、任意の輝度値に補正した連続的なフレーム画像を得ることができる。
上記各実施形態に関し、以下の付記を開示する。
(付記1)
第1の補正特性に基づいて、入力画像の画素値に対応する第1の補正値を出力する第1補正回路と、
第2の補正特性に基づいて、前記入力画像の画素値に対応する第2の補正値を出力する第2補正回路と、
前記第1の補正値と前記第2の補正値とを合成する割合を制御する制御回路と、
前記割合に基づいて、前記第1の補正値と前記第2の補正値とを合成する合成回路と
を有し、
前記合成回路の出力に応じて前記入力画像の画素値に対応する補正後の画素値とすることを特徴とする画像処理装置。
(付記2)
前記制御回路は、前記割合を所定の割合まで段階的に変更する、ことを特徴とする付記1記載の画像処理装置。
(付記3)
前記合成回路の出力値と前記入力画像の画素値とを演算する演算回路を含み、
前記演算回路の出力を前記補正後の画素値とする、
ことを特徴とする付記1又は2記載の画像処理装置。
(付記4)
前記制御回路は、前記割合を変更する各段に対して前記割合が格納されるテーブルを有することを特徴とする付記1〜3のうちの何れか一つに記載の画像処理装置。
(付記5)
前記テーブルには、前記割合に対してフレーム数が格納され、
前記制御回路は、前記フレーム数の前記入力画像に対して同じ割合とする、ことを特徴とする付記4記載の画像処理装置。
(付記6)
前記制御回路はそれぞれ互いに段数が異なる複数の前記テーブルを有し、前記複数のテーブルのうちの1つを選択し、その選択したテーブルに含まれる前記割合を前記合成回路に出力する、ことを特徴とする付記4又は5記載の画像処理装置。
(付記7)
前記第1の補正特性と前記第2の補正特性の特性差に応じた遷移段数を算出する算出回路を有し、
前記制御回路は、前記算出回路にて算出された遷移段数に応じて前記複数のテーブルのうちの1つを選択する、
ことを特徴とする付記6記載の画像処理装置。
(付記8)
前記算出回路は、
前記第1の補正特性の第1の特性値を算出する第1特性値算出回路と、
前記第2の補正特性の第2の特性値を算出する第2特性値算出回路と、
前記第1の特性値と前記第2の特性値との差を算出する特性値差算出回路と、
前記特性値差算出回路にて算出された差に応じて前記遷移段数を算出する段数算出回路と、
を有することを特徴とする付記7記載の画像処理装置。
(付記9)
第1のゲイン特性に基づいて、前記入力画像の画素値に対応する第1のゲイン係数を出力する第1の係数算出回路と、
前記第1の補正値に前記第1のゲイン係数を乗算する第1の乗算回路と、
第2のゲイン特性に基づいて、前記入力画像の画素値に対応する第2のゲイン係数を出力する第2の係数算出回路と、
前記第2の補正値に前記第2のゲイン係数を乗算する第2の乗算回路と、
を含み、前記合成回路は、前記第1の乗算回路の出力値と前記第2の乗算回路の出力値とを前記割合に基づいて合成する、
ことを特徴とする付記1〜8のうちの何れか一つに記載の画像処理装置。
(付記10)
前記入力画像の画素値に応じたα値を出力するα値算出回路を有し、
前記合成回路は前記α値に基づいて2つの入力値を合成する、
ことを特徴とする付記1〜9のうちの何れか一つに記載の画像処理装置。
(付記11)
入力画像の画素値を補正し、補正後の画素値を出力する画像処理装置を有し、
前記画像処理装置は、
第1の補正特性に基づいて、入力画像の画素値に対応する第1の補正値を出力する第1補正回路と、
第2の補正特性に基づいて、前記入力画像の画素値に対応する第2の補正値を出力する第2補正回路と、
前記第1の補正値と前記第2の補正値とを合成する割合を制御する制御回路と、
前記割合に基づいて、前記第1の補正値と前記第2の補正値とを合成する合成回路と
を含む、ことを特徴とする電子機器。
(付記12)
第1の補正特性に基づいて、入力画像の画素値に対応する第1の補正値を生成し、第2の補正特性に基づいて前記入力画像の画素値に対応する第2の補正値を生成し、前記第1の補正値と前記第2の補正値とを合成し、前記第1の補正値と前記第2の補正値とを合成する割合を制御し、前記合成された値を前記入力画像の画素値に対応する補正後の画素値とする、ことを特徴とする画像処理方法。
1 電子機器
10 中央処理装置(CPU)
20 トーンコントロール回路
21 第1補正回路
22 第2補正回路
23 合成回路
24 補正演算回路(演算回路)
26 合成制御回路(制御回路)
31 第1特性値算出回路
32 第2特性値算出回路
33 特性値差算出回路
34 段数算出回路
41 第1ゲイン係数算出回路
42 第2ゲイン係数算出回路
45 α値算出回路
GD 画像データ
Pa,Pb,Pc 画素データ
Pb1 第1補正画素(第1の出力、第1補正値)
Pb2 第2補正画素(第2の出力、第2補正値)
ST 段数算出テーブル
PT1〜PT4 パラメータテーブル
Xa 輝度値(画素値)
Xc 輝度値(画素値)
K1,K1a 第1補正係数値(第1の補正値)
K2,K2a 第2補正係数値(第2の補正値)
K3 第3補正係数値(第3の補正値)

Claims (8)

  1. 第1の補正特性に基づいて、入力画像の画素値に対応する第1の補正値を出力する第1補正回路と、
    第2の補正特性に基づいて、前記入力画像の画素値に対応する第2の補正値を出力する第2補正回路と、
    前記第1の補正値と前記第2の補正値とを合成する割合を複数の段階に対して段階的に設定して出力する制御回路と、
    前記割合に基づいて、前記第1の補正値と前記第2の補正値とを合成する合成回路と
    を有し、
    前記制御回路は、前記複数の段階の各段階に対する前記割合と、前記各段階に対する前記割合が設定される前記入力画像のフレーム数とを格納するテーブルを有し、前記フレーム数の前記入力画像に対して同じ前記割合を設定して出力し、
    前記合成回路の出力に応じて前記入力画像の画素値を補正して補正画素値を出力することを特徴とする画像処理装置。
  2. 前記合成回路の出力と前記入力画像の画素値とを演算する演算回路を含み、
    前記演算回路の出力を前記補正画素値とする、
    ことを特徴とする請求項1記載の画像処理装置。
  3. 前記制御回路はそれぞれ互いに前記複数の段階の段数が異なる複数の前記テーブルを有し、前記複数のテーブルのうちの1つを選択し、前記選択したテーブルに含まれる前記割合を前記合成回路に出力する、ことを特徴とする請求項1記載の画像処理装置。
  4. 第1の補正特性に基づいて、入力画像の画素値に対応する第1の補正値を出力する第1補正回路と、
    第2の補正特性に基づいて、前記入力画像の画素値に対応する第2の補正値を出力する第2補正回路と、
    前記第1の補正値と前記第2の補正値とを合成する割合を複数の段階に対して段階的に設定して出力する制御回路と、
    前記割合に基づいて、前記第1の補正値と前記第2の補正値とを合成する合成回路と
    を有し、
    前記制御回路は、前記複数の段階の各段階に対する前記割合が格納され、それぞれ互いに前記複数の段階の段数が異なる複数のテーブルを有し、前記複数のテーブルのうちの1つを選択し、前記選択したテーブルに含まれる前記割合を前記合成回路に出力し、
    前記合成回路の出力に応じて前記入力画像の画素値を補正して補正画素値を出力することを特徴とする画像処理装置。
  5. 前記第1の補正特性と前記第2の補正特性の特性差に応じた遷移段数を算出する算出回路を有し、
    前記制御回路は、前記算出回路にて算出された遷移段数に応じて前記複数のテーブルのうちの1つを選択する、
    ことを特徴とする請求項4記載の画像処理装置。
  6. 前記入力画像の画素値に応じたα値を出力するα値算出回路を有し、
    前記合成回路は前記α値に基づいて前記第1の補正値と前記第2の補正値とを合成する、
    ことを特徴とする請求項1〜5のうちの何れか一項に記載の画像処理装置。
  7. 入力画像の画素値を補正した補正画素値を出力する画像処理装置を有し、
    前記画像処理装置は、
    第1の補正特性に基づいて、入力画像の画素値に対応する第1の補正値を出力する第1補正回路と、
    第2の補正特性に基づいて、前記入力画像の画素値に対応する第2の補正値を出力する第2補正回路と、
    前記第1の補正値と前記第2の補正値とを合成する割合を複数の段階に対して段階的に設定して出力する制御回路と、
    前記割合に基づいて、前記第1の補正値と前記第2の補正値とを合成する合成回路と
    を含
    前記制御回路は、前記複数の段階の各段階に対する前記割合と、前記各段階に対する前記割合が設定される前記入力画像のフレーム数とを格納するテーブルを有し、前記フレーム数の前記入力画像に対して同じ前記割合を設定して出力することを特徴とする電子機器。
  8. 第1の補正特性に基づいて、入力画像の画素値に対応する第1の補正値を生成し、
    第2の補正特性に基づいて前記入力画像の画素値に対応する第2の補正値を生成し、
    前記第1の補正値と前記第2の補正値とを合成し、前記第1の補正値と前記第2の補正値とを合成する割合を複数の段階に対して段階的に設定して出力し、前記合成された値を前記入力画像の画素値に対応する補正画素値とする画像処理方法において、
    前記合成する割合を設定するにあたっては、前記複数の段階の各段階に対する割合と、前記各段階に対する前記割合が設定される前記入力画像のフレーム数とを格納するテーブルに基づいて、前記フレーム数の前記入力画像に対して同じ前記割合を設定することを特徴とする画像処理方法。
JP2010237485A 2010-10-22 2010-10-22 画像処理装置、電子機器及び画像処理方法 Active JP5594055B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010237485A JP5594055B2 (ja) 2010-10-22 2010-10-22 画像処理装置、電子機器及び画像処理方法
US13/197,403 US8913164B2 (en) 2010-10-22 2011-08-03 Image processor, electronic device including image processor, and image processing method for performing stepped tone correction on images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010237485A JP5594055B2 (ja) 2010-10-22 2010-10-22 画像処理装置、電子機器及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2012090233A JP2012090233A (ja) 2012-05-10
JP5594055B2 true JP5594055B2 (ja) 2014-09-24

Family

ID=45972716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010237485A Active JP5594055B2 (ja) 2010-10-22 2010-10-22 画像処理装置、電子機器及び画像処理方法

Country Status (2)

Country Link
US (1) US8913164B2 (ja)
JP (1) JP5594055B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014178450A (ja) * 2013-03-14 2014-09-25 Canon Inc 撮像装置、その制御方法、および制御プログラム
WO2019012728A1 (ja) * 2017-07-14 2019-01-17 パナソニックIpマネジメント株式会社 映像表示システム及び映像表示方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2748678B2 (ja) * 1990-10-09 1998-05-13 松下電器産業株式会社 階調補正方法および階調補正装置
JP3201049B2 (ja) * 1993-02-24 2001-08-20 松下電器産業株式会社 階調補正回路及び撮像装置
DE69414153T2 (de) 1993-02-24 1999-06-10 Matsushita Electric Ind Co Ltd Vorrichtung zur Gradationskorrektur und Bildaufnahmegerät mit einer solchen Vorrichtung
JP4293174B2 (ja) * 2005-09-28 2009-07-08 ソニー株式会社 撮像装置および画像処理装置
JP4451889B2 (ja) * 2007-02-26 2010-04-14 富士フイルム株式会社 画像処理装置、プログラム、及び画像処理方法
JP2009118012A (ja) * 2007-11-02 2009-05-28 Canon Inc 撮像装置及びその制御方法
JP4656168B2 (ja) 2008-03-05 2011-03-23 カシオ計算機株式会社 画像合成装置

Also Published As

Publication number Publication date
JP2012090233A (ja) 2012-05-10
US8913164B2 (en) 2014-12-16
US20120098988A1 (en) 2012-04-26

Similar Documents

Publication Publication Date Title
CN107302664B (zh) 一种拍摄方法及移动终端
EP3537710A1 (en) Imaging control method and imaging device
JP4293174B2 (ja) 撮像装置および画像処理装置
US9443323B2 (en) Image processing apparatus, image processing method and recording medium
JP6478499B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
KR100657145B1 (ko) 스케일러를 구비한 이미지센서 및 이미지센서의 이미지 스케일링 방법
US8531554B2 (en) Image capturing apparatus, image capturing method, and storage medium storing program for image capturing
KR20180067052A (ko) 광역 역광 보정 영상 촬상 방법, 이를 수행하는 영상 촬상 장치 및 이를 포함하는 전자 시스템
WO2018078813A1 (ja) 補正システムおよび補正方法
US7864182B2 (en) Dynamic tile sizing in an image pipeline
JP6348762B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP5594055B2 (ja) 画像処理装置、電子機器及び画像処理方法
JP2007180851A (ja) Raw画像の階調変換装置、プログラム、方法、および電子カメラ
JP2009258205A (ja) プロジェクタ装置、画像投影方法、プログラム、記録媒体および携帯電話端末
JP2012044480A (ja) 撮像装置及び撮像方法
JP5501548B2 (ja) 画像処理装置及び画像処理方法
JP2006093757A (ja) 画像処理装置と撮像装置、および画像処理プログラム
CN107920198A (zh) 图像处理设备和方法
JP6115410B2 (ja) 画像処理装置及び画像処理方法
JP4990007B2 (ja) 画像処理回路、半導体装置、画像処理装置
CN113766205B (zh) 色调映射电路及图像处理装置
JP2012220717A (ja) 画像処理回路、半導体装置、画像処理装置
JP2004153848A (ja) 画像入力装置の画像処理回路
KR100933171B1 (ko) 그래픽 디스플레이 기능을 구현한 비메모리 반도체
US20230169761A1 (en) Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140721

R150 Certificate of patent or registration of utility model

Ref document number: 5594055

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350