JP4207259B2

JP4207259B2 - Video signal processing device

Info

Publication number: JP4207259B2
Application number: JP24664098A
Authority: JP
Inventors: 斉中村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-09-01
Filing date: 1998-09-01
Publication date: 2009-01-14
Anticipated expiration: 2018-09-01
Also published as: JP2000078437A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号処理装置に関し、特に高輝度部分での階調表現を改善した映像信号処理装置に関する。
【０００２】
【従来の技術】
カメラ一体型ビデオテープレコーダやスチルビデオカメラなどのビデオカメラ部として、撮像装置が広く用いられている。撮像装置としては撮像管や固体撮像装置が一般的に用いられているが、これらの撮像装置は従来の銀塩写真装置のダイナミックレンジに比べてダイナミックレンジが狭いという問題がある。さらに、ビデオ信号のＮＴＳＣやＰＡＬといった映像信号規格では、黒レベルと白レベルが決まっており、規格上の最大白レベルより明るい部分を表示することはできない。
したがってダイナミックレンジの広い映像信号を処理するためには、高輝度部分を映像信号規格内に収めるための通常ニー（ｋｎｅｅ）と呼ばれる輝度圧縮を行っている。一般的には、白レベルを１００％とすると、最大白レベルは１０５〜１１０％と決まっているので、例えばＣＣＤなどの固体撮像装置から得られた２００％の信号を１１０％に収めるために、９５％〜２００％の信号をレベル方向に圧縮して１１０％に収めるようにしていた。
【０００３】
白黒の映像信号を扱う場合の撮像装置の内部構成の例を図１に示す。図１で、１はレンズ、３は撮像素子、５は輪郭強調回路、６は輝度圧縮回路、７はガンマ補正回路、８はホワイトクリップおよびブラッククリップ回路、１０は加算器である。
被写体からの反射光は、レンズ１を通って撮像素子３に結像する。この撮像画像は電気信号に変換され、変換された電気信号は輪郭強調回路５、輝度圧縮回路６、ガンマ補正回路７、ホワイトクリップおよびブラッククリップ回路８でそれぞれ処理され、加算器１０で同期信号が付加されて、映像信号規格に適った信号に変換される。
【０００４】
輝度圧縮回路６で、輝度圧縮前の信号をＹ、輝度圧縮後の信号をＹ´、圧縮率（傾き）をＫｓ、圧縮点（ｋｎｅｅｐｏｉｎｔ）をＫｐとすると、輝度圧縮回路６の動作は以下の式で表される。
【０００５】
Ｙ≦Ｋｐの時、
Ｙ´＝Ｙ …（１）
Ｙ＞Ｋｐの時、
Ｙ´＝Ｋｓ（Ｙ−Ｋｐ）＋Ｋｐ …（２）
【０００６】
この圧縮率Ｋｓや圧縮点Ｋｐの定数を絵柄によって最適化する方法が従来から知られており、自動ニー（ａｕｔｏｋｎｅｅ）と呼ばれている。これは入力映像信号のピークレベルがある一定値Ｙ´ｐを越えたとき、回路出力の映像信号のピーク値がＹ´ｐになるように、ＫｓもしくはＫｐを制御するものである。例えば、Ｋｐを変数、Ｋｓを固定値として自動ニーを動作させる方式では、自動ニー回路の入力映像信号のピーク値をＹｐとすると、図８に示すように、ＫｐはＹｐの値から以下の式で表される。
【０００７】
式（２）より、
Ｙ´ｐ＝Ｋｓ（Ｙｐ−Ｋｐ）＋Ｋｐ …（３）
これから
Ｋｐ＝（Ｙ´ｐ−Ｙｐ・Ｋｓ）／（１−Ｋｓ） …（４）
【０００８】
このような一折れ線のニー（ｓｉｎｇｌｅｌｉｎｅｋｎｅｅ）に対して、出現頻度の高い映像レベルにより多くの出力ダイナミックレンジが割りあたるように複数の折れ線で表現する適応型自動ニー（ａｄａｐｔｉｖｅａｕｔｏｋｎｅｅ）という方式が特開平８−１８１８８７号公報で提案されている。
この方法では、圧縮点Ｋｐ以上の傾きを適応的に制御して限られた出力ダイナミックレンジを有効利用できるようにする。
【０００９】
この方法での折れ線の設定方法を簡単に説明する。ここでは、圧縮点Ｋｐ以上を入力映像信号のピーク値Ｙｐ迄をｋ等分し、各等分のポイントをＫｐ１、Ｋｐ２、Ｋｐ３、……、Ｋｐ（ｋ＋１）とする。図９にこの設定方法による折れ線のｋ＝８の場合の例を示す。ここで、各折れ線の傾きをａ１、ａ２、ａ３、……、ａｋとする。このとき原点から圧縮点Ｋｐ迄の傾きａ０＝１とすると、出力映像信号のダイナミックレンジすなわち回路出力の映像信号ピーク値Ｙ´ｐに対して、
【００１０】
【数１】
…（５）

【００１１】
が得られる。そうしてこの式（５）を変形すれば傾きの合計値をΣａｉを式（６）のように既知の値で表すことができる。
【００１２】
【数２】
…（６）

【００１３】
圧縮点Ｋｐ以上の各部に割り当てられる傾きを、各傾きに相当する部分のヒストグラム値に比例するように割り振る。すなわち、ｉ番目の傾きａｉに相当する部分のヒストグラムの値をｈｉとすると、各傾きａｉは式（７）で表される。
【００１４】
【数３】
…（７）

【００１５】
式（７）を式（６）に代入すれば式（８）のように傾きａｉを設定することができる。
【００１６】
【数４】
…（８）

【００１７】
また、各折れ線のｙ切片ｂｉは式（９）によって再帰的に求まる。
ｂ０＝０
ｂｉ＝Ｋｐｉ・（ａ（ｉ−１）−ａｉ）＋ｂ（ｉ−１） …（９）
【００１８】
しかし、このような方式では、入力映像信号のピーク値Ｙｐがホワイトクリップ以下かつ折れ線よりも大きい時が考慮されていないので、このような場合には効果をオフにする必要があるが、ＹｐがＹ´ｐ付近の値を前後すると効果のオン／オフの変わり目で映像信号が急激に変化してしまうことがある。また、効果を十分に得ようとすると、一番下のＫｐ１は通常用いられる圧縮点Ｋｐより低く設定する必要が有るが逆にさほど入力映像信号のピーク値Ｙｐが高くないときにも動作してしまうという欠点があって余り好ましくない。
【００１９】
図５にカラー信号を扱う撮像装置の内部構成の一例を示す。
図５において、１ははレンズ、２は分光プリズム、３−１、３−２、３−３は分光プリズムでＲＧＢに分光された光をそれぞれ結像して電気信号に変換する撮像素子、４はホワイトバランス回路、５−１、５−２、５−３は輪郭強調回路、６は輝度圧縮回路、７−１、７−２、７−３はガンマ補正回路、８−１、８−２、８−３はホワイトクリップおよびブラッククリップ回路、９はエンコーダ回路である。
【００２０】
本回路が先にあげた図１の白黒撮像装置との相違点は、像を光の３原色であるＲＧＢに分けるための色分解プリズム２がレンズ１の後に置かれ、各色に対応した撮像素子３−１、３−２、３−３とそれぞれの回路が用意されている点および、被写体の色温度補整用のホワイトバランス回路４、及びカラー映像信号を得るためのエンコーダー回路９が用意されている点である。
【００２１】
図１０に、図５の輝度圧縮回路６に相当する部分の詳細図を示す。図１０において、ＲＧＢの各入力から、ＮＴＳＣ等の規格に乗っ取りＹマトリックス１１を組むことにより、次の式（１０）に基づいて輝度信号Ｙを算出する。
【００２２】
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ …（１０）
【００２３】
こうして求めたＹのピーク値をピーク検出回路１２で検出して得られたＹｐとあらかじめ設定値１３−２として決められた輝度圧縮後のピーク値Ｙ´ｐと圧縮率（傾き）Ｋｓから、処理回路１３の計算回路１３−１で、式（４）によりＫｐを求めることができる。このＫｐとＫｓからＲＧＢの各入力に演算処理部１５−１〜１５−３にて式（１）および式（２）の処理を加えることにより入力映像信号を圧縮することができる。処理回路１３の演算は主にソフトウェアによる制御である。
【００２４】
【発明が解決しようとする課題】
上述のごとく、従来の輝度圧縮用の映像信号処理装置では、入力映像信号のピーク値Ｙｐが所定値Ｙ´ｐの付近で変動した場合などに映像信号が急激に変化してしまうという欠点があった。
【００２５】
本発明はこの点を解決して、比較的簡単な方法で、入力映像信号のピーク値の変動が映像信号に影響することなく、限られた出力ダイナミックレンジを有効を利用することができ、優れた階調表現を示す輝度圧縮用の映像信号処理装置の実現を課題とする。
【００２６】
【課題を解決するための手段】
上記課題を達成するため、本発明は、入力映像信号の高輝度部分のダイナミックレンジを適応的に圧縮して出力する映像信号処理装置であって、（１）入力映像信号の輝度レベルのピーク値を検出するピーク値検出手段と、（２）出力輝度レベルの最大値を指定する最大出力輝度レベル設定手段と、（３）ダイナミックレンジの圧縮率を指定する圧縮率設定手段と、（４）入力映像信号の輝度レベルのピーク値、出力輝度レベルの最大値及びダイナミックレンジの圧縮率に基づいて、ダイナミックレンジの圧縮を開始する輝度レベルを算出する圧縮開始輝度レベル算出手段と、（５）圧縮開始輝度レベル以上の高輝度部分について、入力映像信号の輝度分布に対するヒストグラムを検出するヒストグラム検出手段と、（６）ヒストグラム検出手段の検出結果に基づいて、出現頻度の高い輝度レベルに多くの出力ダイナミックレンジを割り当てる変換グラフ生成手段と、（７）生成された変換グラフを用い、入力映像信号の高輝度部分を圧縮する階調変換手段とを有することを特徴とする。
【００２７】
【発明の実施の形態】
以下、本発明にかかる映像信号処理装置を添付図面を参照にして詳細に説明する。
本発明が実施される白黒の撮像装置の内部構成を図１に示す。図１で、１はレンズ、３は撮像素子、５は輪郭強調回路、６は輝度圧縮回路、７はガンマ補正回路、８はホワイトクリップおよびブラッククリップ回路、１０は加算器である。
被写体からの反射光は、レンズ１を通って撮像素子３に結像する。この撮像画像は電気信号に変換され、変換された電気信号は輪郭強調回路５、輝度圧縮回路６、ガンマ補正回路７、ホワイトクリップおよびブラッククリップ回路８でそれぞれ処理され、加算器１０で同期信号が付加されて、映像信号規格に適った信号に変換される。
【００２８】
本発明で述べる映像信号処理装置は、この回路の輝度圧縮回路６にあたる。
本発明の、輝度圧縮回路６は入出力応答特性の改善を目的にしている。
【００２９】
図９の一番下のニーポイントＫｐ１を決める際に、あらかじめ圧縮率（傾き）Ｋｓをある１より小さい傾きに設定し、式（４）を用いて求めたＫｐをＫｐ１にする。このようにすると、入力映像信号のピークレベルＹｐがＹ´ｐを越えなければニーがかからないので、ＹｐがＹ´ｐ付近の値を前後しても輝度圧縮がスムーズに移り、映像信号が急激に変化してしまうということがない。
【００３０】
図２に、本発明の映像信号処理装置の一実施の形態である白黒映像信号に対する輝度圧縮回路６の詳細図を示す。
入力映像信号からピーク検出回路１２で入力映像信号のピーク値Ｙｐが検出される。このピーク値Ｙｐは処理回路１３に入力され、処理回路１３内のＫｐ算出回路１３−ｂで設定値１３−ａの出力映像信号のピーク値Ｙ´ｐおよび圧縮率Ｋｓから式（４）によって圧縮点Ｋｐが算出される。このＫｐとＹｐの間を高輝度部分の分割数ｎでｎ等分してＫｐ２〜Ｋｐｋ算出回路１３−ｃでＫｐ２、Ｋｐ３、……、Ｋｐｋが求められる。
【００３１】
一方、ヒストグラム検出回路１４はＫｐ２〜Ｋｐｋ算出回路１３−ｃからＫｐ１〜Ｋｐ（ｋ＋１）の値と入力映像信号Ｙから輝度分布に対するヒストグラムｈ１〜ｈｋを求める。そうしてこのヒストグラムｈ１〜ｈｋをもとに各部傾き演算回路１３−ｄで式（７）に基づいて各部の傾きａ１〜ａｋを演算する。さらに、式（９）に基づいて、ｙ切片算出回路１３−ｅでｙ切片ｂ１〜ｂｋを演算する。
このようにして、図９に示したような折れ線の変換グラフを構成し、演算処理分でこの折れ線の変換グラフに基づいた変換を入力映像信号に働かせて出力映像信号Ｙ´を求める。
【００３２】
しかし、このようにニーポイントＫｐ１を決めると、入力映像信号のピークレベルＹｐや圧縮率（傾き）ＫｓによってはＫｐ１が０やマイナスの値になるおそれがある。
この輝度圧縮回路６の目的は高輝度部分を圧縮することであり、Ｋｐ１が０やマイナスの値になるとこの目的を離れて単にレンズの絞りを絞ったと同じ効果になってしまう。
これを防ぐために、本発明の他の実施の形態では、以上の方法で式（４）で決めたＫｐがあらかじめ決められたＫｐの最小値Ｋｐｍｉｎよりも小さい時には、図３に示すように、式（４）でＫｐをその決められた値ＫｐｍｉｎとおいてＫｐを固定値、Ｋｓを変数としてＫｓを求め、その値にＫｓの傾きを下げれば（圧縮率を上げれば）、ニーポイントＫｐ１が必要以上に下がることはない。
【００３３】
式（４）を書き直した圧縮率（傾き）Ｋｓを固定値Ｋｐｍｉｎから求める式を式（１１）に示す。
Ｋｓ´＝（Ｙ´ｐ−Ｋｐｍｉｎ）／（Ｙｐ−Ｋｐｍｉｎ） …（１１）
【００３４】
図４に、本実施の形態での白黒映像信号に対する輝度圧縮回路６の詳細図を示す。この回路が図２と異なる点は、Ｋｐ、Ｋｓ補正回路１３−ｆが設けられたことである。Ｋｐ、Ｋｓ補正回路１３−ｆはＫｐ算出回路１３−ｂで算出されたＫｐとＫｐｍｉｎを比較し、Ｋｐ＜Ｋｐｍｉｎの場合には、ＫｐをＫｐｍｉｎに置き換え、また、Ｋｓを式（１１）で示されるＫｓ´に置き換えて以後の処理を行うようにする。
これにより必要以上に最初のニーポイントＫｐ１が下がって高輝度部分だけを圧縮するという目的から外れるおそれがなくなる。
【００３５】
図５にカラー信号を扱う撮像装置の内部構成の一例を示す。
図５において、１ははレンズ、２は分光プリズム、３−１、３−２、３−３は分光プリズムでＲＧＢに分光された光をそれぞれ結像して電気信号に変換する撮像素子、４はホワイトバランス回路、５−１、５−２、５−３は輪郭強調回路、６は輝度圧縮回路、７−１、７−２、７−３はガンマ補正回路、８−１、８−２、８−３はホワイトクリップおよびブラッククリップ回路、９はエンコーダ回路である。
本回路が先にあげた図１の白黒撮像装置との相違点は、像を光の３原色であるＲＧＢに分けるための色分解プリズム２がレンズ１の後に置かれ、各色に対応した撮像素子３−１、３−２、３−３とそれぞれの回路が用意されている点および、被写体の色温度補整用のホワイトバランス回路４、及びカラー映像信号を得るためのエンコーダー回路９が用意されている点である。
【００３６】
図６に、本発明によるカラー信号の輝度圧縮回路６の一実施の形態のブロック図を示す。ＲＧＢの各入力からＮＴＳＣ等の規格に乗っ取りＹマトリックス１１を組むことにより、式（１０）に基づいて輝度信号Ｙを算出する。
こうして求めたＹのピーク値としてピーク検出回路１２で検出して得られたＹｐとあらかじめ設定値１３−２として決められた輝度圧縮後のピーク値Ｙ´ｐと圧縮率（傾き）Ｋｓから、処理回路１３のＫｐ算出回路１３−ｂで、式（３）によりＫｐを求めることができる。
【００３７】
一方、各Ｋｐ算出回路１３−ｃでＫｐとＹｐの間を高輝度部分の分割数ｎでｎ等分してＫｐ２、Ｋｐ３、……、Ｋｐｎが求められ、ヒストグラム検出部１４では信号が各Ｋｐｉの間の各部にどれだけ出現するかを検出する。このヒストグラムの値をｈ１〜ｈｎとする。
傾き算出部１３−ｄでは式（８）によりそれぞれのヒストグラムｈ１〜ｈｎに応じてそれぞれの傾きａ１〜ａｎを決める。ヒストグラムの大きな所は傾きが小さく（圧縮率が大きく）、ヒストグラムの少ないところでは傾きが大きく（圧縮率が大きく）なる。
【００３８】
このＫｐ１〜Ｋｐｎとａ１〜ａｎから先に図９の様なグラフを得ることができる。各折れ線はＹ´＝ａｉ・Ｙ＋ｂｉの形で示すことができる。ａ１〜ａｎはすでに求められているのでＹ切片算出部１３−ｅにてｂ１〜ｂｎを求める。このｂ１〜ｂｎとａ１〜ａｎから演算処理部１５−１〜１５−３にてＲＧＢのそれぞれについて図９に示したような折れ線変換を行い各信号が圧縮される。
【００３９】
図７に、本発明によるカラー信号の輝度圧縮回路６の他の実施の形態を示す。この回路は白黒の場合の図４に対応するもので、図６と異なる点は、Ｋｐ、Ｋｓ補正回路１３−ｆが設けられたことである。Ｋｐ、Ｋｓ補正回路１３−ｆはＫｐ算出回路１３−ｂで算出されたＫｐとＫｐｍｉｎを比較し、Ｋｐ＜Ｋｐｍｉｎの場合には、ＫｐをＫｐｍｉｎに置き換え、また、Ｋｓを式（１１）で示されるＫｓ´に置き換えて以後の処理を行うようにする。
これにより、必要以上に最初のニーポイントＫｐ１が下がって高輝度部分だけを圧縮するという目的から外れるおそれがなくなる。
【００４０】
【発明の効果】
以上説明したように本発明の請求項１の発明は、入力映像信号の高輝度部分のダイナミックレンジを適応的に圧縮して出力する映像信号処理装置であって、入力映像信号の輝度レベルのピーク値を検出するピーク値検出手段と、出力輝度レベルの最大値を指定する最大出力輝度レベル設定手段と、ダイナミックレンジの圧縮率を指定する圧縮率設定手段と、入力映像信号の輝度レベルのピーク値、出力輝度レベルの最大値及びダイナミックレンジの圧縮率に基づいて、ダイナミックレンジの圧縮を開始する輝度レベルを算出する圧縮開始輝度レベル算出手段と、圧縮開始輝度レベル以上の高輝度部分について、入力映像信号の輝度分布に対するヒストグラムを検出するヒストグラム検出手段と、ヒストグラム検出手段の検出結果に基づいて、出現頻度の高い輝度レベルに多くの出力ダイナミックレンジを割り当てる変換グラフ生成手段と、生成された変換グラフを用い、入力映像信号の高輝度部分を圧縮する階調変換手段とを有することを特徴とする。
これにより、比較的簡単な方法で、入力映像信号のピーク値の変動が映像信号に影響することなく、限られた出力ダイナミックレンジを有効を利用することができ、優れた階調表現を示す輝度圧縮用の映像信号処理装置を実現することができ、かつ変換設定の処理を自動的に行うことができる。
【００４１】
本発明の請求項２の発明は、前記圧縮開始輝度レベルの最小値を指定する最小圧縮開始輝度レベル設定手段を有し、圧縮開始輝度レベル算出手段で算出された圧縮開始輝度レベルが、最小圧縮開始輝度レベル設定手段で指定される最小値よりも低い場合、圧縮開始輝度レベル算出手段は、圧縮開始輝度レベルを最小値に置換すると共に、置換後の条件を満たすように前記ダイナミックレンジの圧縮率を補正することを特徴とする。
これにより、必要以上に圧縮点が下がって高輝度部分だけを圧縮するという目的から外れ、輝度を全体に下げてしまうような虞を防止することができる。
【図面の簡単な説明】
【図１】白黒の映像信号を扱う場合の撮像装置の内部構成を示すブロック図。
【図２】本発明の映像信号処理装置の一実施の形態である白黒映像信号に対する輝度圧縮回路の詳細ブロック図。
【図３】本発明による圧縮点の設定方法を示す説明図。
【図４】本発明の映像信号処理装置の他の実施の形態である白黒映像信号に対する輝度圧縮回路の詳細ブロック図。
【図５】カラー信号を扱う撮像装置の内部構成を示すブロック図。
【図６】本発明によるカラー信号の輝度圧縮回路の一実施の形態のブロック図。
【図７】本発明によるカラー信号の輝度圧縮回路の他の実施の形態のブロック図。
【図８】従来の圧縮点の設定方法を示す説明図。
【図９】複数の折れ線による入出力応答特性図。
【図１０】従来のカラー信号の輝度圧縮回路のブロック図。
【符号の説明】
１…レンズ、２…分光プリズム、３、３−１、３−２、３−３…撮像素子、４…ホワイトバランス回路、５、５−１、５−２、５−３…輪郭強調回路、６…輝度圧縮回路、７、７−１、７−２、７−３…ガンマ補正回路、８、８−１、８−２、８−３…ホワイトクリップおよびブラッククリップ回路、９…エンコーダ回路、１０…加算器、１１…Ｙマトリックス、１２…ピーク検出回路、１３…処理回路、１３−ａ…設定値、１３−ｂ…Ｋｐ算出回路、１３−ｃ…各Ｋｐ算出回路、１３−ｄ…各部傾き算出回路、１３−ｅ…ｙ切片算出回路、１３−ｆ…Ｋｐ、Ｋｓ補正回路、１４…ヒストグラム検出回路、１５、１５−１、１５−２、１５−３…演算処理部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video signal processing device, and more particularly, to a video signal processing device with improved gradation expression in a high luminance part.
[0002]
[Prior art]
Imaging devices are widely used as video camera units such as camera-integrated video tape recorders and still video cameras. An image pickup tube or a solid-state image pickup device is generally used as the image pickup device. However, these image pickup devices have a problem that the dynamic range is narrower than the dynamic range of a conventional silver halide photographic device. Further, in the video signal standards such as NTSC and PAL of the video signal, the black level and the white level are determined, and a portion brighter than the maximum white level in the standard cannot be displayed.
Therefore, in order to process a video signal with a wide dynamic range, luminance compression called “knee” is usually performed to keep the high luminance portion within the video signal standard. Generally, assuming that the white level is 100%, the maximum white level is determined to be 105 to 110%. For example, in order to keep a signal of 200% obtained from a solid-state imaging device such as a CCD at 110%, The signal of 95% to 200% was compressed in the level direction so as to be within 110%.
[0003]
FIG. 1 shows an example of the internal configuration of the imaging apparatus when handling a black and white video signal. In FIG. 1, 1 is a lens, 3 is an image sensor, 5 is a contour emphasis circuit, 6 is a luminance compression circuit, 7 is a gamma correction circuit, 8 is a white clip and black clip circuit, and 10 is an adder.
Reflected light from the subject passes through the lens 1 and forms an image on the image sensor 3. The captured image is converted into an electric signal, and the converted electric signal is processed by the contour emphasis circuit 5, the luminance compression circuit 6, the gamma correction circuit 7, the white clip and the black clip circuit 8, respectively, and the adder 10 generates a synchronization signal. In addition, it is converted into a signal suitable for the video signal standard.
[0004]
In the luminance compression circuit 6, assuming that the signal before luminance compression is Y, the signal after luminance compression is Y ′, the compression rate (slope) is Ks, and the compression point (knee point) is Kp, the operation of the luminance compression circuit 6 is as follows. It is expressed by the following formula.
[0005]
When Y ≦ Kp,
Y ′ = Y (1)
When Y> Kp,
Y ′ = Ks (Y−Kp) + Kp (2)
[0006]
A method for optimizing the constants of the compression rate Ks and the compression point Kp according to a pattern has been conventionally known, and is called an automatic knee. This controls Ks or Kp so that when the peak level of the input video signal exceeds a certain value Y′p, the peak value of the video signal output from the circuit becomes Y′p. For example, in the method of operating automatic knee with Kp as a variable and Ks as a fixed value, if the peak value of the input video signal of the automatic knee circuit is Yp, as shown in FIG. It is represented by
[0007]
From equation (2)
Y′p = Ks (Yp−Kp) + Kp (3)
Kp = (Y′p−Yp · Ks) / (1−Ks) (4)
[0008]
In contrast to such a single line knee, a method called an adaptive auto knee that is expressed by a plurality of broken lines so that a larger output dynamic range is assigned to a video level having a high appearance frequency. Is proposed in Japanese Patent Laid-Open No. 8-181887.
In this method, the limited output dynamic range can be effectively used by adaptively controlling the slope above the compression point Kp.
[0009]
A method for setting a broken line by this method will be briefly described. Here, the compression point Kp or higher is equally divided into k up to the peak value Yp of the input video signal, and the points are divided into Kp1, Kp2, Kp3,..., Kp (k + 1). FIG. 9 shows an example in the case of k = 8 of the broken line by this setting method. Here, the inclination of each broken line is a1, a2, a3,..., Ak. At this time, assuming that the slope a0 = 1 from the origin to the compression point Kp, with respect to the dynamic range of the output video signal, that is, the video signal peak value Y′p of the circuit output,
[0010]
[Expression 1]
... (5)

[0011]
Is obtained. Then, if this equation (5) is modified, the total value of the slopes can be expressed as a known value as shown in equation (6).
[0012]
[Expression 2]
... (6)

[0013]
The gradients assigned to the respective portions above the compression point Kp are allocated so as to be proportional to the histogram values of the portions corresponding to the respective gradients. That is, assuming that the value of the histogram corresponding to the i-th inclination ai is hi, each inclination ai is expressed by Expression (7).
[0014]
[Equation 3]
... (7)

[0015]
By substituting equation (7) into equation (6), the slope ai can be set as in equation (8).
[0016]
[Expression 4]
(8)

[0017]
Further, the y-intercept bi of each broken line is obtained recursively by the equation (9).
b0 = 0
bi = Kpi · (a (i−1) −ai) + b (i−1) (9)
[0018]
However, in such a method, the case where the peak value Yp of the input video signal is less than the white clip and larger than the broken line is not taken into consideration. In such a case, the effect needs to be turned off. If the value in the vicinity of Y′p is changed, the video signal may change abruptly at the turning point of the effect. In order to obtain a sufficient effect, the lowermost Kp1 needs to be set lower than the compression point Kp that is normally used, but on the contrary, it operates even when the peak value Yp of the input video signal is not high. This is not preferable.
[0019]
FIG. 5 shows an example of the internal configuration of an imaging apparatus that handles color signals.
In FIG. 5, 1 is a lens, 2 is a spectral prism, 3-1, 3-2, and 3-3 are imaging elements that respectively image light split into RGB by the spectral prism and convert it into an electrical signal. Are white balance circuits, 5-1, 5-2, and 5-3 are contour enhancement circuits, 6 is a luminance compression circuit, 7-1, 7-2, and 7-3 are gamma correction circuits, and 8-1 and 8-2. 8-3 are white clip and black clip circuits, and 9 is an encoder circuit.
[0020]
This circuit is different from the black-and-white imaging device shown in FIG. 1 described above in that a color separation prism 2 for separating an image into RGB, which is the three primary colors of light, is placed after the lens 1 and imaging elements corresponding to the respective colors. 3-1, 3-2 and 3-3 are prepared, a white balance circuit 4 for correcting the color temperature of the subject, and an encoder circuit 9 for obtaining a color video signal. It is a point.
[0021]
FIG. 10 shows a detailed view of a portion corresponding to the luminance compression circuit 6 of FIG. In FIG. 10, the luminance signal Y is calculated based on the following equation (10) by assembling a takeover Y matrix 11 from the RGB inputs according to a standard such as NTSC.
[0022]
Y = 0.3R + 0.59G + 0.11B (10)
[0023]
From Yp obtained by detecting the peak value of Y obtained in this way by the peak detection circuit 12, the peak value Y′p after luminance compression determined as the preset value 13-2, and the compression rate (slope) Ks, processing is performed. In the calculation circuit 13-1 of the circuit 13, Kp can be obtained by Expression (4) . The input video signal can be compressed by applying the processing of Equations (1) and (2) to the RGB inputs from Kp and Ks by the arithmetic processing units 15-1 to 15-3. The calculation of the processing circuit 13 is mainly controlled by software.
[0024]
[Problems to be solved by the invention]
As described above, the conventional video signal processing device for luminance compression has a drawback that the video signal changes suddenly when the peak value Yp of the input video signal fluctuates in the vicinity of the predetermined value Y′p. It was.
[0025]
The present invention solves this point, and can use a limited output dynamic range effectively by a relatively simple method, without fluctuation of the peak value of the input video signal affecting the video signal. It is an object of the present invention to realize a video signal processing apparatus for luminance compression that shows a gradation expression.
[0026]
[Means for Solving the Problems]
In order to achieve the above object, the present invention is a video signal processing apparatus that adaptively compresses and outputs a dynamic range of a high-luminance portion of an input video signal, and (1) a peak value of a luminance level of the input video signal Peak value detecting means for detecting (2) maximum output luminance level setting means for specifying the maximum value of the output luminance level, (3) compression ratio setting means for specifying the compression ratio of the dynamic range, and (4) input. (5) compression start luminance level calculating means for calculating a luminance level for starting compression of the dynamic range based on the peak value of the luminance level of the video signal, the maximum value of the output luminance level, and the compression ratio of the dynamic range; (6) Histogram detection means for detecting a histogram for the luminance distribution of the input video signal for a high-luminance portion above the luminance level; Conversion graph generation means for allocating a large output dynamic range to a luminance level having a high appearance frequency based on the detection result of the stage; and (7) a step of compressing a high luminance portion of the input video signal using the generated conversion graph. And a tone conversion means.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a video signal processing apparatus according to the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 shows the internal configuration of a black and white imaging apparatus in which the present invention is implemented. In FIG. 1, 1 is a lens, 3 is an image sensor, 5 is a contour emphasis circuit, 6 is a luminance compression circuit, 7 is a gamma correction circuit, 8 is a white clip and black clip circuit, and 10 is an adder.
Reflected light from the subject passes through the lens 1 and forms an image on the image sensor 3. The captured image is converted into an electric signal, and the converted electric signal is processed by the contour emphasis circuit 5, the luminance compression circuit 6, the gamma correction circuit 7, the white clip and the black clip circuit 8, respectively, and the adder 10 generates a synchronization signal. In addition, it is converted into a signal suitable for the video signal standard.
[0028]
The video signal processing apparatus described in the present invention corresponds to the luminance compression circuit 6 of this circuit.
The luminance compression circuit 6 of the present invention aims to improve input / output response characteristics.
[0029]
When determining the knee point Kp1 at the bottom of FIG. 9, the compression rate (slope) Ks is set to a slope smaller than 1 in advance, and Kp obtained using the equation (4) is set to Kp1. In this way, since the knee does not occur unless the peak level Yp of the input video signal exceeds Y′p, the luminance compression moves smoothly even if Yp fluctuates around Y′p, and the video signal sharply changes. There will be no change.
[0030]
FIG. 2 shows a detailed view of the luminance compression circuit 6 for a monochrome video signal which is an embodiment of the video signal processing apparatus of the present invention.
The peak value Yp of the input video signal is detected from the input video signal by the peak detection circuit 12. This peak value Yp is input to the processing circuit 13 and compressed by the Kp calculation circuit 13-b in the processing circuit 13 from the peak value Y′p of the output video signal of the set value 13-a and the compression rate Ks by the equation (4). A point Kp is calculated. Kp and Yp are divided into n equal parts by the division number n of the high luminance part, and Kp2, Kp3,..., Kpk are obtained by the Kp2 to Kpk calculation circuit 13-c.
[0031]
On the other hand, the histogram detection circuit 14 obtains histograms h1 to hk for the luminance distribution from the values Kp1 to Kp (k + 1) and the input video signal Y from the Kp2 to Kpk calculation circuit 13-c. Then, the inclinations a1 to ak of the respective parts are calculated based on the histograms h1 to hk by the respective inclination calculation circuits 13-d based on the equation (7). Further, based on the equation (9), y intercepts b1 to bk are calculated by the y intercept calculating circuit 13-e.
In this way, a polygonal line conversion graph as shown in FIG. 9 is constructed, and an output video signal Y ′ is obtained by applying the conversion based on the polygonal line conversion graph to the input video signal for the calculation processing.
[0032]
However, when the knee point Kp1 is determined in this way, Kp1 may become 0 or a negative value depending on the peak level Yp of the input video signal and the compression rate (slope) Ks.
The purpose of the luminance compression circuit 6 is to compress the high luminance portion. When Kp1 becomes 0 or a negative value, the effect is the same as when the lens aperture is simply reduced away from this purpose.
In order to prevent this, in another embodiment of the present invention, when the Kp determined by the equation (4) by the above method is smaller than the minimum value Kpmin of the predetermined Kp, as shown in FIG. In (4), Kp is set to the predetermined value Kpmin, Ks is obtained with Kp as a fixed value, Ks as a variable, and if the slope of Ks is lowered to that value (if the compression ratio is increased), knee point Kp1 is more than necessary. Never go down.
[0033]
Expression (11) shows an expression for obtaining the compression rate (slope) Ks obtained by rewriting Expression (4) from the fixed value Kpmin.
Ks ′ = (Y′p−Kpmin) / (Yp−Kpmin) (11)
[0034]
FIG. 4 shows a detailed diagram of the luminance compression circuit 6 for the monochrome video signal in the present embodiment. This circuit differs from FIG. 2 in that a Kp / Ks correction circuit 13-f is provided. The Kp and Ks correction circuit 13-f compares Kp and Kpmin calculated by the Kp calculation circuit 13-b. If Kp <Kpmin, Kp is replaced with Kpmin, and Ks is expressed by the equation (11). Subsequent processing is performed in place of Ks ′.
As a result, there is no possibility that the first knee point Kp1 is lowered more than necessary to deviate from the purpose of compressing only the high luminance portion.
[0035]
FIG. 5 shows an example of the internal configuration of an imaging apparatus that handles color signals.
In FIG. 5, 1 is a lens, 2 is a spectral prism, 3-1, 3-2, and 3-3 are imaging elements that respectively image light split into RGB by the spectral prism and convert it into an electrical signal. Are white balance circuits, 5-1, 5-2, and 5-3 are contour enhancement circuits, 6 is a luminance compression circuit, 7-1, 7-2, and 7-3 are gamma correction circuits, and 8-1 and 8-2. 8-3 are white clip and black clip circuits, and 9 is an encoder circuit.
This circuit is different from the black-and-white imaging device shown in FIG. 1 described above in that a color separation prism 2 for separating an image into RGB, which is the three primary colors of light, is placed after the lens 1 and imaging elements corresponding to the respective colors. 3-1, 3-2 and 3-3 are prepared, a white balance circuit 4 for correcting the color temperature of the subject, and an encoder circuit 9 for obtaining a color video signal. It is a point.
[0036]
FIG. 6 shows a block diagram of an embodiment of a color signal luminance compression circuit 6 according to the present invention. The luminance signal Y is calculated based on the equation (10) by assembling the takeover Y matrix 11 from each RGB input to a standard such as NTSC.
From the Yp detected by the peak detection circuit 12 as the Y peak value obtained in this way, the peak value Y′p after luminance compression determined as the preset value 13-2, and the compression rate (slope) Ks, processing is performed. In the Kp calculation circuit 13-b of the circuit 13, Kp can be obtained by Expression (3).
[0037]
On the other hand, each Kp calculation circuit 13-c equally divides between Kp and Yp by the number n of high-brightness parts n to obtain Kp2, Kp3,..., Kpn, and the histogram detection unit 14 sends the signal to each Kpi. Detect how much appears in each part between. The values of this histogram are h1 to hn.
In the inclination calculation unit 13-d, the respective inclinations a1 to an are determined according to the respective histograms h1 to hn according to the equation (8). Where the histogram is large, the slope is small (the compression ratio is large), and when the histogram is small, the slope is large (the compression ratio is large).
[0038]
A graph as shown in FIG. 9 can be obtained from Kp1 to Kpn and a1 to an. Each broken line can be shown in the form of Y ′ = ai · Y + bi. Since a1 to an have already been obtained, b1 to bn are obtained by the Y intercept calculating unit 13-e. From these b1 to bn and a1 to an, the arithmetic processing units 15-1 to 15-3 perform polygonal line conversion as shown in FIG. 9 for each of RGB to compress each signal.
[0039]
FIG. 7 shows another embodiment of the color signal luminance compression circuit 6 according to the present invention. This circuit corresponds to FIG. 4 in the case of black and white, and is different from FIG. 6 in that a Kp and Ks correction circuit 13-f is provided. The Kp and Ks correction circuit 13-f compares Kp and Kpmin calculated by the Kp calculation circuit 13-b. If Kp <Kpmin, Kp is replaced with Kpmin, and Ks is expressed by the equation (11). Subsequent processing is performed in place of Ks ′.
This eliminates the possibility that the first knee point Kp1 is lowered more than necessary and deviates from the purpose of compressing only the high luminance portion.
[0040]
【The invention's effect】
As described above, the invention of claim 1 of the present invention is a video signal processing apparatus that adaptively compresses and outputs the dynamic range of the high-luminance portion of the input video signal, and has a peak luminance level of the input video signal. Peak value detecting means for detecting a value, maximum output brightness level setting means for specifying the maximum value of the output brightness level, compression ratio setting means for specifying the compression ratio of the dynamic range, and a peak value of the brightness level of the input video signal A compression start luminance level calculating means for calculating a luminance level for starting compression of the dynamic range based on the maximum value of the output luminance level and the compression ratio of the dynamic range, and an input video for a high luminance portion equal to or higher than the compression start luminance level. Based on the detection result of the histogram detection means for detecting the histogram for the luminance distribution of the signal and the histogram detection means, A conversion graph generation unit that allocates a large output dynamic range to a luminance level having a high current frequency, and a gradation conversion unit that compresses a high luminance portion of an input video signal using the generated conversion graph. .
This makes it possible to use the limited output dynamic range effectively without affecting the video signal by fluctuations in the peak value of the input video signal in a relatively simple manner. A video signal processing apparatus for compression can be realized, and conversion setting processing can be performed automatically.
[0041]
According to a second aspect of the present invention, there is provided minimum compression start luminance level setting means for designating a minimum value of the compression start luminance level, and the compression start luminance level calculated by the compression start luminance level calculation means is the minimum compression. When it is lower than the minimum value designated by the start luminance level setting means, the compression start luminance level calculation means replaces the compression start luminance level with the minimum value, and compresses the dynamic range so as to satisfy the condition after replacement. It is characterized by correcting.
Accordingly, it is possible to prevent the possibility that the compression point is lowered more than necessary and the purpose of compressing only the high-luminance portion is lost, and the luminance is lowered to the whole.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an internal configuration of an imaging apparatus when handling a black and white video signal.
FIG. 2 is a detailed block diagram of a luminance compression circuit for a black and white video signal according to an embodiment of the video signal processing apparatus of the present invention.
FIG. 3 is an explanatory diagram showing a compression point setting method according to the present invention.
FIG. 4 is a detailed block diagram of a luminance compression circuit for a black and white video signal according to another embodiment of the video signal processing apparatus of the present invention.
FIG. 5 is a block diagram illustrating an internal configuration of an imaging apparatus that handles color signals.
FIG. 6 is a block diagram of an embodiment of a color signal luminance compression circuit according to the present invention.
FIG. 7 is a block diagram of another embodiment of a luminance compression circuit for a color signal according to the present invention.
FIG. 8 is an explanatory diagram showing a conventional compression point setting method.
FIG. 9 is an input / output response characteristic diagram with a plurality of broken lines.
FIG. 10 is a block diagram of a conventional color signal luminance compression circuit.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Lens, 2 ... Spectral prism, 3-1, 3-1, 3-2, 3-3 ... Image pick-up element, 4 ... White balance circuit, 5, 5-1, 5-2, 5-3 ... Outline emphasis circuit, 6 ... Luminance compression circuit, 7, 7-1, 7-2, 7-3 ... Gamma correction circuit, 8, 8-1, 8-2, 8-3 ... White clip and black clip circuit, 9 ... Encoder circuit, DESCRIPTION OF SYMBOLS 10 ... Adder, 11 ... Y matrix, 12 ... Peak detection circuit, 13 ... Processing circuit, 13-a ... Setting value, 13-b ... Kp calculation circuit, 13-c ... Each Kp calculation circuit, 13-d ... Each part Inclination calculation circuit, 13-e... Y intercept calculation circuit, 13-f... Kp, Ks correction circuit, 14... Histogram detection circuit, 15, 15-1, 15-2, 15-3.

Claims

A video signal processing apparatus that adaptively compresses and outputs a dynamic range of a high-luminance portion of an input video signal,
Peak value detection means for detecting a peak value of the luminance level of the input video signal;
A maximum output brightness level setting means for specifying the maximum output brightness level;
And the minimum compression start luminance level setting means for specifying a minimum value of the compression start luminance level,
Compression rate setting means for specifying the compression rate of the dynamic range;
Compression start luminance level calculating means for calculating a luminance level for starting compression of a dynamic range based on a peak value of a luminance level of an input video signal, a maximum value of the output luminance level and a compression ratio of the dynamic range; When the calculated compression start luminance level is lower than the minimum value specified by the minimum compression start luminance level setting means, the compression start luminance level is replaced with the minimum value and the replacement condition is satisfied. Compression start luminance level calculating means for correcting the compression ratio of the dynamic range;
A video signal processing apparatus, comprising: gradation conversion means for compressing a video signal having a luminance level greater than the compression start luminance level based on a corrected compression rate.

The video signal processing apparatus according to claim 1 is provided.
Histogram detection means for detecting a histogram with respect to the luminance distribution of the input video signal for a high luminance portion equal to or higher than the compression start luminance level;
Conversion graph generation means for allocating a large output dynamic range to a luminance level having a high appearance frequency based on the detection result of the histogram detection means;
The video signal processing apparatus, wherein the gradation conversion unit compresses a high-luminance portion of the input video signal using the conversion graph generated by the conversion graph generation unit.