JP4677924B2 - 撮影システム、動画像処理方法および動画像処理装置 - Google Patents

Description

本発明は、動画像を撮影する撮影システム、この動画像の動画像処理装置および動画像処理方法に係り、特に、撮影領域内の輝度差が著しい場合に生じる黒潰れや白飛びを防止するための技術に関する。

テレビジョンシステムや監視モニターシステム等の撮像系（カメラ）−受像系（表示モニタ）システムは、撮像系の撮影対象物の輝度を受像系の明暗に変換するものである。したがって、受像系に表示される映像あるいは画像は、主に撮像系の撮像特性と受像系の輝度特性に依存している。例えば、図８に示すように、撮影対象物の輝度に輝度差ΔＬがある場合、撮像系の撮像特性γが撮像特性γ０でるときには、撮影対象物の輝度差ΔＬが受像系では明るさの差（Δβ０）として表示される。
また、カメラ等の撮像系にあっては、撮影対象部の輝度に応じて自動で撮像特性γを切り替える、いわゆる自動露出機能を備えるのが一般的である（例えば、特許文献１参照）。
特開２００６−１４０３４号公報

しかしながら、カメラが自動露出で撮影動作しているときに、カメラの撮影領域内に高輝度物体が入った場合、カメラの自動露出機能によって前掲図８の撮像特性γ０が、撮影輝度範囲Ｒが高輝度側にシフトして撮像特性γ１に自動的に切り替わり、これに伴い、受像系の明るさの差（Δβ０）が明るさの差（Δβ１）へと圧縮される。このとき、撮影領域に比較的暗い場所が含まれる場合には、明るさの差が圧縮されるために黒く潰れる、いわゆる黒潰れが発生する。また、これとは逆に、比較的明るい場所を撮影しているときに、太陽が雲に覆われるなどして撮影領域の一部の照度が大きく低下した場合には、受像系の明るい部分が白く飛んでしまう、いわゆる白飛びが発生する。

本発明は、上述した事情に鑑みてなされたものであり、黒潰れや白飛びを防止することのできる撮影システム、動画像処理装置、動画像処理方法およびプログラムを提供することを目的とする。

上記目的を達成するために、本発明は、動画像を構成するフレームデータを順次出力する撮影手段と、前記フレームデータを順次表示して動画像を表示する表示手段と、前記撮影手段から出力される各フレームデータに対して画像処理を施して前記表示手段に出力する動画像処理装置とを備え、前記画像処理装置は、人が感じる明るさ感を定量化するアルゴリズムに基づいて、前記フレームデータの画像の各画素の階調を輝度に変換し、前記画像内の画素ごとに、その画素の輝度と他の各画素の輝度とを対比して前記フレームデータの画像の各画素の明るさ値を算出して前記表示手段にフレームデータとして出力することを特徴とする撮影システムを提供する。

また上記目的を達成するために、本発明は、動画像を構成するフレームデータを順次取得する第１ステップと、人が感じる明るさ感を定量化するアルゴリズムに基づいて、前記フレームデータの画像の各画素の明るさ値を算出してフレームデータとして出力する第２ステップとを具備し、前記第２ステップにおいて、前記フレームデータの画像の各画素の階調を輝度に変換し、前記画像内の画素ごとに、その画素の輝度と他の各画素の輝度とを対比して前記明るさ値を算出することを特徴とする動画像処理方法を提供する。

また、本発明は、上記発明の前記第２ステップにおいて、前記画像の各画素の階調が、少なくとも緑色成分を含む複数の色成分ごとに規定されている場合には、前記緑色成分の階調に基づいて各画素の階調を輝度に変換することを特徴とする。

また、本発明は、上記発明の前記第２ステップにおいて、前記各画素の明るさ値をスケール表示可能に多値化して出力することを特徴とする。

また、上記目的を達成するために、本発明は、動画像を構成するフレームデータを順次取得するフレームデータ取得手段と、人が感じる明るさ感を定量化するアルゴリズムに基づいて、前記フレームデータの画像の各画素の階調を輝度に変換し、前記画像内の画素ごとに、その画素の輝度と他の各画素の輝度とを対比して前記フレームデータの画像の各画素の明るさ値を算出してフレームデータとして出力する演算手段とを具備することを特徴とする動画像処理装置を提供する。

なお、本発明は、コンピュータを、動画像を構成するフレームデータを順次取得するフレームデータ取得手段、および、人が感じる明るさ感を定量化するアルゴリズムに基づいて、前記フレームデータの画像の各画素の明るさ値を算出しフレームデータとして出力する演算手段として機能させる動画像処理プログラムとしても実施可能である。
また、コンピュータ読み取り可能な記録媒体に上記動画像処理プログラムを記録して実施などすることもできる。

本発明によれば、人が感じる明るさ感を定量化するアルゴリズムに基づいて、動画像を構成するフレームデータの画像の各画素の明るさ値が算出されてフレームデータとして出力される。人が感じる明るさ感を定量化するアルゴリズムを用いて算出された明るさ値からなるフレームデータは、フレームデータの画像の各画素の明るさが、当該画像の輝度分布に基づく相対値により表されるため、表示時の黒潰れや白飛びが防止される。

以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の実施の形態に係る撮影システム１の構成を模式的に示す図である。この撮影システム１は、動画像を撮影する撮影手段としてのＣＣＤカメラ２と、ＣＣＤカメラ２が撮影した動画像のデータに対して画像処理を施す動画像処理装置３と、動画像処理装置３によって画像処理された動画像のデータを表示する表示モニタ４とを備えている。
ＣＣＤカメラ２は、２次元空間に離散的に配置されたＣＣＤ（Charge Coupled Device）センサを有するカメラであり、所定のフレームレート（例えば毎秒３０フレーム）および所定の解像度（例えば画素数：１２８０×９６０）でカラー映像を順次取り込みフレームデータとして順次出力するものである。このフレームデータの１つの画素には、Ｒ（赤）Ｇ（緑）Ｂ（青）の各色成分ごとに多階調（例えば２５６階調）の階調データが含まれている。なお、ＣＣＤセンサに代えて例えばＣＭＯＳセンサ等の他のイメージセンサを用いてカメラを構成しても良い。

図２は動画像処理装置３の機能的構成を示すブロック図である。
動画像処理装置３は、人が感じる明るさ感を定量化するアルゴリズムに基づいて、前記フレームデータの各画素について明るさ値を算出してフレームデータとして出力する画像処理を行うものであり、図２に示すように、フレームデータ入力部３０、階調／輝度変換部３１、輝度／明るさ変換部３２およびフレームデータ出力部３３を備えて構成されている。

フレームデータ入力部３０は、上記ＣＣＤカメラ２からのフレームデータを順次受け取り階調／輝度変換部３１に出力する入力Ｉ／Ｆとして機能するものである。
階調／輝度変換部３１は、フレームデータの画像の各画素の階調値を輝度値に変換し、輝度／明るさ変換部３２に出力するものである。
より具体的には、画素の階調値Ｋと輝度値Ｌ（ｃｄ/ｍ²）とは、図３に示すように、ＣＣＤカメラ２の露出条件ＥＶごとに予め一対一に関係付けられている。この露出条件ＥＶは、ＣＣＤカメラ２のシャッター速度、絞りおよびズーム（焦点距離）に基づいて決定されるものである。本実施の形態では、暗所での撮影に適した露出条件ＥＶ＝−１から明所での撮影に適した露出条件ＥＶ＝１５まで、撮影場所の照度に応じて複数の露出条件ＥＶが予め設定されており、この露出条件ＥＶがフレームデータと共に動画像処理装置３に入力される。そして、階調／輝度変換部３１は、図３に示す関係に基づいてフレームデータの各画素の階調値Ｋを輝度値Ｌに変換する。

このとき、階調／輝度変換部３１は、各画素の階調値Ｋを輝度値Ｌに変換する際に、Ｒ（赤）Ｇ（緑）Ｂ（青）の各色成分の階調値のうち、Ｇ（緑）成分の階調値Ｇｋから次式（１）を用いて輝度値Ｌに変換している。
ｌｏｇＬ＝ａ×ｌｏｇＧｋ³＋ｂ×ｌｏｇＧｋ²＋ｃ×ｌｏｇＧｋ＋ｄ （１）
（ただし、ａ、ｂ、ｃおよびｄは定数）

上記式（１）は、各画素のＧ成分の階調値Ｇｋから生成する輝度値Ｌが、ＲＧＢの三色成分の階調値Ｋに基づいて生成した輝度値と同じになるように導き出された実験式である。また、ＣＣＤカメラ２の光学レンズにおいては、中央部分よりも周辺部分の透過率が低くなるという透過率のむらがあり、上記式（１）の各定数ａ、ｂ、ｃおよびｄは、この透過率のむらによる輝度値変動が補正されるように決定されており、例えば、本実施形態では、ａ＝０．５６１、ｂ＝−２．６５６、ｃ＝５．４４８、ｄ＝−３．７６２という値が用いられる。

このように、Ｒ（赤）Ｇ（緑）Ｂ（青）の各色成分の階調値Ｋに基づいて輝度値Ｌを算出するのではなく、Ｇ成分の階調値Ｇｋのみを用いて輝度値Ｌを算出することで、輝度値Ｌへの変換の際の計算量を減らし、処理の高速化が図られる。
また、Ｒ（赤）Ｇ（緑）Ｂ（青）の各色成分のうちＧ成分の輝度値Ｇｋを用いることで、撮影対象の光環境が種々の光源により作り出されている場合でも、光源の種類に影響されずに、正確な輝度値が求められる。
詳述すると、暖色系（赤色寄り）の光を照射するナトリウム系のランプや、これとは逆に、寒色系（青色より）の光を照射する水銀系のランプといった、特定の波長域に偏った光源が照明装置の光源として用いられることがある。したがって、輝度分布を生成する際に用いる色成分を暖色系のＲ成分とすると、寒色系の光源により光環境が作り出されている場合には、その光環境の輝度分布が不正確なものとなり、これと同様に、寒色系のＢ成分から輝度分布を生成すると、暖色系の光源が作り出す光環境の輝度分布が不正確になる。
そこで、暖色系のＲ成分と寒色系のＢ成分との間の波長域であるＧ成分に基づいて輝度値Ｌを算出する構成とすることで、光源の種類によらず、正確な輝度値が求められるのである。

再び図２に戻り、輝度／明るさ変換部３２は、フレームデータの各画素の輝度値Ｌを上記明るさ値Ｍに変換し、フレームデータとしてフレームデータ出力部３３に出力するものである。
この明るさ値Ｍは、上述のように、人が感じる明るさ感を定量化するアルゴリズムに基づいて算出されるものであり、フレームデータの画像内の明るい部分と暗い部分との輝度差、すなわち、画像内における輝度分布に基づいて、各画素ごとに他の画素の輝度との対比量として求められる。

より詳述すると、暗所の撮影時に比較的明るい（輝度の高い）対象物が撮影領域に存在する場合、ＣＣＤカメラ２の自動露出機能によって、撮像特性γが高輝度撮影に最適な特性に変更されるため、輝度が小さい場所が黒潰れしてしまい、また、これとは逆に、明所の撮影時に比較的暗い（輝度の低い）対象物が撮影領域に存在する場合、ＣＣＤカメラ２の自動露出機能によって、撮像特性γが低輝度撮影に最適な特性に変更されるため、輝度が高い場所が白飛びしてしまう。
このように、輝度が著しく異なる部分を含む輝度分布である場合には、黒潰れや白飛びが発生し細部まで視認できなくなる。

一方、ある対象物を人が視認したときに、この対象物の輝度が同じであっても、対象物の周辺との輝度差によって、この対象物に対して人が感じる明るさ感が異なることが知られている。そこで、例えば空間の照明デザイン等の分野では、照明器具の配置などに応じて作り出される光環境（空間の輝度分布）をシミュレーションする場合に、その光環境に対して人が感じる明るさ感を定量化して評価するといった事が行われている（特開２００２−３９８５９号公報）。この明るさ感の定量化のアルゴリズムの基本的な原理は、簡単には、上記対象物の領域と周辺領域との主要な輝度の対比量を求めるものであり、この対比量によって、対象物の輝度と周辺の輝度との相対値が示されることとなる。

したがって、明るさ感の定量化のアルゴリズムに基づいて、フレームデータの画像の各画素の輝度を、互いの画素間の輝度の相対値に変換することで、前掲図８に示すように、撮像系であるＣＣＤカメラ２の撮像特性γが変動して受像系である表示モニタ４の明るさの差Δβが圧縮されたとしても、フレームデータの画像の各画素が、当該画像内における輝度の相対値として表示されることとなるため、黒潰れや白飛びのない画像を表示することができるのである。

ここで、一般には、画像内の輝度分布は複雑なものとなるため、本実施の形態では、コントラスト・プロファイル法と呼ばれるアルゴリズムを用いて計算し、特定の空間周波数だけを通過させるフィルタ（Ｎフィルタ）を画像の輝度分布に掛けることで対比量を算出する。具体的には、検出しようとする輝度変化の周波数ｆ０の逆数を検出波長（１／ｆ０）とし、この検出波長を連続的に変化させて輝度分布とＮフィルタとの畳み込み演算処理を実行し、画像の各画素について輝度の対比量（明るさ値Ｍ）を求める。なお、このＮフィルタとしては、例えば図４に示すように、７×７の重み付けマトリックスを用いることができる。

そして、輝度／明るさ変換部３２は、上記のようにして算出した各画素の明るさ値Ｍを、「非常に暗い〜非常に明るい」のＮ段階（Ｎ≧２）の明るさに多値化してフレームデータを生成し、そのフレームデータをフレームデータ出力部３３に出力する。
フレームデータ出力部３３は、輝度／明るさ変換部３２から入力されたフレームデータを表示モニタ４に順次出力するものである。
表示モニタ４は、フレームデータ出力部３３から入力されるフレームデータに基づいて動画像を表示するものである。さらに詳述すると、表示モニタ４は、フレームデータの各画素の多値化された明るさ値Ｍに基づいて、グレースケール、或いは、カラースケールで画像を表示する。

なお、上記動画像処理装置３は、フレームデータ入力部３０、階調／輝度変換部３１、輝度／明るさ変換部３２およびフレームデータ出力部３３の各部が専用の電子回路で構成された装置として実施可能であり、また、各部の機能を実現するためのコンピュータプログラムをコンピュータに実行させることでも実施可能である。

次いで、本撮影システム１の動作について説明する。
図５は、撮影システム１の撮影動作を示すフローチャートである。この図に示すように、ＣＣＤカメラ２が撮影を開始し（ステップＳ１）、フレームデータを動画像処理装置３のフレームデータ入力部３０に順次入力する（ステップＳ２）。フレームデータ入力部３０は、フレームデータが入力されると、そのフレームデータを階調／輝度変換部３１に出力し、この階調／輝度変換部３１がフレームデータの画像の各画素の階調値Ｋを輝度値Ｌに変換して、輝度／明るさ変換部３２に出力する（ステップＳ３）。

輝度／明るさ変換部３２は、明るさ感を定量化するアルゴリズムに基づいて、フレームデータの各画素の輝度値Ｌを明るさ値Ｍに変換し、フレームデータ出力部３３に出力する（ステップＳ４）。フレームデータ出力部３３は、フレームデータが入力されると、そのフレームデータを表示モニタ４に出力する（ステップＳ５）。そして、表示モニタ４が、フレームデータの各画素の明るさ値Ｍに基づいて画像を階調表示し（ステップＳ６）、これにより、１つのフレームデータに基づく表示が完了する。そして、撮影システム１は、撮影が終了するまで、上記ステップＳ２〜ステップＳ６までの処理を繰り返し実行することで、表示モニタ４にフレームデータに基づく画像が順次表示されて動画像が表示される。

これにより、例えば、暗所で撮影が行われた場合、図６の概念図に示すように、撮影領域内に点灯した照明装置５０等の高輝度の物体が存在したときには、本実施形態の動画像処理をせず、そのまま表示した場合には、背景にある樹木５５等の低輝度の物体が黒潰れした表示画像６０となる（黒潰れを破線で示す）。これに対して、本実施形態の動画像処理を施した場合には、表示モニタ４に表示される表示画像６５にあっては、樹木５５が表示されるため、背景に樹木５５が存在していることが視認できるようになる。

図７は、従来の表示画像６０と本撮影システム１により得られた表示画像６５との具体例を示す図である。この図においては、各画素の輝度値Ｌが「１」〜「１３」までの１３段階の明るさ値Ｍに変換されており、これにより、表示画像６５は、１３階調のグレースケールで表示されている。この図に示すように、本実施形態の動画像処理を施して得られた表示画像６５においては、暗所に位置する樹木や電線、家屋などが視認可能に表示される。
なお、明るさ値Ｍの段階数をより増やすことで、明るさについて解像度の高い表示画像６５を得ることができる。また、グレースケールやカラースケールといったスケール表示ではなく、各画素の明るさ値Ｍを多値化せずに、そのままの明るさ値Ｍに基づいてフレームデータの画像を表示することでグラディエーション状に連続的に色合いを変化させた表示が可能である。

このように、本実施の形態によれば、人が感じる明るさ感を定量化するアルゴリズムに基づいて、フレームデータの画像の各画素の明るさ値Ｍを算出してフレームデータとして出力するようにしたため、フレームデータの画像の各画素の輝度が、当該画像の輝度分布に基づく相対値により表されることとなり、これにより、表示時の黒潰れや白飛びを防止することができる。

また、フレームデータの画像の各画素の階調値Ｋを輝度値Ｌに変換する際に、Ｇ（緑色）成分の階調値Ｇｋに基づいて輝度値Ｌに変換するようにしたため、輝度値Ｌへの変換の際の計算量を減らし、処理を高速化しつつ、撮影環境の光源の種類に影響されずに正確に輝度値Ｌを算出することができる。

なお、上述した実施の形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、撮像特性γが互いに異なる複数のＣＣＤカメラ２を用いて同一箇所を撮影すると共に、階調／輝度変換部３１が、各ＣＣＤカメラ２からのフレームデータの画像のそれぞれを輝度値Ｌに変換した後、それらの画像（より詳細には輝度値）を合成する構成としても良い。この構成によれば、ＣＣＤカメラ２の感度にばらつきが生じている場合であっても、正確な輝度値が得えられる。

また、上述した撮像システム１は、例えば、河川や街角、公園などの状況を監視するための監視システムへの応用が可能である。すなわち、本発明の撮像システム１によれば、照明装置等に照らされた場所を夜間に監視する場合であっても、比較的暗い物体も認識可能に表示されるため、暗所に居る人などを見落とすことなく監視することができる。

本発明の実施形態に係る撮影システムの構成を示す図である。 動画像処理装置の構成を示す図である。 露出条件ごとの階調値と輝度値との関係を示す図である。 Ｎフィルタの一例を示す図である。 撮影システムの動作を示すフローチャートである。 本実施形態により得られる表示画像を概念的に示す図である。 本実施形態により得られる表示画像の一例を示す図である。 背景技術を説明するための図である。

符号の説明

１ 撮像システム
２ ＣＣＤカメラ
３ 動画像処理装置
４ 表示モニタ
３０ フレームデータ入力部
３１ 階調／輝度変換部
３２ 輝度／明るさ変換部
３３ フレームデータ出力部

Claims (5)

1. 動画像を構成するフレームデータを順次出力する撮影手段と、
   前記フレームデータを順次表示して動画像を表示する表示手段と、
   前記撮影手段から出力される各フレームデータに対して画像処理を施して前記表示手段に出力する動画像処理装置とを備え、
   前記画像処理装置は、
   人が感じる明るさ感を定量化するアルゴリズムに基づいて、前記フレームデータの画像の各画素の階調を輝度に変換し、前記画像内の画素ごとに、その画素の輝度と他の各画素の輝度とを対比して前記フレームデータの画像の各画素の明るさ値を算出して前記表示手段にフレームデータとして出力する
   ことを特徴とする撮影システム。
2. 動画像を構成するフレームデータを順次取得する第１ステップと、
   人が感じる明るさ感を定量化するアルゴリズムに基づいて、前記フレームデータの画像の各画素の明るさ値を算出してフレームデータとして出力する第２ステップとを具備し、
   前記第２ステップにおいて、
   前記フレームデータの画像の各画素の階調を輝度に変換し、
   前記画像内の画素ごとに、その画素の輝度と他の各画素の輝度とを対比して前記明るさ値を算出する
   ことを特徴とする動画像処理方法。
3. 前記第２ステップにおいて、
   前記画像の各画素の階調が、少なくとも緑色成分を含む複数の色成分ごとに規定されている場合には、前記緑色成分の階調に基づいて各画素の階調を輝度に変換する
   ことを特徴とする請求項２に記載の動画像処理方法。
4. 前記第２ステップにおいて、
   前記各画素の明るさ値をスケール表示可能に多値化して出力する
   ことを特徴とする請求項２乃至３のいずれかに記載の動画像処理方法。
5. 動画像を構成するフレームデータを順次取得するフレームデータ取得手段と、
   人が感じる明るさ感を定量化するアルゴリズムに基づいて、前記フレームデータの画像の各画素の階調を輝度に変換し、前記画像内の画素ごとに、その画素の輝度と他の各画素の輝度とを対比して前記フレームデータの画像の各画素の明るさ値を算出してフレームデータとして出力する演算手段と
   を具備することを特徴とする動画像処理装置。