JP5317825B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、階調表現の異なる複数の画像を切り替えて再生することで高ダイナミックレンジの再生機能を有する画像処理装置において、高ダイナミックレンジの再生を行いつつグラフィック合成を可能にする技術に関するものである。

撮影条件として露出の異なる２つの画像がある場合に、各画像の露出、すなわち注目する階調表現を考慮して合成することで、合成後の画像の階調表現を豊かにする高ダイナミックレンジ(High Dynamic Range)と呼ばれる技術がある。以下、高ダイナミックレンジをＨＤＲと略記する。

ＨＤＲ表現を行う際には、画像データを実際に演算処理で合成するのではなく、露出の異なる２つの画像を交互に切り替えて表示させる。これによって、時間積分的な効果により階調表現が向上し、ＨＤＲ表現を実現可能である。
上記ＨＤＲ表現を実現する手段についての構成例を図５に示す。なお、図５に示す構成例として、特許文献１に開示された構成が挙げられる。図中の画像生成部１０６は、階調表現の異なる２つの画像を用意する。以降、露出の異なる画像群を「ＨＤＲ画像」と呼ぶ。

例えば、ＨＤＲ画像生成部１０６は外部から入力されたＨＤＲ画像のデータをフレームメモリＢ１０７に格納する。あるいは、外部から入力された画像データに対し、露出の異なる画像を生成するために異なるγ調整を行うことでＨＤＲ画像を生成し、画像データをフレームメモリＢ１０７に格納することが考えられる。ＨＤＲ画像生成部１０６が用意した２つの画像については、それぞれのデータがフレームメモリＢ１０７から、ＨＤＲ再生部１０８によって交互に読み出される。読み出された画像データは映像出力部１０９を経由して外部の表示装置へ出力される。なお、ＨＤＲ再生部１０８が階調の異なる画像を交互に表示させるために画像データを読み出す場合、表示上のちらつきの発生を防ぐためにフレームレートを高くすることが望ましい。このため、一般的な倍速駆動回路を利用することが想定される。

また図５の構成においてＯＳＤ(On Screen Display)合成により画像表示を行う場合、第１及び第２の画像データが合成部１０５で合成される。第１の画像データは映像入力部１０１からフレームメモリＡ１０２に格納された画像データであり、第２の画像データはグラフィック生成部１０３で生成した後でグラフィックメモリ１０４に格納されたＯＳＤグラフィックのデータである。ここで、ＯＳＤ合成については倍速駆動ではない通常のフレームレートに対応した周波数、例えば６０Ｈｚで実施される。ＯＳＤ合成を通常のフレームレートで実施することにより、ＯＳＤ合成時にフレームメモリＡ１０２やグラフィックメモリ１０４からデータを読み出す際のメモリバンド幅を、倍速駆動時に比較して低く抑えることが可能になり、システムの実現が容易になる。

ＯＳＤ合成された画像データはフレームメモリＢ１０７に一旦格納されてから、ＨＤＲ再生部１０８を経由して映像出力部１０９へ出力される。

特開２００８−１６０５９１号公報

しかしながら、上述の構成でＨＤＲ画像を再生する場合、ＨＤＲ画像の再生を行いつつＯＳＤ合成を行うことができない。これはＨＤＲ画像に係るデータが合成部１０５を経由しないためである。
そこで本発明は、ＯＳＤ合成時のメモリバンド幅を節約可能な構成としたままで、ＨＤＲ画像に対してＯＳＤ合成が可能な画像処理装置及び画像処理方法の提供を目的とする。

本発明の一実施形態の画像処理装置は、階調表現の異なる複数の画像を切り替えて再生する機能を有する画像処理装置であって、階調表現の異なる複数の画像データを第１のフレームレートで再生する第１の再生手段と、グラフィック画像のデータ生成を行うグラフィック生成手段と、前記グラフィック生成手段によって生成された画像データを、前記第１の再生手段によって再生された複数の画像データのそれぞれに合成して、前記第１のフレームレートで出力する合成手段と、前記合成手段によって合成された複数の画像データを、前記第１のフレームレートよりも高い第２のフレームレートで交互に再生する第２の再生手段と、を備える。

本発明によれば、階調表現の異なる複数の画像データを第１のフレームレートで読み出した後で、該画像データとグラフィック画像のデータを合成し、さらに第２のフレームレートで画像データを読み出して出力する。これによりＯＳＤ合成時のメモリバンド幅を節約する構成を維持しつつ、ＨＤＲ再生時にもＯＳＤ合成が可能である。

図２乃至４と併せて本発明に係る一実施形態を説明するために、画像処理装置の構成例を示すブロック図である。 ＨＤＲ再生部の動作を説明するために該再生部をスイッチの記号で等価的に示す図である。 画像フレームの再生イメージを例示した図である。 ＨＤＲ再生処理の手順例を示すフローチャートである。 本発明が解決しようとする課題を説明するために従来の構成を示すブロック図である。

図１は本発明に係る実施形態について画像処理装置の構成例を示す。なお画像処理装置は、階調表現の異なる複数の画像を切り替えて表示させるために複数の画像データを複数のフレームレートに従って出力する機能を有する。以下ではテレビジョン放送受信装置を例に挙げて説明するが、これに限らず各種の画像再生装置への適用が可能である。

まず、放送波に代表される通常の映像信号の流れについて説明する。映像入力部１０１には、図示しないチューナや外部入力端子等から映像信号が入力され、画像データは第１のフレームメモリ（以下、フレームメモリＡとする）１０２に格納される。フレームメモリＡ１０２に格納された画像データはその読み出し後に、第１の再生部（以下、ＨＤＲ再生部Ａとする）２０２を経由して合成部１０５へ送られる。このＨＤＲ再生部Ａについては後述するが、通常の映像再生時にはフレームメモリＡ１０２からの画像データを読み取って合成部１０５へ送るのみである。

本装置においてＯＳＤ合成を行う場合、グラフィック生成部１０３がＯＳＤ用グラフィックのデータ生成を行い、生成したデータをグラフィックメモリ１０４に格納する。

グラフィックメモリ１０４から読み出された画像データ及びＨＤＲ再生部Ａ２０２が出力した画像データは、合成部１０５に入力されて合成される。合成後の画像データは第２のフレームメモリ（以下、フレームメモリＢとする）１０７に格納される。フレームメモリＢ１０７に格納された合成後の画像データは、第２の再生部（以下、ＨＤＲ再生部Ｂとする）２０３によって読み出された後、映像出力部１０９に送られ、表示パネル等の表示装置へ出力される。

合成部１０５の処理までは、第１のフレームレート、例えば６０Ｈｚといった通常の周波数に対応するフレームレートで実施される。また画像データがフレームメモリＢ１０７から読み出されてＨＤＲ再生部Ｂ２０３で再生される際には、第２のフレームレート、例えば周波数１２０Ｈｚに対応した高フレームレートでの倍速駆動により処理が実施される。通常、フレームレート変換と呼ばれる処理はＨＤＲ再生部Ｂ２０３内で可能であるものとする。なお、本願発明に関する限り、ＨＤＲ再生部Ｂは倍速駆動が可能な処理部であること以上には関連がないため、フレームレート変換自体の処理内容についての説明は省略する。

次に、ＨＤＲ再生部Ａ２０２及びＨＤＲ再生部Ｂ２０３がＨＤＲ再生時に行う処理について説明する。図２に示すように、ＨＤＲ再生部は、階調表現の異なる２つの画像データを交互に読み出して後段の回路部に出力し、最終的な表示画像にてＨＤＲ再生効果を実現する。２つの画像データとしては、例えば同一被写体を異なる露出で撮影した画像群のデータが挙げられ、以下では、第１の画像を「露出Ｈ画像」とし、第２の画像を「露出Ｌ画像」とする。図２では両画像の切り替え及び読み出しが行われる様子について、スイッチ記号を用いたスイッチング動作によって等価回路で表現している。なお露出の異なる２つの画像はＨＤＲ画像生成部２０１が生成する。

図５で説明した構成では、ＨＤＲ画像のデータがフレームメモリＢ１０７に格納され、ＨＤＲ再生部１０８によって高フレームレートで各画像のデータが交互に読み出される。そして映像出力部１０９から表示パネル等の表示装置に映像信号が送られることでＨＤＲ再生効果が得られる。しかしながら、合成部１０５はＨＤＲ再生部１０８よりも前段にあるため、ＨＤＲ再生と合成処理を同時には実現できない。

そこで本実施形態では、ＨＤＲ画像生成部２０１によって生成されるＨＤＲ画像のデータを、フレームメモリＢ１０７だけでなく、フレームメモリＡ１０２にも格納できるように構成する。ただし、ＯＳＤ合成を行わない場合には、従来通りフレームメモリＢ１０７のみにＨＤＲ画像のデータを格納することも可能である。

フレームメモリＡ１０２に格納されたＨＤＲ画像は、ＨＤＲ再生部Ａ２０２によって合成時のフレームレートに対応した周波数６０Ｈｚのタイミングで読み出される。つまり図２において６０Ｈｚの周波数に対応するタイミングで、露出Ｈ画像と露出Ｌ画像の各データが交互に読み出される。よって通常のＯＳＤ合成の場合と同様に合成部１０５でグラフィックデータとの合成処理が行われる。なお、その際には露出Ｈ画像と露出Ｌ画像の双方に対して同様のグラフィック画像が合成されるものとする。

合成部１０５にてＯＳＤ合成されたＨＤＲ画像は、フレームメモリＢ１０７に格納される。
フレームメモリＢ１０７に格納されたＯＳＤ合成済みの露出Ｈ画像と露出Ｌ画像のデータについては、６０Ｈｚの周波数に対応するタイミングでそれぞれ格納が完了すると、ＨＤＲ再生部Ｂ２０３によって読み出される。つまり図２において１２０Ｈｚの周波数に対応するタイミングで露出Ｈ画像と露出Ｌ画像の各データが交互に読み出される。そして読み出されたＨＤＲ画像のデータは映像出力部１０９へ出力される。

画像フレームの再生イメージを図３に示す。図３の左側には合成部１０５が出力するＨＤＲ画像例を示し、右側にはＨＤＲ再生部Ｂ２０３が出力するＨＤＲ画像例を示す。図中のＨ１乃至３は露出Ｈ画像のフレームを表し、Ｌ１乃至３は露出Ｌ画像のフレームを表しており、時間が経過するにつれてＨ又はＬに付した数値が増加する。つまり時間経過の方向を図の上方から下方への向きと定義している。各フレーム内で矩形枠にＯＳＤの文字を付して示す部分はＯＳＤグラフィック画像を表しており、本例では合成された当該画像が時間経過に伴って画面の右上方から左下方へと移動している様子が分かる。

上記のように合成部１０５は画像合成の動作を６０Ｈｚの周波数で行う。このため、合成部１０５の出力についても同様に、６０Ｈｚの周波数に対応するタイミングで最初にＨ１フレーム、次にＬ１フレーム、続いてＨ２フレーム、Ｌ２フレームといった具合に、順次出力される。
ここで、合成動作としてはＨ１フレームとＬ１フレームを一組として、同様のＯＳＤグラフィック画像がＨ１フレームとＬ１フレームのそれぞれに合成される。このことは以降のＨ２及びＬ２フレーム、Ｈ３及びＬ３フレームについても同様である。

Ｈ１フレーム、Ｌ１フレームのＯＳＤ合成が完了し、両フレームの画像データがフレームメモリＢ１０７に格納された時点で、ＨＤＲ再生部Ｂ２０３は６０Ｈｚに対して倍速の駆動周波数１２０ＨｚでＨＤＲ再生動作を開始する。具体的には、図３の右側に示すようにＨ１フレーム、Ｌ１フレームを交互に読み出すことで、各フレームの画像データを２回ずつ交互に切り替えて出力する。これ以降のフレーム出力のタイミングとしては、Ｈ２フレーム、Ｌ２フレームのメモリへの格納が完了した際には、ＨＤＲ再生部Ｂ２０３の出力処理の対象もＨ１フレームとＬ１フレームの組から、Ｈ２フレームとＬ２フレームの組へと切り替わる。

フレームの組に対して合成するＯＳＤグラフィックについてはそれらの画像データが同様であることを要するが、フレームの組ごとのＯＳＤグラフィックが同一である必要はなく、グラフィックとして動きのあるアニメーション映像であっても問題はない。例えば、Ｈ１フレームとＬ１フレームについては同様のＯＳＤグラフィックのデータを画像合成する必要がある。これらのフレームに後続するＨ２フレームとＬ２フレームに対しては、Ｈ１フレーム及びＬ１フレームの場合とは異なるＯＳＤグラフィックのデータを画像合成しても構わないため、図３に示すようにアニメーション効果を実現可能である。

次に図４のフローチャートを用いて、ＯＳＤ合成を行いながらＨＤＲ再生を行う場合の処理例について説明する。
最初に、ＨＤＲ画像生成部２０１はＨＤＲ再生用の複数の階調画像を生成する（Ｓ１０１）。次に、ＨＤＲ再生用の複数の階調画像はフレームメモリＡ１０２に格納される（Ｓ１０２）。続いて、装置にＨＤＲ再生が指示されたか否かが判断される（Ｓ１０３）。その結果、ＨＤＲ再生の指示があった場合、ＨＤＲ再生部Ａ２０２は第１のフレームレートでＨＤＲ再生を行う（Ｓ１０４）。なお、ＨＤＲ再生の指示があるまでＳ１０３の判定処理が繰り返される。

Ｓ１０４の後、装置にＯＳＤ合成の指示があったか否かが判断される（Ｓ１０５）。その結果、ＯＳＤ合成の指示があった場合、グラフィックメモリ１０４にＯＳＤ合成用のグラフィックデータが格納されるのを待つ（Ｓ１０６）。つまり該データのグラフィックメモリ１０４への格納が完了するまでの間、Ｓ１０６の条件判断処理がなされ、その完了後、異なる階調のＨＤＲ再生用画像それぞれに対してＯＳＤ合成が行われる（Ｓ１０７）。

Ｓ１０５でＯＳＤ合成の指示がなかった場合やＳ１０７での処理の後、ＯＳＤ合成されたＨＤＲ再生用画像のデータはフレームメモリＢ１０７に格納される（Ｓ１０８）。Ｓ１０９ではＨＤＲ再生用画像のデータがフレームメモリＢ１０７に２フレーム分蓄積されたか否かを判定する処理が行われる。この判定処理は２フレーム分の画像データの蓄積が終了するまで行われた後、Ｓ１１０に進み、ここでＨＤＲ再生部Ｂ２０３が第２のフレームレートでＨＤＲ再生を行う。

本実施形態によれば、上記処理に従ってＨＤＲ再生を行うことにより、ＯＳＤ合成時のメモリバンド幅を節約可能な構成としたままで、ＨＤＲ画像に対してＯＳＤ合成を行える。

１０１ 映像入力部
１０２ フレームメモリＡ
１０３ グラフィック生成部
１０４ グラフィックメモリ
１０５ 合成部
１０７ フレームメモリＢ
１０９ 映像出力部
２０１ ＨＤＲ画像生成部
２０２ ＨＤＲ再生部Ａ
２０３ ＨＤＲ再生部Ｂ

Claims (10)

1. 階調表現の異なる複数の画像を切り替えて再生する機能を有する画像処理装置であって、
   階調表現の異なる複数の画像データを第１のフレームレートで再生する第１の再生手段と、
   グラフィック画像のデータ生成を行うグラフィック生成手段と、
   前記グラフィック生成手段によって生成された画像データを、前記第１の再生手段によって再生された複数の画像データのそれぞれに合成して、前記第１のフレームレートで出力する合成手段と、
   前記合成手段によって合成された複数の画像データを、前記第１のフレームレートよりも高い第２のフレームレートで交互に再生する第２の再生手段と、を備えたことを特徴とする画像処理装置。
2. 階調表現の異なる複数の画像データを格納する第１のフレームメモリと、
   前記グラフィック生成手段によって生成された画像データを格納するグラフィックメモリと、
   前記合成手段の出力する複数の画像データを格納する第２のフレームメモリをさらに備え、
   前記第１の再生手段は、前記第１のフレームメモリから階調表現の異なる複数の画像データを前記第１のフレームレートで交互に読み出し、
   前記第２の再生手段は、前記第２のフレームメモリから階調表現の異なる複数の画像データを前記第２のフレームレートで交互に読み出して出力することを特徴とする、請求項１に記載の画像処理装置。
3. 階調表現の異なる前記複数の画像データは、同一被写体を異なる露出で撮影した画像データであることを特徴とする、請求項１又は２に記載の画像処理装置。
4. 前記階調表現の異なる前記複数の画像データは、露出値の高い画像データと露出値の低い画像データの組であることを特徴とする、請求項３に記載の画像処理装置。
5. 前記第２の再生手段は、前記合成手段から出力された第１のフレームレートの画像データを２回ずつ読み出すことで、第１フレームレートの２倍の第２フレームレートに変換することを特徴とする、請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 階調表現の異なる複数の画像を切り替えて再生する機能を有する画像処理装置における画像処理方法であって、
   階調表現の異なる複数の画像データを第１のフレームレートで再生する第１の再生ステップと、
   グラフィック画像のデータ生成を行うグラフィック生成ステップと、
   前記グラフィック生成ステップで生成された画像データを、前記第１の再生ステップで再生した複数の画像データのそれぞれに合成して、前記第１のフレームレートで出力する合成ステップと、
   前記合成ステップで合成した複数の画像データを、前記第１のフレームレートよりも高い第２のフレームレートで交互に再生する第２の再生ステップと、を有することを特徴とする画像処理方法。
7. 前記画像処理装置は、階調表現の異なる複数の画像データを格納する第１のフレームメモリと、前記グラフィック生成ステップで生成された画像データを格納するグラフィックメモリと、前記合成ステップで出力される複数の画像データを格納する第２のフレームメモリとを備えており、
   前記第１の再生ステップでは、前記第１のフレームメモリから階調表現の異なる複数の画像データを前記第１のフレームレートで交互に読み出し、
   前記第２の再生ステップでは、前記第２のフレームメモリから階調表現の異なる複数の画像データを前記第２のフレームレートで交互に読み出して出力することを特徴とする、請求項６に記載の画像処理方法。
8. 階調表現の異なる前記複数の画像データは、同一被写体を異なる露出で撮影した画像データであることを特徴とする、請求項６又は７に記載の画像処理方法。
9. 前記階調表現の異なる前記複数の画像データは、露出値の高い画像データと露出値の低い画像データの組であることを特徴とする、請求項８に記載の画像処理方法。
10. 前記第２の再生ステップでは、前記合成ステップで出力された第１のフレームレートの画像データを２回ずつ読み出すことで、第１フレームレートの２倍の第２フレームレートに変換することを特徴とする、請求項６乃至９のいずれか一項に記載の画像処理方法。

Images