JP4175954B2

JP4175954B2 - 画像表示装置及び画像表示方法

Info

Publication number: JP4175954B2
Application number: JP2003155315A
Authority: JP
Inventors: 浩之船倉
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-05-30
Filing date: 2003-05-30
Publication date: 2008-11-05
Anticipated expiration: 2023-05-30
Also published as: JP2004354913A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の画像フレームを有する動画像の画像処理を行い、ディスプレイに表示する画像表示装置及び画像表示方法に関する。
【０００２】
【従来の技術】
近年、静止画像のみならず動画像を利用することが多くなっている。例えば、デジタルカメラのＬＣＤパネルに動画像を表示したり、プリンタ装置のディスプレイに動画像を表示して所望のフレーム画像をプリントすることが行われるようになっている。
【０００３】
静止画像と異なり、動画像を構成する各フレーム画像は近接する複数のフレーム画像と相関関係がある。このため、静止画像と同様の画像補正処理を行うと、連続する複数フレーム画像の間で輝度にばらつきが生じる場合があり、ディスプレイに表示される動画像にチラツキが生じてしまう。かかる不具合を防止するために、動画像を画像補正する際は、連続するフレーム画像の輝度がなめらかに変化するように、画像補正のパラメータを修正する必要がある。
【０００４】
このように、動画像と静止画像ではその性質が異なるため、例えば動画像再生機能を有するデジタルカメラでは、静止画像処理用の画像処理部と、動画像処理用の画像処理部をそれぞれ設け、動画像と静止画像をそれぞれ再生するときは異なる画像処理部を用いて処理を行っていた。
【０００５】
【発明が解決しようとする課題】
動画像処理用の画像処理部は、連続する複数フレーム画像を再生するのに最適な補正パラメータを出力する。このため、再生中の動画像を一時停止した場合、動画像に適した画像処理がなされたフレーム画像が、静止画像としてディスプレイに表示されることとなる。このため、隣接するフレームと相関関係と保つために、フレーム画像の輝度が低く抑えられる等、静止画として観察するには不十分な画質の画像が表示されるという問題が生じていた。
【０００６】
また、動画像と静止画像に対して個別の処理を行う場合、動画処理と静止画処理に対応した２つの画像処理部を設ける必要があるため、コストアップにつながるといった問題も生じる。
【０００７】
本発明は、上記問題点を考慮してなされたものであり、動画像を再生中に一時停止した場合でも、高画質の画像を静止画として表示することができる画像表示装置及び画像表示方法をローコストで提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像表示装置は、静止画像又は動画像を構成するフレーム画像毎に画像補正のためのパラメータを決定するとともに、動画像が連続表示されているときのみ、過去フレーム画像の情報に基づきパラメータを補正するパラメータ決定部と、パラメータ決定部において決定されたパラメータに基づき、静止画像又はフレーム画像を補正する画像補正部と、を備えたことを特徴とする。また、動画像の連続表示を一時停止するときは、前記パラメータの補正を行わないことを特徴とする。
【０００９】
また、輝度補正用パラメータを過去フレーム画像の情報として用い、複数の輝度補正用パラメータを用いて対象フレーム画像のパラメータ補正を行っても良い。また、画像データ解析部を更に備え、フレーム画像の平均輝度を示す情報を算出してパラメータ決定部に送るとともに、各フレーム画像のデータを画像補正部に出力するようにしても良い。
【００１０】
本発明の画像表示方法は、静止画像又はフレーム画像毎に決定された画像補正用のパラメータに基づき、静止画像又はフレーム画像を補正するとともに、動画像が連続表示されているときのみ、過去フレーム画像の情報に基づきパラメータを補正することを特徴とする。また、動画像の連続表示を一時停止するときは、パラメータの補正を行わないことを特徴とする。
【００１１】
【発明の実施の形態】
本発明の画像表示装置を備えたデジタルカメラを図１に示す。デジタルカメラ１０を構成する各部は互いにデータバス１２を介して接続されており、ＣＰＵ１４によって動作制御される。
【００１２】
撮影部１６では、撮影レンズ、メカシャッタ、イメージセンサ等が並べられており、光学的な被写体像を光電変換して画像信号を生成する。画像信号はＡ／Ｄコンバータ１８において画像データにデジタル変換され、ＲＡＭ２０に一時的に記憶される。この画像データは圧縮／伸張部２２においてデータ圧縮された後、カードＩ／Ｆ２４を介してメモリカード２６に記録される。また、ＲＡＭ２０に記憶された画像データはＬＣＤドライバ２８にも送られ、撮影部１６で撮影された画像をＬＣＤパネル３０に表示することができる。
【００１３】
デジタルカメラ１０には、シャッタボタン３２，モード切替ダイヤル３４，再生／一時停止ボタン３６等の操作部が設けられている。シャッタボタン３２の押圧により被写体の撮影が行われて静止画像が生成される。モード切替ダイヤル３４は、静止画撮影モード、動画記録モード、再生モードの間で、デジタルカメラ１０の動作モードを切り替える。再生／一時停止ボタン３６は、再生モードにおいて、選択された静止画像、又は動画像をＬＣＤパネル３０に再生表示したり、再生中の動画像を一時停止するために設けられる。これらのボタンやダイヤルを操作して入力された信号は、Ｉ／Ｏポート３８を介してＣＰＵ１４へと送られ、入力信号に応じた処理が行われる。
【００１４】
動画記録モードでは、撮像部１６と音声入力部４０とが同時に駆動され、動画像と、この動画像に対応する音声とが記録される。撮像部１６では、被写体を連続的に撮影して複数フレームの画像データを生成し、これをＲＡＭ２０に記憶する。動画像の記録が終了すると、メモリ２０内の複数の画像データが圧縮／伸張部２２においてデータ圧縮され、動画像データが生成される。
【００１５】
音声入力部４０は、例えばマイクロホンから構成され、動画記録モードにおいて入力された音声を電気的な音声信号に変換する。音声信号はＡ／Ｄコンバータ４２において音声データへ変換される。音声データは、圧縮／伸張部２２において、動画像データ、及び動画像を構成する各フレーム画像と対応させるための同期情報とともに組み合わされ、動画像ファイルとしてメモリカード２６に記録される。
【００１６】
動画像の再生時には、動画像ファイルが圧縮／伸張部２２において動画像データと音声データに分解される。音声データは、同期情報とともに音声データ処理回路４４に入力される。音声データ処理回路４４では、音声データを解析し、不要なノイズ成分を除去することにより音声データの補正処理を行う。補正された音声データは同期情報とともに音声出力部４６へと送られ、対応するフレーム画像がＬＣＤパネル３０に表示されるのと同じタイミングで、音声として出力される。
【００１７】
画像の再生時には、圧縮／伸張部２２において展開された画像データがフレーム分解部５０を介して画像データ処理回路５２へと送られる。動画像を再生する場合は、フレーム分解部５０において個々のフレーム画像に分解され、フレーム画像を構成する画像データが順次画像データ処理回路５２へ送られる。静止画像を再生する場合は、圧縮／伸張部２２において展開された静止画像データがそのまま画像データ処理回路５２へ送られる。
【００１８】
画像データ処理回路５２では、静止画像、及び動画像を構成する各フレーム画像の補正処理を行い、画像補正されたデータをＬＣＤドライバ２８に出力する。図２に示すように、画像データ処理回路５２は、画像データ解析部５４，画像データ補正部５６，パラメータ決定部５８から構成される。画像データ処理回路５２には、動画像処理モード、静止画像処理モード、一時停止画像処理モードのいずれかを指定する画像処理モード指定信号が入力され、この指定信号を受けて画像処理の動作モードを設定する。
【００１９】
画像データ解析部５４は、各フレーム毎の画像データ又は静止画像データをサンプリングして、画像を構成する全画素のデータを各色毎（Ｒ，Ｇ，Ｂ）に抽出するとともに、輝度補正やホワイトバランス補正に用いられる画像特徴量を算出する。画像データ解析部５４は、各フレームの画像データ又は静止画像データを画像データ補正部５６へと送るとともに、画像特徴量を表すデータをパラメータ補正部５８へ出力する。
【００２０】
輝度補正のための画像特徴量として、平均輝度値が用いられる。例えば、Ｍ₀個（例えば１００個）の画素のサンプリング値を被写体反射率に変換してその平均値を算出し、これを逆変換して平均化サンプリング値を算出する。この手順を繰り返し、Ｍ₀個の画素毎に算出した各エリアの平均化サンプリング値より、平均輝度値を算出する。また、色補正のための画像特徴量として、各色毎のサンプリング平均値が用いられる。例えば、Ｓ₀個（例えば１００個）の画素毎に１個の割合で画素を抽出し、抽出された画素のデータを各色（Ｒ，Ｇ，Ｂ）毎に平均化することで、各色毎のサンプリング平均値を算出する。
【００２１】
パラメータ決定部５８は、輝度パラメータ決定部６０，ホワイトバランス（ＷＢ）パラメータ決定部６２，γ変換パラメータ決定部６４，エッジパラメータ決定部６６，パラメータ補正部６８，メモリ７０等から構成される。パラメータ決定部５８には、静止画像又は各フレーム画像の特徴量データと、画像処理モードを指定する画像処理モード指定信号とが入力される。
【００２２】
輝度パラメータ決定部６０では、静止画像又は各フレーム画像の平均輝度値情報より、輝度補正ためのパラメータ（ゲイン）を決定する。ＷＢパラメータ決定部６２では、静止画像又は各フレーム画像のサンプリング平均値より、ホワイトバランスが適正になるように補正パラメータを決定する。γ変換パラメータ決定部６４では、ＬＣＤパネル３０の特性に基づき、各フレームの画像データに加えるべきパラメータを決定する。また、エッジパラメータ決定部６６では、各フレーム毎に、画像のシャープネスを増加するために加えられるパラメータを決定する。
【００２３】
動画像では、連続するフレーム画像に関連性があり、個々のフレーム画像を静止画像と同様の手段で補正すると、再生される動画像にちらつきが生じる場合がある。このため、動画像の画像補正処理を行う場合は、パラメータ補正部６８においてパラメータの補正が行われる。具体的には、メモリ７０に記憶された過去フレーム（最大３０フレーム分）のパラメータと、補正対象フレームのパラメータとを用い、単純平均を求めることで、対象フレームのパラメータを補正する。このようにすることで、動画像を構成する各フレーム画像が滑らかに変化するようになる。
【００２４】
また、動画像では、連続するフレーム間の輝度が急激に変化する場合（例えば、撮影場面が変化した場合）がある。かかる場合において、場面の異なる過去フレーム画像の情報を用いて対象フレームのパラメータを補正すると、再生される画像の輝度や色合いが不自然に変化することがある。このため、画像データ解析部５４から送られる平均輝度値のデータをメモリ７０に記憶しておき、対象フレームとその直前のフレームとの平均輝度値の差が所定値よりも大きい場合は、場面の変わり目と判断して、過去フレームの補正パラメータを用いないようにする。
【００２５】
画像データ補正部５６では、パラメータ決定部５８から送られる各種パラメータを用い、画像データ解析部５４から送られる画像データに対して、輝度補正、ＷＢ補正、γ変換、エッジ補正などの所定の画像処理を行う。各種補正処理が行われた画像データは、データバス１２を介してＬＣＤドライバ３２へと送られ、動画像又は静止画像がＬＣＤパネル３０に表示される。
【００２６】
以下、上記構成による作用を説明する。図３に示すように、静止画像を再生する場合は、メモリカード２６内の圧縮画像データファイルが圧縮・伸張部２２において展開された後、フレーム分解部５０を介して画像データ処理回路５２に入力される。画像データ解析部５４において静止画像の特徴量が算出され、パラメータ決定部５８において輝度補正、ＷＢ補正、γ変換やエッジ補正に用いられるパラメータが決定される。画像データ補正部５６では、パラメータ決定部から送られる補正用パラメータに基づき、画像データ解析部５４から送られる画像データを補正する。補正された画像データはＬＣＤドライバ３２へと送られ、輝度やホワイトバランス等が適度に補正された静止画像がＬＣＤパネル３０に表示される。
【００２７】
動画像を再生する場合は、図４に示すように、メモリカード２６内の動画像データファイルが圧縮・伸張部２２においてデータ展開され、動画像データと対応する音声データとに分離される。音声データは音声データ処理回路４４に送られてノイズ低減等の処理が行われ、音声出力部４６で音声出力される。動画像データはフレーム分解部５０において各フレーム毎の静止画像に分解され、画像データ処理回路５２に入力される。
【００２８】
画像データ解析部５４において、各フレーム画像の画像特徴量が算出され、パラメータ決定部５８へ送られる。パラメータ決定部５８では、画像データ解析部５４から送られる特徴量データより、輝度補正、ＷＢ補正、γ変換やエッジ補正に用いられるパラメータが決定される。
【００２９】
補正用のパラメータが決定された後、再生／一時停止ボタン３６が押圧操作されているか否か（すなわち、動画再生の一時停止状態であるか）を検出し、一時停止状態にない場合は、図５に示すパラメータ補正処理を行う。すなわち、対象フレームの平均輝度値と直前の平均輝度値とを比較し、その差が予め設定された閾値以上であるか否かを判定する。輝度値の差が閾値以上の場合は、直前フレームの補正後の平均輝度値と対象フレームの平均輝度値との差が閾値になるように、対象フレームの輝度パラメータを補正する。そして、パラメータ補間に用いるフレーム数情報Ｎの値を０にリセットする。なお、対象フレームが動画像の最初のフレームである場合は、過去フレームが存在しないため、輝度パラメータの補正は行われない。
【００３０】
一方、対象フレームとその直前フレームの平均輝度値の差が所定値未満である場合は、フレーム数情報Ｎに１を加算する。そして、対象フレームと過去Ｎフレーム分（最大３０フレーム分）の輝度パラメータの平均値を算出し、得られた値を対象フレームの輝度補正用のパラメータと決定する。
【００３１】
輝度パラメータの補正が終了すると、パラメータ決定部５８において決定された補正用のパラメータが画像データ補正部５６へ送られる。画像データ補正部５６では、画像データ解析部５４から送られる各フレーム画像の輝度・ホワイトバランス補正、γ変換、エッジ補正処理を行い、補正済みの画像データをＬＣＤドライバ３２へ出力する。これにより、画像補正済みの動画像が、ＬＣＤパネル３０に連続表示される。
【００３２】
このように、動画像を再生する場合には、過去のフレーム情報を用いて輝度補正用のパラメータを補間しているから、ちらつきの発生を抑えることができ、動画像を滑らかに表示することができる。また、平均輝度の差が大きい場合は、直前フレームの輝度値の差が所定値以内になるようにパラメータの値を補正しているから、例えば場面が切り替わった場合でも、再生表示される画像が急激に明るくなったり、あるいは急激に暗くなったりするのを防止することができる。
【００３３】
また、動画像の再生中に、再生／一時停止ボタン３６が押圧操作されると、動画像の再生を一時的に中断し、押圧操作された時点で画像処理されたフレーム画像がＬＣＤパネル３０に静止画像として表示される。パラメータ決定部５８は、再生／一時停止ボタン３６が押圧操作された時点で処理を行っているフレーム画像に対し、輝度パラメータの補正処理を行わずにパラメータを決定し、画像データ補正部５６にパラメータを送る。そして、画像データ補正部５６において補正処理されたフレーム画像のデータが、ＬＣＤドライバ３２に出力される。
【００３４】
パラメータ決定部５８において決定される各種パラメータは、静止画像処理に基づき定められたものであり、当該パラメータを用いて画像補正することで、静止画として表示するのに適した画質の画像が生成される。そして、動画像が再生される場合には、複数フレーム画像の情報に基づいてパラメータを補正処理することで、静止画像用の画像処理回路を利用して動画像を滑らかに再生することができる。さらに、動画像の再生を一時停止する場合には、パラメータを補正せずに画像処理を行うことで、静止画像に相当する画質の画像をＬＣＤパネル３０に表示することができる。
【００３５】
動画像の一時停止を解除する場合には、再生／一時停止ボタン３６が再び押圧操作される。すると、再生表示されていた画像より後のフレーム画像が画像処理回路５２に順次入力され、動画像の画像補正処理が再開される。そして、輝度レベルが滑らかに変化するように補正された動画像が、ＬＣＤパネル３０に表示される。
【００３６】
上記実施形態では、動画像の再生時に、輝度補正用のパラメータのみに対して補正処理が行われているが、他のパラメータに関しても同様の補正処理を行ってもよい。
【００３７】
上記実施形態では、連続するフレーム画像の輝度情報を比較して、パラメータ補正に用いる過去フレーム情報をリセットしているが、動画像とともに記録される音声データの変化を利用しても良い。さらに、所定数のフレームを画像処理する毎に、過去フレーム情報をリセットしても良い。
【００３８】
上記実施形態では、各フレーム画像に対して補正用のパラメータを算出しているが、複数のフレーム画像が入力される毎にパラメータを算出しても良い。この場合には、パラメータ算出に要する時間を短縮することができる。
【００３９】
本発明は、静止画像又は動画像をディスプレイに表示して、ユーザによって選択された画像のプリントを行うプリンタ装置に適用することができる。この場合では、動画像の再生中に一時停止を行って、プリントすべき画像をディスプレイに表示して確認するときに、高画質の画像をディスプレイに表示することができる。
【００４０】
【発明の効果】
以上説明したように、本発明によれば、静止画像又は動画像を構成するフレーム画像毎に画像補正のためのパラメータを決定するとともに、動画像が連続表示されているときのみ、過去フレーム画像の情報に基づきパラメータを補正するパラメータ決定部と、パラメータ決定部において決定されたパラメータに基づき、静止画像又はフレーム画像を補正する画像補正部とを備えたから、静止画像処理用の画像補正手段を用いて動画像に適した画像処理を行うことができる。
【００４１】
また、動画像の連続表示を一時停止するときは、前記パラメータの補正を行わないようにしたから、動画像の再生を一時停止した場合には静止画像用の画像処理が行われる。このため、一時停止時にディスプレイに表示される画像の画質を向上することができる。
【００４２】
また、輝度補正用パラメータを過去フレーム画像の情報として用い、複数の輝度補正用パラメータを用いて対象フレーム画像のパラメータ補正を行うようにしたから、画像処理後の動画像に輝度のばらつきが生じるのを防止することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置を備えたデジタルカメラの構成を示すブロック図である。
【図２】画像データ処理回路の構成を示すブロック図である。
【図３】静止画像の画像処理手順を示すフローチャートである。
【図４】動画像の画像処理手順を示すフローチャートである。
【図５】パラメータ補正処理の手順を示すフローチャートである。
【符号の説明】
１０デジタルカメラ
２６メモリカード
３０ＬＣＤパネル
３６再生／一時停止ボタン
５２画像データ処理回路
５４画像データ解析部
５６画像データ補正部
５８パラメータ決定部

Claims

静止画像、あるいは複数のフレーム画像を有する動画像の画像補正処理を行い、補正処理後の前記静止画像又は前記動画像をディスプレイに表示する画像表示装置において、
前記静止画像又は前記フレーム画像毎に画像補正のためのパラメータを決定するとともに、前記動画像が連続表示されているときのみ、過去フレーム画像の情報に基づき前記パラメータを補正するパラメータ決定部と、
前記パラメータ決定部において決定された前記パラメータに基づき、前記静止画像又は前記フレーム画像を補正する画像補正部と、を備えたことを特徴とする画像表示装置。
前記パラメータ決定部は、前記動画像の連続表示を一時停止するときは、前記パラメータの補正を行わないことを特徴とする請求項１記載の画像表示装置。
前記過去フレーム画像の情報は輝度補正用パラメータであり、前記パラメータ決定部は、複数の前記輝度補正用パラメータを用いて前記パラメータを補正することを特徴とする、請求項１記載の画像表示装置。
前記フレーム画像の平均輝度を示す情報を算出して前記パラメータ決定部に送るとともに、個々の前記フレーム画像を前記画像補正部に出力する画像データ解析部を有することを特徴とする、請求項３記載の画像表示装置。
静止画像、あるいは複数のフレーム画像を有する動画像の画像補正処理を行い、補正処理後の前記前記静止画像又は前記動画像をディスプレイに表示する画像表示方法において、
前記静止画像又は前記フレーム画像毎に決定された画像補正用のパラメータに基づき、前記静止画像又は前記フレーム画像を補正するとともに、前記動画像が連続表示されているときのみ、過去フレーム画像の情報に基づき前記パラメータを補正することを特徴とする画像表示方法。
前記動画像の連続表示を一時停止するときは、前記パラメータの補正を行わないことを特徴とする請求項５記載の画像表示方法。
前記過去フレーム画像の情報は輝度補正用パラメータであり、複数の前記輝度補正用パラメータを用いて前記パラメータを補正することを特徴とする、請求項５記載の画像表示方法。