JP4451889B2 - 画像処理装置、プログラム、及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、プログラム、画像処理方法、及び動画像の生産方法に関する。特に本発明は、複数のフレーム画像を有する動画像の補正処理を行う画像処理装置、プログラム、画像処理方法、及び動画像の生産方法に関する。

従来、ユーザは、手動でガンマ補正等のパラメータを設定して、動画像の画像処理を行っていた。

動画像は、それぞれのフレーム画像が異なる内容を表示しているので、ユーザが、それぞれのフレーム画像に的確なパラメータを設定するのは、困難である。

そこで本発明は、上記の課題を解決することができる画像処理装置、プログラム、画像処理方法、及び動画像の生産方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

即ち、本発明の第１の形態によると、複数のフレーム画像を有する動画像の補正処理を行う画像処理装置であって、フレーム画像毎に画像処理のための補正値を決定する補正値決定部と、補正値決定部が決定した補正値に基づいて、フレーム画像毎に動画像を補正する補正部と
を備える。

補正値決定部は、複数のフレーム画像毎に一の補正値を決定し、補正部は、補正値決定部が決定した補正値に基づいて、フレーム画像毎に画像を補正してもよい。

補正値決定部は、複数のフレーム画像のうち、予め定められたフレーム数毎に補正値を決定し、補正部は、補正値決定部が決定した補正値に基づいて、フレーム画像毎に画像を補正してもよい。

補正値決定部は、複数のフレーム画像のうち、一定間隔おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定してもよい。

補正値決定部は、複数のフレーム画像のうち、一定時間おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定時間をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定してもよい。

補正値決定部は、複数のフレーム画像のうち、一定のフレーム数おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定のフレーム数をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定してもよい。

補正値決定部は、一のフレーム画像と他のフレーム画像との間にある複数のフレーム画像の補正値を、一のフレーム画像から他のフレーム画像に近づくにつれて、一のフレーム画像の補正値から他のフレーム画像の補正値に、段階的に近づけていってもよい。

動画像の場面の変わり目を検出する検出部をさらに備え、補正値決定部は、検出部が検出した場面の変わり目の、直後のフレーム画像の補正値を、一のフレーム画像の補正値として決定し、決定した一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定してもよい。

動画像の場面の変わり目を検出する検出部をさらに備え、補正値決定部は、検出部が検出した場面の変わり目に基づいて、場面毎に補正値を決定してもよい。

検出部は、一のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分と、一のフレーム画像の直前のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分とのそれぞれの色成分の変化量のうち、少なくとも一の色成分の変化量が、予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断してもよい。

色成分はＣ（シアン）成分、Ｍ（マゼンダ）成分、及びＹ（黄）成分であってもよい。また色成分は、Ｒ（赤）、Ｇ（緑）、及びＢ（青）成分であってもよい。また色成分は、ＣＩＥ表色系、ＬＡＢ表色系における明度（Ｌ^＊）、彩度（Ｃａｂ^＊）、色相（Ｈａｂ^＊）であってもよい。

動画像は、撮像装置によって撮影された被写体の画像であって、検出部は、一のフレーム画像の被写体から撮像装置までの距離と、一のフレーム画像の直前のフレーム画像の被写体から撮像装置までの距離との変化量が、予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断してもよい。

フレーム画像に関する付随情報をフレーム画像毎に取得する付随情報取得部をさらに備え、補正値決定部は、付随情報取得部が取得した付随情報に基づいて補正値を決定してもよい。

付随情報取得部は、フレーム画像の撮影時刻を示す情報を付随情報としてフレーム画像毎に取得してもよい。付随情報取得部は、フレーム画像の撮影場所を示す情報を付随情報としてフレーム画像毎に取得してもよい。

動画像は、撮像装置によって撮影された被写体の画像であって、付随情報取得部は、フレーム画像の被写体から撮像装置までの距離を示す情報を付随情報としてフレーム画像毎に取得してもよい。

動画像は、撮像装置によって撮影された被写体の画像であって、付随情報取得部は、フレーム画像の被写体の輝度を示す情報を付随情報としてフレーム画像毎に取得してもよい。

動画像は、音声情報をさらに有し、音声情報を取得する音声情報取得部と、音声情報に含まれる音源を解析する音声情報解析部とをさらに備え、補正値決定部は、音声情報解析部が解析した音源を示す情報に基づいて補正値を決定してもよい。

補正値決定部は、フレーム画像毎にホワイトバランスの補正のための補正値を決定し、補正部は、補正値に基づいて、フレーム画像毎に動画像のホワイトバランスを補正してもよい。

補正値決定部は、フレーム画像毎にガンマ補正のための補正値を決定し、補正部は、補正値に基づいて、フレーム画像毎に動画像をガンマ補正してもよい。補正値決定部は、フレーム画像毎に明度の補正のための補正値を決定し、補正部は、補正値に基づいて、フレーム画像毎に動画像の明度を補正してもよい。

補正値決定部は、フレーム画像毎にエッジ強調のための補正値を決定し、補正部は、補正値に基づいて、フレーム画像毎に動画像のエッジ強調を行ってもよい。

本発明の第２の形態によると、複数のフレーム画像を有する動画像の補正処理を行うコンピュータ用のプログラムであって、フレーム画像毎に画像処理のための補正値を決定させる補正値決定モジュールと、決定させた補正値に基づいて、フレーム画像毎に動画像を補正させる補正モジュールとを備える。

補正値決定モジュールは、複数のフレーム画像毎に一の補正値を決定させ、補正モジュールは、補正値決定モジュールが決定させた補正値に基づいて、フレーム画像毎に画像を補正してもよい。

補正値決定モジュールは、複数のフレーム画像のうち、予め定められたフレーム数毎に補正値を決定させ、補正モジュールは、補正値決定モジュールが決定させた補正値に基づいて、フレーム画像毎に画像を補正させてもよい。

補正値決定モジュールは、複数のフレーム数のうち、一定間隔おきにフレーム画像の補正値を決定させ、決定させた一のフレーム画像の補正値と、一定時間をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定させてもよい。

補正値決定モジュールは、複数のフレーム数のうち、一定時間おきにフレーム画像の補正値を決定させ、決定させた一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定させてもよい。

補正値決定モジュールは、複数のフレーム数のうち、一定のフレーム数おきにフレーム画像の補正値を決定させ、決定させた一のフレーム画像の補正値と、一定のフレーム数をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定させてもよい。

補正値決定モジュールは、一のフレーム画像と他のフレーム画像との間にある複数のフレーム画像の補正値を、一のフレーム画像から他のフレーム画像に近づくにつれて、一のフレーム画像の補正値から他のフレーム画像の補正値に、段階的に近づけていってもよい。

動画像の場面の変わり目を検出させる検出モジュールをさらに備え、補正値決定モジュールは、検出モジュールが検出させた場面の変わり目の、直後のフレーム画像の補正値を、一のフレーム画像の補正値として決定させ、決定した一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定させてもよい。

動画像の場面の変わり目を検出させる検出モジュールをさらに備え、補正値決定モジュールは、検出モジュールが検出させた場面の変わり目に基づいて、場面毎に補正値を決定させてもよい。

検出モジュールは、一のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分と、一のフレーム画像の直前のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分とのそれぞれの色成分の変化量のうち、少なくとも一の色成分の変化量が、予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断させてもよい。

色成分はＣ（シアン）成分、Ｍ（マゼンダ）成分、及びＹ（黄）成分であってもよい。また色成分は、Ｒ（赤）、Ｇ（緑）、及びＢ（青）成分であってもよい。また色成分は、ＣＩＥ表色系、ＬＡＢ表色系における明度（Ｌ^＊）、彩度（Ｃａｂ^＊）、色相（Ｈａｂ^＊）であってもよい。

動画像は、撮像装置によって撮影された被写体の画像であって、検出モジュールは、一のフレーム画像の被写体から撮像装置までの距離と、一のフレーム画像の直前のフレーム画像の被写体から撮像装置までの距離との変化量が、予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断させてもよい。

フレーム画像に関する付随情報をフレーム画像毎に取得させる付随情報取得モジュールをさらに備え、補正値決定モジュールは、付随情報取得モジュールが取得させた付随情報に基づいて補正値を決定してもよい。

付随情報取得モジュールは、フレーム画像の撮影時刻を示す情報を付随情報としてフレーム画像毎に取得させてもよい。

付随情報取得モジュールは、フレーム画像の撮影場所を示す情報を付随情報としてフレーム画像毎に取得させてもよい。

動画像は、撮像装置によって撮影された被写体の画像であって、付随情報取得モジュールは、フレーム画像の被写体から撮像装置までの距離を示す情報を付随情報としてフレーム画像毎に取得させてもよい。

動画像は、撮像装置によって撮影された被写体の画像であって、付随情報取得モジュールは、フレーム画像の被写体の輝度を示す情報を付随情報としてフレーム画像毎に取得させてもよい。

動画像は、音声情報をさらに有し、音声情報を取得させる音声情報取得モジュールと、音声情報に含まれる音源を解析させる音声情報解析モジュールとをさらに備え、補正値決定モジュールは、音声情報解析モジュールが解析した音源を示す情報に基づいて補正値を決定させてもよい。

補正値決定モジュールは、フレーム画像毎にホワイトバランスの補正のための補正値を決定させ、補正モジュールは、補正値に基づいて、フレーム画像毎に動画像のホワイトバランスを補正させてもよい。

補正値決定モジュールは、フレーム画像毎にガンマ補正のための補正値を決定し、補正モジュールは、補正値に基づいて、フレーム画像毎に動画像をガンマ補正してもよい。

補正値決定モジュールは、フレーム画像毎に明度の補正のための補正値を決定させ、補正モジュールは、補正値に基づいて、フレーム画像毎に動画像の明度を補正させてもよい。

補正値決定モジュールは、フレーム画像毎にエッジ強調のための補正値を決定させ、補正モジュールは、補正値に基づいて、フレーム画像毎に動画像のエッジ強調を行わせてもよい。

本発明の第３の形態によると、複数のフレーム画像を有する動画像の補正処理を行う画像処理方法であって、フレーム画像毎に画像処理のための補正値を決定し、決定した補正値に基づいて、フレーム画像毎に動画像を補正する。

本発明の第４の形態によると、複数のフレーム画像を有する動画像の生産方法であって、動画像を取得して、取得した動画像が有するフレーム画像毎に補正値を決定し、決定した補正値に基づいて、フレーム画像毎に動画像を補正する。

本発明の第５の形態によると、動画像に含まれるフレーム画像を印刷する印刷装置であって、フレーム画像を取得する画像取得部と、動画像の画像処理に用いる補正値を決定する画像処理装置から、フレーム画像の補正値に関する情報を受信する受信部と、受信部が受信した補正値に関する情報に基づいて、当該印刷装置で用いる補正値に関する情報を算出する補正値算出部と、補正値算出部が算出した補正値に関する情報に基づいて、フレーム画像を補正する補正部とを備える。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、発明の詳細な説明に記載の「プリンタ」は、特許請求の範囲に記載の「プリンタ」である。また発明の詳細な説明に記載の「補正値算出部」は、特許請求の範囲に記載の「補正値対応表作成部」である。

図１は、本実施の形態に係る画像処理装置の機能構成を示すブロック図である。本画像処理装置は、複数のフレーム画像を有する動画像の補正処理を、フレーム画像毎に行う。画像処理装置１０は、補正処理を行った動画像を表示装置１５０に送信する。表示装置１５０は、画像処理装置１０から受け取った動画像を表示する。また画像処理装置１０は、動画像の補正に関する情報をプリンタ２０に送信する。プリンタ２０は、画像処理装置１０から受信した補正に関する情報に基づいて、動画像を補正して、印刷する。

画像処理装置１０は、音声情報取得部１００と、動画像取得部１０２と、音声データベース１０５と、音声情報解析部１０６と、画像処理部１０７と、フレーム分解部１０８と、補正値決定部１１０と、入力部１１５と、検出部１２０と、補正部１３０と、再構成部１４０と、付随情報取得部１６０とを備える。音声データベース１０５は、音声データ毎に補正に関する補正情報を格納する。

動画像取得部１０２は、複数のフレーム画像を有する動画像を取得し、画像処理部１０７に送る。画像処理部１０７は、受け取った動画像のインターレース補正及び高画質化処理を行う。インターレース補正とは、１走査線置きに表示されているテレビ方式の動画像において、走査線と走査線の間の画素値を算出して補完する補正処理である。高画質化処理とは、圧縮等によって生じる画質劣化を補完する補正処理である。画像処理部１０７は、インターレース補正及び高画質化処理を行った動画像をフレーム分解部１０８に送る。フレーム分解部１０８は、受け取った動画像をフレーム画像毎に分解する。またフレーム分解部１０８は、フレーム画像のデータ形式を、ＲＧＢデータから標準化されたＣＭＹデータ（濃度値）に変換する。次にフレーム分解部１０８は、分解したフレーム画像を検出部１２０に送る。またフレーム分解部１０８は、フレーム画像に関連する情報である、フレーム画像に付随する付随情報を付随情報取得部１６０に送る。付随情報取得部１６０は、フレーム分解部１０８から受け取った付随情報を補正値決定部１１０に送る。

音声情報取得部１００は、動画像が有する音声情報を、対応するフレーム画像を識別する同期情報とともに取得し、音声情報解析部１０６に送る。音声情報解析部１０６は、音声情報に含まれる音源を解析する。具体的には、音声情報解析部１０６は、音声情報を解析し、音声データベース１０５に格納されている音声データと同一または類似した音源を音声情報が含むか否かを判断する。ここで音声データベース１０５に格納されている音声データとは、例えば人の声や、波、川のせせらぎ等の音声である。本実施の形態では、人の声を用いて説明する。音声情報解析部１０６は、音声データベース１０５に格納されている音声データと同一または類似した音源を音声情報が含む場合に、音声データに対応する補正情報を音声データベース１０５から抽出する。また音声情報解析部１０６は、音声データベース１０５に格納されている音声データと同一または類似した音源を音声情報が含む旨を示す人声情報と補正情報を、同期情報とともに補正値決定部１１０に送る。

検出部１２０は、フレーム分解部１０８から受け取ったフレーム画像を解析し、動画における場面の変わり目を検出する。検出部１２０は、検出した場面の変わり目の直後のフレーム画像を識別する変わり目識別情報を、場面の変わり目の直後のフレーム画像に添付する。次に検出部１２０は、変わり目識別情報を添付したフレーム画像と、フレーム分解部１０８から受け取った、変わり目識別情報を添付したフレーム画像以外のフレーム画像とを補正値決定部１１０に送る。

補正値決定部１１０は、検出部１２０から受け取ったフレーム画像と、音声情報解析部１０６から受け取った人声情報、補正情報及び同期情報と、付随情報取得部１６０から受け取った付随情報とに基づいて、フレーム画像毎に補正値を決定する。次に補正値決定部１１０は、決定した補正値を、検出部１２０から受け取ったフレーム画像とともに補正部１３０に送る。また補正値決定部１１０は、決定した補正値をプリンタ２０に送信する。

補正部１３０は、補正値決定部１１０から受け取ったフレーム画像を、補正値決定部１１０から受け取った補正値に基づいて、フレーム画像毎に補正する。また補正部１３０は、フレーム画像のデータ形式を、ＣＭＹデータから、複数の機種に共通の標準ＲＧＢデータに変換する。補正部１３０は、補正したフレーム画像を再構成部１４０に送る。

再構成部１４０は、補正部１３０から受け取ったフレーム画像と、音声情報取得部１００から受け取った音声情報を合成して、動画を再構成する。さらに再構成部１４０は、再構成した動画の音声情報のノイズ処理等を行う。次に再構成部１４０は、再構成した動画像を表示装置１５０に送る。表示装置１５０は、再構成部１４０から受け取った動画像を表示する。入力部１１５は、表示装置１５０が表示した動画像に対する補正に関する入力情報をユーザから受け付ける。補正部１３０は、入力情報に基づいて、動画像を補正する。

図２は、プリンタ２０の機能構成の一例を示すブロック図である。プリンタ２０は、画像取得部２０１と、フレーム分解部２０２と、縮小処理部２０４と、受信部２０５と、補正値対応表作成部２０６と、補正部２０８と、拡大処理部２１０と、アンシャープマスク処理部２１２と、出力処理部２１４と、印刷部２１６とを備える。

画像取得部２０１は、複数のフレーム画像を有する動画像を取得し、フレーム分解部２０２に送る。フレーム分解部２０２は、受け取った動画像をフレーム画像毎に分解する。フレーム分解部２０２は、分解したフレーム画像を縮小処理部２０４に送る。縮小処理部２０４は、受け取ったフレーム画像が、当該プリンタ２０に適した大きさより大きい場合に、フレーム画像を間引いて縮小し、補正部２０８に送り、当該プリンタ２０に適した大きさと同じ、または小さい場合には、フレーム画像をそのまま補正部２０８に送る。

受信部２０５は、画像処理装置１０の補正値決定部１１０から補正値を受信し、補正値対応表作成部２０６に送る。補正値対応表作成部２０６は、受け取った補正値に基づいて、カラールックアップテーブルを作成する。カラールックアップテーブルは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）に対応した値を保持する。補正値対応表作成部２０６は、作成したカラールックアップテーブルを補正部２０８に送る。

補正部２０８は、補正値対応表作成部２０６から受け取ったカラールックアップテーブルに基づいて、縮小処理部２０４から受け取ったフレーム画像を補正する。また補正部２０８は、縮小処理部２０４から受け取ったフレーム画像のデータ形式を、ＲＧＢデータから複数の機種に共通のデータ形式である標準ＲＧＢデータに変換する。補正部２０８は、補正したフレーム画像を拡大処理部２１０に送る。拡大処理部２１０は、受け取ったフレーム画像が、当該プリンタ２０に適した大きさより小さい場合には、フレーム画像を拡大し、大きい場合にはそのままフレーム画像をアンシャープマスク処理部２１２に送る。アンシャープマスク処理部２１２は、受け取ったフレーム画像のアンシャープマスク処理を行い、出力処理部２１４に送る。出力処理部２１４は、標準ＲＧＢデータのフレーム画像を、プリンタ固有のデータに変換して、印刷部２１６に送る。印刷部２１６は、受け取ったフレーム画像を印刷する。

本実施の形態に係るプリンタ２０は、画像取得部２０１が動画像を取得しているが、これに代えて他の例としては、受信部２０５が画像処理装置１０からフレーム画像を受信してもよい。

図３は、補正値決定部１１０の詳細な機能構成を示すブロック図である。補正値決定部１１０は、明度補正値決定部１１２と、ホワイトバランス補正値決定部１１４と、ガンマ補正値決定部１１６と、エッジ強調補正値決定部１１８とを有する。

明度補正値決定部１１２は、フレーム画像毎に明度の補正値を決定する。ホワイトバランス補正値決定部１１４は、フレーム画像毎にホワイトバランスの補正値を決定する。ガンマ補正値決定部１１６は、フレーム画像毎にガンマ補正の補正値を決定する。エッジ強調補正値決定部１１８は、フレーム画像毎にエッジ強調の補正値を決定する。

図４は、補正部１３０の詳細な機能構成を示すブロック図である。補正部１３０は、明度補正部１３２と、ホワイトバランス補正部１３４と、ガンマ補正部１３６と、エッジ強調補正部１３８とを有する。

明度補正部１３２は、明度補正値決定部１１２が決定した補正値に基づいて、フレーム画像の明度を補正する。ホワイトバランス補正部１３４は、ホワイトバランス補正値決定部１１４が決定した補正値に基づいて、フレーム画像のホワイトバランスを補正する。ガンマ補正部１３６は、ガンマ補正値決定部１１６が決定した補正値に基づいて、フレーム画像のガンマ補正を行う。エッジ強調補正部１３８は、エッジ強調補正値決定部１１８が決定した補正値に基づいて、フレーム画像のエッジ強調の補正を行う。

図５は、フレーム分解部１０８が分解したフレーム画像のデータフォーマットの一例を示す。フレーム画像は、付随情報１６２と画像データ１６４とを有する。ここでフレーム画像は、例えば撮像装置によって、撮像された被写体の画像である。付随情報１６２は、撮像装置から被写体までの距離を示す距離情報、撮影時刻を示す時刻情報、撮影位置を示す位置情報、及び被写体の輝度を示す輝度情報を含む。また画像データ１６４は、画像を示すデータである。

補正値決定部１１０は、付随情報１６２に含まれる距離情報、時刻情報、位置情報、輝度情報の少なくとも１つの情報に基づいて、補正値を決定する。例えば距離情報が大きい場合は、風景シーンであると想定し、ガンマ補正値決定部１１６は、ガンマをアップする補正値を決定する。

図６は、本実施の形態に係る画像処理装置１０の動作の一例を示すフローチャートである。まず動画像取得部１０２は、複数のフレーム画像を有する動画像を取得する（Ｓ１００）。次に画像処理部１０７は、動画像取得部１０２が取得した動画像のインターレース補正及び高画質化処理を行う（Ｓ１０１）。次にフレーム分解部１０８は、画像処理部１０７がインターレース補正及び高画質化処理を行った動画像をフレーム画像毎に分解する（Ｓ１０２）。そして付随情報取得部１６０は、フレーム分解部１０８が分解したフレーム画像に付随する付随情報を取得する（Ｓ１０４）。

次に音声情報取得部１００は、動画像が有する音声情報を取得する（Ｓ１０６）。次に音声情報解析部１０６は、音声情報に含まれる音源を解析する（Ｓ１０８）。具体的には、音声情報解析部１０６は、音声情報から人の声を示す人声情報及び人声情報に対応する補正情報を抽出する。

次に検出部１２０は、フレーム分解部１０８が動画像を分解して生成したフレーム画像を解析し、動画における場面の変わり目を検出する（Ｓ１１０）。具体的には、検出部１２０は、一のフレーム画像の色を表す３つの信号（以下、３色信号）と、一のフレーム画像の直前のフレーム画像の３色信号との変化量のうち、少なくとも１つの変化量が予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断する。例えば３色信号の色成分としてＣＭＹデータの他にＲＧＢデータ、ＲＧＢデータを変換して求められるＣＩＥ表色系、ＬＡＢ表色系における明度（Ｌ^＊）、彩度（Ｃａｂ^＊）、色相（Ｈａｂ^＊）であってもよい。

次に補正値決定部１１０は、付随情報取得部１６０が取得した付随情報と、フレーム分解部１０８が分解したフレーム画像と、検出部１２０が検出した場面の変わり目と、音声情報解析部１０６が音声情報から抽出した人声情報、及び人声情報に対応する補正情報とを用いて、補正値を決定する（Ｓ１１２）。

次に補正部１３０は、補正値決定部１１０が決定した補正値に基づいてフレーム画像を補正する（Ｓ１１４）。次に再構成部１４０は、補正部１３０が補正したフレーム画像を再構成して動画像を生成する（Ｓ１１６）。

図７は、図６のＳ１１０における画像処理装置１０の詳細な動作の一例を示すフローチャートである。まず検出部１２０は、フレーム分解部１０８が分解したフレーム画像が、動画像において最初のフレーム画像か否かを判断する（Ｓ２００）。検出部１２０は、フレーム分解部１０８が分解したフレーム画像が、動画像において最初のフレーム画像ではないと判断した場合に、フレーム画像中のＣ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）それぞれの平均値を算出する（Ｓ２０２）。次に検出部１２０は、平均値を算出したフレーム画像の直前のフレーム画像のＣ、Ｍ、Ｙそれぞれの平均値を算出する（Ｓ２０４）。

次に検出部１２０は、Ｓ２０２で算出したＣ、Ｍ、Ｙそれぞれの平均値と、Ｓ２０４で算出したＣ、Ｍ、Ｙそれぞれの平均値との差を算出する。検出部１２０は、Ｃ、Ｍ、Ｙそれぞれの平均値の差が所定値以下の場合に、Ｓ２０８に進む。一方検出部１２０は、Ｃ、Ｍ、Ｙそれぞれの平均値の差が所定値より大きい場合に、フレーム画像と直前のフレーム画像との間が場面の変わり目であると判断し、Ｓ２１４にジャンプする（Ｓ２０６）。一のフレーム画像におけるＣの平均値をＣ_ｘ、Ｍの平均値をＭ_ｘ、Ｙの平均値をＹ_ｘ、直前のフレーム画像におけるＣの平均値をＣ_ｘ-１、Ｍの平均値をＭ_ｘ-１、Ｙの平均値をＹ_ｘ-１、予め定められた値をそれぞれＣ_ｔ、Ｍ_ｔ、Ｙ_ｔとして、以下の式のうち、いずれか１式を満たす場合に、場面の変わり目とする。
ΔＣ＝Ｃ_ｘ−Ｃ_ｘ-１＞Ｃ_ｔ
ΔＭ＝Ｍ_ｘ−Ｍ_ｘ-１＞Ｍ_ｔ
ΔＹ＝Ｙ_ｘ−Ｙ_ｘ-１＞Ｙ_ｔ

本実施の形態に係る検出部１２０は、Ｃ、Ｍ、Ｙそれぞれの平均値を用いて場面の変わり目を検出しているが、これに代えてフレーム画像のデータがＲ、Ｇ、Ｂの場合には、Ｒ、Ｇ、Ｂそれぞれの平均値を用いて場面の変わり目を検出してもよい。

次に補正値決定部１１０は、フレーム画像に対応する音声情報に人の声が含まれているか否かを判断する（Ｓ２０８）。補正値決定部１１０は、フレーム画像に対応する音声情報に人の声が含まれていると判断した場合に、変数Ｚ（初期値Ｚ＝０）に１をたす（Ｓ２１８）。次に補正値決定部１１０は、Ｚが第２の所定値に達した場合（Ｓ２２０）に、フレーム画像が補正値を算出すべきフレーム画像であると判断する（Ｓ２２２）。次にＹ及びＺを初期値０に戻す（Ｓ２２４）。一方、Ｓ２２０において補正値決定部１１０は、Ｚが第２の所定値に達していない場合に、図６のＳ１１０における動作を終了する。

一方、補正値決定部１１０は、フレーム画像に対応する音声情報に人の声が含まれていないと判断した場合に、変数Ｙ（初期値Ｙ＝０）に１をたす（Ｓ２１０）。次に補正値決定部１１０は、第２の所定値より大きい値である第１の所定値にＹが達した場合（Ｓ２１２）に、フレーム画像が補正値を算出すべきフレーム画像であると判断する（Ｓ２１４）。次にＹ及びＺを初期値０に戻す（Ｓ２１６）。画像処理装置１０は、動画像に含まれるすべてのフレーム画像を処理するまで、Ｓ２００からＳ２２４の動作を繰り返す（Ｓ２２６）。

またＳ２００において検出部１２０は、フレーム分解部１０８が分解したフレーム画像が、動画像において最初のフレーム画像であると判断した場合に、Ｓ２１４にジャンプする。

このように画像処理装置１０は、場面の変わり目を検出することができる。一般に場面の変わり目において、画像処理に用いる補正値は大きく変化する。そこで、場面の変わり目を検出することにより、画像処理装置１０は、補正値が大きく変わると想定されるフレーム画像を、選択することができる。

また画像処理装置１０は、予め定められた間隔おきにフレーム画像を選択し、補正値を決定することができる。これにより、画像処理装置１０は、全フレーム画像の補正値を算出する場合と比較して、動作を簡略化することができる。ここで画像処理装置１０は、一定フレーム数おきに補正値を算出するフレーム画像を選択しているが、これに代えて他の例としては、一定時間おきに補正値を算出するフレーム画像を選択してもよい。

また画像処理装置１０は、人の声が含まれる音声情報に対応したフレーム画像を選択することができる。さらに画像処理装置１０は、人の声が含まれる音声情報に対応した動画像に施す処理と、人の声が含まれない音声情報に対応した動画像に施す処理とを異ならせている。具体的には、画像処理装置１０は、動画像に人の声が含まれている音声情報が対応する場合に、人の声が含まれない音声情報が対応する動画像と比較して、補正値を算出するフレーム画像を、より狭い間隔おきに選択している。人の声が含まれる音声情報に対応した動画像は、一般に被写体に人が含まれる可能性がある。そこで画像処理装置１０は、人が含まれる可能性のある動画像を、より頻繁に補正値を算出することにより、的確な補正を行うことができる。

図８は、図６のＳ１１２における画像処理装置１０の詳細な動作の一例を示すフローチャートである。まず補正値決定部１１０は、補正値を算出すべきフレーム画像か否かを判断する（Ｓ３００）。次に補正値決定部１１０は、補正値を算出すべきフレーム画像であると判断した場合に、補正値を算出すべきフレーム画像を含む複数のフレーム画像を解析する（Ｓ３０８）。ここで補正値決定部１１０は、補正値を算出すべきフレーム画像の前後のフレーム画像と、補正値を算出すべきフレーム画像に対し、複数フレーム画像全体、フレーム画像毎のＣＭＹ濃度の平均値、特定の濃度域を有する面積の比率等の画像の特徴を表すデータ（以下、特徴データ）を算出する。

次に補正値決定部１１０は、付随情報、補正情報に加えて、算出した特徴データに基づいて、補正値を決定する（Ｓ３１０）。

次に補正値決定部１１０は、算出した補正値を、前に算出した補正値と後に算出した補正値とを用いて修正する（Ｓ３１２）。例えば補正値決定部１１０は、算出した補正値をＡ_ｘ、前に算出した補正値をＡ_ｘ−１、後に算出した補正値をＡ_ｘ＋１とすると、
Ａ_ｘ'＝（Ａ_ｘ−１＋２Ａ_ｘ＋Ａ_ｘ＋１）／４
という式を用いて、補正値Ａ_ｘをＡ_ｘ'に修正する。

一方補正値決定部１１０は、補正値を算出すべきフレーム画像ではないと判断した場合に、フレーム画像の直後に場面の変わり目があるか否かを判断する（Ｓ３０２）。次に補正値決定部１１０は、フレーム画像の直後に場面の変わり目があると判断した場合に、直前に算出したフレーム画像の補正値を適用する（Ｓ３０６）。

Ｓ３０２において、補正値決定部１１０は、フレーム画像の直後に場面の変わり目がないと判断した場合に、直前に算出したフレーム画像の補正値と、直後に算出したフレーム画像の補正値とを用いて、補正値を決定する（Ｓ３０４）。また補正値決定部１１０は、フレーム画像の直後のみではなく、フレーム画像から所定の範囲内に場面の変わり目がないと判断した場合に、直前に算出したフレーム画像の補正値と、直後に算出したフレーム画像の補正値とを用いて、補正値を決定してもよい。

このように画像処理装置１０は、直前に算出した補正値と、直後に算出した補正値とを用いて、フレーム画像の補正値を算出することができる。また画像処理装置１０は、直後に場面の変わり目がある場合には、直前の補正値を、フレーム画像の補正値として適用することができる。

図９は、画像処理装置１０のハードウェア構成を示すブロック図である。画像処理装置１０は、ＣＰＵ７００と、ＲＯＭ７０２と、ＲＡＭ７０４と、通信インターフェース７０６とを備える。ＣＰＵ７００は、ＲＯＭ７０２及びＲＡＭ７０４に格納されたプログラムに基づいて動作する。通信インターフェース７０６は、ネットワーク１０を介して外部と通信する。格納装置の一例としてのハードディスクドライブ７１０は、設定情報及びＣＰＵ７００が動作するプログラムを格納する。

フロッピーディスクドライブ７１２はフロッピーディスク７１４からデータまたはプログラムを読み取りＣＰＵ７００に提供する。ＣＤ−ＲＯＭドライブ７１６はＣＤ−ＲＯＭ７１８からデータまたはプログラムを読み取りＣＰＵ７００に提供する。通信インターフェース７０６は、動画像データを送受信する。

ＣＰＵ７００が実行するソフトウエアは、フロッピーディスク７１４またはＣＤ−ＲＯＭ７１８等の記録媒体に格納されて利用者に提供される。記録媒体に格納されたソフトウエアは圧縮されていても非圧縮であっても良い。ソフトウエアは記録媒体からハードディスクドライブ７１０にインストールされ、ＲＡＭ７０４に読み出されてＣＰＵ７００により実行される。

記録媒体に格納されて提供されるソフトウエア、即ちハードディスクドライブ７１０にインストールされるソフトウエアは、機能構成として、音声情報取得モジュール、動画像取得モジュール、付随情報取得モジュール、音声情報解析モジュール、フレーム分解モジュール、補正値決定モジュール、再構成モジュール、検出モジュール、及び補正モジュールを備える。これらの各モジュールがコンピュータに働きかけて、ＣＰＵ７００に行わせる処理は、それぞれ本実施の形態における画像処理装置１０における、対応する部材の機能及び動作と同一であるから説明を省略する。

図９に示した、記録媒体の一例としてのフロッピーディスク７１４またはＣＤ−ＲＯＭ７１８には、本出願で説明する全ての実施形態における画像処理装置１０の動作の一部または全ての機能を格納することができる。

これらのプログラムは記録媒体から直接ＲＡＭに読み出されて実行されても、一旦ハードディスクドライブにインストールされた後にＲＡＭに読み出されて実行されても良い。更に、上記プログラムは単一の記録媒体に格納されても複数の記録媒体に格納されても良い。また記録媒体に格納されるモジュールは、オペレーティングシステムとの共同によってそれぞれの機能を提供してもよい。例えば機能の一部または全部を行うことをオペレーティングシステムに依頼し、オペレーティングシステムからの応答に基づいて機能を提供するものであってもよい。

以上に示したプログラムまたはモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フロッピーディスク、ＣＤ−ＲＯＭの他にも、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアーカードなどの半導体メモリ等を用いることができる。又、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の格納装置を記録媒体として使用し、通信網を介してプログラムを画像処理装置１０に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。

例えば、本実施の形態に係る画像処理装置１０は、フレーム画像に含まれる色度を用いて、場面の変わり目を判断しているが、これに代えて他の例としては、画像処理装置１０は、被写体から撮像装置までの距離や撮影日時の変化量が、予め定められた値より大きい場合に、場面の変わり目であると判断してもよい。この場合、画像処理装置１０の付随情報取得部１６０は、距離情報または時刻情報を付随情報として取得し、取得した距離情報または時刻情報を検出部１２０に送る。検出部１２０は、受け取った距離情報または時刻情報に基づいて場面の変わり目を判断する。

その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

上記説明から明らかなように、本発明によれば動画像のそれぞれのフレーム画像に適した補正値を決定することができる。

本実施の形態に係る画像処理装置の機能構成を示すブロック図である。 プリンタ２０の機能構成の一例を示すブロック図である。 補正値決定部１１０の詳細な機能構成を示すブロック図である。 補正部１３０の詳細な機能構成を示すブロック図である。 フレーム分解部１０８が分解したフレーム画像のデータフォーマットの一例を示す図である。 本実施の形態に係る画像処理装置１０の動作の一例を示すフローチャートである。 図６のＳ１１０における画像処理装置１０の詳細な動作の一例を示すフローチャートである。 図６のＳ１１２における画像処理装置１０の詳細な動作の一例を示すフローチャートである。 画像処理装置１０のハードウェア構成を示すブロック図である。

符号の説明

１０ 画像処理装置
２０ プリンタ
１００ 音声情報取得部
１０２ 動画像取得部
１０５ 音声データベース
１０６ 音声情報解析部
１０７ 画像処理部
１０８ フレーム分解部
１１０ 補正値決定部
１１５ 入力部
１２０ 検出部
１３０ 補正部
１４０ 再構成部
１５０ 表示装置
１６０ 付随情報取得部
２０１ 画像取得部
２０２ フレーム分解部
２０４ 縮小処理部
２０５ 受信部
２０６ 補正値対応表作成部
２０８ 補正部
２１０ 拡大処理部
２１２ アンシャープマスク処理部
２１４ 出力処理部
２１６ 印刷部

Claims (16)

1. フレーム画像を有する動画像の補正処理を行う画像処理装置であって、
   前記フレーム画像に関する付随情報を前記フレーム画像毎に取得する付随情報取得部と、
   前記付随情報取得部が取得した前記付随情報に基づいて、前記フレーム画像毎に画像処理のための補正値を決定する補正値決定部と、
   前記補正値決定部が決定した前記補正値に基づいて、前記フレーム画像毎に動画像を補正する補正部と
   を備える画像処理装置。
2. 前記付随情報取得部は、前記フレーム画像の撮影時刻を示す情報を前記付随情報として前記フレーム画像毎に取得する請求項１に記載の画像処理装置。
3. 前記動画像は、撮像装置によって撮影された被写体の画像であって、
   前記付随情報取得部は、前記フレーム画像の被写体から前記撮像装置までの距離を示す情報を前記付随情報として前記フレーム画像毎に取得する請求項１に記載の画像処理装置。
4. 前記動画像は、撮像装置によって撮影された被写体の画像であって、
   前記付随情報取得部は、前記フレーム画像の前記被写体の輝度を示す情報を前記付随情報として前記フレーム画像毎に取得する請求項１に記載の画像処理装置。
5. フレーム画像及び音声情報を有する動画像の補正処理を行う画像処理装置であって、
   前記音声情報を取得する音声情報取得部と、
   前記音声情報に含まれる音源を解析する音声情報解析部と、
   前記音声情報解析部が解析した音源を示す情報に基づいて、前記フレーム画像毎に画像処理のための補正値を決定する補正値決定部と、
   前記補正値決定部が決定した前記補正値に基づいて、前記フレーム画像毎に動画像を補正する補正部と
   を備える画像処理装置。
6. 前記補正部によって補正された前記フレーム画像を印刷する印刷部
   をさらに備える請求項１から５のいずれかに記載の画像処理装置。
7. フレーム画像を有する動画像の補正処理を行うコンピュータ用のプログラムであって、前記コンピュータを、
   前記フレーム画像に関する付随情報を前記フレーム画像毎に取得する付随情報取得部、
   前記付随情報取得部が取得した前記付随情報に基づいて、前記フレーム画像毎に画像処理のための補正値を決定する補正値決定部、及び
   決定された前記補正値に基づいて、前記フレーム画像毎に動画像を補正する補正部
   として機能させるプログラム。
8. 前記付随情報取得部は、前記フレーム画像の撮影時刻を示す情報を前記付随情報として前記フレーム画像毎に取得する請求項７に記載のプログラム。
9. 前記動画像は、撮像装置によって撮影された被写体の画像であって、
   前記付随情報取得部は、前記フレーム画像の被写体から前記撮像装置までの距離を示す情報を前記付随情報として前記フレーム画像毎に取得する請求項７に記載のプログラム。
10. 前記動画像は、撮像装置によって撮影された被写体の画像であって、
    前記付随情報取得部は、前記フレーム画像の前記被写体の輝度を示す情報を前記付随情報として前記フレーム画像毎に取得する請求項７に記載のプログラム。
11. フレーム画像及び音声情報を有する動画像の補正処理を行うコンピュータ用のプログラムであって、前記コンピュータを、
    前記音声情報を取得させる音声情報取得部、
    前記音声情報に含まれる音源を解析させる音声情報解析部、
    前記音声情報解析部が解析した音源を示す情報に基づいて、前記フレーム画像毎に画像処理のための補正値を決定する補正値決定部、及び
    決定された前記補正値に基づいて、前記フレーム画像毎に動画像を補正する補正部
    として機能させるプログラム。
12. フレーム画像を有する動画像の補正処理を行う画像処理方法であって、
    前記フレーム画像に関する付随情報を前記フレーム画像毎に取得する付随情報取得段階と、
    前記付随情報取得段階において取得した前記付随情報に基づいて、前記フレーム画像毎に画像処理のための補正値を決定する段階と、
    決定した前記補正値に基づいて、前記フレーム画像毎に動画像を補正する段階と
    を備える画像処理方法。
13. 前記付随情報取得段階は、前記フレーム画像の撮影時刻を示す情報を前記付随情報として前記フレーム画像毎に取得する段階を有する請求項１２に記載の画像処理方法。
14. 前記動画像は、撮像装置によって撮影された被写体の画像であって、
    前記付随情報取得段階は、前記フレーム画像の被写体から前記撮像装置までの距離を示す情報を前記付随情報として前記フレーム画像毎に取得する段階を有する請求項１２に記載の画像処理方法。
15. 前記動画像は、撮像装置によって撮影された被写体の画像であって、
    前記付随情報取得段階は、前記フレーム画像の前記被写体の輝度を示す情報を前記付随情報として前記フレーム画像毎に取得する段階を有する請求項１２に記載の画像処理方法。
16. フレーム画像及び音声情報を有する動画像の補正処理を行う画像処理方法であって、
    前記音声情報を取得する音声情報取得段階と、
    前記音声情報に含まれる音源を解析する音声情報解析段階と、
    解析した音源を示す情報に基づいて、前記フレーム画像毎に画像処理のための補正値を決定する段階と、
    決定した前記補正値に基づいて、前記フレーム画像毎に動画像を補正する段階と
    を備える画像処理方法。

Images