JP5507865B2

JP5507865B2 - 画像処理装置、画像処理方法

Info

Publication number: JP5507865B2
Application number: JP2009060116A
Authority: JP
Inventors: 正樹鈴木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-03-12
Filing date: 2009-03-12
Publication date: 2014-05-28
Anticipated expiration: 2029-03-12
Also published as: JP2010213238A

Description

本発明は、手ブレや被写体ブレによって発生する画像劣化を補正するための技術に関するものである。

被写体を撮像する撮像装置には様々なものがあるが、その代表例としてディジタルカメラがある。ディジタルカメラでは、被写体を形成する光がレンズなどの光学系を通過した後、CCDやCMOSなどの撮像素子に写像される。撮像素子は、写像された光を離散的な電気信号に変換することで、被写体のディジタル信号を得る。この撮像素子には、ディジタル信号に変換するための適切な光量レンジが予め設定されており、適切な光量レンジよりも多くの光が入力されると、信号が飽和してしまうことがある。また逆に、適切な光量よりも少ない光が入力されると、Ｓ／Ｎが悪化してしまう。

このような理由により、一般的にディジタルカメラでは、予めシャッタースピードと呼ばれる露光時間を設定してから撮像する。この露光時間を、被写体の光量に基づいて設定することで、光量の多少に関わらず、撮像素子の光量レンジ内の好適な光量を得ることができる。例えば、被写体から入力される光量が少ない場合は、露光時間を相対的に長く設定し、逆に被写体から入力される光量が多い場合は、露光時間を相対的に短く設定することで、好適な光量レンジ内の信号値を得ることができる。

しかしながら、撮像装置を手で持って撮像する場合など、撮像装置が固定されていない場合は、露光時間が相対的に長くなると、露光している間に撮像装置がブレたりすることがあり、その結果、撮像画像がぼけてしまう。このぼけた撮像画像を補正するためには、ジャイロセンサなどを用いてボケの分布を計測し、ボケの周波数特性の逆特性を用いて補正する。これにより、このボケを除去することができる可能性がある。しかしながら、逆特性が求まらない場合、ボケは除去できない。即ち、撮像画像は元には戻らない。

そこで、上述した手ブレの抑制等、画像品質向上を目的とする技術が提案されている（非特許文献１）。係る技術によれば、複数回の露光を離散的に制御し、その露光情報を利用する事によって、ブレた画像を元に戻すことが可能となる。

Coded Exposure Photography: Motion Deblurring using Fluttered Shutter,Ramesh Raskar 他, ACM SIGGRAPH 2006.

しかしながら、ブレ補正をしない方が画像としてのダイナミック感が得られることもあり、補正処理の必要性は、撮像画像の再生時の環境に依存する。本発明は以上の問題に鑑みてなされたものであり、撮像画像中の動き暈けを補正するか否かを適宜選択可能にするための技術を提供することを目的とする。更に、本発明の別の目的は、動き暈けを補正するために撮像画像に添付する情報のサイズをできるだけ小さくすることにある。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、撮像画像を取得する手段と、
前記撮像画像を撮像する際の露光パターンを示す露光パターンデータと、前記撮像画像を撮像した装置の動き量を示す動き量データと、を取得する手段と、
前記露光パターンデータと前記動き量データとを用いて、前記撮像画像中の動き暈けを補正するための逆フィルタを計算する手段と、
前記露光パターンデータと前記動き量データとのセット及び前記逆フィルタを示す逆フィルタデータのうち、規定の基準に従って一方を選択し、該選択した一方を、前記撮像画像中の動き暈けを補正するための補正データとして取得する取得手段と、
前記撮像画像を符号化することで符号化画像データを生成すると共に、前記補正データを符号化することで符号化補正データを生成する手段と、
前記符号化画像データと、前記符号化補正データと、をセットにして出力する手段と
を備え、
前記取得手段は、
前記露光パターンデータのデータ長と前記動き量データのデータ長との合計長Ｒを計算する手段と、
前記逆フィルタデータのデータ長Ｆを計算する手段と、
Ｆ＞Ｒの場合には、前記露光パターンデータと前記動き量データとのセットを前記補正データとして取得し、Ｆ≦Ｒの場合には、前記逆フィルタデータを前記補正データとして取得する手段と
を備えることを特徴とする。

本発明の構成によれば、撮像画像中の動き暈けを補正するか否かを適宜選択可能にすることができる。更に、動き暈けを補正するために撮像画像に添付する情報のサイズをできるだけ小さくすることができる。

本発明の実施形態に係る画像処理装置の機能構成例を示すブロック図である。補正装置の機能構成例を示す図である。画像処理装置が行う処理のフローチャートである。補正装置が行う処理のフローチャートである。動き量に応じて、二つの情報がどのように増えていくかを示した図である。ステップＳ３０４における処理の詳細を示すフローチャートである。逆フィルタデータを求めるための処理を説明する図である。処理対象ラインを説明するための図である。信号ｙ_ｉ ^Ｔを説明するための図である。行列Ｆを説明する為の図である。行列Ｆを説明する為の図である。式１３を表す画像を示す図である。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

図１は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。係る画像処理装置は、撮像機能と、撮像した画像に対して後述する処理を施す機能と、を有している装置であれば如何なる装置であっても良いのであるが、本実施形態では、ディジタルカメラを例に取り説明する。また、図１には、本実施形態についての説明で用いる構成のみを示しており、全ての構成を示しているわけではない。即ち、電源のような、一般的に用いられるものについては図１では図示は省略している。

図１に示す如く、本実施形態に係る画像処理装置は、制御部１９９、撮像装置１００、露光パターン・動き量の入力部１０９、画像符号化装置１０３、暈け補正データ付加装置１０４、暈け補正情報符号化装置１０５、出力端子１１０、を有している。

露光パターン・動き量の入力部１０９には、撮像装置１００の動き量を示す動き量データと、撮像装置１００の露光パターンを示す露光パターンデータと、が入力される。撮像装置１００の動き量については、例えば、撮像装置１００にジャイロセンサなどの動きセンサを装着し、このジャイロセンサによる計測結果を、撮像装置１００の動き量データとして取得すればよい。露光パターンについては予め設定されているものとする。

露光パターン・動き量の入力部１０９は、この入力された動き量データ、露光パターンデータを後段の暈け補正情報符号化装置１０５に送出すると共に、露光パターンデータのみを撮像装置１００に送出する。

撮像装置１００は、レンズや光学ＬＰＦなどの光学部１０１、メカニカルシャッターやＣＣＤ、ＣＭＯＳなどから構成される撮像素子部１０２を有している。被写体を含む外界からの光は、この光学部１０１を介して撮像素子部１０２に入光する。撮像素子部１０２は、露光パターン・動き量の入力部１０９から受けた露光パターンデータが示す露光パターンに応じて露光し、光学部１０１から入光した光量に基づいた電気信号を、データとして画像符号化装置１０３に入力する。即ち、撮像装置１００が露光パターンデータに基づいて撮像した撮像画像は、データとして画像符号化装置１０３に入力される。

なお、撮像装置１００が露光パターンデータに基づいて露光を行うことで撮像画像をデータとして取得するための仕組みについては従来と同じであるため、これについてのこれ以上の説明は省略する。

画像符号化装置１０３は、撮像装置１００から送出された撮像画像を符号化することで、符号化画像データを生成する。係る符号化は、例えば、H.264方式に従って行う。

暈け補正情報符号化装置１０５は、計算部１０６，計算部１０７、セレクタ１０８を有している。計算部１０６は、露光パターン・動き量の入力部１０９から動き量データと露光パターンデータとを受ける。そして計算部１０６は、露光パターンデータと動き量データのセットのデータ長を計算する。一方、計算部１０７は、露光パターン・動き量の入力部１０９から動き量データと露光パターンデータとを受ける。そして計算部１０７は、露光パターンデータと動き量データとから、撮像画像中の動き暈けを補正するための逆フィルタデータを生成し、生成した逆フィルタデータのデータ長を計算する。セレクタ１０８は、露光パターンデータと動き量データのセット、逆フィルタデータ、のうちデータ長の短い方を、撮像画像中の動き暈けを補正するために用いる補正データとして選択する。そしてセレクタ１０８は、選択した方のデータを符号化し、符号化補正データを生成する。そしてセレクタ１０８は、この符号化補正データを暈け補正データ付加装置１０４に送出する。

暈け補正データ付加装置１０４は、画像符号化装置１０３から受けた符号化画像データと、暈け補正情報符号化装置１０５から受けた符号化補正データとをセットにして出力する。出力端子１１０からは、暈け補正データ付加装置１０４から出力されたセットが出力される。制御部１９９は、画像処理装置を構成している上記各部の動作制御を行う。

図３は、画像処理装置が行う処理のフローチャートである。先ずステップＳ３０１では、露光パターン・動き量の入力部１０９は、撮像装置１００の動き量を示す動き量データと、撮像装置１００の露光パターンを示す露光パターンデータと、を取得する。露光パターン・動き量の入力部１０９は、この入力された動き量データ、露光パターンデータを後段の暈け補正情報符号化装置１０５に送出すると共に、露光パターンデータのみを撮像装置１００に送出する。

次に、ステップＳ３０２では、撮像装置１００は、光学部１０１、メカニカルシャッターにより、被写体を含む外界を撮像し、撮像画像を取得する。そして撮像装置１００は、この撮像画像を画像符号化装置１０３に入力する。次に、ステップＳ３０３では、画像符号化装置１０３は、撮像装置１００から送出された撮像画像を符号化することで、符号化画像データを生成する。

次に、ステップＳ３０４では、暈け補正情報符号化装置１０５は、露光パターン・動き量の入力部１０９から動き量データと露光パターンデータとを受ける。そして、これらのデータのセット、若しくはこれらのデータに基づいて算出される逆フィルタデータ、のうちデータ長の短い方を、撮像画像中の動き暈けを補正するために用いる補正データとして選択する。そして選択した方のデータを符号化し、符号化補正データを生成する。そして暈け補正情報符号化装置１０５は、この符号化補正データを暈け補正データ付加装置１０４に送出する。ステップＳ３０４における処理の詳細については後述する。

次に、ステップＳ３０５では、暈け補正データ付加装置１０４は、画像符号化装置１０３から受けた符号化画像データに、暈け補正情報符号化装置１０５から受けた符号化補正データを付加することで、それぞれのデータをセットにする。もちろん、それぞれのデータをセットにするための方法はこれに限定するものではない。

次に、ステップＳ３０６では、暈け補正データ付加装置１０４は、ステップＳ３０５でセットにしたデータ群を出力端子１１０を介して出力する。次に、ステップＳ３０４で行う暈け補正情報符号化装置１０５の動作についてより詳細に説明する。

撮像画像中の動き暈けを補正する処理は、露光パターンデータと動き量データとから算出可能な逆フィルタを用いて行われる。従って、係る補正を行うために、補正側の装置には、露光パターンデータと動き量データのセット、若しくはこのセットを用いて算出可能な逆フィルタデータ、を補正データとして与えればよいことになる。即ち、補正データとして、露光パターンデータと動き量データとのセットを用いても良いし、これらのデータから算出した逆フィルタデータを用いても良い。

補正データとして露光パターンデータと動き量データとのセットを用いた場合、補正側では、係るセットに基づいて逆フィルタデータを生成し、生成した逆フィルタデータを用いて撮像画像に対する暈け補正処理を行えばよい。一方、補正データとして逆フィルタデータを用いた場合には、この逆フィルタデータを用いて撮像画像に対する暈け補正処理を行えばよい。

何れにせよ、補正側が係る補正処理を行うためには、補正データには露光パターンデータと動き量データとのセットを用いても良いし、逆フィルタデータそのものを用いても良い。

しかし、補正処理の精度という点では、補正データは何れの形式であっても良いが、データサイズという観点では、補正データはなるべくサイズの小さいデータであることが好ましい。そこで、補正データとして、露光パターンデータと動き量データのセット、逆フィルタデータのうち、ディジタルデータとしてより少ないビットで表現可能な方を選択する。

図６は、ステップＳ３０４における処理の詳細を示すフローチャートである。先ず、ステップＳ１００１では、計算部１０６は、露光パターン・動き量の入力部１０９から動き量データと露光パターンデータとを受ける。

次に、ステップＳ１００２では、計算部１０６は、露光パターンデータと動き量データのセットのデータ長Ｒを計算する。露光パターンはシャッタースピードを単位(1Tick)として表現されるので、32Tickで露光パターンを表現している場合、32bitとしてデータ量を計算する。さらに動き量は可変長データとして扱い、1画素動いたら1bitとして、2画素の場合は2bitといったように計算する。

次に、ステップＳ１００３では、計算部１０７は、露光パターン・動き量の入力部１０９から動き量データと露光パターンデータとを受ける。そして計算部１０７は、露光パターンデータと動き量データとから、撮像画像中の動き暈けを補正するための逆フィルタデータを生成する。

ここで、逆フィルタデータを求める方法について説明する。なお、以下に説明する、逆フィルタデータを求める方法については、ＦＩＲフィルタなど、一般のフィルタを求めるための処理方法であって周知である。従って、以下では主要な部分についてのみ説明し、その詳細な部分についての説明は省略する。

図７は、逆フィルタデータを求めるための処理を説明する図である。図７に示す如く、シャッタースピード1／2000（=1Tick）の条件で、1画素／1Tickの等速で６画素右に移動する被写体（図７上図）を、図７下図のような露光パターンで撮影する場合を仮定する。等速運動している信号ｘ_ｉ ^ｔの時刻tにおける水平座標ｉは以下のようになる。

ｉ＝ｉ^０＋α×ｔ
１画素／Tickの等速で動いている場合の水平方向の速度は以下のようになる。

Δｉ＝α
着目している画素の初期座標ｉ＝ｉ^０を０に置き換えると以下の式（１）が得られる。

Δｉ＝１（１）
以降では説明を簡単にする為、図８に示す撮像画像において、上から５ライン目の１ライン（太線で囲っている１ライン：処理対象ラインと呼称する）に対する処理を説明する。実際には、同様の処理をその他のラインについても行う。図８においてそれぞれの矩形は１つの画素を示している。

図９の上部には、処理対象ラインを時間軸方向に並べた結果を示す。そして、シャッターパターンａ_ｔで時間軸方向に加算した信号は図９の中部に示すようになり、これをディジタル表現すると図９の下部に示すようになる。

ディジタル化された信号ｙ_ｉ ^Ｔは、以下の式（２）に示す如く、シャッターパターンａ_ｔと信号のパワーｘ_ｉ ^ｔの内積で表せる。

例えば、時刻Ｔにおける水平座標の位置ｉ＝６でディジタル化された信号ｙ_６ ^Ｔは以下のようになる。

上記式（１）より以下の式が成り立つ。

（数３）に示した式を用いて（数２）に示した式を以下のように表す。

一般化式は以下のようになる。

ここで、以下のようなＡを定義する。

ただしｎは暈け補正対象の画素数。

ｍ＝ｔ＝６、ｎ＝７の場合、上記Ａは以下のようになる。

Ａを以下のように表現する。

そして以下の群を定義する。

そしてこの群によって、図１０に示す如く、行列Ｆを生成する。この行列Ｆがボケを発生させる行列となる。

ｍ＝３、ｔ＝６、ｎ＝７の場合、以下のようになる。先ず、０．５画素／Tickの等速で動いている場合は以下のようになる。

（数１１）に示した式を用いて、（数３）に示した式を以下のように表す。

そして、（数１０）に示した式の生成手順に従い、図１１に示す如く、ボケを発生させる行列Ｆを定義する。そして上記式により、時刻Ｔにおける暈け画像Ｙ^Ｔを以下のように表す。なお、以下の式１３を画像として表すと図１２に示すような画像となる。

また、ボケのない入力画像をＸ^Ｔとする。この場合、入力画像Ｘ^Ｔと、行列Ｆと、暈け画像Ｙ^Ｔとの間には以下の関係が成り立つ。

然るに、ボケを補正する為のフィルタ、即ち、求めるべき逆フィルタは、行列Ｆの逆行列である。以上説明した処理により、計算部１０７は、ステップＳ１００３において逆フィルタを求めることができる。

次に、ステップＳ１００４では、計算部１０７は、ステップＳ１００３で生成した逆フィルタデータのデータ長Ｆを計算する。逆フィルタデータのデータ長は、各係数を８ビットで表現した場合、その係数分だけデータ長が増える。例えば、逆行列が３ｘ３の場合、８ｘ３ｘ３＝７２ビットである。

一方、１６ビットで露光パターンデータを表現し、可変長データで動き量を表現する場合、例えば動き量が０の時は合計データ長は１６ビット、動き量が１画素の場合は１６＋１で１７ビットとなる。図５は、動き量に応じて、二つの情報がどのように増えていくかを示した図である。この場合、動き量が１４ピクセルまでは逆フィルタの方がデータ量が少なく、１５ピクセルからは露光パターンデータと動き量データの合計の方が少ない。よって、動き量が１４ピクセルまでは逆フィルタの情報を画像に付加し、１５ピクセルからは露光パターンデータと動き量データを画像に付加した方が、総合的な情報量は少なくなる。

次に、ステップＳ１００５では、セレクタ１０８は、露光パターンデータのデータ長と動き量データのデータ長との合計長Ｒと、逆フィルタデータのデータ長Ｆとの大小比較を行う。係る大小比較の結果、Ｆ＞Ｒの場合には処理をステップＳ１００７に進め、Ｆ≦Ｒの場合には処理をステップＳ１００６に進める。

ステップＳ１００６では、セレクタ１０８は、撮像画像中の動き暈けを補正するために用いる補正データとして、逆フィルタデータを選択する。そして、選択した逆フィルタデータを符号化し、符号化補正データを生成する。

一方、ステップＳ１００７では、セレクタ１０８は、撮像画像中の動き暈けを補正するために用いる補正データとして、露光パターンデータと動き量データのセットを選択する。そして選択したこのセットを符号化し、符号化補正データを生成する。即ち、セレクタ１０８は、よりデータ長の短い方を、撮像画像中の動き暈けを補正するために用いる補正データとして選択し、選択した方を符号化する。次に、ステップＳ１００８では、セレクタ１０８は、符号化補正データを暈け補正データ付加装置１０４に送出する。

なお、以上説明した画像処理装置の動作は、１フレーム分の撮像画像に対するものである。従って、動画像のように複数フレームの撮像画像が画像処理装置に入力された場合は、各フレームの撮像画像について同様の処理を行えばよい。

次に、図１に示した構成でもって生成された、符号化画像データと符号化補正データのセットを受け取り、これを処理する補正装置について説明する。なお、この補正装置は、図１に示した構成を有する画像処理装置内に納められた装置であるとしても良いし、この画像処理装置に接続されているＰＣなどのコンピュータであるとしても良い。前者の場合、この補正装置は、画像処理装置において撮像画像をプレビュー表示する際に機能することができるし、後者の場合、この補正装置は、画像処理装置から取得した画像を編集する際に機能することができる。然るに以下の説明は何れの場合であっても同様に適用することができる。

図２は、補正装置の機能構成例を示す図である。図２に示す如く、補正装置は、入力端子２００、分離装置２０１、画像復号装置２０２、暈け補正情報復号装置２０４、画像補正装置２０３、出力端子２０５、を有する。

入力端子２００には、上記画像処理装置が生成した、符号化補正データが付加された符号化画像データが入力される。符号化補正データが付加された符号化画像データは、後段の分離装置２０１に入力される。

分離装置２０１は、符号化画像データと符号化補正データとを分離し、符号化画像データについては画像復号装置２０２に送出し、符号化補正データについては暈け補正情報復号装置２０４に送出する。

画像復号装置２０２は、入力された符号化画像データを復号することで、撮像画像を復元する。そして画像復号装置２０２は、復元した撮像画像を後段の画像補正装置２０３に送出する。

暈け補正情報復号装置２０４は、入力された符号化補正データを復号することで、補正データを復元する。そして暈け補正情報復号装置２０４は、復元した補正データを後段の画像補正装置２０３に送出する。

画像補正装置２０３は撮像画像、補正データを受けると先ず、この補正データを用いて撮像画像を補正するか否かをユーザに選択させるための画面を、補正装置が有する不図示の表示画面上に表示する。係る表示では、例えば、「補正する」、「補正しない」のそれぞれを指示するためのボタン画像を表示する。そして、ユーザが係る画面上若しくは不図示の操作部を用いて何れかのボタン画像を選択すると、その選択指示は画像補正装置２０３に入力され、画像補正装置２０３は、係る選択指示に基づいて処理を行う。

補正する旨の指示を受けた場合、画像補正装置２０３は、暈け補正情報復号装置２０４から受けた補正データを用いて、画像復号装置２０２が復元した撮像画像中の動き暈けを補正し、補正後の撮像画像を、出力端子２０５を介して出力する。なお、上述の通り、補正データが逆フィルタデータである場合にはそのまま補正データを用いるのであるが、補正データが露光パターンデータと動き量データのセットである場合には、このセットを用いて逆フィルタデータを生成する必要がある。一方、補正しない旨の指示を受けた場合、画像補正装置２０３は、画像復号装置２０２が復元した撮像画像をそのまま出力端子２０５を介して出力する。

図４は、補正装置が行う処理のフローチャートである。先ず、ステップＳ４０１では、入力端子２００は、上記画像処理装置が生成した、符号化補正データが付加された符号化画像データを取得する。そして符号化補正データが付加された符号化画像データは、後段の分離装置２０１に入力される。

次に、ステップＳ４０２では、分離装置２０１は、符号化画像データと符号化補正データとを分離し、符号化画像データについては画像復号装置２０２に送出し、符号化補正データについては暈け補正情報復号装置２０４に送出する。

次に、ステップＳ４０３では、画像復号装置２０２は、入力された符号化画像データを復号することで、撮像画像を復元する。そして画像復号装置２０２は、復元した撮像画像を後段の画像補正装置２０３に送出する。

一方、暈け補正情報復号装置２０４は、入力された符号化補正データを復号することで、補正データを復元する。そして暈け補正情報復号装置２０４は、復元した補正データを後段の画像補正装置２０３に送出する。

次に、ステップＳ４０４では、画像補正装置２０３は撮像画像、補正データを受けると先ず、この補正データを用いて撮像画像を補正するか否かをユーザに選択させるための画面を、補正装置が有する不図示の表示画面上に表示する。補正する旨の指示を受けた場合、処理をステップＳ４０５に進める。一方、補正しない旨の指示を受けた場合、処理をステップＳ４０７に進める。

ステップＳ４０５では、画像補正装置２０３は、暈け補正情報復号装置２０４から受けた補正データを用いて、画像復号装置２０２が復元した撮像画像中の動き暈けを補正する。そしてステップＳ４０６では、画像補正装置２０３は、補正後の撮像画像を、出力端子２０５を介して出力する。

一方、ステップＳ４０７では、画像補正装置２０３は、画像復号装置２０２が復元した撮像画像をそのまま出力端子２０５を介して出力する。なお、符号化画像データと符号化補正データとのセットが複数フレームについて入力された場合、それぞれのフレームについて同様の処理を行えばよい。

＜変形例＞
第１の実施形態では、補正データを決定するために、露光パターンデータと動き量データの合計長と、逆フィルタデータのデータ長との大小比較を行っている。しかし、ランレングス符号化や、算術符号化、コンテキスト符号化など、従来の符号化方式によって符号化を施した後のそれぞれのデータ量を比較し、データ量の少ない方を補正データとするようにしても良い。

また、第１の実施形態では、画像単位でこのような大小比較処理を行っているが、小矩形単位、ピクセル単位であってもよい。その場合、着目している小矩形、あるいはピクセルに定義したRやFと、空間的、時間的、動き補償後に位置しているRやFとの相関などを利用した従来のMPEG方式に見られる圧縮を施した後のデータ長を比較しても構わない。

また、第１の実施形態では、撮像画像の符号化はH.264に従って行っているが、MPEG2など、その他の符号化方式を用いても良い。また、図１，２に示した各部は全てハードウェアでもって構成されているものとしているが、その一部若しくは全部をソフトウェアでもって構成しても良い。

Claims

撮像画像を取得する手段と、
前記撮像画像を撮像する際の露光パターンを示す露光パターンデータと、前記撮像画像を撮像した装置の動き量を示す動き量データと、を取得する手段と、
前記露光パターンデータと前記動き量データとを用いて、前記撮像画像中の動き暈けを補正するための逆フィルタを計算する手段と、
前記露光パターンデータと前記動き量データとのセット及び前記逆フィルタを示す逆フィルタデータのうち、規定の基準に従って一方を選択し、該選択した一方を、前記撮像画像中の動き暈けを補正するための補正データとして取得する取得手段と、
前記撮像画像を符号化することで符号化画像データを生成すると共に、前記補正データを符号化することで符号化補正データを生成する手段と、
前記符号化画像データと、前記符号化補正データと、をセットにして出力する手段と
を備え、
前記取得手段は、
前記露光パターンデータのデータ長と前記動き量データのデータ長との合計長Ｒを計算する手段と、
前記逆フィルタデータのデータ長Ｆを計算する手段と、
Ｆ＞Ｒの場合には、前記露光パターンデータと前記動き量データとのセットを前記補正データとして取得し、Ｆ≦Ｒの場合には、前記逆フィルタデータを前記補正データとして取得する手段と
を備えることを特徴とする画像処理装置。
撮像画像を取得する手段と、
前記撮像画像を撮像する際の露光パターンを示す露光パターンデータと、前記撮像画像を撮像した装置の動き量を示す動き量データと、を取得する手段と、
前記露光パターンデータと前記動き量データとを用いて、前記撮像画像中の動き暈けを補正するための逆フィルタを計算する手段と、
前記露光パターンデータと前記動き量データとのセット及び前記逆フィルタを示す逆フィルタデータのうち、規定の基準に従って一方を選択し、該選択した一方を、前記撮像画像中の動き暈けを補正するための補正データとして取得する取得手段と、
前記撮像画像を符号化することで符号化画像データを生成すると共に、前記補正データを符号化することで符号化補正データを生成する手段と、
前記符号化画像データと、前記符号化補正データと、をセットにして出力する手段と
を備え、
前記取得手段は、
前記露光パターンデータと前記動き量データとのセットを符号化した符号化データのデータ量Ｒを計算する手段と、
前記逆フィルタデータを符号化した符号化データのデータ量Ｆを計算する手段と、
Ｆ＞Ｒの場合には、前記露光パターンデータと前記動き量データとのセットを前記補正データとして取得し、Ｆ≦Ｒの場合には、前記逆フィルタデータを前記補正データとして取得する手段と
を備えることを特徴とする画像処理装置。
更に、
前記符号化画像データを復号すると共に、前記符号化補正データを復号する復号手段と、
前記復号手段が復号した補正データを用いて、前記復号手段が復号した撮像画像における動き暈けを補正するか否かを示す指示を受け付ける手段と、
入力された前記指示が補正することを示す場合には、前記復号手段が復号した補正データを用いて、前記復号手段が復号した撮像画像における動き暈けを補正する手段と
補正後の撮像画像、若しくは復号した撮像画像の何れかを出力する手段と
を備えることを特徴とする請求項１又は２に記載の画像処理装置。
画像処理装置が行う画像処理方法であって、
前記画像処理装置の撮像画像取得手段が、撮像画像を取得する工程と、
前記画像処理装置のデータ取得手段が、前記撮像画像を撮像する際の露光パターンを示す露光パターンデータと、前記撮像画像を撮像した装置の動き量を示す動き量データと、を取得する工程と、
前記画像処理装置の計算手段が、前記露光パターンデータと前記動き量データとを用いて、前記撮像画像中の動き暈けを補正するための逆フィルタを計算する工程と、
前記画像処理装置の取得手段が、前記露光パターンデータと前記動き量データとのセット及び前記逆フィルタを示す逆フィルタデータのうち、規定の基準に従って一方を選択し、該選択した一方を、前記撮像画像中の動き暈けを補正するための補正データとして取得する取得工程と、
前記画像処理装置の生成手段が、前記撮像画像を符号化することで符号化画像データを生成すると共に、前記補正データを符号化することで符号化補正データを生成する工程と、
前記画像処理装置の出力手段が、前記符号化画像データと、前記符号化補正データと、をセットにして出力する工程と
を備え、
前記取得工程は、
前記露光パターンデータのデータ長と前記動き量データのデータ長との合計長Ｒを計算する工程と、
前記逆フィルタデータのデータ長Ｆを計算する工程と、
Ｆ＞Ｒの場合には、前記露光パターンデータと前記動き量データとのセットを前記補正データとして取得し、Ｆ≦Ｒの場合には、前記逆フィルタデータを前記補正データとして取得する工程と
を備えることを特徴とする画像処理方法。
画像処理装置が行う画像処理方法であって、
前記画像処理装置の撮像画像取得手段が、撮像画像を取得する工程と、
前記画像処理装置のデータ取得手段が、前記撮像画像を撮像する際の露光パターンを示す露光パターンデータと、前記撮像画像を撮像した装置の動き量を示す動き量データと、を取得する工程と、
前記画像処理装置の計算手段が、前記露光パターンデータと前記動き量データとを用いて、前記撮像画像中の動き暈けを補正するための逆フィルタを計算する工程と、
前記画像処理装置の取得手段が、前記露光パターンデータと前記動き量データとのセット及び前記逆フィルタを示す逆フィルタデータのうち、規定の基準に従って一方を選択し、該選択した一方を、前記撮像画像中の動き暈けを補正するための補正データとして取得する取得工程と、
前記画像処理装置の生成手段が、前記撮像画像を符号化することで符号化画像データを生成すると共に、前記補正データを符号化することで符号化補正データを生成する工程と、
前記画像処理装置の出力手段が、前記符号化画像データと、前記符号化補正データと、をセットにして出力する工程と
を備え、
前記取得工程は、
前記露光パターンデータと前記動き量データとのセットを符号化した符号化データのデータ量Ｒを計算する工程と、
前記逆フィルタデータを符号化した符号化データのデータ量Ｆを計算する工程と、
Ｆ＞Ｒの場合には、前記露光パターンデータと前記動き量データとのセットを前記補正データとして取得し、Ｆ≦Ｒの場合には、前記逆フィルタデータを前記補正データとして取得する工程と
を備えることを特徴とする画像処理方法。
更に、
前記画像処理装置の復号手段が、前記符号化画像データを復号すると共に、前記符号化補正データを復号する復号工程と、
前記画像処理装置の受付手段が、前記復号工程で復号した補正データを用いて、前記復号工程で復号した撮像画像における動き暈けを補正するか否かを示す指示を受け付ける工程と、
前記画像処理装置の補正手段が、入力された前記指示が補正することを示す場合には、前記復号工程で復号した補正データを用いて、前記復号工程で復号した撮像画像における動き暈けを補正する工程と
前記画像処理装置の撮像画像出力手段が、補正後の撮像画像、若しくは復号した撮像画像の何れかを出力する工程と
を備えることを特徴とする請求項４又は５に記載の画像処理方法。