JP5086879B2 - 画像処理装置及びその制御方法及びプログラム - Google Patents

Description

本発明は、フレーム間符号化を用いたＭＰＥＧフォーマットの動画像データを再生する技術に関するものである。

近年、動画像情報をデジタルデータとして取り扱い、蓄積・伝送に用いるために、高圧縮率かつ高画質で符号化する技術が望まれている。画像情報の圧縮には、動画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き予測・動き補償とにより、画像情報を圧縮符号化するＭＰＥＧなどの方式が提案され広く普及している。

各メーカーはこれらの符号化方式を利用して画像を記録可能としたデジタルカメラやデジタルビデオカメラといった撮像装置或いはＤＶＤレコーダーなどを開発し、製品化しており、ユーザーはこれらの装置或いはパーソナルコンピュータやＤＶＤプレーヤーなどを用いて簡単に画像を視聴することが可能となっている。

また、近年、更なる高圧縮率、高画質を目指した符号化方式としてＨ．２６４（MPEG4-Part10 AVC）がある。このＨ．２６４はＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式と比較して、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている（非特許文献１参照）。

図１は、Ｈ．２６４方式で画像データを圧縮する画像処理装置の構成を示す図である。図１において、入力された画像データは、マクロブロックに分けられ、減算部１０１に送られる。減算部１０１は、画像データと予測値との差分を求めて、整数ＤＣＴ（Discrete Cosine Transform）変換部１０２に出力する。整数ＤＣＴ変換部１０２は、入力されたデータを整数ＤＣＴ変換して量子化部１０３に出力する。量子化部１０３は、入力されたデータを量子化する。量子化されたデータの一方は、差分画像データとしてエントロピー符号化部１１５に送られる。もう一方は、逆量子化部１０４で逆量子化された後、逆整数ＤＣＴ変換部１０５で逆整数ＤＣＴ変換される。逆整数ＤＣＴ変換されたデータは、加算部１０６で予測値が加えられる。これにより、画像が復元される。

復元された画像の一方は、イントラ（フレーム内）予測のためのフレームメモリ１０７に送られる。他方は、デブロッキングフィルター１０９でデブロッキングフィルター処理が行われた後、インター（フレーム間）予測のためのフレームメモリ１１０に送られる。イントラ予測のためのフレームメモリ１０７内の画像は、イントラ予測部１０８でのイントラ予測で使用される。このイントラ予測では、同一ピクチャ内で、既に符号化されたブロックの隣接画素の値を予測値として用いる。

インター予測のためのフレームメモリ１１０内の画像は、後述するように、複数のピクチャで構成される。これら複数のピクチャは、「list 0」と「list 1」の２つのリストに分けられる。２つのリストに分けられた複数のピクチャは、インター予測部１１１でのインター予測で使用される。インター予測がなされた後に、メモリーコントローラ１１３によって、内部の画像が更新される。インター予測部１１１で行われるインター予測では、フレームの異なる画像データに対して動き検出部１１２で行われた動き検出の結果に基づく最適な動きベクトルを用いて、予測画像を決定する。

イントラ予測とインター予測の結果、最適な予測が選択部１１４で選択される。また、動きベクトルは、エントロピー符号化部１１５に送られ、差分画像データと共に符号化される。こうして出力ビットストリームが形成される。

ここで、Ｈ．２６４方式のインター予測について、図２から図５を用いて詳細に説明する。

Ｈ．２６４方式のインター予測では、複数のピクチャを予測に用いることができる。このため、参照ピクチャを特定するためにリストを２つ（「List 0」及び「List 1」）用意する。各リストには最大５枚の参照ピクチャが割り当てられるようにしている。

Ｐピクチャでは「List 0」のみを使用して、主に前方向予測を行う。Ｂピクチャでは「List 0」及び「List 1」を用いて、双方向予測（または前方あるいは後方のみの予測）を行う。すなわち、「List 0」には主に前方向予測のためのピクチャが割り当てられ、「List 1」には主に後方向予測のためのピクチャが収められる。

図２に、符号化の際に使用される参照リストの例を示す。ここでは、Ｉピクチャ、Ｐピクチャ及びＢピクチャの割合が、標準的な場合を例に挙げて説明する。すなわち、Ｉピクチャが１５フレーム間隔、Ｐピクチャが３フレーム間隔、その間のＢピクチャが２フレームである場合で説明する。図２において、２０１は、表示順に並べた画像データを示す。画像データ２０１の四角の中にはピクチャの種類と表示順を示す番号が記入されている。例えば、ピクチャＩ１５は表示順が１５番目のＩピクチャであり、イントラ予測のみを行う。ピクチャＰ１８は表示順が１８番目のＰピクチャであり、前方向予測のみを行う。ピクチャＢ１６は表示順が１６番目のＢピクチャであり、双方向予測を行う。

符号化を行う順序は表示順序と異なり、予測を行う順となる。すなわち、図２では、符号化を行う順序は、「Ｉ１５、Ｐ１８、Ｂ１６、Ｂ１７、Ｐ２１、Ｂ１９、Ｂ２０、…」となる。

また、図２において、２０２は、参照リスト（List 0）を示す。この参照リスト（List0）２０２には、一旦符号化され復号化されたピクチャが収められている。例えば、ピクチャＰ２１（表示順が２１番目のＰピクチャ）でインター予測を行う場合、参照リスト（List 0）２０２内の既に符号化が終わって復号化されたピクチャを参照する。図２に示す例では、ピクチャＰ０６、Ｐ０９、Ｐ１２、Ｉ１５、Ｐ１８が参照リスト２０２に収められている。

インター予測では、マクロブロック毎に、この参照リスト（List 0）２０２中の参照ピクチャ内から最適な予測値をもつ動きベクトルを求め、符号化する。参照リスト（List 0）２０２内のピクチャは、参照ピクチャ番号が順に与えられ、区別される（図示した番号とは別に与えられる）。

ピクチャＰ２１の符号化が終わると、こんどは新たにピクチャＰ２１が復号化され参照リスト（List 0）２０２に追加される。参照リスト（List 0）２０２から、最も古い参照ピクチャ（ここではピクチャＰ０６）が除去される。この後符号化は、ピクチャＢ１９、Ｂ２０と行われ、ピクチャＰ２４へと続く。このときの参照リスト（List 0）２０２の様子を図３に示す。

図４に、参照リストの変化の様子をピクチャ毎に示す。

図４では、上から順番にピクチャが符号化されるようにしている。また、符号化中のピクチャと、その符号化中のピクチャに対する参照リスト（List 0及びList 1）の内容を示している。図４に示す様に、Ｐピクチャ（またはＩピクチャ）が符号化されると、参照リスト（List 0及びList 1）が更新され、参照リスト（List 0及びList 1）中の最も古いピクチャが除去される。この例では、参照リスト（List 1）は１つのピクチャしか持っていない。これは、後方向予測のために参照するピクチャの数を多くすると、復号までのバッファ量が増えてしまうためである。すなわち、符号化中のピクチャとあまりに離れたところにある後方のピクチャの参照を避けたためである。

ここで挙げた例では、参照に用いるピクチャを、Ｉピクチャ及びＰピクチャとし、Ｉピクチャ及びＰピクチャの全てを参照リスト（List 0及びList 1）に順次加えている。また、後方向予測のために参照リスト（List 1）で使うピクチャはＩピクチャだけとした。以上のようにしたのは、通常最もよく用いられるであろうピクチャの構成であるからである。ただし、このような参照リストにおけるピクチャの構成は、最も良く使用されるであろう一例に過ぎず、Ｈ．２６４自体は、参照リストの構成に、より高い自由度を持っている。

例えば、Ｉピクチャ及びＰピクチャの全てを参照リストに加える必要は無く、またＢピクチャを参照リストに加えることも可能である。また明示的に指示されるまで参照リストにとどまる長期参照リストも定義されている。図５に、Ｂピクチャを参照リストに加える場合の参照リストの変化の様子を示す。Ｂピクチャを参照リストに加える場合、通常、全てのＢピクチャを符号化する度に、符号化したピクチャを参照リストに追加することが考えられる。

次に、このように圧縮された動画像データを記録するファイルフォーマットについて説明する。

前述したようにデジタルビデオカメラ、デジタルスチルカメラ等で撮影されたＭＰＥＧ（ＭＰＥＧ−２またはＭＰＥＧ−４フォーマット）の画像データを記録する汎用フォーマットとしてＭＰ４（ＭＰＥＧ−４）ファイルフォーマットが用いられ、ＭＰ４ファイルとして記録することで、他のデジタル機器で再生できるなどの互換性が保証される。

ＭＰ４ファイルは 基本的には、図６（ａ）に示すように、符号化されたストリーム画像データが入っている mdat ボックスと、ストリーム画像データに関連する情報が入っている moov ボックスとから構成されている。 mdat ボックスの中はさらに、図６（ｂ）に示すように複数のチャンク（chunk cN）で構成され、各チャンクは図６（ｄ）に示すように複数のサンプル（sample sM）から構成される。各サンプルは例えば図６（ｅ）に示すように、sample s1、sample s2、sample s3、sample s4、…に対してＩ０、Ｂ−２、Ｂ−１、Ｐ３、…の符号化されたＭＰＥＧ画像データが対応する。

ここで、Ｉ０、Ｉ１、Ｉ２、…、Ｉｎ はイントラ符号化（フレーム内符号化）されたフレーム画像データであり、Ｂ０、Ｂ１、Ｂ２、…、Ｂｎ は双方向から参照して符号化（フレーム間符号化）されるフレーム画像データであり、Ｐ０、Ｐ１、Ｐ２、…、Ｐｎ は一方向（順方向）から参照して符号化（フレーム間符号化）されるフレーム画像データであり、いずれも可変長符号データである。

moov ボックスは図６（ｃ）に示すように、作成日時等が記録されるヘッダ情報から成る mvhd ボックスと mdat ボックスに格納されたストリーム画像データに関する情報を入れる trak ボックスから成る。trak ボックスに格納される情報としては、図６（ｈ）に示すように、 mdat ボックスの各チャンクへのオフセット値の情報を格納する stco ボックスや、図６（ｇ）に示すように各チャンク内のサンプル数の情報を格納する stsc ボックス、図６（ｆ）に示すように各サンプルのサイズの情報を格納する stsz ボックスがある。

従って上記の stcoボックス、stscボックス、stsz ボックスに格納されるデータのデータ量は、記録された画像データの量、すなわち記録時間と伴に増大していく。例えば１秒間３０フレームの画像を１５フレーム毎に１チャンクに格納するようにしてＭＰ４ファイルとして記録していった場合、２時間で１Ｍbytesほどのデータとなり、１Ｍbytesの容量を有する moov ボックスが必要となる。

このＭＰ４ファイルを再生する場合、記録媒体からＭＰ４ファイルの moov ボックスを読み込み、その moov ボックスから上記の stco ボックス、stsc ボックス、stsz ボックスを解析して、mdat ボックス内の各チャンクへのアクセスが出来るようになる。

ＭＰ４ファイルフォーマットで記録する場合、ストリームデータは時間とともに増大し、そのサイズも非常に大きいため、記録中にもファイルへストリームデータを書き出す必要がある。しかしながら上述の通り、moov ボックスも記録時間に応じてサイズが増加するため、記録が終了するまではＭＰ４ヘッダのサイズも不明なため、ストリームデータのファイル中への書き出しオフセット位置を決定することができない。したがって、一般的な動画処理装置での記録では、ＭＰ４ファイルフォーマットの柔軟性を利用し、以下のような対応を行う。
（１）mdat ボックスをファイル先頭に配置し、記録終了時に moov ボックスを mdat ボックスの後ろに配置する（図７（ａ））。
（２）特許文献１に提案されるように、moov ボックスのサイズをあらかじめ決めてしまい、mdat ボックスのオフセット位置を決定して、記録を行う（図７（ｂ））。記録時間が短く、ヘッダ領域が余る場合でも、その領域は free ボックスとして残す。ヘッダサイズを越えて記録する場合には、随時Ｉピクチャのフレーム番号情報を間引いて記録することで、ヘッダサイズをあらかじめ決定したサイズで維持する。
（３）moov ボックスとmdat ボックスのペアを、複数に分割して配置する（図７（ｃ）。なお、２つ目以降のヘッダ領域を moof ボックスと呼ぶ。

以上が一般的なＭＰ４ファイルの構成である。

前述のＭＰ４ファイルの一般的な再生方法について以下に説明する。

図８は、Ｈ．２６４の方式により圧縮符号化された動画像を再生する動画再生装置の基本的な構成例を示す図である。

図８において動画再生装置は、記録媒体８０１、記録媒体からデータを再生する再生回路８０２、バッファ回路８０３、可変長復号化回路８０４、逆量子化回路８０５、逆ＤＣＴ回路８０６、加算回路８０７、メモリ８０８、動き補償回路８０９、スイッチ回路８１０、並べ替え回路８１１、出力端子８１２、ヘッダ情報解析回路８１３、再生制御回路８１４、制御信号の入力端子８１５を有している。

次に、図８における動画再生装置の再生処理の流れについて説明する。

再生制御回路８１４の指示を受け、再生回路８０２は記録媒体８０１に記録されたＭＰ４ファイルを再生し、バッファ回路８０３に供給し始める。それと同時に、再生制御回路８１４は、ヘッダ情報解析回路８１３に moov ボックスの mdat 内の格納状況を示す stco ボックス、stsc ボックス、stsz ボックスからオフセットやchunkやsampleの情報を解析させるよう制御する。また、記録媒体８０１からmdat ボックスのストリーム画像データを再生し始めるように再生回路８０２を制御する。

再生回路８０２は記録媒体８０１に記録されたファイルの mdat ボックスのストリーム画像データをその先頭アドレスから再生し、バッファ回路８０３に供給する。バッファ回路８０３に記憶されたストリーム画像データはバッファ回路８０３の占有状態等をみて読み出しを始め、可変長復号化回路８０４にストリーム画像データを供給する。可変長復号化回路８０４はバッファ回路８０３から供給される再生されたストリーム画像データを可変長復号し、逆量子化回路８０５に供給する。

逆量子化回路８０５は可変長復号化回路８０４から供給される可変長復号されたストリーム画像データを逆量子化し、逆ＤＣＴ回路８０６に供給する。逆ＤＣＴ回路８０６は逆量子化回路８０５から供給される逆量子化されたデータに逆ＤＣＴを施し、加算回路８０７に供給する。加算回路８０７は逆ＤＣＴ回路８０６から供給される逆ＤＣＴデータとスイッチ回路８１０から供給されるデータを加算する。

ここで記録媒体８０１から再生されるストリーム画像データは、図９に示すようにまずＧＯＰ０（Group Of Picture）のフレーム内符号化されたＩ０が再生されるので、再生制御回路８１４はスイッチ回路８１０の端子ａを選択するよう制御し、スイッチ回路８１０は加算回路８０７にデータ”０”を供給する。加算回路８０７はスイッチ回路８１０から供給される”０”データと逆ＤＣＴ回路８０６から供給される逆ＤＣＴデータとを加算して、再生されたフレームＦ０としてメモリ８０８と並べ替え回路８１１に供給する。メモリ８０８は加算回路８０７から供給される加算データを記憶する。

ＧＯＰ０のフレーム内符号化データＩ０の次に再生されるのは双方向予測符号化されたピクチャデータＢ−２、Ｂ−１であり、逆ＤＣＴ回路８０６までの再生手続きは上記フレーム内符号化データＩ０で説明した再生手続きと同様であるので省略する。

逆ＤＣＴ回路８０６から逆ＤＣＴ双方向予測符号化画像データが加算回路８０７に供給される。再生制御回路８１４はこの時、スイッチ回路８１０の可動端子ｃが固定端子ｂを選択するようスイッチ回路８１０を制御し、加算回路８０７に動き補償回路８０９からのデータを供給する。

動き補償回路８０９は再生されてくるストリーム画像データから、符号化時に生成され、ストリーム画像データ内に記録された動きベクトルを検出する。そして、参照ブロックのデータ（この場合は記録開始時であるため、再生されたフレーム内符号化データＦ０からのデータのみ）をメモリ８０８から読み出してスイッチ回路８１０の可動端子ｃに供給する。

加算回路８０７は逆ＤＣＴ回路８０６から供給される逆ＤＣＴされたデータとスイッチ回路８１０から供給される動き補償されたデータを加算し、再生されたフレームＦ−２、Ｆ−１として並べ替え回路８１１に供給する。

次に片方向予測符号化されたピクチャデータＰ３が再生されるが、逆ＤＣＴ回路８０６までの再生手続きは上記フレーム内符号化データＩ０で説明した再生手続きと同様であるので省略する。

逆ＤＣＴ回路８０６から逆ＤＣＴされたピクチャデータが加算回路８０７に供給される。再生制御回路８１４はこの時、スイッチ回路８１０の可動端子ｃが固定端子ｂを選択するようスイッチ回路８１０を制御し、加算回路８０７に動き補償回路８０９からのデータを供給する。

動き補償回路８０９は再生されてくるストリーム画像データから、符号化時に生成されてストリーム画像データ内に記録された動きベクトルを検出し、参照ブロックのデータ（再生されたフレーム内符号化データＦ０からのデータ）をメモリ８０８から読み出してスイッチ回路８１０の可動端子ｃに供給する。

加算回路８０７は逆ＤＣＴ回路８０６から供給される逆ＤＣＴデータとスイッチ回路８１０から供給される動き補償されたデータを加算し、再生されたフレームＦ３としてメモリ８０８と並べ替え回路８１１に供給する。メモリ８０８は加算回路８０７から供給される加算データを記憶する。

次にピクチャＢ１、Ｂ２が再生されるが、記録開始時のフレームではないため、双方向予測としてフレームＦ０とＦ３から再生されるということ以外は上記Ｂ−２、Ｂ−１で説明したのと同様の手続きをとって再生される。かくして上記で説明したように順次Ｐ６、Ｂ４、Ｂ５、…、と再生されていく。

並べ替え回路８１１は順次再生されてくるフレームＦ０、Ｆ−２、Ｆ−１、Ｆ３、Ｆ１、Ｆ２、Ｆ６、Ｆ４、Ｆ５、…、をＦ−２、Ｆ−１、Ｆ０、Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６、…、の順に並べ換えて出力端子８１２に出力する。

上記のファイル再生開始時にヘッダ情報解析回路８１３はＭＰ４ファイルの moov ボックスの mdat 内の格納状況を示す stco ボックス、stsc ボックス、stsz ボックスからオフセットやchunkやsampleの情報を解析している。そのため、再生制御回路８１４はＧＯＰ１まで読み飛ばしてＧＯＰ１から次の再生を始めるように働く。

ところで、レンズ交換式のデジタルカメラでは、レンズをカメラ本体から取り外した際にカメラ本体の内部に空気中に浮遊する埃などが侵入する可能性がある。また、カメラ内部には、例えばシャッター機構等の機械的に動作する各種の機構部が配設されており、これらの機構部が動作することにより、カメラ本体内で金属片などのゴミ等が発生する場合もある。

このようなゴミや埃などの異物がデジタルカメラの撮像部を構成する撮像素子の表面に付着すると、その異物は撮影された画像に影となって写り込んでしまい、撮影画像の品位を低下させてしまう。

このような問題点を解決するため、異物の影が写り込んだ部分を周囲の画素の信号などを用いて補正する方法が考えられる。

このように異物の影を補正する方法に応用できる技術として、例えば特許文献１には、撮像素子の画素欠陥を補正するための画像欠陥補正方法が提案されている。

また特許文献２には、画素欠陥の位置情報の設定を簡略化するために、ゴミ取得モードで撮影した画像ファイルの拡張子などを通常画像と異ならせることで、ＰＣ側でゴミ情報画像を自動判別し、その情報を用いて補正対象画像を補正する方法が提案されている。

さらに、上記のゴミ情報を、撮影した画像ファイルに撮影情報として記録し、後にその情報を用いて補正対象画像の補正を行うような製品もある。
特開２００３−２８９４９５号公報 特開平６−１０５２４１号公報 特開２００４−２４２１５８号公報 ISO/IEC 14496-10,"Advanced Video Coding"

しかしながら、前述したＭＰ４ファイルのような動画ファイルを、前述のゴミ情報をもとに補正対象画像の補正を行いながら再生することは、使用するメモリ量を増やしたり、動作速度の低下による動画再生の品位の低下といった問題を引き起こす。

というのも、静止画再生ではゴミ補正後の静止画を再生するため、１画像につき、１度のゴミ補正を行えばよい。仮にメモリなどの制限によりゴミ補正処理に時間がかかる場合でも、静止画像の再生であることから、ゴミ補正処理が完了するまで待つことの弊害は少ない。

しかし、動画再生では一秒間に１５フレーム、３０フレームといった、複数の静止画像を連続で再生することにより画像の動きを表現している。そのため、一般的な再生処理に加えて、一秒間に１５フレームでは１５回のゴミ補正処理を、３０フレームでは３０回のゴミ補正処理を余分に行わなければならず、その限られた時間内に処理を終えないと自然な動画再生を行うことはできない。したがって、自然な動画再生を行うことはできない場合にはゴミ補正を行わずに動画の再生を行う処理が考えられる。そのため、一時停止、コマ送りといったじっくりと長い間、ユーザーが画像を目にする動画再生中の静止画表示の場合において、ゴミ補正がされない品位の下がった画像が表示される課題がある。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、動画再生中に一時停止、コマ送りなどの動作を行う場合に、表示画像の品位の低下を抑制できるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる画像処理装置は、動画像データを再生する画像処理装置であって、異物の影が写り込んだ動画像データが入力される入力手段と、前記異物の位置と大きさの情報を含む異物情報を取得する取得手段と、前記取得手段により取得された前記異物情報を用いて前記動画像データの前記異物の影を補正する補正手段と、前記動画像データを再生する再生手段と、前記再生手段により再生された画像を出力する出力手段と、前記再生手段による前記動画像データの再生状況に応じて、前記補正手段による補正動作を行うか否かを設定する設定手段と、を備え、前記設定手段は、前記動画像データの再生状況が一時停止の状況である場合に、一時停止した時点で前記出力手段から出力される再生フレームに対して異物の影を補正する処理を行う設定をすることを特徴とする。
また、本発明に係わる画像処理装置は、動画像データを再生する画像処理装置であって、異物の影が写り込んだ動画像データが入力される入力手段と、前記異物の位置と大きさの情報を含む異物情報を取得する取得手段と、前記取得手段により取得された前記異物情報を用いて前記動画像データの前記異物の影を補正する補正手段と、前記動画像データを再生する再生手段と、前記再生手段により再生された画像を出力する出力手段と、前記再生手段による前記動画像データの再生状況に応じて、前記補正手段による補正動作を行うか否かを設定する設定手段と、を備え、前記設定手段は、前記動画像データの再生状況が一時停止の状況である場合に、前記出力手段から出力される任意の再生フレームに対して異物の影を補正する処理を行う設定をすることを特徴とする。
また、本発明に係わる画像処理装置は、動画像データを再生する画像処理装置であって、異物の影が写り込んだ動画像データが入力される入力手段と、前記異物の位置と大きさの情報を含む異物情報を取得する取得手段と、前記取得手段により取得された前記異物情報を用いて前記動画像データの前記異物の影を補正する補正手段と、前記動画像データを再生する再生手段と、前記再生手段により再生された画像を出力する出力手段と、前記再生手段による前記動画像データの再生状況に応じて、前記補正手段による補正動作を行うか否かを設定する設定手段と、を備え、前記設定手段は、前記動画像データの再生状況がコマ送り、又はコマ戻しの状況である場合に、前記出力手段から出力される再生フレームに対して異物の影を補正する処理を行う設定をすることを特徴とする。
また、本発明に係わる画像処理装置は、動画像データを再生する画像処理装置であって、異物の影が写り込んだ動画像データが入力される入力手段と、前記異物の位置と大きさの情報を含む異物情報を取得する取得手段と、前記取得手段により取得された前記異物情報を用いて前記動画像データの前記異物の影を補正する補正手段と、前記動画像データを再生する再生手段と、前記再生手段により再生された画像を出力する出力手段と、前記再生手段による前記動画像データの再生状況に応じて、前記補正手段による補正動作を行うか否かを設定する設定手段と、を備え、前記設定手段は、前記動画像データの再生状況がスロー再生の状況である場合に、前記出力手段から出力される再生フレームに対して異物の影を補正する処理を行う設定をすることを特徴とする。
また、本発明に係わる画像処理装置は、動画像データを再生する画像処理装置であって、異物の影が写り込んだ動画像データが入力される入力手段と、前記異物の位置と大きさの情報を含む異物情報を取得する取得手段と、前記取得手段により取得された前記異物情報を用いて前記動画像データの前記異物の影を補正する補正手段と、前記動画像データを再生する再生手段と、前記再生手段により再生された画像を出力する出力手段と、前記再生手段による前記動画像データの再生状況に応じて、前記補正手段による補正動作を行うか否かを設定する設定手段と、を備え、前記設定手段は、前記動画像データの再生状況が早送り再生または早戻し再生の状況である場合に、前記出力手段から出力される再生フレームに対して異物の影を補正しない設定をすることを特徴とする。

また、本発明に係わる画像処理装置の制御方法は、動画像データを再生する画像処理装置を制御する方法であって、異物の影が写り込んだ動画像データが入力される入力工程と、前記異物の位置と大きさの情報を含む異物情報を取得する取得工程と、前記取得工程において取得された前記異物情報を用いて前記動画像データの前記異物の影を補正する補正工程と、前記動画像データを再生する再生工程と、前記再生工程における前記動画像データの再生状況に応じて、前記補正工程における補正動作を行うか否かを設定する設定工程と、を備え、前記設定工程は、前記動画像データの再生状況が一時停止の状況である場合に、一時停止した時点で前記出力工程において出力される再生フレームに対して異物の影を補正する処理を行う設定をすることを特徴とする。

本発明によれば、動画再生中に一時停止、コマ送りなどの動作を行う場合に、表示画像の品位の低下を抑制することが可能となる。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

まず、本発明の各実施形態に共通する撮像装置の構成を図１０を参照して説明する。

本実施形態においては、撮像装置としてレンズ交換可能な一眼レフタイプのデジタルスチルカメラを例にとって説明する。なお、本発明は、他にレンズ交換が可能なデジタルビデオカメラ等にも適用可能である。

図１０に示すように、本実施形態の撮像装置は、主にカメラ本体１００と、交換レンズタイプのレンズユニット３００とから構成されている。

レンズユニット３００において、３１０は複数のレンズからなる撮像レンズ、３１２は絞り、３０６は、レンズユニット３００をカメラ本体１００と機械的に結合するレンズマウントである。レンズマウント３０６内には、レンズユニット３００をカメラ本体１００と電気的に接続する各種機能が含まれている。３２０は、レンズマウント３０６において、レンズユニット３００をカメラ本体１００と接続するためのインターフェース、３２２はレンズユニット３００をカメラ本体１００と電気的に接続するコネクタである。

コネクタ３２２は、カメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給される機能も備えている。また、コネクタ３２２は電気通信のみならず、光通信、音声通信などを伝達する構成としても良い。

３４０は測光制御部４６からの測光情報に基づいて、後述するカメラ本体１００のシッター１２を制御するシャッター制御部４０と連携しながら、絞り３１２を制御する絞り制御部である。３４２は撮像レンズ３１０のフォーカシングを制御するフォーカス制御部、３４４は撮像レンズ３１０のズーミングを制御するズーム制御部である。

３５０はレンズユニット３００全体を制御するレンズシステム制御回路である。レンズシステム制御回路３５０は、動作用の定数、変数、プログラムなどを記憶するメモリを備えている。更に、レンズユニット３００固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離などの機能情報、現在や過去の各設定値などを保持する不揮発性メモリも備えている。

次に、カメラ本体１００の構成について説明する。

１０６はカメラ本体１００とレンズユニット３００を機械的に結合するレンズマウント、１３０、１３２はミラーで、撮像レンズ３１０に入射した光線を一眼レフ方式によって光学ファインダー１０４に導く。なお、ミラー１３０はクイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。１２はシャッター、１４は被写体像を光電変換する撮像素子である。撮像レンズ３１０に入射した光線は、一眼レフ方式によって光量制限手段である絞り３１２、レンズマウント３０６及び１０６、ミラー１３０、シャッター１２を介して導かれ、光学像として撮像素子１４上に結像する。

１６は、撮像素子１４から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、必要に応じて、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路５０がシャッター制御部４０、焦点調節部４２を制御するための、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行う。さらに、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。

なお、本実施形態における図１０に示す例では、焦点調節部４２及び測光制御部４６を専用に備えている。従って、焦点調節部４２及び測光制御部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行わない構成としても構わない。また、焦点調節部４２及び測光制御部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、さらに、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行う構成としてもよい。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理回路２０、メモリ制御回路２２を介して、或いはメモリ制御回路２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ方式のＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ本体１００の電力消費を大幅に低減することができる。

３０は撮影した静止画像を格納するためのメモリであり、所定枚数の静止画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は公知の圧縮方法を用いて画像データを圧縮・伸長する圧縮・伸長回路である。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。

４０はシャッター制御部であり、測光制御部４６からの測光情報に基づいて絞り３１２を制御する絞り制御部３４０と連携しながらシャッター１２を制御する。４２はＡＦ（オートフォーカス）処理を行うための焦点調節部である。レンズユニット３００内の撮像レンズ３１０に入射した光線を絞り３１２、レンズマウント３０６、１０６、ミラー１３０及び焦点調節用サブミラー（不図示）を介して一眼レフ方式で入射することにより、光学像として結像された画像の合焦状態を測定する。

４６はＡＥ（自動露出）処理を行うための測光制御部である。レンズユニット３００内の撮像レンズ３１０に入射した光線を、絞り３１２、レンズマウント３０６、１０６、ミラー１３０及び測光用サブミラー（図示せず）を介して一眼レフ方式で入射することにより、光学像として結像された画像の露出状態を測定する。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。測光制御部４６はフラッシュ４８と連携することにより、ＥＦ（フラッシュ調光）処理機能も有する。

また、焦点調節部４２による測定結果と、Ａ／Ｄ変換器１６からの画像データを画像処理回路２０によって演算した演算結果とを用いて、ＡＦ制御を行うようにしてもよい。さらに、測光制御部４６による測定結果と、Ａ／Ｄ変換器１６からの画像データを画像処理回路２０によって演算した演算結果とを用いて露出制御を行うようにしてもよい。

５０はカメラ本体１００全体を制御するシステム制御回路であり、周知のＣＰＵなどを内蔵する。５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声などを用いて動作状態やメッセージなどを外部に通知するための通知部である。通知部５４としては、例えばＬＣＤやＬＥＤなどによる視覚的な表示を行う表示部や音声による通知を行う発音素子などが用いられるが、これらのうち１つ以上の組み合わせにより構成される。特に、表示部の場合には、カメラ本体１００の操作部７０近辺の、視認しやすい、単数あるいは複数箇所に設置されている。また、通知部５４は、その一部の機能が光学ファインダー１０４内に設置されている。

通知部５４の表示内容の内、ＬＣＤなどの画像表示部２８に表示するものとしては以下のものがある。まず、単写／連写撮影表示、セルフタイマ表示等、撮影モードに関する表示がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示等の記録に関する表示がある。また、シャッター速度表示、絞り値表示、露出補正表示、調光補正表示、外部フラッシュ発光量表示、赤目緩和表示等の撮影条件に関する表示がある。その他に、マクロ撮影表示、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及びＰＣ２１０の着脱状態表示がある。更に、レンズユニット３００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、外部コンピュータとの接続状態を示す表示等も行われる。

また、通知部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、例えば、以下のものがある。合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッター速度表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示等である。

５６は後述するプログラムなどが格納された電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６０、６２、６４、６６、６８、及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、焦点深度優先（デプス）撮影モード等の各機能撮影モードを切り替え設定することができる。他に、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、パノラマ撮影モードなどの各機能撮影モードを切り替え設定することもできる。また、本実施形態の特徴でもある動画撮影モードへの移行もこのモードダイアルで切り替えることができる。

６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中（例えば半押し）でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了（例えば全押し）でＯＮとなり、露光処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に書き込み、更に、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理が行われる。更に、記録処理では、メモリ３０から画像データを読み出し、圧縮・伸張回路３２で圧縮を行い、記録媒体２００あるいはＰＣ２１０に書き込む、または送信する。

６６は再生スイッチであり、撮影モード状態で撮影した画像をメモリ３０あるいは記録媒体２００、ＰＣ２１０から読み出して画像表示部２８に表示する再生動作の開始を指示する。その他に、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを設定することができる。

６８は単写／連写スイッチで、シャッタースイッチＳＷ２（６４）を押した場合に、１コマの撮影を行って待機状態とする単写モードと、シャッタースイッチＳＷ２（６４）を押している間、連続して撮影を行い続ける連写モードとを設定することができる。

７０は各種ボタンやタッチパネルなどからなる操作部である。一例として、ライブビュー開始／停止ボタン、メニューボタン、セットボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り換えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。更に、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、調光補正ボタン、外部フラッシュ発光量設定ボタン、日付／時間設定ボタンなども含む。なお、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。

また、画像表示部２８のＯＮ／ＯＦＦを設定する画像表示ＯＮ／ＯＦＦスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューＯＮ／ＯＦＦスイッチがある。また、ＪＰＥＧ圧縮の圧縮率を選択するため、あるいは撮像素子の信号をそのままデジタル化して記録媒体に記録するＲＡＷモードを選択するためのスイッチである圧縮モードスイッチがある。また、ワンショットＡＦモードとサーボＡＦモードとを設定可能なＡＦモード設定スイッチなどがある。ワンショットＡＦモードでは、シャッタースイッチＳＷ１（６２）を押した際にオートフォーカス動作を開始し、一旦合焦した場合、その合焦状態を保ち続ける。サーボＡＦモードでは、シャッタースイッチＳＷ１（６２）を押している間、連続してオートフォーカス動作を続ける。更に、後述するようにゴミ検出用画像を撮影してゴミ情報を取得する、ゴミ情報取得モードを設定することができる設定スイッチを含む。

７２は電源スイッチであり、カメラ本体１００の電源オン、電源オフの各モードを切り替え設定することができる。また、カメラ本体１００に接続されたレンズユニット３００、外部フラッシュ１１２、記録媒体２００、ＰＣ２１０等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。

８０は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ−ｉｏｎ電池、Ｌｉポリマー電池等の二次電池、ＡＣアダプター等からなる電源部である。

９０及び９４はメモリカードやハードディスク等の記録媒体やＰＣとのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体やＰＣと接続を行うコネクタである。９８はコネクタ９２及び／或いは９６に記録媒体２００或いはＰＣ２１０が装着されているか否かを検知する記録媒体着脱検知回路である。

なお、本実施形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。

インタフェース及びコネクタとしては、種々の記憶媒体の規格に準拠したものを用いて構成することが可能である。例えば、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）カードやＣＦ（コンパクトフラッシュ（登録商標））カード、ＳＤカード等である。インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢ（Universal Serial Bus）カード、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４カードがある。他にも、Ｐ１２８４カード、ＳＣＳＩ（Small Computer System Interface）カード、ＰＨＳ等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

１０４は光学ファインダーであり、撮像レンズ３１０に入射した光線を、一眼レフ方式によって、絞り３１２、レンズマウント３０６、１０６、ミラー１３０、１３２を介して導き、光学像として結像させて表示することができる。これにより、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダーのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、通知部５４の一部の機能、例えば、合焦状態、手振れ警告、フラッシュ充電、シャッター速度、絞り値、露出補正などが表示される。

１１２は、アクセサリシュー１１０を介して装着される、外部フラッシュ装置である。

１２０はレンズマウント１０６内でカメラ本体１００をレンズユニット３００と接続するためのインタフェースである。

１２２はカメラ本体１００をレンズユニット３００と電気的に接続するコネクタである。また、レンズマウント１０６及びコネクタ１２２にレンズユニット３００が装着されているか否かは、不図示のレンズ着脱検知部により検知される。コネクタ１２２はカメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、コネクタ１２２は電気通信だけでなく、光通信、音声通信などを伝達する構成としてもよい。

２００はメモリカードやハードディスク等の記録媒体である。この記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、カメラ本体１００とのインタフェース２０４、カメラ本体１００と接続を行うコネクタ２０６を備えている。

記録媒体２００としては、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等を用いることができる。また、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＲＷ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論構わない。

２１０はＰＣであり、磁気ディスク（ＨＤ）等から構成される記録部２１２、カメラ本体１００とのインタフェース２１４、カメラ本体１００と接続を行うコネクタ２１６を備えている。インタフェース９４はＵＳＢやＩＥＥＥ１３９４などが挙げられるが、特に限定はない。

次に、上記構成を有する撮像装置おける撮像素子の前方に配置されたローパスフィルタやカバーガラス等の光学部材上のゴミの影響を補正しながら再生する処理について説明する。

本実施形態では、まず、ゴミ情報（異物情報）を得るためのゴミ検出用画像（静止画）を撮影し、ゴミデータを抽出し、以降撮影される通常の画像（動画像）に対して、ゴミデータを付加することで、ＰＣなどでゴミ補正しながら再生を行う方法を示す。ここでゴミ検出用画像は、できるだけ均一な輝度面を撮影した画像が望ましいが、身近な場所で容易に撮影できることが望ましいため、厳密な均一性を要求するものではない。例えば、青空や白い壁面を撮影することを想定している。また、本実施形態の特徴を述べるために主に動画ファイルであるＭＰ４ファイルフォーマットでの動作について詳細に述べるものとする。

図１１は、本実施形態におけるゴミ情報を取得する際の撮像装置における処理を示すフローチャートである。

まずステップＳ１１０１において、操作部７０によりゴミ情報取得モードが選択されたかどうかを判定する。ゴミ情報取得モードが選択されるまでステップＳ１１０１の判定を繰り返し、ゴミ情報取得モードが選択されるとステップＳ１１０２へ進み、シャッタースイッチＳＷ１（６２）がＯＮされたかどうかを判断する。ＯＦＦであればステップＳ１１０１に戻って上記処理を繰り返す。

一方、ＯＮであれば、絞り、ＩＳＯ値、シャッタースピード、その他撮影関連のパラメータを設定する（ステップＳ１１０３）。ここで設定されるパラメータを図１２に示す。絞りはＦ２２など、絞りを絞り込んだ設定とする。レンズマウント１０６に接続されるレンズユニット３００において設定可能な範囲内で最も絞り込んだ状態で撮影するものとしてもよい。このように絞りを絞るのは、ゴミは通常撮像素子１４の表面ではなく、撮像素子１４を保護する保護用ガラスや、撮像素子より被写体側に配置される光学フィルター上に付着しているため、レンズユニット３００の絞り値によって結像状態が異なるためである。そのため、絞りが開放値に近いとぼやけてしまい、適切なゴミ検出用の画像が取得できないので、できるだけ絞り込んだ状態で撮影するのが好ましい。

図１１のフローチャートの説明に戻ると、この時までに撮影者はできるだけ白い壁などの均一輝度面に撮像装置を向け、シャッタースイッチＳＷ２（６４）を操作することとなる。

ステップＳ１１０４ではシャッタースイッチＳＷ２（６４）がＯＮされたかどうかを判断する。ＯＦＦであればステップＳ１１０２に戻りシャッタースイッチＳＷ１（６２）の判定を行う。ＯＮであればステップＳ１１０５へ進む。ステップＳ１１０５ではゴミ検出用画像（均一輝度面）の撮影を行って、メモリ３０内に画像データを取り込む。次にステップＳ１１０６ではメモリ３０内に記憶した画像データからゴミ情報を取得する。

ここで、ゴミ情報の取得について説明する。具体的には、撮影したゴミ検出用画像からゴミ領域の位置（座標）と大きさを求めるものである。まず、撮影したゴミ検出用画像の領域を複数のブロックに分割し、ブロック内の最大輝度Ｌmax、平均輝度Ｌaveを算出し、次式を用いてブロック内のスレッショルド値Ｔ１を算出する。

Ｔ１＝Ｌave×０.６＋Ｌmax×０.４
次に、スレッショルド値Ｔ１を超えない画素をゴミ画素とし、ゴミ画素によって構成される孤立領域を各々一つのゴミ領域ｄｉ（ｉ＝０，１，…，ｎ）とする。

図１３は、ゴミ領域サイズ算出の概要を示す図である。図１３に示すように、ゴミ領域毎に、ゴミ領域を構成する画素の水平方向の座標の最大値Ｘmaxおよび最小値Ｘmin、垂直方向の座標の最大値Ｙmaxおよび最小値Ｙminを求め、ゴミ領域ｄｉのサイズを表す半径ｒｉを次式によって算出する。

ｒｉ＝［√｛（Ｘmax−Ｘmin）²＋（Ｙmax−Ｙmin）²｝］／２
また、このときの中心座標（Ｘｄｉ，Ｙｄｉ）は、近似的に
Ｘｄｉ＝（Ｘmax＋Ｘmin）／２
Ｙｄｉ＝（Ｙmax＋Ｙmin）／２
で求めるものとする。このように求められた位置（座標）と半径を、ゴミ情報プロファイルとして記録する。

このゴミ情報プロファイルは、図１４に示すような構造をとる。図１４に示す通り、ゴミ情報プロファイルには、ゴミ検出用画像撮影時の、レンズ情報とゴミの位置、大きさの情報が格納される。更に具体的には、検出用画像撮影時のレンズ情報として、検出用画像撮影時における実際の絞り値（Ｆ値）と、そのときのレンズ瞳位置を格納する。続いて記憶領域に検出したゴミ領域の数（整数値）を格納し、これに続き、個々の具体的なゴミ領域のパラメータを、ゴミ領域の数だけ繰返して格納する。ゴミ領域のパラメータは、ゴミの半径（例えば２バイト）、有効画像領域における中心のｘ座標（例えば２バイト）、おなじく中心のｙ座標（例えば２バイト）の３つの数値のセットである。

取得したゴミ情報（ゴミ情報プロファイル）はステップＳ１１０７で不揮発性メモリ５６に記憶され、ゴミ情報取得のための処理を終了する。ここで不揮発性メモリ５６にゴミ情報を記憶するのは、ゴミ情報の取得以降、次にゴミ情報を取得するまでに行われる通常撮影で得られた画像データ（動画像データ）に継続してゴミ情報を付加するためである。そのため、電源オン操作の度に撮影者にゴミ情報の取得を要求するような構成をとる場合は不揮発性メモリでなくとも構わない。

なお、本実施形態の撮像装置で動画を撮影する場合は、前述したＭＰ４ファイルの動画ファイルを用いるため、一旦不揮発性メモリ５６に記憶されたゴミ情報プロファイルを、動画データの moov ボックス内のヘッダ情報からなる mvhd ボックス、もしくは moof ボックス内の mvhd ボックスに格納しておく。これにより、撮像装置で撮像された動画像データに対してゴミ情報を付加することができる。

次に、ゴミ補正再生処理の流れについて説明する。以下では、ゴミ補正再生処理をデジタルカメラ本体内ではなく、別途用意した画像処理装置上で行う場合について説明する。 図１５は、画像処理装置のシステム構成の概略を示した図である。

ＣＰＵ１５０１は、システム全体の動作をコントロールし、一次記憶部１５０２に格納されたプログラムの実行などを行う。一次記憶部１５０２は、主にメモリであり、二次記憶部１５０３に記憶されたプログラムなどを読み込んで格納する。二次記憶部１５０３は、例えばハードディスクなどがこれに該当する。一般に一次記憶部の容量は二次記憶部の容量より小さく、一次記憶部に格納しきれないプログラムやデータなどは二次記憶部に格納される。また、長時間記憶しなくてはならないデータなども二次記憶部に格納される。

本実施形態では、プログラムを二次記憶部１５０３に格納し、プログラム実行時に一次記憶部１５０２に読み込んでＣＰＵ１５０１が実行処理を行う。入力デバイス１５０４とは、例えば、システムのコントロールに用いるマウスやキーボードの他、画像データの入力に必要なカードリーダー、スキャナ、フィルムスキャナなどがこれに該当する。出力デバイス１５０５とは、例えば、モニタやプリンタなどが考えられる。この装置の構成方法は他にも様々な形態が考えられるが、本発明の主眼ではないので説明を省略する。

画像処理装置には、複数のプログラムを並列実行可能なオペレーティングシステムが搭載され、操作者はＧＵＩを使ってこの装置上で動作するプログラムの操作が可能である。

図１６は、画像処理装置における画像編集プログラムのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を示す図である。

ウィンドウにはクローズボタン１６００とタイトルバー１６０１が備えられ、クローズボタンを押すことでプログラムを終了する。ファイルを画像表示領域１６０２にドラッグアンドドロップすることで補正再生対象画像を指定し、補正再生対象画像が決定された場合、タイトルバー１６０１にファイル名を表示した後、画像表示領域１６０２に対象画像をＦiｔ表示する。なお、このＦｉｔ表示は動画再生中の静止画再生として扱えるので、このＦｉｔ表示で後述する再生状況判断ゴミ補正処理により表示が行われてもよい。

再生ボタン１６０３を押すと、再生処理を実行し、処理後の画像を画像表示領域１６０２に表示する。一時停止ボタン１６０４を押すと再生中の動画像を一時停止する。その状態からコマ送りボタン１６０５を押す毎に、或いはコマ戻しボタン１６０６を押す毎に、１コマ送り又は１コマ戻しが行われる。

スロー再生ボタン１６０７を押すと、スロー再生処理を実行し、処理後の画像を画像表示領域１６０２に表示する。スロー再生は公知技術なので、その再生方法は詳細に述べないが、１フレームの表示時間を延ばすことにより、通常再生より、ゆっくりと動画の再生を行うことである。

早送り再生ボタン１６０８を押すと、早送り再生処理を実行し、処理後の画像を画像表示領域１６０２に表示する。早送り再生は公知技術なので、その再生方法は詳細に述べないが、フレームを間引いたり、表示時間を縮めることにより、通常再生より早く動画の再生を行うことである。

早戻し再生ボタン１６０９を押すと、早戻し再生処理を実行し、処理後の画像を画像表示領域１６０２に表示する。早戻し再生は公知技術なので、その再生方法は詳細に述べないが、フレームを間引いたり、表示時間を縮めながら、フレームの流れを逆に表示することにより、通常再生より早く、かつ、時間の流れにさかのぼって動画の再生を行うことである。

次に、画像処理装置における再生状況判断ゴミ補正処理の流れを、図１７に示す。図１７では、一時停止の場合の再生状況判断ゴミ補正処理の流れを説明する。

まず、デジタルカメラ内又はデジタルカメラから取り外された記録媒体２００からゴミ位置補正データが付加された動画像ファイルを画像処理装置に取り込んで、一次記憶部１５０２又は二次記憶部１５０３に記憶する（ステップＳ１７０１）。次に、ステップＳ１７０２で表示フレーム取得処理（ＭＰ４ファイルを復号化してフレームを再生する処理）をするが、この処理に関しては、背景技術ですでに述べた公知の技術なので詳細な説明は省略する。

ステップＳ１７０３では一時停止ボタン１６０４が押されたかの判断を行う。もしステップＳ１７０３で一時停止ボタン１６０４が押されていないと判断すれば、表示処理を行う（ステップＳ１７０４）。表示処理とはステップＳ１７０２で取得したフレームを画像表示領域１６０２に表示する処理を行うことである。なお、メモリなどのリソースや、ゴミ補正のための処理時間が許す限り、表示処理の前にゴミ補正処理を行っても、もちろん構わない。しかし、本実施形態の特徴をよりわかりやすく表現するために、ここではあえて、ゴミ補正処理を行わず表示することとする。

ステップＳ１７０５では最終フレームかどうかの判断を行う。もし、最終フレームと判断されれば、再生状況判断ゴミ補正処理を終了する。最終フレームでなければ、ステップＳ１７０２で次に表示するフレームを取得し、全フレームが終了するまで、これらを繰り返す。

一方、ステップＳ１７０３で一時停止ボタン１６０４が押されていると判断すれば、動画再生を一時中断し、一時停止ボタン１６０４が押された時点の再生フレームを静止画として表示するが、その前に、そのフレームに対してステップＳ１７０６のゴミ補正処理を行う。ゴミ補正処理については図１８を参照して後述する。

次にステップＳ１７０７で表示処理を行う。ステップＳ１７０７の表示処理はステップＳ１７０４と同じ表示処理であるが、ステップＳ１７０６でゴミ補正処理によりゴミが補正されたフレームを一時停止中の静止画として表示する。ステップＳ１７０８で一時停止を終了する指示が出されたと判断したら、ステップＳ１７０５に移行し、全フレームが終了するまで、これらを繰り返す。

以上のような流れで、再生状況判断ゴミ補正処理が行われる。

次に、図１７のステップＳ１７０６で行われるゴミ補正処理の流れを図１８に示す。

まず、画像表示領域１６０２に表示された動画像の各ビデオサンプル（フレーム）からゴミ補正処理を行うフレームを選択する（ステップＳ１８０１）。ここでゴミ補正処理を行うフレームは図１７のステップＳ１７０２で取得した表示フレームのことであり、選択されたフレームが含まれる moov もしくは moof から、ゴミ位置補正データを抽出する。そして、抽出したゴミ位置補正データから、まずゴミ補正データ（ゴミ情報プロファイル）を抽出し、座標列Ｄｉ（ｉ＝１，２，…ｎ）、半径列Ｒｉ（ｉ＝１，２，…，ｎ）、絞り値ｆ１とレンズ瞳位置Ｌ１を得る。さらに、撮影時の絞り値ｆ２とレンズの瞳位置Ｌ２を取得する（ステップＳ１８０２）。ここでＲｉは、図１１のステップＳ１１０６で算出した座標Ｄｉのゴミの大きさである。

次に、ステップＳ１８０３でＤｉを次式で変換する。ここで、ｄは画像中心から座標Ｄｉまでの距離、Ｈは撮像素子１４の表面とゴミとの距離であるとする。変換後の座標Ｄｉ’と変換後の半径Ｒｉ’は例えば次式で定義する。

Ｄｉ’（ｘ，ｙ）＝（Ｌ２×（Ｌ１−Ｈ）×ｄ／（（Ｌ２−Ｈ）×Ｌ１））×Ｄｉ（ｘ，ｙ）
Ｒｉ’＝（Ｒｉ×ｆ１／ｆ２＋３） （１）
ここでの単位はピクセルであり、Ｒｉ’についての「＋３」はマージン量である。

ステップＳ１８０４で座標Ｄｉ’、半径Ｒｉ’で示される領域内のゴミを検出し、必要に応じて補間処理を適用する。補間処理の詳細については後述する。

ステップＳ１８０５で全ての座標についてゴミ除去処理を適用したかどうかを判定し、全ての座標について処理が終わっていれば処理を終了し、そうでなければステップＳ１８０４に戻る。

以上が、ゴミ補正処理の流れである。

次に、ゴミ領域の補間処理の詳細について述べる。補間ルーチンの流れを示すフローチャートを図１９に示す。まずステップＳ１９０１で、ゴミ領域判定を行う。ゴミ領域とは、次の条件全てを満たす領域とする。
（１）図１８のステップＳ１８０３で算出した中心座標Ｄｉ’、半径Ｒｉ’（式（１）で求められたＤｉ’，Ｒｉ’）に含まれる画素の平均輝度Ｙaveと最高輝度Ｙmaxを用いて次式で求められるスレッショルド値Ｔ２より暗い領域。

Ｔ２＝Ｙave×０.６＋Ｙmax×０.４
（２）上記の中心座標Ｄｉ’、半径Ｒｉ’の円と接しない領域。
（３）（１）で選択された輝度の低い画素によって構成される孤立領域に対し、図１１中のステップＳ１１０６と同様の方法で算出した半径値がl１画素以上、l２画素未満である領域。
（４）円の中心座標Ｄｉを含む領域。

本実施形態では、l１は３画素、l２は３０画素とする。このようにすることで、孤立した小領域だけをゴミ領域として扱うことが可能になる。また、レンズ瞳位置が正確に取得できない場合には、（４）の条件は幅を持たせても良い。例えば、着目領域が座標ＤｉからＸ方向、Ｙ方向に夫々±３画素の範囲の座標を含めば、ゴミ領域と判定するなどという条件が考えられる。

ステップＳ１９０２で、このような領域があればステップＳ１９０３へ進みゴミ領域補間を行い、存在しない場合は処理を終了する。ステップＳ１９０３で実行するゴミ領域補間処理は、公知の欠損領域補間法で行う。公知の欠損領域補間法には、例えば、特開２００１−２２３８９４号公報に開示されているパターン置換がある。特開２００１−２２３８９４号公報では赤外光を用いて欠損領域を特定しているが、本実施形態ではステップＳ１９０１で検出したゴミ領域を欠損領域として扱い、パターン置換によりゴミ領域を周囲の正常画素で補間する。パターン置換で埋められない画素については、パターン補間後の画像データに対し、補間対象画素に最も近い順に正常画素をｐ個選択し、その平均色を用いて補間する。

以上が、ゴミ領域の補間処理の流れである。

以上説明したように、本実施形態によれば、ＭＰ４ファイルのような動画ファイルをゴミ情報を用いて、ゴミ補正処理を行いながら再生する際における動作速度の向上、メモリなどのリソース使用量の削減を行いながら、かつ、一時停止といったじっくりと長い間ユーザーが画像を目にする動画再生中の静止画の表示において、ユーザーにゴミなどの写りこみが補正された高品位な画像を提供することができる。

（第２の実施形態）
本発明の第２の実施形態における画像処理装置の構成は、図１５に示したものと同じであり、その動作が異なる。以下、第２の実施形態における動作について説明する。

図２０は、第２の実施形態における再生状況判断ゴミ補正処理を示すフローチャートであり、第１の実施形態と異なる部分である。

図２０では、第１の実施形態と同様に一時停止の場合の再生状況判断ゴミ補正処理の流れを説明する。

まず、デジタルカメラ内又はデジタルカメラから取り外された記録媒体２００からゴミ位置補正データが付加された動画像ファイルを画像処理装置に取り込んで、一次記憶部１５０２又は二次記憶部１５０３に記憶する（ステップＳ２００１）。

ステップＳ２００２では一時停止ボタン１６０４が押されたか否かの判断を行う。もしステップＳ２００２で一時停止ボタン１６０４が押されていないと判断すれば、ステップＳ２００３で表示フレームを取得し、表示処理を行う（ステップＳ２００４）。ステップＳ２００５で最終フレームかどうかの判断を行うのは第１の実施形態と同様である。

もし、最終フレームと判断されれば、再生状況判断ゴミ補正処理を終了し、最終フレームでなければ、ステップＳ２００３で次に表示するフレームを取得し、全フレームが終了するまでこれらを繰り返すのも同様である。

一方、ステップＳ２００２で一時停止ボタン１６０４が押されたと判断すれば、動画再生を一時中断し、ステップＳ２００６で任意の表示フレームの取得を行う。本実施形態ではステップＳ２００６において取得する任意の表示フレームは、ステップＳ２００３で取得したフレームがあるなら、それを再利用してもよいし、それより１フレーム先のフレームでもよい。ステップＳ２００３で取得したフレームがなくても、任意のフレームを取得すればよいので、先頭フレームでもよいし、途中のフレームからでもよい。

そして、取得した任意の表示フレームを表示する前に、ステップＳ２００７のゴミ補正処理を行う。ゴミ補正処理については図１８を参照して説明したとおりである。

次にステップＳ２００８で表示処理を行う。ステップＳ２００８の表示処理はステップＳ２００４と同じ表示処理であるが、ステップＳ２００７でゴミ補正処理によりゴミが補正されたフレームを一時停止中の静止画として表示する。ステップＳ２００９で一時停止を終了する指示が出されたと判断したら、ステップＳ２００５に移行し、全フレームが終了するまで、これらを繰り返す。

以上のような流れで、再生状況判断ゴミ補正処理が行われる。

なお、ステップＳ２００６における、ステップＳ２００３で取得したフレームがある場合のフレームの再利用は、メモリの削減に有効であり、また、読み出しや転送の時間が省けるので動作速度の向上にも有効である。

以上のように第２の実施形態によれば、ＭＰ４ファイルのような動画ファイルをゴミ情報を用いて、ゴミ補正処理を行いながら再生する際における動作速度の向上、メモリなどのリソース使用量の削減を行いながら、かつ、一時停止といったじっくりと長い間、ユーザーが画像を目にする動画再生中の静止画の中から任意の静止画表示を行う場合において、ユーザーにゴミなどの写りこみが補正された高品位な画像を提供することができる。

（第３の実施形態）
本発明の第３の実施形態における画像処理装置の構成は、図１５に示したものと同じであり、その動作が異なる。以下、第３の実施形態における動作について説明する。

第３の実施形態におけるコマ送り、コマ戻しの場合の再生状況判断ゴミ補正処理を図２１を参照して説明する。

本実施形態のコマ送り、コマ戻しでは、一時停止の状態からコマ送りボタン１６０５又はコマ戻しボタン１６０６を押す毎に１コマ送り、１コマ戻しが行われる。

したがって、ステップＳ２１０３までは第１及び第２の実施形態と同様の流れである。

もしステップＳ２１０３で一時停止ボタン１６０４が押されていないと判断すれば、表示処理を行い（ステップＳ２１０４）、ステップＳ２１０５では最終フレームかどうかの判断を行うのも第１の実施形態と同様である。さらにもし、最終フレームと判断されれば、再生状況判断ゴミ補正処理を終了し、最終フレームでなければ、ステップＳ２１０２で次に表示するフレームを取得し、全フレームが終了するまでこれらを繰り返すのも同様である。

一方、ステップＳ２１０３で一時停止ボタン１６０４が押されていると判断すれば、ステップＳ２１０６でコマ送り処理が行われる。コマ送り処理については図２２で後述する。

次にステップＳ２１０７でステップＳ２１０２または後述するステップＳ２２０２、Ｓ２２０４で表示フレームを取得したかを判断し、もし表示フレームを取得したと判断すれば、ステップＳ２１０８、Ｓ２１０９で第１の実施形態のステップＳ１７０６、Ｓ１７０７と同様にゴミ補正処理を行って表示フレームを表示する。表示フレームを取得していないと判断すれば、ステップＳ２１１０で一時停止を終了する指示が出されたか否かの判断を行い、終了する指示が出ていなければ、ステップＳ２１０６にもどり、コマ送り処理を繰り返す。

もしステップＳ２１１０で一時停止が終了と判断されれば、ステップＳ２１０５に移行し、最終フレームかどうかの判断処理を行う。最終フレームでなければ、ステップＳ２１０２で次に表示するフレームを取得し、全フレームが終了するまでこれらを繰り返す。

次に前述のコマ送り処理の流れを図２２を参照して説明する。

まず、ステップＳ２２０１でコマ送りボタン１６０５が押されたかどうかの判断を行う。もし押されたと判断すれば、ステップＳ２２０２に移行し、図２１のステップＳ２１０２で取得したフレームの一つ先のフレームを取得し、終了する。

一方、ステップＳ２２０１でコマ送りボタン１６０５が押されていないと判断すれば、ステップＳ２２０３でコマ戻しボタン１６０６が押されたかどうかの判断を行う。もし押されたと判断すれば、ステップＳ２２０４に移行し、図２１のステップＳ２１０２で取得したフレームの一つ前のフレームを取得し、終了する。

ステップＳ２２０３でコマ戻しボタン１６０６が押されていないと判断すれば何もしないで終了する。

このような流れで、コマ送り、コマ戻し時の再生状況判断ゴミ補正処理が行われる。

以上のように第３の実施形態によれば、ＭＰ４ファイルのような動画ファイルをゴミ情報を用いて、ゴミ補正処理を行いながら再生する際における動作速度の向上、メモリなどのリソース使用量の削減を行いながら、かつ、コマ送り、コマ戻しといったじっくりと長い間、ユーザーが画像を目にする動画再生中の静止画の表示において、ユーザーにゴミなどの写りこみが補正された高品位な画像を提供することができる。

（第４の実施形態）
本発明の第４の実施形態における画像処理装置の構成は、図１５に示したものと同じであり、その動作が異なる。以下、第４の実施形態における動作について説明する。

第４の実施形態における再生状況判断ゴミ補正処理の流れを、図２３に示す。図２３では、スロー再生の場合の再生状況判断ゴミ補正処理の流れについて説明する。

図２３のステップＳ２３０２までは図１７のステップＳ１７０２までと同様の流れである。

もしステップＳ２３０３でスロー再生ボタン１６０７が押されていないと判断すれば、表示処理を行い（ステップＳ２３０４）、ステップＳ２３０５では最終フレームかどうかの判断を行うのは第１の実施形態と同様である。さらにもし、最終フレームと判断されれば、再生状況判断ゴミ補正処理を終了し、最終フレームでなければ、ステップＳ２３０２で次に表示するフレームを取得し、全フレームが終了するまでこれらを繰り返すのも同様である。

一方、ステップＳ２３０３でスロー再生ボタン１６０７が押されていると判断すれば、ステップＳ２３０６でゴミ補正処理を行う。これはスロー再生することにより、じっくりと長い間、ユーザーが動画像を目にすることで、ゴミが目立つのを防ぐためである。

ステップＳ２３０７の表示処理はステップＳ２３０４と同じ表示処理であるが、ステップＳ２３０６でゴミ補正処理によりゴミが補正されたフレームをスロー再生画として表示して、ステップＳ２３０５に移行し、全フレームが終了するまで、これらを繰り返す。

以上のような流れで、再生状況判断ゴミ補正処理が行われる。

以上のように第４の実施形態によれば、ＭＰ４ファイルのような動画ファイルをゴミ情報を用いて、ゴミ補正処理を行いながら再生する際における動作速度の向上、メモリなどのリソース使用量の削減を行いながら、かつ、スロー再生といったじっくりと長い間、ユーザーが画像を目にする動画再生中の画像表示において、ユーザーにゴミなどの写りこみが補正された高品位な画像を提供することができる。

（第５の実施形態）
本発明の第５の実施形態における画像処理装置の構成は、図１５に示したものと同じであり、その動作が異なる。以下、第５の実施形態における動作について説明する。

第５の実施形態における再生状況判断ゴミ補正処理の流れを、図２４に示す。図２４では、早送り再生の場合の再生状況判断ゴミ補正処理の流れを説明する。

図２４のステップＳ２４０２までは図１７のステップＳ１７０２までと同様の流れである。

もしステップＳ２４０３で早送り再生ボタン１６０８が押されていると判断すれば、表示処理を行う（ステップＳ２４０４）。次に、ステップＳ２４０５では最終フレームかどうかの判断を行い、最終フレームなら終了する。最終フレームでなければステップＳ２４０２に戻り処理を繰り返す。

一方、ステップＳ２４０３で早送り再生ボタン１６０７が押されていないと判断すれば、ステップＳ２４０６でゴミ補正処理を行う。ステップＳ２４０７では、第１の実施形態のステップＳ１７０７と同様の表示処理を行う。

第１乃至第４の実施形態ではゴミ補正を行う再生状況について主に述べたが、第５の実施形態では、ゴミ補正を行わない再生状況を判断している。その特徴は、早送り再生が行われた場合、ユーザーにとってゴミが目立たず、ゴミ補正をする必要がないため、一切のゴミ補正を行わない点にある。

なお、早戻しに関しても、ほぼ早送りと同様の処理であり、早戻し再生ボタン１６０９が押されたことを判断し、ゴミ補正を行わないようにする。

以上のように第５の実施形態によれば、ＭＰ４ファイルのような動画ファイルを、早送り、早戻しといったじっくりと長い間ユーザーが画像を目にしないような再生をする場合、つまりゴミが目立たない再生状況においては、ゴミ補正を行わないことで、動作速度の向上、メモリなどのリソース使用量の削減を図ることができる。

（第６の実施形態）
第１乃至第５の実施形態では、動画像の再生を別途用意した画像処理装置上で行う場合について説明したが、撮像装置内に同様の画像処理装置を内蔵することによって同様の処理を行わせ、撮像装置上でＭＰ４ファイルのような動画ファイルをゴミ情報を用いて、ゴミ補正処理を行いながら再生することができる。この場合も、動画再生の動作速度の向上、メモリなどのリソース使用量の削減を行い、かつユーザーに目立つゴミなどの写りこみが補正された高品位な画像を提供することができる。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

従来の、画像処理装置の構成を示す図である。 ピクチャＰ２１を符号化する際の参照リストの例を示す図である。 ピクチャＰ２４を符号化する際の参照リストの例を示す図である。 参照リストの変化の様子をピクチャ毎に示す図である。 Ｂピクチャを参照リストに加える場合の参照リストの変化の様子を示す図である。 ＭＰ４ファイルの構成を説明するための図である。 ＭＰ４ファイルの構成例を示す図である。 従来の再生回路を説明するためのブロック図である。 符号化のフレーム順序を説明するための図である。 本発明の各実施形態に共通する撮像装置の構成を示すブロック図である。 ゴミ情報を取得する際の撮像装置における処理を示すフローチャートである。 ゴミ情報を取得する際の撮影関連のパラメータの設定例である。 図１１のステップＳ１１０６で行われるゴミ領域サイズ算出の概要を示す図である。 ゴミ補正データのデータ形式例を示す図である。 画像処理装置のシステム構成の概略を示した図である。 画像処理装置におけるＧＵＩの例を示す図である。 第１の実施形態における再生状況判断ゴミ補正処理を説明するフローチャートである。 ゴミ補正処理の詳細を説明するフローチャートである。 補間ルーチンの詳細を説明するフローチャートである。 第２の実施形態における再生状況判断ゴミ補正処理を説明するフローチャートである。 第３の実施形態における再生状況判断ゴミ補正処理を説明するフローチャートである。 第３の実施形態におけるコマ送り処理を説明するフローチャートである。 第４の実施形態における再生状況判断ゴミ補正処理を説明するフローチャートである。 第５の実施形態における再生状況判断ゴミ補正処理を説明するフローチャートである。

Claims (12)

1. 動画像データを再生する画像処理装置であって、
   異物の影が写り込んだ動画像データが入力される入力手段と、
   前記異物の位置と大きさの情報を含む異物情報を取得する取得手段と、
   前記取得手段により取得された前記異物情報を用いて前記動画像データの前記異物の影を補正する補正手段と、
   前記動画像データを再生する再生手段と、
   前記再生手段により再生された画像を出力する出力手段と、
   前記再生手段による前記動画像データの再生状況に応じて、前記補正手段による補正動作を行うか否かを設定する設定手段と、を備え、
   前記設定手段は、前記動画像データの再生状況が一時停止の状況である場合に、一時停止した時点で前記出力手段から出力される再生フレームに対して異物の影を補正する処理を行う設定をすることを特徴とする画像処理装置。
2. 動画像データを再生する画像処理装置であって、
   異物の影が写り込んだ動画像データが入力される入力手段と、
   前記異物の位置と大きさの情報を含む異物情報を取得する取得手段と、
   前記取得手段により取得された前記異物情報を用いて前記動画像データの前記異物の影を補正する補正手段と、
   前記動画像データを再生する再生手段と、
   前記再生手段により再生された画像を出力する出力手段と、
   前記再生手段による前記動画像データの再生状況に応じて、前記補正手段による補正動作を行うか否かを設定する設定手段と、を備え、
   前記設定手段は、前記動画像データの再生状況が一時停止の状況である場合に、前記出力手段から出力される任意の再生フレームに対して異物の影を補正する処理を行う設定をすることを特徴とする画像処理装置。
3. 前記任意の再生フレームは、既に出力された再生フレームであることを特徴とする請求項２に記載の画像処理装置。
4. 動画像データを再生する画像処理装置であって、
   異物の影が写り込んだ動画像データが入力される入力手段と、
   前記異物の位置と大きさの情報を含む異物情報を取得する取得手段と、
   前記取得手段により取得された前記異物情報を用いて前記動画像データの前記異物の影を補正する補正手段と、
   前記動画像データを再生する再生手段と、
   前記再生手段により再生された画像を出力する出力手段と、
   前記再生手段による前記動画像データの再生状況に応じて、前記補正手段による補正動作を行うか否かを設定する設定手段と、を備え、
   前記設定手段は、前記動画像データの再生状況がコマ送り、又はコマ戻しの状況である場合に、前記出力手段から出力される再生フレームに対して異物の影を補正する処理を行う設定をすることを特徴とする画像処理装置。
5. 動画像データを再生する画像処理装置であって、
   異物の影が写り込んだ動画像データが入力される入力手段と、
   前記異物の位置と大きさの情報を含む異物情報を取得する取得手段と、
   前記取得手段により取得された前記異物情報を用いて前記動画像データの前記異物の影を補正する補正手段と、
   前記動画像データを再生する再生手段と、
   前記再生手段により再生された画像を出力する出力手段と、
   前記再生手段による前記動画像データの再生状況に応じて、前記補正手段による補正動作を行うか否かを設定する設定手段と、を備え、
   前記設定手段は、前記動画像データの再生状況がスロー再生の状況である場合に、前記出力手段から出力される再生フレームに対して異物の影を補正する処理を行う設定をすることを特徴とする画像処理装置。
6. 動画像データを再生する画像処理装置であって、
   異物の影が写り込んだ動画像データが入力される入力手段と、
   前記異物の位置と大きさの情報を含む異物情報を取得する取得手段と、
   前記取得手段により取得された前記異物情報を用いて前記動画像データの前記異物の影を補正する補正手段と、
   前記動画像データを再生する再生手段と、
   前記再生手段により再生された画像を出力する出力手段と、
   前記再生手段による前記動画像データの再生状況に応じて、前記補正手段による補正動作を行うか否かを設定する設定手段と、を備え、
   前記設定手段は、前記動画像データの再生状況が早送り再生または早戻し再生の状況である場合に、前記出力手段から出力される再生フレームに対して異物の影を補正しない設定をすることを特徴とする画像処理装置。
7. 動画像データを再生する画像処理装置を制御する方法であって、
   異物の影が写り込んだ動画像データが入力される入力工程と、
   前記異物の位置と大きさの情報を含む異物情報を取得する取得工程と、
   前記取得工程において取得された前記異物情報を用いて前記動画像データの前記異物の影を補正する補正工程と、
   前記動画像データを再生する再生工程と、
   前記再生工程における前記動画像データの再生状況に応じて、前記補正工程における補正動作を行うか否かを設定する設定工程と、を備え、
   前記設定工程は、前記動画像データの再生状況が一時停止の状況である場合に、一時停止した時点で前記出力工程において出力される再生フレームに対して異物の影を補正する処理を行う設定をすることを特徴とする画像処理装置の制御方法。
8. 動画像データを再生する画像処理装置を制御する方法であって、
   異物の影が写り込んだ動画像データが入力される入力工程と、
   前記異物の位置と大きさの情報を含む異物情報を取得する取得工程と、
   前記取得工程において取得された前記異物情報を用いて前記動画像データの前記異物の影を補正する補正工程と、
   前記動画像データを再生する再生工程と、
   前記再生工程における前記動画像データの再生状況に応じて、前記補正工程における補正動作を行うか否かを設定する設定工程と、を備え、
   前記設定工程は、前記動画像データの再生状況が一時停止の状況である場合に、前記出力工程において出力される任意の再生フレームに対して異物の影を補正する処理を行う設定をすることを特徴とする画像処理装置の制御方法。
9. 動画像データを再生する画像処理装置を制御する方法であって、
   異物の影が写り込んだ動画像データが入力される入力工程と、
   前記異物の位置と大きさの情報を含む異物情報を取得する取得工程と、
   前記取得工程において取得された前記異物情報を用いて前記動画像データの前記異物の影を補正する補正工程と、
   前記動画像データを再生する再生工程と、
   前記再生工程における前記動画像データの再生状況に応じて、前記補正工程における補正動作を行うか否かを設定する設定工程と、を備え、
   前記設定工程は、前記動画像データの再生状況がコマ送り、又はコマ戻しの状況である場合に、前記出力工程において出力される再生フレームに対して異物の影を補正する処理を行う設定をすることを特徴とする画像処理装置の制御方法。
10. 動画像データを再生する画像処理装置を制御する方法であって、
    異物の影が写り込んだ動画像データが入力される入力工程と、
    前記異物の位置と大きさの情報を含む異物情報を取得する取得工程と、
    前記取得工程において取得された前記異物情報を用いて前記動画像データの前記異物の影を補正する補正工程と、
    前記動画像データを再生する再生工程と、
    前記再生工程における前記動画像データの再生状況に応じて、前記補正工程における補正動作を行うか否かを設定する設定工程と、を備え、
    前記設定工程は、前記動画像データの再生状況がスロー再生の状況である場合に、前記出力工程において出力される再生フレームに対して異物の影を補正する処理を行う設定をすることを特徴とする画像処理装置の制御方法。
11. 動画像データを再生する画像処理装置を制御する方法であって、
    異物の影が写り込んだ動画像データが入力される入力工程と、
    前記異物の位置と大きさの情報を含む異物情報を取得する取得工程と、
    前記取得工程において取得された前記異物情報を用いて前記動画像データの前記異物の影を補正する補正工程と、
    前記動画像データを再生する再生工程と、
    前記再生工程における前記動画像データの再生状況に応じて、前記補正工程における補正動作を行うか否かを設定する設定工程と、を備え、
    前記設定工程は、前記動画像データの再生状況が早送り再生または早戻し再生の状況である場合に、前記出力工程において出力される再生フレームに対して異物の影を補正しない設定をすることを特徴とする画像処理装置の制御方法。
12. 請求項７乃至１１のいずれか１項に記載の制御方法をコンピュータに実行させるためのプログラム。

Images