JP6465154B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

復号された動画像信号に、復号された動画像信号の輝度信号に応じて適応的にノイズを付加する技術が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開平８−１６３５９４号公報

例えば視覚的な画質劣化を低減するためにノイズを動画に付加して符号化すると、付加したノイズによって動画データの符号量が大きく増加してしまう場合がある。また、動画を再生すると、付加したノイズが周期的なパタンで目に見えてしまう場合がある。

第１の態様においては、画像処理装置は、ピクチャ間予測により符号化される動画に含まれる複数のピクチャに付加される、空間的な第１疑似ランダムノイズを生成する第１ノイズ生成部と、ＩピクチャまたはＰピクチャである１つの参照ピクチャと参照ピクチャより時間的に前または後の１以上のＢピクチャとを含む時間的に連続する複数のピクチャを含む複数の第１ピクチャ群毎に、第１ノイズ生成部が生成する第１疑似ランダムノイズを切り替えるノイズ制御部と、第１ノイズ生成部が生成した第１疑似ランダムノイズを、複数の第１ピクチャ群がそれぞれ含む連続する複数のピクチャのそれぞれに付加するノイズ付加部と、ノイズ付加部によって第１疑似ランダムノイズが付加された複数のピクチャを、ピクチャ間予測により符号化する符号化部とを備える。

第２の態様においては、プログラムは、コンピュータを上記の画像処理装置として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

カメラ１０のシステム構成の一例を模式的に示す。 ＡＳＩＣ１３５のブロック構成の一例を模式的に示す。 ノイズ付加処理部２２０のブロック構成の一例を模式的に示す。 各フレームに付加する擬似ランダムノイズの組み合わせの一例を模式的に示す。 疑似ランダムノイズに対する重み付け処理の一例を模式的に示す。 カメラ１０の起動から終了までの動作の一例を示す。 動画撮影時における処理の一例を示す。 疑似ランダムノイズの他の付加例を模式的に示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、撮像装置の一例であるカメラ１０のシステム構成の一例を模式的に示す。カメラ１０は、カメラ本体１３０と、レンズユニット１２０とを備える。カメラ１０は、一眼レフレックスカメラである。レンズユニット１２０は、カメラ本体１３０に装着される。レンズユニット１２０は交換レンズであり、レンズユニット１２０はカメラ本体１３０に対して着脱可能である。図１では、レンズユニット１２０がカメラ本体１３０に装着された状態をカメラ１０として示す。

レンズユニット１２０は、レンズマウント接点１２１を有するレンズマウントを備える。カメラ本体１３０は、カメラマウント接点１３１を有するカメラマウントを備える。レンズマウントとカメラマウントとが係合してレンズユニット１２０とカメラ本体１３０とが一体化されると、レンズマウント接点１２１とカメラマウント接点１３１とが接続される。レンズＭＰＵ１２３は、レンズマウント接点１２１およびカメラマウント接点１３１を介してカメラＭＰＵ１４０と接続され、相互に通信しつつ協働してレンズユニット１２０を制御する。

レンズユニット１２０は、レンズ群１２２、レンズ駆動部１２４およびレンズＭＰＵ１２３を有する。被写体光は、レンズユニット１２０が有する光学系としてのレンズ群１２２を透過して、カメラ本体１３０に入射する。メインミラー１４５およびサブミラー１４６を含むミラーユニットは、レンズ群１２２の光軸を中心とする被写体光束中に進出した進出位置と、被写体光束から退避した退避位置とを取り得る。サブミラー１４６は、メインミラー１４５の変位に連動して変位する。メインミラー１４５が被写体光束中から退避した位置にある場合に、サブミラー１４６も被写体光束から退避した位置にある。メインミラー１４５が被写体光束中に進出した位置にある場合に、サブミラー１４６も被写体光束中に進出した位置にある。レリーズボタンが押し込まれると、ミラーユニットは進出位置からアップして退避位置に変位し、撮像素子１３２による撮像動作が完了すると、ミラーユニットは退避位置からダウンして進出位置に戻る。

ミラーユニットが進出位置にある場合、メインミラー１４５は、レンズ群１２２を通過した被写体光束の一部を反射する。具体的には、メインミラー１４５の一部領域には、ハーフミラーが形成されている。メインミラー１４５のハーフミラー領域に入射した被写体光束の一部は透過し、他の一部は反射する。メインミラー１４５により反射された被写体光束は、ピント板１６１、透過型表示パネル１６０、ペンタプリズム１４７、接眼光学系１６２およびファインダ窓１６３を通じて、被写体像としてユーザに提示される。ユーザは、提示された被写体像に基づいて構図等を確認することができる。透過型表示パネル１６０は、被写体光束に基づく被写体像とともに、撮像動作の設定状態を示す情報等を含む種々の情報をユーザに提示する。透過型表示パネル１６０は、カメラＭＰＵ１４０の制御に従って、被写体光束に基づく被写体像に重畳して、種々の情報をユーザに提示する。

メインミラー１４５のハーフミラー領域を透過した被写体光束の一部は、サブミラー１４６で反射されて、ＡＦユニット１４２へ導かれる。ＡＦユニット１４２は、被写体光束を受光する複数の光電変換素子列を有する。光電変換素子列は、合焦状態にある場合には位相が一致した信号を出力し、前ピン状態または後ピン状態にある場合には、位相ずれした信号を出力する。位相のずれ量は、焦点状態からのずれ量に対応する。ＡＦユニット１４２は、光電変換素子列の出力を相関演算することで位相差を検出して、位相差を示す位相差信号をカメラＭＰＵ１４０へ出力する。

レンズ群１２２の焦点状態は、カメラＭＰＵ１４０等の制御により、ＡＦユニット１４２からの位相差信号を用いて調節される。例えば、位相差信号から検出された焦点状態に基づき、カメラＭＰＵ１４０によってレンズ群１２２が含むフォーカスレンズの目標位置が決定され、決定された目標位置に向けてレンズＭＰＵ１２３の制御によってフォーカスレンズの位置が制御される。具体的には、レンズＭＰＵ１２３は、一例としてフォーカスレンズモータを含むレンズ駆動部１２４を制御して、レンズ群１２２を構成するフォーカスレンズを移動させる。このように、メインミラー１４５が進出位置にダウンしてミラーユニットが進出位置にある場合に、位相差検出方式でレンズ群１２２の焦点状態が検出されて焦点調節が行われる。ＡＦユニット１４２には、撮像素子１３２による撮像範囲内の複数の焦点調節位置のそれぞれにおいて焦点状態を調節すべく、複数の焦点調節位置にそれぞれ対応する複数の位置にそれぞれ光電変換素子が設けられる。

測光素子１４４は、被写体光を測光する測光部の一例である。測光素子１４４は、ペンタプリズム１４７に導かれた光束の一部の光束を受光する光電変換素子を有する。測光素子１４４が有する光電変換素子で検出された被写体の輝度情報を示す測光値は、カメラＭＰＵ１４０に出力される。カメラＭＰＵ１４０は、測光素子１４４から取得した測光値に基づき、各部を制御する。例えば、カメラＭＰＵ１４０は、当該測光値に基づきＡＥ評価値を算出して、ＡＥ評価値に基づいて露出制御を行う。

メインミラー１４５が被写体光束から退避すると、サブミラー１４６はメインミラー１４５に連動して被写体光束から退避する。撮像素子１３２のレンズ群１２２側には、フォーカルプレーンシャッタ１４３が設けられる。フォーカルプレーンシャッタ１４３は、一例としてメカニカルシャッタである。ミラーユニットが退避位置にあり、フォーカルプレーンシャッタ１４３が開状態にある場合、レンズ群１２２を透過した被写体光束は、撮像素子１３２の受光面に入射する。フォーカルプレーンシャッタ１４３は、撮像素子１３２へ入射する被写体光の光路を開閉することで露光を制御する。

撮像素子１３２は、撮像部として機能する。撮像素子１３２は、レンズ群１２２を通過した被写体光束により被写体を撮像する。撮像素子１３２としては、例えばＣＭＯＳセンサ、ＣＣＤセンサ等の固体撮像素子を例示することができる。撮像素子１３２は、被写体光束を受光する複数の光電変換素子を有しており、複数の光電変換素子でそれぞれ生じた蓄積電荷量に応じたアナログ信号をアナログ処理部１３３へ出力する。アナログ処理部１３３は、撮像素子１３２から出力されたアナログ信号に対して、増幅処理、ＯＢクランプ処理等のアナログ処理を施して、Ａ／Ｄ変換器１３４へ出力する。Ａ／Ｄ変換器１３４は、アナログ処理部１３３から出力されたアナログ信号を、画像データを表すデジタル信号に変換して出力する。撮像素子１３２、アナログ処理部１３３およびＡ／Ｄ変換器１３４は、カメラＭＰＵ１４０からの指示を受けた駆動部１４８により駆動される。

Ａ／Ｄ変換器１３４からデジタル信号で出力したデジタル信号は、画像データとしてＡＳＩＣ１３５に入力される。ＡＳＩＣ１３５は、画像処理機能に関連する回路等を一つにまとめた集積回路である。ＡＳＩＣ１３５は、揮発性メモリの一例としてのＲＡＭ１３６の少なくとも一部のメモリ領域を、画像データを一時的に記憶するバッファ領域として使用して、ＲＡＭ１３６に記憶された画像データに対して種々の画像処理を施す。ＡＳＩＣ１３５による画像処理としては、ノイズリダクション処理、欠陥画素補正、ホワイトバランス調節、色補間処理、色補正、ガンマ補正、輪郭強調処理、画像データの符号化処理等を例示することができる。

撮像素子１３２が連続して撮像した場合、順次に出力される画像データはバッファ領域に順次に記憶される。撮像素子１３２が連続して撮像することにより得られた複数の画像データは、連続する静止画の画像データ、または、動画を構成する動画構成画像の画像データとして、ＲＡＭ１３６のバッファ領域に順次に記憶される。ＲＡＭ１３６は、ＡＳＩＣ１３５が動画データを処理する場合にフレームを一時的に記憶するフレームメモリとしても機能する。

ＡＳＩＣ１３５における画像処理としては、記録用の画像データを生成する処理の他、表示用の画像データを生成する処理、自動焦点調節（ＡＦ）用の画像データ処理を例示できる。また、ＡＳＩＣ１３５における画像処理としては、ＡＦ処理用のコントラスト量を検出する処理等を含む。具体的には、ＡＳＩＣ１３５は、画像データからコントラスト量を検出して、カメラＭＰＵ１４０に供給する。例えば、ＡＳＩＣ１３５は、光軸方向の異なる位置にフォーカスレンズを位置させて撮像することにより得られた複数の画像データのそれぞれからコントラスト量を検出する。カメラＭＰＵ１４０は、検出されたコントラスト量に基づいて、レンズ群１２２の焦点状態を調節する。例えば、カメラＭＰＵ１４０は、コントラスト量を増大させるようフォーカスレンズの目標位置を決定して、レンズＭＰＵ１２３に、決定された目標位置に向けてフォーカスレンズの位置を制御させる。このように、メインミラー１４５がアップして退避位置にある場合に、コントラスト検出方式でレンズ群１２２の焦点状態が検出されて焦点調節が行われる。このように、カメラＭＰＵ１４０は、ＡＳＩＣ１３５およびレンズＭＰＵ１２３と協働して、レンズ群１２２の焦点調節を行う。

ＡＳＩＣ１３５は、Ａ／Ｄ変換器１３４から出力された画像データを記録する場合、規格化された画像フォーマットの画像データに変換する。例えば、ＡＳＩＣ１３５は、静止画の画像データを、ＪＰＥＧ等の規格に準拠した符号化形式で符号化された静止画データを生成するための圧縮処理を行う。また、ＡＳＩＣ１３５は、複数のフレームを、ＱｕｉｃｋＴｉｍｅ、Ｈ．２６４、ＭＰＥＧ２、Ｍｏｔｉｏｎ ＪＰＥＧ等の規格に準拠した符号化方式で符号化された動画データを生成するための圧縮処理を行う。

外部メモリ１８０は、記録媒体コネクタ１５１に装着される。外部メモリ１８０は、カメラ本体１３０に着脱可能である。外部メモリ１８０は、不揮発性の記録媒体であってよい。外部メモリ１８０は、フラッシュメモリ等の半導体メモリであってよい。ＡＳＩＣ１３５が生成した記録用の静止画データ、動画データ等の画像データは、記録媒体ＩＦ１５０の制御により、ＲＡＭ１３６から外部メモリ１８０へ転送される。また、外部メモリ１８０に記録されている画像データは、記録媒体ＩＦ１５０を通じてＲＡＭ１３６へ転送されＲＡＭ１３６に記憶される。

ＡＳＩＣ１３５は、記録用の画像データの生成に並行して、表示用の画像データを生成する。例えば、ＡＳＩＣ１３５は、いわゆるライブビュー動作時に、表示部１３８に表示させる表示用の画像データを生成する。また、画像の再生時においては、ＡＳＩＣ１３５は、外部メモリ１８０から読み出された画像データから表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１３７の制御に従ってアナログの信号に変換され、液晶ディスプレイ等の表示部１３８に表示される。また、撮像により得られた画像データに基づく画像表示と共に、当該画像データに基づく画像表示をすることなく、カメラ１０の各種設定に関する様々なメニュー項目も、ＡＳＩＣ１３５および表示制御部１３７の制御により表示部１３８に表示される。

外部機器ＩＦ１５２は、外部機器コネクタ１５６を介して接続された外部機器との間の通信を担う。外部メモリ１８０に記録された画像データは、外部機器ＩＦ１５２を通じて外部機器へ転送される。また、外部機器ＩＦ１５２を通じて外部機器から通信により取得した画像データは、外部メモリ１８０に記録される。外部機器ＩＦ１５２は、ＵＳＢ通信により外部機器と通信してよい。外部機器としては、パーソナルコンピュータ、外部モニタ、プリンタ等を例示することができる。

操作入力部１４１は、ユーザ操作を受け付ける。操作入力部１４１は、電源スイッチの他、レリーズボタン、動画記録ボタン、撮影モードダイヤル、ライブビュースイッチ等の各種操作部材等を含む。また、操作入力部１４１は、タッチパネル等として表示部１３８と一体に実装された入力部材を含んでよい。

カメラＭＰＵ１４０は、操作入力部１４１が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラＭＰＵ１４０は、レリーズボタンが押し込まれた場合に、撮像動作を実行するようにカメラ１０の各部を制御する。また、カメラＭＰＵ１４０は、タッチパネルとして実装された入力部材が操作された場合に、表示部１３８に表示させたメニュー項目および操作内容に応じた動作をするよう、カメラ１０の各部を制御する。このように、カメラＭＰＵ１４０は、操作入力部１４１に対する操作に基づきユーザ指示を特定して、特定したユーザ指示に基づき動作を実行する。

カメラ１０は、上記に説明した制御を含めて、カメラＭＰＵ１４０およびＡＳＩＣ１３５により直接的または間接的に制御される。カメラ１０の動作に必要な定数、変数等のパラメータ、プログラム等は、システムメモリ１３９に格納される。システムメモリ１３９は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュＲＯＭ、ＥＥＰＲＯＭ等により構成される。システムメモリ１３９は、パラメータ、プログラム等を、カメラ１０の非動作時にも失われないように格納する。システムメモリ１３９に記憶されたパラメータ、プログラム等は、ＲＡＭ１３６に展開され、カメラ１０の制御に利用される。カメラ本体１３０内のＡＳＩＣ１３５、ＲＡＭ１３６、システムメモリ１３９、表示制御部１３７およびカメラＭＰＵ１４０は、バス等の接続インタフェース１４９により相互に接続され、各種のデータをやりとりする。

カメラ本体１３０の各部、レンズユニット１２０の各部および外部メモリ１８０は、電源回路１９２を介して電源１９０から電力供給を受ける。電源１９０としては、カメラ本体１３０に対して着脱できるリチウムイオン電池等の二次電池、系統電源等を例示することができる。二次電池は電池の一例であり、電池とは、実質的に充電することができない一次電池を含む。カメラＭＰＵ１４０は、電源回路１９２を制御することにより、電源１９０からカメラ１０の各部への電力供給を制御する。

図２は、ＡＳＩＣ１３５のブロック構成の一例を模式的に示す。ここでは、特に動画処理に関する機能ブロックを示す。ＡＳＩＣ１３５は、画像処理部２１０と、動画処理部２８０とを有する。動画処理部２８０は、画像処理部２１０、ノイズ生成部２００、ノイズ付加処理部２２０、ノイズ制御部２３０、動き検出部２５０および符号化部２６０を有する。ノイズ生成部２００は、第１ノイズ生成部２０１および第２ノイズ生成部２０２を含む。

画像処理部２１０は、画像データに画像処理を施す。例えば、画像処理部２１０による画像処理としては、ホワイトバランス調整、ガンマ補正、色補間処理、色変換処理等を例示することができる。色補間処理としては、１画素あたり１色の画像データから、１画素あたり３色の画像データを生成する処理等を例示することができる。色変換処理としては、ＲＧＢ信号としての画像データを、ＹＣ信号としての画像データに変換する処理等を例示することができる。

撮像素子１３２により動画の撮像動作が行われた場合、画像処理部２１０には、動画に含まれる複数の動画構成画像の一例としてのフレームが順次に入力される。画像処理部２１０は、上述した画像処理を入力されたフレームに施して、ＲＡＭ１３６に記憶する。ノイズ付加処理部２２０、動き検出部２５０および符号化部２６０は、ＲＡＭ１３６をワークメモリとして用いて、フレームに対する各種の処理を行う。

ノイズ付加処理部２２０は、擬似ランダムノイズを複数のフレームにそれぞれ付加することで、画像データに対していわゆるディザリング処理を行う。ノイズ付加処理部２２０は、ノイズ生成部２００が生成した疑似ランダムノイズを複数のフレームにそれぞれ付加する。符号化部２６０は、ノイズ付加処理部２２０によって疑似ランダムノイズが付加された複数のフレームを、フレーム間予測により符号化する。

動画に含まれるフレームには、符号化部２６０においてイントラ符号化されるＩフレームと、符号化部２６０において前方向予測符号化により符号化されるＰフレームと、双方向予測符号化により符号化されるＢフレームとが含まれる。Ｐフレームは、時間的に前のＩフレームまたはＰフレームを参照して予測符号化され得る。Ｂフレームは、時間的に前のＩフレーム、時間的に前のＰフレーム、時間的に後のＩフレームおよび時間的に後のＰフレームを参照して予測符号化され得る。ＩフレームおよびＰフレームは、ＰフレームまたはＢフレームにより参照される。Ｂフレームは他のフレームから参照されない、すなわち非参照フレームである。本実施形態におけるカメラ１０の説明においては、ＩフレームまたはＰフレームを参照フレームと総称する場合がある。

ノイズ生成部２００、ノイズ制御部２３０、ノイズ付加処理部２２０、動き検出部２５０および符号化部２６０の動作について説明する。

ノイズ生成部２００は、動画に含まれる複数のフレームに付加される空間的な疑似ランダムノイズを生成する。疑似ランダムノイズは、ピクセル単位で変化する予め定められた長さのビット列であってよい。後述するように、疑似ランダムノイズは、疑似乱数に基づいて生成される。

ノイズ制御部２３０は、ノイズ生成部２００における疑似ランダムノイズの発生を制御する。具体的には、ノイズ制御部２３０は、ノイズ生成部２００が発生する疑似ランダムノイズを時間的に切り替える。疑似ランダムノイズの切り替えとは、あるパタンを有する擬似ランダムノイズから異なるパタンを有する擬似ランダムノイズに、擬似ランダムノイズを変更することである。ノイズ制御部２３０は、時間的に連続する複数のフレームを含むフレーム群毎に、擬似ランダムノイズを切替える。なお、フレーム群は、１つの参照フレームと参照フレームより時間的に前または後の１以上のＢフレームとを含む。ノイズ付加処理部２２０は、ノイズ生成部２００が生成した疑似ランダムノイズをフレーム群に含まれるフレーム毎に付加する。符号化部２６０は、ノイズ付加処理部２２０によって疑似ランダムノイズが付加された複数のフレームを符号化する。

ノイズ制御部２３０は、第１フレーム群毎に、第１ノイズ生成部２０１が生成する第１疑似ランダムノイズを切り替える。ノイズ付加処理部２２０は、第１ノイズ生成部２０１が生成した第１疑似ランダムノイズを、第１フレーム群が含む連続する複数のフレームのそれぞれに付加する。

第１フレーム群には、第１フレーム群が含む参照フレームより時間的に前の１以上のＢフレームと、第１フレーム群が含む参照フレームより時間的に後の１以上のＢフレームとが含まれてよい。第１フレーム群には、第１フレーム群が含む参照フレームより時間的に前の連続する全てのＢフレームと、それぞれの第１フレーム群が含む参照フレームより時間的に後の連続する全てのＢフレームとが含まれてよい。例えば、符号化部２６０がＩフレームとＰフレームとの間にＢフレームを２個挿入する符号化を行う場合、それぞれの第１フレーム群は、ＩフレームまたはＰフレームの直後のＢフレームから始まる、連続する５個のフレームを含んでよい。

ノイズ制御部２３０は、第２フレーム群毎に、第２ノイズ生成部２０２が生成する第２疑似ランダムノイズを切り替える。なお、第２疑似ランダムノイズは、第１フレーム群とはフレームの組み合わせが異なる第２フレーム群に付加される。例えば、第２ノイズ生成部２０２は、２つの第１フレーム群にそれぞれ含まれる複数のフレームの一部を含む連続する複数のフレームに付加される空間的な第２疑似ランダムノイズを生成する。第２フレーム群は、何れの第１フレーム群にも含まれない参照フレームを含んでよい。そして、ノイズ付加処理部２２０は、第２ノイズ生成部２０２が生成した第２疑似ランダムノイズを、第２フレーム群が含む連続する複数のフレームのそれぞれに付加する。なお、第１フレーム群と第２フレーム群の両方に含まれるフレームには、第１ノイズ生成部２０１が生成した第１疑似ランダムノイズおよび第２ノイズ生成部２０２が生成した第２疑似ランダムノイズが付加されることになる。なお、ノイズ付加処理部２２０は、第１疑似ランダムノイズと第２擬似ランダムノイズをフレームに対して一律に付加するだけでなく、後述するように重みづけして付加することができる。なお、ノイズ制御部２３０は、第２疑似ランダムノイズを利用しないような制御とすることも可能である。その場合は、第１疑似ランダムノイズのみを第１フレーム群に含まれるフレームに付加する。

動き検出部２５０は、動画におけるフレーム間での被写体の動きを検出する。具体的には、動き検出部２５０は、フレーム間での被写体（画像）の動きを示す動きベクトルを検出する。例えば、動き検出部２５０は、１６×１６ピクセル等のブロック単位で、動きベクトルを検出する。ノイズ付加処理部２２０は、０の動きベクトルが検出されたブロックに、０以外の動きベクトルが検出されたブロックよりも大きい強度で擬似ランダムノイズを付加してよい。例えば、ノイズ付加処理部２２０は、０以外の動きベクトルが検出されたブロックに擬似ランダムノイズを付加せず、０の動きベクトルが検出されたブロックに擬似ランダムノイズを付加してよい。なお、ノイズの強度とはノイズの程度のことである。大きい強度のノイズをデータに付加すると、データに対するノイズの相対的な割合は高くなる。

ノイズ付加処理部２２０は、より大きい動きベクトルが検出されたブロックに、より小さい強度で疑似ランダムノイズを付加してよい。例えば、予め定められた基準値以上の大きさの動きベクトルが検出されたブロックに擬似ランダムノイズを付加せず、当該基準値より小さい大きさの動きベクトルが検出されたブロックに擬似ランダムノイズを付加してよい。

なお、ノイズ付加処理部２２０は、複数のフレームにおける少なくとも一部の画像領域に、擬似ランダムノイズを付加してよい。例えば、フレームから予め定められた値より高い空間周波数の空間周波数成分が検出された画像領域に、擬似ランダムノイズを付加してよい。ノイズ付加処理部２２０は、予め定められた値以下の空間周波数の空間周波数成分が検出された画像領域には、擬似ランダムノイズを付加しなくてよい。

符号化部２６０は、動き予測符号化によりＰフレームおよびＢフレームを符号化する。例えば、符号化部２６０は、動き検出部２５０が検出した動きベクトルに基づき生成される予測画像と、符号化対象の画像に含まれるブロックとの間の差分を符号化することにより、ＰフレームおよびＢフレームを符号化する。なお、同一の擬似ランダムノイズが適用される参照フレームを参照するＰフレームまたはＢフレームのブロックのうち、０の動きベクトルが検出されたブロックについては、符号化部２６０における予測符号化によって擬似ランダムノイズがキャンセルされる。この場合、擬似ランダムノイズを付加することによって符号量は増加しない。

符号化部２６０は、イントラ符号化（画面内符号化）されたＩフレームと、予測画像との差分が符号化されたＰフレームおよびＢフレームとを量子化する。また、符号化部２６０は、量子化されたフレームデータに対して、エントロピー符号化等により符号語を割り当てることで符号化する。符号化部２６０における符号化方式としては、ＭＰＥＧ、Ｈ．２６４等の、予測符号化を用いる種々の符号化方式を適用できる。符号化部２６０により符号化された動画データは、ＲＡＭ１３６から外部メモリ１８０に転送されて、外部メモリ１８０に記録される。

図３は、ノイズ付加処理部２２０のブロック構成の一例を、第１ノイズ生成部２０１、第２ノイズ生成部２０２および重み決定部３５０とともに示す。ノイズ付加処理部２２０は、第１ノイズ生成部２０１の出力する第１疑似ランダムノイズと、第２ノイズ生成部２０２の出力する第２擬似ランダムノイズをフレームに対して重みづけして付加するものである。重みづけにより、第１疑似ランダムノイズと第２擬似ランダムノイズを付加する割合を制御することができる。また、重みづけの設定により、第１疑似ランダムノイズのみ、または第２擬似ランダムノイズのみを付加することもできる。

第１ノイズ生成部２０１は、線形帰還シフトレジスタによって生成される乱数列を、第１疑似ランダムノイズとして生成して、ノイズ付加処理部２２０に出力する。ノイズ付加処理部２２０は、第１ノイズ生成部２０１から出力される乱数列を、フレームにおける対応する画素列に加算する。例えば、第１ノイズ生成部２０１は、Ｎ×Ｍ画素の画像データに適用する擬似ランダムノイズとして、Ｎ×Ｍ個の乱数値を含む乱数列を生成する。乱数列に含まれる複数の乱数は、それぞれ特定の画素に対応する。ノイズ付加処理部２２０は、乱数列に含まれるそれぞれの乱数を、対応する画素に加算する。このように、各フレームには、Ｎ×Ｍ画素周期で循環する、周期性を持った乱数列が擬似ランダムノイズとして適用される。なお、例えば、擬似ランダムノイズを１フレーム周期で循環させることにより、上述したように０の動きベクトルが検出されたブロックについて、符号化部２６０における予測符号化によって擬似ランダムノイズがキャンセルされることになる。

第２ノイズ生成部２０２は、第１ノイズ生成部２０１と同様の構成を有する。そのため、第２ノイズ生成部２０２の詳細な説明を省略する。第２ノイズ生成部２０２は、線形帰還シフトレジスタによって生成される乱数列を、第２疑似ランダムノイズとして生成して、ノイズ付加処理部２２０に出力する。ノイズ付加処理部２２０は、第２ノイズ生成部２０２から出力される生成される乱数列を、フレームにおける対応する画素列に加算する。ノイズ付加処理部２２０は、第１疑似ランダムノイズを付加する場合と同様に、第２疑似ランダムノイズを画素に加算する。

ノイズ付加処理部２２０の各部の動作を説明する。ノイズ付加処理部２２０は、第１乗算部３１０と、第２乗算部３２０と、減算部３３０と、ノイズ付加部３４０と、重み決定部３５０とを含む。重み決定部３５０は、第１疑似ランダムノイズおよび第２疑似ランダムノイズが付加される複数のフレームのそれぞれについて、第１疑似ランダムノイズおよび第２疑似ランダムノイズを付加する重みを決定する。重み決定部３５０は、第１フレーム群にそれぞれ含まれる複数のフレームに第１疑似ランダムノイズを付加する重みを、第１フレーム群に含まれる参照フレームに近いほど、大きい値に決定する。なお、重み決定部３５０は、重みをフレーム毎にランダムに決定してもよい。

重み決定部３５０が決定した重みを示す重み値は、第１乗算部３１０および減算部３３０に出力される。第１乗算部３１０は、第１ノイズ生成部２０１から出力された第１疑似ランダムノイズに、重み決定部３５０から出力された重み値を乗じて、ノイズ付加部３４０に出力する。

減算部３３０は、重み決定部３５０から出力された重み値を１から減じることにより、第２疑似ランダムノイズに対する重みを示す重み値を算出する。減算部３３０が算出した重み値は、第２乗算部３２０に出力される。第２乗算部３２０は、第２ノイズ生成部２０２から出力された第２疑似ランダムノイズに、減算部３３０から出力された重み値を乗じて、ノイズ付加部３４０に出力する。ノイズ付加部３４０は、ＲＡＭ１３６から入力されるフレームの画素値に対して疑似ランダムノイズを加算する加算機を含む。具体的には、ノイズ付加部３４０は、フレームの画素値に、第１乗算部３１０から出力された重み付けされた第１疑似ランダムノイズと、第２乗算部３２０から出力された重み付けされた第２疑似ランダムノイズとを加算する。このように、ノイズ付加部３４０は、第１疑似ランダムノイズおよび第２疑似ランダムノイズを、重み決定部３５０が決定した重みに従って重み付けして複数のフレームに付加する。

図４は、各フレームに付加される擬似ランダムノイズの組み合わせの一例を模式的に示す。ここでは、Ｉフレーム４０１から始まり、参照フレーム間に２つのＢフレームを含むフレーム列を示す。すなわち、Ｉフレーム４０１と最初のＰフレーム４０４との間には、Ｂフレームが２つ含まれる。また、ＰフレームとＰフレームの間には、Ｂフレームが２つ含まれる。

ノイズ制御部２３０は、Ｉフレーム４０１より時間的に２個前のＢフレームから始まる５個の連続するフレームに対して、第１疑似ランダムノイズＮ１１を第１ノイズ生成部２０１に生成させる。具体的には、ノイズ制御部２３０は、Ｉフレーム４０１より２個前のＢフレームと、Ｉフレーム４０１と、Ｉフレーム４０１に続く２個のＢフレーム４０２およびＢフレーム４０３とを含むフレーム群（第１フレーム群）の処理タイミングにわたって、疑似ランダムノイズＮ１１を第１ノイズ生成部２０１に生成させる。ノイズ付加処理部２２０は、当該フレーム群に含まれる各フレームに対して、第１ノイズ生成部２０１が生成した疑似ランダムノイズＮ１１を重み決定部３５０が決定した重みに従って重み付けして付加する。このように、Ｉフレーム４０１を表示順の中心に含む５個の連続するフレームに対して、疑似ランダムノイズＮ１１が付加される。

ノイズ制御部２３０は、Ｂフレーム４０２から始まる連続する５つのフレーム（第２フレーム群）に対して、第２疑似ランダムノイズＮ２１を第２ノイズ生成部２０２に生成させる。具体的には、ノイズ制御部２３０は、Ｂフレーム４０２、Ｂフレーム４０３、Ｐフレーム４０４、Ｂフレーム４０５およびＢフレーム４０６のフレーム群の処理タイミングにわたって、第２疑似ランダムノイズＮ２１を第２ノイズ生成部２０２に出力させる。ノイズ付加処理部２２０は、当該フレーム群に含まれる各フレームに対して、第２ノイズ生成部２０２が生成した第２疑似ランダムノイズＮ２１を重み決定部３５０が決定した重みに従って重み付けして付加する。このように、Ｐフレーム４０４を表示順の中心に含む５個の連続するフレームに対して、第２疑似ランダムノイズＮ２１が付加される。

ノイズ制御部２３０は、Ｂフレーム４０５から始まる連続する５つのフレーム（第１フレーム群）に対して、付加される第１疑似ランダムノイズを切り替える。具体的には、ノイズ制御部２３０は、Ｂフレーム４０５の処理タイミングにおいて、第１ノイズ生成部２０１に生成させるノイズを、第１疑似ランダムノイズＮ１１から第１疑似ランダムノイズＮ１２に切り替えて、Ｂフレーム４０５、Ｂフレーム４０６、Ｐフレーム４０７、Ｂフレーム４０８およびＢフレーム４０９のフレーム群の処理タイミングにわたって、第１疑似ランダムノイズＮ１２を第１ノイズ生成部２０１に出力させる。ノイズ付加処理部２２０は、当該フレーム群に含まれる各フレームに対して、第１ノイズ生成部２０１が生成した第１疑似ランダムノイズＮ１２を重み決定部３５０が決定した重みに従って重み付けして付加する。このように、Ｐフレーム４０７を表示順の中心に含む５個の連続するフレームに対して、第１疑似ランダムノイズＮ１２が付加される。

ノイズ制御部２３０は、Ｂフレーム４０８から始まる連続する５つのフレーム（第２フレーム群）に対して、付加される第２疑似ランダムノイズを切り替える。具体的には、ノイズ制御部２３０は、Ｂフレーム４０８の処理タイミングにおいて、第２ノイズ生成部２０２に生成させるノイズを、第２疑似ランダムノイズＮ２１から第２疑似ランダムノイズＮ２２に切り替えて、Ｂフレーム４０８、Ｂフレーム４０９、Ｐフレーム４１０、Ｂフレーム４１１およびＢフレーム４１２のフレーム群の処理タイミングにわたって、第２疑似ランダムノイズＮ２２を第２ノイズ生成部２０２に出力させる。ノイズ付加処理部２２０は、当該フレーム群に含まれる各フレームに対して、第２ノイズ生成部２０２が生成した第２疑似ランダムノイズＮ２２を重み決定部３５０が決定した重みに従って重み付けして付加する。このように、Ｐフレーム４１０を表示順の中心に含む５個の連続するフレームに対して、第２疑似ランダムノイズＮ２２が付加される。

ノイズ制御部２３０は、Ｂフレーム４１１から始まる５つのフレームに対して、付加される第１疑似ランダムノイズを切り替える。具体的には、ノイズ制御部２３０は、第１疑似ランダムノイズＮ１２から第２疑似ランダムノイズＮ１３に切り替える。第１疑似ランダムノイズＮ１３に係る処理は、第１疑似ランダムノイズＮ１２に係る処理と同様であるので、説明を省略する。

ノイズ制御部２３０は、Ｐフレーム４１３の次のＢフレーム４１４から始まる５つのフレームに対して、付加される第２疑似ランダムノイズを切り替える。具体的には、ノイズ制御部２３０は、第２疑似ランダムノイズＮ２２から第２疑似ランダムノイズＮ２３に切り替える。第２疑似ランダムノイズＮ２３に係る処理は、第２疑似ランダムノイズＮ２２に係る処理と同様であるので、説明を省略する。

動画処理部２８０により行われる上述したノイズ付加処理によれば、第１疑似ランダムノイズＮ１および第２疑似ランダムノイズＮ２は、フレーム６個分の周期毎に切り替えられる。切り替えタイミングに対応するフレームから始まる連続する５個のフレーム（フレーム群）には、同一の疑似ランダムノイズが付加される。同一の擬似ランダムノイズが付加されたフレームを参照して動き予測符号化（フレーム間符号化）することにより擬似ランダムノイズの影響がキャンセルでき符号量の増加を抑制できる。

例えばＢフレーム４０５およびＢフレーム４０６は、Ｐフレーム４０４を含む第２フレーム群に属しており、Ｐフレーム４０４には、Ｂフレーム４０５およびＢフレーム４０６と同じ疑似ランダムノイズＮ２１が付加されている。符号化部２６０においてＢフレーム４０５およびＢフレーム４０６がそれぞれＰフレーム４０４を参照してフレーム間符号化されると、疑似ランダムノイズがキャンセルされ得る。また、Ｂフレーム４０５およびＢフレーム４０６は、Ｐフレーム４０７を含む第１フレーム群に属しており、Ｐフレーム４０７には、Ｂフレーム４０５およびＢフレーム４０６と同じ疑似ランダムノイズＮ１２が付加されている。符号化部２６０においてＢフレーム４０５およびＢフレーム４０６がそれぞれＰフレーム４０７を参照してフレーム間符号化されると、疑似ランダムノイズがキャンセルされ得る。このように、Ｂフレーム４０５およびＢフレーム４０６は前後何れの参照フレームを参照してフレーム間符号化しても符号量の増加を抑制できる。

第１疑似ランダムノイズおよび第２疑似ランダムノイズは、参照フレームを１つ含むフレーム６個分の周期毎に切り替えられる。そのため、付加した疑似ランダムノイズが人の目に固定パタンとして認識されることを抑制できる。

特に、第２疑似ランダムノイズは、第１疑似ランダムノイズが付加されない参照フレームを含む連続する５個のフレームに付加される。そのため、例えばＩフレーム４０１に付加される疑似ランダムノイズは、Ｐフレーム４０４に付加される疑似ランダムノイズとは異なる。このように、動画処理部２８０によるノイズ付加処理によれば、符号化処理において互いに参照関係にあるフレームには、異なる疑似ランダムノイズが付加される。そのため、フレーム間符号化を行うことによって、参照フレームに付加された特定の疑似ランダムノイズ成分が、参照フレームを通じて後続するフレームに長期間にわたって残留することを抑制できる。したがって、付加した疑似ランダムノイズが人の目に固定パタンとして認識されることを抑制できる。このように、動画処理部２８０によれば、ディザリング処理によって画質を高める場合に、ディザリング処理のために付加した疑似ランダムノイズが固定パタンとして人の目に見えてしまうことを抑制しつつ、符号量の増加を抑制できる。

図５は、各フレームに疑似ランダムノイズを重み付けして付加する処理の一例を模式的に示す。重み決定部３５０は、第１疑似ランダムノイズＮ１に対する重み値ｗ１と、第２疑似ランダムノイズＮ２に対する重み値ｗ２とを決定する。したがって、例えばＢフレームＮ４０２には、ｗ１×Ｎ１１＋ｗ２×Ｎ２１が疑似ランダムノイズとして付加される。

一例として、重み決定部３５０は、１つのフレーム群において、参照フレームに対して最大の重み値ｗを決定し、他のフレームに対しては、参照フレームに近いほど大きい重み値ｗを決定してよい。例えば、重み決定部３５０は、Ｂフレーム４０５〜Ｂフレーム４０９までのフレーム群に対する第１疑似ランダムノイズＮ１の重み値ｗ１として、Ｂフレーム４０５に対してｗ１＝１／４、Ｂフレーム４０６に対してｗ１＝３／４、Ｐフレーム４０７に対してｗ１＝１、Ｂフレーム４０８に対してｗ１＝３／４、Ｂフレーム４０９に対してｗ１＝１／４に決定する。この場合、Ｂフレーム４０５〜Ｂフレーム４０９に対する第２疑似ランダムノイズＮ２の重み値ｗ２は、Ｂフレーム４０５に対してｗ２＝３／４、Ｂフレーム４０６に対してｗ２＝１／４、Ｂフレーム４０８に対してｗ２＝３／４、Ｂフレーム４０９に対してｗ２＝３／４に決定される。これにより、第２疑似ランダムノイズが付加される１つのフレーム群においても、参照フレームに対して最大の重み値ｗ２が決定され、他のフレームに対しては、参照フレームに近いほど重み値ｗ２が大きくなる。

このように、重み決定部３５０は、表示順において参照フレームに近づくにつれて増大し、表示順において参照フレームから遠ざかるにつれて減少する重み値を決定する。なお、重み決定部３５０は、重み値ｗ１をランダムに決定してもよい。例えば、重み決定部３５０は、疑似乱数に基づいて重み値ｗ１を決定してよい。この場合も、重み値ｗ２は、ｗ２＝１−ｗ１によって決定される。

このように、１つのフレーム群内において重み値を時間的に変化させることによって、フレーム群内の各フレームに付加される擬似ランダムノイズは異なるので、疑似ランダムノイズが人の目に固定パタンとして認識されることを抑制できる。また、１つのフレーム群内においては、重みが変化するものの、疑似ランダムノイズ自体は固定されているので、符号量が著しく増大することも抑制できる。

図４および図５の例では、参照フレーム間に２個のＢフレームを含める符号化を行う場合、すなわち参照フレーム間隔が３フレームの場合において、６フレーム周期で疑似ランダムノイズを切り替える場合を取り上げて説明した。参照フレーム間に３個のＢフレームを含める符号化を行う場合、すなわち参照フレーム間隔が４フレームの場合は、８フレーム周期で疑似ランダムノイズを切り替えてよい。このように、参照フレーム間隔の２倍の間隔で、疑似ランダムノイズを切り替えてよい。いずれの場合においても、第１疑似ランダムノイズまたは第２疑似ランダムノイズの更新タイミングは、参照フレーム間隔毎に行われる。

なお、疑似ランダムノイズを付加するか否かが、ユーザ設定によって設定可能であってよい。例えば、ディザリングを行うか否かが、ユーザ設定によって設定可能であってよい。また、疑似ランダムノイズの重み値を固定させるか否かが、ユーザ設定によって設定可能であってよい。また、疑似ランダムノイズの重み値をフレーム群内の各フレームでどのように変化させるかは、ユーザ設定によって設定可能であってよい。例えば、重みをランダムに変化させるか否かが、ユーザ設定によって設定可能であってよい。また、疑似ランダムノイズの付加量を動きに応じて変化させるか否かが、ユーザ設定によって設定可能であってよい。また、参照フレーム間のＢフレームの数が、ユーザ設定によって設定可能であってよい。

図６は、カメラ１０の起動から終了までの動作の一例を示す。本フローは、電源スイッチがＯＦＦ位置からＯＮ位置に切り替えられた場合に、開始される。本フローは、カメラＭＰＵ１４０が主体となってカメラ１０の各部を制御することにより実行される。

ステップＳ６０２において、カメラＭＰＵ１４０は、カメラ１０の初期設定を開始する。例えば、カメラＭＰＵ１４０は、カメラ１０を制御するための各種パラメータ等を、システムメモリ１３９からＲＡＭ１３６に展開する。カメラＭＰＵ１４０は、例えば展開された各種のシステムパラメータに基づき、カメラ１０の初期設定を行う。例えば、撮影条件に関するシステムパラメータに基づき、デフォルトの撮像条件を設定する。

続いて、ステップＳ６０４において、カメラＭＰＵ１４０は、初期設定で設定された内容を表示部１３８等に表示させる。例えば、カメラＭＰＵ１４０は、決定したデフォルトの撮像条件等の情報を、アイコン表示等の種々の形式で表示部１３８に表示させる。

続いて、ステップＳ６０６において、発生したイベントを特定する。ここでは、イベントとして、設定ボタンの操作により生じる設定イベントと、レリーズボタンや動画記録ボタンが押し込まれることにより生じる撮影イベントと、再生ボタンが押し込まれることにより生じる再生イベントと、電源オフイベントとを取り上げる。電源オフイベントは、電源スイッチがＯＦＦ位置に切り換えられた場合や、予め定められた期間にわたって操作入力部１４１の操作がなかった場合に生じる。

設定イベントが生じた場合、設定モードの動作を開始して、ユーザ操作に応じた設定処理を行う（ステップＳ６１０）。設定処理としては、撮像条件を設定する処理、動画の記録条件を設定する処理、動画記録時に図１から図５に関連して説明したディザリング処理に関する設定処理、符号化に関する設定処理等を例示することができる。ディザリング処理に関する設定処理としては、ディザリング処理を施すか否かを設定する処理、疑似ランダムノイズの重み値を固定するか否かを設定する処理、疑似ランダムノイズの重み値をランダムに変更するか否かを設定する処理、動きに応じて疑似ランダムノイズの付加量を制御することを設定する処理を含む。符号化に関する設定処理としては、参照フレーム間のＢフレームの数を設定する処理を含む。設定処理において設定が変更された場合、変更された設定に応じてシステムパラメータが変更される。設定モードの動作は、レリーズボタンの押し込み操作等の予め定められた操作を検出した場合に終了する。

ステップＳ６０６において、撮影イベントが生じたと判断された場合、撮影動作を行う（ステップＳ６１２）。ステップＳ６１２の処理には、静止画や動画の撮像動作、静止画や動画の画像データに対する画像処理、画像処理された画像データを外部メモリ１８０に記録する処理が含まれる。

ステップＳ６０６において、再生イベントが生じたと判断された場合、再生モードの動作を開始して、ユーザ操作に応じた再生動作を行う（ステップＳ６１４）。再生処理としては、外部メモリ１８０に記録されている画像データに基づきサムネイルを表示する処理、ユーザにより選択された画像データを再生する処理等を例示することができる。再生モードの動作は、レリーズボタンの押し込み操作等の予め定められた操作を検出した場合に、終了する。

ステップＳ６１０、ステップＳ６１２、ステップＳ６１４の処理が終了した場合、ステップＳ６０６に処理を移行する。ステップＳ６０６において、電源オフイベントが生じたと判断された場合、カメラ１０の動作を停止するための予め定められた終了処理を行い（ステップＳ６２２）、本フローを終了する。

図７は、動画撮影時における処理の一例を示す。本フローは、図６のステップＳ６１２の一部として実行される。本フローは、動画記録ボタンが押し込まれた場合に、実行される。

ステップＳ７００において、カメラＭＰＵ１４０は、ノイズ付加の動作条件を設定するパラメータを取得して、ノイズ付加の動作設定を行う。例えば、ディザリング処理を施す旨のパラメータ値が設定されている場合、参照フレーム間のＢフレーム数を示すパラメータ値に基づいて、第１疑似ランダムノイズおよび第２疑似ランダムノイズの切り替えタイミングを設定する。また、重み値を固定する旨のパラメータ値が設定されている場合、ｗ１＝０．５、ｗ２＝０．５に固定する。一方、重み値を固定させない旨のパラメータ値が設定されている場合、重み値の変更方法を示すパラメータ値に基づいて、重み値の変化パタンを決定し、ランダムな重み値を決定するための乱数を初期化する。また、疑似ランダムノイズの付加量を動きに応じて制御することを示すパラメータ値が設定されている場合、動き量の判断と疑似ランダムノイズの付加量の調整を行うための条件を設定する。

なお、ノイズ付加の動作条件は、カメラ１０が自動で設定してよい。例えば、動画処理部２８０は、動作モードに応じてノイズ付加の動作条件を設定してよい。例えば、撮像モードが風景モードに設定されている場合、ディザリング処理を施す旨が設定され、他の動作モードに設定されている場合に、ディザリング処理を施さない旨が設定されていてよい。なお、撮像モードは、ユーザ設定により設定されてよいし、シーン判定などによりカメラ１０により自動で判定されてもよい。

続いて、ステップＳ７０２において、カメラＭＰＵ１４０は、フレームの読み出しを開始する。以後、フレームが撮影される毎に、ＡＳＩＣ１３５にフレームデータが取り込まれて、画像処理部２１０において処理され、ＳＤＲＡＭ１３６に記憶される。そして、符号化処理対象のフレームとしてＳＤＲＡＭ１３６から逐次に読み出されて、符号化に供される。

ステップＳ７０４において、疑似ランダムノイズを付加する設定であるか否かを判断する。疑似ランダムノイズを付加する旨が設定されている場合、ステップＳ７０６に処理を進める。疑似ランダムノイズを付加しない旨が設定されている場合、ステップＳ７１６に処理を進める。

ステップＳ７０６において、ノイズ制御部２３０は、処理対象のフレームが、第１疑似ランダムノイズの切り替え周期に対応するタイミングのフレームであるか否かを判断する。切り替え周期に対応するタイミングのフレームである場合、ノイズ制御部２３０は、適用する疑似ランダムノイズを切り替えて（ステップＳ７０８）、ステップＳ７１０に処理を進める。切り替え周期に対応するタイミングのフレームでない場合は、ステップＳ７１０に処理を進める。

ステップＳ７１０において、ノイズ制御部２３０は、処理対象のフレームが、第２疑似ランダムノイズの切り替え周期に対応するタイミングのフレームであるか否かを判断する。切り替え周期に対応するタイミングのフレームである場合、ノイズ制御部２３０は、適用する第２疑似ランダムノイズを切り替えて（ステップＳ７１２）、ステップＳ７１４に処理を進める。切り替え周期に対応するタイミングのフレームでない場合は、ステップＳ７１４に処理を進める。

ステップＳ７１４において、ノイズ付加処理部２２０は、ノイズ生成部２００で生成された疑似ランダムノイズを付加する。例えば、ノイズ付加処理部２２０は、第１疑似ランダムノイズの付加対象のフレームに、第１ノイズ生成部２０１が発生した第１疑似ランダムノイズを付加する。また、ノイズ付加処理部２２０は、第２疑似ランダムノイズの付加対象のフレームに、第２ノイズ生成部２０２が発生した第２疑似ランダムノイズを付加する。第１疑似ランダムノイズおよび第２疑似ランダムノイズの付加対象のフレームには、第１疑似ランダムノイズおよび第２疑似ランダムノイズが、設定された重み値に従って重み付けされて、フレームに付加される。

なお、動きに応じて疑似ランダムノイズの付加量を制御する旨が設定されている場合、ステップＳ７１４においては、動きに応じて疑似ランダムノイズを付加するか否かがブロック毎に決定される。例えば、処理対象のフレームがＩフレームまたはＰフレームの場合は、全ブロックに擬似ランダムノイズとして追加する一方、処理対象のフレームがＢフレームの場合は、予め定められた値より小さい動きが検出されたブロックにだけ、擬似ランダムノイズを追加してよい。

続いて、ステップＳ７１６において、符号化を行う。具体的には、符号化処理に必要なフレームデータの組がＲＡＭ１３６に存在する場合、符号化部２６０において符号化処理を行う。

続いて、ステップＳ７１８において、動画撮影の処理を終了するか否かを判断する。例えば、動画撮影ボタンが再度押し込まれ、かつ、符号化対象の全てのフレームが符号化された場合に、動画撮像の処理を終了すると判断し、処理を終了する。動画撮影の処理を終了しない旨を判断した場合、ステップＳ７０６に処理を進める。

図８は、疑似ランダムノイズの他の付加例を模式的に示す。図４および図５に関連して説明した付加例によると、第１疑似ランダムノイズまたは第２疑似ランダムノイズは、フレームの全領域に付加される。その他、第１疑似ランダムノイズまたは第２疑似ランダムノイズを、フレーム内の互いに異なる部分領域に付加される。

図８の例では、各疑似ランダムノイズは１行おきに付加される。行とは、画素列であってもブロック列であってもよい。なお、図８の例では、図示の都合上、疑似ランダムノイズＮ１および第２疑似ランダムノイズＮ２を４行分についてのみ模式的に示している。

図示されるように、ノイズ付加処理部２２０は、Ｂフレーム４０２の第１行目および第３行目の画素列には、第１疑似ランダムノイズＮ１１を付加し、第２行目および第４行目の画素列には、第２疑似ランダムノイズＮ２１を付加する。第４行目以降も同様に、第１疑似ランダムノイズＮ１および第２疑似ランダムノイズＮ２を１行おきに交互に付加する。すなわち、ノイズ付加処理部２２０は、奇数行目の画素列には、第１疑似ランダムノイズＮ１１を付加し、偶数行目の画素列には、第２疑似ランダムノイズＮ２１を付加する。

なお、第１疑似ランダムノイズＮ１と第２疑似ランダムノイズＮ２とを１行おきに交互に付加する以外に、２行おきに付加する等、複数行おきに交互に付加してもよい。例えば、ｎピクセル×ｍピクセルのブロック毎に第１疑似ランダムノイズＮ１と第２疑似ランダムノイズＮ２とを付加してよい。ここで、ｎは１以上の値であり、ｍは１以上の値であってよい。

上記の説明では、各フレームに対して第１疑似ランダムノイズ及び第２疑似ランダムノイズを均等の割合で付加する場合を説明したが、異なる割合で付加しても良い。第１疑似ランダムノイズおよび第２疑似ランダムノイズがそれぞれ付加される部分領域の面積の合計値が、重み値に応じて制御されるようにしてよい。例えば、第１疑似ランダムノイズの重み値ｗ１が第２疑似ランダムノイズの重み値ｗ２の２倍である場合、第１疑似ランダムノイズが付加される部分領域の面積の合計値が、第２疑似ランダムノイズが付加される部分領域の面積の合計値の２倍になるように、第１疑似ランダムノイズを付加する部分領域が選択されてよい。例えば、図８のように行単位で疑似ランダムノイズを付加する場合、第１疑似ランダムノイズを２行付加する毎に、第２疑似ランダムノイズを１行付加するようにしてもよい。

上記の説明では、２種類の疑似ランダムノイズを付加する場合を説明した。更に多くの種類の疑似ランダムノイズを付加してもよい。例えば、第１疑似ランダムノイズと同じ切り替えタイミングで、第１疑似ランダムノイズおよび第２疑似ランダムノイズのいずれとも異なる第３疑似ランダムノイズを付加してよい。また、第２疑似ランダムノイズと同じ切り替えタイミングで、第１疑似ランダムノイズ、第２疑似ランダムノイズおよび第３疑似ランダムノイズのいずれとも異なる第４疑似ランダムノイズを付加してよい。

上記の説明では、動画を構成する画像であるピクチャの一例として、いわゆるフレーム画像を取り上げてカメラ１０の動作を説明した。しかし、ピクチャとは、いわゆるフィールド画像であってよい。

上記の説明において、カメラＭＰＵ１４０の動作として説明した処理は、カメラＭＰＵ１４０がプログラムに従ってカメラ１０が有する各ハードウェアを制御することにより実現される。同様に、上記の説明においてＡＳＩＣ１３５により実現される処理は、プロセッサによって実現することができる。すなわち、本実施形態のカメラ１０に関連して説明した処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。

また、本実施形態において、撮像装置の一例として、レンズユニット１２０およびカメラ本体１３０を備えるカメラ１０を取り上げた。しかし、撮像装置とは、レンズユニット１２０を備えないカメラ本体１３０を含む概念である。なお、撮像装置とは、一眼レフレックスカメラ等のレンズ交換式カメラであってよいし、レンズ非交換式カメラであってもよい。撮像装置は、ビデオカメラであってよい。撮像装置としては、撮像機能付きの携帯電話機等、撮像機能付きの携帯情報端末等、撮像機能を有する種々の電子機器であってよい。また、撮像装置に限らず、動画処理部２８０が行う処理と同様の処理を行う画像処理装置を適用の対象とすることができる。例えば、パーソナルコンピュータ等の画像編集装置やテレビジョン等の表示装置等の種々の電子機器を適用の対象とすることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ カメラ
１２０ レンズユニット
１２１ レンズマウント接点
１２２ レンズ群
１２３ レンズＭＰＵ
１２４ レンズ駆動部
１３０ カメラ本体
１３１ カメラマウント接点
１３２ 撮像素子
１３３ アナログ処理部
１３４ Ａ／Ｄ変換器
１３５ ＡＳＩＣ
１３６ ＲＡＭ
１３７ 表示制御部
１３８ 表示部
１３９ システムメモリ
１４０ カメラＭＰＵ
１４１ 操作入力部
１４２ ＡＦユニット
１４３ フォーカルプレーンシャッタ
１４４ 測光素子
１４５ メインミラー
１４６ サブミラー
１４７ ペンタプリズム
１４８ 駆動部
１４９ 接続インタフェース
１５０ 記録媒体ＩＦ
１５１ 記録媒体コネクタ
１５２ 外部機器ＩＦ
１５６ 外部機器コネクタ
１６０ 透過型表示パネル
１６１ ピント板
１６２ 接眼光学系
１６３ ファインダ窓
１８０ 外部メモリ
１９０ 電源
１９２ 電源回路
２００ ノイズ生成部
２０１ 第１ノイズ生成部
２０２ 第２ノイズ生成部
２１０ 画像処理部
２２０ ノイズ付加処理部
２３０ ノイズ制御部
２５０ 動き検出部
２６０ 符号化部
２８０ 動画処理部
３１０ 第１乗算部
３２０ 第２乗算部
３３０ 減算部
３４０ ノイズ付加部
３５０ 重み決定部
４０１ Ｉフレーム
４０２、４０３、４０５、４０６、４０８、４０９、４１１、４１２、４１４ Ｂフレーム
４０４、４０７、４１０ Ｐフレーム

Claims (3)

1. ピクチャ間予測により符号化される動画に含まれるピクチャに付加されるノイズを生成するノイズ生成部と、
   前記ピクチャ間予測において他のピクチャから参照される第１の参照ピクチャには第１のノイズを付加し、前記他のピクチャから参照される第２の参照ピクチャには第２のノイズを付加し、前記他のピクチャから参照されない非参照ピクチャには前記第１のノイズおよび前記第２のノイズとは異なる第３のノイズを付加するノイズ付加部と、
   前記ノイズ付加部によって前記ノイズが付加されたピクチャを符号化する符号化部と、
   を備え、
   前記第２のノイズは、前記第１のノイズに基づかずに生成され、前記第３のノイズは、前記第１の参照ピクチャに付加された前記第１のノイズと前記第２の参照ピクチャに付加された前記第２のノイズとに基づき生成される画像処理装置。
2. 前記第３のノイズは、前記第１の参照ピクチャに付加された前記第１のノイズと前記第２の参照ピクチャに付加された前記第２のノイズとを加重加算して得られるノイズである請求項１に記載の画像処理装置。
3. 前記ノイズ生成部は、擬似ランダムノイズを生成する請求項１または２に記載の画像処理装置。

Images