JP7278092B2 - 画像処理装置、撮像装置、画像処理方法、撮像装置の制御方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、撮像装置の制御方法、及びプログラムに関する。

ビデオカメラなどの撮像装置は、撮影時に撮像センサによって撮像された生の画像データ（ＲＡＷ画像）に対して現像処理を行うことができる。具体的には、撮像装置は、ＲＡＷ画像に対してディベイヤー処理（デモザイク処理）を行い、ＲＡＷ画像を輝度と色差から成る信号に変換する。また、撮像装置は、各信号についてノイズ低減、光学的な歪補正、画像の適正化などの処理を行う。そして、撮像装置は、輝度信号及び色差信号を圧縮符号化してから記録媒体に記録する。

ノイズ低減処理に関して、特許文献１は、フレーム画像を取得し、フレーム画像の明暗ヒストグラム分布を解析し、明暗分布情報に基づいたノイズ低減処理を施すことを提案している。

一方で、ＲＡＷ形式の動画像データ（以下、ＲＡＷ動画と記載）を記録できる撮像装置も存在する。ＲＡＷ動画は、記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があるので、シネマ業界などにおいて広く使われている。ＲＡＷ動画を記録する撮像装置では、ＲＡＷ動画と共に現像パラメータを各フレームに関連付けて記録しておき、再生時に現像パラメータを用いてＲＡＷ動画の現像・再生をすることが知られている。記録しておく現像パラメータとしては、ＲＡＷ動画撮影時に、画角確認などを目的としたモニタリング用映像生成に使用する現像パラメータや、ＲＡＷ動画と同時に記録されるプロキシ記録映像用の現像パラメータなどが使用される。また、ノイズ低減処理や、輪郭強調、ホワイトバランスなどのための、各種画像処理パラメータも記録される場合がある。記録されたＲＡＷ動画は、例えばＰＣに取り込まれ、各種現像アプリケーションを用いて現像処理が行われる。

特開２０１０－２５８９９６号公報

現像アプリケーションのノイズ低減処理方式と、撮像装置のノイズ低減処理方式とが異なる場合、記録しておいたノイズ低減処理のためのパラメータ（ノイズ低減処理情報）を画像再生時に使用できないという課題があった。例えば、撮像装置のノイズ低減処理方式が、フレーム参照型の所謂時間方向のノイズ低減処理方式であり、現像アプリケーションのノイズ低減処理方式が所謂空間フィルタ型のノイズ低減処理方式である場合がある。このような場合に、記録しておいたノイズ低減処理のためのパラメータを画像再生時に使用することができない。

本発明はこのような状況に鑑みてなされたものであり、特定のノイズ低減処理方式によるノイズ低減処理を規定するノイズ低減処理情報を、異なるノイズ低減処理方式によるノイズ低減処理を実行する際に活用できるようにする技術を提供することを目的とする。

上記課題を解決するために、本発明は、画像と、外部装置が画像に対して適用可能な第１のノイズ低減処理方式によるノイズ低減処理を規定する第１ＮＲ情報と、前記第１ＮＲ情報に従った前記第１のノイズ低減処理方式によるノイズ低減処理が適用されていない前記画像と、を取得する取得手段と、前記第１ＮＲ情報に基づいて、前記第１のノイズ低減処理方式とは異なる第２のノイズ低減処理方式によるノイズ低減処理を規定する第２ＮＲ情報を生成する生成手段と、前記第１ＮＲ情報に従った前記第１のノイズ低減処理方式によるノイズ低減処理が適用されていない前記画像に対して、前記第２ＮＲ情報に従って前記第２のノイズ低減処理方式によるノイズ低減処理を適用するノイズ低減手段と、を備えることを特徴とする画像処理装置を提供する。

本発明によれば、特定のノイズ低減処理方式によるノイズ低減処理を規定するノイズ低減処理情報を、異なるノイズ低減処理方式によるノイズ低減処理を実行する際に活用することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

デジタルビデオカメラ１００の内部構成を示すブロック図。 画像再生装置２００の内部構成を示すブロック図。 第１の実施形態に係る、画像処理部２４及びシステム制御部５０の詳細な構成を示す図。 第１の実施形態に係る、メタデータが付加されたＲＡＷ動画の概念図。 画像再生装置２００が実行するＮＲ情報設定処理のフローチャート。 ＲＡＷ動画及びメタデータ（第１ＮＲ情報）と、第２ＮＲ情報及び再生動画との関係を示す図。 第２の実施形態に係る、画像処理部２４及びシステム制御部５０の詳細な構成を示す図。 デジタルビデオカメラ１００が実行するＮＲ情報記録処理のフローチャート。 第２の実施形態に係る、メタデータが付加されたＲＡＷ動画の概念図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、撮像装置の一例であるデジタルビデオカメラ１００の内部構成を示すブロック図である。図１において、撮影レンズ１０３は、ズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０１は、光量調整に使用する絞りである。ＮＤフィルタ１０４は、減光用に使用するフィルタである。撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。また、撮像部２２は、電子シャッターによる蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能も備える。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルビデオカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、絞り１０１、撮像部２２を含む撮像系の汚れや破損を防止する。

本実施形態では、デジタルビデオカメラ１００がＲＡＷ動画を記録する場合を例に説明を行う。画像処理部２４は、モニタリング用映像生成のため、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対して色変換処理、ガンマ補正、ノイズ低減処理、デジタルゲインの付加等の処理を行う。一方、画像処理部２４は、記録映像であるＲＡＷ動画には処理を行わない。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、演算結果をシステム制御部５０に送信する。システム制御部５０は、送信された演算結果に基づいて、露出制御、測距制御、ホワイトバランス制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。画像処理部２４の詳細は後述する。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって撮像されＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、表示部２８は電子ビューファインダとして機能し、スルー画像表示を行うことができる。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭである。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、システム制御部５０が各種処理を実行するためのプログラムのことである。

システム制御部５０は、デジタルビデオカメラ１００全体を制御する。システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、各種処理を実現する。システムメモリ５２は、例えばＲＡＭである。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、録画スイッチ６１、操作部７０は、システム制御部５０に各種の動作指示を入力するための操作部材である。

モード切替スイッチ６０は、システム制御部５０の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０で動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ６１は、撮影待機状態と撮影状態とを切り替える。システム制御部５０は、録画スイッチ６１が操作されたこと応じて、撮像部２２からの信号読み出しから記録媒体９０への動画データの書き込みまでの一連の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体９０を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体９０、又は外部出力機器とのインタフェースである。図１では、記録媒体９０との接続時の状態を示している。記録媒体９０は、撮影されたＲＡＷ動画を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

次に、図３を参照して、画像処理部２４及びシステム制御部５０の処理の詳細について説明する。なお、画像処理部２４は、システム制御部５０を通じて、絞り、ＮＤ情報、シャッター速度などの露出パラメータを含めた、デジタルビデオカメラ１００内部の各種情報を取得可能である。

第１ＮＲ部３０１は、モニタリング用映像に対して、時間方向のノイズ低減処理である巡回型ノイズ低減処理を行う。

第１ＮＲ情報生成部３０２は、第１ＮＲ部３０１が実行するノイズ低減処理を規定する巡回係数などのパラメータ（第１ＮＲ情報）を生成し、生成したパラメータを第１ＮＲ部３０１に設定する。巡回型ノイズ低減処理の強度は、巡回係数で表されることが一般に知られている。巡回係数は、フレーム間差分の影響を除去する程度を示す数値であり、数値が高いほどノイズ低減効果が高い（ノイズ低減の強度が強い）ことを表す。例えば、第１ＮＲ情報生成部３０２は、予めノイズ低減処理の強度に応じた複数のパラメータを保持しており、フレーム間の信号レベルの差、あるいは、操作部７０を介して行われた強度設定に応じて、第１ＮＲ情報を生成する。

メタデータ生成部３０４は、ＲＡＷ動画に付加するメタデータを生成する。メタデータは、第１ＮＲ情報及び各種現像パラメータを含む。メタデータを生成する際に、メタデータ生成部３０４は、第１ＮＲ部３０１が実行するノイズ低減処理の種類を示す情報を第１ＮＲ情報に追加する。加算器３０５は、画像処理部２４に入力されたＲＡＷ動画に、メタデータ生成部３０４で生成されたメタデータを付加する。

なお、第１ＮＲ部３０１が実行するノイズ低減処理の種類（ノイズ低減処理方式）は、巡回型ノイズ低減処理（巡回型のノイズ低減処理方式）に限定されない。第１ＮＲ情報の具体的な内容は、第１ＮＲ部３０１が実行するノイズ低減処理の種類に応じて変化するが、例えば、種類、処理順序、及び各種設定値などの、ノイズ低減処理の内容を特定可能な情報を含む。

図４は、メタデータが付加されたＲＡＷ動画の概念図である。ＲＡＷ動画４０１は、３フレーム分の画像（フレーム１～３）で構成されている。メタデータ４０２は、フレーム毎に、適用されたノイズ低減処理のパラメータを含む。以下の説明においては、Ｒ１は、巡回係数２を示し、Ｒ２は巡回係数４を示すものとする。前述の通り、ノイズ低減処理の強度は、フレーム間の信号レベルの差に基づいて、あるいは、操作部７０を介して設定され、設定された強度に応じたパラメータがフレーム毎に記録される。

次に、図２を参照して、画像処理装置の一例である画像再生装置２００について説明する。図２は、画像再生装置２００の内部構成を示すブロック図である。映像データ２０１は、再生対象のＲＡＷ動画を含む。画像再生装置２００は、例えば前述した記録媒体９０（図１）などから、デジタルビデオカメラ１００が撮影したＲＡＷ動画を含む映像データ２０１を取得することができる。メタデータ２０２は、前述したメタデータ生成部３０４（図２）により生成されたメタデータである。

画像処理部２０３は、現像処理部２０４及び第２ＮＲ部２０５を含み、ＲＡＷ動画に対してノイズ低減処理を含む各種画質処理を施す。一般的には、ホワイトバランス制御やシャープネス制御なども画像処理部２０３で行われるが、本実施形態の説明には不要のため、ホワイトバランス制御やシャープネス制御などのための構成については図示を省略している。現像処理部２０４は、ＲＡＷ動画に対して現像処理を行う。例えば、現像処理部２０４は、ＲＡＷ動画に対してディベイヤー処理を行い、輝度と色差から成る所謂ＹＵＶ信号などの所定の映像信号形式へとＲＡＷ動画を変換する。第２ＮＲ部２０５は、現像処理された映像に対して、空間フィルタ型のノイズ低減処理であるイプシロンフィルタ処理を行う。イプシロンフィルタの強度は、着目画素に対する周囲画素領域、周囲画素の加重割合を高めることが一般的である。しかしながら、本実施形態では説明を簡潔にするため、３×３画素、５×５画素のように参照画素の範囲を広げることでノイズ低減効果を強くする構成を例に説明を行う。

なお、第２ＮＲ部２０５が実行するノイズ低減処理の種類（ノイズ低減処理方式）は、イプシロンフィルタ処理に限定されない。ノイズ低減処理の種類としては、メディアンフィルタ処理、ガウシアンフィルタ処理などの様々な種類が存在するが、第１ＮＲ部３０１と第２ＮＲ部２０５とでノイズ低減処理の種類が異なればよく、本実施形態は特定の種類に限定されるものではない。例えば、第２ＮＲ部２０５は、巡回型のノイズ低減処理方式と空間フィルタ型のノイズ低減処理方式とのうちの一方を使用し、第１ＮＲ部３０１は、巡回型のノイズ低減処理方式と空間フィルタ型のノイズ低減処理方式とのうちの他方を使用する。

また、本実施形態では再生対象の画像がＲＡＷ動画である場合を例に説明を行うが、再生対象の画像はＲＡＷ動画に限定されない。例えば、再生対象の画像は、現像処理済みの動画であってもよい。この場合、現像処理部２０４における現像処理は行われない。また、再生対象の画像は、ＲＡＷ静止画であってもよいし、現像処理済みの静止画であってもよい。撮影時と再生時とでノイズ低減処理の種類や強度設定を変更する必要のある任意の状況に対して、本実施形態の技術を適用することができる。

メタデータ取得部２０６は、映像データ２０１の各フレームに関連付けられたメタデータ２０２を取得する。第１ＮＲ情報判定部２０７は、メタデータ２０２に基づいて、ＲＡＷ動画の撮影時にデジタルビデオカメラ１００が行ったノイズ低減処理に関する情報（第１ＮＲ情報）を判定する。なお、再生対象のＲＡＷ動画には、ノイズ低減処理は施されていない。ＲＡＷ動画の撮影時にデジタルビデオカメラ１００が行ったノイズ低減処理とは、ＲＡＷ動画の撮影時にモニタリング用映像を生成するために行われたノイズ低減処理を指す。

第２ＮＲ情報生成部２０８は、第１ＮＲ情報に基づいて、第２ＮＲ部２０５が利用可能な、空間フィルタ型のノイズ低減処理のためのノイズ低減処理情報（第２ＮＲ情報）を生成する。

制御部２０９は、不図示のＲＯＭ及びＲＡＭを含み、ＲＡＭをワークメモリとして用いてＲＯＭに格納されたプログラムを実行することにより、画像再生装置２００の各部を制御する。

次に、図５を参照して、画像再生装置２００が実行するＮＲ情報設定処理について説明する。画像再生装置２００に映像データ２０１及びメタデータ２０２が入力されると、画像再生装置２００は、フレーム毎に本フローチャートの処理を実行する。

Ｓ５０１で、メタデータ取得部２０６は、メタデータ２０２を取得して第１ＮＲ情報判定部２０７へ出力する。

Ｓ５０２で、第１ＮＲ情報判定部２０７は、メタデータ２０２から第１ＮＲ情報を取得可能であるか否かを判定する。第１ＮＲ情報判定部２０７は、メタデータ２０２が第１ＮＲ情報を含む場合に、メタデータ２０２から第１ＮＲ情報を取得可能であると判定する。なお、メタデータ２０２が第１ＮＲ情報を含まない場合であっても、メタデータ２０２に含まれる何らかの情報から第１ＮＲ情報を導出できる場合がある。この場合も、第１ＮＲ情報判定部２０７は、メタデータ２０２から第１ＮＲ情報を取得可能であると判定する。第１ＮＲ情報の導出を可能にする情報は、例えば、ＩＳＯ感度などのカメラ設定や、被写体の輝度情報などである。例えば、第１ＮＲ情報判定部２０７は、カメラ設定や輝度情報などの内容とノイズ低減処理の内容とを関連付けるテーブルデータを保持しており、テーブルデータを参照することにより、カメラ設定や輝度情報などから第１ＮＲ情報を導出する。メタデータ２０２から第１ＮＲ情報を取得可能であると判定された場合、処理はＳ５０４に進み、そうでない場合、処理はＳ５０３に進む。

Ｓ５０３で、第１ＮＲ情報判定部２０７は、第２ＮＲ情報生成部２０８を介して、第２ＮＲ部２０５のノイズ低減処理をＯＦＦに設定する。

Ｓ５０４で、第１ＮＲ情報判定部２０７は、第１ＮＲ情報を第２ＮＲ情報生成部２０８へ出力し、第２ＮＲ情報生成部２０８は、第１ＮＲ情報の変換が必要であるか否かを判定する。第２ＮＲ情報生成部２０８は、第１ＮＲ情報に対応するノイズ低減処理の種類が第２ＮＲ部２０５が実行するノイズ低減処理の種類と異なる場合に、第１ＮＲ情報の変換が必要であると判定する。また、第２ＮＲ情報生成部２０８は、第１ＮＲ情報に対応するノイズ低減処理の種類が第２ＮＲ部２０５が実行するノイズ低減処理の種類と等しい場合に、第１ＮＲ情報の変換が不要であると判定する。第１ＮＲ情報の変換が不要な場合、処理はＳ５０５に進み、第１ＮＲ情報の変換が必要な場合、処理はＳ５０６に進む。

Ｓ５０５で、第１ＮＲ情報判定部２０７は、第１ＮＲ情報を第２ＮＲ部２０５に設定する。これにより、ＲＡＷ動画の撮影時にデジタルビデオカメラ１００においてモニタリング用映像に対して行われたものと同じノイズ低減処理が、第２ＮＲ部２０５において実行される。

Ｓ５０６で、第２ＮＲ情報生成部２０８は、第１ＮＲ情報に基づいて、第２ＮＲ部２０５が実行するノイズ低減処理のためのノイズ低減処理情報（第２ＮＲ情報）を生成する。前述の通り、本実施形態では、第１ＮＲ部３０１が巡回型ノイズ低減処理を実行し、第２ＮＲ部２０５がイプシロンフィルタ処理を実行する場合を例に説明を行う。第２ＮＲ情報生成部２０８は、巡回型ノイズ低減処理の設定値をイプシロンフィルタ処理の設定値に変換することにより、第２ＮＲ情報を生成する。設定値変換のために、第２ＮＲ情報生成部２０８は、例えば、ノイズ低減効果が近く弊害が許容可能な設定値間の関連付けを規定するテーブルデータを予め保持する。一般に、巡回型ノイズ低減処理は動画の残像が弊害となり、空間フィルタ型のノイズ低減処理は解像度低下が弊害となる。そのため、用意するテーブルデータは事前に映像確認するなどして決定しておく。例えば、第２ＮＲ情報生成部２０８は、Ｒ１（弱：巡回係数２）→Ｐ１（弱：３×３画素）、Ｒ２（強：巡回係数４）→Ｐ２（強：５×５画素）のようなテーブルデータを保持しているものとする。

Ｓ５０７で、第２ＮＲ情報生成部２０８は、生成した第２ＮＲ情報を第２ＮＲ部２０５に設定する。これにより、ＲＡＷ動画の撮影時にデジタルビデオカメラ１００においてモニタリング用映像に対して行われたノイズ低減処理の効果に近いノイズ低減効果が、画像再生装置２００の再生動画においても得られる。

なお、ここでは、第２ＮＲ部２０５による第２ＮＲ情報に従ったノイズ低減処理の効果が第１ＮＲ部３０１による第１ＮＲ情報に従ったノイズ低減処理の効果に近づくように、第２ＮＲ情報を生成する構成について説明した。しかしながら、本実施形態において、第２ＮＲ部２０５による第２ＮＲ情報に従ったノイズ低減処理の効果を第１ＮＲ部３０１による第１ＮＲ情報に従ったノイズ低減処理の効果に近づけることは、必須ではない。どのような形であれ、第１ＮＲ情報に基づいて第２ＮＲ情報を生成する限り、第２ＮＲ部２０５によるノイズ低減処理を実行する際に第１ＮＲ情報を活用できるという効果が得られる。

また、本実施形態の説明においては、第１ＮＲ部３０１部が実際に第１ＮＲ情報に従ってノイズ低減処理を行うものとしている。しかしながら、第１ＮＲ部３０１部が第１ＮＲ情報に従ってノイズ低減処理を行うことは必須ではない。画像再生装置２００が、デジタルビデオカメラ１００のような外部装置が適用可能な特定のノイズ低減処理方式によるノイズ低減処理を規定する第１ＮＲ情報に基づいて第２ＮＲ情報を生成するように構成されていれば、本実施形態の効果を得ることができる。

図６は、ＲＡＷ動画及びメタデータ（第１ＮＲ情報）と、第２ＮＲ情報及び再生動画との関係を示す図である。第２ＮＲ情報６０３は、Ｓ５０６において生成された第２ＮＲ情報であり、前述の通り、Ｐ１は参照領域３×３画素のノイズ低減効果の弱い設定であり、Ｐ２は参照領域がＰ１より広い５×５画素のノイズ低減効果の強い設定である。前述の通り、フレーム毎に図５のフローチャートの処理が実行されるため、第２ＮＲ情報は各フレームについて強度設定のパラメータを含んでいる。再生動画６０４は、第２ＮＲ情報に従ってノイズ低減処理の施された再生フレームを含む。

以上説明したように、第１の実施形態によれば、画像再生装置２００は、デジタルビデオカメラ１００がモニタリング用映像を生成するためにＲＡＷ動画に適用したノイズ低減処理を規定する第１ＮＲ情報を取得する。そして、画像再生装置２００は、第１ＮＲ情報に基づいて、デジタルビデオカメラ１００とは異なるノイズ低減処理方式によるノイズ低減処理を規定する第２ＮＲ情報を生成し、第２ＮＲ情報に従ってＲＡＷ動画に対してノイズ低減処理を適用する。これにより、特定のノイズ低減処理方式によるノイズ低減処理を規定するノイズ低減処理情報を、異なるノイズ低減処理方式によるノイズ低減処理を実行する際に活用することが可能となる。

なお、本実施形態では、デジタルビデオカメラ１００と画像再生装置２００とが相互に異なる１つのノイズ低減処理方式に対応している場合を例に説明を行った。しかしながら、デジタルビデオカメラ１００と画像再生装置２００とが複数の同じノイズ低減処理方式によるノイズ低減処理を異なる順序で実行する場合にも、本実施形態の技術を適用可能である。例えば、デジタルビデオカメラ１００が、イプシロンフィルタ処理、メディアンフィルタ処理の順にノイズ低減処理を行い、画像再生装置２００が、メディアンフィルタ処理、イプシロンフィルタ処理の順でノイズ低減処理を行う場合が考えられる。このような場合、イプシロンフィルタ処理及びメディアンフィルタ処理を、その順序も含めて１つのノイズ低減処理方式として捉えれば、デジタルビデオカメラ１００と画像再生装置２００とでノイズ低減処理方式が異なると考えることができる。この場合、第１ＮＲ情報は、イプシロンフィルタ処理、メディアンフィルタ処理それぞれのパラメータを含む。画像再生装置２００は、第１ＮＲ情報に基づいて、メディアンフィルタ処理、イプシロンフィルタ処理の順で実行する場合に適した、メディアンフィルタ処理、イプシロンフィルタ処理それぞれのパラメータを含む第２ＮＲ情報を生成すればよい。

［第２の実施形態］
第１の実施形態では、画像再生装置２００が第１ＮＲ情報から第２ＮＲ情報を生成する構成について説明したが、第２の実施形態では、デジタルビデオカメラ１００が第１ＮＲ情報から第２ＮＲ情報を生成する構成について説明する。第２の実施形態において、デジタルビデオカメラ１００及び画像再生装置２００の基本的な構成は第１の実施形態と同様である（図１及び図２参照）。以下、主に第１の実施形態と異なる点について説明する。

図７は、第２の実施形態に係る、画像処理部２４及びシステム制御部５０の詳細な構成を示す図である。第２ＮＲ情報生成部７０３は、第１ＮＲ情報生成部３０２により生成された第１ＮＲ情報に基づいて、空間フィルタ型のノイズ低減処理であるイプシロンフィルタ処理のためのノイズ低減処理情報（第２ＮＲ情報）を生成する。第２ＮＲ情報生成部７０３が第２ＮＲ情報を生成する具体的な処理は、第１の実施形態において図５のＳ５０６を参照して説明した処理と同様である。但し、第２ＮＲ情報生成部７０３は、第２ＮＲ情報の使用を想定している画像再生装置（又は再生アプリケーションなど）の名称及びバージョン情報や、第２ＮＲ情報に対応するノイズ低減処理の種類を示す情報などを併せて生成して第２ＮＲ情報に含めてもよい。

メタデータ生成部７０４は、ＲＡＷ動画に付加するメタデータを生成する。メタデータは、第１ＮＲ情報、第２ＮＲ情報、及び各種現像パラメータも含む。加算器７０５は、画像処理部２４に入力されたＲＡＷ動画に、メタデータ生成部７０４で生成されたメタデータを付加する。

なお、第１の実施形態と同様、画像再生装置２００による再生対象の画像はＲＡＷ動画に限定されない。例えば、再生対象の画像は、現像処理済みの動画であってもよい。また、再生対象の画像は、ＲＡＷ静止画であってもよいし、現像処理済みの静止画であってもよい。撮影時と再生時とでノイズ低減処理の種類や強度設定を変更する必要のある任意の状況に対して、本実施形態の技術を適用することができる。

また、本実施形態では、記録するＲＡＷ動画のメタデータに第２ＮＲ情報を記録する場合を例に説明を行うが、第２ＮＲ情報の記録先はこれに限定されず、例えばＳＤＩ信号のアンシラリ信号領域へ付加する構成を採用してもよい。

また、本実施形態では、デジタルビデオカメラ１００は、ＲＡＷ動画を現像・再生することが可能な構成になっている。デジタルビデオカメラ１００は、記録媒体９０に格納されたＲＡＷ動画に対して画像処理部２４で現像処理及びノイズ低減処理を施して、現像後の映像を出力することも可能な構成となっている。

図９は、メタデータが付加されたＲＡＷ動画の概念図である。ＲＡＷ動画９０１は、３フレーム分の画像（フレーム１～３）で構成されている。メタデータ９０２は、フレーム毎に、適用されたノイズ低減処理のパラメータを含む。ＲＡＷ動画９０１及びメタデータ９０２は、第１の実施形態において図４を参照して説明したＲＡＷ動画４０１及びメタデータ４０２と同様である。メタデータ９０３は、第２ＮＲ情報生成部７０３により生成された第２ＮＲ情報を含む。図９に示すように、メタデータ９０３（第２ＮＲ情報）は、フレーム毎に、イプシロンフィルタ処理のパラメータを含む。図９に示されるＰ１及びＰ２は、第１の実施形態において図６を参照して説明したＰ１及びＰ２と同様である。図９の例では、フレーム２のタイミングでノイズ低減処理を強める指示がなされ、記録されるパラメータの内容が変更されている。ノイズ低減処理を強める指示は、ユーザにより操作部７０などを介して行われる。

次に、図８を参照して、デジタルビデオカメラ１００が実行するＮＲ情報記録処理について説明する。デジタルビデオカメラ１００に対して動画記録指示が行われると、デジタルビデオカメラ１００は、フレーム毎に本フローチャートの処理を実行する。

Ｓ８０１で、第１ＮＲ情報生成部３０２は、モニタリング用映像に適用されるノイズ低減処理の設定情報を取得する。取得される設定情報は、ユーザ指示に従って選択されるノイズリダクションメニューにおける「弱い」、「強い」などのメニュー設定値である。

Ｓ８０２で、第１ＮＲ情報生成部３０２は、メニュー設定値に応じて、モニタリング用映像に適用する巡回型フィルタの設定値である第１ＮＲ情報を生成する。第１ＮＲ情報生成部３０２は、メニュー設定値を、弱い→Ｒ１、強い→Ｒ２のように変換する。第１ＮＲ情報生成部３０２は、第１ＮＲ情報を、第２ＮＲ情報生成部７０３及びメタデータ生成部７０４へと出力する。

Ｓ８０３で、第２ＮＲ情報生成部７０３は、図５のＳ５０６と同様の処理により、第１ＮＲ情報に基づいて第２ＮＲ情報を生成する。第２ＮＲ情報生成部７０３は、生成した第２ＮＲ情報をメタデータ生成部７０４に出力する。なお、第２ＮＲ情報生成部７０３は、第２ＮＲ情報の使用を想定している画像再生装置（又は再生アプリケーションなど）の名称及びバージョン情報や、第２ＮＲ情報に対応するノイズ低減処理の種類を示す情報などを併せて生成して第２ＮＲ情報に含めてもよい。また、ノイズ低減処理機能を複数持つ画像再生装置により再生を想定している場合には、処理順序を判別可能な情報を第２ＮＲ情報に含めてもよい。これにより、特定の画像再生装置以外においても、ノイズ低減処理回路の種類、処理順序、各回路の設定値を考慮して、再生側のノイズ低減処理回路の設定値を決定することが可能となる。

Ｓ８０４で、メタデータ生成部７０４は、第１ＮＲ情報及び第２ＮＲ情報を含むメタデータを生成し、加算器７０５へ出力する。これにより、メタデータがＲＡＷ動画と共に記録媒体９０に記録される。

以上の処理により、画像再生装置２００がＲＡＷ動画を再生する際に、第２ＮＲ情報に従ってノイズ低減処理を行うことが可能になる。その結果、ＲＡＷ動画の撮影時にデジタルビデオカメラ１００においてモニタリング用映像に対して行われたノイズ低減処理の効果に近いノイズ低減効果が、画像再生装置２００の再生動画においても得られる。

なお、第１の実施形態と同様、第２ＮＲ部２０５による第２ＮＲ情報に従ったノイズ低減処理の効果を第１ＮＲ部３０１による第１ＮＲ情報に従ったノイズ低減処理の効果に近づけることは、必須ではない。どのような形であれ、第１ＮＲ情報に基づいて第２ＮＲ情報を生成する限り、第２ＮＲ部２０５によるノイズ低減処理を実行する際に第１ＮＲ情報を活用できるという効果が得られる。

また、本実施形態の説明においては、第１ＮＲ部３０１部が実際に第１ＮＲ情報に従ってノイズ低減処理を行うものとしている。しかしながら、第１ＮＲ部３０１部が第１ＮＲ情報に従ってノイズ低減処理を行うことは必須ではない。デジタルビデオカメラ１００が、第１ＮＲ情報に基づいて、画像再生装置２００のような外部装置が適用可能な特定のノイズ低減処理方式によるノイズ低減処理を規定する第２ＮＲ情報を生成するように構成されていれば、本実施形態の効果を得ることができる。

また、上の説明では、メタデータが第１ＮＲ情報及び第２ＮＲ情報を含むものとしたが、第１ＮＲ情報はメタデータに含まれなくてもよい。メタデータが第１ＮＲ情報を含む場合には、デジタルビデオカメラ１００がＲＡＷ動画を再生する際に第１ＮＲ情報に従ってノイズ低減処理を行うことができる。

以上説明したように、第２の実施形態によれば、デジタルビデオカメラ１００は、モニタリング用映像を生成するためにＲＡＷ動画に適用するノイズ低減処理を規定する第１ＮＲ情報を生成する。そして、デジタルビデオカメラ１００は、第１ＮＲ情報に基づいて、デジタルビデオカメラ１００とは異なるノイズ低減処理方式によるノイズ低減処理を規定する第２ＮＲ情報を生成し、第２ＮＲ情報とＲＡＷ動画とを関連付けて記録する。これにより、特定のノイズ低減処理方式によるノイズ低減処理を規定するノイズ低減処理情報を、異なるノイズ低減処理方式によるノイズ低減処理を実行する際に活用することが可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２００…画像再生装置、２０３…画像処理部、２０４…現像処理部、２０５…第２ＮＲ部、２０６…メタデータ取得部、２０７…第１ＮＲ情報判定部、２０８…第２ＮＲ情報生成部、２０９…制御部

Claims (16)

1. 外部装置が画像に対して適用可能な第１のノイズ低減処理方式によるノイズ低減処理を規定する第１ＮＲ情報と、前記第１ＮＲ情報に従った前記第１のノイズ低減処理方式によるノイズ低減処理が適用されていない前記画像と、を取得する取得手段と、
   前記第１ＮＲ情報に基づいて、前記第１のノイズ低減処理方式とは異なる第２のノイズ低減処理方式によるノイズ低減処理を規定する第２ＮＲ情報を生成する生成手段と、
   前記第１ＮＲ情報に従った前記第１のノイズ低減処理方式によるノイズ低減処理が適用されていない前記画像に対して、前記第２ＮＲ情報に従って前記第２のノイズ低減処理方式によるノイズ低減処理を適用するノイズ低減手段と、
   を備えることを特徴とする画像処理装置。
2. 前記生成手段は、前記第２ＮＲ情報に従った前記第２のノイズ低減処理方式によるノイズ低減処理の効果が前記第１ＮＲ情報に従った前記第１のノイズ低減処理方式によるノイズ低減処理の効果に近づくように、前記第２ＮＲ情報を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像は、複数のフレームを含む動画像であり、
   前記第１ＮＲ情報は、前記複数のフレームのそれぞれについて前記第１のノイズ低減処理方式によるノイズ低減処理を規定し、
   前記生成手段は、前記複数のフレームのそれぞれについて前記第２のノイズ低減処理方式によるノイズ低減処理を規定するように前記第２ＮＲ情報を生成する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１のノイズ低減処理方式は、巡回型のノイズ低減処理方式と空間フィルタ型のノイズ低減処理方式とのうちの一方を含み、
   前記第２のノイズ低減処理方式は、前記巡回型のノイズ低減処理方式と前記空間フィルタ型のノイズ低減処理方式とのうちの他方を含む
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記第２のノイズ低減処理方式は、前記第１のノイズ低減処理方式と同じ複数のノイズ低減処理を行うものであって、
   前記第１のノイズ低減処理方式と前記第２のノイズ低減処理方式とで、前記複数のノイズ低減処理を行う順序が異なる
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記取得手段は、前記第１ＮＲ情報を含み前記画像に関連付けられたメタデータを取得する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 画像を生成する撮像手段と、
   第１のノイズ低減処理方式によるノイズ低減処理を規定する第１ＮＲ情報を生成する第１の生成手段と、
   前記第１ＮＲ情報に基づいて、前記第１ＮＲ情報に従った前記第１のノイズ低減処理方式によるノイズ低減処理が適用されていない前記画像に対して外部装置が適用可能な、前記第１のノイズ低減処理方式とは異なる第２のノイズ低減処理方式によるノイズ低減処理を規定する第２ＮＲ情報を生成する第２の生成手段と、
   前記第１ＮＲ情報に従って、前記画像に対して前記第１のノイズ低減処理方式によるノイズ低減処理を適用することにより、第２の画像を生成するノイズ低減手段と、
   前記第２ＮＲ情報と、前記第１ＮＲ情報に従った前記第１のノイズ低減処理方式によるノイズ低減処理が適用されていない前記画像と、を関連付けて記録する記録手段と、
   を備えることを特徴とする撮像装置。
8. 前記第２の生成手段は、前記第２ＮＲ情報に従った前記第２のノイズ低減処理方式によるノイズ低減処理の効果が前記第１ＮＲ情報に従った前記第１のノイズ低減処理方式によるノイズ低減処理の効果に近づくように、前記第２ＮＲ情報を生成する
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記画像は、複数のフレームを含む動画像であり、
   前記第１の生成手段は、前記複数のフレームのそれぞれについて前記第１のノイズ低減処理方式によるノイズ低減処理を規定するように前記第１ＮＲ情報を生成し、
   前記第２の生成手段は、前記複数のフレームのそれぞれについて前記第２のノイズ低減処理方式によるノイズ低減処理を規定するように前記第２ＮＲ情報を生成する
   ことを特徴とする請求項７又は８に記載の撮像装置。
10. 前記第１のノイズ低減処理方式は、巡回型のノイズ低減処理方式と空間フィルタ型のノイズ低減処理方式とのうちの一方を含み、
    前記第２のノイズ低減処理方式は、前記巡回型のノイズ低減処理方式と前記空間フィルタ型のノイズ低減処理方式とのうちの他方を含む
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記第２のノイズ低減処理方式は、前記第１のノイズ低減処理方式と同じ複数のノイズ低減処理を行うものであって、
    前記第１のノイズ低減処理方式と前記第２のノイズ低減処理方式とで、前記複数のノイズ低減処理を行う順序が異なる
    ことを特徴とする請求項７乃至９のいずれか１項に記載の撮像装置。
12. 前記記録手段は、前記第１ＮＲ情報を前記画像に関連付けて記録する
    ことを特徴とする請求項７乃至１１のいずれか１項に記載の撮像装置。
13. 画像処理装置が実行する画像処理方法であって、
    外部装置が画像に対して適用可能な第１のノイズ低減処理方式によるノイズ低減処理を規定する第１ＮＲ情報と、前記第１ＮＲ情報に従った前記第１のノイズ低減処理方式によるノイズ低減処理が適用されていない前記画像と、を取得する取得工程と、
    前記第１ＮＲ情報に基づいて、前記第１のノイズ低減処理方式とは異なる第２のノイズ低減処理方式によるノイズ低減処理を規定する第２ＮＲ情報を生成する生成工程と、
    前記第１ＮＲ情報に従った前記第１のノイズ低減処理方式によるノイズ低減処理が適用されていない前記画像に対して、前記第２ＮＲ情報に従って前記第２のノイズ低減処理方式によるノイズ低減処理を適用するノイズ低減工程と、
    を備えることを特徴とする画像処理方法。
14. 画像を生成する撮像手段を備える撮像装置の制御方法であって、
    第１のノイズ低減処理方式によるノイズ低減処理を規定する第１ＮＲ情報を生成する第１の生成工程と、
    前記第１ＮＲ情報に基づいて、前記第１ＮＲ情報に従った前記第１のノイズ低減処理方式によるノイズ低減処理が適用されていない前記画像に対して外部装置が適用可能な、前記第１のノイズ低減処理方式とは異なる第２のノイズ低減処理方式によるノイズ低減処理を規定する第２ＮＲ情報を生成する第２の生成工程と、
    前記第１ＮＲ情報に従って、前記画像に対して前記第１のノイズ低減処理方式によるノイズ低減処理を適用することにより、第２の画像を生成するノイズ低減工程と、
    前記第２ＮＲ情報と、前記第１ＮＲ情報に従った前記第１のノイズ低減処理方式によるノイズ低減処理が適用されていない前記画像と、を関連付けて記録する記録工程と、
    を備えることを特徴とする制御方法。
15. コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
16. コンピュータを、請求項７乃至１２のいずれか１項に記載の撮像装置の、撮像手段を除く各手段として機能させるためのプログラム。

Images