JP7408315B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、撮像された画像を処理する技術に関する。

近年は、動画の高解像度化や表示装置の大型化が進んでおり、動画画質の高品質化への要求が高まっている。特に動画再生時において当該動画を構成している一部のフレームの画像を表示するような場合の画質が低いと目立ち易いため、その画像を高画質化したいという要求が存在する。なお、特許文献１には、動画再生時にのみ過去フレームとの間の輝度の相関性を維持するためにパラメータ補正を実施し、動画再生の一時停止時にはパラメータ補正を行わないことで静止画像に適した画像を出力する技術が開示されている。

特開２００４－３５４９１３号公報

また最近は、動画をＲＡＷデータで記録および再生できる撮像装置が普及しつつある。このため、ＲＡＷデータの動画再生時においても、当該動画を構成している一部のフレームの画像を表示する場合に高画質化できることが望まれる。しかしながら、特許文献１に挙げた技術は、現像済みの動画データ再生時の一時停止時におけるパラメータ補正に関するものであり、動画のＲＡＷデータを再生する際の高画質化には適用できない。

そこで、本発明は、ＲＡＷデータの動画を構成している一部のフレームの画像を再生する場合の高品質化を可能にすることを目的とする。

本発明の画像処理装置は、補正データを用いた画像処理を含む現像処理を、ＲＡＷデータに対して行い現像済みデータを生成する現像処理手段と、動画のＲＡＷデータを現像して再生する場合、前記動画を構成するフレームのなかの一部のフレームのＲＡＷデータを現像して再生する場合と、前記動画を構成する各フレームのＲＡＷデータを現像して再生する場合とで、前記現像処理手段が前記画像処理に用いる補正データを異ならせる制御手段と、を有し、前記制御手段は、前記動画の前記一部のフレームの前記ＲＡＷデータを現像して再生する場合には、前記ＲＡＷデータから抽出したデータに基づく補正データを、前記現像処理手段の前記画像処理に適用し、前記動画の前記各フレームの前記ＲＡＷデータを現像して再生する場合には、前記ＲＡＷデータから抽出したデータを用いることなく予め記憶している補正データを、前記現像処理手段の前記画像処理に適用することを特徴とする。

本発明によれば、ＲＡＷデータの動画を構成している一部のフレームの画像を再生する場合の高品質化が可能となる。

実施形態の画像処理装置が適用される一構成例を示した図である。 ベイヤ配列の概要を示す図である。 ＲＡＷデータ取得から記録までの処理の流れを示すフローチャートである。 ＲＡＷデータの動画再生時の処理の流れを示すフローチャートである。 動画再生選択時の処理の流れを示すフローチャートである。 現像済み動画データ再生時の処理の流れを示すフローチャートである。 ＲＡＷ動画データ再生時の処理の流れを示すフローチャートである。 倍率色収差検出の概要説明に用いる図である。 倍率色収差検出の処理の流れを示すフローチャートである。 色プレーン生成の概要説明に用いる図である。 色プレーン生成時のＬＰＦの例を示す図である。 色ずれ量検出の概要説明に用いる図である。 適応補間処理の概要説明に用いる図である。

以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
図１は、本実施形態の画像処理装置の一適用例である動画記録再生装置１００の構成例を示す図である。
撮像レンズ１０１は、ズームレンズ、フォーカスレンズおよび入射光量を調節するための絞りを含むレンズ群である。カラーフィルタ１０２は、入射光をＲ（赤），Ｇ（緑），Ｂ（青）の色成分に分離するためのフィルターである。カラーフィルタ１０２のＲ，Ｇ，Ｂと画素位置の対応は、図２に示すようなベイヤ配列が多く用いられる。なお図２はカラーフィルタ１０２の一部のみを示している。

撮像部１０３は、入射光を電気信号に変換するためのＣＭＯＳセンサー等の撮像素子と、撮像素子から出力されるアナログ信号をデジタル信号に変換するためのＡ／Ｄ変換器とを有して構成される。

内部メモリ１０４は、記憶媒体としてＤＲＡＭ等の揮発性メモリを有して構成されている。内部メモリ１０４は、撮像部１０３から出力されるデジタル信号（ＲＡＷデータとする）や、現像処理部１０９から出力されるデータ（現像済みデータとする）を、記憶媒体に記憶する。

操作入力部１０５は、ユーザーが動画記録再生装置１００に対して、動画記録の開始や終了、動画データの再生、一時停止等の操作指示を行うためのものであり、ボタンや電子ダイヤル、タッチパネル等で構成される。
制御部１０６は、操作入力部１０５に入力された内容に応じて、動画記録や再生などの、動画記録再生装置１００の各種制御を行う。制御部１０６の詳細は後述する。

補正データ記憶部１０７は、記憶媒体としてＦｌａｓｈＲＯＭ等の不揮発性メモリを有して構成されている。補正データ記憶部１０７は、撮影条件ごとの補正データを、記憶媒体に記憶している。
補正量検出部１０８は、ＲＡＷデータを基に各種補正データの算出を行う。補正量検出部１０８の詳細は後述する。

現像処理部１０９は、制御部１０６による制御の下、内部メモリ１０４からＲＡＷデータを読み出し、各種補正処理とＷＢ（ホワイトバランス）処理、ノイズリダクション処理、シャープネス等の画像処理を含む現像処理を行って現像済みデータを生成する。また、現像処理部１０９にて生成された現像済みデータは、制御部１０６による制御の下で、内部メモリ１０４に送られて記憶される。

表示制御部１１０は、内部メモリ１０４に記憶された現像済みデータを表示部１１１に出力するための制御を行う。
表示部１１１は、現像済みデータの動画等を表示するための表示装置であり、ＬＣＤ等の表示デバイスで構成される。

外部メモリ制御部１１２は、内部メモリ１０４に記憶された現像済みデータあるいはＲＡＷデータを外部メモリ１１３に出力するための制御を行う。
外部メモリ１１３は、記憶媒体としてＳＤカードなどのメモリカードを有して構成される。外部メモリ１１３は、現像済みデータあるいはＲＡＷデータを、記憶媒体に記憶する。外部メモリ１１３には、フレーム毎の現像済みデータからなる動画データ（現像済み動画データとする）、またはフレーム毎のＲＡＷデータからなる動画データ（ＲＡＷ動画データとする）、もしくは現像済み動画データとＲＡＷ動画データの両方が保存される。

続いて、図３のフローチャートを用いて、本実施形態の動画記録再生装置１００におけるＲＡＷデータ取得から記録までの処理の流れを説明する。
操作入力部１０５を介したユーザーからの記録開始指示を受けとると、制御部１０６は、まずステップＳ３０１の処理として、撮像部１０３が取得した１フレーム分のＲＡＷデータを内部メモリ１０４に記憶させる。そして、制御部１０６は、１フレーム分のＲＡＷデータの保存が完了した時点で、ステップＳ３０２に処理を進める。

ステップＳ３０２の処理に進むと、制御部１０６は、ユーザーにより予め設定された記録モードを確認する。制御部１０６は、予め設定された記録モードがＲＡＷ記録モードでないと判定した場合（通常記録モード）には、ステップＳ３０３に処理を進める。

ステップＳ３０３に進むと、制御部１０６は、ＲＡＷデータに対する各種補正処理等の画像処理を含む現像処理を現像処理部１０９に実行させた後、ステップＳ３０４に処理を進める。そして、ステップＳ３０４に進むと、制御部１０６は、現像済みデータを外部メモリ１１３に保存させた後、ステップＳ３０６に処理を進める。

一方、ステップＳ３０２において記録モードがＲＡＷ記録モードであると判定した場合、制御部１０６は、現像処理部１０９による現像処理を行わせず、ステップＳ３０５でＲＡＷデータを外部メモリ１１３に保存させた後、ステップＳ３０６に処理を進める。

ステップＳ３０６の処理に進むと、制御部１０６は、操作入力部１０５を介してユーザーから記録終了指示が入力されたか確認し、記録終了指示が入力されていないと判定した場合にはステップＳ３０１に処理を戻し、以降の処理を繰り返す。一方、ステップＳ３０６において記録終了指示が入力されたと判定した場合、制御部１０６は、図３のフローチャートの処理を終了する。

続いて、図４のフローチャートを用い、図３のステップＳ３０３において通常記録モード時に現像処理部１０９が行う補正および現像処理について説明する。
まずステップＳ４０１の処理として、現像処理部１０９は、補正データ記憶部１０７から補正データを読み出す。ここで本実施形態における補正データとは、倍率色収差など各種収差を補正する処理を行うためのデータであり、レンズ設計時のデータから算出された値が予め補正データ記憶部１０７に記憶されている。

次にステップＳ４０２の処理として、現像処理部１０９は、補正データ記憶部１０７から読み出した補正データを基に、内部メモリ１０４に記憶されているＲＡＷデータに対する補正処理を行う。さらに現像処理部１０９は、補正処理後のＲＡＷデータに対して、ＷＢ処理、ノイズリダクション、およびエッジ強調処理といった画像処理および現像処理を行った後、圧縮処理を行い、現像済みデータとして内部メモリ１０４に送って記憶させる。

その後、現像処理部１０９は、以上のような処理を動画の全てのフレームについて行ったか判定し、未処理のフレームがある場合にはステップＳ４０１に処理を戻して、当該未処理のフレームについてステップＳ４０１とステップＳ４０２の処理を行う。そして、現像処理部１０９は、動画の全てのフレームについて処理が完了したと判定した場合、図４のフローチャートの処理を終了する。

＜第１の実施形態に係る動画再生処理＞
続いて、動画記録再生装置１００の第１の実施形態に係る動画再生処理について説明する。
本実施形態の場合、現像済み動画データの動画再生時において、動画を構成する各フレームのなかの一部のフレーム画像を再生する場合と、動画全体を再生（各フレームをフレーム順に再生）する場合とで、現像時の補正処理で用いられた補正データは共通である。
一方、ＲＡＷ動画データを現像して再生する場合、動画を構成している一部のみのフレーム画像を現像して再生する場合と、動画全体を現像して再生する場合とで、現像時の補正処理に用いる補正データは異なるものとなされる。制御部１０６は、ＲＡＷ動画データの現像および再生が行われる場合には、一部のフレームのみのＲＡＷデータを現像して再生する場合と、各フレームのＲＡＷデータを順に現像して再生する場合とで、補正処理に用いる補正データを異ならせる。すなわち本実施形態の場合、ＲＡＷ動画データの一部のフレーム（ＲＡＷデータ）の画像を再生する際には、当該一部のフレームのＲＡＷデータに特化した補正データを補正量検出部１０８が生成し、現像処理部１０９はその補正データを用いた補正処理を行う。これにより本実施形態の動画記録再生装置１００は、ＲＡＷ動画データの一部のフレーム画像を再生する場合に、当該画像の品質を向上させることができる。

なお本実施形態において、動画再生時に表示される一部のフレーム画像とは、動画再生の一時停止時に表示される画像、動画から切り出されて表示される静止画、あるいは動画から繰り返し再生して表示される画像などである。本実施形態では、一部のフレーム画像として、動画再生の一時停止時に表示される画像を例に挙げて説明する。

図５は、本実施形態の動画記録再生装置１００において動画を再生する際に、制御部１０６が、動画データを選択して再生する処理の流れを示したフローチャートである。
操作入力部１０５を介してユーザーから動画再生要求を受け取ると、制御部１０６は、まずステップＳ５０１の処理として、外部メモリ１１３に現像済み動画データが保存されているか確認する。そして、制御部１０６は、外部メモリ１１３に現像済み動画データが保存されていると判定した場合にはステップＳ５０２に処理を進める。一方、制御部１０６は、外部メモリ１１３に現像済み動画データが保存されておらず、ＲＡＷ動画データが保存されていると判定した場合にはステップＳ５０３に処理を進める。外部メモリ１１３に現像済み動画データとＲＡＷ動画データの両方が保存されている場合、制御部１０６は、操作入力部１０５を介してユーザーがいずれの動画データの再生を指示したかに応じて、ステップＳ５０２またはＳ５０３に処理を進めてもよい。

ステップＳ５０２に進んだ場合、制御部１０６は、外部メモリ１１３から、現像済み動画データを構成しているフレーム毎に現像済みデータを順次読み出して表示制御部１１０に送ることで、表示部１１１に動画を表示させる再生処理を行う。ステップＳ５０２では、ユーザーから一時停止要求が入力された場合には一時停止表示も行われる。ステップＳ５０２の詳細な処理は後述する。このステップＳ５０２の後、制御部１０６は、図５のフローチャートの処理を終了する。

一方、ステップＳ５０３に進んだ場合、制御部１０６は、外部メモリ１１３からＲＡＷ動画データを構成するフレーム毎のＲＡＷデータを読み出し、現像処理部１０９に当該フレーム毎のＲＡＷデータの現像処理を行わせる。現像処理部１０９では、フレーム毎のＲＡＷデータが現像処理され、そのフレーム毎の現像済みデータが表示制御部１１０に順次送られることで、表示部１１１に動画が表示されることになる。ステップＳ５０３では、ユーザーから一時停止要求が入力された場合には一時停止表示も行われる。ステップＳ５０３の詳細な処理は後述する。このステップＳ５０３の後、制御部１０６は、図５のフローチャートの処理を終了する。

図６は、図５のステップＳ５０２における現像済み動画データの再生処理の流れを示すフローチャートである。
まずステップＳ６０１の処理として、制御部１０６は、外部メモリ１１３から現像済み動画データの１フレーム分の現像済みデータを読み出し、表示制御部１１０を介して表示部１１１に表示させる。

続いてステップＳ６０２の処理として、制御部１０６は、操作入力部１０５を介してユーザーからユーザー操作１として一時停止要求が入力されたか否かを確認する。制御部１０６は、一時停止要求が入力されたと判定した場合にはステップＳ６０３に処理を進め、一方、一時停止要求が入力されていないと判定した場合にはステップＳ６０４に処理を進める。

ステップＳ６０３に進むと、制御部１０６は、操作入力部１０５を介してユーザーからユーザー操作２として再生再開要求が入力されたか否かを確認する。制御部１０６は、再生再開要求が入力されたと判定した場合にはステップＳ６０４に処理を進める。一方、再生再開要求が入力されていないと判定した場合、制御部１０６は、再生再開要求が入力されたと判定されるまでステップＳ６０３の判定処理を繰り返す。つまり制御部１０６は、再生再開要求が入力されたと判定されるまで、ステップＳ６０１で表示された１フレーム分の現像済みデータの画像を表示し続ける一時停止表示の状態を維持する。

ステップＳ６０４に進むと、制御部１０６は、操作入力部１０５を介してユーザーからユーザー操作３として再生終了要求が入力されたか否かを確認する。制御部１０６は、再生終了要求が入力されたと判定した場合には図６のフローチャートの処理を終了する。一方、再生終了要求が入力されていないと判定した場合、制御部１０６は、ステップＳ６０１に処理を戻す。これにより、ステップＳ６０４で再生終了要求が入力されたと判定されるまで、ステップＳ６０１以降の処理が繰り返される。

図７は、図５のステップＳ５０３におけるＲＡＷ動画データの再生処理の流れを示すフローチャートである。
まずステップＳ７０１の処理として、制御部１０６は、補正データ記憶部１０７から補正データを読み出して現像処理部１０９に送る。
続いてステップＳ７０２の処理として、制御部１０６は、外部メモリ１１３からＲＡＷ動画データの１フレーム分のＲＡＷデータを読み出して現像処理部１０９に送る。現像処理部１０９は、補正データを用いた補正処理およびＲＡＷデータの現像処理を行い、その現像済みデータを表示制御部１１０に送ることで表示部１１１に画像が表示される。

続いて、ステップＳ７０３の処理に進むと、制御部１０６は、操作入力部１０５を介してユーザーから一時停止要求が入力されたか否かを確認する。制御部１０６は、一時停止要求が入力されたと判定した場合にはステップＳ７０４に処理を進め、一方、一時停止要求が入力されていないと判定した場合にはステップＳ７０７に処理を進める。

ステップＳ７０４に進むと、制御部１０６は、補正量検出部１０８を制御して、一時停止要求が入力された時のＲＡＷ動画データ内の１フレームのＲＡＷデータから、補正データを抽出させる。補正量検出部１０８による補正データの抽出処理の詳細は後述する。

次にステップＳ７０５の処理として、現像処理部１０９は、ＲＡＷデータに対し、ステップＳ７０１で取得された補正データに、ステップＳ７０４で抽出された補正データを加味した補正データを用いた補正処理および現像処理を行って現像済みデータを生成する。この現像済みデータが表示制御部１１０を介して表示部１１１に送られることで、一時停止時の画像表示が行われる。

次にステップＳ７０６の処理として、制御部１０６は、操作入力部１０５を介してユーザーから再生再開要求が入力されたか否かを確認する。制御部１０６は、再生再開要求が入力されたと判定した場合にはステップＳ７０７に処理を進め、一方、再生再開要求が入力されていないと判定した場合にはステップＳ７０６の判定処理を繰り返す。つまり制御部１０６は、再生再開要求が入力されたと判定されるまで、ステップＳ７０５で表示された現像済みデータの画像を表示し続ける一時停止表示の状態を維持する。

ステップＳ７０７の処理に進むと、制御部１０６は、操作入力部１０５を介してユーザーから再生終了要求が入力されたか否かを確認する。制御部１０６は、再生終了要求が入力されたと判定した場合には図７のフローチャートの処理を終了する。一方、再生終了要求が入力されていないと判定した場合、制御部１０６は、ステップＳ７０１に処理を戻す。これにより、ステップＳ７０７で再生終了要求が入力されたと判定されるまで、ステップＳ７０１以降の処理が繰り返される。

以下、図７のステップＳ７０４において補正量検出部１０８で行われる補正データ抽出処理について説明する。第１の実施形態では、補正データとして、倍率色収差を補正するための補正データを抽出する場合を例に挙げて説明する。補正データは、倍率色収差を補正するための補正データに限定されず、他の補正処理に用いられる補正データであってもよい。

ここで、倍率色収差とは、基準色をＧとした場合、レンズを透過することで、基準色のＧ光の結像位置に対してＲ光とＢ光のそれぞれの結像位置がずれる現象である。このずれ量は撮像部１０３の個体差の影響を受けやすいため、レンズ設計値による補正量だけを用いた補正処理では、個体差による補正残りが発生してしまう。撮像部１０３の個体差まで含めた補正を行うためには、図８に示すようなＲＡＷデータの画像８００全体からそれぞれ異なる位置の矩形領域８０１（以下、ブロックとする）を複数抽出して、それらブロック毎に色ずれ量を評価する必要がある。色ずれ量には、色ずれの大きさと色ずれが発生している方向とが含まれる。色ずれが発生する方向は、画像８００を複数に分割した領域（例えば領域８０３ａ～８０３ｈ）のいずれの領域に、ブロック中心位置８０２が所属するかに応じた図８中の矢印で示される方向となる。補正量検出部１０８は、ステップＳ７０４の補正データ抽出処理として、Ｇ成分に対するＲ成分とＢ成分の色ずれ量を検出し、その色ずれ量を基に色ずれを補正するための補正データを生成するような処理を行う。

図９は、補正量検出部１０８における色ずれ量検出処理の流れを示すフローチャートである。
まずステップＳ９０１の処理として、補正量検出部１０８は、外部メモリ１１３から読み出されて一時的に内部メモリ１０４に保存された１フレームのＲＡＷデータから、１ブロック分のＲＡＷデータを読み出す。ここで、読み出されるＲＡＷデータは、図２に示したベイヤ配列データである。

続いてステップＳ９０２の処理として、補正量検出部１０８は、ステップＳ９０２で読み出した１ブロック分のＲＡＷデータを変換して、Ｒ，Ｇ，Ｂそれぞれの色成分だけを含んだ各色プレーン（以下、Ｒ，Ｇ，Ｂプレーンとする）を生成する。

図１０（ａ）～図１０（ｄ）は、Ｒ，Ｇ，Ｂプレーン生成の一例を説明する図である。
図１０（ａ）は、ＲＡＷデータにおけるベイヤ配列データの一部を示した図である。補正量検出部１０８は、ベイヤ配列データから、Ｒ，Ｇ，Ｂのそれぞれ同色の信号値を抜き出す。図１０（ｂ）は、ベイヤ配列データから、Ｒ色の信号値のみを抜き出した状態を示した図である。次に補正量検出部１０８は、同色の信号値を抜き出した後の、信号値の無い画素位置にそれぞれ０値を挿入する。図１０（ｃ）は、Ｒ値の信号値のみが抜き出された後の信号値の無い画素位置にそれぞれ０値が挿入された状態を示した図である。そして補正量検出部１０８は、信号値に０値が挿入された後のデータに対し、図１１に示すようなフィルター係数のローパスフィルタ（ＬＰＦ）を用いた補間処理を施すことで、各画素位置に同色が配置されたプレーンを生成する。図１０（ｄ）は、Ｒ色のプレーン（Ｒプレーン）を示した図である。図１０（ｂ）～図１０（ｄ）はＲ色を例に挙げているが、補正量検出部１０８は、Ｇ色とＢ色についても同様にしてＧプレーンとＢプレーンを生成する。なお、Ｇの成分については、Ｒ（またはＢ）の成分との帯域を合わせるために、補正量検出部１０８は、Ｇ１，Ｇ２のいずれか一方の信号値のみを用いてＧプレーンを生成する。

次にステップＳ９０３の処理として、補正量検出部１０８は、ステップＳ９０２で生成したＧプレーンとＲプレーン、またはＧプレーンとＢプレーンを、前述した図８の矢印方向に１画素ずつずらしながら相関値を取得する。相関値として差分絶対値和（Sum Of Absolute Difference：ＳＡＤ）を取得する場合、ずらし位置ｄにおけるＳＡＤの値は、以下の式（１）で算出される。

ここで、式（１）中のｇａｉｎはＧとＲ（またはＢ）の信号レベルを合わせるための調整値（局所的なＷＢゲイン）であり、ブロックおけるＧの信号の積分値をＲの信号の積分値で割った値である。
また、取得したずらし位置ｄ毎のＳＡＤ値をプロットすることで、図１２のようなグラフが得られる。
そして補正量検出部１０８は、ステップＳ９０４の処理として、ＳＡＤ値が最小値となるずらし位置Ｄの前後のＳＡＤ値から、以下の式（２）を用いて色ずれ量ｘを算出する。式（２）の右辺第２項は、放物線近似によるサブピクセルレベルの色ずれ量推定である。

なお、倍率色収差の補正では、サブピクセルレベルでの補正量の違いがエッジ部の色つきに影響を与えるため、色ずれ量の検出もサブピクセルレベルで精度を確保する必要がある。したがって、補正量検出部１０８は、色ずれ量をサブピクセルレベルの精度で色ずれ量を検出する。

続いてステップＳ９０５の処理として、補正量検出部１０８は、前述のようにして算出した色ずれ量を、像高別に集計する。
次にステップＳ９０６の処理として、補正量検出部１０８は、全てのブロックについて前述した処理が完了したか否か判定する。補正量検出部１０８は、全てのブロックの処理が完了したと判定した場合にはステップＳ９０７に処理を進める。一方、全てのブロックの処理が完了していないと判定した場合、補正量検出部１０８は、ステップＳ９０１に処理を戻して、未処理のブロックについてステップＳ９０１以降の処理を行う。つまり、補正量検出部１０８は、全てのブロックの処理が完了するまで、ステップＳ９０１からステップＳ９０５の処理を繰り返す。

ステップＳ９０７の処理に進むと、補正量検出部１０８は、像高別の色ずれ量の集計結果から、像高毎の色ずれ量の平均値を算出し、これを倍率色収差の補正データとする。このステップＳ９０７の後、補正量検出部１０８は、図９のフローチャートの処理を終了する。

以上説明したように第１の実施形態の動画記録再生装置１００は、ＲＡＷ動画データの再生中の一時停止表示時にのみ、ＲＡＷデータから色ずれ量を検出（サブピクセルレベルで直接評価）して補正データを求め、その補正データを用いて倍率色収差の補正を行う。つまり本実施形態の場合、ＲＡＷ動画データの再生中にはレンズ設計値のみに基づく補正データを用いた補正処理が行われるが、一時停止表示時にはＲＡＷデータの画像から生成した補正データをも加えた補正処理が行われる。したがって、本実施形態の場合、ＲＡＷ動画データの再生中の一時停止時には、レンズ設計値のみに基づく補正データを用いる場合に比べて、高精度な倍率色収差補正が可能となる。すなわち本実施形態によれば、ＲＡＷ動画データの再生表示中の一時停止表示時のように、ＲＡＷデータの動画を構成している一部のフレーム画像を表示する場合の高品質化が可能となる。

＜第２の実施形態に係る動画再生処理＞
続いて、動画記録再生装置１００の第２の実施形態に係る動画再生処理について説明する。第２の実施形態の動画記録再生装置１００における構成および処理の流れは概ね前述した第１の実施形態と同様であり、それら構成と処理の図示は省略する。
第２の実施形態では、現像済み動画データを生成する場合と、ＲＡＷ動画データを再生表示する場合とで、ＲＡＷデータからＲ，Ｇ，Ｂプレーンを生成する処理が異なる例を説明する。

ＲＡＷデータからＲ，Ｇ，Ｂプレーンを生成する際の補間処理方法には、全画素に対して一律に図１１のＬＰＦを適用する補間処理（線形補間処理）と、補間画素の周囲の信号値を参照しながら適応的に補間画素値を決定する補間処理（適応補間処理）とがある。

図１３は、適応補間処理の一例の説明に用いる図である。図１３は、Ｇプレーンの補間処理時に参照される画素配列を示している。補間画素位置１３０１には、Ｒ成分の信号値Ｒｃが配置され、その補間画素位置１３０１の上下左右の画素位置にはＧ成分の信号値Ｇｕ，Ｇｂ，Ｇｌ，Ｇｒが、さらにその上下左右の画素位置にはＲ成分の信号Ｒｕ，Ｒｂ，Ｒｌ，Ｒｒが配置されている。補間画素値の算出にあたり、まず補正量検出部１０８は、補間画素位置１３０１周辺の、水平方向の信号値の相関を評価するための評価値ｄｈを式（３）により算出し、同様に垂直方向の信号値の相関を評価する評価値ｄｖを式（４）により算出する。

ｄｈ＝ａｂｓ（Ｇ１－Ｇｒ）＋ａｂｓ（２Ｒｃ－Ｒ１－Ｒｒ） 式（３）
ｄｖ＝ａｂｓ（Ｇｕ－Ｇｂ）＋ａｂｓ（２Ｒｃ－Ｒｕ－Ｒｂ） 式（４）

続いて補正量検出部１０８は、算出した評価値ｄｈと評価値ｄｖの大小関係に応じて、以下の補間画素の生成に使用する信号値を、以下の式（５）と式（６）のように切り替える。

ｄｈ＜ｄｖの場合、Ｇｃ＝（Ｇ１＋Ｇｒ）／２ 式（５）
ｄｈ≧ｄｖの場合、Ｇｃ＝（Ｇｕ＋Ｇｂ）／２ 式（６）

第２の実施形態の場合は、前述のように水平方向および垂直方向の色成分の信号値の相関を見ながら補間画素値Ｇｃを生成することで、線形補間に比べて、画像の高域成分（エッジ成分）を保持した状態でＧプレーンを生成することが可能となる。第２の実施形態においては、動画再生の一時停止表示時のみ適応補間で生成されたＧプレーンを用いて各種補正データの抽出を行うことで、より高精度な補正データを抽出することが可能となり、画像の高画質化が可能となる。
また第２の実施形態の場合、動画の連続再生時は演算量の比較的小さい線形補間を用いることで動画再生時の処理負荷を低減し、ＲＡＷ動画データ再生の一時停止表示時のみ演算量は比較的大きいが表示画像の高画質化が可能な適応補間を用いる。

前述した各実施形態の画像処理に係る構成または各フローチャートの処理は、ハードウェア構成により実現されてもよいし、例えばＣＰＵが本実施形態に係るプログラムを実行することによりソフトウェア構成により実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。ソフトウェア構成のためのプログラムは、予め用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。

また、前述した各実施形態の画像処理に係る構成のうち、制御部１０６や補正量検出部１０８で行われる処理は、人工知能（ＡＩ：artificial intelligence）を適用した処理であってもよい。例えば、それらの各部の代わりとして、機械学習された学習済みモデルを代わりに用いてもよい。その場合には、それら各部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。この学習済みモデルは、例えばニューラルネットワークモデルで構成できる。そして、その学習済みモデルは、前述の各部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前述の各部の処理を行う。また、前述の学習済みモデルは、必要に応じて一定のデータを処理する毎に更新する等も可能である。

本発明に係る制御処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。
前述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：動画記録再生装置、１０１：撮像レンズ、１０２：カラーフィルタ、１０３：撮像部、１０４：内部メモリ、１０５：操作入力部、１０６：制御部、１０７：補正データ記憶部、１０８：補正量検出部、１０９：現像処理部、１１０：表示制御部、１１１：表示部、１１２：外部メモリ制御部、１１３：外部メモリ

Claims (13)

1. 補正データを用いた画像処理を含む現像処理を、ＲＡＷデータに対して行い現像済みデータを生成する現像処理手段と、
   動画のＲＡＷデータを現像して再生する場合、前記動画を構成するフレームのなかの一部のフレームのＲＡＷデータを現像して再生する場合と、前記動画を構成する各フレームのＲＡＷデータを現像して再生する場合とで、前記現像処理手段が前記画像処理に用いる補正データを異ならせる制御手段と、
   を有し、
   前記制御手段は、前記動画の前記一部のフレームの前記ＲＡＷデータを現像して再生する場合には、前記ＲＡＷデータから抽出したデータに基づく補正データを、前記現像処理手段の前記画像処理に適用し、前記動画の前記各フレームの前記ＲＡＷデータを現像して再生する場合には、前記ＲＡＷデータから抽出したデータを用いることなく予め記憶している補正データを、前記現像処理手段の前記画像処理に適用することを特徴とする画像処理装置。
2. 記憶媒体に記憶されている動画の現像済みデータが再生される場合、前記動画を構成するフレームのなかの一部のフレームの現像済みデータを再生する場合と、前記動画を構成する各フレームの現像済みデータを再生する場合とで、前記画像処理に用いられた補正データは、共通した補正データであることを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、
   記憶媒体に記憶されている動画のＲＡＷデータを現像して再生する第１の再生処理と、
   記憶媒体に記憶されている動画の現像済みデータを再生する第２の再生処理との、いずれかを選択し、
   前記第１の再生処理を選択した場合に、前記一部のフレームのＲＡＷデータを現像して再生する場合と、前記各フレームのＲＡＷデータを現像して再生する場合とで、前記画像処理に用いる補正データを異ならせることを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理は、画像を撮像する撮像素子に配されたカラーフィルタにより分けられた各色成分の同色を各画素位置に配したプレーンを生成する処理を含むことを特徴とする請求項３に記載の画像処理装置。
5. 前記現像処理手段は、
   前記動画の前記各フレームの前記ＲＡＷデータを現像して再生する場合には、線形補間を用いて各画素位置に同色を配して前記プレーンを生成し、
   前記動画の前記一部のフレームの前記ＲＡＷデータを現像して再生する場合には、適応補間を用いて各画素位置に同色を配して前記プレーンを生成することを特徴とする請求項４に記載の画像処理装置。
6. 前記現像処理手段は、前記動画の前記各フレームの前記現像済みデータを再生する場合には、線形補間を用いて各画素位置に同色を配して前記プレーンを生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記画像処理は、前記色成分ごとのプレーンの間の色のずれを補正する補正処理を含むことを特徴とする請求項４から６のいずれか１項に記載の画像処理装置。
8. 前記制御手段は、
   前記動画の前記各フレームの前記ＲＡＷデータを現像して再生する場合には、画像の撮像に用いられるレンズの設計値に基づく補正データを、前記現像処理手段の前記画像処理に適用し、
   前記動画の前記各フレームの前記現像済みデータを再生する場合の補正データは、前記レンズの設計値に基づく補正データであることを特徴とする請求項２から７のいずれか１項に記載の画像処理装置。
9. 前記補正データは前記レンズの収差補正を行うための補正データであることを特徴とする請求項８に記載の画像処理装置。
10. 前記レンズの収差補正は、倍率色収差の補正であることを特徴とする請求項９に記載の画像処理装置。
11. 前記ＲＡＷデータから色ずれ量を検出して像高別に集計し、前記像高別の色ずれ量の集計結果から像高ごとの色ずれ量の平均値を算出することで、前記倍率色収差の補正に用いる前記補正データを抽出する補正量検出手段を有することを特徴とする請求項１０に記載の画像処理装置。
12. 画像処理装置が実行する画像処理方法であって、
    補正データを用いた画像処理を含む現像処理をＲＡＷデータに対して行い、現像済みデータを生成する現像処理工程と、
    記憶媒体に記憶されている動画のＲＡＷデータを現像して再生する場合、前記動画を構成するフレームのなかの一部のフレームのＲＡＷデータを現像して再生する場合と、前記動画を構成する各フレームのＲＡＷデータを現像して再生する場合とで、前記現像処理工程で前記画像処理に用いる補正データを異ならせる制御工程と、
    を有し、
    前記制御工程は、前記動画の前記一部のフレームの前記ＲＡＷデータを現像して再生する場合には、前記ＲＡＷデータから抽出したデータに基づく補正データを前記画像処理に適用し、前記動画の前記各フレームの前記ＲＡＷデータを現像して再生する場合には、前記ＲＡＷデータから抽出したデータを用いることなく予め記憶している補正データを前記画像処理に適用することを特徴とする画像処理方法。
13. コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images