JP5932855B2 - 画像処理システム、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明の実施形態は、画像処理システム、画像処理方法及び画像処理プログラムに関する。

画像処理システムにおいて劣化した映像の画質改善を行う場合、一般に映像品質の劣化状況はさまざまであり、画質改善手法をソース映像の状況に合わせて複数選択する必要がある。劣化の種類は、ぼやけ（鮮鋭度の低下）、ランダムノイズ、手ぶれ、カラーバランス異常、パルス状ノイズ、ライン状ノイズなどがある。元の撮影がフィルムの場合は、フィルムグレインノイズ、スクラッチノイズ（引っかき傷）、ダストノイズ（ゴミの影）、褪色もある。このような様々な劣化に対応した画質改善手法が個別に開発されてきた。ぼやけには鮮鋭化、ランダムノイズとグレインノイズにはノイズ除去フィルタ、手ぶれには手ぶれ補正、カラーバランス異常と退色にはカラーバランス補正が有効である。パルス状ノイズ、ライン状ノイズ、スクラッチノイズ、ダストノイズにはそれぞれに特化したノイズ検出とノイズ隠蔽処理が有効である。複合的に発生した劣化には、これらの高画質化処理を複数組み合わせて処理することになる。また、オペレーターは例えば劣化の状況を確認し必要な画質改善処理を選択して、処理順序を決めて、処理パラメータ（劣化を検出する閾値や処理精度）実行させる。そのため、画質処理システムでは、複数の処理を組み合わせる場合のハードウェア資源の有効活用、処理時間の短縮、処理順序の柔軟な変更への対応等、構成の効率化が課題となる。

特許第４４９９３１７号公報 特許第４７４２０６８号公報 特許第５０７６７５５号公報 特許第５２０３１５９号公報

株式会社東芝、"業界が注目！ 超解像技術について"、［平成２５年１２月１２日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｔｏｓｈｉｂａ．ｃｏ．ｊｐ／ｒｅｇｚａ／ｄｅｔａｉｌ／ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ／ｒｅｓｏｌｕｔｉｏｎ．ｈｔｍｌ〉

本発明が解決しようとする課題は、複数の画像処理を組み合わせて行う場合の構成を効率化することができる画像処理システム、画像処理方法及び画像処理プログラムを提供することである。

実施形態の画像処理システムは、画像解析部と、複数の画質改善処理部とを持つ。画像解析部は、入力される画像データに含まれる所定の特徴を検出検出し、検出した特徴を示す検出結果を出力する複数の検出部を有する。複数の画質改善処理部は、画像解析部の検出部が検出する特徴に応じて画質改善処理を行う。各画質改善処理部は、スケーリング部と、調整部と、画像処理部とを持つ。スケーリング部は、他の画質改善処理部による画質改善処理の結果に応じて検出部の検出結果をスケーリングして出力する。調整部は、スケーリング部がスケーリングした検出結果を１又は複数入力し、入力した少なくとも１のスケーリングされた検出結果に対して、自己の画質改善処理に応じた所定の調整処理を行い、該処理結果を出力する。画像処理部は、所定の画像データを入力し、調整部が出力した処理結果に応じて画質改善処理を行い、処理した画像データを出力する。

第１の実施形態の画像処理システムを示すブロック図。 第２の実施形態の画像処理システムを示すブロック図。 第３の実施形態の画像処理システムを示すブロック図。 画像処理システムの参考構成を示すブロック図。 画像処理システムの他の参考構成を示すブロック図。 第１及び第２の実施形態の変形例等を説明するための説明図。 第１及び第２の実施形態の変形例等を説明するための他の説明図。 第１及び第２の実施形態の変形例等を説明するための他の説明図。

以下、実施形態の画像処理システムを、図面を参照して説明する。

（第１の実施形態）
図１は、第１の実施形態の画像処理システム１の構成例を示したブロック図である。図１に示した画像処理システム１は、解析ブロック１００と、鮮鋭化ブロック２００と、ぶれ補正ブロック３００と、ノイズ除去ブロック４００と、全体制御部５００とを備えている。画像処理システム１は、例えば、画像処理用のＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、汎用のＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）等のプロセッサ及びそのプロセッサが実行するプログラムや、画像処理用ＡＳＩＣ（ａｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｄ ｐｒｏｇｒａｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）及び画像処理用ＩＰコア（ｉｎｔｅｌｌｅｃｔｕａｌ ｐｒｏｐｅｒｉｔｙ ｃｏｒｅ）等を用いて構成することができる。図１に示した各ブロックは、例えば１つのモジュールとして構成することができる。解析ブロック１００は、動き検出部１０１と、エッジ検出部１０２と、ノイズ検出部１０３とを備えている。鮮鋭化ブロック２００と、ぶれ補正ブロック３００と、ノイズ除去ブロック４００とは、入力映像に対して所定の画質改善処理である画像処理をそれぞれ行い、処理した映像を出力する。鮮鋭化ブロック２００は、スケーリング部２０１、２０２及び２０３と、調整部２０４と、鮮鋭化・拡大部２０５とを備えている。ぶれ補正ブロック３００は、スケーリング部３０１、３０２及び３０３と、調整部３０４と、ぶれ補正部３０５とを備えている。ノイズ除去ブロック４００は、スケーリング部４０１、４０２及び４０３と、調整部４０４と、ノイズ除去部４０５とを備えている。

動き検出部１０１は、ソース映像である画像データ１０を入力し、例えば複数フレーム分の画像データ１０に基づいて動き検出を行い、検出した結果を表す動きベクトル２２を出力する。動き検出部１０１は、動きベクトル２２を、スケーリング部２０１と調整部２０４とへ出力する。ここで、動きベクトル２２は、画像データ１０に対する解析結果の１種であり、複数の動きベクトルを表すための数値情報を含むデータである。

エッジ検出部１０２は、ソース映像である画像データ１０を入力し、画像データ１０からエッジ検出を行い、検出した結果を画素値で表すエッジ画像２３を出力する。エッジ検出部１０２は、エッジ画像２３を、スケーリング部２０２と調整部２０４とへ出力する。

また、ノイズ検出部１０３は、ソース映像である画像データ１０を入力し、画像データ１０からノイズを検出し、検出した結果を表すノイズ検出結果２４を出力する。ノイズ検出部１０３は、ノイズ検出結果２４を、スケーリング部２０３と調整部２０４とへ出力する。ノイズ検出結果２４は、例えば、ノイズレベル、位置、タイプ等を表す情報で表される。ノイズ検出結果２４がどのようにしてノイズを情報化するのかは、目的とされる画質改善処理に依存する。ランダムノイズとグレインノイズの場合はノイズ検出結果２４がノイズレベルを表す情報を含む。スクラッチとラインノイズの場合はノイズ検出結果２４が線分の開始座標と終了座標を表す情報を含む。パルスノイズとダストノイズの場合はノイズ検出結果２４が位置とサイズの情報を含む。

なお、図１では、解析ブロック１００が３種類の解析機能を備えているが、解析ブロック１００内の構成はこの組み合わせに制限されるものではない。

鮮鋭化ブロック２００では、鮮鋭化・拡大部２０５が、ソース映像である画像データ１０を入力し、動き検出部１０１が出力した動きベクトル２２を調整部２０４を介して動きベクトル２５として入力する。また、鮮鋭化・拡大部２０５は、エッジ検出部１０２が出力したエッジ画像２３を調整部２０４を介してエッジ画像２６として入力する。鮮鋭化・拡大部２０５は、動きベクトル２５とエッジ画像２６とに応じて画像データ１０の詳細部分を復元して拡大する画像処理を行う。鮮鋭化・拡大部２０５は、入力した画像データ１０の詳細部分を復元して拡大した画像を表す画像データ２０を出力する。出力された画像データ２０は、拡大処理によって画像データ１０の解像度とは異なる解像度を有している。

鮮鋭化・拡大部２０５では、たとえば超解像アルゴリズムが使われる。鮮鋭化・拡大部２０５は、鮮鋭化・拡大処理の際、動きベクトル２５によって位置合わせされた前後フレームの情報を用いる。本実施形態における鮮鋭化・拡大の処理は、非特許文献１における超解像アルゴリズムの技術を用いている。鮮鋭化・拡大部２０５は、エッジ画像２６を、処理対象から鮮鋭化の必要のない平坦部分を除くために使用する。鮮鋭化・拡大部２０５は、全体制御部５００が出力した制御信号２７によって制御される。

調整部２０４は、動きベクトル２２と、エッジ画像２３と、ノイズ検出結果２４とを入力し、鮮鋭化・拡大部２０５が行う画像処理に応じた所定の調整処理を行って、動きベクトル２５と、エッジ画像２６として出力する。鮮鋭化ブロック２００は、最初の画質処理ブロックなので、解析ブロック１００から出力された解析結果である動きベクトル２２、エッジ画像２３及びノイズ検出結果２４が、そのまま調整部２０４へ入力される。調整部２０４は、例えば、ノイズ検出結果２４を用いて鮮鋭化・拡大部２０５による画像処理においてそのまま利用するには信頼性が低い動きベクトル２２やエッジ画像２３の一部分を使わないようにする調整処理を行うことができる。調整部２０４は、ノイズ検出結果２４を用いて、動きベクトル２２とエッジ画像２３とから一部を無効化した動きベクトル２５とエッジ画像２６とを生成して鮮鋭化・拡大部２０５に対して出力する。すなわち、この場合、調整部２０４の出力は例えばノイズの影響を排除した動きベクトル２５と、エッジ画像２６である。なお、調整部２０４は、撮影時に分かっている情報を全体制御部５００から受け取り、鮮鋭化・拡大部２０５による画像処理に応じるように、解析結果すなわち動きベクトル２２とエッジ画像２３とを調整をすることもできる。撮影時に分かっている情報とは、例えば撮像装置におけるレンズや撮像素子の仕様、撮影条件を表す情報等である。調整部２０４は、全体制御部５００が出力した制御信号２１によって制御される。

スケーリング部２０１は、鮮鋭化・拡大部２０５が行った画像処理の結果に応じて動きベクトル２２をスケーリングして、動きベクトル３２として出力する。スケーリング部２０１は、動きベクトル３２をスケーリング部３０１と調整部３０４とへ出力する。スケーリング部２０２は、鮮鋭化・拡大部２０５が行った画像処理の結果に応じてエッジ画像２３をスケーリングして、エッジ画像３３として出力する。スケーリング部２０２は、エッジ画像３３をスケーリング部３０２へ出力する。そして、スケーリング部２０３は、鮮鋭化・拡大部２０５が行った画像処理の結果に応じて動きノイズ検出結果２４をスケーリングして、ノイズ検出結果３４として出力する。スケーリング部２０３は、ノイズ検出結果３４をスケーリング部３０３と調整部３０４とへ出力する。スケーリング部２０１、２０２及び２０３は、鮮鋭化・拡大部２０５が行った拡大処理によって画像データ２０の解像度が変更となった分に対応させて動きベクトル３２、エッジ画像３３及びノイズ検出結果３４をスケーリングする。スケーリング部２０１、２０２及び２０３は、全体制御部５００が出力した制御信号２８によって制御される。

なお、鮮鋭化・拡大部２０５は、出力映像である画像データ２０の映像信号レベルのダイナミックレンジに余裕がある場合に、画像データ２０をレベル増幅することができる。鮮鋭化・拡大部２０５がレベル増幅を行った場合、スケーリング部２０１、２０２及び２０３は、各解析結果へのそのレベル変更を反映、すなわちレベル増幅に対応して各解析結果のレベルを変更する。鮮鋭化・拡大部２０５は、また、逆に出力映像である画像データ２０の映像信号レベルのダイナミックレンジに余裕がない場合は、レベル飽和を防ぐために画像データ２０を減衰させることができる。鮮鋭化・拡大部２０５がレベル減衰を行った場合、スケーリング部２０１、２０２及び２０３は、各解析結果へのそのレベル変更を反映、すなわちレベル減衰に対応して各解析結果のレベルを変更する。

また、鮮鋭化ブロック２００により、出力映像である画像データ２０から検出される動きベクトル、エッジ又はノイズが、入力映像である画像データ１０に基づく解析結果から大きく変化することが予想される場合は、スケーリング部２０１、２０２又は２０３で変化した後の解析結果を予測して、スケーリング部２０１、２０２又は２０３が出力する解析結果を変更することもできる。あるいは、スケーリング部２０１、２０２又は２０３ではなく調整部３０４又は４０４で同様の解析結果の変更処理を行ってもよい。

また、鮮鋭化ブロック２００によりエッジ部のノイズが強調された場合は、スケーリング部２０３は、ノイズ検出結果３４にノイズを示すデータを追加する。あるいは、鮮鋭化ブロック２００によりエッジ部のノイズが強調された場合、すなわち、映像の劣化が強調された場合には、後段のノイズ除去ブロック４００による劣化除去の補正量を増加させることもできる。この補正量の増加の指示は、ノイズ除去ブロック４００において調整部４０４からノイズ除去部４０５に対して行うこともできるし、全体制御部５００からからノイズ除去部４０５に対して行うこともできる。

ぶれ補正ブロック３００では、ぶれ補正部３０５が、入力映像である画像データ２０に含まれる手ぶれや機械的なぶれを除去する画像処理を行って、出力映像である画像データ３０を出力する。ぶれ補正部３０５は、入力映像である画像データ２０を入力するとともに、スケーリング部２０１が出力した動きベクトル３２を調整部３０４を介して動きベクトル３５として入力する。ぶれ補正部３０５は、動きベクトル３５に応じて、急激な画角の動きを抑制するようにぶれ補正を行う。ぶれ補正部３０５は、全体制御部５００が出力した制御信号３７によって制御される。

調整部３０４は、スケーリング部２０１でスケーリングされた動きベクトル３２と、スケーリング部２０３でスケーリングされたノイズ検出結果３４とを入力する。調整部３０４は、ぶれ補正部３０５が行うぶれ補正の結果がより良くなるように、ノイズ検出結果３４を基に動きベクトル３２の精度を向上させ、動きベクトル３５に変換する。調整部３０４は、例えばノイズ検出結果３４に基づいて動きベクトル３２が含む複数の動きベクトルのなかでノイズのレベルが比較的高い領域内の動きベクトルを無効とすることで動きベクトル３５を生成する。また、調整部３０４は、前の鮮鋭化ブロック２００での画像処理によって解析ブロック１００から出力された動きベクトル、ノイズ検出結果等の解析結果への変更が大きいと判定される場合には、その変更量を予測して動きベクトル３５に所定の補正を行うこともできる。調整部３０４は、全体制御部５００が出力した制御信号３１によって制御される。

ぶれ補正部３０５は、調整後の動きベクトル３５を用いてぶれ補正を行う。ぶれ補正アルゴリズムについては一般的なものを用いる。ぶれ補正部３０５によるぶれ補正を行うと、画像中の動きベクトルは、オフセット、大きさや向が異なることになる。また、ぶれ補正部３０５は、画面全体の動きを打ち消すように画面全体を逆方向に動かす。そうすると、副作用として画像がない外縁部が入ってきてしまうことがある。それを防ぐためにぶれ補正部３０５は、あらかじめ入力映像を１．１倍程度に拡大して外縁部の入り込を抑制する対策を行うことができる。これは画像の解像度を増やす事と同じ意味を持つ。したがって、ぶれ補正部３０５がぶれ補正を行った場合、スケーリング部３０１は、入力した動きベクトル３２を、ぶれ補正部３０５によるぶれ補正量と拡大分だけスケーリングして、動きベクトル４２として出力する。また、スケーリング部３０２は、ぶれ補正部３０５によるぶれ補正量と拡大分だけ入力したエッジ画像３３をスケーリングして、エッジ画像４３として出力する。また、スケーリング部３０３は、ぶれ補正部３０５によるぶれ補正量と拡大分だけ入力したノイズ検出結果３４をスケーリングして、ノイズ検出結果４４として出力する。スケーリング部３０１、３０２及び３０３は、全体制御部５００が出力した制御信号３８によって制御される。

スケーリング部３０１が出力した動きベクトル４２はスケーリング部４０１と調整部４０４とへ入力される。スケーリング部３０２が出力したエッジ画像４３はスケーリング部４０２と調整部４０４とへ入力される。スケーリング部３０３が出力したノイズ検出結果４４はスケーリング部４０３と調整部４０４とへ入力される。

なお、スケーリング部３０１、３０２及び３０３は、スケーリング部２０１、２０２及び２０３と同様に、レベル補正を行うこともできる。

ノイズ除去ブロック４００では、ノイズ除去部４０５が、入力映像である画像データ３０に含まれるノイズを除去する画像処理を行って、出力映像である画像データ４０を出力する。ノイズ除去部４０５は、入力映像である画像データ３０を入力するとともに、スケーリング部３０１が出力した動きベクトル４２を調整部４０４を介して動きベクトル４５として入力する。ノイズ除去部４０５は、また、スケーリング部３０２が出力したエッジ画像４３を調整部４０４を介してエッジ画像４６として入力する。ノイズ除去部４０５は、さらに、スケーリング部３０３が出力したノイズ検出結果４４を調整部４０４を介してノイズ検出結果４９として入力する。ノイズ除去部４０５は、動きベクトル４５とエッジ画像４６とノイズ検出結果４９とに応じて所定のフィルタリング処理によってノイズ除去を行い、画質改善を行う。

その際、ノイズ除去部４０５は、時間軸フィルタリングを行うために動きベクトルを使うことができる。また、ノイズ除去部４０５は、フィルタリングによってエッジ部分がぼやけてしまうのを抑制するためにエッジ画像を使うことができる。また、ノイズ除去部４０５は、ノイズ検出結果４９を用いてフィルタリング強度や、ノイズの隠蔽が必要な領域を決定することができる。ノイズ除去部４０５は、全体制御部５００が出力した制御信号４７によって制御される。

調整部４０４は、スケーリング部３０１でスケーリングされた動きベクトル４２と、スケーリング部３０２でスケーリングされたエッジ画像４３と、スケーリング部３０３でスケーリングされたノイズ検出結果４４とを入力する。調整部４０４は、ノイズ除去部４０５が行うノイズ除去の結果がより良くなるように、他の解析結果に基づいて他の解析結果を補正したり、所定の画像処理結果が予測される場合に各解析結果を補正したりする。調整部４０４は、全体制御部５００が出力した制御信号４１によって制御される。

スケーリング部４０１、４０２及び４０３は、スケーリング部３０１から３０３と同様の構成である。スケーリング部４０１、４０２及び４０３は、全体制御部５００が出力した制御信号４８によって制御される。ただし、図３に示した構成例では、ノイズ除去ブロック４００が出力する画像データ４０に対するさらなる画像処理を予定していない。したがって、スケーリング部４０１、４０２及び４０３は、処理を行わないこととすることができる。ただし、ノイズ除去ブロック４００の後段に、さらに所定の画像処理を行う処理ブロックを追加することも可能である。あるいは、例えばぶれ補正ブロック３００とノイズ除去ブロック４００とを入れ替えるなどの変更も可能である。そのような場合には、スケーリング部４０１、４０２及び４０３は、スケーリング部３０１から３０３と同様に、ノイズ除去部４０５の画像処理結果に応じて、各解析結果をスケーリングして出力するようにする。

全体制御部５００は、全体の動作を管理する制御を行う。全体制御部５００は、各画質改善ブロックの並び替えおよび処理の順序に応じたスケーリングを行うようスケーリング部２０１、２０２、２０３、３０１、…を制御する。

なお、上記の説明では、鮮鋭化、ぶれ補正、ノイズ除去の処理の例を用いたが、この３処理に限定されるものではなく、他にも色補正、コントラスト補正、幾何変換などへの応用も可能である。解析処理ブロックでは人物検知、背景の空の検出など行うことができる。また、各画像処理では、例えば、人物検知、背景の空の検出などの解析結果に基づいて特定の領域のみ処理する構成とすることもできる。

ここで、第１の実施形態が奏する効果を、図４を参考図として説明する。図４は、入力映像に対して、鮮鋭化と、ぶれ補正と、ノイズ除去の各画質改善処理を行う画像処理装置の一例を示している。図４に示した画像処理装置４は、鮮鋭化ブロック１２００と、ぶれ補正ブロック１３００と、ノイズ除去ブロック１４００とを備えている。鮮鋭化ブロック１２００は、動き検出部１２０１と、鮮鋭化・拡大部１２０２と、エッジ検出部１２０３とを備えている。ぶれ補正ブロック１３００は、動き検出部１３０１と、ぶれ補正部１３０２とを備えている。ノイズ除去ブロック１４００は、ノイズ除去部１４０２と、エッジ検出部１４０３と、ノイズ検出部１４０４とを備えている。

鮮鋭化ブロック１２００、ぶれ補正ブロック１３００及びノイズ除去ブロック１４００では、まず入力映像である画像データ１０の特性が解析される。すなわち、最初の鮮鋭化ブロック１２００では動き検出部１２０１による動き検出と、エッジ検出部１２０３によるエッジ検出とが行われる。次に、鮮鋭化・拡大部１２０２は、動き検出部１２０１が検出した解析結果、すなわち前後のフレームで同じ部分がどれだけ動いたかを示す動きベクトルを利用して、鮮鋭化・拡大処理を行う。その際、鮮鋭化・拡大部１２０２は、エッジ検出部１２０３によるエッジ検出結果を用いて不自然なエッジの強調を防ぐことができる。

２段目のぶれ補正ブロック１３００では、画像データ１０２０に対する動き検出部１３０１による動き検出の結果に応じて、ぶれ補正部１３０２が、急激な画角の動きを抑制するようにぶれ補正を行う。３段目のノイズ除去ブロック１４００では、画像データ１０３０に対するノイズ検出部１４０４によるノイズ検出結果に基づいてノイズ除去部１４０２がノイズ除去を行う。その際、ノイズ除去部１４０２は、エッジ検出部１４０３によるエッジ検出結果に基づき、エッジ部分がノイズ除去のフィルタリングでぼやけないようにする。

図４に示した画像処理装置４では、処理ブロック間で処理負荷が高い解析処理（各検出部１２０１、１２０３、１３０１、１４０３及び１４０４の処理を指す）を重複して複数回行う（動き検出部１２０１と動き検出部１３０１との重複及びエッジ検出部１２０３とエッジ検出部１４０３との重複）。そのため、システムのスループットが低下することがあるという課題がある。また、画像処理装置４では、前の処理ブロックでデータの特徴が失われると解析処理の精度が低下する場合があるという課題がある。例えば、ぶれ補正ブロック１３００の画像データ１０３０で映像のエッジがなまると、ノイズ除去ブロック１４００のエッジ検出部１４０３によるエッジ検出の精度が低下する。

一方、図１を参照して説明した第１の実施形態の画像処理装置２では、解析ブロック１００においてソース映像に対して１回だけ解析処理を行うこととしたので、上記の課題を解決することができる。すなわち、第１の実施形態によれば、システムのスループットが低下するという課題と、前の処理ブロックでデータの特徴が失われることで解析処理の精度が低下するという課題を解決することができる。

さらに、第１の実施形態によれば、スケーリングを各処理ごとに行う事により、各画質改善ブロックの入出力Ｉ／Ｆ（インターフェース）を容易に統一化することができる。そして、入出力Ｉ／Ｆを統一化することで、画質改善処理の追加、削除、並べ替えが容易となる。

さらに、第１の実施形態によれば、調整部３０４又は４０４（あるいは２０４）を設けたので次の効果を得ることができる。すなわち、鮮鋭化・拡大部２０５又はぶれ補正部３０５が行った画像処理によって、調整部３０４又は調整部４０４へ入力される解析結果（解析結果３２若しくは解析結果３４又は４２〜４４）が入力画像データ（入力画像データ２０又は３０）の動き、エッジ又はノイズを必ずしも適切には表さなくなってしまうという場合がある。このような場合に、調整部３０４又は調整部４０４は、スケーリングされた解析結果（解析結果３２若しくは３４又は解析結果４２〜４４）に対して予め用意した所定の調整処理を行うことができる。この調整処理は、例えば、調整部３０４又は４０４が出力する解析結果（解析結果３５又は解析結果４５、４６若しくは解析結果４９）を次のようなものに近づける処理とすることができる。すなわち、解析結果（解析結果３５又は解析結果４５、４６若しくは解析結果４９）を、入力画像データ（入力画像データ２０又は３０）に対して解析処理を行った場合に得られるであろうと推定される解析結果に近づけるような調整処理によって生成することができる。このような調整処理を行うことで、調整処理を行わない場合と比較して、調整部３０４又は４０４が出力する解析結果（解析結果３５又は４５、解析結果４６若しくは４９）を用いた画像処理の精度を向上させることが期待できる。

また、複数の画質改善処理を連続して行うと処理の過程でレベル飽和が起きるが、調整部（あるいはスケーリング部）によってレベル飽和を起きにくくすることができる。また、調整部（あるいはスケーリング部）によって、解析結果がノイズにより精度低下する課題を解決することができる。

（第２の実施形態）
図２は、第２の実施形態の画像処理システム２の構成例を示したブロック図である。図２に示した画像処理システム２は、解析ブロック１００と、鮮鋭化ブロック６００と、ぶれ補正ブロック７００と、ノイズ除去ブロック８００と、全体制御部９００とを備えている。なお、図２において、図１に示したものと同一の構成には同一の符号を用いている。

解析ブロック１００は、図１に示した解析ブロック１００と同一の構成であり、動き検出部１０１と、エッジ検出部１０２と、ノイズ検出部１０３とを備えている。鮮鋭化ブロック６００と、ぶれ補正ブロック７００と、ノイズ除去ブロック８００とは、入力映像に対して所定の画質改善処理である画像処理を行って、処理した映像を出力する。鮮鋭化ブロック６００は、スケーリング部６０１、６０２及び６０３と、調整部６０４と、鮮鋭化・拡大部６０５と、スケーリング情報生成部６０６とを備えている。ぶれ補正ブロック７００は、スケーリング部７０１、７０２及び７０３と、調整部７０４と、ぶれ補正部７０５と、スケーリング情報更新部７０６とを備えている。ノイズ除去ブロック８００は、スケーリング部８０１、８０２及び８０３と、調整部８０４と、ノイズ除去部８０５と、スケーリング情報更新部８０６とを備えている。

なお、図１を参照して説明した第１の実施形態では、スケーリング部２０１から２０３、スケーリング部３０１から３０３及びスケーリング部４０１から４０３が、他のスケーリング部がスケーリングした解析結果をさらにスケーリングする構成である。一方、図２に示した第２の実施形態では、スケーリング部６０１から６０３、スケーリング部７０１から７０３及びスケーリング部８０１から８０３が、他のスケーリング部がスケーリングした内容を表すスケーリング情報に基づいて解析ブロック１００から出力された解析結果をスケーリングする構成である。

図２に示した構成では、動き検出部１０１が、ソース映像である画像データ１０を入力し、例えば複数フレーム分の画像データ１０に基づいて動き検出を行い、検出した結果を表す動きベクトル６２を出力する。動き検出部１０１は、動きベクトル６２を、スケーリング部６０１と、スケーリング部７０１と、スケーリング部８０１とへ出力する。

エッジ検出部１０２は、ソース映像である画像データ１０を入力し、画像データ１０からエッジ検出を行い、検出した結果を画素値で表すエッジ画像６３を出力する。エッジ検出部１０２は、エッジ画像６３を、スケーリング部６０２と、スケーリング部７０２と、スケーリング部８０２とへ出力する。

また、ノイズ検出部１０３は、ソース映像である画像データ１０を入力し、画像データ１０からノイズを検出し、検出した結果を表すノイズ検出結果６４を出力する。ノイズ検出部１０３は、ノイズ検出結果６４を、スケーリング部６０３と、スケーリング部７０３と、スケーリング部８０３とへ出力する。

なお、図２では、解析ブロック１００が３種類の解析機能を備えているが、解析ブロック１００内の構成はこの組み合わせに制限されるものではない。

図２に示した構成では、鮮鋭化ブロック６００において、スケーリング部６０１が、入力した動きベクトル６２をそのまま動きベクトル６０７として出力し、調整部６０４へ入力する。スケーリング部６０２が、入力したエッジ画像６３をそのままエッジ画像６０８として出力し、調整部６０４へ入力する。そして、スケーリング部６０３が、入力したノイズ検出結果６４をそのままノイズ検出結果６０９として出力し、調整部６０４へ入力する。調整部６０４は、入力した動きベクトル６０７に対して鮮鋭化・拡大部６０５が行う画像処理に応じた所定の調整処理を行い、動きベクトル６５として鮮鋭化・拡大部６０５に対して出力する。また、調整部６０４は、入力したエッジ画像６０８に対して鮮鋭化・拡大部６０５が行う画像処理に応じた所定の調整処理を行い、エッジ画像６６として鮮鋭化・拡大部６０５に対して出力する。

スケーリング情報生成部６０６は、鮮鋭化・拡大部６０５が行った画像処理の内容に応じて、スケーリング情報７１１を生成して出力する。スケーリング情報７１１は、解析ブロック１００から出力された各解析結果を鮮鋭化・拡大部６０５が出力する画像データ６０に対して利用する際に、各解析結果に対してどのようなスケーリングが必要となるかを示す情報である。スケーリング情報生成部６０６は、生成したスケーリング情報７１１を、スケーリング部７０１から７０３と、スケーリング情報更新部７０６とへ出力する。調整部６０４は、全体制御部９００が出力した制御信号６１によって制御される。鮮鋭化・拡大部６０５は、全体制御部９００が出力した制御信号６７によって制御される。スケーリング部６０１から６０３は、全体制御部９００が出力した制御信号６２１によって制御される。そして、スケーリング情報生成部６０６は、全体制御部９００が出力した制御信号６１０によって制御される。

ぶれ補正ブロック７００では、スケーリング部７０１が、スケーリング情報生成部６０６が出力したスケーリング情報７１１に応じて動きベクトル６２をスケーリングして、動きベクトル７０７として調整部７０４へ出力する。スケーリング部７０２が、スケーリング情報生成部６０６が出力したスケーリング情報７１１に応じてエッジ画像６３をスケーリングして、エッジ画像７０８として調整部７０４へ出力する。スケーリング部７０３が、スケーリング情報生成部６０６が出力したスケーリング情報７１１に応じてノイズ検出結果６４をスケーリングして、ノイズ検出結果７０９として調整部７０４へ出力する。

調整部７０４は、入力した動きベクトル７０７に対してぶれ補正部７０５が行う画像処理に応じた所定の調整処理を行い、動きベクトル７５としてぶれ補正部７０５に対して出力する。スケーリング情報更新部７０６は、ぶれ補正部７０５が行った画像処理の内容に応じて、入力したスケーリング情報７１１を更新して、スケーリング情報８１１として出力する。スケーリング情報更新部７０６が出力するスケーリング情報８１１は、解析ブロック１００から出力された各解析結果をぶれ補正部７０５が出力する画像データ７０に対して利用する際に、各解析結果に対してどのようなスケーリングが必要となるかを示す情報である。スケーリング情報更新部７０６が出力するスケーリング情報８１１は、鮮鋭化・拡大部６０５の処理に応じたスケーリングと、ぶれ補正部７０５による処理に応じたスケーリングとの２つの処理に応じたスケーリングの内容を含む情報となる。

スケーリング情報生成部６０６は、更新したスケーリング情報８１１を、スケーリング部８０１から８０３と、スケーリング情報更新部８０６とへ出力する。調整部７０４は、全体制御部９００が出力した制御信号７１によって制御される。ぶれ補正部７０５は、全体制御部９００が出力した制御信号７７によって制御される。スケーリング部７０１から７０３は、全体制御部９００が出力した制御信号７２１によって制御される。そして、スケーリング情報更新部７０６は、全体制御部９００が出力した制御信号７１０によって制御される。

ノイズ除去ブロック８００では、スケーリング部８０１が、スケーリング情報更新部７０６が出力したスケーリング情報８１１に応じて動きベクトル６２をスケーリングして、動きベクトル８０７として調整部８０４へ出力する。スケーリング部８０２が、スケーリング情報更新部７０６が出力したスケーリング情報８１１に応じてエッジ画像６３をスケーリングして、エッジ画像８０８として調整部８０４へ出力する。スケーリング部８０３が、スケーリング情報更新部７０６が出力したスケーリング情報８１１に応じてノイズ検出結果６４をスケーリングして、ノイズ検出結果８０９として調整部８０４へ出力する。

調整部８０４は、入力した動きベクトル８０７に対してノイズ除去部８０５が行う画像処理に応じた所定の調整処理を行い、動きベクトル８５としてノイズ除去部８０５に対して出力する。調整部８０４は、入力したエッジ画像８０８に対してノイズ除去部８０５が行う画像処理に応じた所定の調整処理を行い、エッジ画像８６としてノイズ除去部８０５に対して出力する。調整部８０４は、入力したノイズ検出結果８０９に対してノイズ除去部８０５が行う画像処理に応じた所定の調整処理を行い、ノイズ検出結果８９としてノイズ除去部８０５に対して出力する。

スケーリング情報更新部８０６は、ノイズ除去部８０５が行った画像処理の内容に応じて、入力したスケーリング情報８１１を更新して、スケーリング情報９１１として出力する。スケーリング情報更新部８０６が出力するスケーリング情報９１１は、解析ブロック１００から出力された各解析結果をノイズ除去部８０５が出力する画像データ８０に対して利用する際に、各解析結果に対してどのようなスケーリングが必要となるかを示す情報である。スケーリング情報更新部８０６が出力するスケーリング情報８１１は、鮮鋭化・拡大部６０５の処理に応じたスケーリングと、ぶれ補正部７０５による処理に応じたスケーリングと、ノイズ除去部８０５による処理に応じたスケーリングとの３つの処理の内容に応じたスケーリングを含む情報となる。ただし、ノイズ除去ブロック８００に続く処理ブロックを用いない場合、スケーリング情報更新部８０６によるスケーリング情報９１１の更新処理は省略することができる。

調整部８０４は、全体制御部９００が出力した制御信号８１によって制御される。ノイズ除去部８０５は、全体制御部９００が出力した制御信号８７によって制御される。スケーリング部８０１から８０３は、全体制御部９００が出力した制御信号８２１によって制御される。そして、スケーリング情報更新部８０６は、全体制御部９００が出力した制御信号８１０によって制御される。

なお、第２の実施形態における鮮鋭化・拡大部６０５、ぶれ補正部７０５及びノイズ除去部８０５は、第１の実施形態における鮮鋭化・拡大部２０５、ぶれ補正部３０５及びノイズ除去部４０５と同様の処理を行う構成とすることができる。また、第２の実施形態における調整部６０４、７０４及び８０４は、第１の実施形態における調整部２０４、２０４及び２０４と同様の処理を行う構成とすることができる。

第２の実施形態では、各鮮鋭化ブロック６００からノイズ除去ブロック８００の各々の画質改善ブロックではスケーリングを行わずにスケーリング情報を生成して、処理を行うごとにスケーリング情報の更新を行っていく。解析ブロック１００の動作は図１の解析ブロック１００と同様である。

鮮鋭化ブロック２００では、スケーリングの動作のみが第１の実施形態と異なる。このブロックが最初の処理であるので、スケーリング情報生成部６０６が、スケーリング情報７１１を生成する。鮮鋭化・拡大部６０５による鮮鋭化・拡大によって解像度が変更となるために、スケーリング情報生成部６０６では、解像度倍率のスケーリング情報７１１が生成される。このスケーリング情報７１１は、解析ブロック１００から出力された各解析結果（６２、６３及び６４）をどのようにスケーリングするのかを示す情報であり、スケーリング情報生成部６０６では、実際の解析結果は変更されない。

なお、スケーリング情報生成部６０６をスケーリング情報更新部とすることもできる。すなわち、画質改善ブロックのＩ／Ｆ共通化のために、例えば解析ブロック１００で無変更（スケーリングを行わないという内容）のスケーリング情報を生成して、鮮鋭化ブロック２００に入力する構成としても良い。

なお、鮮鋭化・拡大部６０５の出力映像である画像データ６０の映像信号レベルのダイナミックレンジに余裕がある場合、鮮鋭化・拡大部６０５は映像信号のレベルを増幅することができる。この場合、スケーリング情報生成部６０６は、スケーリング情報７１１に対してその映像信号レベル変更を反映する。逆に画像データ６０のダイナミックレンジに余裕がない場合は、鮮鋭化・拡大部６０５はレベル飽和を防ぐために映像信号のレベルを減衰させることができる。この場合、スケーリング情報生成部６０６は、スケーリング情報７１１に対してその映像信号レベル変更を反映する。

ぶれ補正ブロック３００では、スケーリング情報７１１がスケーリング部７０１から７０３へ入力される。例えばスケーリング部７０１は、スケーリング情報７１１によって動きベクトル６２をスケーリングして動きベクトル７０７として出力する。またスケーリング部７０３は、スケーリング情報７１１によってノイズ検出結果６４をスケーリングしてノイズ検出結果７０９として出力する。次に、調整部７０４は、ノイズ検出結果７０９を基に動きベクトル７０７の精度を向上させて、動きベクトル７５として出力する。そして、ぶれ補正部７０５は、調整部７０４で調整された動きベクトル７５を利用して、ぶれ補正処理を行う。なお、ぶれ補正部７０５によるぶれ補正時に解像度を１．１倍に拡大した場合には、スケーリング情報更新部７０６によって解像度倍率のスケーリング情報が更新される。レベル飽和を防ぐ処理も鮮鋭化ブロック２００と同様に動作する。

ノイズ除去ブロック８００では、動きベクトル６２とエッジ画像６３とノイズ検出結果６４との各解析結果を用いて画質改善を行う。ランダムノイズやグレインノイズ除去の結果、ノイズレベルが下がった場合は、スケーリング情報更新部８０６が、そのノイズレベルの変更に対応するようにスケーリング情報を更新する。すなわち、スケーリング情報更新部８０６は、ノイズ除去部８０５の処理によってノイズ検出結果６４が示すノイズレベルが変更されたことを示すようスケーリング情報を更新し、スケーリング情報９１１として出力する。あるいは、ノイズ除去部８０５の処理によって、スクラッチ、ライン、パルス、ダストなど局所的なノイズが隠蔽された場合は、該当位置のノイズ検出結果を無効にするスケーリング情報がスケーリング情報更新部８０６によって生成される。

ここで、第２の実施形態が奏する効果を、図５を参考図として説明する。図５は、入力映像に対して、鮮鋭化と、ぶれ補正と、ノイズ除去の各画質改善処理を行う画像処理装置の一例を示している。図５に示した画像処理装置５は、解析ブロック１００と、鮮鋭化ブロック２２００と、ぶれ補正ブロック２３００と、ノイズ除去ブロック２４００とを備えている。解析ブロック１００は図２に示した解析ブロック１００と同じ構成である。鮮鋭化ブロック２２００は、鮮鋭化・拡大部２２０１を備えている。ぶれ補正ブロック２３００は、動ぶれ補正部２３０１と、スケーリング部２３０２とを備えている。ノイズ除去ブロック２４００は、ノイズ除去部２４０１と、スケーリング部２４０３と、スケーリング部２４０４とを備えている。画像処理装置５は、ソース映像である画像データ１０を入力し、鮮鋭化、ぶれ補正及びノイズ除去の画像処理を行って、処理した結果の映像である画像データ２０４０を出力する。

図５に示した画像処理装置５では、解析ブロック１００で、動き検出部１０１による動き検出と、エッジ検出部１０２によるエッジ検出と、ノイズ検出部１０３によるノイズ検出は、ソース映像である画像データ１０に対して１回だけ行われる。鮮鋭化ブロック２２００の動作は図４を参照して説明した鮮鋭化ブロック１２００と同じである。ぶれ補正ブロック３００では、スケーリング部２３０２が、鮮鋭化・拡大部２２０１の処理内容に応じて動き検出部１０１が出力した解析結果をスケーリングする。たとえば画像データ１０の映像が鮮鋭化ブロック２２００で拡大されて解像度が変更となった場合は、スケーリング部２３０２が、動き検出部１０１が出力した動きベクトルをそれに合わせてスケーリングする。

また、ノイズ除去ブロック４００も同様に、エッジ検出部１０２が出力したエッジ検出結果をスケーリング部２４０３でスケーリングしてから、ノイズ除去部２４０１によるノイズ除去に利用する。また、ノイズ検出部１０３が出力したノイズ検出結果をスケーリング部２４０４でスケーリングしてから、ノイズ除去部２４０１によるノイズ除去に利用する。

図５に示した画像処理装置５では、必要に応じてスケーリング部を各処理ブロックに設けている。そのため、処理順序の入れ替えが困難（前の処理に応じたスケーリング処理が必要なため）である事と、処理ブロックの入力映像（２０２０、２０３０等）を解析した方がよいケースへの対応ができない事である。

これに対して、図２を参照して説明した第２の実施形態の画像処理システム２では、スケーリングを各処理ごとに行う事により、各画質改善ブロックの入出力Ｉ／Ｆ（インターフェース）を容易に統一化することができる。そして、入出力Ｉ／Ｆを統一化することで、画質改善処理の追加、削除、並べ替えが容易となる。

さらに、第２の実施形態によれば、調整部７０４又は８０４（あるいは６０４）を設けたので次の効果を得ることができる。すなわち、調整部７０４又は８０４は、調整部７０４又は８０４が出力する解析結果（解析結果７５又は解析結果８５、８６若しくは解析結果８９）を、各処理ブロックの入力映像（画像データ６０又は７０）を解析した場合に得られるであろうと推定される解析結果に近づけるような調整処理によって生成することができる。この調整処理によれば、調整処理を行わない場合と比較して、画像処理結果がより良好なものとなることが期待できる。

また、複数の画質改善処理を連続して行うと処理の過程でレベル飽和が起きるが、調整部（あるいはスケーリング部）によってレベル飽和を起きにくくすることができる。また、調整部（あるいはスケーリング部）によって、解析結果がノイズにより精度低下する課題を解決することができる。

（第３の実施形態）
図３は、第３の実施形態の画像処理システム３を示すブロック図である。図３に示した画像処理システム３は、解析部１１と、解析部１２と、画像処理部１３と、画像処理部１４と、スケーリング部１５と、スケーリング部１６と、調整部１７とを備える。画像処理システム３は、例えば、画像処理用のＤＳＰ、汎用のＣＰＵ等のプロセッサ及びそのプロセッサが実行するプログラムや、画像処理用ＡＳＩＣ、ＦＰＧＡ及び画像処理用ＩＰコア等を用いて構成することができる。図３に示した各ブロックは、例えば１つのモジュールとして構成することができる。

図３に示した第３の実施形態は、上述した第１の実施形態及び第２の実施形態において同一の概念に分類される各構成要素をそれぞれ包括する上位の概念の構成要素を有して構成されている。すなわち、図３に示した解析部１１又は１２は、図１に示した動き検出部１０１、エッジ検出部１０２及びノイズ検出部１０３に対応する。図３に示した画像処理部１３は、図１に示した鮮鋭化・拡大部２０５に対応する。図３に示した画像処理部１４は、図１に示したぶれ補正部３０５に対応する。図３に示したスケーリング部１５又は１６は、図１に示したスケーリング部２０１、２０２及び２０３に対応する。そして、図３に示した調整部１７は、図１に示した調整部３０４に対応する。また、図３に示した画像処理部１３は、図１に示したぶれ補正部３０５に対応する構成とすることもできる。この場合、図３に示した画像処理部１４が、図１に示したノイズ除去部４０５に対応する構成となる。また、図３に示したスケーリング部１５又は１６が、図１に示したスケーリング部３０１、３０２及び３０３に対応する構成となる。そして、図３に示した調整部１７が、図１に示した調整部４０４に対応する構成となる。

また、図２に示した各構成において、動き検出部１０１、エッジ検出部１０２及びノイズ検出部１０３が、図３に示した解析部１１又は１２に対応する構成である。鮮鋭化・拡大部６０５が、図３に示した画像処理部１３に対応する構成である。ぶれ補正部７０５が、図３に示した画像処理部１４に対応する構成である。スケーリング部７０１、７０２及び７０３が、図３に示したスケーリング部１５又は１６に対応する構成である。そして、調整部７０４が、図３に示した調整部１７に対応する構成である。また、ぶれ補正部３０５は、図３に示した画像処理部１３に対応する構成とすることもできる。この場合、ノイズ除去部８０５が、図３に示した画像処理部１４に対応する構成となる。また、スケーリング部８０１、８０２及び８０３が、図３に示したスケーリング部１５又は１６に対応する構成となる。そして、調整部８０４が、図３に示した調整部１７に対応する構成となる。

複数の解析部１１及び１２は、それぞれが、入力した画像データを解析し、所定の解析結果を出力する。所定の解析結果とは、画像データに含まれる所定の特徴を検出した結果であり、例えば、動き検出、エッジ検出、ノイズ検出等の結果とすることができる。解析結果は、例えば、検出した特徴を、大きさ、変化の向きや大きさ、画素値の変化の大きさ、検出した位置等を示す値で表すことができる。

画像処理部１３は、入力した画像データに対して、解析部１１又は／及び解析部１２が出力した解析結果に応じて、所定の画像処理を行い、処理した画像データを出力する。画像処理部１４は、入力した画像データに対して、解析部１１又は／及び１２が出力した解析結果に応じて、所定の画像処理を行い、処理した画像データを出力する。画像処理部１３及び画像処理部１４が行う画像処理は、例えば、鮮鋭化及び拡大、ぶれ補正、ノイズ除去等、劣化した映像の画質改善を行うための処理とすることができる。ただし、画像処理の内容は限定されない。

なお、図３に示した例では、画像処理部１４が、解析部１１及び１２が出力した解析結果を、スケーリング部１５及び１６を介して入力する。また、画像処理部１４は、画像処理部１３を前段の画像処理部とした場合に後段の画像処理部として、前段の画像処理部１３が出力した（すなわち前段の画像処理部１３が処理した）画像データを入力する。

スケーリング部１５及び１６は、後段の画像処理部１４が利用する解析結果を、前段の画像処理部１３が行った画像処理の結果に応じてスケーリングする。本実施形態においてスケーリングとは、入力する解析結果に対して所定の変更処理を行って、処理した解析結果を出力することをいう。所定の変更処理とは、所定の場合に解析結果を変更する処理を意味する。所定の場合とは、前段の画像処理部１３が行った画像処理によって解析部１１及び１２が出力した解析結果を後段の画像処理部１４が入力する画像データに対してそのままの値では利用することが適切ではない場合である。そして、解析結果を変更する処理とは、後段の画像処理部１４が入力する画像データに対して適切な値に、解析結果の値を変更する処理を意味する。スケーリング部１５及び１６は、解析結果に所定の変更処理を行った解析結果を出力してもよいし、変更前の解析結果に対して所定の変更処理を行うための情報を出力してもよい。なお、スケーリング部１５及び１６は、画像処理部１３から直接あるいは図示していない所定の制御部を介して、画像処理部１３が行った画像処理の結果を示す情報を受け取ることができる。

スケーリング部１５及び１６が変更する解析結果の属性は、例えば、解像度、映像信号レベル、動きベクトルオフセット、ノイズ位置若しくは大きさ等とすることができる。例えば、解析結果が所定の特徴の位置や方向、大きさを画素の座標値や画素数を用いて表す場合、前段の画像処理部１３が画像データに対してその解像度を変更する画像処理を行ったとき、スケーリング部１５及び１６は、解析結果が含む座標値や画素数に対してその解像度の変更に応じた変更処理を行う。あるいは、スケーリング部１５及び１６は、例えば画像処理部が、画素値のダイナミックレンジを変更するような画像処理を行った場合、解析結果が含む画素値に対してそのダイナミックレンジの変更に応じた変更処理を行う。あるいは、スケーリング部１５及び１６は、例えば、解析結果がノイズの検出結果である場合にノイズを除去するような画像処理を行ったときに、解析結果が表すノイズのレベルを低下させるような変更処理を解析結果に対して行うことができる。あるいは、スケーリング部１５及び１６は、解析結果がノイズの検出結果である場合にノイズを除去するような画像処理を行ったときに、ノイズの検出情報を削除する変更処理を解析結果に対して行うこともできる。あるいは、スケーリング部１５及び１６は、例えば、解析結果が動きベクトルの検出結果である場合にぶれを補正するような画像処理を行ったとき、解析結果が表す動きベクトルの大きさを低下させるような変更処理を解析結果に対して行うこともできる。あるいは、スケーリング部１５及び１６は、解析結果が動きベクトルの検出結果である場合にぶれを補正するような画像処理を行ったとき、動きベクトルの検出情報を削除するような変更処理を解析結果に対して行うこともできる。

調整部１７は、スケーリング部１５がスケーリングした解析結果とスケーリング部１６がスケーリングした解析結果とを入力する。ただし、調整部１７は、スケーリング部１５がスケーリングした解析結果とスケーリング部１６がスケーリングした解析結果とのいずれか一方を入力するものであってもよい。そして、調整部１７は、入力した少なくとも１つの解析結果に対して、画像処理部１４が行う画像処理に応じた所定の調整処理を行い、画像処理部１４に対して出力する。

調整部１７は、例えば、前段の画像処理部１３による画像処理によって、解析部１１又は１２では検出されなかった新たな画質変化が生じ、解析結果がその変化を反映しないものとなった場合には例えば次のように解析結果を変更することができる。すなわち、例えば、前段の画像処理部１３による画像処理の後、解析結果を変更しなければ後段の画像処理部１４による画像処理に影響が生じると予測される場合に、予測される影響を抑えるための変更を解析結果に対して行うことができる。すなわち、調整部１７は、前段の画像処理部１３による画像処理によって後段の画像処理部１４による画像処理に影響が生じると予測される場合には、その予測内容を解析結果に反映させる調整処理を行うことができる。言い換えれば、調整部１７は、後段の画像処理部１４が利用する解析結果に対して、前段の画像処理部１３が行った画像処理の結果に基づいて予測される後段の画像処理部１４が入力する画像データへの変化に応じた補正を行うことができる。

なお、調整部１７は、例えば、スケーリング部１５及び１６から出力された解析結果をそのまま画像処理部１４に入力し、画像処理部１４がその解析結果に基づいて所定の画像処理を行うと処理結果が適切ではなくなると予測される場合の一例としては、次の場合があげられる。すなわち、解析結果を変更しないと、画像処理部１４の画像処理によって画像データにレベル飽和が発生すると予測されるときには、レベル飽和が発生しなくなるように解析結果を変更する調整処理を行うことができる。すなわち、調整部１７は、解析結果に対して映像レベルの飽和を予防するための調整を行うことができる。

また、調整部１７は、例えば、入力した１つの解析結果に基づいて入力した他の解析結果の内容を調整したり、画像データの撮像時に得られた情報に基づいて解析結果の内容を調整したりすることができる。この調整によって後段の画像処理部１４による画像処理の精度を高めることができる。例えば、調整部１７は、解析結果の１つに基づいて例えば画像データ中の一部の領域のノイズが強いと検出された場合、その領域にあるエッジ検出の結果や動きベクトルの検出結果を無効としたり、信頼性が低い解析結果であるとの付加情報を設定したりする調整処理を行うことができる。すなわち、解析部１１又は１２の少なくとも１つが画像データから所定のノイズを検出するための解析処理を行うものである場合、調整部１７は、ノイズ検出の情報を基に、他の解析結果に対するノイズによる影響を補正する調整処理を行うことができる。

画像処理部１４は、上記のようにしてスケーリング部１５及び１６によってスケーリングされ、さらに調整部１７によって調整処理された解析結果に応じて、前段の画像処理部１３から出力された画像データに対して所定の画像処理を行って処理した画像データを出力する。

図３を参照して説明した第３の実施形態の画像処理システム３によれば、スケーリング部１５及び１６を設けているので、画像処理部１３と画像処理部１４との間で、同一の解析部１１と解析部１２とを共用することができる。よって解析処理の共通化によるスループットの向上を図ることができる。また、解析部１１及び解析部１２は、ソース映像（すなわち画像処理が行われる前の映像）に対して解析処理を行うことができるので、解析精度の向上を図ることができる。

また、例えば、画像処理部１４が出力した画像データに対してさらに所定の画像処理を行う場合には、スケーリング部１５及び１６と、調整部１７と、画像処理部１４とからなる１組の構成と同様な構成を追加して用いることができる。すなわち、画像処理部１４の出力に対して、さらに、スケーリング部１５及び１６と、調整部１７と、画像処理部１４と同様な構成を追加することで、解析部を追加することなく、新たな画像処理を追加することができる。この場合、画像データや解析結果の入出力インタフェースを容易に共通化することができる。したがって、複数の画像処理の追加、削除、組み替えを柔軟かつ容易に行うことができる。

上述した第１の実施形態から第３の実施形態は、例えば、アナログビデオテープやフィルムなど経年変化で劣化した映像や、撮影条件の悪い監視カメラ映像、放送のポストプロダクション、ノイズを大量に含んだ医療現場の検査映像、放射線によりノイズが混入した映像など広範囲に利用することができる。

また、第１の実施形態から第３の実施形態を構築する場合の処理プラットフォームは、次のようにすることができる。すなわち、近年、複数の演算処理を持つハードウェアが増えてきたことから、画質改善ブロックを複数の演算部を割り当ててソース映像に対して１回だけ解析処理を行い、以降の複数画質改善ブロックをパイプライン動作させる構成とすることが容易にできる。ネットワークで演算ノードが結合されたクラウド構成のプラットフォーム上でも、解析情報を共有化と、画質改善ブロックごとにモジュール化することで、高スループット化と柔軟な構成への対応が可能となる。また、第１の実施形態から第３の実施形態は、上述したように、画像処理用のＤＳＰ、汎用のＣＰＵ等のプロセッサ及びそのプロセッサが実行するプログラムとを用いて構成することができるほか、画像処理用ＡＳＩＣ、ＦＰＧＡ及び画像処理用ＩＰコア等からなるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）の専用回路、あるいはそれらを組み合わせた構成を用いて実現することができる。

なお、上記各実施形態の変形例について、図６から図８を参照して説明を行う。図６は、各処理が解析結果に与える影響とその影響が予測可能かどうかを示す図である。図６に示したように、鮮鋭化処理は、エッジ検出の結果に大きな影響を与える。ただし、この影響は予測可能である。一方、動き検出の結果には影響は与えない。そして、ノイズ検出の結果には、大きな影響を与え、かつ予測不可能である。なお、予測可能とは、各処理において（すなわち各画像処理部が）意図的に変更する場合を意味する。他方、予測可能とは、処理に付随して意図せず変化してしまう場合を意味する。

また、ぶれ補正処理は、エッジ検出の結果に小さな影響を与える。この影響は予測不可能である。一方、動き検出の結果には大きな影響を与え、かつ、予測不可能である。そして、ノイズ検出の結果には、影響を与えない。また、ノイズ除去処理は、エッジ検出の結果に大きな影響を与え、かつ、この影響は予測不可能である。一方、動き検出の結果には影響を与えない。そして、ノイズ検出の結果には、大きな影響を与えるが、予測可能である。

次に、図７を参照して、各処理が一般的に使用する解析結果について説明する。図７は、各処理が一般的に使用する解析結果をまとめて示す図である。図７に示したように、鮮鋭化処理は、エッジ検出の結果と動き検出の結果とを使用する。ぶれ補正処理は、動き検出の結果を使用する。そして、ノイズ除去処理は、エッジ検出の結果と、ノイズ検出の結果とを使用する。

次に、図８を参照して、各処理が影響を受ける前段の処理について説明する。図８は、各処理が影響を受ける前段の処理を、影響度と予測可能かどうかという点を示してまとめた図である。例えば、鮮鋭化処理は、図７に示したように、エッジ検出結果と動き検出結果とを使用するが、鮮鋭化処理の前にノイズ除去処理が行われた場合、エッジ検出結果はノイズ除去処理によって大きな影響を受け、かつ予測不可能である（（１）の場合）。また、鮮鋭化処理は、鮮鋭化処理の前にぶれ補正処理が行われた場合、エッジ検出結果はぶれ補正処理によって小さな影響を受け、かつ予測不可能である（（２）の場合）。また、鮮鋭化処理は、鮮鋭化処理の前にぶれ補正処理が行われた場合、動き検出結果はぶれ補正処理によって大きな影響を受けるが、予測可能である（（３）の場合）。

一方、ノイズ除去処理は、エッジ検出結果とノイズ検出結果とを使用するが、ノイズ除去処理の前に鮮鋭化処理が行われた場合、エッジ検出結果は鮮鋭化処理によって大きな影響を受けるが、予測可能である（（４）の場合）。また、ノイズ除去処理は、ノイズ除去処理の前にぶれ補正処理が行われた場合、エッジ検出結果はぶれ補正処理によって小さな影響を受け、かつ予測不可能である（（５）の場合）。また、ノイズ除去処理は、ノイズ除去処理の前に鮮鋭化処理が行われた場合、ノイズ出結果は鮮鋭化処理によって大きな影響を受け、かつ予測不可能である（（６）の場合）。

図８に示した図において、解析結果への影響が予測可能なものについては、スケーリング部を用いて解析結果を変更することで、前段の処理による影響を排除することができる。一方、解析結果への影響が予測不可能なものについては、スケーリング部では補正することが困難である。この場合、調整部に次の機能を設けることで、前段（ここで前段とは、１つ前に限らず、２以上前の段も含む）の処理による予測不可能な解析結果への影響を除くことができる。ここでは、予測不可能で影響が大きい（１）と、（６）とに対応する構成について説明する。（１）は、鮮鋭化処理の前にノイズ除去処理がある場合のエッジ検出処理の場合である。すなわち、ノイズ除去処理が行われた場合のエッジは、ソース映像で検出されたエッジと大きく異なっていることがある。したがって、この場合には、ソース映像に対するエッジ検出の結果を使用するよりも、鮮鋭化処理すなわち鮮鋭化ブロックに入力される映像に対してエッジ検出を再度行った結果を使用した方がよい処理結果を得られることがある。そこで、上記実施形態の変形例として、まず鮮鋭化ブロック内あるいは全体制御部内に、以前の処理でノイズ除去処理が行われたのか否かを判定する判定部を設ける。そして、その判定部が以前の処理でノイズ除去処理が行われたと判定した場合には、鮮鋭化ブロックの入力映像に対してエッジ検出を行う処理を実行する。この入力映像に対するエッジ検出結果を使用して、鮮鋭化・拡大部で鮮鋭化処理を追加して実行する。同様に、（６）の場合、すなわち、ノイズ除去処理の前に鮮鋭化処理がある場合のノイズ検出処理の場合も、次のようにノイズ除去ブロックを変形することができる。つまり、まずノイズ除去ブロック内あるいは全体制御部内に、以前の処理で鮮鋭化処理が行われたのか否かを判定する判定部を設ける。そして、その判定部が以前の処理で鮮鋭化処理が行われたと判定した場合には、ノイズ除去ブロックの入力映像に対してノイズ検出を行う処理を追加して実行する。この入力映像に対するノイズ検出結果を使用して、ノイズ除去部でノイズ除去処理を実行する。このような処理を追加することで解析結果への予測不可能な大きな影響を除くことができる。

なお、上記の第１の実施形態の説明において、前処理で映像の劣化が強調された場合は、後段の画像処理で劣化除去の補正量を増加させることが可能である旨の説明を行ったが、その具体例としては、影響が大きく予測が可能な図８の（４）の場合があげられる。すなわち、ノイズ除去処理の前に鮮鋭化処理がある場合のノイズ補正量を増加させることが可能である。この場合、鮮鋭化で強調されすぎたエッジをノイズ除去でなめらかに補正することができる。なお、図８の（３）の場合は、劣化には該当しないのでスケーリングにて対応可能である。

以上説明した少なくともひとつの実施形態によれば、画像処理部毎にスケーリング部を持つことにより、鮮鋭化、ぶれ補正、ノイズ除去等の画像処理を行う後段の画像処理部が利用する解析結果を前段の画像処理部が行った画像処理の結果に応じてスケーリングする。また、調整部がスケーリング部がスケーリングした解析結果を１又は複数入力して入力して少なくとも１の解析結果に対して後段の画像処理部が行う画像処理に応じた所定の調整処理を行い、画像処理部に対して出力する。したがって、解析部を容易に共用化でき、あるいは画像処理の組み合わせ順序を容易に変更すことができる。よって複数の画像処理を組み合わせて行う場合に構成を効率化することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１、２、３…画像処理装置
１１、１２…解析部
１３、１４…画像処理部
１５、１６、２０１〜２０３、３０１〜３０３、４０１〜４０３、６０１〜６０３、７０１〜７０３、８０１〜８０３…スケーリング部
１７、２０４、３０４、４０４、６０４、７０４、８０４…調整部
１００…解析ブロック
１０１…動き検出部
１０２…エッジ検出部
１０３…ノイズ検出部
２００、６００…鮮鋭化ブロック
３００、７００…ぶれ補正ブロック
４００、８００…ノイズ除去ブロック
２０５、６０５…鮮鋭化・拡大部
３０５、７０５…ぶれ補正部
４０５、８０５…ノイズ除去部
６０６…スケーリング情報生成部
７０６、８０６…スケーリング情報更新部

Claims (11)

1. 入力される画像データに含まれる所定の特徴を検出し、検出した特徴を示す検出結果を出力する複数の検出部を有する画像解析部と、
   前記画像解析部の検出部が検出する特徴に応じて画質改善処理を行う複数の画質改善処理部であって、
   それぞれが、
   他の前記画質改善処理部による前記画質改善処理の結果に応じて前記検出部の検出結果をスケーリングして出力するスケーリング部と、
   前記スケーリング部がスケーリングした前記検出結果を１又は複数入力し、入力した少なくとも１の前記スケーリングされた検出結果に対して、自己の前記画質改善処理に応じた所定の調整処理を行い、該処理結果を出力する調整部と、
   所定の画像データを入力し、前記調整部が出力した前記処理結果に応じて前記画質改善処理を行い、処理した画像データを出力する画像処理部と
   を有する複数の前記画質改善処理部と
   を備える画像処理システム。
2. 前記スケーリング部がスケーリングする前記検出結果の属性が、解像度、映像信号レベル、動きベクトルオフセット、又は、ノイズの位置や性質の少なくとも１つである
   請求項１に記載の画像処理システム。
3. 前記スケーリング部は、他の前記画質改善処理部が有する前記スケーリング部がスケーリングした前記検出結果をさらにスケーリングする
   請求項１又は２に記載の画像処理システム。
4. 前記スケーリング部は、他の前記画質改善処理部が有する前記スケーリング部がスケーリングした内容を表すスケーリング情報に基づいて前記検出部が出力した前記検出結果をスケーリングする
   請求項１又は２に記載の画像処理システム。
5. 前記調整部が、前記検出結果に対して映像レベルの飽和を予防するための調整を行う
   請求項１から４のいずれか１項に記載の画像処理システム。
6. 前記検出部の少なくとも１つが前記画像データから所定のノイズを検出するための検出処理を行うものであり、
   前記調整部が、前記検出部が行った前記ノイズを検出するための検出処理の結果を基に、前記ノイズを検出するための検出処理を行った前記検出部とは異なる前記検出部による前記検出結果のノイズによる影響を補正する
   請求項１から５のいずれか１項に記載の画像処理システム。
7. 前記調整部が、自己の前記画質改善処理部が有する前記画像処理部が利用する前記検出結果に対して、他の前記画質改善処理部の前記画像処理部が行った前記画質改善処理の結果に基づいて予測される自己の前記画質改善処理部が有する前記画像処理部が入力する前記画像データへの変化に応じた補正を行う
   請求項１から６のいずれか１項に記載の画像処理システム。
8. 前記調整部が、前記画像データの撮影時に得られた情報を基に、前記検出結果を補正する
   請求項１から７のいずれか１項に記載の画像処理システム。
9. 前記調整部が、
   他の前記画質改善処理部の前記画像処理部が行った前記画質改善処理で映像の劣化が強調された場合に、自己の前記画質改善処理部が有する前記画像処理部による劣化除去の補正量を増加させる
   請求項１から８のいずれか１項に記載の画像処理システム。
10. 入力される画像データに含まれる所定の特徴を検出し、検出した特徴を示す検出結果を出力する複数の検出過程を含む画像解析過程と、
    前記画像解析過程において検出される特徴に応じて画質改善処理を行う複数の画質改善処理過程であって、
    それぞれが、
    他の前記画質改善処理過程による前記画質改善処理の結果に応じて前記検出過程の検出結果をスケーリングして出力するスケーリング過程と、
    前記スケーリング過程でスケーリングされた前記検出結果を１又は複数入力し、入力した少なくとも１の前記スケーリングされた検出結果に対して、自己の前記画質改善処理に応じた所定の調整処理を行い、該処理結果を出力する調整過程と、
    所定の画像データを入力し、前記調整過程で出力された前記処理結果に応じて前記画質改善処理を行い、処理した画像データを出力する画像処理過程と
    を含む複数の前記画質改善処理過程と
    を含む画像処理方法。
11. 入力される画像データに含まれる所定の特徴を検出し、検出した特徴を示す検出結果を出力する複数の検出過程を含む画像解析過程と、
    前記画像解析過程において検出される特徴に応じて画質改善処理を行う複数の画質改善処理過程であって、
    それぞれが、
    他の前記画質改善処理過程による前記画質改善処理の結果に応じて前記検出過程の検出結果をスケーリングして出力するスケーリング過程と、
    前記スケーリング過程でスケーリングされた前記検出結果を１又は複数入力し、入力した少なくとも１の前記スケーリングされた検出結果に対して、自己の前記画質改善処理に応じた所定の調整処理を行い、該処理結果を出力する調整過程と、
    所定の画像データを入力し、前記調整過程で出力された前記処理結果に応じて前記画質改善処理を行い、処理した画像データを出力する画像処理過程と
    を含む複数の前記画質改善処理過程と
    をコンピュータに実行させる画像処理プログラム。

Images