JP6134267B2 - 画像処理装置、画像処理方法、および記録媒体 - Google Patents

Description

本発明は、画像を処理する画像処理装置等に関するものである。

従来、実在する入力画像データと対応する画素間の所定の画素の画像データを実在する入力画像データによって補間生成するためのディジタル画像信号の補間装置において、実在する入力画像データを受け取り、所定の画素の周辺位置に存在する所定数の実在する画素データを抽出する手段と、係数を求めるための画素データを用いて、補間値と真値との誤差の自乗和が最小となるように最小自乗法により予め定められた所定数の係数と、抽出された上記所定数の実在する画素データとの線形１次結合により、所定の画素の画素データを補間生成する手段とからなることを特徴とするディジタル画像信号の補間装置があった（特許文献１参照）。

また、第１のディジタルビデオ信号から上記第１のディジタルビデオ信号より画素数の多い第２のディジタルビデオ信号を生成するディジタルビデオ信号変換装置があった（特許文献２参照）。

一方、近年、テレビジョン受信機等において、大画面化が進んでいる。また、近年、画面のマルチ化（枠が存在する複数の画面を合わせて一つの画面とするもの）、高輝度化も進んでいる。

特許第２８２５４８２号公報（第１頁、第１図等） 特許第３０７２３０６号公報（第１頁、第１図等）

しかしながら、従来の画像処理装置においては、全体のバランスが崩れた画像が出力されることがあった。

そして、大画面において、視聴者は、目で画面内のオブジェクトを追うようなことをしなければならず、例えば、奥に存在するはずのオブジェクトの輝度が大きく、手前に存在するはずのオブジェクトの輝度が小さくなっているような全体のバランスが崩れた画像が出力されている場合、視聴者は、遠近感や奥行き感を感じない。また、大画面において、例えば、オブジェクトの輝度の分布が自然でなく、全体のバランスが崩れている場合、視聴者にとって、オブジェクトの厚みが認知され難くなる。また、大画面において、例えば、非剛体のオブジェクトが、視聴者にとって手前から奥に変形しながら移動するような場合、画面の手前の輝度より奥の輝度の方が大きいようなバランスが崩れている場合、視聴者は、非剛体の変形を認知し難い、といった課題があった。さらに、例えば、多数の向日葵が大画面に映っている大画面において、手前の向日葵の解像度感が低く、奥の向日葵の解像度感が高い場合、視聴者にとって、遠近感が掴めない、という課題があった。

これらの具体例は、自然法則に合致しない画像、つまり、バランスが崩れた画像を大画面で出力することにより発生する課題である。

本第一の発明の画像処理装置は、出力される画像に適用される条件であり、被写体から取得される条件である１以上の拘束条件を格納し得る拘束条件格納部と、被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、受付部が受け付けた画像が有する１以上のフィールドに対して、１以上の拘束条件を適用し、１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、画像変更部が取得した１以上のフィールドを出力する画像出力部とを具備する画像処理装置である。

かかる構成により、全体のバランスを保持した画像を出力できる。

また、本第二の発明の画像処理装置は、第一の発明に対して、受付部が受け付けた画像が有する１以上のフィールドから１以上の拘束条件を取得する拘束条件取得部をさらに具備し、拘束条件格納部の１以上の拘束条件は、拘束条件取得部が取得した１以上の拘束条件である画像処理装置である。

かかる構成により、出力される画像に適した拘束条件を動的に取得し、当該取得した拘束条件を適用し、全体のバランスを保持した画像を出力できる。

また、本第三の発明の画像処理装置は、第一または第二の発明に対して、拘束条件格納部は、拘束条件と、フィールド内のオブジェクトの特徴量に関する条件である特徴量条件との組を２組以上格納しており、画像変更部は、受付部が受け付けた画像が有する１以上のフィールドから予め決められた１以上の特徴量を取得する特徴量取得手段と、１以上の特徴量が合致する１以上の特徴量条件を決定し、１以上の各特徴量条件と組になる１以上の拘束条件を前記拘束条件格納部から取得する拘束条件取得手段と、受付部が受け付けた画像が有する１以上のフィールドに対して、拘束条件取得手段が取得した１以上の拘束条件を適用し、１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像取得手段とを具備する画像処理装置である。

かかる構成により、出力される画像に適した拘束条件を動的に選択し、当該選択した拘束条件を画像に適用し、全体のバランスを保持した画像を出力できる。

本発明による画像処理装置によれば、全体のバランスを保持した画像を出力できる。

実施の形態１における画像処理装置のブロック図 同画像処理装置の動作について説明するフローチャート 実施の形態２における画像処理装置のブロック図 同拘束条件のイメージを示す図 同フィールドの具体例を示す図 同フィールドの具体例を示す図 同画像処理装置の動作について説明するフローチャート 同拘束条件取得処理について説明するフローチャート 実施の形態３における画像処理装置のブロック図 同画像処理装置の動作について説明するフローチャート 同拘束条件選択処理について説明するフローチャート 実施の形態４における画像処理装置４のブロック図 同画像処理装置４の動作について説明するフローチャート 実施の形態５における画像処理装置５のブロック図 同画像処理装置５の動作について説明するフローチャート 同拘束条件選択処理について説明するフローチャート 上記実施の形態におけるコンピュータシステムの概観図 同コンピュータシステムのブロック図

以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態１）
本実施の形態において、被写体から取得され得る１以上の拘束条件を、当該被写体を撮影した１以上の各画像（入力画像）に対して適用し、拘束条件を満たすように入力された入力画像を処理し、出力画像を取得する画像処理装置１について説明する。

図１は、本実施の形態における画像処理装置１のブロック図である。画像処理装置１は、例えば、テレビジョン受信機、ＤＶＤプレーヤー等である。

画像処理装置１は、拘束条件格納部１１、受付部１２、画像変更部１３、および画像出力部１４を備える。

拘束条件格納部１１は、１以上の拘束条件を格納し得る。拘束条件とは、出力される画像に適用される条件であり、被写体から取得される条件である。拘束条件は、画像を自然法則に合致させるための条件である。拘束条件は、具体的には、例えば、視聴者から見て、手前の画面領域の輝度が大きく、奥の画面領域の輝度が小さいことを保証する条件である。また、拘束条件は、例えば、視聴者から見て、手前のオブジェクトの解像度感が高く、奥のオブジェクトの解像度感が低いことを保証する条件である。なお、解像度感とは、きめ細かい画像の感じ、または美しい画像の感じ、または高品質な画像の感じ、またはノイズが少ない画像の感じ、または自然に近い画像の感じ等である。

解像度感は、例えば、周波数分析を行うことにより判定できる。具体的には、例えば、画像または画像の一部（後述する時空間ブロック等）に対して周波数分析を行い、高周波成分が多いほど解像度感が高く、低周波成分の割合が多いほど解像度感が低いと判定され得る。さらに具体的には、第一の閾値以上の高周波成分の割合に応じて、解像度感を定量的（例えば、１から５の５段階）に決定しても良い。つまり、閾値以上の高周波成分の割合が大きいほど、高い解像度感とする。また、周波数分析を行い、周波数分布を取得し、周波数分布に応じて、解像度感を定量的に決定しても良い。なお、かかる場合も、通常、高周波成分が多いほど解像度感が高く、低周波成分の割合が多いほど解像度感が低いと判定される。

また、解像度感は、例えば、空間の画素値のアクティビティー（空間的アクティビティーという）を用いて判定できる。具体的には、例えば、空間的アクティビティーが第一の閾値以上の画素の割合が多いほど、解像度感が高いと判定され得る。また、空間アクティビティーが第一の閾値以上の画素の割合に応じて、解像度感を定量的（例えば、１から５の５段階）に決定しても良い。

その他、解像度感の判定、または解像度感の取得方法は問わない。

また、拘束条件は、例えば、フィールドが有する画素の画素値をパラメータとする条件である。また、拘束条件は、例えば、時間的に連続する２以上のフィールドが有する画素の画素値の変化量である画素値の時間的アクティビティーをパラメータとする条件である。また、拘束条件は、例えば、一のフィールドが有する２以上の画素の画素値の差異である画素値の空間的アクティビティーをパラメータとする条件である。さらに具体的には、拘束条件は、例えば、画素値の時間的アクティビティーが一定の予め決められた範囲（時間ｔによる関数で規定できる範囲でも良い）にあることを保証する条件である。また、具体的には、拘束条件は、例えば、画素値の空間的アクティビティーが一定の予め決められた範囲（基準点からの距離ｘによる関数で規定できる範囲でも良い）にあることを保証する条件である。

また、拘束条件は、例えば、フィールド内のオブジェクトの解像度感をパラメータとする条件である。また、拘束条件は、例えば、時間的に連続する２以上のフィールド内のオブジェクトの解像度の変化量である解像度感の時間的アクティビティーをパラメータとする条件である。また、拘束条件は、例えば、一のフィールドが有する２以上のオブジェクトの解像度感の差異である解像度感の空間的アクティビティーをパラメータとする条件である。さらに具体的には、拘束条件は、例えば、解像度感の時間的アクティビティーが一定の予め決められた範囲（時間ｔによる関数で規定できる範囲でも良い）にあることを保証する条件である。また、具体的には、拘束条件は、例えば、解像度感の空間的アクティビティーが一定の予め決められた範囲（基準点からの距離ｘによる関数で規定できる範囲でも良い）にあることを保証する条件である。

なお、画像は、動画でも静止画でも良い。画像が動画の場合、画像は２以上のフィールド[0]を有する。なお、１フィールド[0]は、１画面であり、１フレームと言っても良い。

拘束条件格納部１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。拘束条件格納部１１に拘束条件が記憶される過程は問わない。例えば、記録媒体を介して拘束条件が拘束条件格納部１１で記憶されるようになってもよく、通信回線等を介して送信された拘束条件が拘束条件格納部１１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された拘束条件が拘束条件格納部１１で記憶されるようになってもよい。

受付部１２は、被写体を撮影した１以上のフィールドを有する画像を受け付ける。受け付けとは、通常、放送手段から送信された画像の受信である。ただし、受け付けとは、マウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。受付部１２は、例えば、放送受信手段、または有線もしくは無線の通信手段により実現され得る。

画像変更部１３は、受付部１２が受け付けた画像が有する１以上のフィールドに対して、１以上の拘束条件を適用し、１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する。ここで、拘束条件の適用とは、１フィールド全体への適用で良いし、２以上のフィールド全体への適用で良い。

また、拘束条件の適用は、１または複数のフィールドを空間的、または時間的、または空間的かつ時間的に２以上に分割し、当該分割した画像（時空間ブロックとも言う）に適用することでも良い。かかる場合、画像変更部１３は、受付部１２が受け付けた画像を２以上の時空間ブロックに分割する。そして、画像変更部１３は、取得した複数の時空間ブロックに対して、１以上の拘束条件を適用し、１以上の拘束条件に合致する時空間ブロックに変更した新しい複数の時空間ブロックを取得する。そして、画像変更部１３は、新しい複数の時空間ブロックを結合し、出力する画像を取得する。なお、時空間ブロックは、矩形の連続領域とは限らない。時空間ブロックは、非矩形かつ不連続な画像の領域でも良い。また、例えば、時空間ブロックは、１画面（１フィールドまたは１フレーム）を４つに分割されたデータでも良いし、ｎ画面（ｎは２以上の整数）を８つに分割されたデータでも良い。なお、分割する数は問わない。また、時空間ブロックは１画素でも良い。

また、例えば、拘束条件が輝度の閾値を有する条件の場合、画像変更部１３は、前記閾値を超える輝度の画素が存在する際には、当該画素の輝度の値を下げる処理を行う。また、画像変更部１３は、前記閾値より低い輝度の画素が存在する際には、当該画素の輝度の値を上げる処理を行う。

また、例えば、拘束条件が解像度の閾値を有する条件の場合、画像変更部１３は、解像度が拘束条件を満たすように、当該画素およびその周辺に対してフィルタ処理を施す。

画像変更部１３は、通常、ＭＰＵやメモリ等から実現され得る。画像変更部１３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

画像出力部１４は、画像変更部１３が取得した１以上のフィールドを出力する。ここで、出力とは、通常、ディスプレイへの表示またはプロジェクターを用いた投影である。ただし、出力とは、プリンタでの印字、外部の装置（通常、ディスプレイ装置）への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。

画像出力部１４は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。画像出力部１４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

次に、画像処理装置１の動作について、図２のフローチャートを用いて説明する。

（ステップＳ２０１）受付部１２は、画像を受け付けたか否かを判断する。画像を受け付ければステップＳ２０２に行き、画像を受け付けなければステップＳ２０１に戻る。ここでの画像は、１または２以上のフィールドを有する。

（ステップＳ２０２）画像変更部１３は、拘束条件格納部１１に格納されている１以上の拘束条件を読み出す。

（ステップＳ２０３）画像変更部１３は、ステップＳ２０１で受け付けた画像から、１以上の処理対象を取得する。処理対象とは、画像処理の対象である。なお、ここで、通常、画像変更部１３は、ステップＳ２０１で受け付けた画像を空間的、または時間的、または空間的および時間的に分割し、２以上の処理対象（上述の時空間ブロックである）を取得する。ただし、画像変更部１３は、ステップＳ２０１で受け付けた画像を分割せずに、当該画像をそのまま処理対象としても良い。ここで、１以上のフィールドを有する画像を分割する技術は公知技術であるので、詳細な説明を省略する。また、分割されて、得られた２以上の処理対象は、重なりがあっても良い。

（ステップＳ２０４）画像変更部１３は、カウンタｉに１を代入する。

（ステップＳ２０５）画像変更部１３は、ｉ番目の処理対象が存在するか否かを判断する。ｉ番目の処理対象が存在すればステップＳ２０６に行き、存在しなければステップＳ２１２に行く。

（ステップＳ２０６）画像変更部１３は、カウンタｊに１を代入する。

（ステップＳ２０７）画像変更部１３は、ｊ番目の拘束条件が存在するか否かを判断する。ｊ番目の拘束条件が存在すればステップＳ２０８に行き、存在しなければステップＳ２１１に行く。

（ステップＳ２０８）画像変更部１３は、ｉ番目の処理対象がｊ番目の拘束条件に合致するか否かを判断する。ｊ番目の拘束条件に合致しなければステップＳ２０９に行き、合致すればステップＳ２１０に行く。なお、拘束条件に合致すると判断された処理対象は、そのままバッファに追記される。

（ステップＳ２０９）画像変更部１３は、ｉ番目の処理対象をｊ番目の拘束条件に合致するように補正する。そして、画像変更部１３は、補正した画像をバッファに追記する。

（ステップＳ２１０）画像変更部１３は、カウンタｊを１、インクリメントする。ステップＳ２０７に戻る。

（ステップＳ２１１）画像変更部１３は、カウンタｉを１、インクリメントする。ステップＳ２０５に戻る。
（ステップＳ２１２）画像変更部１３は、バッファ中の処理対象から画像を構成する。

（ステップＳ２１３）画像出力部１４は、ステップＳ２１２で構成され、得られた新しい画像を出力する。ステップＳ２０１に戻る。

なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

以上、本実施の形態によれば、画面全体または画像全体のバランスを保持した画像を出力できる。さらに具体的には、本実施の形態によれば、画像を自然法則に合致させるための拘束条件に適合する画像を出力でき、視聴者が、画像を本来的に有するべき遠近感、奥行き感等を感じられる。

なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記録媒体に、出力される画像に適用される条件であり、被写体から取得される条件である１以上の拘束条件を格納しており、コンピュータを、被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、前記受付部が受け付けた画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、前記画像変更部が取得した１以上のフィールドを出力する画像出力部として機能させるためのプログラム、である。

（実施の形態２）
本実施の形態において、出力される画像に適した拘束条件を入力された画像から動的に取得し、当該取得した拘束条件を入力された画像に適用し、全体のバランスを保持した出力画像を得る画像処理装置２について説明する。つまり、本実施の形態において、実施の形態１と比較して、受け付けられた入力画像に適した拘束条件を入力画像から動的に取得する点が異なる。

図３は、本実施の形態における画像処理装置２のブロック図である。

画像処理装置２は、拘束条件格納部１１、受付部１２、拘束条件取得部２１、画像変更部１３、および画像出力部１４を備える。

拘束条件取得部２１は、受付部１２が受け付けた画像が有する1以上のフィールドから１以上の拘束条件を取得する。言い換えれば、拘束条件取得部２１は、受付部１２が受け付けた画像から、当該画像に適用する１以上の拘束条件を取得する。

具体的には、例えば、拘束条件取得部２１は、受付部１２が受け付けた画像が有する1以上のフィールドから、予め決められた１種類以上の特徴量であり、各種類ごとに、１以上の特徴量を取得する。そして、拘束条件取得部２１は、種類ごとに、当該種類に対応する１以上の特徴量を用いて、拘束条件を取得する。

さらに具体的には、例えば、拘束条件取得部２１は、受付部１２が受け付けた画像が有する一つのフィールドのすべての画素の画素値を取得する。そして、拘束条件取得部２１は、フィールドの各画素の画素値の空間分布に対して、最小自乗法等を用いて回帰分析し、回帰曲面を得る。次に、拘束条件取得部２１は、各画素の画素値が回帰曲面から予め決められた閾値以内の範囲に収まるように、回帰曲面から予め決められた閾値を超えるほど、回帰曲面の画素値との差異がある画素値を、閾値に変更するような拘束条件を取得する。かかる拘束条件により、各画素の画素値の存在領域が規定できる。

また、例えば、拘束条件取得部２１は、フィールドの各画素に対して、基準となる画素（例えば、座標値（０，０）の画素であり、左最上部の画素）からの相対的な位置を示す情報（距離や順番など）と画素値（Ｌ）とを軸とする二次元以上のグラフを作成し、当該グラフを、最小自乗法等を用いて回帰分析し、回帰曲線または回帰曲面を取得する。なお、拘束条件取得部２１は、例えば、位置（ｘ，ｙ）と画素値（Ｌ）の３次元のグラフ、時空間位置（ｘ，ｙ，ｔ）と画素値（Ｌ）の４次元のグラフを作成し、当該グラフを、最小自乗法等を用いて回帰分析し、回帰曲面を取得しても良い。

次に、拘束条件取得部２１は、各画素の画素値が回帰曲線または回帰曲面から予め決められた閾値以内の範囲に収まるように、回帰曲線または回帰曲面から予め決められた閾値を超える画素値を、閾値に変更するような拘束条件を取得する。かかる拘束条件のイメージ図を図４に示す。図４において、４１は、拘束条件取得部２１が取得した２次元のグラフである。４２は、４１のグラフに対して回帰分析を行い、得られた回帰曲線である。４３１と４３２とは、拘束条件を示す。つまり、４３１は、回帰曲線上の各点から予め決められた閾値だけプラス方向に距離を有する曲線であり、画素値の最大値の曲線である。４３２は、回帰曲線上の各点から予め決められた閾値だけマイナス方向に距離を有する曲線であり、画素値の最小値の曲線である。

なお、ここで、フィールドの具体例を図５に示す。画像が有する一つのフィールドは、図５に示すように雪景色を撮影した画像である。拘束条件取得部２１は、例えば、図５の画像の各画素の輝度を取得する。次に、拘束条件取得部２１は、各画素の座標値と画素の輝度とを軸とする空間分布に対して、最小自乗法等を用いて回帰分析し、回帰曲面を得る。次に、拘束条件取得部２１は、各画素の輝度が回帰曲面から予め決められた閾値以内の範囲に収まるように、予め決められた閾値を超える輝度を、閾値に変更するような拘束条件を取得する。かかる拘束条件は、視聴者に対して手前の画素の輝度は大きく、奥になるほど、輝度を小さくするような傾向を有する拘束条件となる。かかる拘束条件を適用された出力画像は、視聴者が雪景色の広がり感や冬の重い空気感を感じることができ、視聴者にとって視やすい画像である。つまり、かかる出力画像は、手前の領域であると考えられる明るい領域と、奥の領域であると考えられる暗い領域とのバランスがとれた画像である。

また、具体的には、例えば、拘束条件取得部２１は、受付部１２が受け付けた画像が有する一つのフィールドの中の２以上の各オブジェクト（オブジェクトは時空間ブロックでも良い）の解像度感を取得する。つまり、拘束条件取得部２１は、一つのフィールドの２以上のオブジェクトを認識し、各オブジェクトの重心の座標値と解像度感を取得する。次に、拘束条件取得部２１は、各オブジェクトの重心の座標値と解像度感とを軸とする空間分布に対して、最小自乗法等を用いて回帰分析し、回帰曲面を得る。次に、拘束条件取得部２１は、各オブジェクトの解像度感が回帰曲面から予め決められた閾値以内の範囲に収まるように、予め決められた閾値を超える解像度感を、閾値に変更するような拘束条件を取得する。かかる拘束条件により、各オブジェクトの解像度感の存在領域が規定できる。なお、ここで、フィールドの具体例を図６に示す。画像が有する一つのフィールドは、図６に示すように多数の向日葵が存在する向日葵畑を撮影した画像である。拘束条件取得部２１は、図６の画像を輪郭抽出することにより、向日葵の花の部分（オブジェクトの一例）を抽出する。そして、拘束条件取得部２１は、各向日葵の花の部分の重心の座標値と解像度感を取得する。次に、拘束条件取得部２１は、各向日葵の花の重心の座標値と解像度感とを軸とする空間分布に対して、最小自乗法等を用いて回帰分析し、回帰曲面を得る。次に、拘束条件取得部２１は、各向日葵の花の解像度感が回帰曲面から予め決められた閾値以内の範囲に収まるように、予め決められた閾値を超える解像度感を、閾値に変更するような拘束条件を取得する。かかる拘束条件は、視聴者に対して手前の向日葵の花の解像度感は高く、奥になるほど、向日葵の花の解像度感を低くするような傾向を有する拘束条件となる。かかる拘束条件を適用された出力画像は、遠近感や奥行き感を感じることができ、視聴者にとって視やすい画像である。
なお、拘束条件取得部２１は、例えば、以下のように解像度感を取得する。拘束条件取得部２１は、一つのフィールドを２以上の時空間ブロックに分割する。そして、拘束条件取得部２１は、各時空間ブロックに対して、周波数分析を行う。そして、拘束条件取得部２１は、第一の閾値以上の高周波成分の割合を算出する。次に、拘束条件取得部２１は、高周波成分の割合に応じて、解像度感を決定する。なお、拘束条件取得部２１は、例えば、高周波成分の割合の幅と解像度感との対応表を保持している、とする。また、拘束条件取得部２１は、周波数分布と解像度感との対応表を保持していても良い。かかる場合、拘束条件取得部２１は、各時空間ブロックに対して、周波数分析を行い、周波数分布を取得し、当該取得した周波数分布に最も近似する周波数分析と対になる解像度感を取得しても良い。

また、拘束条件取得部２１は、例えば、以下のように解像度感を取得しても良い。つまり、拘束条件取得部２１は、画像または画像の一部（時空間ブロック）を構成する各画素の空間的アクティビティーを取得する。そして、拘束条件取得部２１は、空間的アクティビティーが閾値以上の画素の割合を取得する。そして、拘束条件取得部２１は、当該割合に応じて、解像度感を決定する。なお、拘束条件取得部２１は、例えば、空間的アクティビティーが閾値以上の画素の割合の幅と解像度感との対応表を保持している、とする。また、拘束条件取得部２１は、空間的アクティビティーの分布と解像度感との対応表を保持していても良い。かかる場合、拘束条件取得部２１は、画像または画像の一部を構成する各画素の空間的アクティビティーを取得し、当該取得した空間的アクティビティーの分布に最も近似する空間的アクティビティーの分布と対になる解像度感を取得しても良い。

拘束条件取得部２１は、通常、ＭＰＵやメモリ等から実現され得る。拘束条件取得部２１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

次に、画像処理装置２の動作について、図７のフローチャートを用いて説明する。図７のフローチャートにおいて、図２のフローチャートと同一のステップについて、説明を省略する。

（ステップＳ７０１）拘束条件取得部２１は、ｉ番目の処理対象に対して、１以上の拘束条件を取得する。かかる処理を拘束条件取得処理という。拘束条件取得処理について、図８のフローチャートを用いて説明する。

なお、図８のフローチャートにおいて、拘束条件は、処理対象ごとに取得された。しかし、拘束条件は、例えば、受付部１２が受け付けた画像ごとに取得されても良い。つまり、処理の対象と、拘束条件とは、必ずしも１対１で対応していなくても良い。

また、図８のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、ステップＳ７０１の拘束条件取得処理について、図８のフローチャートを用いて説明する。

（ステップＳ８０１）拘束条件取得部２１は、カウンタｉに１を代入する。

（ステップＳ８０２）拘束条件取得部２１は、ｉ種類目の取得するべき特徴量が存在するか否かを判断する。ｉ種類目の取得するべき特徴量が存在すればステップＳ８０３に行き、存在しなければ上位処理にリターンする。なお、取得するべき特徴量の種類は、通常、予め決められている。取得するべき特徴量の種類は、例えば、画素値と解像度感である。

（ステップＳ８０３）拘束条件取得部２１は、処理対象について、ｉ種類目の１以上の特徴量を取得する。

（ステップＳ８０４）拘束条件取得部２１は、ステップＳ８０３で取得した１以上の特徴量に対して、分析処理を行う。なお、分析処理とは、例えば、上述した回帰分析である。

（ステップＳ８０５）拘束条件取得部２１は、ｉ種類目の取得するべき特徴量に対して、予め決められた条件を、ステップＳ８０４における分析結果に適用し、拘束条件を取得する。

（ステップＳ８０６）拘束条件取得部２１は、カウンタｉを１、インクリメントする。

なお、図８のフローチャートにおいて、ステップＳ８０４における分析処理が必要ない場合もあり得る。かかる場合、ステップＳ８０５において、拘束条件取得部２１は、ｉ種類目の取得するべき特徴量に対して、予め決められた条件を、ステップＳ８０３において取得した１以上の特徴量に適用し、拘束条件を取得する。

以上、本実施の形態によれば、全体のバランスを保持した画像を出力できる。また、本実施の形態によれば、出力される画像に適した拘束条件を、入力画像から動的に取得し、当該取得した拘束条件を入力画像に適用し、全体のバランスを保持した画像を出力できる。

なお、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記録媒体に、コンピュータを、被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、前記受付部が受け付けた画像が有する１以上のフィールドから１以上の拘束条件を取得する拘束条件取得部と、前記受付部が受け付けた画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、前記画像変更部が取得した１以上のフィールドを出力する画像出力部として機能させるためのプログラム、である。

（実施の形態３）
本実施の形態において、出力される画像に適した拘束条件を動的に選択し、当該選択した拘束条件を画像に適用し、全体のバランスを保持した画像を出力する画像処理装置３について説明する。つまり、本実施の形態において、実施の形態１と比較して、受け付けられた入力画像に適した拘束条件を動的に選択する点が異なる。

図９は、本実施の形態における画像処理装置３のブロック図である。

画像処理装置３は、拘束条件格納部３１、受付部１２、画像変更部３３、画像出力部１４を備える。

画像変更部３３は、特徴量取得手段３３１、拘束条件取得手段３３２、画像取得手段３３３を備える。

拘束条件格納部３１は、１以上の拘束条件と特徴量条件との組を２組以上格納し得る。特徴量条件とは、フィールド内のオブジェクトの特徴量に関する条件である。

ここで、フィールド内のオブジェクトの特徴量は、フィールドの特徴量と言っても良い。フィールド内のオブジェクトは、実体のあるオブジェクト（例えば、画像の中の向日葵の花）でも良いし、画像を分割して得られた時空間ブロック等でも良い。また、特徴量には、例えば、１以上のフィールドの一部の特徴量である近傍特徴量と、１以上のフィールド全体の特徴量である全体特徴量とがある。近傍特徴量には、例えば、画素値、アクティビティー、時空間相関、動きベクトル、周波数分布などがある。また、アクティビティーとは、例えば、複数の画素の最大値および最小値、ダイナミックレンジ（ＤＲ）、複数の画素の間の差分値などである。複数の画素の間の差分値は、空間内の複数画素間の差分値でも良いし、時間方向の複数画素間の差分値でも良いし、空間内および時間方向の複数画素間の差分値でも良い。また、全体特徴量には、例えば、画像全体の画素値分布、画像全体の動きベクトル分布、１または２以上の画像全体の時空間相関、画像全体のノイズ量、画像フォーマット、フィールド内のオブジェクトの数（単数か複数か等）、１以上の画像であるコンテンツに関するコンテンツ情報、パターン検出結果（顔など）などである。ここで、コンテンツ情報とは、例えば、電子番組表（ＥＰＧ）が有する番組のジャンル、タイトル、出演者名等である。なお、１以上の特徴量を、適宜、特徴量ベクトルとも言う。

特徴量条件は、例えば、オブジェクトの数（単数か複数か等）、フィールド内の複数の画素のダイナミックレンジ、時空間ブロック内の複数の画素のダイナミックレンジ等である。また、特徴量条件は、例えば、時空間ブロック内の解像度感の幅や解像度感の分布や解像度感の分布を回帰分析して得られた回帰曲面等でも良い。また、特徴量条件は、例えば、時空間ブロック内の画素値の幅や画素値の分布や画素値の分布を回帰分析して得られた回帰曲面等でも良い。

拘束条件格納部３１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。拘束条件格納部３１に情報（拘束条件と特徴量条件との組）が記憶される過程は問わない。例えば、記録媒体を介して情報が拘束条件格納部３１で記憶されるようになってもよく、通信回線等を介して送信された情報が拘束条件格納部３１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が拘束条件格納部３１で記憶されるようになってもよい。

画像変更部３３は、受付部１２が受け付けた画像が有する１以上のフィールドに対して、１以上の拘束条件を適用し、１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する。

画像変更部３３は、通常、ＭＰＵやメモリ等から実現され得る。画像変更部３３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

画像変更部３３を構成する特徴量取得手段３３１は、受付部１２が受け付けた画像が有する１以上のフィールドから予め決められた１以上の特徴量を取得する。特徴量取得手段３３１は、１以上のフィールドを１以上の時空間ブロック（処理対象でもある）に分割し、当該各処理対象から、予め決められた１以上の特徴量を取得しても良い。時空間ブロックから特徴量を取得する場合でも、１以上のフィールドから１以上の特徴量を取得することである。なお、特徴量取得手段３３１が取得する特徴量は、例えば、オブジェクトの数、解像度感、解像度感の分布、解像度感の分布を回帰分析して得られた回帰曲面、画素値、画素値の分布や画素値の分布を回帰分析して得られた回帰曲面等である。

特徴量取得手段３３１は、通常、ＭＰＵやメモリ等から実現され得る。特徴量取得手段３３１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

拘束条件取得手段３３２は、１以上の特徴量が合致する１以上の特徴量条件を決定し、１以上の各特徴量条件と組になる１以上の拘束条件を拘束条件格納部３１から取得する。例えば、特徴量が解像度感の分布を回帰分析して得られた回帰曲面である場合、拘束条件取得手段３３２は、当該回帰曲面と最も近似する回帰曲面（特徴量条件）を決定し、当該最も近似する回帰曲面と対になる１以上の拘束条件を拘束条件格納部３１から取得する。また、特徴量が解像度感である場合、拘束条件取得手段３３２は、当該解像度感に対応する特徴量条件を決定し、当該特徴量条件と対になる１以上の拘束条件を拘束条件格納部３１から取得する。また、特徴量が画素値の分布を回帰分析して得られた回帰曲面である場合、拘束条件取得手段３３２は、当該回帰曲面と最も近似する回帰曲面（特徴量条件）を決定し、当該最も近似する回帰曲面と対になる１以上の拘束条件を拘束条件格納部３１から取得する。

拘束条件取得手段３３２は、通常、ＭＰＵやメモリ等から実現され得る。拘束条件取得手段３３２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

画像取得手段３３３は、受付部１２が受け付けた画像が有する１以上のフィールドに対して、拘束条件取得手段３３２が取得した１以上の拘束条件を適用し、１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する。画像取得手段３３３の処理は、画像変更部１３の処理と同様である。

画像取得手段３３３は、通常、ＭＰＵやメモリ等から実現され得る。画像取得手段３３３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

次に、画像処理装置３の動作について、図１０のフローチャートを用いて説明する。図１０のフローチャートにおいて、図２のフローチャートと同一のステップについて、説明を省略する。

（ステップＳ１００１）画像変更部３３は、ｉ番目の処理対象に対して、１以上の拘束条件を選択する。かかる処理を拘束条件選択処理という。拘束条件選択処理について、図１１のフローチャートを用いて説明する。

なお、図１０のフローチャートにおいて、拘束条件は、処理対象ごとに選択された。しかし、拘束条件は、例えば、受付部１２が受け付けた画像ごとに取得されても良い。つまり、処理の対象と、拘束条件とは、必ずしも１対１で対応していなくても良い。

また、図１０のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、ステップＳ１００１の拘束条件選択処理について、図１１のフローチャートを用いて説明する。図１１のフローチャートにおいて、図８のフローチャートと同一のステップについて、説明を省略する。

（ステップＳ１１０１）拘束条件取得手段３３２は、カウンタｊに１を代入する。

（ステップＳ１１０２）拘束条件取得手段３３２は、ｊ番目の特徴量条件が、拘束条件格納部３１に存在するか否かを判断する。存在すればステップＳ１１０３に行き、存在しなければステップＳ８０６に行く。

（ステップＳ１１０３）拘束条件取得手段３３２は、特徴量取得手段３３１がステップＳ８０３で取得した１以上の特徴量と、拘束条件格納部３１に存在するｊ番目の特徴量条件とを対比する。

（ステップＳ１１０４）拘束条件取得手段３３２は、ステップＳ１１０３における対比の結果、１以上の特徴量がｊ番目の特徴量条件を満たすか否かを判断する。１以上の特徴量がｊ番目の特徴量条件を満たす場合にはステップＳ１１０５に行き、満たさない場合にはステップＳ１１０６に行く。

（ステップＳ１１０５）拘束条件取得手段３３２は、ｊ番目の特徴量条件と対になる１以上の拘束条件を、拘束条件格納部３１から取得する。

（ステップＳ１１０６）拘束条件取得手段３３２は、カウンタｊを１、インクリメントする。ステップＳ１１０２に戻る。

以上、本実施の形態によれば、全体のバランスを保持した画像を出力できる。また、本実施の形態によれば、出力される画像に適した拘束条件を動的に選択し、当該選択した拘束条件を画像に適用し、全体のバランスを保持した画像を出力できる。

なお、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記録媒体に、拘束条件と、フィールド内のオブジェクトの特徴量に関する条件である特徴量条件との組を２組以上格納しており、コンピュータを、被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、前記受付部が受け付けた画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、前記画像変更部が取得した１以上のフィールドを出力する画像出力部として機能させるためのプログラムであり、前記画像変更部は、前記受付部が受け付けた画像が有する１以上のフィールドから予め決められた１以上の特徴量を取得する特徴量取得手段と、前記１以上の特徴量が合致する１以上の特徴量条件を決定し、当該１以上の各特徴量条件と組になる１以上の拘束条件を前記記録媒体から取得する拘束条件取得手段と、前記受付部が受け付けた画像が有する1以上のフィールドに対して、前記拘束条件取得手段が取得した１以上の拘束条件を適用し、当該１以上の拘束条件に合致する1以上のフィールドに変更し、新しい１以上のフィールドを取得する画像取得手段とを具備するものとしてコンピュータを機能させるためのプログラム、である。

（実施の形態４）
本実施の形態において、被写体から取得され得る１以上の拘束条件を、当該被写体を撮影した１以上の各画像に対して適用し、拘束条件を満たすように入力された入力画像を処理し、出力画像を取得する画像処理装置４について説明する。本実施の形態において、実施の形態１と比較して、受け付けられた入力画像に対して、予め決められた画像処理を施し、当該画像処理を施した画像（処理画像という）に対して、拘束条件を満たすように変更し、出力画像を取得する点が異なる。

図１２は、本実施の形態における画像処理装置４のブロック図である。画像処理装置４は、例えば、テレビジョン受信機、ＤＶＤプレーヤー等である。

画像処理装置４は、拘束条件格納部１１、受付部１２、画像処理部４１、画像変更部４３、および画像出力部１４を備える。

画像処理部４１は、受付部１２が受け付けた画像を処理し、処理画像を得る。ここで、画像処理部４１が行う画像処理は、例えば、画素数変換の処理やノイズ除去処理などである。但し、画像処理は、他の処理でも良い。なお、画素数変換の処理やノイズ除去処理は公知技術であるので説明を省略する。

画像変更部４３は、処理画像が有する１以上のフィールドに対して、１以上の拘束条件を適用し、１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する。画像変更部４３の処理は、画像変更部１３と比較して、通常、画像処理部４１が取得した処理画像を処理対象とする点が異なる。

また、例えば、拘束条件が輝度の閾値を有する条件の場合、画像変更部４３は、前記閾値を満たさない輝度の画素が存在する際には、当該画素の輝度の値が拘束条件を満たすような処理に、画像処理部４１の処理を変更する。画像処理部４１の処理の変更とは、例えば、画像処理部４１が利用する処理パラメータの変更である。

また、例えば、拘束条件が解像度の閾値を有する条件の場合、画像変更部４３は、解像度が拘束条件を満たすような処理に、画像処理部４１の処理を変更する。画像処理部４１の処理の変更とは、例えば、画像処理部４１が利用する処理パラメータの変更である。

画像処理部４１、および画像変更部４３は、通常、ＭＰＵやメモリ等から実現され得る。画像処理部４１等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

次に、画像処理装置４の動作について、図１３のフローチャートを用いて説明する。図１３のフローチャートにおいて、図２のフローチャートと異なるステップについてのみ説明する。

（ステップＳ１３０１）画像処理部４１は、受付部１２が受け付けた画像を処理し、処理画像を得る。

なお、図１３のフローチャートのステップＳ２０３において、画像変更部４３は、処理画像から１以上の処理対象を取得する。

また、図１３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

以上、本実施の形態によれば、画素数変換の処理やノイズ除去処理等の画像処理（前処理と言っても良い）により、全画面のバランスを崩した場合でも、画面全体または画像全体のバランスを保持した画像を出力できる。さらに具体的には、本実施の形態によれば、画素数変換の処理やノイズ除去処理等の画像処理により全画面のバランスを崩した場合でも、画像を自然法則に合致させるための拘束条件に適合する画像を出力でき、視聴者が、画像を本来的に有するべき遠近感、奥行き感等を感じられる。

なお、本実施の形態において、画像変更部の処理の前に、画像処理部４１が処理を行うことは、実施の形態２の画像処理装置２や実施の形態３の画像処理装置３等の他の画像処理装置に適用しても良いことは言うまでもない。画像処理装置２が画像処理部４１を具備する場合、拘束条件取得部２１は、通常、受付部１２が受け付けた画像が有する１以上のフィールドから１以上の拘束条件を取得する。但し、かかる場合も、拘束条件取得部２１は、画像処理部４１の結果である処理画像が有する１以上のフィールドから１以上の拘束条件を取得しても良い。また、画像処理装置３が画像処理部４１を具備する場合、特徴量取得手段３３１は、通常、受付部１２が受け付けた画像が有する１以上のフィールドから予め決められた１以上の特徴量を取得する。但し、かかる場合も、特徴量取得手段３３１は、画像処理部４１の結果である処理画像が有する１以上のフィールドから予め決められた１以上の特徴量を取得しても良い。

また、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記録媒体に、出力される画像に適用される条件であり、被写体から取得される条件である１以上の拘束条件を格納しており、コンピュータを、被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、前記受付部が受け付けた画像を処理し、処理画像を得る画像処理部と、前記処理画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、前記画像変更部が取得した１以上のフィールドを出力する画像出力部として機能させるためのプログラム、である。

（実施の形態５）
本実施の形態において、出力される画像に適した拘束条件を入力された画像から動的に取得し、当該取得した拘束条件を入力された画像に適用し、全体のバランスを保持した出力画像を得る画像処理装置５について説明する。本実施の形態において、実施の形態２や実施の形態３と異なるのは、拘束条件を入力画像以外の情報を用いて取得する点である。

図１４は、本実施の形態における画像処理装置５のブロック図である。画像処理装置５は、例えば、テレビジョン受信機、ＤＶＤプレーヤー等である。

画像処理装置５は、拘束条件格納部３１（または、拘束条件格納部１１）、受付部１２、画像処理部４１、被写体情報取得部５１、拘束条件取得部５２、画像変更部４３、および画像出力部１４を備える。

被写体情報取得部５１は、１以上の被写体の情報（被写体情報という）を取得する。被写体とは、受付部１２が受け付けた画像に写っているオブジェクトである。被写体情報とは、通常、被写体の属性である。被写体情報は、例えば、被写体のカメラからの距離である。被写体情報とは、例えば、被写体の実際の大きさ、被写体の照度等でも良い。被写体情報取得部５１は、例えば、測距センサを用いて、カメラから被写体までの距離を取得する。被写体情報取得部５１は、例えば、照度センサを用いて、被写体の照度を取得する。また、被写体情報取得部５１は、例えば、ユーザから、カメラから被写体までの距離や、被写体の実際の大きさ等の被写体の情報を受け付けても良い。

被写体情報取得部５１は、例えば、測距センサや照度センサや入力手段からの入力の受付手段により実現され得る。

拘束条件取得部５２は、被写体情報取得部５１が取得した１以上の被写体情報を用いて、１以上の拘束条件を取得する。また、拘束条件取得部５２は、被写体情報取得部５１が取得した１以上の被写体情報と画像とを用いて、１以上の拘束条件を取得しても良い。さらに、拘束条件取得部５２は、被写体情報取得部５１が取得した１以上の被写体情報を、そのまま拘束条件として取得しても良い。なお、ここでの画像は、画像処理部４１が取得した処理画像であるが、受付部１２が受け付けた画像でも良い。また、画像とは、画像全体または画像の一部である。

具体的には、例えば、拘束条件格納部３１は、カメラからの距離の幅と、輝度や解像度感等の特徴量をパラメータとする１以上の拘束条件との組を２組以上保持している。そして、拘束条件取得部５２は、被写体情報取得部５１が取得したカメラからの距離に対応する拘束条件を取得する。

また、具体的には、例えば、拘束条件取得部５２は、画像から取得した１以上の特徴量と被写体情報取得部５１が取得した１以上の被写体情報とに対応する１以上の拘束条件を取得する。つまり、拘束条件取得部５２は、画像から取得した１以上の特徴量と被写体情報取得部５１が取得した１以上の被写体情報とに合致する１以上の特徴量条件を決定する。そして、拘束条件取得部５２は、決定した１以上の各特徴量条件と対になる１以上の拘束条件を取得する。

また、具体的には、例えば、拘束条件取得部５２は、被写体情報取得部５１が取得した被写体の照度を拘束条件として取得する。

拘束条件取得部５２は、通常、ＭＰＵやメモリ等から実現され得る。拘束条件取得部５２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

次に、画像処理装置５の動作について、図１５のフローチャートを用いて説明する。図１５のフローチャートにおいて、図１３のフローチャートと異なるステップについてのみ説明する。

（ステップＳ１５０１）拘束条件取得部５２は、ｉ番目の処理対象に対して、１以上の拘束条件を取得する。かかる処理を拘束条件選択処理という。拘束条件選択処理について、図１６のフローチャートを用いて説明する。

なお、図１５のフローチャートにおいて、拘束条件は、処理対象ごとに取得された。しかし、拘束条件は、例えば、画像処理部４１が取得した処理画像ごとに取得されても良い。つまり、処理の対象と、拘束条件とは、必ずしも１対１で対応していなくても良い。

また、図１５のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、ステップＳ１５０１の拘束条件選択処理について、図１６のフローチャートを用いて説明する。

（ステップＳ１６０１）被写体情報取得部５１は、１以上の被写体情報を取得する。

（ステップＳ１６０２）拘束条件取得部５２は、カウンタｉに１を代入する。

（ステップＳ１６０３）拘束条件取得部５２は、ｉ番目の特徴量条件が拘束条件格納部３１に存在するか否かを判断する。ｉ番目の特徴量条件が存在すればステップＳ１６０４に行き、存在しなければ上位処理にリターンする。

（ステップＳ１６０４）拘束条件取得部５２は、ｉ番目の特徴量条件と、ステップＳ１６０１で取得された１以上の被写体情報とを対比する。

（ステップＳ１６０５）拘束条件取得部５２は、ステップＳ１６０４における対比の結果、１以上の被写体情報がｉ番目の特徴量条件に合致するか否かを判断する。ｉ番目の特徴量条件に合致すればステップＳ１６０６に行き、合致しなければステップＳ１６０７に行く。

（ステップＳ１６０６）拘束条件取得部５２は、ｉ番目の特徴量条件と対になる１以上の拘束条件を拘束条件格納部３１から取得する。

（ステップＳ１６０７）拘束条件取得部５２は、カウンタｉを１、インクリメントする。ステップＳ１６０３に戻る。

以上、本実施の形態によれば、画面全体または画像全体のバランスを保持した画像を出力できる。さらに具体的には、取得した被写体情報に適した拘束条件に適合する画像を出力でき、視聴者が、画像を本来的に有するべき遠近感、奥行き感等を感じられる。

なお、本実施の形態において、画像処理装置５は、画像処理部４１を具備しない構成でも良い。

また、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、１以上の被写体の情報を取得する被写体情報取得部と、前記被写体情報取得部が取得した１以上の被写体の情報を用いて、１以上の拘束条件を取得する拘束条件取得部と、前記受付部が受け付けた画像が有する１以上のフィールドに対して、前記拘束条件取得部が取得した１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、前記画像変更部が取得した１以上のフィールドを出力する画像出力部として機能させるためのプログラム、である。

また、図１７は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の画像処理装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１７は、このコンピュータシステム３００の概観図であり、図１８は、システム３００のブロック図である。

図１７において、コンピュータシステム３００は、ＦＤドライブ、ＣＤ−ＲＯＭドライブを含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４と、ＦＤドライブ３０１１、ＣＤ−ＲＯＭドライブ３０１２とを含む。

図１８において、コンピュータ３０１は、図１７の構成要素に加えて、ＭＰＵ３０１３と、ＣＤ−ＲＯＭドライブ３０１２及びＦＤドライブ３０１１に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。

コンピュータシステム３００に、上述した実施の形態の画像処理装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３１０１、またはＦＤ３１０２に記憶されて、ＣＤ−ＲＯＭドライブ３０１２またはＦＤドライブ３０１１に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３１０１、ＦＤ３１０２またはネットワークから直接、ロードされても良い。

プログラムは、コンピュータ３０１に、上述した実施の形態の画像処理装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。

なお、上記プログラムにおいて、画像を受信するステップなどでは、ハードウェアによって行われる処理、例えば、受信ステップにおけるチューナーやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明にかかる画像処理装置は、全体のバランスを保持した画像を出力できる、という効果を有し、テレビジョン受信機等として有用である。

１、２、３、４、５ 画像処理装置
１１、３１ 拘束条件格納部
１２ 受付部
１３、３３、４３ 画像変更部
１４ 画像出力部
２１ 拘束条件取得部
４１ 画像処理部
５１ 被写体情報取得部
５２ 拘束条件取得部
３３１ 特徴量取得手段
３３２ 拘束条件取得手段
３３３ 画像取得手段

Claims (13)

1. 出力される画像に適用される条件であり、被写体から取得される条件である１以上の拘束条件を格納し得る拘束条件格納部と、
   被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、
   前記受付部が受け付けた画像のみから１以上の拘束条件を取得する拘束条件取得部と、
   前記受付部が受け付けた画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、
   前記画像変更部が取得した１以上のフィールドを出力する画像出力部とを具備し、
   前記拘束条件格納部の１以上の拘束条件は、前記拘束条件取得部が取得した１以上の拘束条件である画像処理装置。
2. 前記拘束条件取得部は、
   前記受付部が受け付けた画像が有する１以上のフィールドの中の、各画素の画素値または各画素の輝度または２以上の各オブジェクトの解像度感または１以上の特徴量のうちの１種類以上の情報を取得し、当該１種類以上の情報を用いて１以上の拘束条件を取得する請求項１記載の画像処理装置。
3. 前記受付部が受け付けた画像を処理し、処理画像を得る画像処理部をさらに具備し、
   前記画像変更部は、
   前記処理画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する請求項１または請求項２記載の画像処理装置。
   請求項１または請求項２記載の画像処理装置。
4. 前記受付部が受け付けた画像から１以上の被写体の情報を取得する被写体情報取得部をさらに具備し、
   前記拘束条件取得部は、
   前記被写体情報取得部が取得した１以上の被写体の情報を用いて、１以上の拘束条件を取得する請求項１から請求項３いずれかに記載の画像処理装置。
5. 前記拘束条件格納部は、
   拘束条件と、フィールド内のオブジェクトの特徴量に関する条件である特徴量条件との組を２組以上格納しており、
   前記画像変更部は、
   前記受付部が受け付けた画像が有する１以上のフィールドから予め決められた１以上の特徴量を取得する特徴量取得手段と、
   前記１以上の特徴量が合致する１以上の特徴量条件を決定し、当該１以上の各特徴量条件と組になる１以上の拘束条件を取得する拘束条件取得手段と、
   前記受付部が受け付けた画像が有する１以上のフィールドに対して、前記拘束条件取得手段が取得した１以上の拘束条件を適用し、当該１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを前記拘束条件格納部から取得する画像取得手段とを具備する請求項１から請求項４いずれか記載の画像処理装置。
6. 前記拘束条件格納部に格納されている１以上の拘束条件は、
   少なくともフィールドが有する画素の画素値をパラメータとする条件を含む請求項１から請求項５いずれか記載の画像処理装置。
7. 前記拘束条件格納部に格納されている１以上の拘束条件は、
   少なくとも時間的に連続する２以上のフィールドが有する画素の画素値の変化量である画素値の時間的アクティビティーをパラメータとする条件を含む請求項６記載の画像処理装置。
8. 前記拘束条件格納部に格納されている１以上の拘束条件は、
   少なくとも一のフィールドが有する２以上の画素の画素値の差異である画素値の空間的アクティビティーをパラメータとする条件を含む請求項６記載の画像処理装置。
9. 前記拘束条件格納部に格納されている１以上の拘束条件は、
   少なくともフィールド内のオブジェクトの解像度感をパラメータとする条件を含む請求項１から請求項５いずれか記載の画像処理装置。
10. 前記拘束条件格納部に格納されている１以上の拘束条件は、
    少なくとも時間的に連続する２以上のフィールド内のオブジェクトの解像度感の変化量である解像度感の時間的アクティビティーをパラメータとする条件を含む請求項９記載の画像処理装置。
11. 前記拘束条件格納部に格納されている１以上の拘束条件は、
    少なくとも一のフィールドが有する２以上のオブジェクトの解像度感の差異である解像度感の空間的アクティビティーをパラメータとする条件を含む請求項９記載の画像処理装置。
12. 記録媒体に、
    出力される画像に適用される条件であり、被写体から取得される条件である１以上の拘束条件を格納しており、
    受付部、拘束条件取得部、画像変更部、および画像出力部により実現される画像処理方法であって、
    前記受付部が、被写体を撮影した１以上のフィールドを有する画像を受け付ける受付ステップと、
    前記拘束条件取得部が、前記受付ステップで受け付けられた画像のみから１以上の拘束条件を取得する拘束条件取得ステップと、
    前記画像変更部が、前記受付ステップで受け付けられた画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更ステップと、
    前記画像出力部が、前記画像変更ステップで取得された１以上のフィールドを出力する画像出力ステップとを具備し、
    前記記録媒体の１以上の拘束条件は、前記拘束条件取得ステップで取得された１以上の拘束条件である画像処理方法。
13. 記録媒体に、
    出力される画像に適用される条件であり、被写体から取得される条件である１以上の拘束条件を格納しており、コンピュータを、
    被写体を撮影した１以上のフィールドを有する画像を受け付ける受付部と、
    前記受付部が受け付けた画像のみから１以上の拘束条件を取得する拘束条件取得部と、
    前記受付部が受け付けた画像が有する１以上のフィールドに対して、前記１以上の拘束条件を適用し、前記１以上の拘束条件に合致する１以上のフィールドに変更し、新しい１以上のフィールドを取得する画像変更部と、
    前記画像変更部が取得した１以上のフィールドを出力する画像出力部として機能させるためのプログラムであって、
    前記記録媒体の１以上の拘束条件は、前記拘束条件取得部が取得した１以上の拘束条件である、プログラム。