JP4990876B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

入力された奥行き情報に基づいて画像情報中の特定領域を抽出し、特定領域の質感強調処理として、照明光源の位置および被写体の反射率の変更や、また、奥行き情報の勾配量に基づいて、コントラストやシャープネスを行なう技術が特許文献１に開示されている。

また、カメラからの距離情報毎に画像を分割し、分割した領域に先鋭化もしくはぼかし処理を行なう技術が特許文献２に開示されている。

特開２００２−３２９１９８号公報 特開２００６−６７５２１号公報

引用文献１の技術では、質感強調を行う対象である特定領域を抽出する際に、エッジや奥行き情報のみから抽出を行なうため、撮影者が注目させるつもりの無い被写体にまで質感強調処理を行い、目立たせてしまうことにより、撮影者が意図して撮影した画像の構図のバランスを損ねてしまう可能性が生じるという問題があった。

また、特許文献２の技術においても、カメラからの距離毎に、先鋭化もしくはぼかし処理を行うため、画像の構図を考慮して画像処理を行うといった、撮影者の意図を反映するような処理ができないという問題があった。

本発明は、このような実情に鑑みてなされたものであり、撮影者の意図する構図に合わせた画像処理を行うことができる画像処理装置を提供する。

本発明の画像処理装置は、画像のエッジ情報や奥行き情報から、画像を物体のある領域と、背景の領域と、奥行きがなだらかに変化する奥行き変化領域に分割した領域データを作成し、前記エッジ情報と、前記奥行き情報、前記領域データと、あらかじめ本画像処理装置に備えられた構図のテーブルを参照して、画像全体の構図を類推し、構図の骨格となる構図骨格領域を求め、構図の骨格領域とそうでない領域のそれぞれにあわせて異なる画像処理を行うことを特徴とする。

本発明の他の態様の画像処理装置は、濃淡情報及び／又はカラー情報からなる画像データからエッジ情報を算出し、前記エッジ情報と、前記画像データに対応した奥行き情報からなる奥行き情報データとを用いて、前記画像データを、物体のある物体領域と、背景のある背景領域と、奥行きがなだらかに変化する奥行き変化領域とに分けた奥行き領域分割データを作成する領域分割手段と、構図の注目すべき領域の情報を含む構図テーブルデータを記憶する構図記憶手段と、前記エッジ情報と、前記奥行き情報データと、前記奥行き領域分割データとのうちの少なくとも１つと、前記構図記憶手段から参照した構図テーブルデータとの類似度を計算し、前記類似度に基づいて選択された構図テーブルデータから前記画像データの構図を判定し、判定した前記構図の骨格となる骨格領域を示す構図骨格領域分割データを作成する構図判定手段と、前記構図骨格領域分割データから、前記構図の骨格領域とそうでない領域とに、それぞれどのような画像処理を行うのかを指定する構図画像処理指定データを作成する構図画像処理指定手段と、前記構図画像処理指定データに従って前記画像データに画像処理を行う画像処理手段とを備えることを特徴とする。

前記構図テーブルデータは、画像内における構図の特徴となる注目領域の位置と形状を記録したデータであってもよい。
前記構図判定手段は、前記構図テーブルデータにおける前記注目領域と、前記奥行き領域分割データにおける前記物体領域との類似度を、パターンマッチングにより算出してもよい。

前記構図判定手段は、前記構図テーブルデータにおける前記注目領域と、前記奥行き領域分割データにおける前記物体領域との類似度を、前記注目領域内に含まれる前記物体領域の割合により算出してもよい。
前記画像処理手段は、前記構図画像処理指定データに従って構図の骨格領域の鮮鋭度を上げるようにしてもよい。

前記画像処理手段は、前記構図画像処理指定データに従って構図の骨格領域でない領域に対してぼかし処理を行うようにしてもよい。
前記構図判定手段は、選択された構図テーブルデータを判定結果として記録してもよい。

本発明によれば、撮影者の意図する構図に合わせた画像処理を行うことができる。

以下に添付図面を参照して、本発明にかかる画像処理装置の好適な実施の形態を詳細に説明する。また、以下の説明において、異なる図面においても同じ符号を付した構成は同様のものであるとして、その説明を省略することとする。

はじめに、本発明の実施の形態にかかる画像処理装置の機能的構成について説明する。
図１は、本発明の画像処理装置の構成の一例を示すブロック図である。画像処理装置１は、領域分割手段２と、構図判定手段３と、構図記憶手段４と、構図画像処理指定手段５と、画像処理手段６とを備える。

領域分割手段２は、濃淡情報あるいはカラー情報からなる画像データと、前記画像データに対応した奥行き情報からなる奥行き情報データとを入力とし、前記画像データからエッジ情報を算出し、前記エッジ情報と前記奥行き情報データとを用いて、前記画像データを、物体のある物体領域と、背景のある背景領域と、奥行きがなだらかに変化する奥行き変化領域とに分けた奥行き領域分割データを作成し、前記エッジ情報と、前記奥行き情報データと、前記奥行き領域分割データとを出力する。

構図記憶手段４は、構図の注目すべき領域の情報を含む構図テーブルデータを記憶し、外部からの呼び出しに応じて前記構図テーブルデータを出力する。

構図判定手段３は、領域分割手段２が出力した前記エッジ情報と、前記奥行き情報データと、前記奥行き領域分割データとを入力とし、前記エッジ情報と、前記奥行き情報データと、前記奥行き領域分割データと、前記構図記憶手段３から参照した構図テーブルデータとを用いて、構図テーブルデータとの類似度を計算することによって前記画像データの構図を判定し、判定した前記構図の骨格となる骨格領域を示す構図骨格領域分割データを作成し、出力する。

構図画像処理指定手段５は、構図判定手段３が出力した前記構図骨格領域分割データを入力とし、構図の骨格領域と、そうでない領域とに、それぞれどのような画像処理を行うかを指定する構図画像処理指定データを作成し、出力する。

画像処理手段６は、前記画像データと、構図画像処理指定手段５が出力した前記構図画像処理指定データとを入力とし、前記構図画像処理指定データに従って前記画像データに対して画像処理を行い、前記画像処理を行った画像データを出力する。

ここで、前記画像データと前記奥行き情報データについて説明する。図２は、画像処理装置１に入力される画像データと奥行き情報データの一例を示す図である。図２（ａ）は、通常の画像データの例であり、一般的に、画像データの取得には、カメラやＣＣＤなどで取得することができる。図２（ｂ）は奥行き情報データの例であり、図２（ａ）の画像データに対応して、カメラからどのぐらいの距離が離れているかを示す奥行き方向の情報を前記画像データの画素毎にもったデータであり、一般的に奥行き情報データの取得には、赤外線やレーザなどを照射して測距するアクティブ型のものや、複数視点からの画像のマッチングから距離画像を得るパッシブ型のものなどが、それぞれ例として挙げられる。

前記奥行き情報データは、例えば、カメラから遠いほど小さい値として、計測した奥行きの値にあわせ、０から２５５の値にサンプリングした画像データとして扱うことも可能であり、以下ではそのように取り扱うものとする。

また、領域分割手段２に入力される情報として、ＣＧなどで作成した画像データと、それに対応した奥行き情報データであってもかまわない。
またここで、画像処理手段６は、画像をぼかしたり、逆に輝度や色の鮮鋭度を上げたり、コントラストを変更したり、明度をあげる画像処理を行う画像処理手段である。

次に、画像処理装置１の動作について、フローチャートに沿ってその動作について説明する。図３は、画像処理装置１の動作を説明するフローチャートである。
画像処理装置１の電源がオンになった後、ステップＳ１０１において、画像データと奥行き情報データが領域分割手段２に入力される。

ステップＳ１０２において、領域分割手段２は、入力された画像データと奥行き情報データから、入力された画像データを、そこに含まれるオブジェクトと背景、奥行きがなだらかに変化する領域の３種類に領域を分割した奥行き領域分割データを作成し、前記奥行き情報データと前記奥行き領域分割データを出力する。ステップＳ１０２における処理の詳細については後述する。

ステップＳ１０３において、エッジ画像データ１３と、奥行きエッジ画像データ１６と、奥行き領域分割データが、構図判定手段３に入力され、構図判定手段３は、入力された情報と、構図記憶手段４から参照した構図テーブルデータを用いて構図の判定を行ない、奥行きエッジ画像データ１６から、構図の骨格となる骨格領域を抽出した構図骨格領域分割データを作成し、出力する。ステップＳ１０３における処理の詳細については後述する。

ステップＳ１０４において、構図画像処理指定手段５に構図骨格領域分割データと、画像データ、奥行き情報データが入力され、入力されたデータから、特定の画像処理を行うように指定する領域を抽出し、抽出した領域と、そこで行なうべき画像処理を示す構図画像処理指定データを作成し、構図画像処理指定データと画像データを出力する。ステップＳ１０４における処理の詳細については後述する。

ステップＳ１０５において、画像処理手段６は、構図画像処理指定データに沿って、領域ごとに、画像をぼかしたり、輝度や色の鮮鋭度を上げたり、コントラストを変更したり、彩度を変更したり、明度を変更したり、輝度や色のダイナミックレンジを広げたりするなどの画像処理を行う画像処理を行う。

構図の骨格領域に対して、上記のような画像処理を行うことによって、構図を損なわずに被写体のある物体領域の強調を行なったり、構図自体の強調を行なったりすることができる。

また、構図の骨格領域以外の領域のうち、構図の骨格領域に含まれる領域の中で最も撮影したカメラから遠くなる位置よりも、さらに所定の距離以上離れて奥に位置するような、領域に対して、背景にぼかし処理を行うことにより、構図を損なわずに、奥行き感の強調を行なうことができる。また、同時に奥行き感の強調とともに、構図の強調も行なうことができる。
ステップＳ１０６において、画像処理手段６で画像処理された画像データを出力し、本装置の処理を終了する。

図３のステップＳ１０２における処理の詳細を説明する。例として、図２（ａ）及び（ｂ）で示したような画像データ７と奥行き情報データ２２が入力された場合の領域分割手段２の動作について説明する。ここで、図２（ａ）は、画像７内に、カメラから異なる距離離れた位置に人物８と木９が道路１０の脇に配置されて撮影された図である。また、図２（ｂ）は、図２（ａ）に対応する奥行き情報データ２２であり、奥行き情報データ２２内に、カメラからの異なる距離離れた位置に人物８に相当する位置に領域１１が、木９に相当する位置に領域１２が存在している。

図４は、図３のステップＳ１０２における領域分割手段２の動作を説明するフローチャートである。まず、ステップＳ２０１において、領域分割手段２に入力された画像データの輝度情報から輝度勾配を検出する。

図５は、領域分割手段２で作成される画像データの一例を示す図である。検出した輝度勾配の情報から、図５（ａ）に示すようなエッジ画像データ１３を作成する。エッジ画像データ１３内には、領域１４と領域１５が存在している。輝度勾配とはエッジとも呼ばれ、画素近傍での輝度変化の度合いを示すものであり、画像中の物体や物体内の構造の境界領域で大きな値となる。この輝度勾配を求める方法としては、例えばＳｏｂｅｌオペレータのようなフィルタを画像に重畳する方法がある。Ｓｏｂｅｌオペレータを用いて単に画像縦方向の輝度勾配を求めるのであれば、画像（ｘ，ｙ）における輝度値をＩ（ｘ，ｙ）とした場合、縦方向の輝度勾配値Ｄ（ｘ，ｙ）は、フィルタのサイズを２Ｍ＋１として、

で求めることができる。この絶対値｜Ｄ（ｘ，ｙ）｜の値の大きい画素（ｘ，ｙ）から任意数の画素を右画像での特徴点とする。あるいは、ある閾値Ｔｈについて｜Ｄ（ｘ，ｙ）｜＞Ｔｈを満たす画素（ｘ，ｙ）を右画像での特徴点とする等により、右画像での特徴点を求めることができる。他の輝度勾配を求めるフィルタとしては、Ｌａｐｌａｃｉａｎ、Ｒｏｂｉｎｓｏｎ、Ｃａｎｎｙ等様々なものがあり、どれを用いてもかまわない。公知の輝度勾配算出方法を含め、画像の特徴量を算出する方法は数多くあり、例えば非特許文献１（高木、下田監修、画像解析ハンドブック、東京大学出版会、ＩＳＢＮ４−１３−０６１１０７−０）に詳細に述べられている。

次に、ステップＳ２０２において、図２（ｂ）の奥行き情報データ２２を画像データとして扱い、これに対して、ステップＳ２０１と同様にして、輝度勾配を求め、図５（ｂ）に示すような奥行きエッジ画像データ１６を作成する。このとき、一定の閾値を超える点を３次元情報の空間的な不連続点とし、その点をつないだ線で奥行きエッジ画像データ１６を領域分割しておく。例えば、ここでは領域１７、１８、１９の３つの領域に分割される。

ステップＳ２０３において、奥行き情報データ２２を参照して最も遠い領域にある領域を求め、この領域に対応する奥行きエッジ画像データ１６の領域を背景として、図５（ｃ）のように領域分割または領域統合する。ここで、図５（ｃ）は、図５（ｂ）の領域１９を背景領域２０と、領域２１に領域分割した結果を示す図である。この際の領域分割または統合の方法は、閾値ＴＢを設け、閾値ＴＢより低い部分を背景となるように領域分割または領域統合する。

ステップＳ２０４において、奥行きエッジ画像データ１６の、背景領域２０をのぞく領域である領域１７、１８、２１のそれぞれの領域内において、平均と標準偏差から各領域の分散の値を求め、閾値より小さいものは、物体の領域とする。ここでは、図５（ｃ）の領域１７と１８が物体の領域として抽出される。

ステップＳ２０５において、領域２１を奥行きがなだらかに変化する奥行き変化領域として抽出する。ここで、図５（ｄ）は、図５（ｃ）から領域２１のみを抽出した画像データである。

ステップＳ２０６において、エッジ画像データ１３と、図５（ｃ）のように、奥行きエッジ画像データ１６に対して、物体領域１７と１８、背景領域２０、奥行き変化領域２１の４つの領域に分割された奥行きエッジ画像データ１６と、奥行きエッジ画像データ１６の各領域が、物体領域か、背景領域か、奥行き変化領域かを示す情報である奥行き領域分割データを出力し、領域分割処理を終了する。

図３のステップＳ１０３における処理の詳細を説明する。図６は、図３のステップＳ１０３における構図判定手段３の動作を説明するフローチャートである。

ステップＳ３０１において、構図判定手段３に、エッジ画像データ１３と、奥行きエッジ画像データ１６と、奥行き領域分割データが入力され、構図判定手段３は構図の判定を開始する。

ステップＳ３０２において、すべての構図について参照を行なったか否かについて判定を行い、行なった場合は判定ステップＳ３０８に、そうでない場合はステップＳ３０３に進む。

ステップＳ３０３において、構図判定手段３は、構図記憶手段４から構図テーブルデータを呼び出す。ここで、構図テーブルデータについて説明を行なう。図７から図１０は構図テーブルデータの一例である。構図テーブルデータとは、構図の特徴となる注目領域と、類似度の計算方法を記録したデータである。

例えば、図７（ａ）は、日の丸構図の構図テーブルデータであり、構図パターン１００の中央にある領域１０１が注目領域であることを示すデータである。

ステップＳ３０４において、構図判定手段３は、上記の構図テーブルデータを参照し、構図テーブルデータの示す注目領域における条件から、その類似度を求める。例えば、エッジ画像データ１３と、奥行きエッジ画像データ１６と、奥行き領域分割データのうち、奥行き領域分割データを参照して、物体領域がこの注目領域内に何％含まれるかを計算し、１００が最も似ており、０が最も似ていないとして、類似度を算出してもよい。また、このとき、物体の領域データの重心位置がこの注目領域に含まれている場合は、類似度の計算に、この類似度の数値が高くなるような重み付けを行なってもよい。

上記のように、構図テーブルデータを、画像内における構図の特徴となる注目領域の位置と形状を記録したデータとして記録することにより、簡易な構成での構図の判定が可能であり、また、構図テーブルデータのサイズも大きくならない。

類似度が所定の閾値以上であれば、上記注目領域に含まれた物体の領域データを構図の骨格領域として、構図骨格領域候補データを作成する。

図７（ｂ）は、三分割法の構図テーブルデータであり、構図パターン１０２の注目領域は、領域１０３、１０４、１０５、１０６となっている。注目領域が複数ある場合は、それぞれの注目領域において算出された類似度の中で最もよい類似度を、類似度として算出してもよいし、所定の閾値以上の類似度について平均を取ったものを最終の類似度として算出してもよい。類似度が所定の閾値以上であれば、上記注目領域に含まれた物体の領域データを構図の骨格領域として、構図骨格領域候補データを作成する。
図７（ｃ）は、水平線構図の構図テーブルデータであり、構図パターン１０７の注目領域は、水平線１０８となっている。

エッジ画像データに対して、一般的な直線検出法であるＨｏｕｇｈ変換を用いて、水平線の有無と位置を検出し、水平線がない場合は、類似度を０に、ある場合は、水平線の長さが、画面の水平サイズの何％占めるか求め、その数値を類似度として算出してもよい。また、水平線の位置が画面の、垂直方向に関して、中心近傍に近いほど、類似度が大きくなるような重み付けを行なってもよい。類似度が所定の閾値以上であれば、上記で検出した水平線の領域を構図の骨格領域として、構図骨格領域候補データを作成する。

図７（ｄ）は、垂直線構図の構図テーブルデータであり、構図パターン１０９の注目領域は、垂直線１１０となっている。この場合は、図７（ｃ）で述べたＨｏｕｇｈ変換で線検出する方法において、検出する線を、水平線ではなく、垂直線に限定すればよい。類似度が所定の閾値以上であれば、上記で検出した垂直線の領域を構図の骨格領域として、構図骨格領域候補データを作成する。

図８（ａ）、（ｂ）は、対角線構図の構図テーブルデータであり、構図パターン１１１の注目領域は対角線１１２に、構図パターン１１３の注目領域は対角線１１４となっている。この場合も、図７（ｃ）、（ｄ）で述べたＨｏｕｇｈ変換で直線検出する方法において、検出する線を、対角線に限定すればよい。また、上記では、注目領域として、対角線１１２と１１４を例としてあげたが、対角線から所定の範囲の傾きをもった斜めの直線であっても、注目領域として取り扱ってもよい。その場合、検出した斜めの直線が、上記注目領域の対角線もしくは、上記斜めの直線に対して何％を占めるか求め、その数値を類似度として算出してもよい。類似度が所定の閾値以上であれば、上記で検出した直線の領域を構図の骨格領域として、構図骨格領域候補データを作成する。

ここで、Ｈｏｕｇｈ変換で直線検出する方法において、複数の直線が検出された場合は、図８（ｃ）または図８（ｄ）で示す構図テーブルデータを参照し、類似度を求める。

図８（ｃ）は、斜線構図の構図テーブルデータであり、構図パターン１１５内に存在する複数の斜線が注目領域となる。この場合は、各斜線の傾きの平均を求め、平均の傾きに平行であれば１００、直交していれば０として、各斜線について平均との類似度を求め、最終的にそれらの平均をとったものを、構図の類似度として算出してもよい。

図８（ｄ）は、放射線構図の構図テーブルデータであり、構図パターン１１６内に存在する複数の斜線が注目領域となる。この場合は、各斜線を延ばした交点が、所定の領域内に収まる点の数から構図の類似度を算出してもよい。例えば、所定の領域内に収まる点の数ｎが、全斜線の本数ｍから１を引いた数である場合を１００、０である場合を０として、構図の類似度を算出してもよい（ｎとｍは整数であり、ｍ≧０，ｍ−１≧ｎ≧０とする）。類似度が所定の閾値以上であれば、上記で検出した直線の領域を構図の骨格領域として、構図骨格領域候補データを作成する。

図９（ａ）、（ｂ）、（ｃ）は、三角構図の構図テーブルデータであり、構図パターン１１７内の注目領域は、領域１１８に、構図パターン１１９内の注目領域は、領域１２０に、構図パターン１２１内の注目領域は、領域１２２となる。この場合、例えば、エッジ画像に対して、Ｈｏｕｇｈ変換で直線検出する方法を用いて直線を検出し、そのうち３本の直線を選択して、エッジ画像内に存在する各直線の交点が存在しているかを求めることにより、三角形を検出する。また、例えば、抽出した三角形の内部において、物体の領域の占める割合を類似度として算出してもよい。さらにまた、抽出した三角形の内部における物体領域の重心の有無に応じた重み付けや、物体領域が三角形内部にある場は物体領域の重心と三角形の重心の距離に応じて、その距離が近いほど類似度が上がるような重み付けをして、類似度を算出してもよい。類似度が所定の閾値以上であれば、上記で検出した三角形の領域を構図の骨格領域として、構図骨格領域候補データを作成する。

図１０（ａ）は、Ｓ字構図の構図テーブルデータであり、構図パターン１２３内の注目領域は、領域１２４となる。この場合、一般的な文字認識である、パターンマッチングや、ゾンデ法などの手法を利用することにより、類似度を算出する。例えば、エッジ画像データ内を文字データとして、Ｓ字のパターンが存在するかについて検出する。類似度は、例えば、存在している場合を１００、存在しない場合を０として、類似度を算出する。また、上記では、Ｓ字の構図で検出を行なったが、他の文字のパターンを用意し、同様に文字認識を行なうことにより、類似度を算出してもよい。類似度が所定の閾値以上であれば、上記で検出した文字の領域を構図の骨格領域として、構図骨格領域候補データを作成する。

図１０（ｂ）は、繰り返し構造の構図テーブルデータであり、構図パターン１２５内の注目領域は、領域１２６、１２７となる。この場合、例えば複数の物体の領域どうしで、画像データに対しブロックマッチングを行い、差分を求めて、差分が小さいほど類似度が大きくなるようにして、類似度を算出してもよい。類似度が所定の閾値以上であれば、上記の複数の物体の領域を構図の骨格領域として、構図骨格領域候補データを作成する。

図１０（ｃ）は、対比構造の構図テーブルデータであり、構図パターン１２８内の注目領域は、領域１２９、１３０となる。この場合、例えば、複数の物体領域どうしで、その大きさを比較し、所定の大きさ以下である場合は類似度が大きくなるようにして、類似度を算出してもよい。類似度が所定の閾値以上であれば、上記の複数の物体の領域を構図の骨格領域として、構図骨格領域候補データを作成する。

図１０（ｄ）は、トンネル構造の構図テーブルデータであり、構図パターン１３１内の注目領域は、領域１３２となる。この場合、例えば、奥行き情報データを参照して、注目領域１３２の外部の領域に含まれるデータのうち、奥行きの値が一定であり、かつ、奥行き情報データ内でもっとも手前にあるようなデータの数が所定の値以上である場合、類似度が大きくなるようにして、類似度を算出してもよい。類似度が所定の閾値以上であれば、上記の注目領域１３２の内部領域に含まれる物体の領域を構図の骨格領域として、構図骨格領域候補データを作成する。
以上のようにして、各構図テーブルデータを参照し、構図テーブルデータごとに類似度を算出する。

図６に戻って説明を続ける。判定ステップＳ３０５において、構図判定手段３は、算出した類似度のうち、所定の値より高い構図は該当しているものとして構図が存在していると判定し、ステップＳ３０６に進み、そうでない場合はステップＳ３０２に戻る。ここで、該当する構図が複数ある場合は、該当する構図の中から、最も類似度の高い構図を選択してもよいし、また、すべての構図に対し、優先度を儲け、該当する構図の中から、優先度の順に選択するようにしてもよい。また、すべて該当する構図であるとして、複数の構図が該当するものとしてもよい。

ステップＳ３０６において、該当する構図テーブルデータと、それに対応する構図骨格領域候補データから構図骨格領域を抽出し、構図骨格領域分割データを作成する。ここで、複数の構図が該当する場合は、構図骨格領域を合成して、一つの構図骨格領域分割データを作成してもよいし、該当する複数の構図ごとに構図骨格領域分割データを作成してもよい。

ステップＳ３０７において、構図判定手段３は、構図骨格領域分割データと、画像データ、奥行き情報データを出力して、構図の判定を終了し、図３のステップＳ１０４に進む。

ステップＳ３０２において、すべての構図テーブルデータについて参照を行なったと判定した場合、判定ステップＳ３０８において、該当する構図テーブルデータがない場合にその画像データの構図を構図記憶手段４に新たな構図テーブルデータとして記憶するか否かを判定し、記憶する場合はステップＳ３０９に進み、そうでない場合はステップＳ３０６に進む。

ここで、構図記憶手段４に記憶するか否かは、ユーザーが外部入力により指示を行なうようにしてもよいし、新しい構図はすべて構図記憶手段４に記憶するようにするモードや、記憶しないようにするモードを設けて、それらのモードをユーザーが設定できるようにしてもよい。

構図テーブルデータの記憶の方法として、画像データ内のどこを注目領域とするかを記憶するようにしてもよい。例えば、物体の領域と、背景の領域、奥行き変化領域に分割された奥行き領域分割データから物体の領域を注目領域として記憶してもよい。この場合の新規記録された構図テーブルデータを用いて構図の類似度を算出する場合は、注目領域内に、物体の領域と、背景の領域、奥行き変化領域のどの領域が含まれているか、どのぐらいの割合が含まれているかにより、類似度を算出すればよい。

また、エッジ画像データから、エッジ部分を注目領域として記憶してもよい。この場合の新規記録された構図テーブルデータを用いて構図の類似度を算出する場合は、注目領域とされたエッジと同じエッジが存在するかをパターンマッチングなどにより、類似度を算出すればよい。

また、奥行き情報データから特定の奥行きをもつ領域を注目領域として記憶してもよい。の場合の新規記録された構図テーブルデータを用いて構図の類似度を算出する場合は、注目領域とされた領域に特定の奥行きをもつ領域が存在するかにより、類似度を算出すればよい。

ステップＳ３０９において、構図記憶手段４に構図を記憶する。ここで、どの構図パターンに類似しているかの判定の結果を別のデータとして記録してもよい。このように構図の判定結果のデータを保存し記録することにより、画像の検索に用いることが可能である。また、映像であれば構図の判定結果の変化からシーンチェンジを検出することができる。
以上のようにして、構図判定手段３は、構図の判定を行い、構図骨格領域分割データと、画像データ、奥行き情報データを出力する。

図３のステップＳ１０４における処理の詳細を説明する。図１１は、図３のステップＳ１０４における構図画像処理指定手段５の動作を説明するフローチャートである。構図画像処理指定手段５は、画素毎にラスタスキャンを行い、スキャンした画素ごとに、どのような画像処理を行うかを指定する構図画像処理指定データを作成する手段である。

まず、判定ステップＳ４０１において、構図画像処理指定手段５に入力された構図骨格領域分割データから、現在の画素が構図の骨格となる領域であるか否かを判定し、構図の骨格となる領域である場合は、ステップＳ４０２に、そうでない場合は判定ステップＳ４０５に進む。

ステップＳ４０２において、構図画像処理指定手段５は、現在の画素を鮮鋭化処理領域とし、その輝度や色の鮮鋭度を上げる画像処理をする領域として抽出し、その位置を構図画像処理指定データに記録する。このときの指定する画像処理を、コントラストを上げる画像処理としてもよいし、明度を上げる画像処理としてもよいし、彩度を上げる画像処理としてもよいし、輝度や色のダイナミックレンジを広げるなどの画像処理としてもよい。

判定ステップＳ４０３において、現在の画素が最後の画素か否かを判定し、最後の画素であればステップＳ４０４に進み、そうでなければステップＳ４０１に戻る。
ステップＳ４０４において、作成した構図画像処理指定データを出力し、領域抽出を終了し、図３のステップＳ１０５に進む。

ステップＳ４０１において現在の画素が構図の骨格となる領域でないと判定した場合、ステップＳ４０５において、奥行き情報データから、骨格領域の中で最も遠い距離の値最遠骨格領域距離ＤＢを求める。

ステップＳ４０６において、現在の画素の奥行き情報と、最遠骨格領域距離ＤＢの差分ｄを求める。
判定ステップＳ４０７において、差分ｄが閾値ＤＴ以上であればステップＳ４０８に進み、そうでなければステップＳ４０３に進む。

ステップＳ４０８において、現在の画素を、ぼかし処理を行う領域として抽出し、その位置を構図画像処理指定データに記録する。このときの指定する画像処理を、コントラストを下げる画像処理としてもよいし、明度を下げる画像処理としてもよいし、彩度を下げる画像処理としてもよいし、輝度や色のダイナミックレンジを狭めるなどの画像処理としてもよい。

以上のようにして、図画像処理指定手段５は、構図骨格領域分割データと、画像データ、奥行き情報データを用いて、画素毎にどのような画像処理を行うかを指定する構図画像処理指定データを作成する。

構図画像処理指定データとして、構図の骨格領域に対して指定する画像処理の情報と、構図の骨格領域以外に対して指定する画像処理の情報を記録するようにしたが、少なくともどちらか一方の情報であってもかまわない。

以上説明したように、本発明の画像処理装置によれば、画像のエッジ情報や奥行き情報から、画像を物体のある領域と、背景の領域と、奥行きがなだらかに変化する奥行き変化領域に分割した領域データを作成し、前記エッジ情報と、前記奥行き情報、前記領域データと、あらかじめ本画像処理装置に備えられた構図のテーブルを参照して、画像全体の構図を類推し、構図の骨格となる構図骨格領域を求め、構図の骨格領域とそうでない領域のそれぞれにあわせて異なる画像処理を行うことにより、撮影者の意図する構図に合わせた画像処理を行うことができる。

また、本発明の画像処理装置によれば、入力された画像データに対して、画像の構図の骨格となる骨格領域の輝度や色の鮮鋭度を上げることにより、構図の強調を行なうことができる。

また、本発明の画像処理装置によれば、構図の骨格領域と、そうでない領域のうち、その奥行きの差が所定の距離以上である領域に対しては、ぼかし処理を行い、奥行き感の強調を行なうことができ、それと同時に構図の強調も行なうことができる。

さらに、構図の判定結果のデータを保存し記録することにより、画像の検索や、映像であれば構図の変化からシーンチェンジを検出することができる。

尚、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は画像処理装置に利用可能である。

本発明の画像処理装置の構成の一例を示すブロック図である。 （ａ）は画像処理装置１に入力される画像データの一例を示す図であり、（ｂ）は奥行き情報データの一例を示す図である。 画像処理装置１の動作を説明するフローチャートである。 図３のステップＳ１０２における領域分割手段２の動作を説明するフローチャートである。 領域分割手段２で作成される画像データの一例を示す図であり、（ａ）はエッジ画像データを示す図であり、（ｂ）は奥行きエッジ画像データを示す図であり、（ｃ）は（ｂ）の領域１９を背景領域２０と領域２１とに領域分割した結果を示す図であり、（ｄ）は（ｃ）から領域２１のみを抽出した画像データを示す図である。 図３のステップＳ１０３における構図判定手段３の動作を説明するフローチャートである。 （ａ）は日の丸構図の構図テーブルデータを示す図であり、（ｂ）は三分割法の構図テーブルデータを示す図であり、（ｃ）は水平線構図の構図テーブルデータを示す図であり、（ｄ）は垂直線構図の構図テーブルデータを示す図である。 （ａ）、（ｂ）は対角線構図の構図テーブルデータを示す図であり、（ｃ）は斜線構図の構図テーブルデータを示す図であり、（ｄ）は放射線構図の構図テーブルデータを示す図である。 （ａ）、（ｂ）、（ｃ）は三角構図の構図テーブルデータを示す図である。 （ａ）はＳ字構図の構図テーブルデータを示す図であり、（ｂ）は繰り返し構造の構図テーブルデータを示す図であり、（ｃ）は対比構造の構図テーブルデータを示す図であり、（ｄ）はトンネル構造の構図テーブルデータを示す図である。 図３のステップＳ１０４における構図画像処理指定手段５の動作を説明するフローチャートである。

符号の説明

１ 画像処理装置
２ 領域分割手段
３ 構図判定手段
４ 構図記憶手段
５ 構図画像処理指定手段
６ 画像処理手段

Claims (8)

1. 画像のエッジ情報や奥行き情報から、画像を物体のある領域と、背景の領域と、奥行きがなだらかに変化する奥行き変化領域に分割した領域データを作成し、前記エッジ情報と、前記奥行き情報、前記領域データと、あらかじめ本画像処理装置に備えられた構図のテーブルを参照して、画像全体の構図を類推し、構図の骨格となる構図骨格領域を求め、構図の骨格領域とそうでない領域のそれぞれにあわせて異なる画像処理を行うことを特徴とする画像処理装置。
2. 濃淡情報及び／又はカラー情報からなる画像データからエッジ情報を算出し、前記エッジ情報と、前記画像データに対応した奥行き情報からなる奥行き情報データとを用いて、前記画像データを、物体のある物体領域と、背景のある背景領域と、奥行きがなだらかに変化する奥行き変化領域とに分けた奥行き領域分割データを作成する領域分割手段と、
   構図の注目すべき領域の情報を含む構図テーブルデータを記憶する構図記憶手段と、
   前記エッジ情報と、前記奥行き情報データと、前記奥行き領域分割データとのうちの少なくとも１つと、前記構図記憶手段から参照した構図テーブルデータとの類似度を計算し、前記類似度に基づいて選択された構図テーブルデータから前記画像データの構図を判定し、判定した前記構図の骨格となる骨格領域を示す構図骨格領域分割データを作成する構図判定手段と、
   前記構図骨格領域分割データから、前記構図の骨格領域とそうでない領域とに、それぞれどのような画像処理を行うのかを指定する構図画像処理指定データを作成する構図画像処理指定手段と、
   前記構図画像処理指定データに従って前記画像データに画像処理を行う画像処理手段とを備えることを特徴とする画像処理装置。
3. 前記構図テーブルデータは、画像内における構図の特徴となる注目領域の位置と形状を記録したデータであることを特徴とする請求項２記載の画像処理装置。
4. 前記構図判定手段は、前記構図テーブルデータにおける前記注目領域と、前記奥行き領域分割データにおける前記物体領域との類似度を、パターンマッチングにより算出することを特徴とする請求項３記載の画像処理装置。
5. 前記構図判定手段は、前記構図テーブルデータにおける前記注目領域と、前記奥行き領域分割データにおける前記物体領域との類似度を、前記注目領域内に含まれる前記物体領域の割合により算出することを特徴とする請求項３記載の画像処理装置。
6. 前記画像処理手段は、前記構図画像処理指定データに従って構図の骨格領域の鮮鋭度を上げることを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記画像処理手段は、前記構図画像処理指定データに従って構図の骨格領域でない領域に対してぼかし処理を行うことを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
8. 前記構図判定手段は、選択された構図テーブルデータを判定結果として記録することを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。

Images