JP4507673B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、例えば撮影された画像などを処理する画像処理装置などに係り、より詳しくは、例えば異なる条件下で撮影された複数画像に補正処理を施す画像処理装置などに関する。

例えば商品チラシや広告、雑誌記事への利用等の印刷市場において、また、展示会やセミナー資料、現場記録写真、不動産や製品等の商品スナップ作成等のビジネス市場において、デジタルカメラ(デジタルスチールカメラ：ＤＳＣ)で撮影された画像(画像データ、デジタル画像)やスキャナで読み込まれた画像などの複数の画像を所定の領域に配置し、編集されたレイアウト画像を視覚化して出力する作業が広く行われている。従来では、例えばレイアウトされる画像は、専門のカメラマンにより撮影され、また、画像処理の専門家であるユーザにより個々の画像状態を観察しながら個々に調整が加えられ、編集されている。その一方で、近年、デジタルカメラや携帯電話などに代表される撮影装置の急速な発達とその普及、インターネット等のネットワーク技術の進展に伴い、分散され異なった撮影条件下にて一般ユーザにより撮影された複数の画像をまとめてデータベース化する機会が非常に多くなっている。

複数の画像をレイアウトする内容を開示した従来技術として、複数のアルゴリズムの中から選択されたアルゴリズムに従って複数の画像が指定領域内にレイアウトされるものが存在する(例えば、特許文献１参照。)。また、複数の商品が掲載された同一内容の共通チラシにおいて、そのレイアウトを簡易に生成するために、複数の画像のそれぞれについて余白付加画像に外接する矩形領域が生成され、所定の配置ルールに従って配置出力する技術が開示されている(例えば、特許文献２参照。)。

特開２００３−１０１７４９号公報(第４−５頁、図４) 特開２００３−１０１７５２号公報(第３−４頁、図１)

ここで、複数の画像について、全ての画像が撮影条件等を一定にして撮影されていれば、例えば統合してレイアウト出力した場合であっても、ユーザにとって見易い画像を提供することが可能となる。しかしながら、異なった環境下、異なった撮影者により異なったカメラで、また、異なった撮影条件にて撮影された複数の画像は、そのままレイアウト表示を施しても、見易いものとはならない。例えば、商品のパッケージや玩具等、限定した種類の商品が撮影された場合であっても、撮影のための各種条件(撮影場所、時間、被写体位置、被写体角度、照明、カメラ等)が異なる場合には、これらの商品の大きさ、位置、傾き等の微妙なズレによって、レイアウト表示された複数画像は、非常に見苦しいものとなる。また、これらの幾何的な特徴量の違いの他に、各画像の明るさ、色、グレーバランス、階調表現などの画質に対する特徴量がバラバラの状態でレイアウト表示された場合にも見苦しい画像となる。

更に、個別に出力する場合やレイアウト出力する場合に限らず、飾り枠や背景等、予め型(テンプレート)が決定されており、その決定されている型に取得された画像を埋め込むことが要求される場合がある。かかる場合に、例えば異なった条件下で撮影された画像をそのまま埋め込むと、得られる出力画像が非常に見難くなってしまう。また、テンプレート毎に出力目的等が異なる場合もあり、その出力目的に合わせて最適な画像が得られれば、ユーザにとっての使い易さを飛躍的に向上させることができる。上記特許文献１および特許文献２には、かかるテンプレートに対応する処理技術は何ら示されていない。

本発明は、以上のような技術的課題を解決するためになされたものであって、その目的とするところは、任意の条件によって形成された画像について、合成されるテンプレートに基づく適切な処理を施すことにある。
また他の目的は、例えば、複数の画像をレイアウト統合して出力する際に、合成されるテンプレート情報に基づき良好な統合レイアウト合成画像を得ることにある。

かかる目的のもと、本発明が適用される画像処理装置は、所定の領域にデジタル画像を合成するテンプレート画像の属性情報であるテンプレート情報を格納するテンプレート情報格納手段から、読み出し手段によりテンプレート情報を読み出し、このテンプレート画像に合成されるデジタル画像が有する特徴量を特徴量解析手段により解析する。そして、この特徴量解析手段により解析された特徴量と読み出し手段により読み出されたテンプレート情報とに基づいて、画像補正量算出手段によりデジタル画像の画像補正量を算出している。

ここで、この画像補正量算出手段により算出された画質補正量を用いてデジタル画像の幾何特徴量および/または画質を補正する補正手段と、この補正手段により補正されたデジタル画像を、他のデジタル画像とともに統合レイアウトして出力する出力手段とを更に備えたことを特徴とすることができる。
また、この特徴量解析手段は、デジタル画像が有する幾何特徴量および/または画質特徴量を解析し、画像補正量算出手段は、解析された幾何特徴量および/または画質特徴量を用いて、テンプレート情報に合わせた幾何特徴量の補正量および/または画質の補正量を算出することを特徴とすることができる。

他の観点から捉えると、本発明が適用される画像処理方法は、デジタル画像を画像格納手段から読み出すステップと、読み出されたデジタル画像が合成されるテンプレート画像の選択を受けるステップと、選択されたテンプレート画像の属性情報であるテンプレート情報をテンプレート情報格納手段から取得するステップと、デジタル画像の有する幾何特徴量および/または画質特徴量を解析するステップと、取得されたテンプレート情報を用いて、解析された幾何特徴量および/または画質特徴量を補正し、デジタル画像をテンプレート画像に貼り付けるステップとを含む。

ここで、このテンプレート画像に貼り付けるステップは、複数からなるデジタル画像を統合レイアウト処理して貼り付けることを特徴とすることができる。この統合レイアウト処理とは、テンプレート画像と処理画像とが合成された複数の合成画像を例えば１枚の用紙や１つのページ画面上にレイアウトして出力する処理をいう。また、この補正される幾何特徴量は、テンプレート画像の有する貼り付け位置に対するデジタル画像の主要被写体の位置であることを特徴とすることができる。更に、この補正される画質特徴量は、テンプレート画像の明るさに基づいて補正されるデジタル画像の明るさであることを特徴とすることができる。

一方、本発明は、コンピュータに実行させるプログラムとして把握することができる。このプログラムは、コンピュータに、所定の領域にデジタル画像を合成するテンプレート画像の属性情報であるテンプレート情報を格納するテンプレート情報格納手段からテンプレート情報を読み出す機能と、テンプレート画像に合成されるデジタル画像が有する特徴量を解析する機能と、解析された特徴量と読み出されたテンプレート情報とに基づいて、デジタル画像の画像補正量を算出する機能と、算出された画像補正量を用いてデジタル画像を補正する機能と、補正されたデジタル画像を、所定の格納手段から読み出されたテンプレート画像に合成する機能とを実現させる。

本発明によれば、例えば任意の条件によって形成された画像について、合成されるテンプレートに基づく適切な処理を施すことが可能となる。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本実施の形態が適用される画像処理システムの全体構成例を示した図である。ここでは、インターネットなどのネットワーク９を介して各機能が接続されている。図１に示す画像処理システムは、分散撮影される画像の統合レイアウト処理を行う画像処理サーバ１、分散撮影された画像を取得すると共に統合レイアウト処理を行う画像を選定する画像データベースサーバ２、画像データベースサーバ２に接続され、分散撮影された画像を格納する１または複数の画像データベース(画像ＤＢ)３を備えている。また、撮影手段であるデジタルカメラ４にて撮影された画像を読み取り、ネットワーク９を介して画像データベースサーバ２に画像を転送する画像転送装置５、画像処理サーバ１で補正処理がなされた画像を表示出力する表示装置６、画像処理サーバ１で補正処理がなされた画像を、画像プリント出力手段であるプリンタ７に出力するための各種画像処理を行う印刷用画像処理装置８を備えている。

画像転送装置５、表示装置６、および印刷用画像処理装置８は、ノートブック型コンピュータ装置(ノートＰＣ)やデスクトップ型ＰＣなどのコンピュータ装置で構成することができる。また、画像処理サーバ１や画像データベースサーバ２もＰＣなどの各種コンピュータ装置として把握することができる。本実施の形態では、異なる撮影場所、異なる撮影条件で分散撮影された複数画像を、所定のテンプレートに合成させる点に特徴がある。そこで、複数のデジタルカメラ４とこれに接続される複数の画像転送装置５がネットワーク９に接続されて各所に配置されている。また、デジタルカメラ４は、自らが有する通信機能を利用して、例えば中継局(図示せず)を介してネットワーク９に接続し、撮影した画像を直接、画像処理サーバ１に送信する形態もある。また、無線ＬＡＮ機能を備えていれば、例えばアクセスポイント(図示せず)を介してネットワーク９に接続し、撮影した画像をデジタルカメラ４から直接、画像処理サーバ１に送信する形態も考えられる。

図２は、本実施の形態における画像処理を実行するための画像処理サーバ１の機能を示すブロック図である。画像処理サーバ１は、画像ＤＢ３に格納された画像データ(デジタル画像)を画像データベースサーバ２より取得する画像入力部１１、画像入力部１１によって入力された複数画像に対して、画像番号(Ｇｎ)の付与と総数カウント等の前処理を実行する番号付与・総数カウント処理部１２、画像処理が施された個別画像を個々に、またはレイアウト配置された状態でネットワーク９に送出する画像出力部１３を備えている。また、例えばネットワーク９を介してユーザ端末(画像転送装置５、表示装置６、印刷用画像処理装置８、デジタルカメラ４等)からのテンプレート選択を入力するテンプレート選択入力部２１、例えばハードディスクドライブ(ＨＤＤ)等の記録媒体により構成され、各種テンプレート画像およびテンプレート情報(テンプレート属性情報)が格納されるテンプレート情報格納部２２、テンプレート選択入力部２１により入力された選択情報を用いてテンプレート情報格納部２２から所定のテンプレート情報を読み出すテンプレート情報読み出し部２３を備えている。ここで、テンプレート情報格納部２２に格納されるテンプレートには、例えば写真画像等のデジタル画像がはめ込まれる枠体や、背景画像、デジタル画像が組み込まれる型等が含まれる。本実施の形態では、テンプレート画像は合成処理される画像そのものを意味し、テンプレート情報はテンプレート画像の有する属性情報を意味している。
尚、テンプレートの選択情報が個々の画像データに含まれ、または添付されている場合がある。かかる場合には、テンプレート選択入力部２１は、画像入力部１１にて個々の画像データが入力された際に、画像入力部１１からテンプレート選択情報を取得する。

また、画像処理サーバ１は、画像入力部１１から入力され番号付与・総数カウント処理部１２によって画像番号(Ｇｎ)の付与と総数カウント等の前処理が実行された個別画像につき、その特徴量を解析して画像補正量を算出する補正量算出機能３０、補正量算出機能３０にて算出された個別画像の補正量に基づいて各種画像処理を実行すると共に、テンプレート画像を用いた合成処理を行う画像処理機能４０を備えている。この補正量算出機能３０は、補正処理が施される画像における幾何特徴量や画質特徴量などの特徴量を抽出する画像特徴量抽出部３１、画像特徴量抽出部３１によって特徴量が抽出された画像の特徴量と、合成されるテンプレート画像の有するテンプレート情報とに基づいて画像特徴量を解析する画像特徴量解析部３２、画像特徴量解析部３２による解析結果により画像の補正量を算出する画像補正量算出部３３を備えている。幾何特徴量は、デジタル画像(処理画像)が有する主要被写体(主要オブジェクト)の位置、重心位置、大きさ(縦×横サイズ)、画像方向(縦、横、斜め)等の特徴量である。画質特徴量は、明るさ、色、グレーバランス、階調補正などの画質に関する特徴量である。この画質特徴量には、主要被写体と背景とを分けて把握される。更に、画像処理機能４０は、主要被写体として認識されたオブジェクトの位置、大きさ、傾き等の幾何的な特徴量を補正する幾何特徴量補正部４１、明るさ、色、グレーバランス、階調補正などの画質を補正する画質補正部４２、背景の除去や背景の統一等の背景を補正する背景処理部４３、テンプレート画像との合成や、統合レイアウト処理を実行する合成処理部４４を備えている。

画質補正部４２は、例えば、ノイズ抑制処理を行う平滑化処理、画像の分布で明るい方に寄っているか暗い方に寄っているか等によって基準のポイントを移動させる明度補正、画像分布の明るい部分、シャドー部分の分布特性を調整するハイライトシャドー補正、明暗の分布ヒストグラムから分布状態を得て明暗のコントラストを補正する明暗コントラスト補正を機能として備えている。また、例えば、１番明るいと考えられる白領域部を基準として、白い部分の色ずれを補正する色相・カラーバランス補正、例えばやや彩度が低めの画像に対しては鮮やかになるように、グレーに近い画像には、彩度を抑え目にする等の処理を施す彩度補正、例えば肌色を基準として肌色を所定の値に近づけるように補正する等、特定の記憶色を補正する記憶色補正等の各機能を有している。更に、全体のエッジ度からエッジの強さを判断し、例えばシャキシャキとした画像(シャープな画像)に補正するシャープネス強調処理の機能を備えることができる。

次に、図２に示すブロック図にて実行される処理の流れについて説明する。
図３は、画像処理サーバ１にて実行される処理を示すフローチャートである。まず、画像処理サーバ１の画像入力部１１にて処理画像が入力され、番号付与・総数カウント処理部１２にて処理画像の総数Ｎがカウントされる(ステップ１０１)。また、番号付与・総数カウント処理部１２は、処理画像の画像番号Ｇｎを付与する(ステップ１０２)。次に、補正量算出機能３０の画像特徴量抽出部３１にて、処理画像から幾何特徴量が抽出され(ステップ１０３)、また、処理画像から画質特徴量が抽出される(ステップ１０４)。補正量算出機能３０は、合成されるテンプレート画像の有するテンプレート情報をテンプレート情報読み出し部２３から読み出し(ステップ１０５)、画像特徴量解析部３２では、抽出された処理画像の各特徴量と読み出されたテンプレート情報とを用いて幾何特徴量および画質特徴量の解析がなされる(ステップ１０６)。更に、画像補正量算出部３３は、解析された結果を用いて画像補正量を算出し(ステップ１０７)、画像処理機能４０に提供する。

画像処理機能４０は、補正量算出機能３０から提供される画像補正量により、処理画像に対して各種画像処理を施す(ステップ１０８)。そして、例えばＲＡＭ等からなるメモリに、処理画像を一旦、蓄積する。その後、統合レイアウト処理に必要な統合数の画像について補正が終了したか否かが判断される(ステップ１０９)。例えば、１枚の出力画像に所定枚数(例えば４枚、８枚、１２枚等)の画像をレイアウト配置する場合には、その所定枚数の処理が終了したか否かが判断される。統合数の補正が終了していない場合には、ステップ１０２に戻って処理が繰り返される。統合数の補正が終了した場合には、合成すべきテンプレート画像がテンプレート情報読み出し部２３から読み出され、合成処理部４４にて、画像処理が施された画像にテンプレート画像が貼り付けられて画像が合成される(ステップ１１０)。また、合成処理部４４にて統合レイアウト処理が実施され(ステップ１１１)、処理後の画像が画像出力部１３から出力される(ステップ１１２)。ここで、画像番号Ｇｎが総数Ｎになったか否か、即ち、Ｇｎ＜Ｎの判定がなされる(ステップ１１３)。Ｇｎ＜Ｎである場合には、ステップ１０２へ戻って処理が繰り返される。Ｇｎ＜Ｎでない場合には、処理が終了する。尚、レイアウトの方法としては、最も簡単なものは、処理画像の読み込まれた順に並べるものであるが、ユーザが任意に設定するように構成することも可能である。かかるユーザに設定は、ネットワーク９を介して各ユーザ端末から取得するように構成することができる。

次に、図３に示す処理フローの主要な処理について、更に詳述する。
図４(ａ)〜(ｄ)は、図３のステップ１０３に示す処理画像の有する幾何特徴量の抽出工程を説明するための図である。図４(ａ)には、画像特徴量抽出部３１に入力される処理画像の例が示されている。ここでは、複数(４つ)の対象物により被写体が構成されている。画像特徴量抽出部３１では、幾何特徴量の抽出に際し、まず、図４(ｂ)に示すような２値化処理が実行される。次に、２値化された画像に対して、図４(ｃ)に示すようなラベリング処理が施される。ここでは、Ｌ１〜Ｌ３の３つの画像要素に対してラベリングがなされている。その後、図４(ｄ)に示すようにラベリングされた画像要素を全て含む最大外接矩形が算出される。算出される最大外接矩形としては、例えば座標軸を左上からとるとすると、トップの最小(Top min)、レフトの最小(Left min)、ボトムの最大(Bottom max)、ライトの最大(Right max)があり、これらについて各々算出される。以上のようにして、主要被写体(主要オブジェクト)の位置座標を求めることができるが、幾何特徴量としては、上記以外の特性、例えば、画像サイズ、画像方向(縦/横)等も把握することができる。

図５は、図３のステップ１０４に示す画質特徴量の抽出工程を説明するためのフローチャートである。画像特徴量抽出部３１にて、まず処理画像が読み出され(ステップ２０１)、対象物と背景とが分離される(ステップ２０２)。対象物と背景との分離方法については従来から多数、存在するので、ここではその説明を省略する。その後、分離された対象物と背景との各々について、以下の処理が実行される。すなわち、ステップ２０３からステップ２０５では輝度の抽出、ステップ２０６からステップ２１０ではＲ(赤),Ｇ(緑),Ｂ(青)の分布抽出、ステップ２１１からステップ２１３では彩度の抽出がなされる。輝度の抽出では、まず、輝度色差形の色信号として例えばＬ^＊ａ^＊ｂ^＊に変換されて輝度変換が行われ(ステップ２０３)、輝度ヒストグラムが採取される(ステップ２０４)。その後、分布平均値L_aveが算出される(ステップ２０５)。この輝度変換は、例えば、ハイライトシャドー補正や明暗コントラスト補正に用いられる。例えば、明暗コントラスト補正では、基準画像から、明暗の分布(例えばヒストグラム)をとり、例えば、レンジを５段程度として分布の程度が把握される。この分布の程度は、背景および背景と分離された主要被写体(被写体)を分けて各々について把握される。

一方、ＲＧＢの分布抽出では、まずＲＧＢ変換がなされ(ステップ２０６)、ＲＧＢヒストグラムが採取される(ステップ２０７)。そして、Ｒ分布の最大値(Ｍａｘ値)であるr_maxの算出(ステップ２０８)、Ｇ分布の最大値であるg_maxの算出(ステップ２０９)、Ｂ分布の最大値であるb_maxの算出(ステップ２１０)がなされる。例えば色相・カラーバランス補正を行うに際して、このように、ヒストグラムでＲＧＢが別々に採取される。

更に、彩度補正を行うために、彩度変換がなされる(ステップ２１１)。まず、背景と分離された主要被写体について、彩度ヒストグラムが採取され(ステップ２１２)、分布平均値S_aveが算出される(ステップ２１３)。ここでは、Ｌ^＊ａ^＊ｂ^＊のａ^＊ｂ^＊の２平面で彩度を表すことができる。ａ^＊ｂ^＊が００でグレーとなる。尚、処理としては、テンプレート画像へ合わせる補正の他に、例えば、グレーに近い方はグレーに縮め、即ち、少々色付く程度の場合には、彩度を抑え目にし、補正によってグレーになる方向に補正するように構成することもできる。また、彩度が中高程度の分布では、鮮やかさを強調するように彩度補正を行うことも有効である。
尚、抽出される画質特徴量としては、上記以外に、例えば画像解像度等がある。

次に、図３のステップ１０５に示すテンプレート情報の読み出しと、ステップ１０６に示す幾何特徴量、画質特徴量の解析について説明する。
図６は、テンプレート情報格納部２２に格納されているテンプレート画像とテンプレート情報(テンプレート属性情報)を説明するための図である。テンプレート情報格納部２２には、合成されるテンプレート画像(テンプレート)の集合であるテンプレート集と、合成に際して処理画像の補正量を決定するためのテンプレート属性情報とが相互に対応可能な状態にて格納されている。テンプレート情報(テンプレート属性情報)の例としては、画像枠情報として、合成箇所の縦×横サイズ、縦・横の画像方向、画像解像度、合成される主要オブジェクトの合成位置座標、背景色(周囲色)等が格納されている。この合成箇所の縦×横サイズでは、貼り付けられる画像の最大サイズとして、例えば矩形の範囲が設定されている。合成箇所の枠が円や楕円等の曲線を有している場合でも、例えば画像が欠けずに合成できる最大サイズが設定されている。例えば円の場合には直径を対角線とする矩形範囲、楕円の場合には四隅が内接する矩形範囲等である。また、画像解像度は、各々のテンプレートが用いられる態様等によっても異なる場合がある。例えば、Ｗｅｂページとしてディスプレイへの表示だけであれば１００ｄｐｉ(ドット/インチ)程度、印刷される場合には２００ｄｐｉや４００ｄｐｉ程度などが好ましいことから、用いられる態様によってテンプレートが区別されている場合には、解像度の情報は非常に有意義である。更に、主要オブジェクトの合成位置座標は、処理画像の主要被写体(主要オブジェクト)の位置を見易い位置に合成するために有意義な情報である。

また、テキスト枠情報として、合成されるテキストのフォント、サイズ、縦書きおよび横書きの区別、段落スタイル等が格納されている。これらのテンプレート情報(テンプレート属性情報)は、テンプレート情報読み出し部２３によるテンプレート画像の指定に基づき、指定されたテンプレート画像と共にテンプレート情報読み出し部２３に提供される。
その後、図３のステップ１０６に示すように、画像特徴量解析部３２では、上述のようにして抽出された処理画像の各特徴量と読み出されたテンプレート情報とを用いて幾何特徴量および画質特徴量の解析がなされる。また、ステップ１０７に示すように、画像補正量算出部３３では、画像特徴量解析部３２により解析された結果を用いて画像補正量が算出される。その後、処理画像の補正などが実行される。

図７(ａ)〜(ｃ)は、統合数４の場合として、４枚の画像についてテンプレート画像に基づく補正が施され、統合レイアウト処理が施されて合成画像が出力される例を示した図である。図７(ａ)には、テンプレート情報格納部２２のテンプレート集から選択されて読み出された所定のテンプレートが示されている。図７(ｂ)には、画像データベースサーバ２から読み出され、画像入力部１１に入力された４枚の処理画像が示されている。更に図７(ｃ)には、図７(ｂ)に示す４枚の処理画像について補正が施された後、図７(ａ)に示すテンプレート画像が合成され、統合数４の統合レイアウト処理がなされた結果が示されている。図７(ｂ)に示す例では、４枚の処理画像の各々の主要被写体(主要オブジェクト)の位置が中心からずれている。また、テンプレートの貼り付け位置の大きさに対して主要被写体が適度な大きさとなっていない。そこで、上述した幾何特徴量の解析により、処理画像の縦×横サイズを把握し、テンプレート情報を用いて縦×横サイズを変更するとともに、認識して切り取られた主要被写体がテンプレート画像の貼り付け位置の中心位置となるように調整し、合成される。また、統合数によっては、表示(出力)されるテンプレート画像の大きさが異なってくることから、統合数に応じて処理画像の縦×横サイズ等を変更する作業も実施される。

尚、画質に関する補正では、例えばテンプレート画像の色に合わせて背景の色を変える等の処理がなされる。例えば、テンプレートが濃い色であれば背景は明る目に設定し、テンプレートが薄い色であれば濃い目に背景を設定する等である。逆に、ユーザの好みによっては同系列の明るさにすることも有効である。このユーザの好みは、ネットワーク９を介してユーザ端末から取得することができる。また、設定された背景や選択されたテンプレートの明るさに応じ、主要被写体の明るさを変えることもできる。同様に、選択されたテンプレートの色彩に応じて背景や主要被写体の色彩を変えることも有効である。

また、画像データベース３に格納されている処理画像(デジタル画像)を、図示しない商品データベースとリンクさせるように構成することもできる。この商品データベースでは、処理画像の識別番号(イメージＮＯ.)に対応させて、商品名、型番、メーカ名、商品の種類、その他各種情報を格納することができる。テンプレート画像に処理画像をはめ込む際に、処理画像に対応させて商品データベースからこれらの商品情報を読み出し、テンプレート画像のテキスト貼り付け欄に書き込むことができる。このとき、書き込むテキスト情報をテンプレート情報に基づいて補正することも有効である。例えば、テンプレート画像の有する枠の色に合わせて最適なテキスト色を選択する等である。

以上、詳述したように、本実施の形態によれば、貼り付けられるテンプレートに合わせて、例えば撮影されて取得された画像を自動的に修正することが可能となり、見栄えの良い画像を得ることができる。このとき、例えば撮影して取得された複数の商品物が有する大きさ、位置、傾き等の微妙なずれを自動的に修正することで、ユーザにとって非常に見易い商品レイアウトを簡易に取得することができる。また、テンプレート画像のデザインを変更するだけで、レイアウトのイメージを簡単に変えることが可能となる。これにより、例えばＷｅｂページのリニューアルなどを簡易に実施することが可能となる。

尚、本実施の形態は、アプリケーションタイプ、プリンタドライバタイプ、およびデジタルカメラとの連携タイプ等の各タイプにて、使用されることが想定できる。アプリケーションタイプでは、例えば、デジタルスチールカメラ(ＤＳＣ)画像をアルバム化、あるいは管理するソフトのプラグイン等として、ユーザの採取画像を自動調整する機能等に用いることができる。また、プリンタドライバタイプでは、ドライバ設定において、オプション機能として選択可能とする、あるいは、モード設定自体に組み込む機能とすることができる。更に、デジタルカメラとの連携タイプでは、ファイルフォーマットにタグ(Tag)情報を埋め込み、プリント段階での調整指示を可能とする機能として、本実施の形態を適用することが可能である。

また、本実施の形態が適用されるコンピュータプログラムは、コンピュータに対して提供される際に、例えばコンピュータにインストールされた状態にて提供される場合の他、コンピュータに実行させるプログラムをコンピュータが読取可能に記憶した記憶媒体にて提供される形態が考えられる。この記憶媒体としては、例えば各種ＤＶＤやＣＤ−ＲＯＭ媒体、カード型記憶媒体等が該当し、上記の各コンピュータに設けられたＤＶＤやＣＤ−ＲＯＭ読取装置、カード読み取り装置等によってプログラムが読み取られる。そして、各コンピュータに設けられたＨＤＤやフラッシュＲＯＭ等の各種メモリにこのプログラムが格納され、ＣＰＵにて実行される。また、これらのプログラムは、例えば、プログラム伝送装置からネットワークを介してコンピュータに提供される形態もある。

本発明の活用例としては、例えばプリンタ等の画像形成装置に接続されるコンピュータ、インターネット等を介して情報を提供するサーバ、デジタルカメラ、また、これらの各種コンピュータ機器にて実行されるプログラム等への活用がある。

本実施の形態が適用される画像処理システムの全体構成例を示した図である。 本実施の形態における画像処理を実行するための画像処理サーバの機能を示すブロック図である。 画像処理サーバにて実行される処理を示すフローチャートである。 (ａ)〜(ｄ)は、処理画像の有する幾何特徴量の抽出工程を説明するための図である。 画質特徴量の抽出工程を説明するためのフローチャートである。 テンプレート情報格納部に格納されているテンプレート画像とテンプレート情報(テンプレート属性情報)を説明するための図である。 (ａ)〜(ｃ)は、４枚の画像についてテンプレート画像に基づく補正が施され、統合レイアウト処理が施されて合成画像が出力される例を示した図である。

符号の説明

１…画像処理サーバ、２…画像データベースサーバ、３…画像データベース(画像ＤＢ)、４…デジタルカメラ、５…画像転送装置、６…表示装置、７…プリンタ、８…印刷用画像処理装置、９…ネットワーク、１１…画像入力部、１２…番号付与・総数カウント処理部、１３…画像出力部、２１…テンプレート選択入力部、２２…テンプレート情報格納部、２３…テンプレート情報読み出し部、３０…補正量算出機能、３１…画像特徴量抽出部、３２…画像特徴量解析部、３３…画像補正量算出部、４０…画像処理機能、４１…幾何特徴量補正部、４２…画質補正部、４３…背景処理部、４４…合成処理部

Claims (10)

1. 所定の領域にデジタル画像を合成するテンプレート画像の属性情報であるテンプレート情報を格納するテンプレート情報格納手段から当該テンプレート情報を読み出す読み出し手段と、
   前記テンプレート画像に合成される前記デジタル画像に対して２値化処理を行い、当該２値化処理がなされた当該デジタル画像が有する幾何特徴量を解析する特徴量解析手段と、
   前記特徴量解析手段により解析された前記幾何特徴量と前記読み出し手段により読み出された前記テンプレート情報とに基づいて、前記デジタル画像の画像補正量を算出する画像補正量算出手段と
   を含む画像処理装置。
2. 前記特徴量解析手段は、前記２値化処理がなされた前記デジタル画像に対して更にラベリング処理を行い、当該ラベリング処理がなされた当該デジタル画像が有する前記幾何特徴量を解析することを特徴とする請求項１記載の画像処理装置。
3. 前記特徴量解析手段は、前記ラベリング処理がなされた前記デジタル画像において、ラベリングされた画像要素を全て含む最大外接矩形を更に算出することにより、前記幾何特徴量として、ラベリングされた当該画像要素の集合である主要被写体の位置を解析することを特徴とする請求項２記載の画像処理装置。
4. 前記画像補正量算出手段により算出された画像補正量を用いて前記デジタル画像の幾何特徴量を補正する補正手段を更に備えたことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記補正手段により補正された前記デジタル画像を、他のデジタル画像とともに統合レイアウトして出力する出力手段を更に備えたことを特徴とする請求項４記載の画像処理装置。
6. デジタル画像を画像格納手段から読み出すステップと、
   読み出された前記デジタル画像が合成されるテンプレート画像の選択を受けるステップと、
   選択された前記テンプレート画像の属性情報であるテンプレート情報をテンプレート情報格納手段から取得するステップと、
   前記デジタル画像に対して２値化処理を行い、当該２値化処理がなされた当該デジタル画像の有する幾何特徴量を解析するステップと、
   取得された前記テンプレート情報を用いて、解析された前記幾何特徴量を補正し、前記デジタル画像を前記テンプレート画像に貼り付けるステップと
   を含む画像処理方法。
7. 前記テンプレート画像に貼り付けるステップは、複数からなる前記デジタル画像を統合レイアウト処理して貼り付けることを特徴とする請求項６記載の画像処理方法。
8. 補正される前記幾何特徴量は、前記テンプレート画像の有する貼り付け位置に対する前記デジタル画像の主要被写体の位置であることを特徴とする請求項６記載の画像処理方法。
9. コンピュータに、
   所定の領域にデジタル画像を合成するテンプレート画像の属性情報であるテンプレート情報を格納するテンプレート情報格納手段から当該テンプレート情報を読み出す機能と、
   前記テンプレート画像に合成される前記デジタル画像に対して２値化処理を行い、当該２値化処理がなされた当該デジタル画像が有する幾何特徴量を解析する機能と、
   解析された前記幾何特徴量と読み出された前記テンプレート情報とに基づいて、前記デジタル画像の画像補正量を算出する機能と
   を実現させるプログラム。
10. 算出された前記画像補正量を用いて前記デジタル画像を補正する機能と、
    補正された前記デジタル画像を、所定の格納手段から読み出された前記テンプレート画像に合成する機能とを前記コンピュータに更に実現させる請求項９記載のプログラム。

Images