JP6794835B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

特許文献１は、境界領域を違和感なく合成するために、ソース画像とターゲット画像の境界上の画素値が一致することを条件として、境界領域においてコスト関数を定義し、最適化問題を解くことを提案している。

特許第４３１６５７１号公報

ところが、ソース画像のダイナミックレンジ幅を変更することなくターゲット画像に貼り付け、その後、境界領域の画素値が一致するようにソース画像内の画素値を全体的にシフトする手法では、境界領域におけるターゲット画像とソース画像の輝度差が大きい場合に、ソース画像を貼り付けた領域部分に白飛びや黒潰れが生じるおそれがある。また、貼り付け合成後にソース画像を貼り付けた領域部分のダイナミックレンジ幅だけを調整する手法では、調整された領域部分とターゲット画像とのつなぎ目が目立つおそれがある。

本発明は、ソース画像のダイナミックレンジ幅を変更することなくターゲット画像に貼り付ける場合に比べ、ソース画像を貼り付けた領域部分での白飛びや黒潰れを抑制しながらも、ソース画像とターゲット画像のつなぎ目を目立たせなくすることを目的とする。

請求項１に記載の発明は、貼り付け先の第１の画像に貼り付けられる第２の画像のダイナミックレンジを、当該第１の画像のうち当該第２の画像と接することになる領域部分の画素情報に応じて補正する補正部と、ダイナミックレンジの補正後に前記第１の画像との境界が目立たないように画素情報が補正された前記第２の画像を、前記第１の画像に貼り付ける貼付部とを有する画像処理装置である。
請求項２に記載の発明は、前記貼付部は、ダイナミックレンジが補正された後の前記第２の画像が前記第１の画像と滑らかに接続されるように当該第２の画像の画素情報を補正することを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記貼付部は、前記第１の画像と前記第２の画像との境界領域から当該第２の画像を構成する各画素までの距離に応じて当該第２の画像の画素情報を補正することを特徴とする請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記貼付部は、前記第１の画像と前記第２の画像との境界領域における当該第１の画像の画素情報と当該第２の画像の画素情報を一致させた状態で、当該第２の画像を構成する各画素と周辺画素との勾配情報が保存されるように、当該第２の画像が貼り付けられる領域部分の当該第１の画像の画素情報を補正することを特徴とする請求項２に記載の画像処理装置である。
請求項５に記載の発明は、前記補正部は、貼り付け前の前記第２の画像の外縁領域の画素情報と、当該第２の画像と接することになる領域部分の画素情報との差分に応じて、ダイナミックレンジの補正量を決定することを特徴とする請求項１に記載の画像処理装置である。
請求項６に記載の発明は、前記補正部は、前記第２の画像のダイナミックレンジの圧縮量が予め定めた値より大きくなる場合、前記第１の画像のダイナミックレンジも圧縮することを特徴とする請求項５に記載の画像処理装置である。
請求項７に記載の発明は、コンピュータに、貼り付け先の第１の画像に貼り付けられる第２の画像のダイナミックレンジを、当該第１の画像のうち当該第２の画像と接することになる領域部分の画素情報に応じて補正させる機能と、ダイナミックレンジの補正後に前記第１の画像との境界が目立たないように画素情報が補正された前記第２の画像を、前記第１の画像に貼り付けさせる機能とを実行させるプログラムである。

請求項１記載の発明によれば、第２の画像のダイナミックレンジ幅を変更することなく第１の画像に貼り付ける場合に比べ、第２の画像を貼り付けた領域部分での白飛びや黒潰れを抑制しながらも、第２の画像と第１の画像のつなぎ目を目立たせなくすることができる。
請求項２記載の発明によれば、第２の画像と第１の画像とのつなぎ目を滑らかに接続できる。
請求項３記載の発明によれば、第２の画像と第１の画像とのつなぎ目を滑らかに接続できる。
請求項４記載の発明によれば、第２の画像と第１の画像とのつなぎ目を滑らかに接続できる。
請求項５記載の発明によれば、第２の画像のダイナミックレンジ幅を変更することなく第１の画像に貼り付ける場合に比べ、第２の画像を貼り付けた領域部分での白飛びや黒潰れを抑制できる。
請求項６記載の発明によれば、第２の画像のダイナミックレンジの圧縮量によらず第２の画像のみを圧縮補正する場合に比べ、自然な合成画像を得ることができる。
請求項７記載の発明によれば、第２の画像のダイナミックレンジ幅を変更することなく第１の画像に貼り付ける場合に比べ、第２の画像を貼り付けた領域部分での白飛びや黒潰れを抑制しながらも、第２の画像と第１の画像のつなぎ目を目立たせなくすることができる。

実施の形態に係る画像処理装置のハードウェア構成例を示すブロック図である。 貼り付け対象としてのソース画像Ｓと貼り付け先としてのターゲット画像Ｔとの関係を説明する図である。 本実施の形態に係る制御部の機能構成１を示すブロック図である。 ソース画像ＳのダイナミックレンジＤ_Ｓとターゲット画像側境界ＢＴにおけるターゲット画像Ｔ側のダイナミックレンジＤ_Ｔとの関係を説明する図である。 滑らかな接続が求められる領域部分を説明する図である。 差分値計算部で実行される処理動作例を示すブロック図である。 重みλ_ｉの計算で使用するｗ_ｉの算出過程を説明する図である。 本実施の形態に係る制御部の機能構成２を示すブロック図である。 本実施の形態に係る制御部の機能構成３を示すブロック図である。 位置ｐと近傍画像との位置関係を説明する図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜画像処理装置の構成＞
以下、添付図面を参照して、本発明の実施の形態について説明する。
図１は、実施の形態に係る画像処理装置１のハードウェア構成例を示すブロック図である。
本実施の形態に係る画像処理装置１は、画像処理演算を実行すると共に装置を構成する各部の動作を制御する制御部１００と、画像データ等を記憶する記憶部２００と、処理対象とする画像や処理結果を表示する表示部３００と、装置に対するユーザの指示の受け付けに使用される操作部４００と、処理対象とする画像データの取得に用いられる画像取得部５００と、各部を接続するバス６００とを有している。

制御部１００は、不図示のＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を含む、いわゆるコンピュータとして構成される。
ＲＯＭは、ＣＰＵにより実行される制御プログラムを記憶している。ＣＰＵは、ＲＯＭに記憶されているプログラムを読み出し、ＲＡＭを作業エリアに使用してプログラムを実行する。ＣＰＵによるプログラムの実行を通じ、後述するダイナミックレンジ補正部１１０（図３参照）等の機能が実現される。

なお、ＣＰＵによって実行されるプログラムは、制御部１００内のＲＯＭではなく、画像処理装置１の外部で接続された記憶装置に記憶されていてもよい。例えばプログラムは、磁気記録媒体（磁気テープ、磁気ディスク等）、光記録媒体（光ディスク等）、光磁気記録媒体、半導体メモリ等のコンピュータが読取可能な記録媒体に記憶されていてもよい。
また、ＣＰＵによって実行されるプログラムは、インターネット等の通信手段を用いて、画像処理装置１にダウンロードされてもよい。

記憶部２００は、例えばハードディスク装置により構成され、貼り付け先となるターゲット画像や貼り付けられるソース画像に対応する画像データを含む各種のデータが記憶される。記憶部２００には、制御部１００で実行されるプログラムが記憶されていてもよい。
表示部３００は、例えば液晶ディスプレイや有機ＥＬ（organic electroluminescence）ディスプレイ等により構成され、制御部１００による制御の下、貼り付け合成で扱うソース画像やターゲット画像を表示する。

操作部４００は、ユーザの操作を受け付ける入力装置であり、例えば液晶ディスプレイの表面側に配置されるタッチパネル、マウス、キーボード等により構成される。
画像取得部５００は、処理対象とする画像データの取得に用いられる装置であり、例えば外部機器との接続インタフェースにより構成される。画像取得部５００により取得された画像データは、記憶部２００に記憶される。

＜用語＞
図２は、貼り付け対象としてのソース画像Ｓと貼り付け先としてのターゲット画像Ｔとの関係を説明する図である。
図２の場合、ソース画像Ｓは、ｘ軸方向及びｙ軸方向のいずれに対しても、ターゲット画像Ｔより短く、ソース画像Ｓの全体がターゲット画像Ｔに含まれる。ここでのソース画像Ｓは、請求の範囲における「第２の画像」の一例であり、ターゲット画像Ｔは「第１の画像」の一例である。
なお、本実施の形態における制御部１００は、ソース画像Ｓをターゲット画像Ｔに貼り付け合成した際に、２つの画像の重複部分（合成領域ＣＲ）で白飛び又は黒潰れが生じないように、かつ、画像間のつなぎ目が目立たないように合成処理するものであるので、ソース画像Ｓがターゲット画像Ｔより常に小さい必要はない。

ソース画像Ｓの外縁部分は、貼り付け合成後のソース画像側境界ＢＳを与える。一方、ソース画像Ｓの貼り付け先となるターゲット画像Ｔ側の部分領域（すなわち合成領域ＣＲ）の外縁部分は、貼り付け合成後のターゲット画像側境界ＢＴを与える。以下では、ソース画像側境界ＢＳとターゲット画像側境界ＢＴを合わせて合成境界ともいう。
貼り付け合成によって生成される合成画像において、ソース画像側境界ＢＳ上の画素とターゲット画像側境界ＢＴの画素は隣接画素となる。
合成領域ＣＲは、ソース画像Ｓの貼り付け作業中又は貼り付け作業の完了時点で、ソース画像Ｓと重なっているターゲット画像Ｔ側の部分領域をいう。

本実施の形態において、合成境界が目立たないとは、ソース画像側境界ＢＳとターゲット画像側境界ＢＴとを視覚的に判別できないほどに各境界に位置する画素の明るさ（輝度、明度等）や色差が小さいことをいう。より具体的には、合成境界における明るさの変化や色の変化が、ソース画像Ｓとターゲット画像Ｔの間で滑らか（連続的）であることをいう。

＜画像処理装置の機能構成＞
以下では、制御部１００によるプログラムの実行を通じて実現される機能構成について説明する。
プログラムの実行を通じて実現される機能構成は様々であるが、以下では、便宜的に機能構成１、機能構成２、機能構成３と呼ぶ。

＜機能構成１＞
図３は、本機能構成に係る制御部１００の機能構成１を示すブロック図である。
本機能構成に係る制御部１００は、ソース画像Ｓと接するターゲット画像Ｔの画素情報（ターゲット画像側境界ＢＴの画素情報）に応じてソース画像Ｓのダイナミックレンジ幅を補正するダイナミックレンジ補正部１１０と、ダイナミックレンジ幅を補正した後のソース画像（すなわち、補正ソース画像Ｓ’）とターゲット画像側境界ＢＴとの間で画素値の差分値を計算する差分値計算部１１１と、算出された差分値に基づいてターゲット画像Ｔとのつなぎ目が目立たないように補正ソース画像Ｓ’を補正してターゲット画像Ｔに合成する合成部１１２として機能する。
ここでのダイナミックレンジ補正部１１０は、請求の範囲における「補正部」の一例であり、差分値計算部１１１と合成部１１２は、請求の範囲における「貼付部」の一例である。

＜ダイナミックレンジ補正部の処理動作＞
ダイナミックレンジ補正部１１０は、ソース画像ＳのダイナミックレンジＤ_Ｓを、貼り付け合成後に白飛びや黒潰れが生じないように、ターゲット画像側境界ＢＴの画素値に基づいて補正する機能部分である。
図４は、ソース画像ＳのダイナミックレンジＤ_Ｓとターゲット画像側境界ＢＴにおけるターゲット画像Ｔ側のダイナミックレンジＤ_Ｔとの関係を説明する図である。
以下では、ソース画像Ｓとターゲット画像Ｔが、０〜２５５の階調値を有する８ビットのＲＧＢ画像であるものとして説明する。

まず、ダイナミックレンジ補正部１１０は、ターゲット画像Ｔのターゲット画像側境界ＢＴに位置する画素の平均値Ｒ_ａｖｅ、Ｇ_ａｖｅ、Ｂ_ａｖｅを、式１〜式３により求める。

ここで、Ω_ｂはターゲット画像側境界ＢＴを意味し、ｎ_ｂはターゲット画像側境界ＢＴ上に位置する画素の数（画素数）を意味する。Ｒ_Ｔ（ｉ,ｊ）はターゲット画像側境界ＢＴに位置するＲ（赤）画素の値であり、Ｇ_Ｔ（ｉ,ｊ）はターゲット画像側境界ＢＴに位置するＧ（緑）画素の値であり、Ｂ_Ｔ（ｉ,ｊ）は、ターゲット画像側境界ＢＴに位置するＢ（青）画素の値である。
平均値Ｒ_ａｖｅ、Ｇ_ａｖｅ、Ｂ_ａｖｅが求まれば、ターゲット画像側境界ＢＴでの飽和値までのダイナミックレンジＤ_Ｔが確定する。各色について白飛びが生じるまでのダイナミックレンジの幅は、それぞれ２５５−平均値で計算される。黒潰れが生じるまでのダイナミックレンジの幅は、各色の平均値そのものである。

次に、ダイナミックレンジ補正部１１０は、ソース画像Ｓに含まれる画素のＲ画素のダイナミックレンジＤ_ＳＲ、Ｇ画素のダイナミックレンジＤ_ＳＧ、Ｂ画素のダイナミックレンジＤ_ＳＢを式４〜式６により求める。なお、ソース画像Ｓのうち一部分だけがターゲット画像Ｔと重なる場合には、重複部分について以下の計算処理が実行される。
Ｄ_ＳＲ＝ｍａｘ（Ｒ_Ｓ（ｉ,ｊ）)−ｍｉｎ（Ｒ_Ｓ（ｉ,ｊ））…式４
Ｄ_ＳＧ＝ｍａｘ（Ｇ_Ｓ（ｉ,ｊ）)−ｍｉｎ（Ｇ_Ｓ（ｉ,ｊ））…式５
Ｄ_ＳＢ＝ｍａｘ（Ｂ_Ｓ（ｉ,ｊ）)−ｍｉｎ（Ｂ_Ｓ（ｉ,ｊ））…式６
ここで、Ｒ_Ｓ（ｉ,ｊ）はソース画像Ｓ内の位置（ｉ，ｊ）におけるＲ（赤）画素の値であり、Ｇ_Ｓ（ｉ,ｊ）はソース画像Ｓ内の位置（ｉ，ｊ）におけるＧ（緑）画素の値であり、Ｂ_Ｓ（ｉ,ｊ）はソース画像Ｓ内の位置（ｉ，ｊ）におけるＢ（青）画素の値である。以下では、単にＲ_Ｓ、Ｇ_Ｓ、Ｂ_Ｓとも表記する。

式４〜式６では、Ｒ画素、Ｇ画素、Ｂ画素のそれぞれについて、最大値から最小値を減算した値を、そのままダイナミックレンジＤ_Ｓとして算出しているが、ノイズ等の影響により誤った値が最大値や最小値として決定される可能性を排除する処理を追加で実行してもよい。
例えば画素値のうち大きい側から数％に含まれる画素値の平均値を最大値として使用し、画素値のうち小さい側から数％に含まれる画素値の平均値を最小値として使用してもよい。

続いて、ダイナミックレンジ補正部１１０は、ダイナミックレンジＤ_Ｓを圧縮するための圧縮倍率Ｃ_Ｒ、Ｃ_Ｇ、Ｃ_Ｂを計算する。この際、ダイナミックレンジ補正部１１０は、ソース画像Ｓに含まれる全画素の画素値の平均を計算し、算出された画素値を、ターゲット画像側境界ＢＴに位置する画素の平均値Ｒ_ａｖｅ、Ｇ_ａｖｅ、Ｂ_ａｖｅと比較する。
ソース画像Ｓ側の画素値の平均の方がターゲット画像側境界ＢＴに位置する画素の平均値Ｒ_ａｖｅ、Ｇ_ａｖｅ、Ｂ_ａｖｅをより大きければ白飛びの可能性があり、小さければ黒潰れの可能性がある。

ここで、ソース画像Ｓ側のダイナミックレンジＤ_Ｓがターゲット画像側境界ＢＴにおける飽和値までのダイナミックレンジＤ_Ｔよりも狭い場合には、白飛び等のおそれがないため後述する圧縮のための処理をスキップできる。
本実施の形態では、ターゲット画像側境界ＢＴにおける飽和値までのダイナミックレンジＤ_Ｔよりも、ソース画像Ｓ側のダイナミックレンジＤ_Ｓが広く、ダイナミックレンジＤ_Ｓの圧縮が必要な場合を想定する。
この場合、ダイナミックレンジ補正部１１０は、式７〜式９により圧縮率Ｃ_Ｒ、Ｃ_Ｇ、Ｃ_Ｂを算出する。
Ｃ_Ｒ＝（２５５−Ｒ_ａｖｅ）／Ｄ_ＳＲ …式７
Ｃ_Ｇ＝（２５５−Ｇ_ａｖｅ）／Ｄ_ＳＧ …式８
Ｃ_Ｂ＝（２５５−Ｂ_ａｖｅ）／Ｄ_ＳＢ …式９
ここで、Ｃ_ＲはＲ（赤）の圧縮倍率であり、Ｃ_ＧはＧ（緑）の圧縮倍率であり、Ｃ_ＢはＢ（青）の圧縮倍率である。

ダイナミックレンジ補正部１１０は、式７〜式９で求められた圧縮倍率Ｃ_Ｒ、Ｃ_Ｇ、Ｃ_Ｂを式１０〜式１２に適用し、ソース画像ＳのＲ（赤）画素値、Ｇ（緑）画素値、Ｂ（青）画素値のダイナミックレンジＤ_Ｓを圧縮補正する。
Ｒ’_Ｓ＝Ｃ_Ｒ｛Ｒ_Ｓ−ｍｉｎ（Ｒ_Ｓ）｝＋ｍｉｎ（Ｒ_Ｓ） …式１０
Ｇ’_Ｓ＝Ｃ_Ｇ｛Ｇ_Ｓ−ｍｉｎ（Ｇ_Ｓ）｝＋ｍｉｎ（Ｇ_Ｓ） …式１１
Ｂ’_Ｓ＝Ｃ_Ｂ｛Ｂ_Ｓ−ｍｉｎ（Ｂ_Ｓ）｝＋ｍｉｎ（Ｇ_Ｓ） …式１２
ここで、Ｒ’_Ｓは補正ソース画像Ｓ’のＲ画素値であり、Ｇ’_Ｓは補正ソース画像Ｓ’のＧ画素値であり、Ｂ’_Ｓは補正ソース画像Ｓ’のＢ画素値である。
ここでの圧縮により、ソース画像Ｓ内に含まれる各画素の画素値は、各色の最小値の方向に近づけられる。

前述の説明では、Ｒ画素成分、Ｇ画素成分、Ｂ画素成分をそれぞれ処理単位として別々にダイナミックレンジＤ_Ｓを圧縮しているが、例えば明るさ（輝度や明度）に着目し、明るさの差分に応じてＲ画素値、Ｇ画素値、Ｂ画素値のそれぞれを同じ圧縮率で圧縮補正してもよい。
また、前述の説明では、ＲＧＢ色空間上でダイナミックレンジＤ_Ｓを圧縮しているが、ＲＧＢ色空間以外の色空間（例えばＨＳＶ色空間、ＣＩＥＬａｂ色空間、ＸＹＺ色空間、Ｌｕｖ色空間）上での画素値に着目してダイナミックレンジＤ_Ｓを圧縮してもよい。

また、明るさに代えて色差に着目し、色差の大きさに応じてＲ画素値、Ｇ画素値、Ｂ画素値のそれぞれを同じ圧縮率でダイナミックレンジＤ_Ｓを圧縮してもよい。
なお、常にダイナミックレンジＤ_Ｓを圧縮するのではなく、明るさの差分や色差が閾値以上の場合にのみダイナミックレンジＤ_Ｓの圧縮処理を実行してもよい。視覚的につなぎ目が目立たない場合には、ダイナミックレンジＤ_Ｓの圧縮処理を省略することで計算資源を有効活用できる。

また、前述の実施の形態では、白飛びが生じないようにダイナミックレンジＤ_Ｓを圧縮するため、最小値を基準値とし、最小値との差分に応じてダイナミックレンジＤ_Ｓを圧縮しているが、黒潰れが生じないようにダイナミックレンジＤ_Ｓを圧縮する場合には、最大値を基準値とし、最大値との差分に応じてダイナミックレンジＤ_Ｓを圧縮すればよい。

＜差分値計算部の処理動作＞
次に、差分値計算部１１１が実行する処理内容を説明する。
差分値計算部１１１は、補正ソース画像Ｓ’（ソース画像ＳのダイナミックレンジＤ_Ｓを圧縮して生成された画像）をターゲット画像Ｔに貼り付け合成した際に、ソース画像側境界ＢＳがターゲット画像側境界ＢＴの画素と滑らかに接続されるように、補正ソース画像Ｓ’の画素値を補正するための補正量（以下、「合成領域差分Δ」という。）を計算する機能部分である。
図５は、滑らかな接続が求められる領域部分を説明する図である。ダイナミックレンジＤ_Ｓが圧縮された補正ソース画像Ｓ’のソース画像側境界ＢＳの画素値をターゲット画像側境界ＢＴの画素値と一致させただけでは合成境界が目立ってしまう可能性がある。

図６は、差分値計算部１１１で実行される処理動作例を示すブロック図である。
差分値計算部１１１は、補正ソース画像Ｓ’の各画素に対するソース画像側境界ＢＳからの重みを計算する重み計算部１２１と、補正ソース画像Ｓ’とターゲット画像Ｔの合成境界上の画素情報の差分を計算する差分計算部１２２と、計算された重みと差分を用いて補正ソース画像Ｓ’の各画素に対する補正量としての合成領域差分Δを計算する差分値補間計算部１２３とを有している。

重み計算部１２１は、補正ソース画像Ｓ’内の各位置ｘに対する補正ソース画像Ｓ’の合成境界上のｉ番目の画素からの重みλ_ｉを式１３によって求める。

ここで、ｉは補正ソース画像Ｓ’の合成境界上における画素の位置を特定するためのインデックスである。インデックスは、補正ソース画像Ｓ’の合成境界上のある特定の画素位置を０として一方向に（例えば時計回り又は反時計回りに）、補正ソース画像Ｓ’の合成境界上に位置する全ての画素に対して付与される。

ｗ_ｉは式１４によって計算される値である。

図７は、ここでのｗ_ｉやαの図形上の意味を説明する図である。図７において濃い網掛けを付した画素は、合成領域ＣＲに貼り付けられた補正ソース画像Ｓ’の合成境界上にある画素であり、前述したインデックスｉが付与される。図７において薄い網掛けを付した画像は、合成領域ＣＲに貼り付けられた補正ソース画像Ｓ’のうち合成境界を除く位置の画素である。

図中、位置Ｐ_ｉは、インデックスｉで特定される合成境界上にある画素を与える位置ベクトルで表され、位置ｘは、補正ソース画像Ｓ’のうち合成境界を除く位置にある画素を与える位置ベクトルである。
α_ｉは、インデックスｉに対応する位置Ｐ_ｉから位置ｘへのベクトルと、インデックスｉ+１に対応する位置Ｐ_ｉ+１から位置ｘへのベクトルとがなす角である。
なお、計算過程で、インデックスｉがｎ_ｂとなる場合には、インデックス０に置き換えて扱う。

式１４より、位置ｘについてのｗ_ｉは、位置ｘで与えられる画素が補正ソース画像Ｓ’の合成境界に近いほど急激に大きくなり、補正ソース画像Ｓ’の合成境界から遠ざかるほど急激に小さい値となる。
従って、式１３における位置ｘに対する補正ソース画像Ｓ’の合成境界上のｉ番目の画素からの重みλ_ｉは、補正ソース画像Ｓ’の合成境界上における全ての画素（インデックス０〜ｎ_ｂ−１）について計算されたｗ_ｉの合計値に対する各位置Ｐ_ｉに対応するｗ_ｉの比率として与えられる。

図６の説明に戻る。
差分計算部１２２は、ターゲット画像側境界ＢＴに上に位置する画素Ｒ_Ｔ、Ｇ_Ｔ、Ｂ_Ｔと補正ソース画像Ｓ’の合成境界（ソース画像側境界ＢＳ）上に位置する画素Ｒ’_Ｓ、Ｇ’_Ｓ、Ｂ’_Ｓとの差分値ｄＲ_ｉ、ｄＧ_ｉ、ｄＢ_ｉを式１５〜式１７によって求める。
ｄＲ_ｉ＝Ｒ_Ｔ−Ｒ’_Ｓ …式１５
ｄＧ_ｉ＝Ｇ_Ｔ−Ｇ’_Ｓ …式１６
ｄＢ_ｉ＝Ｂ_Ｔ−Ｂ’_Ｓ …式１７

差分値補間計算部１２３は、計算された重み値λ_iと合成境界における差分値ｄ_ｉが与えられると、式１８〜式２０によって合成領域ＣＲに貼り付けられる補正ソース画像Ｓ’内の各画素ｘに対する補正量を与える合成領域差分ΔＲ、ΔＧ、ΔＢを計算する。

ここでの合成領域差分ΔＲ、ΔＧ、ΔＢは、合成境界における画素値の変化が滑らかになるように（又は連続的になるように）、補正ソース画像Ｓ’の各画素ｘの画素値を補正するために用いられる。
式１８、式１９、式２０に示すように、各画素ｘに対する補正量を与える合成領域差分ΔＲ、ΔＧ、ΔＢは、合成境界上に位置する各画素（ｉ＝０〜ｎ_ｂ−１）について計算されるｎ_ｂ個の重みλ_ｉの影響を受けた値となる。すなわち、合成領域差分ΔＲ、ΔＧ、ΔＢは、合成領域ＣＲの外側（ターゲット画像側境界ＢＴ）上に位置する複数の画素との関係で決定される。

より具体的には、合成境界に近くに位置する画素ｘは、最寄りの合成境界上の複数画素の差分値ｄＲ_ｉ、ｄＧ_ｉ、ｄＢ_ｉを平均化するような値として計算され、合成境界から離れた位置の画素ｘは、合成境界の全周に位置する全ての画素における差分値ｄＲ_ｉ、ｄＧ_ｉ、ｄＢ_ｉを平均化したような値として計算される。この結果、つなぎ目部分の変化が滑らかになる。

図３の説明に戻る。
合成部１１２では、差分値計算部１１１で得た合成領域差分Δによってダイナミックレンジ補正部１１０で得た補正ソース画像Ｓ’（ソース画像ＳのダイナミックレンジＤ_Ｓを圧縮補正した後の画像）を修正し、修正済みの補正ソース画像Ｓ’をターゲット画像Ｔ上の合成領域ＣＲに貼り付け合成する。

具体的には、合成領域ＣＲに貼り付けられる補正ソース画像Ｓ’内の各画素ｘについての画素値は、それぞれ式２１〜式２３によって計算される値に修正される。
Ｒ＝Ｒ’_Ｓ＋ΔＲ …式２１
Ｇ＝Ｇ’_Ｓ＋ΔＧ …式２２
Ｂ＝Ｂ’_Ｓ＋ΔＢ …式２３

この修正により、ターゲット画像側境界ＢＴと合成領域ＣＲに貼り付けられた補正ソース画像Ｓ’における境界付近の画素値の変化が滑らかになるように階調レベルがシフトされた修正済みの補正ソース画像Ｓ’が得られ、この画像をターゲット画像Ｔに貼り付け合成することにより合成結果画像Ｏが得られる。
繰り返しになるが、ターゲット画像Ｔの領域部分の画素の画素値は、貼り付け合成の前後で同じ値が用いられる。
以上の手順により作成された合成結果画像Ｏでは、合成領域ＣＲの内部に白飛びや黒潰れは発生せず、しかも貼り付けられた修正済みの補正ソース画像Ｓ’とターゲット画像Ｔとのつなぎ目が目立たないようにできる。

前述の説明では、差分値計算部１１１においてＲ画素値、Ｇ画素値、Ｂ画素値ごとに差分値を計算しているが、ダイナミックレンジＤ_Ｓの圧縮処理と同じく、他の色区間上の要素ごとに差分値を計算してもよい。例えばＨＳＶ色空間におけるＶ（明度）の値を用いる等明るさ（輝度や明度）を利用しても良い。

＜機能構成２＞
ソース画像ＳのダイナミックレンジＤ_Ｓの圧縮率が大きすぎる場合、合成結果画像Ｏに含まれる修正済み補正ソース画像Ｓ’の階調情報が少なくなりすぎる可能性がある。
このような場合には、ターゲット画像ＴのダイナミックレンジＤ_Ｔを若干圧縮し、補正ソース画像Ｓ’の階調表現に必要なダイナミックレンジ幅を確保することが望ましい。

そこで、機能構成２においては、ソース画像ＳのダイナミックレンジＤ_Ｓをいきなり圧縮するのではなく、圧縮率（後述する「ソースダイナミックレンジ補正量」）を予め算出し、圧縮率が予め定めた閾値より小さい場合には、機能構成１と同じくソース画像ＳのダイナミックレンジＤ_Ｓのみを圧縮し、圧縮率が予め定めた閾値より大きい場合には、ターゲット画像ＴのダイナミックレンジＤ_Ｔの圧縮も組み合わせる手法を採用する。

図８は、本実施の形態に係る制御部１００の機能構成２を示すブロック図である。図８には、図３との対応部分に同じ符号を付して示している。
本機能構成に係る制御部１００は、ソース画像Ｓと接するターゲット画像Ｔの画素情報に応じてソース画像ＳのダイナミックレンジＤ_Ｓを算出するソースダイナミックレンジ補正量算出部１１３を更に有している。具体的には、ソースダイナミックレンジ補正量算出部１１３は、機能構成１の式１〜式９までの計算処理を実行し、Ｒ画素についての圧縮倍率Ｃ_Ｒ、Ｇ画素についての圧縮倍率Ｃ_Ｇ、Ｂ画素についての圧縮倍率Ｃ_Ｂを計算する。これらの圧縮率が、ソースダイナミックレンジ補正量として出力される。
ここでのソースダイナミックレンジ補正量算出部１１３は、請求の範囲における「補正部」の一例である。

ソースダイナミックレンジ補正量算出部１１３で算出された圧縮倍率Ｃ_Ｒ、Ｃ_Ｇ、Ｃ_Ｂは、ソースダイナミックレンジ補正量としてダイナミックレンジ補正部１１０’に与えられる。
ダイナミックレンジ補正部１１０’は、入力されたソースダイナミックレンジ補正量（圧縮倍率Ｃ_Ｒ、Ｃ_Ｇ、Ｃ_Ｂ）を閾値と比較する。閾値は、色毎に用意されてもよいし、同じ値を用いてもよい。
圧縮倍率Ｃ_Ｒ、Ｃ_Ｇ、Ｃ_Ｂが閾値より小さい場合は、機能構成１と同じである。すなわち、ダイナミックレンジ補正部１１０’は、ソース画像ＳのダイナミックレンジＤ_Ｓのみを圧縮し、ターゲット画像ＴのダイナミックレンジＤ_Ｔはそのままとする。

一方、圧縮倍率Ｃ_Ｒ、Ｃ_Ｇ、Ｃ_Ｂが閾値より大きい場合、ダイナミックレンジ補正部１１０’は、まずターゲット画像ＴのダイナミックレンジＤ_Ｔを予め定めた割合（例えば１０％）だけ圧縮し、補正ターゲット画像Ｔ’を生成する。この補正ターゲット画像Ｔ’は、差分値計算部１１１及び合成部１１２において、機能構成１におけるターゲット画像Ｔの代わりに用いられる。

補正ターゲット画像Ｔ’が得られると、ダイナミックレンジ補正部１１０’は、機能構成１と同じく、ターゲット画像側境界ＢＴに位置する画素の平均値Ｒ_ａｖｅ、Ｇ_ａｖｅ、Ｂ_ａｖｅを式１〜式３によって計算し、以後は、機能構成１と同じ処理を実行する。
この機能構成２の場合、白潰れや黒潰れがなく、しかも貼り付け部分の境界が目立たないようにソース画像Ｓをターゲット画像Ｔに貼り付けられるという機能構成１の効果に加え、合成結果画像Ｏ内における補正ソース画像Ｓ’の階調情報が少なくなりすぎることもない。

＜機能構成３＞
ここでは、機能構成１から差分値計算部１１１を無くした構成について説明する。このために、本機能構成では、勾配ベースの画像編集技術を補正ソース画像Ｓ’に適用してターゲット画像Ｔに貼り付け合成する場合について説明する。

図９は、本実施の形態に係る制御部１００の機能構成３を示すブロック図である。図９には、図３との対応部分に同じ符号を付して示している。
図９に示すように、本機能構成に係る制御部１００では、勾配ベースの画像編集技術を有する合成部１１２”を使用し、補正ソース画像Ｓ’の勾配情報を残すようにターゲット画像Ｔを補正する。ここでは、勾配ベースの画像編集技術の一例として、Poisson Image Editing手法を用いる。

合成部１１２”は、合成境界における補正ソース画像Ｓ’とターゲット画像Ｔの画素値が一致するという条件のもと、補正ソース画像Ｓ’の画素値の勾配がなるべく保存されるような値を求めるPoisson方程式を解くことで、合成領域ＣＲの画素値を求める。
具体的には、式２４に示す計算を繰り返し実行することにより、ターゲット画像Ｔに補正ソース画像Ｓ’を貼り付けた際に境界部分が目立たないように補正された画素値を求める。

ここで、ｆ_ｐはターゲット画像Ｔ側の合成領域ＣＲ内の位置ｐにおける補正後の画素値であり、f_ｑは位置ｐの近傍画素の補正後の画素値である。

図１０は、位置ｐと近傍画像との位置関係を説明する図である。図１０の例では、位置ｐの上下左右の４画素を位置ｐの近傍画素として利用している。ただし、f_ｐ及びf_ｑの初期値には、補正前の画素値を利用する。
また、ｇ_ｐおよびｇ_ｑは、補正ソース画像Ｓ’における位置ｐの画素値及びその周辺画素の画素値である。従って、分子の第２項は、補正ソース画像Ｓ’における画像の勾配情報である。
Ｎ_ｐは位置ｐにおける近傍画素の数である。例えば図１０の場合は上下左右の４画素であるので、式２４の分母は４となる。

従って、式２４は、位置ｐの画素値を、ターゲット画像Ｔ側での近傍画素の平均画素値と補正ソース画像Ｓ’側での近傍画素との平均勾配値との加算値によって更新することを表している。
つまり、合成部１１２”は、式２４による計算を繰り返し実行することで、ターゲット画像Ｔ側の画像は補正ソース画像Ｓ’に近づくように補正される。ｆ_ｐの値の変化が、予め設定しておいた閾値以下となったら変化が収束したとみなして計算を終了する。この演算処理の結果、最終的な合成領域ＣＲ内の画素値ｆ_ｐが得られ、合成境界におけるターゲット画像Ｔと補正ソース画像Ｓ’とのつなぎ目の変化は滑らかになる。

この計算は、ターゲット画像Ｔと補正ソース画像Ｓ’が例えばＲＧＢ色空間で表現される場合には、Ｒ画素、Ｇ画素、Ｂ画素のそれぞれの値に対して行う。勿論、ターゲット画像Ｔとソース画像Ｓが他の色空間で表現される場合には、各色空間に応じた画素成分について式２４の計算を実行する。

＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…画像処理装置、１００…制御部、１１０、１１０’…ダイナミックレンジ補正部、１１１…差分値計算部、１１２、１１２’、１１２”…合成部、１２１…重み計算部、１２２…差分計算部、１２３…差分値補間計算部、ＢＳ…ソース画像側境界（合成境界）、ＢＴ…ターゲット画像側境界（合成境界）、ＣＲ…合成領域、Ｓ…ソース画像、Ｓ’…補正ソース画像、Ｔ…ターゲット画像、Ｔ’…補正ターゲット画像、Δ…合成領域差分

Claims (7)

1. 貼り付け先の第１の画像に貼り付けられる第２の画像のダイナミックレンジを、当該第１の画像のうち当該第２の画像と接することになる領域部分の画素情報に応じて補正する補正部と、
   ダイナミックレンジの補正後に前記第１の画像との境界が目立たないように画素情報が補正された前記第２の画像を、前記第１の画像に貼り付ける貼付部と
   を有する画像処理装置。
2. 前記貼付部は、ダイナミックレンジが補正された後の前記第２の画像が前記第１の画像と滑らかに接続されるように当該第２の画像の画素情報を補正すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記貼付部は、前記第１の画像と前記第２の画像との境界領域から当該第２の画像を構成する各画素までの距離に応じて当該第２の画像の画素情報を補正すること
   を特徴とする請求項２に記載の画像処理装置。
4. 前記貼付部は、前記第１の画像と前記第２の画像との境界領域における当該第１の画像の画素情報と当該第２の画像の画素情報を一致させた状態で、当該第２の画像を構成する各画素と周辺画素との勾配情報が保存されるように、当該第２の画像が貼り付けられる領域部分の当該第１の画像の画素情報を補正すること
   を特徴とする請求項２に記載の画像処理装置。
5. 前記補正部は、貼り付け前の前記第２の画像の外縁領域の画素情報と、当該第２の画像と接することになる領域部分の画素情報との差分に応じて、ダイナミックレンジの補正量を決定すること
   を特徴とする請求項１に記載の画像処理装置。
6. 前記補正部は、前記第２の画像のダイナミックレンジの圧縮量が予め定めた値より大きくなる場合、前記第１の画像のダイナミックレンジも圧縮すること
   を特徴とする請求項５に記載の画像処理装置。
7. コンピュータに、
   貼り付け先の第１の画像に貼り付けられる第２の画像のダイナミックレンジを、当該第１の画像のうち当該第２の画像と接することになる領域部分の画素情報に応じて補正させる機能と、
   ダイナミックレンジの補正後に前記第１の画像との境界が目立たないように画素情報が補正された前記第２の画像を、前記第１の画像に貼り付けさせる機能と
   を実行させるプログラム。

Images