JP4911191B2

JP4911191B2 - 画像処理装置および画像処理プログラム

Info

Publication number: JP4911191B2
Application number: JP2009093998A
Authority: JP
Inventors: 貴世森川; 麻理杉原
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-04-08
Filing date: 2009-04-08
Publication date: 2012-04-04
Anticipated expiration: 2029-04-08
Also published as: US20100260438A1; JP2010244398A

Description

本発明は、画像処理装置および画像処理プログラムに関する。

デジタルカメラなどで撮影した画像に所望の被写体以外の物体が写っていた場合には、従来は、例えば、指定した場所の色や質感を表す微小な画像を用いて、撮影画像において所望の被写体以外の物体が写っている部分を塗りつぶしていく機能(コピーブラシ機能など)を使って、手作業での加工・修正が行われている。

また、同様の加工・修正技術としては、所望の被写体以外の物体が写っている部分のように不要な部分を撮影画像から除去し、その周囲の色や質感を除去部分に伸張することで補間する技術(特許文献１参照)や、帽子などの影で顔の一部を、目や鼻などを表すサンプル画像を利用して補間する技術(特許文献２参照)などが提案されている。

また、膨大なサンプル画像から、加工対象の画像に含まれる不要な部分とそれ以外の部分との境界に自然につながる部分を持つ画像を見つけ出し、見つけた画像の一部を用いて不要な部分の画像を置き換える技術も提案されている(非特許文献１参照)。

特開平６−６５５１９号公報特開２００７−２２６６５５号公報

"Scene Completion Using Millions of photographs",James Hays, Alexei A. Efros. ACM SIGGRAPH 2007 conference proceedings.

手作業による加工・修正では、細かい修正が可能な反面、作業そのものが非常に煩雑である上、作業を実行する人物の知識や経験、技量に加工・修正作業結果が大きく左右されてしまう。

このため、加工・修正作業の自動化が望まれている。

特許文献１，２の技術では、修正作業をある程度自動化することが可能である。しかしながら、特許文献１の技術では、修正部分が大きくなると対応することが困難になり、また、特許文献２の技術では、顔の一部が欠損した場合の修正に作業対象が限られている。

一方、非特許文献１の技術では、広い範囲を除去して他の画像の適切な部分をはめ込むことが可能である。しかしながら、はめ込みに適した候補を見つけるためには、膨大な画像を蓄積したデータベースが必要である。また、その中から候補画像を探し出す処理にも、また、更に、はめ込んだ画像と元の画像との境界の不自然さを解消するための境界処理に大きな処理能力を要する。

上述したように、撮影画像を撮影画像内の一部や別の画像を利用して加工・修正して撮影画像を改装する従来技術は、加工・修正できる範囲や対象に制限があったり、加工・修正処理に膨大な画像情報資源や処理時間を要したりするため、一般の利用者にとって必ずしも使いやすいものではなかった。

本発明は、撮影画像に含まれる加工・修正の対象の種類や大きさにかかわらず、手軽に撮影画像を加工・修正して改装することが可能な画像処理装置および画像処理プログラムを提供することを目的とする。

上述した目的は、以下に開示する画像処理装置および画像処理プログラムによって達成することができる。

第１の観点の画像処理装置は、撮影画像の一部を覆うように重ねて配置可能であって、撮影画像によって表されるシーンを表す画像と自然な境界を形成する物体の画像および３次元モデルの少なくとも一方を含む複数のオブジェクトが蓄積されたオブジェクトデータベースと、撮影画像によって表されるシーンの特徴に基づいて、オブジェクトデータベースから少なくとも一つのオブジェクトを検索する検索手段と、撮影画像に選択されたオブジェクトの少なくとも一つを表す画像を撮影画像の一部を覆うように重ねあわせて合成する合成手段とを備え、オブジェクトデータベースに含まれる各画像は、当該画像の境界と画像に捉えられた物体の輪郭とが一致している画像である。

また、第２の観点の画像処理プログラムは、撮影画像の一部を覆うように重ねて配置可能であって、撮影画像によって表されるシーンを表す画像と自然な境界を形成する物体の画像および３次元モデルの少なくとも一方を含む複数のオブジェクトが蓄積されたオブジェクトデータベースにアクセス可能なコンピュータに読み込まれて実行される画像処理プログラムであって、撮影画像によって表されるシーンの特徴に基づいて、オブジェクトデータベースから少なくとも一つのオブジェクトを検索する検索手順と、撮影画像に選択されたオブジェクトの少なくとも一つを表す画像を撮影画像の一部を覆うように重ねあわせて合成する合成手順とを備え、オブジェクトデータベースに含まれる各画像は、当該画像の境界と画像に捉えられた物体の輪郭とが一致している画像である。

上述した基本構成を備える画像処理装置および画像処理プログラムによれば、撮影画像にこの撮影画像と自然な境界を形成するオブジェクトを表す画像を重ね合わせることにより、撮影画像に加工・修正を加えた部分と他の部分との境界の不自然さを解消する処理を省略することができる。

これにより、従来技術で境界の不自然さを解消するために必要とされていた膨大な画像資源や膨大な処理コストを不要とすることができるので、撮影画像を加工・修正して改装する作業を手軽に実現することができる。

画像処理装置の実施形態を示す図である。撮影画像の改装動作を表す流れ図である。撮影画像を改装する処理を説明する図である。画像処理装置の別実施形態を示す図である。画像処理装置の別実施形態を示す図である。撮影画像を改装する処理を説明する図である。

以下、図面に基づいて、本発明の実施形態について詳細に説明する。
(実施形態１)
図１に、画像処理装置の一実施形態を示す。

図１に示した画像処理装置１１は、画像メモリ１０に格納された撮影画像をオブジェクトデータベース１２に登録されたオブジェクト(後述する)を用いて、入力装置１３を介して入力される利用者の指示に従って後述するようにして加工する。この画像処理装置１１による加工処理によって改装された画像(以下、改装画像と称する)は、画像表示部１４を介して利用者に提供されるとともに、画像記録部１５を介してメモリーカードなどの記憶媒体１６に記録される。

オブジェクトデータベース１２には、例えば、山、海辺、市街地のような代表的な撮影シーンごとに分類データベース(ＤＢ)が設けられており、各分類データベースには、それぞれの撮影シーンの構図に含まれていることが多い物体の画像や３次元モデルが登録されている。例えば、山岳を主要な被写体とする撮影シーンに対応する分類データベースには、多種多様な樹木や岩石のような物体を表す画像あるいは３次元モデルや、山や崖などの地形を表す画像あるいは３次元モデルを登録することができる。

これらの分類データベースに登録される画像は、例えば、樹木を撮影して得られた画像から樹木の部分のみを切り抜いて得られる画像であり、背景となる部分を含んでいない。このように画像の境界と画像に捉えられた物体の輪郭とが一致している画像および物体の３次元モデルとを合わせて、本明細書ではオブジェクトと称する。

以下、図１に示した画像処理装置により、撮影画像の一部を、オブジェクトを重ねて合成することにより不可視化する加工を行い、加工後の改装画像を出力する方法について詳細に説明する。

図２に、撮影画像の改装動作を表す流れ図を示す。また、図３に、撮影画像を改装する処理を説明する図を示す。

図１に示した画像処理装置１１において、不可視範囲特定部２１は、例えば、画像メモリ１０に保持された撮影画像を画像表示部１４に表示して、利用者に不可視化したい領域の指定を促し、入力装置１３を介して入力された利用者の指示で指定された領域を不可視範囲として特定する(図２のステップＳ１)。例えば、図３(ａ)に示したように、風景を撮影した撮影画像に意図せずに無関係の人物(図３(ａ)において破線で囲んで示す)が写ってしまう場合がある。このような場合に、利用者は、入力装置１３を介して破線で囲んだ人物を不可視化したい対象として指定することができる。このような指示に応じて、不可視範囲特定部２１により、例えば、人物の輪郭を抽出する処理が行われ、この輪郭およびその内側が不可視範囲として特定される。

このようにして特定された不可視範囲の画像と、不可視範囲以外の撮影画像とは、図３(ｂ)に示すように分離され、それぞれについて、シーン認識処理部２２により、パターンマッチング技術などを用いた画像解析が行われる。

不可視範囲が除去された撮影画像については、シーン認識処理により、主要な被写体(図３(ａ)、(ｂ)に示した例では、山の風景および左側の樹木)の形状や配置などに基づいて、撮影画像によって表されるシーンが判別される(ステップＳ２)。このとき、シーン認識処理部２２により、不可視範囲が除去された撮影画像を解析して色合いの特徴やテクスチャの特徴を示す情報を取得することにより、撮影画像が表すシーンについて、撮影された季節や主要な被写体の特徴などを含む詳細な情報を得ることができる。なお、図３(ｂ)に示した不可視範囲が除去された撮影画像において、除去された部分を点線で囲んで示した。

また、不可視範囲として分離された画像についての画像解析処理により、シーン認識処理部２２は、この不可視範囲の画像によって表される物体を判別し、この判別結果に基づいて、例えば、判別された物体(図３の例では人物)の概略の大きさを推定することができる(図２のステップＳ３)。

このようにして得られたシーン認識処理部２２による認識結果に基づいて、オブジェクトデータベース１２の対応する分類データベースから撮影画像の特徴と類似した特徴を持つオブジェクトを検索する(図２のステップＳ４)。このとき、オブジェクト検索部２３は、上述したステップＳ３で得られた不可視範囲の画像で表される物体の大きさを参考にして、ほぼ同等の大きさの物体を表すオブジェクトに限定して検索を行うようにすることもできる。オブジェクト検索部２３によって検索されたオブジェクトは、撮影画像の加工に適用される候補オブジェクトとして、後述する撮影画像との合成処理に供される。

また、図１に示した結像状態解析部２５は、上述したようにして特定された不可視範囲の画像を不可視範囲特定部２１から受け取り、この不可視範囲の画像に含まれるエッジの幅やコントラストの強さなどを解析して画像のボケ具合を評価する(図２のステップＳ５)。

この評価結果に基づいて、画像調整処理部２６により、オブジェクト検索部２３から渡された候補オブジェクトを表す画像に対して、例えば、平均化フィルタを適用するなどの調整処理を行うことにより(図２のステップＳ６)、上述した不可視範囲の画像のボケ具合に近づけた候補オブジェクト画像を得ることができる。なお、候補オブジェクトが３次元モデルである場合には、例えば、画像調整処理部２６により、利用者からの指示に従って所望の方向から見た物体の画像を生成し、この画像を候補オブジェクト画像として上述した調整処理を行う。

このようにして調整された候補オブジェクト画像を画像合成処理部２７に渡し、画像合成処理部２７により、上述した不可視範囲特定部２１で特定された不可視範囲を覆うように撮影画像に重ねて合成することにより(図２のステップＳ７)、図３(ｃ)に示すように、撮影画像に意図せず捉えられた人物の像を候補オブジェクト画像(例えば、樹木の画像)によって隠して不可視とした改装画像を得ることができる。

上述したようにしてオブジェクトデータベース１２から検索され、画像調整処理部２６によって調整された候補オブジェクト画像は、元の撮影画像にそのまま重ねるだけで、元の撮影画像との間に自然な境界を形成することができる。したがって、撮影画像とは別の画像の一部を抜き出して貼り付けた場合に不可欠となる境界を自然に見せるための処理を省略することができるので、撮影画像に写りこんでしまった意図しない人物などを不可視化するための加工処理を非常に高速に実現することが可能である。

また、上述したように、オブジェクトデータベース１２に登録されている画像のオブジェクトは、画像によって表されている物体の輪郭と画像の境界とが一致しており、背景を備えていないので、撮影画像で想定される様々な色合いや明るさの背景と物体との組み合わせを考慮する必要はなく、物体ごとに一つのオブジェクトを用意すれば十分である。したがって、例えば、家庭用のパソコンで読み取り可能なＣＤ−ＲＯＭなどに格納可能な程度の容量にオブジェクトデータベースの容量を抑えることができ、利用者が自宅などで手軽に撮影画像の加工を楽しむことが可能となる。

なお、図１に示した画像処理装置１１に含まれる各要素もまた、デジタルカメラなどの画像入力装置に添付されるプログラムを家庭用のパソコンに読み込むことで実現することができる。

また、上述した合成処理を経て生成された改装画像は、画像表示部１４を介して利用者に提示される(図２のステップＳ８)。これに対して、利用者により入力装置１３を介して改装画像が気に入った旨の応答が返されたときに、画像合成処理部２７は、改装処理を完了すると判断して(ステップＳ９の肯定判定)、ステップＳ７の合成処理で得られた改装画像を、画像記録部１５を介して記憶媒体１６に記録する(ステップＳ１０)。このとき、例えば、画像記録部１５により、上述したようにしてオブジェクト画像が合成された改装画像を撮影画像と区別して記録することができる。また、フォトレタッチソフトのレイヤー画像のように、オブジェクト画像を撮影画像に追加記録することもできる。また、撮影画像とは別に改装画像を記録する場合に、改装画像に、元の撮影画像との関連付け情報や加工画像であることを示す情報および合成されたオブジェクトの情報を付加することもできる。

一方、提示した改装画像に対して否定的な応答が利用者から返された場合に(ステップＳ９の否定判定)、画像合成処理部２７は、全ての候補オブジェクトについて合成を試したか否かを判定する(ステップＳ１１)。

未処理の候補オブジェクトが残っている場合は(ステップＳ１１の否定判定)、画像合成処理部２７および画像調整処理部２６により、次の候補オブジェクトについての調整処理および合成処理が行われ(ステップＳ６，Ｓ７)、新たな改装画像が画像表示部１４を介して利用者に提示され、再び利用者の判断に供される。

上述したステップＳ６からステップＳ１１を繰り返しても利用者に肯定される改装画像が生成されない場合には、全ての候補オブジェクトについての合成処理が完了した時点で処理を終了することもできるし、また、改めて候補オブジェクトの検索をやり直すこともできる。

なお、上述したオブジェクト合成処理を繰り返して、複数の不可視化領域にそれぞれ適切なオブジェクトを合成することもできる。

また、図４に示すように、オブジェクトデータベース１２から検索された各候補オブジェクトについて順位付けを行うランキング処理部２４を備えて画像処理装置を構成することもできる。

ランキング処理部２４は、オブジェクト検索部２３から受け取った候補オブジェクトそれぞれについて、例えば、撮影画像に写っている少なくとも一つの物体との類似度をそれぞれ求め、最も高い類似度をその候補オブジェクトが撮影画像に適合する度合いを示す適合度とする処理を行う。候補オブジェクトと撮影画像に写っている物体との類似度を算出する処理には、例えば、シーン認識処理部２２で得られた認識結果で認識された主要な被写体像についての特徴量などを利用することができる。また、ランキング処理部２４は、この適合度に基づいて、各候補オブジェクトに順位付けを行い、このランキングに従って、画像調整処理部２６および画像合成処理部２７の処理に供することができる。

例えば、図３に示した例では、山の風景に対応する分類データベースから様々な種類の樹木を表す候補オブジェクトが検索されることが予想される。これらの候補オブジェクトについて、図３に示した画像の例において画面の左側に捉えられている樹木の画像との類似度を求め、この類似度に基づいてランキングを行えば、撮影画像に捉えられている樹木に特徴が似ている樹木を表す候補オブジェクトに高い順位を与えることができる。

これにより、利用者に肯定される可能性の高い改装画像を先に生成して提示することができるので、全体として、撮影画像の改装処理に要する時間を短縮することができる。

このように、図１に示した画像処理装置によれば、デジタルカメラなどで得られた撮影画像の不要な部分を、シーンに適合する別の物体を表す画像で覆って不可視にする処理を非常に高速に実現することができる。

また、結像状態解析部２５により、不可視範囲の画像のボケ具合を評価する処理に併せて、この不可視範囲の画像の色合いや明るさを含む特徴を抽出する処理を行い、抽出された特徴を画像調整処理部２６による候補オブジェクト画像の調整処理に活用することもできる。

更に、シーン認識技術を利用して、不可視範囲を自動的に特定することも可能である。

例えば、撮影画像についてシーン認識処理を行う際に、利用者が入力装置１３を介して指定した物体(例えば、人物や車のナンバープレートなど)の像を、パターンマッチング技術などを利用して検出し、検出した像の部分を不可視範囲として特定することができる。
(実施形態２)
図５に、画像処理装置の別実施形態を示す。

なお、図５に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図５に示したオブジェクトデータベース１２は、例えば、デジタルカメラのメーカーが管理するＷＥＢサーバ１８側に設置されており、画像処理装置１１は、ネットワークインタフェース(Ｉ／Ｆ)１７およびネットワークを介してオブジェクトデータベース１２の検索を行う。

このように、メーカーが管理するＷＥＢサーバ１８側にオブジェクトデータベース１２を備える構成では、より多くの種類のシーンについて多種多様なオブジェクトを用意しておくことができる。

以下、ＷＥＢサーバ１８側に用意したオブジェクトデータベース１２から検索したオブジェクトを、撮影画像に不可視にしたい部分があるか否かにかかわらず、所望の位置に配置して合成する方法について説明する。

例えば、図６(ａ)に示すように、主要な被写体(例えば、右側の人物)と背景が写っている撮影画像が画像メモリ１０に入力された場合に、シーン認識処理部２２は、この撮影画像についてシーン認識処理を行うことにより、海辺の風景を背景として人物を撮影した画像であることを認識する。

このように、撮影画像の中に不可視にしたい部分がない場合には、シーン認識結果に基づいてオブジェクト検索部２３による検索処理が行われ、ＷＥＢサーバ１８側に備えられたオブジェクトデータベース１２の認識結果(海辺)に対応する分類データベースから候補オブジェクトが検索される。このとき、入力装置１３を介して利用者からキーワードの指定を受け、このキーワードを利用して候補オブジェクトの絞込みを行うこともできる。

オブジェクト検索部２３によって検索された候補オブジェクトは、一旦、候補保持部２８に保持され、候補提示部２９により、例えば、図６に示すように、加工対象の撮影画像とともに検索された各候補オブジェクトを表す画像を画像表示部１４に表示させて利用者に提示する。

例えば、図６(ａ)に示したように、画像表示部１４を介して提示された候補オブジェクトの中から、利用者による入力装置１３の操作によって指定された候補オブジェクト(例えば、「やしの木」を表す候補オブジェクト)を示す情報は、画像合成処理部２７を介して画像調整処理部２６に渡される。

画像調整処理部２６は、画像合成処理部２７から渡された情報によって指定される候補オブジェクトの画像について、大きさや色合いの調整を行った後に、画像合成処理部２７に調整後の候補オブジェクト画像を渡し、撮影画像との合成処理に供する。このとき、例えば、シーン認識処理部２２において主要被写体について得られた認識結果(例えば、「人物」)と選択された候補オブジェクトで表される物体(例えば、「やしの木」)に関する情報とを利用して、候補オブジェクト画像の大きさの調整を行うことができる。また、主要被写体の色合いに基づいて、候補オブジェクト画像の色合い調整を行うことも可能である。また、利用者が入力装置１３を介して入力する指示に応じて、候補オブジェクトの大きさや色合いを調整することもできる。

このようにして調整された候補オブジェクト画像を、利用者からの指示に従って撮影画像の指定位置に合成することで、図６(ｂ)に示すように、元の撮影画像とは異なる趣の改装画像を生成することができる。

１０…画像メモリ、１１…画像処理装置、１２…オブジェクトデータベース、１３…入力装置、１４…画像表示部、１５…画像記録部、１６…記憶媒体、１７…ネットワークインタフェース(Ｉ／Ｆ)，１８…ＷＥＢサーバ、２１…不可視範囲特定部、２２…シーン認識処理部、２３…オブジェクト検索処理部、２４…ランキング処理部、２５…結像状態解析部、２６…画像調整処理部、２７…画像合成処理部、２８…候補保持部、２９…候補提示部。

Claims

撮影画像の一部を覆うように重ねて配置可能であって、前記撮影画像によって表されるシーンを表す画像と自然な境界を形成する物体の画像および３次元モデルの少なくとも一方を含む複数のオブジェクトが蓄積されたオブジェクトデータベースと、
前記撮影画像によって表されるシーンの特徴に基づいて、前記オブジェクトデータベースから少なくとも一つのオブジェクトを検索する検索手段と、
前記撮影画像に前記選択されたオブジェクトの少なくとも一つを表す画像を前記撮影画像の一部を覆うように重ねあわせて合成する合成手段と
を備え、
前記オブジェクトデータベースに含まれる各画像は、当該画像の境界と画像に捉えられた物体の輪郭とが一致している画像である
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記オブジェクトデータベースは、撮影画像によって表されることが想定される複数のシーンの種類ごとに少なくとも一つのオブジェクトを分類して蓄積した分類データベースを備えた構成であり、
前記検索手段は、
前記撮影画像によって表されるシーンの種類を判別する判別手段を備え、
判別されたシーンの種類に対応する分類データベースからオブジェクトの検索を行う
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記合成手段は、
前記検索手段によって検索されたオブジェクトそれぞれを表す画像と前記撮影画像によって表されるシーンに含まれる少なくとも一つの物体を表す画像との類似度を、前記オブジェクトを表す画像および前記撮影画像において物体を表す画像の色およびテクスチャの少なくとも一方を含む画像自体の特徴に基づいて算出する類似度算出手段と、
前記各オブジェクトに対応して算出された類似度の大きさに基づいて、前記撮影画像に重ね合わせるオブジェクトを決定する決定手段とを備えた
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記合成手段によってオブジェクトを表す画像の一部を覆うように重ね合わせることで不可視化する範囲を特定する特定手段と、
前記特定手段によって特定された不可視化範囲の画像を解析して、前記不可視化範囲の画像によって表される不可視化対象の物体を認識する認識手段と、
前記認識された不可視化対象の物体に対応する大きさに基づいて決定した範囲の大きさを持つ物体を表すことを条件の一つとして、前記検索手段によってオブジェクトを検索する条件に追加する追加手段と
を備えたことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記合成手段によってオブジェクトを表す画像の一部を覆うように重ね合わせることで不可視化する範囲を特定する特定手段と、
前記特定手段によって特定された不可視化範囲の画像を解析して、前記不可視化範囲の画像によって表される不可視化対象の物体の像について結像状態を評価する評価手段とを備え、
前記合成手段は、前記撮影画像に前記オブジェクトを表す画像を重ね合わせる際に、前記不可視化対象の物体の像についての結像状態に近づけるように前記オブジェクトを表す画像を調整する調整手段を備えた
ことを特徴とする画像処理装置。
撮影画像の一部を覆うように重ねて配置可能であって、前記撮影画像によって表されるシーンを表す画像と自然な境界を形成する物体の画像および３次元モデルの少なくとも一方を含む複数のオブジェクトが蓄積されたオブジェクトデータベースと、
前記撮影画像によって表されるシーンの特徴に基づいて、前記オブジェクトデータベースから少なくとも一つのオブジェクトを検索する検索手段と、
前記撮影画像に前記選択されたオブジェクトの少なくとも一つを表す画像を前記撮影画像の一部を覆うように重ねあわせて合成する合成手段とを備え、
前記合成手段は、
前記検索手段によって検索されたオブジェクトそれぞれを表す画像と前記撮影画像によって表されるシーンに含まれる少なくとも一つの物体を表す画像との類似度を、前記オブジェクトを表す画像および前記撮影画像において物体を表す画像の色およびテクスチャの少なくとも一方を含む画像自体の特徴に基づいて算出する類似度算出手段と、
前記各オブジェクトに対応して算出された類似度の大きさに基づいて、前記撮影画像に重ね合わせるオブジェクトを決定する決定手段とを有する
ことを特徴とする画像処理装置。
撮影画像の一部を覆うように重ねて配置可能であって、前記撮影画像によって表されるシーンを表す画像と自然な境界を形成する物体の画像および３次元モデルを含む複数のオブジェクトが蓄積されたオブジェクトデータベースと、
前記撮影画像によって表されるシーンの特徴に基づいて、前記オブジェクトデータベースから少なくとも一つのオブジェクトを検索する検索手段と、
前記撮影画像に前記選択されたオブジェクトの少なくとも一つを表す画像を前記撮影画像の一部を覆うように重ねあわせて合成する合成手段と、
前記合成手段によってオブジェクトを表す画像の一部を覆うように重ね合わせることで不可視化する範囲を特定する特定手段と、
前記特定手段によって特定された不可視化範囲の画像を解析して、前記不可視化範囲の画像によって表される不可視化対象の物体を認識する認識手段と、
前記認識された不可視化対象の物体に対応する大きさに基づいて決定した範囲の大きさを持つ物体を表すことを条件の一つとして、前記検索手段によってオブジェクトを検索する条件に追加する追加手段と
を備えたことを特徴とする画像処理装置。
撮影画像の一部を覆うように重ねて配置可能であって、前記撮影画像によって表されるシーンを表す画像と自然な境界を形成する物体の画像および３次元モデルを含む複数のオブジェクトが蓄積されたオブジェクトデータベースにアクセス可能なコンピュータに読み込まれて実行される画像処理プログラムであって、
前記撮影画像によって表されるシーンの特徴に基づいて、前記オブジェクトデータベースから少なくとも一つのオブジェクトを検索する検索手順と、
前記撮影画像に前記選択されたオブジェクトの少なくとも一つを表す画像を前記撮影画像の一部を覆うように重ねあわせて合成する合成手順とを備え、
前記オブジェクトデータベースに含まれる各画像は、当該画像の境界と画像に捉えられた物体の輪郭とが一致している画像である
ことを特徴とする画像処理プログラム。