JP5906860B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Description

この発明は、画像処理装置、画像処理方法、及び、プログラムに関する。

従来、写真や絵画といった画像に適した種々の構図が知られている。しかしながら、撮像装置による撮影時に適切な構図で撮影するのは、必ずしも容易ではない。そこで、近年、撮像装置による撮像の際に、スルー画像に基づいて構図を評価する技術が開示されている（特許文献１）。また、複数の画像やオブジェクトを構図に基づいて配置して合成し、一枚の画像データを生成する技術が開示されている（特許文献２）。

また、一方、本願発明に関連する技術として、近年、画像の欠損部分をその周囲の画像データに基づいて推測し、再現修復を行う技術がある（非特許文献１）。

特開２０１１−１３５５２７号公報 特開２０１１−２８７５号公報

M. Bertalmio et al., "Image Inpainting", Proc. ACM SIGGRAPH2000, p.417-424, 2000.

しかしながら、一度撮影、描画された画像における被写体などの構成要素の配置が適切な構図から外れている場合には、被写体が一つだけであれば、トリミングなどでも対応できるが、複数の被写体間の位置関係や、被写体と背景との相対位置に問題があった場合には、修正することができないという課題があった。

この発明の目的は、画像の構成要素を構図に従って各々適切に配置変換可能な画像処理装置、画像処理方法、及び、プログラムを提供することにある。

上記目的を達成するため、本発明の第１の態様は、
原画像データから被写体領域と、背景における特徴部分とを抽出する抽出手段と、
この抽出手段により抽出された被写体領域及び背景の特徴部分に基づき、前記原画像データの構図を設定する構図設定手段と、
この構図設定手段により設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方の配置を変化させて、前記原画像データとは異なる構図に再配置させる配置制御手段と、
を備え、
前記配置制御手段は、前記抽出手段により抽出された複数の被写体を分離して別個に再配置することが不可能であるか否かを判別し、分離不可能な場合には、当該複数の被写体の配置をまとめて変化させて、前記原画像データとは異なる構図に再配置することを特徴とする画像処理装置である。
上記目的を達成するため、本発明の第２の態様は、
原画像データから被写体領域と、背景における特徴部分とを抽出する抽出手段と、
この抽出手段により抽出された被写体領域及び背景の特徴部分に基づき、前記原画像データの構図を設定する構図設定手段と、
この構図設定手段により設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方の配置を変化させて、前記原画像データとは異なる構図に再配置させる配置制御手段と、
を備え、
前記配置制御手段は、前記被写体領域の境界が前記原画像の上下左右端の少なくとも一端と重なっている場合には、前記被写体領域の境界のうち、前記原画像の上下左右端と重なっている部分が内側に移動しないようにこの被写体領域を再配置することを特徴とする画像処理装置である。

本発明に従うと、画像の構成要素を構図に従って各々適切に配置変換することができるという効果がある。

本発明の実施形態の撮像装置の内部構成を示すブロック図である。 撮像装置における画像編集処理の処理手順を示すフローチャートである。 撮像データの編集例を示す図その１である。 撮像データの編集例を示す図その１である。 撮像データの編集例を示す図その１である。 撮像データの編集例を示す図その２である。 撮像データの編集例を示す図その２である。 撮像データの編集例を示す図その３である。 撮像データの編集例を示す図その３である。

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明の画像処理装置である撮像装置の内部構成を示すブロック図である。

この撮像装置１００は、デジタルカメラといったデジタル撮像装置である。撮像装置１００は、レンズ部１１と、電子撮像部１２と、撮像制御部１３と、画像データ生成部１４と、画像メモリ１５と、画像処理部１６と、表示制御部１７と、画像出力手段としての表示部１８と、操作手段としての操作部１９と、記録媒体制御部２０と、中央制御部２１などを備えている。これらのうち、撮像制御部１３、画像処理部１６、及び、中央制御部２１は、一枚のカスタムＬＳＩチップ１００ａ上に配置することが出来る。

レンズ部１１は、複数のレンズを備え、ズームやフォーカス等の動作が可能に構成されている。これらのズーム動作やフォーカス動作は、レンズを保持する筐体をユーザが手動で動作させることで行っても良いし、ズーム駆動部やフォーカス駆動部を備え、自動、又はユーザの操作入力に基づいて動作可能としても良い。

電子撮像部１２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサを備える。この電子撮像部１２は、レンズ部１１の各レンズを通過した光学像に係る光量を二次元マトリクス状に配置された画素毎に計測し、画像信号に変換して出力する。

撮像制御部１３は、図示略のタイミング発生器、ドライバなどを備えている。撮像制御部１３は、レンズ部１１のズーム駆動部やフォーカス駆動部に制御信号を送って動作させ、焦点距離やフォーカス位置の調整を行う。また、この撮像制御部１３は、タイミング発生器、及び、ドライバにより電子撮像部１２を駆動して電子撮像部１２に設定されたシャッター速度（露出時間）に対応する時間の光量データを取得させ、画像信号を画像データ生成部１４に出力させる。

画像データ生成部１４は、電子撮像部１２から出力された各画素の光量データをアナログ／デジタル変換してデジタル画像データを生成、出力する。このとき、画像データ生成部１４は、予め設定されたＲＧＢ各色の発色調整、バランス調整、γ補正などを行うことが可能である。出力された画像データは、図示略のＤＭＡ（Direct Memory Access）コントローラを介して画像メモリ１５にＤＭＡ転送される。

画像メモリ１５は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）であり、画像データ生成部１４から転送されたデジタル画像データを一時的に記憶する。また、画像メモリ１５は、後述する種々の画像処理の際に、画像処理部１６や中央制御部２１よる処理データを一時的に記憶する。

画像処理部１６は、生成されたデジタル画像データに対し、本発明に係る種々の画像処理を行う。画像処理部１６は、特徴領域検出部１６ａ（被写体抽出手段）と、配置設定部１６ｂ（構図設定手段、被写体配置制御手段）と、画像修復部１６ｃ（画像修復手段）とを備えている。

特徴領域検出部１６ａは、画像表示領域に含まれる被写体、及び、背景における特徴領域を識別する。ここでいう被写体は、前景として撮影されるものであり、例えば、ヒトの顔、上半身、全身が挙げられるが、ヒト以外の生物、植物や、種々の構造物など、他のものであっても良い。この被写体は、一つである必要は無く、複数個設定可能である。また、背景の特徴領域としては、山、海岸線、地平線、及び、遠くの建物などが挙げられる。また、山や建物であっても、風景写真などの場合には、適宜被写体として設定可能に構成される。特徴領域検出部１６ａは、これらの被写体及び特徴領域を検出するための特徴パターンに係る情報を保持する。この特徴パターンに係る情報には、例えば、具体的なコントラスト情報や色分布などが含まれる。特徴領域検出部１６ａは、これらの情報との一致度を所定の重み付けで加算した値を所定の基準値と比較することで特徴的なパターンとの一致判別を行う。

配置設定部１６ｂは、特徴領域検出部１６ａにより検出された被写体及び背景の特徴領域のサイズ、形状及び配置に基づいてこれに類似した適切な構図を選択し、また、各被写体及び背景の適切な位置を当該構図に基づいて同定する。配置設定部１６ｂは、中央制御部２１のＲＯＭなどに保持された構図の選択に用いられる種々の構図の設定に係る構図設定テーブル２１ｂを必要に応じて参照する。

画像修復部１６ｃは、各被写体及び背景が相対的に移動された結果として画像データが欠損した画素位置の画像を修復する。画像データ欠損領域の修復には、画像修復（Image Inpainting）に係る公知の種々の手法を用いることが出来る。ここで、これらの公知の画像修復技術では、計算量や使用するメモリ量がしばしば大きくなる。そこで、この画像修復部１６ｃは、外部のサーバと通信する通信部を備え、画像データ及び画像修復領域に係る情報を外部のサーバに送信して修復処理を行わせ、修復後の画像データを当該サーバから受信する構成であっても良い。
これらの画像処理部１６の動作については、後に詳述する。

表示制御部１７は、中央制御部２１からの制御信号に基づき、画像メモリ１５に記憶されている画像データを読み出して表示部１８に表示させる制御を行う。表示制御部１７は、ユーザ操作に基づいて撮影、取得が行われた画像データ、及び、各種編集がなされた画像データに係る画像を表示させる。また、表示制御部１７は、所定のサンプリング周期で取得されたスルー画像（ライブビュー画像）や、撮影直後に自動的に当該撮影に係るレックビュー画像を表示部１８に表示させることが出来る。

表示部１８は、例えば、液晶表示部（ＬＣＤ）である。表示部１８は、表示制御部１７から入力された制御信号に基づいて液晶表示画面の駆動ドライバが動作し、撮影画像、編集画像、スルー画像、レックビュー画像などを表示画面に表示する。

記録媒体制御部２０は、記録媒体２０ａが着脱可能に構成され、装着された記録媒体２０ａと画像メモリ１５との間でのデータのやり取りを制御する。記録媒体制御部２０は、画像処理部１６を介して画像メモリ１５に記憶された画像データ（ＲＡＷデータ）や、符号化圧縮処理（例えば、ＪＰＥＧ）がなされた画像データを記録媒体２０ａに書き込むことが出来る。

記録媒体２０ａは、不揮発性メモリを備えた可搬型記録媒体であり、例えば、フラッシュメモリやＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）である。

操作部１９は、一又は複数の操作スイッチを備える。この操作スイッチとしては、例えば、押しボタンスイッチ、回転スイッチ、表示部１８を用いたタッチパネルが用いられる。ユーザがこれらの操作スイッチを操作すると、操作部１９は、操作入力を電気信号に変換して中央制御部２１に出力する。具体的には、操作部１９は、被写体の撮影指示に係るシャッタボタン、表示部１８に表示させたメニュー画面に応じて撮像モードや機能などの選択を指示する指示ボタン、ズーム量の調整指示に係るズームボタンなどを備える。

中央制御部２１は、各種演算処理を行い、撮像装置１００の各部を統括制御する。中央制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ、ＲＯＭ（Read Only Memory）を備え、必要に応じてＲＯＭに記憶された各種処理プログラム２１ａを呼び出して実行し、当該プログラム２１ａに基づいて撮像装置１００の各部を制御する。またＲＯＭには、後述する構図設定テーブル２１ｂ（構図記憶手段）が含まれている。

次に、本実施形態の撮像装置１００における撮影画像の処理について説明する。

本実施形態の撮像装置１００は、撮影動作により取得された一枚の画像データを所定の構図に合致するように修正を行う機能を有する。

図２は、本実施形態の撮像装置１００における画像編集処理のＣＰＵによる制御手順を示すフローチャートである。
先ず、画像編集処理が開始されると、ＣＰＵは、画像メモリ１５から画像データを取得する（ステップＳ１１）。ＣＰＵは、ユーザ操作など基づいて編集対象に選択されたデジタル画像データを同定する。

次に、ＣＰＵは、取得された画像データから被写体を抽出する処理を特徴領域検出部１６ａに行わせる（ステップＳ１２）。特徴領域検出部１６ａは、記憶されている種々の特徴パターンを呼び出して、画像中にこれらの特徴パターンと所定の基準レベル以上一致する部分の検出を行う。ここで、特徴領域検出部１６ａは、例えば、ヒトの顔を検出し、検出された顔を基準としてこの顔に繋がった体の他の部位を特定することで、ヒトの様々な体型、姿勢などに対応する。同様に、花の形状に基づく植物全体の検出などが可能である。また、ユーザが予め被写体の種別を設定しておくことで、不要な特徴パターンに係る検出処理を省略可能としても良い。特徴領域検出部１６ａは、画像中の全てのエリアについて検出された全ての被写体を抽出し、これらの被写体の位置情報や種別などを画像メモリ１５に記憶させる。

続いて、ＣＰＵは、特徴領域検出部１６ａに背景部分の特徴部分を抽出させる（ステップＳ１３）。特徴領域検出部１６ａは、画像データから被写体として設定された領域を除いた残りの部分を背景画像として設定し、当該背景画像から特徴部分を検出する。この特徴部分としては、建物、構造物や一の山の頂といった遠景の被写体としても検出され得るもの、又は、地平線、水平線、道路、線路、或いは、柱や塀といった境界をなすものが好ましく選択される。
なお、ステップＳ１２の処理で、当初、被写体として設定されたものであっても、他の被写体との相対位置関係などから背景部分であると認識された場合には、設定情報を変更し、同定された背景部分の特徴領域として用いることができる。また、遠景部分を被写体として設定するか、又は、背景画像の特徴部分として設定するかについては、例えば、画像データに係るメタ情報からフォーカス情報などを取得して判断材料に加えることも可能である。

ＣＰＵは、抽出された全ての被写体及び背景の特徴部分の情報、即ち、配置や形状、サイズなどに基づいて、配置設定部１６ｂに適切な構図を選択させる（ステップＳ１４）。配置設定部１６ｂに記憶され、選択可能とされる構図としては、例えば、水平線構図、垂直線構図、斜線構図、対角線構図、放射線構図、曲線構図、Ｓ字構図、三角形構図、逆三角形構図、対比・対称構図、トンネル構図、パターン構図といった周知の代表的な構図の他、他の各種の構図も含むことが出来る。また、これらの構図に係る情報は、予め配置設定部１６ｂに記憶されるものに限られない。例えば、他の構図情報を記録媒体２０ａに記憶させて記録媒体制御部２０に装着させることで、撮像装置１００の外部から取得可能とすることができる。また、例えば、水平線構図と対比・対称構図とを組み合わせた構図というように、組み合わせ可能な複数の構図を選択することも可能である。ＣＰＵは、例えば、これらの構図情報と検出された各被写体や背景の特徴部分とのマッチングを取り、全体として類似度の高い構図を選択することが出来る。また、ＣＰＵは、部分的に類似度の高いものを組み合わせ選択したり、一部で類似度が高い部分を有する構図に他の類似度が低い部分の被写体や背景の特徴部分を適合させることが可能か否かを判別して当該構図を選択したりすることができる。
或いは、ＣＰＵは、マッチングの結果、類似度が全体として、又は、部分的に、所定のレベル以上というような条件を満たす構図や構図の組み合わせを複数抽出して表示部１８に表示させ、ユーザに操作部１９への操作入力を介して選択させることとしても良い。

また、ＣＰＵは、これらの構図選択と共に、画面構成に係る情報についての選択も行う。ここでいう画面構成には、例えば、画面の分割方法（分割比率）や被写体の配置対称性に係る情報が含まれる。具体的な分割比率としては、三分割、黄金分割、ルート比での分割（例えば、白銀比１：√２）などがある。ＣＰＵは、画面構成に係るその他の情報として、面積比率情報、フラクタル次元情報、色彩分布情報、色彩冗長度情報、及び、色相情報などを更に記憶、選択することとしても良い。

一又は複数の構図が選択されると、ＣＰＵは、当該選択された構図設定に基づき、被写体及び背景の配置を当該構図に合わせて設定する処理を配置設定部１６ｂに行わせる（ステップＳ１５）。この配置を設定する処理では、配置設定部１６ｂは、各被写体及び背景の平行移動、回転、及び、拡大／縮小の各処理を行わせることが出来る。なお、背景を拡大させることでトリミングと同一の効果が得られる。最終的な画像サイズ自体の変更もこの編集処理の中で実行可能としても良いし、別途行わせることとしても良い。

このとき、全ての被写体及び背景が最適な位置に設定可能とは限らない。例えば、元の画像における複数の被写体の重複（接触）箇所を分離することが出来ない場合や、逆に各々の被写体を最適な位置に配置すると不都合な重複が生じる場合などが想定される。また、画像修復技術に係る制約上、周囲の画素データから推測が困難な画像修復が出来る限り行われないような範囲で各被写体及び背景の移動が行われる必要がある。そこで、配置設定部１６ｂは、選択された構図に係る最適な位置からのずれに係る評価値を算出し、配置後の各被写体及び背景の評価値が全て、或いは、重要度の高い順に所定数／所定の割合で予め設定された所定の基準値を満たすことが可能な配置を探索して配置を行う。

また、構図又は構図の組み合わせが複数選択可能な場合には、配置設定部１６ｂは、各々の構図又は構図の組み合わせについてそれぞれ可能な再配置を行い、評価値のより高い方を最終的に選択された構図及び配置としてもよい。

各被写体及び背景の配置が構図に合わせて設定されると、ＣＰＵは、これらの被写体及び背景のうちの少なくとも一方を当該設定させた位置に移動させる（ステップＳ１６）。それから、ＣＰＵは、この移動の結果として画像が欠損する画像欠損部分を特定する（ステップＳ１７）。

ＣＰＵは、画像修復部１６ｃに指令を送り、特定された欠損部分を修復する欠損部分修復処理を行わせる（ステップＳ１８）。上記のように、画像修復部１６ｃは、通信手段を用いて被写体及び背景の移動がなされた画像データと欠損部分に係る情報とを外部サーバに送信し、外部サーバで修復に係る各種演算処理を行わせることとしても良い。
ここで、画像修復（Image Inpainting）に係る修復技術では、欠損部分の周囲の画素データに基づき、様々な重み付けや補間方法を用いて内部補間または外挿による欠損部分の修復を行う。例えば、各画素データを輝度（明度）に基づく数値データとして取り扱い、連続性を考慮、即ち、上記数値変化を最小に抑える（数値の勾配の極小を求める）ことで最適な修復データを取得することができる。或いは、近隣画素データとの類似度を評価し、修復対象の画素データから周辺の各画素までの距離と当該画素の輝度データとによる重み付け平均等で修復対象画素データを推定、取得することができる。

このような画像修復において、相対的に移動された背景部分と被写体部分との間に生じた欠損部分をそのまま修復しようとすると、被写体と背景との間で不自然に連続的な修復画像が得られることになる。そこで、画像修復部１６ｃは、各被写体部分の画像データを切り抜いて移動後の位置データと共に一時保存し、背景画像のみに基づいて切り抜かれた被写体部分を含む欠損部分の修復を行った後に被写体部分の画像データを上書きするように処理を進めることが出来る。

画像の修正及び修復が終了すると、ＣＰＵは、画像データを画像メモリ１５に書き出し、また、必要に応じて表示制御部１７に制御を行わせて編集画像データとして表示部１８に表示させる（ステップＳ１９）。そして、ＣＰＵは、画像編集処理を終了する。編集画像データとして表示部１８に表示出力させる代わりに、編集画像データに基づく編集画像を印刷部から印刷出力させてもよい。

次に、画像編集の具体的な例を示しながら動作内容について説明する。
図３〜図５は、この画像編集処理による画像の編集例その１を示す図である。

先ず、図３（ａ）に示す画像が取得される（ステップＳ１１）。続いて、被写体Ｏ１１〜Ｏ１３としてそれぞれヨットが抽出される（ステップＳ１２）。また、図３（ｂ）に示すように、湖岸と地平線が背景の特徴部分Ｂ１１として抽出される（ステップＳ１３）。

次に、これら同定された被写体であるヨット、及び、背景の特徴部分である湖岸、地平線の配置を確認し、最適な構図を選択する（ステップＳ１４）。ここでは、図４（ａ）に示すように、地平線で水平分割を行うと共に、中央の垂直線に対し、左側の被写体Ｏ１１と右側の被写体Ｏ１２、Ｏ１３を各々ルート比１：√２（白銀比）の位置に配置するように設定されている。

背景及び被写体の配置が決定されると、次に、これらの画像部分の移動方向及び移動距離をそれぞれ算出する（ステップＳ１５）。ここでは、図４（ｂ）に示すように、左側の被写体Ｏ１１を右上に移動させ（矢印Ｍ１１）、右側の被写体Ｏ１２、Ｏ１３をほぼ左に移動させ（矢印Ｍ１２）、また、背景の特徴部分Ｂ１１を左下に移動させる（矢印Ｍ１３）（ステップＳ１６）。それから、これらの相対移動が行われた場合の画像欠損部分を特定する（ステップＳ１７）。図５（ａ）に示すように、先ず、画像エリア内部における相対移動に基づき、部分的な欠損Ｉ１１が生じる。また、背景の移動により、カットされた画像部分Ｒ１１に対応して外枠部分に欠損Ｅ１１が生じる。そして、これらの欠損Ｉ１１、及び、Ｅ１１は、それぞれ周囲の背景画像データに基づいて修復される（ステップＳ１８）。この場合には、周囲の画素データが存在する欠損部分Ｉ１１については内部補間での修復が行われ、外枠部分に当たる欠損部分Ｅ１１については、外挿で補間が行われる。

最後に、修復された背景画像の上に、移動された各被写体が上書き配置される。これにより、図５（ｂ）に示すように、選択された構図に基づいて修正され、相対移動に伴う欠損部分が修復された画像が出来上がって出力される（ステップＳ１９）。

図６、図７は、画像編集処理による画像の編集例その２を示す図である。

先ず、図６（ａ）に示す画像データが取得され（ステップＳ１１）、図６（ｂ）に示すように、この画像の中から被写体Ｏ２１〜Ｏ２５、及び、背景の特徴部分Ｂ２１、Ｂ２２が抽出される（ステップＳ１２、Ｓ１３）。

それから、これらの被写体及び背景に基づいて構図が選択される（ステップＳ１４）。ここでは、中央の道路について放射線構図になっており、背景の特徴部分Ｂ２２が中央に位置して適切な垂直分割線を成しているので、背景を移動させる必要はない。

次に、被写体Ｏ２１〜Ｏ２５を構図に基づいて移動させる（ステップＳ１５、Ｓ１６）。被写体Ｏ２１、Ｏ２２の人物は、それぞれ別個に同定されているが、これらの被写体は繋がっているので、分割して移動させることが出来ない。従って、Ｏ２１、Ｏ２２を全体として最適な配置に最も近い位置へと移動させることになる。また、この垂直分割線に対して右側の被写体Ｏ２１、Ｏ２２が中央に寄り過ぎているのに対し、左側の被写体Ｏ２３〜Ｏ２５が全体として左端に寄り過ぎており、バランスの悪い配置となっている。そこで、図７（ａ）に示すように、被写体Ｏ２１〜Ｏ２４がそれぞれルート比１：√２の構図に適合するように右に平行移動させる（矢印Ｍ２０）。

なお、これらの被写体Ｏ２１〜２５は、垂直方向には適切に配置されているので垂直方向には移動させないが、例えば、被写体Ｏ２１、Ｏ２２の位置が理想的な位置よりも下であった場合でも、これらの被写体を上部に平行移動させることは好ましくない。この被写体Ｏ２１、Ｏ２２は、もとの画像データにおいて脚部の途中までしか撮影されておらず、これを上向きに平行移動させても新たに出現する脚部先端を復元するのは困難である。従って、例えば、脚部の下端位置を固定したまま被写体Ｏ２１、Ｏ２２を拡大するなどの処理を行う。

被写体の移動先が設定されると、移動に伴う欠損部分Ｉ２０が特定されるので（ステップＳ１７）、これらの欠損部分を内部補間により修復する（ステップＳ１８）。そして、被写体Ｏ２１〜Ｏ２５を設定位置に上書き配置することで、図７（ｂ）に示す修正画像が得られる（ステップＳ１９）。

図８、図９は、画像編集処理による画像の編集例その３を示す図である。

先ず、図８（ａ）に示す画像データが取得され（ステップＳ１１）、次いで、図８（ｂ）に示すように、被写体Ｏ３１と背景の特徴部分Ｂ３１、Ｂ３２とが抽出される（ステップＳ１２、Ｓ１３）。

次に、検出された被写体Ｏ３１及び背景の特徴部分Ｂ３１、Ｂ３２に基づいて構図が選択される（ステップＳ１４）。ここでは、背景の特徴部分Ｂ３１である山の麓の水平線により水平線が構成され、また、被写体Ｏ３１の人物により垂直線が構成され、これらを三分割構図で配置する。即ち、図９（ａ）に示すように、水平線を示す背景の特徴部分Ｂ３１は、上側の水平三分割線と一致するように配置され、当該線上に被写体Ｏ３１の顔部が配置される。また、この被写体Ｏ３１は、左側の垂直三分割線上に配置され、背景の特徴部分Ｂ３２に係る山の頂上は、右側の垂直分割線上に配置される。

次に、これら設定された背景の特徴部分及び被写体の位置に基づいてこれらの移動量を同定する（ステップＳ１５）。先ず、矢印Ｍ３１に示すように、背景を右上に移動させることで、上部の領域Ｒ３１が画像のフレーム内からはみ出させることで、水平線をなす背景の特徴部分Ｂ３１及び背景の特徴部分Ｂ３２に係る山頂の位置が移動される。次いで、被写体Ｏ３１の変化量が設定される。ここで、被写体Ｏ３１の人物を単純に左下方向に移動させてしまうと撮影されていた下半身が途切れてしまい、被写体バランスが悪くなるので、被写体Ｏ３１の下端を固定したまま顔部が設定位置に来るように縮小する（矢印Ｍ３２）（ステップＳ１６）。

これらの移動により、画像欠損部分Ｅ３０及びＩ３０が生じる（ステップＳ１７）。従って、欠損部分Ｅ３０を外挿により修復し、また、欠損部分Ｉ３０を内部補間により修復する（ステップＳ１８）。そして、被写体Ｏ３１を設定された位置に縮小配置することで、修正画像が形成され、出力される（図９（ｂ）、ステップＳ１９）。

以上のように、本実施形態の撮像装置１００は、画像処理部１６を備え、特徴領域検出部１６ａにより画像データから一又は複数の被写体領域と、背景における特徴部分とが同定され、同定されたこれらの被写体領域及び特徴部分の配置、サイズ、形状に基づいて適切な構図が選択され、選択された構図に合わせて配置設定部１６ｂにより被写体領域及び背景の適切な配置が決定されて、再配置された画像が出力される。従って、被写体領域や背景の一部または全てが構図上の適切な配置から外れていても、撮影された画像データを容易に適切な構図で再配置した画像に変換することが出来る。

また、各被写体領域及び特徴部分の再配置の結果、それぞれの部分が相対移動して画像の欠損部分が生じた場合には、周囲の画素情報に基づいて当該欠損部分の推測修復を行うので、自然に構図変換の行われた画像データを生成することができる。

また、被写体領域や背景の再配置の際に、平行移動、回転移動、及び／又は、拡大縮小変形を適宜組み合わせて行うことが出来るので、撮影時に撮像装置１００が傾いてしまっていた場合や、被写体サイズのバランスが悪いような場合でも適切に調整を行うことが出来る。

また、構図の選択に用いられる種々の構図設定は、ＲＯＭの構図設定テーブル２１ｂに予め設定されており、このＲＯＭを参照しながら配置設定部１６ｂにより容易に適切な構図又は構図の組み合わせを選択することができる。

また、構図設定の際には、配置設定部１６ｂにより抽出された複数の中からユーザが操作部１９への操作入力により好みのものを選ぶことが出来るので、被写体とするつもりが無くても被写体と同等な重みで写り込んでしまった部位などをユーザの設定により調整したり、撮影意図によって何れに重きを置くかが異なる複数の背景部分（例えば、海と空）に分割されているような場合に、意図する構図を選択したりすることが出来る。

また、複数の被写体が接触しているなどで分離移動が不可能な場合を検出判断し、一括して再配置可能とすることで、不自然な画像にならないように編集することができる。

また、画像の周縁を跨いで切れている被写体の一部などは、周縁の外で撮影されていない部分を自然に修復することが困難なので、このような部分が新たに付け加わらないように被写体の再配置の際の条件を追加することで、不自然な被写体画像にならないように編集することが出来る。

また、被写体及び背景が選択された構図に対して所定の基準レベルを満たす範囲内で配置されるように設定することで、撮影された画像データが構図に完全に適合した配置とすることが困難な場合であっても好ましい配置に自然に移動させることが出来る。

また、画像修復の際には、背景画像のみに基づいて修復処理を行った後に各被写体を修復された背景画像上に構図に従って配置する。このように修復を行うことで、背景と被写体との間で無理な内部補間による不自然な修復が行われることを避けることが出来る。

なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施形態では、撮像装置による撮影画像について説明したが、コンピュータ上で描画されたりキャプチャされたりしたデジタル画像データについても本発明に係る画像編集処理を適用することが出来る。

また、上記実施の形態では、撮像装置１００で画像編集に係る処理を行わせたり、通信手段を用いて外部サーバに送って処理を行わせたりする例について示したが、このような被写体及び背景の再配置や、画像修復に係る処理を撮像装置とは切り離して行うことも可能である。記録媒体２０ａなどにより外部のコンピュータにコピーされた画像データに対する上記編集処理を他のコンピュータを用いて行うことで、ユーザは、キーボード等の入力デバイスを用いてこれらの処理命令を快適に行ったり、編集された画像を大型のディスプレイに出力させて鑑賞したりすることが出来る。また、当該コンピュータのメモリやＣＰＵの能力を生かして高速且つ快適に処理を行わせることが出来る。

また、上記の実施の形態では、欠損部分の画像の修復処理を行ったが、例えば、学習用途などで配置の変更履歴が分かるように、修復を行わない画像を出力可能に構成しても良い。

また、上記実施の形態では、表示部１８への画像出力を例に上げて説明したが、ケーブルなどを用いてプリンタなどに出力することも可能であるし、可搬型記録媒体やネットワークケーブルを用いて外部機器にデータを出力させることも出来る。

また、以上の説明では、本発明に係るプログラム２１ａのコンピュータ読み取り可能な媒体としてＲＯＭを使用した例を開示したが、これに限定されない。その他のコンピュータ読み取り可能な媒体として、フラッシュメモリやＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）などの不揮発性メモリ、ＣＤ−ＲＯＭなどの可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。
その他、上記実施の形態の説明で示した具体的な構成や順序、数値などの細部は、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。

［付記］
＜請求項１＞
画像データから一又は複数の被写体領域と、背景における特徴部分とを抽出する被写体抽出手段と、
この被写体抽出手段により抽出された被写体領域及び背景の特徴部分に基づき、前記画像データに係る画像表示領域内の構図を設定する構図設定手段と、
この構図設定手段により設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方を前記画像表示領域に配置させる被写体配置制御手段と、
この被写体配置制御手段の制御により前記被写体領域及び前記背景が配置された画像データを出力する画像出力手段と、
を備えることを特徴とする画像処理装置。
＜請求項２＞
前記被写体配置制御手段による前記被写体領域及び／又は前記背景の移動により前記画像表示領域内に生じた画像データ欠損領域をこの画像データ欠損領域の周囲の画像データに基づいて推定することで修復を行う画像修復手段を備えることを特徴とする請求項１記載の画像処理装置。
＜請求項３＞
前記被写体配置制御手段は、前記被写体領域及び／又は前記背景に対し、平行移動、回転移動、拡大縮小変形のうち少なくとも一つを各々行わせることを特徴とする請求項１又は２記載の画像処理装置。
＜請求項４＞
複数の構図に係る情報を記憶する構図記憶手段を備え、
前記構図設定手段は、この構図記憶手段に記憶された構図と、前記画像表示領域内に当初配置された前記被写体及び前記背景の特徴部分とのマッチングに基づいて構図を選択することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
＜請求項５＞
ユーザの操作入力を検出して取得する操作手段を備え、
前記構図設定手段は、前記構図記憶手段から前記マッチングに係る類似度が所定の条件を満たす構図及び／又は構図の組み合わせを複数抽出し、前記操作手段により取得された操作入力情報に基づいて前記抽出された構図及び／又は構図の組み合わせの中の一つを選択することを特徴とする請求項４記載の画像処理装置。
＜請求項６＞
前記被写体配置制御手段は、抽出された複数の被写体を分離して別個に配置することが不可能であるか否かを判別し、分離不可能な場合には、当該複数の被写体をまとめて前記画像表示領域内に配置することを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記被写体配置制御手段は、前記一又は複数の被写体領域の境界が前記画像表示領域の境界と重なっている場合には、前記被写体領域の境界のうち、前記画像表示領域の境界と重なっている部分が当該画像表示領域の内側に移動しないようにこの被写体領域を配置することを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
＜請求項８＞
前記被写体配置制御手段は、全ての前記被写体及び前記背景が設定された前記構図に基づく最適な配置からそれぞれ所定の基準範囲内のずれとなるように配置の設定を行うことを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
＜請求項９＞
前記画像修復手段は、前記背景の画像データに基づいて前記修復を行った後に、前記被写体領域の画像データを前記修復された背景の画像データ上に上書き更新することを特徴とする請求項２〜８の何れか一項に記載の画像処理装置。
＜請求項１０＞
画像データの編集処理を行う画像処理方法であって、
この画像データから一又は複数の被写体領域と、背景における特徴部分とを抽出する被写体抽出ステップ、
この被写体抽出ステップで抽出された被写体及び背景の特徴部分に基づき、前記画像データに係る画像表示領域内の構図を設定する構図設定ステップ、
この構図設定ステップで設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方を前記画像表示領域に配置させる被写体配置制御ステップ、
及び、
この被写体配置制御ステップで前記被写体領域及び前記背景が配置された画像データを出力する画像出力ステップ、
を含むことを特徴とする画像処理方法。
＜請求項１１＞
コンピュータを、
画像データから一又は複数の被写体領域と、背景における特徴部分とを抽出する被写体抽出手段、
この被写体抽出手段により抽出された被写体領域及び背景の特徴部分に基づき、前記画像データに係る画像表示領域内の構図を選択する構図設定手段、
この構図設定手段により設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方を前記画像表示領域に配置させる被写体配置制御手段、
及び、
この被写体配置制御手段の制御により前記被写体領域及び前記背景が配置された画像データを出力する画像出力手段、
として機能させるためのプログラム。

１１ レンズ部
１２ 電子撮像部
１３ 撮像制御部
１４ 画像データ生成部
１５ 画像メモリ
１６ 画像処理部
１６ａ 特徴領域検出部
１６ｂ 配置設定部
１６ｃ 画像修復部
１７ 表示制御部
１８ 表示部
１９ 操作部
２０ 記録媒体制御部
２０ａ 記録媒体
２１ 中央制御部
２１ａ プログラム
２１ｂ 構図設定テーブル
１００ 撮像装置
１００ａ チップ

Claims (13)

1. 原画像データから被写体領域と、背景における特徴部分とを抽出する抽出手段と、
   この抽出手段により抽出された被写体領域及び背景の特徴部分に基づき、前記原画像データの構図を設定する構図設定手段と、
   この構図設定手段により設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方の配置を変化させて、前記原画像データとは異なる構図に再配置させる配置制御手段と、
   を備え、
   前記配置制御手段は、前記抽出手段により抽出された複数の被写体を分離して別個に再配置することが不可能であるか否かを判別し、分離不可能な場合には、当該複数の被写体の配置をまとめて変化させて、前記原画像データとは異なる構図に再配置することを特徴とする画像処理装置。
2. 原画像データから被写体領域と、背景における特徴部分とを抽出する抽出手段と、
   この抽出手段により抽出された被写体領域及び背景の特徴部分に基づき、前記原画像データの構図を設定する構図設定手段と、
   この構図設定手段により設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方の配置を変化させて、前記原画像データとは異なる構図に再配置させる配置制御手段と、
   を備え、
   前記配置制御手段は、前記被写体領域の境界が前記原画像の上下左右端の少なくとも一端と重なっている場合には、前記被写体領域の境界のうち、前記原画像の上下左右端と重なっている部分が内側に移動しないようにこの被写体領域を再配置することを特徴とする画像処理装置。
3. 前記配置制御手段は、前記被写体領域及び／又は前記背景に対し、平行移動、回転移動、拡大縮小変形のうち少なくとも一つを各々行わせることを特徴とする請求項１又は２記載の画像処理装置。
4. 複数の構図に係る情報を記憶する構図記憶手段を備え、
   前記構図設定手段は、この構図記憶手段に記憶された構図と、前記原画像における前記被写体及び前記背景の特徴部分とのマッチングに基づいて構図を選択することを特徴とする請求項１又は２記載の画像処理装置。
5. ユーザの操作入力を検出して取得する操作手段を備え、
   前記構図設定手段は、前記構図記憶手段から前記マッチングに係る類似度が所定の条件を満たす構図及び／又は構図の組み合わせを複数抽出し、前記操作手段により取得された操作入力情報に基づいて前記抽出された構図及び／又は構図の組み合わせの中の一つを選択することを特徴とする請求項４記載の画像処理装置。
6. 前記配置制御手段は、前記被写体領域及び／又は前記背景の変化が、前記構図設定手段により設定された前記構図に基づく配置からそれぞれ所定の基準範囲内のずれとなるように再配置の設定を行うことを特徴とする請求項１又は２記載の画像処理装置。
7. 前記配置制御手段による前記被写体領域及び／又は前記背景の配置の変化により前記原画像に生じた画像データ欠損領域をこの画像データ欠損領域の周囲の画像データに基づいて推定することで修復を行う画像修復手段を備えることを特徴とする請求項１又は２記載の画像処理装置。
8. 前記画像修復手段は、前記背景の画像データに基づいて前記修復を行った後に、前記被写体領域の画像データを前記修復された背景の画像データ上に上書き更新することを特徴とする請求項７記載の画像処理装置。
9. 前記配置制御手段の制御により前記被写体領域及び／又は前記背景が再配置された画像データを出力する画像出力手段を備えることを特徴とする請求項１又は２記載の画像処理装置。
10. 画像データの編集処理を行う画像処理方法であって、
    原画像データから被写体領域と、背景における特徴部分とを抽出する抽出ステップ、
    この抽出ステップで抽出された被写体及び背景の特徴部分に基づき、前記原画像データの構図を設定する構図設定ステップ、
    この構図設定ステップで設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方の配置を変化させて、前記原画像データとは異なる構図に再配置させる配置制御ステップ、
    を含み、
    前記配置制御ステップは、前記抽出ステップにより抽出された複数の被写体を分離して別個に再配置することが不可能であるか否かを判別し、分離不可能な場合には、当該複数の被写体の配置をまとめて変化させて、前記原画像データとは異なる構図に再配置することを特徴とする画像処理方法。
11. 画像データの編集処理を行う画像処理方法であって、
    原画像データから被写体領域と、背景における特徴部分とを抽出する抽出ステップ、
    この抽出ステップで抽出された被写体及び背景の特徴部分に基づき、前記原画像データの構図を設定する構図設定ステップ、
    この構図設定ステップで設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方の配置を変化させて、前記原画像データとは異なる構図に再配置させる配置制御ステップ、
    を含み、
    前記配置制御ステップは、前記被写体領域の境界が前記原画像の上下左右端の少なくとも一端と重なっている場合には、前記被写体領域の境界のうち、前記原画像の上下左右端と重なっている部分が内側に移動しないようにこの被写体領域を再配置することを特徴とする画像処理方法。
12. コンピュータを、
    原画像データから被写体領域と、背景における特徴部分とを抽出する抽出手段、
    この抽出手段により抽出された被写体領域及び背景の特徴部分に基づき、前記原画像データの構図を選択する構図設定手段、
    この構図設定手段により設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方の配置を変化させて、前記原画像データとは異なる構図に再配置させる配置制御手段、
    として機能させるためのプログラムであって、
    前記配置制御手段は、前記抽出手段により抽出された複数の被写体を分離して別個に再配置することが不可能であるか否かを判別し、分離不可能な場合には、当該複数の被写体の配置をまとめて変化させて、前記原画像データとは異なる構図に再配置することを特徴とするプログラム。
13. コンピュータを、
    原画像データから被写体領域と、背景における特徴部分とを抽出する抽出手段、
    この抽出手段により抽出された被写体領域及び背景の特徴部分に基づき、前記原画像データの構図を選択する構図設定手段、
    この構図設定手段により設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方の配置を変化させて、前記原画像データとは異なる構図に再配置させる配置制御手段、
    として機能させるためのプログラムであって、
    前記配置制御手段は、前記被写体領域の境界が前記原画像の上下左右端の少なくとも一端と重なっている場合には、前記被写体領域の境界のうち、前記原画像の上下左右端と重なっている部分が内側に移動しないようにこの被写体領域を再配置することを特徴とするプログラム。

Images