JP5906860B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents
画像処理装置、画像処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP5906860B2 JP5906860B2 JP2012064037A JP2012064037A JP5906860B2 JP 5906860 B2 JP5906860 B2 JP 5906860B2 JP 2012064037 A JP2012064037 A JP 2012064037A JP 2012064037 A JP2012064037 A JP 2012064037A JP 5906860 B2 JP5906860 B2 JP 5906860B2
- Authority
- JP
- Japan
- Prior art keywords
- composition
- image data
- background
- subject
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Studio Circuits (AREA)
Description
原画像データから被写体領域と、背景における特徴部分とを抽出する抽出手段と、
この抽出手段により抽出された被写体領域及び背景の特徴部分に基づき、前記原画像データの構図を設定する構図設定手段と、
この構図設定手段により設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方の配置を変化させて、前記原画像データとは異なる構図に再配置させる配置制御手段と、
を備え、
前記配置制御手段は、前記抽出手段により抽出された複数の被写体を分離して別個に再配置することが不可能であるか否かを判別し、分離不可能な場合には、当該複数の被写体の配置をまとめて変化させて、前記原画像データとは異なる構図に再配置することを特徴とする画像処理装置である。
上記目的を達成するため、本発明の第2の態様は、
原画像データから被写体領域と、背景における特徴部分とを抽出する抽出手段と、
この抽出手段により抽出された被写体領域及び背景の特徴部分に基づき、前記原画像データの構図を設定する構図設定手段と、
この構図設定手段により設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方の配置を変化させて、前記原画像データとは異なる構図に再配置させる配置制御手段と、
を備え、
前記配置制御手段は、前記被写体領域の境界が前記原画像の上下左右端の少なくとも一端と重なっている場合には、前記被写体領域の境界のうち、前記原画像の上下左右端と重なっている部分が内側に移動しないようにこの被写体領域を再配置することを特徴とする画像処理装置である。
図1は、本発明の画像処理装置である撮像装置の内部構成を示すブロック図である。
これらの画像処理部16の動作については、後に詳述する。
先ず、画像編集処理が開始されると、CPUは、画像メモリ15から画像データを取得する(ステップS11)。CPUは、ユーザ操作など基づいて編集対象に選択されたデジタル画像データを同定する。
なお、ステップS12の処理で、当初、被写体として設定されたものであっても、他の被写体との相対位置関係などから背景部分であると認識された場合には、設定情報を変更し、同定された背景部分の特徴領域として用いることができる。また、遠景部分を被写体として設定するか、又は、背景画像の特徴部分として設定するかについては、例えば、画像データに係るメタ情報からフォーカス情報などを取得して判断材料に加えることも可能である。
或いは、CPUは、マッチングの結果、類似度が全体として、又は、部分的に、所定のレベル以上というような条件を満たす構図や構図の組み合わせを複数抽出して表示部18に表示させ、ユーザに操作部19への操作入力を介して選択させることとしても良い。
ここで、画像修復(Image Inpainting)に係る修復技術では、欠損部分の周囲の画素データに基づき、様々な重み付けや補間方法を用いて内部補間または外挿による欠損部分の修復を行う。例えば、各画素データを輝度(明度)に基づく数値データとして取り扱い、連続性を考慮、即ち、上記数値変化を最小に抑える(数値の勾配の極小を求める)ことで最適な修復データを取得することができる。或いは、近隣画素データとの類似度を評価し、修復対象の画素データから周辺の各画素までの距離と当該画素の輝度データとによる重み付け平均等で修復対象画素データを推定、取得することができる。
図3〜図5は、この画像編集処理による画像の編集例その1を示す図である。
例えば、上記実施形態では、撮像装置による撮影画像について説明したが、コンピュータ上で描画されたりキャプチャされたりしたデジタル画像データについても本発明に係る画像編集処理を適用することが出来る。
その他、上記実施の形態の説明で示した具体的な構成や順序、数値などの細部は、本発明の趣旨を逸脱しない範囲において適宜変更可能である。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
<請求項1>
画像データから一又は複数の被写体領域と、背景における特徴部分とを抽出する被写体抽出手段と、
この被写体抽出手段により抽出された被写体領域及び背景の特徴部分に基づき、前記画像データに係る画像表示領域内の構図を設定する構図設定手段と、
この構図設定手段により設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方を前記画像表示領域に配置させる被写体配置制御手段と、
この被写体配置制御手段の制御により前記被写体領域及び前記背景が配置された画像データを出力する画像出力手段と、
を備えることを特徴とする画像処理装置。
<請求項2>
前記被写体配置制御手段による前記被写体領域及び/又は前記背景の移動により前記画像表示領域内に生じた画像データ欠損領域をこの画像データ欠損領域の周囲の画像データに基づいて推定することで修復を行う画像修復手段を備えることを特徴とする請求項1記載の画像処理装置。
<請求項3>
前記被写体配置制御手段は、前記被写体領域及び/又は前記背景に対し、平行移動、回転移動、拡大縮小変形のうち少なくとも一つを各々行わせることを特徴とする請求項1又は2記載の画像処理装置。
<請求項4>
複数の構図に係る情報を記憶する構図記憶手段を備え、
前記構図設定手段は、この構図記憶手段に記憶された構図と、前記画像表示領域内に当初配置された前記被写体及び前記背景の特徴部分とのマッチングに基づいて構図を選択することを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
<請求項5>
ユーザの操作入力を検出して取得する操作手段を備え、
前記構図設定手段は、前記構図記憶手段から前記マッチングに係る類似度が所定の条件を満たす構図及び/又は構図の組み合わせを複数抽出し、前記操作手段により取得された操作入力情報に基づいて前記抽出された構図及び/又は構図の組み合わせの中の一つを選択することを特徴とする請求項4記載の画像処理装置。
<請求項6>
前記被写体配置制御手段は、抽出された複数の被写体を分離して別個に配置することが不可能であるか否かを判別し、分離不可能な場合には、当該複数の被写体をまとめて前記画像表示領域内に配置することを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
<請求項7>
前記被写体配置制御手段は、前記一又は複数の被写体領域の境界が前記画像表示領域の境界と重なっている場合には、前記被写体領域の境界のうち、前記画像表示領域の境界と重なっている部分が当該画像表示領域の内側に移動しないようにこの被写体領域を配置することを特徴とする請求項1〜6の何れか一項に記載の画像処理装置。
<請求項8>
前記被写体配置制御手段は、全ての前記被写体及び前記背景が設定された前記構図に基づく最適な配置からそれぞれ所定の基準範囲内のずれとなるように配置の設定を行うことを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。
<請求項9>
前記画像修復手段は、前記背景の画像データに基づいて前記修復を行った後に、前記被写体領域の画像データを前記修復された背景の画像データ上に上書き更新することを特徴とする請求項2〜8の何れか一項に記載の画像処理装置。
<請求項10>
画像データの編集処理を行う画像処理方法であって、
この画像データから一又は複数の被写体領域と、背景における特徴部分とを抽出する被写体抽出ステップ、
この被写体抽出ステップで抽出された被写体及び背景の特徴部分に基づき、前記画像データに係る画像表示領域内の構図を設定する構図設定ステップ、
この構図設定ステップで設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方を前記画像表示領域に配置させる被写体配置制御ステップ、
及び、
この被写体配置制御ステップで前記被写体領域及び前記背景が配置された画像データを出力する画像出力ステップ、
を含むことを特徴とする画像処理方法。
<請求項11>
コンピュータを、
画像データから一又は複数の被写体領域と、背景における特徴部分とを抽出する被写体抽出手段、
この被写体抽出手段により抽出された被写体領域及び背景の特徴部分に基づき、前記画像データに係る画像表示領域内の構図を選択する構図設定手段、
この構図設定手段により設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方を前記画像表示領域に配置させる被写体配置制御手段、
及び、
この被写体配置制御手段の制御により前記被写体領域及び前記背景が配置された画像データを出力する画像出力手段、
として機能させるためのプログラム。
12 電子撮像部
13 撮像制御部
14 画像データ生成部
15 画像メモリ
16 画像処理部
16a 特徴領域検出部
16b 配置設定部
16c 画像修復部
17 表示制御部
18 表示部
19 操作部
20 記録媒体制御部
20a 記録媒体
21 中央制御部
21a プログラム
21b 構図設定テーブル
100 撮像装置
100a チップ
Claims (13)
- 原画像データから被写体領域と、背景における特徴部分とを抽出する抽出手段と、
この抽出手段により抽出された被写体領域及び背景の特徴部分に基づき、前記原画像データの構図を設定する構図設定手段と、
この構図設定手段により設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方の配置を変化させて、前記原画像データとは異なる構図に再配置させる配置制御手段と、
を備え、
前記配置制御手段は、前記抽出手段により抽出された複数の被写体を分離して別個に再配置することが不可能であるか否かを判別し、分離不可能な場合には、当該複数の被写体の配置をまとめて変化させて、前記原画像データとは異なる構図に再配置することを特徴とする画像処理装置。 - 原画像データから被写体領域と、背景における特徴部分とを抽出する抽出手段と、
この抽出手段により抽出された被写体領域及び背景の特徴部分に基づき、前記原画像データの構図を設定する構図設定手段と、
この構図設定手段により設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方の配置を変化させて、前記原画像データとは異なる構図に再配置させる配置制御手段と、
を備え、
前記配置制御手段は、前記被写体領域の境界が前記原画像の上下左右端の少なくとも一端と重なっている場合には、前記被写体領域の境界のうち、前記原画像の上下左右端と重なっている部分が内側に移動しないようにこの被写体領域を再配置することを特徴とする画像処理装置。 - 前記配置制御手段は、前記被写体領域及び/又は前記背景に対し、平行移動、回転移動、拡大縮小変形のうち少なくとも一つを各々行わせることを特徴とする請求項1又は2記載の画像処理装置。
- 複数の構図に係る情報を記憶する構図記憶手段を備え、
前記構図設定手段は、この構図記憶手段に記憶された構図と、前記原画像における前記被写体及び前記背景の特徴部分とのマッチングに基づいて構図を選択することを特徴とする請求項1又は2記載の画像処理装置。 - ユーザの操作入力を検出して取得する操作手段を備え、
前記構図設定手段は、前記構図記憶手段から前記マッチングに係る類似度が所定の条件を満たす構図及び/又は構図の組み合わせを複数抽出し、前記操作手段により取得された操作入力情報に基づいて前記抽出された構図及び/又は構図の組み合わせの中の一つを選択することを特徴とする請求項4記載の画像処理装置。 - 前記配置制御手段は、前記被写体領域及び/又は前記背景の変化が、前記構図設定手段により設定された前記構図に基づく配置からそれぞれ所定の基準範囲内のずれとなるように再配置の設定を行うことを特徴とする請求項1又は2記載の画像処理装置。
- 前記配置制御手段による前記被写体領域及び/又は前記背景の配置の変化により前記原画像に生じた画像データ欠損領域をこの画像データ欠損領域の周囲の画像データに基づいて推定することで修復を行う画像修復手段を備えることを特徴とする請求項1又は2記載の画像処理装置。
- 前記画像修復手段は、前記背景の画像データに基づいて前記修復を行った後に、前記被写体領域の画像データを前記修復された背景の画像データ上に上書き更新することを特徴とする請求項7記載の画像処理装置。
- 前記配置制御手段の制御により前記被写体領域及び/又は前記背景が再配置された画像データを出力する画像出力手段を備えることを特徴とする請求項1又は2記載の画像処理装置。
- 画像データの編集処理を行う画像処理方法であって、
原画像データから被写体領域と、背景における特徴部分とを抽出する抽出ステップ、
この抽出ステップで抽出された被写体及び背景の特徴部分に基づき、前記原画像データの構図を設定する構図設定ステップ、
この構図設定ステップで設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方の配置を変化させて、前記原画像データとは異なる構図に再配置させる配置制御ステップ、
を含み、
前記配置制御ステップは、前記抽出ステップにより抽出された複数の被写体を分離して別個に再配置することが不可能であるか否かを判別し、分離不可能な場合には、当該複数の被写体の配置をまとめて変化させて、前記原画像データとは異なる構図に再配置することを特徴とする画像処理方法。 - 画像データの編集処理を行う画像処理方法であって、
原画像データから被写体領域と、背景における特徴部分とを抽出する抽出ステップ、
この抽出ステップで抽出された被写体及び背景の特徴部分に基づき、前記原画像データの構図を設定する構図設定ステップ、
この構図設定ステップで設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方の配置を変化させて、前記原画像データとは異なる構図に再配置させる配置制御ステップ、
を含み、
前記配置制御ステップは、前記被写体領域の境界が前記原画像の上下左右端の少なくとも一端と重なっている場合には、前記被写体領域の境界のうち、前記原画像の上下左右端と重なっている部分が内側に移動しないようにこの被写体領域を再配置することを特徴とする画像処理方法。 - コンピュータを、
原画像データから被写体領域と、背景における特徴部分とを抽出する抽出手段、
この抽出手段により抽出された被写体領域及び背景の特徴部分に基づき、前記原画像データの構図を選択する構図設定手段、
この構図設定手段により設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方の配置を変化させて、前記原画像データとは異なる構図に再配置させる配置制御手段、
として機能させるためのプログラムであって、
前記配置制御手段は、前記抽出手段により抽出された複数の被写体を分離して別個に再配置することが不可能であるか否かを判別し、分離不可能な場合には、当該複数の被写体の配置をまとめて変化させて、前記原画像データとは異なる構図に再配置することを特徴とするプログラム。 - コンピュータを、
原画像データから被写体領域と、背景における特徴部分とを抽出する抽出手段、
この抽出手段により抽出された被写体領域及び背景の特徴部分に基づき、前記原画像データの構図を選択する構図設定手段、
この構図設定手段により設定された構図に基づいて、前記被写体領域及び前記背景のうちの少なくとも一方の配置を変化させて、前記原画像データとは異なる構図に再配置させる配置制御手段、
として機能させるためのプログラムであって、
前記配置制御手段は、前記被写体領域の境界が前記原画像の上下左右端の少なくとも一端と重なっている場合には、前記被写体領域の境界のうち、前記原画像の上下左右端と重なっている部分が内側に移動しないようにこの被写体領域を再配置することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012064037A JP5906860B2 (ja) | 2012-03-21 | 2012-03-21 | 画像処理装置、画像処理方法、及び、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012064037A JP5906860B2 (ja) | 2012-03-21 | 2012-03-21 | 画像処理装置、画像処理方法、及び、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013197980A JP2013197980A (ja) | 2013-09-30 |
JP2013197980A5 JP2013197980A5 (ja) | 2015-04-02 |
JP5906860B2 true JP5906860B2 (ja) | 2016-04-20 |
Family
ID=49396377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012064037A Active JP5906860B2 (ja) | 2012-03-21 | 2012-03-21 | 画像処理装置、画像処理方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5906860B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6610659B2 (ja) * | 2015-03-26 | 2019-11-27 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1032755A (ja) * | 1996-07-17 | 1998-02-03 | Nippon Hoso Kyokai <Nhk> | 大画面画像合成処理装置 |
JP4650297B2 (ja) * | 2006-02-23 | 2011-03-16 | セイコーエプソン株式会社 | カメラ、カメラの制御方法、プログラムおよび記録媒体 |
JP2008219451A (ja) * | 2007-03-05 | 2008-09-18 | Fujifilm Corp | 撮像装置およびその制御方法 |
JP4844657B2 (ja) * | 2009-07-31 | 2011-12-28 | カシオ計算機株式会社 | 画像処理装置及び方法 |
JP2011188372A (ja) * | 2010-03-10 | 2011-09-22 | Canon Inc | 映像生成装置、映像生成方法及びプログラム |
-
2012
- 2012-03-21 JP JP2012064037A patent/JP5906860B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013197980A (ja) | 2013-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101371766B1 (ko) | 화성을 합성하는 화상 처리 장치 | |
JP4760973B2 (ja) | 撮像装置及び画像処理方法 | |
US8111946B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP5281878B2 (ja) | 撮像装置、ライティング処理装置、ライティング処理方法およびライティング処理用プログラム | |
JP5930245B1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5561019B2 (ja) | 撮像装置、プログラムおよび撮像方法 | |
US20100225785A1 (en) | Image processor and recording medium | |
EP1834302A1 (en) | Automatic white balancing of colour gain values | |
JP2007324965A (ja) | デジタルカメラ、撮影制御方法および画像出力システム | |
JP5009204B2 (ja) | 撮影装置および撮影装置における画像合成方法 | |
JP5906860B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2009177508A (ja) | 撮像装置及び画像効果付加プログラム | |
JP2009253925A (ja) | 撮像装置及び撮像方法と、撮影制御プログラム | |
JP2006350621A (ja) | 画像処理装置及び画像処理プログラム | |
JP2014021782A (ja) | 画像処理装置、その制御方法及びプログラム | |
JP5951988B2 (ja) | 画像合成装置及び画像合成方法 | |
JP6627418B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2010226485A (ja) | 画像加工装置およびデジタルカメラ | |
JP2011182255A (ja) | 魚拓写真撮影機能を有する撮像装置 | |
JP6211139B2 (ja) | 画像合成装置 | |
JP6668646B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6268790B2 (ja) | 撮像装置 | |
JP2009077223A (ja) | 画像表示装置及び画像表示プログラム | |
JP5354059B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP2018060579A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150217 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160223 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5906860 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |