JP5713256B2 - 画像処理装置、撮像装置、および画像処理プログラム - Google Patents
画像処理装置、撮像装置、および画像処理プログラム Download PDFInfo
- Publication number
- JP5713256B2 JP5713256B2 JP2010285156A JP2010285156A JP5713256B2 JP 5713256 B2 JP5713256 B2 JP 5713256B2 JP 2010285156 A JP2010285156 A JP 2010285156A JP 2010285156 A JP2010285156 A JP 2010285156A JP 5713256 B2 JP5713256 B2 JP 5713256B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- main subject
- images
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 252
- 238000003384 imaging method Methods 0.000 title claims description 22
- 238000000034 method Methods 0.000 claims description 144
- 230000008569 process Effects 0.000 claims description 120
- 238000000605 extraction Methods 0.000 claims description 49
- 230000000694 effects Effects 0.000 claims description 19
- 238000009966 trimming Methods 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 12
- 238000011946 reduction process Methods 0.000 claims description 2
- 239000013589 supplement Substances 0.000 claims 2
- 238000011156 evaluation Methods 0.000 description 56
- 230000014509 gene expression Effects 0.000 description 45
- 238000003860 storage Methods 0.000 description 19
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 239000000203 mixture Substances 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000005484 gravity Effects 0.000 description 5
- 230000001788 irregular Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
図1は、第1実施形態での画像処理装置の構成例を示すブロック図である。第1実施形態の画像処理装置は、撮像装置により撮像された処理対象の画像(対象画像)について、被写体の分布を示すマップを作成する画像処理プログラムと、作成したマップに基づいて、新たな画像を生成する画像処理プログラムとがインストールされたパーソナルコンピュータで構成される。
CPU14は、データ読込部12を介して、ユーザにより指定された複数の対象画像のデータを外部から取得する。なお、対象画像のデータが予め記憶装置13などに記憶されている場合には、CPU14はS101の処理を省略してもよい。また、複数の対象画像は、時間的に連続して撮影されたものであり、例えば、いわゆる連写により生成された複数の画像や、複数のフレームから成る動画像など、どのようなものであっても良い。また、これらの複数の画像は、一定の時間間隔で撮影されたものでも良いし、変則的な時間間隔で撮影されたものでも良い。
CPU14は、領域分割部24と、テンプレート設定部25と、マッチング処理部26と、マップ作成部27とにより、ステップS1で取得した複数の対象画像の画像データに基づいて、対象画像における被写体の分布を示すマップを作成する。なお、マップの作成は、ステップS1で取得した複数の対象画像のそれぞれについて行われる。また、マップの作成の詳細は後述する。
CPU14は、画像生成部28により、ステップS1で取得した複数の対象画像の画像データに基づいて、新たな画像を生成する。なお、新たな画像の生成は、ステップS2で作成したマップに基づいて行われる。また、新たな画像の生成の詳細は後述する。
次に、図3および図4の流れ図を参照しつつ、マップの作成における画像処理装置の動作例を説明する。なお、図3および図4の図中のステップ番号はそれぞれ対応している。なお、マップの作成は、図2のステップS1で取得した複数の対象画像のそれぞれについて行われる。
CPU14は、データ読込部12を介して、ユーザにより指定された対象画像のデータを外部から取得する。なお、対象画像のデータが予め記憶装置13の画像蓄積部21などに記憶されている場合には、CPU14はS101の処理を省略してもよい。以下、本明細書の例では、取得した対象画像をImg[1]と表記する。
CPU14は、ローパス画像生成部23により、ステップS101で取得した対象画像Img[1]の画像の画像データに基づいて、ローパス画像Img[2]およびImg[3]を生成する。ローパス画像Img[2]の生成は、以下の式1および式2により行われ、ローパス画像Img[3]の生成は、以下の式3および式4により行われる。
CPU14は、領域分割部24により、ステップS101で取得した対象画像Img[1]、ステップS102で生成したローパス画像Img[2]およびImg[3]を、それぞれ、複数のブロックに等間隔に分割する。一例として、第1実施形態での領域分割部24は、対象画像Img[1]、ローパス画像Img[2]およびImg[3]を、それぞれ10×10のマトリクス状にブロックで等分割する。なお、以下では、各ブロックは、[n]で画像の種類を示し、(i,j)でブロックの位置を示し、ブロックB[n] (i,j)と表記する。nは画像の種類を示し、n=1はステップS101で取得した対象画像Img[1]を示し、n=2およびn=3はステップS102で生成したローパス画像Img[2]およびImg[3]を示す。また、iは横方向の位置を示し、jは縦方向の順番を示す。例えば、対象画像Img[1]の左上隅のブロックは始点であり、ブロックB[1] (1,1)と表記され、右下隅のブロックは終点であり、ブロックB[1] (10,10)と表記される。(図5参照)。ローパス画像Img[2]およびImg[3]についても同様である。
CPU14は、テンプレート設定部25により、S103の分割処理による複数のブロックから、最外周に存在するブロックを選択し、テンプレートとして設定する。テンプレート設定部25は、テンプレートの設定を対象画像Img[1]、ローパス画像Img[2]およびImg[3]のそれぞれについて行う。
CPU14は、マッチング処理部26により、対象画像Img[1]、ローパス画像Img[2]およびImg[3]のそれぞれについて、マッチング処理を行う。
CPU14は、マップ作成部27により、対象画像Img[1]、ローパス画像Img[2]およびImg[3]のそれぞれについて、マップの作成を行う。
CPU14は、ステップS106で求めたマップSal[T]を、対象画像Img[1]と対応づけて記録する。例えば、マップSal[T]を、対象画像Img[1]の付帯情報として記録しても良いし、マップSal[T]に、その情報が対象画像Img[1]に関するものであることを示す識別情報を付与しても良い。
CPU14は、ステップS106で求めたマップSal[T]に基づいて、対象画像Img[1]と、主要被写体領域を示す領域を示すマーカーとをモニタ19に重畳表示する。
(a)主要被写体領域(注目領域)への自動ズーム
撮影時において、構図確認用のいわゆるスルー画像に基づいてマップSal[T]を作成することにより、撮影中に主要被写体領域への自動ズームを行うことができる。例えば、主要被写体領域が所定の大きさよりも小さい場合には、主要被写体領域を中心として自動で光学ズームまたは電子ズームを行うことにより、適切な撮影を行うことができる。
(b)AE,AF,AWBへの利用
撮影時において、構図確認用のいわゆるスルー画像に基づいてマップSal[T]を作成することにより、撮影中に実行するAE,AF,AWBを行う範囲を好適に制御することができる。また、従来から行われている被写体認識などにマップSal[T]の情報を利用しても良い。
(c)スライドショーにおけるズーム中心の決定
複数の画像を連続して再生、表示するスライドショーにおいて、画像の切り替え時などに表示効果としてズーム処理が良く行われる。このような場合に、マップSal[T]に基づいて主要被写体領域を抽出することにより、この主要被写体領域の中心をズーム中心とすることができる。その結果、ズーム処理の目的である「主要被写体領域(注目領域)を際立たせる」という効果に即した表示を行うことができる。
(d)主要被写体領域(注目領域)の自動クロップ
複数の画像を一覧表示する際に、画像の一部を切り出して拡大する自動クロップにより、主要被写体領域のみを表示することが行われている。このような表示を行うことにより、複数の画像を一覧表示する際に、余分な情報を表示することなく、一覧性を保ったまま、一画面中に多量の画像を表示することができる。このような表示の例を図9に示す。図9Aは、従来の一覧表示の例である。このような表示の際に、マップSal[T]に基づいて自動クロップを行い、主要被写体領域のみを一覧表示する例を図9Bに示す。
次に、図10および図11の流れ図を参照しつつ、マップの作成新たな画像の生成における画像処理装置の動作例を説明する。なお、図10および図11の図中のステップ番号はそれぞれ対応している。
CPU14は、ユーザにより指定された対象画像のデータとマップとを取得する。なお、マップは、予め上述した方法により取得され、対象画像と対応づけて記録されたものである。以下では、図12に示す3枚の画像(Img[t=1],Img[t=2],Img[t=3])を取得した場合を例に挙げて説明を行う。
CPU14は、画像生成部28により、主要被写体画像の抽出を行う。画像生成部28は、ステップS201で取得した3枚の画像(Img[t=1],Img[t=2],Img[t=3])のそれぞれについて、対応づけられたマップに基づいて主要被写体画像の抽出を行う。図11に示すように、Img[t=1]から抽出した主要被写体画像をMimg[t=1]と称し、Img[t=2] から抽出した主要被写体画像をMimg[t=2]と称し、Img[t=3] から抽出した主要被写体画像をMimg[t=3]と称する。図13に、主要被写体画像Mimg[t=1]を例示する。
CPU14は、画像生成部28により、背景画像の抽出を行う。画像生成部28は、ステップS201で取得した3枚の画像(Img[t=1],Img[t=2],Img[t=3])の少なくとも1枚ついて、対応づけられたマップに基づいて背景画像の抽出を行う。ここでは、図11に示すように、Img[t=1]について背景画像を抽出し、この背景画像をBimgα[t=1]と称する。図13に、背景画像BMimgα[t=1]を例示する。背景画像BMimgα[t=1]は、図13に示すように、主要被写体画像に対応する部分が欠損した画像となる。
CPU14は、画像生成部28により、ステップS203で抽出した背景画像Bimgα[t=1]の補完処理を行う。例えば、画像生成部28は、図13に示すように、欠損部分を除く部分の画像に基づいて、欠損部分を補完する処理を行っても良い。また、ステップS203において、複数の対象画像から複数の背景画像を抽出しておき、任意の1枚の背景画像について、別の背景画像に基づいて、欠損部分を補完する処理を行っても良い。さらに、予め欠損部分の補完に適した画像をいくつか用意しておき、このような画像を用いて欠損部分を補完する処理を行っても良い。欠損部分を補完した後の背景画像をBimgβ[t=1]と称し、図13に、背景画像BMimgβ[t=1]を例示する。
CPU14は、画像生成部28により、ステップS202で抽出した複数の主要被写体画像に基づいて、動き情報の演算を行う。動き情報の演算は公知技術と同様に行われる。なお、画像生成部28は、ステップS202で抽出した複数の主要被写体画像に基づいて動き情報を演算しても良いし、ステップS201で取得したマップの情報に基づいて動き情報を演算しても良い。例えば、ステップS201で取得したマップのうち、白色画素の重心を求めることにより動き情報を演算しても良い。さらに、ステップS202で抽出した複数の主要被写体画像とステップS201で取得したマップとの両方に基づいて動き情報を演算しても良い。動き情報には、主要被写体の動きの向きや速さなどの情報が含まれ、以下では、動き情報をInfo[M]と称する。
CPU14は、画像生成部28により、画像処理を行う。画像生成部28は、画像処理によって、新たな画像として、特定の画像効果を有する静止画像または動画像を生成する。また、画像生成部28は、静止画像および動画像のそれぞれについて、3D画像を生成する。また、画像生成部28は、静止画像および動画像のそれぞれについて、画像情報や文字情報を挿入する処理を行う。新たな画像としてどのような画像を生成するかは、ユーザ指示により定められても良いし、CPU14が適宜選択する構成としても良い。以下では、静止画像を生成する場合と、動画像を生成する場合と、3D画像を生成する場合と、画像情報や文字情報を挿入する場合とに分けて、主要被写体画像に対する画像処理の内容と背景画像に対する画像処理の内容とを説明する。
画像生成部28は、ステップS202で抽出した主要被写体画像の少なくとも1つと、ステップS203で抽出し、ステップS204で補完処理を施した背景画像とを、ステップS205で演算した動き情報Info[M]に基づいて合成することにより、新たな画像として静止画像を生成する。
画像生成部28は、(A)複数の主要被写体画像を合成し、合成後の主要被写体画像を背景画像内の任意の1つの位置に配置するか、(B)動き情報Info[M]に応じて、複数の主要被写体画像を合成した主要被写体画像を背景画像内の異なる位置にそれぞれ配置するか、(C)動き情報Info[M]に応じて、任意の1つの主要被写体画像を背景画像内の異なる位置にそれぞれ配置するか、(D)動き情報Info[M]に応じて、複数の主要被写体画像を背景画像内の異なる位置にそれぞれ配置することにより静止画像を生成する。図14に上述した(A)〜(D)の方法で生成した静止画像を例示する。
画像生成部28は、ステップS204で補完処理を施した背景画像BMimgβ[t=1]に対して、動き情報Info[M]に応じた方向にブレを発生させる処理を施し、処理後の背景画像BMimgβ[t=1]と、主要被写体画像Mimg[t=1]〜主要被写体画像Mimg[t=3]のうち少なくとも1枚の主要被写体画像とに基づき新たな画像として静止画像を生成する。
≪マクロ風効果に関する追加≫
上述した例では、ステップS204で補完処理を施した背景画像BMimgβ[t=1]に対して、ブレを発生する処理を施す例を示したが、ステップS204で補完処理を施した背景画像BMimgβ[t=1]に対して、ぼかし効果を加える処理を施しても良い。このような処理により、擬似的にマクロ撮影を行ったかのような静止画像を得ることができる。
画像生成部28は、ステップS202で抽出した主要被写体画像の少なくとも1つと、ステップS203で抽出し、ステップS204で補完処理を施した背景画像とを、ステップS205で演算した動き情報Info[M]に基づいて合成することにより、新たな画像として、複数のフレームから成る動画像を生成する。
(2)−a−1 主要被写体画像自体に関する画像処理
画像生成部28は、フレーム毎の主要被写体画像として、以下の(A)〜(C)の何れかを用いる。
画像生成部28は、フレーム毎の主要被写体画像を、以下の(A)〜(C)の何れかの位置に配置する。
画像生成部28は、(1)−bで説明したものと同様の、動き情報Info[M]に応じた方向にブレを発生させる処理やぼかし効果を加える処理を施す。この処理は、画像生成部28において常に行っても良いし、ユーザの選択に応じて行っても良い。また、この処理は(2)−aで説明した全ての主要被写体画像について適応可能である。
フレーム毎に、背景画像BMimgβ[t=1]の異なる部分をトリミングして、各フレームの背景画像として用いる。例えば、図17に例示するように、動き情報Info[M]に基づいて、トリミング位置をずらした背景画像をフレーム毎に用いる。図17の例では、背景画像に欠損部分が発生する。この部分については、図17のように黒色の表示を行っても良いし、他の色表示や画像の表示を行っても良い。
(A)で説明したトリミング処理をより効果的に行うために、トリミング処理の前に画像の拡大処理を行う。例えば、図19に示すように、背景画像BMimgβ[t=1]を横方向(動き情報Info[M]に基づいて拡大方向や拡大倍率を決定すると良い。)に2倍に拡大する。その後に、(A)で説明したトリミング処理を行うことにより、上述した欠損部分が生じるのをさらに抑えることができる。
(A)で説明したトリミング処理をより効果的に行うために、トリミング処理の前に背景画像BMimgβ[t=1]の複製および連結する処理を行う。例えば、図20に示すように、背景画像BMimgβ[t=1]に発生する欠損部分に対して、トリミング位置の変更によりはみ出る部分の画像を連結する。その後に、(A)で説明したトリミング処理を行うことにより、上述した欠損部分が生じるのをさらに抑えることができる。なお、この処理は、(B)で説明した拡大処理と組み合わせて行っても良い。このような処理を行うことにより、いわゆる走馬燈のように背景が流れていく表現を実現することができる。なお、連結部分には、不整合が生じる場合が考えられる。このような場合には、連結部分にスムージング処理やグラデーション処理などを施すことにより、不自然さを抑えることが期待できる。
画像生成部28は、(1)で説明した静止画像および(2)で説明した動画像に基づいて、仮想三次元モデリングを行うことにより3D画像を生成する。以下では、(1)で説明した静止画像に基づいて、仮想三次元モデリングを行う場合を例に挙げて説明する。(2)で説明した動画像に基づいて、仮想三次元モデリングを行う場合にも、フレーム毎に同様の処理を行えば良い。
≪吹き出しetcに関する追記≫
画像生成部28は、(1)で説明した静止画像、(2)で説明した動画像および(3)で説明した3D画像に対して、主要被写体領域の位置に応じた位置に、画像情報や文字情報を挿入する処理を行う。以下では、(2)で説明した動画像に対して、吹き出しに文字が含まれた画像情報を挿入する場合を例に挙げて説明する。(1)で説明した静止画像や(3)で説明した3D画像に画像情報や文字情報を挿入する場合にも、同様の処理を行えば良い。なお、各処理の順序は問わない。すなわち、例えば、以下に説明する画像情報や文字情報を挿入する処理を行った後に、(3)で説明した3D画像の生成を行っても良い。
≪主要被写体のみ利用に関する追記≫
なお、(1)から(4)で説明した各処理において、ステップS202で抽出した主要被写体画像のみに基づいて、新たな画像を生成しても良い。すなわち、ステップS202で抽出した主要被写体画像に基づいて新たな静止画像、動画像、3D画像を生成することにより、上述した各処理を、Webやメールなどで使用されるアニメーション、アイコンや絵文字などの作成に利用することができる。
CPU14は、ステップS207の画像処理により生成した新たな画像を記録する。なお、生成した新たな画像が動画像である場合、記録に際して、以下の2種類の方法が考えられる。
CPU14は、ステップS207の画像処理により生成した新たな画像をモニタ19に表示する。
以下、第2実施形態の画像処理装置の動作例を説明する。第2実施形態は第1実施形態において説明したマップの作成におけるS102の処理の変形例である。なお、本明細書では以下の実施形態の説明において、第1実施形態と共通する画像処理装置の構成の重複説明は省略する。
CPU14は、領域分割部24により、ステップS101で取得した対象画像Img[1]の画像データに基づいて、リサイズ画像Img[2]およびImg[3]を生成する。リサイズ画像Img[2]の生成は、以下の式9により行われ、リサイズ画像Img[3]の生成は、以下の式10により行われる。
以下、第3実施形態の画像処理装置の動作例を説明する。第3実施形態は第1実施形態および第2実施形態において説明したマップの作成におけるS104の処理の変形例である。なお、本明細書では以下の実施形態の説明において、第1実施形態および第2実施形態と共通する画像処理装置の構成の重複説明は省略する。
CPU14は、テンプレート設定部25により、S103の分割処理による複数のブロックから、下辺を除く3辺に存在するすべてのブロックを選択し、テンプレートとして設定する。テンプレート設定部25は、テンプレートの設定を対象画像Img[1]、ローパス画像Img[2]およびImg[3]のそれぞれについて行う。
以下、第4実施形態の画像処理装置の動作例を説明する。第4実施形態は、上記した第3実施形態と同様に、第1実施形態および第2実施形態において説明したマップの作成におけるS104の処理の変形例である。したがって、第3実施形態と同様に、本明細書では以下の実施形態の説明において、第1実施形態および第2実施形態と共通する画像処理装置の構成の重複説明は省略する。
CPU14は、テンプレート設定部25により、マッチング対象のブロックの、画像内における位置に基づいて、S103の分割処理による複数のブロックから、画像の最外周に存在するすべてのブロックから、一部のブロックを選択し、テンプレートとして設定する。テンプレート設定部25は、テンプレートの設定を対象画像Img[1]、ローパス画像Img[2]およびImg[3]のそれぞれについて行う。
以下、第5実施形態の画像処理装置の動作例を説明する。第5実施形態は、上記した第1実施形態から第4実施形態において説明したマップの作成におけるS105の処理の変形例である。なお、本明細書では以下の実施形態の説明において、第1実施形態から第4実施形態と共通する画像処理装置の構成の重複説明は省略する。
CPU14は、マッチング処理部26により、対象画像Img[1]、ローパス画像Img[2]およびImg[3]のそれぞれについて、マッチング処理を行う。
以下、第6実施形態の画像処理装置の動作例を説明する。第6実施形態は、上記した第5実施形態と同様に、第1実施形態から第4実施形態において説明したマップの作成におけるS105の処理の変形例である。したがって、第5実施形態と同様に、本明細書では以下の実施形態の説明において、第1実施形態から第4実施形態と共通する画像処理装置の構成の重複説明は省略する。
CPU14は、マッチング処理部26により、対象画像Img[1]、ローパス画像Img[2]およびImg[3]のそれぞれについて、マッチング処理を行う。
なお、第6実施形態のS103からステップS105の処理を、以下のように変形しても良い。
CPU14は、領域分割部24により、ステップS101で取得した対象画像Img[1]、ステップS102で生成したローパス画像Img[2]およびImg[3]を、それぞれ、複数のブロックに分割する。ただし、領域分割部24は、図30に示すように、対象画像Img[1]を、外周に存在するブロックB[1] (1,1)と、その内側に存在する8×8のマトリクス状のブロックB[1] (2,2)〜B[1] (9,9)とに分割する。また、領域分割部24は、ローパス画像Img[2]およびImg[3]についても同様に分割する。
CPU14は、テンプレート設定部25により、S103の分割処理による複数のブロックから、外周に存在するブロックB[1] (1,1)を選択し、テンプレートとして設定する。テンプレート設定部25は、図31に示すように、テンプレートの設定を対象画像Img[1]、ローパス画像Img[2]およびImg[3]のそれぞれについて行う。つまり、この変形例において、テンプレート設定部25は、1つのブロックをテンプレートT[1]{1}として設定する。
CPU14は、マッチング処理部26により、対象画像Img[1]、ローパス画像Img[2]およびImg[3]のそれぞれについて、マッチング処理を行う。
以下、第7実施形態の画像処理装置の動作例を説明する。第7実施形態は、第1実施形態から第6実施形態におけるマップの作成の変形例である。したがって、本明細書では以下の実施形態の説明において、第1実施形態から第6実施形態と共通する画像処理装置の構成の重複説明は省略する。
(ステップS301〜ステップS306)
CPU14は、図3に示したフローチャートのステップS101〜ステップS106と同様の処理を行う。
(ステップS307)
CPU14は、ステップS306で求めたマップSal[T]に基づいて、追加するテンプレートがあるか否かを判定する。CPU14は、追加するテンプレートありと判定すると、ステップS304に戻り、再びテンプレートの設定を行う。一方、CPU14は、追加するテンプレートなしと判定すると、ステップS308に進む。
(ステップS308〜ステップS309)
CPU14は、図3に示したフローチャートのステップS307〜ステップS308と同様の処理を行う。
図33は、第8実施形態での電子カメラの構成例を示すブロック図である。電子カメラ31は、撮像光学系32と、撮像素子33と、画像処理エンジン34と、ROM35と、メインメモリ36と、記録I/F37と、ユーザの操作を受け付ける操作部38と、不図示のモニタを備えた表示部39を有している。ここで、撮像素子33、ROM35、メインメモリ36、記録I/F37、操作部38および表示部39は、それぞれ画像処理エンジン34に接続されている。
(1)マップの作成に関して、上記各実施形態では対象画像のデータがRGB形式である例を説明したが、本発明は上記実施形態の構成に限定されるものではない。本発明の画像処理装置は、例えばYCbCr色空間やL*a*b*色空間などの他の色空間の画像データについても適用することができる。
Claims (24)
- 処理の対象となる対象画像の情報を取得する取得部と、
前記対象画像を複数のブロックに分割する領域分割部と、
前記複数のブロックのうち、前記対象画像の外周部に存在する1つ以上のブロックの画像に基づいて、1つ以上のテンプレートを設定する設定部と、
前記対象画像を分割した前記複数のブロックの各々について代表値を算出する算出部と、
マッチング対象のブロックの前記代表値と、前記1つ以上のテンプレートにおける前記代表値とをそれぞれ比較することによるマッチングを、前記複数のブロックごとに行うマッチング部と、
前記マッチング部によるマッチングの結果に基づいて、前記対象画像における被写体の分布を示すマップを作成する作成部と、
複数の前記対象画像ごとの前記マップに基づいて、複数の前記対象画像のそれぞれから主要被写体画像を抽出する第1抽出部と、
複数の前記対象画像ごとの前記マップに基づいて、複数の前記対象画像のうち、任意の1枚の前記対象画像から背景画像を抽出する第2抽出部と、
前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、前記第2抽出部により抽出した前記背景画像との少なくとも一方に基づく新たな画像を生成する生成部とを備え、
前記設定部は、前記領域分割部により分割された前記複数のブロックのうち、前記設定部により前記テンプレートに設定されていないブロックについて、前記作成部により作成された前記マップにおける値と所定の閾値とを比較し、比較結果に基づいて、1つ以上のテンプレートを新たに追加する追加設定部を含み、
前記マッチング部は、マッチング対象のブロックの前記代表値と、前記追加設定部により追加された前記1つ以上のテンプレートにおける前記代表値とをそれぞれ比較することによるマッチングを、前記複数のブロックごとに行い、
前記作成部は、前記マッチング部によるマッチングの結果に基づいて、前記対象画像における被写体の分布を示すマップを改めて作成する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記生成部は、前記背景画像に対して、前記背景画像にぼかし効果を加える処理を施し、前記処理後の前記背景画像と、少なくとも1枚の前記主要被写体画像とに基づき前記新たな画像を生成する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記生成部は、前記背景画像について、前記第2抽出部による抽出時に発生する欠損部分を補完する処理を施し、前記処理後の前記背景画像と、少なくとも1枚の前記主要被写体画像とに基づき前記新たな画像を生成する
ことを特徴とする画像処理装置。 - 請求項3に記載の画像処理装置において、
前記生成部は、前記背景画像のうち、前記欠損部分を除く部分の画像に基づいて、前記欠損部分を補完する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記生成部は、少なくとも1枚の前記主要被写体画像と前記背景画像との間に所定の距離を設定し、仮想三次元モデリングを行うことにより左目用画像および右目用画像から成る前記新たな画像を生成する
ことを特徴とする画像処理装置。 - 請求項5に記載の画像処理装置において、
前記取得部は、前記対象画像が生成された際の撮影条件を更に取得し、
前記生成部は、前記撮影条件に基づいて前記所定の距離を設定する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記生成部は、前記マップに基づいて、前記新たな画像中の主要被写体の位置に応じた位置に、任意の画像情報と文字情報との少なくとも一方を挿入する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記生成部は、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像のみに基づいて、前記新たな画像を生成するか、または、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、任意の画像とに基づいて、前記新たな画像を生成する
ことを特徴とする画像処理装置。 - 請求項1から請求項8のいずれか1項に記載の画像処理装置において、
前記生成部は、前記新たな画像として静止画像を生成する
ことを特徴とする画像処理装置。 - 請求項9に記載の画像処理装置において、
前記第1抽出部により抽出した複数の前記主要被写体画像に基づいて、前記主要被写体の動き情報を演算する演算部をさらに備え、
前記生成部は、前記動き情報に応じて、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、前記第2抽出部により抽出した前記背景画像とに基づく新たな画像を生成する
ことを特徴とする画像処理装置。 - 請求項1から請求項8のいずれか1項に記載の画像処理装置において、
前記生成部は、前記新たな画像として、複数のフレームから成る動画像を生成する
ことを特徴とする画像処理装置。 - 請求項11に記載の画像処理装置において、
前記第1抽出部により抽出した複数の前記主要被写体画像に基づいて、前記主要被写体の動き情報を演算する演算部をさらに備え、
前記生成部は、前記動き情報に応じて、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、前記第2抽出部により抽出した前記背景画像とに基づく新たな画像を生成する
ことを特徴とする画像処理装置。 - 請求項10または請求項12に記載の画像処理装置において、
前記生成部は、前記背景画像に対して、前記動き情報に応じた方向にブレを発生させる処理を施し、前記処理後の前記背景画像と、少なくとも1枚の前記主要被写体画像とに基づき前記新たな画像を生成する
ことを特徴とする画像処理装置。 - 請求項10または請求項12に記載の画像処理装置において、
前記第2抽出部は、複数の前記対象画像ごとの前記マップに基づいて、複数の前記対象画像から複数の前記背景画像を抽出し、
前記生成部は、任意の1枚の前記背景画像について、別の前記背景画像に基づいて、前記第2抽出部による抽出時に発生する欠損部分を補完する
ことを特徴とする画像処理装置。 - 請求項10に記載の画像処理装置において、
前記生成部は、複数の前記主要被写体画像を合成し、合成後の前記主要被写体画像を前記背景画像内の任意の1つの位置に配置するか、前記動き情報に応じて、前記合成後の前記主要被写体画像を前記背景画像内の異なる位置にそれぞれ配置するか、前記動き情報に応じて、任意の1つの前記主要被写体画像を前記背景画像内の異なる位置にそれぞれ配置するか、前記動き情報に応じて、複数の前記主要被写体画像を前記背景画像内の異なる位置にそれぞれ配置することにより前記静止画像を生成する
ことを特徴とする画像処理装置。 - 請求項10または請求項15に記載の画像処理装置において、
前記生成部により生成した前記静止画像を記録する記録部をさらに備える
ことを特徴とする画像処理装置。 - 請求項12に記載の画像処理装置において、
前記生成部は、複数の前記主要被写体画像を合成し、前記動き情報に応じて、合成後の前記主要被写体画像を複数の前記フレームのそれぞれにおいて前記背景画像に配置する処理と、任意の前記主要被写体画像を複数の前記フレームのそれぞれにおいて前記背景画像内の異なる位置にそれぞれ配置する処理と、前記動き情報に応じて、複数の前記フレームのそれぞれに異なる前記主要被写体画像を配置する処理との少なくとも1つを行うことにより前記動画像を生成する
ことを特徴とする画像処理装置。 - 請求項12または請求項17に記載の画像処理装置において、
前記生成部は、前記動き情報に応じて、複数の前記フレームのそれぞれにおいて異なる前記背景画像に前記主要被写体画像を配置することにより前記動画像を生成する
ことを特徴とする画像処理装置。 - 請求項12または請求項17に記載の画像処理装置において、
前記生成部は、前記第2抽出部により抽出した前記背景画像に対して、トリミング処理と、拡大縮小処理と、前記背景画像の少なくとも一部を複製して前記背景画像に連結する処理との少なくとも1つを行うことにより、複数の前記フレームに対応する複数の前記背景画像を生成する
ことを特徴とする画像処理装置。 - 請求項11、請求項12、請求項17から請求項19の何れか1項に記載の画像処理装置において、
前記生成部により生成した前記動画像を記録する記録部をさらに備え、
前記記録部は、複数の前記フレームのそれぞれについて、前記主要被写体画像と、前記背景画像と、前記背景画像に前記主要被写体を合成する際の配置を示す情報とを関連づけて記録する
ことを特徴とする画像処理装置。 - 請求項11、請求項12、請求項17から請求項19の何れか1項に記載の画像処理装置において、
前記生成部により生成した前記動画像を記録する記録部をさらに備え、
前記生成部は、複数の前記フレームのそれぞれにおいて前記主要被写体画像と前記背景画像とを合成する処理を行い、
前記記録部は、前記生成部により前記処理が行われた前記動画像を記録する
ことを特徴とする画像処理装置。 - 処理の対象となる対象画像の情報を取得する取得部と、
前記対象画像を複数のブロックに分割する領域分割部と、
前記複数のブロックのうち、前記対象画像の外周部に存在する1つ以上のブロックの画像に基づいて、1つ以上のテンプレートを設定する設定部と、
前記対象画像を分割した前記複数のブロックの各々について代表値を算出する算出部と、
マッチング対象のブロックの前記代表値と、前記1つ以上のテンプレートにおける前記代表値とをそれぞれ比較することによるマッチングを、前記複数のブロックごとに行うマッチング部と、
前記マッチング部によるマッチングの結果に基づいて、前記対象画像における被写体の分布を示すマップを作成する作成部と、
複数の前記対象画像ごとの前記マップに基づいて、複数の前記対象画像のそれぞれから主要被写体画像を抽出する第1抽出部と、
複数の前記対象画像ごとの前記マップに基づいて、複数の前記対象画像のうち、少なくとも2枚の前記対象画像から複数の背景画像を抽出する第2抽出部と、
前記第1抽出部により抽出した複数の前記主要被写体画像に基づいて、前記主要被写体の動き情報を演算する演算部と、
前記動き情報に応じて、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、前記第2抽出部により抽出した複数の前記背景画像とに基づく新たな画像を生成する生成部とを備え、
前記設定部は、前記領域分割部により分割された前記複数のブロックのうち、前記設定部により前記テンプレートに設定されていないブロックについて、前記作成部により作成された前記マップにおける値と所定の閾値とを比較し、比較結果に基づいて、1つ以上のテンプレートを新たに追加する追加設定部を含み、
前記マッチング部は、マッチング対象のブロックの前記代表値と、前記追加設定部により追加された前記1つ以上のテンプレートにおける前記代表値とをそれぞれ比較することによるマッチングを、前記複数のブロックごとに行い、
前記作成部は、前記マッチング部によるマッチングの結果に基づいて、前記対象画像における被写体の分布を示すマップを改めて作成する
ことを特徴とする画像処理装置。 - 被写体の像を撮像する撮像部と、
請求項1から請求項22のいずれか1項に記載の画像処理装置とを備え、
前記取得部は、前記撮像部から前記対象画像の情報を取得する
ことを特徴とする撮像装置。 - 処理の対象となる対象画像の情報を取得する取得処理と、
前記対象画像を複数のブロックに分割する領域分割処理と、
前記複数のブロックのうち、前記対象画像の外周部に存在する1つ以上のブロックの画像に基づいて、1つ以上のテンプレートを設定する設定処理と、
前記対象画像を分割した前記複数のブロックの各々について代表値を算出する算出処理と、
マッチング対象のブロックの前記代表値と、前記1つ以上のテンプレートにおける前記代表値とをそれぞれ比較することによるマッチングを、前記複数のブロックごとに行うマッチング処理と、
前記マッチング処理の結果に基づいて、前記対象画像における被写体の分布を示すマップを作成する作成処理と、
複数の前記対象画像ごとの前記マップに基づいて、複数の前記対象画像のそれぞれから主要被写体画像を抽出する第1抽出処理と、
複数の前記対象画像ごとの前記マップに基づいて、複数の前記対象画像のうち、任意の1枚の前記対象画像から背景画像を抽出する第2抽出処理と、
前記第1抽出処理によって抽出した少なくとも1枚の前記主要被写体画像と、前記第2抽出処理によって抽出した前記背景画像との少なくとも一方に基づく新たな画像を生成する生成処理とをコンピュータに実行させ、
前記設定処理は、前記領域分割処理によって分割された前記複数のブロックのうち、前記設定処理によって前記テンプレートに設定されていないブロックについて、前記作成処理によって作成された前記マップにおける値と所定の閾値とを比較し、比較結果に基づいて、1つ以上のテンプレートを新たに追加する追加設定処理を含み、
前記マッチング処理は、マッチング対象のブロックの前記代表値と、前記追加設定処理によって追加された前記1つ以上のテンプレートにおける前記代表値とをそれぞれ比較することによるマッチングを、前記複数のブロックごとに行い、
前記作成処理は、前記マッチング処理の結果に基づいて、前記対象画像における被写体の分布を示すマップを改めて作成する
ことを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010285156A JP5713256B2 (ja) | 2010-12-21 | 2010-12-21 | 画像処理装置、撮像装置、および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010285156A JP5713256B2 (ja) | 2010-12-21 | 2010-12-21 | 画像処理装置、撮像装置、および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012133593A JP2012133593A (ja) | 2012-07-12 |
JP5713256B2 true JP5713256B2 (ja) | 2015-05-07 |
Family
ID=46649119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010285156A Active JP5713256B2 (ja) | 2010-12-21 | 2010-12-21 | 画像処理装置、撮像装置、および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5713256B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102089714B1 (ko) * | 2018-09-18 | 2020-03-16 | 조경환 | 배경 이미지의 원격관리, 정산 및 통계 처리가 가능한 스튜디오 시스템 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4272771B2 (ja) * | 1998-10-09 | 2009-06-03 | キヤノン株式会社 | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 |
JP3918141B2 (ja) * | 1999-08-18 | 2007-05-23 | 富士フイルム株式会社 | 画像処理装置及び画像処理方法 |
JP2001186323A (ja) * | 1999-12-24 | 2001-07-06 | Fuji Photo Film Co Ltd | 証明写真システム及び画像処理方法 |
JP4729812B2 (ja) * | 2001-06-27 | 2011-07-20 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2010154147A (ja) * | 2008-12-25 | 2010-07-08 | Hitachi Ltd | ビデオカメラ装置 |
JP5434126B2 (ja) * | 2009-02-19 | 2014-03-05 | カシオ計算機株式会社 | 撮像装置、撮像方法及び撮像プログラム |
JP2010198559A (ja) * | 2009-02-27 | 2010-09-09 | Nikon Corp | 画像処理装置、画像処理方法、および、画像処理プログラム |
JP5381189B2 (ja) * | 2009-03-16 | 2014-01-08 | 株式会社リコー | 画像処理方法および画像処理装置 |
JP5326809B2 (ja) * | 2009-05-22 | 2013-10-30 | 株式会社ニコン | 撮像装置 |
-
2010
- 2010-12-21 JP JP2010285156A patent/JP5713256B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012133593A (ja) | 2012-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3457683B1 (en) | Dynamic generation of image of a scene based on removal of undesired object present in the scene | |
KR101609491B1 (ko) | 화상 합성 장치, 화상 합성 방법 및 기록 매체 | |
KR101036787B1 (ko) | 움직임 벡터 연산 방법과 이 방법을 이용한 손 떨림 보정장치, 촬상 장치, 및 동영상 생성 장치 | |
CN107409166B (zh) | 摇摄镜头的自动生成 | |
KR101711036B1 (ko) | 핸드헬드 기기 상에서 입체적인 (3디) 파노라마 생성 | |
JP4840426B2 (ja) | 電子機器、ぼけ画像選別方法及びプログラム | |
US7606441B2 (en) | Image processing device and a method for the same | |
RU2368006C1 (ru) | Способ и система адаптивного переформатирования цифровых изображений | |
US8289434B2 (en) | Image processing apparatus, control method, and storage medium for editing layout positions of image data | |
JP4821642B2 (ja) | 画像処理方法、画像処理装置、ディジタルカメラ及び画像処理プログラム | |
JP2010244398A (ja) | 画像処理装置および画像処理プログラム | |
CN106296574A (zh) | 三维照片生成方法和装置 | |
JP4797039B2 (ja) | 画像合成方法及び装置 | |
CN112001940B (zh) | 图像处理方法及装置、终端及可读存储介质 | |
JP2019047336A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP5713256B2 (ja) | 画像処理装置、撮像装置、および画像処理プログラム | |
JP5385059B2 (ja) | 画像表示方法、プログラム、画像表示装置、及び、撮像装置 | |
JP2012134775A (ja) | 画像処理装置、撮像装置、および画像処理プログラム | |
JP2011165013A (ja) | 画像復元装置および画像復元方法 | |
JP5487126B2 (ja) | 画像処理装置、撮像装置、および画像処理プログラム | |
JP2006332743A (ja) | 電子カメラおよび画像処理プログラム | |
JP7059239B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
CN110222207B (zh) | 图片的整理方法、装置和智能终端 | |
Feng et al. | Perceptual thumbnail generation | |
CN113313646A (zh) | 图像处理方法及装置、电子设备、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20131025 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140715 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5713256 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |