JPWO2012137437A6 - 画像処理装置および画像処理方法 - Google Patents

Abstract

撮影物体境界の不鮮明化を抑えた状態で、撮影画像の画質を改善すること。画像処理装置（１００）は、左目画像と右目画像との間の対応画素対と、対応画素対のデプス情報およびマッチングスコアとを取得する画像・距離取得部（２００）と、対応画素対ごとに、デプス情報およびマッチングスコアに基づいて当該対応画素対を注目画素として含む所定の領域範囲の各画素に対して重みを決定する重み情報計算部（３００）と、２つの画像の少なくとも一方において、対応画素対ごとに、上述の所定の領域範囲において画素値に重みを適用し平滑化を行い、所定の領域範囲の注目画素の画素値を、平滑化により得られた値で置き換えてから２つの画像を画素単位で重畳する画素値重畳部（４００）と、を有する。

Description

本発明は、複数の画像を合成して高画質な画像を生成する、画像処理装置および画像処理方法に関する。

従来、撮影画像の画質の改善を図る技術としては、同一の対象を撮影した２つの画像から合成画像を生成する技術が知られている（例えば、特許文献１参照）。

特許文献１記載の技術（以下「従来技術」という）は、同一の対象を撮影した短時間露光画像と長時間露光画像から、対応する画素対ごとに画素値を重畳することにより、合成画像を生成する。この際、従来技術は、長時間露光画像における物体のエッジのぶれ範囲については、短時間露光画像の画素値の比率を高くする。短時間露光画像は、ノイズは多いがエッジが鮮明である。長時間露光画像は、エッジが不鮮明だがノイズが少ない。したがって、従来技術は、全体として画素値のダイナミックレンジを２倍としつつ、両画像の長所を生かした合成画像を生成することができる。

特開２００７−３２４７７０号公報

しかしながら、従来技術は、長時間露光画像においては動物体のぶれや、カメラぶれによる撮影対象のぶれが合成画像に残り、結果、撮影物体境界が不鮮明になるという課題を有する。エッジ情報だけでは、物体の境界を判定することができず、境界をまたがった範囲で合成などの計算処理を行い得るからである。

本発明の目的は、撮影物体境界の不鮮明化を抑えてダイナミックレンジを拡大し、撮影画像の画質を改善することができる画像処理装置および画像処理方法を提供することである。

本発明の画像処理装置は、撮影により得られた２つの画像から合成画像を生成する画像処理装置であって、前記２つ画像の間の対応画素対と、前記対応画素対のデプス情報およびマッチングスコアとを取得する画像・距離取得部と、前記対応画素対ごとに、前記デプス情報および前記マッチングスコアに基づいて、当該対応画素対を注目画素として含む所定の領域範囲の各画素に対して重みを決定する重み情報計算部と、前記２つの画像の少なくとも一方において、前記対応画素対ごとに、前記所定の領域範囲において画素値に前記重みを適用し平滑化を行い、前記所定の領域範囲の前記注目画素の画素値を、前記平滑化により得られた値で置き換えて、前記２つの画像を画素単位で重畳する画素値重畳部と、を有する。

本発明の画像処理方法は、撮影により得られた２つの画像から合成画像を生成する画像処理方法であって、前記左目画像と前記右目画像との間の対応画素対と、前記対応画素対のデプス情報およびマッチングスコアとを取得するステップと、前記対応画素対ごとに、前記デプス情報および前記マッチングスコアに基づいて、当該対応画素対を注目画素として含む所定の領域範囲の各画素に対して重みを決定するステップと、前記２つの画像の少なくとも一方において、前記対応画素対ごとに、前記所定の領域範囲において画素値に前記重みを適用し平滑化を行い、前記所定の領域範囲の前記注目画素の画素値を、前記平滑化により得られた値で置き換えて、前記２つの画像を画素単位で重畳するステップと、を有する。

本発明によれば、撮影物体境界の不鮮明化を抑えてダイナミックレンジを拡大し、撮影画像の画質を改善することができる。

本発明の実施の形態１に係る画像処理装置の構成を示すブロック図 本発明の実施の形態２に係る画像処理装置を含む撮影システムの構成を示すシステム構成図 本発明の実施の形態２に係る画像処理装置の構成の一例を示すブロック図 本発明の実施の形態２における利用範囲サイズ情報の内容の一例を示す図 本発明の実施の形態２における重み設定情報の内容の例を示す第１の図 本発明の実施の形態２における重み設定情報の内容の例を示す第２の図 本発明の実施の形態２に係る画像処理装置の動作の一例を示すフローチャート 本発明の実施の形態２における画像合わせ込み処理の一例を示すフローチャート 本発明の実施の形態２における画像合わせ込み処理の様子を模式的に示す図 本発明の実施の形態２における重み算出処理の一例を示すフローチャート 本発明の実施の形態２における合成画像生成処理の一例を示すフローチャート 本発明の実施の形態２における正規化後重みおよび平滑化後画素値の算出の様子を模式的に示す図

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の例である。

図１は、本実施の形態に係る画像処理装置の構成を示すブロック図である。

図１において、画像処理装置１００は、同時撮影により得られた２つの画像から合成画像を生成する装置である。

画像処理装置１００は、画像・距離取得部２００、重み情報計算部３００、および画素値重畳部４００を有する。

画像・距離取得部２００は、同時撮影された２つの画像との間の対応画素対と、対応画素対のデプス情報およびマッチングスコアとを取得する。なお、対応画素対は、一方の画像の画素と他方の画像の画素との組のうち、同一の位置（同一の点）を撮影していると推定される画素の組である。また、デプス（Depth）情報は、上記ステレオ撮影を行ったステレオカメラから、画素に撮影されている対象（点）までの、推定距離（以下単に「距離」という）を示す情報である。また、マッチングスコアは、一方の画像の画素と他方の画像の画素とが、同一の物体または背景部分であることを示す尤もらしさを示す値である。

重み情報計算部３００は、対応画素対ごとに、デプス情報およびマッチングスコアに基づいて、当該対応画素対を注目画素として含む所定の領域範囲の各画素に対して重みを決定する。

画素値重畳部４００は、２つの画像の少なくとも一方において、対応画素対ごとに、上記所定の領域範囲において画素値に重みを適用し平滑化（重み付け加算）を行う。そして、画素値重畳部４００は、当該所定の領域範囲の注目画素の画素値を、平滑化により得られた値で置き換えて、２つの画像を画素単位で重畳（加算）する。

なお、画像処理装置１００は、例えば、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）などの記憶媒体、およびＲＡＭ（random
access memory）などの作業用メモリをそれぞれ有する。この場合、上記した各装置部の機能は、ＣＰＵが制御プログラムを実行することにより、ハードウエアと協働して実現される。

このような画像処理装置１００は、同時撮影された２つの撮影画像から、合成画像を生成する。また、画像処理装置１００は、対応画素対ごとに、その対応画素対を含む所定の領域範囲の画素値を平滑化して得られる値を重畳して、合成画像を生成する。また、画像処理装置１００は、この平滑化に先立って、デプス情報に基づいて決定された重みを、各画素に適用する。

これにより、画像処理装置１００は、デプス情報を用いるので、距離が異なる物体のエッジの内側部分と外側部分とを切り分けた状態で、ノイズ除去のための平滑化を行い、合成画像を生成することができる。すなわち、画像処理装置１００は、撮影物体境界の不鮮明化を抑えてダイナミックレンジを拡大し、撮影画像の画質を改善することができる。

なお、本実施の形態に係る画像処理装置１００は、例えば、ステレオカメラに適用することにより、視写体の移動ずれなどのない２つの画像の同時撮影を可能とし、画像撮影のための特別な装置を不要とすることができる。すなわち、画像処理装置１００は、既存のステレオカメラに対する軽微な変更により、境界の不鮮明さを抑えてダイナミックレンジを拡大するという、上記効果を得ることができる。

（実施の形態２）
本発明の実施の形態２は、本発明の具体的態様として、本発明に係る画像処理装置を、ステレオカメラを用いて撮影を行う撮影システムに適用した例である。

まず、本実施の形態に係る画像処理装置およびこれを含む撮影システムの構成について説明する。

図２は、本発明の実施の形態２に係る画像処理装置を含む撮影システムの構成を示すシステム構成図である。

図２において、撮影システム５００は、ステレオカメラ５１０、画像処理装置１００、および画像表示装置５２０を有する。

ステレオカメラ５１０は、ステレオ撮影により左目画像および右目画像（以下適宜「ステレオ画像」という）を同時に取得し、取得したステレオ画像を、有線通信または無線通信により、画像処理装置１００へ出力する。ステレオカメラ５１０は、例えば、ＣＭＯＳ（complementary metal oxide semiconductor）などのイメージセンサを備えたステレオデジタルビデオカメラである。

画像処理装置１００は、入力された左目画像および右目画像の少なくとも一方において、ステレオ画像の対応画素対ごとに、その対応画素対を含む所定の領域範囲（以下「利用範囲」という）において画素値に重みを適用し平滑化を行う。そして、画像処理装置１００は、当該利用範囲の注目画素の画素値を、平滑化により得られた値で置き換えて、左目画像と右目画像とを画素単位で重畳（加算)する。この際、画像処理装置１００は、利用範囲内の画素ごとに、そのデプス情報に基づいて重みを決定する。重畳の対象となる画素値は、例えば、色ごとの輝度値である。画像処理装置１００は、対応画素対ごとに、得られた重畳結果を新たな画素値とすることにより、合成画像を生成する。そして、画像処理装置１００は、生成した合成画像を、有線通信、無線通信、または着脱可能な情報記録媒体を介した伝送などにより、画像表示装置５２０へ出力する。

画像表示装置５２０は、入力された合成画像を、画面に表示する。画像表示装置５２０は、例えば、液晶ディスプレイ装置である。

このような撮影システム５００は、ステレオ撮影を行い、同時に得られたステレオ画像から、画質が改善された合成画像を生成して、表示することができる。

なお、本実施の形態において、撮影システム５００は、左目画像を基準画像として、合成画像を生成するものとする。

図３は、画像処理装置１００の構成の一例を示すブロック図である。

図３において、画像処理装置１００は、画像・距離取得部２００、領域分割部２１０、分割領域特徴点抽出部２２０、画像特徴点抽出部２３０、領域メッシュ生成部２４０、領域変形部２５０、利用範囲計算部２６０、重み情報計算部３００、画素値重畳部４００、色調・レンジ調整部４１０、および画像出力部４２０を有する。

画像・距離取得部２００は、ステレオカメラ５１０（図２参照）から、ステレオ画像を取得する。そして、画像・距離取得部２００は、左目画像の全ての画素について、ステレオ画像の対応画素対と、デプス情報と、マッチングスコアとを取得する。

具体的には、例えば、画像・距離取得部２００は、左目画像と右目画像との間で画像マッチングを行い、左目画像の画素と右目画像の画素との組み合わせごとに、マッチングスコアを算出する。マッチングスコアは、左目画像の画素と右目画像の画素とが、同一の物体または背景部分を撮影していることの尤もらしさを示す値である。画像マッチングの手法としては、例えば、両画像をブロック化し、ブロック間の一致度を求める手法を用いることができる。この場合、かかる一致度に基づく値は、マッチングスコアとして用いることができる。

ブロック間の一致度の評価手法としては、例えば、輝度差の総和（ＳＡＤ：Sum of Absolute Difference）、輝度値の２乗和（ＳＳＤ：Sum of Squared Difference）、または正規化互換相関（ＮＣＣ：Normalized Cross-Correlation）を用いることができる。

ＳＡＤは、例えば、以下の式（１）により、Ｍ（ｘ_Ｌ，ｘ_Ｒ）として表される。ここで、（ｘＬ，ｙＬ）と（ｘＲ，ｙＲ）は、対応画素対の、左目画像における座標および右目画像における座標である。Ｉ_Ｌは、対応画素対の左目画像における画素値（例えば輝度値）であり、Ｉ_Ｒは、対応画素対の右目画像における画素値（例えば輝度値）である。

同様に、ＳＳＤは、例えば、以下の式（２）により、Ｍ（ｘ_Ｌ，ｘ_Ｒ）として表される。

また、ＳＳＤは、例えば、以下の式（３）〜式（５）により、Ｍ（ｘ_Ｌ，ｘ_Ｒ）として表される。

ＳＡＤ、ＳＳＤでは、評価値は正値で、その値が小さいほど一致度が高い。したがって、マッチングスコアは、評価値の逆数あるいは定数から評価値を引いた値など、評価値が小さいほど高い値となるような関数で表現される値とすることができる。ＮＣＣでは、評価値が１〜−１の値を取り、１のときに一致度が最も高い。したがって、マッチングスコアは、評価値をそのまま用いることが可能である。もちろん、マッチングスコアは、評価値の３乗値など、評価値が高いほどより重みが大きくなるような関数で表現される値とすることができる。

そして、画像・距離取得部２００は、左目画像の画素ごとに、マッチングスコアが最も高い右目画像の画素を特定し、特定された画素との組を、対応画素対に決定する。

そして、画像・距離取得部２００は、対応画素対ごとに、ステレオ法により、該当する画素に撮影されている対象までの距離を算出する。ステレオ法とは、ステレオカメラ５１０の設置パラメータを用いて、三角測量の原理により、画素間の視差から、各画素で撮影された点までの距離を算出する手法である。

そして、画像・距離取得部２００は、左目画像、右目画像、左目画像の各画素の対応画素対となる右目画像の画素位置を示す情報（以下「対応画素対情報」という）、および左目画像の各画素のデプス情報を、領域分割部２１０を出力する。また、画像・距離取得部２００は、左目画像の各画素のマッチングスコアおよびデプス情報を、利用範囲計算部２６０へ出力する。なお、画像・距離取得部２００は、各画素のデプス情報を付加した左目画像を、左目距離画像として出力してもよい。

領域分割部２１０は、入力された左目画像および右目画像から、左目画像と右目画像との間の対応分割領域対を取得する。なお、対応分割領域対は、左目画像と右目画像との間で、同一の物体または背景部分を撮影していると推定される領域の組である。

具体的には、領域分割部２１０は、例えば、デプス情報に基づいて、各画素の距離の差分が所定の範囲内となっている連続する画像領域ごとに、左目画像を分割する。または、領域分割部２１０は、色やエッジなど他の情報に基づいて、物体の像を検出し、物体の像ごとに左目画像を分割してもよい。領域分割部２１０は、左目画像を分割した左目分割画像ごとに、対応画素対情報に基づいて、右目画像において左目分割画像に対応する右目分割画像を特定する。そして、領域分割部２１０は、これらの左目分割画像および右目分割画像を、対応分割領域対とする。

そして、領域分割部２１０は、左目画像、右目画像、対応画素対情報、および各左目分割画像の範囲を示す情報（以下「左目分割画像情報」という）を、分割領域特徴点抽出部２２０へ出力する。

なお、対応画素対情報と左目分割画像情報との組は、各左目分割画像の対応分割領域対となる相手先（右目分割画像）を示す。すなわち、領域分割部２１０は、左目分割画像と右目分割画像との組である対応分割領域対を、分割領域特徴点抽出部２２０へ出力する。

分割領域特徴点抽出部２２０は、入力された対応分割領域対ごとに、複数の対応輪郭特徴点対を抽出する。なお、対応輪郭特徴点対は、左目分割画像の輪郭の特徴点（以下「左目輪郭特徴点」という）と、右目分割画像の輪郭の特徴点（以下「右目輪郭特徴点」という）との組のうち、同一の位置（点）を撮影していると推定される組である。

具体的には、分割領域特徴点抽出部２２０は、例えば、左目分割画像から、左目分割画像の輪郭線のコーナー部分や、輪郭線上に定間隔で配置した点などを、左目輪郭特徴点として抽出する。

そして、分割領域特徴点抽出部２２０は、左目画像、右目画像、対応画素対情報、左目分割画像情報、および左目輪郭特徴点を、画像特徴点抽出部２３０へ出力する。

なお、対応画素対情報と左目輪郭特徴点との組は、各左目輪郭特徴点の対応輪郭特徴点対の相手先（右目輪郭特徴点）を示す。また、上述の通り、対応画素対情報と左目分割画像情報との組は、対応分割領域対を示す。すなわち、分割領域特徴点抽出部２２０は、左目輪郭特徴点と右目輪郭特徴点との組である対応輪郭特徴点対と、上述の対応分割領域対とを、画像特徴点抽出部２３０へ出力する。

画像特徴点抽出部２３０は、入力された対応分割領域対ごとに、１つまたは複数の対応画像特徴点対を抽出する。なお、対応画像特徴点対は、左目分割画像の内部の特徴点（以下「左目画像特徴点」という）と、右目分割画像の内部の特徴点（以下「右目画像特徴点」という）との組のうち、同一の位置を撮影していると推定される組である。

具体的には、画像特徴点抽出部２３０は、例えば、左目分割画像から、物体のコーナー部分などの特徴的な形状を有する部分や、マッチングスコアが特に高い点などを、左目画像特徴点として抽出する。特徴点の抽出手法としては、例えば、Ｈａｒｒｉｓ作用素の抽出手法（Harris Corner Detector）を採用することができる。

そして、画像特徴点抽出部２３０は、左目画像、右目画像、対応画素対情報、左目分割画像情報、左目輪郭特徴点、および左目画像特徴点を、画像特徴点抽出部２３０へ出力する。

なお、対応画素対情報と左目画像特徴点との組は、各左目画像特徴点の対応画像特徴点対の相手先（右目画像特徴点）を示す。また、上述の通り、対応画素対情報と左目分割画像情報との組は、対応画像領域対を示し、対応画素対情報と左目輪郭特徴点との組は、対応輪郭特徴点対を示す。すなわち、画像特徴点抽出部２３０は、左目画像特徴点と右目画像特徴点との組である対応画像特徴点対と、対応画像領域対と、対応輪郭特徴点対とを、領域メッシュ生成部２４０へ出力する。

領域メッシュ生成部２４０は、左目画像および右目画像をそれぞれ小領域に分割（メッシュ化、ポリゴン化）する。具体的には、領域メッシュ生成部２４０は、入力された対応画像領域対および対応輪郭特徴点対と、左目画像の四隅の点（以下「特徴点」と総称する）とに基づいて、左目画像および右目画像をそれぞれ小領域に分割する。なお、分割した小領域は、左目メッシュ領域および右目メッシュ領域という。そして、領域メッシュ生成部２４０は、分割された小領域から、対応画像領域対を抽出する。なお、対応画像領域対は、左目メッシュ領域と右目メッシュ領域との組のうち、同一の範囲を撮影していると推定される組である。

具体的には、例えば、領域メッシュ生成部２４０は、左目分割画像ごとに、左目輪郭特徴点および左目画像特徴点を直線で結び、この直線を境界線として、左目メッシュ領域を抽出する。メッシュ化の手法としては、例えば、ドレネー三角形分割（Delaunay Triangulation）の手法を採用することができる。

そして、領域メッシュ生成部２４０は、左目画像、右目画像、対応画素対情報、および抽出した左目メッシュ領域を示す情報（以下「左目メッシュ領域情報」という）を、領域変形部２５０へ出力する。

なお、対応画素対情報と左目メッシュ領域情報との組は、各左目メッシュ領域の対応分割領域対の相手先（右目メッシュ領域）を示す。すなわち、領域メッシュ生成部２４０は、対応画像領域対を、領域変形部２５０へ出力する。

領域変形部２５０は、入力された対応画像領域対ごとに、合成画像における領域形状を一致させる。

具体的には、領域変形部２５０は、例えば、各右目メッシュ領域を、その外形が、対応する左目メッシュ領域の外形に一致するように変形させる。領域変形の手法としては、例えば、アフィン変換（Affine Transformation）を採用することができる。そして、領域変形部２５０は、変形後の各右目メッシュ領域を組み合わせて、変形後の右目画像を生成する。

そして、領域変形部２５０は、左目画像、変形後の右目画像、および左目画像と変形後の右目画像との間の対応画素対（以下「変形後の対応画素対」という）を示す情報を、画素値重畳部４００へ出力する。変形後の対応画素対を示す情報（以下「変形後の対応画素対情報」という）は、つまり、合成画像における画素位置を示す情報である。

次に、利用範囲計算部２６０は、入力された左目画像の画素ごと（対応画素対ごと）に、当該画素（対応画素対）のマッチングスコアが低いほどより広い範囲となるように、上述の利用範囲を決定する。この際、利用範囲計算部２６０は、注目画素を中心とした同心円状の領域を、利用範囲として決定する。

具体的には、利用範囲計算部２６０は、例えば、マッチングスコアに対応付けて、注目画素を中心とした正方形の利用範囲のサイズ（以下「利用範囲サイズ」という）を記述した、利用範囲サイズ情報を予め格納する。利用範囲計算部２６０は、左目画像の画素ごとに、利用範囲サイズ情報を用いて、マッチングスコアに対応する利用範囲サイズを取得する。

そして、利用範囲計算部２６０は、左目画像の各画素の、マッチングスコア、デプス情報、および取得した利用範囲サイズを、重み情報計算部３００へ出力する。

図４は、利用範囲サイズ情報の内容の一例を示す図である。図４において、横軸はマッチングスコア（Matching Score）を示し、縦軸は利用範囲サイズを正方形の一辺当たりの画素数（以下「レンジ（Range）」という）で示す。

図４に示すように、利用範囲サイズ情報６１０は、例えば、高いマッチングスコアに、「１」というレンジを対応付けている。これは、マッチングスコアが十分に高い画素については、その画素のみを用い、他の画素との平滑化を行わない事を示す。そして、利用範囲サイズ情報６１０は、マッチングスコアが低くなるほど、「３」、「５」、・・・とより高い値のレンジを対応付けている。これは、マッチングスコアが低くなるほど、より広い範囲で、利用範囲の注目画素以外の画素（以下「周辺画素という」との平滑化を行うことを示す。マッチングスコアは、そのマッチングスコアが低い場合、その注目画素に対して行われている右目画像の画素との対応付けの信頼性が低いことを示すからである。

例えば、「３」というレンジの場合、利用範囲サイズは、注目画素を中心とする、３画素×３画素となる。そして、利用範囲の画素数は、９となる。

図３の重み情報計算部３００は、入力された左目画像の画素ごと（対応画素対ごと）に、デプス情報に基づいて、当該画素（対応画素対）の利用範囲の各画素に対して重みを決定する。この際、重み情報計算部３００は、利用範囲の注目画素および各周辺画素に対して、当該画素のデプス情報が示す距離と注目画素の前記デプス情報が示す距離との差分（以下「距離差分という」）が大きいほど、より低い値の重みを決定する。

具体的には、重み情報計算部３００は、例えば、注目画素の距離ごとに生成された重み設定情報を、予め格納する。重み設定情報は、距離差分に対応付けて、重みと、重みを０にする際の閾値とを記述した情報である。重み情報計算部３００は、左目画像の各画素について、周辺画素ごとに、重み設定情報を用いて、距離差分に対応する重みを取得する。

そして、重み情報計算部３００は、左目画像の各画素の、マッチングスコア、利用範囲サイズ、および取得した各周辺画素の重みを、平滑化前重みとして、画素値重畳部４００へ出力する。

図５は、重み設定情報の内容の例を示す第１の図である。図５において、横軸は、距離差分（ΔDepth）を示し、縦軸は重みを示す。

図５に示すように、重み設定情報の第１の例６２１は、線形的に、距離差分が大きいほど、より小さい重みが対応付けられている。そして、重み設定情報の第１の例６２１は、閾値Ｔｈ以上の距離差分に対して、「０」という重みが対応付けられている。なお、閾値Ｔｈは、重み設定情報の第２の例６２２に示すように、必ずしも設定されなくてもよい。

図６は、重み設定情報の内容の例を示す第２の図であり、図５に対応するものである。

図６に示すように、重み設定情報の第３の例６２３は、上に凸型の非線形的（二次曲線的）に、距離差分と重みとが対応付けられ、閾値Ｔｈが設定されている。なお、重み設定情報の第４の例６２４のように、閾値Ｔｈは、必ずしも設定されなくてもよい。また、重み設定情報の第５の例６２５は、下に凸型の非線形的（二次曲線的）に、距離差分と重みとが対応付けられ、閾値Ｔｈが設定されている。

重み設定情報の第３および第４の例６２３、６２４のように、上に凸型の場合には、距離差分の重要性が低くなり、利用範囲全体の平均を得る計算に近くなるため、ノイズ低減の効果が高くなる。一方、重み設定情報の第５の例６２５のように、下に凸型の場合には、距離差分が小さいものにのみ大きい重みが設定されるため、ノイズ低減の効果は抑え気味で、エッジ保持の効果が高くなる。

閾値Ｔｈは、注目画素の距離が近いほど、より小さい値が設定されることが望ましい。これは、より近くに位置する被写体ほど、視差が大きく、視差に対応する画素数に対する距離差分の相対的な大きさが、より小さくなるためである。

なお、重み情報計算部３００は、閾値Ｔｈを設定しない場合や、固定の閾値Ｔｈを設定する場合には、必ずしも、注目画素の距離ごとに重み設定情報を格納しなくてもよい。また、重み情報計算部３００は、ユーザ設定や環境情報などの他の情報に応じて、複数の重み設定情報を使い分けてもよい。

図３の画素値重畳部４００は、変形後の右目画像において、対応画素対ごとに、利用範囲において画素値に重みを適用し平滑化を行う。そして、画素値重畳部４００は、当該利用範囲の注目画素の画素値を、平滑化により得られた値で置き換えて、左目画像と変形後の右目画像とを重畳する。

具体的には、画素値重畳部４００は、利用範囲ごと（変形後の対応画素対ごと）に、利用範囲における重みの総和が一定（例えば１）となるように、入力された平滑化前重みを正規化する。

そして、画素値重畳部４００は、利用範囲ごと（変形後の対応画素対ごと）および利用範囲の画素ごとに、正規化後重みを変形後の右目画像の画素値に乗じた値を算出する。画素値重畳部４００は、利用範囲ごと（変形後の対応画素対ごと）に、各画素の積和値を平滑化して得られた値を、変形後の右目画像の各画素の画素値とする（以下「平滑化後画素値」という）。平滑化の手法としては、例えば、利用範囲内の乗算値の合計値（つまり重み付き加算値）を採用することができる。

そして、画素値重畳部４００は、変形後の対応画素対ごとに、左目画像の画素値と、変形後の右目画像の平滑化後画素値とを重畳する。そして、画素値重畳部４００は、重畳により得られた値を、合成画像の画素値とする。なお、画素値重畳部４００は、左目画像の画素値と、変形後の右目画像の平滑化後画素値とのそれぞれに、合計値が１となる重み（以下「画像重み」という）をそれぞれに乗じて、加算を行うことにより、画素値の重畳を行う。

そして、画素値重畳部４００は、左目画像の全ての画素（変形後の対応画素対）について画素値を算出すると、画素と画素値とを対応付けたデータを、合成画像として、色調・レンジ調整部４１０へ出力する。

色調・レンジ調整部４１０は、入力された合成画像に対して、色調の補正、画素値のレンジの調整、バイラテラルフィルタ（bilateral filter）などの平滑化フィルタによるノイズ除去処理などの所定の画像処理を行う。そして、色調・レンジ調整部４１０は、処理済みの合成画像を、画像出力部４２０へ出力する。

画像出力部４２０は、入力された処理済みの合成画像を、画像表示装置５２０へ出力する。

なお、画像処理装置１００は、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭなどの記憶媒体、およびＲＡＭどの作業用メモリをそれぞれ有する。この場合、上記した各装置部の機能は、ＣＰＵが制御プログラムを実行することにより、ハードウエアと協働して実現される。

このような画像処理装置１００は、対応画素対ごとに、利用範囲の画素値を平滑化して得られる値を、重畳する。画素値の平滑化により、ビニング（Binning）処理によるノイズ低減効果と同様の効果を得ることができる。すなわち、画像処理装置１００は、画素値のダイナミックレンジを実質的に２倍にしつつ、ノイズが低減された、合成画像を生成することができる。

また、本実施の形態に係る画像処理装置１００は、平滑化に先立って、デプス情報に基づいて決定される重みを各画素に適用する。

注目画素が物体の撮影物体境界部分にあたる場合、その利用範囲は、撮影物体境界の内側部分と撮影物体境界の外側部分との両方を含むことになる。この場合、注目画素が撮影物体境界の内側部分であるか撮影物体境界の外側部分であるかによらず、利用範囲を一様に平滑化してしまうと、合成画像において、その部分の撮影物体境界が不明瞭となってしまう。

そこで、画像処理装置１００は、ある物体（前景）とその背景とでは、通常、距離が異なるということを利用し、デプス情報を用いることにより、物体の撮影物体境界の内側部分と外側部分とを区別して重みを決定する。これにより、画像処理装置１００は、物体の撮影物体境界が鮮明な合成画像を生成することができる。

また、画像処理装置１００は、左目画像においては撮影されているが、右目画像においては陰になるなどして撮影されていない部分（オクルージョン（occlusion：隠蔽））に対して、マッチングスコアを低く算出する。そして、画像処理装置１００は、このようなマッチングスコアが低い部分の画素に対して、より広い範囲を利用範囲とし、周囲の部分で合成画像を補完する。これにより、画像処理装置１００は、実際の像との誤差を低減した合成画像を生成することができる。

また、画像処理装置１００は、左目画像に合わせて左目画像の各メッシュ領域を変形させてから、重畳を行う。更に、画像処理装置１００は、重畳に先立って、右目画像に対して、利用範囲ごとに、重み加算による平滑化を行う。これにより、画像処理装置１００は、左目画像には撮影されていないオクルージョン部分の影響を低減させた状態で、合成画像の生成を行うことができる。

すなわち、本実施の形態に係る画像処理装置１００は、従来技術に比べて、撮影物体境界の不鮮明化を抑え、撮影画像の画質を改善することができる。

しかも、本実施の形態に係る画像処理装置１００は、通常は同時に撮影されるステレオ画像から合成画像を生成するので、従来技術のように長時間露光画像を必要としない。また、これにより、画像処理装置１００は、被写体の動き、カメラの動き、および光線などの周囲環境の変化の影響を受けずに、高画質な撮影画像を得ることができる。

なお、画像処理装置１００の各装置部は、取得した情報を順次後段の装置部へ出力するのではなく、共通の情報格納部に格納するようにしてもよい。この場合、各装置部は、必要な情報を、この情報格納部を参照して取得する。

以上で、画像処理装置１００および撮影システム５００の構成についての説明を終える。

次に、画像処理装置１００の動作について説明する。

図７は、画像処理装置１００の動作の一例を示すフローチャートである。

まず、ステップＳ１０００において、画像・距離取得部２００は、ステレオカメラ５１０（図２参照）からステレオ画像を取得する。そして、画像・距離取得部２００は、ステレオ画像から、基準画像である左目画像の全ての画素に対して、対応画像対情報、デプス情報、およびマッチングスコアを取得する。

そして、ステップＳ２０００において、領域分割部２１０〜領域変形部２５０は、左目画像に合わせて右目画像を変形させる画像合わせ込み処理を行う。

そして、ステップＳ３０００において、利用範囲計算部２６０および重み情報計算部３００は、正規化後重みを算出する重み算出処理を行う。

なお、利用範囲計算部２６０および重み情報計算部３００は、ステップＳ３０００の処理を、ステップＳ２０００の前に行ってもよい。

そして、ステップＳ４０００において、画素値重畳部４００〜画像出力部４２０は、左目画像と変形後の右目画像とを重畳して合成画像を生成する合成画像生成処理を行う。

そして、ステップＳ５０００において、画像・距離取得部２００は、ユーザ操作などにより合成画像の生成の処理の終了を指示されたか否かを判断する。画像・距離取得部２００は、処理の終了を指示されていない場合（Ｓ５０００：ＮＯ）、ステップＳ１０００へ戻る。また、画像・距離取得部２００は、処理の終了を指示された場合（Ｓ５０００：ＹＥＳ）、一連の処理を終了する。

図８は、画像合わせ込み処理（図７のステップＳ２０００）の一例を示すフローチャートである。

まず、ステップＳ２０１０において、領域分割部２１０は、左目画像および右目画像を領域分割して、対応分割領域対（左目分割画像および右目分割画像）を取得する。

そして、ステップＳ２０２０において、分割領域特徴点抽出部２２０は、対応分割領域ごとに、対応輪郭特徴点対（左目輪郭特徴点および右目輪郭特徴点）を抽出する。

そして、ステップＳ２０３０において、画像特徴点抽出部２３０は、対応分割領域対ごとに、対応画像特徴点対（左目画像特徴点および右目画像特徴点）を抽出する。

そして、ステップＳ２０４０において、領域メッシュ生成部２４０は、特徴点に基づいて、対応画像領域対（左目メッシュ領域および右目メッシュ領域）を抽出する。

そして、ステップＳ２０５０において、領域変形部２５０は、対応画像領域対ごとに、右目メッシュ領域を左目メッシュ領域に合わせて変形させて、変形後の右目画像を生成し、図７の処理へ戻る。

図９は、ある利用範囲に対する、画像合わせ込み処理の様子を模式的に示す図である。

図９Ａに示すように、左目画像７１０ｌおよび右目画像７１０ｒのそれぞれに、ピラミッド型の物体の画像７１１ｌ、７１１ｒと、背景の画像７１２ｌ、７１２ｒが含まれていたとする。画像７１１ｌ、７１１ｒは、同一の物体の像であるが、カメラ位置が異なるため、画像平面上での位置および形状が若干異なる。

次に、図９Ｂに示すように、領域分割部２１０は、物体の左目分割画像７１３ｌおよび右目分割画像７１３ｒを抽出する。そして、分割領域特徴点抽出部２２０および画像特徴点抽出部２３０は、それぞれの輪郭線７１４ｌ、７１４ｒ等から、複数の特徴点７１５ｌ、７１５ｒを抽出する。

次に、図９Ｃに示すように、領域メッシュ生成部２４０は、複数の特徴点７１５ｌ、７１５ｒを結んで得られる複数の境界線７１６ｌ、７１６ｒにより、複数の左目メッシュ領域７１７ｌおよび右目メッシュ領域７１７ｒを抽出する。そして、領域変形部２５０は、例えば矢印に示すように、各右目メッシュ領域７１７ｒの形状を、対応する左目メッシュ領域７１７ｌの形状に一致するように変形する。

これにより、図９Ｄに示すように、領域変形部２５０は、左目画像７１０ｌと変形後の右目画像７１０'ｒの各対応画素対の位置を一致させる。この結果、図９Ｅに示すように、画素値重畳部４００は、後段の合成画像生成処理により、左目画像７１０ｌの画質を改善した画像として、例えばコントラストの高い合成画像７１８を生成することが可能となる。

図１０は、重み算出処理（図７のステップＳ３０００）の一例を示すフローチャートである。

まず、ステップＳ３０１０において、利用範囲計算部２６０は、画像・距離取得部２００から、左目画像の各画素のマッチングスコアおよびデプス情報を取得する。そして、利用範囲計算部２６０は、対応画像対情報が示す対応画素対の中から、１つ（左目画像の座標ｘ，ｙで表す）を選択する。

そして、ステップＳ３０２０において、利用範囲計算部２６０は、注目画素のマッチングスコアＳ_ｘ，ｙから、利用範囲（利用範囲サイズ）を決定する。

対応画像対ごとの利用範囲サイズＲは、利用範囲サイズ情報の内容が関数ｇで表されるとき、例えば、以下の式（６）を用いて算出することができる。

そして、ステップＳ３０３０において、重み情報計算部３００は、注目画素の距離Ｄ_{ｘ ，ｙ}から、距離差分の閾値Ｔｈ_ｘ，ｙを決定する。

そして、ステップＳ３０４０において、重み情報計算部３００は、利用範囲内の画素の中から、１つ（注目画素を基準とした相対位置ｉ，ｊで表す）を選択する。

そして、ステップＳ３０５０において、重み情報計算部３００は、選択中の画素（ｉ，ｊ）と、注目画素（ｘ、ｙ）との間の距離差分ｄ_{ｘ，ｙ,ｉ，ｊ}を求める。そして、重み情報計算部３００は、求めた距離差分ｄ_{ｘ，ｙ,ｉ，ｊ}が、閾値Ｔｈ_ｘ，ｙ以上であるか否かを判断する。重み情報計算部３００は、距離差分ｄ_{ｘ，ｙ,ｉ，ｊ}が閾値Ｔｈ_ｘ，ｙ未満である場合（Ｓ３０５０：ＮＯ）、ステップＳ３０６０へ進む。また、重み情報計算部３００は、距離差分ｄ_{ｘ，ｙ,ｉ，ｊ}が閾値Ｔｈ_ｘ，ｙ以上である場合（Ｓ３０５０：ＹＥＳ）、ステップＳ３０７０へ進む。

ステップＳ３０６０において、重み情報計算部３００は、距離差分ｄ_{ｘ，ｙ,ｉ，ｊ}に応じた重みｗ_{ｘ，ｙ,ｉ，ｊ}を、正規化前重みＷ_{ｘ，ｙ,ｉ，ｊ}に決定する。

また、ステップＳ３０７０において、重み情報計算部３００は、０を、正規化前重みＷ _{ｘ，ｙ,ｉ，ｊ}に決定する。

正規化前重みＷ_{ｘ，ｙ,ｉ，ｊ}は、重み設定情報の内容が関数ｆで表されるとき、例えば、以下の式（７）を用いて算出することができる。

そして、図１０のステップＳ３０８０において、重み情報計算部３００は、選択中の対応画素対（ｘ，ｙ）の利用範囲における全ての画素（注目画素および周辺画素）を処理したか否かを判断する。重み情報計算部３００は、処理していない画素が残っている場合（Ｓ３０８０：ＮＯ）、ステップＳ３０４０へ戻り、未処理の画素を選択する。また、重み情報計算部３００は、全ての画素を処理した場合（Ｓ３０８０：ＹＥＳ）、ステップＳ３０９０へ進む。

ステップＳ３０９０において、重み情報計算部３００は、利用範囲内で正規化前重みＷ _{ｘ，ｙ,ｉ，ｊ}を正規化し、正規化後重みＷ’_{ｘ，ｙ,ｉ，ｊ}を算出する。

正規化後重みＷ'_{ｘ，ｙ,ｉ，ｊ}は、例えば、以下の式（８）および式（９）を用いて算出することができる。

そして、ステップＳ３１００において、重み情報計算部３００は、全ての対応画素対を処理したか否かを判断する。重み情報計算部３００は、処理していない対応画素対が残っている場合（Ｓ３１００：ＮＯ）、ステップＳ３０１０へ戻り、未処理の対応画素対を選択する。また、重み情報計算部３００は、全ての対応画素対を処理した場合（Ｓ３１００：ＹＥＳ）、図７の処理へ戻る。

図１１は、合成画像生成処理（図７のステップＳ４０００）の一例を示すフローチャートである。

まず、ステップＳ４０１０において、画素値重畳部４００は、変形後の対応画像対情報が示す、変形後の対応画素対の中から、１つ（左目画像の座標ｘ，ｙで表す）を選択する。

そして、ステップＳ４０２０において、画素値重畳部４００は、利用範囲内の画素の中から、１つ（注目画素を基準とした相対位置ｉ，ｊで表す）を選択する。

そして、ステップＳ４０３０において、画素値重畳部４００は、右目画像における選択中の画素の画素値Ｃ_{ｒ，ｘ，ｙ，ｉ，ｊ}に対して、対応する正規化後重みＷ'_{ｘ，ｙ,ｉ， ｊ}を乗算する。

そして、ステップＳ４０４０において、画素値重畳部４００は、選択中の対応画素対（ｘ，ｙ）の利用範囲における全ての画素（注目画素および周辺画素）を処理したか否かを判断する。画素値重畳部４００は、処理していない画素が残っている場合（Ｓ４０４０：ＮＯ）、ステップＳ４０２０へ戻り、未処理の画素を選択する。また、画素値重畳部４００は、全ての画素を処理した場合（Ｓ４０４０：ＹＥＳ）、ステップＳ４０５０へ進む。

ステップＳ４０５０において、画素値重畳部４００は、ステップＳ４０３０で算出した乗算値を、利用範囲内で平滑化する。そして、画素値重畳部４００は、平滑化により得られた平滑化後画素値Ｃ'_{ｒ，ｘ，ｙ}と、左目画像の画素値Ｃ_{ｌ，ｘ，ｙ}とを加算し、得られた加算値を、合成画像の画素値Ｃ'_ｘ，ｙに設定する。

合成画像の画素値Ｃ'_ｘ，ｙは、画像重みｗ'_{ｌ，ｘ，ｙ}、ｗ'_{ｒ，ｘ，ｙ}を用いて、例えば、以下の式（１０）および式（１１）を用いて算出することができる。

なお、画像重みｗ'_{ｌ，ｘ，ｙ}、ｗ'_{ｒ，ｘ，ｙ}は、０.５などの固定値であってもよいし、画素ごとに異なってもよい。例えば、左目画像の背景部分のうち、前景となっている物体の左側の撮影物体境界近傍外側の部分は、右目画像においてオクルージョンが発生する。したがって、画素値重畳部４００は、このような部分については、右目画像の画像重みｗ'_{ｒ，ｘ，ｙ}を左目画像の画像重みｗ'_{ｌ，ｘ，ｙ}よりも小さくしてもよい。同様に、画素値重畳部４００は、前景となっている物体の右側の撮影物体境界近傍外側の背景部分については、左目画像の画像重みｗ'_{ｌ，ｘ，ｙ}を右目画像の画像重みｗ'_{ｒ，ｘ，ｙ}よりも小さくしてもよい。

そして、ステップＳ４０６０において、画素値重畳部４００は、全ての対応画素対を処理したか否かを判断する。画素値重畳部４００は、処理していない対応画素対が残っている場合（Ｓ４０６０：ＮＯ）、ステップＳ４０１０へ戻り、未処理の対応画素対を選択する。また、画素値重畳部４００は、全ての対応画素対を処理した場合（Ｓ４０６０：ＹＥＳ）、ステップＳ４０７０へ進む。

ステップＳ４０７０において、色調・レンジ調整部４１０は、合成画像に対して、必要に応じて色調補正などを行う所定の画像処理を行い、処理後の合成画像を、画像出力部４２０を介して画像表示装置５２０（図２参照）へ出力する。そして、画像処理装置１００は、図７の処理へ戻る。

このような動作により、画像処理装置１００は、ステレオ画像から、画質が向上した合成画像を得ることができる。

図１２は、ある利用範囲に対する、正規化後重みおよび平滑化後画素値の算出の様子を模式的に示す図である。なお、各図の間における縦方向のスケールは、必ずしも一致しない。

図１２Ａに示すように、注目画素８１１を中心とする３画素×３画素の利用範囲８１２において、各画素の距離差分８１３の一部（例えば周辺画素８１４）は、閾値Ｔｈ以上であったとする。

この場合、図１２Ｂに示すように、周辺画素８１４には、正規化後重み８１５として、いわば足切りにより、０が設定される。したがって、図１２Ｃに示すように、周辺画素８１４の輝度値８１６が高かったとしても、図１２Ｄに示すように、正規化後重み８１５と輝度値８１６との乗算値８１７は、０となる。また、他の画素には、その正規化後重み８１５が高いほど、より高い乗算値８１７が算出される。

そして、図１２Ｅに示すように、利用範囲８１２で各乗算値が平滑化（加算）された値は、利用範囲８１２の注目領域の平滑化後画素値８１８となる。すなわち、画像処理装置１００は、注目画素との距離が大きく異なる周辺画素の影響を抑えた状態で、各画素の平滑化後画素値８１８を算出する。

画像処理装置１００は、このように、距離差分が大きいほどより小さい重みを設定する。これにより、画像処理装置１００は、例えば、前景と背景とを切り分けて後段の平滑化処理を行うことができ、合成画像における各物体の境界を、鮮明にすることができる。

以上のように、本実施の形態に係る画像処理装置１００は、ステレオ画像を取得し、利用範囲ごとの平滑化に先立って、デプス情報に基づいて決定される重みを、各画素に適用する。これにより、画像処理装置１００は、デプス情報を用いて、撮影物体境界の内側部分と外側部分とを切り分けて平滑化ができるので、撮影物体境界の不鮮明化を抑えてダイナミックレンジを拡大し、撮影画像の画質を改善することができる。

また、本実施の形態に係る画像処理装置１００を含む撮影システム５００は、ステレオ画像を撮影し、撮影したステレオ画像を利用して、高画質な撮影画像を取得し、これを表示することができる。

なお、以上説明した実施の形態２では、利用範囲ごと（変形後の対応画素対ごと）の画素値の平滑化を、右目画像のみに対して行ったが、左目画像に対しても行ってもよい。

また、左目画像を基準画像としたが、画像処理装置１００は、右目画像を基準画像として左目画像を変形させてもよい。また、画像処理装置は、左目画像および右目画像の両方を変形させて、各メッシュ領域の合わせ込みを行ってもよい。

また、画像処理装置１００は、基準画像の各画素のデプス情報を取得可能であれば、ステレオ画像以外の各種の複数の（３以上でもよい）画像から、合成画像を生成してもよい。但し、かかる複数画像は、同一の対象を同時撮影した画像である必要がある。したがって、例えば、画像処理装置１００は、単眼カメラで同一の対象を連続して複数回撮影し、画角内の各位置までの距離を測距センサで取得し、複数の撮影画像から合成画像を生成してもよい。あるいは、画像処理装置１００は、垂直方向や斜め方向に並べて配置され、撮影範囲が共通する２つのカメラによって同時撮影された２つの画像から、合成画像を生成してもよい。

２０１１年４月８日出願の特願２０１１−０８６７３６の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明に係る画像処理装置および画像処理方法は、撮影物体境界の不鮮明化を抑え、撮影画像の画質を改善することができる画像処理装置および画像処理方法として有用である。

１００ 画像処理装置
２００ 画像・距離取得部
２１０ 領域分割部
２２０ 分割領域特徴点抽出部
２３０ 画像特徴点抽出部
２４０ 領域メッシュ生成部
２５０ 領域変形部
２６０ 利用範囲計算部
３００ 重み情報計算部
４００ 画素値重畳部
４１０ 色調・レンジ調整部
４２０ 画像出力部
５００ 撮影システム
５１０ ステレオカメラ
５２０ 画像表示装置

Claims (9)

1. 撮影により得られた２つの画像から合成画像を生成する画像処理装置であって、
   前記２つの画像の間の対応画素対と、前記対応画素対のデプス情報およびマッチングスコアとを取得する画像・距離取得部と、
   前記対応画素対ごとに、前記デプス情報および前記マッチングスコアに基づいて、当該対応画素対を注目画素として含む所定の領域範囲の各画素に対して重みを決定する重み情報計算部と、
   前記２つの画像の少なくとも一方において、前記対応画素対ごとに、前記所定の領域範囲において画素値に前記重みを適用し平滑化を行い、前記所定の領域範囲の前記注目画素の画素値を、前記平滑化により得られた値で置き換えて、前記２つの画像を画素単位で重畳する画素値重畳部と、を有する、
   画像処理装置。
2. 前記重み情報計算部は、
   前記注目画素および前記所定の領域範囲の前記注目画素以外の画素である周辺画素に対して、当該画素の前記デプス情報と前記注目画素の前記デプス情報との間の距離差分が大きいほど、より低い値の前記重みを決定する、
   請求項１記載の画像処理装置。
3. 前記対応画素対ごとに、当該対応画素対の前記マッチングスコアが低いほどより広い範囲となるように、前記所定の領域範囲を決定する利用範囲計算部、を更に有する、
   請求項２記載の画像処理装置。
4. 前記重み情報計算部は、
   前記対応画素対ごとの前記所定の領域範囲における前記重みの総和が一定となるように、前記重みを決定する、
   請求項３記載の画像処理装置。
5. 前記利用範囲計算部は、
   前記注目画素を中心とした同心円状の領域を、前記所定の領域範囲として決定し、
   前記重み情報計算部は、
   前記距離差分が所定の閾値以上である前記周辺画素の前記重みを０とする、
   請求項４記載の画像処理装置。
6. 前記重み情報計算部は、
   前記注目画素の前記距離差分が短いほど、より小さい値の前記所定の閾値を用いる、
   請求項５記載の画像処理装置。
7. 前記２つの画像の間の対応画像領域対を取得する領域分割部と、
   前記対応画像領域対ごとに、前記合成画像における領域形状を一致させる領域変形部と、を更に有する、
   請求項６記載の画像処理装置。
8. 前記２つの画像は、ステレオ画像により得られた左目画像および右目画像である、
   請求項１記載の画像処理装置。
9. 撮影により得られた２つの画像から合成画像を生成する画像処理方法であって、
   前記２つの画像との間の対応画素対と、前記対応画素対のデプス情報およ
   びマッチングスコアとを取得するステップと、
   前記対応画素対ごとに、前記デプス情報および前記マッチングスコアに基づいて、当該対応画素対を注目画素として含む所定の領域範囲の各画素に対して重みを決定するステップと、
   前記２つの画像の少なくとも一方において、前記対応画素対ごとに、前記所定の領域範囲において画素値に前記重みを適用し平滑化を行い、前記所定の領域範囲の前記注目画素の画素値を、前記平滑化により得られた値で置き換えて、前記２つの画像を画素単位で重畳するステップと、を有する、
   画像処理方法。
   

Images