JPWO2007018008A1

JPWO2007018008A1 - 画像合成装置および画像合成方法

Info

Publication number: JPWO2007018008A1
Application number: JP2006528940A
Authority: JP
Inventors: 登　一生; 一生登; 佐藤　智; 智佐藤; 和豊高田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2005-08-08
Filing date: 2006-07-07
Publication date: 2009-02-19
Anticipated expiration: 2026-07-07
Also published as: US7764397B2; US20070188613A1; JP3930898B2; WO2007018008A1

Abstract

解像度と照明条件の異なる複数の画像から、被処理画像の解像度を向上し、かつ、照明条件が被処理画像と一致した合成画像を生成する。画像合成装置は、被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得するカメラ（１１）等と、取得された複数の参照画像を被処理画像と同一の解像度に変換する参照画像変換部（１５）と、同一の解像度となった被処理画像と複数の参照画像とに基づいて、複数の変換参照画像を線形結合して被処理画像を生成するのに使用される変換係数を算出する係数算出部（１６）と、複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を、変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を合成画像として出力する画像合成部（１７）とを備える。

Description

本発明は、画像を撮影する際の拡大率の違いなどによって得られた空間解像度（以下、単に「解像度」という。）が異なる複数の画像を入力とし、より解像度の高い合成画像を生成する画像合成装置に関し、特に、解像度と照明条件が異なる複数の画像を用いて画像の解像度を向上する技術に関する。

従来の画像処理技術による解像度の高い画像を合成する画像合成装置としては、被処理画像が与えられた場合に、同一被写体を撮影した別の高解像度の参照画像を被処理画像に重畳合成することで、被処理画像の解像度を向上する画像合成装置がある。

このような画像合成装置の例として、同一被写体を短い周期で撮影した低解像度画像と、長い周期で撮影した高解像度画像を用い、高解像度画像を２次元幾何変換することで、低解像度の画像と同じ構図の高解像度の合成画像を生成する画像合成装置が開示されている（例えば、特許文献１参照）。

また、従来の画像処理技術による照明条件の異なる複数の画像から任意の照明条件の合成画像を生成する別の画像合成装置としては、画像の線形化を用いることで任意の照明条件の合成画像を生成する画像合成装置がある。照明条件の異なる画像とは、被写体に対する光源の位置や距離、または光源自体の形状、個数などが異なる状態で撮影された画像のことである。

このような画像合成装置の例としては、同一人物の顔を異なる向きで撮影した複数の画像と、画像間の対応点の座標値の情報を用いて、ある向きの別の照明条件の画像を生成する画像合成装置が開示されている（例えば、特許文献２参照）。図１は、前記特許文献２に記載された従来の画像合成装置の合成画像の例を示すものであり、異なる向き、照明条件の合成画像を生成できる。
特開２００３−２０３２３７号公報特開２００４−５５０９号公報

しかしながら、前記従来の技術による解像度の高い画像を合成する画像合成装置では、低解像度の被処理画像と高解像度の参照画像において、照明の位置や数、強さなどの照明条件が異なる場合、生成される高解像度の合成画像は、被処理画像の照明条件とは異なる画像になってしまうという課題がある。

また、前記従来の技術による任意の照明条件の画像を生成する画像合成装置では、解像度の異なる画像を入力とした場合、対応する画素の解像度が異なることから正しい線形化係数が算出できないため、照明条件の正しい合成画像を生成することができないという別の課題もある。

そこで、本発明は、従来の課題を解決するものであり、解像度と照明条件の異なる複数の画像から、被処理画像の解像度を向上し、かつ、照明条件が被処理画像と一致した合成画像を生成する画像合成装置及び画像合成方法を提供することを目的とする。

上記目的を達成するために、本発明に係る画像合成装置は、被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像合成装置であって、被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得する画像取得手段と、前記画像取得手段によって取得された被処理画像と複数の参照画像とが同一の解像度になるように、前記被処理画像及び前記複数の参照画像の少なくとも１つの解像度を変換する画像変換手段と、前記画像変換手段によって同一の解像度となった被処理画像と複数の参照画像とに基づいて、前記複数の参照画像を線形結合して前記被処理画像を生成するのに使用される変換係数を算出する変換係数算出手段と、前記複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を前記変換係数算出手段で算出された変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を前記合成画像として出力する画像合成手段とを備えることを特徴とする。

これにより、変換係数を用いて参照画像を線形結合することで、被処理画像と複数の参照画像の照明条件が異なる場合であっても被処理画像と同じ照明条件で、かつ、解像度の高い合成画像を生成することができる。さらに、被処理画像と参照画像とを同一の解像度にする処理をした後の画素値を用いて変換係数を算出することで、解像度が異なる場合であっても正しい変換係数を算出することができ、より精度の高い合成画像を生成することができる。

なお、本発明は、画像合成装置として実現できるだけでなく、画像合成方法、その方法に含まれるステップをコンピュータに実行させるプログラム、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体、画像合成装置を回路で実現したＬＳＩ等の半導体集積回路等としても実現できる。

本発明の画像合成装置によれば、被処理画像と複数の参照画像の解像度の違いを考慮して変換係数を算出するため、解像度と照明条件の異なる参照画像であっても、被処理画像の解像度を向上し、かつ、照明条件が被処理画像と一致した合成画像を生成することができる。

図１は、従来の画像合成装置で生成した画像の一例を示す図である。図２は、本発明の実施の形態における画像合成装置の構成図である。図３は、画像記憶部に記憶されている画像データの一例を示す図である。図４は、合成画像の生成における前半処理である変換係数を算出する手順を示すデータフロー図である。図５は、合成画像の生成における後半処理である画像合成の手順を示すデータフロー図である。図６は、被処理画像と参照画像の一例を示す図である。図７は、合成画像と変換参照画像の一例を示す図である。図８は、変換被処理画像の一例を示す図である。図９は、変換参照画像の一例を示す図である。図１０は、線形変換画像の一例を示す図である。図１１は、合成画像の一例を示す図である。図１２は、別の被処理画像と参照画像の一例を示す図である。図１３は、本発明の効果を示す拡大率とＰＳＮＲとの関係の一例を示す図である。図１４は、小領域を用いて変換参照画像を生成する方法の一例を示す図である。図１５は、画像合成装置をコンピュータにより構成した場合の構成図である。

符号の説明

１１カメラ
１２画像記憶部
１３入力部
１４画像読み出し部
１５参照画像変換部
１６係数算出部
１７画像合成部
１８ディスプレイ
１０１カメラ
１０２Ａ／Ｄ変換器
１０３、１０７フレームメモリ
１０４ＣＰＵ
１０５ＲＯＭ
１０６ＲＡＭ
１０８Ｄ／Ａ変換器
１０９ディスプレイ
１１０ＨＤＤ

本発明に係る画像合成装置は、被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像合成装置であって、被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得する画像取得手段と、前記画像取得手段によって取得された被処理画像と複数の参照画像とが同一の解像度になるように、前記被処理画像及び前記複数の参照画像の少なくとも１つの解像度を変換する画像変換手段と、前記画像変換手段によって同一の解像度となった被処理画像と複数の参照画像とに基づいて、前記複数の参照画像を線形結合して前記被処理画像を生成するのに使用される変換係数を算出する変換係数算出手段と、前記複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を前記変換係数算出手段で算出された変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を前記合成画像として出力する画像合成手段とを備えることを特徴とする。これにより、変換係数を用いて参照画像を線形結合することで、被処理画像と複数の参照画像の照明条件が異なる場合であっても被処理画像と同じ照明条件で、かつ、解像度の高い合成画像を生成することができる。さらに、被処理画像と参照画像とを同一の解像度に変換した画素値を用いて変換係数を算出することで、解像度が異なる場合であっても正しい変換係数を算出することができ、より精度の高い合成画像を生成することができる。

ここで、前記画像合成手段はさらに、前記画像取得手段で取得された被処理画像を目的とする解像度に高める処理を施すことによって変換被処理画像を生成し、生成した変換被処理画像を用いて前記線形変換画像を修正することによって、前記合成画像を生成するのが好ましい。修正の具体的な方法として、たとえば、前記画像合成手段は、前記線形変換画像を構成する画素のうち、一定条件を満たす画素を前記変換被処理画像の対応する画素で置き換えることによって前記線形変換画像を修正し、修正後の線形変換画像を前記合成画像として出力する方法がある。その際の一定条件としては、前記画像合成手段が、前記線形変換画像を前記画像取得手段で取得された被処理画像と同じ解像度に変換することによって変換線形変換画像を生成し、生成した変換線形変換画像と前記被処理画像の対応する画素の画素値どうしの差の絶対値が予め定めたしきい値以上の場合に前記線形変換画像の画素を前記変換被処理画像の画素で置き換えることによって前記線形変換画像を修正するのが好ましい。これにより、合成画像を被処理画像と解像度が一致するように変換した画像において、被処理画像と画素値が異なる画素は、参照画像中のノイズの影響や、線形化に従わない画素であることが考えられるため、このような画素においては被処理画像の画素で置き換えることで、自然な合成画像が生成される。

また、前記画像変換手段は、前記画像取得手段によって取得された被処理画像と複数の参照画像を、前記被処理画像と前記複数の参照画像のうち、最も解像度の低い画像の解像度に変換してもよい。たとえば、前記画像取得手段によって取得された被処理画像と複数の参照画像のうち、最も解像度の低い画像は、前記被処理画像であり、前記画像変換手段は、前記画像取得手段によって取得された複数の参照画像を、前記画像取得手段で取得された被処理画像の解像度に変換することによって、前記被処理画像と前記複数の参照画像とを同一の解像度に変換してもよい。これにより、被処理画像と複数の参照画像とを最も低い解像度に揃えた後に変換係数が算出されるので、解像度を高める処理に伴う誤差の混入が回避される。

また、前記画像変換手段は、前記画像取得手段によって取得された被処理画像と複数の参照画像に基づいて、前記被処理画像の画素に対応する前記複数の参照画像の小領域のうち、均一な画素値からなる小領域を前記複数の参照画像から抽出し、抽出した複数の参照画像の小領域と前記被処理画像の画素とを出力し、前記変換係数算出手段は、前記画像変換手段から出力された複数の参照画像の小領域と前記被処理画像の画素とに基づいて、前記変換係数を算出してもよい。これにより、解像度の異なる被処理画像と参照画像の対応する画素の近傍で画素値が均一である小領域を選択することで、明に解像度の変換を行わなくても同一解像度の画素値として変換参照画像を得ることができ、計算処理負荷が軽減され、処理が高速化される。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。

図２は、本発明の実施の形態における画像合成装置の構成を示す図である。この画像合成装置は、参照画像を用いることによって被処理画像の照明条件を変えることなく解像度を向上させる装置であり、カメラ１１、画像記憶部１２、入力部１３、画像読み出し部１４、参照画像変換部１５、係数算出部１６、画像合成部１７及びディスプレイ１８を備える。なお、解像度とは、画像データにおける空間解像度であり、被写体とカメラとの距離が固定されている場合には、カメラの焦点距離が大きいほど、解像度が高い（同一の被写体が多くの画素で表わされる）。

カメラ１１は、被写体の画像を撮影して出力する撮像装置である。

画像記憶部１２は、カメラ１１で撮影された画像を、画像を撮影した際のカメラの焦点距離やカメラの向きなどの情報で構成される画素対応情報とともに記憶しておくハードディスク等である。図３（ａ）及び（ｂ）は、それぞれ、画像記憶部１２に記憶されている画像及び画素対応情報の例を示している。なお、本実施の形態では、この画像記憶部１２に記憶される画像として、被処理画像と、参照画像がある。被処理画像は、この画像合成装置による画像合成（ここでは、照明条件を変えることなく解像度を向上させる処理）の対象となる画像である。参照画像は、画像合成のために使用される基準となる画像であり、例えば、異なる照明条件下で撮影された被処理画像と同一の被写体についての画像である。

入力部１３は、被処理画像と複数の参照画像の選択、被処理画像の解像度をどれくらい高めるかを示す解像度比率等に関するユーザからの指示を取得し、その指示を画像読み出し部１４等に伝えるユーザインターフェースを含む処理部である。

画像読み出し部１４は、入力部１３からの指示に従って、画像記憶部１２から被処理画像と複数の参照画像とそれらの画素対応情報を読み出して参照画像変換部１５及び画像合成部１７に出力する処理部である。

参照画像変換部１５は、画像読み出し部１４によって読み出された被処理画像と複数の参照画像と画素対応情報とに基づいて、それら被処理画像と複数の参照画像とを同一の解像度にする処理部である。本実施の形態では、被処理画像と複数の参照画像の中で被処理画像の解像度が最も低いことから、この参照画像変換部１５は、複数の参照画像を被処理画像と同一の解像度に変換する。なお、このように変換された参照画像を「変換参照画像」と呼ぶ。

係数算出部１６は、参照画像変換部１５で得られた複数の変換参照画像と参照画像変換部１５から渡される被処理画像とに基づいて、複数の変換参照画像を線形結合して被処理画像を生成するのに使用される変換係数を算出する処理部である。ここでは、同じ空間位置における画素値を用いて、複数の変換参照画像の線形結合で被処理画像を表現するための線形係数を算出する。

画像合成部１７は、画像読み出し部１４によって読み出された被処理画像と複数の参照画像、画像読み出し部１４から通知される解像度比率及び係数算出部１６で算出された変換係数等に基づいて、被処理画像の照明条件を変えることなく解像度を向上させた画像（以下、この画像を「合成画像」と呼ぶ。）を生成し、ディスプレイ１８に出力する処理部である。

具体的には、画像合成部１７は、画像読み出し部１４によって読み出された複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を係数算出部１６で算出された変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を合成画像として出力する。

線形変換画像を修正して合成画像を生成する際には、画像合成部１７は、画像読み出し部１４によって読み出された被処理画像を目的とする解像度に高める処理を施すことによって変換被処理画像を生成し、生成した変換被処理画像を用いて線形変換画像を修正する。より詳しくは、画像合成部１７は、その線形変換画像を構成する画素のうち、一定条件を満たす画素を変換被処理画像の対応する画素で置き換えることによって線形変換画像を修正し、修正後の線形変換画像を合成画像として出力する。具体的には、画像合成部１７は、線形変換画像を画像読み出し部１４によって読み出された被処理画像と同じ解像度に変換することによって変換線形変換画像を生成し、生成した変換線形変換画像と被処理画像の対応する画素の画素値どうしの差の絶対値が予め定めたしきい値以上の場合に線形変換画像の画素を変換被処理画像の画素で置き換えることによって線形変換画像を修正する。

ディスプレイ１８は、画像合成部１７から出力された合成画像を表示する液晶表示装置等である。

次に、以上のように構成された本実施の形態における画像合成装置の動作について説明する。ここでは、最初に、カメラ１１が画像を撮影して画像記憶部１２に複数の画像データを記憶し、その後、画像記憶部１２に記憶された画像データのうち、ユーザが選択した被処理画像と３枚の参照画像を用いて、合成画像を生成する例について説明する。

カメラ１１は、視点位置が固定で撮影方向（パン・チルト角）や撮影範囲（ズーム率）が可変であるパン・チルト・ズーム（ＰＴＺ）カメラであり、撮影される被写体は静止しているものとする。カメラ１１はあらかじめ定められたパン・チルト角、ズーム率、撮影タイミングに従って被写体を撮影し、デジタル化した画像データを画像記憶部１２に格納する。このとき画像データとともに、パン・チルト角を表す回転行列Ｒと、ズーム率に対応する焦点距離ｆの情報も画素対応情報として画像記憶部１２に格納しておく。

なお、任意の２画像Ｉｉ、Ｉｊにおける、画素座標（ｘｉ，ｙｉ）、（ｘｊ，ｙｊ）間の関係は、それぞれの撮影方向Ｒｉ，Ｒｊと焦点距離ｆｉ，ｆｊを用いて、数１に示される式で相互に変換することができる。

数１の式において、ｐｘ，ｐｙは１画素あたりの投影面上でのｘ座標方向とｙ座標方向の大きさであり、あらかじめキャリブレーションによって求めておく。また、ａはスケールを変換する係数であり、３行目の値が左辺と右辺で一致するように値を算出する。よって、本実施の形態では、任意の２画像Ｉｉ、Ｉｊにおける画素座標（ｘｉ，ｙｉ）、（ｘｊ，ｙｊ）間を関係づける情報である、数１に示される撮影方向Ｒと焦点距離ｆの情報とをあわせて「画素対応情報」と呼んでいる。

図３は、上記のようにしてカメラ１１で撮影され、画像記憶部１２に記憶された画像データと画素対応情報の例を示す図である。本実施の形態では、画像記憶部１２に記憶されている画像データの画素数は全て同じで、横（ｘ座標方向）が７６８画素、縦（ｙ座標方向）が１０２４画素であるものとする。また、図中での画像データの表記は、１画素あたりの大きさを一定として、図の大きさの大小が画像データの画素数の大小に対応するように表記する（特に断りが無い限り、以降の図においても同様）。図３（ａ）は、同一の被写体を、パン・チルト角を一定のまま、異なるズーム率で撮影した場合の画像であり、被写体表面での実空間上での単位長さに対する画素座標上での長さ、すなわち解像度が異なる画像となっている。また、撮影時の照明の位置や数、強さなどの照明条件の違いにより、被写体の陰影が異なる画像となっている。図３（ｂ）は、各画像を撮影した際の画素対応情報、すなわち撮影方向Ｒと焦点距離ｆの例である。なお、図中の焦点距離ｆは、数１の式中の画素の大きさｐｘ，ｐｙがともに０．０１９４９７［ｍｍ］の場合の値である。

以上のようにして、画像記憶部１２には、図３に示されるような解像度と照明条件の異なる複数の画像、および各画像の撮影方向と焦点距離で構成された画素対応情報が記憶される。

以下、画像記憶部１２に記憶された画像データのうち、入力部１３を介してユーザが選択した被処理画像と複数の参照画像、および被処理画像と合成画像の解像度比率ｋｏを用いて、合成画像を生成する際の動作について説明する。

図４は、合成画像の生成における前半の処理である変換係数を算出する手順（主に、参照画像変換部１５及び係数算出部１６による処理手順）を示すデータフロー図であり、図５は、合成画像の生成における後半の処理である画像合成の手順（主に、画像合成部１７による処理手順）を示すデータフロー図である。ここでは、図６（ａ）の被処理画像Ｉｒ（７６８画素×１０２４画素）に対して、解像度が２倍（ｋｏ＝２）、すなわち同一撮影範囲の画素数が４倍（１５３６画素×２０４８画素）であり、かつ、照明条件が同一である図７（ａ）に示される合成画像Ｉｏを生成する際の動作を説明する。

図６（ａ）および図６（ｂ）は、入力部１３を介してユーザが選択し、画像読み出し部１４によって画像記憶部１２から読み出された被処理画像Ｉｒと３枚の参照画像Ｉｉおよびその画素対応情報の例を示す図である。被処理画像Ｉｒと参照画像Ｉｉは、照明位置と焦点距離が異なる画像である。図６の例において、焦点距離ｆは、被処理画像Ｉｒでは１２．０５［ｍｍ］であるのに対して、参照画像Ｉｉでは２４．１［ｍｍ］であり、参照画像Ｉｉは被処理画像Ｉｒの一部を拡大した画像となっている。また、照明位置は、被処理画像Ｉｒが被写体である人物像の正面（カメラ方向）であり、３枚の参照画像Ｉｉは、人物像の左１０度・上２０度、左２０度・下２０度、右２０度・下１０度の３方向から、照明をあてた画像である。なお、ユーザが参照画像Ｉｉを選択する際には、参照画像Ｉｉは被処理画像Ｉｒよりも解像度が高い（焦点距離が大きい）画像であり、かつ、それぞれの参照画像Ｉｉは異なる照明位置で撮影された画像であることが望ましい。

参照画像変換部１５は、まず、画像読み出し部１４によって読み出された被処理画像Ｉｒと参照画像Ｉｉ、および各画像に対応する画素対応情報から、被処理画像Ｉｒの解像度に対する参照画像Ｉｉ，（ｉ＝０…２）の解像度の比率ｋｉを算出する。ここで解像度の比率ｋｉは、焦点距離の比率ｆｉ／ｆｒを用いるものとする。図６の例では、各参照画像Ｉｉは被処理画像Ｉｒの２倍の解像度（ｋｉ＝２）である。なお、解像度の比率は、焦点距離の比率の代わりに、各画像の対応情報Ｒ，ｆから数１の式を用いて１画素の大きさの比率、またはその平均値から算出しても良い。

次に、参照画像変換部１５は、各参照画像Ｉｉの解像度の比率の逆数１／ｋｉに応じたローパスフィルタにより、参照画像Ｉｉの高域成分を除去する（図４のステップＳ１０）。すなわち、参照画像Ｉｉは被処理画像Ｉｒの２倍の解像度であることから、参照画像Ｉｉの周波数帯域の１／２のカットオフ周波数（参照画像Ｉｉのサンプリング周波数の１／４のカットオフ周波数）を持つローパスフィルタにより、高域成分を除去する。そして最後に、被処理画像Ｉｒの各画素座標に対応する画素値として、数１の式で求めた画素座標のフィルタ処理した参照画像Ｉｉの画素値を用い、これを変換参照画像Ｉｓｉとして出力する。

図７（ｂ）は、上記の手順（図４のステップＳ１０））によって生成された変換参照画像Ｉｓｉの例であり、３枚の参照画像Ｉｉに１／２のローパスフィルタをかけた後に、再サンプルすることで生成した解像度が１／２の画像に相当する。なお、図７（ｂ）中の斜線部分は、参照画像Ｉｉ中に対応する画素が無い領域を指し、図７（ｂ）の変換参照画像Ｉｓｉは、図６（ａ）の被処理画像Ｉｒの人物像（白破線内）の領域にのみ画素値が存在するものである。

続いて、係数算出部１６は、参照画像変換部１５で算出された変換参照画像Ｉｓｉを用いて変換係数Ｃを算出する（図４のステップＳ１１）。変換係数Ｃ＝（ｃ０，ｃ１，ｃ２）は、被処理画像Ｉｒの画素座標（ｘ，ｙ）の画素値をＩｒ（ｘ，ｙ）、変換参照画像Ｉｓｉの対応する画素値をＩｓｉ（ｘ，ｙ），ｉ＝０…２とすると、以下の数２に示される式が成り立つ。

したがって、係数算出部１６は、３点以上の被処理画像Ｉｒと変換参照画像Ｉｓｉの対応する画素座標の画素値を与えることで、変換係数Ｃを算出することができる。図７（ｂ）の例において算出された変換係数Ｃは、（ｃ０，ｃ１，ｃ２）＝（０．４４，０．２２，０．４３）であった。

なお、上記の数２の式は、被処理画像Ｉｒおよび参照画像Ｉｉ中の被写体表面が完全拡散反射面であり、かつ光源が平行光である場合に、影ではない画素について成り立つ式であり、Ｓｈａｓｈｕａらによって提案された理論である。詳細は「Ｓｈａｓｈｕａ，Ａ．，“ＧｅｏｍｅｔｒｙａｎｄＰｈｏｔｏｍｅｔｒｙｉｎ３ＤＶｉｓｕａｌＲｅｃｏｇｎｉｔｉｏｎ，”Ｐｈ．Ｄ．ｔｈｅｓｉｓ，Ｄｅｐｔ．ＢｒａｉｎａｎｄＣｏｇｎｉｔｉｖｅＳｃｅｉｅｎｃｅ，ＮＩＴ，１９９２．」に記載されているので、ここでは詳細な説明は行わない。また、被処理画像Ｉｒおよび参照画像Ｉｉに鏡面反射や影が含まれている場合や、完全な拡散反射で無い場合、また、光源が完全な平行光でない場合でも、数２の式が近似的に成り立つ場合があるが、このような場合、上述した方法では数２の式における変換係数Ｃを求めることができない。しかし、鏡面反射や影が含まれている場合に、変換係数Ｃを算出する別の手法が、「向川康博，宮木一，三橋貞彦，尺長健，“ＰｈｏｔｏｍｅｔｒｉｃＩｍａｇｅ−ＢａｓｅｄＲｅｎｄｅｒｉｎｇによる仮想照明画像の生成”，情報処理学会論文誌：コンピュータビジョンとイメージメディア，ｖｏｌ．４１，Ｎｏ．ＳＩＧ１０（ＣＶＩＭ１），ｐｐ．１９−３０，２０００．」などに記載されているので、ここでは詳細な説明は行わない。

続いて、合成画像を生成するために、画像合成部１７は、まず、被処理画像Ｉｒおよび被処理画像Ｉｒと合成画像Ｉｏの解像度比率ｋｏから、被処理画像Ｉｒを拡大した変換被処理画像Ｉｒｏを生成する（図５のステップＳ２０）。画像合成部１７は、被処理画像Ｉｒから変換被処理画像Ｉｒｏを生成する方法として、バイリニア補間やバイキュービック補間などの一般的に知られた方法を用いる。さらに、画像合成部１７は、複数の参照画像Ｉｉを、変換被処理画像Ｉｒｏと同じ解像度となるように変換した変換参照画像Ｉｏｉを生成する（図５のステップＳ２１）。図８に変換被処理画像Ｉｒｏ、図９に変換参照画像Ｉｏｉの例を、それぞれ示す。

次に、画像合成部１７は、変換係数Ｃと変換参照画像Ｉｏｉの画素値Ｉｏｉ（ｘｏ，ｙｏ）とを用いて、以下の数３に示される式によって、線形変換画像Ｉｐの画素座標（ｘｏ，ｙｏ）の画素値Ｉｐ（ｘｏ，ｙｏ）を生成する（図５のステップＳ２２）。図１０に、図９の変換参照画像Ｉｏｉと変換係数Ｃを用いて生成した線形変換画像Ｉｐの例を示す。

最後に、画像合成部１７は、変換被処理画像Ｉｒｏを用いて線形変換画像Ｉｐを修正することによって合成画像Ｉｏを生成する（図５のステップＳ２３、Ｓ２４））。そのために、画像合成部１７は、まず、線形変換画像Ｉｐの解像度を、被処理画像Ｉｒと同じ解像度に変換した変換線形変換画像Ｉｐｒを生成する（図５のステップＳ２３）。そして、画像合成部１７は、合成画像Ｉｏの画素座標（ｘｏ，ｙｏ）の画素値Ｉｏ（ｘｏ，ｙｏ）として、被処理画像Ｉｒの画素値Ｉｒ（ｘｏ／ｋ，ｙｏ／ｋ）と変換線形変換画像Ｉｐｒの画素値Ｉｐｒ（ｘｏ／ｋ，ｙｏ／ｋ）との差の絶対値があらかじめ定められた閾値ｔｈ以下である場合は線形変換画像の画素値Ｉｐ（ｘｏ，ｙｏ）を、そうで無い場合は変換被処理画像Ｉｒｏの画素値Ｉｒｏ（ｘｏ，ｙｏ）を代入することで、合成画像Ｉｏを生成する（図５のステップＳ２４；数４）。つまり、画像合成部１７は、変換線形変換画像Ｉｐｒと被処理画像Ｉｒの対応する画素の画素値どうしの差の絶対値が予め定めたしきい値以上の場合に線形変換画像Ｉｐの画素を変換被処理画像Ｉｒｏの画素で置き換えることによって線形変換画像Ｉｐを修正し、修正した線形変換画像Ｉｐを合成画像Ｉｏとして生成する。

以上の手順により生成された合成画像Ｉｏの例を図１１に示す。図１１（ａ）の合成画像Ｉｏは、被処理画像Ｉｒをバイリニアにより拡大した図１１（ｂ）より解像度の高い画像を生成できており、かつ、照明条件は元の被処理画像Ｉｒと同一であることがわかる。

なお、上述の例では、複数の参照画像Ｉｉの解像度が同じで、かつ、参照画像Ｉｉの解像度が合成画像Ｉｏの解像度と同じである例を示した。このような解像度の条件においては、被写体表面が完全拡散面であり、かつ、光源が並行光であれば、数３の式によって、誤差無く高解像度の合成画像Ｉｏを生成することができる。しかし、参照画像Ｉｉの解像度が合成画像Ｉｏの解像度より低い場合は、原理的に数３の式が満たされるとは限らない。しかしながら、一部の参照画像Ｉｉの解像度が、合成画像Ｉｏの解像度より低い場合であっても、バイリニア補間で拡大するよりは良くなる場合があることが発明者らの実験により確認できた。

図１２は、そのような解像度が異なる被処理画像Ｉｒと参照画像Ｉｉの例を示す図である。図１３は、本実施の形態における画像合成装置によって、図１２に示された被処理画像Ｉｒを２、４、８倍にそれぞれ拡大して得られた合成画像Ｉｏと、被処理画像Ｉｒをバイリニア補間して生成された画像との画質を比較したグラフ図である。縦軸は、評価値であり、真の画像に対する各画像との誤差をＰＳＮＲ（Ｐｅａｋ−ＳｉｇｎａｌｔｏＮｏｉｓｅＲａｔｉｏ）で示したものであり、横軸は、解像度の拡大率である。このグラフにおいて、本発明の手法により生成された合成画像Ｉｏ（図中の提案法）のＰＳＮＲがバイニリア補間で生成された画像よりも高いＰＳＮＲを示してことから分かるように、本発明の手法により生成された合成画像Ｉｏが優れていることがわかる。このことから、数３の式は、全ての参照画像Ｉｉの解像度が、合成画像Ｉｏの解像度と同じか高い場合に原理的に成り立ち、それ以外の場合は誤差を含むこととなるが、そのような場合においても、他の一般的な合成方法よりも優れている場合があると言える。

以上のように、本実施の形態によれば、被処理画像Ｉｒと複数の参照画像Ｉｉの解像度が異なる場合であっても、参照画像変換部において生成した同一の解像度の変換参照画像Ｉｓｉを用いることで正しい変換係数を算出することができ、これによって照明条件と解像度の異なる参照画像Ｉｉから、被処理画像Ｉｒを高解像度化した合成画像Ｉｏを得ることができるという効果がある。

なお、本実施の形態では、画像記憶部１２に記憶されている画像データは、カメラ１１の撮影範囲（ズーム）のみを変化させて撮影された画像であるとしたが、撮影方向（パン・チルト）と撮影範囲（ズーム）が異なる画像であっても良い。

また、本実施の形態において、参照画像変換部１５は、被処理画像Ｉｒと参照画像Ｉｉの対応する画素の画素値として、各画像に解像度の比率に応じたローパスフィルタをかけた画素値を用いたが、ローパスフィルタをかける代わりに、近傍の画素値が同一の領域、もしくは、近傍の画素値の変化が予め定められた閾値より小さい領域を抽出し、その画素値を用いても良い。

図１４は、その例を示す図である。なお、ここに示された参照画像Ｉｉと被処理画像Ｉｒは図６と同じであり、参照画像Ｉｉは被処理画像Ｉｒの２倍の解像度（ｋｉ＝２）である。このとき、参照画像変換部１５は、図１４に示される矩形領域のように、被処理画像Ｉｒの画素座標に対応する各参照画像Ｉｉの画素座標の近傍ｋｉ×ｋｉ（２×２）画素の小領域において、各小領域内の画素値が同一となる組を抽出する。図１４（ｂ）に示された参照画像Ｉｉ中の各３つの矩形小領域（２×２画素）は、それぞれ、小領域内で同一画素値であり、かつ、図１４（ａ）中の被処理画像Ｉｒの３つの画素（小矩形）に対応する。参照画像変換部１５は、このときの被処理画像Ｉｒと各参照画像Ｉｉの画素値の組を変換参照画像Ｉｓｉとして出力してもよい。

このようにして求められた変換参照画像Ｉｓｉを用いることで、係数算出部１６は、ローパスフィルタをかけた画素値を用いる場合と同様に、参照画像Ｉｉと被処理画像Ｉｒの解像度が異なる場合であっても、数２の式における変換係数をより正しく求めることができる。

また、本実施の形態において、参照画像変換部１５には、入力部１３を介してユーザが選択した被処理画像Ｉｒと３枚の参照画像Ｉｉが画像読み出し部１４によって画像記憶部１２から読み出されて入力されたが、被処理画像Ｉｒについてはユーザが選択し、参照画像Ｉｉについては参照画像変換部１５が画像記憶部１２から直接、３枚の参照画像Ｉｉを読み出してもよい。具体的には、参照画像変換部１５は、被処理画像Ｉｒの画素対応情報、すなわち撮影方向と焦点距離を用いて、画像記憶部１２に記憶された画像から、被処理画像Ｉｒの撮影範囲（視野角）を撮影し、かつ、被処理画像Ｉｒより解像度の高い画像を複数読み出し、参照画像Ｉｉとして用いる。

また、本実施の形態において、参照画像Ｉｉは３枚であったが、参照画像Ｉｉは３枚より多くても良い。参照画像が３枚より多い場合、Ｓｈａｓｈｕａの理論における、被処理画像および参照画像中の被写体表面が完全拡散反射面であり、かつ光源が平行光であるという条件から外れた場合であっても、３枚より多い参照画像の線形結合によって、被処理画像と同じ照明条件の合成画像を近似的に生成することができるという効果がある。また、被処理画像と参照画像がＳｈａｓｈｕａの理論の条件を満たしている場合であっても、例えば、被処理画像と２つの参照画像を撮影した際の光源ベクトルが同一直線上に存在する場合、２つの参照画像を用いて、その線形結合で被処理画像と同じ照明条件の合成画像を生成できる。

また、本発明の実施の形態では、個別の処理部は個別の回路等のハードウェアによって実現されるものとして説明したが、１つのＩＣなどに収まっているものであっても良いし、図１５に示されるようなカメラ１０１、Ａ／Ｄ変換器１０２、フレームメモリ１０３及び１０７、ＣＰＵ１０４、ＲＯＭ１０５、ＲＡＭ１０６、Ｄ／Ａ変換器１０８、ディスプレイ１０９、ＨＤＤ１１０等を備えたコンピュータ装置を用い、各処理手段をコンピュータ（ＣＰＵ１０４、ＲＯＭ１０５、ＲＡＭ１０６など）で実行されるソフトウェアによって実現しても良く、本発明の実施の形態と同様の効果を得ることができる。

つまり、図１５に示されるように、本発明に係る画像合成装置として、被処理画像から、被処理画像の解像度を高めた合成画像を生成する画像合成装置であって、被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得するカメラ１０１と、カメラ１０１によって取得された被処理画像と複数の参照画像とを記憶する記憶装置（ＨＤＤ１１０）と、ＨＤＤ１１０やＲＯＭ１０５等に格納されたプログラムを実行することにより、（１）記憶装置から被処理画像と複数の参照画像とを読み出すことによって、被処理画像と複数の参照画像とを取得し、（２）取得した被処理画像と複数の参照画像とが同一の解像度になるように、被処理画像及び複数の参照画像の少なくとも１つの解像度を変換し、（３）同一の解像度となった被処理画像と複数の参照画像とに基づいて、複数の参照画像を線形結合して被処理画像を生成するのに使用される変換係数を算出し、（４）複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を、変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を合成画像として生成するプロセッサ（ＣＰＵ１０４）と、プロセッサによって生成された合成画像を表示するディスプレイ装置（ディスプレイ１０９）等とを備える画像合成装置として実現してもよい。

また、本実施の形態における構成要素と特許請求の範囲における構成要素との関係は以下の通りである。つまり、本実施の形態におけるカメラ１１は特許請求の範囲における画像取得手段の一例であり、参照画像変換部１５は特許請求の範囲における画像変換手段の一例であり、係数算出部１６は特許請求の範囲における変換係数算出手段の一例であり、画像合成部１７は特許請求の範囲における画像合成手段の一例である。

本発明は、被処理画像の解像度を向上させる画像合成装置として、例えば、デジタルカメラ、ムービー、監視用カメラなどで撮影された画像や、ＴＶ放送などを録画した画像を編集加工して出力する画像合成装置や画像編集装置等として有用である。また、その利用形態はカメラ本体に内蔵されるものであっても良いし、ＴＶやディスプレイに内蔵されるものであっても良い。

図７（ｂ）は、上記の手順（図４のステップＳ１０）によって生成された変換参照画像Ｉｓｉの例であり、３枚の参照画像Ｉｉに１／２のローパスフィルタをかけた後に、再サンプルすることで生成した解像度が１／２の画像に相当する。なお、図７（ｂ）中の斜線部分は、参照画像Ｉｉ中に対応する画素が無い領域を指し、図７（ｂ）の変換参照画像Ｉｓｉは、図６（ａ）の被処理画像Ｉｒの人物像（白破線内）の領域にのみ画素値が存在するものである。

最後に、画像合成部１７は、変換被処理画像Ｉｒｏを用いて線形変換画像Ｉｐを修正することによって合成画像Ｉｏを生成する（図５のステップＳ２３、Ｓ２４）。そのために、画像合成部１７は、まず、線形変換画像Ｉｐの解像度を、被処理画像Ｉｒと同じ解像度に変換した変換線形変換画像Ｉｐｒを生成する（図５のステップＳ２３）。そして、画像合成部１７は、合成画像Ｉｏの画素座標（ｘｏ，ｙｏ）の画素値Ｉｏ（ｘｏ，ｙｏ）として、被処理画像Ｉｒの画素値Ｉｒ（ｘｏ／ｋ，ｙｏ／ｋ）と変換線形変換画像Ｉｐｒの画素値Ｉｐｒ（ｘｏ／ｋ，ｙｏ／ｋ）との差の絶対値があらかじめ定められた閾値ｔｈ以下である場合は線形変換画像の画素値Ｉｐ（ｘｏ，ｙｏ）を、そうで無い場合は変換被処理画像Ｉｒｏの画素値Ｉｒｏ（ｘｏ，ｙｏ）を代入することで、合成画像Ｉｏを生成する（図５のステップＳ２４；数４）。つまり、画像合成部１７は、変換線形変換画像Ｉｐｒと被処理画像Ｉｒの対応する画素の画素値どうしの差の絶対値が予め定めたしきい値以上の場合に線形変換画像Ｉｐの画素を変換被処理画像Ｉｒｏの画素で置き換えることによって線形変換画像Ｉｐを修正し、修正した線形変換画像Ｉｐを合成画像Ｉｏとして生成する。

図１２は、そのような解像度が異なる被処理画像Ｉｒと参照画像Ｉｉの例を示す図である。図１３は、本実施の形態における画像合成装置によって、図１２に示された被処理画像Ｉｒを２、４、８倍にそれぞれ拡大して得られた合成画像Ｉｏと、被処理画像Ｉｒをバイリニア補間して生成された画像との画質を比較したグラフ図である。縦軸は、評価値であり、真の画像に対する各画像との誤差をＰＳＮＲ（Ｐｅａｋ−ＳｉｇｎａｌｔｏＮｏｉｓｅＲａｔｉｏ）で示したものであり、横軸は、解像度の拡大率である。このグラフにおいて、本発明の手法により生成された合成画像Ｉｏ（図中の提案法）のＰＳＮＲがバイニリア補間で生成された画像よりも高いＰＳＮＲを示していることから分かるように、本発明の手法により生成された合成画像Ｉｏが優れていることがわかる。このことから、数３の式は、全ての参照画像Ｉｉの解像度が、合成画像Ｉｏの解像度と同じか高い場合に原理的に成り立ち、それ以外の場合は誤差を含むこととなるが、そのような場合においても、他の一般的な合成方法よりも優れている場合があると言える。

符号の説明

Claims

被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像合成装置であって、
被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得する画像取得手段と、
前記画像取得手段によって取得された被処理画像と複数の参照画像とが同一の解像度になるように、前記被処理画像及び前記複数の参照画像の少なくとも１つの解像度を変換する画像変換手段と、
前記画像変換手段によって同一の解像度となった被処理画像と複数の参照画像とに基づいて、前記複数の参照画像を線形結合して前記被処理画像を生成するのに使用される変換係数を算出する変換係数算出手段と、
前記複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を前記変換係数算出手段で算出された変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を前記合成画像として出力する画像合成手段と
を備えることを特徴とする画像合成装置。
前記画像合成手段はさらに、前記画像取得手段で取得された被処理画像を目的とする解像度に高める処理を施すことによって変換被処理画像を生成し、生成した変換被処理画像を用いて前記線形変換画像を修正することによって、前記合成画像を生成する
ことを特徴とする請求項１記載の画像合成装置。
前記画像合成手段は、前記線形変換画像を構成する画素のうち、一定条件を満たす画素を前記変換被処理画像の対応する画素で置き換えることによって前記線形変換画像を修正し、修正後の線形変換画像を前記合成画像として出力する
ことを特徴とする請求項２記載の画像合成装置。
前記画像合成手段は、前記線形変換画像を前記画像取得手段で取得された被処理画像と同じ解像度に変換することによって変換線形変換画像を生成し、生成した変換線形変換画像と前記被処理画像の対応する画素の画素値どうしの差が予め定めたしきい値以上の場合に前記線形変換画像の画素を前記変換被処理画像の画素で置き換えることによって前記線形変換画像を修正する
ことを特徴とする請求項３記載の画像合成装置。
前記画像変換手段は、前記画像取得手段によって取得された被処理画像と複数の参照画像を、前記被処理画像と前記複数の参照画像のうち、最も解像度の低い画像の解像度に変換する
ことを特徴とする請求項１記載の画像合成装置。
前記画像取得手段によって取得された被処理画像と複数の参照画像のうち、最も解像度の低い画像は、前記被処理画像であり、
前記画像変換手段は、前記画像取得手段によって取得された複数の参照画像を、前記画像取得手段で取得された被処理画像の解像度に変換することによって、前記被処理画像と前記複数の参照画像とを同一の解像度にする
ことを特徴とする請求項５記載の画像合成装置。
前記画像変換手段は、前記画像取得手段によって取得された被処理画像と複数の参照画像に基づいて、前記被処理画像の画素に対応する前記複数の参照画像の小領域のうち、均一な画素値からなる小領域を前記複数の参照画像から抽出し、抽出した複数の参照画像の小領域と前記被処理画像の画素とを出力し、
前記変換係数算出手段は、前記画像変換手段から出力された複数の参照画像の小領域と前記被処理画像の画素とに基づいて、前記変換係数を算出する
ことを特徴とする請求項１記載の画像合成装置。
前記参照画像の数は、３以上であり、
前記画像合成手段は、３以上の変換参照画像を変換係数算出手段で算出された変換係数を用いて線形結合することによって前記線形変換画像を生成する
ことを特徴とする請求項１記載の画像合成装置。
前記変換係数算出手段は、前記被処理画像と３以上の参照画像との間において対応する３点以上の画素値の間に成り立つ線形式の係数を前記変換係数として算出する
ことを特徴とする請求項１記載の画像合成装置。
被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像合成装置であって、
（１）被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像を取得し、（２）取得した前記被処理画像と前記複数の参照画像とが同一の解像度になるように、前記被処理画像及び前記複数の参照画像の少なくとも１つの解像度を変換し、（３）同一の解像度となった被処理画像と複数の参照画像とに基づいて、前記複数の参照画像を線形結合して前記被処理画像を生成するのに使用される変換係数を算出し、（４）前記複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を、前記変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を前記合成画像として生成するプロセッサ
を備えることを特徴とする画像合成装置。
前記画像合成装置はさらに、
前記被処理画像と前記複数の参照画像とを取得するカメラと、
前記カメラによって取得された前記被処理画像と前記複数の参照画像とを記憶する記憶装置と、
前記プロセッサによって生成された合成画像を表示するディスプレイ装置とを備え、
前記プロセッサは、前記記憶装置から前記被処理画像と前記複数の参照画像とを読み出すことによって、前記被処理画像と前記複数の参照画像とを取得する
ことを特徴とする請求項１０記載の画像合成装置。
被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像処理方法であって、
被処理画像と、被処理画像が示す被写体と同一の被写体を異なる照明条件で撮影して得られる複数の参照画像とを取得する画像取得ステップと、
前記画像取得ステップによって取得された被処理画像と複数の参照画像とが同一の解像度になるように、前記被処理画像及び前記複数の参照画像の少なくとも１つの解像度を変換する画像変換ステップと、
前記画像変換ステップによって同一の解像度となった被処理画像と複数の参照画像とに基づいて、前記複数の参照画像を線形結合して前記被処理画像を生成するのに使用される変換係数を算出する変換係数算出ステップと、
前記複数の参照画像を目的とする解像度に変換することによって複数の変換参照画像を生成し、生成した複数の変換参照画像を前記変換係数算出ステップで算出された変換係数を用いて線形結合することによって線形変換画像を生成し、生成した線形変換画像又は当該線形変換画像を修正した画像を前記合成画像として出力する画像合成ステップと
を含むことを特徴とする画像合成方法。
被処理画像から、前記被処理画像の解像度を高めた合成画像を生成する画像合成装置のためのプログラムであって、
請求項１２記載の画像合成方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。