JPH11102430A

JPH11102430A - 画像処理装置

Info

Publication number: JPH11102430A
Application number: JP9260407A
Authority: JP
Inventors: Kazuyuki Nako; 和行名古; Mitsuaki Nakamura; 三津明中村
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1997-09-25
Filing date: 1997-09-25
Publication date: 1999-04-13
Anticipated expiration: 2017-09-25
Also published as: JP3233601B2

Abstract

(57)【要約】【課題】合成対象の２枚の画像の濃淡および色調を合
わせる。【解決手段】画像処理装置５は、まず、処理対象の２
枚の画像の重複領域を求め、濃度値統計手段２２の濃度
値統計部によって、各画像の重複領域の画素の濃度値の
分布を代表する代表値ｍｒ1 ，ｍｃ2 をそれぞれ求め
る。次いで、画像補正手段２２の濃度値補正部によっ
て、一方の画像の前記代表値ｍｒ2 に対する他方の画像
の前記代表値ｍｃ1 の比Ｒを一方の画像の各画素の濃度
値に乗算することによって、２枚の画像の全体の明るさ
を合わせる。また処理対象の画像が３枚以上ある場合、
前記濃度値の比の見積もり誤りの割合を求めて、その割
合から補正率の修正率を求め、修正率に基づいて補正さ
れた補正率によって、各画像の画素の濃度値を補正す
る。さらに、濃度補正後の画像を合成し、合成後の画像
に対して、ホワイトバランス補正を行う。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、２枚以上の画像の
全体の明るさが等しくなるように各画像の画素の濃度値
を補正し、さらに合成された画像の色調を正しく補正す
るための画像処理装置に関する。

【０００２】

【従来の技術】従来、画像処理装置において、画像信号
で表される一対の画像を合成するには、まず両画像が相
互に重なる重複領域を求める。次いで、一対の画像を重
複領域を重ねて並べるように各画像を個別に表す画像信
号を合成して、合成画像を表す画像信号を生成する。

【０００３】前記一対の画像を得るためには、たとえば
ＣＣＤイメージセンサおよびＡＧＣ（Auto Gain Contro
l）回路を備えた撮影装置を１台用い、２回連続して被
写体を撮影する。この場合、ＡＧＣ回路が被写体周辺の
明るさ等の撮影条件に応じてＣＣＤイメージセンサの利
得を自動的に変化させるので、各画像の全体の明るさ、
すなわち濃淡および色調が相互に異なることがある。こ
のことは、蛍光灯のように明るさが連続的に変わる光源
下で撮影を行った場合に顕著に表れる。さらにまた、被
写体を複数の撮影装置によって同時に撮影して、各撮影
装置で得られた画像を前記一対の画像とした場合にも、
各撮影装置の撮影素子の特性の違いによって、各画像の
全体の明るさが相互に異なることがある。

【０００４】このような一対の画像を合成する場合、合
成画像の画素の濃度が、合成画像のうちで両画像のつな
ぎ目に相当する部分で急激に変化し、そのために合成画
像内に濃淡および色調の境目ができることがある。合成
画像内の画素の濃度の変化を滑らかにするために、たと
えば、画像信号の合成の際にグラデーション処理が施さ
れる。グラデーション処理では、合成画像の各画素の濃
度を定めるときに、合成画像のうちの前記つなぎ目に相
当する部分と処理対象の画素との距離に応じて、濃度値
決定に寄与する各画像の割合を段階的または連続的に変
化させる。グラデーション処理を用いることができるの
は、両画像間の全体の明るさの差が小さい場合であり、
この差が大きい場合には、グラデーション処理を用いて
も、合成画像の濃度値の変化が滑らかになりにくい。

【０００５】また、合成画像の画素の濃度を滑らかに変
化させるために、画像信号の合成の前に、一対の画像の
全体の明るさを合わせておくことがある。一対の画像の
全体の明るさを合わせる濃度値補正方法として、ヒスト
グラム一致法および線形濃度変換法が知られている。

【０００６】ヒストグラム一致法は、各画像の重複領域
の画素の濃度値のヒストグラムをそれぞれ求め、求めた
ヒストグラムを参照して、両重複領域のヒストグラムが
一致するように、各画像全体の画素の濃度変換を行う。
このヒストグラム一致法は、画像解析ハンドブック（高
木幹雄、下田陽久監修、東京大学出版会）４６３頁，４
７８頁〜４７９頁に記載されている。

【０００７】ヒストグラム一致法を用いた従来技術とし
て、特開平５−３４２３４４号公報の画像処理方法およ
び画像処理システムが挙げられる。この画像処理方法で
は、まず貼合わせ対象の２枚のカラー画像の複数の色成
分、すなわち色相と彩度と明度とを表すデータを生成
し、次いで両カラー画像の共通する領域、すなわち重複
領域を指定する。続いて、共通する領域の各色成分のヒ
ストグラムをそれぞれ求め、一方のカラー画像の各色成
分のヒストグラムが他方のカラー画像の各色成分のヒス
トグラムとそれぞれ一致するように、一方のカラー画像
の各色成分のヒストグラムを変換し、その変換内容に応
じて、カラー画像の画素の色を補正する。

【０００８】これらの画像処理方法では、両画像のヒス
トグラムを一致させるために、同じ濃度値または色成分
の画素を複数の他の濃度値または色成分に振分ける濃度
値の細分化を行う必要がある。この細分化は、たとえ
ば、同じ濃度値の画素を乱数によって振分けたり、同じ
濃度値の画素をその画素の周辺の画素の濃度値の平均値
に応じて順序を付けてその順序に応じて振分けたりして
行う。この細分化を行うために、ヒストグラム一致法を
用いた濃度補正方法のための処理が複雑になる。

【０００９】線形濃度変換法は、まず一対の画像の重複
領域の対応する画素の対の濃度に線形変換が成立つもの
と仮定し、一対の画像のうちの一方の画像の画素の濃度
を表す濃度値ＰＬを、式１に基づいて濃度値ＰＬ＊に変
換する。次式の係数ａ，ｂは、複数の前記画素の対の濃
度値に基づき最小２乗法によって決定される。この線形
濃度補間法は、画像解析ハンドブック４６３頁，４６４
頁に記載されている。ＰＬ＊＝ａＰＬ＋ｂ …（１）

【００１０】前述の撮影装置によって一対の画像を得る
場合、その撮影装置のレンズ等の要因によって画像に写
る被写体の像に部分的な歪みが生じることある。また、
重複領域を求める場合の誤差によって、求められた重複
領域が実際に画像が重なる領域とずれることがある。こ
れによって、重複領域間の画素の対応がずれることあ
る。このため、最小２乗法を用いても、式１の係数を正
しく推定することが困難になる。

【００１１】さらにまた、ヒストグラム一致法および線
形濃度変換法を用いた濃度補正方法では、２〜３枚程の
画像の全体の明るさを合わせることはできるが、たとえ
ば１０枚以上の画像の全体の明るさを合わせることは困
難である。これは、以下の理由からである。

【００１２】たとえば、撮影装置の撮影範囲を移動させ
つつ被写体を複数回撮影することによって複数の画像を
得る場合、撮影範囲内に被写体表面の反射および影が入
ることがある。被写体と撮影装置と光源との位置関係が
ほとんど変わらないように撮影範囲を移動させたとき、
撮影範囲の移動速度は、反射および影の位置の移動速度
よりも大きい。このため、各画像には、ほぼ同じ位置に
反射および影が写る。また一般的に、撮影素子の複数の
受光領域の感度のばらつき、ならびにレンズおよび撮影
素子のシェーディングによって、画像の周辺部の明るさ
が中心部に比べて暗くなることがある。

【００１３】一対の画像のうちの一方の画像の外枠に対
する重複領域の位置と他方の画像の外枠に対する重複領
域の位置とは、撮影範囲の移動速度に応じてずれる。こ
のため、一方の画像の重複領域に反射があり他方の画像
の重複領域に影があることがある。また、一方の画像の
重複領域が画像の中央にあり他方の画像の重複領域が画
像の周辺部にあることがある。これら２つの問題が生じ
た場合、両画像の重複領域に同じ被写体が写っているに
もかかわらず、両重複領域の画素の濃度の分布が異な
る。

【００１４】画像処理装置は、複数の画像の全体の明る
さを補正する場合、まず複数の画像のうちで重複領域を
有する２枚の画像を選択し、この２枚の画像の画素の濃
度値を上述の濃度補正方法を用いて補正する。次いで、
補正後の２枚の画像のうちの一方の画像と該一方の画像
との重複領域を持つ他の画像とを選択して、他の画像の
全体の明るさが該一方の画像の全体の明るさと等しくな
るように、上述の濃度補正方法を用いて補正する。さら
に、後者の補正処理を、残余の画像について順次繰返し
行う。

【００１５】この場合、複数の画像に上述の２つの問題
のいずれかがあると、画像処理装置は一方および他方の
画像の重複領域の濃度値分布が異なると判定するので、
画像の全体の明るさがほぼ同じである場合にも、前記他
の画像の画素の濃度値を前記一方の画像の画素の濃度値
よりも明るくまたは暗く補正する。したがって、この補
正を繰返すと、反射および影ならびシェーディングの影
響は後から補正した画像程大きくなるので、補正後の前
記他の画像の全体の明るさは、最初に選択された画像の
全体の明るさと比較して、徐々に暗くまたは明るくな
る。これによって、補正後の複数の画像の全体の明るさ
が一致しなくなる。

【００１６】特に、処理対象の画像が２〜３枚であれば
上述の問題の影響は少ないが、画像が増加するほど上述
の問題の影響が大きくなるので、処理対象の画像が約１
０枚程度であると、全体の明るさの不一致が人の目にも
明瞭に分かるようになる。このため、これら画像を合成
した場合に、その合成画像の濃淡および色調が部分的に
異なるので、合成画像に継ぎ目が生じる。

【００１７】画像合成処理のための濃度値変換に関する
他の従来技術として、特開平５−３５３８号公報の画像
合成装置が挙げられる。この画像合成装置では、デジタ
ル複写機等において、２枚の画像をそれぞれ光学的に走
査して複数種類の色信号として読取り、それら２枚の画
像が同じ領域内に重合わせるように各色信号を混合して
合成画像を形成する。この際に、一方の画像のそれら色
信号のうちの１色以上の色信号に基づいて、合成画像の
濃度値補正等の補正処理を行う。

【００１８】この補正処理は、合成画像の画素の濃度値
を飽和させずかつ鮮明にするために行われるので、上述
したような２枚の画像をつなぎ合わせる画像合成処理に
おける濃度値の補正処理とは目的が異なる。また、補正
処理を行う場合、２枚の画像の濃度値は一律に半分にさ
れるか可変に変化されるかのどちらかであり、その補正
率をどのように定めるかは述べられていない。ゆえに、
この補正処理を用いて、２枚の画像をつなぎ合わせるた
めの画像合成処理における補正処理を行った場合、２枚
の画像の全体の明るさを適確に合わせることは困難であ
る。

【００１９】また、画像の濃度値変換に関する他の従来
技術として、特開平６−３０１７７５号公報の画像処理
装置が挙げられる。この画像処理装置では、処理対象の
入力画像の各画素の画素値（濃度値）の分散を求め、そ
れら分散の平均値と最大値とを求め、平均値が最大値に
ほぼ等しい場合は分散に基づいて画素の２値化を行い、
そうでない場合は入力画像から背景を除去した画像に対
して画素の２値化を行う。この画像処理方法は、線と陰
影および濃淡とが混在する入力画像を良好かつ容易に２
値化するために行われるので、２枚の画像の全体の明る
さを合わせるための濃度補正処理とは異なるものであ
り、この画像処理方法を用いても、２枚の画像の全体の
明るさを合わせることは困難である。

【００２０】また、前記撮影装置には、画像信号だけに
基づいて自動的に画像全体の色調を補正する映像信号検
出方式のＡＷＢ（Auto White Balance）回路が備えられ
ていることがある。このＡＷＢ回路は、画像を構成する
画素の色のほとんどが同一色である場合、色調を正しく
補正することが難しくなる。特に、合成対象となる画像
は、その他の用途の画像と比較して撮影時の倍率が大き
いことが多いために、被写体の一部分だけを写している
ことが多く、画素の色が特定の色に偏り易いので、色調
を正しく補正することが難しい。

【００２１】また、ホワイトバランス補正を用いた従来
技術として、特開平６−２６１３３３号公報の撮影装置
が挙げられる。この撮影装置では、まず被写体を複数の
領域に分割して、各領域をそれぞれ撮影して合成対象の
複数の画像を得る。次いで、この各画像の映像信号の特
性を積分し、その積分値に基づいて、映像信号のホワイ
トバランスおよび濃度値を補正する。このとき、各映像
信号が表す画像はそれぞれ異なる領域を撮影したもので
あるので、このホワイトバランス補正によって補正され
た画像を合成した場合、合成画像内の画像のつなぎ目に
相当する部分を境界として、その両側の画素の濃度値お
よび色調が一致しないことがある。

【００２２】

【発明が解決しようとする課題】本発明の目的は、複数
の画像間の全体の明るさの違いを容易にかつ正しく補正
することができ、また複数の画像が合成された画像の色
調を正しく補正することができる画像処理装置を提供す
ることである。

【００２３】

【課題を解決するための手段】本発明は、複数の画素か
らなる２枚の画像Ｐ1 ，Ｐ2 が相互に重なる重複領域を
求める重複領域決定手段と、各画像Ｐ1 ，Ｐ2 の重複領
域の画素の濃度値の分布を代表する代表値ｍｒ1 ，ｍｃ
2 を求める濃度値統計手段と、一方の画像Ｐ2 の代表値
ｍｃ2 に対する他方の画像Ｐ1 の代表値ｍｒ1 の比Ｒ
（＝ｍｒ1 ／ｍｃ2 ）を、一方の画像Ｐ2 の各画素の濃
度値に乗算する濃度値補正手段とを含むことを特徴とす
る画像処理装置である。

【００２４】本発明に従えば、画像処理装置は、代表値
ｍｒ1 ，ｍｃ2 の比Ｒを補正率として算出し、その補正
率を一方の画像Ｐ2 の各画素の濃度値に個別に乗算する
ことによって、一対の画像Ｐ1 ，Ｐ2 の画素の濃度値を
補正する。これによって、一対の画像Ｐ1 ，Ｐ2 の全体
の明るさを合わせることができる。また、この処理はヒ
ストグラム一致法および線形濃度変換法よりも簡単な処
理なので、本発明の画像処理装置では、従来技術の画像
処理装置よりも簡単に、一対の画像Ｐ1 ，Ｐ2の全体の
明るさの補正を行うことができる。

【００２５】本発明は、前記各代表値ｍｒ1 ，ｍｃ2
は、前記各画像Ｐ1 ，Ｐ2 の重複領域の画素の濃度値の
平均値であることを特徴とする。

【００２６】本発明に従えば、前記代表値として平均値
を用いる。平均値は、重複領域の中に他の画素の濃度値
と極端に異なる濃度値の画素が少数だけある場合と、そ
の少数の画素がない場合のどちらでも、数値が類似す
る。したがって、代表値を平均値とすることによって、
濃度値の補正を安定して行うことができる。

【００２７】本発明は、前記重複領域決定手段は、２枚
の前記画像Ｐ1 ，Ｐ2 の濃度値の分布が等しい部分を相
互に重ねた場合の前記各画像Ｐ1 ，Ｐ2 の座標系の原点
のずれを求め、座標系の原点を求めたずれだけずらして
前記画像Ｐ1 ，Ｐ2 を相互に重ねた場合に重なる領域す
べてを重複領域とし、前記濃度値統計手段は、重複領域
よりもさらに内側の領域の画素の濃度値の代表値を求め
ることを特徴とする。

【００２８】本発明に従えば、画像処理装置は、上述の
ように代表値を求める。これは以下の理由からである。
たとえば画像Ｐ1 ，Ｐ2 には、画像Ｐ1 ，Ｐ2 を生成す
る撮影装置および画像入力装置の特性に基づいて、一部
の画素の濃度値が欠けていたり、信号歪みの影響を受け
た画素が含まれることがある。この場合、画素が欠損す
る位置、および歪みの影響を受けた画素がある位置は、
撮影装置および画像入力装置によって一義的に定まる。
上述のように重複領域を定めた場合、重複領域に前記位
置の画素が含まれることがある。このとき画像処理装置
は、重複領域の内側にこれら位置の画素を避けて前記領
域を定め、その領域内の画素に基づいて代表値を定め
る。これによって、代表値から、画素の欠損および信号
歪みの影響を除くことができる。

【００２９】本発明は、前記濃度値統計手段は、前記重
複領域の全画素数よりも少ない数の画素の濃度値の代表
値を求めることを特徴とする。

【００３０】本発明に従えば、画像処理装置は、上述の
ように代表値を定める。これは、たとえば、重複領域を
構成する画素を間引いてから代表値を求める処理と等し
い。これによって、重複領域のすべての画素を用いて代
表値を求める場合と比較して、演算対象となる画素の数
が減少するので、代表値を求める演算処理を高速にする
ことができる。

【００３１】本発明は、前記濃度値は、予め定める３色
の成分によって構成され、前記濃度値統計手段と前記濃
度値補正手段とは、濃度値の各成分毎に処理を行うこと
を特徴とする。

【００３２】本発明に従えば、画像処理装置の各手段
は、濃度値の各成分毎に処理を行う。これによって、画
像Ｐ1 ，Ｐ2 がカラー画像である場合にも、従来技術の
画像処理装置よりも容易かつ正確に、濃度値の補正を行
うことができる。

【００３３】本発明は、複数の画素からなる複数の画像
Ｐ1 〜Ｐn について、一対の画像Ｐk-1 ，Ｐk （ｋ＝２
〜ｎ）が相互に重なる重複領域を、それぞれ求める重複
領域決定手段と、各一対の画像Ｐk-1 ，Ｐk の重複領域
の画素の濃度値の分布を代表する代表値ｍｒk-1 ，ｍｃ
k を、それぞれ求める濃度値統計手段と、複数の画像の
うちのいずれか１つの画像Ｐ1 を基準とした複数の画像
のうちの残余の各画像Ｐk の各画素の濃度値の比Ｒk
を、各一対の画像Ｐk-1 ，Ｐk の代表値ｍｒk-1 ，ｍｃ
k の比に基づいてそれぞれ求める補正率演算手段と、複
数の比Ｒ2 〜Ｒn の分布に基づいて、各比Ｒk の修正
率Ｘk を求める修正率演算手段と、各画像Ｐ1 〜Ｐn 毎
に、該画像Ｐk の比Ｒk と修正率Ｘk とに基づいて、各
画素の濃度値を補正する濃度値補正手段とを含むことを
特徴とする画像処理装置である。

【００３４】本発明に従えば、画像処理装置は、まず複
数の画像Ｐ1 〜Ｐn を２枚ずつ順次組合わせ、各一対の
画像Ｐk-1 ，Ｐk の代表値ｍｒk-1 ，ｍｃk を算出し、
その代表値ｍｒk-1 ，ｍｃk の比に基づいて前記濃度値
の比Ｒk を求める。この濃度値の比Ｒk には、従来技術
で説明した反射および影ならびにシェーディング等の影
響によって、濃度値の見積もり誤りが含まれる。ゆえ
に、これら濃度値の比Ｒ2 〜Ｒn に基づいて見積もり誤
りの割合を推定して修正率Ｘｒを求め、その修正率によ
って濃度値の比Ｒk を修正する。最後に、修正後の濃度
値の比に基づいて、画像Ｐk-1 ，Ｐk の画素の濃度値を
補正する。これによって、たとえば１０枚程度の多数の
画像の全体の明るさを等しくするように補正する場合、
濃度値の見積もり誤りの影響を受けることを防止するこ
とができる。したがって、本発明の画像処理装置では、
従来技術の画像処理装置よりも簡単な処理によって確実
に、複数の画像の全体の明るさの補正を行うことができ
る。

【００３５】本発明は、前記複数の比Ｒ2 〜Ｒn を格納
するテーブルと、テーブルに格納された前記各比Ｒk
を、前記修正率Ｘk に基づいてそれぞれ修正する修正手
段とをさらに含み、前記濃度値補正手段は、前記各画像
Ｐ1 〜Ｐn 毎に、テーブルに格納された修正後の比Ｒk
に基づいて、各画素の濃度値を補正することを特徴とす
る。

【００３６】本発明に従えば、補正率演算手段は、濃度
値補正手段によって濃度値が補正される前に、修正前お
よび修正後の比をテーブルに格納しておく。これによっ
て、濃度値補正手段が画素の濃度値を補正する時点で行
う演算量を、テーブルが無い場合と比較して減少させる
ことができる。

【００３７】本発明は、前記修正率演算手段は、前記重
複領域を順次重ねて前記画像Ｐ1 〜Ｐn を並べた場合の
並べ順ｋと前記各画像Ｐk の比Ｒk との関係を予め定め
る近似式によって近似し、その近似式の定数と並べ順ｋ
とに基づいて前記各修正率Ｘk を定めることを特徴とす
る。

【００３８】本発明に従えば、前記修正率演算手段は、
前記修正率を上述の手順によって求める。これによっ
て、前記濃度値の比Ｒ2 〜Ｒn のうちの見積もり誤りの
割合を確実に求めることができる。

【００３９】本発明は、前記近似式は指数関数（ｙ＝ａ
^x）であり、前記定数は指数関数の底ａであることを特
徴とする。

【００４０】本発明に従えば、前記近似式は、指数関数
である。たとえば処理対象の複数の画像Ｐ1 〜Ｐn が光
源と被写体と撮影装置との位置関係がおおよそ一定とな
る条件下に得られ、かつ画像内の被写体の反射および影
ならびにシェーディングの影響を受けた画素が一対の画
像Ｐk-1 ，Ｐk 間でほぼ同じ位置に現れる場合、前記影
響は並べ順の増加に伴って指数関数的に増大するので、
複数の濃度値の比Ｒ2〜Ｒn と並べ順ｋとの関係を指数
関数によって近似することができる。したがって、近似
式を指数関数とすることによって、上述の場合に見積も
り誤りの割合を確実に求めることができる。また、見積
もり誤りの割合が減少していく場合、その割合は０に近
付くが０以下とはならない。このような場合でも、指数
関数の底ａを０より大きく１未満の値（０＜ａ＜１）と
することによって、複数の濃度値の比Ｒ2 〜Ｒn と並べ
順ｋとの関係を確実に近似することができる。

【００４１】本発明は、前記濃度値は、予め定める３色
の成分によって構成され、前記濃度値統計手段、前記補
正率演算手段、前記修正率演算手段、および前記濃度値
補正手段は、濃度値の各成分毎に処理を行うことを特徴
とする。

【００４２】本発明に従えば、画像処理装置の各手段
は、濃度値の各成分毎に処理を行う。これによって、画
像Ｐ1 〜Ｐn がカラー画像である場合にも、従来技術の
画像処理装置よりも簡単にかつ確実に、全体の明るさの
補正を行うことができる。

【００４３】本発明は、各画素の濃度値が補正された画
像を、前記重複領域を順次重ねて合成する合成手段をさ
らに含むことを特徴とする。

【００４４】本発明に従えば、画像処理装置は、上述の
合成手段によって、複数の画像を合成する。この合成処
理の前に、各画像の全体の明るさが補正されているの
で、合成された画像内で画像のつなぎ目に相当する部分
の両側の画素の濃度は滑らかに変化する。したがって、
この合成された画像の中には色調および濃淡が極端に変
化する部分が無い。これによって、従来技術の画像処理
装置によって合成された画像よりも、合成された画像の
画質を向上させることができる。

【００４５】本発明は、合成された画像のホワイトバラ
ンスを補正するホワイトバランス補正手段をさらに含む
ことを特徴とする。

【００４６】本発明に従えば、画像処理装置は、上述の
ホワイトバランス補正手段によって、合成された画像の
ホワイトバランスを補正する。これは、以下の理由から
である。合成対象の複数の各画像は、従来技術で述べた
理由から、その画像を構成する画素の色が或る一部の色
に偏っていることが多いが、合成された画像は、合成対
象の複数の各画像に写された範囲よりも広い範囲を写す
ので、画像を構成する画素の色の偏りがなくなる。映像
信号検出方式を用いたホワイトバランス補正は、補正対
象の画像に色の偏りがないほど、正確にホワイトバラン
スを補正することができる。このため、合成された画像
を補正対象とした場合、複数の各画像Ｐk に色の偏りが
それぞれあるときでも、映像信号検出方式を用いたホワ
イトバランス補正手段を用いて確実にホワイトバランス
を補正することができる。

【００４７】

【発明の実施の形態】図１は、本発明の第１実施形態で
ある画像処理装置を含む合成画像作成装置１の電気的構
成を表すブロック図である。合成画像作成装置１は、撮
影装置３、読取り装置４、画像処理装置５、表示装置
６、および印刷装置７を含む。画像処理装置５は、中央
演算処理回路９と記憶装置１０とを含む。記憶装置１０
は、メモリ１１と外部記憶装置１２とを含む。撮影装置
３、読取り装置４、表示装置６、印刷装置７、中央演算
処理回路９、メモリ１１、および外部記憶装置１２は、
バスライン１４にそれぞれ接続され、バスライン１４を
介して相互に信号の授受を行う。以後の説明では、バス
ライン１４に関する記載は省略する。画像処理装置５
は、たとえばパーソナルコンピュータの本体によって実
現される。

【００４８】撮影装置３は、レンズを含む光学系および
撮影素子を含み、予め定める撮影範囲内の物体を撮影し
て、複数の画素から構成される画像を表す画像信号を生
成する。撮影装置３は、たとえば、ビデオカメラおよび
デジタルスチルカメラによって実現され、撮影素子は、
たとえばＣＣＤイメージセンサによって実現される。読
取り装置４は、たとえばＣＤ−ＲＯＭ，光磁気ディス
ク、フロッピーディスクによって実現される記憶媒体に
記憶された画像信号を読出す。

【００４９】記憶装置１０は、撮影装置３によって生成
された複数の画像信号、および読取り装置４によって読
出された複数の画像信号を、処理対象の画像を表す画像
信号として記憶する。また、中央演算処理回路９の動作
プログラムおよびプログラムの実行に必要な各種の制御
データを記憶する。中央演算処理回路９は、記憶装置１
０に記憶された動作プログラムを読出し、その動作プロ
グラムに基づいて、記憶装置１０に記憶された複数の画
像信号から単一の出力画像信号を生成する。生成された
出力画像信号は記憶装置１０に記憶され、また表示装置
６および印刷装置７に与えられる。メモリ１１は、たと
えばリードオンリメモリおよびランダムアクセスメモリ
によって実現され、外部記憶装置１２は、たとえばハー
ドディスク装置によって実現される。

【００５０】表示装置６は、たとえば、液晶表示装置お
よび陰極線管によって実現され、出力画像信号が表す出
力画像をその表示画面に表示する。印刷装置７は、出力
画像信号が表す出力画像を、記録紙等に印刷する。合成
画像作成装置１内では、各種の画像は画像信号の形態で
取扱われるので、以後の説明では、或る種類の画像を表
す画像信号を、単にその種類の画像と称することがあ
る。

【００５１】図２は、画像処理装置５が行う画像処理動
作を概略的に説明するための機能的ブロック図である。
機能的ブロック図では、単一のブロックが、中央演算処
理回路９の動作プログラムのうちで或る目的のための一
連の処理動作（サブルーチン）を表し、そのブロックへ
向かう矢印がその処理動作のために必要な入力信号およ
びデータを表し、そのブロックから出る矢印がその処理
動作の処理結果を示す入力信号およびデータを表す。画
像処理動作を行うためには、前提条件として、処理対象
の複数の画像が記憶装置１０に記憶されているものとす
る。以後、これら複数の画像を入力画像列と総称する。

【００５２】中央演算処理回路９が動作プログラムを実
行した場合、まず、中央演算処理回路９はマッチング手
段２１として動作し、入力画像列の各画像の相互の対応
関係を表すマッチング情報を求める。このマッチング情
報は、たとえば入力画像列の各画像が他のどの画像と重
なるか、またそれら画像を重ねた場合の位置関係を表
す。マッチング情報は、たとえば記憶装置１０に一時的
に記憶される。次いで、中央演算処理回路９は画像補正
手段２２として動作し、各画像のマッチング情報を参照
して、入力画像列の各画像に濃度値補正処理をそれぞれ
施す。これによって、各画像の全体の明るさ、すなわち
各画像の全体の濃淡および色調を合わせる。次いで中央
演算処理回路９は合成手段２３として動作し、マッチン
グ情報を参照して濃度値補正処理後の複数の画像を合成
することによって、合成画像を作成する。この合成画像
が、出力画像として記憶装置１０に記憶される。

【００５３】以下に、画像処理動作を詳細に説明する。
入力画像列は、たとえば、以下の条件の元で得られる。
撮影装置３はビデオカメラであり、光源が撮影装置３と
被写体とから充分に離れた位置、たとえば無限遠点にあ
るものと仮定する。合成画像作成装置１の操作者は、撮
影装置３によって被写体およびその周辺を撮影させなが
ら、その撮影装置３の撮影範囲を、光源と被写体と撮影
装置３との位置関係がほぼ変わらないように、時間経過
に伴って移動させる。この撮影装置３によって得られる
動画の１つのフレームを得るために必要な時間内に撮影
範囲が移動する距離は、そのフレームの幅または高さよ
りも短いものとする。このように被写体を撮影する例と
して、たとえば、室内で撮影範囲よりも広い原稿を撮影
装置３によって走査しつつ撮影する場合、ならびに屋外
でパン撮影およびチルト撮影を行う場合が挙げられる。
上述の手法によって被写体を撮影した場合、少なくとも
連続する２つのフレームの画像は、その一部分に同じ被
写体または被写体の同じ部分がそれぞれ写っているの
で、相互に重なる。この動画の連続する複数のフレーム
の画像を、それぞれ入力画像列の画像とする。

【００５４】以後の説明では、入力画像列を、２枚の画
像Ｐ1 ，Ｐ2 であると仮定する。図３（１）は、入力画
像列の画像Ｐ1 ，Ｐ2 を表す図である。図３では、画像
Ｐ1，Ｐ2 の外枠とそのエッジだけを実線によって表
す。この画像Ｐ1 ，Ｐ2 は、たとえば行列状に配置され
た複数の画素によって構成される。前述の画像信号は、
画像内の各画素の位置および各画素の濃度値を含む。濃
度値は、たとえば予め定める範囲の整数であり、その画
素の濃度を表す。また、濃度に代わって、輝度および明
度であってもよい。画像Ｐ1 ，Ｐ2 は、その一部分に同
じ被写体または被写体の同じ部分が写っているので、画
像内の画素の濃度分布だけに着目した場合、図３（２）
に示すように、その画像Ｐ1 ，Ｐ2 の一部分のエッジが
一致するように、相互に重ねることができる。この重な
る部分を、重複領域ｑ1 ，ｑ2 とする。図３では、重複
領域ｑ1 ，ｑ2 に斜線を付して示す。

【００５５】図４（１）は、画像Ｐ1 の重複領域ｑ1 を
構成する画素の濃度値のヒストグラムであり、図４
（２）は、画像Ｐ2 の重複領域ｑ2 を構成する画素の濃
度値のヒストグラムである。このヒストグラムは、縦軸
が画素数であり横軸が濃度値である。重複領域ｑ1 ，ｑ
2 は、被写体の同じ部分を写しているので、その濃度値
のヒストグラムはほぼ等しい筈である。図４（１），
（２）を比較すると、両ヒストグラムを表す曲線４１，
４２の形状は類似しているが、その位置が全体的にずれ
ている。このことから、画像Ｐ1 の全体の明るさが、画
像Ｐ2 の全体の明るさよりも、全体的に暗いまたは明る
いことが分かる。

【００５６】図５を用いて、マッチング手段２１におけ
るマッチング情報の算出手法を詳細に説明する。マッチ
ング情報を求めるには、たとえば、ブロックマッチング
法が用いられる。

【００５７】この場合、具体的には、マッチング手段２
１は、まず、画像Ｐ1 ，Ｐ2 のいずれか一方を参照画像
Ｆとし、いずれか他方を探索画像Ｇと仮定する。次い
で、参照画像Ｆ内に、参照領域ｆを設定する。参照領域
ｆは、たとえば、参照画像Ｆのうちで探索画像Ｇと重な
り得る領域の内部に設定され、かつその大きさが該領域
以下であることが好ましい。次いで、探索画像Ｇ内に、
参照領域ｆと大きさが等しい探索領域ｇを設定し、この
参照領域ｆと探索領域ｇとの画素の濃度分布を比較する
ための指標を求める。

【００５８】この指標として、たとえば差分ｄが用いら
れる。差分ｄは、領域ｆ，ｇの対応する画素の濃度値の
差の絶対値の総和であり、式２によって求められる。対
応する画素とは、たとえば、領域ｆ，ｇをその外枠が一
致するように重ねた場合に、重なり合う画素を指す。次
式において、「ｆ」は参照領域ｆの或る画素の濃度値を
示し、「ｇ」は、参照領域ｆの前記或る画素に対応する
探索領域Ｇの画素の濃度値を示す。ｄ＝ Σ｜ｆ−ｇ｜ …（２）

【００５９】この差分ｄを、参照画像Ｆの基準点に対す
る参照領域ｆの位置を固定したまま探索画像Ｇの基準点
に対する探索領域ｇの位置を複数の箇所に変えて、各箇
所毎に求める。画像Ｆ，Ｇの基準点は、たとえば画像
Ｆ，Ｇに設定される座標系の原点であり、仮に画像Ｆ，
Ｇの左上角の頂点であるとする。この差分ｄが最小であ
る場合に、設定された探索領域ｇと参照領域ｆとの画素
の濃度分布が最も類似していると考えることができる。
このため、求めた複数の差分ｄを比較して最小の差分ｄ
を求め、その差分を求めたときの探索領域ｇの位置と参
照領域ｆの位置との差を、マッチング情報として求め
る。この位置の差は、画像Ｆ，Ｇを、その中で濃度分布
が最も類似する部分が重なるように重ね合わせた場合に
おける画像Ｆ，Ｇの基準点のずれと等しい。

【００６０】このような手法を用いてマッチング情報を
求めた場合、画像Ｐ1 ，Ｐ2 の基準点のずれが求められ
る。これによって、マッチング情報に基づいて、画像Ｐ
1 ，Ｐ2 の重複領域ｑ1 ，ｑ2 を定めることができる。
たとえば、その基準点をこのずれだけずらして画像Ｐ1
，Ｐ2 を重ね合わせた場合に重なる領域全体を、各画
像Ｐ1 ，Ｐ2 の重複領域ｑ1 ，ｑ2 とする。この重複領
域ｑ1 ，ｑ2 は、マッチング情報を求める手法によって
は、同じ大きさになるとは限らない。また、矩形である
とも限らない。このように、マッチング手段は、画像Ｐ
1 ，Ｐ2 の重複領域を求めるための重複領域決定手段と
して働く。

【００６１】マッチング情報を求めるための手法は、上
述のブロックマッチング法に限らず、画像Ｐ1 ，Ｐ2 間
の対応関係が求められるものであれば、他の手法を用い
ても良い。また、ブロックマッチング法を用いる場合で
も、差分ｄの代わりに他の指標、たとえば相関等によっ
て求められる領域ｆ，ｇの類似度を用いてもよい。ま
た、入力画像列が３枚以上の画像から構成される場合、
まずその中から２枚の画像を選んで上述の処理を行い、
各画像に対して少なくとも１つの他の画像とのマッチン
グ情報が求められるまで、選ぶ画像の組合わせを変えて
この処理を繰返せばよい。

【００６２】次いで、画像補正手段２２における濃度値
補正動作を詳細に説明する。図６は、濃度値補正動作を
説明するための機能的ブロック図である。画像補正手段
２２は、入力画像列の画像Ｐ1 ，Ｐ2 のうちの一方を基
準画像とし、他方を補正対象画像とする。以後の説明で
は、画像Ｐ1 を基準画像とし、画像Ｐ2 を補正対象画像
と仮定する。

【００６３】中央演算処理回路９が画像補正手段２２と
して動作する場合、具体的には、まず中央演算処理回路
９は、濃度値統計部５１として動作する。濃度値統計部
５１は、画像Ｐ1 ，Ｐ2 を読出し、マッチング情報に基
づいて各画像Ｐ1 ，Ｐ2 の重複領域ｑ1 ，ｑ2 を求め
る。次いで、重複領域ｑ1 ，ｑ2 の画素の濃度値の分布
を代表する代表値ｍｒ1 ，ｍｃ2 を求める。代表値ｍｒ
1 ，ｍｃ2 は、たとえば記憶装置１０に一時的に記憶さ
れる。

【００６４】次いで、中央演算処理回路９は濃度値補正
部５２として動作する。濃度値補正部５２は、概略的に
は、代表値ｍｒ1 ，ｍｃ2 の比に基づいて、重複領域ｑ
1 ，ｑ2 の全体の明るさが一致するように、画像Ｐ1 ，
Ｐ2 の各画素の濃度値を補正する。具体的には、濃度値
補正部５２は、まず、補正率として、補正対象画像Ｐ2
の重複領域ｑ2 の代表値ｍｃ2 に対する基準画像Ｐ1 の
重複領域ｑ1 の代表値ｍｒ1 の比Ｒを求める。式３は、
比Ｒの算出式である。

【００６５】

【数１】

【００６６】次いで濃度値補正部５２は、補正対象画像
Ｐ2 の各画素の濃度値に比Ｒを乗じる。式４は、濃度値
補正の計算式である。次式において、ｐｉは補正対象画
像Ｐ2 の或る画素の補正前の濃度値、ｐｏは補正画像の
前記或る画素の濃度値、ｐｍａｘは濃度値が取得る最大
値を表す。通常、濃度値は有限の整数、たとえば０以上
２５５以下の値だけを取得るので、積に小数点以下の端
数が含まれる場合には、その積を自然数に丸めることが
好ましい。また、補正画像の濃度値ｐｏは濃度値が取得
る値の最大値ｐｍａｘで飽和することが好ましいので、
積が最大値ｐｍａｘ以上である場合には、その積を最大
値ｐｍａｘに置換えている。

【００６７】

【数２】

【００６８】濃度値補正部５２は、このように求められ
た積を各画素の補正後の濃度値として、補正対象画像Ｐ
2 の画像信号内の補正前の濃度値を補正後の濃度値に置
換える。これによって、濃度値が補正された補正対象画
像Ｐ2 、すなわち補正画像の画像信号が得られる。補正
画像の画像信号は、たとえば、記憶装置１０に一時的に
記憶される。

【００６９】たとえば図３，４の例では、この処理によ
って、重複領域ｑ2 のヒストグラムが元の位置よりも左
側に寄るように圧縮されるので、重複領域ｑ1 ，ｑ2 の
濃度値の代表値ｍｒ1 ，ｍｃ2 が一致する。これによっ
て、画像Ｐ1 の全体の明るさと補正後の画像Ｐ2 の全体
の明るさとがほぼ一致する。また、入力画像列が３枚以
上の画像から構成される場合、まず、画像が相互に重な
る２枚の画像を選択し、それら画像を処理対象の画像Ｐ
1 ，Ｐ2 として上述のマッチング処理と濃度値補正処理
を行う,。次いで、補正後の２枚の画像のうちのいずれ
か一方の画像と該画像に重なる他の画像とを選んで、そ
れら画像を処理対象の画像Ｐ1 ，Ｐ2 として、マッチン
グ処理と濃度値補正処理とを行う。この後者の動作を、
入力画像列の全画像に対して濃度値補正処理が施される
まで繰返す。これによって、３枚以上の画像の全体の明
るさを合わせることができる。

【００７０】代表値ｍｒ1 ，ｍｃ2 は、たとえば、重複
領域ｑ1 ，ｑ2 の濃度値の平均値ｍａｖ1 ，ｍａｖ2 で
ある。この平均値は、単純平均であってもよく、また重
付け平均であってもよい。また、代表値ｍｒ1 ，ｍｃ2
は、ヒストグラムにおいて画素数が最大値となる濃度値
であってもよい。さらに、ヒストグラムにおいて、或る
濃度値を中心とした予め定める幅内の濃度値の画素の数
の平均値を、中心の或る濃度値を変えてそれぞれ求め
て、これら平均値の最大値を求め、この最大値が求めら
れたときの中心の或る濃度値を、代表値ｍｒ1 ，ｍｃ2
としてもよい。この場合、分布を代表しておらず例外的
に画素数が増加した濃度値を、誤って代表値とすること
を防止することができる。重複領域の画素の濃度値の分
布を代表する値であれば、他の値を代表値として用いて
も良い。

【００７１】前述の図４に示すように、平均値ｍａｖ1
，ｍａｖ2 は、ヒストグラムの最大値となる濃度値と
一致または近似しており、また濃度値分布の中心にも近
い。また、重複領域内の少数の画素、たとえば１つの画
素の濃度値が該複領域内の他の画素と大きく異なる場合
の平均値と、該濃度値が大きく異なる少数の画素がない
場合の平均値とは殆ど変わらないので、安定性が良い。
ゆえに、代表値ｍｒ1 ，ｍｃ2 として、平均値ｍａｖ1
，ｍａｖ2 を用いることが好ましい。

【００７２】濃度値統計部５１は、重複領域ｑ1 ，ｑ2
の内側にあり重複領域ｑ1 ，ｑ2 よりも狭い領域の画素
だけを用いて、代表値ｍｒ1 ，ｍｃ2 を算出してもよ
い。この理由および効果を、図７を参照して説明する。

【００７３】画像Ｐ1 ，Ｐ2 の画像信号には、雑音成分
が混入していたり信号歪みが生じていたりすることがあ
る。また、撮影装置３の構造等に起因して、画像Ｐ1 ，
Ｐ2を構成する画素の一部の濃度値が実際に定められな
いために、その画素の濃度値が欠けていることがある。
雑音成分および信号歪みの影響を受ける画素ｐｘならび
に欠損した画素ｐｙは、画像Ｐ1 ，Ｐ2 の周辺部にある
ことが多く、その位置は、撮影装置３に対して一意的に
定めることができる。

【００７４】重複領域ｑ1 ，ｑ2 をマッチング情報に基
づいて定める場合、重複領域ｑ1 ，ｑ2 全体の画素の濃
度分布を比較しないので、画素ｐｘ，ｐｙが重複領域ｑ
1 ，ｑ2 に含まれることがある。この場合に、重複領域
ｑ1 ，ｑ2 を構成する全ての画素の濃度値を用いて代表
値ｍｒ1 ，ｍｃ2 を算出すると、雑音成分および信号歪
みならびに欠損の影響を受けて、代表値ｍｒ1 ，ｍｃ2
に誤差が生じることがある。

【００７５】これを防止するために、濃度値統計部５１
は、重複領域ｑ1 ，ｑ2 を定めた後に、その重複領域ｑ
1 ，ｑ2 の内部に、重複領域ｑ1 ，ｑ2 よりも小さい小
領域ｑａ1 ，ｑａ2 をさらに設定し、この小領域ｑａ1
，ｑａ2 を構成する画素の濃度値だけを用いて、代表
値ｍｒ1 ，ｍｃ2 を算出する。図７では、小領域ｑａ
1，ｑａ2 を斜線を付して示す。画素ｐｘ，ｐｙの位置
は一意的に定められるので、これら画素ｐｘ，ｐｙを含
まないように小領域ｑａ1 ，ｑａ2 を設定すれば、画素
の欠損ならびに雑音成分および信号歪みの影響を受ける
ことなく、代表値ｍｒ1 ，ｍｃ2 を算出することができ
る。

【００７６】また、濃度値統計部５１は、重複領域ｑ1
，ｑ2 を構成する全画素のうちで全画素数よりも少な
い数の画素の濃度値だけを用いて、代表値ｍｒ1 ，ｍｃ
2 を算出してもよい。これによって、代表値ｍｒ1 ，ｍ
ｃ2 の算出処理に用いる画素の数が減少するので、算出
処理を簡略化することができ、ゆえに算出処理を高速化
することができる。代表値ｍｒ1 ，ｍｃ2 の算出に用い
る画素は、たとえば画素が行列状に配置される場合、予
め定める間隔で画素を間引くことによって選択する。ま
た、予め定める間隔で画素の行または列を間引くことに
よって選択してもよい。

【００７７】さらにまた、画像Ｐ1 ，Ｐ2 がカラー画像
である場合、濃度値は予め定める３色の成分から構成さ
れる。この成分は、たとえば、赤成分（Ｒ成分）と緑成
分（Ｇ成分）と青成分（Ｂ成分）であり、これら各成分
は赤と青と緑との濃度値をそれぞれ表す。この３色の組
合わせは、混合して白になる複数の色の組合わせであれ
ば、赤青緑以外の組合わせであってもよい。さらにま
た、これら成分として、Ｙ成分（輝度成分）ならびにＲ
−Ｙ成分およびＢ−Ｙ成分（色差成分）を用いても良
い。この場合、濃度値統計部５１と濃度値補正部５２と
は、各成分に対して独立して処理を行う。これによっ
て、画像Ｐ1 ，Ｐ2 がカラー画像である場合も、画像補
正手段２２によって画像の画素の濃度値を補正すること
ができる。

【００７８】以下に、合成手段における画像Ｐ1 ，Ｐ2
の合成手法を説明する。合成手段は、画像Ｐ1 と補正後
の画像Ｐ2 とを合成して、合成画像を得る。この合成処
理は、概略的には、画像Ｐ1 と、補正後の画像Ｐ2 から
重複領域ｑ2 を除いた部分とを、画像Ｐ1 ，Ｐ2 の基準
点がマッチング情報で表される画像のずれだけずれるよ
うに配置して接合する。信号処理としては、画像Ｐ1 の
画像信号と、画像Ｐ2の画像信号のうちで重複領域ｑ2
の画素に関するデータを除いた部分とを組合わせ、両画
像の座標系を統一して、各画素の座標を変換する。その
際、重複領域ｑ1 ，ｑ2 の境界付近では、重複領域ｑ1
，ｑ2 の同一座標の画素の濃度値（画素値）を混合
し、かつ、その割合を段階的に変化させるグラデーショ
ン処理を行うことによって、より滑らかに画像を合成す
ることができる。

【００７９】入力画像列が３枚以上の画像から構成され
る場合、１番目と２番目の画像Ｐ1，Ｐ2 を上述のよう
に合成し、さらに合成された画像に３番目の画像Ｐ3 か
ら２番目の画像Ｐ2 との重複領域を除いた部分を、画像
Ｐ2 ，Ｐ3 の基準点がそのマッチング情報で表される画
像のずれだけずれるように配置して接合する。４番目の
画像以後、後者の処理を順次繰返すことによって、３枚
以上の画像を全て接合することができる。

【００８０】このように複数の画像を合成した場合、合
成対象の各画像の全体の明るさがほぼ等しいので、合成
画像内で任意の２枚の画像のつなぎ目およびその周辺の
部分における画素の濃度値の変化が滑らかになる。ま
た、各画像の全体の明るさがほぼ等しいので、濃淡およ
び色調が合成画像内のどの部分でも等しい。これによっ
て、本実施形態の画像処理装置５は、従来技術の画像合
成装置によって得られた合成画像よりも画質の良い合成
画像を得ることができる。

【００８１】以下に、本発明の第２実施形態である画像
処理装置を含む合成画像作成装置を説明する。第２実施
形態の合成画像作成装置の電気的構成は、第１実施形態
の合成画像作成装置１と等しい。また画像処理装置の機
能的構成は、画像処理装置５の機能的構成と比較して、
画像補正手段２２が画像補正手段７１に置換えられた点
が異なり、他は等しい。同一の動作を行う装置および回
路ならびに手段には同一の符号を付し、説明は省略す
る。

【００８２】入力画像列を、２枚以上の画像Ｐ1 〜Ｐn
であると仮定する。ｎは、２以上の整数である。この画
像Ｐ1 〜Ｐn は、たとえば、図８に示すように、撮影装
置３と被写体６１と光源６２との位置関係がほぼ保たれ
るように、撮影装置３の撮影範囲６３を時間経過に伴っ
て移動させつつ、被写体６１を撮影することによって得
られたものである。以後の説明では、撮影装置３がビデ
オカメラであって、入力画像列の各画像は動画の各フレ
ームであると仮定し、フレームの並べ順と画像Ｐ1 〜Ｐ
n の並べ順とは等しいと仮定する。また、画像Ｐ1 〜Ｐ
n の並べ順の番号を１〜ｎとする。並べ順の番号が連続
する２枚の画像Ｐk-1 ，Ｐk （ｋ＝２〜ｎ）は、図９
（１）に示すように、その一部分に同じ被写体または被
写体の同じ部分が写っている。ゆえに、画像Ｐ1 〜Ｐn
は、各画像内の画素の濃度分布が同じ部分を重ねた場
合、図９（２）に示すように、順次的に重なる。相互に
重なる画像Ｐk ，Ｐk-1 の重なる部分を重複領域とす
る。

【００８３】また、画像Ｐk-1 ，Ｐk の各重複領域に、
同じ大きさでかつ被写体の同じ部分を写す領域をそれぞ
れ設定し、そのうちで並べ順が小さい方の画像Ｐk-1 の
領域を基準領域ｑｒk-1 とし、並べ順が大きいほうの画
像の領域を比較領域ｑｃk とする。たとえば、図９の例
では、画像Ｐ1 には基準領域ｑｒ1 があり、画像Ｐ2に
は比較領域ｑｃ2 と基準領域ｑｒ2 とがあり、画像Ｐ３
には比較領域ｑｃ3 がある。このうち、基準領域ｑｒ1
と比較領域ｑｃ2 とには被写体６１の同じ部分が写って
おり、基準領域ｑｒ2 と比較領域ｑｃ3 とにも被写体６
１の同じ部分が写っている。

【００８４】図１０は、中央演算処理回路９が画像補正
手段７１として動作する場合に行う濃度値補正動作をを
説明するための機能的ブロック図である。図１１は、濃
度値補正動作を説明するためのフローチャートである。
図１０と図１１とを併せて説明する。画像補正手段７１
が濃度値補正動作を行うためには、前提条件として、記
憶装置１０に複数の画像Ｐ1 〜Ｐn が記憶されており、
マッチング手段２１によって、並べ順が連続する２枚の
画像Ｐk-1 ，Ｐk （ｋ＝２〜ｎ）のマッチング情報がそ
れぞれ求められているものとする。この状態でステップ
ａ１からステップａ２に進む。

【００８５】ステップａ２では、中央演算処理回路９
は、記憶装置１０から並べ順が１番である１番目の画像
Ｐ1 を読出し、基準画像として画像バッファに入力す
る。画像バッファは、処理対象の画像を一時的に記憶す
るためのものであり、たとえば、中央演算処理回路９内
部または記憶装置１０内部に設けられる。ステップａ３
では、並べ順がｋ番目の画像Ｐk を読出し、処理対象の
入力画像として、画像バッファに入力する。ｋの初期値
は２である。

【００８６】ステップａ４では、中央演算処理回路９
は、濃度値統計部７２として動作する。濃度値統計部７
２は、まず、マッチング情報に基づいて、ステップａ３
で画像バッファに入力された画像Ｐk と、画像バッファ
に記憶されており画像Ｐk よりも並べ順が１小さい画像
Ｐk-1 とに、重複領域を設定し、さらに、それら重複領
域に基準領域ｑｒk-1 と比較領域ｑｃk とを設定する。
重複領域の設定手法は、第１実施形態で説明した手法と
等しい。両領域ｑｒk-1 ，ｑｃk は、重複領域全域であ
ってもよく、また重複領域よりも小さい領域であっても
よい。両領域ｑｒk-1 ，ｑｃk が重複領域よりも小さい
場合、両領域ｑｒk-1 ，ｑｃk を、第１実施形態の小領
域ｑａ1 ，ｑａ2 と同じものと見なすことができる。こ
の場合、第１実施形態で説明した理由から、両領域ｑｒ
k-1 ，ｑｃk を、画像Ｐk-1 ，Ｐkの中で信号歪みおよ
び雑音成分の影響を受けた画素および濃度値が欠損した
画素を含まないように設定することが好ましい。

【００８７】次いで、比較領域ｑｃk を構成する画素の
濃度値を代表する代表値ｍｃk と、基準領域ｑｒk-1 を
構成する画素の濃度値の分布を代表する代表値ｍｒk-1
とを求める。この代表値ｍｒk-1 ，ｍｃk は、第１実施
形態で説明した代表値ｍｒ1，ｍｃ2 と同じものであ
り、同じ手法によって求められる。この場合も、第１実
施形態で説明した理由から、代表値ｍｒk-1 ，ｍｃk
は、基準領域ｑｒk-1 および比較領域ｑｃk をそれぞれ
構成する画素の濃度値の平均値であることが好ましい。
また、第１実施形態で説明した理由から、両領域ｑｒk-
1 ，ｑｃk をそれぞれ構成する画素の一部分の画素だけ
を用いて代表値ｍｒk-1 ，ｍｃk を求めても良い。

【００８８】ステップａ５では、中央演算処理回路９
は、補正率演算部７３として動作する。補正率演算部７
３は、ステップａ４で求められた代表値ｍｒk-1 ，ｍｒ
k に基づいて、画像Ｐk の補正率を求めて補正率テーブ
ル７４に記憶させる。補正率テーブル７４は、たとえば
記憶装置１０内部または中央演算処理回路９内部に設け
られる。

【００８９】ステップａ６では、中央演算処理回路９
は、入力画像列の全ての画像Ｐ1 〜Ｐn に対してステッ
プａ３〜ａ６の処理を行ったか否かを判定する。未だ処
理していない画像が残っている場合、ステップａ６から
ステップａ３に戻り、並べ順ｋに１を加算して、加算後
の並べ順ｋの画像Ｐk に対してステップａ３〜ａ５の処
理を行う。ステップａ３〜ａ６の処理は、画像Ｐ2 〜Ｐ
n に対してそれぞれステップａ３〜ａ５の処理が行われ
るまで繰返される。全ての画像Ｐ2 〜Ｐn に対して処理
が行われていた場合、ステップａ６からステップａ７に
進む。この時点で、補正率テーブル７４には、画像Ｐ2
〜Ｐn の補正率が記憶される。

【００９０】ステップａ７では、中央演算処理回路９
は、修正率演算部７５として動作し、補正率テーブル７
４に記憶された画像Ｐ2 〜Ｐn の補正率を参照して、各
補正率の修正率Ｘk を求める。ステップａ８では、中央
演算処理回路９は、補正率テーブル修正部７６として動
作し、修正率演算部７５で求められた修正率Ｘk に基づ
いて、補正率テーブル７４に記憶された画像Ｐ2 〜Ｐn
の補正率をそれぞれ修正し、修正後の補正率を再度記憶
させる。

【００９１】ステップａ９では、中央演算処理回路９
は、並べ順がｋ番目の画像Ｐk を読出し、処理対象の入
力画像として、画像バッファに入力する。並べ順ｋの初
期値は２である。この入力処理は、たとえばステップａ
３で画像バッファに入力した画像をそのまま画像バッフ
ァに蓄えている場合には実行する必要がなく、ステップ
ａ４，ａ５の処理終了後に画像を画像バッファから消去
した場合だけ行う。ステップａ１０では、中央演算処理
回路９は、濃度値補正部７７として動作する。濃度値補
正部７７は、画像Ｐk の修正後の補正率を補正率テーブ
ル７４から読出し、その補正率に基づいて、ステップａ
９で画像バッファに入力した画像Ｐk の全画素の濃度値
を補正し、補正後の画像を補正画像として出力する。こ
の補正画像は、たとえば記憶装置１０に記憶される。

【００９２】ステップａ１１では、中央演算処理回路９
は、入力画像列の全ての画像Ｐ2 〜Ｐn に対してステッ
プａ１０の補正処理を行ったか否かを判定する。未だ補
正していない画像が残っている場合、ステップａ１１か
らステップａ９に戻り、並べ順ｋに１を加算し、加算後
の並べ順ｋの画像Ｐk に対してステップａ９，ａ１０の
処理を行う。ステップａ９〜ａ１１の処理は、画像Ｐ2
〜Ｐn に対してそれぞれ補正処理が行われるまで繰返さ
れる。全画像に対して補正処理が行われていた場合、ス
テップａ１２で濃度値補正動作を終了する。このような
一連の動作によって、画像Ｐ1 を基準画像として画像Ｐ
2 〜Ｐn の画素の濃度値が補正される。

【００９３】以下に、補正率演算部７３における補正率
の演算動作を詳細に説明する。画像Ｐk の補正率は、１
番目の画像Ｐ1 を基準画像と仮定し、さらに１番目の画
像Ｐ1 とk 番目の画像とが重なり基準および比較領域ｑ
ｒ1 ，ｑｃk を設定することができると仮定した場合、
基準画像Ｐ1 の基準領域ｑｒ1 を構成する画素の濃度値
の分布を表す代表値ｍｒ1 に対するｋ番目の画像Ｐk の
比較領域ｑｃk を構成する画素の濃度値の分布を表す代
表値ｍｃk の比（ｍｃk／ｍｒ1 ）として定義される。
実際の入力画像列では、並べ順が連続する２枚の画像Ｐ
k-1 ，Ｐk は必ず重なるが、並べ順が連続しない２枚の
画像には被写体の同じ部分が写っているとは限らないの
で、上述の代表値の比（ｍｃk／ｍｒ1 ）を直接演算す
ることは困難である。このために、本実施形態の補正率
演算部７３では、以下の手法を用いて、画像Ｐ2 〜Ｐk
の補正率を、画像の並べ順と同じ順番で求める。

【００９４】画像Ｐk の補正率を求める場合、補正率演
算部７３は、まず、ｋ−１番目の画像Ｐk-1 に対するｋ
番目の画像Ｐk の画素の濃度値の代表値の比Ｒｍk を求
める。式５は、代表値の比Ｒｍk の算出式である。次い
で、基準画像Ｐ1 を基準としたｋ番目の画像Ｐk の各画
素の濃度値の比Ｒk を、式６に基づいて求める。この濃
度値の比Ｒk を、画像Ｐk の補正率として、補正率テー
ブル７４に記憶させる。これによって、補正率の算出対
象の画像が基準画像と重なるか否かに拘わらず、その画
像の補正率を求めることができる。次式で、「Ｒk-1 」
は、基準画像Ｐ1 を基準としたｋ−１番目の画像Ｐk-1
の各画素の濃度値の比である。

【００９５】

【数３】

【００９６】

【数４】

【００９７】図１２は、１番目の画像を基準画像とした
場合の基準画像を基準とした画像Ｐ2 〜Ｐn の画素の濃
度値の比Ｒ2 〜Ｒn と、画像の並べ順２〜ｎとの関係を
表すグラフである。縦軸は濃度値の比であり、横軸は並
べ順から１引いた数であり、黒丸は各濃度値の比Ｒ2
〜Ｒn を並べ順の番号２〜n から１引いた数に対してプ
ロットしたものである。また、縦軸上の黒丸ｒ１は、基
準画像を基準とした基準画像の画素の濃度値の比を表
し、実際には１である。このグラフでは、黒丸が曲線８
１上およびその近傍に分布する。曲線８１は、画像の並
べ順から１引いた数k-1 を指数ｘとする指数関数の式
（ｙ＝ａ^x）によって定義される。すなわち、濃度値の
比Ｒ2 〜Ｒn の分布は、指数関数の分布に近いことが分
かる。このように濃度値の比Ｒ2 〜Ｒn が分布するの
は、以下の理由からである。

【００９８】画像Ｐ1 〜Ｐn には、図１３に示すよう
に、被写体６１表面の反射６５および影６６が写ってい
ることがある。画像Ｐ1 〜Ｐn の撮影時に撮影装置３と
被写体６１と光源６２との位置関係がほぼ変化していな
い場合、各画像Ｐ1 〜Ｐn 内部で反射６５および影６６
の写る位置は殆ど変化しないので、相互に重なる画像Ｐ
k-1 ,Ｐk の基準領域ｑｒk-1 と比較領域ｑｃk であっ
ても、その一方に反射６５が入り他方に入らないこと、
およびその一方に影６６が入り他方に入らないことがあ
る。また、撮影装置３のレンズのシェーディングおよび
撮影素子のシェーディングによって、各画像Ｐk-1 ,Ｐk
の周辺部の画素の濃度値が本来の濃度値よりも低下す
ることがある。この場合、基準領域ｑｒk-1 と比較領域
ｑｃk との画像Ｐk-1 ,Ｐk の基準点に対する位置が異
なるので、その一方が画像の周辺部にあって他方が画像
の中心付近にあることがある。

【００９９】各画像Ｐ1 〜Ｐn の全体の明るさが等しい
と仮定した場合に、画像に上述したような反射および影
ならびにシェーディングの影響があれば、代表値ｍｒk-
1 ，ｍｃk が１〜９％程度異なることがある。この代表
値ｍｒk-1 ，ｍｃk の差によって、ｋ−１番目の画像Ｐ
k-1 に対するｋ番目の画像Ｐk の画素の濃度値の代表値
の比Ｒｍk には、見積もり誤りｅｒが含まれる。見積も
り誤りｅｒは、−１よりも大きく１未満であるとする。
これは、画像Ｐk-1 ，Ｐk の全体の明るさが等しいにも
拘わらず、画像Ｐk-1 に対して画像Ｐk の全体の明るさ
が平均的に割合「１＋ｅｒ」だけ明るいまたは暗いと誤
って判断されていることを表す。 −１＜ｅｒ＜１ …（７）

【０１００】前述したように、ｋ番目の画像Ｐk の補正
率は、代表値の比Ｒｍ1 〜Ｒｍk の積である。このた
め、代表値の比Ｒｍk に含まれる見積もり誤りの割合ａ
を式８のように仮定すると、補正率への見積もり誤りの
影響は、画像Ｐk の並べ順が大きくなるほど、割合ａが
等比級数的に増大する。このために、図１２に示すよう
に、並べ順ｋに対する濃度値の比Ｒk の分布は、指数関
数に近くなる。このことは、画像Ｐ1 ，Ｐk の全体の明
るさが等しいにも拘わらず、画像Ｐ1 に対して画像Ｐk
の全体の明るさが割合（１＋ｅｒ）^k-1だけ明るいまた
は暗いと誤って判断されていること表す。ａ＝１＋ｅｒ …（８）

【０１０１】ゆえに、この補正率をそのまま用いて画像
の画素の濃度値を補正すると、並べ順の番号が大きい画
像程、反射および影ならびにシェーディングの影響が指
数関数的に増大する。たとえば、割合ａが１よりも大き
い場合は、並べ順の番号が大きい画像ほど基準画像より
も明るいと誤って判断されるので、入力画像列の各画像
を、並べ順の番号が増加するほど徐々に暗く補正してし
まう。逆に、割合ａが１未満である場合、並べ順の番号
が大きい画像ほど基準画像よりも暗いと誤って判断され
るので、入力画像列の各画像を、並べ順の番号が増加す
るほど徐々に明るく補正してしまう。この補正の誤り
は、並べ順の番号が大きい画像程大きくなるので、入力
画像列の画像の枚数が増加するほど、見積もり誤りの影
響が大きくなる。本実施形態の画像処理装置では、補正
率を修正率によって補正する。

【０１０２】以下に、修正率演算部７５における修正率
の演算動作を詳細に説明する。修正率演算部７５は、ま
ず、補正率テーブル７４に記憶された画像Ｐ2 〜Ｐn の
補正率を読出し、これら補正率に基づいて、補正率と画
像の並べ順の番号との関係を表す近似式を求める。この
近似式は、たとえば、指数関数、単調増加関数、および
単調減少関数である。前記補正率を、基準画像を基準と
したｋ番目の画像Ｐkの濃度値の比Ｒk であるとする場
合、前述したように濃度値の比Ｒk は等比級数的に増減
するので、前記関係を指数関数によって近似することが
最も好ましい。濃度値の比Ｒk を指数関数によって近似
することが好ましいのは、たとえば、撮影中に撮影装置
３と被写体６１と光源６２との位置関係がほぼ等しく、
並べ順が連続する２枚の画像Ｐk-1 ，Ｐk 内の反射およ
び影ならびにシェーディングの影響を受けた画素の位置
がほぼ等しい場合である。以下の説明では、前記関係を
指数関数によって近似する場合を例として説明する。

【０１０３】濃度値の比Ｒk を変数ｙとし、代表値の比
Ｒｍk の見積もり誤りの割合ａを底とし、並べ順k から
１引いた数を指数である変数ｘと定義して、近似式を式
９の指数関数であると仮定する。次いで、式１０に示す
ように式９の両辺の対数を取り、ｌｏｇｙを変数Ｙ、ｌ
ｏｇａを定数Ａ、および変数ｘを変数Ｘに置換えると、
式１１に示すように、線形の式になる。このことから、
修正率演算部７５は、補正率テーブルに記憶される比Ｒ
2 〜Ｒn の対数をそれぞれ取り、それらの対数と並べ順
ｋから１引いた値とを用い、式１１の定数Ａを求める。
この場合の演算には、たとえば、対数を変数ｙに代入
し、並べ順ｋから１引いた値を変数Ｘに代入して、最小
二乗法を用いる。さらに、求められた定数Ａを式１２に
代入して割合ａを求める。「ｅ」は、自然対数の底であ
る。ｙ＝ａ^x …（９） logｙ＝ｘlogａ …（10）Ｙ＝ＡＸ …（11）ａ＝ｅ^A …（12）

【０１０４】補正前の補正率には、画像１枚当たりａの
割合で、反射および影ならびにシェーディングの影響に
起因する見積もり誤りが含まれていると考えられる。ゆ
えに、ｋ番目の画像の補正率である比Ｒk には、割合ａ
のｋ−１乗の見積もり誤りが含まれる。したがって、ｋ
番目の画像Ｐk の補正率の修正率Ｘk は、式１３によっ
て定義される。Ｘk ＝ａ^k-1 …（13）

【０１０５】以下に、補正率テーブル修正部７６におけ
る補正率の修正動作を説明する。補正率テーブル修正部
７６は、修正率演算部７５によって求められた割合ａを
用いて、補正率テーブル７４に補正率として記憶された
濃度値の比Ｒ2 〜Ｒn を、式１４に基づいてそれぞれ修
正し、修正後の補正率Ｒ2＊〜Ｒn＊を、再び補正率テ
ーブル７６に記憶する。

【０１０６】

【数５】

【０１０７】図１２の白丸は、修正後の補正率Ｒ2＊〜
Ｒn＊をプロットしたものである。これによって、修正
後の補正率Ｒ2＊〜Ｒn＊が、濃度値の比が１である縦
軸上の点を通り横軸に平行な直線８２の近傍に分布する
ことが分かる。各白丸同士の縦軸に平行な方向の距離
が、反射および影ならびにシェーディングの影響を除い
た画像Ｐk-1 ，Ｐk の全体の明るさの差に相当する。こ
の差は、たとえば、ＡＧＣ回路が動作したため、および
蛍光灯の明暗の周期と撮像素子の光電変換の蓄積時間お
よび周期との違いに起因するフリッカによって生じたも
のである。ゆえに、白丸と直線８２との距離が零になる
ように、画像Ｐk-1 ，Ｐk の画素の濃度値を補正する。

【０１０８】以下に、濃度値補正部７７における画像の
濃度値の補正処理を詳細に説明する。濃度値補正部７７
は、まず、補正対象の画像Ｐk の修正後の補正率Ｒk＊
を補正率テーブル７４から読出し、その補正率Ｒk＊に
よって画像Ｐk の各画素の濃度値を補正する。具体的に
は、ｋ番目の画像Ｐk と基準画像Ｐ1 との各画素の実際
の濃度値の比は、補正後の補正率Ｒk＊であると考えら
れるので、ｋ番目の画像Ｐk の全体の明るさを基準画像
Ｐ1 の全体の明るさに合わせるには、ｋ番目の画像Ｐk
の各画素の濃度値を、それぞれ補正後の補正率Ｒk＊に
よって割れば良い。式１５は、ｋ番目の画像Ｐk の或る
画素に対する濃度値補正の計算式である。次式におい
て、ｐは補正対象の画像Ｐk の或る画素の補正前の濃度
値、ｐ＊は、補正画像の前記或る画素の濃度値、ｐｍａ
ｘは、濃度値が取得る値の最大値を表す。通常、濃度値
は有限の整数、たとえば０以上２５５以下の値だけを取
得るので、商に小数点以下の端数が含まれる場合には、
その値を自然数に丸めることが好ましい。また、補正画
像の濃度値ｐ＊は最大値ｐｍａｘで飽和することが好ま
しいので、商が最大値ｐｍａｘ以上である場合には、そ
の商を最大値ｐｍａｘに置換えている。

【０１０９】

【数６】

【０１１０】このように求められた商を補正後の濃度値
として、ｋ番目の画像Ｐk の画像信号の各画像の補正前
の濃度値を、補正後の濃度値に置換える。これによっ
て、濃度値が補正された画像Ｐk 、すなわち補正画像の
画像信号が得られる。この補正画像の画像信号は、たと
えば記憶装置１０に記憶される。

【０１１１】濃度値補正部７７によって濃度値の補正を
行う場合、補正率テーブル７４と補正率テーブル修正部
７６とを省略し、補正率と修正率とを求めた後にそのま
ま画像Ｐk の各画素の濃度値を、修正率Ｘk の逆数と補
正率とによって逐次除算しても、上述の補正を行うこと
ができる。この場合、上述のように修正後の補正率Ｒ2
＊〜Ｒn＊を濃度値の補正処理前に求めて補正率テー
ブル７４に記憶させておくことによって、濃度値補正の
計算式の数値の個数が減少するので、補正処理の計算量
を削減することができる。したがって、補正処理を簡略
化し、濃度値補正部７７の負担を軽減することができ
る。

【０１１２】画像Ｐ1 〜Ｐn がカラー画像である場合、
濃度値は予め定める３色の成分から構成される。この成
分は、第１の実施の形態で説明したものと等しい。この
場合、濃度値統計部７２と補正率演算部７３と修正率演
算部７５と修正率テーブル修正部７６と濃度値補正部７
７とは、各成分に対して独立して処理を行い、補正率テ
ーブル７４が各成分毎の画像の補正率を記憶する。これ
によって、画像Ｐ1 〜Ｐn がカラー画像である場合も、
画像補正手段７１によって、画像の画素の濃度値を補正
することができる。

【０１１３】以上の説明では、入力画像列の各画像を、
ビデオカメラによって撮影した動画の連続した複数の各
フレームであるとしたが、この動画のうちから相互に重
なるフレームを間引いて、それらを入力画像列としても
よい。

【０１１４】また、第２実施形態の画像処理装置の入力
画像列の画像は、相互に重なる部分を重ねて並べた場合
に、並べ順が連続する２枚の画像Ｐk-1 ，Ｐk に重複領
域を設定することができれば、入力画像列の各画像が相
互にどのような位置関係にあってもよい。たとえば、図
１４に示すように、各画像Ｐ1 〜Ｐn の中心点を結ぶ仮
想線８６が蛇行していてもよい。また、この画像の並べ
順は、並べ順が連続する２枚の画像Ｐk-1 ，Ｐk に重複
領域を設定することができれば、画像を撮影した順序と
無関係などのような順序であってもでよい。さらにま
た、基準画像は、１番目の画像Ｐ1 以外の他の画像であ
ってもよい。この場合、基準画像に対する基準画像の各
画素の濃度値の比Ｒ１が縦軸上にくるように図１２のグ
ラフの横軸を調整することによって、近似式の算出を前
述した手法で行うことができる。また、画像Ｐ1 〜Ｐn
は、上述のように重複領域を設定することができれば、
どのような作成手法によって作成された画像であっても
よく、たとえば、動画のフレームの他にデジタルスチル
カメラ、スキャナ等によって得られた静止画であっても
よい。

【０１１５】合成手段２３は、このように濃度値が補正
された複数の画像Ｐ1 〜Ｐn を合成して、単一の合成画
像を得る。この場合、基準画像Ｐ1 と補正後の画像Ｐ2
〜Ｐn との全体の明るさがほぼ等しいので、各画像Ｐk-
1 ，Ｐk のつなぎ目およびその周辺の部分における画素
の濃度値の変化が滑らかになる。また、画像Ｐk-1 ，Ｐ
k の全体の明るさがほぼ等しいので、合成画像の濃淡お
よび色調がどの部分でも等しくなる。特に、撮影時に撮
影装置３のＡＧＣ回路が動作している場合、および画像
に蛍光灯に起因するフリッカによる影響がある場合に
も、合成画像全体の全体の明るさを等しくすることがで
きる。これによって、本実施形態の画像処理装置７１
は、従来技術の画像合成装置によって得られた合成画像
の画質よりも画質の良い合成画像を得ることができる。

【０１１６】また、第１および第２実施形態において、
処理対象の複数の画像Ｐ1 〜Ｐn が重複領域を相互に重
ねて配置すると行列状に並ぶ場合、以下の第１および第
２の手順のいずれかで濃度値の補正を行うとよい。第１
の手順では、処理対象の複数の画像を個別の行または列
を構成する画像の群に区分し、各群の画像をそれぞれ入
力画像列として、前述の画像処理動作によって濃度値を
補正し合成する。次いで、合成された各群の画像を新た
に入力画像列の画像として、前述の画像処理動作によっ
て濃度値を補正し合成する。

【０１１７】第２の手順では、まず処理対象の複数の画
像を個別の行または列を構成する画像の群に区分し、各
群の画像をそれぞれ入力画像列として、前述の画像処理
動作によって濃度値を補正し合成する。次いで、合成さ
れた各群の画像９１，９２を新たな入力画像列の画像と
し、図１５（１）に示すようにそれら画像９１，９２の
重複領域９３，９４を求めて、その重複領域９３，９４
内に被写体の同じ部分を写す内部領域を２組設ける。一
方の組の内部領域９５，９６と他方の組の内部領域９
７，９８は、画像９１，９２の長手方向、すなわち画像
９１，９２を合成したときに元の画像を並べた方向の両
端部に配置する。次いで、各組の内部領域９５，９７を
基準領域とし内部領域９６，９８を比較領域として、各
組毎に補正率を算出する。

【０１１８】最後に、図１５（２）に示すように画像９
１，９２を重複領域を重ねて配置した場合に同じ列また
は行を構成する画素の濃度値が一致するように、この列
または行単位で画素の濃度値を補正する。このとき、内
部領域９５，９６；９７，９８を通る列または行９９の
補正率は、内部領域９５，９６；９７，９８を用いて算
出したものを用い、行９９間の列または行１００の補正
率は、内部領域９５，９６；９７，９８を用いて算出さ
れた補正率を列または行９９，１００間の距離に応じて
補間して用いる。これら２つの手順のどちらを用いて
も、行列状に配置される複数の画像の全体の明るさを一
致させることができる。

【０１１９】以下に、本発明の第３実施形態である画像
処理装置を含む合成画像作成装置を説明する。第３実施
形態の合成画像作成装置の電気的構成は、第１実施形態
の合成画像作成装置１と等しい。同一の動作を行う装置
および回路には同一の符号を付し、説明は省略する。

【０１２０】図１６は、画像処理装置１２０の画像処理
動作を説明するための機能的ブロック図である。中央演
算処理回路９が動作プログラムを実行した場合、まず、
中央演算処理回路９はマッチング手段１２１として動作
し、入力画像列に基づいて、入力画像列の各画像の相互
の対応関係を表すマッチング情報を求める。次いで、中
央演算処理回路９は画像補正手段１２２として動作し、
各画像のマッチング情報を参照して入力画像列の各画像
に濃度補正処理を施すことによって、各画像の全体の明
るさを合わせる。次いで中央演算処理回路９は合成手段
１２３として動作し、マッチング情報を参照して濃度補
正処理後の複数の画像を合成することによって、合成画
像を作成する。最期に中央演算処理回路９は、ホワイト
バランス補正手段１２４として動作し、合成画像に対し
てホワイトバランス補正を行う。ホワイトバランス補正
後の合成画像は、出力画像として記憶装置１０に記憶さ
れる。マッチング手段１２１、画像補正手段１２２、お
よび合成手段１２３の詳細な動作は、第１および第２の
実施形態のマッチング手段２１、画像補正手段２２，７
１、および合成手段２３と等しい。

【０１２１】以下に、ホワイトバランス補正手段１２４
における合成画像のホワイトバランス補正手法を説明す
る。ホワイトバランス補正手段１２４は、いわゆる映像
信号検出方式を用い、合成画像を表す画像信号に基づい
て合成画像のホワイトバランス補正を行う。映像信号検
出方式では、１枚の画像のすべての画素の色の和を求め
ると、その和が白色になることを利用して、補正を行
う。たとえば、映像信号検出方式の１例である白部検出
方式を以下に説明する。

【０１２２】白部検出方式では、概略的には、画像信号
を構成するＹ信号（輝度信号）ならびにＲ−Ｙ信号およ
びＢ−Ｙ信号（色差信号）から白色およびそれに近い色
の画素の色差成分を抽出し、抽出された色差成分の平均
値を零にするように、画像を補正する。具体的には、ま
ず、合成画像の各画素の濃度値を、縦軸がＢ−Ｙ信号を
Ｙ信号によって除算した商「（Ｂ−Ｙ）／Ｙ」であり、
横軸がＲ−Ｙ信号をＹによって除算した商「（Ｒ−Ｙ）
／Ｙ」である２次元座標系の座標に置換えて、置換え後
の座標が白色の色温度領域に含まれる画素を抽出する。
白色の色温度領域は、白色の色温度軌跡を含む領域であ
り、式１６〜式１９によって表される。α、β、γおよ
びδは、それぞれ予め定める定数であり、全て正の値で
ある。次式で、「２Ｙ−Ｒ−Ｂ」は、Ｒ−Ｙ信号および
Ｂ−Ｙ信号の和である。 −（Ｒ−Ｙ）＜αＹ …（16） −（Ｂ−Ｙ）＜βＹ …（17）２Ｙ−Ｒ−Ｂ＜γＹ …（18） −（２Ｙ−Ｒ−Ｂ）＜δＹ …（19）

【０１２３】白色の色温度領域に含まれる画素は、具体
的には、Ｒ−Ｙ信号、Ｂ−Ｙ信号、および２Ｙ−Ｒ−Ｂ
信号ならびにそれら信号の反転信号を、Ｙ信号の値を変
化させた信号と比較することによって、抽出することが
できる。さらに、抽出された画素の色差信号の平均値を
求め、その平均値が前記座標系の原点になるようにこれ
ら画素の色差信号を補正する補正信号を生成する。最後
に、この補正信号によって合成画像を構成する全ての画
素を補正する。これによって、合成画像の画素の色を正
確に補正することができる。

【０１２４】また、ホワイトバランス補正手段１２４で
は、合成画像を処理対象とする。合成画像に写された被
写体および被写体の部分が存在する範囲は入力画像列の
各画像Ｐ1 〜Ｐn に写された被写体および被写体の部分
がある範囲よりも広いので、各画像Ｐ1 〜Ｐn を構成す
る画素の色にそれぞれ偏りがある場合でも、合成画像を
構成する画素の色に偏りがないことが多い。したがっ
て、映像信号検出方式を用いたホワイトバランス補正を
行う場合、合成画像を処理対象とするほうが、画像Ｐ1
，Ｐn を処理対象とするときよりも、より正確に色を
補正することができる。さらに、ホワイトバランス補正
手段１２４は、合成された画像に対してホワイトバラン
ス補正を行えば良いので、画像補正手段１２２の濃度値
補正処理を従来技術の濃度値補正処理に置換えても、同
じ効果を得ることができる。

【０１２５】本発明の第１実施形態の画像処理装置５
は、合成手段２３を省略することができる。この場合、
この画像処理装置は、たとえば並べて比較するための複
数の画像の全体の明るさを合わせるために用いられ、複
数の画像Ｐ1 〜Ｐn の全体の明るさが等しくなるよう
に、画像Ｐ1 〜Ｐn の全体の明るさを、簡単な処理によ
って確実に補正することができる。同様の目的で、本発
明の第２実施形態の画像処理装置７１も、合成手段２３
を省略することができ、この場合、画像に反射および影
ならびシェーディング等の影響がある場合にも、多数の
画像の全体の明るさを簡単な処理によって確実に補正し
て、ほぼ等しくすることができる。

【０１２６】第１〜第３実施形態の画像処理装置５，７
１，１２０は本発明の画像処理装置の例示であり、主要
な動作が等しければ、他の様々な形で実現することがで
きる。特に各手段の詳細な動作は、同じ処理結果が得ら
れれば、これに限らず他の動作によって実現されてもよ
い。また、第１〜第３実施形態の画像処理装置５，７
１，１２０は、各手段および各部の動作を専用の個別の
回路によって実行させる構成としてもよい。さらに、画
像処理装置５，７１，１２０は、上述の画像処理動作を
実行するためのソフトウエアをコンピュータによって読
出し可能な記憶媒体に記憶させ、この記憶媒体のソフト
ウエアをコンピュータにインストールすることによって
実現してもよい。この記憶媒体には、ＣＤ−ＲＯＭ、光
磁気ディスクおよびフロッピーディスクが挙げられる。

【０１２７】

【発明の効果】以上のように本発明によれば、画像処理
装置は、２枚の画像Ｐ1 ，Ｐ2 の重複領域の画素の濃度
の分布を表す代表値ｍｒ1 ，ｍｃ2 の比Ｒを一方の画像
Ｐ2 の各画素の濃度値に乗算することによって、一対の
画像Ｐ1 ，Ｐ2 の全体の明るさを一致させる。これによ
って、従来技術の画像処理装置よりも容易かつ確実に、
一対の画像の全体の明るさの補正を行うことができる。

【０１２８】また本発明によれば、画像処理装置は、前
記代表値として平均値を用いる。これによって、画像の
濃度値補正処理を安定して行うことができる。

【０１２９】さらにまた本発明によれば、画像処理装置
は、重複領域のさらに内側の領域の画素を用いて代表値
を求める。これによって、代表値から画素の欠損および
信号歪みの影響を除くことができる。

【０１３０】また本発明によれば、画像処理装置は、重
複領域の画素のうちの一部分だけを用いて代表値を定め
る。これによって、代表値を求める演算処理を簡略化
し、画像処理を高速化することができる。

【０１３１】さらにまた本発明によれば、画像処理装置
の各手段は、濃度値の各成分毎に処理を行う。これによ
って、画像Ｐ1 ，Ｐ2 がカラー画像である場合にも、従
来技術の画像処理装置よりも容易かつ確実に、濃度値の
補正を行うことができる。

【０１３２】また本発明によれば、画像処理装置は、複
数の画像を処理対象とする場合、２枚の画像Ｐk-1 ，Ｐ
k の代表値ｍｒk-1 ，ｍｃk の比をそれぞれ求め、それ
ら代表値の比の見積もり誤りの割合を推定して、各代表
値の比からその見積もり誤りを除くように修正し、修正
後の比に基づいて、各画像の画素の濃度値を補正する。
これによって従来技術の画像処理装置よりも容易な処理
によって確実に、３枚以上の画像の全体の明るさの補正
を行うことができる。

【０１３３】さらにまた本発明によれば、補正値演算手
段は、求めた複数の代表値の比Ｒ2〜Ｒn および修正後
の比をテーブルに記憶させる。これによって、画素の濃
度値を補正する時点に行う演算量を減少させて、処理を
簡略化することができる。

【０１３４】また本発明によれば、前記修正率演算手段
は、複数の代表値の比と並べ順との関係を表す近似式に
基づいて、前記修正率を求める。これによって、見積も
り誤りの割合を求めることができる。

【０１３５】さらにまた本発明によれば、前記近似式
は、指数関数である。これによって、被写体と光源と撮
影装置との位置関係がほぼ変わらず、かつ画像に被写体
の反射および影ならびにシェーディングの影響がある場
合、見積もり誤りの割合を確実に求めることができる。

【０１３６】また本発明に従えば、画像処理装置の各手
段は、濃度値の各成分毎に処理を行う。これによって複
数の画像がカラー画像である場合にも、従来技術の画像
処理装置よりも簡単にかつ確実に、画像の全体の明るさ
の補正を行うことができる。

【０１３７】さらにまた本発明によれば、画像処理装置
は、濃度補正後の複数の画像を合成する。これによっ
て、従来技術の画像処理装置によって合成された画像よ
りも、合成された画像の画質を向上させることができ
る。

【０１３８】また本発明によれば、画像処理装置は、合
成された画像のホワイトバランスを補正する。これによ
って、映像信号検出方式を用いて、確実にホワイトバラ
ンスを補正することができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態である画像処理装置５を
含む合成画像作成装置１の電気的構造を表すブロック図
である。

【図２】画像処理装置５の画像処理動作を説明するため
の機能的ブロック図である。

【図３】入力画像列の画像Ｐ1 ，Ｐ2 を表す図、および
重複領域ｑ1 ，ｑ2 を重ねた状態の画像Ｐ1 ，Ｐ2 を表
す図である。

【図４】画像Ｐ1 ，Ｐ2 の重複領域ｑ1 ，ｑ2 の画素の
濃度値のヒストグラムである。

【図５】ブロックマッチング法を説明するための画像
Ｆ，Ｇを表す図である。

【図６】画像補正手段２２の濃度値補正動作を説明する
ための機能的ブロック図である。

【図７】入力画像列の画像Ｐ1 ，Ｐ2 を表す図である。

【図８】第２実施形態の合成画像作成装置において入力
画像列の画像を得る場合の撮影装置３と被写体６１と光
源６２との位置関係を表す図である。

【図９】入力画像列の画像Ｐ1 〜Ｐ３を表す図、および
重複領域を重ねた状態の画像Ｐ1 〜Ｐ３を表す図であ
る。

【図１０】画像補正手段７１の濃度値補正動作を説明す
るための機能的ブロック図である。

【図１１】画像補正手段７１の濃度値補正動作を説明す
るためのフローチャートである。

【図１２】基準画像を基準とした１番目〜ｎ番目の画像
Ｐ1 〜Ｐn の各画素の濃度値の比Ｒ1 〜Ｒn と、画像の
並べ順の番号１〜ｎとの関係を表すグラフである。

【図１３】被写体の反射および影の影響を説明するため
の入力画像列の画像Ｐ1 〜Ｐ3 を表す図である。

【図１４】入力画像列の位置関係を説明するための図で
ある。

【図１５】行列状に並ぶ複数の画像を処理対象の画像と
した場合の濃度補正の手法を説明するための図である。

【図１６】本発明の第３実施形態である画像処理装置１
２０の画像処理動作を説明するための機能的ブロック図
である。

【符号の説明】

３撮影装置４読取り装置５，７１，１２０画像処理装置９中央演算処理回路１０記憶装置２１，１２１マッチング手段２２，７１，１２２画像補正手段２３，１２３合成手段５１，７２濃度値統計部５２，７７濃度値補正部７３補正率演算部７４補正率テーブル７５修正率演算部７６補正率テーブル修正部１２４ホワイトバランス補正手段

Claims

【特許請求の範囲】

【請求項１】複数の画素からなる２枚の画像Ｐ1 ，Ｐ
2 が相互に重なる重複領域を求める重複領域決定手段
と、各画像Ｐ1 ，Ｐ2 の重複領域の画素の濃度値の分布を代
表する代表値ｍｒ1 ，ｍｃ2 を求める濃度値統計手段
と、一方の画像Ｐ2 の代表値ｍｃ2 に対する他方の画像Ｐ1
の代表値ｍｒ1 の比Ｒ（＝ｍｒ1 ／ｍｃ2 ）を、一方の
画像Ｐ2 の各画素の濃度値に乗算する濃度値補正手段と
を含むことを特徴とする画像処理装置。
【請求項２】前記各代表値ｍｒ1 ，ｍｃ2 は、前記各
画像Ｐ1 ，Ｐ2 の重複領域の画素の濃度値の平均値であ
ることを特徴とする請求項１記載の画像処理装置。
【請求項３】前記重複領域決定手段は、２枚の前記画
像Ｐ1 ，Ｐ2 の濃度値の分布が等しい部分を相互に重ね
た場合の前記各画像Ｐ1 ，Ｐ2 の座標系の原点のずれを
求め、座標系の原点を求めたずれだけずらして前記画像
Ｐ1 ，Ｐ2 を相互に重ねた場合に重なる領域すべてを重
複領域とし、前記濃度値統計手段は、重複領域よりもさらに内側の領
域の画素の濃度値の代表値を求めることを特徴とする請
求項１記載の画像処理装置。
【請求項４】前記濃度値統計手段は、前記重複領域の
全画素数よりも少ない数の画素の濃度値の代表値を求め
ることを特徴とする請求項１記載の画像処理装置。
【請求項５】前記濃度値は、予め定める３色の成分に
よって構成され、前記濃度値統計手段と前記濃度値補正手段とは、濃度値
の各成分毎に処理を行うことを特徴とする請求項１記載
の画像処理装置。
【請求項６】複数の画素からなる複数の画像Ｐ1 〜Ｐ
n について、一対の画像Ｐk-1 ，Ｐk （ｋ＝２〜ｎ）が
相互に重なる重複領域を、それぞれ求める重複領域決定
手段と、各一対の画像Ｐk-1 ，Ｐk の重複領域の画素の濃度値の
分布を代表する代表値ｍｒk-1 ，ｍｃk を、それぞれ求
める濃度値統計手段と、複数の画像のうちのいずれか１つの画像Ｐ1 を基準とし
た複数の画像のうちの残余の各画像Ｐk の各画素の濃度
値の比Ｒk を、各一対の画像Ｐk-1 ，Ｐk の代表値ｍｒ
k-1 ，ｍｃk の比に基づいてそれぞれ求める補正率演算
手段と、複数の比Ｒ2 〜Ｒn の分布に基づいて、各比Ｒk の修
正率Ｘk を求める修正率演算手段と、各画像Ｐ1 〜Ｐn 毎に、該画像Ｐk の比Ｒk と修正率Ｘ
k とに基づいて、各画素の濃度値を補正する濃度値補正
手段とを含むことを特徴とする画像処理装置。
【請求項７】前記複数の比Ｒ2 〜Ｒn を格納するテー
ブルと、テーブルに格納された前記各比Ｒk を、前記修正率Ｘk
に基づいてそれぞれ修正する修正手段とをさらに含み、前記濃度値補正手段は、前記各画像Ｐ1 〜Ｐn 毎に、テ
ーブルに格納された修正後の比Ｒk に基づいて、各画素
の濃度値を補正することを特徴とする請求項６記載の画
像処理装置。
【請求項８】前記修正率演算手段は、前記重複領域を
順次重ねて前記画像Ｐ1 〜Ｐn を並べた場合の並べ順ｋ
と前記各画像Ｐk の比Ｒk との関係を予め定める近似式
によって近似し、その近似式の定数と並べ順ｋとに基づ
いて前記各修正率Ｘk を定めることを特徴とする請求項
６記載の画像処理装置。
【請求項９】前記近似式は指数関数（ｙ＝ａ^x）であ
り、前記定数は指数関数の底ａであることを特徴とする
請求項８記載の画像処理装置。
【請求項１０】前記濃度値は、予め定める３色の成分
によって構成され、前記濃度値統計手段、前記補正率演算手段、前記修正率
演算手段、および前記濃度値補正手段は、濃度値の各成
分毎に処理を行うことを特徴とする請求項６記載の画像
処理装置。
【請求項１１】各画素の濃度値が補正された画像を、
前記重複領域を順次重ねて合成する合成手段をさらに含
むことを特徴とする請求項６記載の画像処理装置。
【請求項１２】合成された画像のホワイトバランスを
補正するホワイトバランス補正手段をさらに含むことを
特徴とする請求項１１記載の画像処理装置。