JP3536908B2 - 画像合成方法、画像合成装置、記録媒体、及び指紋入力装置 - Google Patents
画像合成方法、画像合成装置、記録媒体、及び指紋入力装置Info
- Publication number
- JP3536908B2 JP3536908B2 JP35630099A JP35630099A JP3536908B2 JP 3536908 B2 JP3536908 B2 JP 3536908B2 JP 35630099 A JP35630099 A JP 35630099A JP 35630099 A JP35630099 A JP 35630099A JP 3536908 B2 JP3536908 B2 JP 3536908B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- partial
- phase difference
- partial images
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、一定方向に移動す
る物体をカメラやスキャナあるいはイメージングセンサ
等で撮像して得られる連続した複数の部分画像から、一
枚の画像を再構成するための画像合成方法、画像合成装
置及び記録媒体と、その画像合成装置を備えた指紋入力
装置に関する。
る物体をカメラやスキャナあるいはイメージングセンサ
等で撮像して得られる連続した複数の部分画像から、一
枚の画像を再構成するための画像合成方法、画像合成装
置及び記録媒体と、その画像合成装置を備えた指紋入力
装置に関する。
【０００２】
【従来の技術】この種の画像合成方法としては、例え
ば、各部分画像の必要な部位を切り取って繋ぎ合わせる
方法（以下、逐次追加法と呼ぶ）、あるいは全ての部分
画像を重ねあわせ、その重なっている領域の輝度を平均
化する方法（以下、平均画素値法と呼ぶ）等が考えられ
ている。
ば、各部分画像の必要な部位を切り取って繋ぎ合わせる
方法（以下、逐次追加法と呼ぶ）、あるいは全ての部分
画像を重ねあわせ、その重なっている領域の輝度を平均
化する方法（以下、平均画素値法と呼ぶ）等が考えられ
ている。
【０００３】一方、従来の指紋入力装置は、プリズム式
の光学装置、静電容量式半導体センサ、あるいは圧電効
果や焦電効果を利用した指紋センサ等を用いて指紋画像
を取り込むものが知られている。
の光学装置、静電容量式半導体センサ、あるいは圧電効
果や焦電効果を利用した指紋センサ等を用いて指紋画像
を取り込むものが知られている。
【０００４】
【発明が解決しようとする課題】しかしながら上記した
ような従来の画像合成方法のうち、逐次追加法は、連続
する部分画像間の空間的な位置ずれ量である位相差を用
いて画像を合成するため、部分画像間の画像位置合わせ
誤差や画像の局所的な歪みが大きい場合、合成した画像
の連続性が保たれないという問題が発生する。例えば、
撮像対象が指紋の場合、指紋隆線がうまく繋がらない画
像になってしまう。
ような従来の画像合成方法のうち、逐次追加法は、連続
する部分画像間の空間的な位置ずれ量である位相差を用
いて画像を合成するため、部分画像間の画像位置合わせ
誤差や画像の局所的な歪みが大きい場合、合成した画像
の連続性が保たれないという問題が発生する。例えば、
撮像対象が指紋の場合、指紋隆線がうまく繋がらない画
像になってしまう。
【０００５】一方、平均画素値法は、隣接する二つの部
分画像間の画像位置合わせ誤差の影響が上記逐次追加法
よりも少なくて済み、撮像画像の背景等に存在するノイ
ズも除去することができるため、例えば、撮像対象が指
紋の場合、指紋隆線が平滑化されて汗腺孔等を目立たな
くすることができる。
分画像間の画像位置合わせ誤差の影響が上記逐次追加法
よりも少なくて済み、撮像画像の背景等に存在するノイ
ズも除去することができるため、例えば、撮像対象が指
紋の場合、指紋隆線が平滑化されて汗腺孔等を目立たな
くすることができる。
【０００６】しかしながら、全ての部分画像データを均
等に用いて画像を合成するため、画像位置合わせ誤差の
蓄積によって、合成画像が全体的にぼやけた感じになり
不鮮明な領域が多くなってしまう。そのため、撮像画像
が指紋等の場合は、指紋を照合するための特徴抽出に支
障をきたしてしまう。
等に用いて画像を合成するため、画像位置合わせ誤差の
蓄積によって、合成画像が全体的にぼやけた感じになり
不鮮明な領域が多くなってしまう。そのため、撮像画像
が指紋等の場合は、指紋を照合するための特徴抽出に支
障をきたしてしまう。
【０００７】さらに、従来の画像合成方法では、画像位
置合わせ処理の結果を信頼して画像を合成するが、画像
位置合わせ処理の結果は毎回正確であるとは限らず、局
所的な画像の歪みもあるため、これらの画像位置合わせ
誤差が合成画像の画質を低下させる要因になる。
置合わせ処理の結果を信頼して画像を合成するが、画像
位置合わせ処理の結果は毎回正確であるとは限らず、局
所的な画像の歪みもあるため、これらの画像位置合わせ
誤差が合成画像の画質を低下させる要因になる。
【０００８】加えて、合成画像に用いる部分画像自体の
画質を考慮することなく各部分画像を画像位置合わせ処
理結果にしたがって機械的に画像を切り取ったり重ね合
わせたりしているため、画質の悪い部分画像や局所的に
ノイズや歪みが生じている部分画像がある場合に、その
部分画像の画質が合成画像の画質を低下させてしまう。
画質を考慮することなく各部分画像を画像位置合わせ処
理結果にしたがって機械的に画像を切り取ったり重ね合
わせたりしているため、画質の悪い部分画像や局所的に
ノイズや歪みが生じている部分画像がある場合に、その
部分画像の画質が合成画像の画質を低下させてしまう。
【０００９】一方、従来の指紋入力装置では、指紋の認
証に必要な指紋画像を得るために、指紋全体を覆える十
分に広い面積を持つセンサ部を用いているため、指紋入
力装置の製造コストが高くなる問題があった。また、指
紋入力装置の規模が大きくなるためユーザの利便性を損
なってしまう。
証に必要な指紋画像を得るために、指紋全体を覆える十
分に広い面積を持つセンサ部を用いているため、指紋入
力装置の製造コストが高くなる問題があった。また、指
紋入力装置の規模が大きくなるためユーザの利便性を損
なってしまう。
【００１０】本発明は上記したような従来の技術が有す
る問題点を解決するためになされたものであり、画像位
置合わせ結果の誤差や画質の悪い部分画像の影響を少な
くして撮像対象の連続性を保つと共に、例えば、撮像対
象が指紋の場合に、指紋照合における特徴抽出に支障を
来さない良好な合成画像を得ることができる、複数の部
分画像から一枚の合成画像を再構成する画像合成方法及
び画像合成装置を提供することを目的とする。
る問題点を解決するためになされたものであり、画像位
置合わせ結果の誤差や画質の悪い部分画像の影響を少な
くして撮像対象の連続性を保つと共に、例えば、撮像対
象が指紋の場合に、指紋照合における特徴抽出に支障を
来さない良好な合成画像を得ることができる、複数の部
分画像から一枚の合成画像を再構成する画像合成方法及
び画像合成装置を提供することを目的とする。
【００１１】また、製造コストを抑えると共にユーザの
利便性を損なわない指紋入力装置を提供することを目的
とする。
利便性を損なわない指紋入力装置を提供することを目的
とする。
【００１２】
【課題を解決するための手段】上記目的を達成するため
本発明の画像合成方法は、一定方向に移動する物体を撮
像して得られる時間的に連続した複数の部分画像から、
それらを合成した合成画像を生成するための画像合成方
法であって、前記複数の部分画像のうち、隣接する二つ
の部分画像の空間的な位置ずれ量である位相差をそれぞ
れ求め、前記部分画像のどの領域を前記合成画像にどの
程度反映させるかを示す重みを前記部分画像に対してそ
れぞれ付与し、重み付けされた部分画像を対応する位相
差にしたがってそれぞれ重ね合わせて合成途中の画像で
ある一時合成画像を生成すると共に、前記一時合成画像
の各画素毎の重みの累積値を計数し、前記一時合成画像
の各画素の輝度を各々の重みの累積値で除算し、該除算
結果の輝度を備えた前記合成画像を出力する方法であ
る。
本発明の画像合成方法は、一定方向に移動する物体を撮
像して得られる時間的に連続した複数の部分画像から、
それらを合成した合成画像を生成するための画像合成方
法であって、前記複数の部分画像のうち、隣接する二つ
の部分画像の空間的な位置ずれ量である位相差をそれぞ
れ求め、前記部分画像のどの領域を前記合成画像にどの
程度反映させるかを示す重みを前記部分画像に対してそ
れぞれ付与し、重み付けされた部分画像を対応する位相
差にしたがってそれぞれ重ね合わせて合成途中の画像で
ある一時合成画像を生成すると共に、前記一時合成画像
の各画素毎の重みの累積値を計数し、前記一時合成画像
の各画素の輝度を各々の重みの累積値で除算し、該除算
結果の輝度を備えた前記合成画像を出力する方法であ
る。
【００１３】このとき、隣接する二つの部分画像を重ね
合わせた時の一致度を示す相関値に基づいて前記位相差
の信頼度を算出し、該位相差の信頼度に基づいて前記部
分画像に対してそれぞれ前記重みを付与してもよく、前
記部分画像の画質、または該部分画像の局所的な画質の
少なくとも一方を判定し、該画質の判定結果に基づいて
前記部分画像に対してそれぞれ前記重みを付与してもよ
く、隣接する二つの部分画像を重ね合わせた時の一致度
を示す相関値に基づいて前記位相差の信頼度を算出し、
前記部分画像の画質、または該部分画像の局所的な画質
の少なくとも一方を判定し、該位相差の信頼度及び該画
質の判定結果に基づいて前記部分画像に対してそれぞれ
前記重みを付与してもよい。
合わせた時の一致度を示す相関値に基づいて前記位相差
の信頼度を算出し、該位相差の信頼度に基づいて前記部
分画像に対してそれぞれ前記重みを付与してもよく、前
記部分画像の画質、または該部分画像の局所的な画質の
少なくとも一方を判定し、該画質の判定結果に基づいて
前記部分画像に対してそれぞれ前記重みを付与してもよ
く、隣接する二つの部分画像を重ね合わせた時の一致度
を示す相関値に基づいて前記位相差の信頼度を算出し、
前記部分画像の画質、または該部分画像の局所的な画質
の少なくとも一方を判定し、該位相差の信頼度及び該画
質の判定結果に基づいて前記部分画像に対してそれぞれ
前記重みを付与してもよい。
【００１４】さらに、隣接する二つの部分画像を複数の
画像領域にそれぞれ分割し、該二つの部分画像を重ね合
わせた時の一致度を示す相関値を該画像領域毎にそれぞ
れ算出し、該相関値に基づいて部分画像の局所的な画質
を判定してもよく、前記合成画像に最も強く反映させる
部位にピークを持つ正規分布の密度関数を重みとして用
いてもよい。
画像領域にそれぞれ分割し、該二つの部分画像を重ね合
わせた時の一致度を示す相関値を該画像領域毎にそれぞ
れ算出し、該相関値に基づいて部分画像の局所的な画質
を判定してもよく、前記合成画像に最も強く反映させる
部位にピークを持つ正規分布の密度関数を重みとして用
いてもよい。
【００１５】一方、本発明の画像合成装置は、一定方向
に移動する物体を撮像して得られる時間的に連続した複
数の部分画像から、それらを合成した合成画像を生成す
る画像合成装置であって、前記複数の部分画像のうち、
隣接する二つの部分画像の空間的な位置ずれ量である位
相差をそれぞれ求める画像位置合わせ手段と、前記部分
画像のどの領域を前記合成画像にどの程度反映させるか
を示す重みを前記部分画像に対してそれぞれ付与する画
像重み付け手段と、重み付けされた部分画像を前記画像
位置合わせ手段で求めた対応する位相差にしたがってそ
れぞれ重ね合わせて合成途中の画像である一時合成画像
を生成すると共に、前記一時合成画像の各画素毎の重み
の累積値を計数する画像重ね合わせ手段と、前記一時合
成画像の各画素の輝度を各々の重みの累積値で除算し、
該除算結果の輝度を備えた前記合成画像を出力する合成
画像生成手段と、を有する構成である。
に移動する物体を撮像して得られる時間的に連続した複
数の部分画像から、それらを合成した合成画像を生成す
る画像合成装置であって、前記複数の部分画像のうち、
隣接する二つの部分画像の空間的な位置ずれ量である位
相差をそれぞれ求める画像位置合わせ手段と、前記部分
画像のどの領域を前記合成画像にどの程度反映させるか
を示す重みを前記部分画像に対してそれぞれ付与する画
像重み付け手段と、重み付けされた部分画像を前記画像
位置合わせ手段で求めた対応する位相差にしたがってそ
れぞれ重ね合わせて合成途中の画像である一時合成画像
を生成すると共に、前記一時合成画像の各画素毎の重み
の累積値を計数する画像重ね合わせ手段と、前記一時合
成画像の各画素の輝度を各々の重みの累積値で除算し、
該除算結果の輝度を備えた前記合成画像を出力する合成
画像生成手段と、を有する構成である。
【００１６】このとき、隣接する二つの部分画像を重ね
合わせた時の一致度を示す相関値に基づいて前記画像位
置合わせ手段で求めた前記位相差の信頼度を算出し、前
記画像重み付け手段に出力する位相差信頼度計算手段を
有し、前記画像位置合わせ手段は前記相関値を算出して
前記位相差信頼度計算手段に送出し、前記画像重み付け
手段は前記位相差信頼度計算手段で算出された前記位相
差の信頼度に基づいて前記部分画像に対してそれぞれ前
記重みを付与してもよく、前記部分画像の画質、または
該部分画像の局所的な画質の少なくとも一方を判定する
部分画像画質判定手段を有し、前記画像重み付け手段は
前記部分画像画質判定手段の画質判定結果に基づいて前
記部分画像に対してそれぞれ前記重みを付与してもよ
く、隣接する二つの部分画像を重ね合わせた時の一致度
を示す相関値に基づいて前記画像位置合わせ手段で求め
た前記位相差の信頼度を算出し、前記画像重み付け手段
に出力する位相差信頼度計算手段と、前記部分画像の画
質、または該部分画像の局所的な画質の少なくとも一方
を判定する部分画像画質判定手段とを有し、前記画像重
み付け手段は前記位相差信頼度計算手段で算出された前
記位相差の信頼度及び前記部分画像画質判定手段の画質
判定結果に基づいて前記部分画像に対してそれぞれ前記
重みを付与してもよい。
合わせた時の一致度を示す相関値に基づいて前記画像位
置合わせ手段で求めた前記位相差の信頼度を算出し、前
記画像重み付け手段に出力する位相差信頼度計算手段を
有し、前記画像位置合わせ手段は前記相関値を算出して
前記位相差信頼度計算手段に送出し、前記画像重み付け
手段は前記位相差信頼度計算手段で算出された前記位相
差の信頼度に基づいて前記部分画像に対してそれぞれ前
記重みを付与してもよく、前記部分画像の画質、または
該部分画像の局所的な画質の少なくとも一方を判定する
部分画像画質判定手段を有し、前記画像重み付け手段は
前記部分画像画質判定手段の画質判定結果に基づいて前
記部分画像に対してそれぞれ前記重みを付与してもよ
く、隣接する二つの部分画像を重ね合わせた時の一致度
を示す相関値に基づいて前記画像位置合わせ手段で求め
た前記位相差の信頼度を算出し、前記画像重み付け手段
に出力する位相差信頼度計算手段と、前記部分画像の画
質、または該部分画像の局所的な画質の少なくとも一方
を判定する部分画像画質判定手段とを有し、前記画像重
み付け手段は前記位相差信頼度計算手段で算出された前
記位相差の信頼度及び前記部分画像画質判定手段の画質
判定結果に基づいて前記部分画像に対してそれぞれ前記
重みを付与してもよい。
【００１７】さらに、前記部分画像画質判定手段は、隣
接する二つの部分画像を複数の画像領域にそれぞれ分割
し、該二つの部分画像を重ね合わせた時の一致度を示す
相関値を該画像領域毎にそれぞれ算出し、該相関値に基
づいて部分画像の局所的な画質を判定してもよく、前記
重みは、前記合成画像に最も強く反映させる部位にピー
クを持つ正規分布の密度関数であってもよい。
接する二つの部分画像を複数の画像領域にそれぞれ分割
し、該二つの部分画像を重ね合わせた時の一致度を示す
相関値を該画像領域毎にそれぞれ算出し、該相関値に基
づいて部分画像の局所的な画質を判定してもよく、前記
重みは、前記合成画像に最も強く反映させる部位にピー
クを持つ正規分布の密度関数であってもよい。
【００１８】上記のような画像合成方法及び画像合成装
置では、部分画像にそれぞれ重みを付与して画像を合成
することで、部分画像の強く重み付けされた領域を合成
画像に強く反映させ、弱く重み付けされた領域を合成画
像に反映させないことができるため、画像位置合わせに
おける位置合わせ誤差や画像の歪みを合成画像に反映さ
せないようにすることができる。
置では、部分画像にそれぞれ重みを付与して画像を合成
することで、部分画像の強く重み付けされた領域を合成
画像に強く反映させ、弱く重み付けされた領域を合成画
像に反映させないことができるため、画像位置合わせに
おける位置合わせ誤差や画像の歪みを合成画像に反映さ
せないようにすることができる。
【００１９】また、位相差の信頼度に基づいて重みを決
定することで、画像の位置合わせ誤差や部分画像の局所
的な歪み等に柔軟に対応することができる。
定することで、画像の位置合わせ誤差や部分画像の局所
的な歪み等に柔軟に対応することができる。
【００２０】さらに、部分画像の画質または部分画像の
局所的な画質を考慮して重みを決定することで、画質の
良い部分画像あるいはその領域を画像の合成に用いるこ
とができる。
局所的な画質を考慮して重みを決定することで、画質の
良い部分画像あるいはその領域を画像の合成に用いるこ
とができる。
【００２１】また、指紋入力装置に、上記画像合成装置
とセンサ部に押し当てられて移動する指を撮像して得ら
れる指紋の複数の部分画像を出力する画像入力手段とを
有することで、センサ部の面積が小さくて良好な画質の
合成画像を生成することができる。
とセンサ部に押し当てられて移動する指を撮像して得ら
れる指紋の複数の部分画像を出力する画像入力手段とを
有することで、センサ部の面積が小さくて良好な画質の
合成画像を生成することができる。
【００２２】
【発明の実施の形態】次に本発明について図面を参照し
て説明する。
て説明する。
【００２３】（第１の実施の形態）図１は本発明の画像
合成装置の第１の実施の形態の構成を示すブロック図で
ある。
合成装置の第１の実施の形態の構成を示すブロック図で
ある。
【００２４】図１に示すように、本実施形態の画像合成
装置は、画像入力手段１０から出力される、一定方向に
移動する物体を撮像して得られる時間的に連続した複数
の部分画像から、それらを合成した合成画像を生成する
処理装置１と、処理装置１の処理に必要な各種データを
格納するための記憶装置２とを有する構成である。
装置は、画像入力手段１０から出力される、一定方向に
移動する物体を撮像して得られる時間的に連続した複数
の部分画像から、それらを合成した合成画像を生成する
処理装置１と、処理装置１の処理に必要な各種データを
格納するための記憶装置２とを有する構成である。
【００２５】処理装置１は、隣接する二つの部分画像の
空間的な位置ずれ量である位相差をそれぞれ検出する画
像位置合わせ手段１１と、部分画像のどの領域を合成画
像にどの程度強く反映させるかを示す重みを各部分画像
毎にそれぞれ付与する画像重み付け手段１２と、重み付
けされた部分画像を重ね合わせて合成途中の画像である
一時合成画像を生成すると共に、一時合成画像の各画素
毎の重みの累積値を計数する画像重ね合わせ手段１３
と、一時合成画像の各画素の輝度をそれぞれの重みの累
積値で除算し、最終的な合成画像を出力する合成画像生
成手段１４とを有している。
空間的な位置ずれ量である位相差をそれぞれ検出する画
像位置合わせ手段１１と、部分画像のどの領域を合成画
像にどの程度強く反映させるかを示す重みを各部分画像
毎にそれぞれ付与する画像重み付け手段１２と、重み付
けされた部分画像を重ね合わせて合成途中の画像である
一時合成画像を生成すると共に、一時合成画像の各画素
毎の重みの累積値を計数する画像重ね合わせ手段１３
と、一時合成画像の各画素の輝度をそれぞれの重みの累
積値で除算し、最終的な合成画像を出力する合成画像生
成手段１４とを有している。
【００２６】また、記憶装置２は、画像入力手段１０か
ら出力された部分画像をそれぞれ格納する部分画像記憶
部２０と、画像位置合わせ手段１１で検出された二つの
部分画像間の位相差をそれぞれ格納する位相差記憶部２
１と、画像重み付け手段１２で重み付けされた部分画像
をそれぞれ格納する重み付け部分画像記憶部２２と、画
像重ね合わせ手段１３で生成された一時合成画像をそれ
ぞれ格納する一時合成画像記憶部２３と、画像重ね合わ
せ手段１３で計数された一時合成画像の各画素毎の重み
の累積値を格納する重み累積値記憶部２４とを有してい
る。
ら出力された部分画像をそれぞれ格納する部分画像記憶
部２０と、画像位置合わせ手段１１で検出された二つの
部分画像間の位相差をそれぞれ格納する位相差記憶部２
１と、画像重み付け手段１２で重み付けされた部分画像
をそれぞれ格納する重み付け部分画像記憶部２２と、画
像重ね合わせ手段１３で生成された一時合成画像をそれ
ぞれ格納する一時合成画像記憶部２３と、画像重ね合わ
せ手段１３で計数された一時合成画像の各画素毎の重み
の累積値を格納する重み累積値記憶部２４とを有してい
る。
【００２７】画像入力手段１０には、カメラ、スキャ
ナ、イメージングセンサ等のように移動する撮像対象の
部分画像を連続して得ることが可能なものが用いられ
る。例えば、撮像対象が指紋の場合は、「指紋パターン
の自動分類（情報処理学会研究会資料,Vol. CV 18, No.
2, 1982, pp.1-8）」や「プリズムを用いた指紋情報検
出方法−全反射法と光路分離法の比較（電子情報通信学
会論文誌(D), Vol.J68-D,No.3, 1985, pp.414-415）」
に記載された光学式スキャナ、「ホログラフィック指紋
センサを用いた個人照合装置（電子情報通信学会技術報
告,Vol. PRU 87, No.31, 1987, pp.27-33）」に記載さ
れたホログラムを用いたスキャナ、「Improvedimage qu
ality of live scan fingerprint scanners using acou
sticbackscatter measurements (Proceedings of Biome
tric Consortium8th Meeting, 1996)」に記載された超
音波を用いたスキャナ、「Thermalimaging fingerprint
technology (Proceedings of Biometric Consortium9t
h Meeting, 1997)」に記載された熱感知を利用する半導
体センサのスキャナ、「Adirect fingerprint reader
(Proceedings of CardTech/SecureTech,Vol.I:Technolo
gy, 1996, pp.271-279)」に記載された静電容量を利用
する半導体センサのスキャナ、あるいは特開平１０−９
１７６９号公報（指紋読み取りシステム）に記載された
細長いバー形状の指紋スキャナ等がある。
ナ、イメージングセンサ等のように移動する撮像対象の
部分画像を連続して得ることが可能なものが用いられ
る。例えば、撮像対象が指紋の場合は、「指紋パターン
の自動分類（情報処理学会研究会資料,Vol. CV 18, No.
2, 1982, pp.1-8）」や「プリズムを用いた指紋情報検
出方法−全反射法と光路分離法の比較（電子情報通信学
会論文誌(D), Vol.J68-D,No.3, 1985, pp.414-415）」
に記載された光学式スキャナ、「ホログラフィック指紋
センサを用いた個人照合装置（電子情報通信学会技術報
告,Vol. PRU 87, No.31, 1987, pp.27-33）」に記載さ
れたホログラムを用いたスキャナ、「Improvedimage qu
ality of live scan fingerprint scanners using acou
sticbackscatter measurements (Proceedings of Biome
tric Consortium8th Meeting, 1996)」に記載された超
音波を用いたスキャナ、「Thermalimaging fingerprint
technology (Proceedings of Biometric Consortium9t
h Meeting, 1997)」に記載された熱感知を利用する半導
体センサのスキャナ、「Adirect fingerprint reader
(Proceedings of CardTech/SecureTech,Vol.I:Technolo
gy, 1996, pp.271-279)」に記載された静電容量を利用
する半導体センサのスキャナ、あるいは特開平１０−９
１７６９号公報（指紋読み取りシステム）に記載された
細長いバー形状の指紋スキャナ等がある。
【００２８】画像位置合わせ手段１１で実行する画像位
置合わせ方法としては、「DigitalPicture Processing.
Vol. I and II (Academic Press, Orlando, Fla.198
2)」に記載された相互相関法、「A classof algorithms
for fast digital registration. (IEEE Trans. Compu
t.C-21, 1972, pp.179-186)」に記載された逐次類似検
出アルゴリズム（以下、逐次法と呼ぶ）、「Thephase c
orrelation image alignment method. (In Proceedings
of theIEEE 1975 International Conference onCybern
etics and Society(Sept.). IEEE, New York, 1975, p
p.163-165)」に記載された位相相関法、「Registration
of translated and rotated images usingfinite Fouri
er Transforms.(IEEE Trans. Pattern Anal. Machine I
ntell. PAMI-9, 5 (Sept.),1987, pp.700-703)」に記載
された画像の回転運動を考慮した位相相関法、「Digita
limage registration using projections. (IEEE Tran
s.Pattern Anal.Machine Intell. PAMI-8, 2 (Mar.), 1
986, pp.222-223)」に記載された１次元のフーリエ変換
のみを用いた位相相関法、「Digitalregistrationtechn
iques for sequential Fundus images. (In IEEEProcee
dings of SPIE:Applications of Digital Image Proces
sing X,Vol. 829. IEEE, New York, 1987,pp.293-30
0)」に記載されたパワースペクトラムを用いる手法、あ
るいは「マニューシャネットワーク特徴による自動指紋
照合−照合過程−（電子情報通信学会論文誌(D-II), Vo
l.J72-D-II, No.5, 1989, pp.733-740）」や特許第２６
３６７３６号公報（指紋合成装置）に記載されたマニュ
ーシャと呼ばれる指紋の特徴点を用いる手法等のよう
に、隣接する二つの部分画像の位相差を検出することが
可能な方法であればどのような方法であってもよい。
置合わせ方法としては、「DigitalPicture Processing.
Vol. I and II (Academic Press, Orlando, Fla.198
2)」に記載された相互相関法、「A classof algorithms
for fast digital registration. (IEEE Trans. Compu
t.C-21, 1972, pp.179-186)」に記載された逐次類似検
出アルゴリズム（以下、逐次法と呼ぶ）、「Thephase c
orrelation image alignment method. (In Proceedings
of theIEEE 1975 International Conference onCybern
etics and Society(Sept.). IEEE, New York, 1975, p
p.163-165)」に記載された位相相関法、「Registration
of translated and rotated images usingfinite Fouri
er Transforms.(IEEE Trans. Pattern Anal. Machine I
ntell. PAMI-9, 5 (Sept.),1987, pp.700-703)」に記載
された画像の回転運動を考慮した位相相関法、「Digita
limage registration using projections. (IEEE Tran
s.Pattern Anal.Machine Intell. PAMI-8, 2 (Mar.), 1
986, pp.222-223)」に記載された１次元のフーリエ変換
のみを用いた位相相関法、「Digitalregistrationtechn
iques for sequential Fundus images. (In IEEEProcee
dings of SPIE:Applications of Digital Image Proces
sing X,Vol. 829. IEEE, New York, 1987,pp.293-30
0)」に記載されたパワースペクトラムを用いる手法、あ
るいは「マニューシャネットワーク特徴による自動指紋
照合−照合過程−（電子情報通信学会論文誌(D-II), Vo
l.J72-D-II, No.5, 1989, pp.733-740）」や特許第２６
３６７３６号公報（指紋合成装置）に記載されたマニュ
ーシャと呼ばれる指紋の特徴点を用いる手法等のよう
に、隣接する二つの部分画像の位相差を検出することが
可能な方法であればどのような方法であってもよい。
【００２９】相互相関法では、まず、二つの画像データ
をそれぞれＩ1（ｘ，ｙ），Ｉ2（ｘ，ｙ）と表したとき
に、二つの部分画像間の類似性の測度Ｃ（ｕ，ｖ）を以
下の式で求める。
をそれぞれＩ1（ｘ，ｙ），Ｉ2（ｘ，ｙ）と表したとき
に、二つの部分画像間の類似性の測度Ｃ（ｕ，ｖ）を以
下の式で求める。
【００３０】
【数１】
【００３１】例えば、Ｉ1（ｘ，ｙ）が（ｉ，ｊ）の変
化によってＩ2（ｘ，ｙ）に一致したとすると、相互相
関は（ｉ，ｊ）で最大となる。すなわち、Ｃ（ｕ，ｖ）
が最大となる（ｉ，ｊ）を探すことで位相差を求めるこ
とができる。
化によってＩ2（ｘ，ｙ）に一致したとすると、相互相
関は（ｉ，ｊ）で最大となる。すなわち、Ｃ（ｕ，ｖ）
が最大となる（ｉ，ｊ）を探すことで位相差を求めるこ
とができる。
【００３２】逐次法は、隣接する二つの部分画像の画素
輝度の差の絶対値に基づいて位相差を求める方法であ
り、部分画像間の類似性の測度Ｅ（ｕ，ｖ）は以下の式
で示される。
輝度の差の絶対値に基づいて位相差を求める方法であ
り、部分画像間の類似性の測度Ｅ（ｕ，ｖ）は以下の式
で示される。
【００３３】
【数２】
【００３４】上記測度Ｅ（ｕ，ｖ）は二つの画像が一致
する値（ｉ，ｊ）で最小の値となるため、最小値を超え
たときに計算を中止して、次の画素の測度計算に移行す
ることができるという特長を持つ。
する値（ｉ，ｊ）で最小の値となるため、最小値を超え
たときに計算を中止して、次の画素の測度計算に移行す
ることができるという特長を持つ。
【００３５】また、位相相関法は、高速フーリエ変換を
用いて位相差を算出する方法であり、隣接する二つの部
分画像のフーリエ変換をＦ1（ωx，ωy），Ｆ2（ωx、
ωy），で表すと、以下の式で示す相互パワースペクト
ルから二つの画像が一致する値（ｄx，ｄy）を検出する
ことで位相差を算出する。
用いて位相差を算出する方法であり、隣接する二つの部
分画像のフーリエ変換をＦ1（ωx，ωy），Ｆ2（ωx、
ωy），で表すと、以下の式で示す相互パワースペクト
ルから二つの画像が一致する値（ｄx，ｄy）を検出する
ことで位相差を算出する。
【００３６】
【数３】
【００３７】すなわち、上記相互パワースペクトルを逆
フーリエ変換することでインパルス関数を得ることが可
能であり、そのインパルス関数のピーク位置が求める
（ｄx，ｄy）となる。
フーリエ変換することでインパルス関数を得ることが可
能であり、そのインパルス関数のピーク位置が求める
（ｄx，ｄy）となる。
【００３８】画像の回転運動を考慮した位相相関法で
は、最初に回転角を求め、続いて上記位相相関法と同様
に、二つの画像を一致させたときの一方の画像の移動量
を求めることで位相差を算出する方法である。二つの画
像のフーリエ変換を、極座標（ｒ，θ）を用いてＦ
1（ｒ，θ），Ｆ2（ｒ，θ）で表したとき、以下の相互
パワースペクトルＧ（ｒ，θ，φ）を逆フーリエ変換す
ることにより上記移動量を求めることができる。
は、最初に回転角を求め、続いて上記位相相関法と同様
に、二つの画像を一致させたときの一方の画像の移動量
を求めることで位相差を算出する方法である。二つの画
像のフーリエ変換を、極座標（ｒ，θ）を用いてＦ
1（ｒ，θ），Ｆ2（ｒ，θ）で表したとき、以下の相互
パワースペクトルＧ（ｒ，θ，φ）を逆フーリエ変換す
ることにより上記移動量を求めることができる。
【００３９】
【数４】
【００４０】１次元のフーリエ変換のみを用いた位相相
関法は、各々の画像のｘ方向とｙ方向への投影値を用
い、その投影ヒストグラムにフーリエ変換を適用する方
法である。
関法は、各々の画像のｘ方向とｙ方向への投影値を用
い、その投影ヒストグラムにフーリエ変換を適用する方
法である。
【００４１】パワースペクトラムを用いる手法は、相互
パワースペクトルから求める位相相関法と類似している
が、本手法では相互パワースペクトルの対数で計算を行
うため、画像データの掛け算の代わりに足し算で移動量
を算出することが可能であり、計算コストを節約できる
特長を持つ。
パワースペクトルから求める位相相関法と類似している
が、本手法では相互パワースペクトルの対数で計算を行
うため、画像データの掛け算の代わりに足し算で移動量
を算出することが可能であり、計算コストを節約できる
特長を持つ。
【００４２】特徴点を用いる手法は、各画像中からそれ
ぞれ特徴点を抽出し、その特徴点が一致するように位置
合わせを行う手法である。
ぞれ特徴点を抽出し、その特徴点が一致するように位置
合わせを行う手法である。
【００４３】画像重み付け手段１２は、合成画像に用い
る部分画像のどの領域に重みを強く置くか、すなわち、
部分画像のどの領域を合成画像に強く反映させるかを定
め、部分画像の各画素輝度に重み関数ｗk（ｘ，ｙ）を
それぞれ乗算し、重み付け部分画像として重み付け部分
画像記憶部２２へ出力する。
る部分画像のどの領域に重みを強く置くか、すなわち、
部分画像のどの領域を合成画像に強く反映させるかを定
め、部分画像の各画素輝度に重み関数ｗk（ｘ，ｙ）を
それぞれ乗算し、重み付け部分画像として重み付け部分
画像記憶部２２へ出力する。
【００４４】ここで、入力部分画像をＩk（ｘ，ｙ）と
すると、重み付け部分画像
すると、重み付け部分画像
【００４５】
【外１】
【００４６】は、
【００４７】
【数５】
【００４８】で表される。
【００４９】例えば、部分画像が、図２に示すようにｘ
方向に長いＸ×Ｙの矩形形状から構成され、中央ライ
ン、すなわち、ｙ＝Ｙ／２のラインを最も強調したい場
合、重み関数ｗk（ｘ，ｙ）には以下に示すような中央
ラインにピークを持つ正規分布の密度関数を適用すると
よい。
方向に長いＸ×Ｙの矩形形状から構成され、中央ライ
ン、すなわち、ｙ＝Ｙ／２のラインを最も強調したい場
合、重み関数ｗk（ｘ，ｙ）には以下に示すような中央
ラインにピークを持つ正規分布の密度関数を適用すると
よい。
【００５０】
【数６】
【００５１】なお、図２は図１に示した画像重み付け手
段で用いられる重み関数の一例を示す図であり、部分画
像の形状とそれに付与される重み関数の関係を示す平面
図である。
段で用いられる重み関数の一例を示す図であり、部分画
像の形状とそれに付与される重み関数の関係を示す平面
図である。
【００５２】この標準偏差σyの値を自由に設定するこ
とで、強調したいラインの幅と重みの強さを変えること
ができる。すなわち、σyの値を０に近づければ重み関
数ｗk（ｘ，ｙ）はＹ／２でピークを持つインパルス関
数に近づき、中央ライン上の画素輝度を他のライン上の
画素輝度よりも著しく強調することができる。
とで、強調したいラインの幅と重みの強さを変えること
ができる。すなわち、σyの値を０に近づければ重み関
数ｗk（ｘ，ｙ）はＹ／２でピークを持つインパルス関
数に近づき、中央ライン上の画素輝度を他のライン上の
画素輝度よりも著しく強調することができる。
【００５３】一方、σyの値を∞に近づけると、重み関
数ｗk（ｘ，ｙ）が広い分布を持つようになるため、全
ラインにほぼ等しい強さの重みを与えることができる。
数ｗk（ｘ，ｙ）が広い分布を持つようになるため、全
ラインにほぼ等しい強さの重みを与えることができる。
【００５４】より一般的には、以下に示すような重み関
数ｗk（ｘ，ｙ）を用いることで、任意のラインｙ＝α
上の画素輝度を強調することができる。
数ｗk（ｘ，ｙ）を用いることで、任意のラインｙ＝α
上の画素輝度を強調することができる。
【００５５】
【数７】
【００５６】また、中央ライン上の画素輝度を強調した
い場合は、以下に示すような重み関数ｗk（ｘ，ｙ）を
用いてもよい。
い場合は、以下に示すような重み関数ｗk（ｘ，ｙ）を
用いてもよい。
【００５７】
【数８】
【００５８】これは、中央ライン（ｙ＝Ｙ／２）の重み
を１００、ｙ＝０，ｙ＝Ｙのラインの重みを１とするよ
うな重み関数である。さらに単純には、以下に示すよう
な重み関数ｗk（ｘ，ｙ）を用いてもよい。
を１００、ｙ＝０，ｙ＝Ｙのラインの重みを１とするよ
うな重み関数である。さらに単純には、以下に示すよう
な重み関数ｗk（ｘ，ｙ）を用いてもよい。
【００５９】
【数９】
【００６０】これは、中央ラインの重みが１００、ｙ＝
０，ｙ＝Ｙのラインの重みが０となるような重みが線形
に変化する関数である。
０，ｙ＝Ｙのラインの重みが０となるような重みが線形
に変化する関数である。
【００６１】さらに、ラインではなく画像中の任意の点
（α，β）を強調する場合は、正規分布を２次元に拡張
した以下の重み関数ｗk（ｘ，ｙ）を用いるとよい。
（α，β）を強調する場合は、正規分布を２次元に拡張
した以下の重み関数ｗk（ｘ，ｙ）を用いるとよい。
【００６２】
【数１０】
【００６３】以上説明したように、画像重み付け手段１
２で用いる重み付け処理は、任意のラインまたは画素の
輝度を強調できるものであれば、どのような重み関数を
用いてもよい。
２で用いる重み付け処理は、任意のラインまたは画素の
輝度を強調できるものであれば、どのような重み関数を
用いてもよい。
【００６４】画像重ね合わせ手段１３は、重み付け部分
画像記憶部２２から１フレーム毎に重み付け部分画像を
読み出し、一時合成画像記憶部２３から読み出した一時
合成画像に重ね合わせて新たな一時合成画像を生成し、
一時合成画像記憶部２３に格納する。
画像記憶部２２から１フレーム毎に重み付け部分画像を
読み出し、一時合成画像記憶部２３から読み出した一時
合成画像に重ね合わせて新たな一時合成画像を生成し、
一時合成画像記憶部２３に格納する。
【００６５】このとき、一時合成画像は、図３に示すよ
うに、位相差記憶部２１から読み出された二つの部分画
像に対応する位相差にしたがって重ね合わされる。な
お、図３は図１に示した画像重ね合わせ手段で用いられ
る画像重ね合わせの例を示す平面図である。
うに、位相差記憶部２１から読み出された二つの部分画
像に対応する位相差にしたがって重ね合わされる。な
お、図３は図１に示した画像重ね合わせ手段で用いられ
る画像重ね合わせの例を示す平面図である。
【００６６】すなわち、一時合成画像の同一画素に二つ
の画像が重なる場合は、各々の重み付け部分画像の画素
輝度を累積する。この画素輝度を累積した合成画像を一
時合成画像として一時合成画像記憶部２３へ格納する。
また、新たに生成した一時合成画像の各画素毎にそれぞ
れの重みを累積し、その重み累積値を重み累積値記憶部
２４へ格納する。
の画像が重なる場合は、各々の重み付け部分画像の画素
輝度を累積する。この画素輝度を累積した合成画像を一
時合成画像として一時合成画像記憶部２３へ格納する。
また、新たに生成した一時合成画像の各画素毎にそれぞ
れの重みを累積し、その重み累積値を重み累積値記憶部
２４へ格納する。
【００６７】ここで、第ｋフレームの重み付け部分画像
を
を
【００６８】
【外２】
【００６９】、重み関数をｗk（ｘ，ｙ）、第ｋフレー
ムと第（ｋ−１）フレームの部分画像の位相差をｘk，
ｙk、一時合成画像をＪ（ｘ，ｙ）、一時合成画像Ｊ
（ｘ，ｙ）の画素（ｘ，ｙ）の重なり開始部分画像フレ
ーム番号をｓ（ｘ，ｙ）、重なり終了部分画像フレーム
番号をｅ（ｘ，ｙ）とすると、一時合成画像Ｊ（ｘ，
ｙ）と重み累積値ｗ（ｘ，ｙ）は以下のように表すこと
ができる。
ムと第（ｋ−１）フレームの部分画像の位相差をｘk，
ｙk、一時合成画像をＪ（ｘ，ｙ）、一時合成画像Ｊ
（ｘ，ｙ）の画素（ｘ，ｙ）の重なり開始部分画像フレ
ーム番号をｓ（ｘ，ｙ）、重なり終了部分画像フレーム
番号をｅ（ｘ，ｙ）とすると、一時合成画像Ｊ（ｘ，
ｙ）と重み累積値ｗ（ｘ，ｙ）は以下のように表すこと
ができる。
【００７０】
【数１１】
【００７１】合成画像生成手段１４は、一時合成画像記
憶部２３から読み出した一時合成画像の各画素輝度を、
重み累積値記憶部２４から読み出した一時合成画像の画
素毎の重み累積値でそれぞれ除算し、その除算結果を最
終的な合成画像の画素毎の画像輝度として出力する。す
なわち、重み付け合成画像
憶部２３から読み出した一時合成画像の各画素輝度を、
重み累積値記憶部２４から読み出した一時合成画像の画
素毎の重み累積値でそれぞれ除算し、その除算結果を最
終的な合成画像の画素毎の画像輝度として出力する。す
なわち、重み付け合成画像
【００７２】
【外３】
【００７３】は以下の式で表される。
【００７４】
【数１２】
【００７５】次に、本実施形態の画像合成装置の処理手
順について図４を用いて説明する。
順について図４を用いて説明する。
【００７６】図４は図１に示した画像合成装置の処理手
順を示すフローチャートである。
順を示すフローチャートである。
【００７７】図４において、処理装置１は、まず、画像
入力手段１０を用いて一定方向に移動している物体を撮
像し（ステップＡ１）、画像入力手段１０から出力され
た連続する部分画像Ｉk（ｘ，ｙ）（１≦ｋ≦Ｎ）をそ
れぞれ部分画像記憶部２０に格納する（ステップＡ
２）。
入力手段１０を用いて一定方向に移動している物体を撮
像し（ステップＡ１）、画像入力手段１０から出力され
た連続する部分画像Ｉk（ｘ，ｙ）（１≦ｋ≦Ｎ）をそ
れぞれ部分画像記憶部２０に格納する（ステップＡ
２）。
【００７８】次に、部分画像間の画像位置合わせ処理が
全て終了しているか否かを判定し（ステップＡ３）、画
像位置合わせ処理が全て終了していればステップＡ６の
処理へ移行する。また、画像位置合わせ処理が全て終了
していない場合は、画像位置合わせ手段１１を用いて、
部分画像記憶部２０から隣接する二つの部分画像Ｉk- 1
（ｘ，ｙ），Ｉk（ｘ，ｙ）（２≦ｋ≦Ｎ）をそれぞれ
読み出し（ステップＡ４）、それらのｘ方向及びｙ方向
の位相差ｘk，ｙk（２≦ｋ≦Ｎ）をそれぞれ求め、求め
た位相差を位相差記憶手段２１に格納して（ステップＡ
５）ステップＡ３の処理に戻る。
全て終了しているか否かを判定し（ステップＡ３）、画
像位置合わせ処理が全て終了していればステップＡ６の
処理へ移行する。また、画像位置合わせ処理が全て終了
していない場合は、画像位置合わせ手段１１を用いて、
部分画像記憶部２０から隣接する二つの部分画像Ｉk- 1
（ｘ，ｙ），Ｉk（ｘ，ｙ）（２≦ｋ≦Ｎ）をそれぞれ
読み出し（ステップＡ４）、それらのｘ方向及びｙ方向
の位相差ｘk，ｙk（２≦ｋ≦Ｎ）をそれぞれ求め、求め
た位相差を位相差記憶手段２１に格納して（ステップＡ
５）ステップＡ３の処理に戻る。
【００７９】続いて、処理装置１は、部分画像に対する
重み付け処理が全て終了しているか否かを判定し（ステ
ップＡ６）、重み付け処理が全て終了していればステッ
プＡ９の処理へ移行する。また、重み付け処理が全て終
了していない場合は、画像重み付け手段１２を用いて、
部分画像記憶部２０から１フレーム分の部分画像Ｉ
k（ｘ，ｙ）を読み出し（ステップＡ７）、当該部分画
像に対して重み付け処理を行う。また、その処理結果で
ある重み付け部分画像
重み付け処理が全て終了しているか否かを判定し（ステ
ップＡ６）、重み付け処理が全て終了していればステッ
プＡ９の処理へ移行する。また、重み付け処理が全て終
了していない場合は、画像重み付け手段１２を用いて、
部分画像記憶部２０から１フレーム分の部分画像Ｉ
k（ｘ，ｙ）を読み出し（ステップＡ７）、当該部分画
像に対して重み付け処理を行う。また、その処理結果で
ある重み付け部分画像
【００８０】
【外４】
【００８１】を重み付け部分画像記憶部２２に格納して
（ステップＡ８）ステップＡ６の処理に戻る。
（ステップＡ８）ステップＡ６の処理に戻る。
【００８２】次に、処理装置１は、重み付け部分画像の
重ね合わせ処理が全て終了しているか否かを判定し（ス
テップＡ９）、重ね合わせ処理が全て終了している場合
は、合成画像生成手段１４を用いて一時合成画像記憶部
２３から一時合成画像を読み出し（ステップＡ１５）、
その各画像輝度を、重み累積値記憶部２４から読み出し
た（ステップＡ１６）各画素の重み累積値で除算し、除
算結果を画素輝度とする最終的な合成画像を出力する
（ステップＡ１７）。
重ね合わせ処理が全て終了しているか否かを判定し（ス
テップＡ９）、重ね合わせ処理が全て終了している場合
は、合成画像生成手段１４を用いて一時合成画像記憶部
２３から一時合成画像を読み出し（ステップＡ１５）、
その各画像輝度を、重み累積値記憶部２４から読み出し
た（ステップＡ１６）各画素の重み累積値で除算し、除
算結果を画素輝度とする最終的な合成画像を出力する
（ステップＡ１７）。
【００８３】一方、重ね合わせ処理が全て終了していな
い場合は、画像重ね合わせ手段１３を用いて、重み付け
部分画像記憶部２２から１フレーム分の重み付け部分画
像
い場合は、画像重ね合わせ手段１３を用いて、重み付け
部分画像記憶部２２から１フレーム分の重み付け部分画
像
【００８４】
【外５】
【００８５】を読み出し(ステップＡ１０)、一時合成画
像記憶部２３から一つ前のフレームまで重ね合わせた一
時合成画像Ｊk-1（ｘ，ｙ）を読み出し（ステップＡ１
１）、位相差記憶手段２１から当該部分画像と前フレー
ムの部分画像の位相差ｘk，ｙkを読み出して（ステップ
Ａ１２）、重み付け部分画像
像記憶部２３から一つ前のフレームまで重ね合わせた一
時合成画像Ｊk-1（ｘ，ｙ）を読み出し（ステップＡ１
１）、位相差記憶手段２１から当該部分画像と前フレー
ムの部分画像の位相差ｘk，ｙkを読み出して（ステップ
Ａ１２）、重み付け部分画像
【００８６】
【外６】
【００８７】と一時合成画像Ｊk-1（ｘ，ｙ）とを位相
差ｘk，ｙkにしたがって重ね合わせ、新たな一時合成画
像Ｊk（ｘ，ｙ）を生成する（ステップＡ１３）。ま
た、生成した一時合成画像Ｊk（ｘ，ｙ）の各画素毎の
重み累積値を計数し、重み累積値記憶２４に格納する
（ステップＡ１４）。
差ｘk，ｙkにしたがって重ね合わせ、新たな一時合成画
像Ｊk（ｘ，ｙ）を生成する（ステップＡ１３）。ま
た、生成した一時合成画像Ｊk（ｘ，ｙ）の各画素毎の
重み累積値を計数し、重み累積値記憶２４に格納する
（ステップＡ１４）。
【００８８】以上説明したように、本実施形態の画像合
成装置によれば、部分画像から合成画像を生成する際
に、従来のように部分画像の全てを均等に重ね合わせる
手法や部分画像の一部を切り取って繋ぎ合わせる手法を
用いずに、部分画像にそれぞれ重みを付与して合成する
ことで、部分画像の強く重み付けされた領域を合成画像
に強く反映させ、弱く重み付けされた領域を合成画像に
反映させないことができるため、画像位置合わせにおけ
る位置合わせ誤差や画像の歪みを合成画像に反映させな
いようにすることができる。したがって、撮像対象の連
続性が保たれると共に、良好な画質の合成画像を得るこ
とができる。
成装置によれば、部分画像から合成画像を生成する際
に、従来のように部分画像の全てを均等に重ね合わせる
手法や部分画像の一部を切り取って繋ぎ合わせる手法を
用いずに、部分画像にそれぞれ重みを付与して合成する
ことで、部分画像の強く重み付けされた領域を合成画像
に強く反映させ、弱く重み付けされた領域を合成画像に
反映させないことができるため、画像位置合わせにおけ
る位置合わせ誤差や画像の歪みを合成画像に反映させな
いようにすることができる。したがって、撮像対象の連
続性が保たれると共に、良好な画質の合成画像を得るこ
とができる。
【００８９】（第２の実施の形態）次に、本発明の第２
の実施の形態について図面を参照して詳細に説明する。
図５は本発明の画像合成装置の第２の実施の形態の構成
を示すブロック図である。
の実施の形態について図面を参照して詳細に説明する。
図５は本発明の画像合成装置の第２の実施の形態の構成
を示すブロック図である。
【００９０】図５に示すように、本実施形態の画像合成
装置は、処理装置に、画像位置合わせ手段で求めた隣接
する二つの部分画像の位相差の信頼度を設定する位相差
信頼度計算手段１５を有し、記憶装置に、位相差信頼度
計算手段１５で求めた二つの部分画像の位相差信頼度を
格納する位相差信頼度記憶部２５を有する構成である。
装置は、処理装置に、画像位置合わせ手段で求めた隣接
する二つの部分画像の位相差の信頼度を設定する位相差
信頼度計算手段１５を有し、記憶装置に、位相差信頼度
計算手段１５で求めた二つの部分画像の位相差信頼度を
格納する位相差信頼度記憶部２５を有する構成である。
【００９１】また、処理装置が有する画像位置合わせ手
段１１ａは隣接する二つの部分画像間の相関値を算出し
て位相差信頼度計算手段１５に送出し、画像重み付け手
段１２ａは位相差信頼度に基づいて重み関数を決定して
重み付け部分画像を生成する点が第１の実施の形態と異
なっている。その他の構成は第１の実施の形態と同様で
あるため、その説明は省略する。
段１１ａは隣接する二つの部分画像間の相関値を算出し
て位相差信頼度計算手段１５に送出し、画像重み付け手
段１２ａは位相差信頼度に基づいて重み関数を決定して
重み付け部分画像を生成する点が第１の実施の形態と異
なっている。その他の構成は第１の実施の形態と同様で
あるため、その説明は省略する。
【００９２】位相差信頼度計算手段１５は、画像位置合
わせ手段１１ａで算出された二つの部分画像間の位相差
の信頼度を計算するものであり、画像位置合わせ手段１
１ａから当該二つの部分画像間の相関値を受け取り、該
相関値に基づいて位相差の信頼度を決定する。相関値
は、隣接する二つの部分画像を重ね合わせた時の一致度
を示す値であり、例えば、第１の実施の形態で示した隣
接する二つの部分画像間の類似性の測度等を用いるとよ
い。
わせ手段１１ａで算出された二つの部分画像間の位相差
の信頼度を計算するものであり、画像位置合わせ手段１
１ａから当該二つの部分画像間の相関値を受け取り、該
相関値に基づいて位相差の信頼度を決定する。相関値
は、隣接する二つの部分画像を重ね合わせた時の一致度
を示す値であり、例えば、第１の実施の形態で示した隣
接する二つの部分画像間の類似性の測度等を用いるとよ
い。
【００９３】位相差信頼度計算手段１５は、二つの部分
画像間の相関が高いとき、すなわち相関値による一致度
が高ければ信頼度を高くし、位置合わせ誤差や部分画像
の局所的な歪み等によって二つの部分画像間の相関が低
いとき、すなわち相関値による一致度が低ければ信頼度
を低くするような関数を設定する。位相差信頼度計算手
段１５で設定された位相差信頼度は位相差信頼度記憶部
２５に格納される。
画像間の相関が高いとき、すなわち相関値による一致度
が高ければ信頼度を高くし、位置合わせ誤差や部分画像
の局所的な歪み等によって二つの部分画像間の相関が低
いとき、すなわち相関値による一致度が低ければ信頼度
を低くするような関数を設定する。位相差信頼度計算手
段１５で設定された位相差信頼度は位相差信頼度記憶部
２５に格納される。
【００９４】本実施形態の画像重み付け手段１２ａは、
第１の実施の形態と同様に、合成画像に用いる部分画像
のどの領域に重みを強く置くか、すなわち、どの領域を
合成画像にどの程度反映させるかを示す重み関数を定
め、定められた重み関数に基づいて部分画像の各画素の
輝度に重み関数ｗk（ｘ，ｙ）を乗算し、その結果を重
み付け部分画像記憶部へ格納する。
第１の実施の形態と同様に、合成画像に用いる部分画像
のどの領域に重みを強く置くか、すなわち、どの領域を
合成画像にどの程度反映させるかを示す重み関数を定
め、定められた重み関数に基づいて部分画像の各画素の
輝度に重み関数ｗk（ｘ，ｙ）を乗算し、その結果を重
み付け部分画像記憶部へ格納する。
【００９５】ここで、重み関数ｗk（ｘ，ｙ）は、位相
差信頼度記憶部２５から読み出した２つの部分画像間の
位相差信頼度に基づいて決定される。すなわち、位相差
信頼度が高ければ当該部分画像を合成画像に強く反映さ
せたいので当該部分画像に対して強い重み付けを行う。
逆に、位相差信頼度が低ければ当該部分画像を合成画像
に反映させたくないので当該部分画像に対して弱い重み
付けを行う。
差信頼度記憶部２５から読み出した２つの部分画像間の
位相差信頼度に基づいて決定される。すなわち、位相差
信頼度が高ければ当該部分画像を合成画像に強く反映さ
せたいので当該部分画像に対して強い重み付けを行う。
逆に、位相差信頼度が低ければ当該部分画像を合成画像
に反映させたくないので当該部分画像に対して弱い重み
付けを行う。
【００９６】より具体的には、例えば、部分画像の任意
のラインｙ＝αを強調するために正規分布の重み関数ｗ
k（ｘ，ｙ）を考える。
のラインｙ＝αを強調するために正規分布の重み関数ｗ
k（ｘ，ｙ）を考える。
【００９７】
【数１３】
【００９８】この正規分布の標準偏差であるσyの値を
自由に設定することで、強調したいラインの幅と重みの
強さを変えることができる。すなわち、位相差信頼度が
高い場合は、σyの値を０に近づけることでラインｙ＝
αに強い重みを持たせることが可能であり、合成画像に
ラインｙ＝α付近を強く反映させることが可能である。
自由に設定することで、強調したいラインの幅と重みの
強さを変えることができる。すなわち、位相差信頼度が
高い場合は、σyの値を０に近づけることでラインｙ＝
αに強い重みを持たせることが可能であり、合成画像に
ラインｙ＝α付近を強く反映させることが可能である。
【００９９】一方、位相差信頼度が低い場合は、σyの
値を∞に近づけることで重み関数ｗk（ｘ，ｙ）が広い
分布を持ち、全ラインにほぼ等しく低い重み付けがなさ
れるため、当該部分画像の全領域を合成画像にあまり反
映させないようにすることができる。
値を∞に近づけることで重み関数ｗk（ｘ，ｙ）が広い
分布を持ち、全ラインにほぼ等しく低い重み付けがなさ
れるため、当該部分画像の全領域を合成画像にあまり反
映させないようにすることができる。
【０１００】次に、本実施形態の画像合成装置の動作に
ついて図６を用いて説明する。
ついて図６を用いて説明する。
【０１０１】図６は図５に示した画像合成装置の処理手
順を示すフローチャートである。
順を示すフローチャートである。
【０１０２】図６において、処理装置は、まず、画像入
力手段を用いて一定方向に移動している物体を撮像し
（ステップＢ１）、画像入力手段から出力された連続す
る部分画像Ｉk（ｘ，ｙ）（１≦ｋ≦Ｎ）をそれぞれ部
分画像記憶部に格納する（ステップＢ２）。
力手段を用いて一定方向に移動している物体を撮像し
（ステップＢ１）、画像入力手段から出力された連続す
る部分画像Ｉk（ｘ，ｙ）（１≦ｋ≦Ｎ）をそれぞれ部
分画像記憶部に格納する（ステップＢ２）。
【０１０３】次に、部分画像間の画像位置合わせ処理が
全て終了しているか否かを判定し（ステップＢ３）、画
像位置合わせ処理が全て終了していればステップＢ７の
処理へ移行する。また、画像位置合わせ処理が全て終了
していない場合は、画像位置合わせ手段１１ａを用い
て、部分画像記憶部から隣接する二つの部分画像Ｉk-1
（ｘ，ｙ），Ｉk（ｘ，ｙ）（２≦ｋ≦Ｎ）をそれぞれ
読み出し（ステップＢ４）、ｘ方向及びｙ方向の位相差
ｘk，ｙk（２≦ｋ≦Ｎ）と相関値ｃkをそれぞれ求め、
求めた位相差を位相差記憶手段に格納し（ステップＢ
５）、相関値ｃkを位相差信頼度計算手段１５に出力す
る。位相差信頼度計算手段１５は、画像位置合わせ手段
１１ａから受け取った二つの画像の相関値ｃkに基づい
て当該部分画像間の位相差信頼度ｒkを計算し、その位
相差信頼度ｒkを位相差信頼度記憶部２５に格納して
（ステップＢ６）、ステップＢ３の処理に戻る。
全て終了しているか否かを判定し（ステップＢ３）、画
像位置合わせ処理が全て終了していればステップＢ７の
処理へ移行する。また、画像位置合わせ処理が全て終了
していない場合は、画像位置合わせ手段１１ａを用い
て、部分画像記憶部から隣接する二つの部分画像Ｉk-1
（ｘ，ｙ），Ｉk（ｘ，ｙ）（２≦ｋ≦Ｎ）をそれぞれ
読み出し（ステップＢ４）、ｘ方向及びｙ方向の位相差
ｘk，ｙk（２≦ｋ≦Ｎ）と相関値ｃkをそれぞれ求め、
求めた位相差を位相差記憶手段に格納し（ステップＢ
５）、相関値ｃkを位相差信頼度計算手段１５に出力す
る。位相差信頼度計算手段１５は、画像位置合わせ手段
１１ａから受け取った二つの画像の相関値ｃkに基づい
て当該部分画像間の位相差信頼度ｒkを計算し、その位
相差信頼度ｒkを位相差信頼度記憶部２５に格納して
（ステップＢ６）、ステップＢ３の処理に戻る。
【０１０４】続いて、処理装置は、部分画像に対する重
み付け処理が全て終了しているか否かを判定し（ステッ
プＢ７）、重み付け処理が全て終了していればステップ
Ｂ１１の処理へ移行する。また、重み付け処理が全て終
了していない場合は、画像重み付け手段１２ａを用いて
部分画像記憶部から１フレーム分の部分画像Ｉk（ｘ，
ｙ）を読み出し（ステップＢ８）、位相差信頼度記憶部
２５から当該位相差信頼度ｒkを読み出し（ステップＢ
９）、当該位相差信頼度ｒkに基づいて重み関数ｗ
k（ｘ，ｙ）を決定する。そして、決定した重み関数ｗk
（ｘ，ｙ）を用いて当該部分画像に対して重み付け処理
を行い、その処理結果である重み付け部分画像
み付け処理が全て終了しているか否かを判定し（ステッ
プＢ７）、重み付け処理が全て終了していればステップ
Ｂ１１の処理へ移行する。また、重み付け処理が全て終
了していない場合は、画像重み付け手段１２ａを用いて
部分画像記憶部から１フレーム分の部分画像Ｉk（ｘ，
ｙ）を読み出し（ステップＢ８）、位相差信頼度記憶部
２５から当該位相差信頼度ｒkを読み出し（ステップＢ
９）、当該位相差信頼度ｒkに基づいて重み関数ｗ
k（ｘ，ｙ）を決定する。そして、決定した重み関数ｗk
（ｘ，ｙ）を用いて当該部分画像に対して重み付け処理
を行い、その処理結果である重み付け部分画像
【０１０５】
【外７】
【０１０６】を重み付け部分画像記憶部に格納して（ス
テップＢ１０）ステップＢ７の処理に戻る。
テップＢ１０）ステップＢ７の処理に戻る。
【０１０７】次に、処理装置は、重み付け部分画像の重
ね合わせ処理が全て終了しているか否かを判定し（ステ
ップＢ１１）、重ね合わせ処理が全て終了している場合
は、合成画像生成手段を用いて一時合成画像記憶部から
一時合成画像を読み出し（ステップＢ１７）、その各画
像輝度を重み累積値記憶部から読み出した（ステップＢ
１８）各画素の重み累積値で除算し、除算結果を画素輝
度とする最終的な合成画像を出力する（ステップＢ１
９）。
ね合わせ処理が全て終了しているか否かを判定し（ステ
ップＢ１１）、重ね合わせ処理が全て終了している場合
は、合成画像生成手段を用いて一時合成画像記憶部から
一時合成画像を読み出し（ステップＢ１７）、その各画
像輝度を重み累積値記憶部から読み出した（ステップＢ
１８）各画素の重み累積値で除算し、除算結果を画素輝
度とする最終的な合成画像を出力する（ステップＢ１
９）。
【０１０８】一方、重ね合わせ処理が全て終了していな
い場合は、画像重ね合わせ手段を用いて、重み付け部分
画像記憶部から１フレーム分の重み付け部分画像
い場合は、画像重ね合わせ手段を用いて、重み付け部分
画像記憶部から１フレーム分の重み付け部分画像
【０１０９】
【外８】
【０１１０】を読み出し(ステップＢ１２)、一時合成画
像記憶部から一つ前のフレームまで重ね合わせた一時合
成画像Ｊk-1（ｘ，ｙ）を読み出し（ステップＢ１
３）、位相差記憶手段から当該部分画像と前フレームの
部分画像の位相差ｘk，ｙkを読み出して（ステップＢ１
４）、重み付け部分画像
像記憶部から一つ前のフレームまで重ね合わせた一時合
成画像Ｊk-1（ｘ，ｙ）を読み出し（ステップＢ１
３）、位相差記憶手段から当該部分画像と前フレームの
部分画像の位相差ｘk，ｙkを読み出して（ステップＢ１
４）、重み付け部分画像
【０１１１】
【外９】
【０１１２】と一時合成画像Ｊk-1（ｘ，ｙ）とを位相
差ｘk，ｙkにしたがって重ね合わせ、新たな一時合成画
像Ｊk（ｘ，ｙ）を生成する（ステップＢ１５）。ま
た、生成した一時合成画像Ｊk（ｘ，ｙ）の各画素毎の
重み累積値を計数し、重み累積値記憶に格納する（ステ
ップＢ１６）。
差ｘk，ｙkにしたがって重ね合わせ、新たな一時合成画
像Ｊk（ｘ，ｙ）を生成する（ステップＢ１５）。ま
た、生成した一時合成画像Ｊk（ｘ，ｙ）の各画素毎の
重み累積値を計数し、重み累積値記憶に格納する（ステ
ップＢ１６）。
【０１１３】以上説明した本実施形態の画像合成装置に
よれば、画像位置合わせで得られた位相差の信頼度を考
慮して重み付け処理を行うため、画像の位置合わせ誤差
や部分画像の局所的な歪み等に柔軟に対応することが可
能になり、信頼度の高い部分画像を画像の合成に用いる
ことができるため、合成画像の画質をより向上させるこ
とができる。
よれば、画像位置合わせで得られた位相差の信頼度を考
慮して重み付け処理を行うため、画像の位置合わせ誤差
や部分画像の局所的な歪み等に柔軟に対応することが可
能になり、信頼度の高い部分画像を画像の合成に用いる
ことができるため、合成画像の画質をより向上させるこ
とができる。
【０１１４】（第３の実施の形態）次に本発明の画像合
成装置の第３の実施の形態について図面を参照して詳細
に説明する。
成装置の第３の実施の形態について図面を参照して詳細
に説明する。
【０１１５】図７は本発明の画像合成装置の第３の実施
の形態の構成を示すブロック図である。
の形態の構成を示すブロック図である。
【０１１６】図７に示すように、本実施形態の画像合成
装置は、処理装置に、画像入力手段から出力される部分
画像の画質、または部分画像の局所的な画質を判定する
部分画像画質判定手段１６を有し、記憶装置に、部分画
像画質判定手段１６の画質判定結果を格納する部分画像
画質記憶部２６を有し、処理装置が有する画像重み付け
手段が位相差信頼度計算手段で判定された信頼度及び部
分画像画質判定手段１６の画質判定結果に基づいて重み
関数を決定し、重み付け部分画像を生成する点が第２の
実施の形態と異なっている。その他の構成は第２の実施
の形態と同様であるため、その説明は省略する。
装置は、処理装置に、画像入力手段から出力される部分
画像の画質、または部分画像の局所的な画質を判定する
部分画像画質判定手段１６を有し、記憶装置に、部分画
像画質判定手段１６の画質判定結果を格納する部分画像
画質記憶部２６を有し、処理装置が有する画像重み付け
手段が位相差信頼度計算手段で判定された信頼度及び部
分画像画質判定手段１６の画質判定結果に基づいて重み
関数を決定し、重み付け部分画像を生成する点が第２の
実施の形態と異なっている。その他の構成は第２の実施
の形態と同様であるため、その説明は省略する。
【０１１７】部分画像画質判定手段１６は、部分画像記
憶部から読み出した部分画像の局所的なノイズ、ぼけ、
かすれ、つぶれ等を検出し、その画質判定結果を部分画
像画質記憶部２６へ格納する。
憶部から読み出した部分画像の局所的なノイズ、ぼけ、
かすれ、つぶれ等を検出し、その画質判定結果を部分画
像画質記憶部２６へ格納する。
【０１１８】部分画像画質判定手段１６で用いる画質判
定方法としては、高速フーリエ変換を用いた周波数分析
による判定方法、画像のコントラストによる判定方法、
あるいは抽出特徴点の有無による判定方法等がある。
定方法としては、高速フーリエ変換を用いた周波数分析
による判定方法、画像のコントラストによる判定方法、
あるいは抽出特徴点の有無による判定方法等がある。
【０１１９】また、部分画像の局所的な画質判定方法と
しては、部分画像記憶部から読み出した隣接する二つの
部分画像を複数の領域にそれぞれ分割し、位相差記憶部
から読み出した部分画像間の位相差に基づいて当該二つ
の部分画像間の各領域毎に相関値をそれぞれ計算し、各
領域間の相関値から部分画像の局所的な画質を判定する
方法がある。
しては、部分画像記憶部から読み出した隣接する二つの
部分画像を複数の領域にそれぞれ分割し、位相差記憶部
から読み出した部分画像間の位相差に基づいて当該二つ
の部分画像間の各領域毎に相関値をそれぞれ計算し、各
領域間の相関値から部分画像の局所的な画質を判定する
方法がある。
【０１２０】本実施形態の画像重み付け手段１２ｂは、
第１の実施の形態及び第２の実施の形態と同様に、合成
画像に用いる部分画像のどの領域に重みを強く置くか、
すなわち、どの領域を合成画像に強く反映させるかを定
め、定められた重み関数に基づいて部分画像の各画素輝
度に重み関数ｗk（ｘ，ｙ）を乗算し、その結果を重み
付け部分画像記憶部へ格納する。
第１の実施の形態及び第２の実施の形態と同様に、合成
画像に用いる部分画像のどの領域に重みを強く置くか、
すなわち、どの領域を合成画像に強く反映させるかを定
め、定められた重み関数に基づいて部分画像の各画素輝
度に重み関数ｗk（ｘ，ｙ）を乗算し、その結果を重み
付け部分画像記憶部へ格納する。
【０１２１】ここで、重み関数ｗk（ｘ，ｙ）は、位相
差信頼度記憶部から読み出した２つの部分画像間の位相
差信頼度、及び部分画像画質記憶部２６から読み出した
当該部分画像の画質に基づいて決定される。すなわち、
位相差信頼度が高いか当該部分画像の画質が良ければ、
当該部分画像を合成画像に強く反映させたいので当該部
分画像に対して強い重み付けを行う。逆に、位相差信頼
度が低いか当該部分画像の画質が悪ければ、当該部分画
像を合成画像に反映させたくないので当該部分画像に対
して弱い重み付けを行う。
差信頼度記憶部から読み出した２つの部分画像間の位相
差信頼度、及び部分画像画質記憶部２６から読み出した
当該部分画像の画質に基づいて決定される。すなわち、
位相差信頼度が高いか当該部分画像の画質が良ければ、
当該部分画像を合成画像に強く反映させたいので当該部
分画像に対して強い重み付けを行う。逆に、位相差信頼
度が低いか当該部分画像の画質が悪ければ、当該部分画
像を合成画像に反映させたくないので当該部分画像に対
して弱い重み付けを行う。
【０１２２】より具体的には、部分画像の任意の画素で
ある（α，β）を強調するために正規分布の重み関数ｗ
k（ｘ，ｙ）を考える。
ある（α，β）を強調するために正規分布の重み関数ｗ
k（ｘ，ｙ）を考える。
【０１２３】
【数１４】
【０１２４】この正規分布の標準偏差であるσx及びσy
の値を自由に設定することで、強調したい画素付近の広
がりと重みの強さを変えることができる。すなわち、位
相差信頼度が高いか画素（α，β）付近の画質が良い場
合は、標準偏差σx及びσyの値を０に近づけることで
（α，β）付近に強い重みを持たせることができる。
の値を自由に設定することで、強調したい画素付近の広
がりと重みの強さを変えることができる。すなわち、位
相差信頼度が高いか画素（α，β）付近の画質が良い場
合は、標準偏差σx及びσyの値を０に近づけることで
（α，β）付近に強い重みを持たせることができる。
【０１２５】一方、位相差信頼度が低いか（α，β）付
近の画質が悪い場合は、標準偏差σ x及びσyの値を∞に
近づけることで、重み関数ｗk（ｘ，ｙ）が広い分布を
持ち、部分画像全体にほぼ等しく低い重み付けがなされ
るため、当該部分画像の全領域を合成画像にあまり反映
させないようにすることができる。
近の画質が悪い場合は、標準偏差σ x及びσyの値を∞に
近づけることで、重み関数ｗk（ｘ，ｙ）が広い分布を
持ち、部分画像全体にほぼ等しく低い重み付けがなされ
るため、当該部分画像の全領域を合成画像にあまり反映
させないようにすることができる。
【０１２６】次に、本実施形態の画像合成装置の動作に
ついて図８、図９を用いて説明する。
ついて図８、図９を用いて説明する。
【０１２７】図８及び図９は図７に示した画像合成装置
の処理手順を示すフローチャートである。
の処理手順を示すフローチャートである。
【０１２８】図８において、処理装置は、まず、画像入
力手段を用いて一定方向に移動している物体を撮像し
（ステップＣ１）、画像入力手段から出力された連続す
る部分画像Ｉk（ｘ，ｙ）（１≦ｋ≦Ｎ）をそれぞれ部
分画像記憶部に格納する（ステップＣ２）。
力手段を用いて一定方向に移動している物体を撮像し
（ステップＣ１）、画像入力手段から出力された連続す
る部分画像Ｉk（ｘ，ｙ）（１≦ｋ≦Ｎ）をそれぞれ部
分画像記憶部に格納する（ステップＣ２）。
【０１２９】次に、部分画像間の画像位置合わせ処理が
全て終了しているか否かを判定し（ステップＣ３）、画
像位置合わせ処理が全て終了していればステップＣ８の
処理へ移行する。また、画像位置合わせ処理が全て終了
していない場合は、画像位置合わせ手段を用いて、部分
画像記憶部から隣接する二つの部分画像Ｉk-1（ｘ，
ｙ），Ｉk（ｘ，ｙ）（２≦ｋ≦Ｎ）をそれぞれ読み出
し（ステップＣ４）、ｘ方向及びｙ方向の位相差ｘk，
ｙk（２≦ｋ≦Ｎ）と相関値ｃkをそれぞれ求め、求めた
位相差を位相差記憶手段に格納し（ステップＣ５）、相
関値ｃkを位相差信頼度計算手段に出力する。位相差信
頼度計算手段は、画像位置合わせ手段から受け取った二
つの画像の相関値ｃkに基づいて当該部分画像間の位相
差信頼度ｒkを計算し、その計算結果を位相差信頼度記
憶部２５に格納する（ステップＣ６）。また、部分画像
画質判定手段２６は、部分画像記憶部から読み出した部
分画像、及び位相差記憶部から読み出した当該部分画像
の位相差に基づいて、当該部分画像の画質及び当該部分
画像の局所的な画質を判定し、その判定結果を部分画像
画質記憶部２６に格納して（ステップＣ７）、ステップ
Ｃ３の処理に戻る。
全て終了しているか否かを判定し（ステップＣ３）、画
像位置合わせ処理が全て終了していればステップＣ８の
処理へ移行する。また、画像位置合わせ処理が全て終了
していない場合は、画像位置合わせ手段を用いて、部分
画像記憶部から隣接する二つの部分画像Ｉk-1（ｘ，
ｙ），Ｉk（ｘ，ｙ）（２≦ｋ≦Ｎ）をそれぞれ読み出
し（ステップＣ４）、ｘ方向及びｙ方向の位相差ｘk，
ｙk（２≦ｋ≦Ｎ）と相関値ｃkをそれぞれ求め、求めた
位相差を位相差記憶手段に格納し（ステップＣ５）、相
関値ｃkを位相差信頼度計算手段に出力する。位相差信
頼度計算手段は、画像位置合わせ手段から受け取った二
つの画像の相関値ｃkに基づいて当該部分画像間の位相
差信頼度ｒkを計算し、その計算結果を位相差信頼度記
憶部２５に格納する（ステップＣ６）。また、部分画像
画質判定手段２６は、部分画像記憶部から読み出した部
分画像、及び位相差記憶部から読み出した当該部分画像
の位相差に基づいて、当該部分画像の画質及び当該部分
画像の局所的な画質を判定し、その判定結果を部分画像
画質記憶部２６に格納して（ステップＣ７）、ステップ
Ｃ３の処理に戻る。
【０１３０】続いて、処理装置は、部分画像に対する重
み付け処理が全て終了しているか否かを判定し（ステッ
プＣ８）、重み付け処理が全て終了していれば、図９に
示すステップＣ１３の処理へ移行する。また、重み付け
処理が全て終了していない場合は、画像重み付け手段１
２ｂを用いて部分画像記憶部から１フレーム分の部分画
像Ｉk（ｘ，ｙ）を読み出し（ステップＣ９）、位相差
信頼度記憶部から当該位相差信頼度ｒkを読み出し（ス
テップＣ１０）、部分画像画質記憶部２６から当該部分
画像の画質の程度ｑkを読み出し（ステップＣ１１）、
当該位相差信頼度ｒk及び当該画質の程度ｑkに基づいて
重み関数ｗk（ｘ，ｙ）を決定する。そして、決定した
重み関数ｗk（ｘ，ｙ）を用いて当該部分画像に対して
重み付け処理を行い、その処理結果である重み付け部分
画像
み付け処理が全て終了しているか否かを判定し（ステッ
プＣ８）、重み付け処理が全て終了していれば、図９に
示すステップＣ１３の処理へ移行する。また、重み付け
処理が全て終了していない場合は、画像重み付け手段１
２ｂを用いて部分画像記憶部から１フレーム分の部分画
像Ｉk（ｘ，ｙ）を読み出し（ステップＣ９）、位相差
信頼度記憶部から当該位相差信頼度ｒkを読み出し（ス
テップＣ１０）、部分画像画質記憶部２６から当該部分
画像の画質の程度ｑkを読み出し（ステップＣ１１）、
当該位相差信頼度ｒk及び当該画質の程度ｑkに基づいて
重み関数ｗk（ｘ，ｙ）を決定する。そして、決定した
重み関数ｗk（ｘ，ｙ）を用いて当該部分画像に対して
重み付け処理を行い、その処理結果である重み付け部分
画像
【０１３１】
【外１０】
【０１３２】を重み付け部分画像記憶部に格納して（ス
テップＣ１２）ステップＣ８の処理に戻る。
テップＣ１２）ステップＣ８の処理に戻る。
【０１３３】次に、処理装置は、重み付け部分画像の重
ね合わせ処理が全て終了しているか否かを判定し（ステ
ップＣ１３）、重ね合わせ処理が全て終了している場合
は、合成画像生成手段を用いて一時合成画像記憶部から
一時合成画像を読み出し（ステップＣ１９）、その各画
像輝度を重み累積値記憶部から読み出した（ステップＣ
２０）各画素輝度毎の重み累積値で除算し、除算結果を
画素輝度とする最終的な合成画像を出力する（ステップ
Ｃ２１）。
ね合わせ処理が全て終了しているか否かを判定し（ステ
ップＣ１３）、重ね合わせ処理が全て終了している場合
は、合成画像生成手段を用いて一時合成画像記憶部から
一時合成画像を読み出し（ステップＣ１９）、その各画
像輝度を重み累積値記憶部から読み出した（ステップＣ
２０）各画素輝度毎の重み累積値で除算し、除算結果を
画素輝度とする最終的な合成画像を出力する（ステップ
Ｃ２１）。
【０１３４】一方、重ね合わせ処理が全て終了していな
い場合は、画像重ね合わせ手段を用いて、重み付け部分
画像記憶部から１フレーム分の重み付け部分画像
い場合は、画像重ね合わせ手段を用いて、重み付け部分
画像記憶部から１フレーム分の重み付け部分画像
【０１３５】
【外１１】
【０１３６】を読み出し(ステップＣ１４)、一時合成画
像記憶部から一つ前のフレームまで重ね合わせた一時合
成画像Ｊk-1（ｘ，ｙ）を読み出し（ステップＣ１
５）、位相差記憶手段から当該部分画像と前フレームの
部分画像の位相差ｘk，ｙkを読み出して（ステップＣ１
６）、重み付け部分画像
像記憶部から一つ前のフレームまで重ね合わせた一時合
成画像Ｊk-1（ｘ，ｙ）を読み出し（ステップＣ１
５）、位相差記憶手段から当該部分画像と前フレームの
部分画像の位相差ｘk，ｙkを読み出して（ステップＣ１
６）、重み付け部分画像
【０１３７】
【外１２】
【０１３８】と一時合成画像Ｊk-1（ｘ，ｙ）とを位相
差ｘk，ｙkにしたがって重ね合わせ、新たな一時合成画
像Ｊk（ｘ，ｙ）を生成する（ステップＣ１７）。ま
た、生成した一時合成画像Ｊk（ｘ，ｙ）の各画素毎の
重み累積値を計数し、重み累積値記憶に格納する（ステ
ップＣ１８）。
差ｘk，ｙkにしたがって重ね合わせ、新たな一時合成画
像Ｊk（ｘ，ｙ）を生成する（ステップＣ１７）。ま
た、生成した一時合成画像Ｊk（ｘ，ｙ）の各画素毎の
重み累積値を計数し、重み累積値記憶に格納する（ステ
ップＣ１８）。
【０１３９】本実施形態の画像合成方法では、部分画像
の画質または部分画像の局所的な画質を考慮して重み付
け処理を行うため、画質の良い部分画像あるいはその領
域を画像の合成に用いることができるため、合成画像の
画質を向上させることができる。
の画質または部分画像の局所的な画質を考慮して重み付
け処理を行うため、画質の良い部分画像あるいはその領
域を画像の合成に用いることができるため、合成画像の
画質を向上させることができる。
【０１４０】なお、本実施形態では処理装置に第２の実
施の形態と同様の位相差信頼度計算手段及び位相差信頼
度記憶部を有する場合で説明しているが、これらは無く
てもよい。その場合、画像重み付け手段１２ｂは部分画
像画質判定手段１６で判定された部分画像の画質あるい
は部分画像の局所的な画質の程度のみに基づいて重み関
数を設定し、重み付け処理を行う。
施の形態と同様の位相差信頼度計算手段及び位相差信頼
度記憶部を有する場合で説明しているが、これらは無く
てもよい。その場合、画像重み付け手段１２ｂは部分画
像画質判定手段１６で判定された部分画像の画質あるい
は部分画像の局所的な画質の程度のみに基づいて重み関
数を設定し、重み付け処理を行う。
【０１４１】（第４の実施の形態）次に本発明の画像合
成装置の第４の実施の形態について図面を参照して詳細
に説明する。
成装置の第４の実施の形態について図面を参照して詳細
に説明する。
【０１４２】図１０は本発明の画像合成装置の第４の実
施の形態の構成を示すブロック図である。
施の形態の構成を示すブロック図である。
【０１４３】図１０に示すように、本実施形態の画像合
成装置は、画像入力手段１０ａと、画像入力手段１０ａ
で撮像して得られる連続する複数の部分画像から一枚の
画像を合成するコンピュータ３と、コンピュータ３で合
成された合成画像を出力するための出力装置４とを有す
る構成である。
成装置は、画像入力手段１０ａと、画像入力手段１０ａ
で撮像して得られる連続する複数の部分画像から一枚の
画像を合成するコンピュータ３と、コンピュータ３で合
成された合成画像を出力するための出力装置４とを有す
る構成である。
【０１４４】コンピュータ３は、ＣＰＵ３１と、ＣＰＵ
３１の処理に必要な各種データを格納するための記憶装
置３２と、ＣＰＵ３１に所定の画像合成処理を実行させ
るための画像合成プログラムが記録された記録媒体３３
と、画像入力手段１０ａ及び出力装置４との間で画像デ
ータを送受信するためのＩ／Ｏ装置３４とを有し、ＣＰ
Ｕ３１、記憶装置３２、記録媒体３３、及びＩ／Ｏ装置
３４は、バス３５によってそれぞれ接続されている。
３１の処理に必要な各種データを格納するための記憶装
置３２と、ＣＰＵ３１に所定の画像合成処理を実行させ
るための画像合成プログラムが記録された記録媒体３３
と、画像入力手段１０ａ及び出力装置４との間で画像デ
ータを送受信するためのＩ／Ｏ装置３４とを有し、ＣＰ
Ｕ３１、記憶装置３２、記録媒体３３、及びＩ／Ｏ装置
３４は、バス３５によってそれぞれ接続されている。
【０１４５】ＣＰＵ３１は記録媒体３３に記録された画
像合成プログラムを読み出し、読み出した画像合成プロ
グラムにしたがって、上記第１の実施の形態〜第３の実
施の形態に記載された処理装置（画像入力手段を除く）
と同様の処理を実行する。なお、記録媒体３３は、磁気
ディスク、光ディスク、半導体メモリ及びその他の記録
装置であってもよい。
像合成プログラムを読み出し、読み出した画像合成プロ
グラムにしたがって、上記第１の実施の形態〜第３の実
施の形態に記載された処理装置（画像入力手段を除く）
と同様の処理を実行する。なお、記録媒体３３は、磁気
ディスク、光ディスク、半導体メモリ及びその他の記録
装置であってもよい。
【０１４６】本実施形態の構成でも、上記第１の実施の
形態〜第３の実施の形態と同様の効果を得ることができ
る。
形態〜第３の実施の形態と同様の効果を得ることができ
る。
【０１４７】
【実施例】次に本発明の画像合成方法及び画像合成装置
の実施例について説明する。なお、以下の各実施例は本
発明の画像合成方法及び画像合成装置を指紋入力装置に
適用した例である。
の実施例について説明する。なお、以下の各実施例は本
発明の画像合成方法及び画像合成装置を指紋入力装置に
適用した例である。
【０１４８】（第１実施例）本発明の指紋入力装置の第
１実施例について図面を参照して説明する。なお、第１
実施例は上述した第１の実施の形態に対応するものであ
る。
１実施例について図面を参照して説明する。なお、第１
実施例は上述した第１の実施の形態に対応するものであ
る。
【０１４９】第１実施例の指紋入力装置は、画像入力手
段として細長い矩形形状（３００×３０ピクセル）の指
紋センサを用い、画像位置合わせ手段で逐次法を用い、
画像重み付け手段で図１１及び以下の式で示す重み関数
ｗk（ｘ，ｙ）を用いるものとする。
段として細長い矩形形状（３００×３０ピクセル）の指
紋センサを用い、画像位置合わせ手段で逐次法を用い、
画像重み付け手段で図１１及び以下の式で示す重み関数
ｗk（ｘ，ｙ）を用いるものとする。
【０１５０】
【数１５】
【０１５１】また、記憶装置にはＲＡＭ（Random Acces
s Memory）を用いるものとする。
s Memory）を用いるものとする。
【０１５２】今、ユーザが画像入力手段であるバー状の
指紋センサに指を押捺しながら、指紋センサの長手方向
と垂直な方向に指を動かしたとする。指紋センサはユー
ザの指紋画像を連続して取得し部分画像として記憶装置
にそれぞれ格納する。
指紋センサに指を押捺しながら、指紋センサの長手方向
と垂直な方向に指を動かしたとする。指紋センサはユー
ザの指紋画像を連続して取得し部分画像として記憶装置
にそれぞれ格納する。
【０１５３】処理装置は、記憶装置に格納された指紋画
像の隣接するフレーム間の画像位置合わせを逐次法を用
いて行い、各フレーム間の位相差を算出してそれぞれ記
憶装置に格納する。
像の隣接するフレーム間の画像位置合わせを逐次法を用
いて行い、各フレーム間の位相差を算出してそれぞれ記
憶装置に格納する。
【０１５４】続いて、記憶装置に格納された各指紋画像
の中央ラインを上記重み関数を用いて強調するための重
み付け処理を行う。そして、中央ラインを強調した各指
紋画像（重み付け部分画像）をフレーム間の位相差に基
づいて逐次重ね合わせて一時合成画像を生成し、生成さ
れた一時合成画像を記憶装置に格納する。
の中央ラインを上記重み関数を用いて強調するための重
み付け処理を行う。そして、中央ラインを強調した各指
紋画像（重み付け部分画像）をフレーム間の位相差に基
づいて逐次重ね合わせて一時合成画像を生成し、生成さ
れた一時合成画像を記憶装置に格納する。
【０１５５】ここで、一時合成画像の重なっている領域
では、各フレーム毎に画素輝度が累積される。同時に、
重ね合わせて生成された一時合成画像の各画素毎の重み
の累積値が記憶装置に格納される。
では、各フレーム毎に画素輝度が累積される。同時に、
重ね合わせて生成された一時合成画像の各画素毎の重み
の累積値が記憶装置に格納される。
【０１５６】最後に、記憶装置に格納された一時合成画
像の各画素輝度を、同じく記憶装置に格納された各画素
の重み累積値で除算し、その除算結果を最終的な合成画
像の画素輝度として出力する。
像の各画素輝度を、同じく記憶装置に格納された各画素
の重み累積値で除算し、その除算結果を最終的な合成画
像の画素輝度として出力する。
【０１５７】第１実施例の指紋入力装置は、バー形状の
指紋センサを用いることでセンサ部の面積を小さくする
ことができるため、指紋入力装置の製造コストを低減す
ることができる。また、その形状とサイズを活かして、
指紋センサを携帯電話やＩＣカードに搭載することがで
きるため、ユーザの利便性を向上させることができる。
指紋センサを用いることでセンサ部の面積を小さくする
ことができるため、指紋入力装置の製造コストを低減す
ることができる。また、その形状とサイズを活かして、
指紋センサを携帯電話やＩＣカードに搭載することがで
きるため、ユーザの利便性を向上させることができる。
【０１５８】さらに、指紋センサの面積が小さくて良好
な画質の合成画像を生成することができるため、指紋認
証を高精度に行うことができる。
な画質の合成画像を生成することができるため、指紋認
証を高精度に行うことができる。
【０１５９】（第２実施例）次に本発明の指紋入力装置
の第２実施例について図面を参照して説明する。なお、
第２実施例は上述した第２の実施の形態に対応するもの
である。
の第２実施例について図面を参照して説明する。なお、
第２実施例は上述した第２の実施の形態に対応するもの
である。
【０１６０】第２実施例の指紋入力装置は、画像入力手
段として細長い矩形形状（３００×３０ピクセル）の指
紋センサを用い、画像位置合わせ手段で逐次法を用い、
画像重み付け手段は位相差ｘk，ｙkとその位相差におけ
る相関値ｃk（０≦ｃk≦２５５）をそれぞれ出力するも
のとする。
段として細長い矩形形状（３００×３０ピクセル）の指
紋センサを用い、画像位置合わせ手段で逐次法を用い、
画像重み付け手段は位相差ｘk，ｙkとその位相差におけ
る相関値ｃk（０≦ｃk≦２５５）をそれぞれ出力するも
のとする。
【０１６１】また、位相差信頼度計算手段は位相差信頼
度ｒkを以下の式を用いて算出する。
度ｒkを以下の式を用いて算出する。
【０１６２】
【数１６】
【０１６３】すなわち、相関値ｃkが小さい（相関が高
い）ほど、位相差信頼度ｒkの値は大きくなる。さら
に、画像重み付け手段は重み関数ｗk（ｘ，ｙ）として
以下の式を用いるものとする。
い）ほど、位相差信頼度ｒkの値は大きくなる。さら
に、画像重み付け手段は重み関数ｗk（ｘ，ｙ）として
以下の式を用いるものとする。
【０１６４】
【数１７】
【０１６５】ここで、σyは位相差信頼度ｒkによって定
まる値であり、以下の式で定義される。
まる値であり、以下の式で定義される。
【０１６６】
【数１８】
【０１６７】なお、部分画像記憶部、位相差記憶部、位
相差信頼度記憶部、重み付け画像記憶部、一時合成画像
記憶部、重み累積値記憶部を含む記憶装置にはＲＡＭを
用いるものとする。
相差信頼度記憶部、重み付け画像記憶部、一時合成画像
記憶部、重み累積値記憶部を含む記憶装置にはＲＡＭを
用いるものとする。
【０１６８】今、ユーザが画像入力手段であるバー状の
指紋センサに指を押捺しながら、指紋センサの長手方向
と垂直な方向に指を動かしたとする。指紋センサはユー
ザの指紋画像を連続して取得し部分画像として記憶装置
にそれぞれ格納する。
指紋センサに指を押捺しながら、指紋センサの長手方向
と垂直な方向に指を動かしたとする。指紋センサはユー
ザの指紋画像を連続して取得し部分画像として記憶装置
にそれぞれ格納する。
【０１６９】処理装置は、記憶装置に格納された指紋画
像の隣接するフレーム間の画像位置合わせを逐次法を用
いて行い、各フレーム間の位相差及び相関値を算出して
それぞれ記憶装置に格納する。
像の隣接するフレーム間の画像位置合わせを逐次法を用
いて行い、各フレーム間の位相差及び相関値を算出して
それぞれ記憶装置に格納する。
【０１７０】次に、記憶装置に格納されたフレーム間の
相関値に基づいて位相差信頼度を算出して記憶装置に格
納する。ここで、最も相関の高い相関値ｃk＝０のと
き、位相差信頼度はｒk＝２５５となる。
相関値に基づいて位相差信頼度を算出して記憶装置に格
納する。ここで、最も相関の高い相関値ｃk＝０のと
き、位相差信頼度はｒk＝２５５となる。
【０１７１】次に、記憶装置に格納されたフレーム間の
位相差信頼度に基づいて、各指紋画像へ与える重みを決
定する。例えば、最も位相差信頼度の高いｒk＝２５５
の場合σy＝１となり、重み関数ｗk（ｘ，ｙ）は図１２
に示すような１次元標準正規分布となる。
位相差信頼度に基づいて、各指紋画像へ与える重みを決
定する。例えば、最も位相差信頼度の高いｒk＝２５５
の場合σy＝１となり、重み関数ｗk（ｘ，ｙ）は図１２
に示すような１次元標準正規分布となる。
【０１７２】また、位相差信頼度の低いｒk＝２３０の
場合、σy＝３となり、図１３に示すように重み関数ｗk
（ｘ，ｙ）がより平坦化される。
場合、σy＝３となり、図１３に示すように重み関数ｗk
（ｘ，ｙ）がより平坦化される。
【０１７３】次に、記憶装置に格納された入力指紋画像
の中央ラインを上記の重み関数ｗk（ｘ，ｙ）に用いて
強調する。そして、中央ラインを強調した指紋画像を１
フレーム毎に、フレーム間の位相差に基づいて逐次重ね
合わせ、生成された一時合成画像を記憶装置に格納す
る。
の中央ラインを上記の重み関数ｗk（ｘ，ｙ）に用いて
強調する。そして、中央ラインを強調した指紋画像を１
フレーム毎に、フレーム間の位相差に基づいて逐次重ね
合わせ、生成された一時合成画像を記憶装置に格納す
る。
【０１７４】すなわち、一時合成画像の重なっている領
域では各フレーム毎に画素輝度が累積される。また、一
時合成画像の各画素毎の重みの累積値がそれぞれ記憶装
置に格納される。
域では各フレーム毎に画素輝度が累積される。また、一
時合成画像の各画素毎の重みの累積値がそれぞれ記憶装
置に格納される。
【０１７５】最後に、記憶装置に格納された一時合成画
像の各画素輝度を、同じく記憶装置に格納された各画素
の重み累積値で除算し、その除算結果を最終的な合成画
像の画素輝度として出力する。
像の各画素輝度を、同じく記憶装置に格納された各画素
の重み累積値で除算し、その除算結果を最終的な合成画
像の画素輝度として出力する。
【０１７６】第２実施例の指紋入力装置では、第１実施
例の効果に加えて得られた位相差の信頼度を相関値を用
いて決定し、その信頼度に基づいて重みを決定している
ため、画像の位置合わせ誤差や部分画像の局所的な歪み
等に柔軟に対応することができる。
例の効果に加えて得られた位相差の信頼度を相関値を用
いて決定し、その信頼度に基づいて重みを決定している
ため、画像の位置合わせ誤差や部分画像の局所的な歪み
等に柔軟に対応することができる。
【０１７７】（第３実施例）次に本発明の指紋入力装置
の第３実施例について図面を参照して説明する。なお、
第２実施例は上述した第３の実施の形態に対応するもの
である。
の第３実施例について図面を参照して説明する。なお、
第２実施例は上述した第３の実施の形態に対応するもの
である。
【０１７８】第３実施例の指紋入力装置は、第２実施例
の構成に加えて、部分画像画質判定手段として２次元フ
ーリエ変換を用い、部分画像画質記憶部としてＲＡＭを
用いるものである。
の構成に加えて、部分画像画質判定手段として２次元フ
ーリエ変換を用い、部分画像画質記憶部としてＲＡＭを
用いるものである。
【０１７９】今、ユーザが画像入力手段であるバー状の
指紋センサに指を押捺しながら、指紋センサの長手方向
と垂直な方向に指を動かしたとする。指紋センサはユー
ザの指紋画像を連続して取得し部分画像として記憶装置
にそれぞれ格納する。
指紋センサに指を押捺しながら、指紋センサの長手方向
と垂直な方向に指を動かしたとする。指紋センサはユー
ザの指紋画像を連続して取得し部分画像として記憶装置
にそれぞれ格納する。
【０１８０】処理装置は、記憶装置に格納された指紋画
像の隣接するフレーム間の画像位置合わせを逐次法を用
いて行い、各フレーム間の位相差及び相関値を算出して
それぞれ記憶装置に格納する。
像の隣接するフレーム間の画像位置合わせを逐次法を用
いて行い、各フレーム間の位相差及び相関値を算出して
それぞれ記憶装置に格納する。
【０１８１】次に、記憶装置に格納されたフレーム間の
相関値に基づいて位相差信頼度を算出して記憶装置に格
納する。また、部分画像を２次元フーリエ変換すること
で画質を判定し、画質の程度を記憶装置に格納する。
相関値に基づいて位相差信頼度を算出して記憶装置に格
納する。また、部分画像を２次元フーリエ変換すること
で画質を判定し、画質の程度を記憶装置に格納する。
【０１８２】撮像対象が指紋の場合、指紋の隆線はほぼ
周期的な縞模様を形成しており、その隆線間隔（以下、
隆線ピッチと呼ぶ）がほぼ一定である。そこで、入力画
像の指紋らしさを判定するために、予め隆線ピッチの上
限及び下限を決めておく。そして、部分画像を２次元フ
ーリエ変換することで画像の周波数ピッチを検出し、そ
の周波数ピッチが前述の指紋ピッチと判定できる閾値内
に収まっているか否かを調べ、その得られた周波数ピッ
チに基づいて部分画像の画質を判定する。
周期的な縞模様を形成しており、その隆線間隔（以下、
隆線ピッチと呼ぶ）がほぼ一定である。そこで、入力画
像の指紋らしさを判定するために、予め隆線ピッチの上
限及び下限を決めておく。そして、部分画像を２次元フ
ーリエ変換することで画像の周波数ピッチを検出し、そ
の周波数ピッチが前述の指紋ピッチと判定できる閾値内
に収まっているか否かを調べ、その得られた周波数ピッ
チに基づいて部分画像の画質を判定する。
【０１８３】次に、記憶装置に格納されたフレーム間の
位相差信頼度及び部分画像の画質にに基づいて各指紋画
像へ与える重みを決定する。例えば、入力画像の画質が
悪ければ（指紋らしくなければ）、重み関数ｗk（ｘ，
ｙ）＝０とし、その部分画像を画像合成に用いないよう
にする。
位相差信頼度及び部分画像の画質にに基づいて各指紋画
像へ与える重みを決定する。例えば、入力画像の画質が
悪ければ（指紋らしくなければ）、重み関数ｗk（ｘ，
ｙ）＝０とし、その部分画像を画像合成に用いないよう
にする。
【０１８４】次に、記憶装置に格納された入力指紋画像
の中央ラインを上記の重み関数ｗk（ｘ，ｙ）に用いて
強調する。そして、中央ラインを強調した指紋画像を１
フレーム毎に、フレーム間の位相差に基づいて逐次重ね
合わせ、生成された一時合成画像を記憶装置に格納す
る。
の中央ラインを上記の重み関数ｗk（ｘ，ｙ）に用いて
強調する。そして、中央ラインを強調した指紋画像を１
フレーム毎に、フレーム間の位相差に基づいて逐次重ね
合わせ、生成された一時合成画像を記憶装置に格納す
る。
【０１８５】すなわち、一時合成画像の重なっている領
域では、各フレーム毎に画素輝度が累積される。同時
に、重ね合わせて生成された一時合成画像の各画素毎の
重みの累積値がそれぞれ記憶装置に格納される。
域では、各フレーム毎に画素輝度が累積される。同時
に、重ね合わせて生成された一時合成画像の各画素毎の
重みの累積値がそれぞれ記憶装置に格納される。
【０１８６】最後に、記憶装置に格納された一時合成画
像の各画素輝度を、同じく記憶装置に格納された各画素
の重み累積値で除算し、その除算結果を最終的な合成画
像の画素輝度として出力する。
像の各画素輝度を、同じく記憶装置に格納された各画素
の重み累積値で除算し、その除算結果を最終的な合成画
像の画素輝度として出力する。
【０１８７】第３実施例の指紋入力装置では、部分画像
を２次元フーリエ変換することで指紋らしさを判定して
いるため、指紋入力時の指紋センサと指の接触不良によ
って起こる部分的な指紋の未取得を検知することが可能
であり、合成画像を生成する際に指紋の映っていない部
分画像を排除することが可能である。したがって、生成
する合成画像の画質を高めることができる。
を２次元フーリエ変換することで指紋らしさを判定して
いるため、指紋入力時の指紋センサと指の接触不良によ
って起こる部分的な指紋の未取得を検知することが可能
であり、合成画像を生成する際に指紋の映っていない部
分画像を排除することが可能である。したがって、生成
する合成画像の画質を高めることができる。
【０１８８】
【発明の効果】本発明は以上説明したように構成されて
いるので、以下に記載する効果を奏する。
いるので、以下に記載する効果を奏する。
【０１８９】部分画像にそれぞれ重みを付与して画像を
合成することで、部分画像の強く重み付けされた領域を
合成画像に強く反映させ、弱く重み付けされた領域を合
成画像に反映させないことができるため、画像位置合わ
せにおける位置合わせ誤差や画像の歪みを合成画像に反
映させないようにすることができる。
合成することで、部分画像の強く重み付けされた領域を
合成画像に強く反映させ、弱く重み付けされた領域を合
成画像に反映させないことができるため、画像位置合わ
せにおける位置合わせ誤差や画像の歪みを合成画像に反
映させないようにすることができる。
【０１９０】したがって、撮像対象の連続性が保たれる
と共に、良好な画質の合成画像を得ることができる。
と共に、良好な画質の合成画像を得ることができる。
【０１９１】また、位相差の信頼度に基づいて重みを決
定することで、画像の位置合わせ誤差や部分画像の局所
的な歪み等に柔軟に対応することができるため、合成画
像の画質をより向上させることができる。
定することで、画像の位置合わせ誤差や部分画像の局所
的な歪み等に柔軟に対応することができるため、合成画
像の画質をより向上させることができる。
【０１９２】さらに、部分画像の画質または部分画像の
局所的な画質を考慮して重みを決定することで、画質の
良い部分画像あるいはその領域を画像の合成に用いるこ
とができるため、合成画像の画質をより向上させること
ができる。
局所的な画質を考慮して重みを決定することで、画質の
良い部分画像あるいはその領域を画像の合成に用いるこ
とができるため、合成画像の画質をより向上させること
ができる。
【０１９３】また、指紋入力装置に、上記画像合成装置
とセンサ部に押し当てられて移動する指を撮像して得ら
れる指紋の複数の部分画像を出力する画像入力手段とを
有することで、センサ部の面積が小さくて良好な画質の
合成画像を生成することができるため、指紋認証を高精
度に行うことができる。
とセンサ部に押し当てられて移動する指を撮像して得ら
れる指紋の複数の部分画像を出力する画像入力手段とを
有することで、センサ部の面積が小さくて良好な画質の
合成画像を生成することができるため、指紋認証を高精
度に行うことができる。
【図１】本発明の画像合成装置の第１の実施の形態の構
成を示すブロック図である。
成を示すブロック図である。
【図２】図１に示した画像重み付け手段で用いられる重
み関数の一例を示す図であり、部分画像の形状とそれに
付与される重み関数の関係を示す平面図である。
み関数の一例を示す図であり、部分画像の形状とそれに
付与される重み関数の関係を示す平面図である。
【図３】図１に示した画像重ね合わせ手段で用いられる
画像重ね合わせの例を示す平面図である。
画像重ね合わせの例を示す平面図である。
【図４】図１に示した画像合成装置の処理手順を示すフ
ローチャートである。
ローチャートである。
【図５】本発明の画像合成装置の第２の実施の形態の構
成を示すブロック図である。
成を示すブロック図である。
【図６】図６は図５に示した画像合成装置の処理手順を
示すフローチャートである。
示すフローチャートである。
【図７】本発明の画像合成装置の第３の実施の形態の構
成を示すブロック図である。
成を示すブロック図である。
【図８】図７に示した画像合成装置の処理手順を示すフ
ローチャートである。
ローチャートである。
【図９】図７に示した画像合成装置の処理手順を示すフ
ローチャートである。
ローチャートである。
【図１０】本発明の画像合成装置の第４の実施の形態の
構成を示すブロック図である。
構成を示すブロック図である。
【図１１】本発明の指紋入力装置の第１実施例で用いる
重み関数の一例を示すグラフである。
重み関数の一例を示すグラフである。
【図１２】本発明の指紋入力装置の第２実施例で用いる
重み関数の一例を示す図であり、位相差信頼度が最も高
い場合の様子を示すグラフである。
重み関数の一例を示す図であり、位相差信頼度が最も高
い場合の様子を示すグラフである。
【図１３】本発明の指紋入力装置の第２実施例で用いる
重み関数の一例を示す図であり、位相差信頼度が低い場
合の様子を示すグラフである。
重み関数の一例を示す図であり、位相差信頼度が低い場
合の様子を示すグラフである。
１ 処理装置
２ 記憶装置
１０ 画像入力装置
１１、１１ａ 画像位置合わせ手段
１２、１２ａ、１２ｂ 画像重み付け手段
１３ 画像重ね合わせ手段
１４ 合成画像生成手段
１５ 位相差信頼度計算手段
１６ 部分画像画質判定手段
２０ 部分画像記憶部
２１ 位相差記憶部
２２ 重み付け部分画像記憶部
２３ 一時合成画像記憶部
２４ 重ね累積値記憶部
２５ 位相差信頼度記憶部
２６ 部分画像画質記憶部
Claims (20)
- 【請求項１】 一定方向に移動する物体を撮像して得ら
れる時間的に連続した複数の部分画像から、それらを合
成した合成画像を生成するための画像合成方法であっ
て、 前記複数の部分画像のうち、隣接する二つの部分画像の
空間的な位置ずれ量である位相差をそれぞれ求め、 前記部分画像のどの領域を前記合成画像にどの程度反映
させるかを示す重みを前記部分画像に対してそれぞれ付
与し、 重み付けされた部分画像を対応する位相差にしたがって
それぞれ重ね合わせて合成途中の画像である一時合成画
像を生成すると共に、前記一時合成画像の各画素毎の重
みの累積値を計数し、 前記一時合成画像の各画素の輝度を各々の重みの累積値
で除算し、該除算結果の輝度を備えた前記合成画像を出
力する画像合成方法。 - 【請求項２】 隣接する二つの部分画像を重ね合わせた
時の一致度を示す相関値に基づいて前記位相差の信頼度
を設定し、 該位相差の信頼度に基づいて前記部分画像に対してそれ
ぞれ前記重みを付与する請求項１記載の画像合成方法。 - 【請求項３】 前記部分画像の画質、または該部分画像
の局所的な画質の少なくとも一方を判定し、 該画質の判定結果に基づいて前記部分画像に対してそれ
ぞれ前記重みを付与する請求項１記載の画像合成方法。 - 【請求項４】 隣接する二つの部分画像を重ね合わせた
時の一致度を示す相関値に基づいて前記位相差の信頼度
を算出し、 前記部分画像の画質、または該部分画像の局所的な画質
の少なくとも一方を判定し、 該位相差の信頼度及び該画質の判定結果に基づいて前記
部分画像に対してそれぞれ前記重みを付与する請求項１
記載の画像合成方法。 - 【請求項５】 隣接する二つの部分画像を複数の画像領
域にそれぞれ分割し、 該二つの部分画像を重ね合わせた時の一致度を示す相関
値を該画像領域毎にそれぞれ算出し、 該相関値に基づいて部分画像の局所的な画質を判定する
請求項３または４記載の画像合成方法。 - 【請求項６】 前記合成画像に最も強く反映させる部位
にピークを持つ正規分布の密度関数を重みとして用いる
請求項１乃至５のいずれか１項記載の画像合成方法。 - 【請求項７】 一定方向に移動する物体を撮像して得ら
れる時間的に連続した複数の部分画像から、それらを合
成した合成画像を生成する画像合成装置であって、 前記複数の部分画像のうち、隣接する二つの部分画像の
空間的な位置ずれ量である位相差をそれぞれ求める画像
位置合わせ手段と、 前記部分画像のどの領域を前記合成画像にどの程度反映
させるかを示す重みを前記部分画像に対してそれぞれ付
与する画像重み付け手段と、 重み付けされた部分画像を前記画像位置合わせ手段で求
めた対応する位相差にしたがってそれぞれ重ね合わせて
合成途中の画像である一時合成画像を生成すると共に、
前記一時合成画像の各画素毎の重みの累積値を計数する
画像重ね合わせ手段と、 前記一時合成画像の各画素の輝度を各々の重みの累積値
で除算し、該除算結果の輝度を備えた前記合成画像を出
力する合成画像生成手段と、 を有する画像合成装置。 - 【請求項８】 隣接する二つの部分画像を重ね合わせた
時の一致度を示す相関値に基づいて前記画像位置合わせ
手段で求めた前記位相差の信頼度を設定し、前記画像重
み付け手段に出力する位相差信頼度計算手段を有し、 前記画像位置合わせ手段は前記相関値を算出して前記位
相差信頼度計算手段に送出し、 前記画像重み付け手段は前記位相差信頼度計算手段で算
出された前記位相差の信頼度に基づいて前記部分画像に
対してそれぞれ前記重みを付与する請求項７記載の画像
合成装置。 - 【請求項９】 前記部分画像の画質、または該部分画像
の局所的な画質の少なくとも一方を判定する部分画像画
質判定手段を有し、 前記画像重み付け手段は前記部分画像画質判定手段の画
質判定結果に基づいて前記部分画像に対してそれぞれ前
記重みを付与する請求項７記載の画像合成装置。 - 【請求項１０】 隣接する二つの部分画像を重ね合わせ
た時の一致度を示す相関値に基づいて前記画像位置合わ
せ手段で求めた前記位相差の信頼度を算出し、前記画像
重み付け手段に出力する位相差信頼度計算手段と、 前記部分画像の画質、または該部分画像の局所的な画質
の少なくとも一方を判定する部分画像画質判定手段とを
有し、 前記画像重み付け手段は前記位相差信頼度計算手段で算
出された前記位相差の信頼度及び前記部分画像画質判定
手段の画質判定結果に基づいて前記部分画像に対してそ
れぞれ前記重みを付与する請求項７記載の画像合成装
置。 - 【請求項１１】 前記部分画像画質判定手段は、 隣接する二つの部分画像を複数の画像領域にそれぞれ分
割し、該二つの部分画像を重ね合わせた時の一致度を示
す相関値を該画像領域毎にそれぞれ算出し、該相関値に
基づいて部分画像の局所的な画質を判定する請求項９ま
たは１０記載の画像合成装置。 - 【請求項１２】 前記重みは、 前記合成画像に最も強く反映させる部位にピークを持つ
正規分布の密度関数である請求項７乃至１１のいずれか
１項記載の画像合成装置。 - 【請求項１３】 一定方向に移動する物体を撮像して得
られる時間的に連続した複数の部分画像から、コンピュ
ータにそれらを合成した合成画像を生成させるためのプ
ログラムが記録された記録媒体であって、 前記複数の部分画像のうち、隣接する二つの部分画像の
空間的な位置ずれ量である位相差をそれぞれ算出させ、 前記部分画像のどの領域を前記合成画像にどの程度反映
させるかを示す重みを前記部分画像に対してそれぞれ付
与させ、 重み付けされた部分画像を対応する位相差にしたがって
それぞれ重ね合わせて合成途中の画像である一時合成画
像を生成すると共に、前記一時合成画像の各画素毎の重
みの累積値を計数させ、 前記一時合成画像の各画素の輝度を各々の重みの累積値
で除算し、該除算結果の輝度を備えた前記合成画像を出
力させるためのプログラムが記録された記録媒体。 - 【請求項１４】 隣接する二つの部分画像を重ね合わせ
た時の一致度を示す相関値に基づいて前記位相差の信頼
度を設定させ、 該位相差の信頼度に基づいて前記部分画像に対してそれ
ぞれ前記重みを付与させるためのプログラムが記録され
た請求項１３記載の記録媒体。 - 【請求項１５】 前記部分画像の画質、または該部分画
像の局所的な画質の少なくとも一方を判定させ、 該画質の判定結果に基づいて前記部分画像に対してそれ
ぞれ前記重みを付与させるためのプログラムが記録され
た請求項１３記載の記録媒体。 - 【請求項１６】 隣接する二つの部分画像を重ね合わせ
た時の一致度を示す相関値に基づいて前記位相差の信頼
度を算出させ、 前記部分画像の画質、または該部分画像の局所的な画質
の少なくとも一方を判定させ、 該位相差の信頼度及び該画質の判定結果に基づいて前記
部分画像に対してそれぞれ前記重みを付与させるための
プログラムが記録された請求項１３記載の記録媒体。 - 【請求項１７】 隣接する二つの部分画像を複数の画像
領域にそれぞれ分割させ、該二つの部分画像を重ね合わ
せた時の一致度を示す相関値を該画像領域毎にそれぞれ
算出させ、該相関値に基づいて部分画像の局所的な画質
を判定させるためのプログラムが記録された請求項１５
または１６記載の記録媒体。 - 【請求項１８】 前記合成画像に最も強く反映させる部
位にピークを持つ正規分布の密度関数を重みとして用い
るためのプログラムが記録された請求項１３乃至１７の
いずれか１項記載の記録媒体。 - 【請求項１９】 請求項７乃至１２のいずれか１項記載
の画像合成装置と、センサ部に押し当てられて移動する
指を撮像して得られる指紋の前記複数の部分画像を出力
する画像入力手段と、 を有する指紋入力装置。 - 【請求項２０】 前記画像入力手段は、 細長い矩形形状のセンサ部を有する請求項１９記載の指
紋入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35630099A JP3536908B2 (ja) | 1999-12-15 | 1999-12-15 | 画像合成方法、画像合成装置、記録媒体、及び指紋入力装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35630099A JP3536908B2 (ja) | 1999-12-15 | 1999-12-15 | 画像合成方法、画像合成装置、記録媒体、及び指紋入力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001177714A JP2001177714A (ja) | 2001-06-29 |
| JP3536908B2 true JP3536908B2 (ja) | 2004-06-14 |
Family
ID=18448350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35630099A Expired - Fee Related JP3536908B2 (ja) | 1999-12-15 | 1999-12-15 | 画像合成方法、画像合成装置、記録媒体、及び指紋入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3536908B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003203229A (ja) * | 2002-01-08 | 2003-07-18 | Canon Inc | 画像処理装置、画像処理方法、記憶媒体、及びプログラム |
| JP3902473B2 (ja) * | 2002-01-17 | 2007-04-04 | 富士通株式会社 | 生体情報を用いた本人認証方法 |
| JP4169185B2 (ja) | 2002-02-25 | 2008-10-22 | 富士通株式会社 | 画像連結方法、プログラム及び装置 |
| US7729563B2 (en) | 2002-08-28 | 2010-06-01 | Fujifilm Corporation | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
| DE60238281D1 (de) * | 2002-09-17 | 2010-12-23 | Fujitsu Ltd | Gerät zur aufzeichnung biologischer informationen und biologische informationen benutzendes berechtigungsgerät |
| JP4454335B2 (ja) | 2004-02-12 | 2010-04-21 | Ｎｅｃインフロンティア株式会社 | 指紋入力装置 |
| JP4459137B2 (ja) * | 2005-09-07 | 2010-04-28 | 株式会社東芝 | 画像処理装置及びその方法 |
| JP4427039B2 (ja) * | 2006-08-18 | 2010-03-03 | 富士通株式会社 | 生体情報取得装置および生体情報による認証装置 |
| US20090175539A1 (en) * | 2008-01-09 | 2009-07-09 | Authorizer Technologies, Inc. | Method and system for swipe sensor image alignment using fourier phase analysis |
| JP2009187429A (ja) * | 2008-02-08 | 2009-08-20 | Oki Semiconductor Co Ltd | 画像処理装置と画像処理方法 |
| US8634604B2 (en) | 2008-05-05 | 2014-01-21 | Sonavation, Inc. | Method and system for enhanced image alignment |
| JP5053177B2 (ja) * | 2008-05-23 | 2012-10-17 | ラピスセミコンダクタ株式会社 | 画像処理装置 |
| KR101030435B1 (ko) | 2009-08-07 | 2011-04-20 | 포항공과대학교 산학협력단 | 시차와 움직이는 물체가 있는 영상에 대한 실시간 모자익 영상 생성 방법 |
| US8253985B2 (en) * | 2011-01-27 | 2012-08-28 | Seiko Epson Corporation | Image registration parameters and confidence estimation from sensor data |
-
1999
- 1999-12-15 JP JP35630099A patent/JP3536908B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001177714A (ja) | 2001-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3536908B2 (ja) | 画像合成方法、画像合成装置、記録媒体、及び指紋入力装置 | |
| EP2128817B1 (en) | Image reading device, image reading program, and image reading method | |
| US7697735B2 (en) | Image based multi-biometric system and method | |
| US7760922B2 (en) | Fingerprint reading method for a sweep-type fingerprint sensor, fingerprint reading system and program | |
| US8224043B2 (en) | Fingerprint image acquiring device, fingerprint authenticating apparatus, fingerprint image acquiring method, and fingerprint authenticating method | |
| Kose et al. | Reflectance analysis based countermeasure technique to detect face mask attacks | |
| JP2004110438A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2014505952A (ja) | 画像品質の評価 | |
| US6961449B2 (en) | Method of correlation of images in biometric applications | |
| US11544926B2 (en) | Image processing apparatus, method of processing image, and storage medium | |
| WO2019228471A1 (zh) | 指纹识别方法、设备及计算机可读存储介质 | |
| KR100347058B1 (ko) | 얼굴 촬영/인식방법 | |
| JP4426029B2 (ja) | 画像照合方法および装置 | |
| CN110992393B (zh) | 一种基于视觉的目标运动跟踪方法 | |
| JP5025713B2 (ja) | 属性識別装置、および属性識別プログラム | |
| JP2004185386A (ja) | 画像照合装置 | |
| Zhou et al. | Orientation analysis for rotated human face detection | |
| JP2006277146A (ja) | 照合方法および照合装置 | |
| Hizem et al. | Face recognition from synchronised visible and near-infrared images | |
| Verlekar et al. | Walking direction identification using perceptual hashing | |
| JP2002208011A (ja) | 画像照合処理システムおよび画像照合方法 | |
| JP3401511B2 (ja) | 画像の特徴点の抽出方法、およびコンピュータに当該画像の特徴点の抽出方法を実行させるためのプログラム記録した、コンピュータ読取可能な記録媒体ならびに画像特徴点抽出装置 | |
| US8358803B2 (en) | Navigation using fourier phase technique | |
| JP2006209364A (ja) | 画像取得方法および装置、ならびに照合方法および装置 | |
| Smith et al. | Contactless robust 3D palm-print identification using photometric stereo |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040309 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080326 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090326 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090326 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100326 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100326 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110326 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110326 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120326 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120326 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140326 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |