JPH10320537A

JPH10320537A - 画像合成装置、画像合成方法および記憶媒体

Info

Publication number: JPH10320537A
Application number: JP9142953A
Authority: JP
Inventors: Tatsushi Katayama; 達嗣片山; Kotaro Yano; 光太郎矢野; Kenji Hatori; 健司羽鳥; Hideo Takiguchi; 英夫滝口
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-05-19
Filing date: 1997-05-19
Publication date: 1998-12-04
Anticipated expiration: 2017-05-19
Also published as: JP4006056B2

Abstract

(57)【要約】【課題】合成する複数の画像中の隣接する画像間の位
置合せおよび階調合せを高精度に実行することができ、
高品質の合成画像を得ることができる画像合成装置を提
供する。【解決手段】画像合成装置では、画像選択部１０３に
より入力された複数の画像の中の互いに隣接する２つの
画像が選択され、隣接画像パラメータ生成部１０４によ
り、選択した２つの画像間の位置合せのための座標変換
パラメータ生成処理および入力された２つの画像間の階
調合せのための階調変換パラメータ生成処理が行われ
る。各座標変換パラメータおよび各階調変換パラメータ
には、全画像調整部１０５で各画像間のつなぎ目位置お
よび階調が整合するように最適化処理が施され、最適化
処理により処理された座標変換パラメータおよび階調変
換パラメータに基づき入力した複数の画像が合成され
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、互いに重複する領
域部分を有する複数の画像を合成する画像合成装置、画
像合成方法および画像合成システムを構築するためのプ
ログラムを格納した記憶媒体に関する。

【０００２】

【従来の技術】従来、被写体を互いに重複する領域部分
を有する複数の画像に分割して撮像し、この撮像された
複数の画像を合成してパノラマまたは高精細な画像を生
成する際には、複数の画像の中の隣接する画像間のつな
ぎ目が整合するように、各画像の回転、倍率補正、並進
などの画像操作により各画像を合成する手法が用いられ
ている。

【０００３】

【発明が解決しようとする課題】しかし、上述した従来
の画像合成手法では、隣接する画像間のつなぎ目の整合
性すなわち隣接する画像間のつなぎ目の位置合せを考慮
するのみであり、合成する各画像に対する整合性を調整
していないから、各隣接する画像間の中である隣接する
画像間のつなぎ目を整合させることすなわちつなぎ目の
位置合せを行うことができない場合がある。例えば、図
１６（ａ）に示すように、互いに重複する領域部分を有
する複数の画像３００，３０１，３０２，３０３を合成
する場合、各画像３００，３０１，３０２，３０３間の
つなぎ目が整合するように、各画像３００，３０１，３
０２，３０３に対し回転、倍率補正、並進などの画像操
作が行われる。しかし、図１６（ｂ）に示すように、こ
れらの画像操作により画像３００−画像３０１、画像３
００−画像３０２、画像３０１−画像３０３間のつなぎ
目は整合されるが、画像３０２−画像３０３間のつなぎ
目の整合性を取ることができないことがあり、このつな
ぎ目の不整合により領域６５０に見られるように画像３
０２−画像３０３間の重複部分の画像の位置ずれが生じ
る。

【０００４】また、つなぎ目が整合しない隣接画像間の
数が増すと、つなぎ目が整合しない部分すなわち位置ず
れが生じた画像が目立ち、合成画像の品質が著しく低下
することになる。

【０００５】さらに、従来の画像合成手法では、隣接す
る画像間に大きな輝度または色の差があるときには、隣
接する画像間の輝度または色に対する整合性を取るすな
わち階調合せを行うことができないから、輝度または色
むらが生じた画像部分を含む合成画像が生成されること
になり、高品質の合成画像を得ることはできない。

【０００６】本発明の第１の目的は、合成する複数の画
像中の隣接する画像間の位置合せおよび階調合せを高精
度に実行することができ、高品質の合成画像を得ること
ができる画像合成装置、画像合成方法および記憶媒体を
提供することにある。

【０００７】本発明の第２の目的は、２次元平面上に配
置された任意の枚数の画像を効率良く高精度かつ高速に
合成することができ、高品質の合成画像を得ることがで
きる画像合成装置、画像合成方法および記憶媒体を提供
することにある。

【０００８】本発明の第３の目的は、合成する複数の画
像中の隣接する画像間の位置合せを高精度に実行するこ
とができる画像合成装置、画像合成方法および記憶媒体
を提供することにある。

【０００９】本発明の第４の目的は、合成する複数の画
像中の隣接する画像間の階調合せを高精度に実行するこ
とができる画像合成装置、画像合成方法および記憶媒体
を提供することにある。

【００１０】本発明の第５の目的は、２次元平面上に配
置された任意の枚数の画像中の隣接する画像間の位置合
せを効率良く高精度に実行することができる画像合成装
置、画像合成方法および記憶媒体を提供することにあ
る。

【００１１】本発明の第６の目的は、２次元平面上に配
置された任意の枚数の画像中の隣接する画像間の階調合
せを効率良く高精度に実行することができる画像合成装
置、画像合成方法および記憶媒体を提供することにあ
る。

【００１２】

【課題を解決するための手段】請求項１記載の発明は、
互いに重複する領域部分を有する複数の画像を合成する
画像合成装置において、互いに隣接する画像間の対応点
座標に基づき座標変換パラメータを生成する座標変換パ
ラメータ生成手段と、前記互いに隣接する画像間の対応
する領域の画素値に基づき階調変換パラメータを生成す
る階調変換パラメータ生成手段と、前記対応点座標およ
び前記対応する領域の画素値に基づき前記座標変換パラ
メータおよび前記階調変換パラメータを補正する補正手
段と、前記補正した座標変換パラメータおよび階調変換
パラメータに基づき前記複数の画像を合成する合成手段
とを備えることを特徴とする。

【００１３】請求項２記載の発明は、互いに重複する領
域部分を有する複数の画像を合成する画像合成装置にお
いて、互いに隣接する画像間の対応点座標に基づき座標
変換パラメータを生成する座標変換パラメータ生成手段
と、前記互いに隣接する画像間の対応する領域の画素値
に基づき階調変換パラメータを生成する階調変換パラメ
ータ生成手段と、前記複数の画像の配置に応じて該複数
の画像から所定枚数の画像からなる複数の組合せを選択
する選択手段と、前記選択した各組合せ毎にその組合せ
に属する画像および該画像の前記対応点座標および前記
対応する領域の画素値に基づき前記座標変換パラメータ
および前記階調変換パラメータを補正する補正手段と、
前記選択した各組合せ毎にその補正した座標変換パラメ
ータおよび階調変換パラメータを統合する統合手段と、
前記統合した座標変換パラメータおよび階調変換パラメ
ータに基づき前記複数の画像を合成する合成手段とを備
えることを特徴とする。

【００１４】請求項３記載の発明は、請求項２記載の画
像合成装置において、前記所定枚数の画像の組合せは、
縦、横それぞれｍ枚の組合せからなることを特徴とす
る。

【００１５】請求項４記載の発明は、互いに重複する領
域部分を有する複数の画像を合成する画像合成装置にお
いて、互いに隣接する画像間の対応点座標に基づき座標
変換パラメータを生成する座標変換パラメータ生成手段
と、前記対応点座標に基づき前記座標変換パラメータを
補正する補正手段と、前記補正した座標変換パラメータ
に基づき前記複数の画像を合成する合成手段とを備える
ことを特徴とする。

【００１６】請求項５記載の発明は、互いに重複する領
域部分を有する複数の画像を合成する画像合成装置にお
いて、互いに隣接する画像間の対応点座標に基づき座標
変換パラメータを生成する座標変換パラメータ生成手段
と、前記互いに隣接する画像間の対応する領域の画素値
に基づき階調変換パラメータを生成する階調変換パラメ
ータ生成手段と、前記対応する領域の画素値に基づき前
記階調変換パラメータを補正する補正手段と、前記座標
変換パラメータおよび前記補正した階調変換パラメータ
に基づき前記複数の画像を合成する合成手段とを備える
ことを特徴とする。

【００１７】請求項６記載の発明は、互いに重複する領
域部分を有する複数の画像を合成する画像合成装置にお
いて、互いに隣接する画像間の対応点座標に基づき座標
変換パラメータを生成する座標変換パラメータ生成手段
と、前記複数の画像の配置に応じて該複数の画像から所
定枚数の画像からなる複数の組合せを選択する選択手段
と、前記選択した各組合せ毎にその組合せに属する画像
および該画像の前記対応点座標に基づき前記座標変換パ
ラメータを補正する補正手段と、前記選択した各組合せ
毎にその補正した座標変換パラメータを統合する統合手
段と、前記統合した座標変換パラメータに基づき前記複
数の画像を合成する合成手段とを備えることを特徴とす
る。

【００１８】請求項７記載の発明は、請求項６記載の画
像合成装置において、前記所定枚数の画像の組合せは、
縦、横それぞれｍ枚の組合せからなることを特徴とす
る。

【００１９】請求項８記載の発明は、互いに重複する領
域部分を有する複数の画像を合成する画像合成装置にお
いて、互いに隣接する画像間の対応点座標に基づき座標
変換パラメータを生成する座標変換パラメータ生成手段
と、前記互いに隣接する画像間の対応する領域の画素値
に基づき階調変換パラメータを生成する階調変換パラメ
ータ生成手段と、前記複数の画像の配置に応じて該複数
の画像から所定枚数の画像からなる複数の組合せを選択
する選択手段と、前記選択した各組合せ毎にその組合せ
に属する画像および該画像の前記対応する領域の画素値
に基づき前記階調変換パラメータを補正する補正手段
と、前記選択した各組合せ毎にその補正した階調変換パ
ラメータを統合する統合手段と、前記座標変換パラメー
タおよび前記統合した階調変換パラメータに基づき前記
複数の画像を合成する合成手段とを備えることを特徴と
する。

【００２０】請求項９記載の発明は、請求項８記載の画
像合成装置において、前記所定枚数の画像の組合せは、
縦、横それぞれｍ枚の組合せからなることを特徴とす
る。

【００２１】請求項１０記載の発明は、互いに重複する
領域部分を有する複数の画像を合成する画像合成方法に
おいて、互いに隣接する画像間の対応点座標に基づき座
標変換パラメータを生成する工程と、前記互いに隣接す
る画像間の対応する領域の画素値に基づき階調変換パラ
メータを生成する工程と、前記対応点座標および前記対
応する領域の画素値に基づき前記座標変換パラメータお
よび前記階調変換パラメータを補正する工程と、前記補
正した座標変換パラメータおよび階調変換パラメータに
基づき前記複数の画像を合成する工程とを含むことを特
徴とする。

【００２２】請求項１１記載の発明は、互いに重複する
領域部分を有する複数の画像を合成する画像合成方法に
おいて、互いに隣接する画像間の対応点座標に基づき座
標変換パラメータを生成する工程と、前記互いに隣接す
る画像間の対応する領域の画素値に基づき階調変換パラ
メータを生成する工程と、前記複数の画像の配置に応じ
て該複数の画像から所定枚数の画像からなる複数の組合
せを選択する工程と、前記選択した各組合せ毎にその組
合せに属する画像および該画像の前記対応点座標および
前記対応する領域の画素値に基づき前記座標変換パラメ
ータおよび前記階調変換パラメータを補正する工程と、
前記選択した各組合せ毎にその補正した座標変換パラメ
ータおよび階調変換パラメータを統合する工程と、前記
統合した座標変換パラメータおよび階調変換パラメータ
に基づき前記複数の画像を合成する工程とを含むことを
特徴とする。

【００２３】請求項１２記載の発明は、互いに重複する
領域部分を有する複数の画像を合成する画像合成方法に
おいて、互いに隣接する画像間の対応点座標に基づき座
標変換パラメータを生成する工程と、前記対応点座標に
基づき前記座標変換パラメータを補正する工程と、前記
補正した座標変換パラメータに基づき前記複数の画像を
合成する工程とを含むことを特徴とする。

【００２４】請求項１３記載の発明は、互いに重複する
領域部分を有する複数の画像を合成する画像合成方法に
おいて、互いに隣接する画像間の対応点座標に基づき座
標変換パラメータを生成する工程と、前記互いに隣接す
る画像間の対応する領域の画素値に基づき階調変換パラ
メータを生成する工程と、前記対応する領域の画素値に
基づき前記階調変換パラメータを補正する工程と、前記
座標変換パラメータおよび前記補正した階調変換パラメ
ータに基づき前記複数の画像を合成する工程とを含むこ
とを特徴とする。

【００２５】請求項１４記載の発明は、互いに重複する
領域部分を有する複数の画像を合成する画像合成方法に
おいて、互いに隣接する画像間の対応点座標に基づき座
標変換パラメータを生成する工程と、前記複数の画像の
配置に応じて該複数の画像から所定枚数の画像からなる
複数の組合せを選択する工程と、前記選択した各組合せ
毎にその組合せに属する画像および該画像の前記対応点
座標に基づき前記座標変換パラメータを補正する工程
と、前記選択した各組合せ毎にその補正した座標変換パ
ラメータを統合する工程と、前記統合した座標変換パラ
メータに基づき前記複数の画像を合成する工程とを含む
ことを特徴とする。

【００２６】請求項１５記載の発明は、互いに重複する
領域部分を有する複数の画像を合成する画像合成方法に
おいて、互いに隣接する画像間の対応点座標に基づき座
標変換パラメータを生成する工程と、前記互いに隣接す
る画像間の対応する領域の画素値に基づき階調変換パラ
メータを生成する工程と、前記複数の画像の配置に応じ
て該複数の画像から所定枚数の画像からなる複数の組合
せを選択する工程と、前記選択した各組合せ毎にその組
合せに属する画像および該画像の前記対応する領域の画
素値に基づき前記階調変換パラメータを補正する工程
と、前記選択した各組合せ毎にその補正した階調変換パ
ラメータを統合する工程と、前記座標変換パラメータお
よび前記統合した階調変換パラメータに基づき前記複数
の画像を合成する工程とを含むことを特徴とする。

【００２７】請求項１６記載の発明は、互いに重複する
領域部分を有する複数の画像を合成する画像合成システ
ムを構築するためのプログラムを格納した記憶媒体にお
いて、前記プログラムは、互いに隣接する画像間の対応
点座標に基づき座標変換パラメータを生成する座標変換
パラメータ生成モジュールと、前記互いに隣接する画像
間の対応する領域の画素値に基づき階調変換パラメータ
を生成する階調変換パラメータ生成モジュールと、前記
対応点座標および前記対応する領域の画素値に基づき前
記座標変換パラメータおよび前記階調変換パラメータを
補正する補正モジュールと、前記補正した座標変換パラ
メータおよび階調変換パラメータに基づき前記複数の画
像を合成する合成モジュールとを含むことを特徴とす
る。

【００２８】請求項１７記載の発明は、互いに重複する
領域部分を有する複数の画像を合成する画像合成システ
ムを構築するためのプログラムを格納した記憶媒体にお
いて、前記プログラムは、互いに隣接する画像間の対応
点座標に基づき座標変換パラメータを生成する座標変換
パラメータ生成モジュールと、前記互いに隣接する画像
間の対応する領域の画素値に基づき階調変換パラメータ
を生成する階調変換パラメータ生成モジュールと、前記
複数の画像の配置に応じて該複数の画像から所定枚数の
画像からなる複数の組合せを選択する選択モジュール
と、前記選択した各組合せ毎にその組合せに属する画像
および該画像の前記対応点座標および前記対応する領域
の画素値に基づき前記座標変換パラメータおよび前記階
調変換パラメータを補正する補正モジュールと、前記選
択した各組合せ毎にその補正した座標変換パラメータお
よび階調変換パラメータを統合する統合モジュールと、
前記統合した座標変換パラメータおよび階調変換パラメ
ータに基づき前記複数の画像を合成する合成モジュール
とを含むことを特徴とする。

【００２９】請求項１８記載の発明は、互いに重複する
領域部分を有する複数の画像を合成する画像合成システ
ムを構築するためのプログラムを格納した記憶媒体にお
いて、前記プログラムは、互いに隣接する画像間の対応
点座標に基づき座標変換パラメータを生成する座標変換
パラメータ生成モジュールと、前記対応点座標に基づき
前記座標変換パラメータを補正する補正モジュールと、
前記補正した座標変換パラメータに基づき前記複数の画
像を合成する合成モジュールとを含むことを特徴とす
る。

【００３０】請求項１９記載の発明は、互いに重複する
領域部分を有する複数の画像を合成する画像合成システ
ムを構築するためのプログラムを格納した記憶媒体にお
いて、互いに隣接する画像間の対応点座標に基づき座標
変換パラメータを生成する座標変換パラメータ生成モジ
ュールと、前記互いに隣接する画像間の対応する領域の
画素値に基づき階調変換パラメータを生成する階調変換
パラメータ生成モジュールと、前記対応する領域の画素
値に基づき前記階調変換パラメータを補正する補正モジ
ュールと、前記座標変換パラメータおよび前記補正した
階調変換パラメータに基づき前記複数の画像を合成する
合成モジュールとを含むことを特徴とする。

【００３１】請求項２０記載の発明は、互いに重複する
領域部分を有する複数の画像を合成する画像合成システ
ムを構築するためのプログラムを格納した記憶媒体にお
いて、前記プログラムは、互いに隣接する画像間の対応
点座標に基づき座標変換パラメータを生成する座標変換
パラメータ生成モジュールと、前記複数の画像の配置に
応じて該複数の画像から所定枚数の画像からなる複数の
組合せを選択する選択モジュールと、前記選択した各組
合せ毎にその組合せに属する画像および該画像の前記対
応点座標に基づき前記座標変換パラメータを補正する補
正モジュールと、前記選択した各組合せ毎にその補正し
た座標変換パラメータを統合する統合モジュールと、前
記統合した座標変換パラメータに基づき前記複数の画像
を合成する合成モジュールとを含むことを特徴とする。

【００３２】請求項２１記載の発明は、互いに重複する
領域部分を有する複数の画像を合成する画像合成システ
ムを構築するためのプログラムを格納した記憶媒体にお
いて、互いに隣接する画像間の対応点座標に基づき座標
変換パラメータを生成する座標変換パラメータ生成モジ
ュールと、前記互いに隣接する画像間の対応する領域の
画素値に基づき階調変換パラメータを生成する階調変換
パラメータ生成モジュールと、前記複数の画像の配置に
応じて該複数の画像から所定枚数の画像からなる複数の
組合せを選択する選択モジュールと、前記選択した各組
合せ毎にその組合せに属する画像および該画像の前記対
応する領域の画素値に基づき前記階調変換パラメータを
補正する補正モジュールと、前記選択した各組合せ毎に
その補正した階調変換パラメータを統合する統合モジュ
ールと、前記座標変換パラメータおよび前記統合した階
調変換パラメータに基づき前記複数の画像を合成する合
成モジュールとを含むことを特徴とする。

【００３３】

【発明の実施の形態】以下に本発明の実施の形態につい
て図を参照しながら説明する。

【００３４】（実施の第１形態）図１は本発明の画像合
成装置の実施の第１形態の基本構成を示すブロック図で
ある。

【００３５】画像合成装置は、図１に示すように、複数
の画像を入力するための画像入力部１０１を備える。画
像入力部１０１に入力される複数の画像は、１つの被写
体を分割撮影することによって得られた、互いに重複す
る領域を有する複数の画像などである。画像入力部１０
１に入力された複数の画像はメモリ１０２に保持され、
メモリ１０２は、前記複数の画像とともに、後述する座
標変換パラメータなど、前記複数の画像を合成する際に
必要な情報を保持する。メモリ１０２に保持された複数
の画像の中の互いに隣接する２つの画像は画像選択部１
０３で選択され、選択された互いに隣接する２つの画像
は隣接画像パラメータ生成部１０４に入力される。

【００３６】隣接画像パラメータ生成部１０４は、入力
された２つの画像間の位置合せのための座標変換パラメ
ータ生成処理および入力された２つの画像間の階調合せ
のための階調変換パラメータ生成処理を行う。座標変換
パラメータ生成処理では、入力された２つの画像間の複
数の対応点座標を抽出し、抽出した各対応点座標に基づ
き座標変換パラメータを生成する。階調変換パラメータ
生成処理では、２つの画像間の対応する領域の画素値に
基づき階調変換パラメータを生成する。この各パラメー
タ生成処理の詳細内容については後述する。座標変換パ
ラメータおよび階調変換パラメータは、入力された複数
の画像の中の隣接する画像間の全てに対し生成される。

【００３７】生成された座標変換パラメータおよび階調
変換パラメータはメモリ１０２に一旦保持され、各画像
間に対する座標変換パラメータおよび階調変換パラメー
タがメモリ１０２に保持されると、各座標変換パラメー
タおよび各階調変換パラメータが読み出されて全画像調
整部１０５に入力される。全画像調整部１０５は、各画
像間のつなぎ目位置および階調が整合するように、各座
標変換パラメータおよび各階調変換パラメータの最適化
処理を行う。この最適化処理の詳細内容については後述
する。

【００３８】最適化処理により処理された座標変換パラ
メータおよび階調変換パラメータは全画像合成部１０６
に入力され、全画像合成部１０６は最適化処理により処
理された座標変換パラメータおよび階調変換パラメータ
に基づき入力した複数の画像を合成する。合成された画
像は合成画像メモリ１０７に保持され、合成画像メモリ
１０７に保持された画像は画像表示部１０８に表示され
る。

【００３９】次に、本実施の形態における画像合成処理
について図２ないし図１０を参照しながら説明する。図
２は図１の画像合成装置による画像合成処理の手順を示
すフローチャート、図３は図２のステップＳ２０２およ
びステップＳ２０３における処理内容を説明するための
図、図４は図２のステップＳ２０４における処理内容を
説明するための図、図５は図２のステップＳ２０５にお
ける階調補正テーブルの生成に用いられる補正関数ｆの
算出を説明するための図、図６は図２のステップＳ２０
５で生成された階調補正テーブルの一例を示す図、図７
は図２のステップＳ２０７における座標変換パラメータ
の最適化処理の一例を説明するための図、図８は図２の
ステップＳ２０８における画像合成処理の詳細を示すフ
ローチャート、図９は図２のステップＳ２０８における
各画像を合成する際の各画像の配置関係の一例を示す
図、図１０は図１の画像合成装置により得られた合成画
像の一例を示す図である。

【００４０】画像入力部１０１に入力された複数の画像
を合成するときには、図２に示すように、まずステップ
Ｓ２０１において画像選択部１０２でメモリ１０２に保
持された複数の画像の中の互いに隣接する２つの画像を
画像選択部１０３で選択する。

【００４１】次いで、隣接画像パラメータ生成部１０４
によりステップＳ２０２からステップＳ２０５までの処
理を順に実行する。まず、ステップＳ２０２では、選択
した２つの画像間の対応点を抽出し、この抽出した対応
点の座標を算出する。この画像間の対応点の抽出方式と
しては、テンプレートマッチング方式を用いている。テ
ンプレートマッチング方式においては、図３（ａ）に示
すように、互いに隣接する２つの画像として画像７０
１，７０２が選択されたとすると、画像７０１に矩形の
領域からなるテンプレート７０３を設定し、画像７０２
上でテンプレートをサーチしながら各位置におけるテン
プレート７０３内の各画素と画像７０２上の対応する画
素位置との差の絶対値を加算し、この加算した値により
対応点の評価を行う。具体的には、画像７０１上の点７
１０ａを中心とするテンプレート７０３を３×３の領域
とし、このテンプレートを画像７０２上で１画素づつ移
動させながら各位置における画素間の差の絶対値の和を
比較し、最小値を与える位置を点７１０ａに対応する点
７１０ｂとする。このように、画像７０１上に設定した
テンプレートを用いた処理を行うことにより画像７０
１，７０２間の複数の対応点が得られ、各対応点の座標
が算出される。本例では、画像７０１−７０２間の複数
の対応点として点７１０ａ−７１０ｂ、点７１１ａ−７
１１ｂ、点７１２ａ−７１２ｂ、点７１３ａ−７１３ｂ
が得られ、各点の座標が求められる。なお、この対応点
抽出を、画像をエッジ画像に変換して実行することも可
能であり、また、縮小した画像などを用いることができ
ることはいうまでもない。

【００４２】続くステップＳ２０３では、各画像間の対
応点の座標を用いて隣接する画像間の座標変換パラメー
タを生成する。この座標変換パラメータは、一方の画像
を基準として他方の画像を合成する際に画像間のつなぎ
目の位置合せを行うためのパラメータであって、例え
ば、図３（ａ）に示す画像７０１を基準として画像７０
２を合成する際に画像７０１，７０２間のつなぎ目の位
置合せを行うためのパラメータとして用いられる。隣接
する画像間において一方の画像を基準として他方の画像
を合成する際に行われる座標変換は、次の（１）式に基
づき行われる。

【００４３】

【数１】この上記（１）式の関係を満足させるパラメータＭが座
標変換パラメータであり、このパラメータＭは各画像間
の対応点の座標を用いて最小二乗法などにより求められ
る。求められた座標変換パラメータはメモリ１０２に保
持される。このようにして隣接する画像間のつなぎ目の
位置合せを行うための座標変換パラメータが求められ
る。例えば画像７０１−７０２間の座標変換パラメータ
を用いて画像７０１を基準にして画像７０２を合成する
場合、図３（ｂ）に示すように、画像７０１−７０２間
の重複領域の中心線７３０を境界として、中心線７３０
の左側の画像部分が画像７０１の画素で構成され、中心
線７３０の右側の画像部分が画像７０２の画素で構成さ
れた合成画像が得られることになる。

【００４４】次いで、ステップＳ２０４に進み、隣接す
る２つの画像と該画像間の座標変換パラメータとを用い
て階調補正用サンプル点の画素値を抽出する。この処理
では、まずサンプル点の抽出を行う。このサンプル点の
抽出では、具体的には図４に示すように、画像７０１と
画像７０２との間の重複領域の画像を用いて、画像７０
１の重複領域において階調補正用サンプル点を設定す
る。本例では、画像７０１の重複領域における階調補正
用サンプル点として点８０１ａ〜８０５ａを設定してい
る。各サンプル点８０１ａ〜８０５ａが設定されると、
各サンプル点８０１ａ〜８０５ａに対応する画像７０２
上のサンプル点８０１ｂ〜８０５ｂの座標が、上記の
（１）式に基づき算出される。例えば、サンプル点８０
１ａの座標をｕ₀とし、これに対応する画像７０２上の
点８０１ｂの座標をｕ₁とし、画像７０１−７０２間の
座標変換パラメータをＭとすると、サンプル点８０１ａ
の座標ｕ₀および座標変換パラメータＭを上記（１）式
に代入することにより、画像７０２上の対応サンプル点
８０１ｂの座標ｕ₁が求められる。同様の手順で、他の
サンプル点８０２ａ〜８０５ａに対する画像７０２上の
対応サンプル点８０２ｂ〜８０５ｂの座標が求められ
る。隣接する画像間における各サンプル点が求められる
と、各サンプル点の画素値（レッド、グリーン、ブル
ー）が抽出され、抽出された各サンプル点の画素値はメ
モリ１０２に一旦保持される。

【００４５】隣接する画像間における各サンプル点の画
素値が抽出されると、ステップＳ２０５に進み、抽出し
た各サンプル点の画素値を用いて隣接する画像間の階調
合わせを行うための階調補正テーブルを作成する。この
階調補正テーブルの作成では、まず、隣接する画像の一
方におけるサンプル点の画素値と他方におけるサンプル
点の画素値との関係を近似的に表す補正関数ｆを生成
し、次いで補正関数ｆに基づき隣接する２つの画像を合
成する際に一方の画像の画素値に他方の画像の画素値を
一致させるための階調変換パラメータを記述した階調補
正テーブルを作成する。具体的には、図５に示すよう
に、画像７０２（図４に示す）におけるサンプルデータ
（サンプル点Ｐ₀の画素値）Ｉ₁を横軸に、画像７０１
（図４に示す）におけるサンプルデータ（サンプル点Ｐ
₀の画素値）Ｉ₀を縦軸にとり、プロットした各サンプ
ル点の画素値の関係を近似的に表す補正関数ｆ（Ｉ₀＝
ｆ（Ｉ₁））を最小二乗法などにより求める。この補正
関数ｆは各色レッド、グリーン、ブルーの各色毎に求め
られ、各色の補正関数ｆが求められると、補正関数ｆに
基づき画像７０１と画像７０２とを合成する際に画像７
０１の画素値に画像７０２の画素値を一致させるための
階調変換パラメータ値を記述した階調補正テーブルが作
成される。例えば８ビット階調の場合には、階調補正テ
ーブルとして、図６に示すようなテーブルが各色毎に得
られ、階調補正テーブルには、補正前の各階調レベル毎
に補正後の値が階調変換パラメータ値として記述されて
いる。この各色毎に作成された階調補正テーブルはメモ
リ１０２に保持される。

【００４６】次いで、ステップＳ２０６に進み、メモリ
１０２に保持された入力画像における全ての隣接する画
像間に対しステップＳ２０２からステップＳ２０５まで
の処理が終了したか否かを判定し、全ての隣接する画像
間に対しステップＳ２０２からステップＳ２０５までの
処理が終了していないときには、再度ステップＳ２０１
に戻り、次の隣接する２つの画像の選択を行い、この画
像間に対しステップＳ２０２からの処理を実行する。こ
れに対し、全ての隣接する画像間に対しステップＳ２０
２からステップＳ２０５までの処理が終了したときに
は、ステップＳ２０７に進む。

【００４７】ステップＳ２０７では、全画像調整部１０
５により、入力した全画像中の全ての隣接する画像間の
座標変換パラメータおよび階調変換パラメータの最適化
処理を行う。例えば図１６（ａ）に示す４つの画像３０
０，３０１，３０２，３０３が入力された場合、各画像
３０１，３０２，３０３，３０４における各画像間の関
係は次の（２）〜（５）式により表される。

【００４８】ｕ₁＝Ｍ₁ｕ₀…（２）ｕ₂＝Ｍ₂ｕ₀…（３）ｕ₃＝Ｍ₃ｕ₁…（４）ｕ₃＝Ｍ_3'ｕ₀…（５）ここで、ｕ₀，ｕ₁，ｕ₂，ｕ₃は画像３００，３０
１，３０２，３０３上の対応点の座標を表し、パラメー
タＭ₁，Ｍ₂，Ｍ₃，Ｍ_3'は画像３００−３０１間、画
像３００−３０２間、画像３００−３０３間、画像３０
２−３０３間の座標変換パラメータを表す。また、パラ
メータＭ₁，Ｍ₂，Ｍ₃，Ｍ_3'は、図７に示す関係にあ
り、この画像３０２−３０３間の座標変換パラメータＭ
_3'は次の（６）式で表される。

【００４９】Ｍ_3'＝Ｍ₃Ｍ₁Ｍ₂ ^-1…（６）従って、座標変換パラメータの最適化は、最小二乗法な
どにより次の（７）式で表す評価式Ｅを最小にするパラ
メータＭ1 ，Ｍ2 ，Ｍ3 を求めることにより実現され
る。

【００５０】Ｅ＝（ｕ₁−Ｍ₁ｕ₀）²＋（ｕ₂−Ｍ₂ｕ₀）² ＋（ｕ₃−Ｍ₃ｕ₁）²＋（ｕ₃−Ｍ_3'ｕ₂）² ＝（ｕ₁−Ｍ₁ｕ₀）²＋（ｕ₂−Ｍ₂ｕ₀）² ＋（ｕ₃−Ｍ₃ｕ₁）²＋（ｕ₃−（Ｍ₃Ｍ₁Ｍ₂ ^-1）ｕ₂）² …（７）このように、上記の（７）式で示す評価式Ｅを最小にす
るすなわち最適化されたパラメータＭ₁，Ｍ₂，Ｍ₃を
用いることにより、図１０に示すように、画像３００−
３０１間、画像３００−３０２間、画像３００−３０３
間、画像３０２−３０３間のつなぎ目位置のずれがほぼ
ない合成画像を得ることができる。この最適化されたパ
ラメータＭ₁，Ｍ₂，Ｍ₃はメモリ１０２に一旦保持さ
れる。

【００５１】次に、階調変換パラメータの最適化処理を
図１６（ａ）に示す４つの画像３００，３０１，３０
２，３０３が入力された場合を例に説明する。各画像３
０１，３０２，３０３，３０４における各画像間の補正
関数ｆ₁，ｆ₂，ｆ₃，ｆ_3'とすると、補正関数ｆ₁，
ｆ₂，ｆ₃，ｆ_3'は次の（８）〜（１１）式により表さ
れる。

【００５２】Ｉ₀＝ｆ₁（Ｉ₁） …（８）Ｉ₀＝ｆ₂（Ｉ₂） …（９）Ｉ₁＝ｆ₃（Ｉ₃） …（１０）Ｉ₂＝ｆ_3'（Ｉ₃） …（１１）なお、Ｉ₀，Ｉ₁，Ｉ₂，Ｉ₃は画像３００，３０１，
３０２，３０３上のそれぞれのサンプル点の画素値を表
し、各補正関数ｆ₁，ｆ₂，ｆ₃，ｆ_3'はレッド、グリ
ーン、ブルーの各色毎に求められている。また、画像３
０２−３０３間の補正関数ｆ_3'は次の（１２）式で表さ
れるものとする。

【００５３】ｆ_3'＝ｆ₂ ^-1（ｆ₁（ｆ₃）） …（１２）ここで、次の（１３）式で表す評価式Ｉを最小にする補
正関数ｆ₁，ｆ₂，ｆ₃を求めることにより，各画像間
の階調のずれをほぼなくすような最適な補正関数ｆ₁，
ｆ₂，ｆ₃が得られる。

【００５４】Ｉ＝（Ｉ₀−ｆ₁（Ｉ₁））²＋（Ｉ₀−ｆ₂（Ｉ₂））² ＋（Ｉ₁−ｆ₃（Ｉ₃））²＋（Ｉ₂−ｆ_3'（Ｉ₃））² ＝（Ｉ₀−ｆ₁（Ｉ₁））²＋（Ｉ₀−ｆ₂（Ｉ₂））² ＋（Ｉ₁−ｆ₃（Ｉ₃））² ＋｛Ｉ₂−ｆ₂ ^-1（ｆ₁（ｆ₃（Ｉ₃）））｝²…（１３）このように、各補正関数ｆ₁，ｆ₂，ｆ₃は各色毎に最
適化され、最適化された補正関数ｆ₁，ｆ₂，ｆ₃に基
づき階調補正テーブルが作成される。この作成された階
調補正テーブルは最適化された階調変換パラメータ値を
記述したテーブルとなる。この各色毎に最適化された階
調補正テーブルはメモリ１０２に一旦保持される。

【００５５】座標変換パラメータおよび階調変換パラメ
ータの最適化処理が終了すると、ステップＳ２０８に進
み、全画像合成部１０６により、最適化された座標変換
パラメータおよび階調変換パラメータに基づき入力した
各画像を合成して１枚の合成画像を生成する。

【００５６】この画像合成処理では、図８に示すよう
に、まずステップＳ８０１においてメモリ１０２から入
力された全画像の中から合成画像メモリ１０７に書き込
む１枚の画像を選択し、続くステップＳ８０２で、選択
した画像に対し最適化された座標変換パラメータおよび
階調変換パラメータ（すなわち階調補正テーブル）をメ
モリ１０２から読み込む。

【００５７】次いで、ステップＳ８０３に進み、最適化
された座標変換パラメータの変換および最適化された階
調変換パラメータ用いた階調補正テーブルの作成を行
う。ここで、最適化された座標変換パラメータの変換と
は、選択した画像に対する座標変換パラメータ（ステッ
プＳ８０２で読み込んだ座標変換パラメータ）を、合成
する画像の配置において左上隅に位置決めされる画像を
基準とした値に変換することをいい、最適化された階調
変換パラメータ用いた基準階調補正テーブルの作成と
は、選択した画像に対する階調変換パラメータ（ステッ
プＳ８０２で読み込んだ階調変換パラメータ）を、合成
する画像の配置において左上隅に位置決めされる画像を
基準とした値に変換し、この変換された階調変換パラメ
ータ値を記述した階調補正テーブルを作成することをい
う。

【００５８】続くステップＳ８０４では、ステップＳ８
０３の処理で得られた座標変換パラメータおよび階調補
正テーブルに基づきステップＳ８０１で選択した画像が
構成する合成画像部分の画像データを生成し、この画像
データを合成画像メモリ１０７に書き込む。具体的に
は、ステップＳ８０３の処理で得られた座標変換パラメ
ータに基づきステップＳ８０１で選択した画像を構成す
る画素の位置を決定し、この決定した画素の位置におけ
る画素値をステップＳ８０３の処理で得られた階調補正
テーブルを参照しながら変換することにより、ステップ
Ｓ８０１で選択した画像が構成する合成画像部分の画像
データを生成する。

【００５９】次いで、ステップＳ８０５に進み、入力し
た全画像に対する画像データの書き込みが終了したか否
かを判定し、入力した全画像に対する画像データの書き
込みが終了していなければ、再度ステップＳ８０１に戻
り、該ステップＳ８０１からの処理を繰り返し実行す
る。入力した全画像に対する画像データの書き込みが終
了すると、本処理を終了する。

【００６０】本合成処理において例えば、図１６（ａ）
に示す４つの画像３００，３０１，３０２，３０３が入
力された場合、図９に示すように、各画像３００，３０
１，３０２，３０３を合成する際の配置において左上隅
の画像すなわち画像３００が基準画像として設定される
とともに、各画像３００，３０１，３０２，３０３のそ
れぞれにより構成される合成画像領域部分（点線で区切
られた各領域）が設定される。画像３００が選択された
ときには、画像３００は基準画像となるから、画像３０
０に対する座標変換および階調変換を行うことなく画像
３００により構成される合成画像領域部分の画像データ
が合成画像メモリ１０７に書き込まれる。

【００６１】次いで、画像３０１が選択されると、画像
３０１に対する座標変換パラメータおよび階調変換パラ
メータを左上隅の画像３００を基準とした値にそれぞれ
変換され、これらのパラメータを用いて画像３０１によ
り構成される合成画像領域部分の画像データが合成画像
メモリ１０７に書き込まれる。ここで、画像３００を基
準として変換された座標変換パラメータをＭ_1aとし、画
像３００を基準として変換された階調変換パラメータを
記述した階調補正テーブルをＴ_1aとし、座標変換パラメ
ータＭ_1aに基づき座標変換された画像３０１により構成
される合成画像領域部分の画素の位置座標をｕ_gとし、
位置座標ｕ_gで表される画像３０１の画素位置における
画素値をＩ（Ｍ_1aｕ_g）とすると、画像３０１により構
成される合成画像領域部分の位置座標ｕg で表される画
素位置における画素値Ｉ（ｕ_g）は、次の（１４）式に
より表される。

【００６２】Ｉ（ｕ_g）＝Ｔ_1a［Ｉ（Ｍ_1aｕ_g）］ …（１４）この画像３０１に対する画像データと同様に、各画像３
０２，３０３により構成される合成画像領域部分の画像
データが合成画像メモリ１０７に書き込まれる。

【００６３】このように、入力された各画像のそれぞれ
により構成される合成画像領域部分の画像データが合成
画像メモリ１０７に書き込まれると、画像表示部１０８
に入力された各画像により構成された合成画像が表示さ
れるとともに、この合成画像は必要に応じて記録媒体に
記録される。例えば、図１６（ａ）に示す４つの画像３
００，３０１，３０２，３０３から構成される合成画像
としては、図１０に示すように、画像３００−３０１
間、画像３００−３０２間、画像３００−３０３間、画
像３０２−３０３間のつなぎ目位置のずれおよび階調の
ずれがほぼない合成画像が得られる。

【００６４】以上により、本実施の形態では、入力した
複数の画像中の隣接する画像間の座標変換パラメータお
よび階調変換パラメータの補正を行い、補正した座標変
換パラメータおよび階調変換パラメータに基づき入力し
た各画像を合成するから、複数の画像中の隣接する画像
間の位置合せおよび階調合せを高精度に実行することが
でき、つなぎ目位置のずれおよび階調のずれがほぼない
高品質の合成画像を得ることができる。

【００６５】なお、本実施の形態における画像合成装置
を、画像合成システム用プログラムをフロッピーディス
ク、ＣＤ−ＲＯＭなどの記憶媒体からパーソナルコンピ
ュータなどの情報処理装置に供給し、このプログラムを
実行することによって構成することも可能である。例え
ば、ＣＰＵ、ＲＡＭなどのメモリ、画像を入力するため
の画像入力インタフェース、ＣＲＴを備えるパーソナル
コンピュータを用いて画像合成システム用プログラムを
記憶媒体から読み出して実行することにより、上述の画
像合成装置と同じ機能を有する画像合成システムを構築
することができる。この場合、画像合成システム用プロ
グラムは、互いに重複する部分を有する複数の画像を画
像入力インタフェースを介して入力するためのモジュー
ルと、入力された複数の画像をメモリに保持するための
モジュールと、メモリに保持された複数の画像の中の互
いに隣接する２つの画像を選択するモジュールと、選択
した２つの画像間の位置合せのための座標変換パラメー
タ生成処理および入力された２つの画像間の階調合せの
ための階調変換パラメータ生成処理を行うモジュール
と、各画像間のつなぎ目位置および階調が整合するよう
に、各座標変換パラメータおよび各階調変換パラメータ
の最適化処理を行うモジュールと、最適化処理により処
理された座標変換パラメータおよび階調変換パラメータ
に基づき入力した複数の画像を合成するモジュールと、
合成された画像をＣＲＴに表示するモジュールとを含
む。

【００６６】（実施の第２形態）次に、本発明の実施の
第２形態について図１１を参照しながら説明する。図１
１は本発明の画像合成装置の実施の第２形態の基本構成
を示すブロック図、図１２は図１１の画像合成装置によ
り合成される各画像の配置の一例を示す図である。な
お、上述の実施の第１形態と同じ構成部分には同一の符
号を付し、その説明を簡略化または省略する。

【００６７】本実施の形態における画像合成装置は、図
１２に示すように、２次元平面上に配置されたｎ×ｍ枚
の画像を合成する装置からなり、該装置は、図１１に示
すように、全画像調整部１１０および全画像合成部１１
１を備える。全画像調整部１１０は、入力した複数の画
像の配置に応じて該複数の画像から任意の縦横それぞれ
任意の枚数の画像からなる複数のユニットを選択し、選
択した各ユニット毎に、それに含まれる隣接画像間のつ
なぎ目位置および階調が整合するように各座標変換パラ
メータおよび各階調変換パラメータの最適化処理を行
う。この最適化処理の詳細内容については後述する。全
画像合成部１１１は、最適化処理により処理された各ユ
ニット毎の座標変換パラメータおよび階調変換パラメー
タに基づき入力した複数の画像を合成する合成処理を行
う。この全画像合成部１１１による画像合成処理の詳細
については後述する。

【００６８】次に、全画像調整部１１０による処理内容
について図１２ないし図１４を参照しながら説明する。
図１３は図１の画像合成装置の全画像調整部による処理
手順を示すフローチャート、図１４は図１３のステップ
Ｓ１３０３における階調変換パラメータの最適化処理を
説明するための図である。

【００６９】隣接画像パラメータ生成部１０４により、
全ての隣接する画像間に対する座標変換パラメータおよ
び階調補正テーブル（階調変換パラメータ）が生成され
ると（上述の図２に示すステップＳ２０１〜Ｓ２０
６）、全画像調整部１１０による処理が開始される。全
画像調整部１１０では、図１３に示すように、まずステ
ップＳ１３０１において、入力した複数の画像の配置に
応じて該複数の画像から任意の縦横それぞれ任意の枚数
の画像からなるユニットを選択する。例えば、図１２に
示すように、２次元平面上に配置された縦３×横４枚の
画像が入力された場合、縦横それぞれ２枚の組合せ画像
を１つのユニットとして、入力した画像配置に基づき６
つのユニットｕ４１０〜ｕ４１５が設定され、各ユニッ
トｕ４１０〜ｕ４１５の内の１つのユニットが選択され
る。

【００７０】次いで、ステップＳ１３０２に進み、ステ
ップＳ１３０１で選択されたユニットに属する画像と対
応する座標変換パラメータおよび階調補正テーブル（階
調変換パラメータ）とをメモリ１０２から読み込み、読
み込んだ座標変換パラメータおよび階調補正テーブル
（階調変換パラメータ）の最適化処理を行う。

【００７１】座標変換パラメータの最適化処理では、次
の（１５）式で表す評価式Ｅを評価することにより座標
変換パラメータの最適化を行う。

【００７２】Ｅ＝（ｕ₁−Ｍ₁ｕ₀）²＋（ｕ₂−Ｍ₂ｕ₀）² ＋（ｕ₃−Ｍ₃ｕ₁）²＋（ｕ₃−Ｍ_3'ｕ₂）²＋αＢ …（１５）ここで、ｕ₀，ｕ₁，ｕ₂，ｕ₃は選択したユニットに
属する画像上の対応点の座標を表し、Ｍ₁，Ｍ₂，
Ｍ₃，Ｍ_3'は選択したユニットに属する各画像間の座標
変換パラメータを表す。また、Ｂは（ｕ₁−Ｍ₁ｕ₀）
²、（ｕ₂−Ｍ₂ｕ₀）²、（ｕ₃−Ｍ₃ｕ₁）²およ
び（ｕ₃−Ｍ_3'ｕ₂）²のばらつきを表す値であり、α
は任意に設定される値である。

【００７３】上述の（１５）式で表す評価式Ｅに対する
評価は最小二乗法などにより行われ、この評価の結果に
応じて選択したユニットに対する座標変換パラメータが
得られる。この得られた座標変換パラメータはメモリ１
０２に保持される。例えば、図１２に示すユニットｕ４
１０〜ｕ４１５のそれぞれに対する座標変換パラメータ
として、パラメータＭ_400a，Ｍ_400b，Ｍ_400c，Ｍ_400dが
得られ、各パラメータはメモリ１０２に保持される。

【００７４】続くステップＳ１３０３では、階調変換パ
ラメータの最適化処理を、座標変換パラメータの最適化
処理と同様に、選択したユニット毎に実行する。

【００７５】例えば、図１４に示すように、選択したユ
ニットに４つの画像５００，５０１，５０２，５０３が
属するとし、画像５００を基準として画像５０１の階調
を合わせるための階調補正テーブルをＴ₁、画像５００
を基準として画像５０２の階調を合わせるための階調補
正テーブルをＴ₂、画像５０１を基準として画像５０３
の階調を合わせるための階調補正テーブルをＴ₃とし、
画像５０２−５０３間の対応する点（または領域）をＰ
₂およびＰ₃とすると、画像５０２−５０３間の対応点
（または領域）Ｐ₂，Ｐ₃のそれぞれにおける画素値Ｉ
₂，Ｉ₃は、次の（１６）および（１７）式により画像
５００の階調基準とした値Ｉ_2'，Ｉ_3'にそれぞれ変換さ
れる。

【００７６】Ｉ_2'＝Ｔ₂［Ｉ₂］ …（１６）Ｉ_3'＝Ｔ₁［Ｔ₃［Ｉ₃］］ …（１７）各画素値Ｉ_2'，Ｉ_3'が得られると、各画素値Ｉ_2'，Ｉ_3'
の差分ΔＩ（＝Ｉ_3'−Ｉ_2'）が算出される。この差分Δ
Ｉすなわち画素値Ｉ_2'，Ｉ_3'の両者の差は理想的には
「０」に等しくなるが、実際には誤差などにより「０」
にならない。従って、画像５０２−５０３間のつなぎ目
において階調の差が顕著に現れることがある。

【００７７】そこで、本最適化処理においては、差分Δ
Ｉを画像５００−５０１間、画像５００−５０２間、画
像５０１−５０３間、画像５０２−５０３間の各画像間
のつなぎ目すなわち４か所のつなぎ目に分散させるため
の処理が行われる。この処理においては、４か所のつな
ぎ目に差分ΔＩを分散させるために、この差分ΔＩの１
／４をΔＩ´とし、このΔＩ´を用いて最適化された階
調変換パラメータを記述した階調補正テーブルを作成す
るためのデータを新たに生成する。この階調補正テーブ
ルの作成においては、画像５０２に対して、画素値Ｉ₂
を図５の横軸に、画素値（Ｔ2 ［Ｉ₂］＋ΔＩ´）を縦
軸に対応させてそれぞれの画素値をプロットする。同様
に画像５０３に対しては画素値Ｉ3 を図５の横軸に、画
素値（Ｔ₂［Ｉ₂］＋２ΔＩ´）を縦軸に対応させてそ
れぞれの画素値をプロットし、画像５０１に対しては画
素値（Ｔ₃［Ｉ₃］）を図５の横軸に、画素値（Ｔ
₂［Ｉ₂］＋３ΔＩ´）を縦軸に対応させてそれぞれの
画素値をプロットする。このプロットしたデータに基づ
き補正関数ｆを作成し、補正関数ｆに基づき各画像間の
階調補正テーブルを新たに作成する。

【００７８】この新たに作成された階調補正テーブル
は、画像５００を基準として各画像５０１，５０２，５
０３のそれぞれを合成する際に用いられる、各画像５０
０，５０１，５０２，５０３からなるユニットに対し最
適化された階調補正テーブル、すなわち最適化された階
調変換パラメータを記述した階調補正テーブルとなり、
メモリ１０２に保持される。例えば、図１２に示すユニ
ットｕ４１０〜ｕ４１５のそれぞれに対する階調補正テ
ーブルとして、テーブルＴ_400a，Ｔ_400b，Ｔ_400c，Ｔ
_400dが得られ、各テーブルはメモリ１０２に保持され
る。

【００７９】なお、カラー画像を合成する際には、階調
補正テーブルの最適化は各色毎に実行される。

【００８０】次いで、ステップＳ１３０４に進み、設定
された全てのユニットに対し最適化処理が終了したか否
かを判定し、設定された全てのユニットに対する最適化
処理が終了していなければ、再度ステップＳ１３０１に
戻り、該ステップＳ１３０１からの処理を設定された全
てのユニットに対する最適化処理が終了するまで繰り返
す。設定された全てのユニットに対する最適化処理が終
了すると、本処理を終了する。

【００８１】全画像調整部１１０による最適化処理が終
了すると、全画像合成部１１１による画像合成処理が開
始され、最適化された座標変換パラメータおよび階調変
換パラメータに基づき入力した各画像が合成されて１枚
の合成画像が生成される。

【００８２】この画像合成処理では、まず、メモリ１０
２から入力された全画像の中から合成画像メモリ１０７
に書き込む１枚の画像を選択し、続いて選択した画像に
関連する最適化された座標変換パラメータおよび階調変
換パラメータ（すなわち階調補正テーブル）をメモリ１
０２から読み込み、座標変換パラメータに基づき選択し
た画像を構成する画素の位置を決定し、この決定した画
素の位置における画素値を階調補正テーブルを参照しな
がら変換することにより、選択した画像が構成する合成
画像部分の画像データを生成し、この生成した画像デー
タを画像合成メモリ１０７に書き込む。この処理を入力
したすべての画像に対し繰り返し実行することにより、
合成画像が生成されることになる。よって、本実施の形
態における画像合成処理は、基本的には実施の第１形態
で示したフロー（図８に示す）と同じである。

【００８３】次に、本画像合成処理の具体例について図
１５を参照しながら説明する。図１５は図１１の画像合
成装置の全画像合成部による画像合成処理を説明するた
めの図である。

【００８４】図１５を参照するに、入力された全画像の
中から合成画像メモリ１０７に書き込む１枚の画像とし
て画像６００が選択された場合、メモリ１０２から画像
６００とともに、画像６００が属するユニットの最適化
された座標変換パラメータおよび階調補正テーブルが読
み込まれる。本例では、画像６００は４つのユニットに
属するから、これら４つのユニットにおける最適化され
た座標変換パラメータＭ600a〜Ｍ600dおよび階調補正テ
ーブルＴ600a〜Ｔ600dが読み込まれる。

【００８５】画像６００が構成する合成画像部分の点Ｐ
を、合成画像の左上隅を原点Ｏとする座標（ｉ，ｊ）で
表すとすると、点Ｐ（ｉ，ｊ）に対応する画像６００上
の画素位置の座標が算出される。

【００８６】点Ｐ（ｉ，ｊ）に対応する画像６００上の
点の座標算出では、まず、点Ｐ（ｉ，ｊ）を通る水平、
垂直の各ラインと描画領域のラインＬ６００，Ｌ６０
１，Ｌ６０２，Ｌ６０３との交点をそれぞれｘ０，ｘ
１，ｙ０，ｙ１として算出する。次いで、水平方向につ
いては長さＨ（＝ｘ１−ｘ０）と長さｄｘ（＝ｉ−ｘ
０）との比ｄｘ／Ｈを重み係数Ｗｘとして算出し、垂直
方向については長さＶ（＝ｙ１−ｙ０）と長さｄｙ（＝
ｊ−ｙ０）との比ｄｙ／Ｖを重み係数Ｗｙとして算出す
る。続いて、算出した各重み係数Ｗｘ，Ｗｙと最適化さ
れた４つの座標変換パラメータＭ_600a〜Ｍ_600dとが次の
（１８）式に代入され、点Ｐ（ｉ，ｊ）に対応する画像
６００上の点の座標を算出するためのパラメータＭ₆₀₀
が求められる。

【００８７】Ｍ₆₀₀＝（1.0−Ｗｘ）（1.0−Ｗｙ）Ｍ_600a ＋Ｗｘ（1.0−Ｗｙ）Ｍ_600b＋（1.0−Ｗｘ）Ｍ_600c ＋ＷｘＷｙＭ_600d…（１８）パラメータＭ600 により点Ｐ（ｉ，ｊ）に対応する画像
６００上の点の座標が決定されることになる。

【００８８】点Ｐ（ｉ，ｊ）に対応する画像６００上の
点の座標が決定されると、この決定され画像６００上の
点における画素値を４つの階調補正テーブルを参照しな
がら変換することにより、画像６００が構成する合成画
像領域部分の点Ｐ（ｉ，ｊ）における画素値Ｉ（Ｐ）が
得れる。具体的には、画素値Ｉ（Ｐ）は次の（１９）式
から求められる。

【００８９】Ｉ（Ｐ）＝（1.0−Ｗｘ）（1.0−Ｗｙ）Ｔ_600a［Ｉ（Ｍ₆₀₀Ｐ）］＋Ｗｘ（1.0−Ｗｙ）Ｔ_600b［Ｉ（Ｍ₆₀₀Ｐ）］＋（1.0−Ｗｘ）ＷｙＴ_600c［Ｉ（Ｍ₆₀₀Ｐ）］＋ＷｘＷｙＴ_600d［Ｉ（Ｍ₆₀₀Ｐ）］ …（１９）なお、本（１９）式中においては、Ｐ＝（ｉ，ｊ，１）
と定義する。

【００９０】このように、選択した画像６００に対し上
記処理を実行することによって、選択した画像６００が
構成する合成画像領域部分の画像データが生成され、こ
の生成された画像データは画像合成メモリ１０７に書き
込まれる。この処理を入力した全ての画像に対し繰り返
し実行することにより、合成画像データが生成されるこ
とになる。画素値が生成される。

【００９１】以上により、本実施の形態では、全画像調
整部１１０により、入力した複数の画像の配置に応じて
該複数の画像から任意の縦横それぞれ任意の枚数の画像
からなる複数のユニットを選択し、選択した各ユニット
毎に、それに含まれる隣接画像間のつなぎ目位置および
階調が整合するように各座標変換パラメータおよび各階
調変換パラメータの最適化処理を行い、全画像合成部１
１１により、最適化処理により処理された各ユニット毎
の座標変換パラメータおよび階調変換パラメータに基づ
き入力した複数の画像を合成する合成処理を行うから、
２次元平面上に配置された任意の枚数の画像の合成に対
応することができるとともに、画像間の位置合せおよび
階調合せを高精度に実行することができ、つなぎ目位置
のずれおよび階調のずれがほぼない高品質の合成画像を
得ることができる。

【００９２】なお、本実施の形態では、縦横それぞれ２
枚の組合せ画像を１つのユニットとして設定している
が、これと異なる枚数の組合せ画像を１つのユニットと
して設定することも可能である。

【００９３】また、本実施の形態における画像合成装置
を、画像合成システム用プログラムをフロッピーディス
ク、ＣＤ−ＲＯＭなどの記憶媒体からパーソナルコンピ
ュータなどの情報処理装置に供給し、このプログラムを
実行することによって構成することも可能である。例え
ば、ＣＰＵ、ＲＡＭなどのメモリ、画像を入力するため
の画像入力インタフェース、ＣＲＴを備えるパーソナル
コンピュータを用いて画像合成システム用プログラムを
記憶媒体から読み出して実行することにより、上述の画
像合成装置と同じ機能を有する画像合成システムを構築
することができる。この場合、画像合成システム用プロ
グラムは、互いに重複する部分を有する複数の画像を画
像入力インタフェースを介して入力するためのモジュー
ルと、入力された複数の画像をメモリに保持するための
モジュールと、メモリに保持された複数の画像の中の互
いに隣接する２つの画像を選択するモジュールと、選択
した２つの画像間の位置合せのための座標変換パラメー
タ生成処理および入力された２つの画像間の階調合せの
ための階調変換パラメータ生成処理を行うモジュール
と、入力した複数の画像の配置に応じて縦横それぞれ所
定の枚数の画像の組合せからなる複数のユニットを設定
し、各ユニットから１つのユニットを選択するモジュー
ルと、選択したユニットに属する画像データおよび該画
像の対応点座標および対応する領域の画素値に基づき座
標変換パラメータおよび階調変換パラメータの最適化処
理を行うモジュールと、全てのユニットにおける座標変
換パラメータおよび階調変換パラメータの最適化処理が
終了するまで、ユニットの選択および最適化処理を繰り
返し実行するように制御するモジュールと、選択したユ
ニット毎にその最適化した座標変換パラメータおよび階
調変換パラメータを統合するモジュールと、統合した座
標変換パラメータおよび階調変換パラメータに基づき複
数の画像を合成するモジュールと、合成された画像をＣ
ＲＴに表示するモジュールとを含む。

【００９４】

【発明の効果】以上に説明したように、請求項１記載の
画像合成装置によれば、互いに隣接する画像間の対応点
座標に基づき座標変換パラメータを生成する座標変換パ
ラメータ生成手段と、互いに隣接する画像間の対応する
領域の画素値に基づき階調変換パラメータを生成する階
調変換パラメータ生成手段と、対応点座標および対応す
る領域の画素値に基づき座標変換パラメータおよび階調
変換パラメータを補正する補正手段と、補正した座標変
換パラメータおよび階調変換パラメータに基づき複数の
画像を合成する合成手段とを備えるから、合成する複数
の画像中の隣接する画像間の位置合せおよび階調合せを
高精度に実行し、高品質の合成画像を得ることができ
る。

【００９５】請求項２記載の画像合成装置によれば、互
いに隣接する画像間の対応点座標に基づき座標変換パラ
メータを生成する座標変換パラメータ生成手段と、互い
に隣接する画像間の対応する領域の画素値に基づき階調
変換パラメータを生成する階調変換パラメータ生成手段
と、複数の画像の配置に応じて該複数の画像から所定枚
数の画像からなる複数の組合せを選択する選択手段と、
選択した各組合せ毎にその組合せに属する画像および該
画像の対応点座標および対応する領域の画素値に基づき
座標変換パラメータおよび階調変換パラメータを補正す
る補正手段と、選択した各組合せ毎にその補正した座標
変換パラメータおよび階調変換パラメータを統合する統
合手段と、統合した座標変換パラメータおよび階調変換
パラメータに基づき複数の画像を合成する合成手段とを
備えるから、２次元平面上に配置された任意の枚数の画
像を効率良く高精度かつ高速に合成することができ、高
品質の合成画像を得ることができる。

【００９６】請求項３記載の画像合成装置によれば、所
定枚数の画像の組合せを、縦、横それぞれｍ枚の組合せ
とすることができる。

【００９７】請求項４記載の画像合成装置によれば、互
いに隣接する画像間の対応点座標に基づき座標変換パラ
メータを生成する座標変換パラメータ生成手段と、対応
点座標に基づき座標変換パラメータを補正する補正手段
と、補正した座標変換パラメータに基づき複数の画像を
合成する合成手段とを備えるから、合成する複数の画像
中の隣接する画像間の位置合せを高精度に実行すること
ができる。

【００９８】請求項５記載の画像合成装置によれば、互
いに隣接する画像間の対応点座標に基づき座標変換パラ
メータを生成する座標変換パラメータ生成手段と、互い
に隣接する画像間の対応する領域の画素値に基づき階調
変換パラメータを生成する階調変換パラメータ生成手段
と、対応する領域の画素値に基づき階調変換パラメータ
を補正する補正手段と、座標変換パラメータおよび補正
した階調変換パラメータに基づき複数の画像を合成する
合成手段とを備えるから、合成する複数の画像中の隣接
する画像間の階調合せを高精度に実行することができ
る。

【００９９】請求項６記載の画像合成装置によれば、互
いに隣接する画像間の対応点座標に基づき座標変換パラ
メータを生成する座標変換パラメータ生成手段と、複数
の画像の配置に応じて該複数の画像から所定枚数の画像
からなる複数の組合せを選択する選択手段と、選択した
各組合せ毎にその組合せに属する画像および該画像の対
応点座標に基づき座標変換パラメータを補正する補正手
段と、選択した各組合せ毎にその補正した座標変換パラ
メータを統合する統合手段と、統合した座標変換パラメ
ータに基づき複数の画像を合成する合成手段とを備える
から、２次元平面上に配置された任意の枚数の画像中の
隣接する画像間の位置合せを効率良く高精度に実行する
ことができる。

【０１００】請求項７記載の画像合成装置によれば、所
定枚数の画像の組合せを、縦、横それぞれｍ枚の組合せ
とすることができる。

【０１０１】請求項８記載の画像合成装置によれば、互
いに隣接する画像間の対応点座標に基づき座標変換パラ
メータを生成する座標変換パラメータ生成手段と、互い
に隣接する画像間の対応する領域の画素値に基づき階調
変換パラメータを生成する階調変換パラメータ生成手段
と、複数の画像の配置に応じて該複数の画像から所定枚
数の画像からなる複数の組合せを選択する選択手段と、
選択した各組合せ毎にその組合せに属する画像および該
画像の対応する領域の画素値に基づき階調変換パラメー
タを補正する補正手段と、選択した各組合せ毎にその補
正した階調変換パラメータを統合する統合手段と、座標
変換パラメータおよび統合した階調変換パラメータに基
づき複数の画像を合成する合成手段とを備えるから、２
次元平面上に配置された任意の枚数の画像中の隣接する
画像間の階調合せを効率良く高精度に実行することがで
きる。

【０１０２】請求項９記載の画像合成装置によれば、所
定枚数の画像の組合せを、縦、横それぞれｍ枚の組合せ
とすることができる。

【０１０３】請求項１０記載の画像合成方法によれば、
互いに隣接する画像間の対応点座標に基づき座標変換パ
ラメータを生成する工程と、互いに隣接する画像間の対
応する領域の画素値に基づき階調変換パラメータを生成
する工程と、対応点座標および対応する領域の画素値に
基づき座標変換パラメータおよび階調変換パラメータを
補正する工程と、補正した座標変換パラメータおよび階
調変換パラメータに基づき複数の画像を合成する工程と
を含むから、合成する複数の画像中の隣接する画像間の
位置合せおよび階調合せを高精度に実行することがで
き、高品質の合成画像を得ることができる。

【０１０４】請求項１１記載の画像合成方法によれば、
互いに隣接する画像間の対応点座標に基づき座標変換パ
ラメータを生成する工程と、互いに隣接する画像間の対
応する領域の画素値に基づき階調変換パラメータを生成
する工程と、複数の画像の配置に応じて該複数の画像か
ら所定枚数の画像からなる複数の組合せを選択する工程
と、選択した各組合せ毎にその組合せに属する画像およ
び該画像の対応点座標および対応する領域の画素値に基
づき座標変換パラメータおよび階調変換パラメータを補
正する工程と、選択した各組合せ毎にその補正した座標
変換パラメータおよび階調変換パラメータを統合する工
程と、統合した座標変換パラメータおよび階調変換パラ
メータに基づき複数の画像を合成する工程とを含むか
ら、２次元平面上に配置された任意の枚数の画像を効率
良く高精度かつ高速に合成することができ、高品質の合
成画像を得ることができる。

【０１０５】請求項１２記載の画像合成方法によれば、
互いに隣接する画像間の対応点座標に基づき座標変換パ
ラメータを生成する工程と、対応点座標に基づき座標変
換パラメータを補正する工程と、補正した座標変換パラ
メータに基づき複数の画像を合成する工程とを含むか
ら、合成する複数の画像中の隣接する画像間の位置合せ
を高精度に実行することができる。

【０１０６】請求項１３記載の画像合成方法によれば、
互いに隣接する画像間の対応点座標に基づき座標変換パ
ラメータを生成する工程と、互いに隣接する画像間の対
応する領域の画素値に基づき階調変換パラメータを生成
する工程と、対応する領域の画素値に基づき階調変換パ
ラメータを補正する工程と、座標変換パラメータおよび
補正した階調変換パラメータに基づき複数の画像を合成
する工程とを含むから、合成する複数の画像中の隣接す
る画像間の階調合せを高精度に実行することができる。

【０１０７】請求項１４記載の画像合成方法によれば、
互いに隣接する画像間の対応点座標に基づき座標変換パ
ラメータを生成する工程と、複数の画像の配置に応じて
該複数の画像から所定枚数の画像からなる複数の組合せ
を選択する工程と、選択した各組合せ毎にその組合せに
属する画像および該画像の対応点座標に基づき座標変換
パラメータを補正する工程と、選択した各組合せ毎にそ
の補正した座標変換パラメータを統合する工程と、統合
した座標変換パラメータに基づき複数の画像を合成する
工程とを含むから、２次元平面上に配置された任意の枚
数の画像中の隣接する画像間の位置合せを効率良く高精
度に実行することができる。

【０１０８】請求項１５記載の画像合成方法によれば、
互いに隣接する画像間の対応点座標に基づき座標変換パ
ラメータを生成する工程と、互いに隣接する画像間の対
応する領域の画素値に基づき階調変換パラメータを生成
する工程と、複数の画像の配置に応じて該複数の画像か
ら所定枚数の画像からなる複数の組合せを選択する工程
と、選択した各組合せ毎にその組合せに属する画像およ
び該画像の対応する領域の画素値に基づき階調変換パラ
メータを補正する工程と、選択した各組合せ毎にその補
正した階調変換パラメータを統合する工程と、座標変換
パラメータおよび統合した階調変換パラメータに基づき
複数の画像を合成する工程とを含むから、２次元平面上
に配置された任意の枚数の画像中の隣接する画像間の階
調合せを効率良く高精度に実行することができる。

【０１０９】請求項１６記載の記憶媒体によれば、プロ
グラムが、互いに隣接する画像間の対応点座標に基づき
座標変換パラメータを生成する座標変換パラメータ生成
モジュールと、互いに隣接する画像間の対応する領域の
画素値に基づき階調変換パラメータを生成する階調変換
パラメータ生成モジュールと、対応点座標および対応す
る領域の画素値に基づき座標変換パラメータおよび階調
変換パラメータを補正する補正モジュールと、補正した
座標変換パラメータおよび階調変換パラメータに基づき
複数の画像を合成する合成モジュールとを含むから、合
成する複数の画像中の隣接する画像間の位置合せおよび
階調合せを高精度に実行することができ、高品質の合成
画像を得ることができる。

【０１１０】請求項１７記載の記憶媒体によれば、プロ
グラムが、互いに隣接する画像間の対応点座標に基づき
座標変換パラメータを生成する座標変換パラメータ生成
モジュールと、互いに隣接する画像間の対応する領域の
画素値に基づき階調変換パラメータを生成する階調変換
パラメータ生成モジュールと、複数の画像の配置に応じ
て該複数の画像から所定枚数の画像からなる複数の組合
せを選択する選択モジュールと、選択した各組合せ毎に
その組合せに属する画像および該画像の対応点座標およ
び対応する領域の画素値に基づき座標変換パラメータお
よび階調変換パラメータを補正する補正モジュールと、
選択した各組合せ毎にその補正した座標変換パラメータ
および階調変換パラメータを統合する統合モジュール
と、統合した座標変換パラメータおよび階調変換パラメ
ータに基づき複数の画像を合成する合成モジュールとを
含むから、２次元平面上に配置された任意の枚数の画像
を効率良く高精度かつ高速に合成することができ、高品
質の合成画像を得ることができる。

【０１１１】請求項１８記載の記憶媒体によれば、プロ
グラムが、互いに隣接する画像間の対応点座標に基づき
座標変換パラメータを生成する座標変換パラメータ生成
モジュールと、対応点座標に基づき座標変換パラメータ
を補正する補正モジュールと、補正した座標変換パラメ
ータに基づき複数の画像を合成する合成モジュールとを
含むから、合成する複数の画像中の隣接する画像間の位
置合せを高精度に実行することができる。

【０１１２】請求項１９記載の記憶媒体によれば、プロ
グラムが、互いに隣接する画像間の対応点座標に基づき
座標変換パラメータを生成する座標変換パラメータ生成
モジュールと、互いに隣接する画像間の対応する領域の
画素値に基づき階調変換パラメータを生成する階調変換
パラメータ生成モジュールと、対応する領域の画素値に
基づき階調変換パラメータを補正する補正モジュール
と、座標変換パラメータおよび補正した階調変換パラメ
ータに基づき複数の画像を合成する合成モジュールとを
含むから、合成する複数の画像中の隣接する画像間の階
調合せを高精度に実行することができる。

【０１１３】請求項２０記載の記憶媒体によれば、プロ
グラムが、互いに隣接する画像間の対応点座標に基づき
座標変換パラメータを生成する座標変換パラメータ生成
モジュールと、複数の画像の配置に応じて該複数の画像
から所定枚数の画像からなる複数の組合せを選択する選
択モジュールと、選択した各組合せ毎にその組合せに属
する画像および該画像の対応点座標に基づき座標変換パ
ラメータを補正する補正モジュールと、選択した各組合
せ毎にその補正した座標変換パラメータを統合する統合
モジュールと、統合した座標変換パラメータに基づき複
数の画像を合成する合成モジュールとを含むから、２次
元平面上に配置された任意の枚数の画像中の隣接する画
像間の位置合せを効率良く高精度に実行することができ
る。

【０１１４】請求項２１記載の記憶媒体によれば、プロ
グラムが、互いに隣接する画像間の対応点座標に基づき
座標変換パラメータを生成する座標変換パラメータ生成
モジュールと、互いに隣接する画像間の対応する領域の
画素値に基づき階調変換パラメータを生成する階調変換
パラメータ生成モジュールと、複数の画像の配置に応じ
て該複数の画像から所定枚数の画像からなる複数の組合
せを選択する選択モジュールと、選択した各組合せ毎に
その組合せに属する画像および該画像の対応する領域の
画素値に基づき階調変換パラメータを補正する補正モジ
ュールと、選択した各組合せ毎にその補正した階調変換
パラメータを統合する統合モジュールと、座標変換パラ
メータおよび統合した階調変換パラメータに基づき複数
の画像を合成する合成モジュールとを含むから、２次元
平面上に配置された任意の枚数の画像中の隣接する画像
間の階調合せを効率良く高精度に実行することができ
る。

【図面の簡単な説明】

【図１】本発明の画像合成装置の実施の第１形態の基本
構成を示すブロック図である。

【図２】図１の画像合成装置による画像合成処理の手順
を示すフローチャートである。

【図３】図２のステップＳ２０２およびステップＳ２０
３における処理内容を説明するための図である。

【図４】図２のステップＳ２０４における処理内容を説
明するための図である。

【図５】図２のステップＳ２０５における階調補正テー
ブルの生成に用いられる補正関数ｆの算出を説明するた
めの図である。

【図６】図２のステップＳ２０５で生成された階調補正
テーブルの一例を示す図である。

【図７】図２のステップＳ２０７における座標変換パラ
メータの最適化処理の一例を説明するための図である。

【図８】図２のステップＳ２０８における画像合成処理
の詳細を示すフローチャートである。

【図９】図２のステップＳ２０８における各画像を合成
する際の各画像の配置関係の一例を示す図である。

【図１０】図１の画像合成装置により得られた合成画像
の一例を示す図である。

【図１１】本発明の画像合成装置の実施の第２形態の基
本構成を示すブロック図である。

【図１２】図１１の画像合成装置により合成される各画
像の配置の一例を示す図である。

【図１３】図１の画像合成装置の全画像調整部による処
理手順を示すフローチャートである。

【図１４】図１３のステップＳ１３０３における階調変
換パラメータの最適化処理を説明するための図である。

【図１５】図１１の画像合成装置の全画像合成部による
画像合成処理を説明するための図である。

【図１６】従来の画像合成手法による合成画像例を示す
図である。

【符号の説明】

１０１画像入力部１０２メモリ１０３画像選択部１０４隣接画像パラメータ生成部１０５，１１０全画像調整部１０６，１１１全画像合成部１０７合成画像メモリ１０８画像表示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者滝口英夫東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】互いに重複する領域部分を有する複数の
画像を合成する画像合成装置において、互いに隣接する
画像間の対応点座標に基づき座標変換パラメータを生成
する座標変換パラメータ生成手段と、前記互いに隣接す
る画像間の対応する領域の画素値に基づき階調変換パラ
メータを生成する階調変換パラメータ生成手段と、前記
対応点座標および前記対応する領域の画素値に基づき前
記座標変換パラメータおよび前記階調変換パラメータを
補正する補正手段と、前記補正した座標変換パラメータ
および階調変換パラメータに基づき前記複数の画像を合
成する合成手段とを備えることを特徴とする画像合成装
置。
【請求項２】互いに重複する領域部分を有する複数の
画像を合成する画像合成装置において、互いに隣接する
画像間の対応点座標に基づき座標変換パラメータを生成
する座標変換パラメータ生成手段と、前記互いに隣接す
る画像間の対応する領域の画素値に基づき階調変換パラ
メータを生成する階調変換パラメータ生成手段と、前記
複数の画像の配置に応じて該複数の画像から所定枚数の
画像からなる複数の組合せを選択する選択手段と、前記
選択した各組合せ毎にその組合せに属する画像および該
画像の前記対応点座標および前記対応する領域の画素値
に基づき前記座標変換パラメータおよび前記階調変換パ
ラメータを補正する補正手段と、前記選択した各組合せ
毎にその補正した座標変換パラメータおよび階調変換パ
ラメータを統合する統合手段と、前記統合した座標変換
パラメータおよび階調変換パラメータに基づき前記複数
の画像を合成する合成手段とを備えることを特徴とする
画像合成装置。
【請求項３】前記所定枚数の画像の組合せは、縦、横
それぞれｍ枚の組合せからなることを特徴とする請求項
２記載の画像合成装置。
【請求項４】互いに重複する領域部分を有する複数の
画像を合成する画像合成装置において、互いに隣接する
画像間の対応点座標に基づき座標変換パラメータを生成
する座標変換パラメータ生成手段と、前記対応点座標に
基づき前記座標変換パラメータを補正する補正手段と、
前記補正した座標変換パラメータに基づき前記複数の画
像を合成する合成手段とを備えることを特徴とする画像
合成装置。
【請求項５】互いに重複する領域部分を有する複数の
画像を合成する画像合成装置において、互いに隣接する
画像間の対応点座標に基づき座標変換パラメータを生成
する座標変換パラメータ生成手段と、前記互いに隣接す
る画像間の対応する領域の画素値に基づき階調変換パラ
メータを生成する階調変換パラメータ生成手段と、前記
対応する領域の画素値に基づき前記階調変換パラメータ
を補正する補正手段と、前記座標変換パラメータおよび
前記補正した階調変換パラメータに基づき前記複数の画
像を合成する合成手段とを備えることを特徴とする画像
合成装置。
【請求項６】互いに重複する領域部分を有する複数の
画像を合成する画像合成装置において、互いに隣接する
画像間の対応点座標に基づき座標変換パラメータを生成
する座標変換パラメータ生成手段と、前記複数の画像の
配置に応じて該複数の画像から所定枚数の画像からなる
複数の組合せを選択する選択手段と、前記選択した各組
合せ毎にその組合せに属する画像および該画像の前記対
応点座標に基づき前記座標変換パラメータを補正する補
正手段と、前記選択した各組合せ毎にその補正した座標
変換パラメータを統合する統合手段と、前記統合した座
標変換パラメータに基づき前記複数の画像を合成する合
成手段とを備えることを特徴とする画像合成装置。
【請求項７】前記所定枚数の画像の組合せは、縦、横
それぞれｍ枚の組合せからなることを特徴とする請求項
６記載の画像合成装置。
【請求項８】互いに重複する領域部分を有する複数の
画像を合成する画像合成装置において、互いに隣接する
画像間の対応点座標に基づき座標変換パラメータを生成
する座標変換パラメータ生成手段と、前記互いに隣接す
る画像間の対応する領域の画素値に基づき階調変換パラ
メータを生成する階調変換パラメータ生成手段と、前記
複数の画像の配置に応じて該複数の画像から所定枚数の
画像からなる複数の組合せを選択する選択手段と、前記
選択した各組合せ毎にその組合せに属する画像および該
画像の前記対応する領域の画素値に基づき前記階調変換
パラメータを補正する補正手段と、前記選択した各組合
せ毎にその補正した階調変換パラメータを統合する統合
手段と、前記座標変換パラメータおよび前記統合した階
調変換パラメータに基づき前記複数の画像を合成する合
成手段とを備えることを特徴とする画像合成装置。
【請求項９】前記所定枚数の画像の組合せは、縦、横
それぞれｍ枚の組合せからなることを特徴とする請求項
８記載の画像合成装置。
【請求項１０】互いに重複する領域部分を有する複数
の画像を合成する画像合成方法において、互いに隣接す
る画像間の対応点座標に基づき座標変換パラメータを生
成する工程と、前記互いに隣接する画像間の対応する領
域の画素値に基づき階調変換パラメータを生成する工程
と、前記対応点座標および前記対応する領域の画素値に
基づき前記座標変換パラメータおよび前記階調変換パラ
メータを補正する工程と、前記補正した座標変換パラメ
ータおよび階調変換パラメータに基づき前記複数の画像
を合成する工程とを含むことを特徴とする画像合成方
法。
【請求項１１】互いに重複する領域部分を有する複数
の画像を合成する画像合成方法において、互いに隣接す
る画像間の対応点座標に基づき座標変換パラメータを生
成する工程と、前記互いに隣接する画像間の対応する領
域の画素値に基づき階調変換パラメータを生成する工程
と、前記複数の画像の配置に応じて該複数の画像から所
定枚数の画像からなる複数の組合せを選択する工程と、
前記選択した各組合せ毎にその組合せに属する画像およ
び該画像の前記対応点座標および前記対応する領域の画
素値に基づき前記座標変換パラメータおよび前記階調変
換パラメータを補正する工程と、前記選択した各組合せ
毎にその補正した座標変換パラメータおよび階調変換パ
ラメータを統合する工程と、前記統合した座標変換パラ
メータおよび階調変換パラメータに基づき前記複数の画
像を合成する工程とを含むことを特徴とする画像合成方
法。
【請求項１２】互いに重複する領域部分を有する複数
の画像を合成する画像合成方法において、互いに隣接す
る画像間の対応点座標に基づき座標変換パラメータを生
成する工程と、前記対応点座標に基づき前記座標変換パ
ラメータを補正する工程と、前記補正した座標変換パラ
メータに基づき前記複数の画像を合成する工程とを含む
ことを特徴とする画像合成方法。
【請求項１３】互いに重複する領域部分を有する複数
の画像を合成する画像合成方法において、互いに隣接す
る画像間の対応点座標に基づき座標変換パラメータを生
成する工程と、前記互いに隣接する画像間の対応する領
域の画素値に基づき階調変換パラメータを生成する工程
と、前記対応する領域の画素値に基づき前記階調変換パ
ラメータを補正する工程と、前記座標変換パラメータお
よび前記補正した階調変換パラメータに基づき前記複数
の画像を合成する工程とを含むことを特徴とする画像合
成方法。
【請求項１４】互いに重複する領域部分を有する複数
の画像を合成する画像合成方法において、互いに隣接す
る画像間の対応点座標に基づき座標変換パラメータを生
成する工程と、前記複数の画像の配置に応じて該複数の
画像から所定枚数の画像からなる複数の組合せを選択す
る工程と、前記選択した各組合せ毎にその組合せに属す
る画像および該画像の前記対応点座標に基づき前記座標
変換パラメータを補正する工程と、前記選択した各組合
せ毎にその補正した座標変換パラメータを統合する工程
と、前記統合した座標変換パラメータに基づき前記複数
の画像を合成する工程とを含むことを特徴とする画像合
成方法。
【請求項１５】互いに重複する領域部分を有する複数
の画像を合成する画像合成方法において、互いに隣接す
る画像間の対応点座標に基づき座標変換パラメータを生
成する工程と、前記互いに隣接する画像間の対応する領
域の画素値に基づき階調変換パラメータを生成する工程
と、前記複数の画像の配置に応じて該複数の画像から所
定枚数の画像からなる複数の組合せを選択する工程と、
前記選択した各組合せ毎にその組合せに属する画像およ
び該画像の前記対応する領域の画素値に基づき階調変換
パラメータを補正する工程と、前記選択した各組合せ毎
にその補正した階調変換パラメータを統合する工程と、
前記座標変換パラメータおよび前記統合した階調変換パ
ラメータに基づき前記複数の画像を合成する工程とを含
むことを特徴とする画像合成方法。
【請求項１６】互いに重複する領域部分を有する複数
の画像を合成する画像合成システムを構築するためのプ
ログラムを格納した記憶媒体において、前記プログラム
は、互いに隣接する画像間の対応点座標に基づき座標変
換パラメータを生成する座標変換パラメータ生成モジュ
ールと、前記互いに隣接する画像間の対応する領域の画
素値に基づき階調変換パラメータを生成する階調変換パ
ラメータ生成モジュールと、前記対応点座標および前記
対応する領域の画素値に基づき前記座標変換パラメータ
および前記階調変換パラメータを補正する補正モジュー
ルと、前記補正した座標変換パラメータおよび階調変換
パラメータに基づき前記複数の画像を合成する合成モジ
ュールとを含むことを特徴とする記憶媒体。
【請求項１７】互いに重複する領域部分を有する複数
の画像を合成する画像合成システムを構築するためのプ
ログラムを格納した記憶媒体において、前記プログラム
は、互いに隣接する画像間の対応点座標に基づき座標変
換パラメータを生成する座標変換パラメータ生成モジュ
ールと、前記互いに隣接する画像間の対応する領域の画
素値に基づき階調変換パラメータを生成する階調変換パ
ラメータ生成モジュールと、前記複数の画像の配置に応
じて該複数の画像から所定枚数の画像からなる複数の組
合せを選択する選択モジュールと、前記選択した各組合
せ毎にその組合せに属する画像および該画像の前記対応
点座標および前記対応する領域の画素値に基づき前記座
標変換パラメータおよび前記階調変換パラメータを補正
する補正モジュールと、前記選択した各組合せ毎にその
補正した座標変換パラメータおよび階調変換パラメータ
を統合する統合モジュールと、前記統合した座標変換パ
ラメータおよび階調変換パラメータに基づき前記複数の
画像を合成する合成モジュールとを含むことを特徴とす
る記憶媒体。
【請求項１８】互いに重複する領域部分を有する複数
の画像を合成する画像合成システムを構築するためのプ
ログラムを格納した記憶媒体において、前記プログラム
は、互いに隣接する画像間の対応点座標に基づき座標変
換パラメータを生成する座標変換パラメータ生成モジュ
ールと、前記対応点座標に基づき前記座標変換パラメー
タを補正する補正モジュールと、前記補正した座標変換
パラメータに基づき前記複数の画像を合成する合成モジ
ュールとを含むことを特徴とする記憶媒体。
【請求項１９】互いに重複する領域部分を有する複数
の画像を合成する画像合成システムを構築するためのプ
ログラムを格納した記憶媒体において、前記プログラム
は、互いに隣接する画像間の対応点座標に基づき座標変
換パラメータを生成する座標変換パラメータ生成モジュ
ールと、前記互いに隣接する画像間の対応する領域の画
素値に基づき階調変換パラメータを生成する階調変換パ
ラメータ生成モジュールと、前記対応する領域の画素値
に基づき前記階調変換パラメータを補正する補正モジュ
ールと、前記座標変換パラメータおよび前記補正した階
調変換パラメータに基づき前記複数の画像を合成する合
成モジュールとを含むことを特徴とする記憶媒体。
【請求項２０】互いに重複する領域部分を有する複数
の画像を合成する画像合成システムを構築するためのプ
ログラムを格納した記憶媒体において、前記プログラム
は、互いに隣接する画像間の対応点座標に基づき座標変
換パラメータを生成する座標変換パラメータ生成モジュ
ールと、前記複数の画像の配置に応じて該複数の画像か
ら所定枚数の画像からなる複数の組合せを選択する選択
モジュールと、前記選択した各組合せ毎にその組合せに
属する画像および該画像の前記対応点座標に基づき前記
座標変換パラメータを補正する補正モジュールと、前記
選択した各組合せ毎にその補正した座標変換パラメータ
を統合する統合モジュールと、前記統合した座標変換パ
ラメータに基づき前記複数の画像を合成する合成モジュ
ールとを含むことを特徴とする記憶媒体。
【請求項２１】互いに重複する領域部分を有する複数
の画像を合成する画像合成システムを構築するためのプ
ログラムを格納した記憶媒体において、前記プログラム
は、互いに隣接する画像間の対応点座標に基づき座標変
換パラメータを生成する座標変換パラメータ生成モジュ
ールと、前記互いに隣接する画像間の対応する領域の画
素値に基づき階調変換パラメータを生成する階調変換パ
ラメータ生成モジュールと、前記複数の画像の配置に応
じて該複数の画像から所定枚数の画像からなる複数の組
合せを選択する選択モジュールと、前記選択した各組合
せ毎にその組合せに属する画像および該画像の前記対応
する領域の画素値に基づき前記階調変換パラメータを補
正する補正モジュールと、前記選択した各組合せ毎にそ
の補正した階調変換パラメータを統合する統合モジュー
ルと、前記座標変換パラメータおよび前記統合した階調
変換パラメータに基づき前記複数の画像を合成する合成
モジュールとを含むことを特徴とする記憶媒体。