JPH11331696A - 画像処理方法、装置および記録媒体 - Google Patents
画像処理方法、装置および記録媒体Info
- Publication number
- JPH11331696A JPH11331696A JP6308699A JP6308699A JPH11331696A JP H11331696 A JPH11331696 A JP H11331696A JP 6308699 A JP6308699 A JP 6308699A JP 6308699 A JP6308699 A JP 6308699A JP H11331696 A JPH11331696 A JP H11331696A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- photographing
- image processing
- combining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
(57)【要約】
【課題】 画像だけを利用して自動的に合成方法を選択
することができる画像処理方法を提供する。 【解決手段】 画像処理装置は、撮影した画像を入力す
る画像入力部１００、入力した画像を一時保持する画像
メモリ１０４、画像メモリ１０４に保持された画像間の
対応点情報を抽出する対応点抽出部１０１、抽出された
対応点情報を基に撮影時の撮影方式を判別する撮影方式
判別部１０２、判別された撮影方式に応じて各々の画像
を適切に合成する合成処理部１０３、および合成された
画像を保持する合成画像メモリ１０５を有する。対応点
抽出部１０１では２つの画像の対応点を抽出し、撮影方
式判別部１０２では抽出された撮影方式として並進撮影
であるかパンニング撮影であるかを判別する。合成処理
部１０３では、判別された撮影方式にしたがって画像の
合成処理を行う。
することができる画像処理方法を提供する。 【解決手段】 画像処理装置は、撮影した画像を入力す
る画像入力部１００、入力した画像を一時保持する画像
メモリ１０４、画像メモリ１０４に保持された画像間の
対応点情報を抽出する対応点抽出部１０１、抽出された
対応点情報を基に撮影時の撮影方式を判別する撮影方式
判別部１０２、判別された撮影方式に応じて各々の画像
を適切に合成する合成処理部１０３、および合成された
画像を保持する合成画像メモリ１０５を有する。対応点
抽出部１０１では２つの画像の対応点を抽出し、撮影方
式判別部１０２では抽出された撮影方式として並進撮影
であるかパンニング撮影であるかを判別する。合成処理
部１０３では、判別された撮影方式にしたがって画像の
合成処理を行う。
Description
【０００１】
【発明の属する技術分野】本発明は、画像の一部が重複
している複数の画像を合成してパノラマ画像あるいは高
精細画像を生成する画像処理方法、装置および記録媒体
に関する。
している複数の画像を合成してパノラマ画像あるいは高
精細画像を生成する画像処理方法、装置および記録媒体
に関する。
【０００２】
【従来の技術】複数の画像を合成してパノラマ画像など
を生成する場合、撮影方式に応じて適切な合成処理方式
を設定することが重要である。ここで言う合成処理方式
とは、アフィン変換、プロジェクション変換、円筒写像
変換などである。
を生成する場合、撮影方式に応じて適切な合成処理方式
を設定することが重要である。ここで言う合成処理方式
とは、アフィン変換、プロジェクション変換、円筒写像
変換などである。
【０００３】撮影方式を設定する方法として、従来で
は、合成の際に撮影方式を操作者が入力する方法、ジャ
イロなどのハードウェアをカメラに装着してジャイロの
出力情報を用いて撮影方式を推定する方法があった。
は、合成の際に撮影方式を操作者が入力する方法、ジャ
イロなどのハードウェアをカメラに装着してジャイロの
出力情報を用いて撮影方式を推定する方法があった。
【０００４】
【発明が解決しようとする課題】しかしながら、前者の
設定方法では、合成処理に際して操作者が撮影方式を入
力する必要があり、撮影時の状況を覚えておかなければ
ならず、負荷が大きかった。また、後者の設定方法では
カメラにジャイロなどの検出装置を装着する必要があ
り、カメラが大型化してしまうというデメリットがあ
り、さらにオフラインで合成処理を行う場合、ジャイロ
出力情報等を何らかの方法で保持する必要があった。
設定方法では、合成処理に際して操作者が撮影方式を入
力する必要があり、撮影時の状況を覚えておかなければ
ならず、負荷が大きかった。また、後者の設定方法では
カメラにジャイロなどの検出装置を装着する必要があ
り、カメラが大型化してしまうというデメリットがあ
り、さらにオフラインで合成処理を行う場合、ジャイロ
出力情報等を何らかの方法で保持する必要があった。
【０００５】そこで、本発明は、上記問題点を鑑みてな
されたものであり、画像だけを利用して自動的に合成方
法を選択することができる画像処理方法、装置および記
録媒体を提供することを目的とする。
されたものであり、画像だけを利用して自動的に合成方
法を選択することができる画像処理方法、装置および記
録媒体を提供することを目的とする。
【０００６】本発明の他の目的は、画像を用いて撮影方
法を判別し、撮影方法に応じた画像合成を行うことによ
り、撮影方法に応じてより高精度な画像合成を行うこと
である。
法を判別し、撮影方法に応じた画像合成を行うことによ
り、撮影方法に応じてより高精度な画像合成を行うこと
である。
【０００７】本発明の更に別の目的は、複数の合成方法
のうち少なくとも１つの合成方法に基づいた画像合成を
評価して、適切な合成方法を選択することである。
のうち少なくとも１つの合成方法に基づいた画像合成を
評価して、適切な合成方法を選択することである。
【０００８】本発明の更に別の目的は、複数の画像が有
する重複領域内において対応点を抽出してより正確に合
成方法を選択することである。
する重複領域内において対応点を抽出してより正確に合
成方法を選択することである。
【０００９】本発明の更に別の目的は、円筒写像変換や
球面写像変換を用いることにより、並進撮影かパンニン
グ撮影かの判別をより容易にすることができるようにす
ることである。
球面写像変換を用いることにより、並進撮影かパンニン
グ撮影かの判別をより容易にすることができるようにす
ることである。
【００１０】本発明の更に別の目的は、３６０゜パノラ
マ画像をより高精度に、かつ自動的に合成できるように
することである。
マ画像をより高精度に、かつ自動的に合成できるように
することである。
【００１１】
【課題を解決するための手段】上記目的を達成するため
に、本発明の請求項１に記載の画像処理方法は、複数の
画像を入力する入力工程と、前記複数の画像を用いて、
複数の合成方法の中から適切な合成方法を選択する選択
工程とを有する。
に、本発明の請求項１に記載の画像処理方法は、複数の
画像を入力する入力工程と、前記複数の画像を用いて、
複数の合成方法の中から適切な合成方法を選択する選択
工程とを有する。
【００１２】請求項２に記載の画像処理方法は、請求項
１に係る画像処理方法において、前記複数の合成方法の
うち少なくとも１つの合成方法に基づいた画像合成を評
価する評価工程を有し、前記選択工程は、前記評価に応
じて合成方法を選択することを特徴とする。
１に係る画像処理方法において、前記複数の合成方法の
うち少なくとも１つの合成方法に基づいた画像合成を評
価する評価工程を有し、前記選択工程は、前記評価に応
じて合成方法を選択することを特徴とする。
【００１３】請求項３に記載の画像処理方法は、請求項
２に係る画像処理方法において、前記複数の画像が有す
る重複領域内において対応点を抽出する抽出工程を有す
ることを特徴とする。
２に係る画像処理方法において、前記複数の画像が有す
る重複領域内において対応点を抽出する抽出工程を有す
ることを特徴とする。
【００１４】請求項４に記載の画像処理方法は、請求項
３に係る画像処理方法において、前記評価工程は、前記
対応点に基づいて画像合成した場合に生じる合成誤差を
計算し、前記合成誤差を所定値と比較することによって
合成方法を評価することを特徴とする。
３に係る画像処理方法において、前記評価工程は、前記
対応点に基づいて画像合成した場合に生じる合成誤差を
計算し、前記合成誤差を所定値と比較することによって
合成方法を評価することを特徴とする。
【００１５】請求項５に記載の画像処理方法は、請求項
３に係る画像処理方法において、前記評価工程は、前記
対応点に基づいて、少なくとも２種類の合成方法それぞ
れを用いて画像合成した場合の合成誤差を計算し、それ
ぞれの前記合成誤差の大小を比較することによって合成
方法を評価することを特徴とする。
３に係る画像処理方法において、前記評価工程は、前記
対応点に基づいて、少なくとも２種類の合成方法それぞ
れを用いて画像合成した場合の合成誤差を計算し、それ
ぞれの前記合成誤差の大小を比較することによって合成
方法を評価することを特徴とする。
【００１６】請求項６に記載の画像処理方法では、請求
項１に係る画像処理方法において、前記複数の合成方法
は、少なくとも撮影方向を変えずに撮影位置を変えて撮
影する並進撮影と、撮影位置を変えずに撮影方向を変え
て撮影するパンニング撮影とに対応した合成方法である
ことを特徴とする。
項１に係る画像処理方法において、前記複数の合成方法
は、少なくとも撮影方向を変えずに撮影位置を変えて撮
影する並進撮影と、撮影位置を変えずに撮影方向を変え
て撮影するパンニング撮影とに対応した合成方法である
ことを特徴とする。
【００１７】請求項７に記載の画像処理方法では、請求
項６に係る画像処理方法において、前記パンニング撮影
に応じた合成方法は、前記複数の画像を撮影焦点距離を
半径とする仮想円筒面上、又は仮想球面上に座標変換し
た変換画像を用いることを特徴とする。
項６に係る画像処理方法において、前記パンニング撮影
に応じた合成方法は、前記複数の画像を撮影焦点距離を
半径とする仮想円筒面上、又は仮想球面上に座標変換し
た変換画像を用いることを特徴とする。
【００１８】請求項８に記載の画像処理方法は、請求項
６に係る画像処理方法において、前記パンニング撮影に
応じた合成方法が３６０゜パノラマ画像を生成する場
合、合成画像の両端を合成して３６０゜パノラマ画像を
生成する際に生じる画像のずれを、前記合成画像を全体
的に歪ませることによって補正する補正工程を有するこ
とを特徴とする。
６に係る画像処理方法において、前記パンニング撮影に
応じた合成方法が３６０゜パノラマ画像を生成する場
合、合成画像の両端を合成して３６０゜パノラマ画像を
生成する際に生じる画像のずれを、前記合成画像を全体
的に歪ませることによって補正する補正工程を有するこ
とを特徴とする。
【００１９】請求項９に記載の記録媒体は、複数の画像
を入力する入力工程と、前記複数の画像を用いて、複数
の合成方法の中から適切な合成方法を選択する選択工程
とを実行させるプログラムを、コンピュータで読み取り
可能に記録する。
を入力する入力工程と、前記複数の画像を用いて、複数
の合成方法の中から適切な合成方法を選択する選択工程
とを実行させるプログラムを、コンピュータで読み取り
可能に記録する。
【００２０】請求項１０に記載の記録媒体では、請求項
９に係る記録媒体において、前記選択工程は、前記複数
の合成方法のうち少なくとも１つの合成方法に基づいた
画像合成を評価する評価工程を有し、前記評価に応じて
合成方法を選択することを特徴とする。
９に係る記録媒体において、前記選択工程は、前記複数
の合成方法のうち少なくとも１つの合成方法に基づいた
画像合成を評価する評価工程を有し、前記評価に応じて
合成方法を選択することを特徴とする。
【００２１】請求項１１に記載の記録媒体は、請求項１
０に係る記録媒体において、前記プログラムが前記複数
の画像が有する重複領域内において対応点を抽出する抽
出工程を実行させるプログラムであることを特徴とす
る。
０に係る記録媒体において、前記プログラムが前記複数
の画像が有する重複領域内において対応点を抽出する抽
出工程を実行させるプログラムであることを特徴とす
る。
【００２２】請求項１２に記載の記録媒体は、請求項１
１に係る記録媒体において、前記評価工程は、前記対応
点に基づいて、画像合成した場合に生じる合成誤差を計
算し、前記合成誤差を所定値と比較することによって合
成方法を評価することを特徴とする。
１に係る記録媒体において、前記評価工程は、前記対応
点に基づいて、画像合成した場合に生じる合成誤差を計
算し、前記合成誤差を所定値と比較することによって合
成方法を評価することを特徴とする。
【００２３】請求項１３に記載の記録媒体は、請求項１
１に係る記録媒体において、前記評価工程は、前記対応
点に基づいて、少なくとも２種類の合成誤差を計算し、
それぞれの前記合成誤差の大小を比較することによって
合成方法を評価することを特徴とする。
１に係る記録媒体において、前記評価工程は、前記対応
点に基づいて、少なくとも２種類の合成誤差を計算し、
それぞれの前記合成誤差の大小を比較することによって
合成方法を評価することを特徴とする。
【００２４】請求項１４に記載の記録媒体では、請求項
９に係る記録媒体において、前記複数の合成方法は、少
なくとも撮影方向を変えずに撮影位置を変えて撮影する
並進撮影と、撮影位置を変えずに撮影方向を変えて撮影
するパンニング撮影とに対応した合成方法であることを
特徴とする。
９に係る記録媒体において、前記複数の合成方法は、少
なくとも撮影方向を変えずに撮影位置を変えて撮影する
並進撮影と、撮影位置を変えずに撮影方向を変えて撮影
するパンニング撮影とに対応した合成方法であることを
特徴とする。
【００２５】請求項１５に記載の記録媒体では、請求項
１４に係る記録媒体において、前記パンニング撮影に応
じた合成方法は、前記複数の画像を撮影焦点距離を半径
とする仮想円筒面上、又は仮想球面上に座標変換した変
換画像を用いることを特徴とする。
１４に係る記録媒体において、前記パンニング撮影に応
じた合成方法は、前記複数の画像を撮影焦点距離を半径
とする仮想円筒面上、又は仮想球面上に座標変換した変
換画像を用いることを特徴とする。
【００２６】請求項１６に記載の記録媒体では、請求項
１４に係る記録媒体において、前記プログラムは、前記
パンニング撮影に応じた合成方法が３６０゜パノラマ画
像を生成する場合、合成画像の両端を合成して３６０゜
パノラマ画像を生成する際に生じる画像のずれを、前記
合成画像を全体的に歪ませることによって補正する補正
工程を実行させるプログラムであることを特徴とする。
１４に係る記録媒体において、前記プログラムは、前記
パンニング撮影に応じた合成方法が３６０゜パノラマ画
像を生成する場合、合成画像の両端を合成して３６０゜
パノラマ画像を生成する際に生じる画像のずれを、前記
合成画像を全体的に歪ませることによって補正する補正
工程を実行させるプログラムであることを特徴とする。
【００２７】請求項１７に記載の画像処理装置は、複数
の画像を入力する入力手段と、前記複数の画像を用い
て、複数の合成方法の中から適切な合成方法を選択する
選択手段とを有する。
の画像を入力する入力手段と、前記複数の画像を用い
て、複数の合成方法の中から適切な合成方法を選択する
選択手段とを有する。
【００２８】請求項１８に記載の画像処理装置は、請求
項１７に係る画像処理装置において、前記複数の合成方
法のうち少なくとも１つの合成方法に基づいた画像合成
を評価する評価手段を有し、前記選択手段は前記評価に
応じて合成方法を選択することを特徴とする。
項１７に係る画像処理装置において、前記複数の合成方
法のうち少なくとも１つの合成方法に基づいた画像合成
を評価する評価手段を有し、前記選択手段は前記評価に
応じて合成方法を選択することを特徴とする。
【００２９】請求項１９に記載の画像処理装置は、請求
項１８に係る画像処理装置において、前記複数の画像が
有する重複領域内において対応点を抽出する抽出手段を
有することを特徴とする。
項１８に係る画像処理装置において、前記複数の画像が
有する重複領域内において対応点を抽出する抽出手段を
有することを特徴とする。
【００３０】請求項２０に記載の画像処理装置では、請
求項１９に係る画像処理装置において、前記評価手段
は、前記対応点に基づいて画像合成した場合に生じる合
成誤差を計算し、前記合成誤差を所定値と比較すること
によって合成方法を評価することを特徴とする。
求項１９に係る画像処理装置において、前記評価手段
は、前記対応点に基づいて画像合成した場合に生じる合
成誤差を計算し、前記合成誤差を所定値と比較すること
によって合成方法を評価することを特徴とする。
【００３１】請求項２１に記載の画像処理装置では、請
求項１９に係る画像処理装置において、前記評価手段
は、前記対応点に基づいて、少なくとも２種類の合成方
法それぞれを用いて画像合成した場合の合成誤差を計算
し、それぞれの前記合成誤差の大小を比較することによ
って合成方法を評価することを特徴とする。
求項１９に係る画像処理装置において、前記評価手段
は、前記対応点に基づいて、少なくとも２種類の合成方
法それぞれを用いて画像合成した場合の合成誤差を計算
し、それぞれの前記合成誤差の大小を比較することによ
って合成方法を評価することを特徴とする。
【００３２】請求項２２に記載の画像処理装置では、請
求項１７に係る画像処理装置において、前記複数の合成
方法は、少なくとも撮影方向を変えずに撮影位置を変え
て撮影する並進撮影と、撮影位置を変えずに撮影方向を
変えて撮影するパンニング撮影とに対応した合成方法で
あることを特徴とする。
求項１７に係る画像処理装置において、前記複数の合成
方法は、少なくとも撮影方向を変えずに撮影位置を変え
て撮影する並進撮影と、撮影位置を変えずに撮影方向を
変えて撮影するパンニング撮影とに対応した合成方法で
あることを特徴とする。
【００３３】請求項２３に記載の画像処理装置では、請
求項２２に係る画像処理装置において、前記パンニング
撮影に応じた合成方法は、前記複数の画像を撮影焦点距
離を半径とする仮想円筒面上、又は仮想球面上に座標変
換した変換画像を用いることを特徴とする。
求項２２に係る画像処理装置において、前記パンニング
撮影に応じた合成方法は、前記複数の画像を撮影焦点距
離を半径とする仮想円筒面上、又は仮想球面上に座標変
換した変換画像を用いることを特徴とする。
【００３４】請求項２４に記載の画像処理装置は、請求
項２２に係る画像処理装置において、前記パンニング撮
影に応じた合成方法が３６０゜パノラマ画像を生成する
場合、合成画像の両端を合成して３６０゜パノラマ画像
を生成する際に生じる画像のずれを、前記合成画像を全
体的に歪ませることによって補正する補正手段を有する
ことを特徴とする。
項２２に係る画像処理装置において、前記パンニング撮
影に応じた合成方法が３６０゜パノラマ画像を生成する
場合、合成画像の両端を合成して３６０゜パノラマ画像
を生成する際に生じる画像のずれを、前記合成画像を全
体的に歪ませることによって補正する補正手段を有する
ことを特徴とする。
【００３５】請求項２５に記載の画像処理方法は、複数
の画像を入力する入力工程と、前記複数の画像が有する
重複領域内において対応点を抽出する抽出工程と、前記
対応点に基づいて複数の合成方法の中から適切な合成方
法を選択する選択工程とを有する。
の画像を入力する入力工程と、前記複数の画像が有する
重複領域内において対応点を抽出する抽出工程と、前記
対応点に基づいて複数の合成方法の中から適切な合成方
法を選択する選択工程とを有する。
【００３６】請求項２６に記載の画像処理方法は、請求
項２５に係る画像処理方法において、前記複数の合成方
法のうち少なくとも１つの合成方法に基づいた画像合成
を評価する評価工程を有し、前記選択工程は、前記評価
に応じて合成方法を選択することを特徴とする。
項２５に係る画像処理方法において、前記複数の合成方
法のうち少なくとも１つの合成方法に基づいた画像合成
を評価する評価工程を有し、前記選択工程は、前記評価
に応じて合成方法を選択することを特徴とする。
【００３７】請求項２７に記載の画像処理方法では、請
求項２５に係る画像処理方法において、前記複数の合成
方法は、少なくとも撮影方向を変えずに撮影位置を変え
て撮影する並進撮影と、撮影位置を変えずに撮影方向を
変えて撮影するパンニング撮影とに対応した合成方法で
あることを特徴とする。
求項２５に係る画像処理方法において、前記複数の合成
方法は、少なくとも撮影方向を変えずに撮影位置を変え
て撮影する並進撮影と、撮影位置を変えずに撮影方向を
変えて撮影するパンニング撮影とに対応した合成方法で
あることを特徴とする。
【００３８】請求項２８に記載の画像処理方法は、請求
項２６に係る画像処理方法において、前記評価工程は、
円筒写像変換又は球面写像変換を利用することを特徴と
する。
項２６に係る画像処理方法において、前記評価工程は、
円筒写像変換又は球面写像変換を利用することを特徴と
する。
【００３９】請求項２９に記載の画像処理方法は、請求
項２５に係る画像処理方法において、前記合成方法は、
アフィン変換又はプロジェクション変換を利用すること
を特徴とする。
項２５に係る画像処理方法において、前記合成方法は、
アフィン変換又はプロジェクション変換を利用すること
を特徴とする。
【００４０】請求項３０に記載の画像処理方法は、撮影
地点の周りの全方向を撮影した前記複数の画像を合成
し、合成画像の両端を合成して３６０゜パノラマ画像を
形成する際に生じる画像のずれを、前記合成画像を全体
的に歪ませることによって補正する補正工程を有するこ
とを特徴とする。
地点の周りの全方向を撮影した前記複数の画像を合成
し、合成画像の両端を合成して３６０゜パノラマ画像を
形成する際に生じる画像のずれを、前記合成画像を全体
的に歪ませることによって補正する補正工程を有するこ
とを特徴とする。
【００４１】
【発明の実施の形態】本発明の画像処理方法、装置およ
び記録媒体の実施の形態について説明する。
び記録媒体の実施の形態について説明する。
【００４２】［第１の実施形態］図１は第１の実施形態
における画像処理装置の構成を示すブロック図である。
図において、１は画像合成処理部、１００は撮影した画
像を入力する画像入力部、１０４は入力した画像を一時
保持する画像メモリ、１０１は画像メモリ１０４に保持
された画像間の対応点情報を抽出する対応点抽出部であ
る。
における画像処理装置の構成を示すブロック図である。
図において、１は画像合成処理部、１００は撮影した画
像を入力する画像入力部、１０４は入力した画像を一時
保持する画像メモリ、１０１は画像メモリ１０４に保持
された画像間の対応点情報を抽出する対応点抽出部であ
る。
【００４３】１０２は抽出された対応点情報を基に撮影
時の撮影方式を判別する撮影方式判別部、１０３は判別
された撮影方式に応じて、各々の画像を適切に合成する
合成処理部、１０５は合成された画像を保持する合成画
像メモリである。
時の撮影方式を判別する撮影方式判別部、１０３は判別
された撮影方式に応じて、各々の画像を適切に合成する
合成処理部、１０５は合成された画像を保持する合成画
像メモリである。
【００４４】撮影方式判別部１０２で判別される撮影方
式としては、撮影方向を変えずに撮影位置を変えて撮影
する並進撮影と、撮影位置を変えずに撮影方向を変えて
撮影するパンニング撮影などがある。図２は原稿画像な
どを撮影する場合の並進撮影を示す図である。カメラを
位置１で撮影した後に位置２に移動して再度撮影する。
位置１から位置２に移動する際の主な変化には、並進
（△ｘ，△ｙ）、回転（θ）および倍率差（ここでは、
被写体までの距離ｍとしている）がある。この撮影を並
進撮影と呼ぶものとする。
式としては、撮影方向を変えずに撮影位置を変えて撮影
する並進撮影と、撮影位置を変えずに撮影方向を変えて
撮影するパンニング撮影などがある。図２は原稿画像な
どを撮影する場合の並進撮影を示す図である。カメラを
位置１で撮影した後に位置２に移動して再度撮影する。
位置１から位置２に移動する際の主な変化には、並進
（△ｘ，△ｙ）、回転（θ）および倍率差（ここでは、
被写体までの距離ｍとしている）がある。この撮影を並
進撮影と呼ぶものとする。
【００４５】図３は風景等を撮影する場合のパンニング
撮影を示す図である。カメラを位置１、位置２および位
置３に設定して撮影する。この際の主な変化には、ＸＹ
Ｚ各軸回りの回転（ψ，φ，θ）がある。特に、カメラ
を横方向に回転させながら逐次撮影しているので、Ｙ軸
回りの回転φが支配的な変化要因となる。これをパンニ
ング撮影と呼ぶものとする。
撮影を示す図である。カメラを位置１、位置２および位
置３に設定して撮影する。この際の主な変化には、ＸＹ
Ｚ各軸回りの回転（ψ，φ，θ）がある。特に、カメラ
を横方向に回転させながら逐次撮影しているので、Ｙ軸
回りの回転φが支配的な変化要因となる。これをパンニ
ング撮影と呼ぶものとする。
【００４６】撮影方式判別部１０２は、本実施形態では
撮影方式として並進撮影であるかパンニング撮影である
かを判別する。
撮影方式として並進撮影であるかパンニング撮影である
かを判別する。
【００４７】つぎに、上記構成を有する画像合成装置の
動作について説明する。図４は画像合成装置の画像合成
処理手順を示すフローチャートである。まず、画像入力
部１００により画像データを入力する（ステップＳ
１）。入力される画像データとしては、カメラにより撮
影された画像をＡ／Ｄ変換によりデジタル化したものが
用いられるが、カメラで撮影された画像に限らず、記録
媒体あるいは記憶素子等に保持された画像を読み込んで
もよい。
動作について説明する。図４は画像合成装置の画像合成
処理手順を示すフローチャートである。まず、画像入力
部１００により画像データを入力する（ステップＳ
１）。入力される画像データとしては、カメラにより撮
影された画像をＡ／Ｄ変換によりデジタル化したものが
用いられるが、カメラで撮影された画像に限らず、記録
媒体あるいは記憶素子等に保持された画像を読み込んで
もよい。
【００４８】画像入力部１００により入力した画像を画
像メモリ１０４に一時保持する（ステップＳ２）。２つ
の画像を入力しているか否かを判別する（ステップＳ
３）。２つの画像を入力している場合、入力した２つの
画像を用いて対応点抽出処理を実行する（ステップＳ
４）。図５は対応点抽出処理を概略的に示す図である。
画像メモリ１０４内の画像２００Ｌおよび２００Ｒを用
い、次の手順で対応点を抽出する。 （１）基準画像２００Ｌ上の点Ｐ１Ｌを中心としてｐ×
ｐ画素からなるテンプレート２０１を設定する。 （２）参照画像２００Ｒ上に設定したサーチエリア２０
２内でテンプレート２０１を移動させながら各移動点に
おける相関値Ｚｍｎを数式（１）により生成する。
像メモリ１０４に一時保持する（ステップＳ２）。２つ
の画像を入力しているか否かを判別する（ステップＳ
３）。２つの画像を入力している場合、入力した２つの
画像を用いて対応点抽出処理を実行する（ステップＳ
４）。図５は対応点抽出処理を概略的に示す図である。
画像メモリ１０４内の画像２００Ｌおよび２００Ｒを用
い、次の手順で対応点を抽出する。 （１）基準画像２００Ｌ上の点Ｐ１Ｌを中心としてｐ×
ｐ画素からなるテンプレート２０１を設定する。 （２）参照画像２００Ｒ上に設定したサーチエリア２０
２内でテンプレート２０１を移動させながら各移動点に
おける相関値Ｚｍｎを数式（１）により生成する。
【００４９】
【数１】
【００５０】（３）参照画像２００Ｒ上の各移動点にお
ける相関値Ｚｍｎを比較して最大値を与える点を抽出す
る。 （４）最大の相関値を与える移動量を（ｍ’ｎ’）とす
ると、点Ｐ１Ｌの座標を（ｉ，ｊ）として対応点の座標
（ｉ’，ｊ’）はｉ’＝ｉ−ｍ’，ｊ’＝ｊ−ｎ’の式
より定まる。
ける相関値Ｚｍｎを比較して最大値を与える点を抽出す
る。 （４）最大の相関値を与える移動量を（ｍ’ｎ’）とす
ると、点Ｐ１Ｌの座標を（ｉ，ｊ）として対応点の座標
（ｉ’，ｊ’）はｉ’＝ｉ−ｍ’，ｊ’＝ｊ−ｎ’の式
より定まる。
【００５１】対応点抽出部１０１では、図５の画像２０
０Ｌに複数のテンプレートを設定して各テンプレートに
対する対応点を上記（１）から（４）の手順により抽出
する。抽出した対応点は図示しないメモリに保持され
る。
０Ｌに複数のテンプレートを設定して各テンプレートに
対する対応点を上記（１）から（４）の手順により抽出
する。抽出した対応点は図示しないメモリに保持され
る。
【００５２】ステップＳ４で抽出された対応点情報を基
に撮影方式判別部１０２は撮影方式の判別を行う（ステ
ップＳ５）。つづいて、撮影方式の判別について説明す
る。
に撮影方式判別部１０２は撮影方式の判別を行う（ステ
ップＳ５）。つづいて、撮影方式の判別について説明す
る。
【００５３】図６は並進撮影およびパンニング撮影によ
り得られる画像間の対応点を模式的に示す図である。同
図（Ａ）に示す対応点の座標間の関係は数式（２）に示
すアフィン変換により記述できる。
り得られる画像間の対応点を模式的に示す図である。同
図（Ａ）に示す対応点の座標間の関係は数式（２）に示
すアフィン変換により記述できる。
【００５４】
【数２】 ｘ’＝Ａｘ＋Ｂｙ＋Ｃ ｙ’＝−Ｂｘ＋Ａｙ＋Ｄ ここで、（ｘ，ｙ）は同図（Ａ）の画像３００Ｌ上の座
標であり、（ｘ’，ｙ’）は画像３００Ｒ上の座標を示
す。また、同図（Ｂ）に示す対応点の座標間の関係は数
式（３）に示すプロジェクション変換により記述でき
る。
標であり、（ｘ’，ｙ’）は画像３００Ｒ上の座標を示
す。また、同図（Ｂ）に示す対応点の座標間の関係は数
式（３）に示すプロジェクション変換により記述でき
る。
【００５５】
【数３】
【００５６】図７は撮影方式判別部１０２における撮影
方式判別処理手順を示すフローチャートである。まず、
対応点抽出部１０１で得られた対応点情報を図示しない
メモリより読み込む（ステップＳ１１）。
方式判別処理手順を示すフローチャートである。まず、
対応点抽出部１０１で得られた対応点情報を図示しない
メモリより読み込む（ステップＳ１１）。
【００５７】読み込んだ対応点を用いて上記数式（２）
および数式（３）により示される各々の変換式を基に最
小二乗法による演算処理を行って、画像合成が良好に行
われたかを評価するために合成誤差を計算する（ステッ
プＳ１２）。最小二乗法による評価式を以下に示す。ア
フィン変換の場合、数式（４）の誤差Ｅ２を最小にする
パラメータＡ，Ｂ，ＣおよびＤを算出する。
および数式（３）により示される各々の変換式を基に最
小二乗法による演算処理を行って、画像合成が良好に行
われたかを評価するために合成誤差を計算する（ステッ
プＳ１２）。最小二乗法による評価式を以下に示す。ア
フィン変換の場合、数式（４）の誤差Ｅ２を最小にする
パラメータＡ，Ｂ，ＣおよびＤを算出する。
【００５８】
【数４】
【００５９】また、プロジェクション変換の場合、数式
（５）の誤差Ｅ３を最小にするパラメータｍ1〜ｍ8を算
出する。
（５）の誤差Ｅ３を最小にするパラメータｍ1〜ｍ8を算
出する。
【００６０】
【数５】
【００６１】ステップＳ１２で得られる誤差Ｅ２を数式
（６）により比較する（ステップＳ１３）。
（６）により比較する（ステップＳ１３）。
【００６２】
【数６】Ｅ２＜Ｔｈ 即ち、誤差Ｅ２が予め設定したしきい値Ｔｈより小さい
場合、アフィン変換つまり撮影方式が並進撮影であると
判別する（ステップＳ１５）。一方、誤差Ｅ２が予め設
定したしきい値Ｔｈ以上である場合、誤差Ｅ２を数式
（７）により誤差Ｅ３と比較する（ステップＳ１４）。
場合、アフィン変換つまり撮影方式が並進撮影であると
判別する（ステップＳ１５）。一方、誤差Ｅ２が予め設
定したしきい値Ｔｈ以上である場合、誤差Ｅ２を数式
（７）により誤差Ｅ３と比較する（ステップＳ１４）。
【００６３】
【数７】Ｅ２≦Ｅ３ 即ち、誤差Ｅ２が誤差Ｅ３以下の場合、アフィン変換つ
まり並進撮影であると判別し（ステップＳ１５）、誤差
Ｅ３が誤差Ｅ２より小さい場合、プロジェクション変換
つまりパンニング撮影であると判別する（ステップＳ１
６）。判別結果はパラメータと共に合成処理部１０３に
与えられる。
まり並進撮影であると判別し（ステップＳ１５）、誤差
Ｅ３が誤差Ｅ２より小さい場合、プロジェクション変換
つまりパンニング撮影であると判別する（ステップＳ１
６）。判別結果はパラメータと共に合成処理部１０３に
与えられる。
【００６４】ステップＳ５の判別結果に基づいて合成処
理を行う（ステップＳ６）。図８は合成画像メモリ１０
５を展開した合成処理を示す図である。同図（Ａ）は並
進撮影と判別された場合の合成処理を示し、同図（Ｂ）
はパンニング撮影と判別された場合の合成処理を示して
いる。
理を行う（ステップＳ６）。図８は合成画像メモリ１０
５を展開した合成処理を示す図である。同図（Ａ）は並
進撮影と判別された場合の合成処理を示し、同図（Ｂ）
はパンニング撮影と判別された場合の合成処理を示して
いる。
【００６５】合成処理部１０３は次の手順で合成処理を
行う。 （１）合成パラメータを基に画像間のつなぎ目位置Ｓを
設定する。 （２）画像メモリ１０４より画像２００Ｌを読み出し、
つなぎ目Ｓの左側の領域を合成画像メモリ１０５に書き
込む。 （３）画像２００Ｒを基につなぎ目位置Ｓの右側の領域
を合成画像メモリ１０５に書き込む。同図（Ａ）の点Ｐ
１（ｘ，ｙ）に対応する画像２００Ｒ上の座標（ｘ’，
ｙ’）を数式（２）により算出する。また、同図（Ｂ）
の点Ｐ２（ｘ，ｙ）に対応する画像２００Ｒ上の座標を
数式（３）により算出する。 （４）対応する画像２００Ｒ上の座標（ｘ’，ｙ’）に
おける画素値を前記点Ｐ１（ｘ，ｙ）あるいは点Ｐ２
（ｘ，ｙ）の画素値として書き込む。これにより合成処
理が実行される。
行う。 （１）合成パラメータを基に画像間のつなぎ目位置Ｓを
設定する。 （２）画像メモリ１０４より画像２００Ｌを読み出し、
つなぎ目Ｓの左側の領域を合成画像メモリ１０５に書き
込む。 （３）画像２００Ｒを基につなぎ目位置Ｓの右側の領域
を合成画像メモリ１０５に書き込む。同図（Ａ）の点Ｐ
１（ｘ，ｙ）に対応する画像２００Ｒ上の座標（ｘ’，
ｙ’）を数式（２）により算出する。また、同図（Ｂ）
の点Ｐ２（ｘ，ｙ）に対応する画像２００Ｒ上の座標を
数式（３）により算出する。 （４）対応する画像２００Ｒ上の座標（ｘ’，ｙ’）に
おける画素値を前記点Ｐ１（ｘ，ｙ）あるいは点Ｐ２
（ｘ，ｙ）の画素値として書き込む。これにより合成処
理が実行される。
【００６６】尚、上記（３）の手順で対応する座標
（ｘ’，ｙ’）が小数点を含む場合、公知の補間処理を
用いて画素値を生成してもよい。
（ｘ’，ｙ’）が小数点を含む場合、公知の補間処理を
用いて画素値を生成してもよい。
【００６７】図４のステップＳ１〜Ｓ６の処理が完了す
ると、図８に示すように合成画像が合成画像メモリ１０
５に書き込まれる。
ると、図８に示すように合成画像が合成画像メモリ１０
５に書き込まれる。
【００６８】第１の実施形態の画像合成装置によれば、
撮影方式を画像だけから判別し、判別結果に基づいて最
適な合成処理を施すので、ユーザーが撮影方式を記憶す
る必要がなく、しかも常に高画質の合成画像を得ること
ができる。
撮影方式を画像だけから判別し、判別結果に基づいて最
適な合成処理を施すので、ユーザーが撮影方式を記憶す
る必要がなく、しかも常に高画質の合成画像を得ること
ができる。
【００６９】尚、合成方法が撮影方式と対応していなく
ても、合成誤差が十分に小さい場合、その合成方法によ
って画像合成されることになるが、この場合も適切な合
成方法を選択しているので、何ら問題はない。
ても、合成誤差が十分に小さい場合、その合成方法によ
って画像合成されることになるが、この場合も適切な合
成方法を選択しているので、何ら問題はない。
【００７０】又、合成パラメータの生成等においては、
一方の画像を他方に対して一画素ずつずらしたり、又は
変形させることにより重なり部分の相関値を計算して求
めることもできる。さらに、対応点の抽出を行って、対
応点の情報を利用した方が計算が少なくて済むので、処
理時間の短縮を図ることができる。
一方の画像を他方に対して一画素ずつずらしたり、又は
変形させることにより重なり部分の相関値を計算して求
めることもできる。さらに、対応点の抽出を行って、対
応点の情報を利用した方が計算が少なくて済むので、処
理時間の短縮を図ることができる。
【００７１】［第２の実施形態］図９は第２の実施形態
における画像処理装置の構成を示すブロック図である。
前記第１の実施形態と同一の構成要素については同一の
符号を付してその説明を省略する。
における画像処理装置の構成を示すブロック図である。
前記第１の実施形態と同一の構成要素については同一の
符号を付してその説明を省略する。
【００７２】第２の実施形態の画像処理装置において特
徴的部分は、焦点距離入力部１０６、画像変換部１０
９、撮影方式判別部１０７および合成処理部１０８であ
る。
徴的部分は、焦点距離入力部１０６、画像変換部１０
９、撮影方式判別部１０７および合成処理部１０８であ
る。
【００７３】焦点距離入力部１０６は撮影時の焦点距離
を入力するものである。焦点距離の入力は、ユーザーが
数値をキーボード等で入力することにより行ってもよい
し、複数の値の中から選択してもよい。また、撮影時に
画像と共に焦点距離情報を記録し、記録した情報を焦点
距離入力部１０６が読み込むようにしてもよい。
を入力するものである。焦点距離の入力は、ユーザーが
数値をキーボード等で入力することにより行ってもよい
し、複数の値の中から選択してもよい。また、撮影時に
画像と共に焦点距離情報を記録し、記録した情報を焦点
距離入力部１０６が読み込むようにしてもよい。
【００７４】画像変換部１０９は焦点距離を用いて画像
データを変換する。変換は円筒写像変換処理である。対
応点抽出部１０１０、１０１１は、画像間の対応点を抽
出する。抽出処理方式は前記第１の実施形態と同様であ
る。
データを変換する。変換は円筒写像変換処理である。対
応点抽出部１０１０、１０１１は、画像間の対応点を抽
出する。抽出処理方式は前記第１の実施形態と同様であ
る。
【００７５】撮影方式判別部１０７は前記第１の実施形
態と同様に撮影方式として、並進撮影かパンニング撮影
かを判別する。但し、評価方式が前記第１の実施形態と
は異なる。合成処理部１０８は判別された撮影方式に基
づいて画像を合成する。
態と同様に撮影方式として、並進撮影かパンニング撮影
かを判別する。但し、評価方式が前記第１の実施形態と
は異なる。合成処理部１０８は判別された撮影方式に基
づいて画像を合成する。
【００７６】上記構成を有する第２の実施形態における
画像処理装置の動作について説明する。前記第１の実施
形態と同様の処理については同一の符号を付すことによ
りその説明を省略する。
画像処理装置の動作について説明する。前記第１の実施
形態と同様の処理については同一の符号を付すことによ
りその説明を省略する。
【００７７】画像変換部１０９は画像メモリ１０４に記
憶された画像データを焦点距離入力部１０６により得ら
れる焦点距離を基に円筒写像変換する。図１０は画像変
換部１０９における円筒写像変換処理を示す図である。
憶された画像データを焦点距離入力部１０６により得ら
れる焦点距離を基に円筒写像変換する。図１０は画像変
換部１０９における円筒写像変換処理を示す図である。
【００７８】図において、２００は画像メモリ１０４よ
り読み込んだオリジナル画像であり、２０１は円筒写像
変換後の画像である。円筒写像前の座標を（ｘ，ｙ）と
し、円筒写像後の座標を（φ，ｖ）とすると、数式
（８）に示す関係となる。
り読み込んだオリジナル画像であり、２０１は円筒写像
変換後の画像である。円筒写像前の座標を（ｘ，ｙ）と
し、円筒写像後の座標を（φ，ｖ）とすると、数式
（８）に示す関係となる。
【００７９】
【数８】
【００８０】画像変換部１０９では、数式（８）にした
がって画像を変換する。図１１は変換後の画像を概略的
に示す図である。第２の実施形態における画像合成装置
の画像合成処理部２は、オリジナル画像間の対応点抽出
処理を対応点抽出部１０１０で行い、円筒写像変換画像
を用いた対応点抽出処理を対応点抽出部１０１１で実行
する。従って、２組の対応点ペアが生成される。
がって画像を変換する。図１１は変換後の画像を概略的
に示す図である。第２の実施形態における画像合成装置
の画像合成処理部２は、オリジナル画像間の対応点抽出
処理を対応点抽出部１０１０で行い、円筒写像変換画像
を用いた対応点抽出処理を対応点抽出部１０１１で実行
する。従って、２組の対応点ペアが生成される。
【００８１】撮影方式判別部１０７では、対応点抽出部
１０１０、１０１１において生成された対応点情報を用
いて撮影方式の判別を行う。
１０１０、１０１１において生成された対応点情報を用
いて撮影方式の判別を行う。
【００８２】図１２は撮影方式判別部１０７における撮
影方式判別処理手順を示すフローチャートである。ま
ず、対応点抽出部１０１０、１０１１において得られた
対応点情報を図示しないメモリから読み込む（ステップ
Ｓ２１）。
影方式判別処理手順を示すフローチャートである。ま
ず、対応点抽出部１０１０、１０１１において得られた
対応点情報を図示しないメモリから読み込む（ステップ
Ｓ２１）。
【００８３】読み込んだ対応点を用いて上記数式（２）
により示される各々の変換式を基に最小二乗法による演
算処理を行う（ステップＳ２２）。
により示される各々の変換式を基に最小二乗法による演
算処理を行う（ステップＳ２２）。
【００８４】尚、ここで数式（２）たけを用いる理由
は、パンニング撮影で撮影された画像であっても、円筒
写像変換した画像はアフィン変換で座標変換するためで
ある。つまり、円筒写像変換した画像としない画像とを
用意し、それぞれの合成誤差を数式（２）を用いて計算
すれば、適切な合成方法を選択できるのである。
は、パンニング撮影で撮影された画像であっても、円筒
写像変換した画像はアフィン変換で座標変換するためで
ある。つまり、円筒写像変換した画像としない画像とを
用意し、それぞれの合成誤差を数式（２）を用いて計算
すれば、適切な合成方法を選択できるのである。
【００８５】第２の実施形態の処理では、画像変換部１
０９において円筒写像変換した画像を用いているため、
並進撮影およびパンニング撮影のいずれの場合も数式
（２）のアフィン変換で座標変換を表すことができる。
０９において円筒写像変換した画像を用いているため、
並進撮影およびパンニング撮影のいずれの場合も数式
（２）のアフィン変換で座標変換を表すことができる。
【００８６】最小二乗法による評価式を数式（９）に示
す。オリジナル画像間の対応点抽出で得られた対応点ペ
アを（ｘ0，ｙ0）−（ｘ0’，ｙ0’）とし、円筒写像変
換画像間の対応点抽出で得られた対応点ペアを（ｘs，
ｙs）−（ｘs’，ｙs’）として、数式（９）の誤差Ｅ
４およびＥ５を最小にするパラメータＡ0，Ｂ0，Ｃ0，
Ｄ0およびＡs，Ｂs，Ｃs，Ｄsを算出する。
す。オリジナル画像間の対応点抽出で得られた対応点ペ
アを（ｘ0，ｙ0）−（ｘ0’，ｙ0’）とし、円筒写像変
換画像間の対応点抽出で得られた対応点ペアを（ｘs，
ｙs）−（ｘs’，ｙs’）として、数式（９）の誤差Ｅ
４およびＥ５を最小にするパラメータＡ0，Ｂ0，Ｃ0，
Ｄ0およびＡs，Ｂs，Ｃs，Ｄsを算出する。
【００８７】
【数９】
【００８８】次に、ステップＳ２２で得られる誤差Ｅ４
がしきい値Ｔｈより小さいか否かの比較（Ｅ４＜Ｔｈ）
を行う（ステップＳ２３）。即ち、誤差Ｅ４が予め設定
したしきい値Ｔｈより小さい場合、撮影方式が並進撮影
であると判別して並進撮影に対応した合成方法を選択す
る（ステップＳ２５）。
がしきい値Ｔｈより小さいか否かの比較（Ｅ４＜Ｔｈ）
を行う（ステップＳ２３）。即ち、誤差Ｅ４が予め設定
したしきい値Ｔｈより小さい場合、撮影方式が並進撮影
であると判別して並進撮影に対応した合成方法を選択す
る（ステップＳ２５）。
【００８９】次に、誤差Ｅ４がしきい値Ｔｈ以上である
場合、誤差Ｅ４が誤差Ｅ５以下であるか否かの比較（Ｅ
４＜＝Ｅ５）を行う（ステップＳ２４）。そして、誤差
Ｅ４が誤差Ｅ５以下の場合、並進撮影であると判別し
（ステップＳ２５）、誤差Ｅ５が誤差Ｅ４より小さい場
合、パンニング撮影であると判別とし、それぞれの判別
に応じた合成方法を選択して（ステップＳ２６）、処理
を終了する。判別結果はパラメータと共に合成処理部１
０８に与えられる。
場合、誤差Ｅ４が誤差Ｅ５以下であるか否かの比較（Ｅ
４＜＝Ｅ５）を行う（ステップＳ２４）。そして、誤差
Ｅ４が誤差Ｅ５以下の場合、並進撮影であると判別し
（ステップＳ２５）、誤差Ｅ５が誤差Ｅ４より小さい場
合、パンニング撮影であると判別とし、それぞれの判別
に応じた合成方法を選択して（ステップＳ２６）、処理
を終了する。判別結果はパラメータと共に合成処理部１
０８に与えられる。
【００９０】合成処理部１０８の動作は基本的には前記
第１の実施形態と同様である。前記第１の実施形態と異
なる動作として、撮影方式判別部１０７は、パンニング
撮影と判別された場合、画像メモリ１０４からオリジナ
ルの画像を読み込み、画像変換部１０９と同様の処理に
より円筒写像変換画像に変換した後、上記パラメータＡ
s，Ｂs，Ｃs，Ｄsを用いて合成画像メモリ１０５に画素
値を書き込む。
第１の実施形態と同様である。前記第１の実施形態と異
なる動作として、撮影方式判別部１０７は、パンニング
撮影と判別された場合、画像メモリ１０４からオリジナ
ルの画像を読み込み、画像変換部１０９と同様の処理に
より円筒写像変換画像に変換した後、上記パラメータＡ
s，Ｂs，Ｃs，Ｄsを用いて合成画像メモリ１０５に画素
値を書き込む。
【００９１】図１３はパンニング撮影であると判別され
た場合の合成画像を示す図である。ここで、画像合成の
際に再度円筒写像変換処理を実行しているが、画像変換
部１０９は生成した合成画像を画像メモリ１０４に保持
しておき、合成処理部１０８が保持されている円筒写像
変換画像を読み出して合成することも可能である。
た場合の合成画像を示す図である。ここで、画像合成の
際に再度円筒写像変換処理を実行しているが、画像変換
部１０９は生成した合成画像を画像メモリ１０４に保持
しておき、合成処理部１０８が保持されている円筒写像
変換画像を読み出して合成することも可能である。
【００９２】尚、パンニング撮影での合成画像の画角が
あまり大きくない場合、第１の実施形態のプロジェクシ
ョン変換をして画像を合成した方が良好な場合がある。
このような場合には、パンニング撮影の判定の後に、画
角に応じて合成方法を切り換えてもよい。
あまり大きくない場合、第１の実施形態のプロジェクシ
ョン変換をして画像を合成した方が良好な場合がある。
このような場合には、パンニング撮影の判定の後に、画
角に応じて合成方法を切り換えてもよい。
【００９３】また、これまではパンニング撮影時に一方
向（例えば左右方向）のみで撮影方向を変えていたが、
二方向以上（例えば上下左右方向）で撮影方向を変えた
場合には、周知の球面写像変換を利用する方が好まし
く、このような場合でも、合成方法を切り換えるように
してもよい。
向（例えば左右方向）のみで撮影方向を変えていたが、
二方向以上（例えば上下左右方向）で撮影方向を変えた
場合には、周知の球面写像変換を利用する方が好まし
く、このような場合でも、合成方法を切り換えるように
してもよい。
【００９４】［第３の実施形態］図１４は第３の実施形
態における画像処理装置の構成を示すブロック図であ
る。第３の実施形態ではｎ枚画像の合成に対応した処理
を行うことに特徴を有する。尚、第３の実施形態におけ
る画像合成処理部は前記第１の実施形態の画像合成処理
部１と同様の構成を有する。
態における画像処理装置の構成を示すブロック図であ
る。第３の実施形態ではｎ枚画像の合成に対応した処理
を行うことに特徴を有する。尚、第３の実施形態におけ
る画像合成処理部は前記第１の実施形態の画像合成処理
部１と同様の構成を有する。
【００９５】図において、１１１はｎ画像統合部であ
り、ｎ枚の画像を合成するための各種情報を演算により
生成して保持する。１１２は焦点距離推定部であり、焦
点距離の推定を行う。したがって、第３実施形態では焦
点距離が未知の場合でも対応可能である。但し、焦点距
離が既知である場合、別途入力手段を設けて焦点距離の
値を入力してもよい。１１３はメイン画像メモリであ
り、ｎ枚の画像情報を保持している。１１４はｎ画像合
成部であり、ｎ枚の画像を合成して１枚のパノラマ画像
を生成する。
り、ｎ枚の画像を合成するための各種情報を演算により
生成して保持する。１１２は焦点距離推定部であり、焦
点距離の推定を行う。したがって、第３実施形態では焦
点距離が未知の場合でも対応可能である。但し、焦点距
離が既知である場合、別途入力手段を設けて焦点距離の
値を入力してもよい。１１３はメイン画像メモリであ
り、ｎ枚の画像情報を保持している。１１４はｎ画像合
成部であり、ｎ枚の画像を合成して１枚のパノラマ画像
を生成する。
【００９６】図１５および図１６は第３の実施形態にお
ける画像合成処理手順を示すフローチャートである。ま
ず、メイン画像メモリ１１３より２つの画像を画像合成
処理部１に読み込む（ステップＳ３１）。尚、画像枚数
は図示しない手段によりｎ画像統合部１１１が保持して
いるものとする。
ける画像合成処理手順を示すフローチャートである。ま
ず、メイン画像メモリ１１３より２つの画像を画像合成
処理部１に読み込む（ステップＳ３１）。尚、画像枚数
は図示しない手段によりｎ画像統合部１１１が保持して
いるものとする。
【００９７】画像合成処理部１は前記第１の実施形態と
同様の方式により２つの画像を合成する（ステップＳ３
２）。ここで、合成画像メモリ１０５に保持されている
合成画像を図示しない表示部に表示し、ユーザが合成結
果を確認するようにすることも可能である。また、各画
像間の対応点座標データ、合成パラメータおよび撮影方
式に関する情報はｎ画像統合部１１１に保持される。
同様の方式により２つの画像を合成する（ステップＳ３
２）。ここで、合成画像メモリ１０５に保持されている
合成画像を図示しない表示部に表示し、ユーザが合成結
果を確認するようにすることも可能である。また、各画
像間の対応点座標データ、合成パラメータおよび撮影方
式に関する情報はｎ画像統合部１１１に保持される。
【００９８】ｎ枚の画像間の合成処理が終了したか否か
を判別する（ステップＳ３３）。ｎ枚の画像間の合成処
理が終了していない場合、ステップＳ３１に戻って処理
を繰り返す。一方、ｎ枚の画像間の合成処理が終了して
いる場合、ｎ画像統合部１１１に保持されているｎ−１
個の撮影方式の判別結果情報をチェックし、多数決によ
りｎ枚の画像間の撮影方式を並進撮影であるかパンニン
グであるか決定する（ステップＳ３４）。
を判別する（ステップＳ３３）。ｎ枚の画像間の合成処
理が終了していない場合、ステップＳ３１に戻って処理
を繰り返す。一方、ｎ枚の画像間の合成処理が終了して
いる場合、ｎ画像統合部１１１に保持されているｎ−１
個の撮影方式の判別結果情報をチェックし、多数決によ
りｎ枚の画像間の撮影方式を並進撮影であるかパンニン
グであるか決定する（ステップＳ３４）。
【００９９】ステップＳ３４で決定した撮影方式の判別
結果を判別する（ステップＳ３５）。即ち、並進撮影で
あると判別された場合、ｎ画像統合部１１１に保持して
いる各画像間の対応点情報を順次読み出し、数式（２）
にしたがって最小二乗法によりアフィン変換パラメータ
Ａi，Ｂi，Ｃi，Ｄiを算出する（ステップＳ３６）。
結果を判別する（ステップＳ３５）。即ち、並進撮影で
あると判別された場合、ｎ画像統合部１１１に保持して
いる各画像間の対応点情報を順次読み出し、数式（２）
にしたがって最小二乗法によりアフィン変換パラメータ
Ａi，Ｂi，Ｃi，Ｄiを算出する（ステップＳ３６）。
【０１００】算出したアフィン変換パラメータを、画像
１を基準とした合成パラメータＡi’，Ｂi’，Ｃi’，
Ｄi’に変換する（ステップＳ３７）。図１７は合成パ
ラメータの変換の後、ｎ枚の画像を繋げた様子を示す図
である。
１を基準とした合成パラメータＡi’，Ｂi’，Ｃi’，
Ｄi’に変換する（ステップＳ３７）。図１７は合成パ
ラメータの変換の後、ｎ枚の画像を繋げた様子を示す図
である。
【０１０１】変換した合成パラメータＡi’，Ｂi’，Ｃ
i’，Ｄi’を用いて、ｎ画像合成部１１４により図１７
に示すように数式（２）の座標変換に基づいて各点の画
素値を生成してメイン画像メモリ１１３に書き込む（ス
テップＳ３８）。画素値の生成方式は前記第１の実施形
態と同様である。
i’，Ｄi’を用いて、ｎ画像合成部１１４により図１７
に示すように数式（２）の座標変換に基づいて各点の画
素値を生成してメイン画像メモリ１１３に書き込む（ス
テップＳ３８）。画素値の生成方式は前記第１の実施形
態と同様である。
【０１０２】一方、ステップＳ３５でパンニング撮影で
あると判別された場合、３６０度合成であるかを確認す
るメッセージを図示しない表示部に表示する（ステップ
Ｓ３９）。３６０度合成であるか否かを判別する（ステ
ップＳ４０）。３６０度合成でない場合、焦点距離推定
部１１２において以下の方式により焦点距離を推定する
（ステップＳ４１）。
あると判別された場合、３６０度合成であるかを確認す
るメッセージを図示しない表示部に表示する（ステップ
Ｓ３９）。３６０度合成であるか否かを判別する（ステ
ップＳ４０）。３６０度合成でない場合、焦点距離推定
部１１２において以下の方式により焦点距離を推定する
（ステップＳ４１）。
【０１０３】図３に示すようにパンニング撮影はＸＹＺ
軸回りの回転（ψ，φ，θ）により視野を変えて撮影す
る。したがって、各画像間の座標変換マトリクスＭは、
数式（１０）により表される。
軸回りの回転（ψ，φ，θ）により視野を変えて撮影す
る。したがって、各画像間の座標変換マトリクスＭは、
数式（１０）により表される。
【０１０４】
【数１０】
【０１０５】数式（３）にしたがって座標変換マトリク
スを記述すると、数式（１１）に示すようになる。
スを記述すると、数式（１１）に示すようになる。
【０１０６】
【数１１】
【０１０７】そして、数式（１０）および数式（１１）
より数式（１２）に示す関係が成り立つ。
より数式（１２）に示す関係が成り立つ。
【０１０８】
【数１２】
【０１０９】したがって、焦点距離推定部１１２におい
ては数式（１２）を用いて焦点距離を推定する。この場
合のパラメータｍ1〜ｍ7は、ｎ画像統合部１１１に保持
されているパンニング撮影と判別された場合のパラメー
タを用いる。また、パラメータの組は複数存在するの
で、各パラメータにより得られる焦点距離ｆkの中央値
を用いる。推定された焦点距離ｆはｎ画像統合部１１１
に保持される。
ては数式（１２）を用いて焦点距離を推定する。この場
合のパラメータｍ1〜ｍ7は、ｎ画像統合部１１１に保持
されているパンニング撮影と判別された場合のパラメー
タを用いる。また、パラメータの組は複数存在するの
で、各パラメータにより得られる焦点距離ｆkの中央値
を用いる。推定された焦点距離ｆはｎ画像統合部１１１
に保持される。
【０１１０】生成されたパラメータｆを用いてｎ画像合
成部１１４は合成画像を生成する（ステップＳ４２）。
第２の実施形態に示すように、合成画像を円筒写像変換
画像に変換し、図１３に示すようにｎ画像の合成画像を
生成してメイン画像メモリ１１３に書き込む。
成部１１４は合成画像を生成する（ステップＳ４２）。
第２の実施形態に示すように、合成画像を円筒写像変換
画像に変換し、図１３に示すようにｎ画像の合成画像を
生成してメイン画像メモリ１１３に書き込む。
【０１１１】一方、ステップＳ４０で３６０度合成であ
る場合、１枚目とｎ枚目の画像が重複することになるの
で、１枚目の画像とｎ枚目の画像間の座標変換パラメー
タ推定を実行する（ステップＳ４３）。これは、メイン
画像メモリ１１３より１枚目およびｎ枚目の画像を読み
出し、合成画像処理部１で前述した処理を実行すること
により得られる。生成されるパラメータ等の情報はｎ画
像統合部１１１に保持される。
る場合、１枚目とｎ枚目の画像が重複することになるの
で、１枚目の画像とｎ枚目の画像間の座標変換パラメー
タ推定を実行する（ステップＳ４３）。これは、メイン
画像メモリ１１３より１枚目およびｎ枚目の画像を読み
出し、合成画像処理部１で前述した処理を実行すること
により得られる。生成されるパラメータ等の情報はｎ画
像統合部１１１に保持される。
【０１１２】焦点距離推定部１１２で焦点距離を推定す
る（ステップＳ４４）。図１８は各画像における視野角
を示す図である。各画像における視野角をωkとする
と、数式（１３）により視野角ωkは得られる。
る（ステップＳ４４）。図１８は各画像における視野角
を示す図である。各画像における視野角をωkとする
と、数式（１３）により視野角ωkは得られる。
【０１１３】
【数１３】ωk＝ｔａｎ-1（ｘk／ｆ） ここで、ｘkは画像間の重複領域の中心線Ｓを求めるこ
とにより得られる。図１９は画像間の重複領域の中心線
Ｓを示す図である。したがって、ｎ画像統合部１１１に
おいて各画像間の重複領域を座標変換パラメータを基に
算出し、上記ｘ kを求める。
とにより得られる。図１９は画像間の重複領域の中心線
Ｓを示す図である。したがって、ｎ画像統合部１１１に
おいて各画像間の重複領域を座標変換パラメータを基に
算出し、上記ｘ kを求める。
【０１１４】ｎ枚の画像で３６０度の視野をカバーして
いるので、図１８に示すようにω1からωnで３６０度
（２π）となる。これを表すと数式（１４）が得られ
る。
いるので、図１８に示すようにω1からωnで３６０度
（２π）となる。これを表すと数式（１４）が得られ
る。
【０１１５】
【数１４】
【０１１６】数式１４をニュートン法等を用いて解くこ
とにより焦点距離ｆを推定する。推定した焦点距離ｆ
は、ｎ画像統合部１１１に保持する。また、ｎ画像統合
部１１１は各画像間の対応点座標を焦点距離ｆを基に円
筒写像変換し、変換した対応点座標を用いて数式（２）
にしたがってパラメータを生成する。さらに生成したパ
ラメータを基準画像（例えば画像１）を基にした値に変
換して全画像合成に用いる。
とにより焦点距離ｆを推定する。推定した焦点距離ｆ
は、ｎ画像統合部１１１に保持する。また、ｎ画像統合
部１１１は各画像間の対応点座標を焦点距離ｆを基に円
筒写像変換し、変換した対応点座標を用いて数式（２）
にしたがってパラメータを生成する。さらに生成したパ
ラメータを基準画像（例えば画像１）を基にした値に変
換して全画像合成に用いる。
【０１１７】以上により、第２の実施形態の焦点距離ｆ
の値も画像情報のみから自動的に得ることができる。
の値も画像情報のみから自動的に得ることができる。
【０１１８】３６０度合成の結果、１枚目とｎ枚目のつ
なぎ目が滑らかとなるような変換処理を行う（ステップ
Ｓ４５）。図２０は変換処理前の合成画像を示す図であ
る。変換処理を行わないと、１枚目の画像とｎ枚目の画
像の夫々の画像において設定される基準線がずれたまま
となる。
なぎ目が滑らかとなるような変換処理を行う（ステップ
Ｓ４５）。図２０は変換処理前の合成画像を示す図であ
る。変換処理を行わないと、１枚目の画像とｎ枚目の画
像の夫々の画像において設定される基準線がずれたまま
となる。
【０１１９】図２１は変換処理後の合成画像を示す図で
ある。１枚目の画像とｎ枚目の画像の夫々の画像におい
て設定される基準線が一致するように変換されている。
図２２は変換処理を概略的に示す図である。
ある。１枚目の画像とｎ枚目の画像の夫々の画像におい
て設定される基準線が一致するように変換されている。
図２２は変換処理を概略的に示す図である。
【０１２０】図２２に示すように、全周の始点Ｐ1と終
点ＰNを設定し、点ＰNにおいて画像１の基準線と画像ｎ
の基準線が一致するように画像を変換する。この場合、
点Ｐ Nにおける基準線のズレはＤであり、始点Ｐ1と終点
ＰN間はＨ画素であるので、始点Ｐ1を合成画像における
水平方向の始点とすると、数式（１５）により得られる
値ｄｖ（ｘ）分だけ垂直方向の書き込み座標をシフトす
る。
点ＰNを設定し、点ＰNにおいて画像１の基準線と画像ｎ
の基準線が一致するように画像を変換する。この場合、
点Ｐ Nにおける基準線のズレはＤであり、始点Ｐ1と終点
ＰN間はＨ画素であるので、始点Ｐ1を合成画像における
水平方向の始点とすると、数式（１５）により得られる
値ｄｖ（ｘ）分だけ垂直方向の書き込み座標をシフトす
る。
【０１２１】
【数１５】
【０１２２】ｎ画像統合部１１１は数式（１５）の係数
Ｄ／Ｈを生成して保持する。ｎ画像統合部１１４は合成
画像の生成を行う（ステップＳ４６）。合成画像生成の
際、数式（８）により円筒写像変換処理および数式（１
５）の変換処理を実行しながら合成画像の画素値を生成
し、メイン画像メモリ１１３に書き込む。
Ｄ／Ｈを生成して保持する。ｎ画像統合部１１４は合成
画像の生成を行う（ステップＳ４６）。合成画像生成の
際、数式（８）により円筒写像変換処理および数式（１
５）の変換処理を実行しながら合成画像の画素値を生成
し、メイン画像メモリ１１３に書き込む。
【０１２３】このように、パンニング方向に対して一定
の割合で画像を歪ませることにより、全体的に画像を歪
ませてずれを目立たなくすることができる。
の割合で画像を歪ませることにより、全体的に画像を歪
ませてずれを目立たなくすることができる。
【０１２４】図２３は生成される合成画像を概略的に示
す図である。合成画像は図示しない表示部に表示され
る。また、上記処理を施すことにより、円筒状にずれの
ない３６０度全周画像が自動的にマッピングされた画像
が生成される。図２４は円筒状に３６０度全周画像がマ
ッピングされた画像の生成を示す図である。
す図である。合成画像は図示しない表示部に表示され
る。また、上記処理を施すことにより、円筒状にずれの
ない３６０度全周画像が自動的にマッピングされた画像
が生成される。図２４は円筒状に３６０度全周画像がマ
ッピングされた画像の生成を示す図である。
【０１２５】［第４の実施形態］図２５は第４の実施形
態における画像処理装置が実現されるコンピュータシス
テムの構成を示すブロック図である。第４の実施形態で
は、前記第１実施形態における画像合成処理の内容をプ
ログラム化して記録媒体に記録し、コンピュータシステ
ム上で動作するようにされている。
態における画像処理装置が実現されるコンピュータシス
テムの構成を示すブロック図である。第４の実施形態で
は、前記第１実施形態における画像合成処理の内容をプ
ログラム化して記録媒体に記録し、コンピュータシステ
ム上で動作するようにされている。
【０１２６】図において、１２０は各種データを保持す
るメモリ、１２１はＣＰＵ、１２２は記録媒体の情報を
再生する再生部、１２３は表示部、１２４は記録媒体で
ある。
るメモリ、１２１はＣＰＵ、１２２は記録媒体の情報を
再生する再生部、１２３は表示部、１２４は記録媒体で
ある。
【０１２７】図２６は第４の実施形態における画像合成
処理手順を示すフローチャートである。この処理プログ
ラムは記録媒体１２４に格納されており、ＣＰＵ１２１
によって実行される。まず、ユーザが合成に用いる画像
を選択する（ステップＳ５１）。各画像間の配置をユー
ザにより設定する（ステップＳ５２）。配置に基づいて
隣接する２つの画像をメモリ１２０に読み込む（ステッ
プＳ５３）。
処理手順を示すフローチャートである。この処理プログ
ラムは記録媒体１２４に格納されており、ＣＰＵ１２１
によって実行される。まず、ユーザが合成に用いる画像
を選択する（ステップＳ５１）。各画像間の配置をユー
ザにより設定する（ステップＳ５２）。配置に基づいて
隣接する２つの画像をメモリ１２０に読み込む（ステッ
プＳ５３）。
【０１２８】読み込んだ画像間の対応点を抽出する（ス
テップＳ５４）。対応点情報に基づいて撮影方式を判別
する（ステップＳ５５）。判別された撮影方式に基づい
て最適な合成処理方式を設定し、合成パラメータを生成
する（ステップＳ５６）。
テップＳ５４）。対応点情報に基づいて撮影方式を判別
する（ステップＳ５５）。判別された撮影方式に基づい
て最適な合成処理方式を設定し、合成パラメータを生成
する（ステップＳ５６）。
【０１２９】合成パラメータに基づいて２つの画像を合
成する（ステップＳ５７）。合成した画像を表示する
（ステップＳ５８）。隣接する２画像間の合成が終了し
たか否かを判別する（ステップＳ５９）。
成する（ステップＳ５７）。合成した画像を表示する
（ステップＳ５８）。隣接する２画像間の合成が終了し
たか否かを判別する（ステップＳ５９）。
【０１３０】２画像間の合成が終了していない場合、ス
テップＳ５３に戻って２画像の合成処理を繰り返す。一
方、２画像間の合成処理が終了している場合、各パラメ
ータを基準画像に対する値に変換する。変換した合成パ
ラメータに基づいて全画像を合成する（ステップＳ６
１）。尚、各ステップの処理内容は前述した各実施形態
と同様である。
テップＳ５３に戻って２画像の合成処理を繰り返す。一
方、２画像間の合成処理が終了している場合、各パラメ
ータを基準画像に対する値に変換する。変換した合成パ
ラメータに基づいて全画像を合成する（ステップＳ６
１）。尚、各ステップの処理内容は前述した各実施形態
と同様である。
【０１３１】尚、記録媒体としては、ＲＯＭなどのメモ
リに限らず、例えばフロッピーディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、ＤＶＤ、磁気テープ、不揮発性のメモリカードな
どを用いることができる。
リに限らず、例えばフロッピーディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、ＤＶＤ、磁気テープ、不揮発性のメモリカードな
どを用いることができる。
【０１３２】また、本発明は、上記実施形態に限らず、
特許請求の範囲に記載された範囲内で様々な変形、応用
が可能である。
特許請求の範囲に記載された範囲内で様々な変形、応用
が可能である。
【０１３３】
【発明の効果】本発明によれば、画像だけを利用して自
動的に合成方法を選択することができる。また、画像を
用いて撮影方法を判別し、撮影方法に応じた画像合成を
行うことにより、撮影方法に応じてより高精度な画像合
成を行うことができる。さらに、複数の合成方法のうち
少なくとも１つの合成方法に基づいた画像合成を評価し
て、適切な合成方法を選択することができる。また、複
数の画像が有する重複領域内において対応点を抽出して
より正確に合成方法を選択することができる。さらに、
円筒写像変換や球面写像変換を用いることにより、並進
撮影かパンニング撮影かの判別をより容易にすることが
できる。また、３６０゜パノラマ画像をより高精度に、
かつ自動的に合成できる。
動的に合成方法を選択することができる。また、画像を
用いて撮影方法を判別し、撮影方法に応じた画像合成を
行うことにより、撮影方法に応じてより高精度な画像合
成を行うことができる。さらに、複数の合成方法のうち
少なくとも１つの合成方法に基づいた画像合成を評価し
て、適切な合成方法を選択することができる。また、複
数の画像が有する重複領域内において対応点を抽出して
より正確に合成方法を選択することができる。さらに、
円筒写像変換や球面写像変換を用いることにより、並進
撮影かパンニング撮影かの判別をより容易にすることが
できる。また、３６０゜パノラマ画像をより高精度に、
かつ自動的に合成できる。
【図１】第１の実施形態における画像処理装置の構成を
示すブロック図である。
示すブロック図である。
【図２】原稿画像などを撮影する場合の並進撮影を示す
図である。
図である。
【図３】風景等を撮影する場合のパンニング撮影を示す
図である。
図である。
【図４】画像合成装置の画像合成処理手順を示すフロー
チャートである。
チャートである。
【図５】対応点抽出処理を概略的に示す図である。
【図６】並進撮影およびパンニング撮影により得られる
画像間の対応点を模式的に示す図である。
画像間の対応点を模式的に示す図である。
【図７】撮影方式判別部１０２における撮影方式判別処
理手順を示すフローチャートである。
理手順を示すフローチャートである。
【図８】合成画像メモリ１０５を展開した合成処理を示
す図である。
す図である。
【図９】第２の実施形態における画像処理装置の構成を
示すブロック図である。
示すブロック図である。
【図１０】画像変換部１０９における円筒写像変換処理
を示す図である。
を示す図である。
【図１１】変換後の画像を概略的に示す図である。
【図１２】撮影方式判別部１０７における撮影方式判別
処理手順を示すフローチャートである。
処理手順を示すフローチャートである。
【図１３】パンニング撮影であると判別された場合の合
成画像を示す図である。
成画像を示す図である。
【図１４】第３の実施形態における画像処理装置の構成
を示すブロック図である。
を示すブロック図である。
【図１５】第３の実施形態における画像合成処理手順を
示すフローチャートである。
示すフローチャートである。
【図１６】図１５につづく第３の実施形態における画像
合成処理手順を示すフローチャートである。
合成処理手順を示すフローチャートである。
【図１７】合成パラメータの変換の後、ｎ枚の画像を繋
げた様子を示す図である。
げた様子を示す図である。
【図１８】各画像における視野角を示す図である。
【図１９】画像間の重複領域の中心線Ｓを示す図であ
る。
る。
【図２０】変換処理前の合成画像を示す図である。
【図２１】変換処理後の合成画像を示す図である。
【図２２】変換処理を概略的に示す図である。
【図２３】生成される合成画像を概略的に示す図であ
る。
る。
【図２４】円筒状に３６０度全周画像がマッピングされ
た画像の生成を示す図である。
た画像の生成を示す図である。
【図２５】第４の実施形態における画像処理装置が実現
されるコンピュータシステムの構成を示すブロック図で
ある。
されるコンピュータシステムの構成を示すブロック図で
ある。
【図２６】第４の実施形態における画像合成処理手順を
示すフローチャートである。
示すフローチャートである。
１ 第１の実施形態の画像合成処理部 ２ 第２の実施形態の画像合成処理部 １００ 画像入力部 １０１、１０１０、１０１１ 対応点抽出部 １０２、１０７ 撮影方式判別部 １０３ 合成処理部 １０４ 画像メモリ １０５ 合成画像メモリ １０６ 焦点距離入力部 １０９ 画像変換部 １１１ ｎ画像統合部 １１２ 焦点距離推定部 １１３ メイン画像メモリ １１４ ｎ画像合成部 １２１ ＣＰＵ １２４ 記録媒体
───────────────────────────────────────────────────── フロントページの続き (72)発明者 滝口 英夫 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内
Claims (30)
- 【請求項１】 複数の画像を入力する入力工程と、 前記複数の画像を用いて、複数の合成方法の中から適切
な合成方法を選択する選択工程とを有する画像処理方
法。 - 【請求項２】 前記複数の合成方法のうち少なくとも１
つの合成方法に基づいた画像合成を評価する評価工程を
有し、 前記選択工程は、前記評価に応じて合成方法を選択する
ことを特徴とする請求項１記載の画像処理方法。 - 【請求項３】 前記複数の画像が有する重複領域内にお
いて対応点を抽出する抽出工程を有することを特徴とす
る請求項２記載の画像処理方法。 - 【請求項４】 前記評価工程は、前記対応点に基づいて
画像合成した場合に生じる合成誤差を計算し、前記合成
誤差を所定値と比較することによって合成方法を評価す
ることを特徴とする請求項３記載の画像処理方法。 - 【請求項５】 前記評価工程は、前記対応点に基づい
て、少なくとも２種類の合成方法それぞれを用いて画像
合成した場合の合成誤差を計算し、それぞれの前記合成
誤差の大小を比較することによって合成方法を評価する
ことを特徴とする請求項３記載の画像処理方法。 - 【請求項６】 前記複数の合成方法は、少なくとも撮影
方向を変えずに撮影位置を変えて撮影する並進撮影と、
撮影位置を変えずに撮影方向を変えて撮影するパンニン
グ撮影とに対応した合成方法であることを特徴とする請
求項１記載の画像処理方法。 - 【請求項７】 前記パンニング撮影に応じた合成方法
は、前記複数の画像を撮影焦点距離を半径とする仮想円
筒面上、又は仮想球面上に座標変換した変換画像を用い
ることを特徴とする請求項６記載の画像処理方法。 - 【請求項８】 前記パンニング撮影に応じた合成方法が
３６０゜パノラマ画像を生成する場合、合成画像の両端
を合成して３６０゜パノラマ画像を生成する際に生じる
画像のずれを、前記合成画像を全体的に歪ませることに
よって補正する補正工程を有することを特徴とする請求
項６記載の画像処理方法。 - 【請求項９】 複数の画像を入力する入力工程と、 前記複数の画像を用いて、複数の合成方法の中から適切
な合成方法を選択する選択工程とを実行させるプログラ
ムを、コンピュータで読み取り可能に記録する記録媒
体。 - 【請求項１０】 前記選択工程は、前記複数の合成方法
のうち少なくとも１つの合成方法に基づいた画像合成を
評価する評価工程を有し、 前記評価に応じて合成方法を選択することを特徴とする
請求項９記載の記録媒体。 - 【請求項１１】 前記プログラムが前記複数の画像が有
する重複領域内において対応点を抽出する抽出工程を実
行させるプログラムであることを特徴とする請求項１０
記載の記録媒体。 - 【請求項１２】 前記評価工程は、前記対応点に基づい
て、画像合成した場合に生じる合成誤差を計算し、前記
合成誤差を所定値と比較することによって合成方法を評
価することを特徴とする請求項１１記載の記録媒体。 - 【請求項１３】 前記評価工程は、前記対応点に基づい
て、少なくとも２種類の合成誤差を計算し、それぞれの
前記合成誤差の大小を比較することによって合成方法を
評価することを特徴とする請求項１１記載の記録媒体。 - 【請求項１４】 前記複数の合成方法は、少なくとも撮
影方向を変えずに撮影位置を変えて撮影する並進撮影
と、撮影位置を変えずに撮影方向を変えて撮影するパン
ニング撮影とに対応した合成方法であることを特徴とす
る請求項９記載の記録媒体。 - 【請求項１５】 前記パンニング撮影に応じた合成方法
は、前記複数の画像を撮影焦点距離を半径とする仮想円
筒面上、又は仮想球面上に座標変換した変換画像を用い
ることを特徴とする請求項１４記載の記録媒体。 - 【請求項１６】 前記プログラムは、前記パンニング撮
影に応じた合成方法が３６０゜パノラマ画像を生成する
場合、合成画像の両端を合成して３６０゜パノラマ画像
を生成する際に生じる画像のずれを、前記合成画像を全
体的に歪ませることによって補正する補正工程を実行さ
せるプログラムであることを特徴とする請求項１４記載
の記録媒体。 - 【請求項１７】 複数の画像を入力する入力手段と、 前記複数の画像を用いて、複数の合成方法の中から適切
な合成方法を選択する選択手段とを有する画像処理装
置。 - 【請求項１８】 前記複数の合成方法のうち少なくとも
１つの合成方法に基づいた画像合成を評価する評価手段
を有し、 前記選択手段は前記評価に応じて合成方法を選択するこ
とを特徴とする請求項１７記載の画像処理装置。 - 【請求項１９】 前記複数の画像が有する重複領域内に
おいて対応点を抽出する抽出手段を有することを特徴と
する請求項１８記載の画像処理装置。 - 【請求項２０】 前記評価手段は、前記対応点に基づい
て画像合成した場合に生じる合成誤差を計算し、前記合
成誤差を所定値と比較することによって合成方法を評価
することを特徴とする請求項１９記載の画像処理装置。 - 【請求項２１】 前記評価手段は、前記対応点に基づい
て、少なくとも２種類の合成方法それぞれを用いて画像
合成した場合の合成誤差を計算し、それぞれの前記合成
誤差の大小を比較することによって合成方法を評価する
ことを特徴とする請求項１９記載の画像処理装置。 - 【請求項２２】 前記複数の合成方法は、少なくとも撮
影方向を変えずに撮影位置を変えて撮影する並進撮影
と、撮影位置を変えずに撮影方向を変えて撮影するパン
ニング撮影とに対応した合成方法であることを特徴とす
る請求項１７記載の画像処理装置。 - 【請求項２３】 前記パンニング撮影に応じた合成方法
は、前記複数の画像を撮影焦点距離を半径とする仮想円
筒面上、又は仮想球面上に座標変換した変換画像を用い
ることを特徴とする請求項２２記載の画像処理装置。 - 【請求項２４】 前記パンニング撮影に応じた合成方法
が３６０゜パノラマ画像を生成する場合、合成画像の両
端を合成して３６０゜パノラマ画像を生成する際に生じ
る画像のずれを、前記合成画像を全体的に歪ませること
によって補正する補正手段を有することを特徴とする請
求項２２記載の画像処理装置。 - 【請求項２５】 複数の画像を入力する入力工程と、 前記複数の画像が有する重複領域内において対応点を抽
出する抽出工程と、前記対応点に基づいて複数の合成方
法の中から適切な合成方法を選択する選択工程とを有す
る画像処理方法。 - 【請求項２６】 前記複数の合成方法のうち少なくとも
１つの合成方法に基づいた画像合成を評価する評価工程
を有し、 前記選択工程は、前記評価に応じて合成方法を選択する
ことを特徴とする請求項２５記載の画像処理方法。 - 【請求項２７】 前記複数の合成方法は、少なくとも撮
影方向を変えずに撮影位置を変えて撮影する並進撮影
と、撮影位置を変えずに撮影方向を変えて撮影するパン
ニング撮影とに対応した合成方法であることを特徴とす
る請求項２５記載の画像処理方法。 - 【請求項２８】 前記評価工程は、円筒写像変換又は球
面写像変換を利用することを特徴とする請求項２６記載
の画像処理方法。 - 【請求項２９】 前記合成方法は、アフィン変換又はプ
ロジェクション変換を利用することを特徴とする請求項
２５記載の画像処理方法。 - 【請求項３０】 撮影地点の周りの全方向を撮影した前
記複数の画像を合成し、合成画像の両端を合成して３６
０゜パノラマ画像を形成する際に生じる画像のずれを、
前記合成画像を全体的に歪ませることによって補正する
補正工程を有することを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6308699A JP4174122B2 (ja) | 1998-03-10 | 1999-03-10 | 画像処理方法、装置および記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7507998 | 1998-03-10 | ||
| JP10-75079 | 1998-03-10 | ||
| JP6308699A JP4174122B2 (ja) | 1998-03-10 | 1999-03-10 | 画像処理方法、装置および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11331696A true JPH11331696A (ja) | 1999-11-30 |
| JP4174122B2 JP4174122B2 (ja) | 2008-10-29 |
Family
ID=26404166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6308699A Expired - Fee Related JP4174122B2 (ja) | 1998-03-10 | 1999-03-10 | 画像処理方法、装置および記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4174122B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004036498A1 (ja) * | 2002-10-15 | 2004-04-29 | Seiko Epson Corporation | 複数の画像データのパノラマ合成処理 |
| JP2005100407A (ja) * | 2003-09-24 | 2005-04-14 | Seiko Epson Corp | 複数のソース画像からパノラマ画像を作成するシステム及び方法 |
| JP2005317011A (ja) * | 2004-04-28 | 2005-11-10 | Seiko Epson Corp | 高解像度画像を発生する方法、デジタル画像編集ツールおよび媒体 |
| JP2010193245A (ja) * | 2009-02-19 | 2010-09-02 | Casio Computer Co Ltd | 撮像装置、撮像方法及び撮像プログラム |
| JP2011150733A (ja) * | 2004-08-04 | 2011-08-04 | Intergraph Software Technologies Co | 非均一分解能で合成イメージを用意する方法 |
| WO2013015024A1 (ja) * | 2011-07-22 | 2013-01-31 | 富士フイルム株式会社 | パノラマ画像生成方法及び撮像装置 |
| JP2015080118A (ja) * | 2013-10-17 | 2015-04-23 | 株式会社アウトソーシング・システム・コンサルティング | 射出瞳位置測定装置、撮像装置、射出瞳位置測定方法及びプログラム、並びに撮像方法及びプログラム |
| US10469741B2 (en) | 2017-08-07 | 2019-11-05 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US10623637B2 (en) | 2017-08-01 | 2020-04-14 | Canon Kabushiki Kaisha | Image pickup apparatus, control method, and storage medium |
-
1999
- 1999-03-10 JP JP6308699A patent/JP4174122B2/ja not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004036498A1 (ja) * | 2002-10-15 | 2004-04-29 | Seiko Epson Corporation | 複数の画像データのパノラマ合成処理 |
| CN100401320C (zh) * | 2002-10-15 | 2008-07-09 | 精工爱普生株式会社 | 图像处理装置及图像处理方法 |
| JP2005100407A (ja) * | 2003-09-24 | 2005-04-14 | Seiko Epson Corp | 複数のソース画像からパノラマ画像を作成するシステム及び方法 |
| JP2005317011A (ja) * | 2004-04-28 | 2005-11-10 | Seiko Epson Corp | 高解像度画像を発生する方法、デジタル画像編集ツールおよび媒体 |
| JP2011150733A (ja) * | 2004-08-04 | 2011-08-04 | Intergraph Software Technologies Co | 非均一分解能で合成イメージを用意する方法 |
| JP2010193245A (ja) * | 2009-02-19 | 2010-09-02 | Casio Computer Co Ltd | 撮像装置、撮像方法及び撮像プログラム |
| WO2013015024A1 (ja) * | 2011-07-22 | 2013-01-31 | 富士フイルム株式会社 | パノラマ画像生成方法及び撮像装置 |
| JP5514959B2 (ja) * | 2011-07-22 | 2014-06-04 | 富士フイルム株式会社 | パノラマ画像生成方法及び撮像装置 |
| US9973691B2 (en) | 2011-07-22 | 2018-05-15 | Fujifilm Corporation | Panoramic image generation method and image capturing apparatus |
| JP2015080118A (ja) * | 2013-10-17 | 2015-04-23 | 株式会社アウトソーシング・システム・コンサルティング | 射出瞳位置測定装置、撮像装置、射出瞳位置測定方法及びプログラム、並びに撮像方法及びプログラム |
| US10623637B2 (en) | 2017-08-01 | 2020-04-14 | Canon Kabushiki Kaisha | Image pickup apparatus, control method, and storage medium |
| US10469741B2 (en) | 2017-08-07 | 2019-11-05 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4174122B2 (ja) | 2008-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6393162B1 (en) | Image synthesizing apparatus | |
| US6704041B2 (en) | Image processing method, apparatus and memory medium therefor | |
| KR100929085B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 기록매체 | |
| JP6075295B2 (ja) | 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム | |
| US8447140B1 (en) | Method and apparatus for estimating rotation, focal lengths and radial distortion in panoramic image stitching | |
| JP4851239B2 (ja) | 画像処理装置及びその処理方法 | |
| JPH1091765A (ja) | 画像合成装置及びその方法 | |
| JP2005100407A (ja) | 複数のソース画像からパノラマ画像を作成するシステム及び方法 | |
| JP2005317011A (ja) | 高解像度画像を発生する方法、デジタル画像編集ツールおよび媒体 | |
| JPH10178564A (ja) | パノラマ画像作成装置及び記録媒体 | |
| JP5238220B2 (ja) | 解像度変換装置、方法およびプログラム | |
| JP2010122934A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| WO2020218024A1 (ja) | パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム | |
| KR101255431B1 (ko) | 화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법, 보정 테이블 생성 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 보정 화상 생성 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 | |
| JP2009520975A (ja) | ステレオビジョンにおいて密な視差場を求める方法 | |
| JP4174122B2 (ja) | 画像処理方法、装置および記録媒体 | |
| JP5566199B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
| JPH10126665A (ja) | 画像合成装置 | |
| JP4851240B2 (ja) | 画像処理装置及びその処理方法 | |
| JP4346742B2 (ja) | 画像合成方法、画像合成装置及び記憶媒体 | |
| JP7027776B2 (ja) | 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法 | |
| JPWO2020194470A1 (ja) | 画像生成装置、画像生成方法、および画像生成プログラム | |
| JP5587322B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP4813263B2 (ja) | 画像処理装置及びその処理方法 | |
| JP4506501B2 (ja) | 画像合成装置及び撮像システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060216 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060221 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20070626 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080513 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080807 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080818 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
| S802 | Written request for registration of partial abandonment of right |
Free format text: JAPANESE INTERMEDIATE CODE: R311802 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |