JPH08214205A

JPH08214205A - 画像処理方法およびその装置

Info

Publication number: JPH08214205A
Application number: JP7019063A
Authority: JP
Inventors: Shinji Uchiyama; 晋二内山; Hiroyuki Yamamoto; 裕之山本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-02-07
Filing date: 1995-02-07
Publication date: 1996-08-20

Abstract

(57)【要約】【目的】撮影装置のレンズによって決定される画角以
上に広い画角を画像処理によって得られるようにする。【構成】視点位置・方向を時系列に変化させて撮影し
て獲得した静止画像列の中からある画像を基準画像とし
て選択するとともに、一方の画像を他方の画像へと変換
するための座標変換を計算して上記静止画像列の中の隣
接する各画像間にて画素が対応するようになし、さら
に、上記計算して得た座標変換を用いて、各画像から基
準画像ヘと変換するための座標変換を計算し、上記計算
した座標変換を用いて、各画像中のある注目点を基準画
像と同一の２次元座標系へと変換し、上記変換された注
目点により２次元空間をボロノイ分割するとともに、上
記各画像を基準画像へと変換するための座標変換を用い
て各画像を座標変換し、上記座標変換された各画像の座
標情報を上記各画像の注目点のなすボロノイ領域に挿入
して一つの画像を生成するようにする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理方法およびその
装置に係わり、例えば、撮影時の撮影装置の画角に比較
して、十分に広い画角の画像を獲得することができるよ
うにした画像処理方法およびその装置に用いて好適なも
のである。

【０００２】

【従来の技術】十分に広い画角の画像を入力するための
画像入力装置として、魚眼レンズのような広い画角のレ
ンズを用いて画像を撮影して入力するようにした画像入
力装置がある。上記魚眼レンズは、非常に広い画角を有
しているので、上記画像入力装置の場合には非常に広角
な画像を入力することができる。

【０００３】

【発明が解決しようとする課題】しかし、従来の技術を
用いた画像入力装置では、魚眼レンズのような広い画角
のレンズを用いても、上記魚眼レンズによって決定され
る画角以上に広い画角の画像を獲得することは不可能で
あるという欠点があった。

【０００４】本発明は上述の問題点にかんがみ、撮影装
置のレンズによって決定される画角以上に広い画角の画
像を得られるようにすることを目的とする。

【０００５】

【課題を解決するための手段】本発明の画像処理方法
は、視点位置・方向を時系列に変化させて撮影すること
により得られた静止画像列を入力する画像入力処理と、
上記画像入力処理によって入力された静止画像列のうち
のある画像を基準画像として決定する基準画像決定処理
と、上記静止画像列を構成する各画像中において、２つ
の隣接する画像において同一点が写されている点を注目
点として選択する注目点選択処理と、上記注目点選択処
理で選択した各注目点同士が、隣接する画像間で一致す
るように一方の画像を他方の画像へと座標変換する第１
の座標変換処理と、上記座標変換された各注目点を上記
基準画像と同一の２次元座標系へと座標変換する第２の
座標変換処理と、上記座標変換した各注目点に対応させ
て上記基準画像と同一の２次元空間を複数の領域に分割
する分割処理と、上記静止画像列の各画像を上記基準画
像と同一の２次元空間へと座標変換する第３の座標変換
処理と、上記基準画像と同一の２次元空間へと座標変換
された各画像の座標情報を、上記各画像の注目点に対応
して分割された各領域にそれぞれ挿入し、全体として一
つの画像を生成する広画角画像生成処理とを行うように
している。

【０００６】また、本発明の画像処理方法の他の特徴に
よれば、視点位置・方向を時系列に変化させて撮影する
ことにより得られた静止画像列を入力する第１のステッ
プと、上記静止画像列の中から、ある画像を基準画像と
して選択する第２のステップと、上記静止画像列の中の
隣接する各画像間にて画素が対応するようにするため
に、一方の画像を他方の画像へと変換するための座標変
換を計算する第３のステップと、上記第３のステップで
計算された座標変換を用いて、各画像から基準画像ヘと
変換するための座標変換を計算する第４のステップと、
上記第４のステップで計算された座標変換を用いて、各
画像中のある注目点を基準画像と同一の２次元座標系へ
と変換する第５のステップと、上記基準画像と同一の２
次元座標系へと変換された注目点により２次元空間をボ
ロノイ分割する第６のステップと、上記各画像を基準画
像へと変換するための座標変換を用いて各画像を座標変
換する第７のステップと、上記座標変換された各画像の
座標情報を上記各画像の注目点のなすボロノイ領域に挿
入し、一つの画像を生成する第８のステップとを有して
いる。

【０００７】また、本発明の画像処理方法は、上記ボロ
ノイ分割処理において、各分割領域の勢力圏を計算する
際に使用する距離の算出方法を２次元ユークリッド距離
としている。

【０００８】また、本発明の画像処理方法の他の特徴と
するところは、上記ボロノイ分割処理において、各分割
領域の勢力圏を計算する際に使用する距離の算出方法
を、２次元ユークリッド距離の他の要素を考慮した算出
式から導きだした距離を用いるようにしている。

【０００９】また、本発明の画像処理装置の特徴とする
ところは、視点位置・方向を時系列に変化させて撮影す
ることにより得られた静止画像列を入力するための画像
入力手段と、上記静止画像列の中からある画像を基準画
像として選択する基準画像選択手段と、上記静止画像列
の中の隣接する各画像間にて画素が対応するようにする
ために、一方の画像を他方の画像へと変換するための座
標変換を計算する第１の計算手段と、上記第１の計算手
段で計算された座標変換を用いて、各画像から基準画像
へと変換するための座標変換を計算する第２の計算手段
と、上記第２の計算手段で計算された座標変換を用い
て、各画像中のある注目点を上記基準画像と同一の２次
元座標系へと変換する第１の座標変換手段と、上記基準
画像と同一の２次元座標系へと変換された注目点により
２次元空間をボロノイ分割する分割手段と、上記各画像
を基準画像へと変換するための座標変換を用いて各画像
を座標変換する第２の座標変換手段と、上記座標変換さ
れた各画像の座標情報を上記各画像の注目点のなすボロ
ノイ領域に挿入し、一つの画像を生成する広画角画像生
成手段とを有している。

【００１０】また、本発明の画像処理装置の他の特徴と
するところは、上記ボロノイ分割処理において、勢力圏
を計算する際に使用する距離の算出手段は２次元ユーク
リッド距離を算出するようにしている。

【００１１】また、本発明の画像処理装置のその他の特
徴とするところは、上記ボロノイ分割処理において、勢
力圏を計算する際に使用する距離の算出手段は、２次元
ユークリッド距離の他の要素を考慮した算出式から導き
だした距離を用いるようにしている。

【００１２】

【作用】本発明は上記技術手段よりなるので、視点位置
・方向が時系列に異なる各画像を、各画像中における各
注目点同士が隣接する画像間で一致するようにしなが
ら、基準画像と同一の２次元座標系において重ね合わせ
ることができるようになり、これにより、上記入力され
た静止画像列の一番最初の画像から一番最後の画像まで
を画角とする広い画角を有する一つの画像を、画像処理
によって生成することが可能となる。

【００１３】

【実施例】以下、図面に従って、本発明の画像処理方法
およびその装置の実施例を詳細に説明する。図１は、本
実施例の画像処理装置の一例を示す機能構成図である。
図１に示したように、本実施例の画像処理装置は、画像
入力手段と、基準画像決定手段と、注目点選択手段
と、第１の座標変換手段と、第２の座標変換手段
と、分割手段と、第３の座標変換手段と、広画角画
像生成手段とを具備している。

【００１４】上記画像入力手段は、視点位置・方向を
時系列に変化させて撮影することにより得られた静止画
像列を入力するために設けられているものである。ま
た、基準画像決定手段は、上記画像入力手段によっ
て入力された静止画像列の中から、ある画像を基準画
像として決定するためのものである。

【００１５】上記注目点選択手段は、上記静止画像列
を構成する各画像中において、同一点が写されている
点を注目点として選択するためのものである。第１の座
標変換手段は、上記注目点選択手段で選択した各注
目点同士が、隣接する画像間で一致するように一方の画
像を他方の画像へと座標変換するために設けられている
ものである。

【００１６】上記第２の座標変換手段は、上記座標変
換された各注目点を上記基準画像と同一の２次元座標系
へと座標変換するためのものである。上記分割手段
は、上記座標変換した各注目点に対応させて上記基準画
像と同一の２次元空間を複数の領域に分割するためのも
のである。

【００１７】上記第３の座標変換手段は、上記静止画
像列の各画像を上記基準画像と同一の２次元空間へと
座標変換するためのものである。上記広画角画像生成手
段は、上記基準画像と同一の２次元空間へと座標変換
された各画像の座標情報を、上記各画像の注目点に対応
して分割された各領域にそれぞれ挿入し、全体として一
つの画像を生成するためのものである。

【００１８】図２は、本実施例の画像処理装置の具体的
な構成を説明するための基本的な構成図である。図２に
おいて、１は本実施例の画像処理装置に設けられている
各手段が行う処理手順の制御・処理を行うためのＣＰＵ
である。

【００１９】２は、ＣＰＵ１で実行する処理手順を記述
したプログラムを保存するための第１の記憶装置であ
る。３は、第２の記憶装置であり、上記第１の記憶装置
２に記憶されている処理プログラムに従って、上記ＣＰ
Ｕ１が画像の入力を行ったときの画像列を記憶するため
の静止画像列記憶部ｄ１、生成する一枚の大きな画像を
記憶するための大画像記憶部ｄ２、および計算途中の結
果等を保存しておくためのワークエリアｄ３を有してい
る。

【００２０】４は、操作者が画像中の点を指示する処理
のために用いる位置座標指示装置として設けられている
マウスである。５は、データの名前を指示するときなど
に用いるためのキーボードであり、６は画像データの確
認を行うための表示装置として設けられているウインド
ウシステムである。

【００２１】７は、図１に示した静止画像列を第２の
記憶装置３に取り込むための画像入力用インタフェース
部であり、８は本実施例の画像処理装置における情報伝
達路を構成するためのバスである。

【００２２】次に、本実施例の画像処理装置の動作を図
３および図４を参照しながら説明する。図３および図４
は、本実施例の画像処理装置を用いて行う各処理の大き
な流れを示すフローチャートである。

【００２３】まず、ステップＳ２０１において、何らか
の方法で獲得されている静止画像列を、図２の画像入
力用インタフェース７を通して、図２の第２の記憶装置
３の静止画像列記憶部ｄｌに保存する処理を行う。

【００２４】この静止画像列は、ビデオカメラなどの
動画撮影装置から得られた動画像を、動画デジタイザな
どでＡ／Ｄ変換し、計算機に時系列静止画像として取り
込むことのできる動画入力装置を用いて入力する。

【００２５】また、銀塩式カメラのような静止画を撮影
するための静止画像撮影装置を用い、視点位置を少しず
つ変えながら撮影した写真群をフィルムスキャナなどで
Ａ／Ｄ変換して、これを静止画像列として計算機に取り
込むなどの、既存にある各種方法で獲得することもでき
る。図５に、撮影の様子および獲得された静止画像列
の模式図を示す。

【００２６】なお、ステップＳ２０１において、入力す
る静止画像列中の各静止画に通し番号を付けておき、
全枚数をＮ枚とし１〜Ｎ番までの画像を入力することと
する。さらに、各画像をＩｍ_i(i=1,2,,,,N)と表す。

【００２７】次に、ステップＳ２０２に進み、それらの
画像の中のある一つの画像Ｉｍ_Kを基準画像として指定
する。このステップＳ２０２における指定方法は、先頭
の画像、最後の画像、真中の画像、任意の画像を操作者
が指定するなどのように、どのような方法でもよい。

【００２８】なお、静止画像列は、視点の移動順に並
んでいるため、画像列のうち隣接した画像間Ｉｍ_iとＩ
ｍ_i+1i=1,2,,,N-1)の相関は高い。そこで、次のステッ
プＳ２０３において、すべての隣接画像間にてこの画像
間で同一点が写されている点を対応点としてマウスなど
の位置指示装置により指定する。この模式図を、図６に
示す。

【００２９】次に、ステップＳ２０３にて指定された対
応点を用いて、隣接画像間で対応点が一致するように一
方の画像が他方の画像に座標変換されるアフィン変換の
変換行列をステップＳ２０４にて求める。ここで、アフ
ィン変換とは、（ｘ，ｙ）を（ｘ′，ｙ′）へと次式、
ｘ′＝ｂ₁ｘ＋ｂ₂ｙ＋ｂ₃，ｙ′＝ｂ₄ｘ＋ｂ₅ｙ
＋ｂ₆のように変換する座標変換である。そして、

【００３０】

【数１】

【００３１】と行列演算により表現できる。なお、数１
におけるＢをアフィン変換の変換行列と呼ぶ。

【００３２】このとき、基準画像Ｉｍ_kよりも画像列で
前にある画像Ｉｍ_iの場合、すなわち、ｉ＜Ｋのとき
は、画像Ｉｍ_iから画像Ｉｍ_i+1に変換するアフィン変
換行列Ｍ_iを求める。また、基準画像Ｉｍ_Kよりも画像
列で後ろにある画像Ｉｍ_iの場合、すなわち、ｉ＞Ｋの
ときは、Ｉｍ_iからＩｍ_i-1に変換するアフィン変換行
列Ｍ_iを求める。

【００３３】次に、ステップＳ２０５に示すように、各
画像Ｉｍ_iから基準画像Ｉｍ_kへのアフィン変換行列Ｍ
_iを用いて、ｉ＜Ｋのとき、Ｔ_i=Ｍ_K-1・・Ｍ_i+1・Ｍ
_i,ｉ＞Ｋのとき、Ｔ_i=Ｍ_K+1・・Ｍ_i-1・Ｍ_iとして求
める。以上により、静止画像列の各画像から基準画像
へのアフィン変換行列が求まったことになる。

【００３４】次に、２次元空間Ｒ²であるＡをステップ
Ｓ２０６にて用意しておく。これは、図２の第２の記憶
装置３のワークエリアｄ３に２次元位置情報を収納する
データを設定することで実現する。次に、ステップＳ２
０７にて静止画像列Ｉｍ_i(i=1,2,,, Ｎ）の画像中心点
を求めＣ_iとする。

【００３５】次に、ステップＳ２０８にて、画像中心点
Ｃ_iをアフィン変換Ｔ_iにより変換し、Ｃ_i′＝Ｔ_i・
Ｃ_iとして、画像中心点Ｃ_i′を求める。この画像中心
点Ｃ _i′を２次元空間Ａ中に置く。すなわち、上記２次
元位置情報収納領域に点位置情報を格納して行く。

【００３６】次に、ステップＳ２０９にて、図７に示す
ように画像中心点Ｃ_i′を母点として所定の空間ＡをＶ
ｏｒｏｎｏｉ（以下、ボロノイとする）分割する。この
処理は、上記２次元位置情報収納領域中にボロノイ分割
の領域の境界線を線分式として格納し、各ボロノイ領域
を線分の集合として記憶しておく。

【００３７】次に、ステップＳ２１０において、上記画
像中心点Ｃ_i′を母点とする各ボロノイ領域をＶ_iとす
る処理を行う。そして、次のステップＳ２１１において
各画像Ｉｍ_iをアフィン変換し、画像Ｉｍ_i′＝Ｔ_i・
Ｉｍ_iとして、画像Ｉｍ_i′を求める。

【００３８】これは、画像Ｉｍ_iが保存してある第２の
記憶装置３の記憶領域ｄ１上で、各画素のアフィン変換
した画素位置の座標値を静止画像列記憶部ｄ１に保存し
ておくことにより、座標変換後のデータを保持しておく
ようにする。

【００３９】これにより、必要によりＶ_i∩Ｉｍ_i′と
なる２次元空間に、画像Ｉｍ_i′の値を嵌め込むことが
可能となる。さらに、ステップＳ２１２にて、所定の空
間Ａの一部に対応した必要とする適当な大きさの画像Ｇ
を用意する。すなわち、第２の記憶装置３のワークエリ
アｄ３に記憶領域を用意する。

【００４０】画像Ｇは、初期状態では画素に値を持たな
い状態である。そして、ステップＳ２１３にて、画像Ｇ
上のＶ_i∩Ｉｍ_i′となる画像領域に、Ｉｍ_i′の値を
代入することにより画像Ｇを生成する。ステップＳ２１
１、Ｓ２１２の模式図を図８に示す。これにより、画角
よりも十分に大きな画像を画像処理を行うことにより獲
得することができる。

【００４１】次に、本発明の第２の実施例を説明する。
この第２の実施例は、上述した第１の実施例におけるス
テップＳ２０３の対応点を指定するステップを、操作者
がマウスによる指定を行うことにより実現する代わり
に、ステレオ画像での対応点探索処理にみられる画像処
理技術（画像相関法、テンプレートマッチング法、多重
解像度法（ｃｏａｒｓｅｔｏｆｉｎｅ）、など）に
より実現する方法を用いるようにしたものである。

【００４２】次に、本発明の第３の実施例を説明する。
この第３の実施例は、第１の実施例ステップＳ２０７の
画像の中心点をボロノイ分割の母点となるＣ_iとして求
める代わりに、画像の中心点に限らず、各画像上のある
座標値の点を用いるようにしたものである。

【００４３】次に、本発明の第４の実施例を説明する。
この第４の実施例は、第１の実施例のステップＳ２０９
のボロノイ分割処理において、勢力範囲を計算する際に
用いる距離計算に、単純な２次元ユークリッド距離を用
いずに、他の要素を考慮した距離算出法を用いるように
したものである。

【００４４】例えば、（１）撮像系のレンズ歪みを考慮
し、画面中での距離を求める方法、（２）解像度の高い
画像と低い画像が混在している場合に、解像度の高い画
像の勢力範囲を大きく取るように重み付けした距離を用
いる方法、（３）撮影時の日照条件などの変化により、
画像の室が悪いものと良いものとが混在している場合
に、画像の質により重み付けした距離を用いる方法、な
どが考えられる。

【００４５】次に、本発明の第５の実施例を説明する。
この第５の実施例は、第１の実施例のステップＳ２０
４、２０５で、画像間の座標変換にアフィン変換を用い
るかわりに、（ｘ，ｙ）を（ｘ′，ｙ′）へと次式、

【００４６】

【数２】

【００４７】のように変換する射影変換や、次式

【００４８】

【数３】

【００４９】のように変換する疑似アフィン変換など、
その他の２次元座標を他の２次元座標へと座標変換する
手法を用いることができる。

【００５０】

【発明の効果】本発明は上述したように、本発明によれ
ば、視点位置・方向が時系列に異なる各画像を、各画像
中における各注目点同士が隣接する画像間で一致するよ
うにしながら、基準画像と同一の２次元座標系において
重ね合わせるようにしたので、上記入力された静止画像
列の一番最初の画像から一番最後の画像までを画角とす
る広い画角を有する一つの広画角画像を生成することが
でき、これにより、レンズによって決定される画角以上
の広画角な画像を画像処理によって得られるようにする
ことができる。

【図面の簡単な説明】

【図１】本発明の画像処理装置の概略構成を示す機能構
成図である。

【図２】本発明の画像処理装置の具体例を示すブロック
図である。

【図３】実施例の画像処理装置の処理の流れを示すフロ
ーチャートである。

【図４】実施例の画像処理装置の処理の流れを示すフロ
ーチャートである。

【図５】静止画像列を撮影する様子と、撮影によって獲
得された静止画像列を示す模式図である。

【図６】静止画像列における隣接する画像間での対応点
を指定する様子を示す模式図である。

【図７】所定の空間をボロノイ分割する様子を示す模式
図である。

【図８】画像生成の様子を示す模式図である。

【符号の説明】画像入力手段基準画像決定手段注目点選択手段第１の座標変換手段第２の座標変換手段分割手段第３の座標変換手段広画角画像生成手段１ＣＰＵ２第１の記憶装置３第２の記憶装置４マウス５キーボード６ウインドウシステム７画像入力用インタフェース８バスｄ１静止画像列記憶部ｄ２大画像記憶部ｄ３ワークエリア

Claims

【特許請求の範囲】

【請求項１】視点位置・方向を時系列に変化させて撮
影することにより得られた静止画像列を入力する画像入
力処理と、上記画像入力処理によって入力された静止画像列のうち
のある画像を基準画像として決定する基準画像決定処理
と、上記静止画像列を構成する各画像中において、２つの隣
接する画像において同一点が写されている点を注目点と
して選択する注目点選択処理と、上記注目点選択処理で選択した各注目点同士が、隣接す
る画像間で一致するように一方の画像を他方の画像へと
座標変換する第１の座標変換処理と、上記座標変換された各注目点を上記基準画像と同一の２
次元座標系へと座標変換する第２の座標変換処理と、上記座標変換した各注目点に対応させて上記基準画像と
同一の２次元空間を複数の領域に分割する分割処理と、上記静止画像列の各画像を上記基準画像と同一の２次元
空間へと座標変換する第３の座標変換処理と、上記基準画像と同一の２次元空間へと座標変換された各
画像の座標情報を、上記各画像の注目点に対応して分割
された各領域にそれぞれ挿入し、全体として一つの画像
を生成する広画角画像生成処理とを行うようにしたこと
を特徴とする画像処理方法。
【請求項２】視点位置・方向を時系列に変化させて撮
影することにより得られた静止画像列を入力する第１の
ステップと、上記静止画像列の中から、ある画像を基準画像として選
択する第２のステップと、上記静止画像列の中の隣接する各画像間にて画素が対応
するようにするために、一方の画像を他方の画像へと変
換するための座標変換を計算する第３のステップと、上記第３のステップで計算された座標変換を用いて、各
画像から基準画像ヘと変換するための座標変換を計算す
る第４のステップと、上記第４のステップで計算された座標変換を用いて、各
画像中のある注目点を基準画像と同一の２次元座標系へ
と変換する第５のステップと、上記基準画像と同一の２次元座標系へと変換された注目
点により２次元空間をボロノイ分割する第６のステップ
と、上記各画像を基準画像へと変換するための座標変換を用
いて各画像を座標変換する第７のステップと、上記座標変換された各画像の座標情報を上記各画像の注
目点のなすボロノイ領域に挿入し、一つの画像を生成す
る第８のステップとを有することを特徴とする画像処理
方法。
【請求項３】上記ボロノイ分割処理において、各分割
領域の勢力圏を計算する際に使用する距離の算出方法を
２次元ユークリッド距離としたことを特徴とする請求項
２に記載の画像処理方法。
【請求項４】上記ボロノイ分割処理において、各分割
領域の勢力圏を計算する際に使用する距離の算出方法
を、２次元ユークリッド距離の他の要素を考慮した算出
式から導きだした距離を用いることを特徴とする請求項
２に記載の画像処理方法。
【請求項５】視点位置・方向を時系列に変化させて撮
影することにより得られた静止画像列を入力するための
画像入力手段と、上記静止画像列の中からある画像を基準画像として選択
する基準画像選択手段と、上記静止画像列の中の隣接する各画像間にて画素が対応
するようにするために、一方の画像を他方の画像へと変
換するための座標変換を計算する第１の計算手段と、上記第１の計算手段で計算された座標変換を用いて、各
画像から基準画像へと変換するための座標変換を計算す
る第２の計算手段と、上記第２の計算手段で計算された座標変換を用いて、各
画像中のある注目点を上記基準画像と同一の２次元座標
系へと変換する第１の座標変換手段と、上記基準画像と同一の２次元座標系へと変換された注目
点により２次元空間をボロノイ分割するボロノイ分割手
段と、上記各画像を基準画像へと変換するための座標変換を用
いて各画像を座標変換する第２の座標変換手段と、上記座標変換された各画像の座標情報を上記各画像の注
目点のなすボロノイ領域に挿入し、一つの画像を生成す
る広画角画像生成手段とを有することを特徴とする画像
処理装置。
【請求項６】上記ボロノイ分割手段において、勢力圏
を計算する際に使用する距離の算出手段は２次元ユーク
リッド距離を算出することを特徴とする請求項５に記載
の画像処理装置。
【請求項７】上記ボロノイ分割手段において、勢力圏
を計算する際に使用する距離の算出手段は、２次元ユー
クリッド距離の他の要素を考慮した算出式から導きだし
た距離を用いることを特徴とする請求項５に記載の画像
処理装置。