JPH11164325A - パノラマ画像生成方法及びそのプログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 厳密な機器や操作を必要としなくてもより正
確なパノラマ画像を作成でき、そのパノラマ画像内の対
象物までの距離に基づいたステレオ表示が可能なパノラ
マステレオ画像生成表示方法等を得る。 【解決手段】 連続する撮影画像からスリット状に切り
出したスリット画像を結合し、左目視用及び右目視用の
パノラマ画像を生成して、立体表示を行うパノラマステ
レオ画像生成表示方法において、連続する２つのフレー
ム画像を比較し、基準フレーム画像を２等分する中心線
から等距離にある２本の基準線上の各画素におけるオプ
ティカルフローの大きさを算出する工程Ｓ１０４と、オ
プティカルフローの大きさに基づいて、スリット画像の
幅をそれぞれ決定し、基準フレーム画像からスリット画
像をそれぞれ切り出す工程Ｓ１０５と、右目用及び左目
用のパノラマ画像を生成するためのスリット画像をそれ
ぞれ結合し、右目用及び左目用のパノラマ画像をそれぞ
れ生成する工程とを有している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオカメラ等で
連続的に入力した画像を、例えばコンピュータで結合し
てパノラマ画像を生成するパノラマ画像生成方法に関す
るものである。

【０００２】

【従来の技術】従来より、ビデオカメラやスチルカメラ
で連続的に撮影された画像から撮影点を中心とした大き
な視野角を持った１枚の画像又は全方位（３６０度）の
パノラマ画像作成方法がコンピュータビジョンの分野で
報告されている。現在、パノラマ画像作成方法として
は、ビデオカメラを用いて映像を連続的に記録するもの
と、デジタルスチルカメラやスキャナ等を用いて入力し
た数枚の静止画像をコンピュータ上でつなぎ合わせるも
のとに大きく分けることができる。

【０００３】ビデオカメラを用いたパノラマ画像作成方
法としては、例えば「環境のパノラマ表現」、電子情報
通信学会誌、Vol.74、No.4、1991.4、辻三郎、pp.354-3
59（以下、文献１という）に記載されている。この文献
１では、ビデオカメラに垂直のスリットを設け、ビデオ
カメラをある一定の角速度で回転させることにより、そ
のスリットを通して得られる細長い画像を順に結合して
パノラマ画像を作成するものがある。一方、数枚の静止
画像をコンピュータ上でつなぎ合わせるパノラマ画像作
成方法としては、例えば「特開平９−９１４１０」（以
下、文献２という）に記載されているものがある。文献
２では、デジタルカメラ等で入力された複数の静止画像
に対して、それらの画像間の対応点をユーザが指定し、
それらが一致するようにコンピュータ上で画像を結合し
てパノラマ画像を作成する。

【０００４】

【発明が解決しようとする課題】しかし、文献１のよう
な方法では、記録するスリット幅が一定であるため、そ
の幅に基づいて、ビデオカメラを一定の角速度で回転さ
せて画像を記録させる必要がある。この場合、記録され
た画像は忠実に再現されたものとなるが、ビデオカメラ
をある回転軸を中心として一定の角速度で回転させるた
めには、精密な機器やそれらをコントロールする装置が
必要となり、一般ユーザがそれらを利用するのは困難で
ある。

【０００５】また文献２のような方法では、使用するカ
メラのレンズの焦点距離によって撮影画像の周辺部分が
歪むため、必ずしも隣り合う２枚の画像が厳密に一致す
るとは限らない、この問題に関しては、カメラのレンズ
の焦点距離やレンズ自身の曲率等の情報を取得すること
により、幾何的に画像を変形することで、対処すること
は可能であるが、撮影時にこれらの情報を全ての画像に
対して保持しておかなければならなし、ユーザ自身が手
作業で特徴点を見つけて指定しなければならないので、
画像が複雑になればなるほど困難な作業となる。

【０００６】そこで、厳密な機器や操作を必要としなく
ても容易にパノラマ画像を作成でききるようなパノラマ
画像作成方法の実現が望まれていた。

【０００７】

【課題を解決するための手段】本発明に係るパノラマ画
像作成方法は、連続する２つの前記撮影画像を比較し、
連続する２つの撮影画像のうち、基準となる画像を２等
分する中心線上の各画素におけるオプティカルフローの
大きさを算出する工程と、算出した各画素のオプティカ
ルフローの大きさに基づいて、スリット画像の幅を決定
する工程と、スリット画像を基準となる画像から切り出
す工程と、切り出したスリット画像を結合する工程とを
有している。本発明においては、連続する２つの前記撮
影画像を比較し、連続する２つの撮影画像のうち、基準
となる画像を２等分する中心線上の各画素におけるオプ
ティカルフローの大きさを算出する。従来のように固定
されたスリット画像の幅ではなく、算出した各画素のオ
プティカルフローの大きさに基づいて、連続する撮影画
像間の移動距離に応じたスリット画像の幅を決定し、ス
リット画像の切り出しを行い、そのスリット画像を結合
してパノラマ画像を生成する。

【０００８】また本発明に係るパノラマ画像作成方法
は、スリット画像を切り出した後、切り出したスリット
画像の中で、オプティカルフローの大きさに基づいて、
スリット画像の幅に合うように画素を割り当てる伸長処
理を行ってからスリット画像を結合するものである。本
発明においては、スリット画像の幅に比べてオプティカ
ルフローの大きさが小さい部分については、基準となる
画像を２等分する中心線上の各画素毎に算出したオプテ
ィカルフローの大きさに基づいて伸長を行い、画像の繰
り返しによる画素の非連続性から生じる縞模様の発生を
防ぐ。

【０００９】また本発明に係るパノラマ画像作成プログ
ラムは、連続する撮影画像からスリット状のスリット画
像を切り出して結合し、パノラマ画像を生成するパノラ
マ画像生成方法において、連続する２つの前記撮影画像
を比較させ、連続する２つの撮影画像のうち、基準とな
る画像を２等分する中心線上の各画素におけるオプティ
カルフローの大きさを算出させ、算出した各画素のオプ
ティカルフローの大きさに基づいて、スリット画像の幅
を決定させ、スリット画像を基準となる画像から切り出
させ、切り出したスリット画像を結合させることをコン
ピュータに実行させるものである。本発明においては、
コンピュータに連続する２つの前記撮影画像を比較させ
て、それらの連続する２つの撮影画像のうち、基準とな
る画像を２等分する中心線上の各画素におけるオプティ
カルフローの大きさを算出させる。算出させた各画素の
オプティカルフローの大きさに基づいて、従来のように
固定されたスリット画像の幅を持たすに、スリット画像
の幅を決定させて、連続する撮影画像間の移動距離に応
じたスリット画素の切り出しを行わせて、そのスリット
画像を結合させることでパノラマ画像を生成させる。

【００１０】

【発明の実施の形態】実施形態１．図１は本発明の第１
の実施の形態に係るパノラマ画像生成方法を実現するた
めの処理を表すフローチャートである。図において、Ｓ
１００は例えば三脚等を用いてある軸を中心にカメラを
回転させて撮影された画像を記録する画像記録処理であ
る。Ｓ１０１は記録された複数のフレーム画像を入力処
理をするフレーム画像入力処理である。Ｓ１０２はフレ
ーム画像が１フレーム目かどうかを判断する判断処理で
ある。Ｓ１０３は連続する２つの画像を比較し、オプテ
ィカルフローを算出するオプティカルフロー算出処理で
ある。Ｓ１０４はオプティカルフローの大きさに応じた
スリット画像を切り出すスリット画像切り出し処理であ
る。Ｓ１０５は各画素のオプティカルフローの大きさに
応じてスリット画像を伸長し、画素の割り当てを行うス
リット画像内伸長処理である。Ｓ１０６は伸長処理を行
ったスリット画像を、結合画像と結合して新しい結合画
像（パノラマ画像）を生成するスリット画像結合処理で
ある。Ｓ１０７は処理を行うべき次のフレーム画像があ
るかどうかを判定する終了判定処理である。

【００１１】図２は本発明の第１の実施の形態に係るパ
ノラマ画像生成方法を実現するためのシステムの構成例
を示すブロック図である。図において、２００は画像の
作成対象を撮影するためのビデオカメラである。２０１
はビデオカメラ２００の回転軸を固定し、３６０度回転
させることが可能な三脚である。２０２はビデオカメラ
２００から送信されるビデオ信号をコンピュータ２０３
に入力するためのビデオ入力装置である。２０３は一般
的なパーソナルコンピュータやワークステーション等の
コンピュータである。コンピュータ２０３は、図１の画
像生成処理を実際に行う処理手段となるＣＰＵ２０４、
ＣＰＵ２０４が処理を行う画像データ等を一時的に記憶
するメモリ２０５、オペレータの指示等をＣＰＵ２０４
に伝達するためのキーボード２０６及びマウス２０７、
パノラマ画像等を表示又は印刷するためのディスプレイ
２０８及びプリンタ２０９、フレーム毎の画像や、ＣＰ
Ｕ２０４が行う画像生成処理の処理プログラム等を記憶
するための二次記憶装置２１０により少なくとも構成さ
れる。

【００１２】以下、図１及び図２に基づいてパノラマ画
像作成方法について、より詳細な動作の説明を行う。三
脚２０１にビデオカメラ２００を固定し、１方向に１回
転できるように設置する。ここでビデオカメラ２００を
水平に保って回転させた場合、回転軸は水平面に対して
垂直になるが、回転軸の向きはこれに限定されるもので
はなく、どのように設定してもよい。例えば回転軸を水
平にして縦方向に回転させるようにしてもよい。また、
回転角は全方位のパノラマ画像を作成する場合は３６０
度（１回転分）必要となるが、前方のみのパノラマ画像
を作成する場合には、１８０度程度回転できればよい
等、得たい画像に応じた回転角が得られればよい。さら
に三脚２０１の代わりに自動で回転するような雲台を利
用してビデオカメラ２００を回転させてもよい。本実施
の形態では、ビデオカメラ２００を水平に回転できるよ
うに三脚２０１を設置し、ビデオカメラ２００を反時計
周りに１回転させて、全方位（１周分）のパノラマ画像
を作成する例を示す。

【００１３】Ｓ１００において、オペレータはビデオカ
メラ２００を回転軸を中心として回転させる。このと
き、１周分の撮影画像をビデオテープに録画しておいた
り、ビデオ入力装置２０２を介してコンピュータ２０３
の二次記憶装置２１０にフレーム単位のファイル形式で
記憶させておいたりする。Ｓ１０１において、フレーム
毎の画像（以下、フレーム画像という）の処理を行う。
ビデオテープに録画されている場合は、録画された画像
を１フレームずつ進めるようなコントロールを行って、
フレーム画像をビデオ入力装置２０２を介してメモリ２
０５に取り込んで処理を行う。また二次記憶装置２１０
には画像が１フレームずつファイル形式で記憶されてい
るので、二次記憶装置２１０から画像ファイルを読み込
むという形でフレーム画像をメモリ２０５に取り込んで
処理を行う。ここでメモリ２０５に取り込んだフレーム
画像を比較フレーム画像ということにし、現在扱ってい
る比較フレーム画像を、ｎ番目の基準フレーム画像（ｎ
＝０，１，…，Ｎ−１）とする。Ｓ１０２において、メ
モリ２０５に取り込まれたフレーム画像がｎ＝０（つま
り１フレーム目の画像）であるかどうかを判断する。ｎ
＝０の場合、オプティカルフローを算出するための基準
フレーム画像が他に存在しないので、ｎ＝０の比較フレ
ーム画像を基準フレーム画像とし、ｎ＝１番目のフレー
ム画像を再度メモリ２０５に取り込み、そのフレーム画
像をあらためて比較フレーム画像とする。ｎ＝０でない
ときは、すでに基準フレーム画像（前にメモリ２０５に
取り込んだ画像）が存在している。

【００１４】Ｓ１０３において、ｎ番目の基準フレーム
画像とｎ＋１番目の比較フレーム画像との間のオプティ
カルフローを求める。オプティカルフローとは、２枚の
フレーム画像間でどの画素がどこに移動したかをベクト
ルによって表現したものである。このオプティカルフロ
ーの算出には既存の技術を利用することができる。ここ
ではブロックマッチングを利用したオプティカルフロー
の算出の例を示す。

【００１５】図３はブロックマッチングによるオプティ
カルフローの算出例を表す図である。図３のようにｎ番
目の基準フレーム画像からある点Ｐ（ａ，ｂ）を中心と
する一辺Ｌ（ピクセル）のブロック画像Ｂｐを取り出
す。ｎ＋１番目の比較フレーム画像上で、ブロック画像
Ｂｐの画素配列と最も一致するブロック画像を検出し、
そのブロック画像の中心点ＱをＰの対応点とする。つま
りｎ番目の基準フレーム画像におけるブロック画像Ｂｐ
の中心画素Ｐ（ａ、ｂ）が、ｎ＋１番目のフレーム画像
においてＱ（ｃ，ｄ）に移動したということになる。そ
の時のオプティカルフローは、Ｖ（ｃ−ａ，ｄ−ｂ）と
いうベクトルで表される。また、オプティカルフロー
（ベクトルＶ）の大きさ（距離）は次式（１）で表され
ることになる。 ｜Ｖ｜＝｜（ｃ−ａ，ｄ−ｂ）｜＝ｓｑｒｔ｛（ｃ−ａ）² ＋（ｄ−ｂ）² ｝ …（１） これは全ての画素に対して適用可能であるので、全ての
画素に対しオプティカルフローが算出できる。

【００１６】図４は本実施の形態における中心線による
オプティカルフローの算出例を表す図である。本実施の
形態では、基準フレーム画像を均等に左右に分割する中
心線の画素に対してオプティカルフローを求めることに
する。ここで１フレームの縦の画素数をＨとすると、オ
プティカルフローは１フレーム画像でＨだけ求まること
になる。ただしオプティカルフローが定まらなかった画
素に対しては、不定の印としてＵの値を付して、オプテ
ィカルフローの大きさが決まった画素と区別しておく。

【００１７】図５は基準フレーム画像から切り取るスリ
ット画像の例を表す図である。Ｓ１０４において、Ｓ１
０３で求めたオプティカルフローの大きさに基づいて、
ｎ番目の基準フレーム画像からスリット状に画像を切り
取る処理を行う。

【００１８】ここでビデオカメラ２００には、固定され
た垂直の回転軸に対して回転する動きしか与えていない
ので、基準フレーム画像と比較フレーム画像とを比較し
た場合に、各画素は原理的には水平方向にしか動かず、
オプティカルフローの垂直成分は０となる。したがっ
て、スリット画像の幅の算出にはオプティカルフローの
水平成分のみを評価することにする。

【００１９】垂直方向の画素数のＨ分の中心線オプティ
カルフローの水平成分の大きさを比較して、最も大きな
ベクトルの大きさＭを算出したとき、基準フレーム画像
から切り取るスリットの幅ＷをＷ＝Ｍ＋１とする。図５
ではＭ＝４、Ｗ＝５となる。この切り取られた画像がス
リット画像５００となる。

【００２０】図６はスリット画像結合時に生じる縞模様
を説明するための図である。図６に示すようにＳ１０４
で算出したスリット幅Ｗ１より小さいオプティカルフロ
ーの値を持つ画素６０４の行（オプティカルフローの値
は１）については、必要以上の画素を切り出している。
ここで、次のスリット画像の幅をＷ２と決定し、スリッ
ト画像を結合する際、画素６００は、Ｗ１のスリット画
像に含まれているにもかかわらず、そのままＷ２として
結合すると画素６０１として再度結合される。このため
部分的に画像の繰り返しが生じて画像に連続性がなくな
り、縦方向の縞模様が現れる。この縞模様をなくして、
画像が滑らかに連続するようにするために、中心線の画
各素におけるオプティカルフローの大きさとスリット幅
との関係に基づき、各行毎に伸長を行う。

【００２１】図７は伸長処理を表す図である。Ｓ１０５
では、スリット画像に対して伸長処理を行う。Ｓ１０４
の処理で切り出したスリット画像におけるｉ行ｊ列の画
素をｐ（ｉ，ｊ）と表す。また伸長されたスリット画像
におけるｉ行ｊ列の画素をｒ（ｉ，ｊ）と表す。さらに
スリット幅をＷ、スリットの高さをＨとし、ｉ行の中心
線オプティカルフローの値をｆ（ｉ）（ｉ＝０，…，Ｈ
−１）と表す。ここで、Ｗ＝ｆ（ｉ）＋１（つまりｆ
（ｉ）＝Ｍ）であるか又はｆ（ｉ）に不定Ｕの値が付さ
れていれば、伸長を行わず、ｒ（ｉ，ｊ）＝ｐ（ｉ，
ｊ）とする。Ｗ≠ｆ（ｉ）＋１ならば、次式（２）及び
（３）にしたがってｒ（ｉ，ｊ）を決定する。まずｉ行
において確定している画素ｑ（ｉ，ｋ）を次式（２）で
表す。 ｑ（ｉ，ｋ）＝ｐ（ｉ，Ｗ−１−ｆ（ｉ）＋ｋ）｜ ｋ∈［０，ｆ（ｉ）］，ｉ∈［０，Ｈ−１］…（２）

【００２２】幅ｆ（ｉ）＋１を幅Ｗまで伸長するように
画素ｒ（ｉ，ｊ）の値を次式（３）で示すように割り当
てる。 ｒ（ｉ，Ｉｎｔ（（Ｗ−１）／ｆ（ｉ）＊ｋ））＝ｑ（ｉ，ｋ） ｋ∈［０，ｆ（ｉ）］，ｉ∈［０，Ｈ−１］…（３） ここで、Ｉｎｔ（ｘ）はｘ以下の最も近い整数を表すも
のとする。式（３）で割り当てられなかった他のｒ
（ｉ，ｊ）に対して、隣接する画素の値を次式（４）の
ような条件で割り当てる。

【００２３】

【数１】

【００２４】図８はスリット画像の結合を行う図であ
る。Ｓ１０６において、ｎ番目の基準フレーム画像から
切り出されて伸長を施されたスリット画像を、ｎ−１番
目までのスリット画像が結合された画像に結合して、新
たなパノラマ画像を生成する。ここで、スリット画像を
結合する位置は、ビデオカメラ２００の回転方向により
変わるが、中心線のオプティカルフローの水平成分の符
号が正であれば、ビデオカメラ２００は反時計回り（左
回り）に回転していることになるので、スリット画像を
パノラマ画像に対して左側に結合し、新たなパノラマ画
像を生成する。逆に符号が負であれば、ビデオカメラ２
００は時計回り（右回り）に回転していることになるの
で、スリット画像をパノラマ画像に対して右側に結合
し、新たなパノラマ画像を生成する。

【００２５】Ｓ１０７において、さらに結合する次のフ
レーム画像が存在するかどうかを確認し、存在すれば
（つまりｎ＝Ｎ−１でなければ）、現在の比較フレーム
画像を基準フレーム画像としてＳ１０１において新たな
比較フレーム画像を入力し、画像生成処理を行う。結合
する次のフレーム画像が存在しなければ（つまりｎ＝Ｎ
−１であれば）、処理を終了する。

【００２６】以上のように第１の実施の形態によれば、
ビデオカメラ２００を回転させて、撮影された画像を結
合してパノラマ画像を生成する際、基準フレーム画像と
比較フレーム画像とのそれぞれ連続する２つの画像に基
づいて、基準フレーム画像の中心線の画素に対してオプ
ティカルフローを算出し、そのオプティカルフローの大
きさのうち最も大きい値に基づいた幅Ｗを算出してスリ
ット画像の切り出しを行い、スリット画像を結合しなが
らパノラマ画像を生成するので、ビデオカメラ２００の
回転角の角速度を一定に保たなくても、ビデオカメラ２
００の回転量に応じた幅のスリット画像を切り出し、ま
た、静止画像を単純につなぎ合わせる画像作成のよう
に、レンズの焦点距離等の情報を使わなくてもよいの
で、精度の高い機器や厳密な操作を必要とせず、撮影さ
れた連続画像から自動的にパノラマ画像を生成すること
が可能である。また、切り出したスリット画像に対し、
スリット画像の幅とオプティカルフローの大きさに基づ
いて、スリット画像の幅に合うように画素を割り当てる
伸長処理を行うことにより、スリット画像の結合部分に
生じる画像の繰り返しによる画素の非連続性に基づく縞
模様の発生を抑えることができ、画像に連続性を持った
滑らかなパノラマ画像を生成することができる。

【００２７】実施形態２．図９は本発明の第２の実施の
形態に係るパノラマ画像生成方法を実現するための処理
を表すフローチャートである。Ｓ９００は、例えばター
ンテーブルの上に置いて回転させた物体を撮影した画像
を記録する物体回転画像記録処理である。Ｓ９０１は記
録された複数のフレーム画像を入力処理をするフレーム
画像入力処理である。Ｓ９０２はフレーム画像が１フレ
ーム目かどうかを判断する判断処理である。Ｓ９０３は
連続する２つの画像を比較し、オプティカルフローを算
出するオプティカルフロー算出処理である。Ｓ９０４は
オプティカルフローの大きさに応じたスリット画像を切
り出すスリット画像切り出し処理である。Ｓ９０５は各
画素のオプティカルフローの大きさに応じてスリット画
像を伸長し、画素の割り当てを行うスリット画像内伸長
処理である。Ｓ９０６は伸長処理を行ったスリット画像
を、結合画像と結合して新しい結合画像（全周囲パノラ
マ画像）を生成するスリット画像結合処理である。Ｓ９
０７は処理を行うべき次のフレーム画像があるかどうか
を判定する終了判定処理である。

【００２８】図１０は本発明の第２の実施の形態に係る
パノラマ画像生成方法を実現するためのシステムの構成
例を示すブロック図である。１０００は撮影対象となる
物体１０１１を撮影するためのビデオカメラである。１
００１は物体１０１１をある回転軸で３６０度回転させ
ることが可能なターンテーブルである。１００２はビデ
オカメラ１０００から送信されるビデオ信号をコンピュ
ータ１００３に入力するためのビデオ入力装置である。
１００３は一般的なパーソナルコンピュータやワークス
テーション等のコンピュータである。コンピュータ１０
０３は、図９の画像生成処理を実際に行う処理手段とな
るＣＰＵ１００４、ＣＰＵ１００４が処理を行う画像デ
ータ等を一時的に記憶するメモリ１００５、オペレータ
の指示等をＣＰＵ１００４に伝達するためのキーボード
１００６及びマウス１００７、パノラマ画像等を表示又
は印刷するためのディスプレイ１００８及びプリンタ１
００９、フレーム毎の画像や、ＣＰＵ１００４が行う画
像生成処理の処理プログラム等を記憶するための二次記
憶装置１０１０により少なくとも構成される。また１０
１１は撮影対象となる物体である。本実施の形態では、
ビデオカメラ１０００を物体１０１１側面に固定し、物
体１０１１が撮影画像の水平方向に回転するようにター
ンテーブル１００１を回転させ、物体の全周囲画像を生
成するものである。

【００２９】以下、図９及び図１０に基づいて第２の実
施の形態におけるパノラマ画像作成方法について、より
詳細な動作の説明を行う。Ｓ９００において、ターンテ
ーブル１００１を回転させて、ビデオカメラ１０００で
回転している物体１０１１を１周分撮影し、撮影画像を
ビデオテープに録画したり、ビデオ入力装置１００２を
介してコンピュータ１００３の二次記憶装置１０１０に
フレーム単位のファイル形式で記憶させる。Ｓ９０１に
おいて、フレーム毎の画像（以下、フレーム画像とい
う）の処理を行う。ビデオテープに録画されている場合
は、録画された画像を１フレームずつ進めるようなコン
トロールを行って、フレーム画像をビデオ入力装置１０
０２を介してメモリ１００５に取り込んで処理を行う。
また二次記憶装置１０１０には、画像が１フレームずつ
ファイル形式で記憶されているので、二次記憶装置１０
１０から画像ファイルを読み込むという形でメモリ１０
０５に取り込んで処理を行う。ここで、取り込まれたフ
レーム画像を第１の実施の形態と同様に比較フレーム画
像ということにし、現在扱っている比較フレーム画像
を、ｎ番目の基準フレーム画像（ｎ＝０，１，…，Ｎ−
１）とする。Ｓ９０２において、メモリ１００５に取り
込まれたフレーム画像がｎ＝０（つまり１フレーム目の
画像）であるかどうかを判断する。ｎ＝０の場合、オプ
ティカルフローを算出するための基準フレーム画像が他
に存在しないので、ｎ＝０の比較フレーム画像を基準フ
レーム画像とし、ｎ＝１番目のフレーム画像を再度メモ
リ１００５に取り込み、そのフレーム画像をあらためて
比較フレーム画像とする。ｎ＝０でないときは、すでに
基準フレーム画像（前にメモリ１００５に取り込んだ画
像）が存在している。

【００３０】Ｓ９０３において、第１の実施の形態と同
様にｎ番目の基準フレーム画像とｎ＋１番目の比較フレ
ーム画像との間のオプティカルフローを求める。ここ
で、オプティカルフローの大きさが０となる部分につい
ては、物体１０１１以外の背景部分と見なし、Ｂという
値を付しておく。Ｓ９０４において、第１の実施の形態
と同様に算出したオプティカルフローに基づいて、オプ
ティカルフローの最大値Ｍに対し、Ｗ＝Ｍ＋１をスリッ
ト画像の幅として、基準フレーム画像からスリット画像
を切り出す。また切り出したスリット画像に対し、Ｓ９
０５において、第１の実施の形態と同様に伸長処理を行
う。ただし、Ｓ９０３において背景としてＢの値が付さ
れた行については伸長処理は行わない。

【００３１】Ｓ９０６において、ｎ番目の基準フレーム
画像から切り出されて伸長を施されたスリット画像を、
ｎ−１番目までのスリット画像が結合された画像に結合
し、新たなパノラマ画像を生成する。またＳ９０７にお
いて、さらに結合する次のフレーム画像が存在するかど
うかを確認し、存在すれば（つまりｎ＝Ｎ−１でなけれ
ば）、現在の比較フレーム画像を基準フレーム画像とし
てＳ９０１において新たな比較フレーム画像を入力し、
画像生成処理を行う。結合する次のフレーム画像が存在
しなければ（つまりｎ＝Ｎ−１であれば）、処理を終了
する。

【００３２】以上のように第２の実施の形態によれば、
回転する物体１０１１を撮影し、全周囲画像を作成する
際、基準フレーム画像と比較フレーム画像とのそれぞれ
連続する２つの画像に基づいて、基準フレーム画像の中
心線の画素に対してオプティカルフローを算出し、その
オプティカルフローの大きさのうち最も大きいものに対
して画像の切り出しを行い、スリット画像を結合しなが
ら全周囲画像を生成するので、物体１０１１が置かれて
いるターンテーブル１００１の回転角の角速度を一定に
保たなくても、物体１０１１（ターンテーブル１００
１）の回転に応じたスリット画像を切り出すことがで
き、また、静止画像を単純につなぎ合わせる画像作成の
ように、レンズの焦点距離等の情報を使わなくてもよい
ので、精度の高い機器や厳密な操作を必要とせず、撮影
された連続画像から自動的に全周囲画像を生成すること
が可能である。また、切り出したスリット画像に対し、
スリット画像の幅とオプティカルフローの大きさに基づ
いて、スリット画像の幅に合うように画素を割り当てる
伸長処理を行うことにより、スリット画像の結合部分に
生じる画像の繰り返しによる画素の非連続性に基づく縞
模様の発生を抑えることができ、画像に連続性を持った
滑らかな全周囲画像を生成することができる。

【００３３】実施形態３．図１１は本発明の第３の実施
の形態に係るパノラマ画像生成方法を実現するための処
理を表すフローチャートである。図において、Ｓ１１０
０は例えば三脚等を用いてある軸を中心にカメラを回転
させて撮影を行う撮影処理である。Ｓ１１０１は記録さ
れた複数のフレーム画像を入力処理をするフレーム画像
入力処理である。Ｓ１１０２はフレーム画像が１フレー
ム目かどうかを判断する判断処理である。Ｓ１１０３は
連続する２つの画像を比較し、オプティカルフローを算
出するオプティカルフロー算出処理である。Ｓ１１０４
はオプティカルフローの大きさに応じたスリット画像を
切り出すスリット画像切り出し処理である。Ｓ１１０５
は各画素のオプティカルフローの大きさに応じて、記憶
された伸長パターンに基づいてスリット画像を伸長し、
画素の割り当てを行うスリット画像伸長処理である。Ｓ
１１０６は伸長処理を行ったスリット画像を、結合画像
と結合して新しい結合画像（パノラマ画像）を生成する
スリット画像結合処理である。Ｓ１１０７は処理を行う
べき次のフレーム画像があるかどうかを判定する終了判
定処理である。

【００３４】第１の実施の形態又は第２の実施の形態に
おいては、スリット画像の最大幅が定められてなかった
ので、オプティカルフローの算出は制限しなかったが、
本実施の形態では、実時間でパノラマ画像を作成できる
ようにするために、あらかじめ想定したビデオカメラの
最大回転角に基づいて切り出しを行う最大幅Ｗｍ及び伸
長方法に基づいた値の割り当てパターンを決定させてお
いて、算出した中心線のオプティカルフローに基づい
て、スリット画像の切り出し、伸長及び結合を行ってパ
ノラマ画像を生成するものである。本実施の形態におけ
るパノラマ画像を実現するためのシステムの構成は、図
２と同様のシステムを用いて行うことにする。ただし、
二次記憶装置２１０には伸長方法に基づいた画素の値の
割り当てパターンが記憶されているものとする。

【００３５】Ｓ１１００においてオペレータはビデオカ
メラ２００を回転軸を中心として回転させる。Ｓ１１０
１において１フレーム分の画像データはビデオ入力装置
２０２を介してコンピュータ２０３に送信され、メモリ
２０５に記憶される。ここでメモリ２０５に取り込まれ
たフレーム画像を比較フレーム画像ということにし、現
在扱っている比較フレーム画像を、ｎ番目の基準フレー
ム画像（ｎ＝０，１，…，Ｎ−１）とする。Ｓ１１０２
において、メモリ２０５に取り込まれたフレーム画像が
ｎ＝０（つまり１フレーム目の画像）かどうかを判断す
る。ｎ＝０の場合、オプティカルフローを算出するため
の基準となるフレーム画像が他に存在しないので、ｎ＝
０の比較フレーム画像を基準フレーム画像とする。ｎを
一つ増やして、ｎ＝１番目のフレーム画像を再度メモリ
２０５に取り込み、そのフレーム画像をあらためて比較
フレーム画像とする。ｎ＝０でないときは、すでに基準
フレーム画像（前にメモリ２０５に取り込んだ画像）が
存在している。

【００３６】図１２は第３の実施の形態に係るオプティ
カルフロー検出の説明図である。Ｓ１１０３において、
ｎ番目の基準フレーム画像とｎ＋１番目の比較フレーム
画像との間のオプティカルフローを求める。基準フレー
ム画像の中心線上にオプティカルフロー算出用ブロック
１２００を設定し、このオプティカルフロー算出用ブロ
ック１２００に基づいて比較フレーム画像から最も一致
する部分を検出して、ブロックの中心点のオプティカル
フローを算出する。ここでビデオカメラ２００は、反時
計回りに水平方向にしか回転せず、しかもスリット画像
の最大幅がＷｍであるので、オプティカルフロー算出用
ブロック１２００を、比較フレーム画像の中心線の左側
を幅Ｗｍだけ水平方向にスライドさせて、その範囲内で
ブロックの中心点のオプティカルフローを算出するよう
にして処理の効率を高める。

【００３７】Ｓ１１０４において、第１の実施の形態と
同様に算出したオプティカルフローに基づいて、オプテ
ィカルフローの最大値Ｍに対し、Ｗ＝Ｍ＋１をスリット
画像の幅として、基準フレーム画像からスリット画像を
切り出す。

【００３８】図１３は伸長方法に基づいた画素の値の割
り当てパターンを表す図である。スリットの幅がＷであ
り、ｉ行におけるオプティカルフローの値ｆ（ｉ）が定
まっている場合、伸長を施した場合のその行の各画素の
値は式（２）〜式（４）に基づいて一意に定まる。した
がって、スリット画像の幅Ｗの最大値がＷｍと定まって
いるから、パターンの数が、最大（Ｗｍ² −Ｗｍ）／２
パターンと定まる。したがって、これらのパターンを二
次記憶装置２１０に記憶させておき、各行に対してパタ
ーンを読み出して伸長を行う。

【００３９】Ｓ１１０６において、ｎ番目の基準フレー
ム画像から切り出されて伸長を施されたスリット画像
を、ｎ−１番目までのスリット画像が結合された画像の
左側に結合し、新たなパノラマ画像を生成する。またＳ
１１０７において、さらに結合する次のフレーム画像が
存在するかどうかを確認し、存在すれば（つまりｎ＝Ｎ
−１でなければ）、現在の比較フレーム画像を基準フレ
ーム画像としてＳ１１００において新たな比較フレーム
画像を入力し、画像生成処理を行う。結合する次のフレ
ーム画像が存在しなければ（つまりｎ＝Ｎ−１であれ
ば）、処理を終了する。

【００４０】以上のように第３の実施の形態によれば、
ビデオカメラ２００を回転させて、撮影された画像を結
合してパノラマ画像を生成する際、基準フレーム画像と
比較フレーム画像とのそれぞれ連続する２つの画像に基
づいて、基準フレーム画像の中心線の画素に対して、あ
らかじめ定められたスリット幅の範囲内で、しかもビデ
オカメラの移動方向に基づいたオプティカルフローの大
きさを算出し、そのオプティカルフローの大きさのうち
最も大きいものに対して画像の切り出しを行い、スリッ
ト画像を結合しながらパノラマ画像を生成するので、ビ
デオカメラ２００の回転角の角速度を一定に保たなくて
も、ビデオカメラ２００の回転量に応じた幅のスリット
画像を高速処理で切り出し、また、静止画像を単純につ
なぎ合わせる画像作成のように、レンズの焦点距離等の
情報を使わなくてもよいので、精度の高い機器や厳密な
操作を必要とせず、撮影された連続画像から自動的にパ
ノラマ画像を生成することが可能である。また、切り出
したスリット画像に対し、スリット画像の幅とオプティ
カルフローの大きさに基づいて、スリット画像の幅に合
うように画素を割り当てる伸長処理を行うことにより、
スリット画像の結合部分に生じる画像の繰り返しによる
画素の非連続性に基づく縞模様の発生を抑えることがで
き、画像に連続性を持った滑らかなパノラマ画像を生成
することができる。しかも、伸長パターンを二次記憶装
置２１０にあらかじめ記憶させておき、記憶された伸長
パターンに基づいて未確定の画素に対して伸長を行うの
で、高速処理が可能となり、実時間処理も可能となる。

【００４１】実施形態４．上述の実施の形態において
は、ビデオカメラによる撮影画像に基づいてパノラマ画
像を生成する方法を示したが、本発明はこれに限定され
るものではなく、例えば赤外線等の可視光とは異なる波
長を利用して得られた画像や、温度分布等を測定するこ
とによって得られた画像等の二次元の格子点上に、画素
値のような値が存在し、行又は列方向に連続的に変化す
る二次元の格子点の移動に関する情報が得られるような
画像であれば適用可能である。

【００４２】

【発明の効果】以上のように本発明によれば、連続する
２つの前記撮影画像を比較し、連続する２つの撮影画像
のうち、基準となる画像を２等分する中心線上の各画素
におけるオプティカルフローの大きさを算出し、各画素
のオプティカルフローの大きさに基づいて、画像間の画
素の移動距離に応じたスリット画像の幅を決定して、ス
リット画像の切り出しを行い、それらのスリット画像を
結合してパノラマ画像を作成するようにしたので、スリ
ットの幅を一定にすることにより生じる撮影画像間の各
画素の移動距離の正確性を保つ必要がなく、また、静止
画像を単純につなぎ合わせる画像作成のように、レンズ
の焦点距離等の情報を使わなくてもよいので、精度の高
い機器や厳密な操作を必要としなくても、撮影された連
続画像から自動的にパノラマ画像を生成することが可能
である。

【００４３】また本発明によれば、スリット画像を切り
出した後、オプティカルフローの大きさに基づいて、切
り出したスリット画像の中で、オプティカルフローの大
きさがスリット幅よりも小さい部分に対して、スリット
幅に合うように画素を割り当てる伸長処理を行ってから
スリット画像を結合するようにしたので、スリット画像
の結合部分に生じる画像の繰り返しに基づく画素の非連
続性による縞模様の発生を抑えることができ、画素間の
関係が滑らかなパノラマ画像を生成することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係るパノラマ画像
生成方法を実現するための処理を表すフローチャートで
ある。

【図２】本発明の第１の実施の形態に係るパノラマ画像
生成方法を実現するためのシステムの構成例を示すブロ
ック図である。

【図３】ブロックマッチングによるオプティカルフロー
の算出例を表す図である。

【図４】本実施の形態における中心線によるオプティカ
ルフローの算出例を表す図である。

【図５】基準フレーム画像から切り取るスリット画像の
例を表す図である。

【図６】スリット画像結合時に生じる縞模様を説明する
ための図である。

【図７】伸長処理を表す図である。

【図８】スリット画像の結合を行う図である。

【図９】本発明の第２の実施の形態に係るパノラマ画像
生成方法を実現するための処理を表すフローチャートで
ある。

【図１０】本発明の第２の実施の形態に係るパノラマ画
像生成方法を実現するためのシステムの構成例を示すブ
ロック図である。

【図１１】本発明の第３の実施の形態に係るパノラマ画
像生成方法を実現するための処理を表すフローチャート
である。

【図１２】第３の実施の形態に係るオプティカルフロー
検出の説明図である。

【図１３】伸長方法に基づいた画素の値の割り当てパタ
ーンを表す図である。

【符号の説明】

２００、１０００ ビデオカメラ ２０１ 三脚 １００１ ターンテーブル ２０２、１００２ ビデオ入力装置 ２０３、１００３ コンピュータ ２０４、１００４ ＣＰＵ ２０５、１００５ メモリ ２０６、１００６ キーボード ２０７、１００７ マウス ２０８、１００８ ディスプレイ ２０９、１００９ プリンタ ２１０、１０１０ 二次記憶装置

Claims (6)

【特許請求の範囲】
1. 【請求項１】 連続する撮影画像からスリット状に切り
   出したスリット画像を結合し、パノラマ画像を生成する
   パノラマ画像生成方法において、 連続する２つの前記撮影画像を比較し、前記連続する２
   つの撮影画像のうち、基準となる画像を２等分する中心
   線上の各画素におけるオプティカルフローの大きさを算
   出する工程と、 算出した前記各画素のオプティカルフローの大きさに基
   づいて、前記スリット画像の幅を決定する工程と、 前記スリット画像を前記基準となる画像から切り出す工
   程と、 切り出した前記スリット画像を結合する工程とを有する
   ことを特徴とするパノラマ画像生成方法。
2. 【請求項２】 前記オプティカルフローの大きさに基づ
   いて、切り出した前記スリット画像の中で、前記オプテ
   ィカルフローの大きさが、スリット画像の幅よりも小さ
   い部分に対して画素を割り当てる伸長処理を行ってから
   前記スリット画像を結合することを特徴とする請求項１
   記載のパノラマ画像生成方法。
3. 【請求項３】 前記スリット画像の幅の最大値をあらか
   じめ定めておき、前記連続する２つの撮影画像のうち、
   前記基準となる画像とは別の撮影画像を２等分する中心
   線と前記スリット画像の幅の最大値とで形成される領域
   内で、前記基準となる画像を２等分する中心線上の各画
   素を検出し、前記オプティカルフローを算出することを
   特徴とする請求項１又は２記載のパノラマ画像生成方
   法。
4. 【請求項４】 前記連続する２つの撮影画像のうち、前
   記基準となる画像とは別の撮影画像の中を、あらかじめ
   定められた方向で前記基準となる画像を２等分する中心
   線上の各画素を検出し、前記オプティカルフローを算出
   することを特徴とする請求項１又は２記載のパノラマ画
   像生成方法。
5. 【請求項５】 前記オプティカルフローの大きさとスリ
   ット幅に基づいてあらかじめ定められた画素の割り当て
   パターンを記憶し、前記伸長処理を行う際に、記憶され
   た前記割当パターンに基づいて、画素が確定していない
   部分に対して、画素を割り当てることを特徴とする請求
   項２記載のパノラマ画像生成方法。
6. 【請求項６】 連続する撮影画像からスリット状に切り
   出したスリット画像を結合し、パノラマ画像を生成する
   パノラマ画像生成方法において、 連続する２つの前記撮影画像を比較させ、前記連続する
   ２つの撮影画像のうち、基準となる画像を２等分する中
   心線上の各画素におけるオプティカルフローの大きさを
   算出させ、 算出した前記各画素のオプティカルフローの大きさに基
   づいて、前記スリット画像の幅を決定させ、 前記スリット画像を前記基準となる画像から切り出さ
   せ、 切り出した前記スリット画像を結合させることをコンピ
   ュータに実行させるパノラマ画像生成プログラムを記録
   することを特徴とする記録媒体。