JPH11164326A - パノラマステレオ画像生成表示方法及びそのプログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 厳密な機器や操作を必要としなくてもより正
確なパノラマ画像を作成でき、そのパノラマ画像内の対
象物までの距離に基づいたステレオ表示が可能なパノラ
マステレオ画像生成表示方法等を得る。 【解決手段】 連続する撮影画像からスリット状に切り
出したスリット画像を結合し、左目視用及び右目視用の
パノラマ画像を生成して、立体表示を行うパノラマステ
レオ画像生成表示方法において、連続する２つのフレー
ム画像を比較し、基準フレーム画像を２等分する中心線
から等距離にある２本の基準線上の各画素におけるオプ
ティカルフローの大きさを算出する工程Ｓ１０４と、オ
プティカルフローの大きさに基づいて、スリット画像の
幅をそれぞれ決定し、基準フレーム画像からスリット画
像をそれぞれ切り出す工程Ｓ１０５と、右目用及び左目
用のパノラマ画像を生成するためのスリット画像をそれ
ぞれ結合し、右目用及び左目用のパノラマ画像をそれぞ
れ生成する工程とを有している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、１台のビデオカメ
ラ等で連続的に入力した画像を用いて、例えばコンピュ
ータ上で合成して表示するようなパノラマ画像の生成及
びそのパノラマ画像を両眼視差を利用して立体的にステ
レオ表示させるパノラマステレオ画像生成表示方法に関
するものである。

【０００２】

【従来の技術】従来より、１台のビデオカメラ又はスチ
ルカメラで撮影した画像に２つの垂直スリットを用いる
ことによって、２台のカメラで撮影されたような画像を
生成する手法がコンピュータビジョンの分野で報告され
ている。例えば「Omni-Directional Stereo 」IEEE Tra
nsaction On Pattern Analysis And Machine Intellige
nce,VOl.14,No.2,February 1992 に記載されているもの
は、回転軸から半径方向の距離Ｌだけ離れたところに焦
点が来るようにカメラを設置し、回転ステップを０．４
度に固定して撮影するものである（この場合、１周３６
０度で９００枚の画像が得られることになる）。撮影さ
れた画像の中心から左右にそれぞれ１００ピクセル離れ
た部分で、幅が１ピクセルで高さが撮影された画像の高
さ（ここでは２５６ピクセルとする）のスリット画像を
切り出す。そして左右各９００枚のスリット画像を全て
結合して最終的に９００×２５６ピクセルのパノラマ画
像を２枚生成する。そしてこの２枚のパノラマ画像から
パノラマ画像内に記録されている特徴点（ここでは垂直
エッジ）の位置を検出している。

【０００３】

【発明が解決しようとする課題】現在、ビデオカメラ１
台だけで、２台のビデオカメラで撮影したようなパノラ
マ画像を生成する方法としては、上述の文献に示したよ
うにビデオカメラで撮影した画像に対し、左右２つのス
リットを用いて切り出した画像を連続的に記録し、結合
させる方法がある。

【０００４】しかし、このような方法でパノラマ画像を
生成する場合、切り出すスリット幅が一定であるため、
その幅に基づいて、ビデオカメラを一定の角速度で回転
させて画像を記録させる必要がある。この場合、記録さ
れた画像は忠実に再現され、安定したものとなるが、ビ
デオカメラをある回転軸を中心に一定の角速度で回転さ
せるためには、精密な機器やそれらをコントロールする
装置が必要となり、一般ユーザがそれらを利用するのは
困難である。また生成されたパノラマ画像は、パノラマ
画像内に記録されている特徴点の２次元位置の測定に対
しては考慮されて生成されるが、そのパノラマ画像をユ
ーザがステレオ視することを考慮して生成されていな
い。したがって、このようなパノラマ画像を単純にステ
レオ視すると、パノラマ画像内に撮影された対象物まで
の距離感覚が、その対象物に対応したものではなく、違
ったものになる。

【０００５】そこで、ビデオカメラ回転の角速度に関係
なく、より正確なパノラマ画像を得ることができ、その
パノラマ画像内の対象物までの距離に基づいたステレオ
表示が可能なパノラマステレオ画像生成方法及び表示方
法並びにそれらのプログラムを記録した記録媒体の実現
が望まれていた。

【０００６】

【課題を解決するための手段】本発明に係るパノラマス
テレオ画像生成表示方法は、連続する２つの撮影画像を
比較し、連続する２つの撮影画像のうち、基準となる画
像を２等分する中心線から等距離にある２本の基準線上
の各画素におけるオプティカルフローの大きさを算出す
る工程と、算出した各画素のオプティカルフローの大き
さに基づいて、右目用及び左目用のパノラマ画像を生成
するためのスリット画像の幅をそれぞれ決定する工程
と、スリット画像の幅及び基準線に基づいて、基準とな
る画像から右目用及び左目用のパノラマ画像を生成する
ためのスリット画像をそれぞれ切り出す工程と、右目用
及び左目用のパノラマ画像を生成するためのスリット画
像をそれぞれ結合し、右目用及び左目用のパノラマ画像
をそれぞれ生成する工程とを有している。本発明におい
ては、パノラマステレオ画像を生成する方法として、連
続する２つの撮影画像のうち、左目用のパノラマ画像及
び右目用のパノラマ画像を作成するために設けられた、
基準となる画像を２等分する中心線から等距離にある２
本の基準線上の各画素におけるオプティカルフローの大
きさを算出する。従来のように固定のスリット幅ではな
く、算出した各画素のオプティカルフローの大きさに基
づいて、右目用及び左目用のパノラマ画像を生成するた
めのスリット画像の幅をそれぞれ決定する。スリット画
像の幅及び基準線に基づいて、基準となる画像から右目
用及び左目用のパノラマ画像を生成するためのスリット
画像をそれぞれ切り出す。右目用及び左目用のパノラマ
画像を生成するためのスリット画像をそれぞれ結合し、
右目用及び左目用のパノラマ画像をそれぞれ生成する。

【０００７】また、本発明に係るパノラマステレオ画像
生成表示方法は、パノラマ画像を表示する際に、奥行き
視差角のデータに基づいて、パノラマ画像を、視点を回
転軸として回転させる。本発明においては、奥行き視差
角を利用して、左右のパノラマ画像の位置調整を行うこ
とで、ステレオ視する際のパノラマ画像内の対象物に対
しての正確な距離感覚が得られる。

【０００８】また、本発明に係るパノラマステレオ画像
生成表示プログラムを記録する記録媒体は、連続する２
つの前記撮影画像を比較させ、連続する２つの撮影画像
のうち、基準となる画像を２等分する中心線から等距離
にある２本の基準線上の各画素におけるオプティカルフ
ローの大きさを算出させ、算出した各画素のオプティカ
ルフローの大きさに基づいて、右目用及び左目用のパノ
ラマ画像を生成するためのスリット画像の幅をそれぞれ
決定させ、スリット画像の幅及び基準線に基づいて、基
準となる画像から右目用及び左目用のパノラマ画像を生
成するためのスリット画像をそれぞれ切り出させ、右目
用及び左目用のパノラマ画像を生成するためのスリット
画像をそれぞれ結合させ、右目用及び左目用のパノラマ
画像をそれぞれ生成させ、生成したパノラマ画像内に撮
影された目的物に対し、視点から目的物までの距離に基
づいた奥行き視差角のデータを付加させ、パノラマ画像
を表示させることをコンピュータに行わせるプログラム
を記録する。本発明においては、連続する２つの撮影画
像のうち、左目用のパノラマ画像及び右目用のパノラマ
画像を作成するために設けられた、基準となる画像を２
等分する中心線から等距離にある２本の基準線上の各画
素におけるオプティカルフローの大きさを算出させる。
従来のように固定のスリット幅ではなく、算出させた各
画素のオプティカルフローの大きさに基づいて、右目用
及び左目用のパノラマ画像を生成するためのスリット画
像の幅をそれぞれ決定させる。スリット画像の幅及び基
準線に基づいて、基準となる画像から右目用及び左目用
のパノラマ画像を生成するためのスリット画像をそれぞ
れ切り出させる。右目用及び左目用のパノラマ画像を生
成するためのスリット画像をそれぞれ結合し、右目用及
び左目用のパノラマ画像をそれぞれ生成させる。

【０００９】

【発明の実施の形態】実施形態１．図１は本発明の第１
の実施の形態に係るパノラマ画像生成方法を実現するた
めの処理を表すフローチャートである。図において、Ｓ
１０１は例えば三脚等を用いてある軸を中心にカメラを
回転させて撮影された画像を記録する画像記録処理であ
る。Ｓ１０２は記録された複数のフレーム画像を入力処
理をするフレーム画像入力処理である。Ｓ１０３はフレ
ーム画像が１フレーム目かどうかを判断する判断処理で
ある。Ｓ１０４は連続する２つの画像を比較し、オプテ
ィカルフローを算出するオプティカルフロー算出処理で
ある。Ｓ１０５はオプティカルフローの大きさに応じた
スリット画像を切り出すスリット画像切り出し処理であ
る。Ｓ１０６はスリット画像を、結合画像と結合して新
しい結合画像（パノラマ画像）を生成するスリット画像
結合処理である。Ｓ１０７は処理を行うべき次のフレー
ム画像があるかどうかを判定する終了判定処理である。
Ｓ１０８はパノラマ画像に撮影されている対象物（オブ
ジェクト）毎に、距離情報に基づいて奥行き視差角のデ
ータをリンクさせる奥行き視差角付加処理である。Ｓ１
０９はパノラマ画像の表示を行うパノラマ画像ステレオ
表示処理である。Ｓ１１０は表示終了処理である。

【００１０】ビデオカメラを水平に保って回転させた場
合、回転軸は水平面に対して垂直になるが、回転軸はこ
れに定まったわけではなく、どのように設定してもよ
い。例えば回転軸を水平にして、縦方向に回転させても
よい。また回転角は、全方位のパノラマ画像を生成する
場合は３６０度必要となるが、前方のみのパノラマ画像
を生成する場合は、１８０度程度でよく、必要に応じた
回転角が得られればよい。さらに三脚の代わりに自動で
回転するような雲台を利用しても良い。第１の実施の形
態では、三脚を水平方向に回転できるように設置し、三
脚の回転軸から半径方向に距離Ｌだけ離れたところに焦
点が位置するようにビデオカメラを固定して、上から見
て反時計回り（左回り）に１回転させて、１周分のパノ
ラマステレオ画像を生成及び表示する方法を示す。

【００１１】図２は本発明の第１の実施の形態に係るパ
ノラマ画像生成方法を実現するためのシステムの構成例
を示すブロック図である。図において２００は画像の作
成対象を撮影するためのビデオカメラである。２０１は
ビデオカメラ２００の回転軸を固定し、３６０度回転さ
せることが可能な三脚である。２０２はビデオカメラ２
００から送信されるビデオ信号をコンピュータ２０３に
入力するためのビデオ入力装置である。２０３は一般的
なパーソナルコンピュータやワークステーション等のコ
ンピュータである。コンピュータ２０３は、図１の画像
生成表示処理を実際に行う処理手段となるＣＰＵ２０
４、ＣＰＵ２０４が処理を行う画像データ等を一時的に
記憶するメモリ２０５、オペレータの指示等をＣＰＵ２
０４に伝達するためのキーボード２０６及びマウス２０
７、処理画像などを表示又は印刷するためのディスプレ
イ２０８及びプリンタ２０９、処理画像を記憶するため
の二次記憶装置２１０により少なくとも構成される。２
１１はコンピュータ２０３のディスプレイ２０８と連動
して動作するステレオ視を行うための液晶シャッターメ
ガネである。２１２は液晶シャッターメガネ２１１とデ
ィスプレイ２０８が表示する画像との同期をとるための
赤外線発信器である。

【００１２】以下、図１及び図２に基づいてパノラマ画
像生成方法の詳細な動作の説明を行う。三脚２０１にお
いて、回転軸から距離Ｌだけ離れたところに焦点が位置
するようにビデオカメラ２００を固定し、１方向に１回
転できるように設置する。ここでビデオカメラ２００を
水平に保って回転させた場合、回転軸は水平面に対して
垂直になるが、回転軸の向きはこれに限定されるもので
はなく、どのように設定しても良い。例えば回転軸を水
平にして縦方向に回転させるようにしてもよい。また、
回転角は全方位のパノラマ画像を生成する場合は３６０
度（１回転分）必要となるが、前方のみのパノラマ画像
を生成する場合には、１８０度程度回転できればよい
等、得たい画像の必要に応じた回転角が得られればよ
い。さらに三脚２０１の代わりに自動で回転するような
雲台を利用してビデオカメラ２００を回転させてもよ
い。第１の実施の形態では、ビデオカメラ２００を水平
に回転できるように三脚２０１を設置し、ビデオカメラ
２００を反時計周りに１回転させて、全方位（１周分）
のパノラマ画像を生成し、ステレオ表示する例を示す。

【００１３】Ｓ１００は開始処理である。Ｓ１０１にお
いて、ビデオカメラ２００を回転軸を中心として、例え
ば手で反時計方向に回転させ、１周分の撮影画像をビデ
オテープに録画させたり、ビデオ入力装置２０２を介し
てコンピュータ２０３の２次記憶装置２１０にフレーム
単位のファイル形式で記憶させる。Ｓ１０２において、
フレーム毎の画像（以下、フレーム画像という）の処理
を行う。ビデオテープに録画されている場合は、録画さ
れた画像を１フレームずつ進めるようなコントロールを
行って、フレーム画像をビデオ入力装置２０２を介して
メモり２０５に取り込んで処理を行う。また２次記憶装
置２１０には画像が１フレームずつファイル形式で記憶
されているので、２次記憶装置２１０から画像ファイル
を読み込むという形でフレーム画像をメモリ２０５に取
り込んで処理を行う。ここで、メモリ２０５に取り込ん
だフレーム画像を比較フレーム画像ということにし、現
在扱っている比較フレーム画像を、ｎ番目の基準フレー
ム画像（ｎ＝０，１，…，Ｎ−１）とする。Ｓ１０３に
おいて、メモリ２０５に取り込まれたフレーム画像がｎ
＝０（つまり１フレーム目の画像）であるかどうかを判
断する。ｎ＝０の場合、オプティカルフローを算出する
ための基準となるフレーム画像が他に存在しないので、
ｎ＝０の比較フレーム画像を基準フレーム画像とし、ｎ
＝１番目のフレーム画像を再度メモリ２０５に取り込
み、そのフレーム画像をあらためて比較フレーム画像と
する。ｎ＝０でないときは、すでに基準フレーム画像
（前にメモリ２０５に取り込んだ画像）が存在してい
る。

【００１４】図３はビデオカメラの回転角と位置との関
係を表す図である。ここでフレーム画像から切り出しを
行うための画像中心から右目用又は左目用のスリットま
での距離ｘ（ピクセル）を以下のようにして求める。ビ
デオカメラの回転半径をＬ（ｍ）ステレオ視する際の両
目の間隔を２ｅ（ｍ）、カメラの回転角を２θとする
と、次式（１）に示すような関係が成り立つ。 Ｌｓｉｎθ＝ｅ …（１） つまり、既知である目の間隔２ｅと回転軸からビデオカ
メラの焦点までの距離Ｌとによって無限遠点を両眼視し
たときに両眼の視線方向が平行になるための∠θが求ま
ることになる。

【００１５】図４は画面とスリットの位置との関係を表
す図である。画面中心からスリット位置までの距離をｘ
（ピクセル）、フレーム画像の幅をｗ（ピクセル）、ビ
デオカメラの水平視野角をｆｏｖｘ度とすると、次式
（２）に示すような関係が成り立つ。 ｘ：ｗ／２＝ｔａｎθ：ｔａｎ（ｆｏｖｘ／２） …（２） したがって、次式（３）が成り立ち、画面中心からスリ
ットまでの距離ｘ（ピクセル）が求まる。 ｘ＝｛（ｗ／２）×ｔａｎθ｝／ｔａｎ（ｆｏｖｘ／２） …（３） 例えば、Ｌ＝０．１７（ｍ）、ｅ＝０．０３（ｍ）とす
ると、θ＝１０．１６（ｄｅｇ）となり、さらに、ｗ＝
３２０（ピクセル）、ｆｏｖｘ＝３１（ｄｅｇ）とする
と、ｘ＝１０３（ピクセル）となる。したがってこの例
の場合、フレーム画像の中心線より水平方向に左右それ
ぞれ１０３ピクセル離れた線が、左目用及び右目用のス
リット画像を切り出すための基準線となる。

【００１６】Ｓ１０４において、ｎ番目の基準フレーム
画像とｎ＋１番目の比較フレーム画像との間のオプティ
カルフローを求める。オプティカルフローとは、２枚の
フレーム画像間でどの画素がどこに移動したかをベクト
ルによって表現したものである。このオプティカルフロ
ーの算出には既存の技術を利用することができる。例え
ば、ブロックマッチングを利用したオプティカルフロー
の算出の例を示す。

【００１７】図５はブロックマッチングによるオプティ
カルフローの算出例を表す図である。図５のようにｎ番
目の基準フレーム画像からある点Ｐ（ａ，ｂ）を中心と
する一辺Ｌ（ピクセル）のブロック画像Ｂｐを取り出
す。ｎ＋１番目の比較フレーム画像上で、ブロック画像
Ｂｐと最も一致するブロックを検出し、そのブロックの
中心点ＱをＰの対応点とする。つまりｎ番目の基準フレ
ーム画像におけるブロック画像Ｂｐの中心画素Ｐ（ａ、
ｂ）が、ｎ＋１番目のフレーム画像においてＱ（ｃ，
ｄ）に移動したということになる。その時のオプティカ
ルフローは、Ｖ（ｃ−ａ，ｄ−ｂ）というベクトルで表
される。また、ベクトルＶの大きさは次式（４）で表さ
れることになる。 ｜Ｖ｜＝｜（ｃ−ａ，ｄ−ｂ）｜＝ｓｑｒｔ｛（ｃ−ａ）² ＋（ｄ−ｂ）² ｝ …（４） これは全ての画素に対して適用可能であり、全ての画素
に対し、オプティカルフローが算出できる。

【００１８】本実施の形態では、基準フレーム画像の左
右のスリット画像の基準線の画素に対してオプティカル
フローを求めることにする。ここで１フレームの縦の画
素数をＨとすると、１つのフレーム画像に対し、オプテ
ィカルフローは左目用、右目用それぞれに対し、Ｈだけ
求まることになる。ただし、ここでオプティカルフロー
が定まらなかった画素に対しては、不定の印としてＵの
値を付して区別しておく。なお、第１の実施の形態では
オプティカルフローの検出方法として、一般的に用いら
れているブロックマッチング法を利用したが、検出方法
はこれに特定されるものではない。

【００１９】図６はオプティカルフローの検出結果とス
リット画像の説明図である。図６（ａ）は原画像である
基準フレーム画像である。図６（ｂ）はオプティカルフ
ローの検出結果である。ただし、図６（ｂ）のオプティ
カルフローの検出結果は、図６（ａ）の全ての画素につ
いて行われている。図６（ｃ）は、基準フレーム画像か
ら切り出しを行ったスリット画像である。Ｓ１０５にお
いて、算出したオプティカルフローの大きさに基づい
て、基準フレーム画像からスリット状に切り出しを行
い、スリット画像を生成する。本実施の形態において
は、ビデオカメラ２００は反時計回りに回転し、オプテ
ィカルフローの値は正であるので、算出したオプティカ
ルフローの大きさで有効なもののうち（Ｕの値が付され
ていないもの）、最も数が多いオプティカルフローの大
きさの幅分だけを左目用及び右目用のそれぞれのスリッ
ト画像の基準線の位置から左側の部分に対して基準フレ
ーム画像から切り取る（この幅をスリット画像の幅Ｗと
する）。

【００２０】ここでビデオカメラ２００は、固定された
垂直の回転軸に対して回転する動きしか与えていないの
で、基準フレーム画像と比較フレーム画像とを比較した
場合に、各画素は原理的には水平方向にしか動かず、オ
プティカルフローの垂直成分は０となる。したがってオ
プティカルフローの大きさは水平成分のみを評価し、決
定することにする。

【００２１】図７はスリット画像の結合を行う図であ
る。Ｓ１０６において、ｎ番目の基準フレーム画像から
切り出されたスリット画像を、ｎ−１番目までのスリッ
ト画像が結合された画像に結合し、新たなパノラマ画像
を生成する。ここで、スリット画像を結合する位置は、
ビデオカメラ２００の回転方向により変わるが、中心線
オプティカルフローの水平成分の符号が正であれば、ビ
デオカメラ２００は左に回転していることになるので、
スリット画像をパノラマ画像に対して左側に結合し、新
たなパノラマ画像を生成する。逆に符号が負であれば、
ビデオカメラは右に回転していることになるので、スリ
ット画像はパノラマ画像に対して右側に結合し、新たな
パノラマ画像を生成する。この処理はビデオカメラ２０
０の回転方向に依存しているので、左目用のパノラマ画
像の結合でも右目用のパノラマ画像の結合でも同じ処理
となる。

【００２２】Ｓ１０７において、さらに結合する次のフ
レーム画像が存在するかどうかを確認し、存在すれば
（つまりｎ＝Ｎ−１でなければ）、現在の比較フレーム
画像を基準フレーム画像としてＳ１０１において新たな
比較フレーム画像を入力し、画像生成処理を行う。結合
する次のフレーム画像が存在しなければ（つまりｎ＝Ｎ
−１であれば）、パノラマ画像結合処理を終了する。

【００２３】図８は奥行き視差角の説明図である。図８
（ａ）は円周Ｒ上で距離の異なるオブジェクトＡ及びＢ
を撮影した様子である。Ｏはビデオカメラ２００の回転
軸である。Ａ及びＢはそれぞれオブジェクトＡとオブジ
ェクトＢの位置を表している。このとき、オブジェクト
Ａは、パノラマ画像内のＣ及びＤの位置に、それぞれ右
目用、左目用として記録される。同様に、オブジェクト
Ｂは、パノラマ画像内のＥ及びＦに記録される。ところ
が、奥行き視差角θのままで、このパノラマ画像をステ
レオ視すると、θは無限遠のオブジェクトに対する奥行
き視差角に対して設定された角度であるから、オブジェ
クトＡやオブジェクトＢは無限遠に存在しているように
見えてしまう。パノラマ画像内のオブジェクトＡ及びオ
ブジェクトＢを正確な距離感でステレオ視できるように
するためには、オブジェクトＡやオブジェクトＢの距離
に応じた奥行き視差角を与えなければならない。そこ
で、Ｓ１０８において、パノラマ画像内の各オブジェク
トに対して、その距離に基づいた奥行き視差角の角度情
報を付加し、パノラマ画像にリンクさせて記憶させてお
く。

【００２４】図８（ｂ）はパノラマ画像内のオブジェク
トと奥行き視差角との関係を表す図である。図８（ｂ）
に示すように、∠Ｃ’Ｏ’Ｄ’と∠Ｅ’Ｏ’Ｆ’をＳ１
０４で算出した２θに一致させると、θ、θ’及びθ”
の間の関係はθ＞θ’＞θ”となる。つまり、無限遠点
に対する奥行き視差角に対し、オブジェクトの位置が視
点位置に近くなる程、奥行き視差角は大きくなる。した
がって、オブジェクトＡ’または、オブジェクトＢ’を
両眼で正確な位置に見るには、左目用及び右目用のパノ
ラマ画像を奥行き視差角θ’又はθ”だけ左右それぞれ
の視点位置を中心に動的に回転させ、表示させるように
すればよい。

【００２５】図９は奥行き視差角に基づいたパノラマ画
像回転処理を表す図である。右目用及び左目用のパノラ
マ画像の基準位置（パノラマ画像の生成を始めた位置）
をそれぞれＳ、Ｔとする。さらに右目用のＳ’の位置に
対応する画像は、左目用のＴ’の位置に記録されている
とする。ここで例として、Ｓ’及びＴ’に記録されてい
るオブジェクトが図８（ｂ）のオブジェクトＡ’である
とすると、左目用のパノラマ画像を視点を中心に時計回
りにθ’右目用のパノラマ画像を視点を中心に反時計回
りにθ’回転させてステレオ視することによって、両眼
視差によりオブジェクトＡ’が正確な位置に配置されて
いるように見える。もちろん、左目の視線方向を反時計
回りにθ’回転させ、また右目の視線方向を時計回りに
θ’回転させることでも、相対的に同じ角度だけ回転さ
せたことになり、オブジェクトＡが正確な位置に配置さ
れて映像が見える。

【００２６】次にオブジェクトまでの距離と、奥行き視
差角との関係を示す。図８（ｂ）において、回転軸から
オブジェクトＡ’までの距離Ａ’Ｏ’＝ａ、回転半径
Ｃ’Ｏ’＝ｒ、無限遠に対する奥行き視差角（∠Ｃ’
Ｏ’Ａ’）をθ、オブジェクトＡ’に対する奥行き視差
角∠Ｇ’Ｃ’Ａ’＝θ’とすると、次式（５）及び
（６）が成立し、オブジェクトまでの距離に応じた奥行
き視差角θ’が算出できる。 ａ＝ｒｓｉｎθ’／ｓｉｎ（θ’−θ） …（５） ｔａｎθ’＝ｓｉｎθ／（ｃｏｓθ−ｒ／ａ） …（６） この値をパノラマ画像の各オブジェクトに対応付けて記
録させておき、ステレオ視する際に左目用及び右目用の
パノラマ画像に対応させるようにする。

【００２７】なお、オブジェクトまでの距離の測定方法
は特に定めるものではないが、例えば、一般的に使用さ
れているように、２枚の画像における対応点のマッチン
グを利用したり、レンジセンサを用いることで測定する
ことができる。また実際に左目用、右目用のパノラマ画
像をステレオ視していくつかの視線方向に対して焦点が
合うように奥行き視差角の調節を行い、これらのサンプ
ル値をキーとしてその間を補完し、各オブジェクトの奥
行き視差角を定めることも可能である。

【００２８】図１０は、Ｓ１０９におけるパノラマ画像
表示処理を表すフローチャートである。Ｓ１０９におい
て、奥行き視差角に基づいて、Ｓ１００１〜Ｓ１００７
の処理により、左目用、右目用のそれぞれのパノラマ画
像を視点を中心に回転させて表示処理する。Ｓ１０００
において、処理を開始する。Ｓ１００１において、各オ
ブジェクトに付加された奥行き視差角に基づいて左目
用、右目用のパノラマ画像をそれぞれ視点位置を中心に
時計回り、反時計回りに奥行き視差角だけ回転させる。
Ｓ１００２において、左目用のパノラマ画像をディスプ
レイに表示する。Ｓ１００３において、液晶シャッター
メガネ２１１の左目のシャッターを開き、右目のシャッ
ターを閉じる。Ｓ１００４において、右目用のパノラマ
画像をディスプレイに表示する。Ｓ１００５では、液晶
シャッターメガネ２１１の右目のシャッターを開き、左
目のシャッターを閉じる。Ｓ１００２〜Ｓ１００５の処
理は、赤外線発信器２１２を介し、液晶シャッターメガ
ネ２１１とディスプレイ２０８との間で、十分に高速に
同期がとられて実行されて、左目には左目用のパノラマ
画像だけが見え、右目には右目用のパノラマ画像だけが
見え、両眼視差に基づいたステレオ視が可能となる。Ｓ
１００６において、パノラマ画像をステレオ視している
者が、視線方向の変更を指示しなければ、Ｓ１００１に
戻り、Ｓ１００２〜Ｓ１００５の処理を実行し続ける。
Ｓ１００７において、パノラマ画像をステレオ視してい
る者が、視線方向の変更を指示した場合、左目用及び右
目用のパノラマ画像の基準位置をそれぞれ指示された角
度だけ回転させ、表示することで、視点を中心に３６０
度のパノラマ画像をステレオ視することができる。Ｓ１
００６において、終了処理が指示された場合、Ｓ９０８
の処理を行い表示処理を終了し、Ｓ１１０の終了処理を
実行し、全ての処理を終了する。

【００２９】以上のように第１の実施の形態によれば、
ビデオカメラ２００を回転させて、撮影された画像を結
合してパノラマ画像を生成する際、基準フレーム画像と
比較フレーム画像とのそれぞれ連続する２つの画像に基
づいて、基準フレーム画像の左右のスリットの基準線に
対してそれぞれオプティカルフローを算出し、そのオプ
ティカルフローの大きさのうち最も多い値を幅としてス
リット画像の切り出しを行い、スリット画像を結合しな
がらパノラマ画像を生成するので、ビデオカメラ２００
の回転角の角速度を一定に保たなくても、ビデオカメラ
２００の回転量に応じた幅のスリット画像を切り出し、
また、静止画像を単純につなぎ合わせる画像作成のよう
に、レンズの焦点距離等の情報を使わなくてもよいの
で、精度の高い機器や厳密な操作を必要とせず、撮影さ
れた連続画像から自動的にパノラマ画像を生成すること
が可能である。また、パノラマ画像内のオブジェクトに
対して奥行き視差角のデータを付加し、オブジェクトの
距離に対応した奥行き視差角を利用してパノラマ画像の
位置調整を行って表示させるので、オブジェクトに対し
て正確な距離感でステレオ視を行うことができる。

【００３０】実施形態２．上述の実施の形態において
は、ビデオカメラ２００による撮影画像に基づいてパノ
ラマ画像を生成する方法を示したが、本発明はこれに限
定されるものではなく、例えば赤外線等の可視光とは異
なる波長を利用して得られた画像、温度分布等を測定す
ることによって得られた画像等における二次元分布の格
子上に値が存在し、行又は列方向に連続的に変化する二
次元の格子点情報が得られるような画像であれば適用可
能である。

【００３１】実施形態３．また、上述の実施の形態にお
いては、ｎ番目に切り出したスリット画像をそのままｎ
−１番目まで結合された画像に結合するようにしたが、
切り出された画像幅よりもオプティカルフローが小さな
値を持つ画素の行に対して伸長を施して、画素の割り当
てを行って画素の連続性を保つようにしてもよい。

【００３２】

【発明の効果】以上のように本発明によれば、連続する
２つの画像に基づいて、基準となる画像を２等分する中
心線から等距離にある２本の基準線上の各画素における
オプティカルフローの大きさを算出し、算出した各画素
のオプティカルフローの大きさに基づいて、右目用及び
左目用のパノラマ画像を生成するためのスリット画像の
幅をそれぞれ決定して、スリット画像の切り出し及び結
合を行って右目用及び左目用のパノラマ画像を生成し、
表示するようにしたので、撮影画像における回転角の角
速度を一定に保たなくても、画像間の画素の移動距離に
応じたスリット画像を切り出して結合することができ、
また、静止画像を単純につなぎ合わせる画像作成のよう
に、レンズの焦点距離等の情報を使わなくてもよいの
で、精度の高い機器や厳密な操作を必要とせず、撮影さ
れた連続画像から自動的にパノラマ画像を生成すること
が可能である。

【００３３】また、本発明によれば、パノラマ画像内の
オブジェクトに対して奥行き視差角のデータを付加し、
オブジェクトの距離に対応した奥行き視差角でパノラマ
画像を表示させるので、オブジェクトに対して正確な距
離感でパノラマ画像をステレオ視することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係るパノラマ画像
生成方法を実現するための処理を表すフローチャートで
ある。

【図２】本発明の第１の実施の形態に係るパノラマ画像
生成方法を実現するためのシステムの構成例を示すブロ
ック図である。

【図３】ビデオカメラの回転角と位置との関係を表す図
である。

【図４】画面とスリットの位置との関係を表す図であ
る。

【図５】ブロックマッチングによるオプティカルフロー
の算出例を表す図である。

【図６】オプティカルフローの検出結果とスリット画像
の説明図である。

【図７】スリット画像の結合を行う図である。

【図８】奥行き視差角の説明図である。

【図９】奥行き視差角に基づいたパノラマ画像回転処理
を表す図である。

【図１０】Ｓ１０９におけるパノラマ画像表示処理を表
すフローチャートである。

【符号の説明】

２００ ビデオカメラ ２０１ 三脚 ２０２ ビデオ入力装置 ２０３ コンピュータ ２０４ ＣＰＵ ２０５ メモリ ２０６ キーボード ２０７ マウス ２０８ ディスプレイ ２０９ プリンタ ２１０ 二次記憶装置 ２１１ 液晶シャッターメガネ ２１２ 赤外線発信器

Claims (5)

【特許請求の範囲】
1. 【請求項１】 連続する撮影画像からスリット状に切り
   出したスリット画像を結合し、ステレオ視を行う際の左
   目視用及び右目視用のパノラマ画像を生成して、両眼視
   差を利用して前記パノラマ画像の立体表示を行うパノラ
   マステレオ画像生成表示方法において、パノラマステレ
   オ画像生成方法は、 連続する２つの前記撮影画像を比較し、前記連続する２
   つの撮影画像のうち、基準となる画像を２等分する中心
   線から等距離にある２本の基準線上の各画素におけるオ
   プティカルフローの大きさを算出する工程と、 算出した前記各画素のオプティカルフローの大きさに基
   づいて、前記右目用及び左目用のパノラマ画像を生成す
   るための前記スリット画像の幅をそれぞれ決定する工程
   と、 前記スリット画像の幅及び前記基準線に基づいて、前記
   基準となる画像から前記右目用及び左目用のパノラマ画
   像を生成するためのスリット画像をそれぞれ切り出す工
   程と、 前記右目用及び左目用のパノラマ画像を生成するための
   スリット画像をそれぞれ結合し、前記右目用及び左目用
   のパノラマ画像をそれぞれ生成する工程とを有すること
   を特徴とするパノラマステレオ画像生成表示方法。
2. 【請求項２】 生成した前記パノラマ画像内に撮影され
   た目的物に対し、視点となる撮影点から目的物までの距
   離に基づいた奥行き視差角のデータを付加する工程をさ
   らに有することを特徴とする請求項１記載のパノラマス
   テレオ画像生成表示方法。
3. 【請求項３】 生成した前記パノラマ画像を表示する際
   に、前記視点を回転軸として前記奥行き視差角のデータ
   に基づいて、前記パノラマ画像を回転させることを特徴
   とする請求項２記載のパノラマステレオ画像生成表示方
   法。
4. 【請求項４】 連続する２つの前記撮影画像を比較さ
   せ、 前記連続する２つの撮影画像のうち、基準となる画像を
   ２等分する中心線から等距離にある２本の基準線上の各
   画素におけるオプティカルフローの大きさを算出させ、 算出した前記各画素のオプティカルフローの大きさに基
   づいて、前記右目用及び左目用のパノラマ画像を生成す
   るための前記スリット画像の幅をそれぞれ決定させ、 前記スリット画像の幅及び前記基準線に基づいて、前記
   基準となる画像から前記右目用及び左目用のパノラマ画
   像を生成するためのスリット画像をそれぞれ切り出さ
   せ、 前記右目用及び左目用のパノラマ画像を生成するための
   スリット画像をそれぞれ結合させ、 前記右目用及び左目用のパノラマ画像をそれぞれ生成さ
   せ、 生成した前記パノラマ画像内に撮影された目的物に対
   し、視点から目的物までの距離に基づいた奥行き視差角
   のデータを付加させ、 前記パノラマ画像を表示させることをコンピュータに行
   わせるパノラマステレオ画像生成表示プログラムを記録
   した記録媒体。
5. 【請求項５】 前記パノラマ画像を表示させる際に、奥
   行き視差角のデータに基づいて、前記パノラマ画像を、
   視点を回転軸として回転させるプログラムを有すること
   を特徴とする請求項４記載のパノラマステレオ画像生成
   表示プログラムを記録した記録媒体。