JPH04275783A - 画像情報処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像情報処理装置に関
するものである。

【０００２】

【発明の概要】この発明は、パノラマ画像のような画像
を蓄積手段に蓄積し、これに対し、所定のアルゴリズム
に基づいた処理を施すことによって、例えば実写と同等
なパースペクティブのかかった画像を得ることができ、
さらに、水平方向３６０度のパンニングを可能にするも
のである。

【０００３】

【従来の技術】従来の技術としては、原画像として広画
角な平面撮像系で取り込んだ画像を用いた、図７に示す
装置がある。図７において、原画像はフレームメモリ１
に蓄積され、そこから、パン角θに相当するｘ，チルト
角φに相当するｙ，ズーム倍率ｚに相当するｍによって
形作られるエリア２の部分を切り出して、パースペクテ
ィブ変換部３へ入力する。パースペクティブ変換部３で
は、例えば図８に示すように、（ａ）の原画像に対して
、前記ｘ，ｙ，ｚの量に応じた（ｂ），（ｃ），（ｄ）
，（ｅ）に示すような幾何学変換を行うことによって、
目的画像を得る。（ｂ）はｘ＜０，（ｃ）はｘ＞０，（
ｄ）はｙ＜０，（ｅ）はｙ＞０におけるパースペクティ
ブ変換部３の出力画像を示す。

【０００４】

【発明が解決しようとする課題】上述した従来の技術に
おいては、実写と同等なパースペクティブがかかってい
ないので、違和感を招くという問題点があった。例えば
、図６に示すように、原画像として（ａ）の格子模様を
描いた正方形を考えると、パースペクティブ変換後の画
像として、（ｂ）のように４隅の４点は一致するが、正
方形内部の拡大縮小率が正しくない画像が得られる。 また、原画像として、平面撮像系で取り込んだ画像を使
っているので、あらかじめ取り込んだ画角以上にパン，
チルトを行おうとすると、画像がなくなってしまう、と
いう問題点があった。

【０００５】本発明の目的は、以上のような問題を解消
した画像情報処理装置を提供することにある。

【０００６】

【課題を解決するための手段】上記目的を達成するため
本発明は、パノラマ画像情報を蓄積する蓄積手段と、該
蓄積手段内のパノラマ画像情報を円柱周面に投影したと
きに当該円柱周面上のパノラマ画像から、パン，チルト
およびズームに各々対応する各画像平面に写像してパー
スペクティブのかかった画像を構成するアルゴリズムに
基づいて、前記蓄積手段内のパノラマ画像情報をパース
ペクティブ変換する手段とを具えたことを特徴とする。

【０００７】

【作用】本発明によれば、例えば実際のカメラで撮った
画像と同等のパースペクティブのかかった画像が得られ
、また、水平方向３６０度のパンニングが行える。

【０００８】

【実施例】まずはじめに、原画像となるパノラマ画像の
取り込み方法の一例について、図１を参照して説明する
。角度検出器４を取り付けたパン軸５に、縦のラインセ
ンサカメラ６が取り付けてあり、これが３６０度回転で
きるようになっている。９はラインセンサカメラ６の被
写体である。ラインセンサカメラ６はレンズ６Ａおよび
その結像面に設けたラインセンサ６Ｂを有し、ラインセ
ンサ６Ｂからの出力は、Ａ／Ｄ変換部７でＡ／Ｄ変換さ
れ、フレームメモリ８の縦方向に１ライン分書き込まれ
るようになっている。この時、フレームメモリ８への書
き込み位置を、角度検出器４からのパン軸５の回転角を
示す検出信号に基づいて制御し、パン角に対応する箇所
に書き込みが行われるようにする。この装置により、例
えばパン軸５を３６０度回転すると、水平方向３６０度
分の画像がフレームメモリ８上に得られる。このような
広範囲にわたってとり込んだ画像をパノラマ画像と呼び
、本発明における原画像とする。また、このパノラマ画
像は、コンピュータグラフィックスを用いて、直接生成
し、フレームメモリ８上に書き込むことも可能である。

【０００９】次に、本発明における、パノラマ画像から
目的画像への幾何変換アルゴリズムについて説明する。 図２の（ａ）に示すように、パノラマ画像は、鉛直方向
の軸１０のまわりに半径１の円柱面１１を考え、軸１０
上の点Ｏを中心に、円柱の外部の風景（例：被写体９）
を円柱の周面（以下、円柱面という）１１に投影するこ
とによって、円柱面１１上にできる画像と考えることが
できる。いま、図２の（ｂ）に示すように、軸１０のま
わりに角度θだけパンニングされた撮像平面１２を考え
る。ここで、円柱面１１のある点Ｐと点Ｏを結ぶ直線と
平面１２が交わる点を点Ｑとすると、点Ｑの画素値を点
Ｐの画素値とすることによって、平面１２上に、角度θ
でパンニングした画像が得られる。次に、図２の（ｂ）
において円柱面１１と平面１２の接線が、点Ｏを通る水
平面と交わる点をＲとし、点Ｏを含む水平面上のＯＲに
直交する軸１３を考える。図２の（ｃ）において、軸１
３の回りに半径１の円柱面１４を考え、平面１２上のあ
る点Ｓと点Ｏを結ぶ直線と円柱面１４が交わる点を点Ｔ
とすると、点Ｔの画素値を点Ｓの画素値とすることによ
って、円柱面１４上に、縦方向のパノラマ画像が得られ
る。次に、図２の（ｄ）に示すように、点Ｏを通る鉛直
面と円柱面１４が交わる線上において、角度φに相当す
る点Ｕと点Ｏとを結ぶ直線に直交し、点Ｏからの距離が
ｚである、平面１５を考えると、これが、軸１３のまわ
りに、角度φだけチルトされた、ズーム倍率ｚにおける
撮像面ということになる。したがって、円柱面１４上の
ある点Ｖと点Ｏを結ぶ直線と平面１５が交わる点を点Ｗ
とすると、点Ｗの画素値を点Ｖの画素値とすることによ
って、平面１５上に、パン角θ，チルト角φ，ズーム倍
率ｚの時の画像が得られる。図６の（ｃ）はその一例を
示し、実際のカメラにおけるパースペクティブと同等な
画像が得られる。

【００１０】以上のアルゴリズムを定式化する。図３の
（ａ）に示すように、原画像となるパノラマ画像にｐ−
ｑ座標を設定し、これに対し、図３の（ｂ）に示すよう
にパン角θ，チルト角φ，ズーム倍率ｚに相当するカメ
ラ操作を行ったときに得られる出力画像にｘ−ｙ座標を
設定すると、パノラマ画像と出力画像の間の座標変換式
は次の数１，数２式のようになる。

【００１１】

【数１】

【００１２】

【数２】

【００１３】数１，数２式で与えられる幾何学変換を実
現するハードウェアとして、２つの実施例を示す。はじ
めに図４の実施例について説明する。原画となるパノラ
マ画像は、フレームメモリ８に蓄積されている。所望の
パン角θ，チルト角φ，ズーム倍率ｚはアドレス計算部
１６に入力され、ここにおいて、パノラマ画像から取り
出すべき画素のアドレスが数１，数２式にしたがって計
算され、その結果がアドレス制御部１７に入力され、フ
レームメモリ８の読みだしアドレスを制御する。読みだ
しアドレスにしたがってフレームメモリ８から出力され
たディジタルデータは、Ｄ／Ａ変換部１８でＤ／Ａ変換
され映像信号として出力される。

【００１４】次に図５の実施例について説明する。これ
は、数１，数２式の形に注目して、パンによる水平切り
出し処理と、チルトに依存する幾何学変換処理と、ズー
ム倍率に依存する拡大縮小処理とを独立させたものであ
る。数１，数２式を変形することによってパンによる水
平切り出し、チルトに依存する幾何学変換およびズーム
倍率に依存する拡大縮小の各々の処理は次の数３，数４
，数５式のようになる。ただし、パノラマ画像のｐ−ｑ
座標に対し、パンによる処理を行った画像の座標をｕ−
ｖ座標とし、ｕ−ｖ座標に対し、チルトによる処理を行
った画像の座標をｓ−ｔ座標とし、これにズームによる
処理を行った、最終的な出力画像の座標をｘ−ｙ座標と
する。

【００１５】

【数３】

【００１６】

【数４】

【００１７】

【数５】

【００１８】原画となるパノラマ画像は、フレームメモ
リ８に蓄積されている。所望のパン角θは水平切り出し
アドレス計算部１９に入力され、ここで数３式によって
フレームメモリ８からの読みだしアドレスを計算し、そ
の結果がアドレス制御部２０に入力され、この入力に基
づいてアドレス制御部２０がフレームメモリ８の読みだ
しアドレスを制御する。読みだしアドレスにしたがって
フレームメモリ８から出力されたデータは、幾何学変換
部２１に入力される。一方、所望のチルト角φは幾何学
変換計算部２２に入力され、ここで数４式によって所望
のチルト角φに基づく幾何学変換式が計算され、この結
果にしたがって幾何学変換部２１が、入力データに対し
てチルトに相当する処理を行い、その処理後のデータが
拡大縮小部２３に入力される。一方、所望のズーム倍率
ｚは拡大縮小計算部２４に入力され、ここで数５式によ
って所望のズーム倍率に基づく縮小変換式が計算され、
この結果にしたがって拡大縮小部２３が、入力データに
対してズームに相当する処理を行い、その処理後のデー
タがＤ／Ａ変換部２５でＤ／Ａ変換され映像信号として
出力される。

【００１９】

【発明の効果】本発明によれば、出力画像におけるパー
スペクティブの正しい再現を可能にし、水平方向３６０
度のパンニングを可能にする。

【図面の簡単な説明】

【図１】本発明の各実施例におけるパノラマ画像の取り
込み装置の一例を示す図である。

【図２】パノラマ画像から目的画像への変換アルゴリズ
ムを説明する図であって、（ａ）はパノラマ画像を説明
する図、（ｂ）はパン角θだけ回転した平面撮像面にお
ける画像の説明図、（ｃ）は縦方向のパノラマ画像の説
明図、（ｄ）はチルト角φだけ回転し、ズーム倍率ｚの
ズームを行って得られる画像の説明図である。

【図３】パノラマ画像および出力画像の座標を説明する
図である。

【図４】本発明の第１の実施例のブロック図である。

【図５】本発明の第２の実施例のブロック図である。

【図６】パースペクティブ変換における従来例と本発明
との違いを説明するための図である。

【図７】従来の技術の概略構成を示すブロック図である
。

【図８】従来の技術におけるパースペクティブ処理の概
念を示す図である。

【符号の説明】

８　　フレームメモリ １６　　アドレス計算部 １７　　アドレス制御部 １８　　Ｄ／Ａ変換部

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　パノラマ画像情報を蓄積する蓄積手段
   と、該蓄積手段内のパノラマ画像情報を円柱周面に投影
   したときに当該円柱周面上のパノラマ画像から、パン，
   チルトおよびズームに各々対応する各画像平面に写像し
   てパースペクティブのかかった画像を構成するアルゴリ
   ズムに基づいて、前記蓄積手段内のパノラマ画像情報を
   パースペクティブ変換する手段とを具えたことを特徴と
   する画像情報処理装置。