JPH07225855A - 斜視的変換により源画像から目標画像を構成する画像処理方法および装置 - Google Patents
斜視的変換により源画像から目標画像を構成する画像処理方法および装置Info
- Publication number
- JPH07225855A JPH07225855A JP6322453A JP32245394A JPH07225855A JP H07225855 A JPH07225855 A JP H07225855A JP 6322453 A JP6322453 A JP 6322453A JP 32245394 A JP32245394 A JP 32245394A JP H07225855 A JPH07225855 A JP H07225855A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target image
- source
- target
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
(57)【要約】 (修正有)
【目的】 複数台の固定カメラの撮影出力画像から単一
の車載カメラの撮像出力画像と同等のパノラマシーンを
構成する。 【構成】 源画像(I)と目標画像(I* )とに共通の
視点(P)および直交基準枠の決定、目標画像の光学軸
(PZ* )に整合した幾何中心(ΩH * )、零傾斜角、
目標画像(I* )と同じ回転角(θ* )および同じフレ
ーミング(2Vx * ,2Vy * )を有して、目標画像
(I* )におけるアドレス(X* ,Y* )をもった各画
素(M* )が射影画像(H* )における同じアドレス
(X* ,Y* )をもった射影(MH * )下の複写を有す
るようにした目標画像(I* )の射影と呼ぶ画像
(H* )の決定、並びに、目標画像におけるアドレス
(X* ,Y* )をもった各画像(M* )毎の、基準枠に
おいて射影(H* )の対応する画素(MH * )の原点
(P)を結び付ける光線を規定する球面座標(α,β)
の関数G-1による計算の各過程を設ける。
の車載カメラの撮像出力画像と同等のパノラマシーンを
構成する。 【構成】 源画像(I)と目標画像(I* )とに共通の
視点(P)および直交基準枠の決定、目標画像の光学軸
(PZ* )に整合した幾何中心(ΩH * )、零傾斜角、
目標画像(I* )と同じ回転角(θ* )および同じフレ
ーミング(2Vx * ,2Vy * )を有して、目標画像
(I* )におけるアドレス(X* ,Y* )をもった各画
素(M* )が射影画像(H* )における同じアドレス
(X* ,Y* )をもった射影(MH * )下の複写を有す
るようにした目標画像(I* )の射影と呼ぶ画像
(H* )の決定、並びに、目標画像におけるアドレス
(X* ,Y* )をもった各画像(M* )毎の、基準枠に
おいて射影(H* )の対応する画素(MH * )の原点
(P)を結び付ける光線を規定する球面座標(α,β)
の関数G-1による計算の各過程を設ける。
Description
【0001】本発明は、源画像と呼ぶ画像に適用する幾
何学的斜視情報により、傾斜角、回転角およびなるべく
源画像に関連した尺度率の修正によって再構成した源画
像を表わす目標画像と呼ぶ算出画像を構成するためにデ
ィジタル画像を処理する方法に関するものである。
何学的斜視情報により、傾斜角、回転角およびなるべく
源画像に関連した尺度率の修正によって再構成した源画
像を表わす目標画像と呼ぶ算出画像を構成するためにデ
ィジタル画像を処理する方法に関するものである。
【0002】本発明は、その方法を行なうディジタル画
像を処理する装置に関するものでもある。
像を処理する装置に関するものでもある。
【0003】本発明は、ある個数の固定カメラを、個々
の視野が混じり合って、パノラマ状光景を観視するため
の広角視野を形成するように配置して備えた監視システ
ムの構成に適用し得るものである。
の視野が混じり合って、パノラマ状光景を観視するため
の広角視野を形成するように配置して備えた監視システ
ムの構成に適用し得るものである。
【0004】
【従来の技術】幾何学的斜視変換を実行するための装置
に集約し得る画像処理は、刊行物、アーネスト、エル、
ホール著「コンピュータ画像処理および認識」、アカデ
ミック・プレス1979、ハーコート ブレイス ジョ
ナノビッチ出版社、ニューヨーク、ロンドン、トロン
ト、シドニー、サンフランシスコ、第3章、76頁以
降、特に76頁乃至88頁から既知である。
に集約し得る画像処理は、刊行物、アーネスト、エル、
ホール著「コンピュータ画像処理および認識」、アカデ
ミック・プレス1979、ハーコート ブレイス ジョ
ナノビッチ出版社、ニューヨーク、ロンドン、トロン
ト、シドニー、サンフランシスコ、第3章、76頁以
降、特に76頁乃至88頁から既知である。
【0005】この刊行物により、斜視幾何学に属する情
報、すなわち、画像の各点からそれらの点を通過する光
線に到るか、その光線から画像の各点に到るか、の想定
の如何に応じて斜視変換もしくは逆斜視変換に属する情
報が判る。画像の各点からそれらの点に対応する光線に
到る処理の方を「斜視変換」と称する。
報、すなわち、画像の各点からそれらの点を通過する光
線に到るか、その光線から画像の各点に到るか、の想定
の如何に応じて斜視変換もしくは逆斜視変換に属する情
報が判る。画像の各点からそれらの点に対応する光線に
到る処理の方を「斜視変換」と称する。
【0006】この刊行物は、まず、各画素点から光線に
到る問題を設定し、つぎに、4×4マトリックスを用い
て、その斜視変換の問題を解決するための信号処理を説
明している。この問題は、かかるマトリックスに基づく
完全に解析的計算によって解明してある。
到る問題を設定し、つぎに、4×4マトリックスを用い
て、その斜視変換の問題を解決するための信号処理を説
明している。この問題は、かかるマトリックスに基づく
完全に解析的計算によって解明してある。
【0007】4×4マトリックスを用いた問題の設定
は、つぎの考察に基づいている。理論的に、斜視変換
は、3種類の座標のみを用いて3次元空間に提起した幾
何学的問題であり、この引用刊行物では、斜視変換は線
形変換ではなく、その結果、試薬容器の取扱いが困難な
ことが判る。そこで、この刊行物は、しかしながら、式
の解法が式を線形化することによって簡単化することが
でき、それが第4の変数を追加することによって可能と
なり、したがって、その線形化した式は解析的に解き得
ることを示している。
は、つぎの考察に基づいている。理論的に、斜視変換
は、3種類の座標のみを用いて3次元空間に提起した幾
何学的問題であり、この引用刊行物では、斜視変換は線
形変換ではなく、その結果、試薬容器の取扱いが困難な
ことが判る。そこで、この刊行物は、しかしながら、式
の解法が式を線形化することによって簡単化することが
でき、それが第4の変数を追加することによって可能と
なり、したがって、その線形化した式は解析的に解き得
ることを示している。
【0008】しからざるときには、引用刊行物が示す処
理方法は極めて複雑な設定による問題解決となり、その
例が引用刊行物の全編に示されている。
理方法は極めて複雑な設定による問題解決となり、その
例が引用刊行物の全編に示されている。
【0009】
【発明が解決しようとする課題】さて、本発明によれ
ば、実時間での斜視変換の実施、すなわち、毎秒16乃
至25画像の割合いの画像処理を含む第1の束縛が課せ
られる。
ば、実時間での斜視変換の実施、すなわち、毎秒16乃
至25画像の割合いの画像処理を含む第1の束縛が課せ
られる。
【0010】引用刊行物の教示によって設定された解決
は、その複雑さの故に、実時間での実施が極めて困難と
認められる。
は、その複雑さの故に、実時間での実施が極めて困難と
認められる。
【0011】しかしながら、「変換チップ」と呼ばれ
る、幾何学的変換が実施可能の電子装置が市販されてお
り、斜視変換の問題解決に用いることができる。
る、幾何学的変換が実施可能の電子装置が市販されてお
り、斜視変換の問題解決に用いることができる。
【0012】実際に、TMC23002という市販製品
がTRW社から出されており、そのアドレスはPOボッ
クス2472、LA、JOLLA、CA92038(U
S)である。この製品は、目下の斜視変換に必要な幾何
学的変換に関する極めて複雑な計算を実時間で行なうこ
とが可能である。
がTRW社から出されており、そのアドレスはPOボッ
クス2472、LA、JOLLA、CA92038(U
S)である。この製品は、目下の斜視変換に必要な幾何
学的変換に関する極めて複雑な計算を実時間で行なうこ
とが可能である。
【0013】しかしながら、この変換チップは、特に、
広く用いられていない、という事実の故に高価であり、
早急に価格が下がる見込みが少なく、さらに、本発明が
提起したような信号処理装置で用いるには、解決困難な
束縛が数多く含まれるものと見なければならない。
広く用いられていない、という事実の故に高価であり、
早急に価格が下がる見込みが少なく、さらに、本発明が
提起したような信号処理装置で用いるには、解決困難な
束縛が数多く含まれるものと見なければならない。
【0014】しからずして、かかる束縛が打破される
と、目標画像の再構成は、冒頭に述べたように、「正確
な遠近法」による再構成と呼ばれる結果となる。変換チ
ップを用いることにより、目標画像内の対象物は、幾何
学的遠近法で現われ、その目標画像を直接に形成した場
合、すなわち、目標画像と呼ぶその画像のために選定し
た幾何学的斜視図を得るパラメータを用いて配置した実
際のカメラによった場合に得られるものに極めて近くな
る。
と、目標画像の再構成は、冒頭に述べたように、「正確
な遠近法」による再構成と呼ばれる結果となる。変換チ
ップを用いることにより、目標画像内の対象物は、幾何
学的遠近法で現われ、その目標画像を直接に形成した場
合、すなわち、目標画像と呼ぶその画像のために選定し
た幾何学的斜視図を得るパラメータを用いて配置した実
際のカメラによった場合に得られるものに極めて近くな
る。
【0015】
【課題を解決するための手段】したがって、本発明の目
的は、冒頭に述べたような目標画像再構成の機能を有す
るとともに、多大の経費と打破が困難な技術的問題を伴
って従来の市販製品により行なわれたような複雑な幾何
学的変換の使用の必要を除き得る装置を提供することに
ある。
的は、冒頭に述べたような目標画像再構成の機能を有す
るとともに、多大の経費と打破が困難な技術的問題を伴
って従来の市販製品により行なわれたような複雑な幾何
学的変換の使用の必要を除き得る装置を提供することに
ある。
【0016】本発明によれば、この目的は、冒頭に述べ
たとおりの、源画像と目標画像とに共通の視点およびそ
の視点を原点とする真正基準枠の決定、並びに、前記基
準枠における目標画像の傾斜角、回転角および尺度率の
測定、零傾斜角、目標画像のと等しい回転角、目標画像
の光学軸に揃えた幾何中心および目標画像と同じ枠を具
えて目標画像のアドレスを有する各画像が射影画像の同
じアドレスを有する射影の複写を有するようにした目標
画像の射影と呼ぶ画像の規定、並びに、目標画像のアド
レスを有する開始画素と呼ぶ画素毎に、前記基準枠にお
いて原点を射影の複写画素に関連させる光線を規定する
一対のいわゆる球面座標(α,β)の三角法関数G-1に
よる計算、の各過程を備えたことを特徴とする画像処理
方法によって達成される。
たとおりの、源画像と目標画像とに共通の視点およびそ
の視点を原点とする真正基準枠の決定、並びに、前記基
準枠における目標画像の傾斜角、回転角および尺度率の
測定、零傾斜角、目標画像のと等しい回転角、目標画像
の光学軸に揃えた幾何中心および目標画像と同じ枠を具
えて目標画像のアドレスを有する各画像が射影画像の同
じアドレスを有する射影の複写を有するようにした目標
画像の射影と呼ぶ画像の規定、並びに、目標画像のアド
レスを有する開始画素と呼ぶ画素毎に、前記基準枠にお
いて原点を射影の複写画素に関連させる光線を規定する
一対のいわゆる球面座標(α,β)の三角法関数G-1に
よる計算、の各過程を備えたことを特徴とする画像処理
方法によって達成される。
【0017】本発明による画像処理方法の利点は、メモ
リカードのみを使用するだけで行ない得ることであり、
そのメモリカードは、今日では安価であって、その価格
は、品質および密度の絶えざる改良とともに、下落し続
けている。
リカードのみを使用するだけで行ない得ることであり、
そのメモリカードは、今日では安価であって、その価格
は、品質および密度の絶えざる改良とともに、下落し続
けている。
【0018】したがって、本発明が提案した「斜視変
換」を行なうのに必要な機能は、ルックアップテーブル
の役をするメモリカードに極めて容易に記録もしくは図
表化することができ、しからざれば、実際のカメラで直
接に撮った画像とは幾何学的差違が少ない再構成目標画
像が得られる。
換」を行なうのに必要な機能は、ルックアップテーブル
の役をするメモリカードに極めて容易に記録もしくは図
表化することができ、しからざれば、実際のカメラで直
接に撮った画像とは幾何学的差違が少ない再構成目標画
像が得られる。
【0019】しかしながら、提示された画像が得られた
手段を知らない観視者に行なわれたテスト中に、本発明
により得たテスト中の目標画像と同じ配置および倍率に
した実際のカメラで得た画像と同等の良さに、被テスト
観視者には、本発明により再構成した目標画像が見えた
ことは明らかであった。観視者は、本発明による目標画
像の計算時に導入された極めて小さい幾何学的差異には
気付かず、反対に、その画像は良質であると認めた。予
知していた観視者すら、実際のものと再構成したものと
の2種類の画像間の差違を検出するのが幾分困難であっ
た。
手段を知らない観視者に行なわれたテスト中に、本発明
により得たテスト中の目標画像と同じ配置および倍率に
した実際のカメラで得た画像と同等の良さに、被テスト
観視者には、本発明により再構成した目標画像が見えた
ことは明らかであった。観視者は、本発明による目標画
像の計算時に導入された極めて小さい幾何学的差異には
気付かず、反対に、その画像は良質であると認めた。予
知していた観視者すら、実際のものと再構成したものと
の2種類の画像間の差違を検出するのが幾分困難であっ
た。
【0020】本発明による方法は、計算が極めて容易な
簡単なモジュールを少し用いて行なわれるのであるか
ら、上述した利点は極めて大きい。したがって、本発明
方法を実施するためにかかるモジュールで構成した装置
は、市販の「変換チップ」を用いた従来装置に比べて例
外的に低価格であり、魅力的な画質の画像を提供する。
簡単なモジュールを少し用いて行なわれるのであるか
ら、上述した利点は極めて大きい。したがって、本発明
方法を実施するためにかかるモジュールで構成した装置
は、市販の「変換チップ」を用いた従来装置に比べて例
外的に低価格であり、魅力的な画質の画像を提供する。
【実施例】以下に図面を参照して実施例につき、本発明
を詳細に説明する。 A:本発明が解決する課題の定義 A1:課題の幾何学的データの説明
を詳細に説明する。 A:本発明が解決する課題の定義 A1:課題の幾何学的データの説明
【0021】図1(A),(B)および図10(B)を
参照するに、(PXa ,PYa ,PZa )は、「絶対
枠」と称する、以下の説明を通じて3次元空間の基準と
なる原点Pを備えた固定の3次元直交枠を表わす。
参照するに、(PXa ,PYa ,PZa )は、「絶対
枠」と称する、以下の説明を通じて3次元空間の基準と
なる原点Pを備えた固定の3次元直交枠を表わす。
【0022】平面(PXa ,PZa )を、以下では、
「水平面」と呼ぶ。したがって、軸PYa はこの水平面
に垂直であり、以下では、この軸を「垂直軸」と呼ぶ。
この軸PYa を含む平面もすべて「垂直面」と呼ぶ。
「水平面」と呼ぶ。したがって、軸PYa はこの水平面
に垂直であり、以下では、この軸を「垂直軸」と呼ぶ。
この軸PYa を含む平面もすべて「垂直面」と呼ぶ。
【0023】図1(A)および図2(A)を参照する
に、1は、「源画像」と称するディジタル平面開始画像
を表わし、光学的に形成されて、点Oで源画像Iの平面
と交差する光学軸PZを有している。この点Oは、源画
像Iの幾何学的中心であり、光学軸PZは点Oで源画像
Iに直交する。
に、1は、「源画像」と称するディジタル平面開始画像
を表わし、光学的に形成されて、点Oで源画像Iの平面
と交差する光学軸PZを有している。この点Oは、源画
像Iの幾何学的中心であり、光学軸PZは点Oで源画像
Iに直交する。
【0024】図1(A)および図2(A)を参照する
に、「視点」とも呼ぶ光学中心Pは、空間における対象
輝点から生じてこの視点Pから派出する各光線Pμが、
ずれることなく、ディジタル源画像を生起させる目を通
過するようにした点として定義する。したがって、ディ
ジタル源画像Iにおける点Mにその画像を有する空間内
の対象点μを考えて、P点をそのディジタル画像に対応
した視点とすると、視点Pの特性からして、各点μ,
M,Pは一線に並び、光線Pμは一直線となる。
に、「視点」とも呼ぶ光学中心Pは、空間における対象
輝点から生じてこの視点Pから派出する各光線Pμが、
ずれることなく、ディジタル源画像を生起させる目を通
過するようにした点として定義する。したがって、ディ
ジタル源画像Iにおける点Mにその画像を有する空間内
の対象点μを考えて、P点をそのディジタル画像に対応
した視点とすると、視点Pの特性からして、各点μ,
M,Pは一線に並び、光線Pμは一直線となる。
【0025】つぎの説明では、ディジタル源画像Iが方
形もしくは長方形である簡単な場合を取扱うが、他のデ
ィジタル画像についても容易に本発明を適用し得るもの
とする。
形もしくは長方形である簡単な場合を取扱うが、他のデ
ィジタル画像についても容易に本発明を適用し得るもの
とする。
【0026】ディジタル画像は、輝度レベルQをそれぞ
れ割当てた画素からなる画像であると理解する。この輝
度レベルは、例えば1から256まで等級別にした輝度
レベルの尺度上に求めることができる。最大最高の輝点
に最大輝度レベルを割当て、最小輝度の暗点にその尺度
上の最小輝度レベルを割当てる。
れ割当てた画素からなる画像であると理解する。この輝
度レベルは、例えば1から256まで等級別にした輝度
レベルの尺度上に求めることができる。最大最高の輝点
に最大輝度レベルを割当て、最小輝度の暗点にその尺度
上の最小輝度レベルを割当てる。
【0027】図2(A)および図3(A),(B)を参
照するに、源画像Iは、この特殊画像Iに結び付いた3
次元直交枠(PX,PY,PZ)を備えている。この直
交枠(PX、PY,PZ)は、源画像Iの視点Pに選定
され、源画像Iの光学軸PZは直交枠の3軸中の一つで
ある。この個々の枠は「源枠」と表示してある。
照するに、源画像Iは、この特殊画像Iに結び付いた3
次元直交枠(PX,PY,PZ)を備えている。この直
交枠(PX、PY,PZ)は、源画像Iの視点Pに選定
され、源画像Iの光学軸PZは直交枠の3軸中の一つで
ある。この個々の枠は「源枠」と表示してある。
【0028】図3(A)において、個々の源枠からなる
平面(PZ,PX)は図の紙面に合致しており、軸PZ
に垂直の源画像Iは切片で表わしてある。軸PYは図の
紙面に垂直であり、大きさd=POは「源画像の尺度率
を表わす。」
平面(PZ,PX)は図の紙面に合致しており、軸PZ
に垂直の源画像Iは切片で表わしてある。軸PYは図の
紙面に垂直であり、大きさd=POは「源画像の尺度率
を表わす。」
【0029】図3(B)において、個々の源枠からなる
平面(PX,PY)は図の紙面に平行であり、ここで
は、方形の源画像Iは、紙面内に表わしてある。軸PZ
は点Oでその平面に垂直である。個々の源枠の軸PX,
PYは、源画像平面内に射影PX´,OY´を有してお
り、軸PX,PYおよび射影OX´,OY´はディジタ
ル化した源画像の画素群の行および列にそれぞれ平行に
選定し、幾何学的中心Oは画素と一致するように選定す
る。
平面(PX,PY)は図の紙面に平行であり、ここで
は、方形の源画像Iは、紙面内に表わしてある。軸PZ
は点Oでその平面に垂直である。個々の源枠の軸PX,
PYは、源画像平面内に射影PX´,OY´を有してお
り、軸PX,PYおよび射影OX´,OY´はディジタ
ル化した源画像の画素群の行および列にそれぞれ平行に
選定し、幾何学的中心Oは画素と一致するように選定す
る。
【0030】図2(A)および図3(B)を参照する
に、源画像Iの各点Mは、枠OX´,OY´上の射影と
して、それぞれ点M´およびM″を有しており、したが
って、 MM´=Y および MM″=X したがって、源画像Iの各点Mは、枠(OX´,OY
´)内の座標(X,Y)および源画像(PX,PY,P
Z)内の座標(X,Y,d)を有している。
に、源画像Iの各点Mは、枠OX´,OY´上の射影と
して、それぞれ点M´およびM″を有しており、したが
って、 MM´=Y および MM″=X したがって、源画像Iの各点Mは、枠(OX´,OY
´)内の座標(X,Y)および源画像(PX,PY,P
Z)内の座標(X,Y,d)を有している。
【0031】図1(B)、並びに、図2(B)、4
(A)および4(B)を参照するに、他の画像平面を3
次元空間に決定し、「目標画像平面」と呼び、I* で表
わす。この目標画像I* は、説明を簡単にするために、
源画像Iと同じ幾何形状、すなわち、方形もしくは長方
形に選定したディジタル画像である。さらに、この目標
画像は、光学中心点すなわち視点およびその視点を通る
光学軸と組合わせてある。
(A)および4(B)を参照するに、他の画像平面を3
次元空間に決定し、「目標画像平面」と呼び、I* で表
わす。この目標画像I* は、説明を簡単にするために、
源画像Iと同じ幾何形状、すなわち、方形もしくは長方
形に選定したディジタル画像である。さらに、この目標
画像は、光学中心点すなわち視点およびその視点を通る
光学軸と組合わせてある。
【0032】図1(B)および図2(B)を参照して、
目標画像I* の視点が点Pであり、すなわち、源画像I
と目標画像I* との視点が合致しているものとして、状
況を固定する。目標画像I* の平面と点O* で交叉する
目標画像I* の光学軸をPZ * で表わす。この点O
* は、目標画像I* の幾何中心点であり、光学軸PZ*
は、点O* で目標画像I* の平面に直交している。
目標画像I* の視点が点Pであり、すなわち、源画像I
と目標画像I* との視点が合致しているものとして、状
況を固定する。目標画像I* の平面と点O* で交叉する
目標画像I* の光学軸をPZ * で表わす。この点O
* は、目標画像I* の幾何中心点であり、光学軸PZ*
は、点O* で目標画像I* の平面に直交している。
【0033】視点Pは、目標画像I* の形成に関連し
て、源画像Iと同じ特性を有しており、換言すれば、空
間における対象点μの目標画像I* における画像点M*
は、光線Pμおよび目標画像平面I* の光点に存在して
おり、さらに、点PMμ* は直線光線Pμに整列してい
る。
て、源画像Iと同じ特性を有しており、換言すれば、空
間における対象点μの目標画像I* における画像点M*
は、光線Pμおよび目標画像平面I* の光点に存在して
おり、さらに、点PMμ* は直線光線Pμに整列してい
る。
【0034】図2(B)、4(A)および4(B)を参
照するに、目標画像I* は、この特別の目標画像I* に
結び付いた個別の3次元直交枠(PX* ,PY* ,PZ
* )を備えている。個別の枠(PX* ,PY* ,P
Z* )の原点は、源画像Iと目標画像I* との共通の視
点Pに選定する。目標画像I* の光学軸PZ* はこの枠
の軸の一つであり、個別の枠は「目標枠」と呼ぶ。
照するに、目標画像I* は、この特別の目標画像I* に
結び付いた個別の3次元直交枠(PX* ,PY* ,PZ
* )を備えている。個別の枠(PX* ,PY* ,P
Z* )の原点は、源画像Iと目標画像I* との共通の視
点Pに選定する。目標画像I* の光学軸PZ* はこの枠
の軸の一つであり、個別の枠は「目標枠」と呼ぶ。
【0035】図4(A)において、目標画像の平面(P
Z* ,PX* )は図の紙面に合致している。軸PZ* に
垂直の目標画像I* は切片で表わしてある。軸PX* は
図の紙面に垂直である。大きさd* =PO* は「目標画
像の尺度率」と呼ぶ。
Z* ,PX* )は図の紙面に合致している。軸PZ* に
垂直の目標画像I* は切片で表わしてある。軸PX* は
図の紙面に垂直である。大きさd* =PO* は「目標画
像の尺度率」と呼ぶ。
【0036】図4(B)において、個別の目標枠の平面
PX* ,PY* )は図の紙面に平行であり、源画像Iと
同様に、ここでは、方形の目標画像I* は、図の紙面内
に表わしてあり、軸PZ* は、図の紙面に点O* で直交
している。目標枠の軸PX*およびPY* は、目標画像
平面内に射影O* X´* およびO* Y´* を有し、軸P
X* ,PY* およびその射影O* X´* ,O* Y´
* は、ディジタル目標画像の画素群の行および列にそれ
ぞれ平行に選定してあり、幾何中心点O* は画素に合致
するように選定する。
PX* ,PY* )は図の紙面に平行であり、源画像Iと
同様に、ここでは、方形の目標画像I* は、図の紙面内
に表わしてあり、軸PZ* は、図の紙面に点O* で直交
している。目標枠の軸PX*およびPY* は、目標画像
平面内に射影O* X´* およびO* Y´* を有し、軸P
X* ,PY* およびその射影O* X´* ,O* Y´
* は、ディジタル目標画像の画素群の行および列にそれ
ぞれ平行に選定してあり、幾何中心点O* は画素に合致
するように選定する。
【0037】図2(B)および図4(B)を参照する
に、目標画像の各画素M* は、枠(O * X´* ,O* Y
´* )内に、射影として、それぞれ点M´* およびM″
* を有する。したがって、目標画像I* の各画素M
* は、枠(O* X´* ,O* Y´*)内の座標(X* ,
Y* )および目標枠(PX* ,PY* ,PZ* )内の座
標(X* ,Y* ,d* )を有している。
に、目標画像の各画素M* は、枠(O * X´* ,O* Y
´* )内に、射影として、それぞれ点M´* およびM″
* を有する。したがって、目標画像I* の各画素M
* は、枠(O* X´* ,O* Y´*)内の座標(X* ,
Y* )および目標枠(PX* ,PY* ,PZ* )内の座
標(X* ,Y* ,d* )を有している。
【0038】図1(A)および1(B)を参照するに、
各源画像および目標画像の視点が絶対枠(PXa ,PY
a ,PZa )の原点Pと合致しているものと仮定して状
況を固定する。
各源画像および目標画像の視点が絶対枠(PXa ,PY
a ,PZa )の原点Pと合致しているものと仮定して状
況を固定する。
【0039】図1(A)を参照するに、源画像Iの各枠
を絶対枠に関連させる角度パラメータを規定することが
できる。図1(A)は、源画像平面を、その平面内に枠
(OX´,OY´)を備えて、3次元空間に斜視的に表
わしており、その幾何中心Oが絶対原点すなわち共通視
点Pから源尺度率として距離dだけ離隔した位置にあ
り、さらに、この絶対枠の3軸(PXa ,PYa ,PZ
a )を表わしている。軸PZa は、水平平面(PZa ,
PXa )内の「基準原軸」である。
を絶対枠に関連させる角度パラメータを規定することが
できる。図1(A)は、源画像平面を、その平面内に枠
(OX´,OY´)を備えて、3次元空間に斜視的に表
わしており、その幾何中心Oが絶対原点すなわち共通視
点Pから源尺度率として距離dだけ離隔した位置にあ
り、さらに、この絶対枠の3軸(PXa ,PYa ,PZ
a )を表わしている。軸PZa は、水平平面(PZa ,
PXa )内の「基準原軸」である。
【0040】前述したように、源光学軸PZは、水平平
面(PXa ,PZa )上に投影されており、その射影を
垂直軸PYa に平行に表わしてある。この処理における
幾何中心点Oの射影はOa であり、平面(PZ,P
Ta )は「垂直平面」となる。
面(PXa ,PZa )上に投影されており、その射影を
垂直軸PYa に平行に表わしてある。この処理における
幾何中心点Oの射影はOa であり、平面(PZ,P
Ta )は「垂直平面」となる。
【0041】この投影処理により、個々の源枠(PX,
PY,PZ)を絶対枠(PXa ,PYa ,PZa )に関
連させる二つの角度が規定される。その二つの角度はつ
ぎのとおりである。源光学軸PZを垂直に回転させてP
Ta で水平平面(PXa ,PZa )に到達させる角度と
しての傾斜角度 。射影PTa を水平に回転させて基準
源軸PZa に到達させる角度としての回転角θ。
PY,PZ)を絶対枠(PXa ,PYa ,PZa )に関
連させる二つの角度が規定される。その二つの角度はつ
ぎのとおりである。源光学軸PZを垂直に回転させてP
Ta で水平平面(PXa ,PZa )に到達させる角度と
しての傾斜角度 。射影PTa を水平に回転させて基準
源軸PZa に到達させる角度としての回転角θ。
【0042】垂直平面(PYa ,PTa )を表わす図5
(A)において、Iは源画像の軌跡であり、PZは光学
軸であり、Pは源画像の幾何中心であり、dは源尺度率
である。したがって、傾斜角度φは角(PZ、PTa )
で表わされる。
(A)において、Iは源画像の軌跡であり、PZは光学
軸であり、Pは源画像の幾何中心であり、dは源尺度率
である。したがって、傾斜角度φは角(PZ、PTa )
で表わされる。
【0043】水平平面(PZa ,PXa )を表わす図5
(B)において、回転角θは角(PTa ,PXa )で表
わされる。
(B)において、回転角θは角(PTa ,PXa )で表
わされる。
【0044】図1(A)において、源平面Iを目標平面
I* に置換すると、個々の目標枠を絶対枠に関連させる
傾斜角φ* および回転角θ* を上述と同様に規定するこ
とができる。
I* に置換すると、個々の目標枠を絶対枠に関連させる
傾斜角φ* および回転角θ* を上述と同様に規定するこ
とができる。
【0045】したがって、図1(B)を参照するに、目
標画像I* の個別の枠を絶対枠に関連させる角度パラメ
ータを規定することができる。図1(B)は、目標画像
平面I* を、その平面内に枠(OX´* ,OY´* )を
備えて、3次元空間に斜視的に表わしており、その幾何
中心O* は絶対原点すなわち共通視点Pから距離dすな
わち目標尺度率だけ離隔して位置し、さらに、絶対枠の
3軸(PXa ,PYa,PZa )を表わしている。
標画像I* の個別の枠を絶対枠に関連させる角度パラメ
ータを規定することができる。図1(B)は、目標画像
平面I* を、その平面内に枠(OX´* ,OY´* )を
備えて、3次元空間に斜視的に表わしており、その幾何
中心O* は絶対原点すなわち共通視点Pから距離dすな
わち目標尺度率だけ離隔して位置し、さらに、絶対枠の
3軸(PXa ,PYa,PZa )を表わしている。
【0046】目標光学軸PZ* は、PTa * で水平平面
(PXa ,PZa )に投影される。この投影は、垂直軸
PYa に平行に行なわれ、この投影処理において、幾何
中心O* の射影はOa * であり、平面(PZ,PTa )
は「垂直平面」である。
(PXa ,PZa )に投影される。この投影は、垂直軸
PYa に平行に行なわれ、この投影処理において、幾何
中心O* の射影はOa * であり、平面(PZ,PTa )
は「垂直平面」である。
【0047】この投影処理により、個々の源枠(P
X* ,PY* ,PZ* )を絶対枠(PX a ,PYa ,P
Za )に関連させる二つの角度が決まる。その二つの角
度はつぎのとおりである。目標光学軸PZ* を垂直に回
転させて水平平面(PXa ,PZa )にPTa *で到達
させる角度としての傾斜角φ* 。射影PTa * を水平に
回転させて基準原軸PZa に到達させる角度としての回
転角θ* 。
X* ,PY* ,PZ* )を絶対枠(PX a ,PYa ,P
Za )に関連させる二つの角度が決まる。その二つの角
度はつぎのとおりである。目標光学軸PZ* を垂直に回
転させて水平平面(PXa ,PZa )にPTa *で到達
させる角度としての傾斜角φ* 。射影PTa * を水平に
回転させて基準原軸PZa に到達させる角度としての回
転角θ* 。
【0048】垂直平面(PYa ,PTa )を表わす図6
(A)において、I* は目標画像の軌跡であり、PZ*
は光学軸であり、O* は目標画像の幾何中心であり、d
* は目標尺度率である。したがって、傾斜角φ* は角度
(PZ* ,PTa * )によって表わされる。
(A)において、I* は目標画像の軌跡であり、PZ*
は光学軸であり、O* は目標画像の幾何中心であり、d
* は目標尺度率である。したがって、傾斜角φ* は角度
(PZ* ,PTa * )によって表わされる。
【0049】水平平面(PZa ,PX)を表わす図6
(B)において、Ia * は、目標画像I* の真正射影で
あり、Oa * はO* の射影であり、PTa * は光学軸P
Z* の射影である。したがって、回転角θ* は角度(P
Ta * ,PZa )によって表わされる。 A2:本発明の目的の説明
(B)において、Ia * は、目標画像I* の真正射影で
あり、Oa * はO* の射影であり、PTa * は光学軸P
Z* の射影である。したがって、回転角θ* は角度(P
Ta * ,PZa )によって表わされる。 A2:本発明の目的の説明
【0050】本発明の目的は、源回転角θから目標回転
角θ* に、並びに、源傾斜角φから目標傾斜角φ* に通
ずるように角度の変換に注目するとともに、尺度率dか
ら尺度率d* に通ずるように尺度の変換に注目した幾何
学的転換を用いて源画像Iから目標画像I* を構成する
方法を提供することにある。
角θ* に、並びに、源傾斜角φから目標傾斜角φ* に通
ずるように角度の変換に注目するとともに、尺度率dか
ら尺度率d* に通ずるように尺度の変換に注目した幾何
学的転換を用いて源画像Iから目標画像I* を構成する
方法を提供することにある。
【0051】目標画像の構成は、パラメータφ* ,
θ* ,d* によって特徴づけた目標画像の各画素M* に
輝度レベルQを割当てることによって行なわれる。この
輝度レベルは、撮影すべき光景内の3次元空間の同一目
的点μの画像である源画像の点Mについて求めるべきで
ある。
θ* ,d* によって特徴づけた目標画像の各画素M* に
輝度レベルQを割当てることによって行なわれる。この
輝度レベルは、撮影すべき光景内の3次元空間の同一目
的点μの画像である源画像の点Mについて求めるべきで
ある。
【0052】目標画像I* を源画像と同じ視点Pを有す
るように選定する事実および共通視点の特性を与える
と、源画像点Mと目標画像点M* とが同じ直線光線Pμ
上に並ぶことになる。
るように選定する事実および共通視点の特性を与える
と、源画像点Mと目標画像点M* とが同じ直線光線Pμ
上に並ぶことになる。
【0053】したがって、輝度レベルQを求める目標画
像I* の点M* の座標(X* ,Y*)がその個別の枠
(PX* ,PY* ,PZ* )内で判っている、という仮
定から出発して、本発明の画像処理方法には、個別の枠
(PX,PY,PZ)における源画像Iの対応する点M
の座標(X,Y)の決定が含まれる。
像I* の点M* の座標(X* ,Y*)がその個別の枠
(PX* ,PY* ,PZ* )内で判っている、という仮
定から出発して、本発明の画像処理方法には、個別の枠
(PX,PY,PZ)における源画像Iの対応する点M
の座標(X,Y)の決定が含まれる。
【0054】したがって、源画像Iのこの点Mが判れ
ば、本発明方法には、源画像Iのこの点Mに関連して輝
度関数Q(X,Y)の決定が含まれる。
ば、本発明方法には、源画像Iのこの点Mに関連して輝
度関数Q(X,Y)の決定が含まれる。
【0055】ついで、源画像の点Mに結び付いた輝度関
数Q(X,Y)が判れば、本発明方法には、構成すべき
目標画像I* の点M* に割当てるべき輝度関数Q* (X
* ,Y* )の決定が含まれる。
数Q(X,Y)が判れば、本発明方法には、構成すべき
目標画像I* の点M* に割当てるべき輝度関数Q* (X
* ,Y* )の決定が含まれる。
【0056】目標画像の各点に対する輝度関数からなる
データが得られると、本発明方法は、目標画像の構成を
可能にする。画像処理方法全体において、源画像は、3
次元空間における絶対枠に関連した第1系列のパラメー
タにより規定され、目標画像は、絶対枠に関連した第2
系列のパラメータにより規定される。かかるパラメータ
は、個別枠を絶対枠に関連させる回転角θ,θ* および
傾斜角φ,φ* 並びに各源画像平面もしくは各目標画像
平面に関連した尺度率dおよびd* である。
データが得られると、本発明方法は、目標画像の構成を
可能にする。画像処理方法全体において、源画像は、3
次元空間における絶対枠に関連した第1系列のパラメー
タにより規定され、目標画像は、絶対枠に関連した第2
系列のパラメータにより規定される。かかるパラメータ
は、個別枠を絶対枠に関連させる回転角θ,θ* および
傾斜角φ,φ* 並びに各源画像平面もしくは各目標画像
平面に関連した尺度率dおよびd* である。
【0057】目標画像の再構成は、源画像の対応点Mお
よび目標画像の対応点M* が3次元空間における同一目
的点μの画像点である、という事実に基づいている。正
確な計算によれば、これらの各点は、両画像IおよびI
* に共通の視点Pから派出して目的点μを通過する直線
光線Pμ上に位置している。 B:本発明による方法の説明 B1:斜視的変換関数と呼ぶ幾何学的関数の定義
よび目標画像の対応点M* が3次元空間における同一目
的点μの画像点である、という事実に基づいている。正
確な計算によれば、これらの各点は、両画像IおよびI
* に共通の視点Pから派出して目的点μを通過する直線
光線Pμ上に位置している。 B:本発明による方法の説明 B1:斜視的変換関数と呼ぶ幾何学的関数の定義
【0058】目標画像の画素を源画像の点に整合させ、
空間の同一点μの画像が共通視点Pから派出した光線P
μ上に位置するようにするには、源画像平面もしくは目
標画像平面の各点の座標を、空間の目的点μおよび視点
Pを通過する光線Pμに関連させ得る斜視的変換関数を
決定する必要がある。
空間の同一点μの画像が共通視点Pから派出した光線P
μ上に位置するようにするには、源画像平面もしくは目
標画像平面の各点の座標を、空間の目的点μおよび視点
Pを通過する光線Pμに関連させ得る斜視的変換関数を
決定する必要がある。
【0059】これらの斜視的変換関数は、目標画像I*
の画素M* に関連した輝度関数Q*(X* ,Y* )(1
a)と源画像Iの画素Mに関連した輝度関数Q(X,
Y)(1b)との関係の確立に伴って変化する。この対
応は、つぎの(2)式が成り立つ場合に確立される。 Q* (X* ,Y* )=Q(X,Y) (2)
の画素M* に関連した輝度関数Q*(X* ,Y* )(1
a)と源画像Iの画素Mに関連した輝度関数Q(X,
Y)(1b)との関係の確立に伴って変化する。この対
応は、つぎの(2)式が成り立つ場合に確立される。 Q* (X* ,Y* )=Q(X,Y) (2)
【0060】 この問題を解くために、(X,Y)=F(α,β) (3a) なる第1関数Fおよび(X* ,Y* )=G(α,β) (3b) なる第2関数Gを規定する。
【0061】パラメータαおよびβは、後にさらに規定
する角度パラメータであり、この角度パラメータを規定
すると、(2)式の関係における(1a)式の項は、第
1関数Fにより、αおよびβの関数としてつぎのように
表わすことができる。 Q(X,Y)=Q〔F(α,β)〕 (4a) (3b)式の関係から、つぎの(5)式が導かれる。 (α,β)=G-1(X* ,Y *) (5) この(5)式を(4a)式に代入すると、つぎの(4
b)式が導かれる。 Q(X,Y)=Q〔F(G-1(X* ,Y *))〕 (4b)
する角度パラメータであり、この角度パラメータを規定
すると、(2)式の関係における(1a)式の項は、第
1関数Fにより、αおよびβの関数としてつぎのように
表わすことができる。 Q(X,Y)=Q〔F(α,β)〕 (4a) (3b)式の関係から、つぎの(5)式が導かれる。 (α,β)=G-1(X* ,Y *) (5) この(5)式を(4a)式に代入すると、つぎの(4
b)式が導かれる。 Q(X,Y)=Q〔F(G-1(X* ,Y *))〕 (4b)
【0062】(2)式における(1b)式の項を(4
b)式により置換すると、つぎの(5a)式となる。 Q* (X* ,Y* )=Q〔F(G-1(X* ,Y *))〕 (5a) (5a)式の右辺は、関数の構成に関する数学的記号O
(「リング」と読む)を用いて書き得る3関数の構成で
あり、つぎの(5b)式のように書き表わされ、 Q* (X* ,Y* )=GoFoG-1(X* ,Y *) (5b) さらに簡単化してつぎの(6)式のように書き表わされ
る。 Q* =GoFoG-1 (6)
b)式により置換すると、つぎの(5a)式となる。 Q* (X* ,Y* )=Q〔F(G-1(X* ,Y *))〕 (5a) (5a)式の右辺は、関数の構成に関する数学的記号O
(「リング」と読む)を用いて書き得る3関数の構成で
あり、つぎの(5b)式のように書き表わされ、 Q* (X* ,Y* )=GoFoG-1(X* ,Y *) (5b) さらに簡単化してつぎの(6)式のように書き表わされ
る。 Q* =GoFoG-1 (6)
【0063】(6)式において、関数Q* およびQは輝
度関数であり、関数FおよびG-1は斜視変換関数であ
る。
度関数であり、関数FおよびG-1は斜視変換関数であ
る。
【0064】発明の詳細な説明の冒頭に前述したよう
に、従来の技術により、斜視的変換関数は、確実に、源
画像を処理して目標画像の「正確」な構成に到達し得た
が、その構成の正確さは、解決すべき問題に極めてそぐ
わない制限の範囲で実施が極めて困難であって、さら
に、高価につく手段を用いて始めて達成し得たものであ
る。
に、従来の技術により、斜視的変換関数は、確実に、源
画像を処理して目標画像の「正確」な構成に到達し得た
が、その構成の正確さは、解決すべき問題に極めてそぐ
わない制限の範囲で実施が極めて困難であって、さら
に、高価につく手段を用いて始めて達成し得たものであ
る。
【0065】本発明は、つぎの各特性を呈する斜視的変
換関数FおよびG-1 の決定を目指すものである。 a)これらの関数は、源画像からの目標画像の厳密に正
確な構成は許さないが、予知された観視者は合理的に充
分に信頼し得る構成と見なし、一般に非専門家および予
知されていない観視者には、厳密に正確に構成された目
標画像と本発明により構成した目標画像とを見分け得な
い。 b)これらの関数は、簡単で安価な手段で実施し得る。 c)これらの関数を実施すれば、実時間で目標画像の構
成を達成することができ、冒頭に述べた技術的問題を解
決し得る。
換関数FおよびG-1 の決定を目指すものである。 a)これらの関数は、源画像からの目標画像の厳密に正
確な構成は許さないが、予知された観視者は合理的に充
分に信頼し得る構成と見なし、一般に非専門家および予
知されていない観視者には、厳密に正確に構成された目
標画像と本発明により構成した目標画像とを見分け得な
い。 b)これらの関数は、簡単で安価な手段で実施し得る。 c)これらの関数を実施すれば、実時間で目標画像の構
成を達成することができ、冒頭に述べた技術的問題を解
決し得る。
【0066】したがって、本発明によれば、二つの関数
FおよびG-1が最先に規定される。 B2:本発明による斜視的幾何学変換関数G-1の決定
FおよびG-1が最先に規定される。 B2:本発明による斜視的幾何学変換関数G-1の決定
【0067】図1(B)を参照するに、図6(B)にも
示すように、目標画像I* の画素M * を通過する光線P
μは、絶対枠の水平平面(PZa 、PXa )上のPμa
に真直に投影される。
示すように、目標画像I* の画素M * を通過する光線P
μは、絶対枠の水平平面(PZa 、PXa )上のPμa
に真直に投影される。
【0068】その射影において、平面(Pμ,Pμa )
は垂直平面であり、点Ma * は、Pμの画素M* のPμ
a における射影であり、この射影は垂直軸PYa に平行
である。
は垂直平面であり、点Ma * は、Pμの画素M* のPμ
a における射影であり、この射影は垂直軸PYa に平行
である。
【0069】したがって、目標画像の与えられた画素M
* の座標(X* ,Y* )が判ると、この点M* を通る光
線を規定する球面座標を決定する。
* の座標(X* ,Y* )が判ると、この点M* を通る光
線を規定する球面座標を決定する。
【0070】光線Pμに結び付けた球面座標は、水平平
面上の角度α=(PZa ,Pμa )および垂直平面上の
角度β=(Pμ,Pμa )である。
面上の角度α=(PZa ,Pμa )および垂直平面上の
角度β=(Pμ,Pμa )である。
【0071】これらの角度は、絶対枠、したがって、3
次元空間における光線Pμの位置を充分に規定する。
次元空間における光線Pμの位置を充分に規定する。
【0072】以下では、絶対枠について考えたこれらの
球面座標すなわち角度α,βを目標画像I* の個別枠に
ついて考えた座標に関連させるための関係を選定する。
球面座標すなわち角度α,βを目標画像I* の個別枠に
ついて考えた座標に関連させるための関係を選定する。
【0073】その個別枠(PX* ,PY* ,PZ* )に
おいて目標画像I* を斜視的に表わした図2(B)を参
照するに、 角度A* =(PM´* ,PO* ) 角度B* =(PM,PM´) ここに、M´* は目標画像I* の平面における軸X´*
上の点M* の射影であり、さらに 尺度率d* =PO* が判れば、点M* は完全に規定されるが、この尺度率は
絶対原点の役をする共通視点Pと画像I* の幾何中心O
* との間の距離である。
おいて目標画像I* を斜視的に表わした図2(B)を参
照するに、 角度A* =(PM´* ,PO* ) 角度B* =(PM,PM´) ここに、M´* は目標画像I* の平面における軸X´*
上の点M* の射影であり、さらに 尺度率d* =PO* が判れば、点M* は完全に規定されるが、この尺度率は
絶対原点の役をする共通視点Pと画像I* の幾何中心O
* との間の距離である。
【0074】さて、図2(B)および4(B)を参照す
るに、 M* M´* =Y* および O* M´=X* であり、図2(B)を参照するにつぎのように計算す
る。 A* =tan-1(X* /d* ) (20a) B* =tan-1〔(cosA* )Y* /d* 〕 (20b)
るに、 M* M´* =Y* および O* M´=X* であり、図2(B)を参照するにつぎのように計算す
る。 A* =tan-1(X* /d* ) (20a) B* =tan-1〔(cosA* )Y* /d* 〕 (20b)
【0075】図2(B)を参照するに、点M* を、単に
個別の平面に求めるよりも絶対枠に求める。
個別の平面に求めるよりも絶対枠に求める。
【0076】絶対枠の軸PZa に移すために、光学軸P
Z* にローテーション−φ* (傾斜)およびローテーシ
ョン−θ* (回転)を順次に施して個別枠から絶対枠に
移す。
Z* にローテーション−φ* (傾斜)およびローテーシ
ョン−θ* (回転)を順次に施して個別枠から絶対枠に
移す。
【0077】添付の表1に与える枠の式の変化は、つぎ
のように書き表わされ、計算の後にはつぎのようにな
る。
のように書き表わされ、計算の後にはつぎのようにな
る。
【数3】
【0078】(21a)式および(21b)式の関係を
用いて、(21a)式および(21b)式を考慮すれ
ば、すでに規定した幾何関数G-1をつぎのように決定す
ることができる。 (α,β)=G-1(X* ・Y* )
用いて、(21a)式および(21b)式を考慮すれ
ば、すでに規定した幾何関数G-1をつぎのように決定す
ることができる。 (α,β)=G-1(X* ・Y* )
【0079】しかしながら、本発明によれば、目標画像
I* の実時間での計算を目的に設定したことを考慮しな
ければならず、したがって、関数G-1およびFに関する
計算は、実時間で達成しなければならない。さて、(2
0)式および(21)式の関係を考慮した場合に、これ
らの関係によって計算可能である関数G-1は、極めて複
雑で、実時間で計算するのが困難であることは明らかで
ある。
I* の実時間での計算を目的に設定したことを考慮しな
ければならず、したがって、関数G-1およびFに関する
計算は、実時間で達成しなければならない。さて、(2
0)式および(21)式の関係を考慮した場合に、これ
らの関係によって計算可能である関数G-1は、極めて複
雑で、実時間で計算するのが困難であることは明らかで
ある。
【0080】したがって、この関数の近似、さらに正確
には変換により、目標画像を実時間で構成し得るのみな
らず、観視者が見るのに極めて快適な遠近法の修正を施
した目標画像が得られるようにすることをつぎのように
提案する。
には変換により、目標画像を実時間で構成し得るのみな
らず、観視者が見るのに極めて快適な遠近法の修正を施
した目標画像が得られるようにすることをつぎのように
提案する。
【0081】関数G-1に施す変換は、つぎの考案に基づ
いたものである。すなわち、垂直平面(PZ* ,PTa
* )内に目標画像I* を断面で示す図9(A)を参照す
るに、この垂直平面は、幾何中心O* を通る目標画像の
光学軸PZ* およびこの光学軸の水平平面上の射影PT
a * を含んでおり、目標画像I* の射影は、Hで示す垂
直平面上になされており、この射影によって得られる画
像をH* で表わす。
いたものである。すなわち、垂直平面(PZ* ,PTa
* )内に目標画像I* を断面で示す図9(A)を参照す
るに、この垂直平面は、幾何中心O* を通る目標画像の
光学軸PZ* およびこの光学軸の水平平面上の射影PT
a * を含んでおり、目標画像I* の射影は、Hで示す垂
直平面上になされており、この射影によって得られる画
像をH* で表わす。
【0082】図9(A)を参照するに、投影平面Hはつ
ぎのような垂直平面に選定する。 水平平面(PZa ,PXa )に垂直 平面(PZ* ,PTa * )に垂直 絶対平面Pからの距離d* =PΩR * 図9(A)において、目標画像I* の平面がその平面自
身つぎのとおりであることは明らかである。 平面(PZ* ,PTa * )に垂直 絶対原点Pからの距離d* =PO* 水平平面(PZa ,PXa )に垂直でない。
ぎのような垂直平面に選定する。 水平平面(PZa ,PXa )に垂直 平面(PZ* ,PTa * )に垂直 絶対平面Pからの距離d* =PΩR * 図9(A)において、目標画像I* の平面がその平面自
身つぎのとおりであることは明らかである。 平面(PZ* ,PTa * )に垂直 絶対原点Pからの距離d* =PO* 水平平面(PZa ,PXa )に垂直でない。
【0083】この投影によって得られる画像H* は、目
標画像I* と同じ寸法すなわちおなじフレーミングを有
し、ΩH * で表わすその幾何中心は目標画像I* の画素
であり、光学軸PZ* および画像H* の平面の交点に位
置している。
標画像I* と同じ寸法すなわちおなじフレーミングを有
し、ΩH * で表わすその幾何中心は目標画像I* の画素
であり、光学軸PZ* および画像H* の平面の交点に位
置している。
【0084】かかる条件のもとに、光学軸PZ* 上に位
置する垂直画像H* の幾何中心ΩH * は、水平平面(P
Za ,PXa )からの距離ΩH * ΩR =Y0 にあり、図
9(A)を参照するとつぎのとおりである。 Y0 =d* ・ tan φ* (19)
置する垂直画像H* の幾何中心ΩH * は、水平平面(P
Za ,PXa )からの距離ΩH * ΩR =Y0 にあり、図
9(A)を参照するとつぎのとおりである。 Y0 =d* ・ tan φ* (19)
【0085】I* からH* へのこの投影を行なうために
は、幾何学的変換をつぎの二つの要素的幾何学変換に分
解することができる。 a) 図8(A)および図9(A)を参照するに、目標
光学軸PZ* を水平平面内の射影PTa * に一致させる
ために目標画像I* を3次元空間内で角度φ* だけ回転
させるローテーション。
は、幾何学的変換をつぎの二つの要素的幾何学変換に分
解することができる。 a) 図8(A)および図9(A)を参照するに、目標
光学軸PZ* を水平平面内の射影PTa * に一致させる
ために目標画像I* を3次元空間内で角度φ* だけ回転
させるローテーション。
【0086】この回転は、図9(A)の垂直平面(PZ
* ,PTa * )に平行に行なわれ、この回転により、目
標画像I* は、得ようとする射影画像H* と同じ平面H
上に位置する垂直画像R* になり、その光学軸はPTa
* に合致し、光学中心はPT a rのR* との交点ΩR *
となるが、その尺度率は、PΩR * =d* で測るd*の
ままである。
* ,PTa * )に平行に行なわれ、この回転により、目
標画像I* は、得ようとする射影画像H* と同じ平面H
上に位置する垂直画像R* になり、その光学軸はPTa
* に合致し、光学中心はPT a rのR* との交点ΩR *
となるが、その尺度率は、PΩR * =d* で測るd*の
ままである。
【0087】図8(A)は、目標画像I* および、光学
軸PZ* をPTa * に到達させるためにPZ* に施した
回転φ* によって得た画像R* の相対位置を斜視的に示
したものであり、その回転は垂直平面(PYa ,PTa
* )内で行なわれている。
軸PZ* をPTa * に到達させるためにPZ* に施した
回転φ* によって得た画像R* の相対位置を斜視的に示
したものであり、その回転は垂直平面(PYa ,PTa
* )内で行なわれている。
【0088】図8(A)において、軸PTa * が、回転
から生じた画像R* の光学軸PZR * に一致するように
なることがこの回転によって判った。
から生じた画像R* の光学軸PZR * に一致するように
なることがこの回転によって判った。
【0089】図8(A)においては、回転φ* により、
目標画像I* に画像画素M* をもたらす光線Pμが、M
* の複写画素MR * で画像R* に交叉する光線PWR *
になることが示されている。
目標画像I* に画像画素M* をもたらす光線Pμが、M
* の複写画素MR * で画像R* に交叉する光線PWR *
になることが示されている。
【0090】図7は、絶対枠中にあって、画像I* の個
別枠に等しい個別枠を備えた画像R * を斜視的に示して
おり、これは、画像R* は、画素MR * が座標(X* ,
Y*,d* )に位置する真正軸の個別システムを備えて
いることを意味する。
別枠に等しい個別枠を備えた画像R * を斜視的に示して
おり、これは、画像R* は、画素MR * が座標(X* ,
Y*,d* )に位置する真正軸の個別システムを備えて
いることを意味する。
【0091】回転φ* によるこの変換においては、目標
画像の設定に含まれている垂直平面の相互間の角度が修
正されていないことに気付くべきであり、したがって、
つぎのようになる。 角度α=(PZa ,Pμa ) 角度θ=(PZa ,PTa )
画像の設定に含まれている垂直平面の相互間の角度が修
正されていないことに気付くべきであり、したがって、
つぎのようになる。 角度α=(PZa ,Pμa ) 角度θ=(PZa ,PTa )
【0092】図2(B)および図7を参照するに、角度
A* およびB* は同じままで、つぎのとおりである。 角度A=(PTa,Pμa) 角度B=(Pμa,PWR * )
A* およびB* は同じままで、つぎのとおりである。 角度A=(PTa,Pμa) 角度B=(Pμa,PWR * )
【0093】個別枠における画像I* を表わす図2
(B)と、前記絶対枠と個別枠との両方における回転画
像R* を表わす図7との比較から、つぎのようになる。 α=A* +θ* (18) ここに、 A* = tan-1(X* /d* )およびβ=β*
(B)と、前記絶対枠と個別枠との両方における回転画
像R* を表わす図7との比較から、つぎのようになる。 α=A* +θ* (18) ここに、 A* = tan-1(X* /d* )およびβ=β*
【0094】(21a)式および(21b)式の関係に
おいてφ* =0と書くことにより、同じ結果が機械的に
得られる。すなわち、 α=A* +θ* (22a) および β=B* (22b) ここに B* = tan-1〔(cos A* )Y* /d* 〕 (20b)
おいてφ* =0と書くことにより、同じ結果が機械的に
得られる。すなわち、 α=A* +θ* (22a) および β=B* (22b) ここに B* = tan-1〔(cos A* )Y* /d* 〕 (20b)
【0095】b) 図8(A)および9(A)を参照す
るに、先行回転φ* 中に規定した同じ垂直平面H内の値
Y0 だけ画像R* を垂直に移動させるトランスレーショ
ン。このトランスレーションY0 において回転画像R*
はトランスレーション画像H* となる。
るに、先行回転φ* 中に規定した同じ垂直平面H内の値
Y0 だけ画像R* を垂直に移動させるトランスレーショ
ン。このトランスレーションY0 において回転画像R*
はトランスレーション画像H* となる。
【0096】図8(B)は、回転画像R* および垂直移
動Y0 によって得られた移動画像H * の位置を斜視的に
示したものである。
動Y0 によって得られた移動画像H * の位置を斜視的に
示したものである。
【0097】図8(B)においては、目標画像I* の光
学軸PZ* が移動画像H* の幾何中心画素ΩH * で垂直
平面Hと交叉することが判る。
学軸PZ* が移動画像H* の幾何中心画素ΩH * で垂直
平面Hと交叉することが判る。
【0098】図8(B)に示すように、回転画像R* を
規定する際に含まれる垂直平面間になす角度は、移動画
像H* の形成中に何らの修正も受けていない。
規定する際に含まれる垂直平面間になす角度は、移動画
像H* の形成中に何らの修正も受けていない。
【0099】したがって、移動画像H* の構成は、回転
画像R* のと同じであり、目標画像I* のとも同じであ
る。
画像R* のと同じであり、目標画像I* のとも同じであ
る。
【0100】図8(B)を参照するに、移動画像H* の
画像MH * は、源画像Iの画素M*の回転角度φ* の複
写である、回転画像R* の画像MR * の値Y0 の垂直移
動によって得られることは明らかである。
画像MH * は、源画像Iの画素M*の回転角度φ* の複
写である、回転画像R* の画像MR * の値Y0 の垂直移
動によって得られることは明らかである。
【0101】移動画像H* の画素MH * は、目標画像I
* からH* への必要な射影を形成する、回転角φ* と垂
直移動Y0 との組合わせにおけるI* の画素M* の複写
である。
* からH* への必要な射影を形成する、回転角φ* と垂
直移動Y0 との組合わせにおけるI* の画素M* の複写
である。
【0102】図8(B)は、画素H* の画素MH * が光
線PWH * と画像H* との交点に位置していることを示
すものである。
線PWH * と画像H* との交点に位置していることを示
すものである。
【0103】画像H* の光線PWH は、画像R* の光線
PWR * とともに、水平平面(PX a ,PZa )におけ
る画像I* の光線Pμと同じ射影Pμa を有している。
PWR * とともに、水平平面(PX a ,PZa )におけ
る画像I* の光線Pμと同じ射影Pμa を有している。
【0104】以下においては、簡単化した関数G-1の計
算のために、目標画像I* の画素M * を通る光線Pμの
球面座標よりも、画像H* の画素MH * を通る光線PW
H *の球面座標を求める。その画素MH * は,画像H*
の幾何中心ΩH * を原点として有する画像H* の枠にお
ける同一座標(X* ,Y* )を有している。画像H
*は、点Pからの距離d* における垂直平面H上の画像
I* の射影であるので、この画像H* の幾何中心ΩH *
は目標画像I* の光学軸PZ* 上にある。
算のために、目標画像I* の画素M * を通る光線Pμの
球面座標よりも、画像H* の画素MH * を通る光線PW
H *の球面座標を求める。その画素MH * は,画像H*
の幾何中心ΩH * を原点として有する画像H* の枠にお
ける同一座標(X* ,Y* )を有している。画像H
*は、点Pからの距離d* における垂直平面H上の画像
I* の射影であるので、この画像H* の幾何中心ΩH *
は目標画像I* の光学軸PZ* 上にある。
【0105】画像I* を画像R* にとる回転角φ* に関
する上述の文節では、R* の個別枠における画素MR *
の定義から絶対枠における定義に到ることを可能にする
関係が得られた。
する上述の文節では、R* の個別枠における画素MR *
の定義から絶対枠における定義に到ることを可能にする
関係が得られた。
【0106】そこで、今度は、回転画像R* の個別枠に
おける画素MH * の定義から絶対枠における定義に到る
ことを可能にする関係を提供する。
おける画素MH * の定義から絶対枠における定義に到る
ことを可能にする関係を提供する。
【0107】そのために、画像H* の画素MH * を回転
画像R* の個別枠内に規定することから始める。
画像R* の個別枠内に規定することから始める。
【0108】図8(B)および図7から得れる結果とし
て、移動画像H* を回転画像R* の個別枠内に規定する
とつぎのようになる。角度A* は変わらず、角度θ* は
変わらず、角度φ* は目標画像I* のと同じになり、 ここに、α=A* +θ* (23a) 画素MH * の横座標X* は画素MR * のと同じになり、
画素MH * の縦座標は画素MR * のに関しY* −Y0 と
なり、角度βは、β=(PWH * ,Pμa),B* =
(PWR * ,Pμa)であるから、B* とは異なり、こ
こに B* = tan-1〔(cos A* )Y */d *〕 (20b) B* からβへの修正が、Y* であったMR * の縦座標が
MH * については、(Y * +Y0 )となる、という事実
に基づいているので、つぎのようになる。 β= tan-1〔(Y* −Y0 )(cos A* )/d* 〕 (23b) ここに、 Y0 =d* ・tan φ* (19) および A= tan-1(X* /d* ) (20a)
て、移動画像H* を回転画像R* の個別枠内に規定する
とつぎのようになる。角度A* は変わらず、角度θ* は
変わらず、角度φ* は目標画像I* のと同じになり、 ここに、α=A* +θ* (23a) 画素MH * の横座標X* は画素MR * のと同じになり、
画素MH * の縦座標は画素MR * のに関しY* −Y0 と
なり、角度βは、β=(PWH * ,Pμa),B* =
(PWR * ,Pμa)であるから、B* とは異なり、こ
こに B* = tan-1〔(cos A* )Y */d *〕 (20b) B* からβへの修正が、Y* であったMR * の縦座標が
MH * については、(Y * +Y0 )となる、という事実
に基づいているので、つぎのようになる。 β= tan-1〔(Y* −Y0 )(cos A* )/d* 〕 (23b) ここに、 Y0 =d* ・tan φ* (19) および A= tan-1(X* /d* ) (20a)
【0109】そこで、中間変数A* ,B* およびパラメ
ータY0 に注目して、画像H* におけるアドレスすなわ
ち座標X* ,Y* を有する画像H* の画素MH * を光線
PW H * の球面座標(α,β)に関連させることができ
る等式を決定した。
ータY0 に注目して、画像H* におけるアドレスすなわ
ち座標X* ,Y* を有する画像H* の画素MH * を光線
PW H * の球面座標(α,β)に関連させることができ
る等式を決定した。
【0110】目標画像I* の画素M* (X* ,Y* )を
最早通らず、したがって、その画素M* (X* ,Y* )
を正確に通る実際の光線Pμとは最早異なる新たな光線
PW H * を決める角度α,βを決定するための新たな三
角法関係式(23a),(23b)を用いることに注意
する。前述したように、再構成画像は「正確」ではな
く、「修正」したものであることを意味するのは、関連
した光線の新たな定義の選択である。この選択により、
必要な斜視的変化を施した本発明の再構成画像に極めて
同様のできるだけ正しくした特性をもたせてある。した
がって、本発明による斜視的選択においては、水平平面
にPμa で投影した光線PWH * は実際の光線Pμとあ
まり異ならず、極めて眺めるのに好適な画像に集約され
るものとする。射影Pμa は実際の光線Pμと投影光線
PWH * とについては、選択画像H * 、すなわち、I*
の射影を使用したために同一であることが判る。
最早通らず、したがって、その画素M* (X* ,Y* )
を正確に通る実際の光線Pμとは最早異なる新たな光線
PW H * を決める角度α,βを決定するための新たな三
角法関係式(23a),(23b)を用いることに注意
する。前述したように、再構成画像は「正確」ではな
く、「修正」したものであることを意味するのは、関連
した光線の新たな定義の選択である。この選択により、
必要な斜視的変化を施した本発明の再構成画像に極めて
同様のできるだけ正しくした特性をもたせてある。した
がって、本発明による斜視的選択においては、水平平面
にPμa で投影した光線PWH * は実際の光線Pμとあ
まり異ならず、極めて眺めるのに好適な画像に集約され
るものとする。射影Pμa は実際の光線Pμと投影光線
PWH * とについては、選択画像H * 、すなわち、I*
の射影を使用したために同一であることが判る。
【0111】これにより、つぎのように簡単化した球面
座標を与える関係が得られ、 α=A* +θ* (23a) β= tan-1〔(Y* −Y0 )(cos A* /d* 〕 (23b) ここに Y0 =d* ・tan φ* (19) および A* = tan-1(X* /d) (20a) 新たな光線PWH * の絶対枠における位置を規定すると
ともに、つぎのような(5)式の関係G-1を当業者に決
めさせる。 (α,β)=G-1
座標を与える関係が得られ、 α=A* +θ* (23a) β= tan-1〔(Y* −Y0 )(cos A* /d* 〕 (23b) ここに Y0 =d* ・tan φ* (19) および A* = tan-1(X* /d) (20a) 新たな光線PWH * の絶対枠における位置を規定すると
ともに、つぎのような(5)式の関係G-1を当業者に決
めさせる。 (α,β)=G-1
【0112】この関数G-1は、角度φ,θ* および尺度
率d* が判ると、目標画像I* の所定画素M* (X* ,
Y* )に関連するように選んだ概略PWH * で表わす光
線の球面座標(α,β)を計算し得るようにする。
率d* が判ると、目標画像I* の所定画素M* (X* ,
Y* )に関連するように選んだ概略PWH * で表わす光
線の球面座標(α,β)を計算し得るようにする。
【0113】したがって、この関数G-1は、使用者の意
図に応じて連続的に変化し得るパラメータθ* ,φ* お
よびd* を備えている。しかしながら、本発明によれ
ば、この関数は実時間で計算し得るように十分簡単に選
んであるとともに、つぎに述べるように正確な再構成画
像を提供する。
図に応じて連続的に変化し得るパラメータθ* ,φ* お
よびd* を備えている。しかしながら、本発明によれ
ば、この関数は実時間で計算し得るように十分簡単に選
んであるとともに、つぎに述べるように正確な再構成画
像を提供する。
【0114】平面(PZ* ,PTa * )上に種々の画像
I* ,R* およびH* を断面で示す図9(A)を参照す
るに、垂直平面Hに投影した画像Hは、観視者の目が視
点Pに位置したときに、減少した視野を呈する。これ
は、画像H* の頂点と底とに触れる外側の光線が、目標
画像I* の頂点と底とに触れるほど広い開口角をもたな
いことを意味する。
I* ,R* およびH* を断面で示す図9(A)を参照す
るに、垂直平面Hに投影した画像Hは、観視者の目が視
点Pに位置したときに、減少した視野を呈する。これ
は、画像H* の頂点と底とに触れる外側の光線が、目標
画像I* の頂点と底とに触れるほど広い開口角をもたな
いことを意味する。
【0115】選択した投影の効果により、画像H* は、
画像I* に対して頂点と底部とのわずかな近寄せを呈す
る。これは、前述した「修正」の効果を選択することに
なる。この効果は、画像I* では頂点に向かって後退
し、さらに曲がっている垂直線を、わずかに曲がってい
る水平線とともに、真直ぐにすることからなっている。
画像I* に対して頂点と底部とのわずかな近寄せを呈す
る。これは、前述した「修正」の効果を選択することに
なる。この効果は、画像I* では頂点に向かって後退
し、さらに曲がっている垂直線を、わずかに曲がってい
る水平線とともに、真直ぐにすることからなっている。
【0116】この効果については、後に説明する。 B3:本発明による斜視変換用幾何学的関数Fの計算
【0117】以下では近似もしくは不正確の光線と呼
び、射影TI* で選ぶ光線PWII * の球面座標(α,
β)の知識から、個別枠内の源画像Iの点Mの座標
(X,Y)を決定する必要があり、その点Mは、正確な
光線Pμに替えて、同一として選んだ近似光線PWH *
上に位置している。
び、射影TI* で選ぶ光線PWII * の球面座標(α,
β)の知識から、個別枠内の源画像Iの点Mの座標
(X,Y)を決定する必要があり、その点Mは、正確な
光線Pμに替えて、同一として選んだ近似光線PWH *
上に位置している。
【0118】個別枠(PX,PY,PZ)内の源画像I
を斜視的に表わした図2(A)を参照するに、点Mは、 角度A=(PM´,PO) 角度B=(PM,PM´) ここに、M´は源画像Iの平面における軸X´上のMの
射影であり、絶対原点の役をする共通視点Pと画像Iの
幾何中心点Pとの間の距離である 尺度率d=PO を知れば完全に規定される。
を斜視的に表わした図2(A)を参照するに、点Mは、 角度A=(PM´,PO) 角度B=(PM,PM´) ここに、M´は源画像Iの平面における軸X´上のMの
射影であり、絶対原点の役をする共通視点Pと画像Iの
幾何中心点Pとの間の距離である 尺度率d=PO を知れば完全に規定される。
【0119】さて、図3(B)を参照して、MM´=Y
およびMM″=Xが判り、図2(A)を参照してつぎの
式を計算した。 X=d・tan A (10a) Y=d・tan B/cos A (10b)
およびMM″=Xが判り、図2(A)を参照してつぎの
式を計算した。 X=d・tan A (10a) Y=d・tan B/cos A (10b)
【0120】図2(A)を参照するに、点Mは、単なる
個別枠中よりも絶対枠中に規定する必要がある。また、
図1(A)に関連して、絶対枠の軸PZa に移すため
に、源画像平面の光軸PZに回転角θおよび傾斜角φの
ローテーションを順次を施すことにより絶対枠から個別
枠に移る。
個別枠中よりも絶対枠中に規定する必要がある。また、
図1(A)に関連して、絶対枠の軸PZa に移すため
に、源画像平面の光軸PZに回転角θおよび傾斜角φの
ローテーションを順次を施すことにより絶対枠から個別
枠に移る。
【0121】したがって、添付の表IIによる枠の形態を
つぎのように変更することができる。すなわち、計算に
よってつぎのようになる。
つぎのように変更することができる。すなわち、計算に
よってつぎのようになる。
【数4】
【0122】(3a)式の関係と(11a)式,(10
b)式の関係とを結合すると(X,Y)と(α,β)と
の間に求める関係Fが得られる。この関係は正確であっ
て、複雑であるが、固定した先験的(APRIORI)
に既知の源画像のパラメータθおよびφと対群(α,
β)とのみに依存していることに留意すべきである。有
限個数の対(α,β)に先験的に設定することにより、
関数Fを表にすることができ、したがって、関数Fの複
雑さによる計算の困難を回避することができる。また、
表にした関数内の対象物の歪みに気付き易くなる。先験
的に適用し得る対(α,β)の個数が多い程、点M
(X,Y)の決定の精度が高くなる。 B4:幾何学的関数FおよびG-1による目標画像構成用
画像処理方法。
b)式の関係とを結合すると(X,Y)と(α,β)と
の間に求める関係Fが得られる。この関係は正確であっ
て、複雑であるが、固定した先験的(APRIORI)
に既知の源画像のパラメータθおよびφと対群(α,
β)とのみに依存していることに留意すべきである。有
限個数の対(α,β)に先験的に設定することにより、
関数Fを表にすることができ、したがって、関数Fの複
雑さによる計算の困難を回避することができる。また、
表にした関数内の対象物の歪みに気付き易くなる。先験
的に適用し得る対(α,β)の個数が多い程、点M
(X,Y)の決定の精度が高くなる。 B4:幾何学的関数FおよびG-1による目標画像構成用
画像処理方法。
【0123】使用者は、構成しようとする目標画像I*
のパラメータを規定し、そのパラメータは、回転角
θ* 、傾斜角φ* および尺度率d* である。
のパラメータを規定し、そのパラメータは、回転角
θ* 、傾斜角φ* および尺度率d* である。
【0124】本発明によれば、目標画像I* 構成用の画
像処理方法には、まず、目標画像I * の角画素M* の座
標(X* ,Y* )の規定が含まれ、ついで、画素MR
(X*,Y* )の各々について、 (α,β)=G-1(X* ,Y* ) (5) により規定した関数G-1につぎのようにしてこの画像処
理方法が適用される。 α=θ* +A* (23a) ここに A* = tan-1(X* /d* ) (20a) および β= tan-1〔(Y* −Y0 )(cos A* )/d* 〕(23b) ここに Y0 =d* ・tan φ* (19)
像処理方法には、まず、目標画像I * の角画素M* の座
標(X* ,Y* )の規定が含まれ、ついで、画素MR
(X*,Y* )の各々について、 (α,β)=G-1(X* ,Y* ) (5) により規定した関数G-1につぎのようにしてこの画像処
理方法が適用される。 α=θ* +A* (23a) ここに A* = tan-1(X* /d* ) (20a) および β= tan-1〔(Y* −Y0 )(cos A* )/d* 〕(23b) ここに Y0 =d* ・tan φ* (19)
【0125】したがって、(5)式による幾何的斜視変
換関数G-1の適用により、目標画像I* の個別枠におけ
る所定画素M* の座標X* ,Y* から出発して、投影処
理H * によりこの画素M* に結合し、角度α,βを測定
する絶対枠の原点でもある全画像に共通の視点Pを通る
不正確な光線PWH * の球面座標(α,β)を簡単化し
た方法で計算することが可能となる。
換関数G-1の適用により、目標画像I* の個別枠におけ
る所定画素M* の座標X* ,Y* から出発して、投影処
理H * によりこの画素M* に結合し、角度α,βを測定
する絶対枠の原点でもある全画像に共通の視点Pを通る
不正確な光線PWH * の球面座標(α,β)を簡単化し
た方法で計算することが可能となる。
【0126】近似光線PWH * の球面座標(α,β)を
計算してしまうと、この画像処理方法には、絶対枠中に
規定した球面座標(α,β)の各対について、その近似
光線PWH * の源画像Iとの交点に位置する源画像の点
Mの座標の表中での探索が含まれ、その座標(X,Y)
はこの源画像の個別枠内で測定される。
計算してしまうと、この画像処理方法には、絶対枠中に
規定した球面座標(α,β)の各対について、その近似
光線PWH * の源画像Iとの交点に位置する源画像の点
Mの座標の表中での探索が含まれ、その座標(X,Y)
はこの源画像の個別枠内で測定される。
【0127】かかる目的で、初期段階においては、球面
座標(α,β)の有限個数の対を特定して記号(α0 ,
β0 )を付し、ついで、座標(X,Y)の対を、つぎの
幾何学的斜視変換関数Fを適用することにより、所定の
対(α0 ,β0 )毎に計算する。 (X,Y)=F(α0 ,β0 ) (3a) ここに X=d・tan A (10a) Y=d・tan B/cos A (10b) なお、中間パラメータAおよびBが球面座標(α0 ,β
0 )の三角法関数(11a)および(11b)であるこ
れらの関係には、源画像Iのパラメータ、すなわち、回
転角θおよび傾斜角φが含まれる。したがって、各対
(α0 ,β0 )について、点Mの座標XおよびYは、源
画像の尺度率dおよび角度θ,φの純粋な関数、すなわ
ち、この画像処理方法における先験的に既知の値とな
る。したがって、初期段階においては、対(α0 ,
β0 )が与えられ、ついで、対応する対の座標(X,
Y)が計算されて表のアドレス(α0 ,β0 )に蓄積さ
れる。
座標(α,β)の有限個数の対を特定して記号(α0 ,
β0 )を付し、ついで、座標(X,Y)の対を、つぎの
幾何学的斜視変換関数Fを適用することにより、所定の
対(α0 ,β0 )毎に計算する。 (X,Y)=F(α0 ,β0 ) (3a) ここに X=d・tan A (10a) Y=d・tan B/cos A (10b) なお、中間パラメータAおよびBが球面座標(α0 ,β
0 )の三角法関数(11a)および(11b)であるこ
れらの関係には、源画像Iのパラメータ、すなわち、回
転角θおよび傾斜角φが含まれる。したがって、各対
(α0 ,β0 )について、点Mの座標XおよびYは、源
画像の尺度率dおよび角度θ,φの純粋な関数、すなわ
ち、この画像処理方法における先験的に既知の値とな
る。したがって、初期段階においては、対(α0 ,
β0 )が与えられ、ついで、対応する対の座標(X,
Y)が計算されて表のアドレス(α0 ,β0 )に蓄積さ
れる。
【0128】この表は、この表のアドレス(α0 ,
β0 )を有する関数G-1により、この表の分解能の範囲
内で計算した各対(α,β)を整合させて使用する。そ
のアドレスには、予め計算して蓄積した座標(X,Y)
の対が存在しているので、それを読み出す。
β0 )を有する関数G-1により、この表の分解能の範囲
内で計算した各対(α,β)を整合させて使用する。そ
のアドレスには、予め計算して蓄積した座標(X,Y)
の対が存在しているので、それを読み出す。
【0129】さて、目標画像I* の画素M* に最もよく
整合した源画像の点Mの座標を有するために、この画像
処理方法には、その点Mにおける輝度レベルの値の決
定、なるべくは補間と、ついで、構成すべき目標画像の
画素M* へのその輝度レベルの転送とが含まれる。
整合した源画像の点Mの座標を有するために、この画像
処理方法には、その点Mにおける輝度レベルの値の決
定、なるべくは補間と、ついで、構成すべき目標画像の
画素M* へのその輝度レベルの転送とが含まれる。
【0130】これらの処理は、全画像が構成されるま
で、目標画像の画素毎に繰り返される。
で、目標画像の画素毎に繰り返される。
【0131】使用者が目標画像について新たなパラメー
タφ* ,θ* およびd* を選ぶと、新たな目標画像が構
成され、源画像は、パラメータθ,φおよびdが変わら
ない3次元空間の変わらない位置に残留する。
タφ* ,θ* およびd* を選ぶと、新たな目標画像が構
成され、源画像は、パラメータθ,φおよびdが変わら
ない3次元空間の変わらない位置に残留する。
【0132】使用者が決めた目標画像の位置および尺度
率の変化があっても、その目標画像は、源画像と共通の
視点を保持している。 C:幾何学的関数F,G-1実施用画像処理装置
率の変化があっても、その目標画像は、源画像と共通の
視点を保持している。 C:幾何学的関数F,G-1実施用画像処理装置
【0133】図13は、前述した幾何学的斜視変換関数
G-1およびFの実施により源画像Iから目標画像I* を
構成するたの画像処理装置200を機能ブロック群とし
て表わしたものである。以下では、一般に、目標画像I
* の画素M* のアドレス(X * ,Y* )からの源画像I
の対応点Mのアドレス(X,Y)の計算を行なうので、
この装置を「アドレス計算器」と呼ぶ。
G-1およびFの実施により源画像Iから目標画像I* を
構成するたの画像処理装置200を機能ブロック群とし
て表わしたものである。以下では、一般に、目標画像I
* の画素M* のアドレス(X * ,Y* )からの源画像I
の対応点Mのアドレス(X,Y)の計算を行なうので、
この装置を「アドレス計算器」と呼ぶ。
【0134】図13において、ブロック210は、目標
画像のパラメータの変化の有無に拘わりなく、目標画像
I* を、実時間で、すなわち、毎秒役20枚の割合いで
構成するために使用者が選ぶメラメータφ* ,θ* ,d
* を蓄積するメモリブロックである。また、ブロック2
01は、目標画像I* のフレーミング、すなわち、画素
群の行(2Vx * )および列(2Vy * )に平行な目標
画像の大きさを画素の個数で表わすパラメータ2Vx *
および2Vy * を決めるブロックである。これらのパラ
メータは、使用者が選んだパラメータから決まる。ま
た、ブロック113は、目標画像の個別枠内で、目標画
像I* の各画素M* の種々のアドレス(X * ,Y* )
を、各画素毎に一つずつ提供するアドレス発生器であ
る。
画像のパラメータの変化の有無に拘わりなく、目標画像
I* を、実時間で、すなわち、毎秒役20枚の割合いで
構成するために使用者が選ぶメラメータφ* ,θ* ,d
* を蓄積するメモリブロックである。また、ブロック2
01は、目標画像I* のフレーミング、すなわち、画素
群の行(2Vx * )および列(2Vy * )に平行な目標
画像の大きさを画素の個数で表わすパラメータ2Vx *
および2Vy * を決めるブロックである。これらのパラ
メータは、使用者が選んだパラメータから決まる。ま
た、ブロック113は、目標画像の個別枠内で、目標画
像I* の各画素M* の種々のアドレス(X * ,Y* )
を、各画素毎に一つずつ提供するアドレス発生器であ
る。
【0135】ブロック220は、ブロック113および
210からのデータを受取り、関数G-1を実行する。
210からのデータを受取り、関数G-1を実行する。
【0136】各ブロック113,201および210
は、例えばメモリ領域からなっており、これらのメモリ
領域をアクセスする系統によって相互に接続されてい
る。
は、例えばメモリ領域からなっており、これらのメモリ
領域をアクセスする系統によって相互に接続されてい
る。
【0137】図9(A)および9(B)は、関数G-1お
よびFがアドレス計算器200で用いられる状態を示し
たものである。
よびFがアドレス計算器200で用いられる状態を示し
たものである。
【0138】ブロック113が提供する各対(X* ,Y
* )には、(22a)式および(22b)式が与える球
面座標(α,β)を特徴とする近似光線PWH * が、角
度θ * およびφ* とパラメータd* の関数として対応す
る。
* )には、(22a)式および(22b)式が与える球
面座標(α,β)を特徴とする近似光線PWH * が、角
度θ * およびφ* とパラメータd* の関数として対応す
る。
【0139】目標画像I* を、その画像の種々の線上の
画素の座標によるブロック113が用意した空間で順次
に走査する場合に、垂直平面Hの投影画像H* を光線P
WH * が走査し、ついで、図9(A)に断面で表わし、
図9(B)に斜視的に表わした中心Pを有する球面Sの
領域K* を近似光線PWk * が走査する。各近似光線P
WH * が領域K* における球面Sと点Kで交叉する。球
面Sの表面における領域K* には、光線PWH * すなわ
ち画像I* の画素と同数の交叉点Kが存在する。球面S
のかかる交叉点Kには、計算した対(α,β)が組合わ
されており、球面S上の走査される領域K* の大きさ
は、目標画像I* の画素数2Vx * および2Vy * で表
わした寸法すなわちフレーミングに依存している。
画素の座標によるブロック113が用意した空間で順次
に走査する場合に、垂直平面Hの投影画像H* を光線P
WH * が走査し、ついで、図9(A)に断面で表わし、
図9(B)に斜視的に表わした中心Pを有する球面Sの
領域K* を近似光線PWk * が走査する。各近似光線P
WH * が領域K* における球面Sと点Kで交叉する。球
面Sの表面における領域K* には、光線PWH * すなわ
ち画像I* の画素と同数の交叉点Kが存在する。球面S
のかかる交叉点Kには、計算した対(α,β)が組合わ
されており、球面S上の走査される領域K* の大きさ
は、目標画像I* の画素数2Vx * および2Vy * で表
わした寸法すなわちフレーミングに依存している。
【0140】図9(B)を参照するに、(5)式および
(23a)式、(23b)式で決めた幾何学的変換G-1
は、球面領域K* 上の画像H* の射影からなっている。
この射影により、画像I* の点M* (X* ,Y* )に対
応する領域K* の点K(α,β)が決まる。その決定
は、図13にブロック220で表わした計算手段によっ
て実時間で行なわれる。
(23a)式、(23b)式で決めた幾何学的変換G-1
は、球面領域K* 上の画像H* の射影からなっている。
この射影により、画像I* の点M* (X* ,Y* )に対
応する領域K* の点K(α,β)が決まる。その決定
は、図13にブロック220で表わした計算手段によっ
て実時間で行なわれる。
【0141】図9(A)および9(B)に表わした球面
Sは、複雑な関数Fを表にする方法を当業者に説明する
ための純粋に理論的な構成である。
Sは、複雑な関数Fを表にする方法を当業者に説明する
ための純粋に理論的な構成である。
【0142】関数Fを表にするために、目標画像I* の
少なくともできるだけ良好な分解能とする「分解能」
は、先験的に球面Sのラジアン当たりの画素数で決ま
る。したがって、アドレス(α0 ,β0 )を付して、関
連した領域K* 内で球の表面に分布した画素K0 の量
は、先験的に選定される。所定の各画素K0 のアドレス
(α 0 ,β0 )は、球面Sの半径PK0 の球面座標(α
0 ,β0 )からなる。所定の画素K0 に結合した各対
(α0 ,β0 )について、源画像の対応する点Mの座標
(X,Y)は、前述した三角法関数Fによって予備段階
で計算する。事実、各対(α0 ,β0 )に対する式(1
0a),(10b)および(11a),(11b)の関
係により、座標X,Yは固定され、源画像Iのパラメー
タφ,θおよびdが判った瞬間から一度にすべてについ
て決めることができる。
少なくともできるだけ良好な分解能とする「分解能」
は、先験的に球面Sのラジアン当たりの画素数で決ま
る。したがって、アドレス(α0 ,β0 )を付して、関
連した領域K* 内で球の表面に分布した画素K0 の量
は、先験的に選定される。所定の各画素K0 のアドレス
(α 0 ,β0 )は、球面Sの半径PK0 の球面座標(α
0 ,β0 )からなる。所定の画素K0 に結合した各対
(α0 ,β0 )について、源画像の対応する点Mの座標
(X,Y)は、前述した三角法関数Fによって予備段階
で計算する。事実、各対(α0 ,β0 )に対する式(1
0a),(10b)および(11a),(11b)の関
係により、座標X,Yは固定され、源画像Iのパラメー
タφ,θおよびdが判った瞬間から一度にすべてについ
て決めることができる。
【0143】本発明による図13を参照するに、源画像
Iはパラメータが先験的に既知の固定フレーミングを有
する画像であると仮定する。したがって、先験的に固定
の球面座標(α0 ,β0 )の対から初期段階で関数Fに
よって計算した座標(X,Y)の対は、選択した対(α
0 ,β0 )によって構成したアドレスで「テーブル(ラ
ット)」と呼ぶメモリ領域204に蓄積することができ
る。
Iはパラメータが先験的に既知の固定フレーミングを有
する画像であると仮定する。したがって、先験的に固定
の球面座標(α0 ,β0 )の対から初期段階で関数Fに
よって計算した座標(X,Y)の対は、選択した対(α
0 ,β0 )によって構成したアドレスで「テーブル(ラ
ット)」と呼ぶメモリ領域204に蓄積することができ
る。
【0144】別途述べるように、源画像Iの点Mの予め
計算した座標(X,Y)は、初期段階で、選ばれた画素
K0 の球面座標からなる各アドレス(α0 ,β0 )毎に
表(ラット)に書込まれる。
計算した座標(X,Y)は、初期段階で、選ばれた画素
K0 の球面座標からなる各アドレス(α0 ,β0 )毎に
表(ラット)に書込まれる。
【0145】さて、図13に示すアドレス計算器におい
ては、関数G-1により、実時間で、各対(X,Y)毎に
一つの対(α,β)を手段220が計算する。この計算
手段220は、例えば、(23a)式の三角法関係を実
行することによりαを提供するとともに、(23b)式
の三角法関係を実行することにより付随してβを提供す
るための図15に模式的に示す機能の組合わせからなっ
ている。したがって、本発明の手段により、使用者が目
標画像について新たな設定を選ぶ度毎に変化する変数を
備えた関数G-1は、実時間で計算するのに充分な簡単さ
になる。
ては、関数G-1により、実時間で、各対(X,Y)毎に
一つの対(α,β)を手段220が計算する。この計算
手段220は、例えば、(23a)式の三角法関係を実
行することによりαを提供するとともに、(23b)式
の三角法関係を実行することにより付随してβを提供す
るための図15に模式的に示す機能の組合わせからなっ
ている。したがって、本発明の手段により、使用者が目
標画像について新たな設定を選ぶ度毎に変化する変数を
備えた関数G-1は、実時間で計算するのに充分な簡単さ
になる。
【0146】図13を参照するに、つぎのブロック20
4は、ブロック220が行なった計算の、対(α,β)
からなる結果を受取る。このブロック204は、関数F
による計算の結果を蓄積するとともに、先験的に選んだ
対(α0 ,β0 )、すなわち、点K0 (α0 ,β0 )に
対応した点M(X,Y)に適用される表(ラット)であ
る。アドレス手段は、表204において、その表の分解
能の範囲内で、計算ブロック220が提供する計算した
アドレス(α,β)に最もよく対応したアドレス
(α0 ,β0 )を探索する。このアドレス(α0 ,
β0 )に、目標画像I* の開始画素M* (X* ,Y* )
に整合した源画像Iの点Mの座標(X,Y)が存在す
る。
4は、ブロック220が行なった計算の、対(α,β)
からなる結果を受取る。このブロック204は、関数F
による計算の結果を蓄積するとともに、先験的に選んだ
対(α0 ,β0 )、すなわち、点K0 (α0 ,β0 )に
対応した点M(X,Y)に適用される表(ラット)であ
る。アドレス手段は、表204において、その表の分解
能の範囲内で、計算ブロック220が提供する計算した
アドレス(α,β)に最もよく対応したアドレス
(α0 ,β0 )を探索する。このアドレス(α0 ,
β0 )に、目標画像I* の開始画素M* (X* ,Y* )
に整合した源画像Iの点Mの座標(X,Y)が存在す
る。
【0147】したがって、本発明による目標画像の構成
には、つぎの2種類の明確な近似が含まれる。X* ,Y
* における簡単化した三角法的関係を、(X* ,Y* )
を(α,β)に関連させる正確な式の替わりに、関数G
-1用に選ぶという事実に基づく、実際の光線Pμに替わ
る不正確な光線PWH * の球面座標(α,β)の計算に
おける第1近似。予め先験的に決めて表にした対
(α0 ,β0 )に対応して、G-1により実際に計算した
対(α,β)には対応しない関数Fにより初期の位相で
正確に計算した対と同様に座標(X,Y)を提供すると
いう事実に基づく、点M(X,Y)の決定における第2
近似。
には、つぎの2種類の明確な近似が含まれる。X* ,Y
* における簡単化した三角法的関係を、(X* ,Y* )
を(α,β)に関連させる正確な式の替わりに、関数G
-1用に選ぶという事実に基づく、実際の光線Pμに替わ
る不正確な光線PWH * の球面座標(α,β)の計算に
おける第1近似。予め先験的に決めて表にした対
(α0 ,β0 )に対応して、G-1により実際に計算した
対(α,β)には対応しない関数Fにより初期の位相で
正確に計算した対と同様に座標(X,Y)を提供すると
いう事実に基づく、点M(X,Y)の決定における第2
近似。
【0148】ブロック204、例えば、ルックアップテ
ーブルに替わるラット種の表は、初期段階で、源画像に
関連し、機能ブロック21に含まれ、多くの予定対(α
0 ,β0 )について関数Fを適用するデータの助けによ
って直接に負荷することができる。
ーブルに替わるラット種の表は、初期段階で、源画像に
関連し、機能ブロック21に含まれ、多くの予定対(α
0 ,β0 )について関数Fを適用するデータの助けによ
って直接に負荷することができる。
【0149】メモリブロック21には、源画像のパラメ
ータφ,θ,dを蓄積する。 D:固定カメラおよび車載カメラ擬似システムを備えた
画像処理装置 本発明は、個別の視野を混合してパノラマシーンを観る
ための広角視野を形成するように配置したn個の実際の
カメラのシステム、および、広角視野の任意の断片に対
応し、n個の実際のカメラが提供した隣接源画像から構
成したいわゆる目標副画像を実時間で提供するために、
パノラマシーンを連続的に走査するいわゆる仮想の車載
カメラを擬似し、実際のカメラの視野に併せもしくは近
接した視点を有する画像構成システムを備えた画像処理
装置にも関するものである。
ータφ,θ,dを蓄積する。 D:固定カメラおよび車載カメラ擬似システムを備えた
画像処理装置 本発明は、個別の視野を混合してパノラマシーンを観る
ための広角視野を形成するように配置したn個の実際の
カメラのシステム、および、広角視野の任意の断片に対
応し、n個の実際のカメラが提供した隣接源画像から構
成したいわゆる目標副画像を実時間で提供するために、
パノラマシーンを連続的に走査するいわゆる仮想の車載
カメラを擬似し、実際のカメラの視野に併せもしくは近
接した視点を有する画像構成システムを備えた画像処理
装置にも関するものである。
【0150】本発明は、例えばスポーツ行事のシーンの
記録の場合のように広い視野を覆うショットが必要な遠
隔監視部門やテレビジョン部門に適用され、また、死角
のない周辺パノラマ用バックミラーの製造における自動
車構成部門に適用される。
記録の場合のように広い視野を覆うショットが必要な遠
隔監視部門やテレビジョン部門に適用され、また、死角
のない周辺パノラマ用バックミラーの製造における自動
車構成部門に適用される。
【0151】前述した画像再構成システムの応用とし
て、本発明は、視野を混合したn個の固定カメラで覆う
広角視野を走査する車載カメラを擬似し得る画像処理装
置の提供を目的とする。
て、本発明は、視野を混合したn個の固定カメラで覆う
広角視野を走査する車載カメラを擬似し得る画像処理装
置の提供を目的とする。
【0152】本発明が最大の目的とするところは、実在
の車載カメラがもち得る能力のすべてを備えた、換言す
れば、固定した観視者に基づき、監視もしくは観視する
パノラマシーンの左から右への水平角運動の可能性、そ
のシーンの上から下への垂直角運動の可能性およびその
シーンの一部の領域をズームインする可能性を備えたカ
メラを擬似した画像処理装置の提供である。
の車載カメラがもち得る能力のすべてを備えた、換言す
れば、固定した観視者に基づき、監視もしくは観視する
パノラマシーンの左から右への水平角運動の可能性、そ
のシーンの上から下への垂直角運動の可能性およびその
シーンの一部の領域をズームインする可能性を備えたカ
メラを擬似した画像処理装置の提供である。
【0153】そこで、目標画像を構成する際に技術的問
題が生ずる。実際に、実際のカメラの能力を提供するに
は、その擬似カメラが実時間で目標画像を構成し得るよ
うにしなければならず、これは、計算時間が十分に短く
なければならないことを意味する。さて、実際に直面す
る場合における目標画像の構成は、複雑な幾何学的計算
の技術的問題を提起する。
題が生ずる。実際に、実際のカメラの能力を提供するに
は、その擬似カメラが実時間で目標画像を構成し得るよ
うにしなければならず、これは、計算時間が十分に短く
なければならないことを意味する。さて、実際に直面す
る場合における目標画像の構成は、複雑な幾何学的計算
の技術的問題を提起する。
【0154】第1の問題は、多数のカメラが、隣接し
て、各カメラが覆う視野が構成すべきパノラマシーンの
如何なる領域も失わないように配置され、あるゆるデー
タを目標画像の構成に利用し得るにも拘らず、カメラ間
の境界毎に一つのカメラが提供した画像から隣接カメラ
の他の画像に移る際に、これら異なるカメラが記録する
シーンの隣接領域に関し、二つのカメラの視野の相違の
みによる大きい画像歪みが生ずるという事実にある。
て、各カメラが覆う視野が構成すべきパノラマシーンの
如何なる領域も失わないように配置され、あるゆるデー
タを目標画像の構成に利用し得るにも拘らず、カメラ間
の境界毎に一つのカメラが提供した画像から隣接カメラ
の他の画像に移る際に、これら異なるカメラが記録する
シーンの隣接領域に関し、二つのカメラの視野の相違の
みによる大きい画像歪みが生ずるという事実にある。
【0155】第2の問題は、多くの場合、広角視野を覆
う監視を最小限の実際の固定カメラを用いて行なうため
に、使用するカメラ自体を「広角」すなわち魚眼型にす
る、という事実から派出する。この型の対物レンズは、
相当な大きさの典型的歪みを生じ、特に、水平・垂直の
線が円弧形状になる。
う監視を最小限の実際の固定カメラを用いて行なうため
に、使用するカメラ自体を「広角」すなわち魚眼型にす
る、という事実から派出する。この型の対物レンズは、
相当な大きさの典型的歪みを生じ、特に、水平・垂直の
線が円弧形状になる。
【0156】上述の問題を解決しないと、二つの異なる
カメラが記録したシーンの2領域に跨って形成した目標
画像は、精細度を全く欠いた極めて不愉快なものにな
る。
カメラが記録したシーンの2領域に跨って形成した目標
画像は、精細度を全く欠いた極めて不愉快なものにな
る。
【0157】これは、種々異なる実際の固定カメラから
発生した画像部分の幾何学的整合を達成する一方では、
視角の相違および実際の固定カメラの対物レンズの光学
的欠陥に基づく歪みに注目して補償しなければならない
理由であり、さらに、その画像処理を実時間で行わなけ
ればならない。
発生した画像部分の幾何学的整合を達成する一方では、
視角の相違および実際の固定カメラの対物レンズの光学
的欠陥に基づく歪みに注目して補償しなければならない
理由であり、さらに、その画像処理を実時間で行わなけ
ればならない。
【0158】したがって、本発明の目的は、実時間で目
標画像を再構成する機能を満たす一方では、前述したよ
うに高価な市販製品を用いてのみ実行し得る複雑な幾何
学的変換使用の必要性をなくした画像処理装置を提供す
ることにあり、この目的は、本発明による以下に述べる
画像処理装置により達成される。
標画像を再構成する機能を満たす一方では、前述したよ
うに高価な市販製品を用いてのみ実行し得る複雑な幾何
学的変換使用の必要性をなくした画像処理装置を提供す
ることにあり、この目的は、本発明による以下に述べる
画像処理装置により達成される。
【0159】この装置を用いれば、パノラマシーンを観
視する使用者は、ズームを備え、光学軸の方向に変化を
与え、すなわち、観視の際に傾斜および回転に変化を与
えるための機械的手段を備えた車載カメラを有する使用
者と全く同じ慰めとサービスとが得られる。利点は、機
械的手段が阻止されることである。傾斜角および回転角
の機械的回転用のモータおよびズーム調整用モータに組
合わせた機械的手段は、なお欠陥に結び付いており、ま
ず、相当の大きさであり、つぎに、発生する動きが極め
ておそく、さらに、極めて高価であり、最後に、通常戸
外に設けられているので、天候により急速に変化する。
本発明によって用いる電子的画像処理手段は、極めて精
密で、信頼性があり、極めて急速で、取扱い易いので、
これらの欠陥をすべて排除し、さらに天候から保護さ
れ、そのうえ、自動動作に対してプログラムし易く、最
後に、機械的手段より安価である。
視する使用者は、ズームを備え、光学軸の方向に変化を
与え、すなわち、観視の際に傾斜および回転に変化を与
えるための機械的手段を備えた車載カメラを有する使用
者と全く同じ慰めとサービスとが得られる。利点は、機
械的手段が阻止されることである。傾斜角および回転角
の機械的回転用のモータおよびズーム調整用モータに組
合わせた機械的手段は、なお欠陥に結び付いており、ま
ず、相当の大きさであり、つぎに、発生する動きが極め
ておそく、さらに、極めて高価であり、最後に、通常戸
外に設けられているので、天候により急速に変化する。
本発明によって用いる電子的画像処理手段は、極めて精
密で、信頼性があり、極めて急速で、取扱い易いので、
これらの欠陥をすべて排除し、さらに天候から保護さ
れ、そのうえ、自動動作に対してプログラムし易く、最
後に、機械的手段より安価である。
【0160】したがって、使用者は、本発明の手段を用
いれば、機械的手段を用いた場合に比べて、まず、観視
し易く、つぎに、より精密で、観視行動を実施する機能
が優れた画像が得られ、さらに、使用するカメラの台数
により、180°もしくは360°の視野が得られるの
で、さらに視野の広いパノラマシーンを観視することが
でき、その結果、監視領域が大いに増大する。
いれば、機械的手段を用いた場合に比べて、まず、観視
し易く、つぎに、より精密で、観視行動を実施する機能
が優れた画像が得られ、さらに、使用するカメラの台数
により、180°もしくは360°の視野が得られるの
で、さらに視野の広いパノラマシーンを観視することが
でき、その結果、監視領域が大いに増大する。
【0161】目標画像の構成に必要なデータを得るのに
複数台のカメラを用いるという事実は、単一の実際の車
載カメラに組合わせて、傾斜、回転あるいはズームを変
化させる機械的装置より固定のCCD(電荷結合素子)
カメラの組合わせの方が安価になるので、不利ではなく
なる。 D1:画像撮影システム 図10(C)は、180°角のシームに関するデータを
記録するための複数台の実際の固定カメラの可能な配置
を断面で示すものである。このパノラマシーンの記録
は、3台の固定カメラC1,C2,C3で行われ、これ
らのカメラの光学視野は、パノラマシーンの全データが
絶対的に一つもしくは他のカメラで記録され、如何なる
対象物も監視を免れ得ないようになっており、これらの
カメラは、共通の視点、もしくは、極めて近接した視点
群を有するように配置してある。
複数台のカメラを用いるという事実は、単一の実際の車
載カメラに組合わせて、傾斜、回転あるいはズームを変
化させる機械的装置より固定のCCD(電荷結合素子)
カメラの組合わせの方が安価になるので、不利ではなく
なる。 D1:画像撮影システム 図10(C)は、180°角のシームに関するデータを
記録するための複数台の実際の固定カメラの可能な配置
を断面で示すものである。このパノラマシーンの記録
は、3台の固定カメラC1,C2,C3で行われ、これ
らのカメラの光学視野は、パノラマシーンの全データが
絶対的に一つもしくは他のカメラで記録され、如何なる
対象物も監視を免れ得ないようになっており、これらの
カメラは、共通の視点、もしくは、極めて近接した視点
群を有するように配置してある。
【0162】軸PZ1,PZ2,PZ3は、カメラC
1,C2,C3の光学軸をそれぞれ表わし、点O1,O
2,O3は、画像平面における画像I1,I2,I3の
幾何中心を光学軸上にそれぞれ表わしている。
1,C2,C3の光学軸をそれぞれ表わし、点O1,O
2,O3は、画像平面における画像I1,I2,I3の
幾何中心を光学軸上にそれぞれ表わしている。
【0163】当業者は、固定カメラ相互の種々の配置を
さらに詳しく説明せずとも、パノラマシーンのあらゆる
種類の観視を行なうことができる。
さらに詳しく説明せずとも、パノラマシーンのあらゆる
種類の観視を行なうことができる。
【0164】一般に、画像撮影装置は、複数n台の実際
の固定カメラを、固定の既知の焦点距離をもって隣接配
置して備えており、個別の視野を混ぜて、広角視野を覆
うよになっている。したがって、n台の隣接固定したカ
メラは、n個の固定画像を提供しているので、この画像
撮影装置はパノラマシーンを監視し得る。カメラ群の光
学視野は、パノラマシーンの詳細が、すべて、一つもし
くは他のカメラで記録され、如何なる対象物も監視を免
れ得ないようになっている。
の固定カメラを、固定の既知の焦点距離をもって隣接配
置して備えており、個別の視野を混ぜて、広角視野を覆
うよになっている。したがって、n台の隣接固定したカ
メラは、n個の固定画像を提供しているので、この画像
撮影装置はパノラマシーンを監視し得る。カメラ群の光
学視野は、パノラマシーンの詳細が、すべて、一つもし
くは他のカメラで記録され、如何なる対象物も監視を免
れ得ないようになっている。
【0165】かかる結果を得るために、これらn台の隣
接固定カメラは、視点とも呼ぶ光学中心Pが互いに一致
するように配置する。
接固定カメラは、視点とも呼ぶ光学中心Pが互いに一致
するように配置する。
【0166】事実、n個のカメラの視点は、物理的に一
致させ得ない。しかしながら、これらの視点を互いに分
離する距離が、撮影するパノラマシーンからの距離に比
して小さく、例えば、相互間の距離が5cm乃至10cmで
あって、パノラマシーンからの距離が5mであれば、一
致の条件は、以下では、十分によく満たされ、したがっ
て、これらの距離の比が50より大きい程度であれば、
一致の条件は満たされたと考えられる。 D2:カメラ群による画像の形成 本発明の目的は、n台の固定カメラで記録したパノラマ
シーンの任意の部分もしくは副画像のディジタル画像
を、実時間で、使用者が選んだ設定によって提供し得る
車載カメラを擬似したディジタル画像再構成システムを
提供することにある。
致させ得ない。しかしながら、これらの視点を互いに分
離する距離が、撮影するパノラマシーンからの距離に比
して小さく、例えば、相互間の距離が5cm乃至10cmで
あって、パノラマシーンからの距離が5mであれば、一
致の条件は、以下では、十分によく満たされ、したがっ
て、これらの距離の比が50より大きい程度であれば、
一致の条件は満たされたと考えられる。 D2:カメラ群による画像の形成 本発明の目的は、n台の固定カメラで記録したパノラマ
シーンの任意の部分もしくは副画像のディジタル画像
を、実時間で、使用者が選んだ設定によって提供し得る
車載カメラを擬似したディジタル画像再構成システムを
提供することにある。
【0167】n台のカメラがいわゆるディジタル源画像
I1,I2,…,In を提供し、以下では、n台のう
ち、2台の隣接固定カメラが形成した源画像Ii とIj
とを例として考案する。
I1,I2,…,In を提供し、以下では、n台のう
ち、2台の隣接固定カメラが形成した源画像Ii とIj
とを例として考案する。
【0168】図10(A)を参照するに、これらの隣接
固定カメラCi およびCj は、隣接源画像平面Ii およ
びj に、パノラマシーンのそれぞれの画像を形成する。
図10(B)を参照するに、軸PXa およびPZa が垂
直で、軸PYa が水平の直交軸により、絶対枠PXa ,
PYa ,PZa が判定される。
固定カメラCi およびCj は、隣接源画像平面Ii およ
びj に、パノラマシーンのそれぞれの画像を形成する。
図10(B)を参照するに、軸PXa およびPZa が垂
直で、軸PYa が水平の直交軸により、絶対枠PXa ,
PYa ,PZa が判定される。
【0169】源画像Ii およびIj がディジタル化さ
れ、これらの画像の各画素Mが図3(A)および3
(B)を参照して前述したように各画像平面に結合した
個別枠内に、その座標によって規定される。
れ、これらの画像の各画素Mが図3(A)および3
(B)を参照して前述したように各画像平面に結合した
個別枠内に、その座標によって規定される。
【0170】カメラの各画像平面に結合した個別枠が一
旦確立されると、これらの固定源画像平面は、それぞれ
の回転角θi ,θj および傾斜角φi ,φj により現実
の枠に結合することができる。
旦確立されると、これらの固定源画像平面は、それぞれ
の回転角θi ,θj および傾斜角φi ,φj により現実
の枠に結合することができる。
【0171】図10(A)において、軸PTaiおよびP
Tajは光学軸PZi およびPZj の射影であり、点Oai
およびOajは光学中心Oi およびOj の射影であり、接
片I aiおよびIajは、絶対枠の水平平面(PZa ,PX
a )である図の平面における画像平面Ii およびIj の
射影である。
Tajは光学軸PZi およびPZj の射影であり、点Oai
およびOajは光学中心Oi およびOj の射影であり、接
片I aiおよびIajは、絶対枠の水平平面(PZa ,PX
a )である図の平面における画像平面Ii およびIj の
射影である。
【0172】したがって、図10(A)においては、 Qi =(PTai,PZa );Qj (PTaj,PZa ) であり、源画像Ii およびIj に関する角度φi および
φj は、図6(A)を参照して前述したように決定する
ことができ、したがって、φi =(PZi ,PT ai)お
よびφi =(PZj ,PTaj)となる。
φj は、図6(A)を参照して前述したように決定する
ことができ、したがって、φi =(PZi ,PT ai)お
よびφi =(PZj ,PTaj)となる。
【0173】図11(A)は、2台の隣接固定カメラが
提供したパノラマシーンの隣接画像Ii およびIj の正
面を示すものである。図11(A)において、説明を簡
単にするために、画像Ii およびIj は、ともに図の平
面に正面を示してあるが、実際は、固定カメラの光学軸
がなす角に等しい角をなしている。かかる画像におい
て、使用者は、線J0 で境界を定めた任意の副画像を、
もっと左もしくは右に、もっと上もしくは下に、固定カ
メラと同じ大きさ、もしくは、もっと大きくあるいはも
っと小さくして眺めるように選ぶことができる。
提供したパノラマシーンの隣接画像Ii およびIj の正
面を示すものである。図11(A)において、説明を簡
単にするために、画像Ii およびIj は、ともに図の平
面に正面を示してあるが、実際は、固定カメラの光学軸
がなす角に等しい角をなしている。かかる画像におい
て、使用者は、線J0 で境界を定めた任意の副画像を、
もっと左もしくは右に、もっと上もしくは下に、固定カ
メラと同じ大きさ、もしくは、もっと大きくあるいはも
っと小さくして眺めるように選ぶことができる。
【0174】擬似車載カメラは、図11(A)の線J0
で境界を定めた源画像部分Si ,S j から目標画像I*
を構成することができる。以後C* で示すこのカメラ
は、実在しないカメラを擬似した事実の故に、仮想カメ
ラと呼ぶ。明らかに、この車載カメラは、2画像Ii ,
Ij の探索に限定されるものではなく、I1 乃至In の
全源画像を探索することができ、おそらく、2隣接源画
像以上の目標画像を構成することができる。
で境界を定めた源画像部分Si ,S j から目標画像I*
を構成することができる。以後C* で示すこのカメラ
は、実在しないカメラを擬似した事実の故に、仮想カメ
ラと呼ぶ。明らかに、この車載カメラは、2画像Ii ,
Ij の探索に限定されるものではなく、I1 乃至In の
全源画像を探索することができ、おそらく、2隣接源画
像以上の目標画像を構成することができる。
【0175】目標画像I* は、以前のように、回転角度
θ1 * 傾斜角φ1 * 尺度率d* 、すなわち、画素群の列
に平行の高さ2Vy * および行に平行の幅2Vx * によ
って規定され、その視点は、実際の固定カメラの近似視
点および絶対原点Pに併合され、点O* は目標画像I*
の幾何中心になる。
θ1 * 傾斜角φ1 * 尺度率d* 、すなわち、画素群の列
に平行の高さ2Vy * および行に平行の幅2Vx * によ
って規定され、その視点は、実際の固定カメラの近似視
点および絶対原点Pに併合され、点O* は目標画像I*
の幾何中心になる。
【0176】図10(A)は、水平平面における仮想カ
メラの目標画像平面I* のIa * で表わした射影、およ
び、その光学軸PZ* の射影PTa * を示すものであ
り、その射影PTa * は、目標画像I* の幾何中心O*
の射影Oa * を通る。
メラの目標画像平面I* のIa * で表わした射影、およ
び、その光学軸PZ* の射影PTa * を示すものであ
り、その射影PTa * は、目標画像I* の幾何中心O*
の射影Oa * を通る。
【0177】したがって、回転角θ* 、傾斜角φ* 、尺
度率d* およびフレーミング2Vx * 、2Vy * を変化
させることにより、仮想のカメラは、種々の実際の固定
カメラの混ぜた視野が形成する広角視野を走査する実時
間車載カメラに全く類似して来る。
度率d* およびフレーミング2Vx * 、2Vy * を変化
させることにより、仮想のカメラは、種々の実際の固定
カメラの混ぜた視野が形成する広角視野を走査する実時
間車載カメラに全く類似して来る。
【0178】図11(A)を参照するに、仮想カメラC
* が広角視野の線J0 で境界を決めた小部分すなわち副
片を観視して、可変焦点距離PO* を変えることによ
り、実際のカメラの各々が提供する画像I1 乃至In の
各々と例えば同じ最終寸法をもった拡大画像I* を形成
し得ることが判る。また、車載カメラC* の視野の動き
を継続的で任意のものになし得ることも判る。
* が広角視野の線J0 で境界を決めた小部分すなわち副
片を観視して、可変焦点距離PO* を変えることによ
り、実際のカメラの各々が提供する画像I1 乃至In の
各々と例えば同じ最終寸法をもった拡大画像I* を形成
し得ることが判る。また、車載カメラC* の視野の動き
を継続的で任意のものになし得ることも判る。
【0179】線J0 に対応する視野がLOで隣接する画
像Ii とIj との2部分Si ,Sjに跨がり、2台の隣
接カメラによって提供される場合を以下で取扱うが、当
業者は二つ以上の源画像に関する他の場合に引続き一般
化することができるであろう。
像Ii とIj との2部分Si ,Sjに跨がり、2台の隣
接カメラによって提供される場合を以下で取扱うが、当
業者は二つ以上の源画像に関する他の場合に引続き一般
化することができるであろう。
【0180】図11(B)を参照するに、仮想カメラC
* が構成した画像I* が異なった2画像部分を含んでい
る場合に、一方の画像部分Ii * は、ディジタル画像I
i に含まれた情報Si から構成され、他方の画像部分I
j * は、ディジタル画像Ijに含まれた情報Sj から構
成される。図9(A)において、Iai * およびI
aj *は、水平における目標画像Ii * およびIj * の射
影を表わす。
* が構成した画像I* が異なった2画像部分を含んでい
る場合に、一方の画像部分Ii * は、ディジタル画像I
i に含まれた情報Si から構成され、他方の画像部分I
j * は、ディジタル画像Ijに含まれた情報Sj から構
成される。図9(A)において、Iai * およびI
aj *は、水平における目標画像Ii * およびIj * の射
影を表わす。
【0181】前述したように、直交座標の個別枠は、今
度はディジタル目標画像I* について規定され、したが
って、目標画像平面I* の各画素M* は、その目標個別
枠における座標によって参照される。
度はディジタル目標画像I* について規定され、したが
って、目標画像平面I* の各画素M* は、その目標個別
枠における座標によって参照される。
【0182】同様に、目標画像の画素2Vx * ,2Vy
* で表わした寸法が規定される。 D3:源画像から目標画像を構成する過程
* で表わした寸法が規定される。 D3:源画像から目標画像を構成する過程
【0183】したがって、本発明によるディジタル画像
処理手段の仕事は、実際の固定カメラが提供する「源画
像」からの仮想カメラが提供する「目標画像」の実時間
構成である。
処理手段の仕事は、実際の固定カメラが提供する「源画
像」からの仮想カメラが提供する「目標画像」の実時間
構成である。
【0184】目標画像I* の構成において、隣接した実
際のカメラが、図12(A)および12(B)の風景の
ディジタル画像の形に表わして提供した隣接左右の画像
IiおよびIj が正確に接合し得ないようにする歪み、
特に、直線のある部分が曲がり、縦線が縦ではなくなる
等の歪みを呈する、という事実に基づく技術的問題が生
じており、これは、縦線が、接合部で、互いに一線に並
ばずに、切り離されることを意味する。さらに、接合部
の両側の源画像部分が、観視すべきパノラマ画像の互い
に異なる斜視図法のもとに眺めた部分からなっており、
これが、目標画像部分Ii * とIj * とが、図12
(C)に例示した目標ディジタル画像から明らかなよう
に、うまく接合し得ず、図12(A)および12(B)
の左右の隣接ディジタル画像の部分を単に簡単に並べて
形成させている。
際のカメラが、図12(A)および12(B)の風景の
ディジタル画像の形に表わして提供した隣接左右の画像
IiおよびIj が正確に接合し得ないようにする歪み、
特に、直線のある部分が曲がり、縦線が縦ではなくなる
等の歪みを呈する、という事実に基づく技術的問題が生
じており、これは、縦線が、接合部で、互いに一線に並
ばずに、切り離されることを意味する。さらに、接合部
の両側の源画像部分が、観視すべきパノラマ画像の互い
に異なる斜視図法のもとに眺めた部分からなっており、
これが、目標画像部分Ii * とIj * とが、図12
(C)に例示した目標ディジタル画像から明らかなよう
に、うまく接合し得ず、図12(A)および12(B)
の左右の隣接ディジタル画像の部分を単に簡単に並べて
形成させている。
【0185】本発明は、かかる欠陥を除去し、歪みや斜
視図法の欠点を免れて実時間で再構成したディジタル画
像を提供する過程および手段を提案するものであり、観
視者や使用者に境界線が見えないようにして構成部分I
i * とIj * とを接合するものである。
視図法の欠点を免れて実時間で再構成したディジタル画
像を提供する過程および手段を提案するものであり、観
視者や使用者に境界線が見えないようにして構成部分I
i * とIj * とを接合するものである。
【0186】図12(D)には、歪みや斜視図法の欠点
を本発明の手段により訂正した図12(C)の風景のデ
ィジタル画像を示す。
を本発明の手段により訂正した図12(C)の風景のデ
ィジタル画像を示す。
【0187】当業者は、知らされておれば、水平線が完
全に真直ぐであり、実際のカメラで広角対物レンズを用
いて直接に画像を撮った場合のような曲がりが少しもな
いことに気付くであろう。さらに、垂直線は、完全に垂
直であって、裸眼で観視し、あるいは、実際のカメラで
撮影したときのように後退していない。これは、画像H
* を得るために平面Hに目標画像I* を投影する関数G
-1の計算の際に行なう選択の結果であり、修正した画
像、屡々、「正確」以上に修正した画像が特に快く眺め
られることになる。
全に真直ぐであり、実際のカメラで広角対物レンズを用
いて直接に画像を撮った場合のような曲がりが少しもな
いことに気付くであろう。さらに、垂直線は、完全に垂
直であって、裸眼で観視し、あるいは、実際のカメラで
撮影したときのように後退していない。これは、画像H
* を得るために平面Hに目標画像I* を投影する関数G
-1の計算の際に行なう選択の結果であり、修正した画
像、屡々、「正確」以上に修正した画像が特に快く眺め
られることになる。
【0188】したがって、本発明によって得た図12
(D)の画像は、図12(A)や12(B)のような実
際の画像より遙かに快適に眺められ、さらに、図12
(C)に見られたような目標画像構成の境界は、図12
(D)には最早存在しない。
(D)の画像は、図12(A)や12(B)のような実
際の画像より遙かに快適に眺められ、さらに、図12
(C)に見られたような目標画像構成の境界は、図12
(D)には最早存在しない。
【0189】目標画像を構成する一般過程は、以下に述
べる信号処理装置によって実行する種々の段階を備えて
いる。
べる信号処理装置によって実行する種々の段階を備えて
いる。
【0190】この信号処理過程は、つぎのような第1段
階を備えている。目標画像I* のアドレス(X* ,
Y* )を有する各画素M* は、源画像Iのアドレス
(X,Y)における点Mに整合し、そのアドレスは源画
像Iを提供する実際のカメラの参照概要および源画像I
の点Mのアドレス(X,Y)によって決まる。
階を備えている。目標画像I* のアドレス(X* ,
Y* )を有する各画素M* は、源画像Iのアドレス
(X,Y)における点Mに整合し、そのアドレスは源画
像Iを提供する実際のカメラの参照概要および源画像I
の点Mのアドレス(X,Y)によって決まる。
【0191】この信号処理過程は、つぎのような第2段
階を備えている。輝度Qの最もあり得る値を源画像Iの
点Mについて評価し、その輝度値Qを目標画像I* の画
素M* に割当てる。
階を備えている。輝度Qの最もあり得る値を源画像Iの
点Mについて評価し、その輝度値Qを目標画像I* の画
素M* に割当てる。
【0192】これらの段階は目標画像I* の全画素M*
について行なわれ、処理手段は、観視者に快適な画像の
画質、すなわち、最小の歪みおよび斜視図法の調整と隣
接2画像間の境界における破断の不在とをできるだけ備
えて実時間で構成した目標画像を付与する。 D4:画像処理装置
について行なわれ、処理手段は、観視者に快適な画像の
画質、すなわち、最小の歪みおよび斜視図法の調整と隣
接2画像間の境界における破断の不在とをできるだけ備
えて実時間で構成した目標画像を付与する。 D4:画像処理装置
【0193】図14には、機能ブロックの形で、本発明
による画像処理装置の種々の要素を示す。
による画像処理装置の種々の要素を示す。
【0194】ブロックI1 ,…,Ii ,Ij ,…,In
は、記号I1 ,…,Ii ,Ij ,…,In を付したn個
の源画像に出力を提供するn個のメモリ平面を表わす。
は、記号I1 ,…,Ii ,Ij ,…,In を付したn個
の源画像に出力を提供するn個のメモリ平面を表わす。
【0195】源画像の各々は、シーンに関して対応する
実際のカメラの方向に対応する画像パラメータを尺度率
とともに割当てられ、それらのパラメータは極めて精密
に知られもしくは決定されなければならない。
実際のカメラの方向に対応する画像パラメータを尺度率
とともに割当てられ、それらのパラメータは極めて精密
に知られもしくは決定されなければならない。
【0196】仮想カメラC* の方向およびフレーミング
に関するパラメータを使用者に選択して表示させ得る制
御システムをアセンブリ1が表わしている。
に関するパラメータを使用者に選択して表示させ得る制
御システムをアセンブリ1が表わしている。
【0197】アセンブリ100は、制御システム1が決
めたパラメータによって方向を決め、操縦される仮想カ
メラC* が与える目標画像I* を、実際のカメラ群が提
供する源画像I1 ,…,In から計算し得るようにする
画像再構成システムであり、その仮想カメラC* は、視
点が実際のカメラの視点Pに併合され、もしくは、近接
するように配置してある。
めたパラメータによって方向を決め、操縦される仮想カ
メラC* が与える目標画像I* を、実際のカメラ群が提
供する源画像I1 ,…,In から計算し得るようにする
画像再構成システムであり、その仮想カメラC* は、視
点が実際のカメラの視点Pに併合され、もしくは、近接
するように配置してある。
【0198】ブロック10は、就中、実時間用ディジタ
ル表示モニタあるいは磁気テープに記録するビデオレコ
ーダであり得る表示手段もしくは他の記録手段に対応す
るものである。
ル表示モニタあるいは磁気テープに記録するビデオレコ
ーダであり得る表示手段もしくは他の記録手段に対応す
るものである。
【0199】さらに、実際のカメラはアナログデータを
提供し得ることに留意すべきである。この場合、図示し
てないアナログ−ディジタル変換モジュールがディジタ
ル源画像の形成に用いられる。
提供し得ることに留意すべきである。この場合、図示し
てないアナログ−ディジタル変換モジュールがディジタ
ル源画像の形成に用いられる。
【0200】有利なことに、当業者は電荷結合カメラ
(CCD)を選択することができ、この種のカメラは、
安価で、軽量で、頑丈で、信頼性があり、その解像度は
極めて良好で、技術の進歩とともに将来さらに増大す
る。
(CCD)を選択することができ、この種のカメラは、
安価で、軽量で、頑丈で、信頼性があり、その解像度は
極めて良好で、技術の進歩とともに将来さらに増大す
る。
【0201】図13を参照するに、画像処理装置は、特
に、アセンブリ1内に、使用者インターフェース2、パ
ラメータφ* ,θ* ,d* の蓄積手段210および仮想
カメラC* のフレーミング2Vx * ,2Vy * の蓄積手
段を備えている。
に、アセンブリ1内に、使用者インターフェース2、パ
ラメータφ* ,θ* ,d* の蓄積手段210および仮想
カメラC* のフレーミング2Vx * ,2Vy * の蓄積手
段を備えている。
【0202】図14を参照するに、画像処理装置は、目
標画像I* の全体を覆うようにして、画素順次に、目標
画像I* の画素のアドレス(X* ,Y* )を発生させる
アドレス発生器113を合体したアドレス計算器20
0、および、実際のカメラC1乃至Cn それぞれのパラ
メータφ1 乃至φn ,θ1 乃至θn およびd1 乃至dn
の蓄積手段21、並びに、蓄積手段117を備えてい
る。
標画像I* の全体を覆うようにして、画素順次に、目標
画像I* の画素のアドレス(X* ,Y* )を発生させる
アドレス発生器113を合体したアドレス計算器20
0、および、実際のカメラC1乃至Cn それぞれのパラ
メータφ1 乃至φn ,θ1 乃至θn およびd1 乃至dn
の蓄積手段21、並びに、蓄積手段117を備えてい
る。
【0203】構成すべき目標画像I* の各画素M* につ
いて、座標(X* ,Y* )が、目標画像I* のアドレス
を発生させるブロック113によって提供される。使用
者インターフェース2自体により制御ブロック1に入
り、ブロック210および201に仮想カメラのパラメ
ータφ* ,θ* ,d* およびVx * ,Dy * の形でそれ
ぞれ蓄積される、使用者が選んだ設定に依るとともに、
ブロック21に蓄積される実際のカメラのパラメータφ
j ,θj およびdj (jはここではカメラ1乃至n全部
の指標を表わす)に依り、アドレス計算器200は、目
標画像I* の画素M* の座標(X* ,Y* )に対応する
データである、画像Ij を提供し得る実際のカメラの指
標j(指標1からnまで)を提供し、選択した源画像I
j において対応する点Mの座標(X,Y)を計算し、イ
ンターフェース2で使用者が定める種々の変換もしくは
斜視図法を介してそのようにする。
いて、座標(X* ,Y* )が、目標画像I* のアドレス
を発生させるブロック113によって提供される。使用
者インターフェース2自体により制御ブロック1に入
り、ブロック210および201に仮想カメラのパラメ
ータφ* ,θ* ,d* およびVx * ,Dy * の形でそれ
ぞれ蓄積される、使用者が選んだ設定に依るとともに、
ブロック21に蓄積される実際のカメラのパラメータφ
j ,θj およびdj (jはここではカメラ1乃至n全部
の指標を表わす)に依り、アドレス計算器200は、目
標画像I* の画素M* の座標(X* ,Y* )に対応する
データである、画像Ij を提供し得る実際のカメラの指
標j(指標1からnまで)を提供し、選択した源画像I
j において対応する点Mの座標(X,Y)を計算し、イ
ンターフェース2で使用者が定める種々の変換もしくは
斜視図法を介してそのようにする。
【0204】したがって、これらの作動子を介して、目
標画像I* の与えられたアドレス(X* ,Y* )におけ
る画素M* と源画像Ij の計算されたアドレス(X,
Y)における画素Mとの間に対応が確立される。
標画像I* の与えられたアドレス(X* ,Y* )におけ
る画素M* と源画像Ij の計算されたアドレス(X,
Y)における画素Mとの間に対応が確立される。
【0205】ついで、目標画像I* におけるアドレス
(X* ,Y* )の対応する画素M* に割当てるために、
源画像Ij におけるアドレス(X,Y)の点Mに輝度Q
の値を決定し、同じことを目標画像I* の全画素に対し
て行なう。
(X* ,Y* )の対応する画素M* に割当てるために、
源画像Ij におけるアドレス(X,Y)の点Mに輝度Q
の値を決定し、同じことを目標画像I* の全画素に対し
て行なう。
【0206】しかしながら、目標画像I* におけるアド
レス(X* ,Y* )が実際に画素M * のアドレスである
が故に、対称的に、源画像Ij におけるアドレス(X,
Y)は実際に計算したアドレスであり、これは、一般に
この見出したアドレスは、画素には一致せず、画素間の
点Mに一致することを意味する。したがって、この点M
の輝度も計算しなければならない。
レス(X* ,Y* )が実際に画素M * のアドレスである
が故に、対称的に、源画像Ij におけるアドレス(X,
Y)は実際に計算したアドレスであり、これは、一般に
この見出したアドレスは、画素には一致せず、画素間の
点Mに一致することを意味する。したがって、この点M
の輝度も計算しなければならない。
【0207】この問題は補間器112が取扱うが、補間
器112は,問題の点M(X,Y)に対応する輝度関数
を補間処理によって計算するために、その点M(X,
Y)の近傍の画素、例えばm1,m2,m3,m4の輝
度関数の値に注目し、アドレス(X,Y)を有するこの
点Mに割当てるべき最も可能性の大きい輝度関数を計算
する。
器112は,問題の点M(X,Y)に対応する輝度関数
を補間処理によって計算するために、その点M(X,
Y)の近傍の画素、例えばm1,m2,m3,m4の輝
度関数の値に注目し、アドレス(X,Y)を有するこの
点Mに割当てるべき最も可能性の大きい輝度関数を計算
する。
【0208】源画像におけるアドレス(X,Y)につい
て補間器が計算した輝度関数Qを、ついで、目標画像I
* における開始アドレス(X* ,Y* )に位置する画素
M*に輝度関数値として配置し、ブロック117に蓄積
する。
て補間器が計算した輝度関数Qを、ついで、目標画像I
* における開始アドレス(X* ,Y* )に位置する画素
M*に輝度関数値として配置し、ブロック117に蓄積
する。
【0209】このアドレス計算器200は、単一の源画
像の処理の場合に、図13を参照して詳細に前述したも
のである。
像の処理の場合に、図13を参照して詳細に前述したも
のである。
【0210】複数の源画像の処理の場合には、このアド
レス計算器200は、特に、初期段階の期間中に、実際
のカメラ全部に関してブロック21に蓄積したデータを
負荷し、源画像の指標jおよび源画像におけるアドレス
(X,Y)を直接に提供するモジュール204を備え、
前述したように、モジュール220が計算した点K
(α,β)に対応する画素K0 (α0 ,β0 )において
球面Sからこれらのデータを読取る。
レス計算器200は、特に、初期段階の期間中に、実際
のカメラ全部に関してブロック21に蓄積したデータを
負荷し、源画像の指標jおよび源画像におけるアドレス
(X,Y)を直接に提供するモジュール204を備え、
前述したように、モジュール220が計算した点K
(α,β)に対応する画素K0 (α0 ,β0 )において
球面Sからこれらのデータを読取る。
【0211】図14を参照するに、画像I* は、アドレ
ス(X* ,Y* )を有する各画素M * を輝度関数Qの値
に整合させることにより、蓄積ブロック117で作り替
えることがき、目標画像が構成される。画像I* は、引
続き、表示し、もしくは、手段10に蓄積することがで
きる。
ス(X* ,Y* )を有する各画素M * を輝度関数Qの値
に整合させることにより、蓄積ブロック117で作り替
えることがき、目標画像が構成される。画像I* は、引
続き、表示し、もしくは、手段10に蓄積することがで
きる。
【0212】例えば、境界領域における源画像の重なり
により、複数の源画像が存在し得る場合には、二つの源
画像の一方を直接に提供するために、ブロック204を
表にする。
により、複数の源画像が存在し得る場合には、二つの源
画像の一方を直接に提供するために、ブロック204を
表にする。
【0213】この目的のために、表にする期間中2画像
間の選択の過程は、境界領域における2画像間の接合
が、重複領域の中央をほぼ通る直線になるように決定す
ることになり、この方法は、垂直接合による図10にお
けると同様に、カメラが水平に並んだ場合にも適用する
ことができる。
間の選択の過程は、境界領域における2画像間の接合
が、重複領域の中央をほぼ通る直線になるように決定す
ることになり、この方法は、垂直接合による図10にお
けると同様に、カメラが水平に並んだ場合にも適用する
ことができる。
【0214】図15は、関数G-1の実施、すなわち、つ
ぎの式の計算のための機能的ブロック線図を表わしたも
のである。 α=A* +θ* (23a) β= tan-1〔(Y* −Y0 )(cos A* )/d* 〕(22b) ここに A* = tan-1(X* /d* ) (20a) および Y0 =d* ・ tan* φ* (19)
ぎの式の計算のための機能的ブロック線図を表わしたも
のである。 α=A* +θ* (23a) β= tan-1〔(Y* −Y0 )(cos A* )/d* 〕(22b) ここに A* = tan-1(X* /d* ) (20a) および Y0 =d* ・ tan* φ* (19)
【0215】したがって、画像処理装置のこの部分22
0は、つぎの各構成要素を備えている:目標画像I* の
全画素M* の座標X* ,Y* を順次に提供するアドレス
発生器システム113;目標画像のパラメータの蓄積シ
ステム210;メモリブロック210から抽出した尺度
率d* の逆数を提供する反転器52、第1座標X* と1
/d* とを乗算する乗算器51、乗算器51が提供する
結果に適用する逆正切を計算するとともに、中間変数A
* を提供するモジュール58、および、ブロック210
からのパラメータθ* および中間変数A* を受取って第
1球面座標αを提供する加算器59を含有し、球面座標
αを提供するために第1座標X* を処理するシステム;
並びに、反転器52からの結果(1/d* )および変数
Y* を受取る乗算器54、ブロック210が提供する目
標画像パラメータφ* を受取る正切計算手段57、乗算
器54からの結果(Y* /d* )およびブロック57の
出力のtanφ*値を受取って、その結果を乗算器56
の入力に供給する差算器55、中間変数A* を受取って
乗算器56の入力にcosA* を供給する余弦計算ブロ
ック60、加算器ブロック55からの結果およびcos
A* を受取る乗算器56、および、乗算器56からの結
果を受取って第2球面座標βを提供する逆正切計算モジ
ュール61を含有して、球面座標βを提供するために第
2座標Y* を処理するシステムを備えている。
0は、つぎの各構成要素を備えている:目標画像I* の
全画素M* の座標X* ,Y* を順次に提供するアドレス
発生器システム113;目標画像のパラメータの蓄積シ
ステム210;メモリブロック210から抽出した尺度
率d* の逆数を提供する反転器52、第1座標X* と1
/d* とを乗算する乗算器51、乗算器51が提供する
結果に適用する逆正切を計算するとともに、中間変数A
* を提供するモジュール58、および、ブロック210
からのパラメータθ* および中間変数A* を受取って第
1球面座標αを提供する加算器59を含有し、球面座標
αを提供するために第1座標X* を処理するシステム;
並びに、反転器52からの結果(1/d* )および変数
Y* を受取る乗算器54、ブロック210が提供する目
標画像パラメータφ* を受取る正切計算手段57、乗算
器54からの結果(Y* /d* )およびブロック57の
出力のtanφ*値を受取って、その結果を乗算器56
の入力に供給する差算器55、中間変数A* を受取って
乗算器56の入力にcosA* を供給する余弦計算ブロ
ック60、加算器ブロック55からの結果およびcos
A* を受取る乗算器56、および、乗算器56からの結
果を受取って第2球面座標βを提供する逆正切計算モジ
ュール61を含有して、球面座標βを提供するために第
2座標Y* を処理するシステムを備えている。
【0216】三角法比(cos,tan-1,tan)を
計算するブロックおよび反転器ブロックは、例えばRO
Mメモリに負荷し得る図表(ラット)の固定手段によっ
て構成することができる。
計算するブロックおよび反転器ブロックは、例えばRO
Mメモリに負荷し得る図表(ラット)の固定手段によっ
て構成することができる。
【0217】説明のために、画素の符号化についてクレ
ーレベルすなわち輝度によって前述したところは、カラ
ー画像の符号化にも適用することができ、その符号化
は、さらに多くのビット数に対しても簡単に実施され
る。
ーレベルすなわち輝度によって前述したところは、カラ
ー画像の符号化にも適用することができ、その符号化
は、さらに多くのビット数に対しても簡単に実施され
る。
【0218】したがって、本発明の変形においては、源
画像IもしくはIj の点Mについて決定し、目標画像I
* の画素M* に配置すべき関数Qを、前述した輝度関
数、もしくは、色度関数、もしくは、輝度および色度の
関数、もしくは、X線強度関数、もしくは、γ線強度関
数などとすることができる。
画像IもしくはIj の点Mについて決定し、目標画像I
* の画素M* に配置すべき関数Qを、前述した輝度関
数、もしくは、色度関数、もしくは、輝度および色度の
関数、もしくは、X線強度関数、もしくは、γ線強度関
数などとすることができる。
【0219】一般に、関数Qは、源画像について計算し
た点Mにおけるディジタル信号の特性関数である。
た点Mにおけるディジタル信号の特性関数である。
【0220】目標画像には目につく接合がないのである
から、複数の手段、すなわち、固定カメラの精細な較
正、および、欠点のない目標画像における集中により完
全な並置が得られるまで、固定カメラのモデルのパラメ
ーターの可能な修正を続ける帰還の結果の訂正を行なう
必要がある。
から、複数の手段、すなわち、固定カメラの精細な較
正、および、欠点のない目標画像における集中により完
全な並置が得られるまで、固定カメラのモデルのパラメ
ーターの可能な修正を続ける帰還の結果の訂正を行なう
必要がある。
【0221】この動作すなわち初期化は、較正動作の積
分部分として理解すべきである。
分部分として理解すべきである。
【0222】
【表1】
【0223】
【表2】
【図1】(A)および(B)は、同じ中心および目下の
点を有する球面座標とともに、絶対枠と称する固定の直
交3次元枠に斜視的に表わしたいわゆる源画像および目
標画像をそれぞれ示す線図である。
点を有する球面座標とともに、絶対枠と称する固定の直
交3次元枠に斜視的に表わしたいわゆる源画像および目
標画像をそれぞれ示す線図である。
【図2】(A)および(B)は絶対枠と同じ原点を有す
る個別の直交枠に斜視的に表わした源画像および目標画
像をそれぞれ示す線図である。
る個別の直交枠に斜視的に表わした源画像および目標画
像をそれぞれ示す線図である。
【図3】(A)および(B)は個別枠の一方の平面にお
ける源画像の射影および他方の平面に平行の源画像をそ
れぞれ表わす線図である。
ける源画像の射影および他方の平面に平行の源画像をそ
れぞれ表わす線図である。
【図4】(A)および(B)は個別の直交枠の一方の平
面上の目標画像の射影および他方の平面に平行の目標画
像をそれぞれ表わす線図である。
面上の目標画像の射影および他方の平面に平行の目標画
像をそれぞれ表わす線図である。
【図5】(A)および(B)は源画像の光学軸を含む絶
対枠の垂直平面および水平平面における源画像の射影を
それぞれ表わす線図である。
対枠の垂直平面および水平平面における源画像の射影を
それぞれ表わす線図である。
【図6】(A)および(B)は目標画像の光学軸を含む
絶対枠の垂直平面および水平平面における目標画像の射
影をそれぞれ表わす線図である。
絶対枠の垂直平面および水平平面における目標画像の射
影をそれぞれ表わす線図である。
【図7】関数G-1を計算するために、目標画像に適用す
るローテーションにより行なわれる第1変換の結果を斜
視的に示す線図である。
るローテーションにより行なわれる第1変換の結果を斜
視的に示す線図である。
【図8】(A)および(B)は関数G-1の計算において
目標画像に適用するローテーションによって行なう第1
変換および本発明により簡単化した関数G-1の計算を行
なうためにローテーションの結果に適用する変換によっ
て行なう第2の変換の効果をそれぞれ斜視的に表わす線
図である。
目標画像に適用するローテーションによって行なう第1
変換および本発明により簡単化した関数G-1の計算を行
なうためにローテーションの結果に適用する変換によっ
て行なう第2の変換の効果をそれぞれ斜視的に表わす線
図である。
【図9】(A)および(B)は関数G-1の計算用に目標
画像に適用する種々の変換の動作を垂直平面に、斜視的
変換G-1およびFの動作を斜視的にそれぞれ表わす線図
である。
画像に適用する種々の変換の動作を垂直平面に、斜視的
変換G-1およびFの動作を斜視的にそれぞれ表わす線図
である。
【図10】(A),(B)および(C)は隣接2源画像
およびその2源画像から再構成した目標画像の絶対枠の
水平平面における射影およびその水平平面を分離してそ
れぞれ表わすとともに、視野を混ぜた3台の実際のカメ
ラが形成する隣接3源画像を源画像平面に垂直の平面に
表わす線図である。
およびその2源画像から再構成した目標画像の絶対枠の
水平平面における射影およびその水平平面を分離してそ
れぞれ表わすとともに、視野を混ぜた3台の実際のカメ
ラが形成する隣接3源画像を源画像平面に垂直の平面に
表わす線図である。
【図11】(A)および(B)は傾斜角、回転角および
尺度率を固定するパラメータによる隣接2源画像を跨ぐ
部分の隣接2源画像の境界設定および目標画像の再構成
をそれぞれ表わす線図である。
尺度率を固定するパラメータによる隣接2源画像を跨ぐ
部分の隣接2源画像の境界設定および目標画像の再構成
をそれぞれ表わす線図である。
【図12】(A),(B),(C)および(D)は左源
画像、隣接する右源画像、左右源画像の右左端縁を単に
一致させて形成した目標画像および2開始源画像に本発
明画像処理システムを適用して得た目標画像をそれぞれ
示す線図である。
画像、隣接する右源画像、左右源画像の右左端縁を単に
一致させて形成した目標画像および2開始源画像に本発
明画像処理システムを適用して得た目標画像をそれぞれ
示す線図である。
【図13】本発明によるアドレス計算器型の画像処理装
置を機能的ブロック図として表わす線図である。
置を機能的ブロック図として表わす線図である。
【図14】図13によるアドレス計算器を複数源画像に
適用して組込んだ画像処理装置を機能的ブロック図とし
て表わす線図である。
適用して組込んだ画像処理装置を機能的ブロック図とし
て表わす線図である。
【図15】関数G-1を実行する三角法的関数を計算する
システムを機能的ブロック図として示す線図である。
システムを機能的ブロック図として示す線図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ピエール ルロン フランス国 94130 ノジャン−スル−マ ルヌ リュ フェデルブ 6
Claims (19)
- 【請求項1】 源画像(I)と呼ぶ画像に適用する幾何
学的斜視情報により、傾斜角、回転角およびなるべく源
画像に関連した尺度率の修正によって再構成した源画像
を表わす目標画像(I* )と呼ぶ算出画像を構成するた
めにディジタル画像を処理する方法において、源画像
(I)と目標画像(I* )とに共通の視点(P)および
視点(P)を原点とする真正基準枠の決定、並びに、前
記基準枠における目標画像(I* )の傾斜角(φ* )1
回転角(θ* )および尺度率(d * )の測定 零傾斜角、目標画像(I* )のと等しい回転角
(θ* )、目標画像(I* )の光学軸(PZ* )に揃え
た幾何中心(Ω* H )および目標画像(I* )と同じ枠
(2V* x ,2V* y )を具えて目標画像(I* )のア
ドレス(X* ,Y* )を有する各画像(M* )が射影画
像(H* )の同じアドレス(X* ,Y* )を有する射影
(M* H )の複写を有するようにした目標画像(I* )
の射影と呼ぶ画像(H* )の規定並びに目標画像
(I* )のアドレス(X* ,Y* )を有する開始画素
(M* )と呼ぶ画素毎に、前記基準枠において原点
(P)を射影(M* H )の複写画素に関連させる光線を
規定する一対のいわゆる球面座標(α,β)の三角法関
数G-1による計算の各過程を備えたことを特徴とする画
像処理方法。 - 【請求項2】 球面座標(α,β)を計算するために、
目標画像(I* )を射影画像(H* )として投影した平
面(H)を、目標画像(I* )の尺度率(d * )に等し
い前記基準枠の原点(P)からの距離に位置させるとと
もに、その計算に、第1および第2の球面座標(α,
β)の、開始画素(M* )の射影画像(H* )における
射影下の複写画素(M* H )の第1および第2の座標に
対する第1および第2の三角法的関係による第1および
第2の計算を含み、目標画像(I * )の傾斜角
(φ* )、回転角(θ* )および尺度率(d* )の関数
を係数として前記三角法的関係が有することを特徴とす
る請求項1記載の画像処理方法。 - 【請求項3】 各対の球面座標(α,β)の計算におい
て、第1および第2の三角法的関係が 【数1】 であることを特徴とする請求項2記載の画像処理方法。 - 【請求項4】 表に蓄積されて、目標画像(I* )の開
始画素(M* )に対応した源画像(I)の点(M)のア
ドレスを構成する対(X,Y)の、その表のアドレス
(α0 ,β0 )の一つを備えた球面座標(α,β)の算
出対を、その表の分解能の範囲内に整合させてその表か
ら読出す過程を備えたことを特徴とする請求項1乃至3
のいずれかに記載の画像処理方法。 - 【請求項5】 初期段階において、源画像(I)の局部
枠によって規定し、原点として共通視点を有する前記基
準枠に規定した所定の球面座標の対(α0 ,β0 )が形
成する前記表のアドレスに蓄積した点(M)の座標の対
を前記表に負荷するとともに、源画像(I)の傾斜角
(φ)、回転角(θ)および尺度率(d)を固定パラメ
ータとして有する三角法関数により、座標(X,Y)の
各対を球面座標の対(α0 ,β0 )に関連させる過程を
備えたことを特徴とする請求項4記載の画像処理方法。 - 【請求項6】 前記表の負荷に先立ち、球面座標
(α0 ,β0 )の対に関連した源画像(I)の点(M)
の座標(X,Y)の対を計算するとともに、源画像
(I)の各点(M)の第1および第2の座標(X,Y)
の第1および第2の計算を、球面座標(α0 ,β0 )の
変数として有する第1および第2の三角法的関係によ
り、前記計算に含める過程を備えたことを特徴とする請
求項5記載の画像処理方法。 - 【請求項7】 源画像(I)の点(M)の座標(X,
Y)の各対の計算において、第1および第2の三角法的
関係がそれぞれ 【数2】 であることを特徴とする請求項6記載の画像処理方法。 - 【請求項8】 すべてが前記基準枠の原点と共通の視点
を有する複数の隣接源画像(I1 〜In )にそれぞれ適
用した複数の幾何学的変換により、その源画像群の隣接
した副部分を表わして、その源画像群の副部分にそれぞ
れ関連した傾斜角、回転角およびなるべくは尺度率に修
正を施して再構成した目標画像の構成に、その目標画像
の開始画素(M* )に対応する源画像(I)の点(M)
のアドレス(X,Y)の前記表からの読出しに、その点
(M)が存在するn個の源画像から特別の源画像を指示
する指標の前記表の同一アドレスからの読出しを組合わ
せて含めた過程を備えたことを特徴とする請求項1乃至
7のいずれかに記載の画像処理方法。 - 【請求項9】 源画像(I)において計算した各点
(M)のディジタル信号の特性関数の評価およびその特
性関数の目標画像(I* )において対応する開始画素
(M* )に対する割当ての過程を備えたことを特徴とす
る請求項1乃至8のいずれかに記載の画像処理方法。 - 【請求項10】 源画像(I)と呼ぶ画像に適用した幾
何学的斜視変換により源画像(I)に関連した傾斜角、
回転角およびなるべくは尺度率に修正を施して再構成し
た源画像(I)を表わす目標画像(I* )と呼ぶ算出画
像を構成するためにディジタル画像を処理する装置にお
いて、 目標画像(I* )の視点を源画像(I)の視点(P)に
固定するとともに、原点が共通の視点(P)に位置する
真正基準枠を規定する手段(201)、含有するアドレ
ス計算器(200)、および、請求項1乃至3のいずれ
かに記載の方法を用いて計算した三角法関数により前記
基準枠について計算したいわゆる球面座標対(α,β)
を、目標画像(I* )においてアドレス(X* ,Y* )
を付した開始画素(M* )と呼ぶ画素毎に提供する計算
手段(220)を備えたことを特徴とする画像処理装
置。 - 【請求項11】 球面座標(α,β)の計算した対毎
に、図表作成手段の分解能の範囲内で、蓄積した請求項
4乃至7のいずれかに記載の方法に従い、目標画像(I
* )における開始画素(M* )に対応した点(M)の源
画像(I)におけるアドレスを構成する対(X,Y)を
提供する図表作成手段(204)を備えたことを特徴と
する請求項10記載の画像処理装置。 - 【請求項12】 源画像(I)において計算した各点
(M)に結合したディジタル信号の特性関数の評価手段
(112)、および、目標画像(I* )において対応す
る各開始画素(M* )にその特性関数を割当てる手段
(117)を備えたことを特徴とする請求項11記載の
画像処理装置。 - 【請求項13】 加算器もしくは乗算器と組合わせた三
角法関数を計算するためのモジュール、もしくは、目標
画像(I* )の局部枠における開始画素(M * )の第1
座標(X* )を変数として有する第1三角法的関係によ
って第1球面座標(α)の計算を行なうとともに、請求
項3記載の方法により、その局部枠における画素
(M* )の第2座標(Y* )を変数として有する第2三
角法的関係によって第2球面座標(β)の計算を行なう
ためのインバータ・モジュールを備えたことを特徴とす
る請求項10乃至12のいずれかに記載の画像処理装
置。 - 【請求項14】 局部枠における目標画像(I* )の画
素(M* )のアドレス(X* ,Y* )を発生させるため
のアドレス発生器(113)を備えたことを特徴とする
請求項10乃至13のいずれかに記載の画像処理装置。 - 【請求項15】 基準枠における目標画像(I* )の傾
斜角(φ* )、回転角(θ* )および尺度率(d* )の
値を提供するための蓄積手段(210)並びにそのフレ
ーミング(VX * ,Vy * )を提供するたの蓄積手段
(201)を備えたことを特徴とする請求項10乃至1
4のいずれかに記載の画像処理装置。 - 【請求項16】 源画像(I)の傾斜角(φ)、回転角
(θ)および尺度率(d)を提供するための蓄積手段
(21)を備えたことを特徴とする請求項10乃至15
のいずれかに記載の画像処理装置。 - 【請求項17】 目標画像(I* )の傾斜角(φ* )、
回転角(θ* )、尺度率(d* )およびフレーミング
(Vx * ,Vy * )に対する値を使用者が定め得るイン
ターフェース・モジュール(2)を備えたことを特徴と
する請求項10乃至16のいずれかに記載の画像処理装
置。 - 【請求項18】 再構成した目標画像(I* )を表示も
しくは蓄積するための手段を備えたことを特徴とする請
求項10乃至17のいずれかに記載の画像処理装置。 - 【請求項19】 基準枠の原点と共通の視点を有するn
個の隣接ディジタル源画像(I1 〜In )を形成するた
めのモジュールを備えるとともに、源画像の副部分のそ
れぞれに関連した傾斜角、回転角およびなるべくは尺度
率に修正を施して、前記源画像群の隣接部分から構成し
た目標画像を構成するために、図形作成手段(204)
に、特別の源画像(I1 〜In )の画素(M)のアドレ
ス(X,Y)と組合わせて、その点(M)が存在するそ
の特別の源画像の指標を備えたことを特徴とする請求項
10乃至18のいずれせかに記載の画像処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9315805 | 1993-12-29 | ||
FR9315805A FR2714503A1 (fr) | 1993-12-29 | 1993-12-29 | Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective. |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH07225855A true JPH07225855A (ja) | 1995-08-22 |
Family
ID=9454526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6322453A Ceased JPH07225855A (ja) | 1993-12-29 | 1994-12-26 | 斜視的変換により源画像から目標画像を構成する画像処理方法および装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US5594845A (ja) |
EP (1) | EP0661672B1 (ja) |
JP (1) | JPH07225855A (ja) |
DE (1) | DE69430182T2 (ja) |
FR (1) | FR2714503A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11213141A (ja) * | 1997-11-18 | 1999-08-06 | Ricoh Co Ltd | 画像合成方法及び装置並びに情報記録媒体 |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5990941A (en) * | 1991-05-13 | 1999-11-23 | Interactive Pictures Corporation | Method and apparatus for the interactive display of any portion of a spherical image |
JP3635359B2 (ja) * | 1995-11-09 | 2005-04-06 | 株式会社ルネサステクノロジ | 透視投影計算装置および透視投影計算方法 |
US6230167B1 (en) * | 1996-08-05 | 2001-05-08 | International Business Machines Corporation | Method and apparatus for generating and displaying hotlinks in a panoramic three dimensional scene |
US5912670A (en) * | 1996-08-05 | 1999-06-15 | International Business Machines Corporation | Method and apparatus for overlaying a bit map image on an environment map |
US6031541A (en) * | 1996-08-05 | 2000-02-29 | International Business Machines Corporation | Method and apparatus for viewing panoramic three dimensional scenes |
JP4001635B2 (ja) * | 1997-03-27 | 2007-10-31 | オーセ プリンティング システムズ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 画像処理方法および画像解像度変更のための回路装置 |
US6097394A (en) * | 1997-04-28 | 2000-08-01 | Board Of Trustees, Leland Stanford, Jr. University | Method and system for light field rendering |
US5963213A (en) * | 1997-05-07 | 1999-10-05 | Olivr Corporation Ltd. | Method and system for accelerating warping |
US7292261B1 (en) * | 1999-08-20 | 2007-11-06 | Patrick Teo | Virtual reality camera |
US20050078118A1 (en) * | 2000-05-12 | 2005-04-14 | Microsoft Corporation | Table indexing system and method |
US7095905B1 (en) | 2000-09-08 | 2006-08-22 | Adobe Systems Incorporated | Merging images to form a panoramic image |
CA2439082A1 (en) * | 2001-02-24 | 2002-09-06 | Eyesee360, Inc. | Method and apparatus for processing photographic images |
WO2003027766A2 (en) * | 2001-09-27 | 2003-04-03 | Eyesee360, Inc. | System and method for panoramic imaging |
US7058239B2 (en) * | 2001-10-29 | 2006-06-06 | Eyesee360, Inc. | System and method for panoramic imaging |
WO2003041011A2 (en) * | 2001-11-08 | 2003-05-15 | Eyesee360, Inc. | Method and apparatus for the computation of panoramic views and _perspective projections from omnidirectional images |
US20030171665A1 (en) * | 2002-03-05 | 2003-09-11 | Jiang Hsieh | Image space correction for multi-slice helical reconstruction |
US7965901B2 (en) * | 2003-10-31 | 2011-06-21 | Hewlett-Packard Development Company, L.P. | Hard imaging methods and devices and optical scanning systems |
US7454088B2 (en) * | 2003-11-20 | 2008-11-18 | Microsoft Corporation | Estimating orientation angle and translation values of a scanned image |
US7292207B1 (en) | 2004-08-27 | 2007-11-06 | Sun Microsystems, Inc. | Computing blending functions for the tiling of overlapped video projectors |
US7425958B2 (en) * | 2004-10-25 | 2008-09-16 | Adobe Systems Incorporated | Perspective editing tools for 2-D images |
US7496242B2 (en) * | 2004-12-16 | 2009-02-24 | Agfa Inc. | System and method for image transformation |
US7406860B2 (en) | 2006-04-28 | 2008-08-05 | Seagate Technology Llc | Atomic force microscopy scanning and image processing |
US8988466B2 (en) * | 2006-12-13 | 2015-03-24 | Adobe Systems Incorporated | Panoramic image straightening |
DE102008017501A1 (de) * | 2008-04-04 | 2009-10-08 | Olympus Winter & Ibe Gmbh | Verfahren zum Darstellen der Innenfläche eines Hohlorgans |
US8296860B2 (en) * | 2009-03-16 | 2012-10-23 | Seagate Technology Llc | Atomic force microscopy true shape measurement method |
US9586817B2 (en) | 2011-07-28 | 2017-03-07 | Seagate Technology Llc | Semi-auto scanning probe microscopy scanning |
FR3004881B1 (fr) | 2013-04-19 | 2015-04-17 | Kolor | Procede de generation d'un flux video de sortie a partir d'un flux video large champ |
CN110650241B (zh) | 2014-06-16 | 2021-01-29 | 华为技术有限公司 | 移动终端中呈现全景照片的方法和移动终端 |
US9277122B1 (en) * | 2015-08-13 | 2016-03-01 | Legend3D, Inc. | System and method for removing camera rotation from a panoramic video |
US9681111B1 (en) | 2015-10-22 | 2017-06-13 | Gopro, Inc. | Apparatus and methods for embedding metadata into video stream |
US10033928B1 (en) | 2015-10-29 | 2018-07-24 | Gopro, Inc. | Apparatus and methods for rolling shutter compensation for multi-camera systems |
US9973696B1 (en) | 2015-11-23 | 2018-05-15 | Gopro, Inc. | Apparatus and methods for image alignment |
US9792709B1 (en) | 2015-11-23 | 2017-10-17 | Gopro, Inc. | Apparatus and methods for image alignment |
US9848132B2 (en) | 2015-11-24 | 2017-12-19 | Gopro, Inc. | Multi-camera time synchronization |
US9667859B1 (en) | 2015-12-28 | 2017-05-30 | Gopro, Inc. | Systems and methods for determining preferences for capture settings of an image capturing device |
US9922387B1 (en) | 2016-01-19 | 2018-03-20 | Gopro, Inc. | Storage of metadata and images |
US9967457B1 (en) | 2016-01-22 | 2018-05-08 | Gopro, Inc. | Systems and methods for determining preferences for capture settings of an image capturing device |
US9665098B1 (en) | 2016-02-16 | 2017-05-30 | Gopro, Inc. | Systems and methods for determining preferences for flight control settings of an unmanned aerial vehicle |
US9743060B1 (en) | 2016-02-22 | 2017-08-22 | Gopro, Inc. | System and method for presenting and viewing a spherical video segment |
US9973746B2 (en) | 2016-02-17 | 2018-05-15 | Gopro, Inc. | System and method for presenting and viewing a spherical video segment |
US9602795B1 (en) | 2016-02-22 | 2017-03-21 | Gopro, Inc. | System and method for presenting and viewing a spherical video segment |
US9934758B1 (en) | 2016-09-21 | 2018-04-03 | Gopro, Inc. | Systems and methods for simulating adaptation of eyes to changes in lighting conditions |
US10268896B1 (en) | 2016-10-05 | 2019-04-23 | Gopro, Inc. | Systems and methods for determining video highlight based on conveyance positions of video content capture |
US9973792B1 (en) | 2016-10-27 | 2018-05-15 | Gopro, Inc. | Systems and methods for presenting visual information during presentation of a video segment |
US10194101B1 (en) | 2017-02-22 | 2019-01-29 | Gopro, Inc. | Systems and methods for rolling shutter compensation using iterative process |
US10187607B1 (en) | 2017-04-04 | 2019-01-22 | Gopro, Inc. | Systems and methods for using a variable capture frame rate for video capture |
CN107784633B (zh) * | 2017-09-04 | 2021-04-13 | 黄仁杰 | 适用于平面测量的无人机航拍图像校准方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2546017B1 (fr) * | 1983-05-11 | 1986-01-17 | Thomson Csf | Procede pour realiser une transformation geometrique sur une image video, et dispositifs mettant en oeuvre ce procede |
US4682160A (en) * | 1983-07-25 | 1987-07-21 | Harris Corporation | Real time perspective display employing digital map generator |
US4734690A (en) * | 1984-07-20 | 1988-03-29 | Tektronix, Inc. | Method and apparatus for spherical panning |
JPS62102369A (ja) * | 1985-10-29 | 1987-05-12 | インタ−ナショナル ビジネス マシ−ンズ コ−ポレ−ション | グラフイツク物体の3次元透視投影を生成する方法 |
US4807158A (en) * | 1986-09-30 | 1989-02-21 | Daleco/Ivex Partners, Ltd. | Method and apparatus for sampling images to simulate movement within a multidimensional space |
US4819064A (en) * | 1987-11-25 | 1989-04-04 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Television monitor field shifter and an opto-electronic method for obtaining a stereo image of optimal depth resolution and reduced depth distortion on a single screen |
US4969036A (en) * | 1989-03-31 | 1990-11-06 | Bir Bhanu | System for computing the self-motion of moving images devices |
US5175616A (en) * | 1989-08-04 | 1992-12-29 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada | Stereoscopic video-graphic coordinate specification system |
US5268998A (en) * | 1990-11-27 | 1993-12-07 | Paraspectives, Inc. | System for imaging objects in alternative geometries |
US5359363A (en) * | 1991-05-13 | 1994-10-25 | Telerobotics International, Inc. | Omniview motionless camera surveillance system |
US5185667A (en) * | 1991-05-13 | 1993-02-09 | Telerobotics International, Inc. | Omniview motionless camera orientation system |
EP0605045B1 (fr) * | 1992-12-29 | 1999-03-31 | Laboratoires D'electronique Philips S.A.S. | Procédé et dispositif de traitement d'images pour construire une image à partir d'images adjacentes |
US5430806A (en) * | 1993-09-07 | 1995-07-04 | Loral Vought Systems Corporation | System for changing perspective of 3-D images obtained from reflected energy signals |
FR2714502A1 (fr) * | 1993-12-29 | 1995-06-30 | Philips Laboratoire Electroniq | Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective. |
-
1993
- 1993-12-29 FR FR9315805A patent/FR2714503A1/fr active Pending
-
1994
- 1994-12-19 EP EP94203683A patent/EP0661672B1/fr not_active Expired - Lifetime
- 1994-12-19 DE DE69430182T patent/DE69430182T2/de not_active Expired - Fee Related
- 1994-12-20 US US08/359,378 patent/US5594845A/en not_active Expired - Fee Related
- 1994-12-26 JP JP6322453A patent/JPH07225855A/ja not_active Ceased
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11213141A (ja) * | 1997-11-18 | 1999-08-06 | Ricoh Co Ltd | 画像合成方法及び装置並びに情報記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
FR2714503A1 (fr) | 1995-06-30 |
DE69430182T2 (de) | 2002-11-21 |
US5594845A (en) | 1997-01-14 |
EP0661672A1 (fr) | 1995-07-05 |
DE69430182D1 (de) | 2002-04-25 |
EP0661672B1 (fr) | 2002-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH07225855A (ja) | 斜視的変換により源画像から目標画像を構成する画像処理方法および装置 | |
JPH07220057A (ja) | 斜視的変換により源画像から目標画像を構成する画像処理方法および装置 | |
US7006709B2 (en) | System and method deghosting mosaics using multiperspective plane sweep | |
US7583858B2 (en) | Image processing based on direction of gravity | |
US7006124B2 (en) | Generalized panoramic mosaic | |
US7899270B2 (en) | Method and apparatus for providing panoramic view with geometric correction | |
US6791598B1 (en) | Methods and apparatus for information capture and steroscopic display of panoramic images | |
Peleg et al. | Mosaicing on adaptive manifolds | |
US6677981B1 (en) | Motion play-back of still pictures comprising a panoramic view for simulating perspective | |
US7103236B2 (en) | Methods and apparatus for shifting perspective in a composite image | |
US6885392B1 (en) | Perspective correction for preview area of panoramic digital camera | |
US7424218B2 (en) | Real-time preview for panoramic images | |
US6771304B1 (en) | Perspective correction device for panoramic digital camera | |
EP2328125B1 (en) | Image splicing method and device | |
US7656429B2 (en) | Digital camera and method for in creating still panoramas and composite photographs | |
US20050008254A1 (en) | Image generation from plurality of images | |
EP1234278B1 (en) | System and method for rectified mosaicing of images recorded by a moving camera | |
US20060078215A1 (en) | Image processing based on direction of gravity | |
US6618511B1 (en) | Perspective correction for panoramic digital camera with remote processing | |
US20090185054A1 (en) | System and method for displaying an image indicating a positional relation between partially overlapping images | |
US20030063816A1 (en) | Image-based method and system for building spherical panoramas | |
Majumder et al. | Immersive teleconferencing: a new algorithm to generate seamless panoramic video imagery | |
JPH076227A (ja) | 隣接する複数画像より画像を形成する画像処理方法及び装置 | |
US20090059018A1 (en) | Navigation assisted mosaic photography | |
JPH10126665A (ja) | 画像合成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041124 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20050329 |