JPH07220057A - 斜視的変換により源画像から目標画像を構成する画像処理方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】 複数台の固定カメラの撮影出力画像から単一
の車載カメラの撮像出力画像と同等のパノラマシーンを
構成するために、 【構成】 いわゆる源画像（Ｉ）を表わし、目標画像
（Ｉ^* ）と呼び、源画像に関連した傾斜角、回転角およ
び尺度率の変更により再構成した計算画像を構成するた
めにディジタル画像を処理する方法に、源画像（Ｉ）と
目標画像（Ｉ^* ）とに共通の視点（Ｐ）および直交基準
枠の原点の決定、目標画像（Ｉ^* ）におけるアドレス
（Ｘ^* ，Ｙ^* ）をもった画素（Ｍ^* ）毎の、（α，β）
＝Ｇ^-1（Ｘ^* ，Ｙ^* ）のような、係数が修正した傾斜
角、回転角および尺度率の関数である線形関数Ｇ^-1によ
る球面座標（α，β）の計算、並びに、その表に蓄積す
るとともに、目標画像（Ｉ^* ）における画素（Ｍ^* ）に
対応した源画像（Ｉ）における点（Ｍ）のアドレスを構
成する対（Ｘ，Ｙ）の表の座標（α_o ，β_o ）の一方を
もった球面座標（α，β）のその表の分解能に整合した
表からの読出し、の各過程を設ける。

Description

【発明の詳細な説明】 【産業上の利用分野】

【０００１】本発明は、源画像と呼ぶ画像に適用する幾
何学的斜視情報により、傾斜角、回転角およびなるべく
源画像に関連した尺度率の修正によって再構成した源画
像を表わす目標画像と呼ぶ算出画像を構成するためにデ
ィジタル画像を処理する方法に関するものである。

【０００２】本発明は、その方法を行なうディジタル画
像を処理する装置に関するものでもある。

【０００３】本発明は、ある個数の固定カメラを、個々
の視野が混じり合って、パノラマ状光景を観視するため
の広角視野を形成するように配置して備えた監視システ
ムの構成に適用し得るものである。

【０００４】

【従来の技術】幾何学的斜視変換を実行するための装置
に集約し得る画像処理は、刊行物、アーネスト、エル、
ホール著「コンピュータ画像処理および認識」、アカデ
ミック・プレス１９７９、ハーコート ブレイス ジョ
ナノビッチ出版社、ニューヨーク、ロンドン、トロン
ト、シドニー、サンフランシスコ、第３章、７６頁以
降、特に７６頁乃至８８頁から既知である。

【０００５】この刊行物により、斜視幾何学に属する情
報、すなわち、画像の各点からそれらの点を通過する光
線に到るか、その光線から画像の各点に到るか、の想定
の如何に応じて斜視変換もしくは逆斜視変換に属する情
報が判る。画像の各点からそれらの点に対応する光線に
到る処理の方を「斜視変換」と称する。

【０００６】この刊行物は、まず、各画素点から光線に
到る問題を設定し、つぎに、４×４マトリックスを用い
て、その斜視変換の問題を解決するための信号処理を説
明している。この問題は、かかるマトリックスに基づく
完全に解析的計算によって解明してある。

【０００７】４×４マトリックスを用いた問題の設定
は、つぎの考察に基づいている。理論的に、斜視変換
は、３種類の座標のみを用いて３次元空間に提起した幾
何学的問題であり、この引用刊行物では、斜視変換は線
形変換ではなく、その結果、試薬容器の取扱いが困難な
ことが判る。そこで、この刊行物は、しかしながら、式
の解法が式を線形化することによって簡単化することが
でき、それが第４の変数を追加することによって可能と
なり、したがって、その線形化した式は解析的に解き得
ることを示している。

【０００８】しからざるときには、引用刊行物が示す処
理方法は極めて複雑な設定による問題解決となり、その
例が引用刊行物の全編に示されている。

【０００９】

【発明が解決しようとする課題】さて、本発明によれ
ば、実時間での斜視変換の実施、すなわち、毎秒１６乃
至２５画像の割合いの画像処理を含む第１の束縛が課せ
られる。

【００１０】引用刊行物の教示によって設定された解決
は、その複雑さの故に、実時間での実施が極めて困難と
認められる。

【００１１】しかしながら、「変換チップ」と呼ばれ
る、幾何学的変換が実施可能の電子装置が市販されてお
り、斜視変換の問題解決に用いることができる。

【００１２】実際に、ＴＭＣ２３００２という市販製品
がＴＲＷ社から出されており、そのアドレスはＰＯボッ
クス２４７２、ＬＡ、ＪＯＬＬＡ、ＣＡ９２０３８（Ｕ
Ｓ）である。この製品は、目下の斜視変換に必要な幾何
学的変換に関する極めて複雑な計算を実時間で行なうこ
とが可能である。

【００１３】しかしながら、この変換チップは、特に、
広く用いられていない、という事実の故に高価であり、
早急に価格が下がる見込みが少なく、さらに、本発明が
提起したような信号処理装置で用いるには、解決困難な
束縛が数多く含まれるものと見なければならない。

【００１４】しからずして、かかる束縛が打破される
と、目標画像の再構成は、冒頭に述べたように、「正確
な遠近法」による再構成と呼ばれる結果となる。変換チ
ップを用いることにより、目標画像内の対象物は、幾何
学的遠近法で現われ、その目標画像を直接に形成した場
合、すなわち、目標画像と呼ぶその画像のために選定し
た幾何学的斜視図を得るパラメータを用いて配置した実
際のカメラによった場合に得られるものに極めて近くな
る。

【００１５】

【課題を解決するための手段】したがって、本発明の目
的は、冒頭に述べたような目標画像再構成の機能を有す
るとともに、多大の経費と打破が困難な技術的問題を伴
って従来の市販製品により行なわれたような複雑な幾何
学的変換の使用の必要を除き得る装置を提供することに
ある。

【００１６】本発明によれば、この目的は、冒頭に述べ
たとおりの、ディジタル画像を処理する方法において、
源画像（Ｉ）と目標画像（Ｉ^* ）とに共通の視点（Ｐ）
および視点（Ｐ）を原点とする真正基準枠の決定、並び
に、目標画像（Ｉ^* ）におけるアドレス（Ｘ^* ，Ｙ^* ）
をもった開始画像（Ｍ^* ）と呼ぶ画素毎の、係数が修正
した傾斜角、回転角および尺度率の関数である（α，
β）＝Ｇ^-1（Ｘ^* ，Ｙ^*）のような線形関数Ｇ^-1によ
る、いわゆる球面座標（α，β）の対の計算の各過程を
具えたことを特徴とする画像処理方法によって達成され
る。

【００１７】本発明による画像処理方法の利点は、メモ
リカードのみを使用するだけで行ない得ることであり、
そのメモリカードは、今日では安価であって、その価格
は、品質および密度の絶えざる改良とともに、下落し続
けている。

【００１８】したがって、本発明が提案した「斜視変
換」を行なうのに必要な機能は、ルックアップテーブル
の役をするメモリカードに極めて容易に記録もしくは図
表化することができ、しからざれば、実際のカメラで直
接に撮った画像とは幾何学的差違が少ない再構成目標画
像が得られる。

【００１９】しかしながら、提示された画像が得られた
手段を知らない観視者に行なわれたテスト中に、本発明
により得たテスト中の目標画像と同じ配置および倍率に
した実際のカメラで得た画像と同等の良さに、被テスト
観視者には、本発明により再構成した目標画像が見えた
ことは明らかであった。観視者は、本発明による目標画
像の計算時に導入された極めて小さい幾何学的差異には
気付かず、反対に、その画像は良質であると認めた。予
知していた観視者すら、実際のものと再構成したものと
の２種類の画像間の差違を検出するのが幾分困難であっ
た。

【００２０】本発明による方法は、計算が極めて容易な
簡単なモジュールを少し用いて行なわれるのであるか
ら、上述した利点は極めて大きい。したがって、本発明
方法を実施するためにかかるモジュールで構成した装置
は、市販の「変換チップ」を用いた従来装置に比べて例
外的に低価格であり、魅力的な画質の画像を提供する。

【実施例】以下に図面を参照して実施例につき、本発明
を詳細に説明する。 Ａ：本発明が解決する課題の定義 Ａ１：課題の幾何学的データの説明

【００２１】図１（Ａ），（Ｂ）および図１０（Ｂ）を
参照するに、（ＰＸ_a ，ＰＹ_a ，ＰＺ_a ）は、「絶対
枠」と称する、以下の説明を通じて３次元空間の基準と
なる原点Ｐを備えた固定の３次元直交枠を表わす。

【００２２】平面（ＰＸ_a ，ＰＺ_a ）を、以下では、
「水平面」と呼ぶ。したがって、軸ＰＹ_a はこの水平面
に垂直であり、以下では、この軸を「垂直軸」と呼ぶ。
この軸ＰＹ_a を含む平面もすべて「垂直面」と呼ぶ。

【００２３】図１（Ａ）および図２（Ａ）を参照する
に、１は、「源画像」と称するディジタル平面開始画像
を表わし、光学的に形成されて、点Ｏで源画像Ｉの平面
と交差する光学軸ＰＺを有している。この点Ｏは、源画
像Ｉの幾何学的中心であり、光学軸ＰＺは点Ｏで源画像
Ｉに直交する。

【００２４】図２を参照するに、「視点」とも呼ぶ光学
中心Ｐは、空間における対象輝点から生じてこの視点Ｐ
から派出する各光線Ｐμが、ずれることなく、ディジタ
ル源画像を生起させる目を通過するようにした点として
定義する。したがって、ディジタル源画像Ｉにおける点
Ｍにその画像を有する空間内の対象点μを考えて、Ｐ点
をそのディジタル画像に対応した視点とすると、視点Ｐ
の特性からして、各点μ，Ｍ，Ｐは一線に並び、光線Ｐ
μは一直線となる。

【００２５】つぎの説明では、ディジタル源画像Ｉが方
形もしくは長方形である簡単な場合を取扱うが、他のデ
ィジタル画像についても容易に本発明を適用し得るもの
とする。

【００２６】ディジタル画像は、輝度レベルＱをそれぞ
れ割当てた画素からなる画像であると理解する。この輝
度レベルは、例えば１から２５６まで等級別にした輝度
レベルの尺度上に求めることができる。最大最高の輝点
に最大輝度レベルを割当て、最小輝度の暗点にその尺度
上の最小輝度レベルを割当てる。

【００２７】図２（Ａ）および図３（Ａ），（Ｂ）を参
照するに、源画像Ｉは、この特殊画像Ｉに結び付いた３
次元直交枠（ＰＸ，ＰＹ，ＰＺ）を備えている。この直
交枠（ＰＸ、ＰＹ，ＰＺ）は、源画像Ｉの視点Ｐに選定
され、源画像Ｉの光学軸ＰＺは直交枠の３軸中の一つで
ある。この個々の枠は「源枠」と表示してある。

【００２８】図３（Ａ）において、個々の源枠からなる
平面（ＰＺ，ＰＸ）は図の紙面に合致しており、軸ＰＺ
に垂直の源画像Ｉは切片で表わしてある。軸ＰＹは図の
紙面に垂直であり、大きさｄ＝ＰＯは「源画像の尺度率
を表わす。」

【００２９】図３（Ｂ）において、個々の源枠からなる
平面（ＰＸ，ＰＹ）は図の紙面に平行であり、ここで
は、方形の源画像Ｉは、紙面内に表わしてある。軸ＰＺ
は点Ｏでその平面に垂直である。個々の源枠の軸ＰＸ，
ＰＹは、源画像平面内に射影ＰＸ´，ＯＹ´を有してお
り、軸ＰＸ，ＰＹおよび射影ＯＸ´，ＯＹ´はディジタ
ル化した源画像の画素群の行および列にそれぞれ平行に
選定し、幾何学的中心Ｏは画素と一致するように選定す
る。

【００３０】図２（Ａ）および図３（Ｂ）を参照する
に、源画像Ｉの各点Ｍは、枠ＯＸ´，ＯＹ´上の射影と
して、それぞれ点Ｍ´およびＭ″を有しており、したが
って、 ＭＭ´＝Ｙおよび ＭＭ″＝Ｘ したがって、源画像Ｉの各点Ｍは、枠（ＯＸ´，ＯＹ
´）内の座標（Ｘ，Ｙ）および源画像（ＰＸ，ＰＹ，Ｐ
Ｚ）内の座標（Ｘ，Ｙ，ｄ）を有している。

【００３１】図１（Ｂ）、並びに、図４（Ａ）および４
（Ｂ）を参照するに、他の画像平面を３次元空間に決定
し、「目標画像平面」と呼び、Ｉ^* で表わす。この目標
画像Ｉ^* は、説明を簡単にするために、源画像Ｉと同じ
幾何形状、すなわち、方形もしくは長方形に選定したデ
ィジタル画像である。さらに、この目標画像は、光学中
心点すなわち視点およびその視点を通る光学軸と組合わ
せてある。

【００３２】図１（Ｂ）および図２（Ｂ）を参照して、
目標画像Ｉ^* の視点が点Ｐであり、すなわち、源画像Ｉ
と目標画像Ｉ^* との視点が合致しているものとして、状
況を固定する。目標画像Ｉ^* の平面と点Ｏ^* で交叉する
目標画像Ｉ^* の光学軸をＰＺ ^* で表わす。この点Ｏ
^* は、目標画像Ｉ^* の幾何中心点であり、光学軸ＰＺ^*
は、点Ｏ^* で目標画像Ｉ^* の平面に直交している。

【００３３】視点Ｐは、目標画像Ｉ^* の形成に関連し
て、源画像Ｉと同じ特性を有しており、換言すれば、空
間における対象点μの目標画像Ｉ^* における画像点Ｍ^*
は、光線Ｐμおよび目標画像平面Ｉ^* の光点に存在して
おり、さらに、点ＰＭμ^* は直線光線Ｐμに整列してい
る。

【００３４】図４（Ａ）および４（Ｂ）を参照するに、
目標画像Ｉ^* は、この特別の目標画像Ｉ^* に結び付いた
個別の３次元直交枠（ＰＸ^* ，ＰＹ^* ，ＰＺ^* ）を備え
ている。個別の枠（ＰＸ^* ，ＰＹ^* ，ＰＺ^* ）の原点
は、源画像Ｉと目標画像Ｉ^* との共通の視点Ｐに選定す
る。目標画像Ｉ^* の光学軸ＰＺ^* はこの枠の軸の一つで
あり、個別の枠は「目標枠」と呼ぶ。

【００３５】図４（Ａ）において、目標画像の平面（Ｐ
Ｚ^* ，ＰＸ^* ）は図の紙面に合致している。軸ＰＺ^* に
垂直の目標画像Ｉ^* は切片で表わしてある。軸ＰＸ^* は
図の紙面に垂直である。大きさｄ^* ＝ＰＯ^* は「目標画
像の尺度率」と呼ぶ。

【００３６】図４（Ｂ）において、個別の目標枠の平面
ＰＸ^* ，ＰＹ^* ）は図の紙面に平行であり、源画像Ｉと
同様に、ここでは、方形の目標画像Ｉ^* は、図の紙面内
に表わしてあり、軸ＰＺ^* は、図の紙面に点Ｏ^* で直交
している。目標枠の軸ＰＸ^*およびＰＹ^* は、目標画像
平面内に射影Ｏ^* Ｘ´^* およびＯ^* Ｙ´^* を有し、軸Ｐ
Ｘ^* ，ＰＹ^* およびその射影Ｏ^* Ｘ´^* ，Ｏ^* Ｙ´
^* は、ディジタル目標画像の画素群の行および列にそれ
ぞれ平行に選定してあり、幾何中心点Ｏ^* は画素に合致
するように選定する。

【００３７】図４（Ｂ）を参照するに、目標画像の各画
素Ｍ^* は、枠（Ｏ^* Ｘ´^* ，Ｏ^* Ｙ´^* ）内に、射影と
して、それぞれ点Ｍ´^* およびＭ″^* を有する。したが
って、目標画像Ｉ^* の各画素Ｍ^* は、枠（Ｏ^* Ｘ´^* ，
Ｏ^* Ｙ´^* ）内の座標（Ｘ^*，Ｙ^* ）および目標枠（Ｐ
Ｘ^* ，ＰＹ^* ，ＰＺ^* ）内の座標（Ｘ^* ，Ｙ^* ，ｄ^*）
を有している。

【００３８】図１（Ａ）および１（Ｂ）を参照するに、
各源画像および目標画像の視点が絶対枠（ＰＸ_a ，ＰＹ
_a ，ＰＺ_a ）の原点Ｐと合致しているものと仮定して状
況を固定する。

【００３９】図１（Ａ）を参照するに、源画像Ｉの各枠
を絶対枠に関連させる角度パラメータを規定することが
できる。図１（Ａ）は、源画像平面を、その平面内に枠
（ＯＸ´，ＯＹ´）を備えて、３次元空間に斜視的に表
わしており、その幾何中心Ｏが絶対原点すなわち共通視
点Ｐから源尺度率として距離ｄだけ離隔した位置にあ
り、さらに、この絶対枠の３軸（ＰＸ_a ，ＰＹ_a ，ＰＺ
_a ）を表わしている。軸ＰＺ_a は、水平平面（ＰＺ_a ，
ＰＸ_a ）内の「基準原軸」である。

【００４０】前述したように、源光学軸ＰＺは、水平平
面（ＰＸ_a ，ＰＺ_a ）上に投影されており、その射影を
垂直軸ＰＹ_a に平行に表わしてある。この処理における
幾何中心点Ｏの射影はＯ_a であり、平面（ＰＺ，Ｐ
Ｔ_a ）は「垂直平面」となる。

【００４１】この投影処理により、個々の源枠（ＰＸ，
ＰＹ，ＰＺ）を絶対枠（ＰＸ_a ，ＰＹ_a ，ＰＺ_a ）に関
連させる二つの角度が規定される。その二つの角度はつ
ぎのとおりである。源光学軸ＰＺを垂直に回転させてＰ
Ｔ_a で水平平面（ＰＸ_a ，ＰＺ_a ）に到達させる角度と
しての傾斜角度θ。射影ＰＴ_a を水平に回転させて基準
源軸ＰＺ_a に到達させる角度としての回転角θ。

【００４２】垂直平面（ＰＹ_a ，ＰＴ_a ）を表わす図６
（Ａ）において、Ｉは源画像の軌跡であり、ＰＺは光学
軸であり、Ｐは源画像の幾何中心であり、ｄは源尺度率
である。したがって、傾斜角度φは角（ＰＺ、ＰＴ_a ）
で表わされる。

【００４３】水平平面（ＰＺ_a ，ＰＸ_a ）を表わす図６
（Ｂ）において、回転角θは角（ＰＴ_a ，ＰＸ_a ）で表
わされる。

【００４４】図１（Ａ）において、源平面Ｉを目標平面
Ｉ^* に置換すると、個々の目標枠を絶対枠に関連させる
傾斜角φ^* および回転角θ^* を上述と同様に規定するこ
とができる。

【００４５】したがって、図１（Ｂ）を参照するに、目
標画像Ｉ^* の個別の枠を絶対枠に関連させる角度パラメ
ータを規定することができる。図１（Ｂ）は、目標画像
平面Ｉ^* を、その平面内に枠（ＯＸ´^* ，ＯＹ´^* ）を
備えて、３次元空間に斜視的に表わしており、その幾何
中心Ｏ^* は絶対原点すなわち共通視点Ｐから距離ｄすな
わち目標尺度率だけ離隔して位置し、さらに、絶対枠の
３軸（ＰＸ_a ，ＰＹ_a，ＰＺ_a ）を表わしている。

【００４６】目標光学軸ＰＺ^* は、ＰＴ_a ^* で水平平面
（ＰＸ_a ，ＰＺ_a ）に投影される。この投影は、垂直軸
ＰＹ_a に平行に行なわれ、この投影処理において、幾何
中心Ｏ^* の射影はＯ_a ^* であり、平面（ＰＺ，ＰＴ_a ）
は「垂直平面」である。

【００４７】この投影処理により、個々の源枠（Ｐ
Ｘ^* ，ＰＹ^* ，ＰＺ^* ）を絶対枠（ＰＸ _a ，ＰＹ_a ，Ｐ
Ｚ_a ）に関連させる二つの角度が決まる。その二つの角
度はつぎのとおりである。目標光学軸ＰＺ^* を垂直に回
転させて水平平面（ＰＸ_a ，ＰＺ_a ）にＰＴ_a ^*で到達
させる角度としての傾斜角φ^* 。射影ＰＴ_a ^* を水平に
回転させて基準原軸ＰＺ_a に到達させる角度としての回
転角θ^* 。

【００４８】垂直平面（ＰＹ_a ，ＰＴ_a ）を表わす図７
（Ａ）において、Ｉ^* は目標画像の軌跡であり、ＰＺ^*
は光学軸であり、Ｏ^* は目標画像の幾何中心であり、ｄ
^* は目標尺度率である。したがって、傾斜角φ^* は角度
（ＰＺ^* ，ＰＴ_a ^* ）によって表わされる。

【００４９】水平平面（ＰＺ_a ，ＰＸ）を表わす図７
（Ｂ）において、Ｉ_a ^* は、目標画像Ｉ^* の真正射影で
あり、Ｏ_a ^* はＯ^* の射影であり、ＰＴ_a ^* は光学軸Ｐ
Ｚ^* の射影である。したがって、回転角θ^* は角度（Ｐ
Ｔ_a ^* ，ＰＺ_a ）によって表わされる。

【００５０】絶対枠の「水平平面」（ＰＺ_a ，ＰＸ_a ）
に表わした図５（Ａ）において、切片Ｉ_a およびＩ_a ^*
は、それぞれ源画像平面Ｉおよび目標画像平面Ｉ^* の射
影であり、軸ＰＴ_a およびＰＴ_a ^* は、図１（Ａ）およ
び図１（Ｂ）並びに図６および図７を参照して前述した
光学軸ＰＺおよびＰＺ^* の射影である。したがって、源
回転角はθ＝（ＰＴ_a ，ＰＺ_a ）であり、目標回転角は
θ^* ＝（ＰＴ_a ^* ，ＰＺ_a ）である。 Ａ２：本発明の目的の説明

【００５１】本発明の目的は、源回転角θから目標回転
角θ^* に、並びに、源傾斜角φから目標傾斜角φ^* に通
ずるように角度の変換に注目するとともに、尺度率ｄか
ら尺度率ｄ^* に通ずるように尺度の変換に注目した幾何
学的転換を用いて源画像Ｉから目標画像Ｉ^* を構成する
方法を提供することにある。

【００５２】目標画像の構成は、パラメータφ^* ，
θ^* ，ｄ^* によって特徴づけた目標画像の各画素Ｍ^* に
輝度レベルＱを割当てることによって行なわれる。この
輝度レベルは、撮影すべき光景内の３次元空間の同一目
的点μの画像である源画像の点Ｍについて求めるべきで
ある。

【００５３】目標画像Ｉ^* を源画像と同じ視点Ｐを有す
るように選定する事実および共通視点の特性を与える
と、源画像点Ｍと目標画像点Ｍ^* とが同じ直線光線Ｐμ
上に並ぶことになる。

【００５４】したがって、輝度レベルＱを求める目標画
像Ｉ^* の点Ｍ^* の座標（Ｘ^* ，Ｙ^*）がその個別の枠
（ＰＸ^* ，ＰＹ^* ，ＰＺ^* ）内で判っている、という仮
定から出発して、本発明の画像処理方法には、個別の枠
（ＰＸ，ＰＹ，ＰＺ）における源画像Ｉの対応する点Ｍ
の座標（Ｘ，Ｙ）の決定が含まれる。

【００５５】したがって、源画像Ｉのこの点Ｍが判れ
ば、本発明方法には、源画像Ｉのこの点Ｍに関連して輝
度関数Ｑ（Ｘ，Ｙ）の決定が含まれる。

【００５６】ついで、源画像の点Ｍに結び付いた輝度関
数Ｑ（Ｘ，Ｙ）が判れば、本発明方法には、構成すべき
目標画像Ｉ^* の点Ｍ^* に割当てるべき輝度関数Ｑ^* （Ｘ
^* ，Ｙ^* ）の決定が含まれる。

【００５７】目標画像の各点に対する輝度関数からなる
データが得られると、本発明方法は、目標画像の構成を
可能にする。画像処理方法全体において、源画像は、３
次元空間における絶対枠に関連した第１系列のパラメー
タにより規定され、目標画像は、絶対枠に関連した第２
系列のパラメータにより規定される。かかるパラメータ
は、個別枠を絶対枠に関連させる回転角θ，θ^* および
傾斜角φ，φ^* 並びに各源画像平面もしくは各目標画像
平面に関連した尺度率ｄおよびｄ^* である。

【００５８】目標画像の再構成は、源画像の対応点Ｍお
よび目標画像の対応点Ｍ^* が３次元空間における同一目
的点μの画像点である、という事実に基づいている。正
確な計算によれば、これらの各点は、両画像ＩおよびＩ
^* に共通の視点Ｐから派出して目的点μを通過する直線
光線Ｐμ上に位置している。 Ｂ：本発明による方法の説明 Ｂ１：斜視的変換関数と呼ぶ幾何学的関数の定義

【００５９】目標画像の画素を源画像の点に整合させ、
空間の同一点μの画像が共通視点Ｐから派出した光線Ｐ
μ上に位置するようにするには、源画像平面もしくは目
標画像平面の各点の座標を、空間の目的点μおよび視点
Ｐを通過する光線Ｐμに関連させ得る斜視的変換関数を
決定する必要がある。

【００６０】これらの斜視的変換関数は、目標画像Ｉ^*
の画素Ｍ^* に関連した輝度関数Ｑ^*（Ｘ^* ，Ｙ^* ）（１
ａ）と源画像Ｉの画素Ｍに関連した輝度関数Ｑ（Ｘ，
Ｙ）（１ｂ）との関係の確立に伴って変化する。この対
応は、つぎの（２）式が成り立つ場合に確立される。 Ｑ^* （Ｘ^* ，Ｙ^* ）＝Ｑ（Ｘ，Ｙ） （２）

【００６１】 この問題を解くために、（Ｘ，Ｙ）＝Ｆ（α，β） （３ａ） なる第１関数Ｆおよび（Ｘ^* ，Ｙ^* ）＝Ｇ（α，β） （３ｂ） なる第２関数Ｇを規定する。

【００６２】パラメータαおよびβは、後にさらに規定
する角度パラメータであり、この角度パラメータを規定
すると、（２）式の関係における（１ａ）式の項は、第
１関数Ｆにより、αおよびβの関数としてつぎのように
表わすことができる。 Ｑ（Ｘ，Ｙ）＝Ｑ〔Ｆ（α，β）〕 （４ａ） （３ｂ）式の関係から、つぎの（５）式が導かれる。 （α，β）＝Ｇ^-1（Ｘ^* ，Ｙ ^*） （５） この（５）式を（４ａ）式に代入すると、つぎの（４
ｂ）式が導かれる。 Ｑ（Ｘ，Ｙ）＝Ｑ〔Ｆ（Ｇ^-1（Ｘ^* ，Ｙ ^*））〕 （４ｂ）

【００６３】（２）式における（１ｂ）式の項を（４
ｂ）式により置換すると、つぎの（５ａ）式となる。 Ｑ^* （Ｘ^* ，Ｙ^* ）＝Ｑ〔Ｆ（Ｇ^-1（Ｘ^* ，Ｙ ^*））〕 （５ａ） （５ａ）式の右辺は、関数の構成に関する数学的記号Ｏ
（「リング」と読む）を用いて書き得る３関数の構成で
あり、つぎの（５ｂ）式のように書き表わされ、 Ｑ^* （Ｘ^* ，Ｙ^* ）＝ＧｏＦｏＧ^-1（Ｘ^* ，Ｙ ^*） （５ｂ） さらに簡単化してつぎの（６）式のように書き表わされ
る。 Ｑ^* ＝ＧｏＦｏＧ^-1 （６）

【００６４】（６）式において、関数Ｑ^* およびＱは輝
度関数であり、関数ＦおよびＧ^-1は斜視変換関数であ
る。

【００６５】発明の詳細な説明の冒頭に前述したよう
に、従来の技術により、斜視的変換関数は、確実に、源
画像を処理して目標画像の「正確」な構成に到達し得た
が、その構成の正確さは、解決すべき問題に極めてそぐ
わない制限の範囲で実施が極めて困難であって、さら
に、高価につく手段を用いて始めて達成し得たものであ
る。

【００６６】本発明は、つぎの各特性を呈する斜視的変
換関数ＦおよびＧ^-1の決定を目指すものである。 ａ）これらの関数は、源画像からの目標画像の厳密に正
確な構成は許さないが、予知された観視者は合理的に充
分に信頼し得る構成と見なし、一般に非専門家および予
知されていない観視者には、厳密に正確に構成された目
標画像と本発明により構成した目標画像とを見分け得な
い。 ｂ）これらの関数は、簡単で安価な手段で実施し得る。 ｃ）これらの関数を実施すれば、実時間で目標画像の構
成を達成することができ、冒頭に述べた技術的問題を解
決し得る。

【００６７】したがって、本発明によれば、二つの関数
ＦおよびＧ^-1が最先に規定される。 Ｂ２：本発明による斜視的幾何学変換関数Ｇ^-1の決定

【００６８】図１（Ｂ）を参照するに、図６（Ｂ）にも
示すように、目標画像Ｉ^* の画素Ｍ ^* を通過する光線Ｐ
μは、絶対枠の水平平面（ＰＺ_a 、ＰＸ_a ）上のＰμ_a
に真直に投影される。

【００６９】その射影において、平面（Ｐμ，Ｐμ_a ）
は垂直平面であり、点Ｍ_a ^* は、Ｐμの画素Ｍ^* のＰμ
_a における射影であり、この射影は垂直軸ＰＹ_a に平行
である。

【００７０】したがって、目標画像の与えられた画素Ｍ
^* の座標（Ｘ^* ，Ｙ^* ）が判ると、この点Ｍ^* を通る光
線を規定する球面座標を決定する。

【００７１】光線Ｐμに結び付けた球面座標は、水平平
面上の角度α＝（ＰＺ_a ，Ｐμ_a ）および垂直平面上の
角度β＝（Ｐμ，Ｐμ_a ）である。

【００７２】これらの角度は、絶対枠、したがって、３
次元空間における光線Ｐμの位置を充分に規定する。

【００７３】角度αの定義を説明するために、図５
（Ａ）は、つぎのようになった水平平面（ＰＺ_a ，ＰＸ
_a ）を表わしている。軸Ｐμ_a は光線Ｐμの射影であ
り、点μ_a ，Ｍ_a ^* ，Ｍ_a はそれぞれ点μ，Ｍ^* ，Ｍの
射影であって、軸Ｐμ_a と並んでおり、角度α＝（ＰＺ
_a ，Ｐμ_a ）はこの水平平面において光線Ｐμの射影Ｐ
μ_a と絶対枠の基準軸ＰＺ_a とがなす角度である。

【００７４】角度βの定義を説明するために、図５
（Ａ）は、つぎのようになった垂直平面（ＰＹ_a ，Ｐμ
_a ）を表わしている。軸Ｐμは、空間の対象点μと目標
画像の画素Ｍ^* と同様の源画像の点Ｍとが並んだ光線で
あり、軸Ｐμ_a は水平平面上の射影であり、点Ｍ_a ，Ｍ
_a ^* ，μ_a は、それぞれ、源画像点Ｍ、目標画像点
Ｍ^* 、空間の対象点μの射影であり、角度βは、水平平
面において光線Ｐμとその射影Ｐμ_a とがなす角度であ
る。

【００７５】諸関係は、以下では、絶対枠で考えた球面
座標α，βすなわち角度α，βを目標画像Ｉ^* の個別枠
で考えた座標Ｘ^* ，Ｙ^* に結び付けるために選ばれる。

【００７６】本発明による幾何学的関数Ｇ^-1を決定する
ために、角度パラメータα，βは、目下の画素Ｍ^* の座
標Ｘ^* ，Ｙ^* の「線形関数」として選ばれる。

【００７７】この目的のために、つぎのように表わす。

【数２】

【００７８】角度α，βを規定するための諸関係の選択
は、以後画素Ｍ^* （Ｘ^* ，Ｙ^* ）を正確に通る実際の光
線Ｐμよりも目標画像の画素Ｍ^* （Ｘ^* ，Ｙ^* ）の近傍
を通る新たな光線ＰＷの考察に通じ、前述したように、
再構成した画像が従来のような「正確」ではなく、「近
似」であることを意味する近似の選択となる。それにも
拘わらず、斜視図法に必要な変更を施した本発明による
再構成画像は、画像の変態をできるだけ更に訂正して
「正確」な画像に極めて近似した特性を有している。本
発明による近似においては、したがって、水平平面にＰ
Ｗ_a で投影された光線ＰＷは、実際の光線Ｐμにほぼ併
合されて、（７ａ）式および（７ｂ）式の線形関係によ
って規定される球面座標（α，β）を有している。光線
ＰＷ，Ｐμの射影ＰＷ_a ，Ｐμ_a は、同様に、ほぼ併合
されるものと仮定される。

【００７９】（７ａ）式および（７ｂ）式によるこれら
の関係において、パラメータ

【外１】 および

【外２】 は、尺度率ｄ^* 、すなわち、絶対枠における目標画像の
位置によると同様に、回転角θ^* および傾斜角φ^* のみ
に依存している。

【００８０】図４（Ｂ）を参照するに、目標画像の寸法
は、軸Ｏ^* Ｘ′^* に平行の２Ｖ_x ^*および軸Ｏ^* Ｙ′^*
に平行の２Ｖ_y ^* である。（図４（Ｂ）の特殊な場合で
は、Ｖ_x ^* ＝Ｖ_y ^* である。）寸法Ｖ_x ^* およびＶ_y ^*
は、画素の個数でつぎのように表わされる。 角度間隔〔−Δθ^* ，＋Δθ^* 〕におけるＸ^* ε〔−Ｖ
_x ^* ，Ｖ_x ^* 〕 角度間隔〔−Δφ^* ，＋Δφ^* 〕におけるＸ^* ε〔−Ｖ
_y ^* ，Ｖ_y ^* 〕

【００８１】図７（Ｂ）において、Ｘ^* ＝０のときに
は、α＝θ^* となり、Ｘ^* ＝±Ｖ_x ^* のときには、α＝
θ^* ±Δθ^* となり、 これは、α＝（Δθ^* ／Ｖ_x ^* ）Ｘ^* ＋θ^* （８ａ） となることを意味する。Ｄ_x ^* を画像Ｉ^* におけるＶ_x
^* に平行のラジアン当りの画素数に等しく設定すると、 （Ｖ_x ^* ／Δθ^* ）＝Ｄ_x ^* となり、したがってつぎの（９ａ）式となり、 α＝（１／Ｄ_x ^* ）Ｘ^* ＋θ^* （９ａ） （７ａ）式の関係と（９ａ）式の関係とを項毎に比較す
ると、つぎのようになる。

【数３】

【００８２】当業者は、同様に率直につぎの（８ｂ）式
のように計算する。 β＝（Δφ^* ／Ｖ_y ^* ）Ｙ^* ＋φ^* （８ｂ） したがって、 Ｄ_y ^* ＝Ｖ_y ^* ／Δφ^* と置くと、つぎ
のようになる。

【数４】

【００８３】したがって、目標画像Ｉ^* の各画素を、Ｍ
^* が位置する実際の光線Ｐμの近似である光線ＰＷに結
び付ける単純な線形関係がつぎのように決定される。 α＝（１／Ｄ_x ^* ）Ｘ^* ＋θ^* （９ａ） β＝（１／Ｄ_y ^* ）Ｙ^* ＋φ^* （９ｂ）

【００８４】これらの関係により、当業者は、つぎのよ
うな（５）式の関数Ｇ^-1を決定し得る。 （α，β）＝Ｇ^-1（Ｘ^* ，Ｙ^* ） （５）

【００８５】この関数Ｇ^-1は、目標画像Ｉ^* の角度
φ^* ，θ^* およびラジアン当りの画素数Ｄ_x ^* ，Ｄ_y ^*
が判ると、その画像の所定の画素Ｍ^* （Ｘ^* ，Ｙ^* ）に
結び付くために選ばれた近似光線ＰＷ^* の球面座標
（α，β）の計算を可能にする。

【００８６】パラメータＤ_x ^* ，Ｄ_y ^* は、目標画像の
「分解能」と呼ばれ、目標画像の目標尺度率ｄ^* および
フレーミングＶ_x ^* ，Ｖ_y ^* の関数であり、図 7（Ａ）
および７（Ｂ）を参照すると、つぎのとおりであること
は明らかである。 tan Δθ＝Ｖ_x ^* ／ＰＯ_a ^* ＰＯ_a ^* ＝ｄ^* ・cos φ^* したがって、Ｄ_x ^* ＝（１／Ｖ_x ^* ） tan^-1（Ｖ_x ^* ／
ｄ^* ・cos φ^* ） さらに、 tan Δφ^* ＝Ｖ_y ^* ／ｄ^* したがって、Ｄ_y ^* ＝（１／Ｖ_y ^* ） tan^-1（Ｖ_y ^* ／
ｄ^* ）

【００８７】したがって、この関数Ｇ^-1は、使用者の程
度に応じて連続的に変り得るパラメータθ^* ，φ^* およ
びｄ^* を備えている。しかしながら、本発明によれば、
この関数は、実時間で計算可能とするに十分に簡単に選
ばれている一方では、正しい再構成画像を引続いて提供
する。 Ｂ３：本発明による斜視変換用幾何関係Ｆの計算

【００８８】さて、選ばれた近似光線の球面座標（α，
β）の知識から源画像Ｉの点Ｍの個別枠における座標
（Ｘ，Ｙ）を決定する必要があり、この点Ｍは、正確な
光線Ｐμにほぼ併合された同じ光線ＰＷ上に位置してい
る。

【００８９】源画像Ｉを個別枠（ＰＸ，ＰＹ，ＰＺ）内
に斜視的に表わした図２を参照するに、点Ｍは、つぎの
ことが判れば完全に設定される。

【数５】 ここにＭ′は源画像Ｉの平面における軸Ｘ′上のＭの射
影である。 および 尺度率 ｄ＝ＰＯ これは、絶対源点の役をする共通視点Ｐと画像Ｉの幾何
中心点Ｏとの間の距離である。

【００９０】さて、図３（Ｂ）を参照して、ＭＭ′＝Ｙ
およびＭＭ″＝Ｘであることが判っている。

【００９１】図２を参照して、つぎの式を計算する。 Ｘ＝ｄ・tan Ａ （１０ａ） Ｙ＝ｄ・tan Ｂ／cos Ａ （１０ｂ）

【００９２】図２を参照して、単なる個別枠内よりも絶
対枠内に点Ｍを規定する。

【００９３】図１（Ａ）に関連して、絶対枠の軸ＰＺ_a
上に移すために、光学軸ＰＺにローテーションφ（傾
斜）およびローテーションθ（回転）を連続的に適用す
ることにより、個別枠から絶対枠に進む。

【００９４】したがって、枠の式をつぎのように書直す
ことができ、

【数６】 したがって、計算の後にはつぎの式が得られる。

【数７】

【００９５】（３ａ）式の関係と（１０ａ）式の関係と
を結合させると、（１０ｂ）式は、求めている（Ｘ，
Ｙ）と（α，β）との間の関係Ｆに到達する。この関係
は、正確で複雑であるが、固定で先験的に知られている
源画像のパラメータθおよびφと対（α，β）とのみに
依存していることに留意すべきである。有限個数の対
（α，β）に先験的に設定することにより、関数Ｆは、
図表に作製することができ、したがって、関数Ｆの複雑
さによる計算の困難性は回避することができる。また、
図表にした範囲内で対物レンズの歪みに気付き得る。先
験的に許される対（α，β）の個数が多い程、点Ｍ
（Ｘ，Ｙ）の決定における精度は向上する。 Ｂ４：幾何関数ＦおよびＧ^-1による目標画像計算用画像
処理方法

【００９６】使用者は、構成したいと思う目標画像Ｉ^*
のパラメータを規定するが、そのパラメータは、回転角
θ^* 、傾斜角φ^* および尺度率ｄ^* である。

【００９７】本発明によれば、目標画像Ｉ^* 構成用画像
処理方法は、第 1に、その目標画像Ｉ^* の各画素Ｍ^* の
座標（Ｘ^* ，Ｙ^* ）の規定を含んでいる。したがって、
各画素Ｍ^* （Ｘ^* ，Ｙ^* ）について、この画像処理方法
では、つぎの式で決まる関数Ｇ^-1を適用する。 （α，β）＝Ｇ^-1（Ｘ^* ，Ｙ^* ）
（５） ここに α＝（１／Ｄ_x ^* ）Ｘ^* ＋θ^* （９ａ） β＝（１／Ｄ_y ^* ）Ｙ^* ＋φ^* （９ｂ）

【００９８】（５）式による幾何学的斜視変換関数Ｇ^-1
は、その結果、目標画像Ｉ^* の個別枠における所定の画
素Ｍ^* の座標から出発して、そ画素の近傍および角度
α，βの測定範囲内の絶対枠の原点でもある全画像に共
通の視点Ｐを通る直線光線ＰＷの球面座標（α，β）の
極めて簡単な態様の計算を可能にする。

【００９９】近似光線ＰＷの球面座標（α，β）の計算
が終了すると、画像処理方法には、絶対枠に規定した球
面座標（α，β）の各対について、近似光線ＰＷの源画
像Ｉとの交点に位置する源画像の点Ｍの座標（Ｘ，Ｙ）
の表内の探索が含まれ、その座標（Ｘ，Ｙ）は、その源
画像の個別枠内で測定される。

【０１００】この目的のために、初期段階では、有限個
数の球面座標（α，β）の対が特定されて（α_o ，β）
と表に示され、各所定の（α_o ，β_o ）について、つぎ
の幾何学的斜視変換関数Ｆの適用により計算される。 （Ｘ，Ｙ）＝Ｆ（α_o ，β_o ） （３ａ） ここに Ｘ＝ｄ・tan Ａ （１０ａ） Ｙ＝ｄ・tan Ｂ／cos Ａ （１０ｂ） この関係においては、中間パラメータＡおよびＢは、源
画像Ｉのパラメータ、すなわち、回転角θおよび傾斜角
φを含む、球面座標（α_o ，β_o ）の（１１ａ）式およ
び（１１ｂ）式による三角法関数である。したがって、
各対（α_o ，β_o）についいて、点Ｍの座標ＸおよびＹ
は、この画像処理方法では先験的に値が既知の源画像の
尺度率ｄ並びに角度θおよびφの各純粋な関数となる。
その結果、初期段階では、対（α_o ，β_o ）がまず与え
られ、ついで、座標（Ｘ，Ｙ）の対応する対が計算され
て、表のアドレス（α_o ，β_o ）に蓄積される。

【０１０１】その表は、その表の分解能の範囲内で、そ
の表のアドレスをもった関数Ｇ^-1によって計算した各対
（α，β）に整合させて使用する。そのアドレスで、一
対の座標（Ｘ，Ｙ）を予め計算し、蓄積して読出す。

【０１０２】さて、目標画像Ｉ^* の画素Ｍ^* に整合した
源画像の点Ｍの座標が得られると、画像処理方法には、
その点Ｍにおける輝度レベルの値の恐らくは補間による
決定、ついで、その輝度レベルの、構成すべき目標画像
の画素Ｍ^* への転送が含まれる。

【０１０３】かかる動作は、目標画像の各画素につい
て、全目標画像が構成されるまで繰返される。

【０１０４】使用者が目標画像について新たなパラメー
タφ^* ，θ^* およびｄ^* を選択すると、新たな目標画像
が構成され、源画像は、３次元空間のもとの位置に、も
とのままのパラメータθ，φおよびｄをもって残る。

【０１０５】使用者が指定した目標画像の位置および尺
度率の変化のもとで、その目標画像は、源画像と共通の
視点を保持している。 Ｃ：幾何学的関数Ｆ，Ｇ^-1実施用画像処理装置

【０１０６】図１３は、前述した幾何学的斜視変換関数
Ｇ^-1およびＦの実施により源画像Ｉから目標画像Ｉ^* を
構成するたの画像処理装置２００を機能ブロック群とし
て表わしたものである。以下では、一般に、目標画像Ｉ
^* の画素Ｍ^* のアドレス（Ｘ ^* ，Ｙ^* ）からの源画像Ｉ
の対応点Ｍのアドレス（Ｘ，Ｙ）の計算を行なうので、
この装置を「アドレス計算器」と呼ぶ。

【０１０７】図１３において、ブロック２１０は、目標
画像のパラメータの変化の有無に拘わりなく、目標画像
Ｉ^* を、実時間で、すなわち、毎秒役２０枚の割合いで
構成するために使用者が選ぶメラメータφ^* ，θ^* ，ｄ
^* を蓄積するメモリブロックである。また、ブロック２
０１は、目標画像Ｉ^* のフレーミング、すなわち、パラ
メータＶ_x ^* およびＶ_y ^* を使用者が選んだパラメータ
から決めるブロックである。また、ブロック１１３は、
目標画像の個別枠内で、目標画像Ｉ^* の各画素Ｍ^* の種
々のアドレス（Ｘ^* ，Ｙ^* ）を、各画素毎に一つずつ提
供するアドレス発生器である。

【０１０８】ブロック２２０は、ブロック１１３および
２１０からのデータを受取り、関数Ｇ^-1を実行する。

【０１０９】各ブロック１１３，２０１および２１０
は、例えばメモリ領域からなっており、これらのメモリ
領域をアクセスする系統によって相互に接続されてい
る。

【０１１０】図８は、関数Ｇ^-1およびＦがアドレス計算
器２００で用いられる状態を示したものである。

【０１１１】ブロック１１３が提供する各対（Ｘ^* ，Ｙ
^* ）には、（９ａ）式および（９ｂ）式が与える球面座
標（α，β）を特徴とする近似光線ＰＷが、角度θ^* お
よびφ^* とパラメータｄ^* すなわちパラメータＤ_x ^* ，
Ｄ_y ^* の関数として対応する。

【０１１２】目標画像Ｉ^* を、その画像の種々の線上の
画素の座標によるブロック１１３が用意した空間で順次
に走査する場合に、図８に表わした中心Ｐを有する球面
Ｓの領域Ｋ^* を近似光線ＰＷ_k が走査する。各近似光線
ＰＷ_H が領域Ｋ^* における球面Ｓと点Ｋで交叉する。球
面Ｓの表面における領域Ｋ^* には、光線ＰＷ_H ^* すなわ
ち画像Ｉ^* の画素と同数の交叉点Ｋが存在する。球面Ｓ
のかかる交叉点Ｋには、計算した対（α，β）が組合わ
されており、球面Ｓ上の走査される領域Ｋ^* の大きさ
は、上述のパラメータΔθ^* およびΔφ^* すなわち所定
のＤ_x ^* およびＤ _y ^* を有する寸法Ｖ_x ^* およびＶ_y ^*
に依存している。

【０１１３】（５）式および（９ａ）式、（９ｂ）式で
決めた幾何学的変換Ｇ^-1は、球面領域Ｋ^* 上の目標画像
Ｈ^* の射影からなっている。この射影により、画像Ｉ^*
の点Ｍ^* （Ｘ^* ，Ｙ^* ）に対応する領域Ｋ^* の点Ｋ
（α，β）が決まる。その決定は、図１３にブロック２
２０で表わした計算手段によって実時間で行なわれる。

【０１１４】図８に表わした球面Ｓは、複雑な関数Ｆを
表にする方法を当業者に説明するための純粋に理論的な
構成である。

【０１１５】関数Ｆを表にするために、目標画像Ｉ^* の
少なくともできるだけ良好な分解能とする「分解能」
は、先験的に球面Ｓのラジアン当たりの画素数で決ま
る。したがって、アドレス（α₀ ，β₀ ）を付して、関
連した領域Ｋ^* 内で球の表面に分布した画素Ｋ₀ の量
は、先験的に選定される。所定の各画素Ｋ₀ のアドレス
（α ₀ ，β₀ ）は、球面Ｓの半径ＰＫ₀ の球面座標（α
₀ ，β₀ ）からなる。所定の画素Ｋ₀ に結合した各対
（α₀ ，β₀ ）について、源画像の対応する点Ｍの座標
（Ｘ，Ｙ）は、前述した三角法関数Ｆによって予備段階
で計算する。事実、各対（α₀ ，β₀ ）に対する式（１
０ａ），（１０ｂ）および（１１ａ），（１１ｂ）の関
係により、座標Ｘ，Ｙは固定され、源画像Ｉのパラメー
タφ，θおよびｄが判った瞬間から一度にすべてについ
て決めることができる。

【０１１６】本発明によれば、源画像Ｉはパラメータが
先験的に既知の固定フレーミングを有する画像であると
仮定する。したがって、先験的に固定の球面座標
（α₀ ，β ₀ ）の対から初期段階で関数Ｆによって計算
した座標（Ｘ，Ｙ）の対は、選択した対（α₀ ，β₀ ）
によって構成したアドレスで「テーブル（ラット）」と
呼ぶメモリ領域２０４に蓄積することができる。

【０１１７】別途述べるように、源画像Ｉの点Ｍの予め
計算した座標（Ｘ，Ｙ）は、初期段階で、選ばれた画素
Ｋ₀ の球面座標からなる各アドレス（α₀ ，β₀ ）毎に
表（ラット）に書込まれる。

【０１１８】さて、図１３に示すアドレス計算器におい
ては、関数Ｇ^-1により、実時間で、各対（Ｘ，Ｙ）毎に
一つの対（α，β）を手段２２０が計算する。

【０１１９】この計算手段２２０は、例えば、（２３
ａ）式の三角法関係を実行することによりαを提供する
とともに、（２３ｂ）式の三角法関係を実行することに
より付随してβを提供するための図１５に模式的に示す
機能の組合わせからなっている。したがって、本発明の
手段により、使用者が目標画像について新たな設定を選
ぶ度毎に変化する変数を備えた関数Ｇ^-1は、実時間で計
算するのに充分な簡単さになる。

【０１２０】図１３を参照するに、つぎのブロック２０
４は、ブロック２２０が行った計算の、対（α，β）か
らなる結果を受取る。このブロック２０４は、関数Ｆに
よる計算の結果を蓄積するとともに、先験的に選んだ対
（α₀ ，β₀ ）、すなわち、点Ｋ₀ （α₀ ，β₀ ）に対
応した点Ｍ（Ｘ，Ｙ）に適用される表（ラット）であ
る。アドレス手段は、表２０４において、その表の分解
能の範囲内で、計算ブロック２２０が提供する計算した
アドレス（α，β）に最もよく対応したアドレス
（α₀ ，β₀ ）を探索する。このアドレス（α₀ ，
β₀ ）に、目標画像Ｉ^* の開始画素Ｍ^* （Ｘ^* ，Ｙ^* ）
に整合した源画像Ｉの点Ｍの座標（Ｘ，Ｙ）が存在す
る。

【０１２１】したがって、本発明による目標画像の構成
には、つぎの２種類の明確な近似が含まれる。Ｘ^* ，Ｙ
^* における簡単化した三角法的関係を、（Ｘ^* ，Ｙ^* ）
を（α，β）に関連させる正確な式の替わりに、関数Ｇ
^-1用に選ぶという事実に基づく、実際の光線Ｐμに替わ
る不正確な光線ＰＷ_H ^* の球面座標（α，β）の計算に
おける第１近似。予め先験的に決めて表にした対
（α₀ ，β₀ ）に対応して、Ｇ^-1により実際に計算した
対（α，β）には対応しない関数Ｆにより初期の位相で
正確に計算した対と同様に座標（Ｘ，Ｙ）を提供すると
いう事実に基づく、点Ｍ（Ｘ，Ｙ）の決定における第２
近似。

【０１２２】ブロック２０４、例えば、ルックアップテ
ーブルに替わるラット種の表は、初期段階で、源画像に
関連し、機能ブロック２１に含まれ、多くの予定対（α
₀ ，β₀ ）について関数Ｆを適用するデータの助けによ
って直接に負荷することができる。

【０１２３】メモリブロック２１には、源画像のパラメ
ータφ，θ，ｄを蓄積する。 Ｄ：固定カメラおよび車載カメラ擬似システムを備えた
画像処理装置

【０１２４】本発明は、個別の視野を混合してパノラマ
シーンを観るための広角視野を形成するように配置した
ｎ個の実際のカメラのシステム、および、広角視野の任
意の断片に対応し、ｎ個の実際のカメラが提供した隣接
源画像から構成したいわゆる目標副画像を実時間で提供
するために、パノラマシーンを連続的に走査するいわゆ
る仮想の車載カメラを擬似し、実際のカメラの視野に併
せもしくは近接した視点を有する画像構成システムを備
えた画像処理装置にも関するものである。

【０１２５】本発明は、例えばスポーツ行事のシーンの
記録の場合のように広い視野を覆うショットが必要な遠
隔監視部門やテレビジョン部門に適用され、また、死角
のない周辺パノラマ用バックミラーの製造における自動
車構成部門に適用される。

【０１２６】前述した画像再構成システムの応用とし
て、本発明は、視野を混合したｎ個の固定カメラで覆う
広角視野を走査する車載カメラを擬似し得る画像処理装
置の提供を目的とする。

【０１２７】本発明が最大の目的とするところは、実在
の車載カメラがもち得る能力のすべてを備えた、換言す
れば、固定した観視者に基づき、監視もしくは観視する
パノラマシーンの左から右への水平角運動の可能性、そ
のシーンの上から下への垂直角運動の可能性およびその
シーンの一部の領域をズームインする可能性を備えたカ
メラを擬似した画像処理装置の提供である。

【０１２８】そこで、目標画像を構成する際に技術的問
題が生ずる。実際に、実際のカメラの能力を提供するに
は、その擬似カメラが実時間で目標画像を構成し得るよ
うにしなければならず、これは、計算時間が十分に短く
なければならないことを意味する。さて、実際に直面す
る場合における目標画像の構成は、複雑な幾何学的計算
の技術的問題を提起する。

【０１２９】第１の問題は、多数のカメラが、隣接し
て、各カメラが覆う視野が構成すべきパノラマシーンの
如何なる領域も失わないように配置され、あるゆるデー
タを目標画像の構成に利用し得るにも拘らず、カメラ間
の境界毎に一つのカメラが提供した画像から隣接カメラ
の他の画像に移る際に、これら異なるカメラが記録する
シーンの隣接領域に関し、二つのカメラの視野の相違の
みによる大きい画像歪みが生ずるという事実にある。

【０１３０】第２の問題は、多くの場合、広角視野を覆
う監視を最小限の実際の固定カメラを用いて行なうため
に、使用するカメラ自体を「広角」すなわち魚眼型にす
る、という事実から派出する。この型の対物レンズは、
相当な大きさの典型的歪みを生じ、特に、水平・垂直の
線が円弧形状になる。

【０１３１】上述の問題を解決しないと、二つの異なる
カメラが記録したシーンの２領域に跨って形成した目標
画像は、精細度を全く欠いた極めて不愉快なものにな
る。

【０１３２】これは、種々異なる実際の固定カメラから
発生した画像部分の幾何学的整合を達成する一方では、
視角の相違および実際の固定カメラの対物レンズの光学
的欠陥に基づく歪みに注目して補償しなければならない
理由であり、さらに、その画像処理を実時間で行わなけ
ればならない。

【０１３３】したがって、本発明の目的は、実時間で目
標画像を再構成する機能を満たす一方では、前述したよ
うに高価な市販製品を用いてのみ実行し得る複雑な幾何
学的変換使用の必要性をなくした画像処理装置を提供す
ることにあり、この目的は、本発明による以下に述べる
画像処理装置により達成される。

【０１３４】この装置を用いれば、パノラマシーンを観
視する使用者は、ズームを備え、光学軸の方向に変化を
与え、すなわち、観視の際に傾斜および回転に変化を与
えるための機械的手段を備えた車載カメラを有する使用
者と全く同じ慰めとサービスとが得られる。利点は、機
械的手段が阻止されることである。傾斜角および回転角
の機械的回転用のモータおよびズーム調整用モータに組
合わせた機械的手段は、なお欠陥に結び付いており、ま
ず、相当の大きさであり、つぎに、発生する動きが極め
ておそく、さらに、極めて高価であり、最後に、通常戸
外に設けられているので、天候により急速に変化する。
本発明によって用いる電子的画像処理手段は、極めて精
密で、信頼性があり、極めて急速で、取扱い易いので、
これらの欠陥をすべて排除し、さらに天候から保護さ
れ、そのうえ、自動動作に対してプログラムし易く、最
後に、機械的手段より安価である。

【０１３５】したがって、使用者は、本発明の手段を用
いれば、機械的手段を用いた場合に比べて、まず、観視
し易く、つぎに、より精密で、観視行動を実施する機能
が優れた画像が得られ、さらに、使用するカメラの台数
により、１８０°もしくは３６０°の視野が得られるの
で、さらに視野の広いパノラマシーンを観視することが
でき、その結果、監視領域が大いに増大する。

【０１３６】目標画像の構成に必要なデータを得るのに
複数台のカメラを用いるという事実は、単一の実際の車
載カメラに組合わせて、傾斜、回転あるいはズームを変
化させる機械的装置より固定のＣＣＤ（電荷結合素子）
カメラの組合わせの方が安価になるので、不利ではなく
なる。 Ｄ１：画像撮影システム

【０１３７】図１０は、１８０°角のシームに関するデ
ータを記録するための複数台の実際の固定カメラの可能
な配置を断面で示すものである。このパノラマシーンの
記録は、３台の固定カメラＣ１，Ｃ２，Ｃ３で行われ、
これらのカメラの光学視野は、パノラマシーンの全デー
タが絶対的に一つもしくは他のカメラで記録され、如何
なる対象物も監視を免れ得ないようになっており、これ
らのカメラは、共通の視点、もしくは、極めて近接した
視点群を有するように配置してある。

【０１３８】軸ＰＺ１，ＰＺ２，ＰＺ３は、カメラＣ
１，Ｃ２，Ｃ３の光学軸をそれぞれ表わし、点Ｏ１，Ｏ
２，Ｏ３は、画像平面における画像Ｉ１，Ｉ２，Ｉ３の
幾何中心を光学軸上にそれぞれ表わしている。

【０１３９】当業者は、固定カメラ相互の種々の配置を
さらに詳しく説明せずとも、パノラマシーンのあらゆる
種類の観視を行なうことができる。

【０１４０】一般に、画像撮影装置は、複数ｎ台の実際
の固定カメラを、固定の既知の焦点距離をもって隣接配
置して備えており、個別の視野を混ぜて、広角視野を覆
うよになっている。したがって、ｎ台の隣接固定したカ
メラは、ｎ個の固定画像を提供しているので、この画像
撮影装置はパノラマシーンを監視し得る。カメラ群の光
学視野は、パノラマシーンの詳細が、すべて、一つもし
くは他のカメラで記録され、如何なる対象物も監視を免
れ得ないようになっている。

【０１４１】かかる結果を得るために、これらｎ台の隣
接固定カメラは、視点とも呼ぶ光学中心Ｐが互いに一致
するように配置する。

【０１４２】事実、ｎ個のカメラの視点は、物理的に一
致させ得ない。しかしながら、これらの視点を互いに分
離する距離が、撮影するパノラマシーンからの距離に比
して小さく、例えば、相互間の距離が５cm乃至１０cmで
あって、パノラマシーンからの距離が５ｍであれば、一
致の条件は、以下では、十分によく満たされ、したがっ
て、これらの距離の比が５０より大きい程度であれば、
一致の条件は満たされたと考えられる。 Ｄ２：カメラ群による画像の形成

【０１４３】本発明の目的は、ｎ台の固定カメラで記録
したパノラマシーンの任意の部分もしくは副画像のディ
ジタル画像を、実時間で、使用者が選んだ設定によって
提供し得る車載カメラを擬似したディジタル画像再構成
システムを提供することにある。

【０１４４】ｎ台のカメラがいわゆるディジタル源画像
Ｉ１，Ｉ２，…，Ｉ_n を提供し、以下では、ｎ台のう
ち、２台の隣接固定カメラが形成した源画像Ｉ_i とＩ_j
とを例として考案する。

【０１４５】図９（Ａ）を参照するに、これらの隣接固
定カメラＣ_i およびＣ_j は、隣接源画像平面Ｉ_i および
_j に、パノラマシーンのそれぞれの画像を形成する。図
９（Ｂ）を参照するに、軸ＰＸ_a およびＰＺ_a が垂直
で、軸ＰＹ_a が水平の直交軸により、絶対枠ＰＸ_a ，Ｐ
Ｙ_a ，ＰＺ_a が判定される。

【０１４６】源画像Ｉ_i およびＩ_j がディジタル化さ
れ、これらの画像の各画素Ｍが図３（Ａ）および３
（Ｂ）を参照して前述したように各画像平面に結合した
個別枠内に、その座標によって規定される。

【０１４７】カメラの各画像平面に結合した個別枠が一
旦確立されると、これらの固定源画像平面は、それぞれ
の回転角θ_i ，θ_j および傾斜角φ_i ，φ_j により現実
の枠に結合することができる。

【０１４８】図９（Ａ）において、軸ＰＴ_aiおよびＰＴ
_ajは光学軸ＰＺ_i およびＰＺ_j の射影であり、点Ｏ_aiお
よびＯ_ajは光学中心Ｏ_i およびＯ_j の射影であり、接片
Ｉ_aiおよびＩ_ajは、絶対枠の水平平面（ＰＺ_a ，Ｐ
Ｘ_a ）である図の平面における画像平面Ｉ_i およびＩ_j
の射影である。

【０１４９】したがって、図９（Ａ）においては、 θ_i ＝（ＰＴ_ai，ＰＺ_a ）；θ_j （ＰＴ_aj，ＰＺ_a ） であり、源画像Ｉ_i およびＩ_j に関する角度φ_i および
φ_j は、図６（Ａ）を参照して前述したように決定する
ことができ、したがって、φ_i ＝（ＰＺ_i ，ＰＴ _ai）お
よびφ_i ＝（ＰＺ_j ，ＰＴ_aj）となる。

【０１５０】図１１（Ａ）は、２台の隣接固定カメラが
提供したパノラマシーンの隣接画像Ｉ_i およびＩ_j の正
面を示すものである。図１１（Ａ）において、説明を簡
単にするために、画像Ｉ_i およびＩ_j は、ともに図の平
面に正面を示してあるが、実際は、固定カメラの光学軸
がなす角に等しい角をなしている。かかる画像におい
て、使用者は、線Ｊ₀ で境界を定めた任意の副画像を、
もっと左もしくは右に、もっと上もしくは下に、固定カ
メラと同じ大きさ、もしくは、もっと大きくあるいはも
っと小さくして眺めるように選ぶことができる。

【０１５１】擬似車載カメラは、図１１（Ａ）の線Ｊ₀
で境界を定めた源画像部分Ｓ_i ，Ｓ _j から目標画像Ｉ^*
を構成することができる。以後Ｃ^* で示すこのカメラ
は、実在しないカメラを擬似した事実の故に、仮想カメ
ラと呼ぶ。明らかに、この車載カメラは、２画像Ｉ_i ，
Ｉ_j の探索に限定されるものではなく、Ｉ₁ 乃至Ｉ_n の
全源画像を探索することができ、おそらく、２隣接源画
像以上の目標画像を構成することができる。

【０１５２】目標画像Ｉ^* は、以前のように、回転角度
θ^*、 傾斜角φ^* 、分解能Ｄ_x ^* ，Ｄ_y ^* すなわち尺度
率ｄ^* および、画素群の列に平行の高さ２Ｖ_y ^* および
行に平行の幅２Ｖ_x ^* によって規定され、その視点は、
実際の固定カメラの近似視点および絶対原点Ｐに併合さ
れ、点Ｏ^* は目標画像Ｉ^* の幾何中心になる。

【０１５３】図９（Ａ）は、水平平面における仮想カメ
ラの目標画像平面Ｉ^* のＩ_a ^* で表わした射影、およ
び、その光学軸ＰＺ^* の射影ＰＴ_a ^* を示すものであ
り、その射影ＰＴ_a ^* は、目標画像Ｉ^* の幾何中心Ｏ^*
の射影Ｏ_a ^* を通る。

【０１５４】したがって、回転角θ^* 、傾斜角φ^* 、尺
度率ｄ^* およびフレーミング２Ｖ_x ^* 、２Ｖ_y ^* を変化
させることにより、仮想のカメラは、種々の実際の固定
カメラの混ぜた視野が形成する広角視野を走査する実時
間車載カメラに全く類似して来る。

【０１５５】図１１（Ａ）を参照するに、仮想カメラＣ
^* が広角視野の線Ｊ₀ で境界を決めた小部分すなわち副
片を観視して、可変焦点距離ＰＯ^* を変えることによ
り、実際のカメラの各々が提供する画像Ｉ₁ 乃至Ｉ_n の
各々と例えば同じ最終寸法をもった拡大画像Ｉ^* を形成
し得ることが判る。また、車載カメラＣ^* の視野の動き
を継続的で任意のものになし得ることも判る。

【０１５６】線Ｊ₀ に対応する視野がＬＯで隣接する画
像Ｉ_i とＩ_j との２部分Ｓ_i ，Ｓ_jに跨がり、２台の隣
接カメラによって提供される場合を以下で取扱うが、当
業者は二つ以上の源画像に関する他の場合に引続き一般
化することができるであろう。

【０１５７】図１１（Ｂ）を参照するに、仮想カメラＣ
^* が構成した画像Ｉ^* が異なった２画像部分を含んでい
る場合に、一方の画像部分Ｉ_i ^* は、ディジタル画像Ｉ
_i に含まれた情報Ｓ_i から構成され、他方の画像部分Ｉ
_j ^* は、ディジタル画像Ｉ_jに含まれた情報Ｓ_j から構
成される。図９（Ａ）において、Ｉ_ai ^* およびＩ
_aj ^*は、水平における目標画像Ｉ_i ^* およびＩ_j ^* の射
影を表わす。

【０１５８】前述したように、直交座標の個別枠は、今
度はディジタル目標画像Ｉ^* について規定され、したが
って、目標画像平面Ｉ^* の各画素Ｍ^* は、その目標個別
枠における座標によって参照される。

【０１５９】同様に、目標画像の画素２Ｖ_x ^* ，２Ｖ_y
^* で表わした寸法に基づき、その画像の光学的解像度、
すなわち水平方向のラジアン当りの画素数Ｄ_x ^* および
垂直方向のラジアン当りの画素数Ｄ_y ^* による解像度が
規定される。 Ｄ３：源画像から目標画像を構成する過程

【０１６０】したがって、本発明によるディジタル画像
処理手段の仕事は、実際の固定カメラが提供する「源画
像」からの仮想カメラが提供する「目標画像」の実時間
構成である。

【０１６１】目標画像Ｉ^* の構成において、隣接した実
際のカメラが、図１２（Ａ）および１２（Ｂ）の風景の
ディジタル画像の形に表わして提供した隣接左右の画像
Ｉ_iおよびＩ_j が正確に接合し得ないようにする歪み、
特に、直線のある部分が曲がり、縦線が縦ではなくなる
等の歪みを呈する、という事実に基づく技術的問題が生
じており、これは、縦線が、接合部で、互いに一線に並
ばずに、切り離されることを意味する。さらに、接合部
の両側の源画像部分が、観視すべきパノラマ画像の互い
に異なる斜視図法のもとに眺めた部分からなっており、
これが、目標画像部分Ｉ_i ^* とＩ_j ^* とが、図１２
（Ｃ）に例示した目標ディジタル画像から明らかなよう
に、うまく接合し得ず、図１２（Ａ）および１２（Ｂ）
の左右の隣接ディジタル画像の部分を単に簡単に並べて
形成させている。

【０１６２】本発明は、かかる欠陥を除去し、歪みや斜
視図法の欠点を免れて実時間で再構成したディジタル画
像を提供する過程および手段を提案するものであり、観
視者や使用者に境界線が見えないようにして構成部分Ｉ
_i ^* とＩ_j ^* とを接合するものである。

【０１６３】図１２（Ｄ）には、歪みや斜視図法の欠点
を本発明の手段により訂正した図１２（Ｃ）の風景のデ
ィジタル画像を示す。

【０１６４】当業者は、知らされておれば、水平線が完
全に真直ぐであり、実際のカメラで広角対物レンズを用
いて直接に画像を撮った場合のような曲がりが少しもな
いことに気付くであろう。これは、再構成した画像を一
層自然なものにする。

【０１６５】しかしながら、本発明によって得た図１２
（Ｄ）の再構成画像は、広角光学系の歪みに類似したこ
の種の歪みが図１２（Ａ）や１２（Ｂ）のような実際の
画像より遙かに少なく、さらに、図１２（Ｃ）に見られ
たような目標画像構成の境界は、図１２（Ｄ）には最早
存在しない。

【０１６６】目標画像を構成する一般過程は、以下に述
べる信号処理装置によって実行する種々の段階を備えて
いる。

【０１６７】この信号処理過程は、つぎのような第１段
階を備えている。目標画像Ｉ^* のアドレス（Ｘ^* ，
Ｙ^* ）を有する各画素Ｍ^* は、源画像Ｉのアドレス
（Ｘ，Ｙ）における点Ｍに整合し、そのアドレスは源画
像Ｉを提供する実際のカメラの参照概要および源画像Ｉ
の点Ｍのアドレス（Ｘ，Ｙ）によって決まる。

【０１６８】この信号処理過程は、つぎのような第２段
階を備えている。輝度Ｑの最もあり得る値を源画像Ｉの
点Ｍについて評価し、その輝度値Ｑを目標画像Ｉ^* の画
素Ｍ^* に割当てる。

【０１６９】これらの段階は目標画像Ｉ^* の全画素Ｍ^*
について行なわれ、処理手段は、観視者に快適な画像の
画質、すなわち、最小の歪みおよび斜視図法の調整と隣
接２画像間の境界における破断の不在とをできるだけ備
えて実時間で構成した目標画像を付与する。 Ｄ４：画像処理装置

【０１７０】図１４には、機能ブロックの形で、本発明
による画像処理装置の種々の要素を示す。

【０１７１】ブロックＩ₁ ，…，Ｉ_i ，Ｉ_j ，…，Ｉ_n
は、記号Ｉ₁ ，…，Ｉ_i ，Ｉ_j ，…，Ｉ_n を付したｎ個
の源画像に出力を提供するｎ個のメモリ平面を表わす。

【０１７２】源画像の各々は、シーンに関して対応する
実際のカメラの方向に対応する画像パラメータを尺度率
とともに割当てられ、それらのパラメータは極めて精密
に知られもしくは決定されなければならない。

【０１７３】仮想カメラＣ^* の方向およびフレーミング
に関するパラメータを使用者に選択して表示させ得る制
御システムをアセンブリ１が表わしている。

【０１７４】アセンブリ１００は、制御システム１が決
めたパラメータによって方向を決め、操縦される仮想カ
メラＣ^* が与える目標画像Ｉ^* を、実際のカメラ群が提
供する源画像Ｉ₁ ，…，Ｉ_n から計算し得るようにする
画像再構成システムであり、その仮想カメラＣ^* は、視
点が実際のカメラの視点Ｐに併合され、もしくは、近接
するように配置してある。

【０１７５】ブロック１０は、就中、実時間用ディジタ
ル表示モニタあるいは磁気テープに記録するビデオレコ
ーダであり得る表示手段もしくは他の記録手段に対応す
るものである。

【０１７６】さらに、実際のカメラはアナログデータを
提供し得ることに留意すべきである。この場合、図示し
てないアナログ−ディジタル変換モジュールがディジタ
ル源画像の形成に用いられる。

【０１７７】有利なことに、当業者は電荷結合カメラ
（ＣＣＤ）を選択することができ、この種のカメラは、
安価で、軽量で、頑丈で、信頼性があり、その解像度は
極めて良好で、技術の進歩とともに将来さらに増大す
る。

【０１７８】図１３を参照するに、画像処理装置は、特
に、アセンブリ１内に、使用者インターフェース２、パ
ラメータφ^* ，θ^* ，ｄ^* の蓄積手段２１０および仮想
カメラＣ^* のフレーミング２Ｖ_x ^* ，２Ｖ_y ^* の蓄積手
段を備えている。

【０１７９】図１４を参照するに、画像処理装置は、目
標画像Ｉ^* の全体を覆うようにして、画素順次に、目標
画像Ｉ^* の画素のアドレス（Ｘ^* ，Ｙ^* ）を発生させる
アドレス発生器１１３を合体したアドレス計算器２０
０、および、実際のカメラＣ₁乃至Ｃ_n それぞれのパラ
メータφ₁ 乃至φ_n ，θ₁ 乃至θ_n およびｄ₁ 乃至ｄ_n
の蓄積手段２１、並びに、蓄積手段１１７を備えてい
る。

【０１８０】構成すべき目標画像Ｉ^* の各画素Ｍ^* につ
いて、座標（Ｘ^* ，Ｙ^* ）が、目標画像Ｉ^* のアドレス
を発生させるブロック１１３によって提供される。使用
者インターフェース２自体により制御ブロック１に入
り、ブロック２１０および２０１に仮想カメラのパラメ
ータφ^* ，θ^* ，ｄ^* およびＶ_x ^* ，Ｄ_y ^* の形でそれ
ぞれ蓄積される、使用者が選んだ設定に依るとともに、
ブロック２１に蓄積される実際のカメラのパラメータφ
_j ，θ_j およびｄ_j （ｊはここではカメラ１乃至ｎ全部
の指標を表わす）に依り、アドレス計算器２００は、目
標画像Ｉ^* の画素Ｍ^* の座標（Ｘ^* ，Ｙ^* ）に対応する
データである、画像Ｉ_j を提供し得る実際のカメラの指
標ｊ（指標１からｎまで）を提供し、選択した源画像Ｉ
_j において対応する点Ｍの座標（Ｘ，Ｙ）を計算し、イ
ンターフェース２で使用者が定める種々の変換もしくは
斜視図法を介してそのようにする。

【０１８１】したがって、これらの作動子を介して、目
標画像Ｉ^* の与えられたアドレス（Ｘ^* ，Ｙ^* ）におけ
る画素Ｍ^* と源画像Ｉ_j の計算されたアドレス（Ｘ，
Ｙ）における画素Ｍとの間に対応が確立される。

【０１８２】ついで、目標画像Ｉ^* におけるアドレス
（Ｘ^* ，Ｙ^* ）の対応する画素Ｍ^* に割当てるために、
源画像Ｉ_j におけるアドレス（Ｘ，Ｙ）の点Ｍに輝度Ｑ
の値を決定し、同じことを目標画像Ｉ^* の全画素に対し
て行なう。

【０１８３】しかしながら、目標画像Ｉ^* におけるアド
レス（Ｘ^* ，Ｙ^* ）が実際に画素Ｍ ^* のアドレスである
が故に、対称的に、源画像Ｉ_j におけるアドレス（Ｘ，
Ｙ）は実際に計算したアドレスであり、これは、一般に
この見出したアドレスは、画素には一致せず、画素間の
点Ｍに一致することを意味する。したがって、この点Ｍ
の輝度も計算しなければならない。

【０１８４】この問題は補間器１１２が取扱うが、補間
器１１２は，問題の点Ｍ（Ｘ，Ｙ）に対応する輝度関数
を補間処理によって計算するために、その点Ｍ（Ｘ，
Ｙ）の近傍の画素、例えばｍ１，ｍ２，ｍ３，ｍ４の輝
度関数の値に注目し、アドレス（Ｘ，Ｙ）を有するこの
点Ｍに割当てるべき最も可能性の大きい輝度関数を計算
する。

【０１８５】源画像におけるアドレス（Ｘ，Ｙ）につい
て補間器が計算した輝度関数Ｑを、ついで、目標画像Ｉ
^* における開始アドレス（Ｘ^* ，Ｙ^* ）に位置する画素
Ｍ^*に輝度関数値として配置し、ブロック１１７に蓄積
する。

【０１８６】このアドレス計算器２００は、単一の源画
像の処理の場合に、図１３を参照して詳細に前述したも
のである。

【０１８７】複数の源画像の処理の場合には、このアド
レス計算器２００は、特に、初期段階の期間中に、実際
のカメラ全部に関してブロック２１に蓄積したデータを
負荷し、源画像の指標ｊおよび源画像におけるアドレス
（Ｘ，Ｙ）を直接に提供するモジュール２０４を備え、
前述したように、モジュール２２０が計算した点Ｋ
（α，β）に対応する画素Ｋ₀ （α₀ ，β₀ ）において
球面Ｓからこれらのデータを読取る。

【０１８８】図１４を参照するに、画像Ｉ^* は、アドレ
ス（Ｘ^* ，Ｙ^* ）を有する各画素Ｍ ^* を輝度関数Ｑの値
に整合させることにより、蓄積ブロック１１７で作り替
えることがき、目標画像が構成される。画像Ｉ^* は、引
続き、表示し、もしくは、手段１０に蓄積することがで
きる。

【０１８９】例えば、境界領域における源画像の重なり
により、複数の源画像が存在し得る場合には、二つの源
画像の一方を直接に提供するために、ブロック２０４を
表にする。

【０１９０】この目的のために、表にする期間中２画像
間の選択の過程は、境界領域における２画像間の接合
が、重複領域の中央をほぼ通る直線になるように決定す
ることになり、この方法は、垂直接合による図１０にお
けると同様に、カメラが水平に並んだ場合にも適用する
ことができる。

【０１９１】説明のために、画素の符号化についてクレ
ーレベルすなわち輝度によって前述したところは、カラ
ー画像の符号化にも適用することができ、その符号化
は、さらに多くのビット数に対しても簡単に実施され
る。

【０１９２】したがって、本発明の変形においては、源
画像ＩもしくはＩ_j の点Ｍについて決定し、目標画像Ｉ
^* の画素Ｍ^* に配置すべき関数Ｑを、前述した輝度関
数、もしくは、色度関数、もしくは、輝度および色度の
関数、もしくは、Ｘ線強度関数、もしくは、γ線強度関
数などとすることができる。

【０１９３】一般に、関数Ｑは、源画像について計算し
た点Ｍにおけるディジタル信号の特性関数である。

【０１９４】目標画像には目につく接合がないのである
から、複数の手段、すなわち、固定カメラの精細な較
正、および、欠点のない目標画像における集中により完
全な並置が得られるまで、固定カメラのモデルのパラメ
ーターの可能な修正を続ける帰還の結果の訂正を行なう
必要がある。

【０１９５】この動作すなわち初期化は、較正動作の積
分部分として理解すべきである。

【図面の簡単な説明】

【図１】（Ａ）および（Ｂ）は、同じ中心および目下の
点を有する球面座標とともに、絶対枠と称する固定の直
交３次元枠に斜視的に表わしたいわゆる源画像および目
標画像をそれぞれ示す線図である。

【図２】絶対枠と同じ原点を有する個別の直交枠に斜視
的に表わした源画像を示す線図である。

【図３】（Ａ）および（Ｂ）は個別枠の一方の平面にお
ける源画像の射影および他方の平面に平行の源画像をそ
れぞれ表わす線図である。

【図４】（Ａ）および（Ｂ）は個別の直交枠の一方の平
面上の目標画像の射影および他方の平面に平行の目標画
像をそれぞれ表わす線図である。

【図５】（Ａ）および（Ｂ）は絶対枠のいわゆる水平平
面における源画像および目標画像の射影並びに絶対枠に
おいて輝度原点、目標画像画素、源画像点および絶対枠
の原点を整列させた光線を含む垂直平面をそれぞれ表わ
す線図である。

【図６】（Ａ）および（Ｂ）は源画像の光学軸を含む絶
対枠の垂直平面および水平平面における源画像の射影を
それぞれ表わす線図である。

【図７】（Ａ）および（Ｂ）は目標画像の光学軸を含む
絶対枠の垂直平面における目標画像の射影およびその絶
対枠の水平平面における目標画像の射影をそれぞれ表わ
す線図である。

【図８】別個枠における目標画像の目下の画素の座標か
ら、その画素および源画像と目標画像とに共通の視点て
に併合された絶対原点を通る光線の球面座標に通ずると
ともに、ついで、個別枠における源画像の対応点の座標
に通ずる際の斜視的幾何変換関数Ｇ^-1およびＦの動作を
示す線図である。

【図９】（Ａ）並びに（Ｂ）は絶対枠の水平平面並びに
隣接２源画像およびその２源画像から再構成した目標画
像の全体枠の水平平面における射影をそれぞれ示す線図
である。

【図１０】視野を混ぜた３台の実際のカメラが形成する
隣接３源画像を源画像平面に垂直の平面に表わす線図で
ある。

【図１１】（Ａ）および（Ｂ）は傾斜角、回転角および
尺度率を固定するパラメータによる隣接２源画像を跨ぐ
部分の隣接２源画像の境界設定および目標画像の再構成
をそれぞれ表わす線図である。

【図１２】（Ａ），（Ｂ），（Ｃ）および（Ｄ）は左源
画像、隣接する右源画像、左右源画像の右左端縁を単に
一致させて形成した目標画像および２開始源画像に本発
明画像処理システムを適用して得た目標画像をそれぞれ
示す線図である。

【図１３】本発明によるアドレス計算器型の画像処理装
置を機能的ブロック図として表わす線図である。

【図１４】図１３によるアドレス計算器を複数源画像に
適用して組込んだ画像処理装置を機能的ブロック図とし
て表わす線図である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/18 Ｖ (72)発明者 ピエール ルロン フランス国 94130 ノジャン−スル−マ ルヌ リュ フェデルブ ６

Claims (18)

【特許請求の範囲】
1. 【請求項１】 源画像（Ｉ）と呼ぶ画像に適用する幾何
   学的斜視情報により、傾斜角、回転角およびなるべく源
   画像に関連した尺度率の修正によって再構成した源画像
   を表わす目標画像（Ｉ^* ）と呼ぶ算出画像を構成するた
   めにディジタル画像を処理する方法において、源画像
   （Ｉ）と目標画像（Ｉ^* ）とに共通の視点（Ｐ）および
   視点（Ｐ）を原点とする真正基準枠の決定、並びに、目
   標画像（Ｉ^* ）におけるアドレス（Ｘ^* ，Ｙ^* ）をもっ
   た開始画像（Ｍ^* ）と呼ぶ画素毎の、係数が修正した傾
   斜角、回転角および尺度率の関数である（α，β）＝Ｇ
   ^-1（Ｘ^* ，Ｙ^* ）のような線形関数Ｇ^-1による、いわゆ
   る球面座標（α，β）の対の計算の各過程を具えたこと
   を特徴とする画像処理方法。
2. 【請求項２】 線形関数Ｇ^-1による球面座標（α，β）
   の各対の計算に、目標画像（Ｉ^* ）の局部枠における開
   始画像（Ｍ^* ）の第１および第２の座標（Ｘ ^* ，Ｙ^* ）
   の第１および第２の線形関係による、第１および第２の
   球面座標（α，β）の第１および第２の計算を備え、当
   該線形関係により計算した球面座標（α，β）の各対
   が、各画像に共通の視点を原点として有する基準枠にお
   いて、その視点（Ｐ）および開始画素（Ｍ^* ）の近傍を
   通る光線（ＰＷ）を規定することを特徴とする請求項１
   記載の画像処理方法。
3. 【請求項３】 Ｘ^* およびＹ^* を目標画像の局部枠にお
   ける開始画素（Ｍ^*）の座標とし、θ^* およびφ^* をそ
   れぞれ基準枠における回転角および傾斜角とし、
   Ｄ_x ^* ，Ｄ_y ^* を目標画像（Ｉ^* ）の局部座標軸にそれ
   ぞれ平行の目標画像の分解能として、球面座標（α，
   β）の各対の計算における第１および第２の線形関係を α＝（１／Ｄ_x ^* ）Ｘ^* ＋θ^* β＝（１／Ｄ_y ^* ）Ｙ^* ＋φ^* としたことを特徴とする請求項２記載の画像処理方法。
4. 【請求項４】 表に蓄積されて、目標画像（Ｉ^* ）の開
   始画素（Ｍ^* ）に対応した源画像（Ｉ）の点（Ｍ）のア
   ドレスを構成する対（Ｘ，Ｙ）の、その表のアドレス
   （α₀ ，β₀ ）の一つを備えた球面座標（α，β）の算
   出対を、その表の分解能の範囲内に整合させてその表か
   ら読出す過程を備えたことを特徴とする請求項１乃至３
   のいずれかに記載の画像処理方法。
5. 【請求項５】 初期段階において、源画像（Ｉ）の局部
   枠によって規定し、原点として共通視点を有する前記基
   準枠に規定した所定の球面座標の対（α₀ ，β₀ ）が形
   成する前記表のアドレスに蓄積した点（Ｍ）の座標の対
   を前記表に負荷するとともに、源画像（Ｉ）の傾斜角
   （φ）、回転角（θ）および尺度率（ｄ）を固定パラメ
   ータとして有する三角法関数により、座標（Ｘ，Ｙ）の
   各対を球面座標の対（α₀ ，β₀ ）に関連させる過程を
   備えたことを特徴とする請求項４記載の画像処理方法。
6. 【請求項６】 前記表の負荷に先立ち、球面座標
   （α₀ ，β₀ ）の対に関連した源画像（Ｉ）の点（Ｍ）
   の座標（Ｘ，Ｙ）の対を計算するとともに、源画像
   （Ｉ）の各点（Ｍ）の第１および第２の座標（Ｘ，Ｙ）
   の第１および第２の計算を、球面座標（α₀ ，β₀ ）の
   変数として有する第１および第２の三角法的関係によ
   り、前記計算に含める過程を備えたことを特徴とする請
   求項５記載の画像処理方法。
7. 【請求項７】 源画像（Ｉ）の点（Ｍ）の座標（Ｘ，
   Ｙ）の各対の計算において、第１および第２の三角法的
   関係がそれぞれ 【数１】 であることを特徴とする請求項６記載の画像処理方法。
8. 【請求項８】 すべてが前記基準枠の原点と共通の視点
   を有する複数の隣接源画像（Ｉ₁ 〜Ｉ_n ）にそれぞれ適
   用した複数の幾何学的変換により、その源画像群の隣接
   した副部分を表わして、その源画像群の副部分にそれぞ
   れ関連した傾斜角、回転角およびなるべくは尺度率に修
   正を施して再構成した目標画像の構成に、その目標画像
   の開始画素（Ｍ^* ）に対応する源画像（Ｉ）の点（Ｍ）
   のアドレス（Ｘ，Ｙ）の前記表からの読出しに、その点
   （Ｍ）が存在するｎ個の源画像から特別の源画像を指示
   する指標の前記表の同一アドレスからの読出しを組合わ
   せて含めた過程を備えたことを特徴とする請求項１乃至
   ７のいずれかに記載の画像処理方法。
9. 【請求項９】 源画像（Ｉ）において計算した各点
   （Ｍ）のディジタル信号の特性関数の評価およびその特
   性関数の目標画像（Ｉ^* ）において対応する開始画素
   （Ｍ^* ）に対する割当ての過程を備えたことを特徴とす
   る請求項１乃至８のいずれかに記載の画像処理方法。
10. 【請求項１０】 源画像（Ｉ）と呼ぶ画像に適用した幾
    何学的斜視変換により源画像（Ｉ）に関連した傾斜角、
    回転角およびなるべくは尺度率に修正を施して再構成し
    た源画像（Ｉ）を表わす目標画像（Ｉ^* ）と呼ぶ算出画
    像を構成するためにディジタル画像を処理する装置にお
    いて、 係数が基準枠における目標画像（Ｉ^* ）の傾斜角
    （φ^* ）および回転角（θ^*）並びにフレーミング（Ｖ
    _x ^* ，Ｖ_y ^* ）である線形関数Ｇ^-1により前記基準枠に
    ついて計算したいわゆる球面座標対（α，β）を、目標
    画像（Ｉ^* ）においてアドレス（Ｘ^* ，Ｙ^* ）を付した
    開始画素（Ｍ^* ）と呼ぶ画素毎に提供する計算手段（２
    ２０）と、 球面座標（α，β）の計算した対毎に、その表作製手段
    の分解能の範囲内で、蓄積して目標画像（Ｉ^* ）におけ
    る開始画素（Ｍ^* ）に対応する点（Ｍ）の源画像（Ｉ）
    におけるアドレスを構成する対（Ｘ，Ｙ）を提供する表
    作製手段（２０４）とを含むアドレス計算器（２００）
    を備えたことを特徴とする画像処理装置。
11. 【請求項１１】 源画像（Ｉ）において計算した各点
    （Ｍ）に結合したディジタル信号の特性関数の評価手段
    （１１２）、および、目標画像（Ｉ^* ）において対応す
    る各開始画素（Ｍ^* ）にその特性関数を割当てる手段
    （１１７）を備えたことを特徴とする請求項１０記載の
    画像処理装置。
12. 【請求項１２】 一方が目標画像（Ｉ^* ）の局部枠にお
    ける開始画素（Ｍ^*）の第１座標（Ｘ^* ）を変数として
    有する第１線形関係によって第１球面座標（α）の計算
    を行なうとともに、他方がその局部枠における画素（Ｍ
    ^* ）の第２座標（Ｙ^* ）を変数として有する第２線形関
    係によって第２球面座標（β）の計算を行なう２個の数
    値的傾斜計算モジュールを備え、前記線形関係の係数が
    源画像に対する目標画像の修正した回転角、傾斜角およ
    びフレーミング（Ｖ_x ^* ，Ｖ_y ^* ）の関数であることを
    特徴とする請求項１０もしくは１１に記載の画像処理装
    置。
13. 【請求項１３】 局部枠における目標画像（Ｉ^* ）の画
    素（Ｍ^* ）のアドレス（Ｘ^* ，Ｙ^* ）を発生させるため
    のアドレス発生器（１１３）を備えたことを特徴とする
    請求項１０乃至１２のいずれかに記載の画像処理装置。
14. 【請求項１４】 基準枠における目標画像（Ｉ^* ）の傾
    斜角（φ^* ）、回転角（θ^* ）および尺度率（ｄ^* ）の
    値を提供するための蓄積手段（２１０）並びにそのフレ
    ーミング（Ｖ_X ^* ，Ｖ_y ^* ）を提供するたの蓄積手段
    （２０１）を備えたことを特徴とする請求項１０乃至１
    ３のいずれかに記載の画像処理装置。
15. 【請求項１５】 源画像（Ｉ）の傾斜角（φ）、回転角
    （θ）および尺度率（ｄ）を提供するための蓄積手段
    （２１）を備えたことを特徴とする請求項１０乃至１４
    のいずれかに記載の画像処理装置。
16. 【請求項１６】 目標画像（Ｉ^* ）の傾斜角（φ^* ）、
    回転角（θ^* ）、尺度率（ｄ^* ）およびフレーミング
    （Ｖ_x ^* ，Ｖ_y ^* ）に対する値を使用者が定め得るイン
    ターフェース・モジュール（２）を備えたことを特徴と
    する請求項１０乃至１５のいずれかに記載の画像処理装
    置。
17. 【請求項１７】 再構成した目標画像（Ｉ^* ）を表示も
    しくは蓄積するための手段を備えたことを特徴とする請
    求項１０乃至１６のいずれかに記載の画像処理装置。
18. 【請求項１８】 基準枠の原点と共通の視点を有するｎ
    個の隣接ディジタル源画像（Ｉ₁ 〜Ｉ_n ）を形成するた
    めのモジュールを備えるとともに、源画像の副部分のそ
    れぞれに関連した傾斜角、回転角およびなるべくは尺度
    率に修正を施して、前記源画像群の隣接部分から構成し
    た目標画像を構成するために、図形作成手段（２０４）
    に、特別の源画像（Ｉ₁ 〜Ｉ_n ）の画素（Ｍ）のアドレ
    ス（Ｘ，Ｙ）と組合わせて、その点（Ｍ）が存在するそ
    の特別の源画像の指標を備えたことを特徴とする請求項
    １０乃至１７のいずれせかに記載の画像処理装置。