JP3706645B2

JP3706645B2 - 画像処理方法及びシステム

Info

Publication number: JP3706645B2
Application number: JP25227094A
Authority: JP
Inventors: フロランラウル; レロンピエール
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1993-10-20
Filing date: 1994-10-18
Publication date: 2005-10-12
Anticipated expiration: 2020-10-12
Also published as: EP0650299A1; US5650814A; EP0650299B1; DE69411849D1; JPH07193746A; DE69411849T2

Description

【０００１】
【産業上の利用分野】
本発明は、個々の視野を繋ぎ合わせてパノラマシーンを記録するための１つの広角視野を形成するように配置されたｎ個の固定された実際のカメラと、
連続的にパノラマシーンを走査し、広角視野の任意の１つのセクションに対応しｎ個の実際のカメラによって作られる隣接する原画像から構成される１つの対象サブ画像を供給するための可動仮想カメラと見做すことができる画像構成システムと
を具える画像処理システムに関するものである。
このシステムは、可動機械に対するモニタ装置及びパノラマ視野装置に用いられる。
【０００２】
【従来の技術】
画像処理装置は特許出願ＷＯ92-14341から既知である。この公報にはテレビジョンの画像処理システムが記載されている。このシステムは、互いの視野を繋ぎ合わせて１つの広角視野を形成することかできるように隣接して配置された複数の固定カメラを含む送信部を具えている。このシステムは更に、広角視野に対応する全体画像の合成ビデオ信号を発生する手段及びこの合成画像からサブ画像を選択する手段を含む処理部を具えている。このシステムは更にこのサブ画像を表示するモニタのような手段を具えている。このサブ画像は合成画像より小さい角度の視野に対応し、広角視野のサブセクションに属している。
【０００３】
この画像処理システムは、専ら走査ビームによりライン毎に画像が形成される普通のテレビジョンシステムに適している。
処理部は、ユーザーが広角視野のサブセクションを選択することを可能にしている。対応するサブ画像は個々のカメラが供給する画像と同じ大きさを持っている。ユーザーは、広角視野に対応する合成画像に関する走査の開始点を変えることによりこのサブ画像を選択する。広角視野はビデオ走査に平行な軸を有し、サブ画像のビデオ走査の開始点が任意に且つ連続的にこの軸に平行に変位するようにできる。
【０００４】
サブ画像に対応する視野角が実際のカメラの視野角より小さいことがあり得る。しかしながら、サブ画像の偏りは走査に垂直な変位を含むことはない。その偏りはこの走査に平行な変位を含むだけである。サブ画像の形成は、合成画像に関するズーム効果即ち画像ピックアップカメラの焦点距離に関するサブ画像の焦点の変化を含まない。
このように、画像処理部は選択されたビデオサブ画像をライン毎に構成する手段を具える。これらの手段は、本質的に、異なるカメラからのビデオ信号の同期を制御する回路を含む。
【０００５】
【発明が解決しようとする課題】
本発明の目的は、構成されるサブ画像又は対象画像がディジタル画像であり、構成されるサブ画像又は対象画像が実際のピックアップカメラにより供給される各隣接ディジタル原画像の少なくとも２つの部分から計算される場合に遭遇する問題を解決することにある。この場合、カメラは固定され、それらのうちの２つのカメラはそれらの視野が繋がるように配置される。この場合、対象画像の中に、２つの異なる原画像から計算された２つの隣接した対象画像の部分の間に境界線が現れる。これは、２つの実際のカメラの各１つが、全体として互いに他の原画像の輝度と僅かに異なる輝度を持つ原画像を供給すること、及びその結果としての対象画像部分もまた僅かに異なる輝度を持つことが原因である。
【０００６】
２つの隣接するカメラによって供給される原画像から計算される２つの対象画像部分の間の輝度の差異が、再構成された対象画像が完全ではないものになる理由である。
この境界線は、第１の固定カメラの原画像の画素から計算される画素と第２の固定カメラの原画像の画素から計算される画素との間に位置している。
対象画像が２つ以上のカメラの画素から構成される場合は、２つの隣接するカメラの群の数に相当する数の境界線ができることになる。
【０００７】
本発明はその目的として、視野が繋がるべき２つの実際のカメラにより供給されるディジタル原画像部分から形成される、対象画像の２つの隣接するディジタル画像部分間の全体の輝度を等化する手段を具える。
【０００８】
２つの隣接するディジタル画像部分間の輝度の差異は幾つかの原因を持つ。その第１は、実際のカメラが同じように受光した光束に対して同じようには応答しないことである。これはカメラの構造上のばらつきによる。更に、記録されるべきシーンの光源に対して全く同一に配置されてはいないために同一の光束を受けないことである。各ピックアップカメラは、通常、受光した光束の関数として応答するようにするシステムと共に構成されている。受光する光束は個々のカメラによって異なるので、これらの応答の結果も異なる。
【０００９】
更に、個々のカメラが全く均一な輝度を持つ表面を記録するとしても、これから形成される画像は均一ではなく、縁のぼけを生じる。これは、一般に中心から縁部に向かって画像の明るさが減少するように変化することである。
形成された対象画像における境界線の両側に位置する２つの隣接するピクセルは、それぞれの元の原画像で中心から同一の距離に位置する領域に由来するものとは限らない。このため、これらの隣接するピクセルにおける縁がぼける効果が同一ではなくなる。
【００１０】
更に、ピックアップカメラの１つが他のカメラより多くの迷光、例えば不意に起きた反射等を受光することがある。この場合はこのカメラによって受光される光束が局部的に増加し、２つのカメラ間の応答に局部的な差異を生じる。
【００１１】
このような、２つの実際のディジタルカメラにより供給される２つの原画像間に輝度の差異を生じ、これにより、形成されるディジタル画像の中の境界線の両側で輝度に差異が生じる原因においては、前記の２つの最初の原因が支配的であり、形成される対象画像の境界線の問題は、基本的に、２つの隣接する実際のカメラの各々が全体で他のカメラと同量の光束を受光しないこと、及び／又は２つのうちの１つのカメラが全体として同一の光束に対して異なる応答を行うことに原因がある。
【００１２】
他の原因は無視してもよく、或いは予防措置を講じることもできる。例えば反射迷光はカメラに光遮蔽物を取り付けることによって防ぐことができる。
輝度に差異を生じる２つの主要な原因のそれぞれは、全体に対する影響即ち各実際のカメラからの原画像、従ってこれから形成される対象画像の対応する部分に対して均一に及ぶ影響を生じることは明らかである。
輝度に差異を生じる他の原因の１つが、縁のぼけ、迷光の部分等の局部的な影響を生じる場合は、それらの影響は最終的に再構成された画像の小さい部分のみに現れる。
【００１３】
従って、本発明の１つの目的は、再構成された対象画像から、視野が繋がっている２つの実際のカメラにより供給される原画像画素から計算される２つの隣接する画像部分間に現れる境界線を消すための手段を具えることにある。
【００１４】
【課題を解決するための手段】
本発明によれば、前記のような画像処理システムにおいて、このシステムがディジタルシステムであり、更に、２つの隣接するディジタル原画像（Ｉi 、Ｉj ）から構成されるディジタル対象画像（Ｉv ）の第１及び第２の部分（Ｉvi、Ｉvj）の対応する輝度レベルの第１及び第２の組（Ｒ、Ｓ）にそれぞれ第１及び第２の補正法則（Ｇi 、Ｇj ）を適用し、Ｇi(Ｒ) ＝Ｇj(Ｓ) の関係に基づいてこれらの対応する輝度レベルを可能な限り最良の程度に等しくする第１及び第２の輝度補正モジュール（ＬｕｔＡ、ＬｕｔＢ）を具える輝度等化システムを具備することによって、前記の目的が達成される。
【００１５】
従って、本発明によれば、全体にわたる輝度レベルの変換の２つの法則を用いて、一方で再構成された対象画像の２つの部分の１つの異なる輝度レベルの全体にわたる範囲について変換が行われ、他方で再構成された対象画像の２つの部分の他の１つの異なる輝度レベルの全体にわたる範囲について変換が行われ、再構成された対象画像において対応するピクセルの輝度レベルが等しくなる。
【００１６】
対応するピクセルとは、境界線の両側に位置し、それにも拘わらず画像が１つの実際のカメラによって形成されるならば同一の輝度レベルを持つ筈である広角視野の２つの部分に対応するピクセルを意味するものとする。
【００１７】
再構成された画像の第１及び第２の部分におけるピクセルのそれぞれの輝度レベルに適用される第１及び第２の法則に基づく全体の処理の最後に、境界線の両側で、例えば、画像の第１の部分が全体として低い輝度レベル（暗い画像）であり、画像の第２の部分が全体として高い輝度レベル（明るい画像）である場合には、第１の部分の輝度を全体として高め、第２の部分の輝度を全体として低くし、その時点以降は境界線の両側の対応するピクセルが同一の輝度レベルを持つようにして目的が達成される。
【００１８】
これにより境界線が消える。このような補正法則が、専らそれらの輝度レベルに応じて且つ各画像部分における位置に無関係にピクセルに適用される。それにも拘わらず、適用されるべきこの法則は、境界線の両側の対応する輝度レベルを等しくするべきその画像部分ごとに異なっている筈である。
【００１９】
焦点距離が固定され、視野が繋がるように位置が固定された実際のカメラにより供給される２つの原画像の画素から対象画像を形成ための画像再構成における固有の更に他の問題は、ユーザーが、対象画像を計算するデバイス即ち以下では仮想カメラと呼ぶデバイスのパラメーターを変えることがあり得るということである。この仮想カメラは実際に可動カメラのように機能し、監視システムにも使用できる。
【００２０】
本発明による画像処理手段は、可動で次の３つのパラメーターにより制御される仮想カメラによって形成される画像に用いるのに適している。３つのパラメーターは、
１）固定された実際のカメラ及び可動仮想カメラの両者にに共通の固定された視点を通る光軸の水平面に平行な方位における変化に対応して、パノラマの光軸の方位（ＰＡＮ）即ち方位角を変えるパラメーター：パノラマにおけるこの変化は、見る者にとって可動カメラを右又は左に向けることができるように見える。
２）垂直面において常に固定された視点を通る光軸の方位（ＴＩＬＴ）即ち視野角を変えるパラメーター：この変化は、見る者にとってカメラを上又は下に向けるために使える制御手段のように見える。
３）多少拡大された対象画像を供給することができる仮想カメラの焦点距離を変えるパラメーター：この変化は、見る者にとってズーム効果として見える。
【００２１】
前記で引用した公報から既知の装置は、方位角を変える変数以外の変数を得る手段は具えておらず、可動カメラの再構成画像における境界線の両側で輝度を等しくする手段も具えていない。
【００２２】
前記の３つの制御パラメーターを有する可動の仮想カメラを具えようとすれば、仮想カメラのこの３つの制御パラメーターの１つ又は複数をユーザーが変える度に、再構成される対象画像の境界線の両側での画像の各部分に対する輝度補正がリアルタイムで計算されなければならない。
【００２３】
実際に、再構成画像を形成するための実際のカメラのそれぞれの画像の異なる寄与が３つのパラメーターのそれぞれの変化に対応し、従って、例えば対象画像の異なる部分の比較的な重要性を考慮するために、補正法則はそれらの再構成毎に再計算されなければならないことに注意する必要がある。再構成された画像が固定画像である場合、又はディジタル処理以外の方法によって形成された画像である場合は、同一の問題は起きない。
【００２４】
これらの問題を解決するために、本発明による画像処理システムは、更に、輝度等化システムが更に計算モジュール（Ｌｕｔcalcul）を具え、
この計算モジュールが、対象画像の第１の部分（Ｉvi）の輝度レベルの第１の組（Ｒ）のレベルと対象画像の第２の部分（Ｉvj）の輝度レベルの第２の組（Ｓ）のレベルとの間の対応を確立する法則Ｆを計算してＳ＝Ｆ（Ｒ）とし、且つその後、Ｇi(Ｒ) ＝Ｇj ［Ｆ（Ｒ）］の関係に基づいて対応する輝度レベルを可能な限り最良の程度に等しくするために第１及び第２の輝度補正モジュール（ＬｕｔＡ、ＬｕｔＢ）に適用されるべき第１及び第２の補正法則（Ｇi 、Ｇj ）を計算するように構成される。
【００２５】
従って、この画像処理システムは、再構成対象画像の境界線の両側にある画像の第１及び第２の部分の特性に基づいて第１及び第２の全体としての輝度の補正法則を計算する手段、及び第１の法則を画像の第１の部分の各輝度レベルの全てのピクセルに適用し、第２の法則を画像の第２の部分の各輝度レベルの全てのピクセルに適用する手段を具える。
【００２６】
結果として、全体としての補正法則が計算され且つ可動カメラのパラメーターのどのような変化に対しても適用される。この補正法則は、常にユーザーによって選択された新しいパラメーターが現れる対象画像の修正に依存している。
【００２７】
これらの計算をリアルタイムで遂行する目的により、計算時間を短縮するため、本発明の画像処理システムは、これに加えて、輝度等化システムが更に、
輝度レベルの第１のサブの組（ｒ）からなる対象画像の第１の部分（Ｉvi）のピクセルの第１のサブの組（Ａi ）を選択し且つ格納する第１のメモリーモジュール（ＭｅｍＡ）と、
輝度レベルの第２のサブの組（ｓ）からなる対象画像の第２の部分（Ｉvj）のピクセルの第２のサブの組（Ａj ）を選択し且つ格納する第２のメモリーモジュール（ＭｅｍＢ）とを具え、且つ、
計算モジュール（Ｌｕｔcalcul）が、可能な限り最良の程度に式ｓ＝Ｆ（ｒ）を実現するために選択された対象画像部分の２つのサブの組（Ａi 、Ａj ）の輝度レベル［（ｒ）と（ｓ）と］の間の対応を確立することによってＳ＝Ｆ（Ｒ）の対応の法則Ｆを計算するように構成される。
【００２８】
【実施例】
次に図面を用いて本発明の実施例を詳細に説明する。
図１Ａでは、画像ピックアップ装置が既知の固定焦点の複数ｎ個の実際のカメラからなり、これらが互いに隣接し、個々の視野が繋がって広角の視野をカバーするように配置される。ｎ個の隣接する固定カメラはｎ個の隣接する固定画像を供給し、この画像ピックアップ装置はパノラマシーンをモニターすることができる。このカメラは、パノラマシーンの細部の全てがいずれかのカメラによって記録され、監視対象物が監視から漏れることのないような光学視野を持つ。
【００２９】
このような結果を得るために、これらのｎ個の隣接する固定カメラは更に、視点になるべきこれらの光学中心Ｐが一致するように配置される。カメラの視点は、光源から射出されるそれぞれの光線が、例外なくこの点を通りカメラの光学系を横切るような点である。
【００３０】
ｎ個のカメラの視点が物理的に一致する必要はない。しかしながら、以後、これらの視点のそれぞれの隔離距離がフィルムに収められたパノラマシーンの相互間の距離に対して小さい場合には、一致の条件が充分に満たされていると仮定している。例えば、カメラの視点のそれぞれの隔離距離が５ｃｍで、パノラマシーンの相互間の距離が５ｍのような場合である。一致の条件は従って、これらの距離の比が５０のオーダーか或いはそれより大きい場合に満たされているものと判断する。本発明によれば、コストの関係から、視点の厳密な一致を達成するために調整することが困難な光学ミラーシステムを使う必要はない。
【００３１】
ｎ個のカメラはＣ1,.., Ｃi,Ｃj,.., Ｃn と番号が付与され、それぞれ、ディジタル原画像Ｉ1,.., Ｉi,Ｉj,.., Ｉn を供給する。例えば２つの隣接する固定された実際のカメラＣi 及びＣj によって形成された原画像Ｉi 及びＩj について、以後考察を行う。
これらの固定された実際のカメラＣi 及びＣj は、それぞれ隣接する原画像面Ｉi 及びＩj のパノラマシーンの画像を形成する。図１Ａでは、原画像Ｉi 及びＩj のそれぞれの幾何学的中心Ｏi 及びＯj を通る軸ＰＺi 及びＰＺj が固定された実際のカメラＣi 及びＣj の光軸を表す。
【００３２】
図１Ｂでは、直角の軸Ｐx 、Ｐy 、Ｐz の組が、地面に関してＰx とＰz が水平にＰy が垂直に位置するように定められており、以後これを「ランドマーク」という。
画像Ｉi 及びＩj のような原画像は番号が付与され、これらの画像の各ピクセルｍが画像面の座標によってマークされる。図１Ｃに示すように、直角座標（Ｏi Ｘi ，Ｏi Ｙi ）及び（Ｏj Ｘj ，Ｏj Ｙj ）のマークが各画像面に定められる。この画像面では、軸Ｏi Ｘi 又はＯj Ｘj は水平、即ちランドマークＰx ，Ｐz の面内にある。（Ｏi Ｘi ，Ｏi Ｙi ）及び（Ｏj Ｘj ，Ｏj Ｙj ）によって定められる画像面は光軸ＰＺi 及びＰＺj に垂直であり、それぞれ幾何学的中心Ｏi 及びＯj を持つ。
【００３３】
カメラの各画像面に関する個々のマークを一度確立すると、これらの固定された実際の画像面は、
方位角（即ちパン角）Θi ，Θj 、及び
視野角（即ちチルト角）φi ，φj
によってランドマークに対して関係付けられる。
【００３４】
方位角Θi 又はΘj は、光軸ＰＺi 又はＰＺj を含む垂直面とランドマークの水平軸Ｐz とが作る角である。従って、これは垂直軸Ｐy の回りの回転の水平角度である。
視野角φi 又はφj は、光軸ＰＺi 又はＰＺj と水平面（Ｐx ，Ｐz ）とが作る角である。従って、これは各画像面の水平軸、軸Ｏi Ｘi 又はＯj Ｘj の回りの回転の垂直角度である。
【００３５】
簡潔にするため、以後、図１Ａに関する例と同様に、固定カメラＣi ，Ｃj によって供給される実際の画像面Ｉi ，Ｉj は垂直、即ちそれらの視野角φi ，φj が零であると仮定する。
同様に簡潔にするため、以後、図１Ａと同一の例が、原画像及び対象画像の両者の平面の軌跡及び軸、及び、対応する平面及び軸を表すものとする。
【００３６】
図１Ａは形成された画像の平面図であり、従って水平面Ｐx ，Ｐz のセグメントによって表示される固定された実際の画像面の軌跡Ｉi 及びＩj のみを示す。本発明は、ユーザーによって選択される調整手段により、ｎ個の固定カメラによって記録されたパノラマシーンの部分即ちサブ画像のディジタル画像を供給することができる可動カメラと見做せるディジタル画像再構成システムを具えることが目的である。
【００３７】
図２Ａは例えば２つの隣接する固定カメラＣi 及びＣj によって供給されるパノラマシーンの隣接する画像Ｉi 及びＩj を示す。図２Ａにおいては、両画像Ｉi 及びＩj が、簡潔にするために同一平面上に投射されている。実際には、これらの画像は、それらの間に固定カメラの光軸のなす角度に等しい或る角度を構成している。これらの画像においては、ユーザーは、固定カメラと同一の倍率又は大きいか或いは小さい倍率で線Ｉo を左右或いは上下に動かし、この線で囲まれた任意のサブ画像を選んで見ることができる。
【００３８】
可動カメラと見做されるカメラは、図２Ａの線Ｉo で囲まれた原画像Ｓi 及びＳj の部分から対象画像Ｉv を構成することができる。このカメラは実際には存在しないカメラであることから仮想カメラという。
【００３９】
この仮想カメラは、固定の実際のカメラと同様に、
方位角Θv 、
視野角φv 、
及び、Ｏv を対象画像Ｉv の幾何学的中心としたとき、その視点Ｐが固定の実際のカメラの視点Ｐと共通であるとの条件の下で、その焦点距離ＰＯv によって定まるその倍率（ズーム効果）
によって定義される。仮想カメラの視点は実際のカメラについて前記のように定められた近似的な視点と共通である。
【００４０】
図１Ａは水平面における仮想カメラの画像面のＩv で表記された軌跡を示す。この可動仮想カメラＣo の定義の中で、方位角Θv は光軸ＰＺv を含む垂直面とランドマークの水平軸ＰＺとの角度である。視野角φv は光軸ＰＺv とランドマークの水平面Ｐx ，Ｐz との角度である。また、焦点距離ＰＯv は原画像の倍率に対応して対象画像の倍率を変えることができるようにするために可変になっている（ズーム効果）。
【００４１】
方位角Θv 及び視野角φv 更に焦点距離ＰＯv を変えることによって、仮想カメラが異なる固定の実際のカメラＣ1 乃至Ｃn の視野を繋ぎ合わせて形成される広角視野を走査する可動カメラと全く同じになる。
仮想カメラが、広角視野のＩo によって区切られた小さい部分（即ちサブセクション）を、例えば、可変焦点距離ＰＯv を変えることにより、各実際のカメラＣ1,...,Ｃn によって供給される画像Ｉ1,...,Ｉn の最終的な大きさと同じ大きさに拡大した画像Ｉv として表示しこれを見ることができることに注目すべきである。
【００４２】
更に、可動カメラの視野の変位は連続的であり且つ任意であり、Ｉo に対応するこの視野は、２つの隣接するカメラＣi 及びＣj によって供給され、Ｌo で隣接している画像Ｉi 及びＩj の２つの部分（Ｓi ，Ｓj ）の両側（Ｓi ，Ｓj ）にあってもよいことに注目すべきである。
【００４３】
この場合、仮想カメラによって構成された画像Ｉv は２つの異なる画像部分を含む。１つはディジタル画像Ｉi における情報に基づいて構成されている部分Ｉviであり、他の１つはディジタル画像Ｉj における情報に基づいて構成されている部分Ｉvjである。図１Ａにおいては、Ｉvi及びＩvjは水平面中の対象画像Ｉvi及びＩvjの軌跡を表している。
【００４４】
前記において、実際のカメラによって供給される画像Ｉi 及びＩj の全輝度が異なるという技術的な問題があることを指摘した。このために、画像部分Ｉvi及びＩvjの全体としての輝度も異なることになり、これは図３ａに例示したようにディジタル画像に現れる。
本発明はこの欠点を除去し、表面全体で均一な輝度を有するディジタル画像を再構成する手段を提供する。
【００４５】
図３ｂは、輝度の誤差を含む図３ａのシーンを本発明の手段によって補正したディジタル画像をを示す。
図１Ｄに示したように、直角座標（Ｏv Ｘv ，Ｏv Ｙv ）が最初にディジタル対象画像Ｉv の平面で定義されている。ここでは、軸Ｏv Ｘv が水平方向即ちランドマークの水平面Ｐx ，Ｐz に伸びている。ピクセルＯv は対象画像Ｉv の幾何学的中心であり、仮想カメラの光軸ＰＺv 上に位置している。仮想カメラは以後Ｃv と表記する。従って、対象画像面Ｉv の各ピクセルｍ’は直角座標（Ｏv Ｘv ，Ｏv Ｙv ）系の座標によってマークされる。
【００４６】
本発明の第１の目的は、第１の原画像Ｉi の画素に基づいて形成される第１の対象画像部分Ｉviを構成するピクセルの輝度を全体として補正するための第１の法則Ｇi 、及び、第２の原画像Ｉj の画素に基づいて形成される第２の対象画像部分Ｉvjを構成するピクセルの輝度を全体として補正するための第２の法則Ｇj を供給することにある。
【００４７】
構成された各対象画像においては、ピクセルは、画像の中で軸（Ｏv Ｘv ，Ｏv Ｙv ）の組の座標によって定まるそれらの位置及び例えば１から２５６の階調を有する輝度レベルスケール即ちグレイレベルによって特徴付けられている。この輝度レベルは、最高は最も明るいピクセルに対応し、最低は明るさが最も低いピクセルに対応する。輝度レベルの表記はグレイレベルと等価である。以後は輝度レベルの表記を用いる。
全体としての補正とは、ここでは、その法則を、画像の中のピクセルの位置に無関係に所定の輝度レベルの全てのピクセルに適用することを意味するものとする。
【００４８】
〔第１ステージ：対象画像部分の選択〕
本発明の計算装置によって実行される第１ステージにおいては、第１の法則Ｇi 及び第２の法則Ｇj をリアルタイムで計算し、続いてこの法則を各画像部分Ｉvi及びＩvjにリアルタイムで適用できるようにするため、ピクセル間に対応関係がある２つの群をディジタル対象画像Ｉv から選択する。
【００４９】
対応するピクセルのこれらの２つの群はそれぞれＡi 及びＡj と表記し、それぞれ、ディジタル画像Ｉvi及びＩvjの対応するピクセルの群として選択することができる。この選択の方法としては、本発明の目的を達成する上では等価な２つの異なる方法によることができる。
両方法共、対象画像の第１の部分Ｉviは第１のサブの組Ａi を供給するために選択され、対象画像の第２の部分Ｉjiは第２のサブの組Ａj を供給するために選択される。
【００５０】
ａ）第１の方法
第１の方法は第２の方法と区別するためＢＯＲＤＥＲ法と称するが、この方法では、ディジタル対象画像Ｉv が単にディジタル対象画像部分Ｉvi及びＩvjをオーバーラップなしに端と端を並置することによって形成されると仮定する。従って対象画像Ｉv は画像部分ＩviとＩvjとの間に１つの直線の境界線Ｌを示す。この直線の境界線は、２つの線の間即ちディジタル対象画像Ｉv の２つのピクセルの列の間に位置する。
【００５１】
図４Ａは、直線の境界線Ｌが垂直であり、対象画像Ｉv の２つのピクセルの列の間にあるときのＢＯＲＤＥＲ法の実行の様子を説明する図である。
ＢＯＲＤＥＲ法においては、画像部分Ｉviの中の直線の境界線Ｌに隣接する帯を形成するピクセル列Ｋi に位置するピクセルが群Ａi として選択される。そして、直線の境界線Ｌに関して対称に位置し、第２の画像部分Ｉvjの中の直線の境界線Ｌに隣接する帯を形成するピクセル列Ｋj に位置するピクセルが第２の群Ａj として選択される。
【００５２】
直線の境界線が水平に伸びている場合も、この境界線の両側に位置する線の２つの群Ａi 及びＡj が選択される。
直線の境界線が任意の境界線である場合は、この直線の境界線に対称なピクセルが対応するピクセルとして選択される。
直線の境界線の場合には位置が異なる場合にも容易に一般化できるので、例として、以下には境界線が垂直である場合についての本発明を説明する。
【００５３】
この場合、対応する群Ａi 及びＡj の対応するピクセルは、ディジタル対象画像Ｉv の同じ水平線に位置する、直線の境界線Ｌの両側にある２つの隣接する垂直の列Ｋi ，Ｋj の中の対である。対応するピクセルの各対は例えばｍ'i，ｍ'jであり、これらは対象画像Ｉv の特別な直角表示領域に、
軸Ｙv 上で同一の座標、
軸Ｘv 上で１ピクセルだけ異なる横座標、及び
本発明のデバイスが等化しようとする異なった輝度レベル
を持つ。
【００５４】
ｂ）第２の方法
第２の方法はＯＶＥＲＬＡＰ法と称し、この方法では、ディジタル対象画像が第１の対象画像部分Ｉviに第２の対象画像部分Ｉvjの、或いはその逆の、数ピクセル（１０ピクセル以下）の幅の狭い帯状のオーバーラップが存在するように形成されると仮定する。第２の対象画像部分はその端部Ｌj を持ち、第１の対象画像部分はその端部Ｌi を持ち、オーバーラップ帯は幅Ｌi Ｌj を持って端部Ｌi ，Ｌj に平行に伸びている。
【００５５】
図４ｂは、ＯＶＥＲＬＡＰ法の実行を説明する図である。この場合帯Ｌi Ｌj である境界が垂直に伸びている。この方法を境界が水平に伸びている場合に適用することは容易である。
境界が垂直の場合、第１の対象画像部分Ｉviに属するオーバーラップ帯の部分に位置するピクセルによって形成される対応関係にある群は、ここではＡi とする。第２の対象画像部分Ｉvjに属するオーバーラップ帯の部分に位置するピクセルによって形成される対応関係にある群は、ここではＡj とする。
【００５６】
この場合、群Ａi 及びＡj の対応するピクセルは例えばピクセル対ｍ'i，ｍ'jであり、それらは、対象画像Ｉv の直角表示領域Ｏv Ｘv ，Ｏv Ｙv の中で横軸及び縦軸共に同一の座標を有する。しかし、ＢＯＲＤＥＲ法と同様に同一の輝度レベルを持ってはいない。
【００５７】
本発明の場合、画像はディジタルであり、２つの対象画像部分Ｉvi及びＩvjの間のオーバーラップの存在は、帯Ｌi Ｌj が画像部分Ｉvi及び画像部分Ｉvjの両者の輝度と異なる全体としての輝度を持つことを意味しない。仮想カメラに輝度等化手段がないとしても、仮想カメラは少なくとも部分Ｉvi及びＩvjの並置により対象画像部分Ｉv を形成する可能性を持つ。従ってＯＶＥＲＬＡＰ法では、第１の対象画像部分、オーバーラップ帯、第２の対象画像部分の３つの領域の輝度を等しくするための努力は行わない。しかし、ＢＯＲＤＥＲ法と同様に、第１の対象画像部分Ｉvi及び第２の対象画像部分Ｉvjの２つの部分のみ輝度の等化を行う。
【００５８】
〔第２ステージ：対応関係Ｆの法則の計算〕
本発明のシステムにおける第２ステージでは法則Ｆを計算し、第２の対象画像部分Ｉvjの輝度レベルＳの組を第１の対象画像部分Ｉviの対応する輝度レベルＲの組に対応させ、Ｓ＝Ｆ（Ｒ）とする。
この２つの組Ｓ及びＲについての式は、可能な限り最良の程度にＲの各輝度レベルが対応するＳの各輝度レベルと結合する法則Ｆを計算するべきことを表している。
【００５９】
対応する輝度レベルとは、第１及び第２の対象画像部分Ｉvi及びＩvjが１つのカメラによって形成されるとした場合と同一であるようなレベルを意味するものとする。
【００６０】
両方法共、法則Ｆは、対応関係Ａi ，Ａj を持って群に含まれるピクセルを対象として計算される。ＢＯＲＤＥＲ法では少ない数のピクセルを対象とし、計算に含まれるピクセルの数はいずれかの列のピクセルの２倍を限度とする。ＯＶＥＲＬＡＰ法では、計算に含まれるピクセルの数は同様に数個の列のピクセルの２倍を限度とする。数個の列とは例えば１乃至１０列を意味する。通常のディジタル画像は、各列５００（又は１０００）ピクセル以上の５００列（又は１０００列）より僅かに多くのピクセルを含むことがあると考えると、ＢＯＲＤＥＲ法及びＯＶＥＲＬＡＰ法は計算時間を著しく節約することができることが分かる。
【００６１】
以後では、
ｒは、Ａi に対応する第１の群にある異なった輝度レベルの組、
ｓは、Ａj に対応する第２の群にある異なった輝度レベルの組
との定義を用いる。
各群Ａi ，Ａj は同一数のピクセルを有し、組ｒの各輝度レベルは組ｓに対応する輝度レベルを持つ。
【００６２】
可能な限り最良の程度に、サブの組Ａi のピクセルの輝度レベルｒをサブの組Ａj の対応するピクセルの輝度レベルｓに結合する法則Ｆを計算する。
組ｒにおける各輝度レベルは、対応の法則Ｆによって組ｓの輝度レベルに結合する。即ち式ｓ＝Ｆ（ｒ）が可能な限り最良の程度に実現される。
【００６３】
一旦法則ＦがＡi ，Ａj に対応する選択された群によって計算されると、この法則Ｆは、対象画像部分Ｉviの輝度レベルの組Ｒと対象画像部分Ｉvjの輝度レベルの組Ｓとの対応に適用することができる。即ち可能な限り最良の程度にＳ＝Ｆ（Ｒ）となる。
【００６４】
これは、図５に示すようにプロットできる。
水平軸ｒ上にはＡi に対応する第１の群に含まれる対応するピクセルの対の全ての第１のピクセルｍ'iの輝度レベルが目盛ってあり、垂直軸ｒ上にはＡj に対応する第２の群に含まれる対応するピクセルの対の全ての第２のピクセルｍ'jの輝度レベルが目盛ってある。
各対の輝度レベルをこのグラフに図上で対応させることにより、理論的にＡi 及びＡj の輝度レベルの対応関係Ｆの法則に現れるべき座標の点（ｒ，ｓ）を見出すことができる。
【００６５】
このグラフでここでの検討の対象である群Ａi ，Ａj の対応するピクセルの対（ｍ'i，ｍ'j）のうち、いくつかの対は計算しようとする対応の法則に合っていない。
これは、ＢＯＲＤＥＲ法は、極めて限られた数のピクセルについて考慮するようになっており、これらの対の中のいくつかは輝度の対応には関与しておらず、元のパノラマシーンの輝度の実際の非連続性に関与しているに過ぎないことによる。
【００６６】
或いは、これは本発明に含まれないためにこれまで記述していないが、対象画像Ｉv のピクセル（即ちそれらの座標及びそれらの輝度レベル）の供給のためには不可欠な対象画像計算システムが、（例えば、対象画像の再構成の際に充分な補正が行われない原画像に含まれる球面からの逸脱により）元の原画像に基づく完全な幾何学的再構成を与えておらず、従っていくつかの対では、２つの対応するピクセルが実際にパノラマシーンの同一の範囲に由来せず、従って最後の対象画像で同一の輝度を持つとは限らないことによる。
【００６７】
この結果として、図においては、ピクセル対の輝度レベルに対応した座標（ｒ，ｓ）の点を捜す場合、法則Ｆによって位置が決められる点を捜しても所定のピクセル対（ｍ'i，ｍ'j）が得られない。このような点は逸脱していると呼ぶ。
【００６８】
このような欠点のため、全てが厳密に法則Ｆを表す曲線に沿って位置せずに、座標（ｒ，ｓ）に対応する点が実際にはこの曲線から多少離れた点にクラスターを形成するように見える。
【００６９】
しかしながら、本発明は、
逸脱しているピクセル対の存在の下にこの問題を解き、
リアルタイムでこの問題を解き、
これらの手段を１つのデバイスで実現する
ための手段を提供することを目的とするものである。
【００７０】
例として、Ａi に対応する第１の群においては、輝度レベル
ｒ（１，２，３，４,...）
からなる組ｒが存在し、Ａj に対応する第２の群においては、輝度レベル
ｓ（１，３，５,...）
からなる組ｓが存在すると仮定する。
これは次のことを意味する。
・組ｒの輝度レベル１は組ｓの輝度レベル１に対応し、グラフ上に対応する点α（１，１）が得られる。
・組ｒの輝度レベル２は組ｓの輝度レベル３に対応し、グラフ上に対応する点β（２，３）が得られる。
・組ｒの輝度レベル３は組ｓの輝度レベル５に対応し、グラフ上に対応する点γ（３，５）が得られる等... 。
【００７１】
法則Ｆは可能な限り最良の程度に対応する点α，β，γを通る法則である。実際には、単に対応点を結んでグラフを書いても、対応関係の曲線Ｆを与えない。なぜならば、これらの対応点はＮ個の点のクラスターを形成するからである。この場合、法則Ｆは可能な限り最良の程度に最大数の対応点を通るように探究されなければならない。
Ａi の組ｒとＡj の組ｓの輝度レベルを結合する関数Ｆを計算する方法を次に述べる。
【００７２】
この法則を定めるに当たって遭遇する難問の１つは、Ａi の組ｒ従って対応するＡj の組ｓが、対象画像部分Ｉi 及びＩj に存在する輝度レベルの全てのサンプルを必ずしも含んでいないことである。しかしながら、一般的に、実験により、Ａi 及びＡj の中に、先に定めたように、輝度レベルの充分なサンプルが見出せることが分かる。Ｆについての条件は、法則は、一様であり、単調であり、且つ凹形凸形いずれでもとり得るように定められなければならない。
【００７３】
実際には、（ｒ，ｓ）における輝度レベルの数は（Ｒ，Ｓ）における数よりも少ないという事実により、Ｉvi，ＩvjからＩv を構成するために（Ｒ，Ｓ）に適用すると、或る法則はＡi ，Ａj の（ｒ，ｓ）における輝度レベルの正しい対応を与えることができるが、全体としては正しい結果を与えない。
【００７４】
実験から、
Ｆ（ｒ）＝ａｒ＋ｂ
又はＦ（ｒ）＝ａｒ²＋ｂｒ＋ｃ
の型の法則は、可能性のある全てのケースについてＡj の輝度レベルに一致するＡi の輝度レベルを設定するという問題を解決することはできないことが分かった。
【００７５】
従って、本発明においては、
Ｆ（ｒ）＝ａ＋ｂｒ^C
で表される「ガンマ法則」と、係数ａ，ｂ，ｃを決める手段とを提案する。この手段によりこの法則を用いてリアルタイムでＦを計算することができ、更に、この手段は１つのデバイスで実現できる。この法則は、状態の数が大きい場合に適用すると、従来試みられてきた法則に比較して最良の結果が得られる。
【００７６】
係数ａ，ｂ，ｃを決める場合、前に述べたようにＡi ，Ａj の中に逸脱した対が存在することによるエラーに対する対策をとるため、本発明においては反復計算手段を具える。この反復計算手段は、これらの係数の粗い値から始まり、反復ステップによって精緻な値に到達する。各反復ステップでは、点（ｒ，ｓ）とこの反復ステップで計算された法則Ｆを表すグラフの曲線上に位置する点との距離を求め、この距離が所定の距離より大きい点（ｒ，ｓ）を除去し、次のステップでは所定の距離をもっと小さい値に定め、新しく定めた所定の距離より大きい位置の点（ｒ，ｓ）を除去するようにし、これを繰り返す。
【００７７】
もっと一般的な方法としては、各座標点（ｒ，ｓ）に重み付けを行うことができる。この重み付けは、前の反復ステップで定められた法則Ｆの曲線により近い（幾何学的な距離が小さい）点により大きい重みを付ける。各反復ステップでは、曲線により近い点をより優先的に大きい重みに修正する。そして曲線を再計算する。
【００７８】
しかしながら、係数ｃがべき指数であるガンマ法則の形は計算の速度を低下させる。通常は、最良のガンマ法則を決定するためには、反復法は各反復ステップで数個の値の係数ｃについて試算しその後で係数ａ及びｂを計算する。
この欠点を除き計算の速度を上げるため、本発明における法則Ｆを決定する方法は、各ステップが２つのフェーズを持つ二重反復法によって実行される。
【００７９】
第１のフェーズにおいてはパラメーターａ，ｂ，ｃを求める。第１段では、べき指数ｃの初期値を定め、対象となる全ての座標点（ｒ，ｓ）の最初のクラスターＮ1 についてパラメーターａ及びｂを計算する。次の段では、べき指数ｃの第２次の値を続いて第３次の値を定め、点（ｒ，ｓ）の最初のクラスターについてパラメーターａ及びｂを計算する。この段の終わりには、点（ｒ，ｓ）の最初のクラスターを通る可能な限り最良の程度に最善の関数Ｆ（ｒ）＝ａ＋ｂｒ^Cが得られるパラメーターａ，ｂ，ｃの値の組が決まる。
【００８０】
次に第２の間引きフェーズを遂行する。このフェーズにおいては、最初のクラスターＮ1 の点の中で第１フェーズで定められた関数Ｆ（ｒ）から最も離れている点を除去し、間引きされた点の第２のクラスターＮ2 を作る。
二重反復法の次のステップでは、第１フェーズにおいて、パラメーターｃについて前のステップで定められた値に近い実験値を定め、関数Ｆ（ｒ）＝ａ＋ｂｒ^Cが間引きされた第２のクラスターを通る可能な限り最良の程度の関数になるようにパラメーターａ，ｂ，ｃを定める。
【００８１】
この二重反復法は、関数Ｆ（ｒ）＝ａ＋ｂｒ^Cが、この関数Ｆ（ｒ）を表す曲線との距離が許容できる距離以下である残っている点（ｒ，ｓ）を可能な限り最良の程度に通るまで続けられる。
ｓ＝Ｆ（ｒ）の計算によって定められた法則Ｆは、従って、
Ｓ＝Ｆ（Ｒ）
の関係に基づく対象画像部分Ｉvi及びＩvjに関する組Ｒ及びＳにおいて対応する輝度レベルに適用される。
【００８２】
〔第３ステージ：輝度の補正法則Ｇi ，Ｇj の計算〕
本発明のシステムにおける第３ステージでは、次に組Ｒのレベル及び組Ｓのレベルそれぞれに作用し、個々に対応するレベルの等化を行う２つの補正Ｇi ，Ｇj を計算する。
組Ｒ及びＳの対応する輝度レベルについて予定された等化が可能な限り最良の程度に実現されると、第１及び第２の対象画像部分Ｉvi及びＩvjの輝度の全体としての等化が達成され、
Ｇi （Ｒ）＝Ｇj （Ｓ）
となる。
【００８３】
第２ステージで本発明のデバイスによって法則Ｆに基づいてＳ＝Ｆ（Ｒ）が計算されたので、組Ｒ及びＳの輝度レベルは対応付けられており、この結果、法則Ｇi ，Ｇj が
Ｇi （Ｒ）＝Ｇj 〔Ｆ（Ｒ）〕
の関係に基づいて対応する輝度レベルの全体としての等化を実現する。この等化は可能な限り最良の程度に実現され、この場合、再構成された対象画像から直線の境界線が消える。
【００８４】
再度第２ステージを説明するために記述された例を参照すると、組Ｒの中で輝度レベル１，２，３,...が見出され、組Ｓの中で対応する輝度レベル１，３，５,...が見出された場合は、法則Ｇi が組Ｒの異なる輝度レベル１，２，３,...に作用し、これらのレベルをこれらの実際の値と組Ｓの対応するレベルの値との間の値に変える。同様に、法則Ｇj が組Ｓの異なる輝度レベル１，３，５,...に作用し、これらのレベルをこれらの実際の値と組Ｒの対応するレベルの値との間の値に変える。従って、
Ｇi （１）＝Ｇj （１）
Ｇi （２）＝Ｇj （３）
Ｇi （３）＝Ｇj （５）等....
になり、一般的に、可能な限り最良の程度に
Ｇi （Ｒ）＝Ｇj （Ｓ）
となる。
【００８５】
多くの場合、Ｇi 又はＧj を全く同一に選び、輝度等化法則によりグレイレベルの組の１つを同一にしておき、グレイレベルの他の組を等化が得られるように上下するようにしてもよい。例えば、法則Ｆ又はＦ^-1を単に１つの組の輝度レベルに適用する。
【００８６】
このようにすると、得られた対象画像は実際に最も明確に全体として等化された輝度を示す。しかし、この最終的な対象画像は正しい画像部分とかなり低い品質の画像部分を含む。実際には、実際のカメラの各々は最良の画像を供給するように特別に具えられた制御ユニットを持つことを考慮しなければならない。２つの対象画像部分が輝度の差異を示す場合、これは対象画像部分の１つになる原画像に各々の実際のカメラが最適化処理を行うことによる。この最適化処理はカメラ毎に異なるのである。
【００８７】
従って、対象画像部分の品質を殆ど落とさずにその輝度レベルに作用することは不可能である。
本発明は、画像部分の品質の低下を最小に止めて輝度を全体として等化する解を提案する。
このため、２つの等化法則
Ｇi （Ｒ）＝ｋＦ（Ｒ）＋（１−ｋ）Ｒ
Ｇi （Ｒ）＝ｋＲ＋（１−ｋ）Ｆ^-1（Ｒ）
を提案する。ここでｋは定数であり、
０≦ｋ≦１
でいわゆる混合係数であり、Ｒは対象画像部分Ｉviの第１の部分に存在する異なった輝度レベルである。
【００８８】
この定数ｋは次のように作用する。
ｋ＝１ならば、組Ｒの輝度レベルは組Ｓの輝度レベルに等しくなる。
ｋ＝０ならば、この逆になる。
好ましくは、ｋは、全体の対象画像Ｉv の中の第２の対象画像部分Ｉvjの表面面積比率に等しくする。
【００８９】
このように、全体の画像Ｉv の中で画像表面Ｉvjが小さく、ｋが０に近ければ、そして大きい表面を持つ第１の対象画像部分Ｉviの輝度レベルが殆ど変わらないならば、対照的に小さい表面の第２の対象画像部分Ｉvjの輝度レベルを変えて全体としての輝度を等しくするのが最も効果的であることが分かる。
【００９０】
従って、仮想カメラとしての装置においてユーザーがパラメーターΘ、φ或いは焦点距離を変えると定数ｋが変わり、新しい法則Ｆが計算され、その後は新しい法則Ｇi ，Ｇj が組Ｒ及びＳに適用される。
前記の関数Ｇi ，Ｇj の計算を遂行するデバイスについて次に述べる。
【００９１】
〔輝度等化法のこのステージを遂行するためのデバイス〕
図６は信号処理装置の機能ブロック図である。この装置は次の部分を具えている。
ａ）個々の視野が繋ぎ合わされてパノラマシーンを記録するための１つの広角視野を形成するように固定して配置されたｎ個のピックアップカメラＣ1,...,Ｃi,Ｃj,...,Ｃn 。これらは、これらの視点Ｐが前記の精度で実質的に共通であり、それらの焦点距離が固定で既知である。
ｂ）制御システム（Ｃｏｎｔｒｏｌ）。ユーザーがこのシステムを用いて視野角及び方位角並びに焦点距離を変えることができる。その際には、画像構成システムとこのシステムが結合して、仮想可動カメラＣv をシミュレートする。
【００９２】
ｃ）対象画像構成システムＧＶＶＢ（Geometrical Virtual View Builder）。このシステムは、ユーザーにより制御装置上に表示されたパラメーターに対応し、カメラから供給される原画像Ｉ1,...,Ｉi,Ｉj,...,Ｉn の特性、即ちピクセルの座標及び輝度から対象画像Ｉv を形成する。
対象画像構成システムは、次の４つの群のデータを供給する。
i) 第１の画像部分Ｉviの残りの部分のピクセルＡ'i即ち選択された部分Ａi に含まれないピクセルに関するデータ。Ａ'iのピクセルは対象画像Ｉv における位置及びＩviの組Ｒにおける輝度レベルによっても特徴付けられる。
【００９３】
ii) 第１の画像部分Ｉviの選択された部分Ａi のピクセルに関するデータ。即ち、Ａi の各ピクセルの座標及び輝度レベル。
iii)第２の画像部分Ｉvjの選択された部分Ａj のピクセルに関するデータ。即ち、Ａj の各ピクセルの座標及び輝度レベル。
iv) 第２の画像部分Ｉvjの残りの部分のピクセルＡ'j即ち選択された部分Ａj に含まれないピクセルに関するデータ。Ａ'jのピクセルは対象画像Ｉv における位置及びＩvjの組Ｓにおける輝度レベルによっても特徴付けられる。
【００９４】
ｄ）２つのメモリーＭｅｍＡ及びＭｅｍＢ。第１のメモリーＭｅｍＡは選択された部分Ａi のピクセルに関するデータを受信し、第２のメモリーＭｅｍＢは選択された部分Ａj のピクセルに関するデータを受信する。
ｅ）計算モジュールＬｕｔcalcul。このモジュールは、ＭｅｍＡ及びＭｅｍＢで利用できる選択された部分Ａi ，Ａj のピクセルに関するデータに基づいて、第１にｓ＝Ｆ（ｒ）の関係により、本発明の方法の第２ステージで説明した二重反復法を用いて法則Ｆを計算する。
【００９５】
このモジュールは、次に、補正法則Ｇi 及びＧj を計算する。このモジュールは、前に計算された法則Ｆを、ＧＶＶＢの出力で利用できる相補的な部分Ａ'iに関するデータに適用する。次に、このモジュールは、Ｉviの組Ｒの各輝度レベルについて法則Ｇi （Ｒ）＝ｋＦ（Ｒ）＋（１−ｋ）Ｒを計算する。このモジュールは、更に、法則Ｆを、ＭｅｍＢで利用できる選択された部分Ａj に関するデータ及びＧＶＶＢの出力で利用できる相補的な部分Ａ'jに関するデータに適用する。次に、このモジュールは、Ｉvjの各輝度レベルＦ（Ｒ）＝Ｓについて法則Ｇi （Ｒ）＝ｋＲ＋（１−ｋ）Ｆ^-1（Ｒ）を計算する。更に、ｋを、対象画像Ｉv の全表面に対する第２の画像部分Ｉvjの表面に関する比率に等しく選ぶことも可能である。
【００９６】
ｆ）２つのモジュールＬｕｔＡ及びＬｕｔＢは、組Ｒ及びＳの輝度レベルに合わせて、法則Ｇi 及びＧj をそれぞれ第１及び第２の対象画像部分Ｉvi及びＩvjの各ピクセルに適用し、対応するレベルを完全に等しくする。
ｇ）２つのモジュールＰａｒｔＡ及びＰａｒｔＢは、それぞれＬｕｔＡ及びＬｕｔＢによって供給される第１及び第２の対象画像部分Ｉvi及びＩvjを構成するためのデータを格納する。
ｈ）表示又は記録モジュールＤ。
【００９７】
計算モジュールＬｕｔcalculは独立して前記の計算を遂行するマイクロプロセッサである。他のモジュールは例えばルックアップテーブル等に接続されたモジュールであってもよい。
ここに記述されている輝度等化装置は、隣接するカメラによって形成された画像の輝度を補正することに限定されるものではない。これは、画像が連続している場合には一時的な重なりに対しても適用することができる。
【００９８】
本発明の実施例の他の変形においては、カメラＣ1,...,Ｃn が各々既にルックアップテーブルを含む画像獲得テーブルを用いるようにしてもよい。
これは、各カメラモジュールＣ1,...,Ｃn の中にＬｕｔ1,...,Ｌｕｔn のようなモジュールＬｕｔが既に存在することを意味する。この場合、図６からＬｕｔＡ及びＬｕｔＢを削除することができる。計算モジュールＬｕｔcalculによる計算の結果は、カメラＣi , Ｃj に対応するテーブルＬｕｔi ，Ｌｕｔj に含まれるデータを変えるために転送される。
【００９９】
続いてカメラＬｕｔ1,...,Ｌｕｔi ，Ｌｕｔj,...,Ｌｕｔn の異なるテーブルの出力が画像構成システムＧＶＶＢに入力される。
しかしながら、これはＧＶＶＢ型の２つの画像構成システムを具えることを必要とする。その第１のシステムは、計算モジュールＬｕｔcalculのためにデータをＭｅｍＡ及びＭｅｍＢに与え、第２のシステムは補正された最終画像を構成する。
【０１００】
他方、実際のカメラはアナログデータを供給してもよいことに注意すべきである。この場合、ディジタル原画像を形成するためにアナログ−ディジタル変換モジュールが用いられる。
しかしながら、本発明により対象画像を構成するためには２つ或いは３つを超えない原画像を必要とするだけであり、従ってそれぞれ必要とするのは単に２つ或いは３つの変換器である。
【０１０１】
実際のカメラＣ1,...,Ｃn の数が使用されている原画像の数を超えている場合は、カメラのアナログ出力と変換器の入力との間に、可動仮想カメラの特性例えば方位角に基づいて動作中の実際のカメラを選択するための多重化モジュールを置いてもよい。
【０１０２】
例えば、６個の実際のカメラがあり、原画像の必要な数が２を超えない場合は、ただ２つのアナログ−ディジタル変換器を使用し、マルチプレクサによって６つのカメラから動作中の実際のカメラＣi , Ｃj を選択して２つのディジタル原画像を対応する変換器の入力に供給する。
その後変換器の出力は画像構成システムＧＶＶＢの入力に供給される。
【図面の簡単な説明】
【図１】図１Ａは、実際のカメラがランドマークの水平面に垂直な画像面を持つ場合にランドマークの水平面に異なる画像面の軌跡を示す平面図であり、図１Ｂは、ランドマークＰx,Ｐy,Ｐz を水平面に投影した図であり、図１Ｃは、特別の座標系における実際の画像面の立面図であり、図１Ｄは、特別の座標系における対象画像面の立面図である。
【図２】図２Ａは、パノラマシーンのサブ画像を構成するためユーザーが選択した仮想カメラのパラメーターにより２つの隣接する実際のカメラの広角視野のセクションを区切る効果を説明する図であり、図２Ｂは、これらのパラメーターによって定められた仮想カメラにより構成された対象画像で、第１の実際のカメラによる原画像に基づく第１の画像部分と第２の実際のカメラによる原画像に基づく第２の画像部分との２つの部分が密接している場合の対象画像を示す図であり、図２Ｃは、これらのパラメーターによって定められた仮想カメラにより構成された対象画像で、第１の実際のカメラによる原画像に基づく第１の画像部分と第２の実際のカメラによる原画像に基づく第２の画像部分との２つの部分の一部がオーバーラップしている場合の対象画像を示す図である。
【図３】図３ａは、図２Ｂ又は２Ｃのいずれかの方法で再構成されたディジタル対象画像において、第１の原画像に基づく第１の対象画像部分と第２の原画像に基づく第２の対象画像部分との２つの部分の間での全体としての輝度の差異を示す図であり、図３ｂは、図３ａのディジタル対象画像に対して全体として輝度等化装置による処理を行った後の状態を示す図である。
【図４】図４Ａは、ＢＯＲＤＥＲ法により対象画像部分を選択する方法を説明する図であり、図４Ｂは、ＯＶＥＲＬＡＰ法により対象画像部分を選択する方法を説明する図である。
【図５】図５は、法則Ｆを計算するため輝度レベル（ｒ，ｓ）の対応する点を説明する図である。
【図６】図６は、画像処理システムの機能ブロック図である。
【符号の説明】
Ａピクセルの群
Ｃo 仮想カメラ
Ｃ1,...,Ｃn 実際のカメラ
Ｆ対応法則
Ｇ輝度補正法則
Ｉ1,...,Ｉn 原画像
Ｉv 対象画像
Ｋピクセルの列
Ｌ直線境界線
Ｌi,Ｌj オーバーラップ部分の端部
ｍ，ｍ' ピクセル
Ｎ点のクラスター
Ｒ，Ｓ輝度レベルの組
ｒ，ｓ輝度レベルのサブの組
Ｃｏｎｔｒｏｌ制御システム
ＧＶＶＢ対象画像構成システム
ＭｅｍＡ，ＭｅｍＢメモリー
Ｌｕｔcalcul 計算モジュール
ＬｕｔＡ及びＬｕｔＢ輝度補正モジュール
ＰａｒｔＡ，ＰａｒｔＢデータ記憶モジュール
Ｄ表示又は記録モジュール

Claims

第１原画像の部分及び第２原画像の部分に基づいて、対象画像と称されるディジタル合成画像を形成する画像処理方法であって、各原画像が、個々の視野を繋ぎ合わせてパノラマシーンを記録するための単一の広角視野を形成するように配置されたそれぞれの固定視野カメラから発生する画像処理方法において、
前記第１原画像の部分と前記第２原画像の部分との間の輝度の不整合を補正するステップを有し、このステップが、
前記第１原画像の部分及び前記第２原画像の部分の対応する画素に基づいて輝度レベルの第１のサブの組及び第２のサブの組をそれぞれ決定するサブステップと、
前記輝度レベルの第１のサブの組及び第２のサブの組に基づいて輝度レベル整合規則を決定するサブステップと、
前記輝度レベル整合規則に基づいて相補的な輝度レベル整合規則の対を決定し、前記相補的な輝度レベル整合規則の対が、前記第１原画像に関連する第１の相補的な輝度レベル整合規則及び前記第２原画像に関連する第２の相補的な輝度レベル整合規則を具えるサブステップと、
前記第１の相補的な輝度レベル整合規則を前記第１原画像の部分に適用するとともに、前記第２の相補的な輝度レベル整合規則を前記第２原画像の部分に適用して、前記対象画像の第１部分及び前記対象画像の第２部分をそれぞれ取得するサブステップとを具えることを特徴とする画像処理方法。
前記輝度レベルの第１のサブの組及び第２のサブの組を決定するサブステップが、
エッジ間に位置された前記第１原画像及び前記第２原画像の各部分の二つの並列のエッジ間に配置された境界線を決定し、対応する画素が、前記第１原画像及び前記第２原画像の各部分において、前記境界線に平行かつ対象に配置されることを特徴とする請求項１記載の画像処理方法。
前記輝度レベルの第１のサブの組及び第２のサブの組を決定するサブステップが、
前記第１原画像及び前記第２原画像の各部分のオーバーラップ帯を決定し、対応する画素が、前記オーバーラップ帯に設けられるとともに前記対象画像の軸の系に同様な座標を有することを特徴とする請求項１記載の画像処理方法。
前記輝度レベル整合規則を決定するサブステップが、
対応する画素対の各輝度レベルによって形成される点に基づいて、高密度の点を有する領域を通過する初期曲線を算出し、
前記高密度の領域の内側にある点に対する重み付けを、前記高密度の領域の外側にある点の重み付けよりも重くすることによって、他の曲線を算出し、
前記他の曲線に基づいて前記輝度レベル整合規則を確立することを特徴とする請求項１記載の画像処理方法。
前記輝度レベル整合規則を、式Ｆ（ｒ）＝ａ＋ｂｒ^ｃのガンマ関数とし、ａ，ｂ及びｃを、前記輝度レベル整合規則を特徴付ける変数とすることを特徴とする請求項１記載の画像処理方法。
前記相補的な輝度レベル整合規則の対を決定するサブステップが、
前記第１の相補的な輝度レベル整合規則を、前記輝度レベル整合規則の線形関数として演算し、
前記第２の相補的な輝度レベル整合規則を、前記輝度レベル整合規則の線形逆関数として演算することを特徴とする請求項１記載の画像処理方法。
前記第１の相補的な輝度レベル整合規則が、関係Ｇｉ（Ｒ）＝ｋＦ（Ｒ）＋（１−ｋ）Ｒを満足し、Ｇｉ（Ｒ）が、前記第１の相補的な輝度レベル整合規則を表し、Ｆ（Ｒ）が、前記輝度レベル整合規則を表し、
前記第２の相補的な輝度レベル整合規則が、関係Ｇｊ（Ｓ）＝ｋＳ＋（１−ｋ）Ｆ^−１（Ｓ）を満足し、Ｇｊ（Ｓ）が、前記第２の相補的な輝度レベル整合規則を表し、Ｆ^−１（Ｓ）が、前記輝度レベル整合規則の逆を表し、
ｋを、前記第１原画像及び前記第２原画像の各部分の各サイズを考慮する変数とすることを特徴とする請求項６記載の画像処理方法。
第１原画像の部分及び第２原画像の部分に基づいて、対象画像と称されるディジタル合成画像を形成する画像処理システムであって、各原画像が、個々の視野を繋ぎ合わせてパノラマシーンを記録するための単一の広角視野を形成するように配置されたそれぞれの固定視野カメラから発生する画像処理システムにおいて、
前記第１原画像の部分と前記第２原画像の部分との間の輝度の不整合を補正する配置を有し、この配置が、
前記第１原画像の部分及び前記第２原画像の部分の対応する画素に基づいて輝度レベルの第１のサブの組及び第２のサブの組をそれぞれ決定するように配置された対象画像構成モジュールと、
前記輝度レベルの第１のサブの組及び第２のサブの組に基づいて輝度レベル整合規則を決定するように配置され、かつ、前記輝度レベル整合規則に基づいて相補的な輝度レベル整合規則の対を決定し、前記相補的な輝度レベル整合規則の対が、前記第１原画像に関連する第１の相補的な輝度レベル整合規則及び前記第２原画像に関連する第２の相補的な輝度レベル整合規則を具える演算モジュールと、
前記第１の相補的な輝度レベル整合規則を前記第１原画像の部分に適用するとともに、前記第２の相補的な輝度レベル整合規則を前記第２原画像の部分に適用して、前記対象画像の第１部分及び前記対象画像の第２部分をそれぞれ取得する規則適用モジュールとを具えることを特徴とする画像処理システム。