JPH07193746A - 画像処理システム - Google Patents

画像処理システム

Info

Publication number
JPH07193746A
JPH07193746A JP6252270A JP25227094A JPH07193746A JP H07193746 A JPH07193746 A JP H07193746A JP 6252270 A JP6252270 A JP 6252270A JP 25227094 A JP25227094 A JP 25227094A JP H07193746 A JPH07193746 A JP H07193746A
Authority
JP
Japan
Prior art keywords
image
target image
law
processing system
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6252270A
Other languages
English (en)
Other versions
JP3706645B2 (ja
Inventor
Raoul Florent
フロラン ラウル
Pierre Lelong
レロン ピエール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JPH07193746A publication Critical patent/JPH07193746A/ja
Application granted granted Critical
Publication of JP3706645B2 publication Critical patent/JP3706645B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Studio Circuits (AREA)

Abstract

(57)【要約】 【目的】 仮想カメラで与える画像の中の境界線を除去
できる画像処理システムを提供する。 【構成】 個々の視野を繋いでパノラマシーンを記録す
る固定の実際のカメラ(C1,..,Cn)システムと、パノラマ
シーンを走査して実際のカメラの隣接する原画像(I
1,..,In)から構成されるディジタル対象画像(Iv)に関し
任意のサブ画像を与える可動の仮想カメラ(Cv)と見做さ
れる画像構成システム(GVVB)と、補正モジュール(LutA,
LutB) を含む輝度等化システムとを具える。この補正モ
ジュールは、２つの隣接するディジタル原画像(Ii,Ij)
から構成されるディジタル対象画像(Iv)の部分(Ivi,Iv
j) の対応する輝度レベルの組(R及びF(R)) にそれぞれ
補正法則(Gi,Gj) を適用し、Gi(R)=Gj[F(R)]に基づいて
これらの対応するレベルを等しくする。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、個々の視野を繋ぎ合わ
せてパノラマシーンを記録するための１つの広角視野を
形成するように配置されたｎ個の固定された実際のカメ
ラと、連続的にパノラマシーンを走査し、広角視野の任
意の１つのセクションに対応しｎ個の実際のカメラによ
って作られる隣接する原画像から構成される１つの対象
サブ画像を供給するための可動仮想カメラと見做すこと
ができる画像構成システムとを具える画像処理システム
に関するものである。このシステムは、可動機械に対す
るモニタ装置及びパノラマ視野装置に用いられる。
【０００２】
【従来の技術】画像処理装置は特許出願ＷＯ92-14341か
ら既知である。この公報にはテレビジョンの画像処理シ
ステムが記載されている。このシステムは、互いの視野
を繋ぎ合わせて１つの広角視野を形成することかできる
ように隣接して配置された複数の固定カメラを含む送信
部を具えている。このシステムは更に、広角視野に対応
する全体画像の合成ビデオ信号を発生する手段及びこの
合成画像からサブ画像を選択する手段を含む処理部を具
えている。このシステムは更にこのサブ画像を表示する
モニタのような手段を具えている。このサブ画像は合成
画像より小さい角度の視野に対応し、広角視野のサブセ
クションに属している。
【０００３】この画像処理システムは、専ら走査ビーム
によりライン毎に画像が形成される普通のテレビジョン
システムに適している。処理部は、ユーザーが広角視野
のサブセクションを選択することを可能にしている。対
応するサブ画像は個々のカメラが供給する画像と同じ大
きさを持っている。ユーザーは、広角視野に対応する合
成画像に関する走査の開始点を変えることによりこのサ
ブ画像を選択する。広角視野はビデオ走査に平行な軸を
有し、サブ画像のビデオ走査の開始点が任意に且つ連続
的にこの軸に平行に変位するようにできる。
【０００４】サブ画像に対応する視野角が実際のカメラ
の視野角より小さいことがあり得る。しかしながら、サ
ブ画像の偏りは走査に垂直な変位を含むことはない。そ
の偏りはこの走査に平行な変位を含むだけである。サブ
画像の形成は、合成画像に関するズーム効果即ち画像ピ
ックアップカメラの焦点距離に関するサブ画像の焦点の
変化を含まない。このように、画像処理部は選択された
ビデオサブ画像をライン毎に構成する手段を具える。こ
れらの手段は、本質的に、異なるカメラからのビデオ信
号の同期を制御する回路を含む。
【０００５】
【発明が解決しようとする課題】本発明の目的は、構成
されるサブ画像又は対象画像がディジタル画像であり、
構成されるサブ画像又は対象画像が実際のピックアップ
カメラにより供給される各隣接ディジタル原画像の少な
くとも２つの部分から計算される場合に遭遇する問題を
解決することにある。この場合、カメラは固定され、そ
れらのうちの２つのカメラはそれらの視野が繋がるよう
に配置される。この場合、対象画像の中に、２つの異な
る原画像から計算された２つの隣接した対象画像の部分
の間に境界線が現れる。これは、２つの実際のカメラの
各１つが、全体として互いに他の原画像の輝度と僅かに
異なる輝度を持つ原画像を供給すること、及びその結果
としての対象画像部分もまた僅かに異なる輝度を持つこ
とが原因である。
【０００６】２つの隣接するカメラによって供給される
原画像から計算される２つの対象画像部分の間の輝度の
差異が、再構成された対象画像が完全ではないものにな
る理由である。この境界線は、第１の固定カメラの原画
像の画素から計算される画素と第２の固定カメラの原画
像の画素から計算される画素との間に位置している。対
象画像が２つ以上のカメラの画素から構成される場合
は、２つの隣接するカメラの群の数に相当する数の境界
線ができることになる。
【０００７】本発明はその目的として、視野が繋がるべ
き２つの実際のカメラにより供給されるディジタル原画
像部分から形成される、対象画像の２つの隣接するディ
ジタル画像部分間の全体の輝度を等化する手段を具え
る。
【０００８】２つの隣接するディジタル画像部分間の輝
度の差異は幾つかの原因を持つ。その第１は、実際のカ
メラが同じように受光した光束に対して同じようには応
答しないことである。これはカメラの構造上のばらつき
による。更に、記録されるべきシーンの光源に対して全
く同一に配置されてはいないために同一の光束を受けな
いことである。各ピックアップカメラは、通常、受光し
た光束の関数として応答するようにするシステムと共に
構成されている。受光する光束は個々のカメラによって
異なるので、これらの応答の結果も異なる。
【０００９】更に、個々のカメラが全く均一な輝度を持
つ表面を記録するとしても、これから形成される画像は
均一ではなく、縁のぼけを生じる。これは、一般に中心
から縁部に向かって画像の明るさが減少するように変化
することである。形成された対象画像における境界線の
両側に位置する２つの隣接するピクセルは、それぞれの
元の原画像で中心から同一の距離に位置する領域に由来
するものとは限らない。このため、これらの隣接するピ
クセルにおける縁がぼける効果が同一ではなくなる。
【００１０】更に、ピックアップカメラの１つが他のカ
メラより多くの迷光、例えば不意に起きた反射等を受光
することがある。この場合はこのカメラによって受光さ
れる光束が局部的に増加し、２つのカメラ間の応答に局
部的な差異を生じる。
【００１１】このような、２つの実際のディジタルカメ
ラにより供給される２つの原画像間に輝度の差異を生
じ、これにより、形成されるディジタル画像の中の境界
線の両側で輝度に差異が生じる原因においては、前記の
２つの最初の原因が支配的であり、形成される対象画像
の境界線の問題は、基本的に、２つの隣接する実際のカ
メラの各々が全体で他のカメラと同量の光束を受光しな
いこと、及び／又は２つのうちの１つのカメラが全体と
して同一の光束に対して異なる応答を行うことに原因が
ある。
【００１２】他の原因は無視してもよく、或いは予防措
置を講じることもできる。例えば反射迷光はカメラに光
遮蔽物を取り付けることによって防ぐことができる。輝
度に差異を生じる２つの主要な原因のそれぞれは、全体
に対する影響即ち各実際のカメラからの原画像、従って
これから形成される対象画像の対応する部分に対して均
一に及ぶ影響を生じることは明らかである。輝度に差異
を生じる他の原因の１つが、縁のぼけ、迷光の部分等の
局部的な影響を生じる場合は、それらの影響は最終的に
再構成された画像の小さい部分のみに現れる。
【００１３】従って、本発明の１つの目的は、再構成さ
れた対象画像から、視野が繋がっている２つの実際のカ
メラにより供給される原画像画素から計算される２つの
隣接する画像部分間に現れる境界線を消すための手段を
具えることにある。
【００１４】
【課題を解決するための手段】本発明によれば、前記の
ような画像処理システムにおいて、このシステムがディ
ジタルシステムであり、更に、２つの隣接するディジタ
ル原画像（Ｉi 、Ｉj）から構成されるディジタル対象
画像（Ｉv ）の第１及び第２の部分（Ｉvi、Ｉvj）の対
応する輝度レベルの第１及び第２の組（Ｒ、Ｓ）にそれ
ぞれ第１及び第２の補正法則（Ｇi 、Ｇj ）を適用し、
Ｇi(Ｒ) ＝Ｇj(Ｓ) の関係に基づいてこれらの対応する
輝度レベルを可能な限り最良の程度に等しくする第１及
び第２の輝度補正モジュール（ＬｕｔＡ、ＬｕｔＢ）を
具える輝度等化システムを具備することによって、前記
の目的が達成される。
【００１５】従って、本発明によれば、全体にわたる輝
度レベルの変換の２つの法則を用いて、一方で再構成さ
れた対象画像の２つの部分の１つの異なる輝度レベルの
全体にわたる範囲について変換が行われ、他方で再構成
された対象画像の２つの部分の他の１つの異なる輝度レ
ベルの全体にわたる範囲について変換が行われ、再構成
された対象画像において対応するピクセルの輝度レベル
が等しくなる。
【００１６】対応するピクセルとは、境界線の両側に位
置し、それにも拘わらず画像が１つの実際のカメラによ
って形成されるならば同一の輝度レベルを持つ筈である
広角視野の２つの部分に対応するピクセルを意味するも
のとする。
【００１７】再構成された画像の第１及び第２の部分に
おけるピクセルのそれぞれの輝度レベルに適用される第
１及び第２の法則に基づく全体の処理の最後に、境界線
の両側で、例えば、画像の第１の部分が全体として低い
輝度レベル（暗い画像）であり、画像の第２の部分が全
体として高い輝度レベル（明るい画像）である場合に
は、第１の部分の輝度を全体として高め、第２の部分の
輝度を全体として低くし、その時点以降は境界線の両側
の対応するピクセルが同一の輝度レベルを持つようにし
て目的が達成される。
【００１８】これにより境界線が消える。このような補
正法則が、専らそれらの輝度レベルに応じて且つ各画像
部分における位置に無関係にピクセルに適用される。そ
れにも拘わらず、適用されるべきこの法則は、境界線の
両側の対応する輝度レベルを等しくするべきその画像部
分ごとに異なっている筈である。
【００１９】焦点距離が固定され、視野が繋がるように
位置が固定された実際のカメラにより供給される２つの
原画像の画素から対象画像を形成ための画像再構成にお
ける固有の更に他の問題は、ユーザーが、対象画像を計
算するデバイス即ち以下では仮想カメラと呼ぶデバイス
のパラメーターを変えることがあり得るということであ
る。この仮想カメラは実際に可動カメラのように機能
し、監視システムにも使用できる。
【００２０】本発明による画像処理手段は、可動で次の
３つのパラメーターにより制御される仮想カメラによっ
て形成される画像に用いるのに適している。３つのパラ
メーターは、 １）固定された実際のカメラ及び可動仮想カメラの両者
にに共通の固定された視点を通る光軸の水平面に平行な
方位における変化に対応して、パノラマの光軸の方位
（ＰＡＮ）即ち方位角を変えるパラメーター：パノラマ
におけるこの変化は、見る者にとって可動カメラを右又
は左に向けることができるように見える。 ２）垂直面において常に固定された視点を通る光軸の方
位（ＴＩＬＴ）即ち視野角を変えるパラメーター：この
変化は、見る者にとってカメラを上又は下に向けるため
に使える制御手段のように見える。 ３）多少拡大された対象画像を供給することができる仮
想カメラの焦点距離を変えるパラメーター：この変化
は、見る者にとってズーム効果として見える。
【００２１】前記で引用した公報から既知の装置は、方
位角を変える変数以外の変数を得る手段は具えておら
ず、可動カメラの再構成画像における境界線の両側で輝
度を等しくする手段も具えていない。
【００２２】前記の３つの制御パラメーターを有する可
動の仮想カメラを具えようとすれば、仮想カメラのこの
３つの制御パラメーターの１つ又は複数をユーザーが変
える度に、再構成される対象画像の境界線の両側での画
像の各部分に対する輝度補正がリアルタイムで計算され
なければならない。
【００２３】実際に、再構成画像を形成するための実際
のカメラのそれぞれの画像の異なる寄与が３つのパラメ
ーターのそれぞれの変化に対応し、従って、例えば対象
画像の異なる部分の比較的な重要性を考慮するために、
補正法則はそれらの再構成毎に再計算されなければなら
ないことに注意する必要がある。再構成された画像が固
定画像である場合、又はディジタル処理以外の方法によ
って形成された画像である場合は、同一の問題は起きな
い。
【００２４】これらの問題を解決するために、本発明に
よる画像処理システムは、更に、輝度等化システムが更
に計算モジュール（Ｌｕｔcalcul）を具え、この計算モ
ジュールが、対象画像の第１の部分（Ｉvi）の輝度レベ
ルの第１の組（Ｒ）のレベルと対象画像の第２の部分
（Ｉvj）の輝度レベルの第２の組（Ｓ）のレベルとの間
の対応を確立する法則Ｆを計算してＳ＝Ｆ（Ｒ）とし、
且つその後、Ｇi(Ｒ) ＝Ｇj ［Ｆ（Ｒ）］の関係に基づ
いて対応する輝度レベルを可能な限り最良の程度に等し
くするために第１及び第２の輝度補正モジュール（Ｌｕ
ｔＡ、ＬｕｔＢ）に適用されるべき第１及び第２の補正
法則（Ｇi 、Ｇj ）を計算するように構成される。
【００２５】従って、この画像処理システムは、再構成
対象画像の境界線の両側にある画像の第１及び第２の部
分の特性に基づいて第１及び第２の全体としての輝度の
補正法則を計算する手段、及び第１の法則を画像の第１
の部分の各輝度レベルの全てのピクセルに適用し、第２
の法則を画像の第２の部分の各輝度レベルの全てのピク
セルに適用する手段を具える。
【００２６】結果として、全体としての補正法則が計算
され且つ可動カメラのパラメーターのどのような変化に
対しても適用される。この補正法則は、常にユーザーに
よって選択された新しいパラメーターが現れる対象画像
の修正に依存している。
【００２７】これらの計算をリアルタイムで遂行する目
的により、計算時間を短縮するため、本発明の画像処理
システムは、これに加えて、輝度等化システムが更に、
輝度レベルの第１のサブの組（ｒ）からなる対象画像の
第１の部分（Ｉvi）のピクセルの第１のサブの組（Ａi
）を選択し且つ格納する第１のメモリーモジュール
（ＭｅｍＡ）と、輝度レベルの第２のサブの組（ｓ）か
らなる対象画像の第２の部分（Ｉvj）のピクセルの第２
のサブの組（Ａj ）を選択し且つ格納する第２のメモリ
ーモジュール（ＭｅｍＢ）とを具え、且つ、計算モジュ
ール（Ｌｕｔcalcul）が、可能な限り最良の程度に式ｓ
＝Ｆ（ｒ）を実現するために選択された対象画像部分の
２つのサブの組（Ａi 、Ａj ）の輝度レベル［（ｒ）と
（ｓ）と］の間の対応を確立することによってＳ＝Ｆ
（Ｒ）の対応の法則Ｆを計算するように構成される。
【００２８】
【実施例】次に図面を用いて本発明の実施例を詳細に説
明する。図１Ａでは、画像ピックアップ装置が既知の固
定焦点の複数ｎ個の実際のカメラからなり、これらが互
いに隣接し、個々の視野が繋がって広角の視野をカバー
するように配置される。ｎ個の隣接する固定カメラはｎ
個の隣接する固定画像を供給し、この画像ピックアップ
装置はパノラマシーンをモニターすることができる。こ
のカメラは、パノラマシーンの細部の全てがいずれかの
カメラによって記録され、監視対象物が監視から漏れる
ことのないような光学視野を持つ。
【００２９】このような結果を得るために、これらのｎ
個の隣接する固定カメラは更に、視点になるべきこれら
の光学中心Ｐが一致するように配置される。カメラの視
点は、光源から射出されるそれぞれの光線が、例外なく
この点を通りカメラの光学系を横切るような点である。
【００３０】ｎ個のカメラの視点が物理的に一致する必
要はない。しかしながら、以後、これらの視点のそれぞ
れの隔離距離がフィルムに収められたパノラマシーンの
相互間の距離に対して小さい場合には、一致の条件が充
分に満たされていると仮定している。例えば、カメラの
視点のそれぞれの隔離距離が５ｃｍで、パノラマシーン
の相互間の距離が５ｍのような場合である。一致の条件
は従って、これらの距離の比が５０のオーダーか或いは
それより大きい場合に満たされているものと判断する。
本発明によれば、コストの関係から、視点の厳密な一致
を達成するために調整することが困難な光学ミラーシス
テムを使う必要はない。
【００３１】ｎ個のカメラはＣ1,.., Ｃi,Ｃj,.., Ｃn
と番号が付与され、それぞれ、ディジタル原画像Ｉ
1,.., Ｉi,Ｉj,.., Ｉn を供給する。例えば２つの隣接
する固定された実際のカメラＣi 及びＣj によって形成
された原画像Ｉi 及びＩj について、以後考察を行う。
これらの固定された実際のカメラＣi 及びＣj は、それ
ぞれ隣接する原画像面Ｉi 及びＩj のパノラマシーンの
画像を形成する。図１Ａでは、原画像Ｉi 及びＩj のそ
れぞれの幾何学的中心Ｏi 及びＯj を通る軸ＰＺi 及び
ＰＺj が固定された実際のカメラＣi 及びＣj の光軸を
表す。
【００３２】図１Ｂでは、直角の軸Ｐx 、Ｐy 、Ｐz の
組が、地面に関してＰx とＰz が水平にＰy が垂直に位
置するように定められており、以後これを「ランドマー
ク」という。画像Ｉi 及びＩj のような原画像は番号が
付与され、これらの画像の各ピクセルｍが画像面の座標
によってマークされる。図１Ｃに示すように、直角座標
（Ｏi Ｘi ，Ｏi Ｙi ）及び（Ｏj Ｘj ，Ｏj Ｙj ）の
マークが各画像面に定められる。この画像面では、軸Ｏ
i Ｘi 又はＯj Ｘj は水平、即ちランドマークＰx ，Ｐ
z の面内にある。（Ｏi Ｘi ，Ｏi Ｙi ）及び（Ｏj Ｘ
j ，Ｏj Ｙj ）によって定められる画像面は光軸ＰＺi
及びＰＺj に垂直であり、それぞれ幾何学的中心Ｏi 及
びＯj を持つ。
【００３３】カメラの各画像面に関する個々のマークを
一度確立すると、これらの固定された実際の画像面は、 方位角（即ちパン角）Θi ，Θj 、及び 視野角（即ちチルト角）φi ，φj によってランドマークに対して関係付けられる。
【００３４】方位角Θi 又はΘj は、光軸ＰＺi 又はＰ
Ｚj を含む垂直面とランドマークの水平軸Ｐz とが作る
角である。従って、これは垂直軸Ｐy の回りの回転の水
平角度である。視野角φi 又はφj は、光軸ＰＺi 又は
ＰＺj と水平面（Ｐx ，Ｐz ）とが作る角である。従っ
て、これは各画像面の水平軸、軸Ｏi Ｘi 又はＯj Ｘj
の回りの回転の垂直角度である。
【００３５】簡潔にするため、以後、図１Ａに関する例
と同様に、固定カメラＣi ，Ｃj によって供給される実
際の画像面Ｉi ，Ｉj は垂直、即ちそれらの視野角φi
，φj が零であると仮定する。同様に簡潔にするた
め、以後、図１Ａと同一の例が、原画像及び対象画像の
両者の平面の軌跡及び軸、及び、対応する平面及び軸を
表すものとする。
【００３６】図１Ａは形成された画像の平面図であり、
従って水平面Ｐx ，Ｐz のセグメントによって表示され
る固定された実際の画像面の軌跡Ｉi 及びＩj のみを示
す。本発明は、ユーザーによって選択される調整手段に
より、ｎ個の固定カメラによって記録されたパノラマシ
ーンの部分即ちサブ画像のディジタル画像を供給するこ
とができる可動カメラと見做せるディジタル画像再構成
システムを具えることが目的である。
【００３７】図２Ａは例えば２つの隣接する固定カメラ
Ｃi 及びＣj によって供給されるパノラマシーンの隣接
する画像Ｉi 及びＩj を示す。図２Ａにおいては、両画
像Ｉi 及びＩj が、簡潔にするために同一平面上に投射
されている。実際には、これらの画像は、それらの間に
固定カメラの光軸のなす角度に等しい或る角度を構成し
ている。これらの画像においては、ユーザーは、固定カ
メラと同一の倍率又は大きいか或いは小さい倍率で線Ｉ
o を左右或いは上下に動かし、この線で囲まれた任意の
サブ画像を選んで見ることができる。
【００３８】可動カメラと見做されるカメラは、図２Ａ
の線Ｉo で囲まれた原画像Ｓi 及びＳj の部分から対象
画像Ｉv を構成することができる。このカメラは実際に
は存在しないカメラであることから仮想カメラという。
【００３９】この仮想カメラは、固定の実際のカメラと
同様に、方位角Θv 、視野角φv 、及び、Ｏv を対象画
像Ｉv の幾何学的中心としたとき、その視点Ｐが固定の
実際のカメラの視点Ｐと共通であるとの条件の下で、そ
の焦点距離ＰＯv によって定まるその倍率（ズーム効
果）によって定義される。仮想カメラの視点は実際のカ
メラについて前記のように定められた近似的な視点と共
通である。
【００４０】図１Ａは水平面における仮想カメラの画像
面のＩv で表記された軌跡を示す。この可動仮想カメラ
Ｃo の定義の中で、方位角Θv は光軸ＰＺv を含む垂直
面とランドマークの水平軸ＰＺとの角度である。視野角
φv は光軸ＰＺv とランドマークの水平面Ｐx ，Ｐz と
の角度である。また、焦点距離ＰＯv は原画像の倍率に
対応して対象画像の倍率を変えることができるようにす
るために可変になっている（ズーム効果）。
【００４１】方位角Θv 及び視野角φv 更に焦点距離Ｐ
Ｏv を変えることによって、仮想カメラが異なる固定の
実際のカメラＣ1 乃至Ｃn の視野を繋ぎ合わせて形成さ
れる広角視野を走査する可動カメラと全く同じになる。
仮想カメラが、広角視野のＩo によって区切られた小さ
い部分（即ちサブセクション）を、例えば、可変焦点距
離ＰＯv を変えることにより、各実際のカメラＣ1,...,
Ｃn によって供給される画像Ｉ1,...,Ｉn の最終的な大
きさと同じ大きさに拡大した画像Ｉv として表示しこれ
を見ることができることに注目すべきである。
【００４２】更に、可動カメラの視野の変位は連続的で
あり且つ任意であり、Ｉo に対応するこの視野は、２つ
の隣接するカメラＣi 及びＣj によって供給され、Ｌo
で隣接している画像Ｉi 及びＩj の２つの部分（Ｓi ，
Ｓj ）の両側（Ｓi ，Ｓj ）にあってもよいことに注目
すべきである。
【００４３】この場合、仮想カメラによって構成された
画像Ｉv は２つの異なる画像部分を含む。１つはディジ
タル画像Ｉi における情報に基づいて構成されている部
分Ｉviであり、他の１つはディジタル画像Ｉj における
情報に基づいて構成されている部分Ｉvjである。図１Ａ
においては、Ｉvi及びＩvjは水平面中の対象画像Ｉvi及
びＩvjの軌跡を表している。
【００４４】前記において、実際のカメラによって供給
される画像Ｉi 及びＩj の全輝度が異なるという技術的
な問題があることを指摘した。このために、画像部分Ｉ
vi及びＩvjの全体としての輝度も異なることになり、こ
れは図３ａに例示したようにディジタル画像に現れる。
本発明はこの欠点を除去し、表面全体で均一な輝度を有
するディジタル画像を再構成する手段を提供する。
【００４５】図３ｂは、輝度の誤差を含む図３ａのシー
ンを本発明の手段によって補正したディジタル画像をを
示す。図１Ｄに示したように、直角座標（Ｏv Ｘv ，Ｏ
v Ｙv ）が最初にディジタル対象画像Ｉv の平面で定義
されている。ここでは、軸Ｏv Ｘv が水平方向即ちラン
ドマークの水平面Ｐx ，Ｐz に伸びている。ピクセルＯ
v は対象画像Ｉv の幾何学的中心であり、仮想カメラの
光軸ＰＺv 上に位置している。仮想カメラは以後Ｃv と
表記する。従って、対象画像面Ｉv の各ピクセルｍ’は
直角座標（ＯvＸv ，Ｏv Ｙv ）系の座標によってマー
クされる。
【００４６】本発明の第１の目的は、第１の原画像Ｉi
の画素に基づいて形成される第１の対象画像部分Ｉviを
構成するピクセルの輝度を全体として補正するための第
１の法則Ｇi 、及び、第２の原画像Ｉj の画素に基づい
て形成される第２の対象画像部分Ｉvjを構成するピクセ
ルの輝度を全体として補正するための第２の法則Ｇjを
供給することにある。
【００４７】構成された各対象画像においては、ピクセ
ルは、画像の中で軸（Ｏv Ｘv ，Ｏv Ｙv ）の組の座標
によって定まるそれらの位置及び例えば１から２５６の
階調を有する輝度レベルスケール即ちグレイレベルによ
って特徴付けられている。この輝度レベルは、最高は最
も明るいピクセルに対応し、最低は明るさが最も低いピ
クセルに対応する。輝度レベルの表記はグレイレベルと
等価である。以後は輝度レベルの表記を用いる。全体と
しての補正とは、ここでは、その法則を、画像の中のピ
クセルの位置に無関係に所定の輝度レベルの全てのピク
セルに適用することを意味するものとする。
【００４８】〔第１ステージ：対象画像部分の選択〕本
発明の計算装置によって実行される第１ステージにおい
ては、第１の法則Ｇi 及び第２の法則Ｇj をリアルタイ
ムで計算し、続いてこの法則を各画像部分Ｉvi及びＩvj
にリアルタイムで適用できるようにするため、ピクセル
間に対応関係がある２つの群をディジタル対象画像Ｉv
から選択する。
【００４９】対応するピクセルのこれらの２つの群はそ
れぞれＡi 及びＡj と表記し、それぞれ、ディジタル画
像Ｉvi及びＩvjの対応するピクセルの群として選択する
ことができる。この選択の方法としては、本発明の目的
を達成する上では等価な２つの異なる方法によることが
できる。両方法共、対象画像の第１の部分Ｉviは第１の
サブの組Ａi を供給するために選択され、対象画像の第
２の部分Ｉjiは第２のサブの組Ａj を供給するために選
択される。
【００５０】ａ）第１の方法 第１の方法は第２の方法と区別するためＢＯＲＤＥＲ法
と称するが、この方法では、ディジタル対象画像Ｉv が
単にディジタル対象画像部分Ｉvi及びＩvjをオーバーラ
ップなしに端と端を並置することによって形成されると
仮定する。従って対象画像Ｉv は画像部分ＩviとＩvjと
の間に１つの直線の境界線Ｌを示す。この直線の境界線
は、２つの線の間即ちディジタル対象画像Ｉv の２つの
ピクセルの列の間に位置する。
【００５１】図４Ａは、直線の境界線Ｌが垂直であり、
対象画像Ｉv の２つのピクセルの列の間にあるときのＢ
ＯＲＤＥＲ法の実行の様子を説明する図である。ＢＯＲ
ＤＥＲ法においては、画像部分Ｉviの中の直線の境界線
Ｌに隣接する帯を形成するピクセル列Ｋi に位置するピ
クセルが群Ａi として選択される。そして、直線の境界
線Ｌに関して対称に位置し、第２の画像部分Ｉvjの中の
直線の境界線Ｌに隣接する帯を形成するピクセル列Ｋj
に位置するピクセルが第２の群Ａj として選択される。
【００５２】直線の境界線が水平に伸びている場合も、
この境界線の両側に位置する線の２つの群Ａi 及びＡj
が選択される。直線の境界線が任意の境界線である場合
は、この直線の境界線に対称なピクセルが対応するピク
セルとして選択される。直線の境界線の場合には位置が
異なる場合にも容易に一般化できるので、例として、以
下には境界線が垂直である場合についての本発明を説明
する。
【００５３】この場合、対応する群Ａi 及びＡj の対応
するピクセルは、ディジタル対象画像Ｉv の同じ水平線
に位置する、直線の境界線Ｌの両側にある２つの隣接す
る垂直の列Ｋi ，Ｋj の中の対である。対応するピクセ
ルの各対は例えばｍ'i，ｍ'jであり、これらは対象画像
Ｉv の特別な直角表示領域に、軸Ｙv 上で同一の座標、
軸Ｘv 上で１ピクセルだけ異なる横座標、及び本発明の
デバイスが等化しようとする異なった輝度レベルを持
つ。
【００５４】ｂ）第２の方法 第２の方法はＯＶＥＲＬＡＰ法と称し、この方法では、
ディジタル対象画像が第１の対象画像部分Ｉviに第２の
対象画像部分Ｉvjの、或いはその逆の、数ピクセル（１
０ピクセル以下）の幅の狭い帯状のオーバーラップが存
在するように形成されると仮定する。第２の対象画像部
分はその端部Ｌj を持ち、第１の対象画像部分はその端
部Ｌi を持ち、オーバーラップ帯は幅Ｌi Ｌj を持って
端部Ｌi，Ｌj に平行に伸びている。
【００５５】図４ｂは、ＯＶＥＲＬＡＰ法の実行を説明
する図である。この場合帯Ｌi Ｌjである境界が垂直に
伸びている。この方法を境界が水平に伸びている場合に
適用することは容易である。境界が垂直の場合、第１の
対象画像部分Ｉviに属するオーバーラップ帯の部分に位
置するピクセルによって形成される対応関係にある群
は、ここではＡi とする。第２の対象画像部分Ｉvjに属
するオーバーラップ帯の部分に位置するピクセルによっ
て形成される対応関係にある群は、ここではＡj とす
る。
【００５６】この場合、群Ａi 及びＡj の対応するピク
セルは例えばピクセル対ｍ'i，ｍ'jであり、それらは、
対象画像Ｉv の直角表示領域Ｏv Ｘv ，Ｏv Ｙv の中で
横軸及び縦軸共に同一の座標を有する。しかし、ＢＯＲ
ＤＥＲ法と同様に同一の輝度レベルを持ってはいない。
【００５７】本発明の場合、画像はディジタルであり、
２つの対象画像部分Ｉvi及びＩvjの間のオーバーラップ
の存在は、帯Ｌi Ｌj が画像部分Ｉvi及び画像部分Ｉvj
の両者の輝度と異なる全体としての輝度を持つことを意
味しない。仮想カメラに輝度等化手段がないとしても、
仮想カメラは少なくとも部分Ｉvi及びＩvjの並置により
対象画像部分Ｉv を形成する可能性を持つ。従ってＯＶ
ＥＲＬＡＰ法では、第１の対象画像部分、オーバーラッ
プ帯、第２の対象画像部分の３つの領域の輝度を等しく
するための努力は行わない。しかし、ＢＯＲＤＥＲ法と
同様に、第１の対象画像部分Ｉvi及び第２の対象画像部
分Ｉvjの２つの部分のみ輝度の等化を行う。
【００５８】〔第２ステージ：対応関係Ｆの法則の計
算〕本発明のシステムにおける第２ステージでは法則Ｆ
を計算し、第２の対象画像部分Ｉvjの輝度レベルＳの組
を第１の対象画像部分Ｉviの対応する輝度レベルＲの組
に対応させ、Ｓ＝Ｆ（Ｒ）とする。この２つの組Ｓ及び
Ｒについての式は、可能な限り最良の程度にＲの各輝度
レベルが対応するＳの各輝度レベルと結合する法則Ｆを
計算するべきことを表している。
【００５９】対応する輝度レベルとは、第１及び第２の
対象画像部分Ｉvi及びＩvjが１つのカメラによって形成
されるとした場合と同一であるようなレベルを意味する
ものとする。
【００６０】両方法共、法則Ｆは、対応関係Ａi ，Ａj
を持って群に含まれるピクセルを対象として計算され
る。ＢＯＲＤＥＲ法では少ない数のピクセルを対象と
し、計算に含まれるピクセルの数はいずれかの列のピク
セルの２倍を限度とする。ＯＶＥＲＬＡＰ法では、計算
に含まれるピクセルの数は同様に数個の列のピクセルの
２倍を限度とする。数個の列とは例えば１乃至１０列を
意味する。通常のディジタル画像は、各列５００（又は
１０００）ピクセル以上の５００列（又は１０００列）
より僅かに多くのピクセルを含むことがあると考える
と、ＢＯＲＤＥＲ法及びＯＶＥＲＬＡＰ法は計算時間を
著しく節約することができることが分かる。
【００６１】以後では、ｒは、Ａi に対応する第１の群
にある異なった輝度レベルの組、ｓは、Ａj に対応する
第２の群にある異なった輝度レベルの組との定義を用い
る。各群Ａi ，Ａj は同一数のピクセルを有し、組ｒの
各輝度レベルは組ｓに対応する輝度レベルを持つ。
【００６２】可能な限り最良の程度に、サブの組Ａi の
ピクセルの輝度レベルｒをサブの組Ａj の対応するピク
セルの輝度レベルｓに結合する法則Ｆを計算する。組ｒ
における各輝度レベルは、対応の法則Ｆによって組ｓの
輝度レベルに結合する。即ち式ｓ＝Ｆ（ｒ）が可能な限
り最良の程度に実現される。
【００６３】一旦法則ＦがＡi ，Ａj に対応する選択さ
れた群によって計算されると、この法則Ｆは、対象画像
部分Ｉviの輝度レベルの組Ｒと対象画像部分Ｉvjの輝度
レベルの組Ｓとの対応に適用することができる。即ち可
能な限り最良の程度にＳ＝Ｆ（Ｒ）となる。
【００６４】これは、図５に示すようにプロットでき
る。水平軸ｒ上にはＡi に対応する第１の群に含まれる
対応するピクセルの対の全ての第１のピクセルｍ'iの輝
度レベルが目盛ってあり、垂直軸ｒ上にはＡj に対応す
る第２の群に含まれる対応するピクセルの対の全ての第
２のピクセルｍ'jの輝度レベルが目盛ってある。各対の
輝度レベルをこのグラフに図上で対応させることによ
り、理論的にＡi及びＡj の輝度レベルの対応関係Ｆの
法則に現れるべき座標の点（ｒ，ｓ）を見出すことがで
きる。
【００６５】このグラフでここでの検討の対象である群
Ａi ，Ａj の対応するピクセルの対（ｍ'i，ｍ'j）のう
ち、いくつかの対は計算しようとする対応の法則に合っ
ていない。これは、ＢＯＲＤＥＲ法は、極めて限られた
数のピクセルについて考慮するようになっており、これ
らの対の中のいくつかは輝度の対応には関与しておら
ず、元のパノラマシーンの輝度の実際の非連続性に関与
しているに過ぎないことによる。
【００６６】或いは、これは本発明に含まれないために
これまで記述していないが、対象画像Ｉv のピクセル
（即ちそれらの座標及びそれらの輝度レベル）の供給の
ためには不可欠な対象画像計算システムが、（例えば、
対象画像の再構成の際に充分な補正が行われない原画像
に含まれる球面からの逸脱により）元の原画像に基づく
完全な幾何学的再構成を与えておらず、従っていくつか
の対では、２つの対応するピクセルが実際にパノラマシ
ーンの同一の範囲に由来せず、従って最後の対象画像で
同一の輝度を持つとは限らないことによる。
【００６７】この結果として、図においては、ピクセル
対の輝度レベルに対応した座標（ｒ，ｓ）の点を捜す場
合、法則Ｆによって位置が決められる点を捜しても所定
のピクセル対（ｍ'i，ｍ'j）が得られない。このような
点は逸脱していると呼ぶ。このような欠点のため、全て
が厳密に法則Ｆを表す曲線に沿って位置せずに、座標
（ｒ，ｓ）に対応する点が実際にはこの曲線から多少離
れた点にクラスターを形成するように見える。
【００６８】本発明によれば、法則Ｆは組ｓの輝度レベ
ル間の差異のエネルギーを最小にする法則であると定義
することができる。この問題を解くことができる数学的
な方法はいくつもあり、それらが輝度レベルｒ及びｓの
間の対応にどのような影響を与えるかもはっきりしてい
る。
【００６９】しかしながら、本発明は、逸脱しているピ
クセル対の存在の下にこの問題を解き、リアルタイムで
この問題を解き、これらの手段を１つのデバイスで実現
するための手段を提供することを目的とするものであ
る。
【００７０】例として、Ａi に対応する第１の群におい
ては、輝度レベル ｒ（１，２，３，４,...） からなる組ｒが存在し、Ａj に対応する第２の群におい
ては、輝度レベル ｓ（１，３，５,...） からなる組ｓが存在すると仮定する。これは次のことを
意味する。 ・組ｒの輝度レベル１は組ｓの輝度レベル１に対応し、
グラフ上に対応する点α（１，１）が得られる。 ・組ｒの輝度レベル２は組ｓの輝度レベル３に対応し、
グラフ上に対応する点β（２，３）が得られる。 ・組ｒの輝度レベル３は組ｓの輝度レベル５に対応し、
グラフ上に対応する点γ（３，５）が得られる等... 。
【００７１】法則Ｆは可能な限り最良の程度に対応する
点α，β，γを通る法則である。実際には、単に対応点
を結んでグラフを書いても、対応関係の曲線Ｆを与えな
い。なぜならば、これらの対応点はＮ個の点のクラスタ
ーを形成するからである。この場合、法則Ｆは可能な限
り最良の程度に最大数の対応点を通るように探究されな
ければならない。Ａi の組ｒとＡj の組ｓの輝度レベル
を結合する関数Ｆを計算する方法を次に述べる。
【００７２】この法則を定めるに当たって遭遇する難問
の１つは、Ａi の組ｒ従って対応するＡj の組ｓが、対
象画像部分Ｉi 及びＩj に存在する輝度レベルの全ての
サンプルを必ずしも含んでいないことである。しかしな
がら、一般的に、実験により、Ａi 及びＡj の中に、先
に定めたように、輝度レベルの充分なサンプルが見出せ
ることが分かる。Ｆについての条件は、法則は、一様で
あり、単調であり、且つ凹形凸形いずれでもとり得るよ
うに定められなければならない。
【００７３】実際には、（ｒ，ｓ）における輝度レベル
の数は（Ｒ，Ｓ）における数よりも少ないという事実に
より、Ｉvi，ＩvjからＩv を構成するために（Ｒ，Ｓ）
に適用すると、或る法則はＡi ，Ａj の（ｒ，ｓ）にお
ける輝度レベルの正しい対応を与えることができるが、
全体としては正しい結果を与えない。
【００７４】実験から、 Ｆ（ｒ）＝ａｒ＋ｂ 又は Ｆ（ｒ）＝ａｒ2 ＋ｂｒ＋ｃ の型の法則は、可能性のある全てのケースについてＡj
の輝度レベルに一致するＡi の輝度レベルを設定すると
いう問題を解決することはできないことが分かった。
【００７５】従って、本発明においては、 Ｆ（ｒ）＝ａ＋ｂｒC で表される「ガンマ法則」と、係数ａ，ｂ，ｃを決める
手段とを提案する。この手段によりこの法則を用いてリ
アルタイムでＦを計算することができ、更に、この手段
は１つのデバイスで実現できる。この法則は、状態の数
が大きい場合に適用すると、従来試みられてきた法則に
比較して最良の結果が得られる。
【００７６】係数ａ，ｂ，ｃを決める場合、前に述べた
ようにＡi ，Ａj の中に逸脱した対が存在することによ
るエラーに対する対策をとるため、本発明においては反
復計算手段を具える。この反復計算手段は、これらの係
数の粗い値から始まり、反復ステップによって精緻な値
に到達する。各反復ステップでは、点（ｒ，ｓ）とこの
反復ステップで計算された法則Ｆを表すグラフの曲線上
に位置する点との距離を求め、この距離が所定の距離よ
り大きい点（ｒ，ｓ）を除去し、次のステップでは所定
の距離をもっと小さい値に定め、新しく定めた所定の距
離より大きい位置の点（ｒ，ｓ）を除去するようにし、
これを繰り返す。
【００７７】もっと一般的な方法としては、各座標点
（ｒ，ｓ）に重み付けを行うことができる。この重み付
けは、前の反復ステップで定められた法則Ｆの曲線によ
り近い（幾何学的な距離が小さい）点により大きい重み
を付ける。各反復ステップでは、曲線により近い点をよ
り優先的に大きい重みに修正する。そして曲線を再計算
する。
【００７８】しかしながら、係数ｃがべき指数であるガ
ンマ法則の形は計算の速度を低下させる。通常は、最良
のガンマ法則を決定するためには、反復法は各反復ステ
ップで数個の値の係数ｃについて試算しその後で係数ａ
及びｂを計算する。この欠点を除き計算の速度を上げる
ため、本発明における法則Ｆを決定する方法は、各ステ
ップが２つのフェーズを持つ二重反復法によって実行さ
れる。
【００７９】第１のフェーズにおいてはパラメーター
ａ，ｂ，ｃを求める。第１段では、べき指数ｃの初期値
を定め、対象となる全ての座標点（ｒ，ｓ）の最初のク
ラスターＮ1 についてパラメーターａ及びｂを計算す
る。次の段では、べき指数ｃの第２次の値を続いて第３
次の値を定め、点（ｒ，ｓ）の最初のクラスターについ
てパラメーターａ及びｂを計算する。この段の終わりに
は、点（ｒ，ｓ）の最初のクラスターを通る可能な限り
最良の程度に最善の関数Ｆ（ｒ）＝ａ＋ｂｒC が得られ
るパラメーターａ，ｂ，ｃの値の組が決まる。
【００８０】次に第２の間引きフェーズを遂行する。こ
のフェーズにおいては、最初のクラスターＮ1 の点の中
で第１フェーズで定められた関数Ｆ（ｒ）から最も離れ
ている点を除去し、間引きされた点の第２のクラスター
Ｎ2 を作る。二重反復法の次のステップでは、第１フェ
ーズにおいて、パラメーターｃについて前のステップで
定められた値に近い実験値を定め、関数Ｆ（ｒ）＝ａ＋
ｂｒ C が間引きされた第２のクラスターを通る可能な限
り最良の程度の関数になるようにパラメーターａ，ｂ，
ｃを定める。
【００８１】この二重反復法は、関数Ｆ（ｒ）＝ａ＋ｂ
ｒC が、この関数Ｆ（ｒ）を表す曲線との距離が許容で
きる距離以下である残っている点（ｒ，ｓ）を可能な限
り最良の程度に通るまで続けられる。ｓ＝Ｆ（ｒ）の計
算によって定められた法則Ｆは、従って、 Ｓ＝Ｆ（Ｒ） の関係に基づく対象画像部分Ｉvi及びＩvjに関する組Ｒ
及びＳにおいて対応する輝度レベルに適用される。
【００８２】〔第３ステージ：輝度の補正法則Ｇi ，Ｇ
j の計算〕本発明のシステムにおける第３ステージで
は、次に組Ｒのレベル及び組Ｓのレベルそれぞれに作用
し、個々に対応するレベルの等化を行う２つの補正Ｇi
，Ｇj を計算する。組Ｒ及びＳの対応する輝度レベル
について予定された等化が可能な限り最良の程度に実現
されると、第１及び第２の対象画像部分Ｉvi及びＩvjの
輝度の全体としての等化が達成され、 Ｇi （Ｒ）＝Ｇj （Ｓ） となる。
【００８３】第２ステージで本発明のデバイスによって
法則Ｆに基づいてＳ＝Ｆ（Ｒ）が計算されたので、組Ｒ
及びＳの輝度レベルは対応付けられており、この結果、
法則Ｇi ，Ｇj が Ｇi （Ｒ）＝Ｇj 〔Ｆ（Ｒ）〕 の関係に基づいて対応する輝度レベルの全体としての等
化を実現する。この等化は可能な限り最良の程度に実現
され、この場合、再構成された対象画像から直線の境界
線が消える。
【００８４】再度第２ステージを説明するために記述さ
れた例を参照すると、組Ｒの中で輝度レベル１，２，
３,...が見出され、組Ｓの中で対応する輝度レベル１，
３，５,...が見出された場合は、法則Ｇi が組Ｒの異な
る輝度レベル１，２，３,...に作用し、これらのレベル
をこれらの実際の値と組Ｓの対応するレベルの値との間
の値に変える。同様に、法則Ｇj が組Ｓの異なる輝度レ
ベル１，３，５,...に作用し、これらのレベルをこれら
の実際の値と組Ｒの対応するレベルの値との間の値に変
える。従って、 Ｇi （１）＝Ｇj （１） Ｇi （２）＝Ｇj （３） Ｇi （３）＝Ｇj （５）等.... になり、一般的に、可能な限り最良の程度に Ｇi （Ｒ）＝Ｇj （Ｓ） となる。
【００８５】多くの場合、Ｇi 又はＧj を全く同一に選
び、輝度等化法則によりグレイレベルの組の１つを同一
にしておき、グレイレベルの他の組を等化が得られるよ
うに上下するようにしてもよい。例えば、法則Ｆ又はＦ
-1を単に１つの組の輝度レベルに適用する。
【００８６】このようにすると、得られた対象画像は実
際に最も明確に全体として等化された輝度を示す。しか
し、この最終的な対象画像は正しい画像部分とかなり低
い品質の画像部分を含む。実際には、実際のカメラの各
々は最良の画像を供給するように特別に具えられた制御
ユニットを持つことを考慮しなければならない。２つの
対象画像部分が輝度の差異を示す場合、これは対象画像
部分の１つになる原画像に各々の実際のカメラが最適化
処理を行うことによる。この最適化処理はカメラ毎に異
なるのである。
【００８７】従って、対象画像部分の品質を殆ど落とさ
ずにその輝度レベルに作用することは不可能である。本
発明は、画像部分の品質の低下を最小に止めて輝度を全
体として等化する解を提案する。このため、２つの等化
法則 Ｇi （Ｒ）＝ｋＦ（Ｒ）＋（１−ｋ）Ｒ Ｇi （Ｒ）＝ｋＲ＋（１−ｋ）Ｆ-1（Ｒ） を提案する。ここでｋは定数であり、 ０≦ｋ≦１ でいわゆる混合係数であり、Ｒは対象画像部分Ｉviの第
１の部分に存在する異なった輝度レベルである。
【００８８】この定数ｋは次のように作用する。ｋ＝１
ならば、組Ｒの輝度レベルは組Ｓの輝度レベルに等しく
なる。ｋ＝０ならば、この逆になる。好ましくは、ｋ
は、全体の対象画像Ｉv の中の第２の対象画像部分Ｉvj
の表面面積比率に等しくする。
【００８９】このように、全体の画像Ｉv の中で画像表
面Ｉvjが小さく、ｋが０に近ければ、そして大きい表面
を持つ第１の対象画像部分Ｉviの輝度レベルが殆ど変わ
らないならば、対照的に小さい表面の第２の対象画像部
分Ｉvjの輝度レベルを変えて全体としての輝度を等しく
するのが最も効果的であることが分かる。
【００９０】従って、仮想カメラとしての装置において
ユーザーがパラメーターΘ、φ或いは焦点距離を変える
と定数ｋが変わり、新しい法則Ｆが計算され、その後は
新しい法則Ｇi ，Ｇj が組Ｒ及びＳに適用される。前記
の関数Ｇi ，Ｇj の計算を遂行するデバイスについて次
に述べる。
【００９１】〔輝度等化法のこのステージを遂行するた
めのデバイス〕図６は信号処理装置の機能ブロック図で
ある。この装置は次の部分を具えている。 ａ）個々の視野が繋ぎ合わされてパノラマシーンを記録
するための１つの広角視野を形成するように固定して配
置されたｎ個のピックアップカメラＣ1,...,Ｃi,Ｃ
j,...,Ｃn 。これらは、これらの視点Ｐが前記の精度で
実質的に共通であり、それらの焦点距離が固定で既知で
ある。 ｂ）制御システム（Ｃｏｎｔｒｏｌ）。ユーザーがこの
システムを用いて視野角及び方位角並びに焦点距離を変
えることができる。その際には、画像構成システムとこ
のシステムが結合して、仮想可動カメラＣv をシミュレ
ートする。
【００９２】ｃ）対象画像構成システムＧＶＶＢ（Geom
etrical Virtual View Builder）。このシステムは、ユ
ーザーにより制御装置上に表示されたパラメーターに対
応し、カメラから供給される原画像Ｉ1,...,Ｉi,Ｉ
j,...,Ｉn の特性、即ちピクセルの座標及び輝度から対
象画像Ｉv を形成する。対象画像構成システムは、次の
４つの群のデータを供給する。 i) 第１の画像部分Ｉviの残りの部分のピクセルＡ'i即
ち選択された部分Ａiに含まれないピクセルに関するデ
ータ。Ａ'iのピクセルは対象画像Ｉv における位置及び
Ｉviの組Ｒにおける輝度レベルによっても特徴付けられ
る。
【００９３】ii) 第１の画像部分Ｉviの選択された部分
Ａi のピクセルに関するデータ。即ち、Ａi の各ピクセ
ルの座標及び輝度レベル。 iii)第２の画像部分Ｉvjの選択された部分Ａj のピクセ
ルに関するデータ。即ち、Ａj の各ピクセルの座標及び
輝度レベル。 iv) 第２の画像部分Ｉvjの残りの部分のピクセルＡ'j即
ち選択された部分Ａjに含まれないピクセルに関するデ
ータ。Ａ'jのピクセルは対象画像Ｉv における位置及び
Ｉvjの組Ｓにおける輝度レベルによっても特徴付けられ
る。
【００９４】ｄ）２つのメモリーＭｅｍＡ及びＭｅｍ
Ｂ。第１のメモリーＭｅｍＡは選択された部分Ａi のピ
クセルに関するデータを受信し、第２のメモリーＭｅｍ
Ｂは選択された部分Ａj のピクセルに関するデータを受
信する。 ｅ）計算モジュールＬｕｔcalcul。このモジュールは、
ＭｅｍＡ及びＭｅｍＢで利用できる選択された部分Ａi
，Ａj のピクセルに関するデータに基づいて、第１に
ｓ＝Ｆ（ｒ）の関係により、本発明の方法の第２ステー
ジで説明した二重反復法を用いて法則Ｆを計算する。
【００９５】このモジュールは、次に、補正法則Ｇi 及
びＧj を計算する。このモジュールは、前に計算された
法則Ｆを、ＧＶＶＢの出力で利用できる相補的な部分
Ａ'iに関するデータに適用する。次に、このモジュール
は、Ｉviの組Ｒの各輝度レベルについて法則Ｇi （Ｒ）
＝ｋＦ（Ｒ）＋（１−ｋ）Ｒを計算する。このモジュー
ルは、更に、法則Ｆを、ＭｅｍＢで利用できる選択され
た部分Ａj に関するデータ及びＧＶＶＢの出力で利用で
きる相補的な部分Ａ'jに関するデータに適用する。次
に、このモジュールは、Ｉvjの各輝度レベルＦ（Ｒ）＝
Ｓについて法則Ｇi（Ｒ）＝ｋＲ＋（１−ｋ）Ｆ
-1（Ｒ）を計算する。更に、ｋを、対象画像Ｉv の全表
面に対する第２の画像部分Ｉvjの表面に関する比率に等
しく選ぶことも可能である。
【００９６】ｆ）２つのモジュールＬｕｔＡ及びＬｕｔ
Ｂは、組Ｒ及びＳの輝度レベルに合わせて、法則Ｇi 及
びＧj をそれぞれ第１及び第２の対象画像部分Ｉvi及び
Ｉvjの各ピクセルに適用し、対応するレベルを完全に等
しくする。 ｇ）２つのモジュールＰａｒｔＡ及びＰａｒｔＢは、そ
れぞれＬｕｔＡ及びＬｕｔＢによって供給される第１及
び第２の対象画像部分Ｉvi及びＩvjを構成するためのデ
ータを格納する。 ｈ）表示又は記録モジュールＤ。
【００９７】計算モジュールＬｕｔcalculは独立して前
記の計算を遂行するマイクロプロセッサである。他のモ
ジュールは例えばルックアップテーブル等に接続された
モジュールであってもよい。ここに記述されている輝度
等化装置は、隣接するカメラによって形成された画像の
輝度を補正することに限定されるものではない。これ
は、画像が連続している場合には一時的な重なりに対し
ても適用することができる。
【００９８】本発明の実施例の他の変形においては、カ
メラＣ1,...,Ｃn が各々既にルックアップテーブルを含
む画像獲得テーブルを用いるようにしてもよい。これ
は、各カメラモジュールＣ1,...,Ｃn の中にＬｕｔ
1,...,Ｌｕｔn のようなモジュールＬｕｔが既に存在す
ることを意味する。この場合、図６からＬｕｔＡ及びＬ
ｕｔＢを削除することができる。計算モジュールＬｕｔ
calculによる計算の結果は、カメラＣi , Ｃj に対応す
るテーブルＬｕｔi ，Ｌｕｔj に含まれるデータを変え
るために転送される。
【００９９】続いてカメラＬｕｔ1,...,Ｌｕｔi ，Ｌｕ
ｔj,...,Ｌｕｔn の異なるテーブルの出力が画像構成シ
ステムＧＶＶＢに入力される。しかしながら、これはＧ
ＶＶＢ型の２つの画像構成システムを具えることを必要
とする。その第１のシステムは、計算モジュールＬｕｔ
calculのためにデータをＭｅｍＡ及びＭｅｍＢに与え、
第２のシステムは補正された最終画像を構成する。
【０１００】他方、実際のカメラはアナログデータを供
給してもよいことに注意すべきである。この場合、ディ
ジタル原画像を形成するためにアナログ−ディジタル変
換モジュールが用いられる。しかしながら、本発明によ
り対象画像を構成するためには２つ或いは３つを超えな
い原画像を必要とするだけであり、従ってそれぞれ必要
とするのは単に２つ或いは３つの変換器である。
【０１０１】実際のカメラＣ1,...,Ｃn の数が使用され
ている原画像の数を超えている場合は、カメラのアナロ
グ出力と変換器の入力との間に、可動仮想カメラの特性
例えば方位角に基づいて動作中の実際のカメラを選択す
るための多重化モジュールを置いてもよい。
【０１０２】例えば、６個の実際のカメラがあり、原画
像の必要な数が２を超えない場合は、ただ２つのアナロ
グ−ディジタル変換器を使用し、マルチプレクサによっ
て６つのカメラから動作中の実際のカメラＣi , Ｃj を
選択して２つのディジタル原画像を対応する変換器の入
力に供給する。その後変換器の出力は画像構成システム
ＧＶＶＢの入力に供給される。
【図面の簡単な説明】
【図１】図１Ａは、実際のカメラがランドマークの水平
面に垂直な画像面を持つ場合にランドマークの水平面に
異なる画像面の軌跡を示す平面図であり、図１Ｂは、ラ
ンドマークＰx,Ｐy,Ｐz を水平面に投影した図であり、
図１Ｃは、特別の座標系における実際の画像面の立面図
であり、図１Ｄは、特別の座標系における対象画像面の
立面図である。
【図２】図２Ａは、パノラマシーンのサブ画像を構成す
るためユーザーが選択した仮想カメラのパラメーターに
より２つの隣接する実際のカメラの広角視野のセクショ
ンを区切る効果を説明する図であり、図２Ｂは、これら
のパラメーターによって定められた仮想カメラにより構
成された対象画像で、第１の実際のカメラによる原画像
に基づく第１の画像部分と第２の実際のカメラによる原
画像に基づく第２の画像部分との２つの部分が密接して
いる場合の対象画像を示す図であり、図２Ｃは、これら
のパラメーターによって定められた仮想カメラにより構
成された対象画像で、第１の実際のカメラによる原画像
に基づく第１の画像部分と第２の実際のカメラによる原
画像に基づく第２の画像部分との２つの部分の一部がオ
ーバーラップしている場合の対象画像を示す図である。
【図３】図３ａは、図２Ｂ又は２Ｃのいずれかの方法で
再構成されたディジタル対象画像において、第１の原画
像に基づく第１の対象画像部分と第２の原画像に基づく
第２の対象画像部分との２つの部分の間での全体として
の輝度の差異を示す図であり、図３ｂは、図３ａのディ
ジタル対象画像に対して全体として輝度等化装置による
処理を行った後の状態を示す図である。
【図４】図４Ａは、ＢＯＲＤＥＲ法により対象画像部分
を選択する方法を説明する図であり、図４Ｂは、ＯＶＥ
ＲＬＡＰ法により対象画像部分を選択する方法を説明す
る図である。
【図５】図５は、法則Ｆを計算するため輝度レベル
（ｒ，ｓ）の対応する点を説明する図である。
【図６】図６は、画像処理システムの機能ブロック図で
ある。
【符号の説明】
Ａ ピクセルの群 Ｃo 仮想カメラ Ｃ1,...,Ｃn 実際のカメラ Ｆ 対応法則 Ｇ 輝度補正法則 Ｉ1,...,Ｉn 原画像 Ｉv 対象画像 Ｋ ピクセルの列 Ｌ 直線境界線 Ｌi,Ｌj オーバーラップ部分の端部 ｍ，ｍ' ピクセル Ｎ 点のクラスター Ｒ，Ｓ 輝度レベルの組 ｒ，ｓ 輝度レベルのサブの組 Ｃｏｎｔｒｏｌ 制御システム ＧＶＶＢ 対象画像構成システム ＭｅｍＡ，ＭｅｍＢ メモリー Ｌｕｔcalcul 計算モジュール ＬｕｔＡ及びＬｕｔＢ 輝度補正モジュール ＰａｒｔＡ，ＰａｒｔＢ データ記憶モジュール Ｄ 表示又は記録モジュール
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 15/68 ３１０ Ｊ (72)発明者 ピエール レロン フランス国 94130 ノジャン−シュル− マルヌ リュ フェデルベ ６

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】 個々の視野を繋ぎ合わせてパノラマシー
    ンを記録するための１つの広角視野を形成するように配
    置されたｎ個の固定した実際のカメラ（Ｃ1,.., Ｃi,Ｃ
    j,.., Ｃn ）と、 連続的にパノラマシーンを走査し、広角視野の任意の１
    つのセクションに対応しｎ個の実際のカメラによって作
    られる隣接する原画像（Ｉ1,.., Ｉi,Ｉj,..,Ｉn ）か
    ら構成される１つの対象サブ画像（Ｉv ）を供給するた
    めの可動仮想カメラ（Ｃv ）と見做すことができる画像
    構成システム（ＧＶＶＢ）とを具える画像処理システム
    において、 該システムはディジタルシステムであり、更に、２つの
    隣接するディジタル原画像（Ｉi 、Ｉj ）から構成され
    るディジタル対象画像（Ｉv ）の第１及び第２の部分
    （Ｉvi、Ｉvj）の対応する輝度レベルの第１及び第２の
    組（Ｒ、Ｓ）にそれぞれ第１及び第２の補正法則（Ｇi
    、Ｇj ）を適用し、Ｇi(Ｒ) ＝Ｇj(Ｓ) の関係に基づ
    いてこれらの対応する輝度レベルを可能な限り最良の程
    度に等しくする第１及び第２の輝度補正モジュール（Ｌ
    ｕｔＡ、ＬｕｔＢ）を具える輝度等化システムを具備す
    ることを特徴とする画像処理システム。
  2. 【請求項２】 輝度等化システムが更に計算モジュール
    （Ｌｕｔcalcul）を具え、 該計算モジュールが、対象画像の第１の部分（Ｉvi）の
    輝度レベルの第１の組（Ｒ）のレベルと対象画像の第２
    の部分（Ｉvj）の輝度レベルの第２の組（Ｓ）のレベル
    との間の対応を確立する法則Ｆを計算してＳ＝Ｆ（Ｒ）
    とし、且つその後、Ｇi(Ｒ) ＝Ｇj ［Ｆ（Ｒ）］の関係
    に基づいて対応する輝度レベルを可能な限り最良の程度
    に等しくするために第１及び第２の輝度補正モジュール
    （ＬｕｔＡ、ＬｕｔＢ）に適用されるべき第１及び第２
    の補正法則（Ｇi 、Ｇj ）を計算するように構成される
    ことを特徴とする請求項１に記載の画像処理システム。
  3. 【請求項３】 輝度等化システムが更に、 輝度レベルの第１のサブの組（ｒ）からなる対象画像の
    第１の部分（Ｉvi）のピクセルの第１のサブの組（Ａi
    ）を選択し且つ格納する第１のメモリーモジュール
    （ＭｅｍＡ）と、 輝度レベルの第２のサブの組（ｓ）からなる対象画像の
    第２の部分（Ｉvj）のピクセルの第２のサブの組（Ａj
    ）を選択し且つ格納する第２のメモリーモジュール
    （ＭｅｍＢ）とを具え、且つ、 計算モジュール（Ｌｕｔcalcul）が、可能な限り最良の
    程度に式ｓ＝Ｆ（ｒ）を実現するために選択された対象
    画像部分の２つのサブの組（Ａi 、Ａj ）の輝度レベル
    ［（ｒ）と（ｓ）と］の間の対応を確立することによっ
    てＳ＝Ｆ（Ｒ）の対応の法則Ｆを計算するように構成さ
    れることを特徴とする請求項２に記載の画像処理システ
    ム。
  4. 【請求項４】 第１及び第２のメモリーモジュール（Ｍ
    ｅｍＡ、ＭｅｍＢ）において、 対象画像（Ｉv ）の中で、２つの隣接する原画像（Ｉi
    及びＩj ）から構成される対象画像の２つの部分（Ｉv
    i、Ｉvj）の境界の一致に対応する直線境界線Ｌの位置
    を求めることにより、且つ、 ピクセルの第１及び第２のサブの組（Ａi 、Ａj ）とし
    て、それぞれ対象画像の第１及び第２の部分（Ｉvi、Ｉ
    vj）の中で、該直線境界線のいずれかの側で、該直線境
    界線に平行で該直線境界線に関して対称に且つ行及び列
    に並んだピクセルを選択することにより、 対象画像の第１及び第２の部分（Ｉvi、Ｉvj）が第１及
    び第２のサブの組（Ａi 、Ａj ）を供給し、更に、 対応の法則Ｆのための計算モジュール（Ｌｕｔcalcul）
    において、 第１及び第２のサブの組（Ａi 、Ａj ）のピクセルが、
    対象画像（Ｉv ）の座標系において、それらの座標とし
    て、直線境界線に平行な軸上の同じ座標を持ち、且つこ
    の直線境界線に直角の軸上の直線境界線に関して対称な
    座標を持つ場合にそれぞれが対応するとされ、このピク
    セル対によって変換され分類されることを特徴とする請
    求項３に記載の画像処理システム。
  5. 【請求項５】 第１及び第２のメモリーモジュール（Ｍ
    ｅｍＡ、ＭｅｍＢ）において、 対象画像（Ｉv ）における２つの対象画像部分（Ｉvi、
    Ｉvj）の相互のオーバーラップについて、オーバーラッ
    プする帯の部分が一方の端部（Ｌi ）とこれに平行な他
    の端部（Ｌj ）によって定まり、この帯が原画像（Ｉi
    及びＩj ）を供給しそれから２つの対象画像部分（Ｉv
    i、Ｉvj）が構成される２つの隣接する実際のカメラ
    （Ｃi 、Ｃj ）の視野がオーバーラップする範囲から構
    成される、相互のオーバーラップに対応するオーバーラ
    ップ帯（Ｌi Ｌj ）を求めることにより、且つ、 ピクセルの第１及び第２のサブの組（Ａi 、Ａj ）とし
    て、それぞれ対象画像の第１及び第２の部分（Ｉvi、Ｉ
    vj）内に位置するオーバーラップ帯のピクセルを選択す
    ることにより、 対象画像の第１及び第２の部分（Ｉvi、Ｉvj）が選択さ
    れ、更に、 対応の法則Ｆのための計算モジュール（Ｌｕｔcalcul）
    において、第１及び第２のサブの組（Ａi 、Ａj ）のピ
    クセルが、対象画像（Ｉv ）の座標系において同じ座標
    を持つ場合にそれぞれが対応するとされ、このピクセル
    対によって変換され分類されることを特徴とする請求項
    ３に記載の画像処理システム。
  6. 【請求項６】 計算モジュール（Ｌｕｔcalcul）が、第
    １のサブの組（Ａi）における各対の第１ピクセルの輝
    度レベルの組（ｒ）が、可能な限り最良の程度に、第２
    のサブの組（Ａj ）の各対の第２のピクセルの対応する
    輝度レベルの組（ｓ）に対応するようになる対応関係Ｓ
    ＝Ｆ（Ｒ）の法則Ｆを可能な限り最良の程度に式ｓ＝Ｆ
    （ｒ）を実現するために定めることを特徴とする請求項
    ４又は５に記載の画像処理システム。
  7. 【請求項７】 計算モジュール（Ｌｕｔcalcul）が、第
    １ステップで、近似的にピクセルの対応する対の輝度レ
    ベル（ｒ、ｓ）により構成される点Ｎ1 のクラスターを
    通る関数ｓ＝Ｆ（ｒ）を計算することにより反復間引き
    法によって法則Ｆを計算し、次に次のステップで、関数
    ｓ＝Ｆ（ｒ）を表す曲線からの距離により、表示曲線か
    ら最も遠い点に対応する重みを最も小さくするように点
    （ｒ、ｓ）に重み付けを行って第２のクラスターＮ2 を
    形成し、この第２のクラスターＮ2 の重み付けされた点
    について関数ｓ＝Ｆ（ｒ）を再計算し、各ステップで繰
    り返し、関数ｓ＝Ｆ（ｒ）を表す曲線が可能な限り最良
    の程度に最も大きい重みが割当てられるべき残りの点を
    通るまで、関数ｓ＝Ｆ（ｒ）を表す曲線から最も遠い点
    の重みを減らすことを特徴とする請求項６に記載の画像
    処理システム。
  8. 【請求項８】 計算モジュール（Ｌｕｔcalcul）が、第
    １ステップで、近似的にピクセルの対応する対の輝度レ
    ベル（ｒ、ｓ）により構成される点Ｎ1 のクラスターを
    通る関数ｓ＝Ｆ（ｒ）を計算することによって反復間引
    き法によって法則Ｆを計算し、次に次のステップで、近
    似的関数ｓ＝Ｆ（ｒ）を表す曲線から所定の許容限界の
    値より大きい距離に位置する点（ｒ、ｓ）を除去して点
    の第２のクラスターＮ2 を保存し、この間引きされたク
    ラスターＮ2 の残りの点（ｒ、ｓ）を用いて関数ｓ＝Ｆ
    （ｒ）を再計算し、次に、それぞれの引き続くステップ
    で、関数ｓ＝Ｆ（ｒ）を表す曲線が可能な限り最良の程
    度に残りの点（ｒ、ｓ）を通るまで、点（ｒ、ｓ）と関
    数ｓ＝Ｆ（ｒ）を表す曲線との間の所定の許容限界の値
    を減らし、所定の許容限界の値より大きい距離に位置す
    る点（ｒ、ｓ）を除去し、残りの点（ｒ、ｓ）を用いて
    関数ｓ＝Ｆ（ｒ）を再計算することを特徴とする請求項
    ６に記載の画像処理システム。
  9. 【請求項９】 対応関数ＦがＦ（ｒ）＝ａ＋ｂｒC の形
    で与えられ、ここでａ、ｂ及びｃは反復法で定められる
    定数であり、これにより計算モジュール（Ｌｕｔcalcu
    l）が二重反復法で法則Ｆを定め、この二重反復法で
    は、各ステップが２つのフェーズからなり、第１のフェ
    ーズではパラメーターａ、ｂ及びｃを定めるための各ス
    テージが遂行され、第１のステージはべき指数ｃの最初
    の値が固定され、次のステージの点（ｒ、ｓ）の第１の
    クラスターＮ1 のためのパラメーターａ及びｂが計算さ
    れ、次のステージではべき指数ｃの第２、第３等の値が
    固定され、パラメーターａ及びｂが点（ｒ、ｓ）の同じ
    クラスターＮ1 のために計算され、次いで、点（ｒ、
    ｓ）の第１のクラスターＮ1 を可能な限り最良の程度に
    通る最良の関数Ｆ（ｒ）＝ａ＋ｂｒC を供給するように
    パラメーターａ、ｂ、ｃの群の値が選択され、他方、続
    いて、第２の間引きステージが遂行され、この第２の間
    引きステージでは第１のクラスターＮ1 の第１のフェー
    ズで定められた関数Ｆ（ｒ）から最も遠い点が除去さ
    れ、間引きされた点の第２のクラスターＮ2が保存さ
    れ、次のステップでは第１のフェーズが遂行され、パラ
    メーターｃの試行値を前のステップで定められた値及び
    この値に近い値として固定し、パラメーターａ、ｂ、ｃ
    を選択して関数Ｆ（ｒ）＝ａ＋ｂｒC が確実に可能な限
    り最良の程度に間引きされた点（ｒ、ｓ）の第２のクラ
    スターＮ2 を通るようにし、関数Ｆ（ｒ）＝ａ＋ｂｒC
    が可能な限り最良の程度に、関数ｓ＝Ｆ（ｒ）を表す曲
    線との距離が所定の許容限界の値より小さい残りの点
    （ｒ、ｓ）を通るようになるまでこの二重反復法を繰り
    返すことを特徴とする請求項６乃至８のいずれか１項に
    記載の画像処理システム。
  10. 【請求項１０】 計算モジュール（Ｌｕｔcalcul）が、
    対応の法則Ｆ（Ｒ）の線形関数として、第１の輝度補正
    法則（Ｇi ）及び第２の法則（Ｇj ）を計算することを
    特徴とする請求項２乃至９のいずれか１項に記載の画像
    処理システム。
  11. 【請求項１１】 ｋを画像全体における対象画像の部分
    （Ｉvi、Ｉvj）の１つの表面の割合を考慮するための定
    数として、第１の補正法則が Ｇi （Ｒ）＝ｋＦ（Ｒ）＋（１−ｋ）Ｒ の形を持つように選択され、第２の補正法則が Ｇj （Ｒ）＝ｋＲ＋（１−ｋ）Ｆ-1（Ｒ） の形を持つように選択されることを特徴とする請求項１
    ０に記載の画像処理システム。
  12. 【請求項１２】 画像構成システム（ＧＶＶＢ）におけ
    る対象画像（Ｉv ）を構成するために、更に、 制御モジュール（Ｃｏｎｔｒｏｌ）が、次の３つのパラ
    メーター、即ち、 １）全ての固定された実際のカメラ及び可動仮想カメラ
    に共通の固定された視点を通る光軸の水平面に平行な方
    位における変化に対応して、パノラマの光軸の方位（Ｐ
    ＡＮ）即ち方位角を変えるパラメーター、 ２）垂直面において常に固定された視点を通る光軸の方
    位（ＴＩＬＴ）即ち視野角を変えるパラメーター、 ３）多少拡大された対象画像を供給することができる仮
    想カメラの焦点距離を変えるパラメーター を用いて可動仮想カメラを制御することを特徴とする請
    求項１乃至１１のいずれか１項に記載の画像処理システ
    ム。
  13. 【請求項１３】 更に、第１及び第２の対象画像部分
    （Ｉvi、Ｉvj）の処理されたデータを格納するモジュー
    ル（ＰａｒｔＡ、ＰａｒｔＢ）及び表示又は記録モジュ
    ール（Ｄ）を具えることを特徴とする請求項１乃至１２
    のいずれか１項に記載の画像処理システム。
  14. 【請求項１４】 更に、全ての実際のカメラ（Ｃ1,..,
    Ｃi,Ｃj,.., Ｃn ）から、対象画像（Ｉv ）を構成する
    ために用いられる対象画像の部分（Ｉvi、Ｉvj）のデー
    タを供給するために必要な原画像（Ｉi 、Ｉj ）に対応
    する２つのカメラ（Ｃi,Ｃj ）を選択するための多重化
    モジュールと、 ２つの選択された実際のカメラ（Ｃi,Ｃj ）によって供
    給されるそれぞれのアナログデータをディジタルデータ
    に変換し、対応する２つのディジタル原画像（Ｉi 、Ｉ
    j ）を形成するための２つのアナログ−ディジタル変換
    モジュールとを具えることを特徴とする請求項１乃至１
    ３のいずれか１項に記載の画像処理システム。
JP25227094A 1993-10-20 1994-10-18 画像処理方法及びシステム Expired - Fee Related JP3706645B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9312503 1993-10-20
FR9312503 1993-10-20

Publications (2)

Publication Number Publication Date
JPH07193746A true JPH07193746A (ja) 1995-07-28
JP3706645B2 JP3706645B2 (ja) 2005-10-12

Family

ID=9452036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25227094A Expired - Fee Related JP3706645B2 (ja) 1993-10-20 1994-10-18 画像処理方法及びシステム

Country Status (4)

Country Link
US (1) US5650814A (ja)
EP (1) EP0650299B1 (ja)
JP (1) JP3706645B2 (ja)
DE (1) DE69411849T2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004057531A1 (ja) * 2002-12-20 2004-07-08 Jicoux Datasystems, Inc. 画像合成装置、及びプログラム
WO2006011255A1 (ja) * 2004-07-28 2006-02-02 Matsushita Electric Industrial Co., Ltd. パノラマ画像合成方法および物体検出方法、パノラマ画像合成装置、撮像装置、物体検出装置、並びにパノラマ画像合成プログラム
JP2016126595A (ja) * 2015-01-06 2016-07-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07287761A (ja) * 1994-04-19 1995-10-31 Canon Inc 画像処理装置及び画像処理方法
WO1997042601A1 (en) * 1996-05-06 1997-11-13 Sas Institute, Inc. Integrated interactive multimedia process
JP3832895B2 (ja) * 1996-05-28 2006-10-11 キヤノン株式会社 画像合成装置及び画像合成システム
US7680879B2 (en) * 1996-07-18 2010-03-16 Computer Associates Think, Inc. Method and apparatus for maintaining data integrity across distributed computer systems
US5958012A (en) * 1996-07-18 1999-09-28 Computer Associates International, Inc. Network management system using virtual reality techniques to display and simulate navigation to network components
US7342581B2 (en) * 1996-07-18 2008-03-11 Computer Associates Think, Inc. Method and apparatus for displaying 3-D state indicators
JPH10178564A (ja) * 1996-10-17 1998-06-30 Sharp Corp パノラマ画像作成装置及び記録媒体
WO1998047291A2 (en) * 1997-04-16 1998-10-22 Isight Ltd. Video teleconferencing
US6249616B1 (en) 1997-05-30 2001-06-19 Enroute, Inc Combining digital images based on three-dimensional relationships between source image data sets
US6014163A (en) * 1997-06-09 2000-01-11 Evans & Sutherland Computer Corporation Multi-camera virtual set system employing still store frame buffers for each camera
US20030018771A1 (en) * 1997-07-15 2003-01-23 Computer Associates Think, Inc. Method and apparatus for generating and recognizing speech as a user interface element in systems and network management
US7315893B2 (en) * 1997-07-15 2008-01-01 Computer Associates Think, Inc. Method and apparatus for filtering messages based on context
US20030023721A1 (en) * 1997-07-15 2003-01-30 Computer Associates Think, Inc. Method and apparatus for generating context-descriptive messages
US6552744B2 (en) 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
US7280134B1 (en) 1998-01-26 2007-10-09 Thales Avionics, Inc. Landscape camera system with electronic field of view switching
WO1999059026A2 (en) 1998-05-13 1999-11-18 Infinite Pictures Inc. Panoramic movies which simulate movement through multidimensional space
US6714249B2 (en) 1998-12-31 2004-03-30 Eastman Kodak Company Producing panoramic digital images by digital camera systems
US7050085B1 (en) * 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
US6690374B2 (en) * 1999-05-12 2004-02-10 Imove, Inc. Security camera system for tracking moving objects in both forward and reverse directions
US6738073B2 (en) 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
JP4763881B2 (ja) * 1999-07-23 2011-08-31 キヤノン株式会社 通信装置及び通信装置の制御方法及び記憶媒体
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7292261B1 (en) 1999-08-20 2007-11-06 Patrick Teo Virtual reality camera
US20060073509A1 (en) * 1999-11-18 2006-04-06 Michael Kilpatrick Method for detecting and quantitating multiple subcellular components
US6813392B2 (en) * 1999-12-30 2004-11-02 Eastman Kodak Company Method and apparatus for aligning multiple scans of the same area of a medium using mathematical correlation
DE60137655D1 (de) * 2000-02-29 2009-03-26 Panasonic Corp Bildaufnahmesystem und fahrzeugmontiertes Sensorsystem
US6978051B2 (en) * 2000-03-06 2005-12-20 Sony Corporation System and method for capturing adjacent images by utilizing a panorama mode
SE0202342D0 (sv) * 2002-07-31 2002-07-31 Scalado Ab System and method for displaying digital images linked together to enable navigation through views
US6791603B2 (en) * 2002-12-03 2004-09-14 Sensormatic Electronics Corporation Event driven video tracking system
US20050185047A1 (en) * 2004-02-19 2005-08-25 Hii Desmond Toh O. Method and apparatus for providing a combined image
US20060115182A1 (en) * 2004-11-30 2006-06-01 Yining Deng System and method of intensity correction
US20060190812A1 (en) * 2005-02-22 2006-08-24 Geovector Corporation Imaging systems including hyperlink associations
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
CN101617354A (zh) 2006-12-12 2009-12-30 埃文斯和萨瑟兰计算机公司 用于校准单个调制器投影仪中的rgb光的系统和方法
US8570373B2 (en) 2007-06-08 2013-10-29 Cisco Technology, Inc. Tracking an object utilizing location information associated with a wireless device
CA2701890C (en) * 2007-10-15 2013-07-30 Nippon Telegraph And Telephone Corporation Image generation method and apparatus, program therefor, and storage medium which stores the program
RU2438179C1 (ru) * 2007-10-15 2011-12-27 Ниппон Телеграф Энд Телефон Корпорейшн Устройство и способ для формирования изображения, программа для его реализации и носитель информации, который хранит программу
CN101489144B (zh) * 2008-01-17 2010-09-29 华晶科技股份有限公司 相机的自动色彩空间与情境转换方法
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US8358317B2 (en) 2008-05-23 2013-01-22 Evans & Sutherland Computer Corporation System and method for displaying a planar image on a curved surface
US8702248B1 (en) 2008-06-11 2014-04-22 Evans & Sutherland Computer Corporation Projection method for reducing interpixel gaps on a viewing surface
US8253815B2 (en) * 2008-09-16 2012-08-28 Altia Systems Inc. Synchronized multiple imager system and method
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US8077378B1 (en) 2008-11-12 2011-12-13 Evans & Sutherland Computer Corporation Calibration system and method for light modulation device
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US8675066B2 (en) * 2009-10-02 2014-03-18 Alarm.Com Incorporated Image surveillance and reporting technology
US9386281B2 (en) 2009-10-02 2016-07-05 Alarm.Com Incorporated Image surveillance and reporting technology
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
USD628175S1 (en) 2010-03-21 2010-11-30 Cisco Technology, Inc. Mounted video unit
USD626103S1 (en) 2010-03-21 2010-10-26 Cisco Technology, Inc. Video unit with integrated features
USD626102S1 (en) 2010-03-21 2010-10-26 Cisco Tech Inc Video unit with integrated features
USD628968S1 (en) 2010-03-21 2010-12-14 Cisco Technology, Inc. Free-standing video unit
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
WO2012053940A2 (en) 2010-10-20 2012-04-26 Rawllin International Inc Meeting camera
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
KR20120069303A (ko) * 2010-12-20 2012-06-28 삼성전자주식회사 3차원 영상 제공 방법 및 장치
GB201101083D0 (en) 2011-01-21 2011-03-09 Rawlin Internat Inc Mobile device camera lighting
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US9641826B1 (en) 2011-10-06 2017-05-02 Evans & Sutherland Computer Corporation System and method for displaying distant 3-D stereo on a dome surface
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
US9787947B2 (en) * 2013-03-13 2017-10-10 Pelco, Inc. Surveillance system with intelligently interchangeable cameras
FR3004881B1 (fr) * 2013-04-19 2015-04-17 Kolor Procede de generation d'un flux video de sortie a partir d'un flux video large champ
US9681111B1 (en) 2015-10-22 2017-06-13 Gopro, Inc. Apparatus and methods for embedding metadata into video stream
US10033928B1 (en) 2015-10-29 2018-07-24 Gopro, Inc. Apparatus and methods for rolling shutter compensation for multi-camera systems
US9792709B1 (en) 2015-11-23 2017-10-17 Gopro, Inc. Apparatus and methods for image alignment
US9973696B1 (en) 2015-11-23 2018-05-15 Gopro, Inc. Apparatus and methods for image alignment
US9848132B2 (en) 2015-11-24 2017-12-19 Gopro, Inc. Multi-camera time synchronization
US9667859B1 (en) 2015-12-28 2017-05-30 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
US9922387B1 (en) 2016-01-19 2018-03-20 Gopro, Inc. Storage of metadata and images
US9967457B1 (en) 2016-01-22 2018-05-08 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
US9665098B1 (en) 2016-02-16 2017-05-30 Gopro, Inc. Systems and methods for determining preferences for flight control settings of an unmanned aerial vehicle
US9743060B1 (en) 2016-02-22 2017-08-22 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9973746B2 (en) 2016-02-17 2018-05-15 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9602795B1 (en) 2016-02-22 2017-03-21 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9934758B1 (en) 2016-09-21 2018-04-03 Gopro, Inc. Systems and methods for simulating adaptation of eyes to changes in lighting conditions
US10268896B1 (en) 2016-10-05 2019-04-23 Gopro, Inc. Systems and methods for determining video highlight based on conveyance positions of video content capture
WO2018070799A1 (ko) * 2016-10-12 2018-04-19 엘지이노텍(주) 이미지 정합 방법 및 장치
KR20180040469A (ko) 2016-10-12 2018-04-20 엘지이노텍 주식회사 이미지 정합 방법 및 장치
US9973792B1 (en) 2016-10-27 2018-05-15 Gopro, Inc. Systems and methods for presenting visual information during presentation of a video segment
US10194101B1 (en) 2017-02-22 2019-01-29 Gopro, Inc. Systems and methods for rolling shutter compensation using iterative process
US10187607B1 (en) 2017-04-04 2019-01-22 Gopro, Inc. Systems and methods for using a variable capture frame rate for video capture
US10397481B2 (en) * 2017-07-13 2019-08-27 Qualcomm Incorporated Stabilization and rolling shutter correction for omnidirectional image content
CN111917984A (zh) * 2020-08-13 2020-11-10 上海航天测控通信研究所 一种虚拟云台及控制方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03182976A (ja) * 1989-12-11 1991-08-08 Sumitomo Metal Ind Ltd ディジタル画像の接合方法
JPH03243060A (ja) * 1990-02-20 1991-10-30 Fujitsu Ltd 画像信号の処理装置
JPH04117081A (ja) * 1990-05-15 1992-04-17 Toshiba Corp Ｘ線診断装置
JPH04275783A (ja) * 1991-03-04 1992-10-01 Nippon Hoso Kyokai <Nhk> 画像情報処理装置
JPH0514751A (ja) * 1991-06-28 1993-01-22 Nippon Hoso Kyokai <Nhk> パノラマ画像取り込み装置
JPH05122606A (ja) * 1991-10-30 1993-05-18 Matsushita Electric Ind Co Ltd 画像合成処理方法および画像合成処理装置
JPH05342344A (ja) * 1992-06-08 1993-12-24 Canon Inc 画像処理方法及び画像処理システム
JPH064660A (ja) * 1992-06-18 1994-01-14 Matsushita Electric Ind Co Ltd 画像合成装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4890314A (en) * 1988-08-26 1989-12-26 Bell Communications Research, Inc. Teleconference facility with high resolution video display
US5023725A (en) * 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
US5187571A (en) * 1991-02-01 1993-02-16 Bell Communications Research, Inc. Television system for displaying multiple views of a remote location
US5200818A (en) * 1991-03-22 1993-04-06 Inbal Neta Video imaging system with interactive windowing capability
US5359363A (en) * 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
KR950000326B1 (ko) * 1991-12-27 1995-01-13 삼성전자 주식회사 윤곽보정장치
EP0605045B1 (fr) * 1992-12-29 1999-03-31 Laboratoires D'electronique Philips S.A.S. Procédé et dispositif de traitement d'images pour construire une image à partir d'images adjacentes
US5440348A (en) * 1993-04-16 1995-08-08 Avid Technology, Inc. Method and user interface for creating, specifying and adjusting motion picture transitions

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03182976A (ja) * 1989-12-11 1991-08-08 Sumitomo Metal Ind Ltd ディジタル画像の接合方法
JPH03243060A (ja) * 1990-02-20 1991-10-30 Fujitsu Ltd 画像信号の処理装置
JPH04117081A (ja) * 1990-05-15 1992-04-17 Toshiba Corp Ｘ線診断装置
JPH04275783A (ja) * 1991-03-04 1992-10-01 Nippon Hoso Kyokai <Nhk> 画像情報処理装置
JPH0514751A (ja) * 1991-06-28 1993-01-22 Nippon Hoso Kyokai <Nhk> パノラマ画像取り込み装置
JPH05122606A (ja) * 1991-10-30 1993-05-18 Matsushita Electric Ind Co Ltd 画像合成処理方法および画像合成処理装置
JPH05342344A (ja) * 1992-06-08 1993-12-24 Canon Inc 画像処理方法及び画像処理システム
JPH064660A (ja) * 1992-06-18 1994-01-14 Matsushita Electric Ind Co Ltd 画像合成装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004057531A1 (ja) * 2002-12-20 2004-07-08 Jicoux Datasystems, Inc. 画像合成装置、及びプログラム
WO2006011255A1 (ja) * 2004-07-28 2006-02-02 Matsushita Electric Industrial Co., Ltd. パノラマ画像合成方法および物体検出方法、パノラマ画像合成装置、撮像装置、物体検出装置、並びにパノラマ画像合成プログラム
US7535499B2 (en) 2004-07-28 2009-05-19 Panasonic Corporation Panorama image synthesis method, object detection method, panorama image synthesis system, image shooting apparatus, and panorama image synthesis program
JP2016126595A (ja) * 2015-01-06 2016-07-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US5650814A (en) 1997-07-22
DE69411849D1 (de) 1998-08-27
EP0650299B1 (fr) 1998-07-22
DE69411849T2 (de) 1999-03-04
JP3706645B2 (ja) 2005-10-12
EP0650299A1 (fr) 1995-04-26

Similar Documents

Publication Publication Date Title
JPH07193746A (ja) 画像処理システム
US5594845A (en) Method and device for processing an image in order to construct a target image from a plurality of contiguous source images
JP3320541B2 (ja) 隣接する複数画像より画像を形成する画像処理方法及び装置
US11269244B2 (en) System and method for calibrating a display system using manual and semi-manual techniques
US5586231A (en) Method and device for processing an image in order to construct from a source image a target image with charge of perspective
US7764309B2 (en) Image taking apparatus, image processing method, and image processing program for connecting into a single image a plurality of images taken by a plurality of imaging units disposed such that viewpoints coincide with each other
KR100799088B1 (ko) 고속 디지털 팬 틸트 줌 비디오
US5703961A (en) Image transformation and synthesis methods
US6327381B1 (en) Image transformation and synthesis methods
US20020180727A1 (en) Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital warp, intensity transforms, color matching, soft-edge blending, and filtering for multiple projectors and laser projectors
US6738073B2 (en) Camera system with both a wide angle view and a high resolution view
US4513374A (en) Memory system
CN107665483B (zh) 免定标便捷的单目镜头鱼眼图像畸变矫正方法
US20070248260A1 (en) Supporting a 3D presentation
JP2008288714A (ja) 映像投影システム
CN1247995A (zh) 小型高清晰度全景观看系统
WO2020170454A1 (ja) 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法
JP2006515128A (ja) 立体パノラマ画像取り込み装置
WO2020170455A1 (ja) ヘッドマウントディスプレイおよび画像表示方法
CN111640065B (zh) 基于相机阵列的图像拼接方法、成像装置
JP2012222669A (ja) 画像処理装置およびその方法
CN104954716B (zh) 一种基于多投影成像的穹顶球幕投影成像系统
JP2002014611A (ja) プラネタリウムのまたは球面スクリーンへのビデオ投映方法と装置
JP2006074805A (ja) マルチプロジェクション映像表示装置
JP2005039849A (ja) 映像表示システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041116

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050201

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050801

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees