JP3320541B2 - 隣接する複数画像より画像を形成する画像処理方法及び装置 - Google Patents
隣接する複数画像より画像を形成する画像処理方法及び装置Info
- Publication number
- JP3320541B2 JP3320541B2 JP35462993A JP35462993A JP3320541B2 JP 3320541 B2 JP3320541 B2 JP 3320541B2 JP 35462993 A JP35462993 A JP 35462993A JP 35462993 A JP35462993 A JP 35462993A JP 3320541 B2 JP3320541 B2 JP 3320541B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- address
- target image
- camera
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Description
【０００１】本発明は、固定フレーム ラインを有する
隣接画像で、原画像と称される各画像より目標画像を形
成する方法に関するもので、前記原画像と目標画像とは
ほぼ共通の視点を有する場合の画像処理方法に関する。
隣接画像で、原画像と称される各画像より目標画像を形
成する方法に関するもので、前記原画像と目標画像とは
ほぼ共通の視点を有する場合の画像処理方法に関する。
【０００２】さらに本発明は、実カメラの各個別の視野
が合体して、単一の広角視野を有しパノラマ風景を観測
しうるように配置したｎ個の固定実カメラのシステム
と、パノラマ風景を連続的に走査する可動仮想カメラを
シミュレートし、前記ｎ個の実カメラより供給され隣接
する原画像より構成され、広角視野の任意のセクション
に対応する目標画像と称せられる副画像を形成する画像
構成システムであって、前記仮想カメラは実カメラと同
じか、近似した視点を有しており、この画像処理システ
ムはデイジタル システムであり、目標画像の構成シス
テムは、アドレス計算機を有し、これによって原画像の
１つ内のアドレス目標画像内の画像アドレスに対応させ
るアドレス計算機と、原画像内に見出されたアドレスの
点の輝度を計算し輝度を決定し、この輝度値を、目標画
像内のアドレスの初期画素に割当る手段と、を有してな
ることを特徴としている画像処理装置に関する。
が合体して、単一の広角視野を有しパノラマ風景を観測
しうるように配置したｎ個の固定実カメラのシステム
と、パノラマ風景を連続的に走査する可動仮想カメラを
シミュレートし、前記ｎ個の実カメラより供給され隣接
する原画像より構成され、広角視野の任意のセクション
に対応する目標画像と称せられる副画像を形成する画像
構成システムであって、前記仮想カメラは実カメラと同
じか、近似した視点を有しており、この画像処理システ
ムはデイジタル システムであり、目標画像の構成シス
テムは、アドレス計算機を有し、これによって原画像の
１つ内のアドレス目標画像内の画像アドレスに対応させ
るアドレス計算機と、原画像内に見出されたアドレスの
点の輝度を計算し輝度を決定し、この輝度値を、目標画
像内のアドレスの初期画素に割当る手段と、を有してな
ることを特徴としている画像処理装置に関する。
【０００３】本発明は、遠隔監視またはテレビジョンの
分野において、例えばスポーツの試合を記録するなど、
大きな視野をカバーするため複数のショットが必要な場
合に用いられる。本発明はまた、自動車の分野で、死角
無しに周辺をパノラマ式に見るためのバックミラー手段
を構成するためにも用いられる。
分野において、例えばスポーツの試合を記録するなど、
大きな視野をカバーするため複数のショットが必要な場
合に用いられる。本発明はまた、自動車の分野で、死角
無しに周辺をパノラマ式に見るためのバックミラー手段
を構成するためにも用いられる。
【０００４】
【従来の技術】この種画像処理装置は出願Ｗ092 −1434
1 により既知である。本文献はテレビジョン用の画像処
理システムについて記述している。この既知の装置は、
互に隣接して配置された複数個の固定カメラを有する送
信ステーションを有し、これらカメラの視野が合体して
広角視野を与えるものである。本装置は、広角視野に対
応する全合成画像を形成する手段を有する処理ステーシ
ョンを有しており、さらに本ステーションは、この合成
画像より副画像を選択する手段を有している。又本シス
テムは、かかる副画像を表示するためのモニタ手段を有
している。この副画像は、合成画像の視角より小さい視
角を有していて、広角視野のサブ セクションと称され
る。
1 により既知である。本文献はテレビジョン用の画像処
理システムについて記述している。この既知の装置は、
互に隣接して配置された複数個の固定カメラを有する送
信ステーションを有し、これらカメラの視野が合体して
広角視野を与えるものである。本装置は、広角視野に対
応する全合成画像を形成する手段を有する処理ステーシ
ョンを有しており、さらに本ステーションは、この合成
画像より副画像を選択する手段を有している。又本シス
テムは、かかる副画像を表示するためのモニタ手段を有
している。この副画像は、合成画像の視角より小さい視
角を有していて、広角視野のサブ セクションと称され
る。
【０００５】前記画像処理装置は、走査ビームを用い
て、ライン毎に画像を形成する従来既知のテレビジョン
システムにのみ適用が可能である。
て、ライン毎に画像を形成する従来既知のテレビジョン
システムにのみ適用が可能である。
【０００６】（従来装置の欠点）この既知の処理ステー
ションにより、ユーザは広角視野の副セクションを選択
することができる。これらの対応の副画像は、各個別の
カメラによって供給される画像の寸法と同寸法である。
ユーザは走査の開始点を、広角視野に対応する複合画像
に対し変化させることによって副画像を選択する。前記
広角視野は、ビデオ画面の走査方法に平行な軸を有す
る。従って副画像のビデオ走査の開始点は、この軸に平
行に任意にかつ連続して移動させ得る。
ションにより、ユーザは広角視野の副セクションを選択
することができる。これらの対応の副画像は、各個別の
カメラによって供給される画像の寸法と同寸法である。
ユーザは走査の開始点を、広角視野に対応する複合画像
に対し変化させることによって副画像を選択する。前記
広角視野は、ビデオ画面の走査方法に平行な軸を有す
る。従って副画像のビデオ走査の開始点は、この軸に平
行に任意にかつ連続して移動させ得る。
【０００７】副画像における視野角は、実カメラの視野
角より小となる。しかし乍ら副画像の位置は、走査に対
し直角方向に移動させるものを含まない。その位置は走
査方向に平行な移動によるもののみである。副画像の形
成は合成画像に対しズーム効果を生じるものを含まな
い。すなわち撮像管の焦点長に比し副画像の焦点を変化
させるものを含まない。
角より小となる。しかし乍ら副画像の位置は、走査に対
し直角方向に移動させるものを含まない。その位置は走
査方向に平行な移動によるもののみである。副画像の形
成は合成画像に対しズーム効果を生じるものを含まな
い。すなわち撮像管の焦点長に比し副画像の焦点を変化
させるものを含まない。
【０００８】従って画像処理ステーションは、選択され
た副画像を１ライン毎に構成する手段を含んでいる。こ
れらの手段は、それぞれ異なるカメラよりのビデオ信号
の同期制御回路を必然的に含んでいる。
た副画像を１ライン毎に構成する手段を含んでいる。こ
れらの手段は、それぞれ異なるカメラよりのビデオ信号
の同期制御回路を必然的に含んでいる。
【０００９】（発明の目的）本発明の目的は、視野が互
いに合体するｎ個の固定カメラによってカバーされる広
角視野の移動カメラ走査をシミュレートしうるような装
置と方法を得るにある。
いに合体するｎ個の固定カメラによってカバーされる広
角視野の移動カメラ走査をシミュレートしうるような装
置と方法を得るにある。
【００１０】本発明の特殊な目的は、実際に存在する可
動カメラのすべての機能を具え持ったカメラのシミュレ
ート装置を得るにある。すなわち静止位置にある観視者
に、観察またはモニタしているパノラマ状の画面の右又
は左へ向かっての水平角移動と、同じ画面の上又は下へ
向かっての垂直角移動、並びに同じ画面の表面の一部の
回転及びズームを可能にしようとするものである。
動カメラのすべての機能を具え持ったカメラのシミュレ
ート装置を得るにある。すなわち静止位置にある観視者
に、観察またはモニタしているパノラマ状の画面の右又
は左へ向かっての水平角移動と、同じ画面の上又は下へ
向かっての垂直角移動、並びに同じ画面の表面の一部の
回転及びズームを可能にしようとするものである。
【００１１】（目的達成のための手段） 本発明によれば、この目的は、次の如き本発明方法の実
施により達成される。すなわち、原画像と称される固定
フレーム ラインを有する隣接した画像から目標画像を
構成する画像処理方法で、前記原画像と、目標画像とが
ほぼ共通の視点を有している画像の処理方法において、
該方法は、 （ａ）原画像と目標画像をディジタル化する工程、 （ｂ）前記原画像と目標画像のほぼ共通の視点と、前記
共通の視点において発生した固定直交陸標とを決定する
工程、 （ｃ）前記目標画像を完全にカバーするように、目標画
像内の各画素に対するアドレスを画素ずつに発生する工
程、 （ｄ）目標画像内の初期画素と称される現在の画素のア
ドレスを基に、前記初期画素と前記共通の視点とを通過
する光線の、前記固定陸標内における方向を計算する工
程、 （ｅ）前記光線によって横切られる原画像を選択する工
程、 （ｆ）前記光線の前記方向から、前記選択された原画像
において歪みが補正された点のアドレスを計算する工
程、ここに、前記歪みが補正された点は前記初期画素に
対応している、 （ｇ）前記原画像において歪みが補正された点における
輝度値を計算する工程、 （ｈ）歪みが補正された点の輝度値を、目標画像におけ
る初期画素に割当てる工程、および （ｉ）目標画像のすべての画素が処理されるまで、目標
画像の各画素に対して（ｄ）−（ｈ）の工程を反復する
工程を具えてなることを特徴とする隣接する複数画像よ
り画像を形成する画像処理方法。
施により達成される。すなわち、原画像と称される固定
フレーム ラインを有する隣接した画像から目標画像を
構成する画像処理方法で、前記原画像と、目標画像とが
ほぼ共通の視点を有している画像の処理方法において、
該方法は、 （ａ）原画像と目標画像をディジタル化する工程、 （ｂ）前記原画像と目標画像のほぼ共通の視点と、前記
共通の視点において発生した固定直交陸標とを決定する
工程、 （ｃ）前記目標画像を完全にカバーするように、目標画
像内の各画素に対するアドレスを画素ずつに発生する工
程、 （ｄ）目標画像内の初期画素と称される現在の画素のア
ドレスを基に、前記初期画素と前記共通の視点とを通過
する光線の、前記固定陸標内における方向を計算する工
程、 （ｅ）前記光線によって横切られる原画像を選択する工
程、 （ｆ）前記光線の前記方向から、前記選択された原画像
において歪みが補正された点のアドレスを計算する工
程、ここに、前記歪みが補正された点は前記初期画素に
対応している、 （ｇ）前記原画像において歪みが補正された点における
輝度値を計算する工程、 （ｈ）歪みが補正された点の輝度値を、目標画像におけ
る初期画素に割当てる工程、および （ｉ）目標画像のすべての画素が処理されるまで、目標
画像の各画素に対して（ｄ）−（ｈ）の工程を反復する
工程を具えてなることを特徴とする隣接する複数画像よ
り画像を形成する画像処理方法。
【００１２】本発明はかかる方法の実施のため、次の如
き装置をも提案する。すなわち、固定実カメラの個別の
視野が合体して、単一の広角視野を有しパノラマ風景を
観視し得るように配置し、原画像と称される隣接した画
像を供給するｎ個の固定実カメラのシステムと、パノラ
マ風景を連続的に走査する可動仮想カメラをシミュレー
トし、ｎ個の実カメラにより供給された前記原画像より
構成され、広角視野の選択されたセクションに対応する
目標画像と称される副画像を形成する画像構成システム
とを具えた画像処理装置であって、該画像処理装置は、
前記原画像と目標画像をデジタル化する手段、前記両画
像に対する実質的な共通の視点と、この共通の視点にお
いて発生した固定直交陸標を決定する較正手段、画素ず
つに、全目標画像をカバーするような前記目標画像の画
素のそれぞれのアドレスを発生するアドレス発生器、目
標画像内の初期画素と称される現在の画素のアドレスを
基に、前記初期画素と前記共通の視点を通過する光線の
前記固定陸標内における方向を計算し、前記光線によっ
て横切られる原画像を選択し、前記光線の前記方向か
ら、前記初期画素に対応する前記選択された原画像中の
前記歪みが補正された点のアドレスを計算するアドレス
計算機、および前記歪みが補正された点の輝度値を決定
し、前記初期画素に前記輝度値を割当てる手段を具えて
なることを特徴とする隣接する複数画像より画像を形成
する画像処理装置。
き装置をも提案する。すなわち、固定実カメラの個別の
視野が合体して、単一の広角視野を有しパノラマ風景を
観視し得るように配置し、原画像と称される隣接した画
像を供給するｎ個の固定実カメラのシステムと、パノラ
マ風景を連続的に走査する可動仮想カメラをシミュレー
トし、ｎ個の実カメラにより供給された前記原画像より
構成され、広角視野の選択されたセクションに対応する
目標画像と称される副画像を形成する画像構成システム
とを具えた画像処理装置であって、該画像処理装置は、
前記原画像と目標画像をデジタル化する手段、前記両画
像に対する実質的な共通の視点と、この共通の視点にお
いて発生した固定直交陸標を決定する較正手段、画素ず
つに、全目標画像をカバーするような前記目標画像の画
素のそれぞれのアドレスを発生するアドレス発生器、目
標画像内の初期画素と称される現在の画素のアドレスを
基に、前記初期画素と前記共通の視点を通過する光線の
前記固定陸標内における方向を計算し、前記光線によっ
て横切られる原画像を選択し、前記光線の前記方向か
ら、前記初期画素に対応する前記選択された原画像中の
前記歪みが補正された点のアドレスを計算するアドレス
計算機、および前記歪みが補正された点の輝度値を決定
し、前記初期画素に前記輝度値を割当てる手段を具えて
なることを特徴とする隣接する複数画像より画像を形成
する画像処理装置。
【００１３】本発明装置によれば、連続的に移動させて
いる仮想カメラによって供給されるような目標画像を構
成することが可能となる。この目標画像は、観察すべき
光景に対しそれぞれ固定的に配置された一群のカメラの
うちの１つづつによって形成される複数の隣接する原画
像により形成されるものであり、かかる構成により本装
置は、スクリーン上または記録によって次のサービスを
供給しうる。観察風景（シーン）の各部分を、場合によ
りズーム効果を与えて、各画像を順次連続的に読出すこ
と。あるいは、観察シーンを視野をしぼり、あるいは仰
角を制御するか、または回転を加え連続的に走査して読
出すこと。
いる仮想カメラによって供給されるような目標画像を構
成することが可能となる。この目標画像は、観察すべき
光景に対しそれぞれ固定的に配置された一群のカメラの
うちの１つづつによって形成される複数の隣接する原画
像により形成されるものであり、かかる構成により本装
置は、スクリーン上または記録によって次のサービスを
供給しうる。観察風景（シーン）の各部分を、場合によ
りズーム効果を与えて、各画像を順次連続的に読出すこ
と。あるいは、観察シーンを視野をしぼり、あるいは仰
角を制御するか、または回転を加え連続的に走査して読
出すこと。
【００１４】本発明の実施例では、前記較正手段は、さ
らに、アドレス計算機にスケール係数と、各カメラより
独立の前記固定直交陸標内における方位角、視野角およ
び回転角で構成される前記仮想カメラの光学軸の光学軸
の方向とを供給する仮想カメラに関するパラメータを記
憶する第１の記憶手段と、アドレス計算機に、スケール
係数と、前記固定直交陸標内で決定された方位角、視野
角および回転角で構成される各実カメラの光学軸の方向
とを供給する前記実カメラに関するパラメータを記憶す
る第２の記憶手段とを具えてなることを特徴とする隣接
する複数画像より画像を形成する画像処理装置。
らに、アドレス計算機にスケール係数と、各カメラより
独立の前記固定直交陸標内における方位角、視野角およ
び回転角で構成される前記仮想カメラの光学軸の光学軸
の方向とを供給する仮想カメラに関するパラメータを記
憶する第１の記憶手段と、アドレス計算機に、スケール
係数と、前記固定直交陸標内で決定された方位角、視野
角および回転角で構成される各実カメラの光学軸の方向
とを供給する前記実カメラに関するパラメータを記憶す
る第２の記憶手段とを具えてなることを特徴とする隣接
する複数画像より画像を形成する画像処理装置。
【００１５】他の技術的問題が、目標画像の構成に関し
て生じている。複数個のカメラを互に隣接させて配置
し、構成すべきパノラマ シーンの各ゾーンは、各カメ
ラによってカバーされるフィールドを超えないものとす
る。これにより目標画像を構成するすべてのデータが揃
ったものと見なす。しかし各カメラ間の境界において、
１つのカメラよりの画像が他のカメラの画像に変わる個
所において、２つのカメラの視角差があり、２つの隣接
カメラにより記録される２つの隣接ゾーンでは画像に大
なる歪を生ずる。この結果、２つの異なるカメラにより
記録される２つのゾーンの両側によって生ずる境界は表
示が困難でかつ精密さを欠いている。
て生じている。複数個のカメラを互に隣接させて配置
し、構成すべきパノラマ シーンの各ゾーンは、各カメ
ラによってカバーされるフィールドを超えないものとす
る。これにより目標画像を構成するすべてのデータが揃
ったものと見なす。しかし各カメラ間の境界において、
１つのカメラよりの画像が他のカメラの画像に変わる個
所において、２つのカメラの視角差があり、２つの隣接
カメラにより記録される２つの隣接ゾーンでは画像に大
なる歪を生ずる。この結果、２つの異なるカメラにより
記録される２つのゾーンの両側によって生ずる境界は表
示が困難でかつ精密さを欠いている。
【００１６】本発明の他の目的は、２個のカメラの境界
における画像歪みを修正して、境界の両側における部分
画像の表示中も、照準角と方位角の変化による全景の連
続表示中も、この境界が利用者には全く見えないような
形でパノラマ式画像を提供することにある。
における画像歪みを修正して、境界の両側における部分
画像の表示中も、照準角と方位角の変化による全景の連
続表示中も、この境界が利用者には全く見えないような
形でパノラマ式画像を提供することにある。
【００１７】上記目的は、次の如き技術を有する本発明
装置により達成される。視点を通る投影を有する仮想カ
メラのモデルを構成する第１の構成手段、および視点を
通る投影を有するとともに歪みの補正を行った実カメラ
のモデルを構成する第２の構成手段を具えてなることを
特徴とする隣接する複数画像より画像を形成する画像処
理装置。
装置により達成される。視点を通る投影を有する仮想カ
メラのモデルを構成する第１の構成手段、および視点を
通る投影を有するとともに歪みの補正を行った実カメラ
のモデルを構成する第２の構成手段を具えてなることを
特徴とする隣接する複数画像より画像を形成する画像処
理装置。
【００１８】本発明の実施例では、アドレス計算機が、
仮想カメラの画像のアドレスにおける前記初期画素に、
“逆パースペクティブ変換”と称される幾何学的変換を
計算し、その逆パースペクティブ変換においては、前記
第１の構成手段により与えられる仮想カメラのモデル、
並びに第１の記憶手段により与えられ、前記仮想カメラ
の方位角、視野角、回転角およびスケール係数によって
構成されるパラータを考慮に入れ、前記逆パースペクテ
ィブ変換を基に、前記初期画素と視点を通過する光線の
前記陸標内の位置を決定する第１の手段、逆パースペク
ティブ変換によって得られた前記光線の位置を記憶する
手段、該光線によって横切られた原画像を選択する選択
手段、前記陸標内の前記光線に、“直接パースペクティ
ブ変換”と称される幾何学的変換を計算し、この直接透
視変換においては、第２の構成手段により与えられる各
実カメラのモデル、並びに第２の記憶手段により与えら
れる前記選択された原画像に相当するそれぞれの実カメ
ラの方位角、視野角、回転角およびスケール係数によっ
て構成されるパラータを考慮に入れて行う第２の手段、
および前記直接パースペクティブ変換を基に、前記光線
に対応し、従って目標画像内のアドレスにおける前記初
期画素に対応する前記選択された原画像内のアドレスを
供給する記憶手段を具えてなることを特徴とする隣接す
る複数画像より画像を形成する画像処理装置。
仮想カメラの画像のアドレスにおける前記初期画素に、
“逆パースペクティブ変換”と称される幾何学的変換を
計算し、その逆パースペクティブ変換においては、前記
第１の構成手段により与えられる仮想カメラのモデル、
並びに第１の記憶手段により与えられ、前記仮想カメラ
の方位角、視野角、回転角およびスケール係数によって
構成されるパラータを考慮に入れ、前記逆パースペクテ
ィブ変換を基に、前記初期画素と視点を通過する光線の
前記陸標内の位置を決定する第１の手段、逆パースペク
ティブ変換によって得られた前記光線の位置を記憶する
手段、該光線によって横切られた原画像を選択する選択
手段、前記陸標内の前記光線に、“直接パースペクティ
ブ変換”と称される幾何学的変換を計算し、この直接透
視変換においては、第２の構成手段により与えられる各
実カメラのモデル、並びに第２の記憶手段により与えら
れる前記選択された原画像に相当するそれぞれの実カメ
ラの方位角、視野角、回転角およびスケール係数によっ
て構成されるパラータを考慮に入れて行う第２の手段、
および前記直接パースペクティブ変換を基に、前記光線
に対応し、従って目標画像内のアドレスにおける前記初
期画素に対応する前記選択された原画像内のアドレスを
供給する記憶手段を具えてなることを特徴とする隣接す
る複数画像より画像を形成する画像処理装置。
【００１９】
【作用】本装置を用いると、パノラマ式情景が表示され
るので、画面をモニタしている利用者にとっては、ズー
ムと機械的手段とで、照準、方位、およびカメラの光軸
の回りの回転角を変化できる移動カメラを所有するの
と、全く同一の利用上の便利さとサービスが得られる。
その利点は機械的手段が不要なことである。機械的手段
は、方位角と視角を変化させるモータ及びズーム用モー
タを含む。これらの在来の機械的手段は幾つかの欠点が
ある。すなわち第一に故障で動かないことがあり、次に
は動きが極めて遅いことである。さらにこれらは極めて
高価となる。しかもこれらの機械的手段は装置の外部に
装着されるので気候による劣化が生ずる。本発明に基づ
く電子画像処理手段では、動作が非常に精密、高信頼
で、非常に迅速かつ制御が容易なため、これらすべての
欠点が回避される。しかもこれらは装置に内蔵されるの
で気候による劣化を受けにくい。その上、電子手段は機
能の自動化のためのプログラム化が容易である。最後に
本発明の電子手段はコストがより低廉である。
るので、画面をモニタしている利用者にとっては、ズー
ムと機械的手段とで、照準、方位、およびカメラの光軸
の回りの回転角を変化できる移動カメラを所有するの
と、全く同一の利用上の便利さとサービスが得られる。
その利点は機械的手段が不要なことである。機械的手段
は、方位角と視角を変化させるモータ及びズーム用モー
タを含む。これらの在来の機械的手段は幾つかの欠点が
ある。すなわち第一に故障で動かないことがあり、次に
は動きが極めて遅いことである。さらにこれらは極めて
高価となる。しかもこれらの機械的手段は装置の外部に
装着されるので気候による劣化が生ずる。本発明に基づ
く電子画像処理手段では、動作が非常に精密、高信頼
で、非常に迅速かつ制御が容易なため、これらすべての
欠点が回避される。しかもこれらは装置に内蔵されるの
で気候による劣化を受けにくい。その上、電子手段は機
能の自動化のためのプログラム化が容易である。最後に
本発明の電子手段はコストがより低廉である。
【００２０】本発明によるとユーザは歪がなく、極めて
精度の高い画像が得られ、従来の機械的手段に比しより
容易に観視操作ができる。更に、より大きな視野のパノ
ラマ画像を得ることが可能である、というのは使用カメ
ラの数によっては180 度もしくは360 度の視野さえも実
現できるからである。関連作業も容易にプログラム化可
能である。
精度の高い画像が得られ、従来の機械的手段に比しより
容易に観視操作ができる。更に、より大きな視野のパノ
ラマ画像を得ることが可能である、というのは使用カメ
ラの数によっては180 度もしくは360 度の視野さえも実
現できるからである。関連作業も容易にプログラム化可
能である。
【００２１】監視については大きな進歩が達成できる。
自動車用のパノラマ式バックミラー<Panoramic rear-vi
ew> 手段を実現するにも、この進歩は非常に重要であ
る。
自動車用のパノラマ式バックミラー<Panoramic rear-vi
ew> 手段を実現するにも、この進歩は非常に重要であ
る。
【００２２】目標画像を構成するために、数個のカメラ
を要することは欠点ではない。というのは、照準と方位
を変更するのに、昨今のCCD カメラ（電荷結合素子）の
アッセンブリは、機械装置に比し、視野、方位角及び回
転の変化ならびに単一の実可動カメラのズーム等の扱い
がより容易だからである。
を要することは欠点ではない。というのは、照準と方位
を変更するのに、昨今のCCD カメラ（電荷結合素子）の
アッセンブリは、機械装置に比し、視野、方位角及び回
転の変化ならびに単一の実可動カメラのズーム等の扱い
がより容易だからである。
【００２３】本発明の実施例では、輝度決定手段は、選
択手段によって供給され前記選択された原画像内の、ア
ドレス計算機によって見出されたアドレスにおける輝度
関数の最も確からしい値計算する補間器、およびアドレ
ス発生器によって供給されるアドレスにおいて、目標画
像内の初期画素に対し、前記選択された原画像内で発見
されたアドレスに対応する前記計算された輝度値を割当
てる第３の記憶手段を具えてなる画像処理装置である。
択手段によって供給され前記選択された原画像内の、ア
ドレス計算機によって見出されたアドレスにおける輝度
関数の最も確からしい値計算する補間器、およびアドレ
ス発生器によって供給されるアドレスにおいて、目標画
像内の初期画素に対し、前記選択された原画像内で発見
されたアドレスに対応する前記計算された輝度値を割当
てる第３の記憶手段を具えてなる画像処理装置である。
【００２４】Ｉ／撮像システム 図1Gは、180 度の角度に亘る一つの情景に関するデータ
を記録するための、固定実カメラ数個の一つの可能な並
べ方を示す。このパノラマ式情景は三個のカメラC1, C
2, C3で記録される。これらのカメラの有する視野によ
り、パノラマ式情景の詳細は必ずどれか一個のカメラで
記録され、監視から外れる対象は全く存在しない。これ
らのカメラの視点は、共通のＰか、それとも互いに極め
て近接しているかである。
を記録するための、固定実カメラ数個の一つの可能な並
べ方を示す。このパノラマ式情景は三個のカメラC1, C
2, C3で記録される。これらのカメラの有する視野によ
り、パノラマ式情景の詳細は必ずどれか一個のカメラで
記録され、監視から外れる対象は全く存在しない。これ
らのカメラの視点は、共通のＰか、それとも互いに極め
て近接しているかである。
【００２５】三本の軸PZ1, PZ2, PZ3 はそれぞれ、カメ
ラC1, C2, C3の光軸を示し、三個の点01, 02, 03は、そ
れぞれ光軸上における画像平面（image plane)上の画像
I1,I2, I3の幾何学中心を示す。
ラC1, C2, C3の光軸を示し、三個の点01, 02, 03は、そ
れぞれ光軸上における画像平面（image plane)上の画像
I1,I2, I3の幾何学中心を示す。
【００２６】角度 360度に亘る水平監視は、六個のカメ
ラを適当に配置すれば実行できる。しかし、垂直監視
も、（水平・垂直）両方向の監視もできる可能性があ
る。当業者であれば、如何なる型のパノラマ画像の構成
も実現できる筈なので、カメラの各種の相互配置をこれ
以上詳しく述べることは不要と考える。
ラを適当に配置すれば実行できる。しかし、垂直監視
も、（水平・垂直）両方向の監視もできる可能性があ
る。当業者であれば、如何なる型のパノラマ画像の構成
も実現できる筈なので、カメラの各種の相互配置をこれ
以上詳しく述べることは不要と考える。
【００２７】図1Aにおいて、撮像装置はｎ個の複数実カ
メラを含み、これらは既知の固定焦点距離を有し互いに
隣接して配置されるため、それらの個々の視野を合わせ
ると広角視野が得られる。これらｎ個の固定カメラはｎ
個の隣接する画像を生成し、この撮像装置でパノラマ式
情景が監視できる。これらカメラの有する光学視野によ
り、上記パノラマ式情景のあらゆる詳細がどれか一つの
カメラには記録され、監視対象が脱落することは無い。
メラを含み、これらは既知の固定焦点距離を有し互いに
隣接して配置されるため、それらの個々の視野を合わせ
ると広角視野が得られる。これらｎ個の固定カメラはｎ
個の隣接する画像を生成し、この撮像装置でパノラマ式
情景が監視できる。これらカメラの有する光学視野によ
り、上記パノラマ式情景のあらゆる詳細がどれか一つの
カメラには記録され、監視対象が脱落することは無い。
【００２８】この結果を得るため、これらｎ個の隣接固
定カメラの配置も、視点と称するそれら光学中心Ｐが一
致するような方法でなされる。カメラの視点とは、光源
から発射されこの点を通る各光線が、逸脱することなく
そのカメラの光学系を横切るような点と定義される。
定カメラの配置も、視点と称するそれら光学中心Ｐが一
致するような方法でなされる。カメラの視点とは、光源
から発射されこの点を通る各光線が、逸脱することなく
そのカメラの光学系を横切るような点と定義される。
【００２９】ｎ個のカメラの視点は物理的に一致する必
要はない。しかし、以下の記述では、これら各視点の距
離が撮影するパノラマ式情景に比して小さく、例えば相
互の距離が５〜10cmでパノラマ式情景への距離が５ｍで
あるような場合には、一致の条件は十分に満たされてい
ると仮定する。このようにもしこれらの距離の比が50ま
たはそれ以上であるなら一致の条件は満たされているも
のと考え得るので、本発明によれば、調整の困難でかつ
高価な光学ミラーを用いて視点の厳密な一致を達成する
必要はない。
要はない。しかし、以下の記述では、これら各視点の距
離が撮影するパノラマ式情景に比して小さく、例えば相
互の距離が５〜10cmでパノラマ式情景への距離が５ｍで
あるような場合には、一致の条件は十分に満たされてい
ると仮定する。このようにもしこれらの距離の比が50ま
たはそれ以上であるなら一致の条件は満たされているも
のと考え得るので、本発明によれば、調整の困難でかつ
高価な光学ミラーを用いて視点の厳密な一致を達成する
必要はない。
【００３０】II／複数カメラによる画像の形成 本発明の一つの目的は、一個の移動カメラ(mobile came
ra) を模擬したデジタル画像を再構成するシステムを提
供することである。ここで移動カメラとは、利用者の選
んだ設定によりｎ個の固定カメラの記録したパノラマ式
情景の如何なる部分またはサブ画像をも作成できる能力
を有するカメラである。
ra) を模擬したデジタル画像を再構成するシステムを提
供することである。ここで移動カメラとは、利用者の選
んだ設定によりｎ個の固定カメラの記録したパノラマ式
情景の如何なる部分またはサブ画像をも作成できる能力
を有するカメラである。
【００３１】ｎ個のカメラにはC1,---,Ci ，Cj,---,Cn
の番号を付しそれぞれはデジタル原画像I1,---,Ii, Ij,
----,In を生成するものとする。以下の記述では例え
ば、原画像IiとIjは二個の隣接固定実カメラCiとCjが生
成するものと考える。
の番号を付しそれぞれはデジタル原画像I1,---,Ii, Ij,
----,In を生成するものとする。以下の記述では例え
ば、原画像IiとIjは二個の隣接固定実カメラCiとCjが生
成するものと考える。
【００３２】これら固定実カメラCiとCjは、パノラマ式
情景のうち隣接する原画像平面IiとIjをそれぞれ形成す
る。図1Aにおいて、原画像IiとIjの幾何学中心OiとOjを
通過する軸Pzi とPzj は、それぞれ固定実カメラCiとCj
の光軸を示す。
情景のうち隣接する原画像平面IiとIjをそれぞれ形成す
る。図1Aにおいて、原画像IiとIjの幾何学中心OiとOjを
通過する軸Pzi とPzj は、それぞれ固定実カメラCiとCj
の光軸を示す。
【００３３】図1Bにおいて、直交軸から成る陸標Px, P
y, Pzにおいては、軸PxとPzは水平で、軸Pyは垂直と定
義する。
y, Pzにおいては、軸PxとPzは水平で、軸Pyは垂直と定
義する。
【００３４】画像Ii, Ijなどの原画像には番号が付与さ
れ、これら画像の各画素ｍは画像平面内の座標により標
識（mark) が付けられる。図1Cに示すように、矩形座標
(OiXi, OiYi)および(OjXj, OjYj)の標識は、軸OiXiまた
はOjXjが水平であるような各画像平面、すなわち陸標P
x, Pzの平面において定義される。(OiXi, OiYi)及び(Oj
Xj)で定義される画像平面は、それぞれ光軸Pzi とPzj
に垂直であり、幾何学中心OiとOjを有する。
れ、これら画像の各画素ｍは画像平面内の座標により標
識（mark) が付けられる。図1Cに示すように、矩形座標
(OiXi, OiYi)および(OjXj, OjYj)の標識は、軸OiXiまた
はOjXjが水平であるような各画像平面、すなわち陸標P
x, Pzの平面において定義される。(OiXi, OiYi)及び(Oj
Xj)で定義される画像平面は、それぞれ光軸Pzi とPzj
に垂直であり、幾何学中心OiとOjを有する。
【００３５】これらカメラの各画像平面に関する個々の
標識が設定され終わると、これら固定原画像平面は以下
の各手段により陸標に関係が付けられる： ーそれらの方位角（またはパン角）Θi ，Θj −それらの照準角（または傾斜角）Φi ，Φj 。
標識が設定され終わると、これら固定原画像平面は以下
の各手段により陸標に関係が付けられる： ーそれらの方位角（またはパン角）Θi ，Θj −それらの照準角（または傾斜角）Φi ，Φj 。
【００３６】方位角Θi またはΘj は光軸PZi またはPZ
j を含む垂直面と陸標の水平軸Pzの成す角である。従っ
て、これは垂直軸Pyの周りの水平回転角である。
j を含む垂直面と陸標の水平軸Pzの成す角である。従っ
て、これは垂直軸Pyの周りの水平回転角である。
【００３７】照準角Φi またはΦj は光軸PZi ，PZj と
水平面(Px, Py)の成す角である。従って、これは水平
軸、各画像平面の軸OiXiまたはOjXjの周りの垂直回転各
である。
水平面(Px, Py)の成す角である。従って、これは水平
軸、各画像平面の軸OiXiまたはOjXjの周りの垂直回転各
である。
【００３８】簡単のため、図1Aに例示したように、今後
は、固定カメラCi, Cjの生成する原画像平面Ii, Ijは垂
直である、すなわちそれらの照準角Φi ，Φj はゼロで
あると仮定する。
は、固定カメラCi, Cjの生成する原画像平面Ii, Ijは垂
直である、すなわちそれらの照準角Φi ，Φj はゼロで
あると仮定する。
【００３９】同様な理由から、簡単のため、今後説明す
る原画像と目標画像の双方について、図1Aが平面と軸及
び対応する平面と軸の投影を示すものとする。
る原画像と目標画像の双方について、図1Aが平面と軸及
び対応する平面と軸の投影を示すものとする。
【００４０】形成された画像を図式的に示す図1Aは、従
って、水平面Px, Pzにおけるセグメントにより代表され
る固定原画像平面の投影IiとIjのみを示している。
って、水平面Px, Pzにおけるセグメントにより代表され
る固定原画像平面の投影IiとIjのみを示している。
【００４１】図1Eは、例えば二個の隣接カメラCi, Cjに
よって生成されたパノラマ式画像の隣接画像Ii, Ijを示
している。本図においては、簡単のため、画像IiとIjは
同一平面に投影されているが、実際にはこれら画像は、
相互に固定カメラの光軸の成す角に等しい角を形成して
いる。これらの画像において、利用者は、線Joで区切ら
れる如何なるサブ画像をも、多少左右寄りあるいは多少
上下寄りで、固定カメラと同一倍率でまたは倍率を拡大
あるいは縮小して選択観測できる。
よって生成されたパノラマ式画像の隣接画像Ii, Ijを示
している。本図においては、簡単のため、画像IiとIjは
同一平面に投影されているが、実際にはこれら画像は、
相互に固定カメラの光軸の成す角に等しい角を形成して
いる。これらの画像において、利用者は、線Joで区切ら
れる如何なるサブ画像をも、多少左右寄りあるいは多少
上下寄りで、固定カメラと同一倍率でまたは倍率を拡大
あるいは縮小して選択観測できる。
【００４２】模擬した移動カメラは、図1EのJoで区切っ
た原画像の部分Si, Sjから、目標画像Ioを構成する能力
がある。以後Coで示すこのカメラは、仮想カメラと呼ぶ
が、それは実際に存在しないカメラを模擬するからであ
る。明らかにこの移動カメラは二個の画像Ii, Ijを走査
するだけではない。I1からInまでのすべての原画像の走
査が可能である。
た原画像の部分Si, Sjから、目標画像Ioを構成する能力
がある。以後Coで示すこのカメラは、仮想カメラと呼ぶ
が、それは実際に存在しないカメラを模擬するからであ
る。明らかにこの移動カメラは二個の画像Ii, Ijを走査
するだけではない。I1からInまでのすべての原画像の走
査が可能である。
【００４３】この仮想カメラCoは固定カメラと同様の仕
方で、以下の各項すなわち、 −その方位角Θo −その照準角Φo −その回転角Ψo −及びその焦点距離POo により決まりzoで表示される倍
率（ズ−ム効果） により定義でき、その視点Ｐは固定実カメラの各視点と
共通であり、一方、Ooは目標画像Ioの幾何学中心であ
る。この仮想カメラの視点は実カメラに対して以前定義
した視点と近似的に共通である。
方で、以下の各項すなわち、 −その方位角Θo −その照準角Φo −その回転角Ψo −及びその焦点距離POo により決まりzoで表示される倍
率（ズ−ム効果） により定義でき、その視点Ｐは固定実カメラの各視点と
共通であり、一方、Ooは目標画像Ioの幾何学中心であ
る。この仮想カメラの視点は実カメラに対して以前定義
した視点と近似的に共通である。
【００４４】図1Aは、仮想カメラの画像平面に関する水
平面における投影であってIoで示され、その光軸PZo は
目標画像Ioの幾何学中心Ooを通過している。
平面における投影であってIoで示され、その光軸PZo は
目標画像Ioの幾何学中心Ooを通過している。
【００４５】この移動仮想カメラCoの定義において、方
位角Θo は、その光軸PZo を含む垂直平面が陸標の水平
軸Pzと成す角度である； 照準角Φo はその光軸PZo が
陸標の水平面Px, Pzと成す角度である； その角Ψo は
仮想カメラの、その光軸（固定）の周りの回転角であ
り； 最後にその焦点距離POo は可変で、この目標画像
の倍率が原画像の倍率に関して変化し得る（ズ−ム効
果）ようになっている。
位角Θo は、その光軸PZo を含む垂直平面が陸標の水平
軸Pzと成す角度である； 照準角Φo はその光軸PZo が
陸標の水平面Px, Pzと成す角度である； その角Ψo は
仮想カメラの、その光軸（固定）の周りの回転角であ
り； 最後にその焦点距離POo は可変で、この目標画像
の倍率が原画像の倍率に関して変化し得る（ズ−ム効
果）ようになっている。
【００４６】上記方位角Θo 、照準角Φo 、回転角Ψo
、及び焦点距離POo を変化することにより、この仮想
カメラは、異なる固定カメラC1ないしCnの視野を合成し
て形成した、広角の視野を走査する一個の移動カメラと
全く同様の機能を有することになる。
、及び焦点距離POo を変化することにより、この仮想
カメラは、異なる固定カメラC1ないしCnの視野を合成し
て形成した、広角の視野を走査する一個の移動カメラと
全く同様の機能を有することになる。
【００４７】注意しておきたいことは、仮想カメラCo
は、広角視野のうちJoで区切った小部分（またはサブセ
クション）を見ることができ、そしてこの場合、その可
変焦点距離POo を変化することにより、拡大した画像I
o、例えば、各カメラC1,---,Cnが生成する画像I1,---,I
n のそれぞれと同一の最終寸法を有する拡大画像を実現
することができるのである。
は、広角視野のうちJoで区切った小部分（またはサブセ
クション）を見ることができ、そしてこの場合、その可
変焦点距離POo を変化することにより、拡大した画像I
o、例えば、各カメラC1,---,Cnが生成する画像I1,---,I
n のそれぞれと同一の最終寸法を有する拡大画像を実現
することができるのである。
【００４８】同様に注意したいのは、この移動カメラの
視野の変位は連続的かつ任意に行なえることである；Jo
に対応するこの視野は、二個の隣接カメラCiとCjの生成
する隣接画像IiとIjの二つの部分(Si, Sj)の上か両側に
あってもよい。
視野の変位は連続的かつ任意に行なえることである；Jo
に対応するこの視野は、二個の隣接カメラCiとCjの生成
する隣接画像IiとIjの二つの部分(Si, Sj)の上か両側に
あってもよい。
【００４９】この場合、仮想カメラCoにより構成される
画像Ioは二つの画像部分を含み、その一部Ioi はデジタ
ル画像Iiの情報Siに基づいて構成され、他の部分Ioj は
デジタル画像Ijの情報Sjに基づいて構成される。図1Aに
おいて、Ioi とIoj は、水平平面における目標画像Ioi
とIoj の投影を表す。
画像Ioは二つの画像部分を含み、その一部Ioi はデジタ
ル画像Iiの情報Siに基づいて構成され、他の部分Ioj は
デジタル画像Ijの情報Sjに基づいて構成される。図1Aに
おいて、Ioi とIoj は、水平平面における目標画像Ioi
とIoj の投影を表す。
【００５０】同様に実画像に関しては、直角座標(Oo, X
o, Oo, Yo)の標識を、ここで図1Dを参照してデジタル目
標画像平面Ioの中で定義する。この標識の中では、軸Oo
Xoは水平であり、すなわち陸標Px, Pzの水平面内にあ
る。画素Ooは目標画像Ioの幾何学中心であり、また仮想
カメラCo光軸PZo 上にも存在する。目標画像平面の各画
素ｍ’はこうしてこの直角座標軸(Oo, Xo, Oo, Yo)系に
おけるその座標によりマ−クされる。
o, Oo, Yo)の標識を、ここで図1Dを参照してデジタル目
標画像平面Ioの中で定義する。この標識の中では、軸Oo
Xoは水平であり、すなわち陸標Px, Pzの水平面内にあ
る。画素Ooは目標画像Ioの幾何学中心であり、また仮想
カメラCo光軸PZo 上にも存在する。目標画像平面の各画
素ｍ’はこうしてこの直角座標軸(Oo, Xo, Oo, Yo)系に
おけるその座標によりマ−クされる。
【００５１】目標画像の枠組み（framework)も、その寸
法は、水平方向では画素数により、垂直方向では線数に
より定義される。
法は、水平方向では画素数により、垂直方向では線数に
より定義される。
【００５２】III／目標画像を原画像から構成する方法 本発明に基づくデジタル画像処理手段は、固定実カメラ
により生成される「原画像」から仮想カメラにより生成
される「目標画像」を構成するためのものである。
により生成される「原画像」から仮想カメラにより生成
される「目標画像」を構成するためのものである。
【００５３】既に記述したように、目標画像の構成にお
いては技術問題が発生する可能性がある、というのは、
隣接実カメラにより生成され、図7Aと7Bにおけるデジタ
ル情景画像の形で示されるる画像IiとIjは、正しく接合
（blend)されないための歪みを示している： 特に直線
のある部分は曲がり、垂直線が垂直でないなどである。
その結果、これらを接合すると、これらの線はつながる
代わりに切れてしまう。その上、継目の両側の原画像の
部分は、別々の透視画法によって眺めたパノラマ情景と
して出現する。その結果として、目標画像Ioi とIoj は
うまく接続できず、これは図7Cに例示した通り、デジタ
ル画像7Aと7Bの単純な併置に終わってしまう。
いては技術問題が発生する可能性がある、というのは、
隣接実カメラにより生成され、図7Aと7Bにおけるデジタ
ル情景画像の形で示されるる画像IiとIjは、正しく接合
（blend)されないための歪みを示している： 特に直線
のある部分は曲がり、垂直線が垂直でないなどである。
その結果、これらを接合すると、これらの線はつながる
代わりに切れてしまう。その上、継目の両側の原画像の
部分は、別々の透視画法によって眺めたパノラマ情景と
して出現する。その結果として、目標画像Ioi とIoj は
うまく接続できず、これは図7Cに例示した通り、デジタ
ル画像7Aと7Bの単純な併置に終わってしまう。
【００５４】本発明は、これらの欠点を除去して、歪み
も透視画法の欠点もないデジタル画像を再構成でき、そ
の構成部分Ioi とIoj が、両者の境界の直線が観測者や
利用者に見えないように接続され得るような方法と手段
を提案するものである。
も透視画法の欠点もないデジタル画像を再構成でき、そ
の構成部分Ioi とIoj が、両者の境界の直線が観測者や
利用者に見えないように接続され得るような方法と手段
を提案するものである。
【００５５】図7Dは、図7Cに関するデジタル情景画像を
示すもので、ここでは図7Cの歪みと透視画法の欠点が本
発明に基づく手段により修整されている。
示すもので、ここでは図7Cの歪みと透視画法の欠点が本
発明に基づく手段により修整されている。
【００５６】原画像を構成する方法は、以下に説明する
信号処理装置により実行される各種の段階を含む。
信号処理装置により実行される各種の段階を含む。
【００５７】この方法に含まれる第一の段階は： −原画像におけるアドレスAqのｍ点を、目標画像Ioにお
いてアドレスAoを有する画素ｍ’と対応付けることであ
る。そのアドレス(Ao)は以下により定義される； −この原画像を生成する実カメラの参照または索引番
号； −この原画像における点ｍのアドレスAq。
いてアドレスAoを有する画素ｍ’と対応付けることであ
る。そのアドレス(Ao)は以下により定義される； −この原画像を生成する実カメラの参照または索引番
号； −この原画像における点ｍのアドレスAq。
【００５８】この方法に含まれる第二の段階は： −原画像における上記の点において最も確からしい輝度
の値を見積もること； −次いでこの輝度の値を目標画像における画素ｍ’に割
り当てることである。
の値を見積もること； −次いでこの輝度の値を目標画像における画素ｍ’に割
り当てることである。
【００５９】これらの段階は目標画像Ioの画素ｍ’のす
べてについて行なわれる。
べてについて行なわれる。
【００６０】この処理手段の構成する目標画像において
は、下記のように、在来の移動カメラを使用する観測者
の得る画像の全品質を実現することが可能である： −歪みが無く、透視画の調整が不要、 −二個またはそれ以上の隣接画像の間の境界における切
れ目の直線（straightinterrupting lines)が出現しな
い。従って、問題はこれらの直線を如何にして見えなく
するかである。
は、下記のように、在来の移動カメラを使用する観測者
の得る画像の全品質を実現することが可能である： −歪みが無く、透視画の調整が不要、 −二個またはそれ以上の隣接画像の間の境界における切
れ目の直線（straightinterrupting lines)が出現しな
い。従って、問題はこれらの直線を如何にして見えなく
するかである。
【００６１】IV／画像処理装置の必須の要素 図２には、本発明に基づく画像処理装置の各種の要素を
機能ブロックの形で示す。
機能ブロックの形で示す。
【００６２】ブロックC1, Ci, Cj,---、Cnはｎ個の固定
実カメラを示し、それらが出力として作成するｎ個の原
画像をI1,---,Ii, Ij,---,Inの記号で表す。
実カメラを示し、それらが出力として作成するｎ個の原
画像をI1,---,Ii, Ij,---,Inの記号で表す。
【００６３】各実カメラの有する撮像パラメ−タ（pick
-up parameters) は、情景に対するそのカメ ラの向き
(orientation) と規模係数（scale factor) に対応す
る。これらのパラメータは正確に知る必要がある。
-up parameters) は、情景に対するそのカメ ラの向き
(orientation) と規模係数（scale factor) に対応す
る。これらのパラメータは正確に知る必要がある。
【００６４】ブロック１は、一個の制御システムであ
り、これにより利用者は、仮想カメラCoの向きと規模係
数に関するパラメ−タを選択し表示できる。
り、これにより利用者は、仮想カメラCoの向きと規模係
数に関するパラメ−タを選択し表示できる。
【００６５】ブロック 100は画像再構成システム（imag
e reconstruction system)であり、この働きにより、実
カメラC1, C2,---,Cn が作った原画像I1, I2,---,1n に
基づいて、制御システム１で利用者の定義したパラメ−
タにより向きを決め調整された仮想カメラCoの与える、
「目標画像」と呼ばれる画像Ioの計算が可能になる。仮
想カメラCoは、その視点が実カメラの視点Ｐと共通であ
るか、または近接する視点を持つように設定される。
e reconstruction system)であり、この働きにより、実
カメラC1, C2,---,Cn が作った原画像I1, I2,---,1n に
基づいて、制御システム１で利用者の定義したパラメ−
タにより向きを決め調整された仮想カメラCoの与える、
「目標画像」と呼ばれる画像Ioの計算が可能になる。仮
想カメラCoは、その視点が実カメラの視点Ｐと共通であ
るか、または近接する視点を持つように設定される。
【００６６】ブロック10は表示手段または記録手段に対
応し、特に実時間表示にはデジタル型のモニターテレ
ビ、ビデオ・テープ録画にはビデオ・レコーダが用いら
れ、あるいは両者が併用される。
応し、特に実時間表示にはデジタル型のモニターテレ
ビ、ビデオ・テープ録画にはビデオ・レコーダが用いら
れ、あるいは両者が併用される。
【００６７】実カメラはアナログデ−タを生成すること
に注意すべきである。この場合、Ａ／Ｄ変換モジュール
（図示せず）を用いてデジタル原画像を形成する。
に注意すべきである。この場合、Ａ／Ｄ変換モジュール
（図示せず）を用いてデジタル原画像を形成する。
【００６８】その利点から、当業者は多分CCD （電荷結
合素子）カメラを選択する筈である。この型のカメラは
扱いが容易で軽量、堅牢かつ信頼性が高い。また解像度
が極めて高く、技術進歩とともに今後一層改良されると
思われる。
合素子）カメラを選択する筈である。この型のカメラは
扱いが容易で軽量、堅牢かつ信頼性が高い。また解像度
が極めて高く、技術進歩とともに今後一層改良されると
思われる。
【００６９】Ｖ／画像処理装置の構成要素の詳細 図３には、処理動作を実現するため必須の手段に対応す
る機能ブロックを図式的に示した。
る機能ブロックを図式的に示した。
【００７０】これらの手段は主として以下を含む： −利用者インタフェイス２、 −原画像選択器 205を含むアドレス計算器200 ； −内挿器 112、 −アドレス生成器 113、これは画素ごとに、目標画像Io
の各画素のアドレスAoを構成することにより、目標画像
Io全体をカバ−する、 −仮想カメラCoのパラメ−タΦo ，Θo ，Ψo ，Ｚo
（規模係数）を蓄積する第一の手段 210、 −パラメ−タΦ1 〜Φn 、Θ1 〜Θn 、Ψ1 〜Ψn 、Ｚ
1 〜Ｚn （実カメラC1〜Cnの規模係数）をそれぞれ蓄積
する第二の手段21.1〜21.n、 −第三の蓄積手段 117。
の各画素のアドレスAoを構成することにより、目標画像
Io全体をカバ−する、 −仮想カメラCoのパラメ−タΦo ，Θo ，Ψo ，Ｚo
（規模係数）を蓄積する第一の手段 210、 −パラメ−タΦ1 〜Φn 、Θ1 〜Θn 、Ψ1 〜Ψn 、Ｚ
1 〜Ｚn （実カメラC1〜Cnの規模係数）をそれぞれ蓄積
する第二の手段21.1〜21.n、 −第三の蓄積手段 117。
【００７１】構成すべき目標画像の各画素ｍ’に対応す
る一個のアドレスAoが、目標画像Ioのアドレスを生成す
るためのブロック 113に蓄積される。アドレス計算器 2
00は、利用者の選んだ設定機能（厳密にいえば利用者イ
ンタフェイス２によって制御ブロック１に入り、ブロッ
ク 210において仮想カメラのパラメータΦo 、Θo 、Ψ
o 、Ｚo として蓄積される機能）、及び、ブロック21.
1, 21.j, 21.nに蓄積された実カメラのパラメータΦj
、Θj 、Ψj 、Ｚj （ここでｊはカメラ１〜ｎの索引
の代表）の機能とを勘案して、目標画像Ioの画素ｍ’の
アドレスAoに対応するデータを有する画像Ijを供給でき
る実カメラCjの索引ｊを（すべての索引１〜ｎの中か
ら）見出だす。
る一個のアドレスAoが、目標画像Ioのアドレスを生成す
るためのブロック 113に蓄積される。アドレス計算器 2
00は、利用者の選んだ設定機能（厳密にいえば利用者イ
ンタフェイス２によって制御ブロック１に入り、ブロッ
ク 210において仮想カメラのパラメータΦo 、Θo 、Ψ
o 、Ｚo として蓄積される機能）、及び、ブロック21.
1, 21.j, 21.nに蓄積された実カメラのパラメータΦj
、Θj 、Ψj 、Ｚj （ここでｊはカメラ１〜ｎの索引
の代表）の機能とを勘案して、目標画像Ioの画素ｍ’の
アドレスAoに対応するデータを有する画像Ijを供給でき
る実カメラCjの索引ｊを（すべての索引１〜ｎの中か
ら）見出だす。
【００７２】続いて、画像選択器 205がｎ個の実カメラ
の中の実カメラCj、及びこれに対応して処理すべきデー
タの存在する原画像Ijを選択する。
の中の実カメラCj、及びこれに対応して処理すべきデー
タの存在する原画像Ijを選択する。
【００７３】同一の要素に基づき、アドレス計算器 200
は、この選択された原画像Ijの中の対応する点ｍのアド
レスAqを計算するが、この計算はインタフェイス２で利
用者の行なう各種の透視変換を媒介として行なわれる。
は、この選択された原画像Ijの中の対応する点ｍのアド
レスAqを計算するが、この計算はインタフェイス２で利
用者の行なう各種の透視変換を媒介として行なわれる。
【００７４】こうして目標画像Ioの与えられたアドレス
Aoにおける画素ｍ’と、原画像Ijについて計算したアド
レスAqにおける点ｍとの間の対応が確立する。
Aoにおける画素ｍ’と、原画像Ijについて計算したアド
レスAqにおける点ｍとの間の対応が確立する。
【００７５】続いて、原画像Ijの中のアドレスAqの点ｍ
の輝度の値が、目標画像Ioの中のアドレスAoにおける対
応画素ｍ’に割り当てるため、計算される。これが目標
画像Ｉｏのすべての画素について繰り返される。
の輝度の値が、目標画像Ioの中のアドレスAoにおける対
応画素ｍ’に割り当てるため、計算される。これが目標
画像Ｉｏのすべての画素について繰り返される。
【００７６】目標画像Ioにおけるアドレスは実際にｍ’
であるが、原画像IjにおけるアドレスAqは正に計算した
アドレスであるため、一般にこの見付けたアドレスは、
画素ではなく、画素間の一個の点と一致する。従ってこ
の点ｍの輝度も是非計算する必要がある。
であるが、原画像IjにおけるアドレスAqは正に計算した
アドレスであるため、一般にこの見付けたアドレスは、
画素ではなく、画素間の一個の点と一致する。従ってこ
の点ｍの輝度も是非計算する必要がある。
【００７７】図４では、計算されたアドレスAqが、原画
像Ijのどの画素とも一致しない場合に起こる問題を説明
している。
像Ijのどの画素とも一致しない場合に起こる問題を説明
している。
【００７８】この問題を処理するのが内挿器 112であ
る。
る。
【００７９】内挿器 112は、問題のアドレスAqに与える
べき光の強度（light intensity)を計算するのに、例え
ば、アドレスAq近傍の画素の灰色レベルか、または輝度
（luminance)の関数としての何らかの値を勘案する。内
挿によって、ブロック 112はアドレスAqに与えるのが最
も適当と思われる光の強度を計算する。
べき光の強度（light intensity)を計算するのに、例え
ば、アドレスAq近傍の画素の灰色レベルか、または輝度
（luminance)の関数としての何らかの値を勘案する。内
挿によって、ブロック 112はアドレスAqに与えるのが最
も適当と思われる光の強度を計算する。
【００８０】内挿のためには数種類の関数を利用し得る
が、複雑さに大小があり、その複雑さに応じて調整結果
の精度が変わる。
が、複雑さに大小があり、その複雑さに応じて調整結果
の精度が変わる。
【００８１】極めて簡単な内挿関数は図４に示す双線形
（bilinear) 内挿である。アドレスAqは整数部 と分数
部を含む。このため、アドレスAqは四個の隣接画素ml,
m2,m3, m4の間に位置する。このアドレスの分数部は、m
1からm2の向きを正として計算したΔx 、及びm1からm3
の向きを正として計算したΔy で示す。m1とm3の距離及
びm1とm2の距離は一画素である。
（bilinear) 内挿である。アドレスAqは整数部 と分数
部を含む。このため、アドレスAqは四個の隣接画素ml,
m2,m3, m4の間に位置する。このアドレスの分数部は、m
1からm2の向きを正として計算したΔx 、及びm1からm3
の向きを正として計算したΔy で示す。m1とm3の距離及
びm1とm2の距離は一画素である。
【００８２】アドレスAqにおける光の強度Ｆまたは輝度
関数の値は、Δx とΔy の値に基づいて計算され、隣接
画素m1, m2, m3, m4の強度（または輝度関数の値）をそ
れぞれF1, F2, F3, F4とすれば、次の式で与えられる：
関数の値は、Δx とΔy の値に基づいて計算され、隣接
画素m1, m2, m3, m4の強度（または輝度関数の値）をそ
れぞれF1, F2, F3, F4とすれば、次の式で与えられる：
【数１】 F(Aj)=F1(1- Δx)(1- Δy)+F2 Δx(1-Δy)+F3(1-Δx)Δy+F4Δx.Δy
【００８３】アドレスAqに対応する値として、内挿器で
原画像について計算された強度F(Aq) は、その後は目標
画像Ioの出発アドレス(initial address) Apに位置する
画素ｍ’の有する強度（または輝度関数の値として扱わ
れ、ブロック 117に蓄積される。
原画像について計算された強度F(Aq) は、その後は目標
画像Ioの出発アドレス(initial address) Apに位置する
画素ｍ’の有する強度（または輝度関数の値として扱わ
れ、ブロック 117に蓄積される。
【００８４】VI／アドレス計算器２００の説明 以下、図６を参照してアドレス計算器 200を説明する。
【００８５】アドレス計算器は、先ず前記で定義した仮
想及び実カメラの各パラメ−タを取り込む。
想及び実カメラの各パラメ−タを取り込む。
【００８６】仮想カメラのパラメータΦo 、Θo 、Ψo
、Zoは蓄積モジュール 210の中に得られる； 実カメ
ラのΦ1 〜Φn ，Θ1 〜Θn ，Ψ1 〜Ψn ，Z1〜Znは、
それぞれ蓄積モジュール21.1〜21.nの中に得られる。
、Zoは蓄積モジュール 210の中に得られる； 実カメ
ラのΦ1 〜Φn ，Θ1 〜Θn ，Ψ1 〜Ψn ，Z1〜Znは、
それぞれ蓄積モジュール21.1〜21.nの中に得られる。
【００８７】画像の寸法の定義は、幅×高さ（画素数）
と決めてある。規模係数ZoまたはZiはmm当りの画素数で
表現される。角度は例えば度で表わされる。
と決めてある。規模係数ZoまたはZiはmm当りの画素数で
表現される。角度は例えば度で表わされる。
【００８８】仮想カメラに関するこれらのパラメータΦ
o 、Θo 、Ψo 、Zoは、仮想カメラの光軸の方向または
位置、その視点Ｐと画像中心Ooの位置、及び規模係数に
基づいて計算される。これらの値はユーザが選択してイ
ンタフェイス２から入力したものである。
o 、Θo 、Ψo 、Zoは、仮想カメラの光軸の方向または
位置、その視点Ｐと画像中心Ooの位置、及び規模係数に
基づいて計算される。これらの値はユーザが選択してイ
ンタフェイス２から入力したものである。
【００８９】実カメラのパラメータである、Φ1 〜Φn
、Θ1 〜Θn 、Ψ1 〜Ψn 、焦点距離PO1 〜POn 、規
模係数Z1〜Zn、及びデジタル画像の中心O1〜Onは、各カ
メラの点Ｐと中心O1〜Onの位置、その規模係数、及びそ
の光軸の方向または位置（positioning)を非常に正確に
較正（calibrate)し測定した結果に基づき、非常に精細
に決定される。
、Θ1 〜Θn 、Ψ1 〜Ψn 、焦点距離PO1 〜POn 、規
模係数Z1〜Zn、及びデジタル画像の中心O1〜Onは、各カ
メラの点Ｐと中心O1〜Onの位置、その規模係数、及びそ
の光軸の方向または位置（positioning)を非常に正確に
較正（calibrate)し測定した結果に基づき、非常に精細
に決定される。
【００９０】アドレス計算器 200は、仮想カメラCoの模
型、及び実カメラC1, C2,---,Cn の模型を構成するため
の手段 201及び 206を含む。
型、及び実カメラC1, C2,---,Cn の模型を構成するため
の手段 201及び 206を含む。
【００９１】図5Aは、仮想カメラCo及び実カメラC1, C
2,---,Cn の模型を形成する原理を説明している。図5A
に示された投影模型（projection model) は一点を通る
円錐投影で、すべての光線が単一の視点Ｐを経由すると
している（pin-hole model 針孔模型）。視点Ｐは、上
述の条件の下ですべての実カメラまたは仮想カメラにつ
いて共通であると仮定される。
2,---,Cn の模型を形成する原理を説明している。図5A
に示された投影模型（projection model) は一点を通る
円錐投影で、すべての光線が単一の視点Ｐを経由すると
している（pin-hole model 針孔模型）。視点Ｐは、上
述の条件の下ですべての実カメラまたは仮想カメラにつ
いて共通であると仮定される。
【００９２】仮想カメラの陸標Px, Py, Pz、及び個々の
標識（individual mark)は構成モジュール 201で定義さ
れる；実カメラC1〜Cnの陸標Px, Pz及び個々の標識は構
成モジュール 206で定義される。
標識（individual mark)は構成モジュール 201で定義さ
れる；実カメラC1〜Cnの陸標Px, Pz及び個々の標識は構
成モジュール 206で定義される。
【００９３】図5Aを参照して、Ｍを監視すべき情景にお
ける対象点と仮定する。Ｍに対応する仮想カメラCoの画
像平面上の点ｍ’は、直線PMとカメラCoの画像平面Io(O
oxo,Ooyo) の交点に位置する。
ける対象点と仮定する。Ｍに対応する仮想カメラCoの画
像平面上の点ｍ’は、直線PMとカメラCoの画像平面Io(O
oxo,Ooyo) の交点に位置する。
【００９４】注意すべきこととして、図5Aの模型が正し
く有効なのは、歪みのない理想カメラとしての仮想カメ
ラに対してである。実際のカメラは例えば、広角開口を
有している場合があるので、歪みを生じ、これは修整の
必要がある。
く有効なのは、歪みのない理想カメラとしての仮想カメ
ラに対してである。実際のカメラは例えば、広角開口を
有している場合があるので、歪みを生じ、これは修整の
必要がある。
【００９５】図5Bにはこの問題を説明してある。この図
5Bは、図1Aに示したのと同様の目標画像Ioと原画像Ijの
平面の投影を示している。
5Bは、図1Aに示したのと同様の目標画像Ioと原画像Ijの
平面の投影を示している。
【００９６】原画像I1〜Inに基づいて目標画像Ioを構成
するため解決すべき問題は、アドレスAoの画素ｍ’に厳
密に対応する点ｍを、どのアドレスAqで発見できるかを
決定することである。実際には、原画像のこの点ｍに存
在する強度（輝度）を、仮想画像における画素ｍ’に割
り当てるため決定する試みが行なわれる。
するため解決すべき問題は、アドレスAoの画素ｍ’に厳
密に対応する点ｍを、どのアドレスAqで発見できるかを
決定することである。実際には、原画像のこの点ｍに存
在する強度（輝度）を、仮想画像における画素ｍ’に割
り当てるため決定する試みが行なわれる。
【００９７】この決定は、実カメラの歪みと透視の欠陥
（perspective fault)の影響があるため、簡単ではな
い。
（perspective fault)の影響があるため、簡単ではな
い。
【００９８】図5Aにおけると同様に、図5Bは、アドレス
Aoの画素ｍ’は光線PMと目標画像Ioの交点に存在するこ
とを示している。ここでPMは観測すべき情景の点Ｍと視
点Ｐを結ぶ光線である、というのは、この理想カメラに
おいては、各光線は画像平面を横切って、逸脱すること
なく視点を通貨するからである。
Aoの画素ｍ’は光線PMと目標画像Ioの交点に存在するこ
とを示している。ここでPMは観測すべき情景の点Ｍと視
点Ｐを結ぶ光線である、というのは、この理想カメラに
おいては、各光線は画像平面を横切って、逸脱すること
なく視点を通貨するからである。
【００９９】この光線ＰＭは原画像Ijの平面を点ｍ’で
交差する。カメラCjは従って、目標画像のこの部分を構
成するため必要なデータを提供できるように選ばれた実
カメラである。
交差する。カメラCjは従って、目標画像のこの部分を構
成するため必要なデータを提供できるように選ばれた実
カメラである。
【０１００】しかし、その一方で、同一の光線ＰＭと原
画像の平面Ijの交点であるｍ’が、この点ｍ’に割り当
てるべき強度値Ｆを供給できるIjにおけるｍ’点である
というのは正しくない。
画像の平面Ijの交点であるｍ’が、この点ｍ’に割り当
てるべき強度値Ｆを供給できるIjにおけるｍ’点である
というのは正しくない。
【０１０１】ここで是非考慮すべき事項は、カメラCj
は、あらゆるカメラがそうであるように、一つの光学対
象（optical objective)を有し、これが CCDマトリクス
基板の上に実際の画像を形成する。この実画像が次い
で、Ａ／Ｄ変換モジュールにより変換されてデジタル原
画像を生成し、これが更に本発明に基づくデジタル画像
処理装置によって処理される。一つの対物レンズ系を使
用せざるを得ないという事実から、図5Bに図式的に示し
たように、光線ＭＰは、破線で示した歪み領域（distor
tion field) により逸脱することを考えざるを得ず、そ
の結果、ｍ’に対応する点はMP上の点ｍ’ではなく、原
画像Ijの平面におけるｍ* から少し離れた点ｍになる。
は、あらゆるカメラがそうであるように、一つの光学対
象（optical objective)を有し、これが CCDマトリクス
基板の上に実際の画像を形成する。この実画像が次い
で、Ａ／Ｄ変換モジュールにより変換されてデジタル原
画像を生成し、これが更に本発明に基づくデジタル画像
処理装置によって処理される。一つの対物レンズ系を使
用せざるを得ないという事実から、図5Bに図式的に示し
たように、光線ＭＰは、破線で示した歪み領域（distor
tion field) により逸脱することを考えざるを得ず、そ
の結果、ｍ’に対応する点はMP上の点ｍ’ではなく、原
画像Ijの平面におけるｍ* から少し離れた点ｍになる。
【０１０２】陸標と個々の標識に関連するデータによ
り、構成モジュール 201は、図5Aに示した円錐投影模型
上に、仮想カメラの模型MCo を構築する。ここでは、三
次元空間における各光線PMは目標画像Ioの平面により構
成される二次元空間における画素ｍ’に対応付けられ
る、というのは仮想カメラCoは理想カメラと考えたから
である。
り、構成モジュール 201は、図5Aに示した円錐投影模型
上に、仮想カメラの模型MCo を構築する。ここでは、三
次元空間における各光線PMは目標画像Ioの平面により構
成される二次元空間における画素ｍ’に対応付けられ
る、というのは仮想カメラCoは理想カメラと考えたから
である。
【０１０３】他方、陸標と個々の標識に関連するデータ
により、構成モジュール 206は、図5Aに示した円錐投影
模型上に、各実カメラに関連する模型MC1 〜MCn を構築
する。ここでは、三次元空間における各光線PMは、各カ
メラの原画像平面により構成される二次元空間における
点ｍ* に対応する。これらのカメラは理想カメラではな
く、対照的に歪みを生じるので、模型MC1 〜MCn の構成
モジュール 206は、歪み修整手段を含み、この手段を用
いて、歪んだ原画像に対応する点ｍ* は体系的に同一の
二次元空間における点ｍに置換される。この点が修整原
画像に対応する。対象物の歪みを修整するすべての手段
は、当業者にとって既知と思われる。
により、構成モジュール 206は、図5Aに示した円錐投影
模型上に、各実カメラに関連する模型MC1 〜MCn を構築
する。ここでは、三次元空間における各光線PMは、各カ
メラの原画像平面により構成される二次元空間における
点ｍ* に対応する。これらのカメラは理想カメラではな
く、対照的に歪みを生じるので、模型MC1 〜MCn の構成
モジュール 206は、歪み修整手段を含み、この手段を用
いて、歪んだ原画像に対応する点ｍ* は体系的に同一の
二次元空間における点ｍに置換される。この点が修整原
画像に対応する。対象物の歪みを修整するすべての手段
は、当業者にとって既知と思われる。
【０１０４】アドレス計算器 200は、歪んだ原画像Ijの
この点ｍのアドレスAqを決定するための計算手段をも含
んでいる。
この点ｍのアドレスAqを決定するための計算手段をも含
んでいる。
【０１０５】これらの手段は、機能ブロックの形で図６
に示され、アドレスAqの計算方法を具体化しているが、
これについては以下に述べるが、明確化のため図5Bに説
明してある。
に示され、アドレスAqの計算方法を具体化しているが、
これについては以下に述べるが、明確化のため図5Bに説
明してある。
【０１０６】VI.a／アドレスの計算方法 一つの出発アドレスAoに対応するアドレスAqを計算する
方法には数段階あり、その中には少なくとも、数個の素
変換の積で示される複雑な幾何学変換（geometrical tr
ansform)が含まれる。この幾何学変換の原理は、前述の
モジュール 206の効用により、実カメラの原画像の中の
各画素ｍが、このカメラの模型で定義した視点Ｐを通過
する三次元空間の光線PMに対応できるようになった、と
いう事実に基づいている。画像における一個の画素ｍの
位置は、このカメラの模型の定義に関連するカメラパラ
メータに支配され、一方、この画像に対応する光線PMに
関する三次元空間の位置は、固定陸標で表現できる。
方法には数段階あり、その中には少なくとも、数個の素
変換の積で示される複雑な幾何学変換（geometrical tr
ansform)が含まれる。この幾何学変換の原理は、前述の
モジュール 206の効用により、実カメラの原画像の中の
各画素ｍが、このカメラの模型で定義した視点Ｐを通過
する三次元空間の光線PMに対応できるようになった、と
いう事実に基づいている。画像における一個の画素ｍの
位置は、このカメラの模型の定義に関連するカメラパラ
メータに支配され、一方、この画像に対応する光線PMに
関する三次元空間の位置は、固定陸標で表現できる。
【０１０７】Aoに基づいてアドレスAqを計算する方法に
は、以下の段階を含む： −第一の変換として、「逆透視変換（inverse perspect
ive transform)と呼ばれ、Ho-1で示される変換を行な
う。この変換により目標画像Ioにおける出発アドレスAo
に対応する光線ＰＭの方向が分かる。 −次に観測視野にこの光線を含む実カメラCjの索引ｊを
探す。もし数個のカメラが関連する場合には、その中で
観測視野を重複させ得るのに適したカメラを一個選択す
る。 −第二の変換として、「直接透視変換（direct perspec
tive transform) と呼ばれ、Hiで示される変換を行な
う。これにより、選択した実カメラCjの画像Ijの中で上
記光線PMに対応するアドレスAqが得られる。
は、以下の段階を含む： −第一の変換として、「逆透視変換（inverse perspect
ive transform)と呼ばれ、Ho-1で示される変換を行な
う。この変換により目標画像Ioにおける出発アドレスAo
に対応する光線ＰＭの方向が分かる。 −次に観測視野にこの光線を含む実カメラCjの索引ｊを
探す。もし数個のカメラが関連する場合には、その中で
観測視野を重複させ得るのに適したカメラを一個選択す
る。 −第二の変換として、「直接透視変換（direct perspec
tive transform) と呼ばれ、Hiで示される変換を行な
う。これにより、選択した実カメラCjの画像Ijの中で上
記光線PMに対応するアドレスAqが得られる。
【０１０８】このように、これら二種類の変換、すなわ
ち逆変換Ｈ-1と直接変換Ｈの根拠となるのは、視点Ｐを
有する針孔模型として定義した各カメラの模型である。
ち逆変換Ｈ-1と直接変換Ｈの根拠となるのは、視点Ｐを
有する針孔模型として定義した各カメラの模型である。
【０１０９】この複雑な幾何学変換Ｈを実現するには、
先ず「透視図法（perspective projection) 」Ｊと称す
る演算を考えるが、この演算により、陸標(Px, Py, Pz)
で示される情景の点Ｍは、実カメラCjの焦平面に位置す
る点ｍへと変換が可能になる。こうして点ｍはこの実カ
メラに関連する正規直交系(Ojxj, Ojyj, Ojzj)の中に位
置付けされる。
先ず「透視図法（perspective projection) 」Ｊと称す
る演算を考えるが、この演算により、陸標(Px, Py, Pz)
で示される情景の点Ｍは、実カメラCjの焦平面に位置す
る点ｍへと変換が可能になる。こうして点ｍはこの実カ
メラに関連する正規直交系(Ojxj, Ojyj, Ojzj)の中に位
置付けされる。
【０１１０】この「透視図法」演算Ｊにより、ある三次
元系における一点の標識（marking)は数学的方法により
一つの二次元系における標識に変化する。この演算は斉
次座標（homogeneous coordinates)を用いることにより
線形化でき、それによってこの変換を４×４のマトリク
スで表現することも可能である。
元系における一点の標識（marking)は数学的方法により
一つの二次元系における標識に変化する。この演算は斉
次座標（homogeneous coordinates)を用いることにより
線形化でき、それによってこの変換を４×４のマトリク
スで表現することも可能である。
【０１１１】「透視変換」と呼ばれる幾何学変換Ｈは、
斉次座標を有する下記数個のマトリクスの積である：Ｔ
は翻訳（translation)を示すマトリクス、Ｓは規模の変
化を示すマトリクス、Ｊは前述の「透視図法」マトリク
ス、Ｌは原点の変化、Ｒは、その場合に応じて、角Фj
、Θj 、Ψj 、または角Φo 、Θo 、Ψo の何れかに
対応した回転である。
斉次座標を有する下記数個のマトリクスの積である：Ｔ
は翻訳（translation)を示すマトリクス、Ｓは規模の変
化を示すマトリクス、Ｊは前述の「透視図法」マトリク
ス、Ｌは原点の変化、Ｒは、その場合に応じて、角Фj
、Θj 、Ψj 、または角Φo 、Θo 、Ψo の何れかに
対応した回転である。
【０１１２】従って直接幾何学変換は次の式で表現さ
れ： Ｈ＝Ｔ＊Ｓ＊Ｊ＊Ｌ＊Ｒ 逆幾何学変換は次の式で表現される： Ｈ-1＝Ｔ-1＊Ｓ-1＊Ｊ-1＊Ｌ-1＊Ｒ-1。
れ： Ｈ＝Ｔ＊Ｓ＊Ｊ＊Ｌ＊Ｒ 逆幾何学変換は次の式で表現される： Ｈ-1＝Ｔ-1＊Ｓ-1＊Ｊ-1＊Ｌ-1＊Ｒ-1。
【０１１３】この変換は、例えば最小二乗法を用いるこ
とにより、近似的に多項式関数の集まりで表現できる。
とにより、近似的に多項式関数の集まりで表現できる。
【０１１４】こうして得られる近似変換は、更にTRW 社
が品名TMC2302 で市販している製品により実現してもよ
い。同社の所在地はPO Box 2472, La Jolla, CA92038(U
S)である。
が品名TMC2302 で市販している製品により実現してもよ
い。同社の所在地はPO Box 2472, La Jolla, CA92038(U
S)である。
【０１１５】VI.b／アドレス計算器 200の詳細な具体化
に関する説明 この具体化は、図６の機能ブロックによって説明され
る。図６には以下が示される： −仮想カメラMCo の模型のための第一の構成モジュール
であるブロック 201、 −制御ブロック１のインタフェイス２で利用者により入
力される、仮想カメラのパラメータΦo 、Θo 、Ψo 、
Ｚo を蓄積する第一のモジュールであるブロック 210、 −目標画像Ioのすべての画素ｍ’のアドレスAoの生成器
であるブロック 113、 −下記のように各情報を受信して幾何学変換を計算する
第一のモジュールであるブロック 220： ＊アドレス生成器 113からは、ｍ’のアドレスAoを受
信、 ＊構成モジュール 201からは、仮想カメラの模型MCo を
受信、 ＊第一の蓄積モジュール 210からは、仮想カメラのパラ
メータΦo 、Θo 、Ψo 、Ｚo を受信。
に関する説明 この具体化は、図６の機能ブロックによって説明され
る。図６には以下が示される： −仮想カメラMCo の模型のための第一の構成モジュール
であるブロック 201、 −制御ブロック１のインタフェイス２で利用者により入
力される、仮想カメラのパラメータΦo 、Θo 、Ψo 、
Ｚo を蓄積する第一のモジュールであるブロック 210、 −目標画像Ioのすべての画素ｍ’のアドレスAoの生成器
であるブロック 113、 −下記のように各情報を受信して幾何学変換を計算する
第一のモジュールであるブロック 220： ＊アドレス生成器 113からは、ｍ’のアドレスAoを受
信、 ＊構成モジュール 201からは、仮想カメラの模型MCo を
受信、 ＊第一の蓄積モジュール 210からは、仮想カメラのパラ
メータΦo 、Θo 、Ψo 、Ｚo を受信。
【０１１６】三次元空間においては、計算ブロック 220
は、視点(P) と画素ｍ’を通過 する光線PMの位置を、
二次元空間Ioにおけるｍ’の位置付けに基づいて決定す
る。この目的のため、この計算ブロック 220は、前述の
ように、逆透視変換Ho-1を加える。 −ブロック 204は、三次元空間における光線PMの位置を
蓄積するモジュールであり、その位置は計算ブロック 2
20により供給される； −選択ブロック 205は、切り替えモジュール（switchin
g module) で、位置の分かった光線PMに基づき、実カメ
ラCjを選択し、探している点ｍの存在する対応する原画
像Ijを供給する； −ブロック 206は、実カメラMC1 〜MCn の模型を構成す
るための第二のモジュールで、歪みを修整する手段を含
んでいる； −ブロック21.1〜21.nは蓄積ブロックで、それぞれ実カ
メラのパラメータΦ1〜Φn 、Θ1 〜Θn 、Ψ1 〜Ψn Z
1〜Znを蓄積するための第二の手段である； −ブロック22.1〜22.nは下記の各情報を受信し、上記第
二のモジュールで幾何学変換を計算する； ＊切り替えモジュール 205から選択信号を受信、ただし
例示したようにカメラCjが既に選択されている場合に
は、原画像Ij関連の情報とともに受信、 ＊第二の構成モジュール 206から、実カメラCjの模型MC
j を受信、 ＊上記の場合には蓄積モジュール21.j（第二蓄積手段）
から、実カメラのパラメータΦj 、Θj 、Ψj 、Zjを受
信する。現在の場合、計算モジュール22.j（幾何学変換
を計算する第二の手段）は、原画像Ijの平面により構成
される二次元空間の中の点ｍの位置を計算するが、これ
は光線PMを蓄積するモジュール 204の提供する位置が基
礎になり、またこの計算は前述の直接透視変換Hjにより
行なう；ブロック23.1〜23.nは各点ｍのアドレスAqを蓄
積するブロックである。現在の場合、探している点ｍの
アドレスAqは蓄積モジュール23.jの中で得られる。
は、視点(P) と画素ｍ’を通過 する光線PMの位置を、
二次元空間Ioにおけるｍ’の位置付けに基づいて決定す
る。この目的のため、この計算ブロック 220は、前述の
ように、逆透視変換Ho-1を加える。 −ブロック 204は、三次元空間における光線PMの位置を
蓄積するモジュールであり、その位置は計算ブロック 2
20により供給される； −選択ブロック 205は、切り替えモジュール（switchin
g module) で、位置の分かった光線PMに基づき、実カメ
ラCjを選択し、探している点ｍの存在する対応する原画
像Ijを供給する； −ブロック 206は、実カメラMC1 〜MCn の模型を構成す
るための第二のモジュールで、歪みを修整する手段を含
んでいる； −ブロック21.1〜21.nは蓄積ブロックで、それぞれ実カ
メラのパラメータΦ1〜Φn 、Θ1 〜Θn 、Ψ1 〜Ψn Z
1〜Znを蓄積するための第二の手段である； −ブロック22.1〜22.nは下記の各情報を受信し、上記第
二のモジュールで幾何学変換を計算する； ＊切り替えモジュール 205から選択信号を受信、ただし
例示したようにカメラCjが既に選択されている場合に
は、原画像Ij関連の情報とともに受信、 ＊第二の構成モジュール 206から、実カメラCjの模型MC
j を受信、 ＊上記の場合には蓄積モジュール21.j（第二蓄積手段）
から、実カメラのパラメータΦj 、Θj 、Ψj 、Zjを受
信する。現在の場合、計算モジュール22.j（幾何学変換
を計算する第二の手段）は、原画像Ijの平面により構成
される二次元空間の中の点ｍの位置を計算するが、これ
は光線PMを蓄積するモジュール 204の提供する位置が基
礎になり、またこの計算は前述の直接透視変換Hjにより
行なう；ブロック23.1〜23.nは各点ｍのアドレスAqを蓄
積するブロックである。現在の場合、探している点ｍの
アドレスAqは蓄積モジュール23.jの中で得られる。
【０１１７】切り替えモジュール 205が、既に別の一つ
の原画像を選択していたとすれば、別の計算モジュール
22.1〜22.nが適切な直接変換H1〜Hnを行なって、この別
の原画像の点ｍの位置を定めていた筈である。
の原画像を選択していたとすれば、別の計算モジュール
22.1〜22.nが適切な直接変換H1〜Hnを行なって、この別
の原画像の点ｍの位置を定めていた筈である。
【０１１８】アドレス計算器 200で実行されるこれらの
動作により、また図３に示すように、このアドレス計算
器 200は、アドレスAqを内挿器ブロック 112に加え、後
者は対応する輝度関数Ｆを計算する。こうして、輝度関
数Ｆの値をアドレスAoの各画素に対応させることによ
り、蓄積ブロック 117の中で画像Ioが再構成される。
動作により、また図３に示すように、このアドレス計算
器 200は、アドレスAqを内挿器ブロック 112に加え、後
者は対応する輝度関数Ｆを計算する。こうして、輝度関
数Ｆの値をアドレスAoの各画素に対応させることによ
り、蓄積ブロック 117の中で画像Ioが再構成される。
【０１１９】図２に示すように、画像Ioは次いで手段10
において表示または蓄積される。
において表示または蓄積される。
【０１２０】例えば境界領域で原画像が重複するなど、
数個の原画像があり得る場合には、選択ブロック 205に
は二個の原画像から一個を選ぶ手段を含む。
数個の原画像があり得る場合には、選択ブロック 205に
は二個の原画像から一個を選ぶ手段を含む。
【０１２１】二個の画像のうち一個を選択する一つの方
法は、境界領域における二個の画像の間の接合部（sea
m) が、重複領域のほぼ中央を通る直線になるかどうか
を決定することである。この方法は、例えば図１に示す
ように、水平に併置され垂直な接合部を有するようなカ
メラについて適用できる。
法は、境界領域における二個の画像の間の接合部（sea
m) が、重複領域のほぼ中央を通る直線になるかどうか
を決定することである。この方法は、例えば図１に示す
ように、水平に併置され垂直な接合部を有するようなカ
メラについて適用できる。
【０１２２】当業者であれば、例えば接合部が円錐体上
に放射状に並ぶような場合など、あらゆる種類の接合部
を選択できる筈である。
に放射状に並ぶような場合など、あらゆる種類の接合部
を選択できる筈である。
【０１２３】これまで灰色レベルの画素の符号化につい
て述べてきたことは、色彩画像の符号化にも適用できる
ことを注意しておく。この符号化は単にビット数を増加
するだけで実現する。
て述べてきたことは、色彩画像の符号化にも適用できる
ことを注意しておく。この符号化は単にビット数を増加
するだけで実現する。
【０１２４】目標画像の中に接合部が目立たないように
するには、以下のような数種類の措置をとる必要のある
ことを銘記すべきである： −固定カメラを精密に較正すること、 −仮想画像が欠陥無しに完全に併置されるまで、フィー
ドバックを加えて結果を修整した後、固定カメラ模型の
パラメータに、所要の変更を加えること。
するには、以下のような数種類の措置をとる必要のある
ことを銘記すべきである： −固定カメラを精密に較正すること、 −仮想画像が欠陥無しに完全に併置されるまで、フィー
ドバックを加えて結果を修整した後、固定カメラ模型の
パラメータに、所要の変更を加えること。
【０１２５】この作業、すなわち初期化（initializati
on) は較正作業の一部として組み込む必要がある。
on) は較正作業の一部として組み込む必要がある。
【０１２６】各原画像には歪み修整（distortion corre
ctions) を加えるべきことも注意しておきたい。これら
作業のできる装置は市販されている。歪み修整器の動作
の完全性の検定（verification) も較正の一部である。
ctions) を加えるべきことも注意しておきたい。これら
作業のできる装置は市販されている。歪み修整器の動作
の完全性の検定（verification) も較正の一部である。
【０１２７】実カメラが異なれば、色彩または灰色レベ
ルの強度応答曲線（intensity response curve) も異な
る可能性がある。較正作業にあたっては、均一な仮想画
像を得るために、これら個々の応答について修整を行な
う必要がある。
ルの強度応答曲線（intensity response curve) も異な
る可能性がある。較正作業にあたっては、均一な仮想画
像を得るために、これら個々の応答について修整を行な
う必要がある。
【０１２８】利用者インタフェイス２の制御は自動、手
動何れでも可能である。一つの具体例として、このイン
タフェイスにジョイスティック（joystick) を用いても
よい。
動何れでも可能である。一つの具体例として、このイン
タフェイスにジョイスティック（joystick) を用いても
よい。
【図１】図1Aは、実カメラが陸票の水平面に垂直な画像
平面を持つ場合に、この陸票の水平面中の種々の画像平
面の軌跡を示す平面図である。図1Bは、水平面での投影
中に視た陸票Ｐx,Ｐy,Ｐz を示す図である。図1Cは、特
殊の座標軸システムを持つ原画像平面の立面図である。
図1Dは、特殊の座標軸システムを持つ目標画像平面の立
面図である。図1Eは、パノラマ式全景の副画像を構築す
るため仮想カメラに対し利用者の選定したパラメータを
用いて２つの隣接実カメラの広角視野のセクションを限
定する効果を表す図である。図1Fは、これらのパラメー
タの規定する仮想カメラにより構築された目標画像を示
す図であり、この目標画像は、２つの実カメラの１番目
により供給された原画像に基づいて構築された画像の１
番目の部分と、２番目のカメラにより供給された原画像
に基づいて構築された２番目の画像部分とから成る。図
1Gは、 180°の視野をカバーするための3 つの隣接する
実カメラの配置を示す図である。
平面を持つ場合に、この陸票の水平面中の種々の画像平
面の軌跡を示す平面図である。図1Bは、水平面での投影
中に視た陸票Ｐx,Ｐy,Ｐz を示す図である。図1Cは、特
殊の座標軸システムを持つ原画像平面の立面図である。
図1Dは、特殊の座標軸システムを持つ目標画像平面の立
面図である。図1Eは、パノラマ式全景の副画像を構築す
るため仮想カメラに対し利用者の選定したパラメータを
用いて２つの隣接実カメラの広角視野のセクションを限
定する効果を表す図である。図1Fは、これらのパラメー
タの規定する仮想カメラにより構築された目標画像を示
す図であり、この目標画像は、２つの実カメラの１番目
により供給された原画像に基づいて構築された画像の１
番目の部分と、２番目のカメラにより供給された原画像
に基づいて構築された２番目の画像部分とから成る。図
1Gは、 180°の視野をカバーするための3 つの隣接する
実カメラの配置を示す図である。
【図２】図２は、目標画像、実カメラ、利用者インタフ
ェイス、及び目標画像を表示するシステムを構築するた
めのシステムを持つ画像処理装置を、機能ブロックの形
で示す図である。
ェイス、及び目標画像を表示するシステムを構築するた
めのシステムを持つ画像処理装置を、機能ブロックの形
で示す図である。
【図３】図３は、図２より更に詳細に、画像処理装置を
機能ブロックの形で示す図である。
機能ブロックの形で示す図である。
【図４】図４は、原画像中のアドレスに関する輝度関数
の値の計算を示す図である。
の値の計算を示す図である。
【図５】図5Aは、実カメラ及び仮想カメラのモデルを示
す図である。図5Bは、目標画像及び原画像中の同じ輝度
を持つ対応する点を通過する同じ光線の行ったり来たり
するこれらの対応する点の位置に対する透視効果及び歪
み効果を、陸票の水平面上の投影中に示す図である。
す図である。図5Bは、目標画像及び原画像中の同じ輝度
を持つ対応する点を通過する同じ光線の行ったり来たり
するこれらの対応する点の位置に対する透視効果及び歪
み効果を、陸票の水平面上の投影中に示す図である。
【図６】図６は、目標画像中のアドレスにおける画素に
対応する原画像中の点のアドレスを計算するアドレス・
コンピュータを、機能ブロックの形で画像処理装置を示
す図である。
対応する原画像中の点のアドレスを計算するアドレス・
コンピュータを、機能ブロックの形で画像処理装置を示
す図である。
【図７】図7Aは、１番目の固定実カメラにより形成され
る１番目のディジタル原画像を示す図である。図7Bは、
１番目のカメラに隣接する２番目の固定実カメラにより
形成される２番目のディジタル原画像を示す図である。
図7Cは、１番目の原画像に基づき構築された１番目の目
標画像部分と２番目の原画像に基づき構築された２番目
の目標画像部分との間の、歪み誤り及び透視誤りを示す
図1Fの場合と同様のやり方で再構築されたディジタル目
標画像を示す図である。図7Dは、画像処理装置により処
置されて歪み誤り及び透視誤りが消去された後の、図7C
のディジタル目標画像を示す図である。
る１番目のディジタル原画像を示す図である。図7Bは、
１番目のカメラに隣接する２番目の固定実カメラにより
形成される２番目のディジタル原画像を示す図である。
図7Cは、１番目の原画像に基づき構築された１番目の目
標画像部分と２番目の原画像に基づき構築された２番目
の目標画像部分との間の、歪み誤り及び透視誤りを示す
図1Fの場合と同様のやり方で再構築されたディジタル目
標画像を示す図である。図7Dは、画像処理装置により処
置されて歪み誤り及び透視誤りが消去された後の、図7C
のディジタル目標画像を示す図である。
１ インタフェイス ２ 利用者インタフェイス 10 表示手段（記録手段） 100 画像再構成システム 101 変換手段 106, 113, 117 蓄積手段 110 原画像選択器 112 補間器（インターポレータ） 200 アドレス計算器 C1, …,Ci,…,Cn 固定実カメラ I1, …,Ii,…,In 原画像
───────────────────────────────────────────────────── フロントページの続き (73)特許権者 590000248 Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １, 5621 ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔ ｈｅ Ｎｅｔｈｅｒｌａｎｄｓ (72)発明者 ホフェルト ウィレム ダルム オランダ国 5508 テーエル フェルド ホーフェン オパーステヘイ ４ (72)発明者 ヤン クレイン オランダ国 4811 セーイックス ブレ ダ ネウェ ボス ストラート 22 (56)参考文献 特開 昭63−142991（ＪＰ，Ａ) 特開 平４−275783（ＪＰ，Ａ) 特開 平３−36700（ＪＰ，Ａ) 特開 平５−14751（ＪＰ，Ａ) 特開 平５−110926（ＪＰ，Ａ) 特開 平７−135605（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/00 280 - 340 G06T 3/00 400 H04N 7/18
Claims (17)
- 【請求項１】 原画像（I1,...Ii,Ij...,In ）と称され
る固定フレーム ラインを有する隣接した画像から目標
画像（Io）を構成する画像処理方法で、前記原画像と、
目標画像とがほぼ共通の視点を有している画像の処理方
法において、該方法は、 （ａ）原画像と目標画像をディジタル化する工程、 （ｂ）前記原画像と目標画像のほぼ共通の視点（ｐ）
と、前記共通の視点（ｐ）において発生した固定直交陸
標（Px,Py,Pz）とを決定する工程、 （ｃ）前記目標画像（Io）を完全にカバーするように、
目標画像（Io）内の各画素に対するアドレスを画素ずつ
に発生する工程、 （ｄ）目標画像（Io）内の初期画素（ｍ′）と称される
現在の画素のアドレス（Ao）を基に、前記初期画素
（ｍ′）と前記共通の視点とを通過する光線（PM）の、
前記固定陸標内における方向を計算する工程、 （ｅ）前記光線（PM）によって横切られる原画像（Ij）
を選択する工程、 （ｆ）前記光線（PM）の前記方向から、前記選択された
原画像（Ij）において歪みが補正された点（ｍ）のアド
レス（Aq）を計算する工程、ここに、前記歪みが補正さ
れた点（ｍ）は前記初期画素（ｍ′）に対応している、 （ｇ）前記原画像（Ij）において歪みが補正された点
（ｍ）における輝度値（Ｆ）を計算する工程、 （ｈ）歪みが補正された点（ｍ）の輝度値（Ｆ）を、目
標画像（Io）における初期画素（ｍ′）に割当てる工
程、および （ｉ）目標画像（Io）のすべての画素が処理されるま
で、目標画像（Io）の各画素に対して（ｄ）−（ｈ）の
工程を反復する工程 を具えてなることを特徴とする隣接する複数画像より画
像を形成する画像処理方法。 - 【請求項２】 請求項１記載の方法において、該方法
は、 スケール係数（Z1,...,Zn ）と、前記固定直交陸標（P
x,Py,Pz）で決定される原画像の光学軸の方位角(θ
1,...,θn）、視野角（Φ1,...,Φn）および回転角（Ψ
1,...,Ψn）により構成される角度とを含んでなる原画
像のパラメータを記憶する工程、 前記陸標の原点に対しほぼ共通な前記視点を有する前記
原画像を供給し、そして前記原画像の収差を補正するた
めの実カメラのモデルを構成する工程、 スケール係数（zo）と、前記固定直交陸標（Px,Py,Pz）
で決定される目標画像の光学軸の方位角（θo ）、視野
角（Φo ）および回転角（Ψo ）により構成される角度
を含んでなる目標画像のパラメータを記憶する工程、お
よび 原画像の視点に対しほぼ共通の前記視点を有する前記目
標画像を供給するための仮想カメラのモデルを構成する
工程 を含んでいる較正の工程を具えてなることを特徴とする
隣接する複数画像より画像を形成する画像処理方法。 - 【請求項３】 請求項２記載の方法において、該方法
は、 前記陸標内の光線（ＰＭ）の位置を決定する工程が、仮
想カメラのモデルを考慮に入れた“逆パースペクティブ
変換”（Ho-1）と称される幾何学的変換を具え、 前記初期画素（ｍ′）に対応する前記歪みが補正された
点（ｍ）のアドレス（Aq）を決定する工程が、前記選択
された原画像（Ij）に従って、前記選択された原画像に
対応するそれぞれ実カメラのモデルを考慮に入れた“直
接パースペクティブ変換”（H1-Hn）と称されるパース
ペクティブの幾何学的変換を具えていることを特徴とす
る隣接する複数画像より画像を形成する画像処理方法。 - 【請求項４】 請求項３記載の方法において、該方法
は、 前記選択された原画像（Ij）内の前記歪みが補正された
点（ｍ）における輝度値（Ｆ）を計算する工程が、原画
像（Ij）内のアドレス（Aq）における輝度関数（Ｆ）の
最も確からしい値を計算するために補間を行うことを含
んでいることを特徴とする隣接する複数画像より画像を
形成する画像処理方法。 - 【請求項５】 請求項１記載の方法において、該方法
は、 前記選択された原画像（Ij）内の前記歪みが補正された
点（ｍ）における輝度値（Ｆ）を計算する工程が、原画
像（Ij）内のアドレス（Aq）における輝度関数（Ｆ）の
最も確からしい値を計算するために補間を行うことを含
んでいることを特徴とする隣接する複数画像より画像を
形成する画像処理方法。 - 【請求項６】 固定実カメラの個別の視野が合体して、
単一の広角視野を有しパノラマ風景を観視し得るように
配置し、原画像と称される隣接した画像を供給するｎ個
の固定実カメラ（C1,...,Ci,Cj,...,Cn）のシステム
と、 パノラマ風景を連続的に走査する可動仮想カメラ（Co）
をシミュレートし、ｎ個の実カメラにより供給された前
記原画像（I1,...Ii,Ij...,In ）より構成され、広角視
野の選択されたセクションに対応する目標画像（Io）と
称される副画像を形成する画像構成システムとを具えた
画像処理装置であって、該画像処理装置は、 前記原画像と目標画像をデジタル化する手段、 前記両画像に対する実質的な共通の視点と、この共通の
視点において発生した固定直交陸標（Px,Py,Pz）を決定
する較正手段、 画素ずつに、全目標画像（Io）をカバーするような前記
目標画像（Io）の画素のそれぞれのアドレスを発生する
アドレス発生器、 目標画像（Io）内の初期画素（ｍ′）と称される現在の
画素のアドレス（Ao）を基に、前記初期画素（ｍ′）と
前記共通の視点（ｐ）を通過する光線（ＰＭ）の前記固
定陸標内における方向を計算し、前記光線（ＰＭ）によ
って横切られる原画像（Ij）を選択し、前記光線（Ｐ
Ｍ）の前記方向から、前記初期画素（ｍ′）に対応する
前記選択された原画像中の前記歪みが補正された点
（ｍ）のアドレス（Aq）を計算するアドレス計算機、お
よび 前記歪みが補正された点（ｍ）の輝度値（Ｆ）を決定
し、前記初期画素（ｍ′）に前記輝度値を割当てる手段 を具えてなることを特徴とする隣接する複数画像より画
像を形成する画像処理装置。 - 【請求項７】 請求項６記載の装置において、前記較正
手段は、さらに、 アドレス計算機にスケール係数（zo）と、各カメラより
独立の前記固定直交陸標内における方位角（θo ）、視
野角（Φo ）および回転角（Ψo ）で構成される前記仮
想カメラ（Co）の光学軸の光学軸の方向とを供給する仮
想カメラに関するパラメータを記憶する第１の記憶手段
と、 アドレス計算機に、スケール係数（z1-zn）と、前記固
定直交陸標内で決定された方位角（θ1-θn ）、視野角
（Φ1-Φn ）および回転角(Ψ1-Ψn ）で構成される各
実カメラ（C1,...,Ci,Cj,...,Cn）の光学軸の方向とを
供給する前記実カメラ（C1,...,Ci,Cj,...,Cn）に関す
るパラメータを記憶する第２の記憶手段と を具えてなることを特徴とする隣接する複数画像より画
像を形成する画像処理装置。 - 【請求項８】 請求項７記載の装置において、前記アド
レス計算機は、 視点（ｐ）を通る投影を有する仮想カメラのモデル（MC
o ）を構成する第１の構成手段、および 視点（ｐ）を通る投影を有するとともに歪みの補正を行
った実カメラのモデル（MC1-MCn ）を構成する第２の構
成手段 を具えてなることを特徴とする隣接する複数画像より画
像を形成する画像処理装置。 - 【請求項９】 請求項８記載の装置において、前記アド
レス計算機は、 仮想カメラ（Co）の画像（Io）のアドレス（Ao）におけ
る前記初期画素（ｍ′）に、“逆パースペクティブ変
換”（Ho-1）と称される幾何学的変換を計算し、その逆
パースペクティブ変換においては、前記第１の構成手段
により与えられる仮想カメラのモデル（MCo ）、並びに
第１の記憶手段により与えられ、前記仮想カメラの方位
角（θo ）、視野角（Φo ）、回転角（Ψo ）およびス
ケール係数（zo）によって構成されるパラータを考慮に
入れ、前記逆パースペクティブ変換（Ho-1）を基に、前
記初期画素（ｍ′）と視点（ｐ）を通過する光線の前記
陸標内の位置を決定する第１の手段、 逆パースペクティブ変換（Ho-1）によって得られた前記
光線の位置を記憶する手段、 該光線によって横切られた原画像（I1-In）を選択する
選択手段、 前記陸標内の前記光線に、“直接パースペクティブ変
換”（H1-Hn）と称される幾何学的変換を計算し、この
直接透視変換においては、第２の構成手段により与えら
れる各実カメラのモデル、並びに第２の記憶手段により
与えられる前記選択された原画像に相当するそれぞれの
実カメラ（C1-Cn ）の方位角（θ1-θn ）、視野角（Φ
1-Φn ）、回転角(Ψ1-Ψn ）およびスケール係数（z1-
zn）によって構成されるパラータを考慮に入れて行う第
２の手段、および 前記直接パースペクティブ変換（H1-Hn ）を基に、前記
光線に対応し、従って目標画像（Io）内のアドレス（A
o）における前記初期画素に対応する前記選択された原
画像（I1-In ）内のアドレス（Aq）を供給する記憶手段 を具えてなることを特徴とする隣接する複数画像より画
像を形成する画像処理装置。 - 【請求項１０】 請求項９記載の装置において、輝度決
定手段は、 選択手段によって供給され前記選択された原画像内の、
アドレス計算機によって見出されたアドレス（Aq）にお
ける輝度関数の最も確からしい値（Ｆ）計算する補間
器、および アドレス発生器によって供給されるアドレス（Ao）にお
いて、目標画像（Io）内の初期画素に対し、前記選択さ
れた原画像内で発見されたアドレス（Aq）に対応する前
記計算された輝度値（Ｆ）を割当てる第３の記憶手段 を具えてなることを特徴とする隣接する複数画像より画
像を形成する画像処理装置。 - 【請求項１１】 請求項１０記載の装置において、該装
置は、さらに、目標画像（Io）をリアルタイムでスクリ
ーン上に表示するスクリーンを有する表示システムを具
えてなることを特徴とする隣接する複数画像より画像を
形成する画像処理装置。 - 【請求項１２】 請求項１０記載の装置において、該装
置は、さらに、目標画像（Io）を記録する記録システム
を具えてなることを特徴とする隣接する複数画像より画
像を形成する画像処理装置。 - 【請求項１３】 請求項１０記載の装置において、目標
画像（Io）を構成するシステムは、また、 スケール係数（zo）と光学軸の方向（θo ，Φo ，Ψo
）を含んでいる仮想カメラ（Co）の前記パラメータを
ユーザが決定することを可能にするインタフェース を具えてなることを特徴とする隣接する複数画像より画
像を形成する画像処理装置。 - 【請求項１４】 請求項１３記載の装置において、前記
ユーザインタフェースは自動または手動的に制御される
ことを特徴とする隣接する複数画像より画像を形成する
画像処理装置。 - 【請求項１５】 請求項６記載の装置において、目標画
像（Io）を構成するシステムは、また、 前記仮想カメラの前記固定陸標内に決定された光学軸の
スケール係数（zo）と方向（θo ，Φo ，Ψo ）を含ん
でいる前記仮想カメラ（Co）のパラメータをユーザが決
定することを可能にするインタフェース を具えてなることを特徴とする隣接する複数画像より画
像を形成する画像処理装置。 - 【請求項１６】 請求項６記載の装置において、該装置
は、さらに、目標画像（Io）をリアルタイムでスクリー
ン上に表示するスクリーンを有する表示システムを具え
てなることを特徴とする隣接する複数画像より画像を形
成する画像処理装置。 - 【請求項１７】 請求項６記載の装置において、該装置
は、さらに、目標画像（Io）を記録する記録システムを
具えてなることを特徴とする隣接する複数画像より画像
を形成する画像処理装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9215836 | 1992-12-29 | ||
| FR9215836 | 1992-12-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH076227A JPH076227A (ja) | 1995-01-10 |
| JP3320541B2 true JP3320541B2 (ja) | 2002-09-03 |
Family
ID=9437207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35462993A Expired - Fee Related JP3320541B2 (ja) | 1992-12-29 | 1993-12-29 | 隣接する複数画像より画像を形成する画像処理方法及び装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5444478A (ja) |
| EP (1) | EP0605045B1 (ja) |
| JP (1) | JP3320541B2 (ja) |
| KR (1) | KR940017747A (ja) |
| DE (1) | DE69324224T2 (ja) |
Families Citing this family (303)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6002430A (en) * | 1994-01-31 | 1999-12-14 | Interactive Pictures Corporation | Method and apparatus for simultaneous capture of a spherical image |
| US6256061B1 (en) | 1991-05-13 | 2001-07-03 | Interactive Pictures Corporation | Method and apparatus for providing perceived video viewing experiences using still images |
| US5384588A (en) | 1991-05-13 | 1995-01-24 | Telerobotics International, Inc. | System for omindirectional image viewing at a remote location without the transmission of control signals to select viewing parameters |
| US7382399B1 (en) | 1991-05-13 | 2008-06-03 | Sony Coporation | Omniview motionless camera orientation system |
| US5990941A (en) | 1991-05-13 | 1999-11-23 | Interactive Pictures Corporation | Method and apparatus for the interactive display of any portion of a spherical image |
| US5670935A (en) † | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
| US5910854A (en) | 1993-02-26 | 1999-06-08 | Donnelly Corporation | Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices |
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| EP0650299B1 (fr) * | 1993-10-20 | 1998-07-22 | Laboratoires D'electronique Philips S.A.S. | Procédé de traitement des niveaux de luminance dans une image composite et système de traitement d'image appliquant ce procédé |
| FR2714502A1 (fr) * | 1993-12-29 | 1995-06-30 | Philips Laboratoire Electroniq | Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective. |
| FR2714503A1 (fr) * | 1993-12-29 | 1995-06-30 | Philips Laboratoire Electroniq | Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective. |
| JPH07287761A (ja) * | 1994-04-19 | 1995-10-31 | Canon Inc | 画像処理装置及び画像処理方法 |
| US5668663A (en) | 1994-05-05 | 1997-09-16 | Donnelly Corporation | Electrochromic mirrors and devices |
| US6064355A (en) * | 1994-05-24 | 2000-05-16 | Texas Instruments Incorporated | Method and apparatus for playback with a virtual reality system |
| IL113842A0 (en) * | 1994-05-31 | 1995-08-31 | Banitt Shmuel | Visual display systems and a system for producing recordings for visualization thereon and methods therefor |
| US5963247A (en) * | 1994-05-31 | 1999-10-05 | Banitt; Shmuel | Visual display systems and a system for producing recordings for visualization thereon and methods therefor |
| JPH0877356A (ja) * | 1994-09-09 | 1996-03-22 | Fujitsu Ltd | 三次元多眼画像の処理方法及び処理装置 |
| DE69520329T2 (de) * | 1994-11-17 | 2001-09-27 | Canon Kk | Kamerasteuervorrichtung und -Verfahren |
| US5659323A (en) * | 1994-12-21 | 1997-08-19 | Digital Air, Inc. | System for producing time-independent virtual camera movement in motion pictures and other media |
| US5920337A (en) * | 1994-12-27 | 1999-07-06 | Siemens Corporate Research, Inc. | Omnidirectional visual image detector and processor |
| EP0720125B1 (fr) * | 1994-12-29 | 2002-05-08 | Koninklijke Philips Electronics N.V. | Dispositif de formation d'image et procédé pour effectuer des corrections de distorsions optiques géométriques dans une image |
| EP0726543B1 (en) * | 1995-02-07 | 2003-09-10 | Canon Kabushiki Kaisha | Image processing method and apparatus therefor |
| JPH11506575A (ja) | 1995-03-07 | 1999-06-08 | インターバル リサーチ コーポレイション | 情報の選択記憶システム及び方法 |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US5657073A (en) * | 1995-06-01 | 1997-08-12 | Panoramic Viewing Systems, Inc. | Seamless multi-camera panoramic imaging with distortion correction and selectable field of view |
| JPH11509064A (ja) * | 1995-07-10 | 1999-08-03 | サーノフ コーポレイション | 画像を表現し組み合わせる方法とシステム |
| JPH11510342A (ja) * | 1995-07-27 | 1999-09-07 | センサーマティック・エレクトロニクス・コーポレーション | 移動部品を用いないカメラを用いた画像分割、画像形成および処理装置と方法 |
| JPH0955925A (ja) * | 1995-08-11 | 1997-02-25 | Nippon Telegr & Teleph Corp <Ntt> | 画像システム |
| WO1997014253A1 (en) * | 1995-10-10 | 1997-04-17 | Von Tagen Frederick W | Apparatus and method for generating synthetic and absolute real time environments |
| FR2741225A1 (fr) * | 1995-11-13 | 1997-05-16 | Production Multimedia Apm Atel | Console de camera virtuelle |
| US6133944A (en) * | 1995-12-18 | 2000-10-17 | Telcordia Technologies, Inc. | Head mounted displays linked to networked electronic panning cameras |
| JPH09214932A (ja) * | 1996-01-30 | 1997-08-15 | Nippon Telegr & Teleph Corp <Ntt> | 画像装置及び画像通信システム |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| WO1997042601A1 (en) * | 1996-05-06 | 1997-11-13 | Sas Institute, Inc. | Integrated interactive multimedia process |
| JP3832895B2 (ja) * | 1996-05-28 | 2006-10-11 | キヤノン株式会社 | 画像合成装置及び画像合成システム |
| US5790182A (en) * | 1996-08-05 | 1998-08-04 | Interval Research Corp. | System and method for panoramic imaging using concentric spherical mirrors |
| US6721952B1 (en) | 1996-08-06 | 2004-04-13 | Roxio, Inc. | Method and system for encoding movies, panoramas and large images for on-line interactive viewing and gazing |
| US6133943A (en) * | 1996-09-30 | 2000-10-17 | Intel Corporation | Method and apparatus for producing a composite image |
| JPH10178564A (ja) * | 1996-10-17 | 1998-06-30 | Sharp Corp | パノラマ画像作成装置及び記録媒体 |
| KR100382753B1 (ko) * | 1996-10-28 | 2003-06-18 | 삼성전자주식회사 | 다안 동영상 취득 방법 및 장치 |
| US5893062A (en) | 1996-12-05 | 1999-04-06 | Interval Research Corporation | Variable rate video playback with synchronized audio |
| US6263507B1 (en) | 1996-12-05 | 2001-07-17 | Interval Research Corporation | Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data |
| JP4006056B2 (ja) * | 1997-05-19 | 2007-11-14 | キヤノン株式会社 | 画像合成装置、画像合成方法および記憶媒体 |
| US6249616B1 (en) | 1997-05-30 | 2001-06-19 | Enroute, Inc | Combining digital images based on three-dimensional relationships between source image data sets |
| US6624846B1 (en) | 1997-07-18 | 2003-09-23 | Interval Research Corporation | Visual user interface for use in controlling the interaction of a device with a spatial region |
| US6326613B1 (en) | 1998-01-07 | 2001-12-04 | Donnelly Corporation | Vehicle interior mirror assembly adapted for containing a rain sensor |
| US8294975B2 (en) | 1997-08-25 | 2012-10-23 | Donnelly Corporation | Automotive rearview mirror assembly |
| US6172613B1 (en) | 1998-02-18 | 2001-01-09 | Donnelly Corporation | Rearview mirror assembly incorporating vehicle information display |
| US6124886A (en) | 1997-08-25 | 2000-09-26 | Donnelly Corporation | Modular rearview mirror assembly |
| US6552744B2 (en) * | 1997-09-26 | 2003-04-22 | Roxio, Inc. | Virtual reality camera |
| IL122183A0 (en) * | 1997-11-12 | 1998-04-05 | Banitt Shmuel | Composite movie generating camera assembly and method |
| JP4007524B2 (ja) * | 1997-11-18 | 2007-11-14 | 株式会社リコー | 画像合成方法及び装置並びに情報記録媒体 |
| US6259470B1 (en) * | 1997-12-18 | 2001-07-10 | Intel Corporation | Image capture system having virtual camera |
| US8288711B2 (en) | 1998-01-07 | 2012-10-16 | Donnelly Corporation | Interior rearview mirror system with forwardly-viewing camera and a control |
| US6445287B1 (en) | 2000-02-28 | 2002-09-03 | Donnelly Corporation | Tire inflation assistance monitoring system |
| US6003998A (en) * | 1998-01-22 | 1999-12-21 | Interval Research Corp. | System and method for panoramic imaging using concentric spherical mirrors |
| US6477464B2 (en) | 2000-03-09 | 2002-11-05 | Donnelly Corporation | Complete mirror-based global-positioning system (GPS) navigation solution |
| US6693517B2 (en) | 2000-04-21 | 2004-02-17 | Donnelly Corporation | Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants |
| US6329925B1 (en) | 1999-11-24 | 2001-12-11 | Donnelly Corporation | Rearview mirror assembly with added feature modular display |
| US7067473B1 (en) * | 1998-07-14 | 2006-06-27 | Janssen Pharmaceutica N.V. | Neurotrophic growth factor |
| EP2309453A3 (en) * | 1998-07-31 | 2012-09-26 | Panasonic Corporation | Image displaying apparatus and image displaying method |
| US6278460B1 (en) | 1998-12-15 | 2001-08-21 | Point Cloud, Inc. | Creating a three-dimensional model from two-dimensional images |
| US6714249B2 (en) | 1998-12-31 | 2004-03-30 | Eastman Kodak Company | Producing panoramic digital images by digital camera systems |
| EP1195057A4 (en) * | 1999-04-08 | 2003-07-23 | Interactive Pictures Corp | APPARATUS, SUPPORT, AND METHOD FOR CAPTURING AND PROCESSING SPHERICAL IMAGES |
| ES2286875T3 (es) | 1999-04-22 | 2007-12-01 | Leo Vision | Procedimiento y dispositivo de tratamiento y de restitucion de imagenes, con nuevo muestreo. |
| AT407221B (de) * | 1999-06-04 | 2001-01-25 | Rocco Handelsgesellschaft M B | Trägersystem zur montage von aufnahmegeräten |
| US8066415B2 (en) | 1999-06-17 | 2011-11-29 | Magna Mirrors Of America, Inc. | Exterior mirror vision system for a vehicle |
| US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
| US7292261B1 (en) | 1999-08-20 | 2007-11-06 | Patrick Teo | Virtual reality camera |
| JP4169462B2 (ja) * | 1999-08-26 | 2008-10-22 | 株式会社リコー | 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体 |
| US6563529B1 (en) * | 1999-10-08 | 2003-05-13 | Jerry Jongerius | Interactive system for displaying detailed view and direction in panoramic images |
| US7155735B1 (en) | 1999-10-08 | 2006-12-26 | Vulcan Patents Llc | System and method for the broadcast dissemination of time-ordered data |
| US20060073509A1 (en) * | 1999-11-18 | 2006-04-06 | Michael Kilpatrick | Method for detecting and quantitating multiple subcellular components |
| CA2392530A1 (en) * | 1999-11-24 | 2001-05-31 | Inmotion Technologies Ltd. | Coordination and combination of video sequences with spatial and temporal normalization |
| US6717608B1 (en) * | 1999-12-31 | 2004-04-06 | Stmicroelectronics, Inc. | Motion estimation for panoramic digital camera |
| US6757682B1 (en) | 2000-01-28 | 2004-06-29 | Interval Research Corporation | Alerting users to items of current interest |
| WO2007053710A2 (en) | 2005-11-01 | 2007-05-10 | Donnelly Corporation | Interior rearview mirror with display |
| US7370983B2 (en) | 2000-03-02 | 2008-05-13 | Donnelly Corporation | Interior mirror assembly with display |
| US7167796B2 (en) | 2000-03-09 | 2007-01-23 | Donnelly Corporation | Vehicle navigation system for use with a telematics system |
| US7004593B2 (en) | 2002-06-06 | 2006-02-28 | Donnelly Corporation | Interior rearview mirror system with compass |
| WO2001064481A2 (en) | 2000-03-02 | 2001-09-07 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
| GB2360413A (en) * | 2000-03-16 | 2001-09-19 | Lee Scott Friend | Wide angle parabolic imaging and image mapping apparatus |
| US6396408B2 (en) | 2000-03-31 | 2002-05-28 | Donnelly Corporation | Digital electrochromic circuit with a vehicle network |
| US6778207B1 (en) * | 2000-08-07 | 2004-08-17 | Koninklijke Philips Electronics N.V. | Fast digital pan tilt zoom video |
| US7313289B2 (en) * | 2000-08-30 | 2007-12-25 | Ricoh Company, Ltd. | Image processing method and apparatus and computer-readable storage medium using improved distortion correction |
| US7255451B2 (en) | 2002-09-20 | 2007-08-14 | Donnelly Corporation | Electro-optic mirror cell |
| US7581859B2 (en) | 2005-09-14 | 2009-09-01 | Donnelly Corp. | Display device for exterior rearview mirror |
| DE60220379T2 (de) | 2001-01-23 | 2008-01-24 | Donnelly Corp., Holland | Verbessertes fahrzeugbeleuchtungssystem |
| JP2002251608A (ja) * | 2001-02-23 | 2002-09-06 | Mixed Reality Systems Laboratory Inc | 撮像装置の制御装置及びその制御方法、画像処理装置及びその方法、並びにプログラムコード、記憶媒体 |
| US20020118890A1 (en) * | 2001-02-24 | 2002-08-29 | Michael Rondinelli | Method and apparatus for processing photographic images |
| US20020141657A1 (en) * | 2001-03-30 | 2002-10-03 | Robert Novak | System and method for a software steerable web Camera |
| WO2002080521A2 (en) * | 2001-03-30 | 2002-10-10 | Digeo, Inc. | System and method for a software steerable web camera with multiple image subset capture |
| JP3297040B1 (ja) * | 2001-04-24 | 2002-07-02 | 松下電器産業株式会社 | 車載カメラの画像合成表示方法及びその装置 |
| US20030115475A1 (en) * | 2001-07-12 | 2003-06-19 | Russo Anthony P. | Biometrically enhanced digital certificates and system and method for making and using |
| JP2003042847A (ja) * | 2001-07-30 | 2003-02-13 | Nakagawa Chem:Kk | 色彩の調査及び分析方法 |
| US7697027B2 (en) | 2001-07-31 | 2010-04-13 | Donnelly Corporation | Vehicular video system |
| US6882287B2 (en) | 2001-07-31 | 2005-04-19 | Donnelly Corporation | Automotive lane change aid |
| WO2003027766A2 (en) * | 2001-09-27 | 2003-04-03 | Eyesee360, Inc. | System and method for panoramic imaging |
| US7058239B2 (en) * | 2001-10-29 | 2006-06-06 | Eyesee360, Inc. | System and method for panoramic imaging |
| KR100433625B1 (ko) * | 2001-11-17 | 2004-06-02 | 학교법인 포항공과대학교 | 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치 |
| CN1301014C (zh) * | 2001-11-22 | 2007-02-14 | 松下电器产业株式会社 | 可变长度编码方法以及可变长度解码方法 |
| JP3975736B2 (ja) * | 2001-12-07 | 2007-09-12 | ソニー株式会社 | 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
| US20030112339A1 (en) * | 2001-12-17 | 2003-06-19 | Eastman Kodak Company | Method and system for compositing images with compensation for light falloff |
| JP2003230127A (ja) * | 2002-01-31 | 2003-08-15 | Matsushita Electric Ind Co Ltd | ダイジェスト映像特定システム、ダイジェスト映像提供システム、ダイジェスト映像特定方法、ダイジェスト映像提供方法、媒体、及びプログラム |
| JP3945279B2 (ja) * | 2002-03-15 | 2007-07-18 | ソニー株式会社 | 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 |
| JP4055201B2 (ja) * | 2002-04-12 | 2008-03-05 | ソニー株式会社 | サービス提供システム、情報処理装置および方法、記録媒体、並びにプログラム |
| US6918674B2 (en) | 2002-05-03 | 2005-07-19 | Donnelly Corporation | Vehicle rearview mirror system |
| EP1504276B1 (en) | 2002-05-03 | 2012-08-08 | Donnelly Corporation | Object detection system for vehicle |
| US7329013B2 (en) | 2002-06-06 | 2008-02-12 | Donnelly Corporation | Interior rearview mirror system with compass |
| EP1543358A2 (en) | 2002-09-20 | 2005-06-22 | Donnelly Corporation | Mirror reflective element assembly |
| US7310177B2 (en) | 2002-09-20 | 2007-12-18 | Donnelly Corporation | Electro-optic reflective element assembly |
| EP1553521A4 (en) * | 2002-10-15 | 2006-08-02 | Seiko Epson Corp | PANORAMIC SYNTHESIS PROCESSING MULTIPLE IMAGE DATA |
| US7307654B2 (en) * | 2002-10-31 | 2007-12-11 | Hewlett-Packard Development Company, L.P. | Image capture and viewing system and method for generating a synthesized image |
| US7567274B2 (en) * | 2002-12-09 | 2009-07-28 | Frank Edughom Ekpar | Method and apparatus for creating interactive virtual tours |
| WO2004068865A1 (en) * | 2003-01-24 | 2004-08-12 | Micoy Corporation | Steroscopic panoramic image capture device |
| US7289037B2 (en) | 2003-05-19 | 2007-10-30 | Donnelly Corporation | Mirror assembly for vehicle |
| WO2005006773A1 (en) * | 2003-06-20 | 2005-01-20 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method and system for combining video sequences with spatio-temporal alignment |
| SE0302065D0 (sv) * | 2003-07-14 | 2003-07-14 | Stefan Carlsson | Video - method and apparatus |
| US20050046698A1 (en) * | 2003-09-02 | 2005-03-03 | Knight Andrew Frederick | System and method for producing a selectable view of an object space |
| US7446924B2 (en) | 2003-10-02 | 2008-11-04 | Donnelly Corporation | Mirror reflective element assembly including electronic component |
| US7308341B2 (en) | 2003-10-14 | 2007-12-11 | Donnelly Corporation | Vehicle communication system |
| US20050185047A1 (en) * | 2004-02-19 | 2005-08-25 | Hii Desmond Toh O. | Method and apparatus for providing a combined image |
| US7526103B2 (en) * | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| US20060028550A1 (en) * | 2004-08-06 | 2006-02-09 | Palmer Robert G Jr | Surveillance system and method |
| US7292207B1 (en) | 2004-08-27 | 2007-11-06 | Sun Microsystems, Inc. | Computing blending functions for the tiling of overlapped video projectors |
| JP4560716B2 (ja) * | 2004-09-28 | 2010-10-13 | アイシン精機株式会社 | 車両の周辺監視システム |
| US7881496B2 (en) | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
| US9141615B1 (en) | 2004-11-12 | 2015-09-22 | Grandeye, Ltd. | Interactive media server |
| US7756358B2 (en) * | 2004-11-30 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | System and method of aligning images |
| US20060115182A1 (en) * | 2004-11-30 | 2006-06-01 | Yining Deng | System and method of intensity correction |
| JP4857556B2 (ja) * | 2004-12-15 | 2012-01-18 | 日産自動車株式会社 | 車載用カメラ映像提示装置 |
| US7720580B2 (en) | 2004-12-23 | 2010-05-18 | Donnelly Corporation | Object detection system for vehicle |
| US7450137B2 (en) * | 2005-02-18 | 2008-11-11 | Hewlett-Packard Development Company, L.P. | System and method for blending images |
| EP1696669B1 (en) * | 2005-02-24 | 2013-07-03 | Aisin Seiki Kabushiki Kaisha | Vehicle surrounding monitoring device |
| US7634152B2 (en) | 2005-03-07 | 2009-12-15 | Hewlett-Packard Development Company, L.P. | System and method for correcting image vignetting |
| US7626749B2 (en) | 2005-05-16 | 2009-12-01 | Donnelly Corporation | Vehicle mirror assembly with indicia at reflective element |
| US8723951B2 (en) * | 2005-11-23 | 2014-05-13 | Grandeye, Ltd. | Interactive wide-angle video server |
| DE102006036933B4 (de) * | 2006-08-08 | 2024-01-11 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Erzeugung eines Gesamtbilds aus überlappenden Einzelbildern |
| US7972045B2 (en) | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
| WO2008068456A2 (en) * | 2006-12-06 | 2008-06-12 | Sony United Kingdom Limited | A method and an apparatus for generating image content |
| GB2444533B (en) | 2006-12-06 | 2011-05-04 | Sony Uk Ltd | A method and an apparatus for generating image content |
| US8013780B2 (en) | 2007-01-25 | 2011-09-06 | Magna Electronics Inc. | Radar sensing system for vehicle |
| US7914187B2 (en) | 2007-07-12 | 2011-03-29 | Magna Electronics Inc. | Automatic lighting system with adaptive alignment function |
| US8017898B2 (en) | 2007-08-17 | 2011-09-13 | Magna Electronics Inc. | Vehicular imaging system in an automatic headlamp control system |
| US8451107B2 (en) | 2007-09-11 | 2013-05-28 | Magna Electronics, Inc. | Imaging system for vehicle |
| US8446470B2 (en) | 2007-10-04 | 2013-05-21 | Magna Electronics, Inc. | Combined RGB and IR imaging sensor |
| US20090160936A1 (en) * | 2007-12-21 | 2009-06-25 | Mccormack Kenneth | Methods and apparatus for operating a video camera assembly |
| US8154418B2 (en) | 2008-03-31 | 2012-04-10 | Magna Mirrors Of America, Inc. | Interior rearview mirror system |
| US20100020170A1 (en) | 2008-07-24 | 2010-01-28 | Higgins-Luthman Michael J | Vehicle Imaging System |
| DE102008046545A1 (de) | 2008-09-10 | 2009-05-14 | Daimler Ag | Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs |
| US9487144B2 (en) | 2008-10-16 | 2016-11-08 | Magna Mirrors Of America, Inc. | Interior mirror assembly with display |
| US9126525B2 (en) | 2009-02-27 | 2015-09-08 | Magna Electronics Inc. | Alert system for vehicle |
| JP5369778B2 (ja) * | 2009-03-11 | 2013-12-18 | 日本電気株式会社 | 動線モニタリングシステム、方法、及び、プログラム |
| US8376595B2 (en) | 2009-05-15 | 2013-02-19 | Magna Electronics, Inc. | Automatic headlamp control |
| WO2011014497A1 (en) | 2009-07-27 | 2011-02-03 | Magna Electronics Inc. | Vehicular camera with on-board microcontroller |
| WO2011014482A1 (en) | 2009-07-27 | 2011-02-03 | Magna Electronics Inc. | Parking assist system |
| US9041806B2 (en) | 2009-09-01 | 2015-05-26 | Magna Electronics Inc. | Imaging and display system for vehicle |
| US8890955B2 (en) | 2010-02-10 | 2014-11-18 | Magna Mirrors Of America, Inc. | Adaptable wireless vehicle vision system based on wireless communication error |
| JP5402832B2 (ja) * | 2010-05-27 | 2014-01-29 | 株式会社Ｊｖｃケンウッド | 視点変換装置及び視点変換方法 |
| US9117123B2 (en) | 2010-07-05 | 2015-08-25 | Magna Electronics Inc. | Vehicular rear view camera display system with lifecheck function |
| JP5481337B2 (ja) * | 2010-09-24 | 2014-04-23 | 株式会社東芝 | 画像処理装置 |
| TW201215126A (en) * | 2010-09-27 | 2012-04-01 | Hon Hai Prec Ind Co Ltd | Image dividing system for cameras and using method of the same |
| WO2012068331A1 (en) | 2010-11-19 | 2012-05-24 | Magna Electronics Inc. | Lane keeping system and lane centering system |
| WO2012075250A1 (en) | 2010-12-01 | 2012-06-07 | Magna Electronics Inc. | System and method of establishing a multi-camera image using pixel remapping |
| US9264672B2 (en) | 2010-12-22 | 2016-02-16 | Magna Mirrors Of America, Inc. | Vision display system for vehicle |
| US9336596B2 (en) * | 2010-12-28 | 2016-05-10 | Tektronix, Inc. | System and methods to efficiently measure stereoscopic disparity and to generate related mismatch images |
| WO2012103193A1 (en) | 2011-01-26 | 2012-08-02 | Magna Electronics Inc. | Rear vision system with trailer angle detection |
| US9194943B2 (en) | 2011-04-12 | 2015-11-24 | Magna Electronics Inc. | Step filter for estimating distance in a time-of-flight ranging system |
| US9547795B2 (en) | 2011-04-25 | 2017-01-17 | Magna Electronics Inc. | Image processing method for detecting objects using relative motion |
| WO2012145818A1 (en) | 2011-04-25 | 2012-11-01 | Magna International Inc. | Method and system for dynamically calibrating vehicular cameras |
| WO2012145822A1 (en) | 2011-04-25 | 2012-11-01 | Magna International Inc. | Method and system for dynamically calibrating vehicular cameras |
| WO2012158167A1 (en) | 2011-05-18 | 2012-11-22 | Magna Electronics Inc. | Self-calibrating vehicular camera |
| WO2013016409A1 (en) | 2011-07-26 | 2013-01-31 | Magna Electronics Inc. | Vision system for vehicle |
| WO2013019707A1 (en) | 2011-08-01 | 2013-02-07 | Magna Electronics Inc. | Vehicle camera alignment system |
| DE112012003931T5 (de) | 2011-09-21 | 2014-07-10 | Magna Electronics, Inc. | Bildverarbeitungssystem für ein Kraftfahrzeug mit Bilddatenübertragung undStromversorgung über ein Koaxialkabel |
| US9681062B2 (en) | 2011-09-26 | 2017-06-13 | Magna Electronics Inc. | Vehicle camera image quality improvement in poor visibility conditions by contrast amplification |
| US9146898B2 (en) | 2011-10-27 | 2015-09-29 | Magna Electronics Inc. | Driver assist system with algorithm switching |
| US9491451B2 (en) | 2011-11-15 | 2016-11-08 | Magna Electronics Inc. | Calibration system and method for vehicular surround vision system |
| US10099614B2 (en) | 2011-11-28 | 2018-10-16 | Magna Electronics Inc. | Vision system for vehicle |
| US9762880B2 (en) | 2011-12-09 | 2017-09-12 | Magna Electronics Inc. | Vehicle vision system with customized display |
| US10457209B2 (en) | 2012-02-22 | 2019-10-29 | Magna Electronics Inc. | Vehicle vision system with multi-paned view |
| WO2013126715A2 (en) | 2012-02-22 | 2013-08-29 | Magna Electronics, Inc. | Vehicle camera system with image manipulation |
| US8694224B2 (en) | 2012-03-01 | 2014-04-08 | Magna Electronics Inc. | Vehicle yaw rate correction |
| US10609335B2 (en) | 2012-03-23 | 2020-03-31 | Magna Electronics Inc. | Vehicle vision system with accelerated object confirmation |
| US20130250040A1 (en) * | 2012-03-23 | 2013-09-26 | Broadcom Corporation | Capturing and Displaying Stereoscopic Panoramic Images |
| US9751465B2 (en) | 2012-04-16 | 2017-09-05 | Magna Electronics Inc. | Vehicle vision system with reduced image color data processing by use of dithering |
| US10089537B2 (en) | 2012-05-18 | 2018-10-02 | Magna Electronics Inc. | Vehicle vision system with front and rear camera integration |
| US9340227B2 (en) | 2012-08-14 | 2016-05-17 | Magna Electronics Inc. | Vehicle lane keep assist system |
| DE102013217430A1 (de) | 2012-09-04 | 2014-03-06 | Magna Electronics, Inc. | Fahrerassistenzsystem für ein Kraftfahrzeug |
| US9558409B2 (en) | 2012-09-26 | 2017-01-31 | Magna Electronics Inc. | Vehicle vision system with trailer angle detection |
| US9446713B2 (en) | 2012-09-26 | 2016-09-20 | Magna Electronics Inc. | Trailer angle detection system |
| US9723272B2 (en) | 2012-10-05 | 2017-08-01 | Magna Electronics Inc. | Multi-camera image stitching calibration system |
| US20140114534A1 (en) * | 2012-10-19 | 2014-04-24 | GM Global Technology Operations LLC | Dynamic rearview mirror display features |
| US9090234B2 (en) | 2012-11-19 | 2015-07-28 | Magna Electronics Inc. | Braking control system for vehicle |
| US9743002B2 (en) | 2012-11-19 | 2017-08-22 | Magna Electronics Inc. | Vehicle vision system with enhanced display functions |
| CN113472989A (zh) | 2012-11-28 | 2021-10-01 | 核心光电有限公司 | 多孔径成像系统以及通过多孔径成像系统获取图像的方法 |
| US10025994B2 (en) | 2012-12-04 | 2018-07-17 | Magna Electronics Inc. | Vehicle vision system utilizing corner detection |
| US9481301B2 (en) | 2012-12-05 | 2016-11-01 | Magna Electronics Inc. | Vehicle vision system utilizing camera synchronization |
| US20140218529A1 (en) | 2013-02-04 | 2014-08-07 | Magna Electronics Inc. | Vehicle data recording system |
| US9092986B2 (en) | 2013-02-04 | 2015-07-28 | Magna Electronics Inc. | Vehicular vision system |
| US10179543B2 (en) | 2013-02-27 | 2019-01-15 | Magna Electronics Inc. | Multi-camera dynamic top view vision system |
| US9688200B2 (en) | 2013-03-04 | 2017-06-27 | Magna Electronics Inc. | Calibration system and method for multi-camera vision system |
| US9787947B2 (en) * | 2013-03-13 | 2017-10-10 | Pelco, Inc. | Surveillance system with intelligently interchangeable cameras |
| US10027930B2 (en) | 2013-03-29 | 2018-07-17 | Magna Electronics Inc. | Spectral filtering for vehicular driver assistance systems |
| US9327693B2 (en) | 2013-04-10 | 2016-05-03 | Magna Electronics Inc. | Rear collision avoidance system for vehicle |
| FR3004881B1 (fr) * | 2013-04-19 | 2015-04-17 | Kolor | Procede de generation d'un flux video de sortie a partir d'un flux video large champ |
| US10232797B2 (en) | 2013-04-29 | 2019-03-19 | Magna Electronics Inc. | Rear vision system for vehicle with dual purpose signal lines |
| US9508014B2 (en) | 2013-05-06 | 2016-11-29 | Magna Electronics Inc. | Vehicular multi-camera vision system |
| US9563951B2 (en) | 2013-05-21 | 2017-02-07 | Magna Electronics Inc. | Vehicle vision system with targetless camera calibration |
| US9205776B2 (en) | 2013-05-21 | 2015-12-08 | Magna Electronics Inc. | Vehicle vision system using kinematic model of vehicle motion |
| US9742991B2 (en) | 2013-05-24 | 2017-08-22 | Robert Frank Latorre | 360 degree photobooth kiosk |
| US10567705B2 (en) | 2013-06-10 | 2020-02-18 | Magna Electronics Inc. | Coaxial cable with bidirectional data transmission |
| CN108989647B (zh) | 2013-06-13 | 2020-10-20 | 核心光电有限公司 | 双孔径变焦数字摄影机 |
| US9260095B2 (en) | 2013-06-19 | 2016-02-16 | Magna Electronics Inc. | Vehicle vision system with collision mitigation |
| US20140375476A1 (en) | 2013-06-24 | 2014-12-25 | Magna Electronics Inc. | Vehicle alert system |
| US10755110B2 (en) | 2013-06-28 | 2020-08-25 | Magna Electronics Inc. | Trailering assist system for vehicle |
| EP3779565A3 (en) | 2013-07-04 | 2021-05-05 | Corephotonics Ltd. | Miniature telephoto lens assembly |
| CN108718376B (zh) | 2013-08-01 | 2020-08-14 | 核心光电有限公司 | 具有自动聚焦的纤薄多孔径成像系统及其使用方法 |
| US20150042799A1 (en) * | 2013-08-07 | 2015-02-12 | GM Global Technology Operations LLC | Object highlighting and sensing in vehicle image display systems |
| US10326969B2 (en) | 2013-08-12 | 2019-06-18 | Magna Electronics Inc. | Vehicle vision system with reduction of temporal noise in images |
| US20150109444A1 (en) * | 2013-10-22 | 2015-04-23 | GM Global Technology Operations LLC | Vision-based object sensing and highlighting in vehicle image display systems |
| US9499139B2 (en) | 2013-12-05 | 2016-11-22 | Magna Electronics Inc. | Vehicle monitoring system |
| US9988047B2 (en) | 2013-12-12 | 2018-06-05 | Magna Electronics Inc. | Vehicle control system with traffic driving control |
| US10160382B2 (en) | 2014-02-04 | 2018-12-25 | Magna Electronics Inc. | Trailer backup assist system |
| US9623878B2 (en) | 2014-04-02 | 2017-04-18 | Magna Electronics Inc. | Personalized driver assistance system for vehicle |
| US9487235B2 (en) | 2014-04-10 | 2016-11-08 | Magna Electronics Inc. | Vehicle control system with adaptive wheel angle correction |
| US10328932B2 (en) | 2014-06-02 | 2019-06-25 | Magna Electronics Inc. | Parking assist system with annotated map generation |
| US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
| KR20160072687A (ko) * | 2014-12-15 | 2016-06-23 | 삼성전기주식회사 | 카메라 모듈 |
| CN107209404B (zh) | 2015-01-03 | 2021-01-15 | 核心光电有限公司 | 微型长焦镜头模块和使用该镜头模块的相机 |
| US9916660B2 (en) | 2015-01-16 | 2018-03-13 | Magna Electronics Inc. | Vehicle vision system with calibration algorithm |
| US10286855B2 (en) | 2015-03-23 | 2019-05-14 | Magna Electronics Inc. | Vehicle vision system with video compression |
| KR101914894B1 (ko) | 2015-04-02 | 2018-11-02 | 코어포토닉스 리미티드 | 듀얼 광학 모듈 카메라의 듀얼 보이스 코일 모터 구조체 |
| KR101963546B1 (ko) | 2015-04-16 | 2019-03-28 | 코어포토닉스 리미티드 | 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화 |
| US10946799B2 (en) | 2015-04-21 | 2021-03-16 | Magna Electronics Inc. | Vehicle vision system with overlay calibration |
| US10819943B2 (en) | 2015-05-07 | 2020-10-27 | Magna Electronics Inc. | Vehicle vision system with incident recording function |
| CN110687655B (zh) | 2015-05-28 | 2022-10-21 | 核心光电有限公司 | 用于双孔径数字照相机中的光学图像稳定和自动对焦的双向刚度 |
| US10214206B2 (en) | 2015-07-13 | 2019-02-26 | Magna Electronics Inc. | Parking assist system for vehicle |
| US10078789B2 (en) | 2015-07-17 | 2018-09-18 | Magna Electronics Inc. | Vehicle parking assist system with vision-based parking space detection |
| US10225467B2 (en) * | 2015-07-20 | 2019-03-05 | Motorola Mobility Llc | 360° video multi-angle attention-focus recording |
| KR102253997B1 (ko) | 2015-08-13 | 2021-05-20 | 코어포토닉스 리미티드 | 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라 |
| US10086870B2 (en) | 2015-08-18 | 2018-10-02 | Magna Electronics Inc. | Trailer parking assist system for vehicle |
| KR102225727B1 (ko) | 2015-09-06 | 2021-03-10 | 코어포토닉스 리미티드 | 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지 |
| US9681111B1 (en) | 2015-10-22 | 2017-06-13 | Gopro, Inc. | Apparatus and methods for embedding metadata into video stream |
| US10875403B2 (en) | 2015-10-27 | 2020-12-29 | Magna Electronics Inc. | Vehicle vision system with enhanced night vision |
| US10033928B1 (en) | 2015-10-29 | 2018-07-24 | Gopro, Inc. | Apparatus and methods for rolling shutter compensation for multi-camera systems |
| US9973696B1 (en) | 2015-11-23 | 2018-05-15 | Gopro, Inc. | Apparatus and methods for image alignment |
| US9792709B1 (en) | 2015-11-23 | 2017-10-17 | Gopro, Inc. | Apparatus and methods for image alignment |
| US9848132B2 (en) | 2015-11-24 | 2017-12-19 | Gopro, Inc. | Multi-camera time synchronization |
| US9667859B1 (en) | 2015-12-28 | 2017-05-30 | Gopro, Inc. | Systems and methods for determining preferences for capture settings of an image capturing device |
| KR102140882B1 (ko) | 2015-12-29 | 2020-08-04 | 코어포토닉스 리미티드 | 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라 |
| US9922387B1 (en) | 2016-01-19 | 2018-03-20 | Gopro, Inc. | Storage of metadata and images |
| US9967457B1 (en) | 2016-01-22 | 2018-05-08 | Gopro, Inc. | Systems and methods for determining preferences for capture settings of an image capturing device |
| US11277558B2 (en) | 2016-02-01 | 2022-03-15 | Magna Electronics Inc. | Vehicle vision system with master-slave camera configuration |
| US11433809B2 (en) | 2016-02-02 | 2022-09-06 | Magna Electronics Inc. | Vehicle vision system with smart camera video output |
| US9665098B1 (en) | 2016-02-16 | 2017-05-30 | Gopro, Inc. | Systems and methods for determining preferences for flight control settings of an unmanned aerial vehicle |
| US9973746B2 (en) | 2016-02-17 | 2018-05-15 | Gopro, Inc. | System and method for presenting and viewing a spherical video segment |
| US9743060B1 (en) | 2016-02-22 | 2017-08-22 | Gopro, Inc. | System and method for presenting and viewing a spherical video segment |
| US9602795B1 (en) | 2016-02-22 | 2017-03-21 | Gopro, Inc. | System and method for presenting and viewing a spherical video segment |
| US10160437B2 (en) | 2016-02-29 | 2018-12-25 | Magna Electronics Inc. | Vehicle control system with reverse assist |
| US20170253237A1 (en) | 2016-03-02 | 2017-09-07 | Magna Electronics Inc. | Vehicle vision system with automatic parking function |
| US10132971B2 (en) | 2016-03-04 | 2018-11-20 | Magna Electronics Inc. | Vehicle camera with multiple spectral filters |
| US10055651B2 (en) | 2016-03-08 | 2018-08-21 | Magna Electronics Inc. | Vehicle vision system with enhanced lane tracking |
| CN111965919B (zh) | 2016-05-30 | 2022-02-08 | 核心光电有限公司 | 旋转滚珠引导音圈电动机 |
| CN109639954B (zh) | 2016-06-19 | 2020-10-23 | 核心光电有限公司 | 双孔径摄影机中的帧同步系统和方法 |
| WO2018007981A1 (en) | 2016-07-07 | 2018-01-11 | Corephotonics Ltd. | Linear ball guided voice coil motor for folded optic |
| US10706518B2 (en) | 2016-07-07 | 2020-07-07 | Corephotonics Ltd. | Dual camera system with improved video smooth transition by image blending |
| US9934758B1 (en) | 2016-09-21 | 2018-04-03 | Gopro, Inc. | Systems and methods for simulating adaptation of eyes to changes in lighting conditions |
| CN109791685B (zh) * | 2016-10-03 | 2023-01-10 | 奥林巴斯株式会社 | 图像处理装置、摄像系统、图像处理方法和图像处理程序 |
| US10268896B1 (en) | 2016-10-05 | 2019-04-23 | Gopro, Inc. | Systems and methods for determining video highlight based on conveyance positions of video content capture |
| US9973792B1 (en) | 2016-10-27 | 2018-05-15 | Gopro, Inc. | Systems and methods for presenting visual information during presentation of a video segment |
| EP4246993A3 (en) | 2016-12-28 | 2024-03-06 | Corephotonics Ltd. | Folded camera structure with an extended light-folding-element scanning range |
| WO2018128011A1 (ja) * | 2017-01-06 | 2018-07-12 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| KR102365926B1 (ko) | 2017-01-12 | 2022-02-23 | 코어포토닉스 리미티드 | 컴팩트 폴디드 카메라 |
| US10194101B1 (en) | 2017-02-22 | 2019-01-29 | Gopro, Inc. | Systems and methods for rolling shutter compensation using iterative process |
| EP3579040B1 (en) | 2017-02-23 | 2021-06-23 | Corephotonics Ltd. | Folded camera lens designs |
| US10645286B2 (en) | 2017-03-15 | 2020-05-05 | Corephotonics Ltd. | Camera with panoramic scanning range |
| US10187607B1 (en) | 2017-04-04 | 2019-01-22 | Gopro, Inc. | Systems and methods for using a variable capture frame rate for video capture |
| WO2019048904A1 (en) | 2017-09-06 | 2019-03-14 | Corephotonics Ltd. | STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA |
| US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
| CN113075838B (zh) | 2017-11-23 | 2022-11-29 | 核心光电有限公司 | 摄影机及制法、移动电子设备及减小凸起占用空间的方法 |
| CN110352371B (zh) | 2018-02-05 | 2022-05-13 | 核心光电有限公司 | 减少高度容余的折叠摄像装置 |
| WO2019155289A1 (en) | 2018-02-12 | 2019-08-15 | Corephotonics Ltd. | Folded camera with optical image stabilization |
| US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
| US11268829B2 (en) | 2018-04-23 | 2022-03-08 | Corephotonics Ltd | Optical-path folding-element with an extended two degree of freedom rotation range |
| CN111316346B (zh) | 2018-08-04 | 2022-11-29 | 核心光电有限公司 | 摄像机上方的可切换连续显示信息系统 |
| WO2020039302A1 (en) | 2018-08-22 | 2020-02-27 | Corephotonics Ltd. | Two-state zoom folded camera |
| DE102018126371A1 (de) * | 2018-10-23 | 2020-04-23 | Hensoldt Optronics Gmbh | Verfahren zur Anzeige eines Panoramabilds auf einer Bildwiedergabeeinrichtung |
| WO2020144528A1 (en) | 2019-01-07 | 2020-07-16 | Corephotonics Ltd. | Rotation mechanism with sliding joint |
| CN111971956B (zh) | 2019-03-09 | 2021-12-03 | 核心光电有限公司 | 用于动态立体校准的方法及系统 |
| EP3837662A4 (en) | 2019-07-31 | 2021-12-15 | Corephotonics Ltd. | SYSTEM AND METHOD FOR GENERATING BACKGROUND BLUR DURING CAMERA PAN or MOVEMENT |
| US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
| US11770618B2 (en) | 2019-12-09 | 2023-09-26 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
| US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
| KR20220003550A (ko) | 2020-04-26 | 2022-01-10 | 코어포토닉스 리미티드 | 홀 바 센서 보정을 위한 온도 제어 |
| WO2021234515A1 (en) | 2020-05-17 | 2021-11-25 | Corephotonics Ltd. | Image stitching in the presence of a full field of view reference image |
| CN114080565B (zh) | 2020-05-30 | 2024-01-19 | 核心光电有限公司 | 用于获得超微距图像的系统和方法 |
| EP4202521A1 (en) | 2020-07-15 | 2023-06-28 | Corephotonics Ltd. | Point of view aberrations correction in a scanning folded camera |
| US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
| US11946775B2 (en) | 2020-07-31 | 2024-04-02 | Corephotonics Ltd. | Hall sensor—magnet geometry for large stroke linear position sensing |
| KR102480820B1 (ko) | 2020-08-12 | 2022-12-22 | 코어포토닉스 리미티드 | 스캐닝 폴디드 카메라의 광학 이미지 안정화 |
| US11968639B2 (en) | 2020-11-11 | 2024-04-23 | Magna Electronics Inc. | Vehicular control system with synchronized communication between control units |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4660157A (en) * | 1981-10-02 | 1987-04-21 | Harris Corporation | Real time video perspective digital map display method |
| US4677576A (en) * | 1983-06-27 | 1987-06-30 | Grumman Aerospace Corporation | Non-edge computer image generation system |
| DE3572533D1 (en) * | 1984-08-24 | 1989-09-28 | Hughes Aircraft Co | System and method for mapping geosynchronous real image data into idealized images |
| GB2185360B (en) * | 1986-01-11 | 1989-10-25 | Pilkington Perkin Elmer Ltd | Display system |
| GB2189365A (en) * | 1986-03-20 | 1987-10-21 | Rank Xerox Ltd | Imaging apparatus |
| JP2555041B2 (ja) * | 1986-12-05 | 1996-11-20 | 株式会社日立製作所 | パノラマ画像合成システム |
| US4740839A (en) * | 1987-06-12 | 1988-04-26 | Phillips William R | TV surveillance system that requires no mechanical motion |
| JPH0336700A (ja) * | 1989-07-03 | 1991-02-18 | Mitsubishi Heavy Ind Ltd | 周辺監視装置 |
| US5023725A (en) * | 1989-10-23 | 1991-06-11 | Mccutchen David | Method and apparatus for dodecahedral imaging system |
| US5130794A (en) * | 1990-03-29 | 1992-07-14 | Ritchey Kurtis J | Panoramic display system |
| JP3021556B2 (ja) * | 1990-06-20 | 2000-03-15 | ソニー株式会社 | 映像情報処理装置とその方法 |
| US5187571A (en) * | 1991-02-01 | 1993-02-16 | Bell Communications Research, Inc. | Television system for displaying multiple views of a remote location |
| JP3126157B2 (ja) * | 1991-03-04 | 2001-01-22 | 日本放送協会 | 画像情報処理装置 |
| US5200818A (en) * | 1991-03-22 | 1993-04-06 | Inbal Neta | Video imaging system with interactive windowing capability |
| US5185667A (en) * | 1991-05-13 | 1993-02-09 | Telerobotics International, Inc. | Omniview motionless camera orientation system |
| JP3205571B2 (ja) * | 1991-06-28 | 2001-09-04 | 日本放送協会 | パノラマ画像取り込み装置 |
| JP3104327B2 (ja) * | 1991-10-18 | 2000-10-30 | 松下電器産業株式会社 | 歪曲収差補正装置および画像合成装置 |
| JP3321941B2 (ja) * | 1993-11-11 | 2002-09-09 | 三菱電機株式会社 | 画像合成装置 |
-
1993
- 1993-12-22 KR KR1019930028978A patent/KR940017747A/ko not_active Application Discontinuation
- 1993-12-22 EP EP93203620A patent/EP0605045B1/fr not_active Expired - Lifetime
- 1993-12-22 DE DE69324224T patent/DE69324224T2/de not_active Expired - Fee Related
- 1993-12-28 US US08/174,091 patent/US5444478A/en not_active Expired - Fee Related
- 1993-12-29 JP JP35462993A patent/JP3320541B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| KR940017747A (ko) | 1994-07-27 |
| DE69324224T2 (de) | 1999-10-28 |
| EP0605045B1 (fr) | 1999-03-31 |
| US5444478A (en) | 1995-08-22 |
| DE69324224D1 (de) | 1999-05-06 |
| EP0605045A1 (fr) | 1994-07-06 |
| JPH076227A (ja) | 1995-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3320541B2 (ja) | 隣接する複数画像より画像を形成する画像処理方法及び装置 | |
| US11269244B2 (en) | System and method for calibrating a display system using manual and semi-manual techniques | |
| US5586231A (en) | Method and device for processing an image in order to construct from a source image a target image with charge of perspective | |
| KR100799088B1 (ko) | 고속 디지털 팬 틸트 줌 비디오 | |
| CA2201680C (en) | Processing image data | |
| JP3706645B2 (ja) | 画像処理方法及びシステム | |
| TW396292B (en) | Stereo panoramic viewing system | |
| JP3463612B2 (ja) | 画像入力方法、画像入力装置及び記録媒体 | |
| US6738073B2 (en) | Camera system with both a wide angle view and a high resolution view | |
| US20020063711A1 (en) | Camera system with high resolution image inside a wide angle view | |
| US20020075258A1 (en) | Camera system with high resolution image inside a wide angle view | |
| WO2005006776A1 (en) | Method and device for generating wide image sequences | |
| JP2004056779A (ja) | 画像入力装置 | |
| GB2312125A (en) | Virtual studio with zoom control | |
| Ikeda et al. | Panoramic movie generation using an omnidirectional multi-camera system for telepresence | |
| Huang et al. | Spisy: The stereo panoramic imaging system | |
| US11900635B2 (en) | Organic camera-pose mapping | |
| US11823410B1 (en) | Video match moving system and method | |
| US20230396747A1 (en) | Multiple camera sensor system | |
| Qin et al. | Creating a precise panorama from fanned video sequence images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |