JP3695377B2 - 画像合成装置および画像合成方法 - Google Patents
画像合成装置および画像合成方法 Download PDFInfo
- Publication number
- JP3695377B2 JP3695377B2 JP2001304830A JP2001304830A JP3695377B2 JP 3695377 B2 JP3695377 B2 JP 3695377B2 JP 2001304830 A JP2001304830 A JP 2001304830A JP 2001304830 A JP2001304830 A JP 2001304830A JP 3695377 B2 JP3695377 B2 JP 3695377B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- point
- image
- color
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Description
【０００１】
【発明の属する技術分野】
本発明は複数のカメラで撮像された複数の画像を合成して一つの画像にする技術に関し、例えば車両の周囲を撮像した画像から他車両の接近等を検出する装置などに応用される技術である。
【０００２】
【従来の技術】
複数の電子式カメラ（例えばＣＣＤカメラ）で撮影された画像は、カメラの個体差や撮影する位置などによって、同じ部分の画像を撮影しても必ずしも色や輝度が一致するとは限らない。したがって複数のカメラで撮像した画像を合成して一つの画像にする場合には、合成部位（継ぎ目）については特別な処理を行う必要がある。従来において、合成部位の濃淡差を目立たなくする技術として特開平１１−５５６８２号公報に記載の技術がある。上記従来技術では、両方のカメラで撮影されている重複部位の色や輝度については、両カメラ画像の色や輝度の平均値を用いるか、もしくはどちらか一方のカメラに合わせることで、合成部位を目立たなくしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、カメラの向きや位置を考慮せずに、単純に両カメラ画像の色や輝度の平均値を用いるか、もしくはどちらか一方のカメラに合わせたりするため、合成部位の映像の色や輝度が、必ずしも正確に表現されないという問題があった。
【０００４】
本発明は上記のごとき従来技術の問題を解決するためになされたものであり、複数のカメラで撮影された合成画像の色や輝度を正確に表現することのできる画像合成装置および画像合成方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため、本発明においては特許請求の範囲に記載するように構成している。すなわち、本発明においては、複数のカメラで撮像された部位について、より正確に色や輝度を撮影していると判断されるカメラの画像を採用することで合成画像の色や輝度を正確に表現するように構成している。
まず、請求項１〜請求項６は、画像合成装置に関する発明である。
【０００６】
請求項１においては、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラｎとの距離Ｌｎを用いた関数ｆ(Ｌｎ）で求められた強度Ｓｎを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。そして上記の関数ｆ ( Ｌｎ）は各カメラと注目点との距離Ｌｎの逆数の２乗に比例するものである。
【０００７】
また、請求項２においては、撮像対象面のある注目点に対し、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度が、垂直に最も近いカメラを選択し、そのカメラで撮影された該注目点の色および輝度を、該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。
【０００８】
また、請求項３においては、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αｎを用いた関数ｆ(αｎ）で求められた強度Ｓｎを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。
【０００９】
また、請求項４においては、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラｎとの距離Ｌｎと、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αｎと、を用いた関数ｆ(Ｌｎ，αｎ）で求められた強度Ｓｎを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。
【００１０】
また、請求項５においては、請求項１乃至請求項４の何れかに記載の画像合成装置において、画像処理手段は、合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点の色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成するように構成している。
請求項６は、請求項５の内容をさらに限定したものであり、前記画像処理手段は、合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点と前記仮想カメラの画素との対応を、前記仮想カメラの位置と向きに応じて設定し、前記注目点と前記複数のカメラの画素との対応を、前記複数のカメラの位置と向きに応じて設定し、前記複数のカメラの各画素について求められた色と輝度に基づいて設定された注目点の色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成するように構成している。
【００１１】
また、請求項７〜請求項１２は画像合成方法についての発明であり、その内容は請求項７は請求項１に、請求項８は請求項２に、請求項９は請求項３に、請求項１０は請求項４に、請求項１１は請求項５に、請求項１２は請求項６に、それぞれ対応している。
【００１３】
【発明の効果】
請求項１によれば、注目点とカメラとの距離Ｌｎを用いた関数ｆ(Ｌｎ）で求められた強度Ｓｎを用いて合成するので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる、という効果がある。
【００１４】
請求項２によれば、注目点の存在する撮像対象面（基準面）に対して垂直に近いカメラを選択し、その色と輝度を採用するため、カメラの単位画素当たりに対する撮像面の面積が小さいカメラを選ぶことになり、立体物の影が少なく、かつ、色や輝度の精度がよい画像が得られる、という効果がある。
【００１５】
請求項３によれば、注目点とカメラとを結んだ直線と撮像対象面との成す角度αｎを用いた関数ｆ(αｎ）で求められた強度Ｓｎを用いて合成するので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる、という効果がある。
【００１６】
請求項４によれば、注目点とカメラｎとの距離Ｌｎと、注目点とカメラとを結んだ直線と撮像対象面との成す角度αｎと、を用いた関数ｆ(Ｌｎ，αｎ）で求められた強度Ｓｎを用いて合成しているので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる、という効果がある。
【００１７】
請求項５および請求項６によれば、仮想カメラを演算処理上で設定し、各画素について求められた色と輝度を、仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成することができるので、請求項１〜請求項４に記載の発明を容易に実施することが出来る。
【００１８】
また、請求項７〜請求項１２に記載の発明においては、請求項１〜請求項６の対応する請求項と同様の効果が得られる。
【００１９】
【発明の実施の形態】
図１は、本発明を車両用の接近警報装置に応用した場合の一実施例を示すブロック図である。
図１において、１は車両の前方を撮像するカメラ（例えばＣＣＤカメラ等の電子式カメラ）、２は車両の右側方を撮像するカメラ、３は画像合成装置、４は接近警報装置、５は車両である。
【００２０】
カメラ１は車両前方を撮像し、カメラ２は車両右側方を撮像する。
画像合成装置３は、上記二つのカメラの画像信号を入力し、それらを合成して車両の前方から右側方までの広い範囲、つまり自車両の前方を走行中の車両や右側の追越し車線を走行している他の車両を含む画像を作成する。
接近警報装置４は、上記の画像から、自車両に接近する可能性のある車両、例えば前方を走行中の車両や追越し車線を走行中の他車両を検出し、それらの車両が自車両に過剰接近するおそれがある場合に警報を発して運転者に注意を促す。
【００２１】
本発明は、上記のごとき複数のカメラの画像を合成する場合に、画像が重複する範囲における画像処理を巧みに行う技術に関するものであり、図１の画像合成装置３の内容についての発明である。
なお、本発明は画像合成技術についての発明であり、図１の例のような接近警報装置に限らず多方面に応用可能である。例えば車両用の場合に、図１のようにカメラを車両の左右方向にそれぞれ設けるだけではなく、車両の上下方向にそれぞれ設けてもよい。また、車両用に限らず他の一般的な用途にも応用可能である。例えばビルの屋上に設置された東西南北撮影用の４個のカメラの画像を合成するような用途にも適用可能である。
【００２２】
以下、本発明の画像合成方法に関して５つの実施例について説明する。
（実施例１）
図２は、本発明の合成方法におけるｘｙｚ座標空間上のカメラの配置を示す図である。図２において、１０１と１０２は実際のカメラ（例えばＣＣＤ等を用いた電子式カメラ）、１０３は合成画像を作成するための仮想カメラ（演算処理において仮想されたカメラ）である。ここでは説明の簡略化のために、カメラモデルとしては一般的なピンホールカメラを用いる。カメラ位置を示す代表点はピンホールカメラのピンホールの位置とし、ピンホールカメラの投影面の中心から垂直に伸ばした直線上にピンホールがあり、カメラの向きは、投影面の中心からピンホールヘのベクトルと同じ方向とする。実在のカメラ１０１、１０２および仮想カメラ１０３ともにこのカメラモデルを用いて説明する。もちろん、カメラモデルは実際のカメラを正確に表現する、もっと複雑なものを用いてもよい。
【００２３】
まず、仮想カメラ１０３を図示の位置に設置したと仮定し、仮想カメラ１０３の任意の画素Ｖに注目すると、画素Ｖの投影面上の位置と仮想カメラ１０３の向きから、画素Ｖに入射する光線の方向を計算することができる。したがって、仮想カメラ１０３の位置と向きを用いて、ｘｙｚ空間における光線の位置と向きを計算できる。これをベクトル１０４（黒太線の矢印）とする。本実施例でのカメラモデルでは、ベクトル１０４の始点は仮想カメラ１０３の位置となる。
【００２４】
ここで基準面を設定する。基準面は撮像対象となる注目点が存在する面である。本実施例ではｘｙ平面全体を基準面として設定する。なお、基準面は複数の有限／無限面積の平面の組み合わせで設定してもよい。
次に、ベクトル１０４をベクトルの向きに延長した半直線と基準面との交点１０５（注目点）を求める。基準面が複数ある場合は、最初に交差する基準面を用いる。
上記の結果、ベクトル１０４をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００２５】
次に、交点１０５が存在する場合は、交点１０５がカメラ１０１およびカメラ１０２の撮像範囲に入っているか否かを調べる。なお、カメラ１０１およびカメラ１０２においても、仮想カメラ１０３の場合と同様に、位置と向きを用いて、ｘｙｚ空間における光線の位置と向きを計算できる。
【００２６】
交点１０５が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００２７】
交点１０５がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点１０５が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Ｖの色および輝度とする。
【００２８】
交点１０５が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点１０５を撮像していないカメラを除去した後、図３に示すように、カメラｎと交点１０５の距離Ｌｎ（カメラ１０１の場合は距離２０１、カメラ１０２の場合は距離２０２とする）を各カメラに関して求め、もっとも距離Ｌｎの値が小さいカメラを選択する。ただし、距離Ｌｎが０となったカメラは計算から除外する。上記のように、距離Ｌｎの値が最も小さいカメラ、つまり交点１０５までの距離が最も近いカメラは、単位画素に相当する撮像面の面積が最も小さいので、色や輝度の精度がよい画像が得られる。
このとき、距離Ｌｎが等しいカメラが複数存在した場合には、カメラ設置位置が、より高い位置にあるカメラを決定する。距離Ｌｎも高さも等しい場合には、条件的に同等なので、単純に処理上の利便のために割り振ったカメラ番号の若い順で優先度を決定する。
【００２９】
次に、選択したカメラのどの画素に交点１０５が映っているかを計算し、その計算で求まった画素の色および輝度を、画素Ｖの色および輝度とする。
なお、図２、図３は実際のカメラが２台の場合を例示しているが、カメラが３台以上ある場合も同様の方法で処理出来る。
【００３０】
上記の処理を仮想カメラ１０３の全画素について行なうことにより、仮想カメラ１０３の全画像を作成する。これにより、カメラ１０１とカメラ１０２でそれぞれ撮像した画像を、仮想カメラ１０３の画面上に合成画像として実現することが出来る。
【００３１】
なお、カメラ１０１、１０２と仮想カメラ１０３の位置、基準面の設定などの変更がない限り、画素と画素の対応関係は変わらないので、一度だけ計算を行ない、その結果をテーブルとして保存し、２回目以降はテーブルを参照して計算量を減らすように構成してもよい。
また、上記のごとき本発明を具体化する場合には、演算装置としてコンピュータを用い、上記のごとき画像処理を行うソフトウエアを用意すれば容易に実現することが出来る。
上記のように、距離Ｌｎの値が最も小さいカメラ、つまり注目点（交点１０５）までの距離が最も近いカメラは、単位画素に相当する撮像面の面積が最も小さいので、色や輝度の精度がよい画像が得られる。したがって色や輝度の精度がよい合成画像が得られる。
【００３２】
（実施例２）
実施例２においても、実際のカメラ１０１とカメラ１０２および仮想カメラ１０３の配置、ベクトル１０４、基準面、交点１０５などに関しては、実施例１と同様である。
まず、ベクトル１０４をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００３３】
次に、交点１０５が存在する場合は、交点１０５がカメラ１０１およびカメラ１０２の撮像範囲に入っているか否かを調べる。なお、カメラ１０１およびカメラ１０２においても、仮想カメラ１０３の場合と同様に、位置と向きを用いて、ｘｙｚ空間における光線の位置と向きを計算できる。
【００３４】
交点１０５が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００３５】
交点１０５がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点１０５が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Ｖの色および輝度とする。
【００３６】
交点１０５が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点１０５を撮像していないカメラを除去した後、図３に示すように、カメラｎと交点１０５の距離Ｌｎ（カメラ１０１の場合、距離２０１、カメラ１０２の場合、距離２０２）を各カメラに関して求める。距離Ｌｎが０となったカメラは計算から除外する。
【００３７】
次に、距離Ｌｎを用いた関数ｆ(Ｌｎ）を用いて、各カメラの画素の強度Ｓｎを算出する。関数ｆ(Ｌｎ）の例としては、各画素が撮像する範囲はカメラと撮像対象の距離の２乗に比例して大きくなるので、近いカメラのほうがより詳細な範囲に対しての色と輝度を取得しているものと判断し、
ｆ(Ｌｎ）＝１／Ｌｎ２ …（数１）
で表すことが考えられる。この（数１）式を用いた場合、たとえば距離２０１と距離２０２の比率が２：１の場合には、色の適用比率は、０.２５：１となる。
【００３８】
次に、各カメラのどの画素に交点１０５が映っているかを計算し、その計算で求まった画素の値および輝度を、強度Ｓｎに比例してブレンディングし、画素Ｖの色および輝度とする。なお、適用比率の異なる色同士のブレンディング手法は、コンピュータグラフィックスの分野で、公知の手法である。カメラが３台以上ある場合も同様の手法を用いて計算できる。
【００３９】
上記の処理を仮想カメラ１０３の全画素について行なうことにより、仮想カメラ１０３の全画像を作成する。これにより、カメラ１０１とカメラ１０２でそれぞれ撮像した画像を、仮想カメラ１０３の画面上に合成画像として実現することが出来る。なお、実施例１と同様に、一度だけ計算を行ない、その結果をテーブルとして保存し、２回目以降はそのテーブルを参照して計算量を減らすように構成してもよい。
上記のように、実施例２は、交点１０５が複数のカメラの撮像範囲に入っている場合の処理内容について実施例１と異なっており、その他は同様である。
【００４０】
実施例２においては、注目点とカメラとの距離Ｌｎを用いた関数ｆ(Ｌｎ）で求められた強度Ｓｎを用いて合成するので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる。
【００４１】
（実施例３）
実施例３においても、実際のカメラ１０１とカメラ１０２および仮想カメラ１０３の配置、ベクトル１０４、基準面、交点１０５などに関しては、実施例１と同様である。
まず、ベクトル１０４をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００４２】
次に、交点１０５が存在する場合は、交点１０５がカメラ１０１およびカメラ１０２の撮像範囲に入っているか否かを調べる。なお、カメラ１０１およびカメラ１０２においても、仮想カメラ１０３の場合と同様に、位置と向きを用いて、ｘｙｚ空間における光線の位置と向きを計算できる。
【００４３】
交点１０５が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００４４】
交点１０５がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点１０５が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Ｖの色および輝度とする。
【００４５】
交点１０５が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点１０５を撮像していないカメラを除去した後、図４に示すように、カメラｎと交点１０５を結ぶ線分と基準面との成す角度αｎ（カメラ１０１の場合は角度３０１、カメラ１０２の場合は角度３０２とする）を各カメラに関して求め、角度αｎの値が９０度に最も近いカメラを選択する。上記のように、角度αｎの値が９０度に最も近いカメラ、つまり撮像面を垂直方向に近い角度から撮像するカメラは、単位画素に相当する撮像面の面積が最も小さく、かつ、影の影響も少ないので、色や輝度の精度がよい画像が得られる。
【００４６】
このとき、角度αｎが等しいカメラが複数存在した場合には、実施例１のようにカメラｎと交点１０５の距離Ｌｎがより短いカメラを選択する。角度αｎも距離Ｌｎも等しい場合には、条件が同じなので、単純に処理上の利便のために割り振ったカメラ番号の若い順で優先度を決定する。
【００４７】
次に、選択したカメラのどの画素に交点１０５が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Ｖの色および輝度とする。
上記の処理を仮想カメラ１０３の全画素について行なうことにより、仮想カメラ１０３の全画像を作成する。これにより、カメラ１０１とカメラ１０２でそれぞれ撮像した画像を、仮想カメラ１０３の画面上に合成画像として実現することが出来る。カメラが３台以上ある場合も同様の手法を用いて計算できる。なお、実施例１と同様に、一度だけ計算を行ない、その結果をテーブルとして保存し、２回目以降はそのテーブルを参照して計算量を減らすように構成してもよい。
【００４８】
上記のように、実施例３は、交点１０５が複数のカメラの撮像範囲に入っている場合の処理内容について実施例１や実施例２と異なっており、その他は同様である。
【００４９】
実施例３においては、注目点の存在する撮像対象面（基準面）に対して垂直に近いカメラを選択し、その色と輝度を採用するため、カメラの単位画素当たりに対する撮像面の面積が小さいカメラを選ぶことになり、立体物の影が少なく、かつ、色や輝度の精度がよい画像が得られる。
【００５０】
（実施例４）
実施例４においても、実際のカメラ１０１とカメラ１０２および仮想カメラ１０３の配置、ベクトル１０４、基準面、交点１０５などに関しては、実施例１と同様である。
まず、ベクトル１０４をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００５１】
次に、交点１０５が存在する場合は、交点１０５がカメラ１０１およびカメラ１０２の撮像範囲に入っているか否かを調べる。なお、カメラ１０１およびカメラ１０２においても、仮想カメラ１０３の場合と同様に、位置と向きを用いて、ｘｙｚ空間における光線の位置と向きを計算できる。
【００５２】
交点１０５が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００５３】
交点１０５がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点１０５が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Ｖの色および輝度とする。
【００５４】
交点１０５が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点１０５を撮影していないカメラを除外したあとで、図４でカメラｎと交点１０５を結ぶ線分と、基準面とのなす角度αｎを各カメラに関して求める。
【００５５】
次に、角度αｎ（カメラ１０１の場合は角度３０１、カメラ１０２の場合は角度３０２とする）を用いた関数ｆ(αｎ）を用いて、各カメラの画素の強度Ｓｎを算出する。
関数ｆ(αｎ）の例としては、各画素が撮像する範囲は、角度αｎ(０〜９０度）が０に近いほど大きくなるので、角度αｎが９０度に近いカメラの方がより詳細な範囲に対しての色と輝度を取得していると判断されるので、
ｆ(αｎ）＝sin αｎ …（数２）
で表すことが考えられる（詳細後述）。この（数２）式の場合、たとえば角度３０１が９０度、角度３０２が３０度の場合には、色の混合比率は１：０.５となる。
【００５６】
次に、各カメラのどの画素に交点１０５が映っているかを計算し、その計算で求められた画素の色および輝度を、強度Ｓｎに比例してブレンディングし、画素Ｖの色および輝度とする。適用比率の異なる色同士のブレンディング手法は、コンピュータグラフィックスの分野で、公知の手法である。
【００５７】
上記の処理を仮想カメラ１０３の全画素について行なうことにより、仮想カメラ１０３の全画像を作成する。これにより、カメラ１０１とカメラ１０２でそれぞれ撮像した画像を、仮想カメラ１０３の画面上に合成画像として実現することが出来る。カメラが３台以上ある場合も同様の手法を用いて計算できる。なお、実施例１と同様に、一度だけ計算を行ない、その結果をテーブルとして保存し、２回目以降はそのテーブルを参照して計算量を減らすように構成してもよい。
【００５８】
上記のように、実施例４は、交点１０５が複数のカメラの撮像範囲に入っている場合の処理内容について実施例１〜実施例３と異なっており、その他は同様である。
【００５９】
実施例４においては、注目点とカメラとを結んだ直線と撮像対象面との成す角度αｎを用いた関数ｆ(αｎ）で求められた強度Ｓｎを用いて合成するので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる。
【００６０】
（実施例５）
実施例５においても、実際のカメラ１０１とカメラ１０２および仮想カメラ１０３の配置、ベクトル１０４、基準面、交点１０５などに関しては、実施例１と同様である。
まず、ベクトル１０４をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００６１】
次に、交点１０５が存在する場合は、交点１０５がカメラ１０１およびカメラ１０２の撮像範囲に入っているか否かを調べる。なお、カメラ１０１およびカメラ１０２においても、仮想カメラ１０３の場合と同様に、位置と向きを用いて、ｘｙｚ空間における光線の位置と向きを計算できる。
【００６２】
交点１０５が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００６３】
交点１０５がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点１０５が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Ｖの色および輝度とする。
【００６４】
交点１０５が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点１０５を撮影していないカメラを除外したあとで、図４に示すように、カメラｎと交点１０５を結ぶ線分と、基準面とのなす角度αｎ（カメラ１０１の場合は角度３０１、カメラ１０２の場合は角度３０２とする）とし、図３に示すように、カメラｎと交点１０５の距離Ｌｎ（カメラ１０１の場合は距離２０１、カメラ１０２の場合は距離２０２とする）を各カメラに関して求める。距離Ｌｎが０となったカメラは計算から除外する。
【００６５】
次に、距離Ｌｎと角度αｎを用いた関数ｆ(Ｌｎ，αｎ）を用いて、各カメラの画素の強度Ｓｎを算出する。
関数ｆ(Ｌｎ，αｎ）の例としては、各画素が撮像する範囲は、カメラと撮像対象の距離の２乗に比例して大きくなり、また、各画素が撮像する範囲は、角度αｎ（０〜９０度）が０に近いほど大きくなるので、距離Ｌｎが近く、角度αｎが９０度に近いカメラのほうがより詳細な範囲に対しての色と輝度を取得しているものと判断し、
ｆ(Ｌｎ，αｎ）＝sin αｎ／Ｌｎ２ …（数３）
で表すことが考えられる。この（数３）式の場合、たとえば距離２０１と距離２０２の比率が３：１、角度３０１が９０度、角度３０２が３０度の場合には、色の混合比率は、２：９となる。
【００６６】
次に、各カメラのどの画素に交点１０５が映っているかを計算し、その計算で求まった画素の値および輝度を、強度Ｓｎに比例してブレンディングし、画素Ｖの色および輝度とする。なお、適用比率の異なる色同士のブレンディング手法は、コンピュータグラフィックスの分野で、公知の手法である。カメラが３台以上ある場合も同様の手法を用いて計算できる。
【００６７】
上記の処理を仮想カメラ１０３の全画素について行なうことにより、仮想カメラ１０３の全画像を作成する。これにより、カメラ１０１とカメラ１０２でそれぞれ撮像した画像を、仮想カメラ１０３の画面上に合成画像として実現することが出来る。なお、実施例１と同様に、一度だけ計算を行ない、その結果をテーブルとして保存し、２回目以降はそのテーブルを参照して計算量を減らすように構成してもよい。
【００６８】
上記のように、実施例５は、交点１０５が複数のカメラの撮像範囲に入っている場合の処理内容について実施例１〜実施例４と異なっており、その他は同様である。
【００６９】
実施例５においては、注目点とカメラｎとの距離Ｌｎと、注目点とカメラとを結んだ直線と撮像対象面との成す角度αｎと、を用いた関数ｆ(Ｌｎ，αｎ）で求められた強度Ｓｎを用いて合成しているので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる。
【００７０】
ここで、前記（数１）〜（数３）式について説明する。
図５および図６は（数２）式を説明するための図であり、図５は斜視図、図６（ａ）は側面図、図６（ｂ）はθ＝９０度の場合における側面図である。
カメラのＣＣＤ画素面１１０における画素Ｖとピンホール１１１と撮像範囲Ｖ’（ピンホールを介して画素Ｖが撮像する範囲）との位置関係は、図５に示すごときものとする。この場合、基準面はｘｙ平面である。
【００７１】
撮像範囲Ｖ’（斜線で囲んだ部分）の面積Ｓは、ピンホール１１１とｘｙ平面上の点Ｃ（画素Ｖの中心点に対応する点）との距離Ｌ（図６のＬ参照）と、画素Ｖの中心と点Ｃとを結んだ直線とｘｙ平面との成す角度θと、に応じて変化する。なお、ＣＣＤ画素面１１０とピンホール１１１との位置関係は一定とする。
【００７２】
上記の角度θと面積Ｓとの関係を、図６（ｂ）に示したθ＝９０度の場合における面積Ｓ１を基準として示せば、下記（数４）式で近似できる。
Ｓ＝Ｓ１（１／sinθ） …（数４）
ただし、θ≫α αは図６に示す角度
また、面積Ｓは距離Ｌに対しては、その２乗に比例する。
Ｓ＝ｋＬ２ …（数５）
ただし、ｋは定数
前記のように、単位画素Ｖが撮像する面積Ｖ’の小さい方が色と輝度の精度が高いと考えられるので、（数１）式に示した関数においては、（数５）式の逆数で、
ｆ(Ｌｎ）＝１／Ｌｎ２
とし、（数２）式に示した関数においては、（数４）式の逆数で、
ｆ(αｎ）＝sin αｎ
とし、（数３）式に示した関数においては、（数４）式と（数５）式を組み合わせた式の逆数で、
ｆ(Ｌｎ，αｎ）＝sin αｎ／Ｌｎ２
としている。
【図面の簡単な説明】
【図１】本発明を車両用の接近警報装置に適用した場合の一実施例を示すブロック図。
【図２】本発明の合成方法におけるｘｙｚ座標空間上のカメラの配置を示す図。
【図３】本発明の合成方法におけるｘｙｚ座標空間上のカメラの配置を示す図であり、カメラと交点との距離を示す図。
【図４】本発明の合成方法におけるｘｙｚ座標空間上のカメラの配置を示す図であり、カメラと交点とを結ぶ直線と基準面との角度を示す図。
【図５】（数２）式を説明するため斜視図。
【図６】（数２）式を説明するため図であり、（ａ）は側面図、（ｂ）はθ＝９０度の場合における側面図。
【符号の説明】
１０１…実在のカメラＡ
１０２…実在のカメラＢ
１０３…仮想カメラ
１０４…仮想カメラの画素Ｖに入射する光の来た方向
１０５…ベクトル１０４とｘｙ平面との交点
１１０…ＣＣＤ画素面
１１１…ピンホール
２０１…カメラ１０１と交点１０５との距離
２０２…カメラ１０２と交点１０５との距離
３０１…カメラ１０１と交点１０５とｘｙ平面がなす角度
３０２…カメラ１０２と交点１０５とｘｙ平面がなす角度
【発明の属する技術分野】
本発明は複数のカメラで撮像された複数の画像を合成して一つの画像にする技術に関し、例えば車両の周囲を撮像した画像から他車両の接近等を検出する装置などに応用される技術である。
【０００２】
【従来の技術】
複数の電子式カメラ（例えばＣＣＤカメラ）で撮影された画像は、カメラの個体差や撮影する位置などによって、同じ部分の画像を撮影しても必ずしも色や輝度が一致するとは限らない。したがって複数のカメラで撮像した画像を合成して一つの画像にする場合には、合成部位（継ぎ目）については特別な処理を行う必要がある。従来において、合成部位の濃淡差を目立たなくする技術として特開平１１−５５６８２号公報に記載の技術がある。上記従来技術では、両方のカメラで撮影されている重複部位の色や輝度については、両カメラ画像の色や輝度の平均値を用いるか、もしくはどちらか一方のカメラに合わせることで、合成部位を目立たなくしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、カメラの向きや位置を考慮せずに、単純に両カメラ画像の色や輝度の平均値を用いるか、もしくはどちらか一方のカメラに合わせたりするため、合成部位の映像の色や輝度が、必ずしも正確に表現されないという問題があった。
【０００４】
本発明は上記のごとき従来技術の問題を解決するためになされたものであり、複数のカメラで撮影された合成画像の色や輝度を正確に表現することのできる画像合成装置および画像合成方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため、本発明においては特許請求の範囲に記載するように構成している。すなわち、本発明においては、複数のカメラで撮像された部位について、より正確に色や輝度を撮影していると判断されるカメラの画像を採用することで合成画像の色や輝度を正確に表現するように構成している。
まず、請求項１〜請求項６は、画像合成装置に関する発明である。
【０００６】
請求項１においては、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラｎとの距離Ｌｎを用いた関数ｆ(Ｌｎ）で求められた強度Ｓｎを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。そして上記の関数ｆ ( Ｌｎ）は各カメラと注目点との距離Ｌｎの逆数の２乗に比例するものである。
【０００７】
また、請求項２においては、撮像対象面のある注目点に対し、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度が、垂直に最も近いカメラを選択し、そのカメラで撮影された該注目点の色および輝度を、該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。
【０００８】
また、請求項３においては、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αｎを用いた関数ｆ(αｎ）で求められた強度Ｓｎを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。
【０００９】
また、請求項４においては、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラｎとの距離Ｌｎと、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αｎと、を用いた関数ｆ(Ｌｎ，αｎ）で求められた強度Ｓｎを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成するように構成している。
【００１０】
また、請求項５においては、請求項１乃至請求項４の何れかに記載の画像合成装置において、画像処理手段は、合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点の色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成するように構成している。
請求項６は、請求項５の内容をさらに限定したものであり、前記画像処理手段は、合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点と前記仮想カメラの画素との対応を、前記仮想カメラの位置と向きに応じて設定し、前記注目点と前記複数のカメラの画素との対応を、前記複数のカメラの位置と向きに応じて設定し、前記複数のカメラの各画素について求められた色と輝度に基づいて設定された注目点の色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成するように構成している。
【００１１】
また、請求項７〜請求項１２は画像合成方法についての発明であり、その内容は請求項７は請求項１に、請求項８は請求項２に、請求項９は請求項３に、請求項１０は請求項４に、請求項１１は請求項５に、請求項１２は請求項６に、それぞれ対応している。
【００１３】
【発明の効果】
請求項１によれば、注目点とカメラとの距離Ｌｎを用いた関数ｆ(Ｌｎ）で求められた強度Ｓｎを用いて合成するので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる、という効果がある。
【００１４】
請求項２によれば、注目点の存在する撮像対象面（基準面）に対して垂直に近いカメラを選択し、その色と輝度を採用するため、カメラの単位画素当たりに対する撮像面の面積が小さいカメラを選ぶことになり、立体物の影が少なく、かつ、色や輝度の精度がよい画像が得られる、という効果がある。
【００１５】
請求項３によれば、注目点とカメラとを結んだ直線と撮像対象面との成す角度αｎを用いた関数ｆ(αｎ）で求められた強度Ｓｎを用いて合成するので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる、という効果がある。
【００１６】
請求項４によれば、注目点とカメラｎとの距離Ｌｎと、注目点とカメラとを結んだ直線と撮像対象面との成す角度αｎと、を用いた関数ｆ(Ｌｎ，αｎ）で求められた強度Ｓｎを用いて合成しているので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる、という効果がある。
【００１７】
請求項５および請求項６によれば、仮想カメラを演算処理上で設定し、各画素について求められた色と輝度を、仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成することができるので、請求項１〜請求項４に記載の発明を容易に実施することが出来る。
【００１８】
また、請求項７〜請求項１２に記載の発明においては、請求項１〜請求項６の対応する請求項と同様の効果が得られる。
【００１９】
【発明の実施の形態】
図１は、本発明を車両用の接近警報装置に応用した場合の一実施例を示すブロック図である。
図１において、１は車両の前方を撮像するカメラ（例えばＣＣＤカメラ等の電子式カメラ）、２は車両の右側方を撮像するカメラ、３は画像合成装置、４は接近警報装置、５は車両である。
【００２０】
カメラ１は車両前方を撮像し、カメラ２は車両右側方を撮像する。
画像合成装置３は、上記二つのカメラの画像信号を入力し、それらを合成して車両の前方から右側方までの広い範囲、つまり自車両の前方を走行中の車両や右側の追越し車線を走行している他の車両を含む画像を作成する。
接近警報装置４は、上記の画像から、自車両に接近する可能性のある車両、例えば前方を走行中の車両や追越し車線を走行中の他車両を検出し、それらの車両が自車両に過剰接近するおそれがある場合に警報を発して運転者に注意を促す。
【００２１】
本発明は、上記のごとき複数のカメラの画像を合成する場合に、画像が重複する範囲における画像処理を巧みに行う技術に関するものであり、図１の画像合成装置３の内容についての発明である。
なお、本発明は画像合成技術についての発明であり、図１の例のような接近警報装置に限らず多方面に応用可能である。例えば車両用の場合に、図１のようにカメラを車両の左右方向にそれぞれ設けるだけではなく、車両の上下方向にそれぞれ設けてもよい。また、車両用に限らず他の一般的な用途にも応用可能である。例えばビルの屋上に設置された東西南北撮影用の４個のカメラの画像を合成するような用途にも適用可能である。
【００２２】
以下、本発明の画像合成方法に関して５つの実施例について説明する。
（実施例１）
図２は、本発明の合成方法におけるｘｙｚ座標空間上のカメラの配置を示す図である。図２において、１０１と１０２は実際のカメラ（例えばＣＣＤ等を用いた電子式カメラ）、１０３は合成画像を作成するための仮想カメラ（演算処理において仮想されたカメラ）である。ここでは説明の簡略化のために、カメラモデルとしては一般的なピンホールカメラを用いる。カメラ位置を示す代表点はピンホールカメラのピンホールの位置とし、ピンホールカメラの投影面の中心から垂直に伸ばした直線上にピンホールがあり、カメラの向きは、投影面の中心からピンホールヘのベクトルと同じ方向とする。実在のカメラ１０１、１０２および仮想カメラ１０３ともにこのカメラモデルを用いて説明する。もちろん、カメラモデルは実際のカメラを正確に表現する、もっと複雑なものを用いてもよい。
【００２３】
まず、仮想カメラ１０３を図示の位置に設置したと仮定し、仮想カメラ１０３の任意の画素Ｖに注目すると、画素Ｖの投影面上の位置と仮想カメラ１０３の向きから、画素Ｖに入射する光線の方向を計算することができる。したがって、仮想カメラ１０３の位置と向きを用いて、ｘｙｚ空間における光線の位置と向きを計算できる。これをベクトル１０４（黒太線の矢印）とする。本実施例でのカメラモデルでは、ベクトル１０４の始点は仮想カメラ１０３の位置となる。
【００２４】
ここで基準面を設定する。基準面は撮像対象となる注目点が存在する面である。本実施例ではｘｙ平面全体を基準面として設定する。なお、基準面は複数の有限／無限面積の平面の組み合わせで設定してもよい。
次に、ベクトル１０４をベクトルの向きに延長した半直線と基準面との交点１０５（注目点）を求める。基準面が複数ある場合は、最初に交差する基準面を用いる。
上記の結果、ベクトル１０４をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００２５】
次に、交点１０５が存在する場合は、交点１０５がカメラ１０１およびカメラ１０２の撮像範囲に入っているか否かを調べる。なお、カメラ１０１およびカメラ１０２においても、仮想カメラ１０３の場合と同様に、位置と向きを用いて、ｘｙｚ空間における光線の位置と向きを計算できる。
【００２６】
交点１０５が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００２７】
交点１０５がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点１０５が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Ｖの色および輝度とする。
【００２８】
交点１０５が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点１０５を撮像していないカメラを除去した後、図３に示すように、カメラｎと交点１０５の距離Ｌｎ（カメラ１０１の場合は距離２０１、カメラ１０２の場合は距離２０２とする）を各カメラに関して求め、もっとも距離Ｌｎの値が小さいカメラを選択する。ただし、距離Ｌｎが０となったカメラは計算から除外する。上記のように、距離Ｌｎの値が最も小さいカメラ、つまり交点１０５までの距離が最も近いカメラは、単位画素に相当する撮像面の面積が最も小さいので、色や輝度の精度がよい画像が得られる。
このとき、距離Ｌｎが等しいカメラが複数存在した場合には、カメラ設置位置が、より高い位置にあるカメラを決定する。距離Ｌｎも高さも等しい場合には、条件的に同等なので、単純に処理上の利便のために割り振ったカメラ番号の若い順で優先度を決定する。
【００２９】
次に、選択したカメラのどの画素に交点１０５が映っているかを計算し、その計算で求まった画素の色および輝度を、画素Ｖの色および輝度とする。
なお、図２、図３は実際のカメラが２台の場合を例示しているが、カメラが３台以上ある場合も同様の方法で処理出来る。
【００３０】
上記の処理を仮想カメラ１０３の全画素について行なうことにより、仮想カメラ１０３の全画像を作成する。これにより、カメラ１０１とカメラ１０２でそれぞれ撮像した画像を、仮想カメラ１０３の画面上に合成画像として実現することが出来る。
【００３１】
なお、カメラ１０１、１０２と仮想カメラ１０３の位置、基準面の設定などの変更がない限り、画素と画素の対応関係は変わらないので、一度だけ計算を行ない、その結果をテーブルとして保存し、２回目以降はテーブルを参照して計算量を減らすように構成してもよい。
また、上記のごとき本発明を具体化する場合には、演算装置としてコンピュータを用い、上記のごとき画像処理を行うソフトウエアを用意すれば容易に実現することが出来る。
上記のように、距離Ｌｎの値が最も小さいカメラ、つまり注目点（交点１０５）までの距離が最も近いカメラは、単位画素に相当する撮像面の面積が最も小さいので、色や輝度の精度がよい画像が得られる。したがって色や輝度の精度がよい合成画像が得られる。
【００３２】
（実施例２）
実施例２においても、実際のカメラ１０１とカメラ１０２および仮想カメラ１０３の配置、ベクトル１０４、基準面、交点１０５などに関しては、実施例１と同様である。
まず、ベクトル１０４をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００３３】
次に、交点１０５が存在する場合は、交点１０５がカメラ１０１およびカメラ１０２の撮像範囲に入っているか否かを調べる。なお、カメラ１０１およびカメラ１０２においても、仮想カメラ１０３の場合と同様に、位置と向きを用いて、ｘｙｚ空間における光線の位置と向きを計算できる。
【００３４】
交点１０５が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００３５】
交点１０５がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点１０５が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Ｖの色および輝度とする。
【００３６】
交点１０５が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点１０５を撮像していないカメラを除去した後、図３に示すように、カメラｎと交点１０５の距離Ｌｎ（カメラ１０１の場合、距離２０１、カメラ１０２の場合、距離２０２）を各カメラに関して求める。距離Ｌｎが０となったカメラは計算から除外する。
【００３７】
次に、距離Ｌｎを用いた関数ｆ(Ｌｎ）を用いて、各カメラの画素の強度Ｓｎを算出する。関数ｆ(Ｌｎ）の例としては、各画素が撮像する範囲はカメラと撮像対象の距離の２乗に比例して大きくなるので、近いカメラのほうがより詳細な範囲に対しての色と輝度を取得しているものと判断し、
ｆ(Ｌｎ）＝１／Ｌｎ２ …（数１）
で表すことが考えられる。この（数１）式を用いた場合、たとえば距離２０１と距離２０２の比率が２：１の場合には、色の適用比率は、０.２５：１となる。
【００３８】
次に、各カメラのどの画素に交点１０５が映っているかを計算し、その計算で求まった画素の値および輝度を、強度Ｓｎに比例してブレンディングし、画素Ｖの色および輝度とする。なお、適用比率の異なる色同士のブレンディング手法は、コンピュータグラフィックスの分野で、公知の手法である。カメラが３台以上ある場合も同様の手法を用いて計算できる。
【００３９】
上記の処理を仮想カメラ１０３の全画素について行なうことにより、仮想カメラ１０３の全画像を作成する。これにより、カメラ１０１とカメラ１０２でそれぞれ撮像した画像を、仮想カメラ１０３の画面上に合成画像として実現することが出来る。なお、実施例１と同様に、一度だけ計算を行ない、その結果をテーブルとして保存し、２回目以降はそのテーブルを参照して計算量を減らすように構成してもよい。
上記のように、実施例２は、交点１０５が複数のカメラの撮像範囲に入っている場合の処理内容について実施例１と異なっており、その他は同様である。
【００４０】
実施例２においては、注目点とカメラとの距離Ｌｎを用いた関数ｆ(Ｌｎ）で求められた強度Ｓｎを用いて合成するので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる。
【００４１】
（実施例３）
実施例３においても、実際のカメラ１０１とカメラ１０２および仮想カメラ１０３の配置、ベクトル１０４、基準面、交点１０５などに関しては、実施例１と同様である。
まず、ベクトル１０４をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００４２】
次に、交点１０５が存在する場合は、交点１０５がカメラ１０１およびカメラ１０２の撮像範囲に入っているか否かを調べる。なお、カメラ１０１およびカメラ１０２においても、仮想カメラ１０３の場合と同様に、位置と向きを用いて、ｘｙｚ空間における光線の位置と向きを計算できる。
【００４３】
交点１０５が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００４４】
交点１０５がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点１０５が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Ｖの色および輝度とする。
【００４５】
交点１０５が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点１０５を撮像していないカメラを除去した後、図４に示すように、カメラｎと交点１０５を結ぶ線分と基準面との成す角度αｎ（カメラ１０１の場合は角度３０１、カメラ１０２の場合は角度３０２とする）を各カメラに関して求め、角度αｎの値が９０度に最も近いカメラを選択する。上記のように、角度αｎの値が９０度に最も近いカメラ、つまり撮像面を垂直方向に近い角度から撮像するカメラは、単位画素に相当する撮像面の面積が最も小さく、かつ、影の影響も少ないので、色や輝度の精度がよい画像が得られる。
【００４６】
このとき、角度αｎが等しいカメラが複数存在した場合には、実施例１のようにカメラｎと交点１０５の距離Ｌｎがより短いカメラを選択する。角度αｎも距離Ｌｎも等しい場合には、条件が同じなので、単純に処理上の利便のために割り振ったカメラ番号の若い順で優先度を決定する。
【００４７】
次に、選択したカメラのどの画素に交点１０５が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Ｖの色および輝度とする。
上記の処理を仮想カメラ１０３の全画素について行なうことにより、仮想カメラ１０３の全画像を作成する。これにより、カメラ１０１とカメラ１０２でそれぞれ撮像した画像を、仮想カメラ１０３の画面上に合成画像として実現することが出来る。カメラが３台以上ある場合も同様の手法を用いて計算できる。なお、実施例１と同様に、一度だけ計算を行ない、その結果をテーブルとして保存し、２回目以降はそのテーブルを参照して計算量を減らすように構成してもよい。
【００４８】
上記のように、実施例３は、交点１０５が複数のカメラの撮像範囲に入っている場合の処理内容について実施例１や実施例２と異なっており、その他は同様である。
【００４９】
実施例３においては、注目点の存在する撮像対象面（基準面）に対して垂直に近いカメラを選択し、その色と輝度を採用するため、カメラの単位画素当たりに対する撮像面の面積が小さいカメラを選ぶことになり、立体物の影が少なく、かつ、色や輝度の精度がよい画像が得られる。
【００５０】
（実施例４）
実施例４においても、実際のカメラ１０１とカメラ１０２および仮想カメラ１０３の配置、ベクトル１０４、基準面、交点１０５などに関しては、実施例１と同様である。
まず、ベクトル１０４をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００５１】
次に、交点１０５が存在する場合は、交点１０５がカメラ１０１およびカメラ１０２の撮像範囲に入っているか否かを調べる。なお、カメラ１０１およびカメラ１０２においても、仮想カメラ１０３の場合と同様に、位置と向きを用いて、ｘｙｚ空間における光線の位置と向きを計算できる。
【００５２】
交点１０５が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００５３】
交点１０５がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点１０５が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Ｖの色および輝度とする。
【００５４】
交点１０５が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点１０５を撮影していないカメラを除外したあとで、図４でカメラｎと交点１０５を結ぶ線分と、基準面とのなす角度αｎを各カメラに関して求める。
【００５５】
次に、角度αｎ（カメラ１０１の場合は角度３０１、カメラ１０２の場合は角度３０２とする）を用いた関数ｆ(αｎ）を用いて、各カメラの画素の強度Ｓｎを算出する。
関数ｆ(αｎ）の例としては、各画素が撮像する範囲は、角度αｎ(０〜９０度）が０に近いほど大きくなるので、角度αｎが９０度に近いカメラの方がより詳細な範囲に対しての色と輝度を取得していると判断されるので、
ｆ(αｎ）＝sin αｎ …（数２）
で表すことが考えられる（詳細後述）。この（数２）式の場合、たとえば角度３０１が９０度、角度３０２が３０度の場合には、色の混合比率は１：０.５となる。
【００５６】
次に、各カメラのどの画素に交点１０５が映っているかを計算し、その計算で求められた画素の色および輝度を、強度Ｓｎに比例してブレンディングし、画素Ｖの色および輝度とする。適用比率の異なる色同士のブレンディング手法は、コンピュータグラフィックスの分野で、公知の手法である。
【００５７】
上記の処理を仮想カメラ１０３の全画素について行なうことにより、仮想カメラ１０３の全画像を作成する。これにより、カメラ１０１とカメラ１０２でそれぞれ撮像した画像を、仮想カメラ１０３の画面上に合成画像として実現することが出来る。カメラが３台以上ある場合も同様の手法を用いて計算できる。なお、実施例１と同様に、一度だけ計算を行ない、その結果をテーブルとして保存し、２回目以降はそのテーブルを参照して計算量を減らすように構成してもよい。
【００５８】
上記のように、実施例４は、交点１０５が複数のカメラの撮像範囲に入っている場合の処理内容について実施例１〜実施例３と異なっており、その他は同様である。
【００５９】
実施例４においては、注目点とカメラとを結んだ直線と撮像対象面との成す角度αｎを用いた関数ｆ(αｎ）で求められた強度Ｓｎを用いて合成するので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる。
【００６０】
（実施例５）
実施例５においても、実際のカメラ１０１とカメラ１０２および仮想カメラ１０３の配置、ベクトル１０４、基準面、交点１０５などに関しては、実施例１と同様である。
まず、ベクトル１０４をベクトルの向きに延長した半直線が基準面と交点を持たない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００６１】
次に、交点１０５が存在する場合は、交点１０５がカメラ１０１およびカメラ１０２の撮像範囲に入っているか否かを調べる。なお、カメラ１０１およびカメラ１０２においても、仮想カメラ１０３の場合と同様に、位置と向きを用いて、ｘｙｚ空間における光線の位置と向きを計算できる。
【００６２】
交点１０５が、どのカメラの撮像範囲にも入っていない場合は、注目した画素Ｖの色と輝度は計算不能とし、あらかじめ設定した色と輝度（例として、色＝黒、輝度＝０など）を画素Ｖの値とする。
【００６３】
交点１０５がどれか一つのカメラの撮像範囲に入っている場合は、そのカメラのどの画素に交点１０５が映っているかを計算し、その計算で求められた画素の色および輝度を、画素Ｖの色および輝度とする。
【００６４】
交点１０５が複数のカメラの撮像範囲に入っている場合には、まず計算対象から交点１０５を撮影していないカメラを除外したあとで、図４に示すように、カメラｎと交点１０５を結ぶ線分と、基準面とのなす角度αｎ（カメラ１０１の場合は角度３０１、カメラ１０２の場合は角度３０２とする）とし、図３に示すように、カメラｎと交点１０５の距離Ｌｎ（カメラ１０１の場合は距離２０１、カメラ１０２の場合は距離２０２とする）を各カメラに関して求める。距離Ｌｎが０となったカメラは計算から除外する。
【００６５】
次に、距離Ｌｎと角度αｎを用いた関数ｆ(Ｌｎ，αｎ）を用いて、各カメラの画素の強度Ｓｎを算出する。
関数ｆ(Ｌｎ，αｎ）の例としては、各画素が撮像する範囲は、カメラと撮像対象の距離の２乗に比例して大きくなり、また、各画素が撮像する範囲は、角度αｎ（０〜９０度）が０に近いほど大きくなるので、距離Ｌｎが近く、角度αｎが９０度に近いカメラのほうがより詳細な範囲に対しての色と輝度を取得しているものと判断し、
ｆ(Ｌｎ，αｎ）＝sin αｎ／Ｌｎ２ …（数３）
で表すことが考えられる。この（数３）式の場合、たとえば距離２０１と距離２０２の比率が３：１、角度３０１が９０度、角度３０２が３０度の場合には、色の混合比率は、２：９となる。
【００６６】
次に、各カメラのどの画素に交点１０５が映っているかを計算し、その計算で求まった画素の値および輝度を、強度Ｓｎに比例してブレンディングし、画素Ｖの色および輝度とする。なお、適用比率の異なる色同士のブレンディング手法は、コンピュータグラフィックスの分野で、公知の手法である。カメラが３台以上ある場合も同様の手法を用いて計算できる。
【００６７】
上記の処理を仮想カメラ１０３の全画素について行なうことにより、仮想カメラ１０３の全画像を作成する。これにより、カメラ１０１とカメラ１０２でそれぞれ撮像した画像を、仮想カメラ１０３の画面上に合成画像として実現することが出来る。なお、実施例１と同様に、一度だけ計算を行ない、その結果をテーブルとして保存し、２回目以降はそのテーブルを参照して計算量を減らすように構成してもよい。
【００６８】
上記のように、実施例５は、交点１０５が複数のカメラの撮像範囲に入っている場合の処理内容について実施例１〜実施例４と異なっており、その他は同様である。
【００６９】
実施例５においては、注目点とカメラｎとの距離Ｌｎと、注目点とカメラとを結んだ直線と撮像対象面との成す角度αｎと、を用いた関数ｆ(Ｌｎ，αｎ）で求められた強度Ｓｎを用いて合成しているので、画像の継ぎ目を目立たせないようにしながら、現物に近い色や輝度がよい画像が得られる。
【００７０】
ここで、前記（数１）〜（数３）式について説明する。
図５および図６は（数２）式を説明するための図であり、図５は斜視図、図６（ａ）は側面図、図６（ｂ）はθ＝９０度の場合における側面図である。
カメラのＣＣＤ画素面１１０における画素Ｖとピンホール１１１と撮像範囲Ｖ’（ピンホールを介して画素Ｖが撮像する範囲）との位置関係は、図５に示すごときものとする。この場合、基準面はｘｙ平面である。
【００７１】
撮像範囲Ｖ’（斜線で囲んだ部分）の面積Ｓは、ピンホール１１１とｘｙ平面上の点Ｃ（画素Ｖの中心点に対応する点）との距離Ｌ（図６のＬ参照）と、画素Ｖの中心と点Ｃとを結んだ直線とｘｙ平面との成す角度θと、に応じて変化する。なお、ＣＣＤ画素面１１０とピンホール１１１との位置関係は一定とする。
【００７２】
上記の角度θと面積Ｓとの関係を、図６（ｂ）に示したθ＝９０度の場合における面積Ｓ１を基準として示せば、下記（数４）式で近似できる。
Ｓ＝Ｓ１（１／sinθ） …（数４）
ただし、θ≫α αは図６に示す角度
また、面積Ｓは距離Ｌに対しては、その２乗に比例する。
Ｓ＝ｋＬ２ …（数５）
ただし、ｋは定数
前記のように、単位画素Ｖが撮像する面積Ｖ’の小さい方が色と輝度の精度が高いと考えられるので、（数１）式に示した関数においては、（数５）式の逆数で、
ｆ(Ｌｎ）＝１／Ｌｎ２
とし、（数２）式に示した関数においては、（数４）式の逆数で、
ｆ(αｎ）＝sin αｎ
とし、（数３）式に示した関数においては、（数４）式と（数５）式を組み合わせた式の逆数で、
ｆ(Ｌｎ，αｎ）＝sin αｎ／Ｌｎ２
としている。
【図面の簡単な説明】
【図１】本発明を車両用の接近警報装置に適用した場合の一実施例を示すブロック図。
【図２】本発明の合成方法におけるｘｙｚ座標空間上のカメラの配置を示す図。
【図３】本発明の合成方法におけるｘｙｚ座標空間上のカメラの配置を示す図であり、カメラと交点との距離を示す図。
【図４】本発明の合成方法におけるｘｙｚ座標空間上のカメラの配置を示す図であり、カメラと交点とを結ぶ直線と基準面との角度を示す図。
【図５】（数２）式を説明するため斜視図。
【図６】（数２）式を説明するため図であり、（ａ）は側面図、（ｂ）はθ＝９０度の場合における側面図。
【符号の説明】
１０１…実在のカメラＡ
１０２…実在のカメラＢ
１０３…仮想カメラ
１０４…仮想カメラの画素Ｖに入射する光の来た方向
１０５…ベクトル１０４とｘｙ平面との交点
１１０…ＣＣＤ画素面
１１１…ピンホール
２０１…カメラ１０１と交点１０５との距離
２０２…カメラ１０２と交点１０５との距離
３０１…カメラ１０１と交点１０５とｘｙ平面がなす角度
３０２…カメラ１０２と交点１０５とｘｙ平面がなす角度
Claims (12)
- 複数のカメラと、画像処理手段からなり、
前記画像処理手段は、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラｎ（ｎは任意のカメラを示す）との距離Ｌｎを用いた関数ｆ(Ｌｎ）で求められた強度Ｓｎを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成し、かつ、前記関数ｆ ( Ｌｎ）は、各カメラと注目点との距離Ｌｎの逆数の２乗に比例することを特徴とする画像合成装置。 - 複数のカメラと、画像処理手段からなり、
前記画像処理手段は、撮像対象面のある注目点に対し、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度が、垂直に最も近いカメラを選択し、そのカメラで撮影された該注目点の色および輝度を、該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成装置。 - 複数のカメラと、画像処理手段からなり、
前記画像処理手段は、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αｎ（ｎは任意のカメラを示す）を用いた関数ｆ(αｎ）で求められた強度Ｓｎを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成装置。 - 複数のカメラと、画像処理手段からなり、
前記画像処理手段は、撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラｎ（ｎは任意のカメラを示す）との距離Ｌｎと、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αｎ（ｎは任意のカメラを示す）と、を用いた関数ｆ(Ｌｎ，αｎ）で求められた強度Ｓｎを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成装置。 - 請求項１乃至請求項４の何れかに記載の画像合成装置において、
前記画像処理手段は、合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点の色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成することを特徴とする画像合成装置。 - 請求項１乃至請求項５の何れかに記載の画像合成装置において、
前記画像処理手段は、合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点と前記仮想カメラの画素との対応を、前記仮想カメラの位置と向きに応じて設定し、前記注目点と前記複数のカメラの画素との対応を、前記複数のカメラの位置と向きに応じて設定し、前記複数のカメラの各画素について求められた色と輝度に基づいて設定された注目点の色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成することを特徴とする画像合成装置。 - 複数のカメラでそれぞれ撮像した画像を合成する画像合成方法であって、
撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラｎ（ｎは任意のカメラを示す）との距離Ｌｎを用いた関数ｆ(Ｌｎ）で求められた強度Ｓｎを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成し、かつ、前記関数ｆ ( Ｌｎ）は、各カメラと注目点との距離Ｌｎの逆数の２乗に比例することを特徴とする画像合成方法。 - 複数のカメラでそれぞれ撮像した画像を合成する画像合成方法であって、
撮像対象面のある注目点に対し、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度が、垂直に最も近いカメラを選択し、そのカメラで撮影された該注目点の色および輝度を、該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成方法。 - 複数のカメラでそれぞれ撮像した画像を合成する画像合成方法であって、
撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αｎ（ｎは任意のカメラを示す）を用いた関数ｆ(αｎ）で求められた強度Ｓｎを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成方法。 - 複数のカメラでそれぞれ撮像した画像を合成する画像合成方法であって、
撮像対象面のある注目点に対し、各カメラで撮像された該注目点の色および輝度を、該注目点とカメラｎ（ｎは任意のカメラを示す）との距離Ｌｎと、該注目点とカメラとを結んだ直線と前記撮像対象面との成す角度αｎ（ｎは任意のカメラを示す）と、を用いた関数ｆ(Ｌｎ，αｎ）で求められた強度Ｓｎを用いて合成し、その結果を該注目点の色および輝度とし、同じ処理を撮像対象面の全体について行うことにより、複数のカメラの画像を合成することを特徴とする画像合成方法。 - 請求項７乃至請求項１０の何れかに記載の画像合成方法において、
合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点の色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成することを特徴とする画像合成方法。 - 請求項７乃至請求項１１の何れかに記載の画像合成方法において、
合成画像を作成するための仮想カメラを演算処理上で設定し、前記注目点と前記仮想カメラの画素との対応を、前記仮想カメラの位置と向きに応じて設定し、前記注目点と前記複数のカメラの画素との対応を、前記複数のカメラの位置と向きに応じて設定し、前記複数のカメラの各画素について求められた色と輝度に基づいて設定された注目点の色と輝度を、前記仮想カメラの対応する画素の色と輝度とすることにより、複数のカメラの画像を合成した画像を仮想カメラの画像として作成することを特徴とする画像合成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001304830A JP3695377B2 (ja) | 2001-10-01 | 2001-10-01 | 画像合成装置および画像合成方法 |
| US10/231,154 US7123748B2 (en) | 2001-10-01 | 2002-08-30 | Image synthesizing device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001304830A JP3695377B2 (ja) | 2001-10-01 | 2001-10-01 | 画像合成装置および画像合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003111074A JP2003111074A (ja) | 2003-04-11 |
| JP3695377B2 true JP3695377B2 (ja) | 2005-09-14 |
Family
ID=19124701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001304830A Expired - Lifetime JP3695377B2 (ja) | 2001-10-01 | 2001-10-01 | 画像合成装置および画像合成方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7123748B2 (ja) |
| JP (1) | JP3695377B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050031169A1 (en) * | 2003-08-09 | 2005-02-10 | Alan Shulman | Birds eye view virtual imaging for real time composited wide field of view |
| JP2005333565A (ja) * | 2004-05-21 | 2005-12-02 | Auto Network Gijutsu Kenkyusho:Kk | 監視装置 |
| JP4956915B2 (ja) | 2005-05-20 | 2012-06-20 | 日産自動車株式会社 | 映像表示装置及び映像表示方法 |
| JP2006341641A (ja) | 2005-06-07 | 2006-12-21 | Nissan Motor Co Ltd | 映像表示装置及び映像表示方法 |
| FR2891934B1 (fr) * | 2005-10-12 | 2008-01-18 | Valeo Electronique Sys Liaison | Dispositif de traitement de donnees video pour un vehicule automobile |
| US20070229850A1 (en) * | 2006-04-04 | 2007-10-04 | Boxternal Logics, Llc | System and method for three-dimensional image capture |
| US20090087013A1 (en) * | 2007-09-28 | 2009-04-02 | Zoom Information Systems (The Mainz Group Ll) | Ray mapping |
| JP5057936B2 (ja) * | 2007-11-09 | 2012-10-24 | アルパイン株式会社 | 鳥瞰画像生成装置および方法 |
| JP2010033296A (ja) * | 2008-07-28 | 2010-02-12 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| JP5239991B2 (ja) * | 2009-03-25 | 2013-07-17 | 富士通株式会社 | 画像処理装置、及び画像処理システム |
| US11206358B1 (en) * | 2012-11-29 | 2021-12-21 | Altia Systems Inc | Autoexposure control for multi-imager system synchronized to a single imager |
| JP6582557B2 (ja) * | 2015-05-28 | 2019-10-02 | 株式会社ソシオネクスト | 描画装置、描画方法および描画プログラム |
| CN105245785A (zh) * | 2015-08-10 | 2016-01-13 | 深圳市达程科技开发有限公司 | 一种汽车全景摄像头的亮度平衡调解方法 |
| JP6974978B2 (ja) * | 2016-08-31 | 2021-12-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3560447B2 (ja) * | 1997-07-28 | 2004-09-02 | シャープ株式会社 | 画像処理装置 |
| JPH1155682A (ja) | 1997-08-06 | 1999-02-26 | Minolta Co Ltd | デジタルカメラ |
| JPH1185984A (ja) | 1997-09-02 | 1999-03-30 | Nippon Telegr & Teleph Corp <Ntt> | 三次元画像入力装置及び三次元画像処理方法ならびに三次元画像処理プログラムを記録した記録媒体 |
| US6734896B2 (en) * | 2000-04-28 | 2004-05-11 | Matsushita Electric Industrial Co., Ltd. | Image processor and monitoring system |
| US6750873B1 (en) * | 2000-06-27 | 2004-06-15 | International Business Machines Corporation | High quality texture reconstruction from multiple scans |
| JP4474743B2 (ja) * | 2000-07-03 | 2010-06-09 | ソニー株式会社 | 三次元画像生成装置および三次元画像生成方法、並びにプログラム記録媒体 |
| JP3269056B2 (ja) * | 2000-07-04 | 2002-03-25 | 松下電器産業株式会社 | 監視システム |
| KR20020033816A (ko) * | 2000-07-19 | 2002-05-07 | 마츠시타 덴끼 산교 가부시키가이샤 | 감시시스템 |
-
2001
- 2001-10-01 JP JP2001304830A patent/JP3695377B2/ja not_active Expired - Lifetime
-
2002
- 2002-08-30 US US10/231,154 patent/US7123748B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US7123748B2 (en) | 2006-10-17 |
| US20030063774A1 (en) | 2003-04-03 |
| JP2003111074A (ja) | 2003-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3695377B2 (ja) | 画像合成装置および画像合成方法 | |
| US9225942B2 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
| JP6310652B2 (ja) | 映像表示システム、映像合成装置及び映像合成方法 | |
| CN109948398B (zh) | 全景泊车的图像处理方法及全景泊车装置 | |
| KR101625997B1 (ko) | 작업기계용 주변감시장치 | |
| JP4828779B2 (ja) | 高速デジタルパンチルトズームビデオ | |
| EP2437494B1 (en) | Device for monitoring area around vehicle | |
| JP5739584B2 (ja) | 車両周辺視角化のための３次元映像合成装置およびその方法 | |
| JP5455124B2 (ja) | カメラ姿勢パラメータ推定装置 | |
| JP5077307B2 (ja) | 車両周囲画像表示制御装置 | |
| US20100149333A1 (en) | Obstacle sensing apparatus | |
| US20070085901A1 (en) | Vehicle drive assistant system | |
| JP2008077628A (ja) | 画像処理装置並びに車両周辺視界支援装置及び方法 | |
| CN112102413B (zh) | 一种基于虚车道线的车载相机自动标定方法 | |
| JP2003281505A (ja) | 車両用画像処理装置 | |
| CN112224132A (zh) | 一种车用全景环视障碍物预警方法 | |
| JP3960092B2 (ja) | 車両用画像処理装置 | |
| CN112233188B (zh) | 一种激光雷达和全景相机的数据融合系统的标定方法 | |
| JP4830380B2 (ja) | 車両周辺監視装置及び車両周辺監視方法 | |
| JP2004265396A (ja) | 映像生成システム及び映像生成方法 | |
| JP4008686B2 (ja) | テクスチャ編集装置、テクスチャ編集システムおよび方法 | |
| JP5338374B2 (ja) | 車両用表示装置及び車両用表示方法 | |
| JP2002222488A (ja) | 交通監視装置 | |
| JP6930935B2 (ja) | 画像合成装置及び画像合成方法 | |
| US20220222947A1 (en) | Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040803 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040928 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050222 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050318 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050325 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050620 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3695377 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130708 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140708 Year of fee payment: 9 |